Delta e Lakeflow: por onde o dado ruim passa sem dar erro

Declarar uma regra de qualidade não é barrar o dado. No Delta, NOT NULL e CHECK barram; no Lakeflow, a expectativa sem ação retém; chave e unique só declaram; o MERGE ignora a coluna nova. Veja o que cada camada faz, como montar quarentena e como ler a contagem, com um exemplo executado localmente.

Continue lendoDelta e Lakeflow: por onde o dado ruim passa sem dar erro

Databricks Lakeflow: o código vai de dev a prod, o estado não

O deploy passou verde, e o full refresh apagou a bronze que o Kafka não tinha mais como repor. No Databricks Lakeflow, o bundle leva o código de dev a prod, mas o estado fica em cada ambiente: o registro do deploy, os checkpoints do streaming, as próprias tabelas e a identidade que roda o pipeline. Este artigo mostra os quatro estados que o bundle não leva, o que cada comando pode apagar e as guardas que se declaram no bundle antes do primeiro deploy em produção.

Continue lendoDatabricks Lakeflow: o código vai de dev a prod, o estado não

Ontologia de dados: o contexto governado que faz a IA raciocinar em Databricks e Fabric

O gargalo da IA corporativa nao e o modelo, e contexto de negocio governado. Como Unity Catalog Metric Views, Genie Ontology e Fabric IQ formam uma unica camada semantica sobre uma copia so do dado — com caso de uso FSI, custo e roadmap.

Continue lendoOntologia de dados: o contexto governado que faz a IA raciocinar em Databricks e Fabric