Delta e Lakeflow: por onde o dado ruim passa sem dar erro

Declarar uma regra de qualidade não é barrar o dado. No Delta, NOT NULL e CHECK barram; no Lakeflow, a expectativa sem ação retém; chave e unique só declaram; o MERGE ignora a coluna nova. Veja o que cada camada faz, como montar quarentena e como ler a contagem, com um exemplo executado localmente.

Continue lendoDelta e Lakeflow: por onde o dado ruim passa sem dar erro

Databricks Lakeflow: o código vai de dev a prod, o estado não

O deploy passou verde, e o full refresh apagou a bronze que o Kafka não tinha mais como repor. No Databricks Lakeflow, o bundle leva o código de dev a prod, mas o estado fica em cada ambiente: o registro do deploy, os checkpoints do streaming, as próprias tabelas e a identidade que roda o pipeline. Este artigo mostra os quatro estados que o bundle não leva, o que cada comando pode apagar e as guardas que se declaram no bundle antes do primeiro deploy em produção.

Continue lendoDatabricks Lakeflow: o código vai de dev a prod, o estado não

O índice vetorial não herda permissão: agentes de dados em Databricks, Fabric e Foundry

Um índice vetorial é uma cópia, e cópia não herda permissão: a documentação do Databricks AI Search diz que permissão de linha e de coluna não é suportada. As duas rotas de um agente até o dado — RAG e text-to-SQL —, onde mora a regra de acesso em cada uma, a credencial dupla do Genie Agent e a camada de métrica que faz o número parar de mudar.

Continue lendoO índice vetorial não herda permissão: agentes de dados em Databricks, Fabric e Foundry

Federar, espelhar ou ingerir: a decisão entre Databricks e Fabric

Federar, espelhar e ingerir não são sinônimos — e no Fabric "espelhar" já significa três mecanismos diferentes. Quando usar Lakehouse Federation, quando espelhar catálogo ou banco no Microsoft Fabric, quando ingerir com Lakeflow Connect, o que é realmente grátis e por que a permissão da origem não atravessa a fronteira do OneLake.

Continue lendoFederar, espelhar ou ingerir: a decisão entre Databricks e Fabric

Ontologia de dados: o contexto governado que faz a IA raciocinar em Databricks e Fabric

O gargalo da IA corporativa nao e o modelo, e contexto de negocio governado. Como Unity Catalog Metric Views, Genie Ontology e Fabric IQ formam uma unica camada semantica sobre uma copia so do dado — com caso de uso FSI, custo e roadmap.

Continue lendoOntologia de dados: o contexto governado que faz a IA raciocinar em Databricks e Fabric