Digital Inside
A Confluent disponibilizou de forma geral as integrações do Tableflow com o Delta Lake e o Databricks Unity Catalog, e incorporou acesso antecipado no Microsoft OneLake para conectar dados em streaming com os ambientes de análise e IA. Com essa ação, o Tableflow posiciona-se como um serviço gerido que conecta sistemas operacionais, plataformas analíticas e ferramentas de IA em ambientes híbridos e multicloud.
O Tableflow é apresentado como um serviço gerido que materializa tópicos do Apache Kafka em tabelas do Delta Lake ou Apache Iceberg com controlos de qualidade automatizados, sincronização de catálogos e mecanismos de segurança orientados para a empresa. Desde o seu lançamento, a proposta da Confluent visa eliminar processos ETL complexos e a integração manual com arquiteturas Lakehouse, que tendem a retardar o trabalho das equipas de dados. A empresa posiciona essas capacidades como uma base para desenvolver aplicações de análise e inteligência artificial em tempo real sobre dados regulamentados e preparados para consumo imediato.
Shaun Clowes, diretor de produto da Confluent, destaca: “As empresas buscam tirar o máximo proveito de seus dados em tempo real, mas a falta de integração entre o processamento de dados em tempo real e a análise sempre foi um dos principais obstáculos. Com o Tableflow, eliminamos essa barreira ao facilitar a conexão direta entre o Kafka e os lakehouses gerenciados. Isto significa que os dados de alta qualidade estão prontos para análise e inteligência artificial no momento em que são criados.”
A versão geralmente disponível incorpora recursos orientados para ambientes empresariais que procuram simplificar a análise, reforçar a governança e melhorar a confiabilidade dos dados. A compatibilidade generalizada com o Delta Lake permite converter tópicos do Kafka em tabelas armazenadas no Amazon S3 ou no Azure Data Lake Storage, habilitando simultaneamente os formatos Delta Lake e Iceberg por tópico. Esta coexistência de formatos visa oferecer flexibilidade para se adaptar a diferentes motores de análise e estratégias de dados que combinam várias tecnologias de tabela.
No plano da governança, a integração em GA com o Databricks Unity Catalog sincroniza automaticamente metadados, esquemas e políticas de acesso entre o Tableflow e o próprio Unity Catalog. Esta abordagem busca uma gestão centralizada, de modo que as regras de acesso e a definição dos dados sejam consistentes em toda a organização, independentemente de onde esses dados sejam posteriormente consumidos.
Em termos de fiabilidade, o Tableflow incorpora um mecanismo de Dead Letter Queue que captura e isola os registos malformados sem interromper o fluxo de dados. Esta gestão de erros, apoiada na definição de esquemas de dados, visa proporcionar visibilidade sobre os problemas de qualidade, facilitar a sua recuperação e reduzir o impacto operacional das falhas nos registos recebidos.
A nova funcionalidade Upsert permite atualizar e inserir registos automaticamente à medida que os dados mudam, mantendo as tabelas Delta Lake e Iceberg consistentes, sem duplicados e disponíveis para análise sem intervenções manuais. Esta automatização visa reduzir as tarefas de manutenção e minimizar o risco de inconsistências entre as diferentes cópias dos dados.
No âmbito da segurança, a opção Bring Your Own Key estende o uso de chaves de criptografia gerenciadas pelo próprio cliente ao Tableflow, fornecendo controle sobre a criptografia de dados em repouso. Essa abordagem está alinhada com os requisitos de conformidade regulatória de setores regulamentados, como serviços financeiros, saúde ou administrações públicas. As novas funcionalidades incorporam a gestão de erros através da Dead Letter Queue, operações de upsert automáticas e suporte de encriptação com chaves geridas pelo cliente para responder aos requisitos de fiabilidade e segurança dos ambientes empresariais.
Estas novidades baseiam-se em capacidades já presentes no Tableflow, como a evolução de esquemas, a compressão e a manutenção automatizada de tabelas, bem como em integrações anteriores com Apache Iceberg, AWS Glue e Snowflake Open Catalog. Com base nisso, a solução posiciona-se como uma plataforma para equipas que precisam que os dados em tempo real estejam preparados para análise, sob controlos de governança e com resiliência contra incidentes.
Um exemplo de utilização é fornecido pela Attune, especializada em aproveitar dados da Internet das Coisas provenientes de edifícios inteligentes. David Kinney, arquiteto-chefe de soluções da Attune, afirma: “Na Attune, fornecer informações em tempo real a partir dos dados da Internet das Coisas (IoT) de edifícios inteligentes é fundamental para a nossa missão. Com apenas alguns cliques, o Confluent Tableflow permite-nos materializar tópicos do Kafka em tabelas fiáveis e prontas para análise, o que nos proporciona uma visibilidade precisa tanto da interação dos clientes como do comportamento dos dispositivos. Estes conjuntos de dados de alta qualidade alimentam agora análises, modelos de aprendizagem automática ou machine learning (ML) e aplicações de IA generativa, todos construídos sobre uma base de dados fiável. O Tableflow simplificou a nossa arquitetura de dados e, ao mesmo tempo, abriu novas oportunidades sobre como aproveitar os dados de forma mais eficaz”.
Abertura para Microsoft OneLake e ambientes Azure
O Tableflow também está disponível em acesso antecipado no Azure, integrado com o Microsoft OneLake. Esta expansão introduz uma opção adicional para organizações que trabalham em cenários multicloud e, em particular, para aquelas que utilizam Azure Databricks e Microsoft Fabric. Neste contexto, é totalmente suportada a utilização conjunta do Delta Lake e do Unity Catalog, com o objetivo de oferecer uma experiência de análise coerente que vai desde fluxos de dados em tempo real até lakehouses na cloud.
Neste ambiente, o Tableflow permite materializar os tópicos do Kafka como tabelas abertas no Microsoft OneLake, que podem ser consultadas a partir do Microsoft Fabric ou de outras ferramentas compatíveis com as APIs de tabelas do OneLake. A intenção é reduzir o tempo necessário para extrair valor dos dados, evitando processos ETL manuais e a gestão direta de esquemas por parte das equipas de dados.
Além disso, a plataforma automatiza tarefas como a atribuição de esquemas, a conversão de tipos de dados e a manutenção de tabelas para fluxos de streaming, com o objetivo de reduzir a complexidade operacional e os custos associados em ambientes de análise nativos do Azure. A integração é completada com a possibilidade de utilizar os serviços de análise e do Azure AI com base nas APIs do Microsoft OneLake Table, de modo que os dados em tempo real possam alimentar diferentes casos de uso de inteligência artificial. No Azure, a integração em acesso antecipado com o Microsoft OneLake permite materializar tópicos do Kafka como tabelas abertas, automatizar a gestão de esquemas e conectar esses dados ao Microsoft Fabric e aos serviços de análise e Azure AI por meio das APIs do OneLake Table.
A gestão das implementações pode ser feita a partir da interface de utilizador do Confluent Cloud, da linha de comandos (CLI) ou através do Terraform, em linha com as ferramentas habituais das equipas de operações. Dipti Borkar, vice-presidente e diretora geral do Microsoft OneLake e ISV Ecosystem, afirma: “O acesso a dados em tempo real é fundamental para que os clientes possam tomar decisões rápidas e precisas. Agora que o Confluent Tableflow está disponível no Microsoft Azure, os clientes podem transmitir eventos do Kafka para o OneLake como tabelas do Apache Iceberg ou Delta Lake e consultá-los instantaneamente através do Microsoft Fabric e de motores populares de terceiros utilizando as APIs do OneLake Table, o que reduz a complexidade e agiliza a tomada de decisões”.
