Lago de dados

Use o ClickHouse para consultar, acelerar e analisar dados em formatos abertos de tabela, como Apache Iceberg, Delta Lake, Apache Hudi e Apache Paimon.

O ClickHouse se integra a formatos abertos de tabela, incluindo Apache Iceberg, Delta Lake, Apache Hudi e Apache Paimon. Isso permite conectar o ClickHouse a dados já armazenados nesses formatos no armazenamento de objetos, combinando o poder analítico do ClickHouse com a infraestrutura de lago de dados existente.

​

Por que usar o ClickHouse com formatos abertos de tabelas?

​

Consultar dados existentes no próprio local

O ClickHouse pode consultar formatos abertos de tabela diretamente no armazenamento de objetos sem duplicar os dados. Organizações que padronizaram Iceberg, Delta Lake, Hudi ou Paimon podem apontar o ClickHouse para tabelas existentes e usar imediatamente seu dialeto SQL, funções analíticas e o eficiente leitor nativo de Parquet. Ao mesmo tempo, ferramentas como clickhouse-local e chDB permitem análises exploratórias e ad hoc em mais de 70 formatos de arquivo no armazenamento remoto, possibilitando que os usuários explorem interativamente conjuntos de dados em lagos de dados sem precisar configurar infraestrutura.

Os usuários podem fazer isso com leitura direta, usando funções de tabela e motores de tabela, ou conectando-se a um catálogo de dados.

​

Workloads de analytics em tempo real com ClickHouse

Para workloads que exigem alta concorrência e respostas de baixa latência, os usuários podem carregar dados de formatos de tabela abertos para o motor MergeTree do ClickHouse. Isso fornece uma camada de analytics em tempo real sobre dados originados em um lago de dados, com suporte a dashboards, relatórios operacionais e outros workloads sensíveis à latência que se beneficiam do armazenamento colunar e dos recursos de indexação do MergeTree.

Consulte o guia de primeiros passos para acelerar analytics com MergeTree.

​

Capabilities

​

Ler dados diretamente

O ClickHouse fornece funções de tabela e motores para ler formato aberto de tabela diretamente no armazenamento de objetos. Funções como iceberg(), deltaLake(), hudi() e paimon() permitem que os usuários consultem tabelas em formato aberto de tabela a partir de uma instrução SQL, sem nenhuma configuração prévia. Existem versões dessas funções para os serviços de armazenamento de objetos mais comuns, como S3, Azure Blob Storage e GCS. Essas funções também têm motores de tabela equivalentes, que podem ser usados para criar tabelas no ClickHouse que fazem referência ao armazenamento de objetos subjacente desses formato aberto de tabela, tornando as consultas mais convenientes.

Consulte nosso guia de Primeiros passos para consultar diretamente ou para conectar-se a um catálogo de dados.

​

Expor catálogos como bancos de dados

Usando o mecanismo de banco de dados DataLakeCatalog, os usuários podem conectar o ClickHouse a um catálogo externo e expô-lo como um banco de dados. As tabelas registradas no catálogo aparecem como tabelas no ClickHouse, permitindo usar de forma transparente toda a sintaxe do ClickHouse SQL e suas funções analíticas. Isso significa que os usuários podem executar consultas, joins e agregações em tabelas gerenciadas pelo catálogo como se fossem tabelas nativas do ClickHouse, aproveitando a otimização de consultas, a execução paralela e os recursos de leitura do ClickHouse.

Os catálogos compatíveis incluem:

Catálogo	Guia
AWS Glue	Guia do Glue Catalog
BigLake Metastore	Guia do BigLake Metastore
Databricks Unity Catalog	Guia do Unity Catalog
Iceberg REST Catalog	Guia do REST Catalog
Lakekeeper	Guia do Lakekeeper Catalog
Project Nessie	Guia do Nessie Catalog
Microsoft OneLake	Guia do OneLake Catalog

Consulte o guia de primeiros passos para conectar-se a catálogos.

​

Gravar de volta em formatos abertos de tabela

O ClickHouse oferece suporte à gravação de dados de volta em formatos abertos de tabela, o que é relevante em cenários como:

• De tempo real para armazenamento de longo prazo - Os dados passam pelo ClickHouse como uma camada de analytics em tempo real, e os usuários precisam descarregar os resultados no Iceberg ou em outros formatos para um armazenamento durável e econômico de longo prazo.
• ETL reverso - Os usuários realizam transformações no ClickHouse usando visões materializadas ou consultas agendadas e desejam persistir os resultados em formatos abertos de tabela para uso por outras ferramentas no ecossistema de dados.

Consulte o guia de Primeiros passos para gravar em lagos de dados.

​

Próximas etapas

Pronto para testar? O guia de Primeiros passos mostra como consultar formato aberto de tabela diretamente, conectar-se a um catálogo, carregar dados no MergeTree para análises rápidas e gravar os resultados de volta — tudo em um único fluxo de trabalho de ponta a ponta.