Lac de données

Utilisez ClickHouse pour interroger, accélérer et analyser les données dans des formats de table ouverts tels qu’Apache Iceberg, Delta Lake, Apache Hudi et Apache Paimon.

ClickHouse s’intègre aux formats de table ouverts, notamment Apache Iceberg, Delta Lake, Apache Hudi et Apache Paimon. Les utilisateurs peuvent ainsi connecter ClickHouse à des données déjà stockées dans ces formats sur du stockage objet, et combiner la puissance analytique de ClickHouse avec leur infrastructure de lac de données existante.

​

Pourquoi utiliser ClickHouse avec des formats de table ouverts ?

​

Interroger les données existantes sans les déplacer

ClickHouse peut interroger directement des formats de table ouverts dans le stockage objet, sans dupliquer les données. Les organisations qui ont standardisé Iceberg, Delta Lake, Hudi ou Paimon peuvent faire pointer ClickHouse vers des tables existantes et utiliser immédiatement son dialecte SQL, ses fonctions d’analyse et son lecteur Parquet natif performant. Parallèlement, des outils comme clickhouse-local et chDB permettent d’effectuer des analyses exploratoires ad hoc sur plus de 70 formats de fichiers dans un stockage distant, afin d’explorer de façon interactive des datasets de lac de données sans configuration d’infrastructure.

Les utilisateurs peuvent y parvenir soit par lecture directe, à l’aide des fonctions de table et des moteurs de table, soit en se connectant à un catalogue de données.

​

Workloads analytiques en temps réel avec ClickHouse

Pour les workloads qui exigent une forte simultanéité et des réponses à faible latence, les utilisateurs peuvent charger des données depuis des formats de table ouverts dans le moteur MergeTree de ClickHouse. Cela ajoute une couche d’analyse en temps réel au-dessus de données provenant d’un lac de données, prenant en charge les tableaux de bord, le reporting opérationnel et d’autres workloads sensibles à la latence qui tirent parti du stockage en colonnes de MergeTree et de ses capacités d’indexation.

Consultez le guide de démarrage pour accélérer les analyses avec MergeTree.

​

Capacités

​

Lire les données directement

ClickHouse fournit des fonctions de table et des moteurs pour lire directement des formats de table ouverts sur du stockage objet. Des fonctions telles que iceberg(), deltaLake(), hudi() et paimon() permettent d’interroger des tables au format de table ouvert dans une instruction SQL, sans configuration préalable. Il existe des versions de ces fonctions pour les stockages objet les plus courants, comme S3, Azure Blob Storage et GCS. Ces fonctions ont également des moteurs de table équivalents, qui peuvent être utilisés pour créer dans ClickHouse des tables faisant référence au stockage objet sous-jacent au format de table ouvert, ce qui facilite les requêtes.

Consultez notre guide de prise en main pour interroger directement les données, ou pour vous connecter à un catalogue de données.

​

Exposer des catalogues comme bases de données

À l’aide du moteur de base de données DataLakeCatalog, les utilisateurs peuvent connecter ClickHouse à un catalogue externe et l’exposer comme une base de données. Les tables enregistrées dans le catalogue apparaissent comme des tables dans ClickHouse, ce qui permet d’utiliser de manière transparente l’ensemble de la syntaxe ClickHouse SQL et des fonctions d’analyse. Les utilisateurs peuvent ainsi interroger, joindre et agréger des tables gérées par le catalogue comme s’il s’agissait de tables ClickHouse natives, tout en bénéficiant de l’optimisation des requêtes, de l’exécution parallèle et des capacités de lecture de ClickHouse.

Les catalogues pris en charge incluent :

Catalog	Guide
AWS Glue	Guide Glue Catalog
BigLake Metastore	Guide BigLake Metastore
Databricks Unity Catalog	Guide Unity Catalog
Iceberg REST Catalog	Guide REST Catalog
Lakekeeper	Guide Lakekeeper Catalog
Project Nessie	Guide Nessie Catalog
Microsoft OneLake	Guide OneLake Catalog

Consultez le guide de prise en main pour vous connecter aux catalogues.

​

Réécrire vers des formats de table ouverts

ClickHouse prend en charge la réécriture de données vers des formats de table ouverts, ce qui est utile dans des scénarios tels que :

• Du temps réel vers le stockage à long terme - Les données transitent par ClickHouse en tant que couche d’analytics en temps réel, et les utilisateurs doivent déporter les résultats vers Iceberg ou d’autres formats pour un stockage à long terme pérenne et économique.
• ETL inversé - Les utilisateurs effectuent des transformations dans ClickHouse à l’aide de vues matérialisées ou de requêtes planifiées et souhaitent persister les résultats dans des formats de table ouverts pour qu’ils puissent être exploités par d’autres outils de l’écosystème des données.

Consultez le guide de démarrage pour l’écriture vers des lacs de données.

​

Étapes suivantes

Prêt à l’essayer ? Le guide de prise en main vous guide à travers l’interrogation directe de formats de table ouverts, la connexion à un catalogue, le chargement de données dans MergeTree pour des analyses rapides et la réécriture des résultats, le tout dans un workflow complet de bout en bout.