Passer au contenu principal
Google Dataflow est un service entièrement géré de traitement de données en flux et par lots. Il prend en charge les pipelines écrits en Java ou en Python et repose sur le SDK Apache Beam. Il existe deux façons principales d’utiliser Google Dataflow avec ClickHouse, qui s’appuient toutes deux sur le connecteur Apache Beam ClickHouseIO. Il s’agit de :

​
Java runner

Le Java runner vous permet d’implémenter des pipelines Dataflow personnalisés à l’aide de l’intégration ClickHouseIO du SDK Apache Beam. Cette approche offre une flexibilité totale et un contrôle complet sur la logique du pipeline, ce qui vous permet d’adapter le processus ETL à des besoins spécifiques. Cependant, cette option nécessite des compétences en programmation Java et une bonne maîtrise du framework Apache Beam.

​
Principales caractéristiques

  • Haut niveau de personnalisation.
  • Idéal pour des cas d’usage complexes ou avancés.
  • Nécessite de savoir coder et de comprendre l’API Beam.

​
Modèles prédéfinis

ClickHouse propose des modèles prédéfinis conçus pour des cas d’usage spécifiques, comme des imports par lots depuis BigQuery ou l’ingestion en streaming depuis Pub/Sub vers ClickHouse. Ces modèles sont prêts à l’emploi et simplifient le processus d’intégration, ce qui en fait un excellent choix si vous préférez une solution no-code.

​
Principales fonctionnalités

  • Aucun développement Beam n’est requis.
  • Configuration rapide et simple pour les cas d’utilisation les plus courants.
  • Convient également si vous avez peu d’expérience en programmation.
Les deux approches sont entièrement compatibles avec Google Cloud et l’écosystème ClickHouse, et offrent une grande flexibilité selon votre niveau d’expertise technique et les exigences de votre projet.
Dernière modification le 29 juin 2026