Créer votre premier BigQuery ClickPipe

Guide pas à pas pour créer votre premier BigQuery ClickPipe.

Vous pouvez vous inscrire sur la liste d’attente de l’aperçu privé ici.

Le ClickPipe BigQuery offre un moyen entièrement géré et résilient d’ingérer des données depuis BigQuery dans ClickHouse Cloud. En aperçu privé, il prend en charge la méthode de réplication par chargement initial pour vous aider à charger en masse des jeux de données BigQuery à des fins d’exploration et de prototypage. La CDC sera prise en charge ultérieurement — d’ici là, nous vous recommandons d’utiliser le ClickPipe Google Cloud Storage pour synchroniser en continu les exportations de données BigQuery vers ClickHouse Cloud une fois le chargement initial terminé.

Les ClickPipes BigQuery peuvent être déployés et gérés manuellement via l’interface utilisateur de ClickPipes, ainsi que par programmation avec OpenAPI et Terraform.

​

Prérequis

• Vous devez disposer des privilèges nécessaires pour gérer les comptes de service et les rôles IAM dans votre projet GCP, ou demander l’aide d’un administrateur. Nous vous recommandons de créer un compte de service dédié avec le minimum d’autorisations requises, conformément à la documentation officielle.

• Le processus de chargement initial nécessite un bucket Google Cloud Storage (GCS) fourni par l’utilisateur pour le staging. Nous vous recommandons de créer un bucket dédié pour votre ClickPipe, conformément à la documentation officielle. À l’avenir, le bucket intermédiaire sera fourni et géré par ClickPipes.

1. ​

   Sélectionnez la source de données

   1. Dans ClickHouse Cloud, sélectionnez Sources de données dans le menu de navigation principal, puis cliquez sur Create ClickPipe.

   2. Cliquez sur la tuile BigQuery.

2. ​

   Configurez votre connexion ClickPipe

   Pour configurer un nouveau ClickPipe, vous devez fournir les informations nécessaires pour vous connecter à votre entrepôt de données BigQuery et vous y authentifier, ainsi qu’un bucket GCS de staging.

   1. Téléversez la clé .json du compte de service que vous avez créé pour ClickPipes. Assurez-vous que le compte de service dispose du minimum d’autorisations requis.

   2. Sélectionnez la méthode de réplication. En Private Preview, la seule option prise en charge est Chargement initial uniquement.

   3. Indiquez le chemin du bucket GCS utilisé pour le staging des données pendant le chargement initial.

   4. Cliquez sur Next pour valider.

3. ​

   Configurez votre ClickPipe

   Selon la taille de votre jeu de données BigQuery ou la taille totale des tables que vous souhaitez synchroniser, vous devrez peut-être ajuster les paramètres d’ingestion par défaut du ClickPipe.

4. ​

   Configurez les tables

   1. Sélectionnez la base de données ClickHouse dans laquelle vous souhaitez répliquer les tables BigQuery. Vous pouvez sélectionner une base de données existante ou en créer une nouvelle.

   2. Sélectionnez les tables et, éventuellement, les colonnes que vous souhaitez répliquer. Seuls les jeux de données auxquels le compte de service fourni a accès seront répertoriés.

   3. Pour chaque table sélectionnée, veillez à définir une clé de tri personnalisée dans Advanced settings > Use a custom sorting key. À l’avenir, la clé de tri sera automatiquement déduite des clés de clustering ou de partitionnement existantes dans la base de données source.

   Vous devez définir une clé de tri pour les tables répliquées afin d’optimiser les performances des requêtes dans ClickHouse. Sinon, la clé de tri sera définie sur tuple(), ce qui signifie qu’aucun index primaire ne sera créé et que ClickHouse effectuera des parcours complets de la table pour toutes les requêtes sur cette table.

5. ​

   Configurez les autorisations

   Enfin, vous pouvez configurer les autorisations de l’utilisateur interne ClickPipes.

   Autorisations : ClickPipes créera un utilisateur dédié pour écrire des données dans une table de destination. Vous pouvez sélectionner un rôle pour cet utilisateur interne en utilisant un rôle personnalisé ou l’un des rôles prédéfinis :

   • Full access : accès complet au cluster. Requis si vous utilisez des vues matérialisées ou un dictionnaire avec la table de destination.
   • Only destination : autorisations d’insertion sur la table de destination uniquement.
6. ​

   Terminez la configuration

   Cliquez sur Create ClickPipe pour terminer la configuration. Vous serez redirigé vers la page d’aperçu, où vous pourrez suivre la progression du chargement initial et cliquer pour afficher les détails de vos ClickPipes BigQuery.