Création de votre premier ClickPipe GCS

Guide étape par étape pour créer votre premier ClickPipe pour Google Cloud Storage.

Le GCS ClickPipe offre un moyen entièrement géré et résilient d’ingérer des données à partir de Google Cloud Storage (GCS). Il prend en charge l’ingestion en une seule fois et l’ingestion continue, avec une garantie exactly-once.

1. ​

   Sélectionnez la source de données

   1. Dans ClickHouse Cloud, sélectionnez Data sources dans le menu de navigation principal, puis cliquez sur Create ClickPipe.

2. ​

   Configurez votre connexion ClickPipe

   1. Pour configurer un nouveau ClickPipe, vous devez indiquer comment vous connecter à votre service de stockage d’objets et vous y authentifier.

   2. Cliquez sur Incoming data. ClickPipes récupérera les métadonnées de votre bucket pour l’étape suivante.

3. ​

   Sélectionnez le format des données

   L’interface affiche la liste des fichiers présents dans le bucket spécifié. Sélectionnez le format de vos données (nous prenons actuellement en charge un sous-ensemble des formats ClickHouse) et indiquez si vous souhaitez activer l’ingestion continue. Consultez la section « continuous ingest » de la page d’aperçu pour plus de détails.

4. ​

   Configurez la table, le schéma et les paramètres

   À l’étape suivante, vous pouvez choisir d’ingérer les données dans une nouvelle table ClickHouse ou de réutiliser une table existante. Suivez les instructions affichées à l’écran pour modifier le nom de la table, le schéma et les paramètres. Vous pouvez voir un aperçu en temps réel de vos modifications dans la table d’exemple en haut de la page.

   Vous pouvez également personnaliser les paramètres avancés à l’aide des contrôles proposés.

   Vous pouvez aussi choisir d’ingérer vos données dans une table ClickHouse existante. Dans ce cas, l’interface vous permettra de faire correspondre les champs de la source avec les champs ClickHouse de la table de destination sélectionnée.

   Vous pouvez également mapper des colonnes virtuelles, comme _path ou _size, vers des champs.

5. ​

   Configurez les permissions

   Enfin, vous pouvez configurer les permissions de l’utilisateur interne de ClickPipes.

   Permissions : ClickPipes créera un utilisateur dédié pour écrire des données dans une table de destination. Vous pouvez sélectionner un rôle pour cet utilisateur interne à l’aide d’un rôle personnalisé ou de l’un des rôles prédéfinis :

   • Full access : accès complet au cluster. Requis si vous utilisez une vue matérialisée ou un Dictionary avec la table de destination.
   • Only destination table : permissions INSERT sur la seule table de destination.
6. ​

   Terminez la configuration

   En cliquant sur « Complete Setup », le système enregistrera votre ClickPipe, et vous pourrez le voir dans le tableau récapitulatif.

   Le tableau récapitulatif propose des contrôles pour afficher des exemples de données de la source ou de la table de destination dans ClickHouse.

   Il permet également de supprimer le ClickPipe et d’afficher un récapitulatif de la tâche d’ingestion.

   Félicitations ! Vous avez configuré avec succès votre premier ClickPipe. S’il s’agit d’un ClickPipe configuré pour l’ingestion continue, il s’exécutera en continu et ingérera les données en temps réel depuis votre source de données distante. Sinon, il ingérera le batch, puis se terminera.