Ingestion des données de MySQL vers ClickHouse (avec CDC)

Importez facilement les données de votre base de données MySQL ou MariaDB vers ClickHouse Cloud.

L’ingestion de données de MySQL vers ClickHouse Cloud via ClickPipes est en bêta publique.

Le MySQL ClickPipe offre une solution entièrement gérée et résiliente pour ingérer des données à partir de bases de données MySQL et MariaDB vers ClickHouse Cloud. Il prend en charge aussi bien les chargements en masse pour une ingestion ponctuelle que la Change Data Capture (CDC) pour l’ingestion continue.

Les MySQL ClickPipes peuvent être déployés et gérés manuellement à l’aide de la ClickPipes UI, ainsi que par programmation à l’aide d’OpenAPI et de Terraform.

​

Prérequis

Pour commencer, vous devez vous assurer que votre base de données MySQL est correctement configurée pour la réplication du binlog. Les étapes de configuration dépendent du mode de déploiement de MySQL ; veuillez donc suivre le guide approprié ci-dessous :

​

Sources de données prises en charge

Nom	Logo	Détails
Amazon RDS MySQL Chargement ponctuel, CDC		Suivez le guide de configuration Amazon RDS MySQL.
Amazon Aurora MySQL Chargement ponctuel, CDC		Suivez le guide de configuration Amazon Aurora MySQL.
Cloud SQL for MySQL Chargement ponctuel, CDC		Suivez le guide de configuration Cloud SQL for MySQL.
Azure Flexible Server for MySQL Chargement ponctuel		Suivez le guide de configuration Azure Flexible Server for MySQL.
MySQL auto-hébergé Chargement ponctuel, CDC		Suivez le guide de configuration Generic MySQL.
Amazon RDS MariaDB Chargement ponctuel, CDC		Suivez le guide de configuration Amazon RDS MariaDB.
MariaDB auto-hébergé Chargement ponctuel, CDC		Suivez le guide de configuration Generic MariaDB.

Une fois votre base de données MySQL source configurée, vous pouvez continuer à créer votre ClickPipe.

​

Créez votre ClickPipe

Assurez-vous d’être connecté à votre compte ClickHouse Cloud. Si vous n’avez pas encore de compte, vous pouvez vous inscrire ici.

1. Dans la console ClickHouse Cloud, accédez à votre service ClickHouse Cloud.

2. Sélectionnez le bouton Data Sources dans le menu de gauche, puis cliquez sur « Set up a ClickPipe »

3. Sélectionnez la tuile MySQL CDC

​

Ajoutez la connexion à votre base de données source MySQL

4. Renseignez les informations de connexion de votre base de données source MySQL, que vous avez configurée lors de l’étape des prérequis.

Avant de commencer à saisir vos informations de connexion, assurez-vous d’avoir autorisé les adresses IP de ClickPipes dans les règles de votre pare-feu. Sur la page suivante, vous trouverez une liste des adresses IP de ClickPipes. Pour plus d’informations, consultez les guides de configuration de la base MySQL source liés en haut de cette page.

​

(Facultatif) Configurer le tunnel SSH

Vous pouvez préciser les informations du tunnel SSH si votre base de données source MySQL n’est pas accessible publiquement.

1. Activez le bouton bascule « Use SSH Tunnelling ».

2. Renseignez les informations de connexion SSH.

3. Pour utiliser l’authentification par clé, cliquez sur « Revoke and generate key pair » pour générer une nouvelle paire de clés, puis copiez la clé publique générée sur votre serveur SSH dans ~/.ssh/authorized_keys.

4. Cliquez sur « Verify Connection » pour vérifier la connexion.

Assurez-vous d’autoriser les adresses IP de ClickPipes dans les règles de votre pare-feu pour l’hôte bastion SSH afin que ClickPipes puisse établir le tunnel SSH.

Une fois les informations de connexion renseignées, cliquez sur Next.

​

Configurer les paramètres avancés

Vous pouvez configurer les paramètres avancés si nécessaire. Une brève description de chaque paramètre est fournie ci-dessous :

• Intervalle de synchronisation : il s’agit de l’intervalle auquel ClickPipes interroge la base de données source pour détecter les changements. Cela a un impact sur le service ClickHouse de destination ; pour les utilisateurs sensibles aux coûts, nous recommandons de conserver une valeur élevée (supérieure à 3600).
• Threads parallèles pour le chargement initial : il s’agit du nombre de workers parallèles utilisés pour récupérer l’instantané initial. Cela est utile lorsque vous avez un grand nombre de tables et que vous souhaitez contrôler le nombre de workers parallèles utilisés pour récupérer l’instantané initial. Ce paramètre s’applique à chaque table.
• Taille du lot d’extraction : le nombre de lignes à récupérer en un seul lot. Il s’agit d’un paramètre appliqué au mieux, qui peut donc ne pas être respecté dans tous les cas.
• Nombre de lignes de l’instantané par partition : il s’agit du nombre de lignes récupérées dans chaque partition pendant l’instantané initial. Cela est utile lorsque vos tables contiennent un grand nombre de lignes et que vous souhaitez contrôler le nombre de lignes récupérées dans chaque partition.
• Nombre de tables de l’instantané en parallèle : il s’agit du nombre de tables récupérées en parallèle pendant l’instantané initial. Cela est utile lorsque vous avez un grand nombre de tables et que vous souhaitez contrôler le nombre de tables récupérées en parallèle.

​

Configurer les tables

5. Ici, vous pouvez sélectionner la base de données de destination de votre ClickPipe. Vous pouvez soit sélectionner une base de données existante, soit en créer une nouvelle.

6. Vous pouvez sélectionner les tables que vous souhaitez répliquer depuis la base de données MySQL source. Lors de cette sélection, vous pouvez également renommer les tables dans la base de données ClickHouse de destination et exclure des colonnes spécifiques.

​

Vérifiez les permissions et démarrez le ClickPipe

7. Sélectionnez le rôle « Accès complet » dans le menu déroulant des permissions, puis cliquez sur « Terminer la configuration ».

Enfin, consultez la page “FAQ de ClickPipes for MySQL” pour plus d’informations sur les problèmes courants et leur résolution.

​

Et ensuite ?

Une fois votre ClickPipe configuré pour répliquer les données de MySQL vers ClickHouse Cloud, vous pouvez vous concentrer sur la façon d’interroger et de modéliser vos données afin d’obtenir des performances optimales. Pour les questions fréquentes sur MySQL CDC et la résolution des problèmes, consultez la page des FAQ MySQL.