Cycle de vie d’un MySQL ClickPipe

Les différents statuts d’un pipe et leur signification

Ce document présente les différentes phases d’un MySQL ClickPipe, les différents statuts qu’il peut avoir et leur signification. Notez que cela s’applique également à MariaDB.

​

Provisioning

Lorsque vous cliquez sur le bouton Create ClickPipe, le ClickPipe est créé à l’état Provisioning. Le processus de provisionnement consiste à déployer l’infrastructure sous-jacente nécessaire au fonctionnement de ClickPipes pour le service, ainsi qu’à enregistrer les métadonnées initiales du pipe. Comme la capacité de calcul de ClickPipes au sein d’un service est partagée, votre deuxième ClickPipe sera créé bien plus rapidement que le premier — l’infrastructure étant déjà en place.

​

Setup

Après le provisionnement d’un pipe, il passe à l’état Setup. C’est dans cet état que nous créons les tables de destination dans ClickHouse. Nous y récupérons et enregistrons également les définitions des tables sources.

​

Snapshot

Une fois la configuration terminée, le pipe passe à l’état Snapshot (sauf s’il s’agit d’un pipe CDC uniquement, auquel cas il passe à l’état Running). Snapshot, Initial Snapshot et Initial Load (le terme le plus courant) sont interchangeables. Dans cet état, un snapshot des tables MySQL sources est effectué puis chargé dans ClickHouse. Le paramètre de rétention des logs binaires doit être défini de manière à couvrir la durée du chargement initial. Pour en savoir plus sur le chargement initial, consultez la documentation sur le chargement initial en parallèle. Le pipe passe également à l’état Snapshot lorsqu’une resynchronisation est déclenchée ou lorsque de nouvelles tables sont ajoutées à un pipe existant.

​

Running

Une fois le chargement initial terminé, le pipe passe à l’état Running (sauf s’il s’agit d’un pipe limité à un snapshot, auquel cas il passe à l’état Completed). C’est à ce moment-là que le pipe commence la capture des changements de données (CDC). Dans cet état, nous commençons à lire les logs binaires de la base de données source et à synchroniser les données vers ClickHouse par lots. Pour savoir comment contrôler le CDC, consultez la documentation sur le contrôle du CDC.

​

En pause

Une fois le pipe à l’état Running, vous pouvez le mettre en pause. Cela arrête le processus CDC et le pipe passe à l’état Paused. Dans cet état, aucune nouvelle donnée n’est extraite de la base de données source, mais les données déjà présentes dans ClickHouse restent intactes. Vous pouvez reprendre le pipe à partir de cet état.

​

Mise en pause

Cet état sera bientôt disponible. Si vous utilisez notre OpenAPI, pensez à ajouter sa prise en charge dès maintenant afin de garantir que votre intégration continue de fonctionner lors de sa publication.

Lorsque vous cliquez sur le bouton Pause, le pipe passe à l’état Pausing. Il s’agit d’un état transitoire pendant lequel le processus CDC est en cours d’arrêt. Une fois le processus CDC complètement arrêté, le pipe passe à l’état Paused.

​

Modification

Cet état sera bientôt disponible. Si vous utilisez notre OpenAPI, envisagez d’ajouter sa prise en charge dès maintenant afin de garantir que votre intégration continuera de fonctionner lorsqu’il sera disponible.

Actuellement, cela indique que le pipe est en cours de suppression de tables.

​

Resync

Cet état sera bientôt disponible. Si vous utilisez notre OpenAPI, envisagez d’ajouter dès maintenant sa prise en charge afin de garantir que votre intégration continue de fonctionner lorsqu’il sera déployé.

Cet état indique que le pipe se trouve dans la phase de resynchronisation au cours de laquelle il effectue un échange atomique des tables _resync avec les tables d’origine. Pour en savoir plus sur la resynchronisation, consultez la documentation sur la resynchronisation.

​

Terminé

Cet état s’applique aux pipes limités au snapshot et indique que le snapshot est terminé et qu’il n’y a plus rien à faire.

​

Failed

En cas d’erreur irrécupérable dans le pipe, celui-ci passe à l’état Failed. Vous pouvez contacter le support ou resynchroniser votre pipe pour sortir de cet état.