Cycle de vie d’un ClickPipe MongoDB

Différents statuts d’un pipe et leur signification

Ce document présente les différentes phases d’un ClickPipe MongoDB, les différents statuts qu’il peut avoir et leur signification.

​

Provisioning

Lorsque vous cliquez sur le bouton Create ClickPipe, le ClickPipe est créé à l’état Provisioning. Le processus de provisioning consiste à mettre en place l’infrastructure sous-jacente nécessaire à l’exécution de ClickPipes pour le service, ainsi qu’à enregistrer les métadonnées initiales du pipe. Comme la capacité de calcul de ClickPipes au sein d’un service est partagée, votre deuxième ClickPipe sera créé bien plus rapidement que le premier — l’infrastructure étant déjà en place.

​

Setup

Une fois le pipe provisionné, il passe à l’état Setup. C’est à ce stade que nous créons les tables ClickHouse de destination.

​

Snapshot

Une fois la configuration terminée, on passe à l’état Snapshot (sauf s’il s’agit d’un pipe CDC uniquement, qui passe alors à l’état Running). Snapshot, Initial Snapshot et Initial Load (le plus courant) sont des termes interchangeables. Dans cet état, un snapshot des collections MongoDB source est effectué et chargé dans ClickHouse. Le paramètre de rétention de l’oplog doit tenir compte de la durée du chargement initial. Le pipe passe également à l’état Snapshot lorsqu’une resynchronisation est déclenchée ou lorsque de nouvelles tables sont ajoutées à un pipe existant.

​

Running

Une fois le chargement initial terminé, le pipe passe à l’état Running (sauf s’il s’agit d’un pipe de type snapshot uniquement, auquel cas il passe à l’état Completed). C’est à ce moment que le pipe lance la capture des changements de données (CDC). Dans cet état, nous commençons à transmettre en continu les changements du cluster MongoDB source vers ClickHouse. Pour plus d’informations sur le contrôle de la CDC, consultez la documentation sur le contrôle de la CDC.

​

En pause

Une fois le pipe à l’état Running, vous pouvez le mettre en pause. Cela arrête le processus CDC et le pipe passe à l’état Paused. Dans cet état, aucune nouvelle donnée n’est extraite de la source MongoDB, mais les données existantes dans ClickHouse restent intactes. Vous pouvez relancer le pipe depuis cet état.

​

Mise en pause

Cet état sera bientôt disponible. Si vous utilisez notre OpenAPI, envisagez d’ajouter sa prise en charge dès maintenant afin de garantir que votre intégration continue de fonctionner lorsqu’il sera disponible.

Lorsque vous cliquez sur le bouton Pause, le pipe passe à l’état Pausing. Il s’agit d’un état transitoire pendant lequel le processus CDC est en cours d’arrêt. Une fois le processus CDC complètement arrêté, le pipe passe à l’état Paused.

​

Modification

Cet état sera bientôt disponible. Si vous utilisez notre OpenAPI, envisagez de le prendre en charge dès maintenant afin de garantir que votre intégration continue de fonctionner lorsqu’il sera publié.

Actuellement, cela indique que le pipe est en cours de suppression de tables.

​

Resynchronisation

Cet état sera bientôt disponible. Si vous utilisez notre OpenAPI, pensez à ajouter sa prise en charge dès maintenant afin de garantir que votre intégration continue de fonctionner lors de son déploiement.

Cet état indique que le pipe se trouve dans la phase de resynchronisation au cours de laquelle il effectue un échange atomique des _tables de resynchronisation avec les tables d’origine. Vous trouverez plus d’informations sur la resynchronisation dans la documentation de resynchronisation.

​

Terminé

Cet état s’applique aux pipes d’instantané uniquement et indique que l’instantané est terminé et qu’il n’y a plus rien à faire.

​

Failed

En cas d’error irrécupérable dans le pipe, celui-ci passe à l’état Failed. Vous pouvez contacter le support ou resynchronisation votre pipe pour sortir de cet état.