Cycle de vie d'un Postgres ClickPipe

Les différents statuts d’un pipe et leur signification

Ce document présente les différentes phases d’un Postgres ClickPipe, les différents statuts qu’il peut prendre et leur signification.

​

Provisioning

Lorsque vous cliquez sur le bouton Create ClickPipe, le ClickPipe est créé à l’état Provisioning. Le provisionnement consiste à mettre en place l’infrastructure sous-jacente nécessaire à l’exécution de ClickPipes pour le service, ainsi qu’à enregistrer les métadonnées initiales du pipe. Comme la capacité de calcul de ClickPipes au sein d’un service est partagée, votre deuxième ClickPipe sera créé bien plus rapidement que le premier — l’infrastructure étant déjà en place.

​

Setup

Une fois qu’un pipe est provisionné, il passe à l’état Setup. C’est dans cet état que nous créons les tables ClickHouse de destination. Nous y récupérons et enregistrons également les définitions des tables sources.

​

Snapshot

Une fois la configuration terminée, nous passons à l’état Snapshot (sauf s’il s’agit d’un pipe CDC uniquement, qui passe alors à Running). Snapshot, Initial Snapshot et Initial Load (le plus courant) sont des termes utilisés indifféremment. Dans cet état, nous prenons un snapshot des tables de la base de données source et les chargeons dans ClickHouse. Cela n’utilise pas la réplication logique, mais le slot de réplication est créé à cette étape ; vos paramètres max_slot_wal_keep_size et de stockage doivent donc tenir compte de la croissance du slot pendant le chargement initial. Pour plus d’informations sur le chargement initial, consultez la documentation sur le chargement initial parallèle. Le pipe passe également à l’état Snapshot lorsqu’un resync est déclenché ou lorsque de nouvelles tables sont ajoutées à un pipe existant.

​

Running

Une fois le chargement initial terminé, le pipe passe à l’état Running (sauf s’il s’agit d’un pipe de type snapshot-only, qui passe alors à l’état Completed). C’est à ce stade que le pipe commence la capture des changements de données (CDC). Dans cet état, nous lançons la réplication logique depuis la base de données source vers ClickHouse. Pour savoir comment contrôler le CDC, consultez la documentation sur le contrôle du CDC.

​

En pause

Une fois le pipe à l’état Running, vous pouvez le mettre en pause. Cela arrête le processus CDC et le pipe passe à l’état Paused. Dans cet état, aucune nouvelle donnée n’est extraite de la base de données source, mais les données existantes dans ClickHouse restent intactes. Vous pouvez reprendre le pipe à partir de cet état.

​

Pausing

Cet état sera bientôt disponible. Si vous utilisez notre OpenAPI, pensez à ajouter sa prise en charge dès maintenant afin que votre intégration continue de fonctionner lorsqu’il sera disponible.

Lorsque vous cliquez sur le bouton Pause, le pipe passe à l’état Pausing. Il s’agit d’un état transitoire pendant lequel le processus CDC est en cours d’arrêt. Une fois le processus CDC entièrement arrêté, le pipe passe à l’état Paused.

​

Modification en cours

Cet état sera bientôt disponible. Si vous utilisez notre OpenAPI, envisagez d’ajouter dès maintenant sa prise en charge pour garantir que votre intégration continue de fonctionner lorsqu’il sera disponible.

Actuellement, cela indique que le pipe est en train de supprimer des tables.

​

Resync

Cet état sera bientôt disponible. Si vous utilisez notre OpenAPI, envisagez d’ajouter sa prise en charge dès maintenant afin de garantir que votre intégration continue de fonctionner lorsqu’il sera déployé.

Cet état indique que le pipe est dans la phase de resync au cours de laquelle il effectue un swap atomique des tables _resync avec les tables d’origine. Pour en savoir plus sur le resync, consultez la documentation sur le resync.

​

Completed

Cet état s’applique aux pipes de type snapshot-only et indique que le snapshot est terminé et qu’il n’y a plus rien à faire.

​

Failed

S’il y a une erreur irrécupérable dans le pipe, il passera à l’état Failed. Vous pouvez contacter le support ou resync votre pipe pour sortir de cet état.