Contrôler la synchronisation d’un Postgres ClickPipe
Documentation sur le contrôle de la synchronisation d’un Postgres ClickPipe
Ce document décrit comment gérer la synchronisation d’un Postgres ClickPipe lorsque le ClickPipe est en mode CDC (Running).
Les ClickPipes de base de données reposent sur une architecture composée de deux processus parallèles : l’extraction depuis la base de données source et l’envoi vers la base de données cible. Le processus d’extraction est contrôlé par une configuration de synchronisation qui définit la fréquence d’extraction des données et la quantité de données extraite à chaque fois. Par « à chaque fois », nous entendons un lot, puisque le ClickPipe extrait et envoie les données par lots.
Il existe deux principales façons de contrôler la synchronisation d’un Postgres ClickPipe. Le ClickPipe commencera à envoyer les données dès que l’un des paramètres ci-dessous entrera en jeu.
L’intervalle de synchronisation du pipe correspond à la durée (en secondes) pendant laquelle le ClickPipe récupère les enregistrements depuis la base de données source. Le temps nécessaire pour envoyer les données récupérées vers ClickHouse n’est pas inclus dans cet intervalle.
La valeur par défaut est de 1 minute.
L’intervalle de synchronisation peut être défini sur n’importe quelle valeur entière positive, mais il est recommandé de le maintenir au-dessus de 10 secondes.
La taille du lot d’extraction correspond au nombre d’enregistrements que le ClickPipe extrait de la base de données source en un seul lot. Par enregistrements, on entend les insertions, mises à jour et suppressions effectuées sur les tables faisant partie du pipe.
La valeur par défaut est de 100,000 enregistrements.
Un maximum prudent est de 10 millions.
Lorsqu’une transaction est exécutée sur la base de données source, le ClickPipe attend de recevoir le COMMIT de la transaction avant de poursuivre. Cela prend le pas sur l’intervalle de synchronisation et la taille du lot d’extraction.
Vous pouvez définir l’intervalle de synchronisation et la taille du lot d’extraction lorsque vous créez un ClickPipe ou modifiez un ClickPipe existant.
Lors de la création d’un ClickPipe, ces paramètres apparaissent à la deuxième étape de l’assistant de création, comme illustré ci-dessous :
Pour modifier un ClickPipe existant, accédez à l’onglet Paramètres du pipe, mettez le pipe en pause, puis cliquez sur Configurer ici :
Un volet contenant les paramètres de synchronisation s’ouvre alors, dans lequel vous pouvez modifier l’intervalle de synchronisation et la taille du lot d’extraction :
Voyons comment utiliser ces paramètres pour gérer un slot de réplication volumineux pour un pipe CDC.
Le temps d’envoi vers ClickHouse n’évolue pas linéairement avec le temps d’extraction depuis la base de données source. On peut s’en servir pour réduire la taille d’un slot de réplication volumineux.
En augmentant à la fois l’intervalle de synchronisation et la taille du lot d’extraction, le ClickPipe extraira une très grande quantité de données de la base de données source en une seule fois, puis les enverra à ClickHouse.
Vous pouvez voir combien de temps prend chaque lot dans le tableau CDC Syncs de l’onglet Metrics du ClickPipe. Notez que la durée indiquée ici inclut le temps d’envoi et que, même si aucune ligne n’est reçue, le ClickPipe attend ; ce temps d’attente est également inclus dans la durée.
Dernière modification le 29 juin 2026