integração com o ClickHouse

Replique seus dados do Postgres para o ClickHouse usando recursos nativos de CDC

Toda instância do Managed Postgres vem com recursos nativos de CDC para qualquer um dos seus serviços ClickHouse. Isso permite mover parte ou todos os dados da sua instância do Postgres para o ClickHouse e fazer com que as alterações de dados no Postgres sejam refletidas no ClickHouse de forma contínua e quase em tempo real. Isso é viabilizado pelo ClickPipes nos bastidores.

Para acessar esse recurso, clique em integração com o ClickHouse na barra lateral da sua instância do Postgres.

Antes de prosseguir, certifique-se de que seu serviço Postgres esteja acessível ao serviço ClickPipes. Isso deve ocorrer por padrão, mas, se você tiver restringido o acesso por IP, talvez precise conceder acesso a alguns IPs de origem desta lista aqui, com base na região em que seu serviço ClickHouse está localizado.

Clique em Replicate data in ClickHouse para começar a configurar seu ClickPipe.

1. ​

   Configure o serviço de replicação

   Preencha as configurações de replicação:

   • Integration name: Um nome para este ClickPipe
   • serviço ClickHouse: Selecione um serviço do ClickHouse Cloud existente ou crie um novo
   • Postgres database: O banco de dados de origem a partir do qual replicar
   • Replication method: Escolha uma das opções:
     • Initial load + CDC: Importe os dados existentes e mantenha as tabelas atualizadas com novas alterações (recomendado)
     • Initial load only: Snapshot único dos dados existentes, sem atualizações contínuas
     • CDC only: Ignore o snapshot inicial e capture apenas novas alterações daqui em diante

   Clique em Next para continuar.

2. ​

   Configure as opções de replicação

   Ajuste como os dados são replicados:

   • Sync interval (seconds): Com que frequência as alterações são extraídas do Postgres (padrão: 60)
   • Parallel threads for initial load: Número de threads usadas durante o snapshot inicial (padrão: 4)
   • Pull batch size: Número de linhas buscadas por batch durante a replicação (padrão: 100000)
   • Snapshot number of rows per partition: Número de linhas por partição durante o snapshot inicial (padrão: 100000)
   • Snapshot number of tables in parallel: Quantas tabelas têm snapshot feito em paralelo (padrão: 1)

   Clique em Next para continuar.

3. ​

   Selecione as tabelas a serem replicadas

   Escolha um banco de dados de destino e selecione quais tabelas replicar:

   • Destination database: Selecione um banco de dados ClickHouse existente ou crie um novo
   • Prefix default destination table names with schema name: Adiciona o schema do Postgres como prefixo para evitar conflitos de nomenclatura
   • Preserve NULL values from source: Mantém os valores NULL em vez de convertê-los em valores padrão
   • Remove deleted rows during merges: Para tabelas ReplacingMergeTree, remove fisicamente as linhas excluídas durante os merges em segundo plano

   Expanda os schemas e selecione tabelas individuais para replicar. Você também pode personalizar os nomes das tabelas de destino e as configurações de coluna.

   Clique em Replicate data to ClickHouse para iniciar a replicação.

4. ​

   Monitore seu ClickPipe

   Assim que o ClickPipe iniciar, ele aparecerá listado no mesmo menu. O snapshot inicial de todos os dados pode levar algum tempo, dependendo do tamanho das suas tabelas.

   Clique no nome da integração para ver o status detalhado, acompanhar o progresso, ver erros e gerenciar o ClickPipe. Consulte Lifecycle of a Postgres ClickPipe para entender os diferentes estados em que seu ClickPipe pode estar.