> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-mintlify-fbfa8bee.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# Перенос данных PostgreSQL с помощью источников данных в ClickPipes

> Узнайте, как перенести базу данных PostgreSQL в ClickHouse Managed Postgres с помощью ClickPipes.

export const Image = ({img, alt, size}) => {
  return <Frame>
      <img src={img} alt={alt} />
    </Frame>;
};

export const galaxyOnClick = eventName => () => {
  try {
    if (typeof window !== "undefined" && window.galaxy && eventName) {
      window.galaxy.track(eventName, {
        interaction: "click"
      });
    }
  } catch (e) {}
};

export const BetaBadge = ({link, galaxyTrack, galaxyEvent}) => {
  if (link) {
    return <a href={link} target="_blank" rel="noopener noreferrer" className="betaBadge" onClick={galaxyTrack && galaxyEvent ? galaxyOnClick(galaxyEvent) : undefined}>
                <Icon />
                <span>Бета</span>
            </a>;
  }
  return <div className="betaBadge">
            <Icon />
            <span>
                Возможность в статусе бета. 
                <u>
                    <a href="/docs/beta-and-experimental-features#beta-features">
                        Подробнее.
                    </a>
                </u>
            </span>
        </div>;
};

ClickHouse Cloud теперь предлагает ClickPipes для миграции внешней базы данных PostgreSQL в сервис Managed Postgres. Эта встроенная интеграция упрощает подключение к исходной базе данных, экспорт схемы, её импорт в Managed Postgres и настройку непрерывной репликации.

<div id="prerequisites">
  ## Предварительные требования
</div>

* Доступ к вашей исходной базе данных PostgreSQL с учетной записью пользователя, у которой есть права на репликацию. Следуйте руководству по настройке для соответствующего источника:
  * [Amazon RDS Postgres](/ru/integrations/clickpipes/postgres/source/rds)
  * [Amazon Aurora Postgres](/ru/integrations/clickpipes/postgres/source/aurora)
  * [Supabase Postgres](/ru/integrations/clickpipes/postgres/source/supabase)
  * [Google Cloud SQL Postgres](/ru/integrations/clickpipes/postgres/source/google-cloudsql)
  * [Azure Flexible Server for Postgres](/ru/integrations/clickpipes/postgres/source/azure-flexible-server-postgres)
  * [Neon Postgres](/ru/integrations/clickpipes/postgres/source/neon-postgres)
  * [Crunchy Bridge Postgres](/ru/integrations/clickpipes/postgres/source/crunchy-postgres)
  * [TimescaleDB](/ru/integrations/clickpipes/postgres/source/timescale)
  * [Универсальный источник Postgres](/ru/integrations/clickpipes/postgres/source/generic) для любого другого провайдера или самоуправляемого экземпляра
* Сервис ClickHouse Managed Postgres в качестве целевого сервиса для миграции. Если у вас его еще нет, см. [руководство по быстрому началу](/ru/products/managed-postgres/quickstart).
* На локальной машине должны быть установлены `pg_dump` и `psql`. Оба входят в стандартный набор клиентских инструментов PostgreSQL.

<div id="considerations">
  ## Что нужно учесть перед миграцией
</div>

* **Распространение DDL**: непрерывная репликация (CDC) фиксирует операции DML и `ADD COLUMN`. Другие изменения DDL, такие как `DROP COLUMN` и `ALTER COLUMN`, не распространяются автоматически, и их нужно применять на целевой стороне вручную.

<Note>
  Если во время миграции возникнут проблемы, ознакомьтесь с [FAQ по миграциям Managed Postgres](/ru/products/managed-postgres/migrations/faq), где описаны распространённые ошибки и способы их устранения.
</Note>

<div id="step-1-connect">
  ## Шаг 1: Подключитесь к исходной базе данных
</div>

Откройте [консоль ClickHouse Cloud](https://clickhouse.cloud) и выберите свой сервис Managed Postgres.

<Image img="https://mintcdn.com/private-7c7dfe99-mintlify-fbfa8bee/rF8ZX2ZZNpnwXrqH/images/managed-postgres/pgpg/servicecard.png?fit=max&auto=format&n=rF8ZX2ZZNpnwXrqH&q=85&s=35b4ed98588ee470642dfc7453b14d1a" alt="Карточка сервиса Managed Postgres в списке сервисов ClickHouse Cloud" size="lg" border width="3680" height="2392" data-path="images/managed-postgres/pgpg/servicecard.png" />

На левой боковой панели нажмите **источник данных**.

<Image img="https://mintcdn.com/private-7c7dfe99-mintlify-fbfa8bee/rF8ZX2ZZNpnwXrqH/images/managed-postgres/pgpg/overview.png?fit=max&auto=format&n=rF8ZX2ZZNpnwXrqH&q=85&s=4f33e628dbcd912685a9ccb2faf181a8" alt="Пункт источник данных на боковой панели сервиса Managed Postgres" size="lg" border width="3680" height="2392" data-path="images/managed-postgres/pgpg/overview.png" />

Нажмите **Start import**.

<Image img="https://mintcdn.com/private-7c7dfe99-mintlify-fbfa8bee/rF8ZX2ZZNpnwXrqH/images/managed-postgres/pgpg/startimport.png?fit=max&auto=format&n=rF8ZX2ZZNpnwXrqH&q=85&s=e4a89664b4c89fcc4eb1af0c6b899844" alt="Страница источник данных с кнопкой Start import" size="lg" border width="3680" height="2392" data-path="images/managed-postgres/pgpg/startimport.png" />

Заполните сведения о подключении к исходной базе данных PostgreSQL: host, port, username, password и имя базы данных. Включите **TLS**, если это требуется для исходной базы.

Если вам нужно приватное подключение к исходной базе данных, можно выбрать **SSH tunneling** и указать необходимые параметры SSH. Это позволит миграции безопасно подключаться к базам данных, которые недоступны из публичной сети.

Выберите метод ингестии:

* **Initial load + CDC** — копирует существующие данные, а затем поддерживает синхронизацию целевой системы с последующими изменениями.
* **Initial load only** — однократное копирование без дальнейшей репликации.
* **CDC only** — пропускает начальное копирование и реплицирует только новые изменения, начиная с этого момента.

<Image img="https://mintcdn.com/private-7c7dfe99-mintlify-fbfa8bee/rF8ZX2ZZNpnwXrqH/images/managed-postgres/pgpg/migrationform.png?fit=max&auto=format&n=rF8ZX2ZZNpnwXrqH&q=85&s=fdd536e59d938bedffeed155f32031ae" alt="Шаг 1: форма подключения к исходной базе данных с вариантами метода ингестии" size="lg" border width="3680" height="2392" data-path="images/managed-postgres/pgpg/migrationform.png" />

Нажмите **Next**.

<div id="step-2-export-schema">
  ## Шаг 2: Экспорт схемы базы данных
</div>

Мастер показывает команду `pg_dump`, уже заполненную сведениями о подключении к исходной базе данных. Выполните её в терминале:

<Image img="https://mintcdn.com/private-7c7dfe99-mintlify-fbfa8bee/rF8ZX2ZZNpnwXrqH/images/managed-postgres/pgpg/nextexport.png?fit=max&auto=format&n=rF8ZX2ZZNpnwXrqH&q=85&s=ad7b5842e52e966aa59aba511a4e0fc7" alt="Шаг 2: команда pg_dump для экспорта схемы" size="lg" border width="3680" height="2392" data-path="images/managed-postgres/pgpg/nextexport.png" />

```shell theme={null}
pg_dump \
  -h <source_host> \
  -U <source_user> \
  -d <source_database> \
  --schema-only \
  -f pg.sql
```

Это создаст `pg.sql` в текущем каталоге.

<Image img="https://mintcdn.com/private-7c7dfe99-mintlify-fbfa8bee/rF8ZX2ZZNpnwXrqH/images/managed-postgres/pgpg/psqlexport.png?fit=max&auto=format&n=rF8ZX2ZZNpnwXrqH&q=85&s=035b28f3e653c7a8b0580c2d8b6b5a70" alt="Вывод в терминале после запуска pg_dump" size="lg" border width="1452" height="422" data-path="images/managed-postgres/pgpg/psqlexport.png" />

Нажмите **Далее**.

<div id="step-3-import-schema">
  ## Шаг 3: Импорт схемы в сервис Managed Postgres
</div>

Выберите целевую базу данных в раскрывающемся списке или нажмите **Create a new database**, чтобы создать новую.

Мастер покажет команду `psql`, с помощью которой можно применить дамп схемы в вашем сервисе Managed Postgres. Выполните её в терминале:

<Image img="https://mintcdn.com/private-7c7dfe99-mintlify-fbfa8bee/rF8ZX2ZZNpnwXrqH/images/managed-postgres/pgpg/nextimport.png?fit=max&auto=format&n=rF8ZX2ZZNpnwXrqH&q=85&s=bd31e27b0b1866cc753f02ecb31828b1" alt="Шаг 3: команда psql для импорта схемы" size="lg" border width="3680" height="2392" data-path="images/managed-postgres/pgpg/nextimport.png" />

```shell theme={null}
psql \
  -h <target_host> \
  -p 5432 \
  -U <target_user> \
  -d <target_database> \
  -f pg.sql
```

<Image img="https://mintcdn.com/private-7c7dfe99-mintlify-fbfa8bee/rF8ZX2ZZNpnwXrqH/images/managed-postgres/pgpg/psqlimport.png?fit=max&auto=format&n=rF8ZX2ZZNpnwXrqH&q=85&s=c1c8977b4647ab91cb89bb7fb3e420e9" alt="Вывод терминала после запуска импорта схемы через psql" size="lg" border width="2362" height="762" data-path="images/managed-postgres/pgpg/psqlimport.png" />

Нажмите **Далее**.

<div id="step-4-ingestion-settings">
  ## Шаг 4: Настройка параметров ингестии
</div>

Укажите публикацию, которую нужно использовать для логической репликации. Если оставить это поле пустым, публикация будет создана автоматически.

Разверните **Расширенные настройки репликации**, чтобы настроить пропускную способность:

| Параметр                                            | Значение по умолчанию | Описание                                                     |
| --------------------------------------------------- | --------------------- | ------------------------------------------------------------ |
| Интервал синхронизации (секунды)                    | 10                    | Как часто опрашивается слот репликации                       |
| Параллельные потоки для начальной загрузки          | 4                     | Количество потоков для этапа пакетной загрузки               |
| Размер батча Pull                                   | 100,000               | Количество строк, извлекаемых за один батч репликации        |
| Количество строк снимка на партицию                 | 100000                | Размер партиции для снимков больших таблиц                   |
| Количество таблиц для снимков в параллельном режиме | 1                     | Количество таблиц, для которых снимки создаются одновременно |

<Image img="https://mintcdn.com/private-7c7dfe99-mintlify-fbfa8bee/rF8ZX2ZZNpnwXrqH/images/managed-postgres/pgpg/advancedsettings.png?fit=max&auto=format&n=rF8ZX2ZZNpnwXrqH&q=85&s=46ba5acabe9c33441073e03007a685e7" alt="Шаг 4: форма параметров ингестии с публикацией и расширенными параметрами репликации" size="lg" border width="3680" height="2392" data-path="images/managed-postgres/pgpg/advancedsettings.png" />

Нажмите **Далее**.

<div id="step-5-select-tables">
  ## Шаг 5: Выберите таблицы
</div>

Выберите таблицы, которые нужно реплицировать. Таблицы сгруппированы по схемам. Вы можете выбрать отдельные таблицы или развернуть схему, чтобы выбрать все таблицы в ней.

<Image img="https://mintcdn.com/private-7c7dfe99-mintlify-fbfa8bee/rF8ZX2ZZNpnwXrqH/images/managed-postgres/pgpg/tablepicker.png?fit=max&auto=format&n=rF8ZX2ZZNpnwXrqH&q=85&s=3fc4d8f0b598444b5f5c1c4d1bbad630" alt="Шаг 5: панель выбора таблиц, сгруппированных по схемам, с кнопкой Create migration" size="lg" border width="3680" height="2392" data-path="images/managed-postgres/pgpg/tablepicker.png" />

Нажмите **Create migration**.

<div id="monitor">
  ## Отслеживание миграции
</div>

После создания миграции она появится в списке **источник данных** со статусом **Running**.

<Image img="https://mintcdn.com/private-7c7dfe99-mintlify-fbfa8bee/rF8ZX2ZZNpnwXrqH/images/managed-postgres/pgpg/migrationlist.png?fit=max&auto=format&n=rF8ZX2ZZNpnwXrqH&q=85&s=52e602303778c89396e6bac313e01565" alt="Список источник данных с миграцией в статусе Running" size="lg" border width="3680" height="2392" data-path="images/managed-postgres/pgpg/migrationlist.png" />

Нажмите на миграцию, чтобы открыть подробное представление. На вкладке **Tables** отображается ход начальной загрузки для каждой таблицы, включая количество обработанных строк, число партиций и среднее время на партицию. На вкладке **Metrics** после запуска CDC отображаются задержка репликации и пропускная способность.

<Image img="https://mintcdn.com/private-7c7dfe99-mintlify-fbfa8bee/rF8ZX2ZZNpnwXrqH/images/managed-postgres/pgpg/initialload.png?fit=max&auto=format&n=rF8ZX2ZZNpnwXrqH&q=85&s=df0405da62ed47dcde506b5ff99a297c" alt="Подробное представление миграции со статистикой начальной загрузки по таблицам" size="lg" border width="3680" height="2392" data-path="images/managed-postgres/pgpg/initialload.png" />

<div id="post-migration">
  ## Задачи после миграции
</div>

После завершения начальной загрузки и, если используется CDC, когда задержка репликации близка к нулю:

**Проверьте количество строк.** Выборочно сверьте критически важные таблицы в исходной и целевой системах, прежде чем переключать трафик:

```sql theme={null}
SELECT COUNT(*) FROM public.orders;
```

**Остановите запись в источнике.** Приостановьте запись со стороны приложения. Чтобы принудительно перевести систему в режим только для чтения во время переключения:

```sql theme={null}
ALTER DATABASE <source_db> SET default_transaction_read_only = on;
```

**Убедитесь, что репликация синхронизирована.** Сравните последнюю строку в источнике и в целевой системе:

```sql theme={null}
-- Выполните на источнике и целевой базе данных
SELECT MAX(id), MAX(updated_at) FROM public.orders;
```

**Сбросьте последовательности.** Приведите последовательности в соответствие с текущими максимальными значениями в каждой таблице:

```sql theme={null}
DO $$
DECLARE r RECORD;
BEGIN
    FOR r IN
        SELECT
            n.nspname AS schema_name,
            c.relname AS table_name,
            a.attname AS column_name,
            pg_get_serial_sequence(format('%I.%I', n.nspname, c.relname), a.attname) AS seq_name
        FROM pg_class c
        JOIN pg_namespace n ON n.oid = c.relnamespace
        JOIN pg_attribute a ON a.attrelid = c.oid
        WHERE c.relkind = 'r'
            AND a.attnum > 0
            AND NOT a.attisdropped
            AND n.nspname NOT IN ('pg_catalog', 'information_schema')
    LOOP
        IF r.seq_name IS NOT NULL THEN
            EXECUTE format(
                'SELECT setval(%L, COALESCE((SELECT MAX(%I) FROM %I.%I), 0) + 1, false)',
                r.seq_name, r.column_name, r.schema_name, r.table_name
            );
        END IF;
    END LOOP;
END $$;
```

**Переключите трафик приложения.** Направьте операции чтения и записи на сервис Managed Postgres и отслеживайте ошибки, нарушения ограничений и состояние репликации.

**Выполните очистку.**  После переключения и подтверждения, что новый сервис работает нормально, удалите миграцию из раздела **Источники данных**. Если вы использовали CDC, удалите слот репликации в источнике, чтобы освободить ресурсы:

```sql theme={null}
SELECT pg_drop_replication_slot('<slot_name>');
```

<div id="next-steps">
  ## Следующие шаги
</div>

* [Быстрый старт с Managed Postgres](/ru/products/managed-postgres/quickstart)
* [Сведения о подключении к Managed Postgres](/ru/products/managed-postgres/connection)
* [FAQ по ClickPipes Postgres](/ru/integrations/clickpipes/postgres/faq)