OpenAPI 経由で MongoDB ClickPipes をスケーリングする

OpenAPI 経由で MongoDB ClickPipes をスケーリングする方法

ほとんどのユーザーにこの API は必要ありません

DB ClickPipes のデフォルト設定は、大半のワークロードに追加設定なしで対応できるよう設計されています。ワークロードにスケーリングが必要だと思われる場合は、サポートケースを作成してください。ユースケースに最適な設定をご案内します。

スケーリング API は、次のような場合に役立つことがあります。

• 大規模な初期ロード (4 TB 超)
• 中程度のデータ量をできるだけ短時間で移行したい場合
• 同じサービスで 8 個を超える CDC ClickPipes をサポートする場合

スケールアップを試みる前に、次の点を検討してください。

• ソース DB に十分な空き容量があることを確認する
• CDC の遅延を引き起こしている可能性がある 同期間隔と pull バッチサイズの設定 を確認する

スケールを上げると、ClickPipes のコンピュートコストも比例して増加します。 初期ロードのためだけにスケールアップする場合は、想定外の請求を避けるため、スナップショットの完了後にスケールダウンすることが重要です。料金の詳細については、ClickPipes の料金を参照してください。

​

このプロセスの前提条件

開始する前に、以下が必要です。

1. 対象の ClickHouse Cloud サービスに対する Admin 権限を持つ ClickHouse API キー。
2. そのサービス内で、過去のいずれかの時点で DB ClickPipe (Postgres、MySQL、または MongoDB) がプロビジョニングされていること。CDC インフラストラクチャは最初の ClickPipe の作成時にあわせて作成され、スケーリング用エンドポイントはその時点以降に利用可能になります。

​

DB ClickPipes のスケーリング手順

コマンドを実行する前に、次の環境変数を設定します。

ORG_ID=<Your ClickHouse organization ID>
SERVICE_ID=<Your ClickHouse service ID>
KEY_ID=<Your ClickHouse key ID>
KEY_SECRET=<Your ClickHouse key secret>

現在のスケーリング設定を取得します (任意) :

curl --silent --user $KEY_ID:$KEY_SECRET \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
| jq

# 結果の例:
{
  "result": {
    "replicaCpuMillicores": 2000,
    "replicaMemoryGb": 8
  },
  "requestId": "04310d9e-1126-4c03-9b05-2aa884dbecb7",
  "status": 200
}

希望するスケーリングを設定します。サポートされる構成は、1～24 CPU コアで、メモリ (GB) はコア数の4倍です：

cat <<EOF | tee cdc_scaling.json
{
  "replicaCpuMillicores": 24000,
  "replicaMemoryGb": 96
}
EOF

curl --silent --user $KEY_ID:$KEY_SECRET \
-X PATCH -H "Content-Type: application/json" \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
-d @cdc_scaling.json | jq

設定が反映されるまで待ちます (通常は 3～5 分です) 。スケーリングが完了すると、GET エンドポイントにも新しい値が反映されます。

curl --silent --user $KEY_ID:$KEY_SECRET \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
| jq

# 結果の例:
{
  "result": {
    "replicaCpuMillicores": 24000,
    "replicaMemoryGb": 96
  },
  "requestId": "5a76d642-d29f-45af-a857-8c4d4b947bf0",
  "status": 200
}