> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-mintlify-fbfa8bee.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

> 使用 Prometheus 指标监控 ClickPipes。

# 监控 ClickPipes

除了 Console 中的监控外，ClickPipes 还会将指标暴露到 [Prometheus 兼容端点](/zh/products/cloud/features/monitoring/prometheus) 供抓取。这些指标会与其他 ClickHouse Cloud 服务指标一并发布，使你能够将 ClickPipes 监控集成到现有的可观测性技术栈中 (例如 [Grafana](/zh/products/cloud/features/monitoring/prometheus#integrating-with-grafana) 和 [Datadog](/zh/products/cloud/features/monitoring/prometheus#integrating-with-datadog)) 。

<div id="metric-labels">
  ## 指标标记
</div>

ClickPipes 指标使用[标准服务级标记](/zh/products/cloud/features/monitoring/prometheus#metric-labels) (`clickhouse_org`、`clickhouse_service`、`clickhouse_service_name`) ，以及以下 ClickPipes 专用标记：

| 标记                 | 说明                                                    |
| ------------------ | ----------------------------------------------------- |
| `clickpipe_id`     | ClickPipe 的唯一标识符                                      |
| `clickpipe_name`   | ClickPipe 的名称                                         |
| `clickpipe_source` | 源类型 (例如 `kafka`、`postgres`、`s3`)                      |
| `clickpipe_state`  | ClickPipe 的状态 (例如 `Stopped`、`Provisioning`、`Running`) |

<div id="sample-response">
  ### 示例响应
</div>

以下展示了 ClickPipes 指标在 Prometheus 抓取响应中的样子：

```response theme={null}
# HELP ClickPipes_Info 始终等于 1。标记 "clickpipe_state" 包含管道的当前状态：Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1

# HELP ClickPipes_FetchedEvents_Total 从数据源拉取的记录总数。
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376

# HELP ClickPipes_SentEvents_Total 发送到 ClickHouse 的记录总数
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250

# HELP ClickPipes_FetchedBytes_Total 从数据源拉取的未压缩字节总数。
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202

# HELP ClickPipes_SentBytes_Total 发送到 ClickHouse 的未压缩字节总数。
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967

# HELP ClickPipes_Errors_Total 数据摄取过程中的错误总数。
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0

# HELP ClickPipes_Latency 从记录生成到写入 ClickHouse 之间的时间（毫秒）。
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340
```

<div id="available-metrics">
  ## 可用指标
</div>

<div id="metrics-data-transfer">
  ### 数据传输
</div>

| 指标                                         | 类型  | 描述                                                           |
| ------------------------------------------ | --- | ------------------------------------------------------------ |
| `ClickPipes_FetchedBytes_Total`            | 计数器 | 从源端拉取的未压缩字节总量。                                               |
| `ClickPipes_FetchedBytesCompressed_Total`  | 计数器 | 从源端拉取的压缩字节总量。如果源数据未压缩，则与 `ClickPipes_FetchedBytes_Total` 等同。 |
| `ClickPipes_FetchedBytesInitialLoad_Total` | 计数器 | **CDC ClickPipes** 在初始加载阶段拉取的未压缩字节总量。                        |
| `ClickPipes_FetchedBytesResync_Total`      | 计数器 | **CDC ClickPipes** 在重新同步期间拉取的未压缩字节总量。                        |
| `ClickPipes_SentBytes_Total`               | 计数器 | 发送到 ClickHouse 的未压缩字节总量。                                     |
| `ClickPipes_SentBytesCompressed_Total`     | 计数器 | 发送到 ClickHouse 的压缩字节总量。                                      |

<div id="metrics-events">
  ### 事件和记录
</div>

| 指标                                  | 类型      | 说明                                                                                  |
| ----------------------------------- | ------- | ----------------------------------------------------------------------------------- |
| `ClickPipes_FetchedEvents_Total`    | Counter | 从源端拉取的记录总数。                                                                         |
| `ClickPipes_SentEvents_Total`       | Counter | 发送到 ClickHouse 的记录总数。                                                               |
| `ClickPipes_FetchedEvents_PerTable` | Gauge   | **CDC ClickPipes** 按目标端表和事件类型统计的已拉取记录数。使用额外的 `destination_table` 和 `event_type` 标记。 |

<div id="metrics-errors">
  ### 错误
</div>

| 指标                        | 类型  | 描述                                                                |
| ------------------------- | --- | ----------------------------------------------------------------- |
| `ClickPipes_Errors_Total` | 计数器 | 摄取过程中发生的[错误](/zh/integrations/clickpipes/home#error-reporting)总数。 |

<div id="metrics-latency">
  ### 延迟
</div>

| 指标                                        | 类型            | 描述                                                                                       |
| ----------------------------------------- | ------------- | ---------------------------------------------------------------------------------------- |
| `ClickPipes_Latency`                      | Gauge (*avg*) | 从记录在源端生成到写入 ClickHouse 之间的时间，单位为毫秒。                                                      |
| `ClickPipes_SourceReplicationLatency_MiB` | Gauge (*avg*) | **CDC ClickPipes** 在源端的复制滞后量，单位为 MiB。对于 Postgres ClickPipes，这反映的是 replication slot 的滞后量。 |

<div id="metrics-resources">
  ### 资源使用
</div>

| 指标                               | 类型             | 描述                        |
| -------------------------------- | -------------- | ------------------------- |
| `ClickPipes_Replica_CPUUsage`    | Gauge (*avg*)  | 用于摄取的副本的平均 CPU 使用量，单位为毫核。 |
| `ClickPipes_Replica_CPULimit`    | Gauge (*last*) | 用于摄取的副本配置的 CPU 限制，单位为毫核。  |
| `ClickPipes_Replica_MemoryUsage` | Gauge (*avg*)  | 用于摄取的副本的平均内存使用量，单位为字节。    |
| `ClickPipes_Replica_MemoryLimit` | Gauge (*last*) | 用于摄取的副本配置的内存限制，单位为字节。     |

<div id="metrics-state">
  ### 状态和进度
</div>

| 指标                              | 类型    | 描述                                               |
| ------------------------------- | ----- | ------------------------------------------------ |
| `ClickPipes_Info`               | Gauge | 始终等于 `1`。使用 `clickpipe_state` 标记根据管道状态进行过滤或触发告警。 |
| `ClickPipes_LastFetchedBatchId` | Gauge | 从源拉取的最后一个批次的 ID。                                 |
| `ClickPipes_LastSentBatchId`    | Gauge | 发送到 ClickHouse 的最后一个批次的 ID。                      |

<div id="related">
  ## 相关页面
</div>

* [Prometheus 端点](/zh/products/cloud/features/monitoring/prometheus) — 面向外部工具 (如 Grafana、Datadog) 的端点参考、身份验证和设置
* [错误报告](/zh/integrations/clickpipes/home#error-reporting) — 记录级错误和系统错误的存储位置
