> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-mintlify-fbfa8bee.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

> Google Dataflow를 사용해 데이터를 ClickHouse로 수집할 수 있습니다

# Google Dataflow와 ClickHouse 통합

export const ClickHouseSupportedBadge = () => {
  return <div className="ClickHouseSupportedBadge">
            <div className="ClickHouseSupportedIcon">
                <svg width="16" height="16" viewBox="0 0 16 16" fill="none" xmlns="http://www.w3.org/2000/svg">
                    <path d="M1.30762 1.39073C1.30762 1.3103 1.37465 1.22986 1.46849 1.22986H2.64824C2.72868 1.22986 2.80912 1.29689 2.80912 1.39073V14.4886C2.80912 14.5691 2.74209 14.6495 2.64824 14.6495H1.46849C1.38805 14.6495 1.30762 14.5825 1.30762 14.4886V1.39073Z" fill="currentColor" />
                    <path d="M4.2832 1.39073C4.2832 1.3103 4.35023 1.22986 4.44408 1.22986H5.62383C5.70427 1.22986 5.7847 1.29689 5.7847 1.39073V14.4886C5.7847 14.5691 5.71767 14.6495 5.62383 14.6495H4.44408C4.36364 14.6495 4.2832 14.5825 4.2832 14.4886V1.39073Z" fill="currentColor" />
                    <path d="M7.25977 1.39073C7.25977 1.3103 7.3268 1.22986 7.42064 1.22986H8.60039C8.68083 1.22986 8.76127 1.29689 8.76127 1.39073V14.4886C8.76127 14.5691 8.69423 14.6495 8.60039 14.6495H7.42064C7.3402 14.6495 7.25977 14.5825 7.25977 14.4886V1.39073Z" fill="currentColor" />
                    <path d="M10.2354 1.39073C10.2354 1.3103 10.3024 1.22986 10.3962 1.22986H11.576C11.6564 1.22986 11.7369 1.29689 11.7369 1.39073V14.4886C11.7369 14.5691 11.6698 14.6495 11.576 14.6495H10.3962C10.3158 14.6495 10.2354 14.5825 10.2354 14.4886V1.39073Z" fill="currentColor" />
                    <path d="M13.2256 6.6057C13.2256 6.52526 13.2926 6.44482 13.3865 6.44482H14.5662C14.6466 6.44482 14.7271 6.51186 14.7271 6.6057V9.27354C14.7271 9.35398 14.6601 9.43442 14.5662 9.43442H13.3865C13.306 9.43442 13.2256 9.36739 13.2256 9.27354V6.6057Z" fill="currentColor" />
                </svg>
            </div>
            ClickHouse 지원
        </div>;
};

[Google Dataflow](https://cloud.google.com/dataflow)는 완전 관리형 스트림 및 배치 데이터 처리 서비스입니다. Java 또는 Python으로 작성된 파이프라인을 지원하며, Apache Beam SDK를 기반으로 합니다.

ClickHouse와 함께 Google Dataflow를 사용하는 주요 방법은 두 가지이며, 두 방법 모두 [`ClickHouseIO Apache Beam connector`](/ko/integrations/connectors/data-ingestion/etl-tools/apache-beam)를 활용합니다.
다음과 같습니다.

* [Java runner](#1-java-runner)
* [미리 정의된 템플릿](#2-predefined-templates)

<div id="1-java-runner">
  ## Java runner
</div>

[Java runner](/ko/integrations/connectors/data-ingestion/GCP/google-dataflow/java-runner)를 사용하면 Apache Beam SDK `ClickHouseIO` 통합을 이용해 사용자 지정 Dataflow 파이프라인을 구현할 수 있습니다. 이 방식은 파이프라인 로직을 완전히 유연하게 제어할 수 있으므로, 특정 요구 사항에 맞게 ETL 프로세스를 조정할 수 있습니다.
하지만 이 옵션을 사용하려면 Java 프로그래밍 지식과 Apache Beam 프레임워크에 대한 이해가 필요합니다.

<div id="key-features">
  ### 주요 기능
</div>

* 사용자 지정 범위가 넓습니다.
* 복잡하거나 고급 사용 사례에 적합합니다.
* 코딩이 필요하며 Beam API를 이해해야 합니다.

<div id="2-predefined-templates">
  ## 미리 정의된 템플릿
</div>

ClickHouse는 BigQuery에서 데이터를 일괄로 가져오거나 Pub/Sub에서 ClickHouse로 스트리밍 방식으로 수집하는 등 특정 사용 사례를 위해 설계된 [미리 정의된 템플릿](/ko/integrations/connectors/data-ingestion/GCP/google-dataflow/templates)을 제공합니다. 이러한 템플릿은 즉시 사용할 수 있으며 통합 과정을 간소화하므로, 코드 작성이 필요 없는 솔루션을 선호할 때 매우 적합한 선택지입니다.

<div id="key-features">
  ### 주요 기능
</div>

* Beam 코드를 작성할 필요가 없습니다.
* 간단한 사용 사례는 빠르고 쉽게 설정할 수 있습니다.
* 프로그래밍 경험이 많지 않아도 적합합니다.

두 방식 모두 Google Cloud 및 ClickHouse 생태계와 완벽하게 호환되며, 기술 수준과 프로젝트 요구 사항에 따라 유연하게 선택할 수 있습니다.