تكامل BigQuery مع ClickHouse Cloud

كيفية تصدير البيانات من BigQuery إلى ClickHouse Cloud باستخدام ClickPipes.

يمكنك التسجيل في قائمة انتظار المعاينة الخاصة من هنا.

يوفّر BigQuery ClickPipe طريقة مُدارة بالكامل وموثوقة لإدخال البيانات من BigQuery إلى ClickHouse Cloud. وفي المعاينة الخاصة، يدعم أسلوب النسخ المتماثل عبر التحميل الأولي لمساعدتك على إجراء تحميل مجمّع لمجموعات بيانات BigQuery بهدف الاستكشاف وبناء النماذج الأولية. وسيجري دعم CDC في المستقبل — وحتى ذلك الحين، نوصي باستخدام Google Cloud Storage ClickPipe لمزامنة بيانات BigQuery المُصدَّرة إلى ClickHouse Cloud بشكل مستمر بعد اكتمال التحميل الأولي.

يمكن نشر BigQuery ClickPipes وإدارتها يدويًا باستخدام واجهة ClickPipes UI، وكذلك برمجيًا باستخدام OpenAPI وTerraform.

​

الميزات

​

التحميل الأولي

سيحمّل ClickPipe الخاص بـ BigQuery الجداول المحددة في مجموعة بيانات BigQuery إلى جداول الوجهة في ClickHouse ضمن عملية دفعية واحدة. وبمجرد اكتمال مهمة الإدخال، يتوقف ClickPipe تلقائيًا. وتتطلب عملية إدخال التحميل الأولي حاوية Google Cloud Storage ‏(GCS) يوفّرها المستخدم لاستخدامها كمنطقة مرحلية. في المستقبل، ستوفّر ClickPipes الحاوية الوسيطة وتتولى إدارتها.

تعتمد ClickPipes على مهام الاستخراج الدفعية لجلب البيانات من BigQuery إلى حاوية GCS المرحلية. ولا تترتب على هذه العملية أي رسوم معالجة في BigQuery.

​

CDC (التقاط بيانات التغيير)

CDC غير متاح في المعاينة الخاصة حاليًا، لكنه سيكون مدعومًا في المستقبل. وحتى ذلك الحين، نوصي باستخدام Google Cloud Storage ClickPipe لمزامنة بيانات BigQuery المُصدَّرة إلى ClickHouse Cloud بشكل مستمر بعد اكتمال التحميل الأولي.

​

تعيين أنواع البيانات

أنواع بيانات BigQuery.

نوع بيانات BigQuery	نوع بيانات ClickHouse	التفاصيل
BOOL	Bool
INT64	Int64
FLOAT64	Float64
NUMERIC	Decimal(P, S)	دقة تصل إلى 38، ومقياس يصل إلى 9، مع الحفاظ على الدقة/المقياس.
BIGNUMERIC	Decimal(P, S)	دقة تصل إلى 76، ومقياس يصل إلى 38، مع الحفاظ على الدقة/المقياس.
STRING	String
BYTES	String
JSON	String (JSON)
DATE	Date
TIME	String	بدقة ميكروثانية.
DATETIME	DateTime	بدقة ميكروثانية.
TIMESTAMP	DateTime64(6)	بدقة ميكروثانية.
GEOGRAPHY	String
GEOMETRY	String
UUID	String
ARRAY<T>	Array(T)
ARRAY<DATE>	Array(Date)
STRUCT (RECORD)	String

​

التحكم في الوصول

​

المصادقة

​

بيانات اعتماد حساب الخدمة

يُجري ClickPipes المصادقة على مشروعك في Google Cloud باستخدام مفتاح حساب خدمة. نوصي بإنشاء حساب خدمة مخصّص بأقل مجموعة مطلوبة من الأذونات للسماح لـ ClickPipes بتصدير البيانات من BigQuery، وتحميلها إلى حاوية GCS مرحلية، ثم قراءتها إلى ClickHouse.

​

الأذونات

​

BigQuery

يجب أن يتضمن حساب الخدمة أدوار BigQuery التالية:

• roles/bigquery.dataViewer
• roles/bigquery.jobUser

ولزيادة تقييد نطاق الوصول، نوصي باستخدام شروط IAM لتقييد الموارد التي يمكن للدور الوصول إليها. على سبيل المثال، يمكنك قصر دور dataViewer على مجموعة البيانات المحددة التي تحتوي على الجداول التي تريد مزامنتها:

resource.name.startsWith("projects/<PROJECT_ID>/datasets/<DATASET_NAME>")

​

Cloud Storage

يجب أن يكون لدى حساب الخدمة أدوار Cloud Storage التالية:

• roles/storage.objectAdmin
• roles/storage.bucketViewer

لتضييق نطاق الوصول بشكل أكبر، نوصي باستخدام شروط IAM لتقييد الموارد التي يمكن للدور الوصول إليها. على سبيل المثال، يمكنك تقييد الدورين objectAdmin وbucketViewer ليقتصرا على الحاوية المخصصة التي أُنشئت لمزامنات ClickPipes.

resource.name.startsWith("projects/_/buckets/<BUCKET_NAME>")