إنشاء أول ClickPipe على BigQuery

دليل إرشادي خطوة بخطوة لإنشاء أول ClickPipe على BigQuery.

يمكنك التسجيل في قائمة انتظار المعاينة الخاصة من هنا.

يوفّر BigQuery ClickPipe طريقة مُدارة بالكامل وموثوقة لإدخال البيانات من BigQuery إلى ClickHouse Cloud. وفي المعاينة الخاصة، يدعم أسلوب النسخ المتماثل عبر التحميل الأولي لمساعدتك على إجراء تحميل مجمّع لمجموعات بيانات BigQuery بهدف الاستكشاف وبناء النماذج الأولية. وسيجري دعم CDC في المستقبل — وحتى ذلك الحين، نوصي باستخدام Google Cloud Storage ClickPipe لمزامنة بيانات BigQuery المُصدَّرة إلى ClickHouse Cloud بشكل مستمر بعد اكتمال التحميل الأولي.

يمكن نشر BigQuery ClickPipes وإدارتها يدويًا باستخدام واجهة ClickPipes UI، وكذلك برمجيًا باستخدام OpenAPI وTerraform.

​

المتطلبات المسبقة

• يجب أن تكون لديك امتيازات إدارة حسابات الخدمة وأدوار IAM في مشروع GCP الخاص بك، أو الاستعانة بمسؤول. نوصي بإنشاء حساب خدمة مخصص بأقل مجموعة مطلوبة من الأذونات، وفقًا لـالوثائق الرسمية.

• تتطلب عملية التحميل الأولي حاوية Google Cloud Storage ‏(GCS) يوفّرها المستخدم لأغراض التخزين المرحلي. نوصي بإنشاء حاوية مخصصة لـ ClickPipe الخاص بك وفقًا لـالوثائق الرسمية. مستقبلاً، ستُوفَّر الحاوية الوسيطة وتُدار بواسطة ClickPipes.

1. ​

   اختر مصدر البيانات

   1. في ClickHouse Cloud، اختر Data sources من قائمة التنقل الرئيسية، ثم انقر على Create ClickPipe.

   2. انقر على لوحة BigQuery.

2. ​

   أعدّ اتصال ClickPipe الخاص بك

   لإعداد ClickPipe جديد، يجب تقديم تفاصيل الاتصال بمخزن بيانات BigQuery والمصادقة عليه، بالإضافة إلى حاوية GCS مرحلية.

   1. ارفع مفتاح .json الخاص بحساب الخدمة الذي أنشأته لـ ClickPipes. تأكد من أن حساب الخدمة يمتلك الحد الأدنى المطلوب من الأذونات.

   2. اختر Replication method. في مرحلة Private Preview، الخيار المدعوم الوحيد هو Initial load only.

   3. أدخل مسار حاوية GCS لاستخدامها في تخزين البيانات مرحليًا أثناء التحميل الأولي.

   4. انقر على Next للتحقق.

3. ​

   اضبط ClickPipe الخاص بك

   استنادًا إلى حجم مجموعة بيانات BigQuery لديك، أو الحجم الإجمالي للجداول التي تريد مزامنتها، قد تحتاج إلى تعديل إعدادات الاستيعاب الافتراضية لـ ClickPipe.

4. ​

   اضبط الجداول

   1. اختر قاعدة بيانات ClickHouse التي تريد نسخ جداول BigQuery إليها. يمكنك اختيار قاعدة بيانات موجودة أو إنشاء قاعدة جديدة.

   2. اختر الجداول، وعند الحاجة الأعمدة، التي تريد نسخها. لن تظهر إلا مجموعات البيانات التي يملك حساب الخدمة المقدم صلاحية الوصول إليها.

   3. لكل جدول محدد، احرص على تحديد مفتاح فرز مخصص ضمن Advanced settings > Use a custom sorting key. مستقبلًا، سيُستدل على مفتاح الفرز تلقائيًا استنادًا إلى مفاتيح التجميع العنقودي أو مفاتيح التقسيم الموجودة في قاعدة البيانات الأصلية.

   يجب تحديد مفتاح فرز للجداول المنسوخة لتحسين أداء الاستعلامات في ClickHouse. وإلا فسيُضبط مفتاح الفرز على tuple()، ما يعني عدم إنشاء فهرس أساسي، وسيُجري ClickHouse فحصًا كاملًا للجدول في جميع الاستعلامات عليه.

5. ​

   اضبط الأذونات

   أخيرًا، يمكنك ضبط أذونات مستخدم ClickPipes الداخلي.

   Permissions: سينشئ ClickPipes مستخدمًا مخصصًا لكتابة البيانات إلى الجدول الوجهة. يمكنك اختيار دور لهذا المستخدم الداخلي باستخدام دور مخصص أو أحد الأدوار المحددة مسبقًا:

   • Full access: وصول كامل إلى العنقود. مطلوب إذا كنت تستخدم العروض المادية أو القواميس مع الجدول الوجهة.
   • Only destination: أذونات إدراج إلى الجدول الوجهة فقط.
6. ​

   أكمل الإعداد

   انقر على Create ClickPipe لإكمال الإعداد. ستتم إعادة توجيهك إلى صفحة النظرة العامة، حيث يمكنك متابعة تقدم التحميل الأولي والنقر للاطلاع على تفاصيل BigQuery ClickPipes الخاصة بك.