AWS PrivateLink لـ ClickPipes

أنشئ اتصالًا آمنًا بين ClickPipes ومصدر بيانات باستخدام AWS PrivateLink.

يمكنك استخدام AWS PrivateLink لإنشاء اتصال آمن بين شبكات VPC، وخدمات AWS، وأنظمتك داخل بيئتك المحلية، وClickHouse Cloud، من دون تعريض حركة المرور إلى الإنترنت العام.

توضح هذه الوثيقة وظيفة نقطة النهاية الخاصة العكسية في ClickPipes، التي تتيح إعداد نقطة نهاية VPC لـ AWS PrivateLink.

​

مصادر بيانات ClickPipes المدعومة

تقتصر ميزة نقطة نهاية خاصة عكسية في ClickPipes على أنواع مصادر البيانات التالية:

• Kafka
• Postgres
• MySQL
• MongoDB

بالنسبة إلى Kafka، يمكن الوصول إلى سجل المخططات عبر نقطة النهاية الخاصة العكسية نفسها التي تستخدمها الوسطاء — ولا يلزم أن يكون متاحًا عبر الإنترنت العام — شريطة أن يُحل اسم المضيف الخاص به إلى عناوين IP الخاصة بنقطة النهاية.

​

أنواع نقاط نهاية AWS PrivateLink المدعومة

يمكن تهيئة نقطة نهاية خاصة عكسية في ClickPipes باستخدام أحد خيارات AWS PrivateLink التالية:

• مورد VPC
• MSK multi-VPC connectivity for MSK ClickPipe
• VPC endpoint service

​

مورد VPC

الاتصال بين المناطق غير مدعوم.

يمكن الوصول إلى موارد VPC الخاصة بك في ClickPipes باستخدام PrivateLink. ولا يتطلب هذا الأسلوب إعداد موازن حمل أمام مصدر البيانات.

يمكن أن تستهدف تهيئة المورد مضيفًا محددًا أو ARN لعنقود RDS.

وهو الخيار المفضل لـ Postgres CDC عند استيعاب البيانات من عنقود RDS.

لإعداد PrivateLink مع مورد VPC:

1. أنشئ بوابة مورد
2. أنشئ تهيئة مورد
3. أنشئ مشاركة مورد

1. ​

   إنشاء بوابة موارد

   بوابة الموارد هي النقطة التي تستقبل حركة المرور للموارد المحددة داخل VPC لديك.

   يُوصى بأن تتوفر في الشبكات الفرعية المرتبطة ببوابة الموارد لديك عناوين IP كافية. كما يُوصى بأن يكون قناع الشبكة الفرعية لكل شبكة فرعية /26 على الأقل.

   لكل نقطة نهاية VPC (لكل Reverse Private Endpoint)، تتطلب AWS كتلة متتالية من 16 عنوان IP لكل شبكة فرعية. (قناع شبكة فرعية /28) إذا لم يتم استيفاء هذا الشرط، فسوف ينتقل Reverse Private Endpoint إلى حالة فشل.

   يمكنك إنشاء بوابة موارد من وحدة تحكم AWS أو باستخدام الأمر التالي:

   aws vpc-lattice create-resource-gateway \
       --vpc-identifier <VPC_ID> \
       --subnet-ids <SUBNET_IDS> \
       --security-group-ids <SG_IDs> \
       --name <RESOURCE_GATEWAY_NAME>
   

   سيشمل الناتج معرّفًا لـ resource gateway، وستحتاج إليه في الخطوة التالية.

   قبل أن تتمكن من المتابعة، ستحتاج إلى الانتظار حتى تدخل resource gateway في الحالة Active. يمكنك التحقق من الحالة بتشغيل الأمر التالي:

   aws vpc-lattice get-resource-gateway \
       --resource-gateway-identifier <RESOURCE_GATEWAY_ID>
   
2. ​

   إنشاء Resource-Configuration لمورد VPC

   يتم ربط Resource-Configuration ببوابة المورد لإتاحة الوصول إلى موردك.

   يمكنك إنشاء Resource-Configuration من وحدة تحكم AWS أو باستخدام الأمر التالي:

   aws vpc-lattice create-resource-configuration \
       --resource-gateway-identifier <RESOURCE_GATEWAY_ID> \
       --type <RESOURCE_CONFIGURATION_TYPE> \
       --resource-configuration-definition <RESOURCE_CONFIGURATION_DEFINITION> \
       --name <RESOURCE_CONFIGURATION_NAME>
   

   أبسط نوع من أنواع تهيئة المورد هو Resource-Configuration واحدة. يمكنك التهيئة باستخدام ARN مباشرةً، أو مشاركة عنوان IP أو اسم نطاق يمكن حله علنًا.

   على سبيل المثال، للتهيئة باستخدام ARN لعنقود RDS:

   aws vpc-lattice create-resource-configuration \
       --name my-rds-cluster-config \
       --type ARN \
       --resource-gateway-identifier rgw-0bba03f3d56060135 \
       --resource-configuration-definition 'arnResource={arn=arn:aws:rds:us-east-1:123456789012:cluster:my-rds-cluster}'
   

   لا يمكنك إنشاء تهيئة مورد لعنقود متاح للوصول العام. إذا كان عنقودك متاحًا للوصول العام، فيجب تعديل العنقود ليصبح خاصًا قبل إنشاء تهيئة المورد أو استخدام قائمة السماح لعناوين IP بدلًا من ذلك. لمزيد من المعلومات، راجع وثائق AWS.

   سيحتوي الناتج على ARN لتهيئة المورد، وستحتاج إليه في الخطوة التالية. وسيحتوي أيضًا على معرّف تهيئة المورد، والذي ستحتاج إليه لإعداد اتصال ClickPipe باستخدام مورد VPC.

3. ​

   إنشاء Resource-Share

   لمشاركة المورد الخاص بك، يلزم إنشاء Resource-Share. ويتم ذلك من خلال Resource Access Manager (RAM).

   لا يمكن استخدام Resource-Share إلا مع Reverse Private Endpoint واحد، ولا يمكن إعادة استخدامه. إذا كنت بحاجة إلى استخدام Resource-Configuration نفسه مع عدة Reverse Private Endpoints، فيجب إنشاء Resource-Share منفصل لكل endpoint. يظل Resource-Share موجودًا في AWS account الخاص بك بعد حذف Reverse Private Endpoint، ويجب إزالته يدويًا إذا لم تعد بحاجة إليه.

   يمكنك إضافة Resource-Configuration إلى Resource-Share عبر AWS console أو بتشغيل الأمر التالي باستخدام ClickPipes account ID 072088201116 (arn:aws:iam::072088201116:root):

   aws ram create-resource-share \
       --principals 072088201116 \
       --resource-arns <RESOURCE_CONFIGURATION_ARN> \
       --name <RESOURCE_SHARE_NAME>
   

   سيحتوي الناتج على ARN لمشاركة المورد، وستحتاج إليه لإعداد اتصال ClickPipe باستخدام VPC resource.

   أنت الآن جاهز لإنشاء ClickPipe باستخدام Reverse private endpoint مع VPC resource. ستحتاج إلى ما يلي:

   • تعيين VPC endpoint type إلى VPC Resource.
   • تعيين Resource configuration ID إلى معرّف Resource-Configuration الذي تم إنشاؤه في الخطوة 2.
   • تعيين Resource share ARN إلى ARN الخاص بـ Resource-Share الذي تم إنشاؤه في الخطوة 3.

   لمزيد من التفاصيل حول PrivateLink مع VPC resource، راجع وثائق AWS.

​

MSK multi-VPC connectivity

تُعد Multi-VPC connectivity ميزة مضمّنة في AWS MSK تتيح لك ربط عدة شبكات VPC بعنقود MSK واحد. يتوفر دعم private DNS افتراضيًا ولا يتطلب أي إعداد إضافي. لا يتم دعم الاتصال عبر المناطق.

يُوصى بهذا الخيار مع ClickPipes for MSK. راجع دليل بدء الاستخدام لمزيد من التفاصيل.

حدّث سياسة عنقود MSK لديك، وأضف 072088201116 إلى الكيانات المسموح لها بالوصول إلى عنقود MSK. راجع دليل AWS حول إرفاق سياسة عنقود لمزيد من التفاصيل.

اتبع دليل إعداد MSK لـ ClickPipes لمعرفة كيفية إعداد الاتصال.

​

VPC endpoint service

تُعد VPC endpoint service طريقةً أخرى لمشاركة مصدر البيانات لديك مع ClickPipes. ويتطلب ذلك إعداد NLB ‏(Network Load Balancer) أمام مصدر البيانات لديك، وتهيئة VPC endpoint service لاستخدام NLB.

يمكن تهيئة VPC endpoint service باستخدام private DNS، بحيث تكون متاحة داخل VPC الخاصة بـ ClickPipes.

وهي الخيار المفضل في الحالات التالية:

• أي إعداد Kafka محلي يتطلب دعم private DNS
• الاتصال عبر المناطق لـ Postgres CDC
• الاتصال عبر المناطق لـ عنقود MSK. يُرجى التواصل مع فريق دعم ClickHouse للحصول على المساعدة.

راجع دليل البدء لمزيد من التفاصيل.

أضِف معرّف حساب ClickPipes ‏072088201116 إلى الجهات المسموح لها في VPC endpoint service الخاصة بك. راجع دليل AWS بشأن إدارة الأذونات لمزيد من التفاصيل.

يمكن تهيئة الوصول عبر المناطق لـ ClickPipes. أضِف منطقة ClickPipe الخاصة بك إلى المناطق المسموح بها في VPC endpoint service الخاصة بك.

​

إنشاء ClickPipe باستخدام نقطة نهاية خاصة عكسية

1. انتقل إلى SQL Console الخاصة بـ ClickHouse Cloud Service.

2. حدّد زر Data Sources من القائمة الجانبية اليسرى، ثم انقر على “Set up a ClickPipe”

3. حدّد Kafka أو Postgres كمصدر بيانات.

4. حدّد خيار Reverse private endpoint.

5. حدّد أي نقطة نهاية خاصة عكسية موجودة أو أنشئ واحدة جديدة.

إذا كان الوصول عبر المناطق مطلوبًا لـ RDS، فستحتاج إلى إنشاء VPC endpoint service، ويمكن أن يكون هذا الدليل نقطة بداية جيدة لإعدادها.

أما للوصول ضمن المنطقة نفسها، فإن إنشاء مورد VPC هو النهج الموصى به.

6. أدخل المعلمات المطلوبة لنوع endpoint المحدد.

• بالنسبة إلى مورد VPC، أدخل configuration share ARN وconfiguration ID.
  • بالنسبة إلى MSK multi-VPC، أدخل cluster ARN وطريقة المصادقة المستخدمة مع endpoint الذي أنشأته.
  • بالنسبة إلى VPC endpoint service، أدخل اسم الخدمة.

7. انقر على Create وانتظر حتى تصبح نقطة نهاية خاصة عكسية جاهزة.

   إذا كنت تُنشئ endpoint جديدًا، فسيستغرق إعداده بعض الوقت. ستُحدَّث الصفحة تلقائيًا بمجرد أن يصبح endpoint جاهزًا. قد يتطلب VPC endpoint service قبول طلب الاتصال في وحدة تحكم AWS.

8. بعد أن يصبح endpoint جاهزًا، يمكنك استخدام اسم DNS للاتصال بمصدر البيانات.

   في قائمة endpoints، يمكنك رؤية اسم DNS الخاص بالـ endpoint المتاح. وقد يكون هذا إما اسم DNS وفّرته ClickPipes داخليًا أو اسم DNS خاصًا توفّره خدمة PrivateLink. اسم DNS ليس عنوان شبكة كاملًا. أضف Port وفقًا لمصدر البيانات.

   يمكن العثور على connection string الخاص بـ MSK في وحدة تحكم AWS.

   للاطلاع على القائمة الكاملة لأسماء DNS، انتقل إليها من إعدادات الخدمة السحابية.

​

إدارة نقاط النهاية الخاصة العكسية الحالية

يمكنك إدارة نقاط النهاية الخاصة العكسية الحالية في إعدادات خدمة ClickHouse Cloud:

1. في الشريط الجانبي، ابحث عن زر Settings وانقر عليه.

2. انقر على Reverse private endpoints في قسم ClickPipe reverse private endpoints.

   تُعرض المعلومات التفصيلية الخاصة بنقطة النهاية الخاصة العكسية في اللوحة المنبثقة.

   يمكن إزالة نقطة النهاية من هنا. سيؤثر ذلك على أي ClickPipes تستخدم نقطة النهاية هذه.

​

مناطق AWS المدعومة

يقتصر دعم AWS PrivateLink في ClickPipes على مناطق AWS محددة. يرجى الرجوع إلى قائمة مناطق ClickPipes للاطّلاع على المناطق المتاحة.

لا ينطبق هذا القيد على VPC endpoint service عند تفعيل الاتصال عبر المناطق.

​

القيود

لا يوجد ما يضمن أن نقاط نهاية AWS PrivateLink الخاصة بـ ClickPipes التي يتم إنشاؤها في ClickHouse Cloud ستُنشأ في منطقة AWS نفسها التي توجد فيها خدمة ClickHouse Cloud.

حاليًا، خدمة VPC endpoint service وحدها هي التي تدعم الاتصال عبر المناطق.

ترتبط نقاط النهاية الخاصة بخدمة ClickHouse محددة، ولا يمكن نقلها بين الخدمات. ويمكن لعدة ClickPipes ضمن خدمة ClickHouse واحدة إعادة استخدام نقطة النهاية نفسها.

يدعم AWS MSK نقطة PrivateLink (VPC endpoint) واحدة فقط لكل عنقود MSK ولكل نوع authentication ‏(SASL_IAM أو SASL_SCRAM). ونتيجة لذلك، لا يمكن لعدة خدمات ClickHouse Cloud أو مؤسسات إنشاء اتصالات PrivateLink منفصلة إلى عنقود MSK نفسه باستخدام نوع authentication نفسه.

​

التنظيف التلقائي لنقاط النهاية غير النشطة

تُزال نقاط النهاية الخاصة العكسية التي تبقى في حالة نهائية تلقائيًا بعد فترة سماح محددة. وهذا يضمن عدم بقاء نقاط النهاية غير المستخدمة أو المُعدّة بشكل غير صحيح إلى أجل غير مسمى.

تُطبَّق فترات السماح التالية بحسب حالة نقطة النهاية:

الحالة	فترة السماح	الوصف
فشل	7 أيام	واجهت نقطة النهاية خطأ أثناء التهيئة.
بانتظار القبول	يوم واحد	لم يوافق مالك الخدمة بعد على اتصال نقطة النهاية.
مرفوض	يوم واحد	رفض مالك الخدمة اتصال نقطة النهاية.
منتهي الصلاحية	فورًا	انتهت صلاحية نقطة النهاية بالفعل وتُزال مباشرةً.

بمجرد انتهاء فترة السماح، تُحذف نقطة النهاية وجميع الموارد المرتبطة بها تلقائيًا.

لمنع الإزالة التلقائية، عالِج المشكلة الأساسية قبل انتهاء فترة السماح. على سبيل المثال، وافق على طلب اتصال معلّق في AWS Console، أو أعد إنشاء نقطة النهاية إذا دخلت في حالة فشل.