مصفوفة الدعم

مصفوفات دعم شاملة لتكاملات ClickHouse مع تنسيقات الجداول المفتوحة واتصالات كتالوجات البيانات.

توفّر هذه الصفحة مصفوفات دعم شاملة لتكاملات ClickHouse مع بحيرات البيانات. وهي تغطي الميزات المتاحة لكل تنسيق جداول مفتوح، والكتالوجات التي يمكن لـ ClickHouse الاتصال بها، والإمكانات التي يدعمها كل كتالوج.

​

دعم تنسيقات الجداول المفتوحة

يدعم ClickHouse أربعة من تنسيقات الجداول المفتوحة: Apache Iceberg، وDelta Lake، وApache Hudi، وApache Paimon. اختر تنسيقًا أدناه لعرض مصفوفة الدعم الخاصة به.

المفتاح: ✅ مدعوم | ⚠️ جزئي / تجريبي | ❌ غير مدعوم

Apache Iceberg

الميزة	الحالة	ملاحظات
أنظمة التخزين الخلفية
AWS S3	✅	عبر icebergS3() أو الاسم المستعار iceberg()
GCS	✅	عبر icebergS3() أو الاسم المستعار iceberg()
Azure Blob Storage	✅	عبر icebergAzure()
HDFS	⚠️	عبر icebergHDFS(). مهمل.
نظام الملفات المحلي	✅	عبر icebergLocal()
أساليب الوصول
دالة table function	✅	icebergS3() مع متغيرات لكل نظام تخزين خلفي
محرك table engine	✅	IcebergS3 مع متغيرات لكل نظام تخزين خلفي
قراءات موزعة على مستوى العنقود	✅	icebergS3Cluster, icebergAzureCluster, icebergHDFSCluster
المجموعات المسماة	✅	تعريف مجموعة مسماة
ميزات القراءة
دعم القراءة	✅	دعم كامل لعبارات SELECT مع جميع دوال ClickHouse SQL
تقليم الأقسام	✅	راجع تقليم الأقسام.
التقسيم المخفي	✅	التقسيم المستند إلى تحويلات Iceberg مدعوم
تطور التقسيم	✅	قراءة الجداول ذات مواصفات التقسيم التي تتغير بمرور الوقت مدعومة
تطور المخطط	✅	إضافة الأعمدة وإزالتها وإعادة ترتيبها. راجع تطور المخطط.
ترقية الأنواع / توسيعها	✅	int → long, float → double, decimal(P,S) → decimal(P',S) حيث P’ > P. راجع تطور المخطط.
السفر عبر الزمن / اللقطات	✅	عبر الإعدادات iceberg_timestamp_ms أو iceberg_snapshot_id. راجع السفر عبر الزمن.
حذف حسب الموضع	✅	راجع معالجة الصفوف المحذوفة.
حذف بالمساواة	✅	لمحرك الجدول فقط، بدءًا من v25.8+. راجع معالجة الصفوف المحذوفة.
الدمج عند القراءة	⚠️	تجريبي. مدعوم لـ عمليات الحذف.
إصدارات التنسيق	⚠️	الإصداران v1 وv2 مدعومان. V3 غير مدعوم.
إحصاءات الأعمدة	✅
فلاتر Bloom / ملفات puffin	❌	فهارس Bloom filter في ملفات puffin غير مدعومة
الأعمدة الافتراضية	✅	_path, _file, _size, _time, _etag. راجع الأعمدة الافتراضية.
ميزات الكتابة
إنشاء جدول	✅	تجريبي. يتطلب allow_insert_into_iceberg = 1. بدءًا من v25.7+. راجع إنشاء جدول.
INSERT	✅	Beta بدءًا من 26.2. يتطلب allow_insert_into_iceberg = 1. راجع إدراج البيانات.
DELETE	✅	تجريبية. يتطلب allow_insert_into_iceberg = 1. من خلال ALTER TABLE ... DELETE WHERE. راجع حذف البيانات.
ALTER TABLE (تغييرات المخطط)	✅	تجريبية. يتطلب allow_insert_into_iceberg = 1. إضافة الأعمدة أو حذفها أو تعديلها أو إعادة تسميتها. راجع تطور المخطط.
الدمج	⚠️	تجريبية. يتطلب allow_experimental_iceberg_compaction = 1. يدمج ملفات حذف المواضع في ملفات البيانات. راجع الدمج. عمليات Compaction الأخرى في Iceberg غير مدعومة.
UPDATE / MERGE	❌	غير مدعوم. راجع الدمج.
النسخ عند الكتابة	❌	غير مدعوم
انتهاء صلاحية اللقطات	❌	غير مدعوم
إزالة الملفات اليتيمة	❌	غير مدعوم
كتابة الأقسام	✅	مدعوم.
تعديل الأقسام	❌	تغيير آلية التقسيم من ClickHouse غير مدعوم. يمكن لـ ClickHouse الكتابة إلى جداول Iceberg ذات التقسيم المتطور.
البيانات الوصفية
التفريع والوسوم	❌	مراجع الفروع/الوسوم في Iceberg غير مدعومة
تحديد ملف البيانات الوصفية	✅	يدعم تحديد البيانات الوصفية عبر catalogs، أو سرد الدليل البسيط، أو باستخدام ‘version-hint’، أو عبر مسار محدد. يمكن ضبط ذلك عبر iceberg_metadata_file_path و iceberg_metadata_table_uuid. راجع تحديد ملف البيانات الوصفية.
التخزين المؤقت للبيانات	✅	الآلية نفسها المستخدمة في محركات التخزين S3/Azure/HDFS. راجع ذاكرة التخزين المؤقت للبيانات.
التخزين المؤقت للبيانات الوصفية	✅	تُخزَّن ملفات manifest وملفات البيانات الوصفية مؤقتًا في الذاكرة. وهو مفعّل افتراضيًا عبر use_iceberg_metadata_files_cache. راجع ذاكرة التخزين المؤقت للبيانات الوصفية.

Delta Lake

اعتبارًا من الإصدار 25.6، يقرأ ClickHouse جداول Delta Lake باستخدام نواة Delta Lake المكتوبة بلغة Rust، مما يوفّر دعمًا أوسع للميزات. ومع ذلك، توجد مشكلات معروفة عند الوصول إلى البيانات في Azure Blob Storage. لذلك، تُعطَّل هذه النواة عند قراءة البيانات من Azure Blob Storage. نوضّح أدناه الميزات التي تتطلب هذه النواة.

الميزة	الحالة	ملاحظات
خلفيات التخزين
AWS S3	✅	عبر deltaLake() أو deltaLakeS3()
GCS	✅	عبر deltaLake() أو deltaLakeS3()
Azure Blob Storage	✅	عبر deltaLakeAzure()
HDFS	❌	غير مدعوم
نظام الملفات المحلي	✅	عبر deltaLakeLocal()
أساليب الوصول
دالة جدول	✅	deltaLake() مع متغيرات بحسب خلفية التخزين
محرك جدول	✅	DeltaLake
القراءات الموزعة على مستوى العنقود	✅	deltaLakeCluster، deltaLakeAzureCluster
المجموعات المسماة	✅	مجموعة مسماة
ميزات القراءة
دعم القراءة	✅	دعم كامل لعبارات SELECT مع جميع دوال ClickHouse SQL
تقليم الأقسام	✅	يتطلب Delta Kernel.
تطور المخطط	✅	يتطلب Delta Kernel.
السفر عبر الزمن	✅	يتطلب Delta Kernel.
متجهات الحذف	✅
تعيين الأعمدة	✅
تغذية بيانات التغيير	✅	يتطلب Delta Kernel.
الأعمدة الافتراضية	✅	_path, _file, _size, _time, _etag. راجع الأعمدة الافتراضية.
ميزات الكتابة
INSERT	✅	تجريبي. يتطلب allow_experimental_delta_lake_writes = 1. راجع محرك DeltaLake. ويتطلب Delta Kernel.
DELETE / UPDATE / MERGE	❌	غير مدعوم
CREATE empty table	❌	إنشاء جدول Delta Lake فارغ جديد غير مدعوم. تفترض عملية CREATE TABLE وجود Delta Lake حالي في التخزين الكائني.
التخزين المؤقت
التخزين المؤقت للبيانات	✅	الآلية نفسها المستخدمة في محركات التخزين S3/Azure/HDFS. راجع ذاكرة التخزين المؤقت للبيانات.

Apache Hudi

الميزة	الحالة	ملاحظات
أنظمة التخزين الخلفية
AWS S3	✅	عبر hudi()
GCS	✅	عبر hudi()
Azure Blob Storage	❌	غير مدعوم
HDFS	❌	غير مدعوم
نظام الملفات المحلي	❌	غير مدعوم
طرق الوصول
دالة جدول	✅	hudi()
محرك جدول	✅	Hudi
قراءات موزعة على مستوى العنقود	✅	hudiCluster (S3 فقط)
المجموعات المُسمّاة	✅	وسيطات Hudi
ميزات القراءة
دعم القراءة	✅	دعم كامل لعبارات SELECT مع جميع دوال ClickHouse SQL
تطوّر المخطط	❌	غير مدعوم
السفر عبر الزمن	❌	غير مدعوم
الأعمدة الافتراضية	✅	_path, _file, _size, _time, _etag. راجع الأعمدة الافتراضية.
ميزات الكتابة
INSERT / DELETE / UPDATE	❌	تكامل للقراءة فقط
التخزين المؤقت
التخزين المؤقت للبيانات	❌	غير مدعوم

Apache Paimon

الميزة	الحالة	ملاحظات
واجهات التخزين الخلفية
S3	✅	تجريبي. عبر paimon() أو paimonS3()
GCS	✅	تجريبي. عبر paimon() أو paimonS3()
Azure Blob Storage	✅	تجريبي. عبر paimonAzure()
HDFS	⚠️	تجريبي. عبر paimonHDFS(). متروك.
نظام الملفات المحلي	✅	تجريبي. عبر paimonLocal()
أساليب الوصول
دالة جدول	✅	تجريبي. paimon() مع بدائل لكل واجهة تخزين خلفية
محرك جدول	❌	لا يوجد محرك جدول مخصص
قراءات موزعة عبر المجموعة	✅	تجريبي. paimonS3Cluster، paimonAzureCluster، paimonHDFSCluster
مجموعات مسماة	✅	تجريبي. تعريف مجموعة مسماة
ميزات القراءة
دعم القراءة	✅	تجريبي. دعم كامل لعبارات SELECT مع جميع دوال ClickHouse SQL
تطور المخطط	❌	غير مدعوم
السفر عبر الزمن	❌	غير مدعوم
أعمدة افتراضية	✅	تجريبي. _path, _file, _size, _time, _etag. راجع الأعمدة الافتراضية.
ميزات الكتابة
INSERT / DELETE / UPDATE	❌	تكامل للقراءة فقط
التخزين المؤقت
التخزين المؤقت للبيانات	❌	غير مدعوم

​

دعم الكتالوجات

يمكن لـ ClickHouse الاتصال بكتالوجات البيانات الخارجية باستخدام محرك قاعدة البيانات DataLakeCatalog، الذي يعرِض الكتالوج كقاعدة بيانات في ClickHouse. وتظهر الجداول المسجَّلة في الكتالوج تلقائيًا، ويمكن الاستعلام عنها باستخدام SQL القياسية.

الكتالوجات التالية مدعومة حاليًا. راجع الدليل المرجعي لكل كتالوج للحصول على تعليمات الإعداد الكاملة.

الكتالوج	التنسيقات	القراءة	إنشاء جدول	INSERT	الدليل المرجعي
AWS Glue Catalog	Iceberg	✅ بيتا	❌	❌	دليل Glue catalog
BigLake Metastore	Iceberg	✅ بيتا	❌	❌	دليل BigLake Metastore
Databricks Unity Catalog	Delta, Iceberg	✅ بيتا	✅ بيتا	✅ بيتا	دليل Unity Catalog
Iceberg REST	Iceberg	✅ بيتا	❌	❌	دليل REST catalog
Lakekeeper	Iceberg	✅ بيتا	❌	❌	دليل Lakekeeper catalog
Project Nessie	Iceberg	✅ تجريبي	❌	❌	دليل Nessie catalog
Microsoft OneLake	Iceberg	✅ بيتا	✅ بيتا	✅ بيتا	دليل OneLake catalog

تتطلب جميع تكاملات الكتالوج حاليًا تمكين إعداد تجريبي أو بإصدار بيتا. وباستثناء Microsoft OneLake وDatabricks Unity Catalog، توفّر جميع الكتالوجات وصولًا للقراءة فقط — إذ يمكن الاستعلام عن الجداول، ولكن لا يمكن إنشاؤها أو الكتابة إليها عبر اتصال الكتالوج. ولتحميل البيانات من كتالوج إلى ClickHouse بهدف تسريع التحليلات، استخدم INSERT INTO SELECT كما هو موضح في دليل تسريع التحليلات. وللكتابة مرة أخرى إلى تنسيقات الجداول المفتوحة، أنشئ جداول Iceberg مستقلة كما هو موضح في دليل كتابة البيانات.