الانتقال إلى المحتوى الرئيسي
هذا الدليل جزء من مجموعة من الخلاصات المستمدة من لقاءات المجتمع. وتعرض النتائج الواردة في هذه الصفحة خبرات المجتمع في تحسين التكلفة عند استخدام ClickHouse، وهي ممارسات أثبتت فعاليتها ضمن تجاربهم وبيئاتهم الخاصة. ولمزيد من الحلول العملية والرؤى المستندة إلى الواقع، يمكنك التصفح حسب المشكلة المحددة. تعرّف على كيفية مساهمة ClickHouse Cloud في إدارة التكاليف التشغيلية.

​
استراتيجية الضغط: LZ4 مقابل ZSTD في بيئة الإنتاج

عندما احتاجت Microsoft Clarity إلى التعامل مع مئات التيرابايت من البيانات، اكتشفت أن خيارات الضغط لها آثار كبيرة على التكلفة. وعند هذا الحجم، يصبح كل قدر من الوفر في التخزين مهمًا، وقد واجهت مفاضلةً كلاسيكية: الأداء مقابل تكاليف التخزين. تتعامل Microsoft Clarity مع أحجام هائلة من البيانات—بيتابايتان من البيانات غير المضغوطة شهريًا عبر جميع الحسابات، مع معالجة نحو 60,000 استعلام في الساعة عبر ثماني عقد، وخدمة مليارات مشاهدات الصفحات من ملايين مواقع الويب. وعند هذا الحجم، تصبح استراتيجية الضغط عاملًا حاسمًا في التكلفة. استخدموا في البداية ضغط LZ4 الافتراضي في ClickHouse، لكنهم اكتشفوا أن من الممكن تحقيق وفورات كبيرة في التكلفة باستخدام ZSTD. وفي حين أن LZ4 أسرع، فإن ZSTD يوفّر ضغطًا أفضل مقابل أداء أبطأ قليلًا. وبعد اختبار النهجين، اتخذوا قرارًا استراتيجيًا بإعطاء الأولوية لتوفير مساحة التخزين. وكانت النتائج كبيرة: توفير بنسبة 50% في التخزين على الجداول الكبيرة، مع تأثير محدود يمكن التعامل معه على الإدخال والاستعلامات. النتائج الرئيسية:
  • توفير بنسبة 50% في التخزين على الجداول الكبيرة من خلال ضغط ZSTD
  • قدرة شهرية على معالجة 2 بيتابايت من البيانات
  • تأثير محدود يمكن التعامل معه على الإدخال والاستعلامات
  • خفض كبير في التكلفة على نطاق مئات التيرابايت

​
استراتيجية الاحتفاظ القائمة على الأعمدة

تُعَدّ إحدى أقوى تقنيات تحسين التكلفة تحليلَ الأعمدة المستخدمة فعليًا. وتطبّق Microsoft Clarity استراتيجيات متقدمة للاحتفاظ القائم على الأعمدة بالاستفادة من إمكانات telemetry المضمّنة في ClickHouse. ويوفّر ClickHouse مقاييس مفصلة لاستخدام التخزين حسب العمود، إلى جانب query patterns شاملة: ما الأعمدة التي يُجرى الوصول إليها، ومدى تكرار ذلك، ومدة الاستعلام، وإحصاءات الاستخدام العامة. يُمكّن هذا النهج القائم على البيانات من اتخاذ قرارات استراتيجية بشأن سياسات الاحتفاظ وإدارة دورة حياة الأعمدة. ومن خلال تحليل telemetry data هذه، يمكن لـ Microsoft تحديد storage hot spots، أي الأعمدة التي تستهلك مساحة كبيرة مع تلقيها عددًا محدودًا من الاستعلامات. وبالنسبة إلى هذه الأعمدة منخفضة الاستخدام، يمكنها تطبيق سياسات احتفاظ صارمة، فتُخفَّض مدة التخزين من 30 شهرًا إلى شهر واحد فقط، أو تُحذف الأعمدة بالكامل إذا لم يُستعلَم عنها مطلقًا. وتُسهم استراتيجية الاحتفاظ الانتقائي هذه في خفض تكاليف التخزين من دون التأثير في تجربة المستخدم. الاستراتيجية:
  • تحليل أنماط استخدام الأعمدة باستخدام telemetry في ClickHouse
  • تحديد الأعمدة ذات الاستهلاك التخزيني المرتفع ومعدل الاستعلام المنخفض
  • تطبيق سياسات احتفاظ انتقائية
  • مراقبة query patterns لاتخاذ قرارات قائمة على البيانات
المستندات ذات الصلة

​
إدارة البيانات القائمة على الأقسام

اكتشفت Microsoft Clarity أن استراتيجية التقسيم تؤثر في كلٍّ من الأداء وبساطة التشغيل. وكان نهجهم: التقسيم حسب التاريخ، والترتيب حسب الساعة. وتوفّر هذه الاستراتيجية فوائد متعددة تتجاوز مجرد كفاءة التنظيف، إذ تتيح تنظيف البيانات بسهولة كبيرة، وتبسّط حسابات الفوترة لخدمتهم الموجّهة للعملاء، وتدعم متطلبات الامتثال للائحة GDPR الخاصة بالحذف القائم على الصفوف. الفوائد الرئيسية:
  • تنظيف البيانات بسهولة كبيرة (حذف قسم كامل بدلًا من الحذف صفًا بصف)
  • تبسيط حسابات الفوترة
  • تحسين أداء الاستعلامات من خلال استبعاد الأقسام
  • سهولة أكبر في الإدارة التشغيلية
الوثائق ذات الصلة

​
استراتيجية تحويل السلاسل النصية إلى أعداد صحيحة

غالبًا ما تواجه منصات التحليلات تحديات في التخزين عند التعامل مع البيانات الفئوية التي تتكرر عبر ملايين الصفوف. وقد واجه الفريق الهندسي في Microsoft هذه المشكلة في بيانات تحليلات البحث لديهم، وطوّر حلًا فعّالًا حقق خفضًا بنسبة 60% في مساحة التخزين لمجموعات البيانات المتأثرة. في نظام تحليلات الويب لدى Microsoft، تؤدي نتائج البحث إلى أنواع مختلفة من الإجابات، مثل بطاقات الطقس، ومعلومات الرياضة، والمقالات الإخبارية، والإجابات المبنية على الحقائق. وكانت كل نتيجة استعلام تُوسَم بسلاسل نصية وصفية مثل “weather_answer” و”sports_answer” و”factual_answer”. ومع معالجة مليارات استعلامات البحث، كانت هذه القيم النصية تُخزَّن مرارًا في ClickHouse، ما يستهلك كميات هائلة من مساحة التخزين ويتطلب مقارنات نصية مكلفة أثناء تنفيذ الاستعلامات. نفّذت Microsoft نظام ربط بين السلاسل النصية والأعداد الصحيحة باستخدام قاعدة بيانات MySQL منفصلة. وبدلًا من تخزين السلاسل النصية نفسها في ClickHouse، لا يُخزَّن سوى معرّفات عددية صحيحة. وعندما تُجري استعلامات عبر واجهة المستخدم وتطلب بيانات عن weather_answer، يستشير مُحسِّن الاستعلامات أولًا جدول الربط في MySQL للحصول على المعرّف العددي المقابل، ثم يحوّل الاستعلام لاستخدام ذلك العدد الصحيح قبل إرساله إلى ClickHouse. تحافظ هذه المعمارية على تجربة المستخدم؛ إذ لا يزال المستخدمون يرون تسميات واضحة مثل weather_answer في لوحات المعلومات الخاصة بهم، بينما تعتمد عمليات التخزين والاستعلامات في الخلفية على أعداد صحيحة أكثر كفاءة بكثير. ويتولى نظام الربط كل عمليات التحويل بشفافية، من دون الحاجة إلى أي تغييرات في واجهة المستخدم أو سير عمل المستخدمين. الفوائد الرئيسية:
  • خفض بنسبة 60% في مساحة التخزين لمجموعات البيانات المتأثرة
  • تحسين أداء الاستعلامات عند المقارنة باستخدام الأعداد الصحيحة
  • تقليل استخدام الذاكرة في عمليات الربط والتجميع
  • خفض تكاليف نقل البيانات عبر الشبكة لمجموعات النتائج الكبيرة
هذا مثال يُستخدم تحديدًا في سيناريو بيانات Microsoft Clarity. إذا كانت كل بياناتك موجودة في ClickHouse، أو لم تكن لديك قيود تمنع نقل البيانات إلى ClickHouse، فجرّب استخدام القواميس بدلًا من ذلك.

​
مصادر الفيديو

تعرض هذه الرؤى المجتمعية حول تحسين التكاليف استراتيجيات من شركات تعالج كميات من البيانات تتراوح من مئات التيرابايتات إلى البيتابايتات، وتُظهر أساليب واقعية لخفض التكاليف التشغيلية لـ ClickHouse.
آخر تعديل في ٢٩ يونيو ٢٠٢٦