DataStore: واجهة برمجة تطبيقات متوافقة مع pandas مع تحسينات SQL

يوفّر DataStore واجهة برمجة تطبيقات متوافقة مع pandas مع تحسينات SQL لتحليل البيانات عالي الأداء

DataStore هي واجهة برمجة تطبيقات chDB المتوافقة مع pandas، وتجمع بين واجهة pandas DataFrame المألوفة وإمكانات تحسين استعلامات SQL، ما يتيح لك كتابة تعليمات برمجية بأسلوب pandas مع الاستفادة من أداء ClickHouse.

​

الميزات الرئيسية

• التوافق مع Pandas: 209 طريقة لـ DataFrame في pandas، و56 طريقة .str، وأكثر من 42 طريقة .dt
• تحسين SQL: تُحوَّل العمليات تلقائيًا إلى استعلامات SQL مُحسّنة
• التقييم الكسول: تُؤجَّل العمليات إلى أن تصبح النتائج مطلوبة
• أكثر من 630 طريقة API: واجهة API شاملة لمعالجة البيانات
• امتدادات ClickHouse: ملحقات إضافية (.arr, .json, .url, .ip, .geo) غير متوفرة في pandas

​

البنية المعمارية

يستخدم DataStore التقييم الكسول مع تنفيذ بمحركين:

1. سلسلة عمليات كسولة: تُسجَّل العمليات ولا تُنفَّذ على الفور
2. اختيار ذكي للمحرك: يوجّه QueryPlanner كل مقطع إلى المحرك الأنسب (chDB لـ SQL، وPandas للعمليات المعقّدة)
3. التخزين المؤقت الوسيط: تُخزَّن النتائج مؤقتًا في كل خطوة لتسريع الاستكشاف التكراري

راجع نموذج التنفيذ للاطلاع على التفاصيل.

​

الترحيل من Pandas بسطر واحد

# Before (pandas)
import pandas as pd
df = pd.read_csv("data.csv")
result = df[df['age'] > 25].groupby('city')['salary'].mean()

# After (DataStore) - just change the import!
from chdb import datastore as pd
df = pd.read_csv("data.csv")
result = df[df['age'] > 25].groupby('city')['salary'].mean()

يعمل كود pandas الحالي لديك كما هو دون أي تغيير، لكنه يعمل الآن على محرك ClickHouse.

​

مقارنة الأداء

يحقق DataStore تحسينات ملحوظة في الأداء مقارنةً بـ pandas، لا سيما في التجميع ومسارات المعالجة المعقّدة:

Operation	Pandas	DataStore	Speedup
GroupBy count	347ms	17ms	19.93x
Complex pipeline	2,047ms	380ms	5.39x
Filter+Sort+Head	1,537ms	350ms	4.40x
GroupBy agg	406ms	141ms	2.88x

اختبار معياري على 10 ملايين صف. راجع سكريبت الاختبار المعياري ودليل الأداء لمزيد من التفاصيل.

​

متى تستخدم DataStore

استخدم DataStore عندما:

• تعمل مع مجموعات بيانات كبيرة (ملايين الصفوف)
• تُجري عمليات التجميع وgroupby
• تستعلم عن البيانات من الملفات أو قواعد البيانات أو التخزين السحابي
• تبني مسارات معالجة بيانات معقدة
• تريد واجهة pandas API بأداء أفضل

استخدم واجهة raw SQL API عندما:

• تفضّل كتابة SQL مباشرةً
• تحتاج إلى تحكم دقيق في تنفيذ الاستعلام
• تعمل مع ميزات خاصة بـ ClickHouse غير المتاحة في pandas API

​

مقارنة الميزات

الميزة	Pandas	Polars	DuckDB	DataStore
متوافق مع واجهة برمجة تطبيقات Pandas	-	جزئي	لا	كامل
التقييم الكسول	لا	نعم	نعم	نعم
دعم استعلامات SQL	لا	نعم	نعم	نعم
دوال ClickHouse	لا	لا	لا	نعم
ملحقات String/DateTime	نعم	نعم	لا	نعم + إضافات
Array/JSON/URL/IP/Geo	لا	جزئي	لا	نعم
الاستعلام المباشر من الملفات	لا	نعم	نعم	نعم
دعم التخزين السحابي	لا	محدود	نعم	نعم

​

إحصاءات API

الفئة	العدد	التغطية
دوال DataFrame	209	100% من pandas
ملحق Series.str	56	100% من pandas
ملحق Series.dt	42+	100%+ (يشمل إضافات ClickHouse)
ملحق Series.arr	37	خاص بـ ClickHouse
ملحق Series.json	13	خاص بـ ClickHouse
ملحق Series.url	15	خاص بـ ClickHouse
ملحق Series.ip	9	خاص بـ ClickHouse
ملحق Series.geo	14	خاص بـ ClickHouse
إجمالي دوال API	630+	-

​

التنقل داخل الوثائق

​

البدء

• الدليل السريع - التثبيت والاستخدام الأساسي
• الترحيل من Pandas - دليل ترحيل خطوة بخطوة

​

مرجع API

• دوال المصنع - إنشاء DataStore من مصادر متنوعة
• بناء الاستعلامات - عمليات استعلام بأسلوب SQL
• التوافق مع Pandas - جميع الأساليب الـ 209 المتوافقة مع pandas
• الملحقات - ملحقات لـ String وDateTime وArray وJSON وURL وIP وGeo
• التجميع - الدوال التجميعية ودوال النافذة
• عمليات الإدخال/الإخراج - قراءة البيانات وكتابتها

​

مواضيع متقدمة

• نموذج التنفيذ - التقييم الكسول والتخزين المؤقت
• مرجع الفئة - المرجع الكامل لواجهة برمجة التطبيقات

​

التكوين واستكشاف الأخطاء وإصلاحها

• التكوين - جميع خيارات التكوين
• وضع الأداء - وضع يركّز على SQL لتحقيق أقصى معدل نقل
• استكشاف الأخطاء وإصلاحها - Explain، وقياس الأداء، والتسجيل

​

أدلة مستخدمي Pandas

• دليل وصفات Pandas - أنماط شائعة
• أهم الاختلافات - اختلافات مهمة عن pandas
• دليل الأداء - نصائح للتحسين
• SQL لمستخدمي Pandas - فهم أوامر SQL التي تقف وراء عمليات pandas

​

مثال سريع

from chdb import datastore as pd

# Read data from various sources
ds = pd.read_csv("sales.csv")
# or: ds = pd.DataStore.uri("s3://bucket/sales.parquet")
# or: ds = pd.DataStore.from_mysql("mysql://user:pass@host/db/table")

# Familiar pandas operations - automatically optimized to SQL
result = (ds
    .filter(ds['amount'] > 1000)           # WHERE amount > 1000
    .groupby('region')                      # GROUP BY region
    .agg({'amount': ['sum', 'mean']})       # SUM(amount), AVG(amount)
    .sort_values('sum', ascending=False)    # ORDER BY sum DESC
    .head(10)                               # LIMIT 10
)

# View the generated SQL
print(result.to_sql())

# Execute and get results
df = result.to_df()  # Returns pandas DataFrame

​

الخطوات التالية

• هل أنت جديد في DataStore؟ ابدأ بـدليل البدء السريع
• هل تنتقل من pandas؟ اقرأ دليل الترحيل
• هل تريد معرفة المزيد؟ اطّلع على مرجع API