> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-mintlify-fbfa8bee.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# Как выполнять запросы к Apache Arrow с помощью chDB

> В этом руководстве мы узнаем, как выполнять запросы к таблицам Apache Arrow с помощью chDB

[Apache Arrow](https://arrow.apache.org/) — это стандартизованный столбцовый формат данных в памяти, получивший широкое распространение в сообществе специалистов по данным.
В этом руководстве мы узнаем, как выполнять запросы к Apache Arrow с помощью table function `Python`.

<div id="setup">
  ## Настройка
</div>

Для начала создадим виртуальное окружение:

```bash theme={null}
python -m venv .venv
source .venv/bin/activate
```

А теперь установим chDB.
Убедитесь, что у вас установлена версия 2.0.2 или выше:

```bash theme={null}
pip install "chdb>=2.0.2"
```

А теперь установим PyArrow, pandas и ipython:

```bash theme={null}
pip install pyarrow pandas ipython
```

Мы будем использовать `ipython` для выполнения команд далее в этом руководстве, его можно запустить, выполнив:

```bash theme={null}
ipython
```

Вы также можете использовать этот код в Python-скрипте или в своём любимом ноутбуке.

<div id="creating-an-apache-arrow-table-from-a-file">
  ## Создание таблицы Apache Arrow из файла
</div>

Сначала загрузим один из файлов Parquet из [набора данных Ookla](https://github.com/teamookla/ookla-open-data) с помощью [инструмента AWS CLI](https://aws.amazon.com/cli/):

```bash theme={null}
aws s3 cp \
  --no-sign \
  s3://ookla-open-data/parquet/performance/type=mobile/year=2023/quarter=2/2023-04-01_performance_mobile_tiles.parquet .
```

<Note>
  Если вам нужно скачать больше файлов, используйте `aws s3 ls`, чтобы получить список всех файлов, а затем обновите команду выше.
</Note>

Затем импортируем модуль Parquet из пакета `pyarrow`:

```python theme={null}
import pyarrow.parquet as pq
```

А затем мы можем загрузить файл Parquet в таблицу Apache Arrow:

```python theme={null}
arrow_table = pq.read_table("./2023-04-01_performance_mobile_tiles.parquet")
```

Ниже показана схема:

```python theme={null}
arrow_table.schema
```

```text theme={null}
quadkey: string
tile: string
tile_x: double
tile_y: double
avg_d_kbps: int64
avg_u_kbps: int64
avg_lat_ms: int64
avg_lat_down_ms: int32
avg_lat_up_ms: int32
tests: int64
devices: int64
```

Количество строк и столбцов можно получить, обратившись к атрибуту `shape`:

```python theme={null}
arrow_table.shape
```

```text theme={null}
(3864546, 11)
```

<div id="querying-apache-arrow">
  ## Запросы к Apache Arrow
</div>

Теперь выполним запрос к таблице Arrow из chDB.
Сначала импортируем chDB:

```python theme={null}
import chdb
```

Затем можно описать таблицу:

```python theme={null}
chdb.query("""
DESCRIBE Python(arrow_table)
SETTINGS describe_compact_output=1
""", "DataFrame")
```

```text theme={null}
               name     type
0           quadkey   String
1              tile   String
2            tile_x  Float64
3            tile_y  Float64
4        avg_d_kbps    Int64
5        avg_u_kbps    Int64
6        avg_lat_ms    Int64
7   avg_lat_down_ms    Int32
8     avg_lat_up_ms    Int32
9             tests    Int64
10          devices    Int64
```

Можно также подсчитать количество строк:

```python theme={null}
chdb.query("SELECT count() FROM Python(arrow_table)", "DataFrame")
```

```text theme={null}
   count()
0  3864546
```

Теперь давайте сделаем кое-что поинтереснее.
Следующий запрос исключает столбцы `quadkey` и `tile.*`, а затем вычисляет средние и максимальные значения для всех оставшихся столбцов:

```python theme={null}
chdb.query("""
WITH numericColumns AS (
  SELECT * EXCEPT ('tile.*') EXCEPT(quadkey)
  FROM Python(arrow_table)
)
SELECT * APPLY(max), * APPLY(avg) APPLY(x -> round(x, 2))
FROM numericColumns
""", "Vertical")
```

```text theme={null}
Row 1:
──────
max(avg_d_kbps):                4155282
max(avg_u_kbps):                1036628
max(avg_lat_ms):                2911
max(avg_lat_down_ms):           2146959360
max(avg_lat_up_ms):             2146959360
max(tests):                     111266
max(devices):                   1226
round(avg(avg_d_kbps), 2):      84393.52
round(avg(avg_u_kbps), 2):      15540.4
round(avg(avg_lat_ms), 2):      41.25
round(avg(avg_lat_down_ms), 2): 554355225.76
round(avg(avg_lat_up_ms), 2):   552843178.3
round(avg(tests), 2):           6.31
round(avg(devices), 2):         2.88
```