Leitura síncrona de dados

A nova configuração allow_asynchronous_read_from_io_pool_for_merge_tree permite que o número de threads de leitura (streams) seja maior do que o número de threads no restante do pipeline de execução da consulta.

A nova configuração allow_asynchronous_read_from_io_pool_for_merge_tree permite que o número de threads de leitura (streams) seja maior do que o número de threads no restante do pipeline de execução da consulta.

Normalmente, a configuração max_threads controla o número de threads de leitura paralelas e de processamento paralelo da consulta:

Os dados são lidos ‘em ordem’, coluna por coluna, do disco.

​

Leitura assíncrona de dados

A nova configuração allow_asynchronous_read_from_io_pool_for_merge_tree permite que o número de threads de leitura (streams) seja maior do que o número de threads no restante do pipeline de execução da consulta para acelerar consultas sem cache em serviços ClickHouse Cloud com pouca CPU e aumentar o desempenho de consultas limitadas por I/O. Quando a configuração está habilitada, a quantidade de threads de leitura é controlada pela configuração max_streams_for_merge_tree_reading:

Os dados são lidos de forma assíncrona, em paralelo, a partir de diferentes colunas.

Observe que também existe a configuração max_streams_to_max_threads_ratio para configurar a proporção entre o número de threads de leitura (streams) e o número de threads no restante do pipeline de execução da consulta. No entanto, em benchmarks, ela não ajudou tanto quanto a configuração max_streams_for_merge_tree_reading

​

E quanto ao optimize_read_in_order?

Com a otimização optimize_read_in_order, o ClickHouse pode evitar reordenar os dados na memória se a ordenação das consultas refletir a ordem física dos dados em disco, mas isso exige ler os dados em ordem (em contraste com a leitura assíncrona):

​

A otimização optimize_read_in_order tem precedência sobre a leitura assíncrona

Quando o ClickHouse detecta que otimização optimize_read_in_order pode ser aplicada, a configuração allow_asynchronous_read_from_io_pool_for_merge_tree será ignorada/desativada.

​

Exemplo que demonstra tudo o que foi explicado acima

• Crie e carregue a tabela UK Property Price Paid

• Verifique o valor configurado de max_threads (por padrão, a quantidade de núcleos de CPU que o ClickHouse vê no nó que executa a consulta

SELECT getSetting('max_threads');

┌─getSetting('max_threads')─┐
│                        10 │
└───────────────────────────┘

• Verifique o pipeline da consulta com o número padrão de threads para leitura e processamento dos dados

EXPLAIN PIPELINE
SELECT *
FROM uk_price_paid;

┌─explain──────────────────────┐
│ (Expression)                 │
│ ExpressionTransform × 10     │
│   (ReadFromMergeTree)        │
│   MergeTreeThread × 10 0 → 1 │
└──────────────────────────────┘

• Verifique o pipeline da consulta com 60 threads de leitura assíncrona e o número padrão de threads para o restante do pipeline de execução da consulta

EXPLAIN PIPELINE
SELECT *
FROM uk_price_paid
SETTINGS
    allow_asynchronous_read_from_io_pool_for_merge_tree = 1,
    max_streams_for_merge_tree_reading = 60;

┌─explain────────────────────────┐
│ (Expression)                   │
│ ExpressionTransform × 10       │
│   (ReadFromMergeTree)          │
│   Resize 60 → 10               │
│     MergeTreeThread × 60 0 → 1 │
└────────────────────────────────┘

• Verifique o pipeline da consulta com 20 threads, tanto para a leitura quanto para o processamento dos dados

EXPLAIN PIPELINE
SELECT *
FROM uk_price_paid
SETTINGS
    max_threads = 20;

┌─explain──────────────────────┐
│ (Expression)                 │
│ ExpressionTransform × 20     │
│   (ReadFromMergeTree)        │
│   MergeTreeThread × 20 0 → 1 │
└──────────────────────────────┘

• Verifique o pipeline da consulta com 60 threads para leitura assíncrona e 20 threads para o restante do pipeline de execução da consulta

EXPLAIN PIPELINE
SELECT *
FROM uk_price_paid
SETTINGS
    max_threads = 20,
    allow_asynchronous_read_from_io_pool_for_merge_tree = 1,
    max_streams_for_merge_tree_reading = 60;

┌─explain────────────────────────┐
│ (Expression)                   │
│ ExpressionTransform × 20       │
│   (ReadFromMergeTree)          │
│   Resize 60 → 20               │
│     MergeTreeThread × 60 0 → 1 │
└────────────────────────────────┘

• Verifique o pipeline da consulta com 60 threads de leitura assíncrona e 20 threads para o restante do pipeline de execução da consulta quando a otimização optimize_read_in_order puder ser aplicada

EXPLAIN PIPELINE
SELECT *
FROM uk_price_paid
ORDER BY postcode1, postcode2
SETTINGS
    max_threads = 20,
    allow_asynchronous_read_from_io_pool_for_merge_tree= 1,
    max_streams_for_merge_tree_reading= 60;

┌─explain───────────────────────────┐
│ (Expression)                      │
│ ExpressionTransform               │
│   (Sorting)                       │
│   MergingSortedTransform 20 → 1   │
│     (Expression)                  │
│     ExpressionTransform × 20      │
│       (ReadFromMergeTree)         │
│       MergeTreeInOrder × 20 0 → 1 │
└───────────────────────────────────┘

-- observe que isso é equivalente a desabilitar allow_asynchronous_read_from_io_pool_for_merge_tree

EXPLAIN PIPELINE
SELECT *
FROM uk_price_paid
ORDER BY postcode1, postcode2
SETTINGS
    max_threads = 20,
    allow_asynchronous_read_from_io_pool_for_merge_tree = 0,
    max_streams_for_merge_tree_reading = 0;

┌─explain───────────────────────────┐
│ (Expression)                      │
│ ExpressionTransform               │
│   (Sorting)                       │
│   MergingSortedTransform 20 → 1   │
│     (Expression)                  │
│     ExpressionTransform × 20      │
│       (ReadFromMergeTree)         │
│       MergeTreeInOrder × 20 0 → 1 │
└───────────────────────────────────┘

-- observe que você pode forçar allow_asynchronous_read_from_io_pool_for_merge_tree desabilitando optimize_read_in_order

EXPLAIN PIPELINE
SELECT *
FROM uk_price_paid
ORDER BY
    postcode1 ASC,
    postcode2 ASC
SETTINGS
    max_threads = 20,
    allow_asynchronous_read_from_io_pool_for_merge_tree = 1,
    max_streams_for_merge_tree_reading = 60,
    optimize_read_in_order = 0;

┌─explain──────────────────────────────┐
│ (Expression)                         │
│ ExpressionTransform                  │
│   (Sorting)                          │
│   MergingSortedTransform 20 → 1      │
│     MergeSortingTransform × 20       │
│       (Expression)                   │
│       ExpressionTransform × 20       │
│         (ReadFromMergeTree)          │
│         Resize 60 → 20               │
│           MergeTreeThread × 60 0 → 1 │
└──────────────────────────────────────┘