azureBlobStorageCluster

Permet de traiter des fichiers depuis Azure Blob Storage en parallèle avec de nombreux nœuds dans un cluster spécifié.

Permet de traiter des fichiers depuis Azure Blob Storage en parallèle sur plusieurs nœuds d’un cluster spécifié. Sur l’initiateur, elle établit une connexion à tous les nœuds du cluster, développe les astérisques dans le chemin de fichier S3 et répartit dynamiquement chaque fichier. Sur le nœud worker, elle demande à l’initiateur la tâche suivante à traiter, puis l’exécute. Ce processus se répète jusqu’à ce que toutes les tâches soient terminées. Cette fonction de table est similaire à la fonction s3Cluster.

​

Syntaxe

azureBlobStorageCluster(cluster_name, connection_string|storage_account_url, container_name, blobpath, [account_name, account_key, format, compression, structure])

​

Arguments

Argument	Description
cluster_name	Nom d’un cluster utilisé pour construire un ensemble d’adresses et de paramètres de connexion pour les serveurs distants et locaux.
connection_string	storage_account_url — connection_string inclut le nom du compte et la clé (Create connection string) ou vous pouvez aussi fournir ici l’URL du compte de stockage, ainsi que le nom du compte et la clé du compte comme paramètres distincts (voir les paramètres account_name et account_key)
container_name	Nom du conteneur
blobpath	chemin du fichier. Prend en charge les caractères génériques suivants en mode readonly : *, **, ?, {abc,def} et {N..M}, où N et M sont des nombres, et 'abc' et 'def' des chaînes.
account_name	si storage_account_url est utilisé, le nom du compte peut être indiqué ici
account_key	si storage_account_url est utilisé, la clé du compte peut être indiquée ici
format	Le format du fichier.
compression	Valeurs prises en charge : none, gzip/gz, brotli/br, xz/LZMA, zstd/zst. Par défaut, la compression est détectée automatiquement à partir de l’extension du fichier. (équivaut à définir auto.)
structure	Structure de la table. Format : 'column1_name column1_type, column2_name column2_type, ...'.

​

Valeur renvoyée

Une table dotée de la structure spécifiée pour lire ou écrire des données dans le fichier indiqué.

​

Exemples

À l’instar du moteur de table AzureBlobStorage, les utilisateurs peuvent utiliser l’émulateur Azurite pour le développement local avec Azure Storage. Plus de détails ici. Ci-dessous, nous supposons qu’Azurite est accessible sous le nom d’hôte azurite1.

Sélectionnez le nombre d’enregistrements du fichier test_cluster_*.csv en utilisant tous les nœuds du cluster cluster_simple :

SELECT count(*) FROM azureBlobStorageCluster(
        'cluster_simple', 'http://azurite1:10000/devstoreaccount1', 'testcontainer', 'test_cluster_count.csv', 'devstoreaccount1',
        'Eby8vdM02xNOcqFlqUwJPLlmEtlCDXJ1OUzFT50uSRZ6IFsuFq2UVErCz4I6tq/K1SZFPTOtr/KBHBeksoGMGw==', 'CSV',
        'auto', 'key UInt64')

​

Utilisation des signatures d’accès partagé (SAS)

Consultez azureBlobStorage pour voir des exemples.

​

Voir aussi

• moteur AzureBlobStorage
• fonction de table AzureBlobStorage