导出 JSON

如何从 ClickHouse 导出 JSON 数据

几乎所有可用于导入的 JSON 格式同样也可用于导出。最常用的是 JSONEachRow：

SELECT * FROM sometable FORMAT JSONEachRow

{"path":"Bob_Dolman","month":"2016-11-01","hits":245}
{"path":"1-krona","month":"2017-01-01","hits":4}
{"path":"Ahmadabad-e_Kalij-e_Sofla","month":"2017-01-01","hits":3}

或者，我们也可以使用 JSONCompactEachRow，通过省略列名来节省磁盘空间：

SELECT * FROM sometable FORMAT JSONCompactEachRow

["Bob_Dolman", "2016-11-01", 245]
["1-krona", "2017-01-01", 4]
["Ahmadabad-e_Kalij-e_Sofla", "2017-01-01", 3]

​

将数据类型统一转为字符串

ClickHouse 会遵循数据类型，并按标准导出 JSON。但如果需要将所有值都编码为字符串，可以使用 JSONStringsEachRow 格式：

SELECT * FROM sometable FORMAT JSONStringsEachRow

{"path":"Bob_Dolman","month":"2016-11-01","hits":"245"}
{"path":"1-krona","month":"2017-01-01","hits":"4"}
{"path":"Ahmadabad-e_Kalij-e_Sofla","month":"2017-01-01","hits":"3"}

现在，hits 数值列会被编码为字符串。所有 JSON* 格式都支持以字符串形式导出；只需查看 JSONStrings\* 和 JSONCompactStrings\* 格式：

SELECT * FROM sometable FORMAT JSONCompactStringsEachRow

["Bob_Dolman", "2016-11-01", "245"]
["1-krona", "2017-01-01", "4"]
["Ahmadabad-e_Kalij-e_Sofla", "2017-01-01", "3"]

​

连同数据一起导出元数据

应用中常见的通用 JSON 格式不仅会导出结果数据，还会导出列类型和查询统计信息：

SELECT * FROM sometable FORMAT JSON

{
        "meta":
        [
                {
                        "name": "path",
                        "type": "String"
                },
                ...
        ],

        "data":
        [
                {
                        "path": "Bob_Dolman",
                        "month": "2016-11-01",
                        "hits": 245
                },
                ...
        ],

        "rows": 3,

        "statistics":
        {
                "elapsed": 0.000497457,
                "rows_read": 3,
                "bytes_read": 87
        }
}

JSONCompact 格式会输出相同的元数据，但数据本身会采用更紧凑的形式：

SELECT * FROM sometable FORMAT JSONCompact

{
        "meta":
        [
                {
                        "name": "path",
                        "type": "String"
                },
                ...
        ],

        "data":
        [
                ["Bob_Dolman", "2016-11-01", 245],
                ["1-krona", "2017-01-01", 4],
                ["Ahmadabad-e_Kalij-e_Sofla", "2017-01-01", 3]
        ],

        "rows": 3,

        "statistics":
        {
                "elapsed": 0.00074981,
                "rows_read": 3,
                "bytes_read": 87
        }
}

可以考虑使用 JSONStrings 或 JSONCompactStrings 格式变体，将所有值都编码为字符串。

​

以紧凑方式导出 JSON 数据及其结构

一种更高效的方式是使用 JSONCompactEachRowWithNamesAndTypes 格式，同时包含数据及其结构：

SELECT * FROM sometable FORMAT JSONCompactEachRowWithNamesAndTypes

["path", "month", "hits"]
["String", "Date", "UInt32"]
["Bob_Dolman", "2016-11-01", 245]
["1-krona", "2017-01-01", 4]
["Ahmadabad-e_Kalij-e_Sofla", "2017-01-01", 3]

这将使用一种紧凑的 JSON 格式，并在开头添加两行表头，分别包含列名和类型。随后即可使用这种格式将数据摄取到另一个 ClickHouse 实例 (或其他应用) 中。

​

将 JSON 导出到文件

若要将导出的 JSON 数据保存到文件中，可使用 INTO OUTFILE 子句：

SELECT * FROM sometable INTO OUTFILE 'out.json' FORMAT JSONEachRow

36838935 rows in set. Elapsed: 2.220 sec. Processed 36.84 million rows, 1.27 GB (16.60 million rows/s., 572.47 MB/s.)

ClickHouse 仅用 2 秒就将近 3700 万条记录导出到一个 JSON 文件中。我们也可以使用 COMPRESSION 子句，在导出时即时启用压缩：

SELECT * FROM sometable INTO OUTFILE 'out.json.gz' FORMAT JSONEachRow

36838935 rows in set. Elapsed: 22.680 sec. Processed 36.84 million rows, 1.27 GB (1.62 million rows/s., 56.02 MB/s.)

完成此操作耗时更长，但生成的压缩文件会小得多：

2.2G    out.json
576M    out.json.gz