WOLFRAM

Wolfram 语言与系统参考资料中心

ArrowIPC (.arrow, .arrows, .feather, .ftr)

  • Import 支持 ArrowIPC 文件和流格式以及 Feather 版本 1 和版本 2.
  • Export 支持 ArrowIPC 文件和流格式.

背景

    • 已注册的 MIME 类型：application/vnd.apache.arrow.file, application/vnd.apache.arrow.stream
    • Arrow IPC 列式数据格式.
    • 用于高效序列化大型列式数据集.
    • 列式格式中序列化数据的原始单位称为记录批次.
    • Arrow IPC 文件格式用于序列化固定数量的记录批次并支持随机访问.
    • Arrow IPC 流格式用于发送记录批次的任意长度序列.
    • Feather 版本 2 是一种文件格式，表示为磁盘上的 Arrow IPC 文件.
    • Feather 版本 1 是一种与 Arrow IPC 文件不同的旧文件格式.
    • 由 Apache 软件基金会开发.
    • 二进制文件格式.
    • 支持多种压缩方法.

导入与导出

  • Import["file.arrow"]将 ArrowIPC 目录导入为 Tabular 对象.
  • Import["file.arrow",elem] 导入指定的元素.
  • Import["file.arrow",{elem,subelem1,…}]导入子元素 subelemi，适用于部分数据导入.
  • 可以使用 Import["file","ArrowIPC"] 或 Import["file",{"ArrowIPC",elem,…}] 指定导入格式.
  • Export["file.arrow",expr] 将 Tabular 对象导出为 ArrowIPC 文件格式.
  • 支持的表达式 expr 包括：
  • {v1,v2,…}单列数据
    {{v11,v12,…},{v21,v22,…},…}数据行列表
    array数组，例如 SparseArray、QuantityArray 等
    datasetDataset 或 Tabular 对象
  • 有关完整的通用信息，请参阅以下参考页面：
  • Import, Export从文件导入或导出至文件
    CloudImport, CloudExport从云对象导入或导出至云对象
    ImportString, ExportString从字符串导入或导出为字符串
    ImportByteArray, ExportByteArray从字节数组导入或导出为字节数组

导入元素

  • Import 的通用参数：
  • "Elements" 此文件中可用的元素和选项列表
    "Summary"文件摘要
    "Rules"所有可用元素的规则列表
  • 数据表示元素：
  • "Data"二维数组
    "Dataset"作为 Dataset 的表格数据
    "Tabular"Tabular 对象
  • Import 默认使用 "Tabular" 元素.
  • "Tabular" 元素的部分数据导入的子元素可以采用 {"Tabular",rows,cols} 形式的行和列规范，其中 rows 和 cols 可以是以下任一种：
  • n第 n 行或列
    -n从最后开始计数
    n;;m从 n 到 m
    n;;m;;s从 n 到 m，步长为 s
    {n1,n2,…}特定行或列 ni
  • 数据描述符元素：
  • "ColumnLabels"列名
    "ColumnTypes"与每列数据类型的关联
    "Schema"TabularSchema 对象
  • 元数据元素：
  • "ColumnCount"文件中存储的列数
    "Dimensions"数据维度
    "RowCount"文件中存储的行数
    "MetaInformation"元数据

选项

  • Import 的通用选项：
  • IncludeMetaInformationAll要导入的元数据类型
    "Schema"Automatic用于构建 Tabular 对象的模式
    "UseMemoryMappedFile"True是否使用内存映射读取器
  • "Schema" 选项的可能设置包括：
  • schema完整的 TabularSchema 规范
    propval架构属性和值（参阅 TabularSchema 的参考页面）
    <|"prop1"val1,…|>架构属性和值的关联
  • Export 的通用选项：
  • "Compression"None压缩方法
    CompressionLevelAutomatic压缩级别
    "Streamable"False如果为真，则使用 Arrow IPC 流格式
  • 支持以下 "Compression" 设置：
  • None无压缩
    "LZ4Frame"LZ4 帧压缩
    "ZSTD"ZSTD 压缩

范例

打开所有单元 关闭所有单元

基本范例  (3)

从 Arrow IPC 文件导入 Tabular 对象：

导入文件摘要：

将 Tabular 对象导出至 Arrow IPC 文件：

范围  (3)

导入  (3)

显示文件中可用的所有元素：

默认情况下，返回 Tabular 对象：

导入列类型：

导入元素  (14)

"ColumnCount"  (1)

获取列数：

"ColumnLabels"  (1)

读取列名：

"ColumnTypes"  (1)

导入列类型：

"Data"  (2)

从文件中获取数据：

仅导入选定的行：

仅导入选定的列：

"Dataset"  (2)

以 Dataset 形式获取数据：

仅导入选定的行：

仅导入选定的列：

"Dimensions"  (1)

导入数据维度：

"MetaInformation"  (1)

导入元数据：

"RowCount"  (1)

获取行数：

"Schema"  (1)

获取 TabularSchema 对象：

"Summary"  (1)

获取文件摘要：

"Tabular"  (2)

以 Tabular 对象的形式从文件中获取数据：

仅导入选定的行：

仅导入选定的列：

导入选项  (3)

IncludeMetaInformation  (1)

默认情况下，文件中所存储的所有元数据都会被导入并嵌入到 Tabular 对象中：

不导入元数据：

"Schema"  (1)

默认情况下，导入 Tabular 或 Dataset 对象时使用存储在文件中的列标签及其类型：

使用 "Schema" 选项指定列标签和类型：

"UseMemoryMappedFile"  (1)

默认情况下，内存映射是被禁用的. 通过 "UseMemoryMappedFile"->True 启用内存映射：

导出选项  (6)

"Compression"  (2)

默认情况下禁用压缩：

对比支持的压缩方法：

CompressionLevel  (2)

默认情况下，CompressionLevel 的值为 Automatic. 它对应每个压缩方法不同的默认值.

对每种方法使用最大压缩：

"Streamable"  (2)

默认情况下，Export 使用 Arrow IPC 文件格式：

使用 "Streamable" 选项生成 Arrow IPC 流格式：