WOLFRAM

Wolfram 语言与系统参考资料中心

ApacheLog

  • Import 可以读取各种标准日志格式，以及用户定义的日志格式.

背景

    • 日志文件.
    • 常见的变体有通用日志格式、扩展日志文件格式和 Apache 访问日志格式.
    • 用于 MathLM，Wolfram 系统许可证管理器.
    • 纯文本格式.
    • 存储关于网页服务器交易的信息.
    • 以一行文本代表每条记录.
    • 允许用户定义的记录格式.
    • 由 Apache 公司研发.

Import 与 Export

  • Import["file","ApacheLog"] 将日志文件导入为 Tabular 对象.
  • Import["file",{"ApacheLog",elem}] 导入指定元素.
  • Import["file",{"ApacheLog",elem,subelem1,…}] 导入子元素 subelemi，适用于导入部分数据.
  • 导入日志文件时必须指定格式 "ApacheLog".
  • 请到以下参考页面了解全部信息：
  • Import从文件导入
    CloudImport从云对象导入
    ImportString从字符串导入
    ImportByteArray从字节数组导入

参数

  • Import 的通用参数：
  • "Elements" 该文件可用的参数和选项列表
    "Summary"文件摘要
    "Rules"所有可用参数的规则列表
  • 表示数据的参数：
  • "Data"二维数组
    "Dataset"Dataset 形式的表格数据
    "EventSeries"表格数据作为 EventSeries
    "Tabular"Tabular 对象
    "TimeSeries"表格数据作为 TimeSeries
  • 默认情况下，Import 使用 "Tabular" 元素.
  • 如果想导入部分数据，可用行和列规范形式 {"Tabular",rows,cols} 指定 "Tabular" 元素的子元素，其中 rows 和 cols 可为以下形式：
  • n第 n 行或列
    -n从末尾开始数
    n;;m从 n 到 m
    n;;m;;s从 n 到 m，步长为 s
    {n1,n2,…}特定行或列 ni
  • 列规范也可以是以下任意形式：
  • "col"单列 "col"
    {col1,col2,…}列名列表 coli
  • 数据描述符元素：
  • "ColumnLabels"列的名称
    "ColumnTypes"给出每列数据类型的关联
    "Schema"TabularSchema 对象
  • 元数据元素：
  • "ColumnCount"文件中存储的列的数量
    "Dimensions"数据的的维度
    "RowCount"文件中存储的行的数量

导入的选项

    导入的选项
  • 一般的 Import 选项：
  • "DataFormat"Automatic格式指定，以字符串形式给出
    "Schema"Automatic用于构建 Tabular 对象的方法
    "TimeColumn"Automatic在 "EventSeries" 和 "TimeSeries" 元素中用作时间的列
  • "DataFormat" 选项的可能设置包括：
  • Automatic自动确定格式规范（默认）
    "ApacheErrorLog"Apache 错误日志格式，用于服务器出现的问题和诊断
    "CommonLog"Common Log Format (CLF)，用于基本网络流量分析
    "CombinedLog"包含引荐来源的通用日志，用于网络分析和 SEO
    "CommonLogVHost"包含虚拟主机的通用日志，用于多站点托管环境
    "RefererLog"只给出引荐日志，用于营销和 SEO
    format任意字段和记录分隔符
  • 要导入自定义日志格式，请使用 "DataFormat"->format 来指定每条记录的格式，每条记录由数据元素和记录分隔符组成，如 "`Field1` [`Field2`] `Field3`".
  • 格式 format 规范可以是一个字符串和 OptionalElement 的列表，用于表示在某些行中可能缺失的元素.
  • "Schema" 选项的可能设置包括：
  • schema一个完整的 TabularSchema 指定
    propval一个 schema 的属性和值（请查看 TabularSchema 的参考页面）
    <|"prop1"val1,…|>schema 的属性和值组成的关联

范例

打开所有单元 关闭所有单元

基本范例  (2)

将日志文件导入为 Tabular：

Wolfram Language code: Import["ExampleData/apache_error.log", "ApacheLog"]

导入文件摘要：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Summary"}]

范围  (2)

从日志文件中导入元数据：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Dimensions"}]
Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "ColumnTypes"}]

导入日志文件的样本行：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Data", 5}]

导入的元素  (25)

"ColumnCount"  (1)

从日志文件中获取列数：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "ColumnCount"}]

"ColumnLabels"  (1)

从日志文件中获取列的标签：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "ColumnLabels"}]

"ColumnTypes"  (1)

从日志文件中获取推断的列的类型：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "ColumnTypes"}]

"Data"  (7)

以二维数值列表的形式导入日志文件：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Data"}]

从日志文件导入一行：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Data", 5}]

导入多行数据：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Data", {1, 5, 7}}]

导入前 5 行：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Data", 1 ;; 5}]

导入指定行和列的单个元素：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Data", 5, 5}]

导入一列：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Data", All, 5}]

用列的名称导入选择的列：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Data", All, {"Source", "Referer"}}]

"Dataset"  (2)

以将日志文件导入为 Dataset：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Dataset"}]

使用列名导入选定列：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Dataset", All, {"Source", "Referer"}}]

"Dimensions"  (1)

从日志文件中获取维度：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Dimensions"}]

"EventSeries"  (1)

将日志文件导入为 EventSeries：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "EventSeries"}]

从日志文件导入单行：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "EventSeries", 5}]

从日志文件导入特定几行：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "EventSeries", {1, 5}}]

导入日志文件的前 10 行：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "EventSeries", 1 ;; 10}]

使用列名仅导入选定列：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "EventSeries", All, {"Date", "Module", "LogLevel"}}]

"RowCount"  (1)

从日志文件中获取行数：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "RowCount"}]

"Schema"  (1)

获取 TabularSchema 对象：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Schema"}]

"Summary"  (1)

日志文件的摘要：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Summary"}]

"Tabular"  (7)

将日志文件导入为 Tabular 对象：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Tabular"}]

导入一行：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Tabular", 5}]

导入多行：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Tabular", {1, 5, 7}}]

导入前 5 行：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Tabular", 1 ;; 5}]

导入指定行和列的单个元素：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Tabular", 5, 5}]

导入一列：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Tabular", All, 5}]

用列的名称导入选择的列：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "Tabular", All, {"Source", "Referer"}}]

"TimeSeries"  (1)

将日志文件导入为 TimeSeries：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "TimeSeries"}]

从日志文件导入单行：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "TimeSeries", 5}]

从日志文件导入特定几行：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "TimeSeries", {1, 5}}]

导入日志文件的前 10 行：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "TimeSeries", 1 ;; 10}]

使用列名仅导入选定列：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "TimeSeries", All, {"Date", "Module", "LogLevel"}}]

导入的选项  (7)

"DataFormat"  (4)

Import 可自动从日志文件中存储的数据推断格式规范：

Wolfram Language code: Import["ExampleData/apache_error.log", "ApacheLog"]

指定预先定义的日志格式：

Wolfram Language code: Import["ExampleData/apache_error.log", "ApacheLog", "DataFormat" -> "ApacheErrorLog"]

自定义格式：

Wolfram Language code: Import["ExampleData/apache_error.log", "ApacheLog", "DataFormat" -> "[`Date`] [`Module`:`LogLevel`] [pid `ProcessID`:tid `ThreadID`] `Source`: `Error`: [client `Client`] `Message`, referer `Referer`"]

导入带可选字段的日志数据：

Wolfram Language code: log = "Monday [temp = 5C] [precipitation: rain] Tuesday [temp = 0C] Wednesday [temp = 2C] [precipitation: hail]";
Wolfram Language code: ImportString[log, "ApacheLog", "DataFormat" -> {"`Day` [temp = `Temperature`]", OptionalElement["[precipitation: `Precipitation`]"]}]

"Schema"  (2)

Import 会根据日志文件中存储的数据自动推断列的标签和类型：

Wolfram Language code: tab = Import["ExampleData/apache_error.log", "ApacheLog"]
Wolfram Language code: tab["ColumnTypes"]

用 "Schema" 选项来指定列的标签和类型：

Wolfram Language code: tab = Import["ExampleData/apache_error.log", "ApacheLog", "Schema" -> {"ColumnKeys" -> {"Date", "Module", "LogLevel", "ProcessID", "ThreadID", "Source", "Error", "Client", "Message", "Referer"}, "ElementType" -> {"Date" -> "Date", "ProcessID" -> "Integer32", "ThreadID" -> "Integer64"}}]
Wolfram Language code: tab["ColumnTypes"]

"TimeColumn"  (1)

默认情况下，对于 "TimeSeries" 和 "EventSeries" 元素，时间列会自动选择：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "TimeSeries"}]

使用 "TimeColumn" 选项来指定时间列：

Wolfram Language code: Import["ExampleData/apache_error.log", {"ApacheLog", "TimeSeries"}, "TimeColumn" -> "ProcessID"]