PredictorMeasurements

PredictorMeasurements[predictor,testset,prop]

当 predictor 对 testset 进行计算时，给出和属性 prop 相关联的测试.

PredictorMeasurements[predictor,testset]

生成可应用于任何属性的测量报告.

PredictorMeasurements[data,…]

使用预测 data 而非预测器.

PredictorMeasurements[…,{prop1,prop2,…}]

给出属性 prop1、prop2 等.

更多信息和选项

  • 度量用于决定不用于训练（测试集）的数据的分类器的性能.
  • 可能的度量包括分类指标（准确性、似然性等），可视化（混淆矩阵、接受者操作特性曲线等）或特定返利（如最糟分类范例）.
  • predictor 通常是由 Predict 生成的 PredictorFunction 对象.
  • 在 PredictorMeasurements[data,…] 中，预测 data 可以有如下形式：
  • {y1,y2,…}预测器做出的预测（人文、算法等.）
    {dist1,dist2,…}预测器获得的预测性分布
  • PredictorMeasurements[…,opts] 指明预测器在应用于测试集时应使用选项 opts. 可能的选项在 PredictorFunction 中给出.
  • PredictorMeasurements[predictor,testset] 返回一个显示为报告面板的 PredictorMeasurementsObject[…]，如：
  • PredictorMeasurementsObject[…][prop] 可用于从 PredictorMeasurementsObject 中查找 prop. 当需要重复属性查询时，这比每次使用 PredictorMeasurements 的方法更高效.
  • PredictorMeasurementsObject[…][prop,opts] 指明预测器在应用于测试集时应使用选项 opts. 这些选项可取代给到 PredictorMeasurements 的原始选项.
  • PredictorMeasurements 具有与 PredictorFunction[…] 相同的选项，并有以下增加：
  • Weights Automatic与测试集范例相关的权值
    ComputeUncertaintyFalse度量是否与其统计不确定性一起给出
  • 当 ComputeUncertaintyTrue 时，数值度量会返回为 Around[result,err]，其中，err 表示关联度量 result 的标准误差（对应于 68% 的置信区间）.
  • Weights 的可能设置包括：
  • Automatic对全部范例关联权值 1
    {w1,w2,…}对第 i 个测试范例关联权值 wi
  • 将测试范例的权值从 1 变为 2 等价于复制此范例.
  • 权值影响度量及其不确定性.
  • 返回与测试集上的预测能力相关的单个数值的属性包括：
  • "StandardDeviation"残差的均方根
    "StandardDeviationBaseline"测试集值的标准偏差
    "LogLikelihood"给定测试数据，模型的对数似然
    "MeanCrossEntropy"在测试范例上的平均交叉熵
    "MeanDeviation"残差绝对值的平均值
    "MeanSquare"残差平方的平均值
    "RSquared"决定系数
    "FractionVarianceUnexplained"无法解释的方差的比例
    "Perplexity"平均交叉熵的指数
    "RejectionRate"样本预测结果为 Indeterminate 的比例
    "GeometricMeanProbabilityDensity"实际类概率密度的几何平均
  • 当度量属性与测试集，例如， "StandardDeviation" 或 "MeanCrossEntropy" 上的预测能力相关时，分类为 Indeterminate 的测试范例会被丢弃.
  • 返回图形的属性包括：
  • "ComparisonPlot"绘图比较预测值和测试值
    "ICEPlots"个体条件期望 (ICE) 图
    "ProbabilityDensityHistogram"实际类概率密度的直方图
    "Report"报告主要测量的面板
    "ResidualHistogram"残差的直方图
    "ResidualPlot"残差图形
    "SHAPPlots"每个类别的 Shapley 可加和特征解释图
  • 时间相关的属性包括：
  • "EvaluationTime"预测一个范例所需的时间
    "BatchEvaluationTime"在给定批处理时预测一个范例的边际时间
  • 为每个测试集范例返回一个值的属性包括：
  • "Residuals"预测值与测试值之差的列表
    "ProbabilityDensities"实际类预测概率密度
    "SHAPValues"每个范例的 Shapley 可加特征归因
  • "SHAPValues" 通过对不同特征集合的删除与合成比较预测来评估特征的贡献. 选项 MissingValueSynthesis 可用于指定如何合成缺失的特征. SHAP 解释是作为训练输出平均值的偏差给出的. "SHAPValues"n 可用于控制用于 SHAP 解释数值估计的样本数.
  • 从测试集返回范例的属性包括：
  • "BestPredictedExamples"具有最高实际类概率密度的范例
    "Examples"所有测试范例
    "Examples"{i1,i2}在区间 i1 中预测在区间 i2 中的范例
    "LeastCertainExamples"具有最高分布熵的范例
    "MostCertainExamples"具有最低分布熵的范例
    "WorstPredictedExamples"具有最低实际类概率密度的范例
  • 范例以格式 inputivaluei 给出，其中，valuei 是实际值.
  • 诸如 "WorstPredictedExamples" 或 "MostCertainExamples" 等属性输出至多 10 个范例. PredictorMeasurementsObject[…][propn] 可用于输出 n 个范例.
  • 其他属性包括：
  • "PredictorFunction"被测量的 PredictorFunction[…]
    "Properties"可用的测量属性列表

范例

打开所有单元关闭所有单元

基本范例  (3)

在训练集上训练一个预测器：

定义测试集：

度量测试集上预测器的标准差：

图示残差：

可视化实际值和预测值的散点图：

立即度量多个属性：

在训练集上训练预测器：

在测试集上生成预测器的度量对象：

获取可用的度量属性列表：

度量测试集上预测器的标准差：

获取标准差和由于其有限的测试集大小导致的统计不确定性：

获取多个度量：

直接从分类范例中度量标准差：

获取度量报告：

从预测性分布中度量对数似然：

范围  (3)

基于残差的度量  (1)

可视化预测范例和其真实值的残差：

度量标准差：

这等价于计算残差的均方根：

获取该度量上的统计不确定性：

标准差和基线比较（预测测试集值的平均值：

度量 方值：

这代表解释了变量方差的比例：

计算未解释的方差比例：

这两个值的和为 1：

比较图和范例提取  (1)

在波士顿住房数据上创建一个训练集和一个测试集：

在训练集上训练一个模型：

在测试集上为该分类器创建一个分类器度量对象：

找到预测最差的两个范例：

计算其预测值：

找到预测最好的两个范例：

计算其预测值：

比较预测值和正确值：

提取真实值在 30 到 40 之间和预测值在 40 到 50 之间的范例：

概率指标  (1)

生成并图示表达式 Cos[x*y] 的仿真数据集：

将数据集分为训练集和测试集：

用训练集训练预测器：

度量测试集的对数似然（真实值的总对数概率分布函数）：

度量平均交叉熵：

平均交叉熵是平均负对数似然：

选项  (5)

IndeterminateThreshold  (1)

生成仿真数据集并以图形显示：

将数据集分成训练集和测试集：

用训练集训练预测器：

绘制几个特征值的预测分布：

计算残差的均方根：

改变预测器的阈值，重复同样的计算：

还可以用 PredictorMeasurementsObject 完成同样的计算：

绘制标准差和淘汰率与阈值之间的函数关系：

TargetDevice  (1)

使用神经网络训练预测器：

测量预测器在 TargetDevice 不同设置时对测试集的标准偏差：

UtilityFunction  (1)

定义训练集和测试集：

用训练集训练预测器：

定义一个效用函数来惩罚预测值小于实际值并图示该函数：

计算用测试集和效用函数测试预测器时的残差：

使用默认效用函数时的残差较大：

使用 PredictorMeasurementsObject 时也可以指定效用函数：

"Uncertainty"  (1)

在 "WineQuality" 数据集上训练预测器：

用测试集生成 PredictorMeasurements[…] 对象：

得到标准偏差及其不确定性的度量：

得到其它属性及其不确定性的度量：

Weights  (1)

在训练集上创建预测器：

指定各个测试范例的权值，生成测量对象：

计算标准偏差：

权值也可以在使用度量对象时修改：

不确定性还会受权重的影响：

应用  (2)

加载一个数据集，其中，月平均气温为城市、年份、月份的函数：

将数据集分成训练集和测试集：

用训练集训练预测器：

用预测器和测试集生成 PredictorMeasurementsObject：

计算测试集上分类器的平均交叉熵：

图示表示测试值和预测值之间函数关系的散点图：

提取位于给定的比较图区域上的测试范例：

提取 20 个最差的预测范例：

给定地区的一些特征值，训练一个可以预测波士顿地区房产中值的预测器：

生成预测器测试对象来分析预测器的性能：

绘制残差：

绘制残差直方图：

计算预测值和实际值之间的标准差（残差的均方根）：

获取上述度量的统计不确定性：

Wolfram Research (2014)，PredictorMeasurements，Wolfram 语言函数，https://reference.wolfram.com/language/ref/PredictorMeasurements.html （更新于 2021 年）.

文本

Wolfram Research (2014)，PredictorMeasurements，Wolfram 语言函数，https://reference.wolfram.com/language/ref/PredictorMeasurements.html （更新于 2021 年）.

CMS

Wolfram 语言. 2014. "PredictorMeasurements." Wolfram 语言与系统参考资料中心. Wolfram Research. 最新版本 2021. https://reference.wolfram.com/language/ref/PredictorMeasurements.html.

APA

Wolfram 语言. (2014). PredictorMeasurements. Wolfram 语言与系统参考资料中心. 追溯自 https://reference.wolfram.com/language/ref/PredictorMeasurements.html 年

BibTeX

@misc{reference.wolfram_2024_predictormeasurements, author="Wolfram Research", title="{PredictorMeasurements}", year="2021", howpublished="\url{https://reference.wolfram.com/language/ref/PredictorMeasurements.html}", note=[Accessed: 23-November-2024 ]}

BibLaTeX

@online{reference.wolfram_2024_predictormeasurements, organization={Wolfram Research}, title={PredictorMeasurements}, year={2021}, url={https://reference.wolfram.com/language/ref/PredictorMeasurements.html}, note=[Accessed: 23-November-2024 ]}