WOLFRAM

Wolfram 语言与系统参考资料中心

PredictorMeasurements[predictor,testset,prop]

当 predictor 对 testset 进行计算时，给出和属性 prop 相关联的测试.

PredictorMeasurements[predictor,testset]

生成可应用于任何属性的测量报告.

PredictorMeasurements[data,…]

使用预测 data 而非预测器.

PredictorMeasurements[…,{prop1,prop2,…}]

给出属性 prop1、prop2 等.

更多信息和选项
Details and Options Details and Options
范例  
基本范例  
范围  
基于残差的度量  
比较图和范例提取  
概率指标  
选项  
IndeterminateThreshold  
TargetDevice  
UtilityFunction  
"Uncertainty"  
Weights  
应用  
参见
相关指南
历史
按以下格式引用：

PredictorMeasurements

PredictorMeasurements[predictor,testset,prop]

当 predictor 对 testset 进行计算时，给出和属性 prop 相关联的测试.

PredictorMeasurements[predictor,testset]

生成可应用于任何属性的测量报告.

PredictorMeasurements[data,…]

使用预测 data 而非预测器.

PredictorMeasurements[…,{prop1,prop2,…}]

给出属性 prop1、prop2 等.

更多信息和选项

  • 度量用于决定不用于训练（测试集）的数据的预测器的性能.
  • 可能的度量包括分类指标（准确性、似然性等），可视化（混淆矩阵、接受者操作特性曲线等）或特定返利（如最糟分类范例）.
  • predictor 通常是由 Predict 生成的 PredictorFunction 对象.
  • 在 PredictorMeasurements[data,…] 中，预测 data 可以有如下形式：
  • {y1,y2,…}预测器做出的预测（人文、算法等.）
    {dist1,dist2,…}预测器获得的预测性分布
  • PredictorMeasurements[…,opts] 指明预测器在应用于测试集时应使用选项 opts. 可能的选项在 PredictorFunction 中给出.
  • PredictorMeasurements[predictor,testset] 返回一个显示为报告面板的 PredictorMeasurementsObject[…]，如：
  • PredictorMeasurementsObject[…][prop] 可用于从 PredictorMeasurementsObject 中查找 prop. 当需要重复属性查询时，这比每次使用 PredictorMeasurements 的方法更高效.
  • PredictorMeasurementsObject[…][prop,opts] 指明预测器在应用于测试集时应使用选项 opts. 这些选项可取代给到 PredictorMeasurements 的原始选项.
  • PredictorMeasurements 具有与 PredictorFunction[…] 相同的选项，并有以下增加：
  • Weights Automatic与测试集范例相关的权值
    ComputeUncertaintyFalse度量是否与其统计不确定性一起给出
  • 当 ComputeUncertaintyTrue 时，数值度量会返回为 Around[result,err]，其中，err 表示关联度量 result 的标准误差（对应于 68% 的置信区间）.
  • Weights 的可能设置包括：
  • Automatic对全部范例关联权值 1
    {w1,w2,…}对第 i 个测试范例关联权值 wi
  • 将测试范例的权值从 1 变为 2 等价于复制此范例.
  • 权值影响度量及其不确定性.
  • 返回与测试集上的预测能力相关的单个数值的属性包括：
  • "StandardDeviation"残差的均方根
    "StandardDeviationBaseline"测试集值的标准偏差
    "LogLikelihood"给定测试数据，模型的对数似然
    "MeanCrossEntropy"在测试范例上的平均交叉熵
    "MeanDeviation"残差绝对值的平均值
    "MeanSquare"残差平方的平均值
    "RSquared"决定系数
    "FractionVarianceUnexplained"无法解释的方差的比例
    "Perplexity"平均交叉熵的指数
    "RejectionRate"样本预测结果为 Indeterminate 的比例
    "GeometricMeanProbabilityDensity"实际类概率密度的几何平均
  • 当度量属性与测试集，例如， "StandardDeviation" 或 "MeanCrossEntropy" 上的预测能力相关时，分类为 Indeterminate 的测试范例会被丢弃.
  • 返回图形的属性包括：
  • "ComparisonPlot"绘图比较预测值和测试值
    "ICEPlots"个体条件期望 (ICE) 图
    "ProbabilityDensityHistogram"实际类概率密度的直方图
    "Report"报告主要测量的面板
    "ResidualHistogram"残差的直方图
    "ResidualPlot"残差图形
    "SHAPPlots"每个类别的 Shapley 可加和特征解释图
  • 时间相关的属性包括：
  • "EvaluationTime"预测一个范例所需的时间
    "BatchEvaluationTime"在给定批处理时预测一个范例的边际时间
  • 为每个测试集范例返回一个值的属性包括：
  • "Residuals"预测值与测试值之差的列表
    "ProbabilityDensities"实际类预测概率密度
    "SHAPValues"每个范例的 Shapley 可加特征归因
  • "SHAPValues" 通过对不同特征集合的删除与合成比较预测来评估特征的贡献. 选项 MissingValueSynthesis 可用于指定如何合成缺失的特征. SHAP 解释是作为训练输出平均值的偏差给出的. "SHAPValues"n 可用于控制用于 SHAP 解释数值估计的样本数.
  • 从测试集返回范例的属性包括：
  • "BestPredictedExamples"具有最高实际类概率密度的范例
    "Examples"所有测试范例
    "Examples"{i1,i2}在区间 i1 中预测在区间 i2 中的范例
    "LeastCertainExamples"具有最高分布熵的范例
    "MostCertainExamples"具有最低分布熵的范例
    "WorstPredictedExamples"具有最低实际类概率密度的范例
  • 范例以格式 inputivaluei 给出，其中，valuei 是实际值.
  • 诸如 "WorstPredictedExamples" 或 "MostCertainExamples" 等属性输出至多 10 个范例. PredictorMeasurementsObject[…][propn] 可用于输出 n 个范例.
  • 其他属性包括：
  • "PredictorFunction"被测量的 PredictorFunction[…]
    "Properties"可用的测量属性列表

范例

打开所有单元 关闭所有单元

基本范例  (3)

在训练集上训练一个预测器：

Wolfram Language code: p = Predict[{1 -> 2, 3 -> 4.5, 5 -> 6, 7 -> 8.5}]

定义测试集：

Wolfram Language code: testset = {1.5 -> 2, 4 -> 5, 6 -> 5.5};

度量测试集上预测器的标准差：

Wolfram Language code: PredictorMeasurements[p, testset, "StandardDeviation"]

图示残差：

Wolfram Language code: PredictorMeasurements[p, testset, "ResidualPlot"]

可视化实际值和预测值的散点图：

Wolfram Language code: PredictorMeasurements[p, testset, "ComparisonPlot"]

立即度量多个属性：

Wolfram Language code: PredictorMeasurements[p, testset, {"StandardDeviation", "RSquared", "MeanCrossEntropy"}]

在训练集上训练预测器：

Wolfram Language code: p = Predict[{1 -> 2, 3 -> 4.5, 5 -> 6, 7 -> 8.5}]

在测试集上生成预测器的度量对象：

Wolfram Language code: pm = PredictorMeasurements[p, {1.5 -> 2, 4 -> 5, 6 -> 5.5}]

获取可用的度量属性列表：

Wolfram Language code: pm["Properties"]

度量测试集上预测器的标准差：

Wolfram Language code: pm["StandardDeviation"]

获取标准差和由于其有限的测试集大小导致的统计不确定性：

Wolfram Language code: pm["StandardDeviation", ComputeUncertainty -> True]

获取多个度量：

Wolfram Language code: pm[{"StandardDeviation", "RSquared"}, ComputeUncertainty -> True]

直接从分类范例中度量标准差：

Wolfram Language code: PredictorMeasurements[{1, 2, 3, 4}, {1.1, 2.4, 2.8, 5}, "StandardDeviation"]

获取度量报告：

Wolfram Language code: PredictorMeasurements[{1, 2, 3, 4}, {1.1, 2.4, 2.8, 5}]

从预测性分布中度量对数似然：

Wolfram Language code: PredictorMeasurements[{NormalDistribution[1, 1.2], NormalDistribution[2, 0.8], NormalDistribution[3, 1.9], NormalDistribution[4, 2.1]}, {1.1, 2.4, 2.8, 5}, "LogLikelihood"]

范围  (3)

基于残差的度量  (1)

可视化预测范例和其真实值的残差：

Wolfram Language code: PredictorMeasurements[{1, 2, 3, 4}, {1.1, 2.4, 2.8, 5}, "ResidualPlot"]

度量标准差：

Wolfram Language code: PredictorMeasurements[{1, 2, 3, 4}, {1.1, 2.4, 2.8, 5}, "StandardDeviation"]

这等价于计算残差的均方根：

Wolfram Language code: Sqrt@Mean[PredictorMeasurements[{1, 2, 3, 4}, {1.1, 2.4, 2.8, 5}, "Residuals"] ^ 2]

获取该度量上的统计不确定性：

Wolfram Language code: PredictorMeasurements[{1, 2, 3, 4}, {1.1, 2.4, 2.8, 5}, "StandardDeviation", ComputeUncertainty -> True]

标准差和基线比较（预测测试集值的平均值：

Wolfram Language code: PredictorMeasurements[{1, 2, 3, 4}, {1.1, 2.4, 2.8, 5}, "StandardDeviationBaseline", ComputeUncertainty -> True]

度量 方值：

Wolfram Language code: PredictorMeasurements[{1, 2, 3, 4}, {1.1, 2.4, 2.8, 5}, "RSquared"]

这代表解释了变量方差的比例：

Wolfram Language code: 1 - PredictorMeasurements[{1, 2, 3, 4}, {1.1, 2.4, 2.8, 5}, "StandardDeviation"] ^ 2 / PredictorMeasurements[{1, 2, 3, 4}, {1.1, 2.4, 2.8, 5}, "StandardDeviationBaseline"] ^ 2

计算未解释的方差比例：

Wolfram Language code: PredictorMeasurements[{1, 2, 3, 4}, {1.1, 2.4, 2.8, 5}, "FractionVarianceUnexplained"]

这两个值的和为 1：

Wolfram Language code: PredictorMeasurements[{1, 2, 3, 4}, {1.1, 2.4, 2.8, 5}, "RSquared"] + PredictorMeasurements[{1, 2, 3, 4}, {1.1, 2.4, 2.8, 5}, "FractionVarianceUnexplained"]

比较图和范例提取  (1)

在波士顿住房数据上创建一个训练集和一个测试集：

Wolfram Language code: {training, test} = TakeDrop[RandomSample@ResourceData["Sample Data: Boston Homes"], 300];
Wolfram Language code: Dataset[training, MaxItems -> 5]

在训练集上训练一个模型：

Wolfram Language code: p = Predict[training -> "MEDV"]

在测试集上为该分类器创建一个分类器度量对象：

Wolfram Language code: pm = PredictorMeasurements[p, test]

找到预测最差的两个范例：

Wolfram Language code: pm["WorstPredictedExamples" -> 2]

计算其预测值：

Wolfram Language code: #1 -> p[#1]&@@@pm["WorstPredictedExamples" -> 2]

找到预测最好的两个范例：

Wolfram Language code: pm["BestPredictedExamples" -> 2]

计算其预测值：

Wolfram Language code: #1 -> p[#1]&@@@pm["BestPredictedExamples" -> 2]

比较预测值和正确值：

Wolfram Language code: pm["ComparisonPlot"]

提取真实值在 30 到 40 之间和预测值在 40 到 50 之间的范例：

Wolfram Language code: pm["Examples" -> {{30, 40}, {40, 50}}]

概率指标  (1)

生成并图示表达式 Cos[x*y] 的仿真数据集：

Wolfram Language code: Plot3D[Cos[x * y], {x, -2, 2}, {y, -2, 2}]
Wolfram Language code: points = {##, Cos[#1 * #2] + RandomReal[{-.2, .2}]}&@@@RandomReal[{-2, 2}, {1000, 2}];
Wolfram Language code: ListPointPlot3D[points]

将数据集分为训练集和测试集：

Wolfram Language code: {trainingset, testset} = TakeDrop[{#1, #2} -> #3&@@@points, 800];

用训练集训练预测器：

Wolfram Language code: p = Predict[trainingset]

度量测试集的对数似然（真实值的总对数概率分布函数）：

Wolfram Language code: PredictorMeasurements[p, testset, "LogLikelihood"]

度量平均交叉熵：

Wolfram Language code: PredictorMeasurements[p, testset, "MeanCrossEntropy"]

平均交叉熵是平均负对数似然：

Wolfram Language code: -PredictorMeasurements[p, testset, "LogLikelihood"] / Length[testset]

选项  (5)

IndeterminateThreshold  (1)

生成仿真数据集并以图形显示：

Wolfram Language code: points = {#, Cos[#] + RandomReal[#]}& /@ RandomReal[{-3, 3}, {1000}]; dataset = Rule @@@ points;
Wolfram Language code: ListPlot[points]

将数据集分成训练集和测试集：

Wolfram Language code: trainingset = dataset[[ ;; 800]]; testset = dataset[[801 ;; ]];

用训练集训练预测器：

Wolfram Language code: p = Predict[trainingset]

绘制几个特征值的预测分布：

Wolfram Language code: Plot[{ PDF[p[-2, "Distribution"], y], PDF[p[-1, "Distribution"], y], PDF[p[0., "Distribution"], y] }, {y, -3, 2}, PlotRange -> All, PlotLegends -> "Expressions"]

计算残差的均方根：

Wolfram Language code: PredictorMeasurements[p, testset, "StandardDeviation"]

改变预测器的阈值，重复同样的计算：

Wolfram Language code: PredictorMeasurements[p, testset, "StandardDeviation", IndeterminateThreshold -> 1]

还可以用 PredictorMeasurementsObject 完成同样的计算：

Wolfram Language code: pm = PredictorMeasurements[p, testset]
Wolfram Language code: pm["StandardDeviation", IndeterminateThreshold -> 1]

绘制标准差和淘汰率与阈值之间的函数关系：

Wolfram Language code: Get["MachineLearning`"] DiscretePlot[pm["StandardDeviation", IndeterminateThreshold -> x], {x, 0, 5, .5}, Joined -> True]
Wolfram Language code: DiscretePlot[pm["RejectionRate", IndeterminateThreshold -> x], {x, 0, 5, .5}, Joined -> True]

TargetDevice  (1)

使用神经网络训练预测器：

Wolfram Language code: trainingData = RandomReal[1, {2000, 4}] -> RandomReal[1, 2000]; predictor = Predict[trainingData, Method -> "NeuralNetwork"]

测量预测器在 TargetDevice 不同设置时对测试集的标准偏差：

Wolfram Language code: testset = RandomReal[1, {10, 4}] -> RandomReal[1, 10];
Wolfram Language code: AbsoluteTiming[PredictorMeasurements[predictor, testset, "StandardDeviation", TargetDevice -> "GPU"]]
Wolfram Language code: AbsoluteTiming[PredictorMeasurements[predictor, testset, "StandardDeviation", TargetDevice -> "CPU"]]

UtilityFunction  (1)

定义训练集和测试集：

Wolfram Language code: trainingset = {1 -> 1.1, 2 -> 4.4, 3 -> 6.1, 4 -> 7.1, 5 -> 9.2};
Wolfram Language code: testset = {0.7 -> 1.3, 2.1 -> 4.7, 3.5 -> 5.8, 3.5 -> 6.6};

用训练集训练预测器：

Wolfram Language code: p = Predict[trainingset]

定义一个效用函数来惩罚预测值小于实际值并图示该函数：

Wolfram Language code: utility[a_, p_] := -Piecewise[{{Exp[p - a], a < p}, {Exp[3 * (a - p)], a ≥ p}}]
Wolfram Language code: Plot[utility[0, p], {p, -1, 2}]

计算用测试集和效用函数测试预测器时的残差：

Wolfram Language code: PredictorMeasurements[p, testset, "Residuals", UtilityFunction -> utility]

使用默认效用函数时的残差较大：

Wolfram Language code: PredictorMeasurements[p, testset, "Residuals"]

使用 PredictorMeasurementsObject 时也可以指定效用函数：

Wolfram Language code: pm = PredictorMeasurements[p, testset]
Wolfram Language code: pm["Residuals", UtilityFunction -> utility]

"Uncertainty"  (1)

在 "WineQuality" 数据集上训练预测器：

Wolfram Language code: training = ExampleData[{"MachineLearning", "WineQuality"}, "TrainingData"];
Wolfram Language code: p = Predict[training]

用测试集生成 PredictorMeasurements[…] 对象：

Wolfram Language code: test = ExampleData[{"MachineLearning", "WineQuality"}, "TestData"];
Wolfram Language code: pm = PredictorMeasurements[p, test]

得到标准偏差及其不确定性的度量：

Wolfram Language code: pm["StandardDeviation", ComputeUncertainty -> True]

得到其它属性及其不确定性的度量：

Wolfram Language code: Dataset[AssociationMap[pm[#, ComputeUncertainty -> True]&, {"GeometricMeanProbabilityDensity", "MeanCrossEntropy", "MeanDeviation", "MeanSquare", "TotalSquare"}]]

Weights  (1)

在训练集上创建预测器：

Wolfram Language code: p = Predict[{1 -> 2, 3 -> 4.5, 5 -> 6, 7 -> 8.5}]

指定各个测试范例的权值，生成测量对象：

Wolfram Language code: pm = PredictorMeasurements[p, {1.5 -> 2, 4 -> 5, 6 -> 5.5, 3 -> 5}, Weights -> {1.5, 3, 2, 1}]

计算标准偏差：

Wolfram Language code: pm["StandardDeviation"]

权值也可以在使用度量对象时修改：

Wolfram Language code: pm["StandardDeviation", Weights -> {1, 1, 1, 3}]

不确定性还会受权重的影响：

Wolfram Language code: pm["StandardDeviation", ComputeUncertainty -> True]
Wolfram Language code: pm["StandardDeviation", Weights -> {1, 1, 1, 3}, ComputeUncertainty -> True]

应用  (2)

加载一个数据集，其中，月平均气温为城市、年份、月份的函数：

Wolfram Language code: dataset = RandomSample[{#2, #3, #4} -> #1& @@@ExampleData[{"Statistics", "USCityTemperature"}]];
Wolfram Language code: RandomSample[dataset, 3] // TableForm

将数据集分成训练集和测试集：

Wolfram Language code: trainingset = dataset[[ ;; 200]];
Wolfram Language code: testset = dataset[[201 ;; ]];

用训练集训练预测器：

Wolfram Language code: p = Predict[trainingset]

用预测器和测试集生成 PredictorMeasurementsObject：

Wolfram Language code: pm = PredictorMeasurements[p, testset]

计算测试集上分类器的平均交叉熵：

Wolfram Language code: pm["MeanCrossEntropy"]

图示表示测试值和预测值之间函数关系的散点图：

Wolfram Language code: pm["ComparisonPlot"]

提取位于给定的比较图区域上的测试范例：

Wolfram Language code: pm["Examples" -> {{30, 40}, {40, 60}}]

提取 20 个最差的预测范例：

Wolfram Language code: pm["WorstPredictedExamples" -> 20]

给定地区的一些特征值，训练一个可以预测波士顿地区房产中值的预测器：

Wolfram Language code: p = Predict[ExampleData[{"MachineLearning", "BostonHomes"}, "TrainingData"], PerformanceGoal -> "Quality"]

生成预测器测试对象来分析预测器的性能：

Wolfram Language code: pm = PredictorMeasurements[p, ExampleData[{"MachineLearning", "BostonHomes"}, "TestData"]]

绘制残差：

Wolfram Language code: pm["ResidualPlot"]

绘制残差直方图：

Wolfram Language code: pm["ResidualHistogram"]

计算预测值和实际值之间的标准差（残差的均方根）：

Wolfram Language code: pm["StandardDeviation"]

获取上述度量的统计不确定性：

Wolfram Language code: pm["StandardDeviation", ComputeUncertainty -> True]
Wolfram Research (2014)，PredictorMeasurements，Wolfram 语言函数，https://reference.wolfram.com/language/ref/PredictorMeasurements.html （更新于 2021 年）.

文本

Wolfram Research (2014)，PredictorMeasurements，Wolfram 语言函数，https://reference.wolfram.com/language/ref/PredictorMeasurements.html （更新于 2021 年）.

CMS

Wolfram 语言. 2014. "PredictorMeasurements." Wolfram 语言与系统参考资料中心. Wolfram Research. 最新版本 2021. https://reference.wolfram.com/language/ref/PredictorMeasurements.html.

APA

Wolfram 语言. (2014). PredictorMeasurements. Wolfram 语言与系统参考资料中心. 追溯自 https://reference.wolfram.com/language/ref/PredictorMeasurements.html 年

BibTeX

@misc{reference.wolfram_2026_predictormeasurements, author="Wolfram Research", title="{PredictorMeasurements}", year="2021", howpublished="\url{https://reference.wolfram.com/language/ref/PredictorMeasurements.html}", note=[Accessed: 21-October-2026]}

BibLaTeX

@online{reference.wolfram_2026_predictormeasurements, organization={Wolfram Research}, title={PredictorMeasurements}, year={2021}, url={https://reference.wolfram.com/language/ref/PredictorMeasurements.html}, note=[Accessed: 21-October-2026]}