Wolfram 语言与系统参考资料中心

BayesianMaximization

BayesianMaximization[f,{conf₁,conf₂,…}]

给出一个对象，表示对函数 f 在配置 conf_i 上进行贝叶斯最大化的结果.

BayesianMaximization[f,reg]

在由区域规范 reg 表示的区域上最大化.

BayesianMaximization[f,sampler]

在通过应用函数 sampler 得到的配置上最大化.

BayesianMaximization[f,{conf₁,conf₂,…}nsampler]

应用函数 nsampler 依次生成由 conf_i 开始的配置.

BayesianMaximization

BayesianMaximization[f,{conf₁,conf₂,…}]

给出一个对象，表示对函数 f 在配置 conf_i 上进行贝叶斯最大化的结果.

BayesianMaximization[f,reg]

在由区域规范 reg 表示的区域上最大化.

BayesianMaximization[f,sampler]

在通过应用函数 sampler 得到的配置上最大化.

BayesianMaximization[f,{conf₁,conf₂,…}nsampler]

应用函数 nsampler 依次生成由 conf_i 开始的配置.

范例

打开所有单元关闭所有单元

基本范例 (3)

在一个区间上使函数最大化：

Wolfram Language code: bo = BayesianMaximization[-((# - 2) ^ 2 + 1)&, Interval[{0, 4}]]

使用得到的 BayesianMaximizationObject[…] 获取所估计的最大值配置：

Wolfram Language code: bo["MaximumConfiguration"]

获取所估计的最大函数值：

Wolfram Language code: bo["MaximumValue"]

在一个配置集合上使函数最大小化：

Wolfram Language code: bo = BayesianMaximization[(# ^ 2 - 3 * # + 2)&, {5.7, 1.1, 3.4, 6.8, 2.3, 1.2}]

在集合上获取最大值配置：

Wolfram Language code: bo["MaximumConfiguration"]

在由随机生成器定义的定义域上使函数最大化：

Wolfram Language code: bo = BayesianMaximization[ -(# ^ 2 - 5 * # + 4)&, RandomReal[{0, 5}]&]

获取估计的最大值：

Wolfram Language code: bo["MaximumValue"]

范围 (3)

在一个区域上使函数最大化：

Wolfram Language code:

f[x_] := -(x - 4) ^ 2 - 1;
reg = Interval[{0., 7.}];

Wolfram Language code: bo = BayesianMaximization[f, reg]

得到要查询的可用属性列表：

Wolfram Language code: bo["Properties"]

获取运算历史：

Wolfram Language code: bo["EvaluationHistory"]

得到用于确定配置所尝试的方法的信息：

Wolfram Language code: bo["Method"]

获取函数的当前概率模型（这是一个 PredictorFunction）：

Wolfram Language code: p = bo["PredictorFunction"]

如果最大化继续的话，得到要尝试的最佳配置：

Wolfram Language code: bo["NextConfiguration"]

同时得到一个属性列表：

Wolfram Language code: bo[{"ObjectiveFunction", "Method", "MaximumValue"}]

可视化对该函数建模的良好效果，特别是在最大值附近：

Wolfram Language code: Plot[{f[{x}], p[{x}]}, {x, 0, 7}, PlotLegends -> {"function", "model"}, Exclusions -> False ]

在由随机邻域配置生成器定义的域上，最大化一个带有初始配置的函数：

Wolfram Language code:

f[x_] := -x ^ 2 + 7 * x - 3;
neighborsampler[x_] := RandomReal[{x - 0.2, x + 0.2}];

Wolfram Language code: bo = BayesianMaximization[f, {1., 7., 2.} -> neighborsampler]

得到函数的模型：

Wolfram Language code: p = bo["PredictorFunction"]

可视化最大值附近模型的表现：

Wolfram Language code: Plot[{f[{x}], p[{x}]}, {x, 0, 7}, PlotLegends -> {"function", "model"}, Exclusions -> False]

定义一个函数，取一个图像，计算由 ImageIdentify 将图像识别为实体所返回的概率，定义域由一个随机发生器在图像库上定义：

Wolfram Language code:

f[image_] := Module[{prob}, prob = ImageIdentify[image, Entity["Concept", "Fruit::855t9"], 5, "Probability"];
	Lookup[prob, Entity["Concept", "Apple::857h7"], 0.]
];
images = WikipediaData["Apple", "ImageList"];
sampler[] := RandomChoice[images];

最大化上述函数：

Wolfram Language code: bo = BayesianMaximization[f, sampler, AssumeDeterministic -> True]

得到最大值配置：

Wolfram Language code: bo["MaximumConfiguration"]

获取运算历史：

Wolfram Language code: bo["EvaluationHistory"]

选项 (4)

AssumeDeterministic (1)

在由随机生成器定义的域上最大化一个函数：

Wolfram Language code:

f[x_] := x Sin[x] - 3 Cos[x] - x / 2;
sampler[] := RandomReal[{-6., 6.}];

Wolfram Language code: bo = BayesianMaximization[f, sampler]

函数被假定为随机的；一般而言，概率模型中的值将与相同配置的函数值不同：

Wolfram Language code: bo["MaximumValue"]

Wolfram Language code: f[bo["MaximumConfiguration"]]

包括函数是确定性的信息，即无噪声：

Wolfram Language code: bo2 = BayesianMaximization[f, sampler, AssumeDeterministic -> True]

对于确定性函数，模型值和配置已运算的函数值具有精度良好的一致性：

Wolfram Language code: bo2["MaximumValue"]

Wolfram Language code: f[bo2["MaximumConfiguration"]]

InitialEvaluationHistory (1)

在圆盘区域上对一个函数进行迭代次数较小的最大化：

Wolfram Language code:

f[{x_, y_}] :=   Cos[x] - Exp[(x - 0.5)  * y];
reg = Disk[{0, 0}, 1.];

Wolfram Language code: bo = BayesianMaximization[f, reg, MaxIterations -> 5]

在下一次运算时使用这次运算的信息：

Wolfram Language code: evalhist = bo["EvaluationHistory"]

Wolfram Language code: bo2 = BayesianMaximization[f, reg, InitialEvaluationHistory -> evalhist]

现在得到所估计的最大值配置：

Wolfram Language code: bo2["MaximumConfiguration"]

MaxIterations (1)

在由随机生成器定义的域上最大化一个函数：

Wolfram Language code:

f[x_] := Sin[x] + 4 * Cos[x] + x;
sampler [] := RandomReal[{-5, 5}];

Wolfram Language code: bo = BayesianMaximization[f, sampler]

得到函数的运算次数：

Wolfram Language code: Length @ bo["EvaluationHistory"]

指定迭代的最大次数：

Wolfram Language code: bo2 = BayesianMaximization[f, sampler, MaxIterations -> 5]

Wolfram Language code: Length @ bo2["EvaluationHistory"]

Method (1)

在一个区间上定义一个函数：

Wolfram Language code:

f[x_] :=   -x ^ 2 + 3 * x - 2;
int = Interval[{-5., 5.}];

指定试用配置的方法：

Wolfram Language code: bo = BayesianMaximization[f, int, Method -> "MaxExpectedImprovement"]

指定一个不同的方法：

Wolfram Language code: bo2 = BayesianMaximization[f, int, Method -> "MaxImprovementProbability"]

应用 (2)

定义一个训练集，训练使用 Predict 函数的预测函数，并定义一个测试集以衡量它们的效能：

Wolfram Language code:

trainingset = Table[n -> Sin[n], {n, 1, 15}];
testset = {3.9 -> Sin[3.9], 7.3 -> Sin[7.3]};

创建一个“对数似然”函数，以度量 Predict 中测试数据对不同方法的对数似然：

Wolfram Language code:

func[method_] := PredictorMeasurements[Predict[trainingset, Method -> method], testset, "LogLikelihood"];
methods = {"LinearRegression", "NearestNeighbors", "NeuralNetwork", "GaussianProcess"};

在由 Predict 的不同方法列表定义的域上最大化对数似然函数：

Wolfram Language code: bo = BayesianMaximization[func, methods]

查看运算历史：

Wolfram Language code: bo["EvaluationHistory"]

得到下一次要尝试的最佳配置：

Wolfram Language code: bo["NextConfiguration"]

加载费雪鸢尾花卉数据集，并将其划分为训练集和验证集：

Wolfram Language code:

sampletest  =   RandomSample[ExampleData[{"MachineLearning", "FisherIris"}, "Data"]];
trainingsample = sampletest[[1 ;; 100]];
validationsample = sampletest[[101 ;; ]];

创建“黑箱”函数. 这里函数是 Classify 函数中所用的两种不同方法下的对数似然函数. 函数参数被称为超级参数.

训练具有两个超级参数（ L1 和 L2 的正则化系数）的 logistic 回归分类器：

Wolfram Language code:

fLogisticReg[{l1_, l2_}] := Module[
	{class}, 
	class = Classify[trainingsample, Method -> {"LogisticRegression", 
		"L1Regularization" -> Exp[l1], "L2Regularization" -> Exp[l2]}];
	ClassifierMeasurements[class, validationsample, "LogLikelihood"]
];
reg = Rectangle[{-3., -3.}, {3., 3.}];

对超级参数取对数，在由矩形区域定义的域上最大化 logistic 回归分类器的对数似然函数：

Wolfram Language code: boLogistic = BayesianMaximization[fLogisticReg, reg]

得到函数的模型：

Wolfram Language code: pLogistic = boLogistic["PredictorFunction"]

可视化分类器的对数似然函数模型与所估计的最大值：

Wolfram Language code: pt = {Append[boLogistic["MaximumConfiguration"], boLogistic["MaximumValue"]]}

Wolfram Language code:

Show[Plot3D[pLogistic[{x, y}], {x, -3, 3}, {y, -3, 3}, PlotLegends -> {"Logistic Regression"}, Exclusions -> False], ListPointPlot3D[pt, PlotStyle -> Directive[Red, PointSize[Large]]]]

现在训练一个具有超级参数（软边缘参数和伽马缩放参数）的支持向量机 (SVM) 分类器：

Wolfram Language code:

fSVMRBF[{c_, gamma_}] := Module[
	{class}, 
	class  =   Classify[trainingsample, Method -> {"SupportVectorMachine", "KernelType" -> 
		"RadialBasisFunction", "SoftMarginParameter" -> Exp[c], "GammaScalingParameter" -> Exp[gamma]}];
	ClassifierMeasurements[class, validationsample, "LogLikelihood"]
];
reg2 = Rectangle[{-3., -3.}, {3., 3.}];

对超级参数取对数，在由矩形区域定义的域上最大化 SVM 分类器的对数似然函数：

Wolfram Language code: boSVM = BayesianMaximization[fSVMRBF, reg2]

得到函数的模型：

Wolfram Language code: pSVM = boSVM["PredictorFunction"]

可视化分类器的对数似然函数模型与所估计的最大值：

Wolfram Language code: pt2 = {Append[boSVM["MaximumConfiguration"], boSVM["MaximumValue"]]}

Wolfram Language code:

Show[Plot3D[pSVM[{x, y}], {x, -3, 3}, {y, -3, 3}, PlotLegends -> "Support Vector Machine-RBF", ColorFunction -> "BlueGreenYellow", Exclusions -> False], ListPointPlot3D[pt2, PlotStyle -> Directive[Red, PointSize[Large]]]]

可能存在的问题 (2)

当目标函数的域由初始配置集和邻域配置生成器定义时，结果取决于所提供的生成器的质量.

域的定义如上，对函数进行最小化：

Wolfram Language code:

f[x_] := Sin[x] - x * Cos[x];
ns[x_] := RandomReal[{x - 0.1, x + 0.1}];

Wolfram Language code: bo = BayesianMaximization[f, {0, 3.} -> ns, Method -> Automatic, AssumeDeterministic -> True]

得到函数的模型：

Wolfram Language code: p = bo["PredictorFunction"]

由于起始的初始配置离全局最大值很“远”，生成器取相对较小的步长，该算法能收敛于局部最大值：

Wolfram Language code: Plot[{f[x], p[x]}, {x, -8, 8}, Exclusions -> False]

如果邻域配置生成器的步长“过大”或“过小”，就有可能导致问题：

Wolfram Language code:

SeedRandom[2];
(bo = BayesianMaximization[# ^ 2 &, {1., 2., 3.} -> (RandomReal[{# - 0.01, # + 0.01}]&), AssumeDeterministic -> True])//AbsoluteTiming

上述情况下，运算时间非常长. 由于生成器每次取非常小的步长，该算法将持续运行，直到完成默认的 100 次迭代为止.

Wolfram Language code: bo["EvaluationHistory"]

Top

	Automatic	每次调用函数时都会自动重新设置种子
	Inherited	使用外部种子随机数
	seed	使用明确的整数或字符串作为种子

更多学习资源

技术支持

Wolfram 解决方案

Wolfram 的教育解决方案

开始

提高你的技能

与我们合作

成人教育计划

青少年教育计划

欢迎阅读

BayesianMaximization

更多信息和选项

范例

基本范例 (3)

范围 (3)

选项 (4)

AssumeDeterministic (1)

InitialEvaluationHistory (1)

MaxIterations (1)

Method (1)

应用 (2)

可能存在的问题 (2)

文本

CMS

APA

BibTeX

BibLaTeX

	"EvaluationHistory"	最大化过程中所尝试的配置和值
	"MaximumConfiguration"	所得到的使 f 结果最大化的配置
	"MaximumValue"	从 f 获得的估计最大值
	"Method"	用于贝叶斯最大化的方法
	"NextConfiguration"	如果最大化继续，下一个要尝试的配置
	"PredictorFunction"	所得到的函数 f 的最佳预测模型
	"Properties"	所有可用属性的列表

AssumeDeterministic	False	是否假定 f 为确定性的
InitialEvaluationHistory	None	配置和值的初始集合
MaxIterations	100	迭代的最大次数
Method	Automatic	用于确定所运算的配置的方法
RandomSeeding	1234	应该在伪随机发生器内部完成的种子指定方式

	Automatic	自动选取方法
	"MaxExpectedImprovement"	在当前的最佳值上最大化预期的改善
	"MaxImprovementProbability"	在当前的最佳值上最大化改善的概率

BayesianMaximization

更多信息和选项

范例

基本范例 (3)

范围 (3)

选项 (4)

AssumeDeterministic (1)

InitialEvaluationHistory (1)

MaxIterations (1)

Method (1)

应用 (2)

可能存在的问题 (2)

参见

相关指南

历史

文本

CMS

APA

BibTeX

BibLaTeX