WOLFRAM

Wolfram 语言与系统参考资料中心
带有不确定性的回归

带有不确定性的回归

混合密度网络
该章节演示了使用混合密度网络模拟回归问题的不确定性. 这种网络通过接受输入 x 值，产生近似 的混合分布的输出参数模拟后验分布 .
以下代码创建了对应 x 和 y 值格式的合成训练数据. 数据不代表普通函数 ，因为对于每个 x 值，可以有多个 y 值. 另外，数据包含相当数量的噪声：
Wolfram Language code: n = 2500; ys = RandomReal[{-10.5, 10.5}, n]; rs = RandomVariate[NormalDistribution[], n]; xs = 5Sin[3ys / 4] + ys / 2 + rs / 2; ys = ys + rs * Sin[ys / 4] / 2; plot = ListPlot[Transpose[{xs, ys}], PlotRange -> All]
当给出输入值 x（其中，x 和 y 可以是标量、向量、矩阵等），普通递归网络预测单个 y 值. 密度网络的基本思想是计算 y 值的分布. 网络按 x 函数学习该分布的参数. 混合密度网络学习简单分布的混合. 例如，我们使用 6 个高斯混合.
构建一个接受输入数并使用多层感知产生三个独立向量的网络. 每个向量包含 6 个数字表示 6 个独立高斯分量的参数. 这些向量的两个（"mean" 和 "stddev"）表示高斯的平均和标准差. 最终向量 ("weight") 是概率向量表示如何混合这 6 个高斯产生单个分布. 注意，我们使用 Exp 激活确保标准差是正的，并使用 SoftmaxLayer 确保权和为 1：
Wolfram Language code: nmix = 6; parameterNet = NetGraph[<| "mlp" -> {50, Ramp, 50, Tanh}, "mean" -> nmix, "stddev" -> {nmix, Exp}, "weight" -> {nmix, SoftmaxLayer[]}|>, {"mlp" -> "mean" -> NetPort["mean"], "mlp" -> "stddev" -> NetPort["stddev"], "mlp" -> "weight" -> NetPort["weight"]}, "Input" -> {}]
接下来，我们训练一个更大的网络培训这个参数网络. 这个更大的网络从我们的数据分布中接受实际 x 和 y 值并计算负的对数似然性，它是度量我们参数网络表示的模型中数据的可能性. 通过最小化负的对数似然性，我们有效地最大化实际数据的似然性，它是训练概率模型的常用技术.
训练网计算由参数网产生的六个高斯下的单个 y 值的似然性. 为了将这些单独的似然性合并为高斯混合的单个似然性，我们使用权向量执行加权和. 最后，我们接受负对数.
构建培训网络，使用 ThreadingLayer 计算高斯似然性，DotLayer 接受 6 个高斯似然性的加权和，以及一个 ElementwiseLayer 把这个变成负的对数-似然性：
Wolfram Language code: gaussianLikelihood[y_, μ_, σ_] := PDF[NormalDistribution[μ, σ], y]; trainingNet = NetGraph[ <|"params" -> parameterNet, "repy" -> ReplicateLayer[nmix], "lhood" -> ThreadingLayer[gaussianLikelihood], "wsum" -> DotLayer[], "neglog" -> ElementwiseLayer[-Log[#]&]|>, {NetPort["x"] -> "params", NetPort["y"] -> "repy", {"repy", NetPort["params", "mean"], NetPort["params", "stddev"]} -> "lhood", {"lhood", NetPort["params", "weight"]} -> "wsum" -> "neglog" -> NetPort["Loss"]}]
我们看一下单个数据点上随机初始化网络的损失，以确保工作正常.
用 NetInitialize 随机初始化网络并把之应用于单个输入：
Wolfram Language code: NetInitialize[trainingNet][<|"x" -> 5, "y" -> 8|>]
我们现在可以训练模型，这对应于同时最大化生成数据集中每个点的模型的似然性. 训练完成后，我们将从训练网内提取参数网. 我们不再需要训练网络，因为我们不需要再次计算训练数据的负对数-似然性. 当给定 x 值时，参数网产生均值、标准偏差和权重的关联.
Train the net with用 NetTrain 训练网络 3000 轮. 指明 LossFunction"Loss" 以确保 NetTrain 直接从 "Loss" 端口最小化输出，而不是试着自动附加损失层：
Wolfram Language code: results = NetTrain[trainingNet, <|"x" -> xs, "y" -> ys|>, All, LossFunction -> "Loss", MaxTrainingRounds -> 1000]
使用 NetExtract 从最终的训练网络中提取已训练的参数网络：
Wolfram Language code: trainedNet = results["TrainedNet"]; trainedParameterNet = NetExtract[trainedNet, "params"]
把已训练的参数网络应用到输入：
Wolfram Language code: trainedParameterNet[0]
当给定 x 值，定义一个函数构建一个 MixtureDistribution：
Wolfram Language code: distributionAt[x_] := Module[{mean, stddev, weights}, {mean, stddev, weights} = Values[trainedParameterNet[x]]; MixtureDistribution[Chop@weights, Thread[NormalDistribution[mean, stddev]]] ];
在指定的 x 值上应用函数：
Wolfram Language code: dist = distributionAt[0]
从该分布采样新的 y 值：
Wolfram Language code: RandomVariate[dist, 5]
绘制该分布的 PDF. 这是后验 ：
Wolfram Language code: Quiet@Plot[Evaluate@PDF[dist, y], {y, -12, 12}, PlotRange -> All]
对于原始数据中的每个 x 值，从由模型计算的后验分布 中取一个样本：
Wolfram Language code: ys2 = RandomVariate[distributionAt[#]]& /@ xs; plot2 = ListPlot[Transpose[{xs, ys2}], PlotStyle -> Opacity[0.4, Hue[0.01, 0.8, 0.8]], PlotRange -> {All, {-12, 12}}]
重叠原始数据和模型采样的图：
Wolfram Language code: Show[plot, plot2]
我们已经学习的密度模型，因为它已经足够计算指定值 x 和 y 的概率密度 . 我们可以从已训练的网络中删除计算似然性的负对数的层，产生计算似然性的网络.
使用 NetDelete 删除计算似然性的负对数的 ElementwiseLayer：
Wolfram Language code: likelihoodNet = NetDelete[trainedNet, "neglog"]
由多种方式可以可视化该密度模型的行为. 最简单的是在 x 和 y 值得密度网格上采样似然性来产生密度图. 我们也可以可视化单个分量和它们的均值和权值如何随着 x 函数而变化.
使用 CoordinateBoundsArray 创建 {x,y} 对的网格，然后分别展平成 x 和 y 值列表：
Wolfram Language code: pairs = CoordinateBoundsArray[{{-12, 12}, {-12, 12}}, .1]; xrange = Flatten[pairs[[All, All, 1]]]; yrange = Flatten[pairs[[All, All, 2]]];
在单个批次中使用似然性网络有效计算这些值的概率，然后不展平概率，再次形成矩阵：
Wolfram Language code: nlls = likelihoodNet[<|"x" -> xrange, "y" -> yrange|>]; nlls = Partition[nlls, Length[pairs]];
绘制矩阵：
Wolfram Language code: ArrayPlot[Transpose@nlls, Frame -> False, DataReversed -> True, ColorFunction -> (Opacity[10#, Red]&)]
计算 x 值范围上的混合参数：
Wolfram Language code: xrange = Range[-12, 12, .1]; {means, stddevs, weights} = Transpose /@ Values[trainedParameterNet[xrange]];
变量 "means" 和 "stddevs" 现在包含每个 x 位置 6 个高斯分量的参数. 混合权由 "weights" 包含：
Wolfram Language code: Length[xrange] Dimensions /@ {means, stddevs, weights}
将各个混合分量绘制为包络线，其中实线是每个分量的平均值，阴影区域显示由标准偏差覆盖的 y 值的范围.
通过绘制线 mean-stddev、mean 和 mean+stddev，以及它们之间适当的阴影定义绘制单个分量的函数. 然后把这些图组合成单张图：
Wolfram Language code: colors = Take[ColorData[97, "ColorList"], 6]; plotMixtureComponent[mean_, stddev_, color_] := ListLinePlot[{mean - stddev, mean, mean + stddev}, Filling -> {1 -> {2}, 3 -> {2}}, PlotStyle -> {None, color, None}, FillingStyle -> Opacity[0.2, color], PlotRange -> {All, {-12, 12}}] Show[MapThread[plotMixtureComponent, {means, stddevs, colors}]]
正如您所看到的，当相应的混合权重接近于零时，与给定分量相关的标准差变得非常大，因为该分量对模型没有贡献并因此造成损失.
接下来，我们以 x 值得函数绘制混合权重，其中，颜色匹配之前图中显示的分量.
使用 StackedListPlot 作为 x 值函数彼此堆叠的 6 个权重值. 在每个 x 值，它们总和为 1，这归功于参数网中的 SoftmaxLayer[]：
Wolfram Language code: StackedListPlot[weights, PlotStyle -> colors]
最后，我们尝试同时显示混合分量的平均值和混合权重. 随着混合权重的减少，我们使与该分量相关的线条淡出. 将其与原始数据集进行比较，可以更容易地看到每个 x 值处的主混合分量如何在该 x 值处的原始数据集上反映 y 值的聚类.
使用 ColorFunction 选项允许每个 ListLinePlot 淡出对应的平均线，根据权重列表查询插值函数中的淡出量：
Wolfram Language code: plotShadedMean[mean_, weight_, color_] := Module[{winterp = Interpolation[weight]}, ListLinePlot[mean, ColorFunction -> Function[Lighter[color, 0.9 - winterp[#] * 2]], PlotStyle -> Thick, ColorFunctionScaling -> False]] Show[MapThread[plotShadedMean, {means, weights, colors}], PlotRange -> {All, {-12, 12}}]
Wolfram Language code: plot