局部极小化介绍

绝大部分方法的基础是用以确定下一个步骤的局部二次模型

Mathematica 中的 FindMinimum 函数有五个基本不同的方式来选择该模型，由方法选项控制. FindMaximum 和 FindFit 也同样使用这些方法.

"Newton"	使用精确Hessian或者当符号化的导数不能计算的时候使用有限差分近似
"QuasiNewton"	使用 Hessian 的拟牛顿BFGS来近似，它是通过基于过去步骤的不断更新建立起来的
"LevenbergMarquardt"	最小二乘问题的高斯-牛顿方法; 其Hessian由 近似，其中 是残差函数的雅克比
"ConjugateGradient"	求解线性系统的共轭梯度法的非线性版本; 一个模型 Hessian 从来没有明确形成
"PrincipalAxis"	通过保持从过去的步骤得到的数值来工作，不使用任何导数，甚至不使用梯度； 它需要在每个变量有两个起始条件

FindMinimum 的基本方法选择.

当设置 Method->Automatic 时，Mathematica 使用 拟牛顿 方法，除非我们要求解的问题在结构上是一个平方和的形式，在这种情况下，则使用 高斯-牛顿法 方法的 Levenberg-Marquard 变型. 当每个变量都被给予两个起始条件时，则使用 主轴法 方法.