BayesianMinimization

BayesianMinimization [f,{conf1,conf2,}]

関数 f の構成 confiについてのベイズ(Bayes)の最小化の結果を表すオブジェクトを与える.

BayesianMinimization[f,reg]

領域指定 reg によって表された領域について最小にする.

BayesianMinimization[f,sampler]

関数 sampler を適用して得られた構成について最小にする.

BayesianMinimization [f,{conf1,conf2,}nsampler]

関数 nsampler を適用し,confiから始まって連続的に構成を生成する.

詳細とオプション

  • BayesianMinimization[]は,特性がBayesianMinimizationObject[]["prop"]を使って得られるBayesianMinimizationObject[]を返す.
  • 可能な特性
  • "EvaluationHistory"最小化の際に調べられる構成と値
    "Method"ベイズ最小化のために使われるメソッド
    "MinimumConfiguration"f からの結果を最小化すると判明した構成
    "MinimumValue"f から得られた推定最小値
    "NextConfiguration"最小化が続けられる場合に,次にサンプルする構成
    "PredictorFunction"関数 f について求まった最高の予測モデル
    "Properties"使用可能な全特性のリスト
  • 構成はPredictで使える任意の形式(単一のデータ要素,データ要素のリスト,データ要素の連想等)と任意のタイプ(数値,テキスト,サウンド,画像等)でよい.
  • 構成 conf に適用された場合の関数 f の出力は実数値でなければならない.
  • BayesianMinimization[f,]f の評価回数は最低にして最高の最小値を求めようとする.
  • BayesianMinimization[f,spec]spec は関数 f の領域を定義する.領域は,構成のリスト,地理領域,あるいは構成生成関数で定義することができる.
  • BayesianMinimization[f,sampler]では,sampler[]f を適用するのに適した構成を出力しなければならない.
  • BayesianMinimization[f,{conf1,conf2,}->nsampler]では,nsampler[conf]は構成を出力しなければならない.
  • BayesianMinimizationには次のオプションを使うことができる.
  • AssumeDeterministic Falsef が決定的であると仮定するかどうか
    InitialEvaluationHistory None構成と値の初期集合
    MaxIterations 100最大反復回数
    Method Automatic構成の評価を決定するために使われたメソッド
    ProgressReporting$ProgressReporting進捗状況の報告方法
    RandomSeeding1234どのような擬似乱数生成器のシードを内部的に使うべきか
  • Methodの可能な設定
  • Automaticメソッドを自動的に選ぶ
    "MaxExpectedImprovement"現行の最高の値の期待される改良を最高にする
    "MaxImprovementProbability"現行の最高の値についての確率の改良を最高にする
  • RandomSeedingの可能な設定
  • Automatic関数が呼び出されるたびに自動的にシードを変える
    Inherited外部シードの乱数を使う
    seed明示的な整数または文字列をシードとして使う

例題

すべて開くすべて閉じる

  (3)

区間上で関数を最小化する:

結果のBayesianMinimizationObject[]を使って推定最小構成を得る:

推定最小関数値を得る:

構成集合上で関数を最小化する:

集合上で最小構成を得る:

乱数生成器によって定義された領域上で関数を最小化する:

推定最小値を得る:

スコープ  (3)

領域上で関数を最小化する:

クエリに対して使用可能な特性リストを得る:

評価の履歴を得る:

試してみる構成の決定に使われたメソッドについての情報を得る:

関数の現行の確率論モデル(これはPredictorFunctionである)を得る:

最小化が続けられた場合に試みる最高の構成を求める:

特性のリストを同時に求める:

関数が特に最小値近くでどの程度うまくモデル化されたかを可視化する:

ランダム近傍設定生成器によって定義された領域上の初期設定で関数を最小化する:

関数のモデルを得る:

最小値付近のモデルのパフォーマンスを可視化する:

画像を取り,画像を実体として認識するImageIdentifyが返す負の確率を計算する関数を定義する.領域はランダム生成器によって画像のコーパス上で定義されるものとする:

上記の関数を最小化する:

最小の設定を得る:

評価履歴を得る:

オプション  (4)

AssumeDeterministic  (1)

乱数生成器によって定義された領域上で関数を最小化する:

この関数は確率的であると仮定される.確率論的モデルからの値は評価された構成の関数値とは異なることが多い:

関数が決定的である(ノイズがない)という情報を加える:

決定的関数については,評価された構成についてのモデル値と関数値が高精度で一致する:

InitialEvaluationHistory  (1)

少ない反復回数で,円板領域上で関数を最小化する:

評価からの情報を次に使う:

推定最小構成を得る:

MaxIterations  (1)

乱数生成器で領域が定義された関数を最小化する:

関数の評価回数を得る:

最大反復回数を指定する:

Method  (1)

区間領域上で関数を定義する:

構成を調べるためのメソッドを指定する:

別のメソッドを指定する:

アプリケーション  (2)

Predict関数を使って予測関数を訓練する訓練集合とそのパフォーマンスを測るテスト集合を定義する:

「損失」関数を作ってPredictにおけるさまざまなメソッドのパフォーマンスをテストする:

Predictのさまざまなメソッドのリストによって定義された領域上で損失関数を最小化する:

評価履歴を調べる:

次に調べる最上の構成を求める:

Fisherのアヤメに関するデータ集合をロードし,訓練集合と検証集合に分ける:

「ブラックボックス」関数を作る.ここでのこの関数は,Classify関数が使う異なる2つのメソッドについての損失(負の対数尤度)関数である.この関数の引数はハイパーパラメータとして知られている:

正規化係数である L1とL2の2つのハイパーパラメータのあるロジスティック回帰分類器を訓練する:

ロジスティック回帰分類器の損失関数を,ハイパーパラメータの対数の矩形領域で定義された領域上で最小化する:

関数のモデルを得る:

分類器の損失関数のモデルを推定最小値とともに可視化する:

次に,ソフトマージンパラメータとガンマスケーリングパラメータの2つのハイパーパラメータのある,サポートベクトルマシン(SVM)分類器を訓練する:

SVM分類器の損失関数を,ハイパーパラメータの対数における矩形領域で定義された領域上で最小化する:

関数のモデルを得る:

損失関数のモデルを推定最小値とともに可視化する:

考えられる問題  (2)

目的関数の領域が初期設定集合と近傍設定生成器によって定義されるとき,結果は与えられる生成器の品質に依存する.

上記のように領域が定義されている箇所で関数を最小化させる:

関数のモデルを得る:

開始時の初期設定が大域的最小値よりから「はるかに」離れていて生成器の刻み幅が比較的小さいとき,アルゴリズムは極小値に収束ことができる:

近傍の設定生成器の刻み幅が「大きすぎる」または「小さすぎる」ときは問題が起こる可能性がある:

この場合は,各ステップで生成器がその前の値の平方である設定値を与える.値は急速に非常に大きくなり,確率的モデルは適切には動かない.

Wolfram Research (2016), BayesianMinimization, Wolfram言語関数, https://reference.wolfram.com/language/ref/BayesianMinimization.html (2017年に更新).

テキスト

Wolfram Research (2016), BayesianMinimization, Wolfram言語関数, https://reference.wolfram.com/language/ref/BayesianMinimization.html (2017年に更新).

CMS

Wolfram Language. 2016. "BayesianMinimization." Wolfram Language & System Documentation Center. Wolfram Research. Last Modified 2017. https://reference.wolfram.com/language/ref/BayesianMinimization.html.

APA

Wolfram Language. (2016). BayesianMinimization. Wolfram Language & System Documentation Center. Retrieved from https://reference.wolfram.com/language/ref/BayesianMinimization.html

BibTeX

@misc{reference.wolfram_2024_bayesianminimization, author="Wolfram Research", title="{BayesianMinimization}", year="2017", howpublished="\url{https://reference.wolfram.com/language/ref/BayesianMinimization.html}", note=[Accessed: 17-November-2024 ]}

BibLaTeX

@online{reference.wolfram_2024_bayesianminimization, organization={Wolfram Research}, title={BayesianMinimization}, year={2017}, url={https://reference.wolfram.com/language/ref/BayesianMinimization.html}, note=[Accessed: 17-November-2024 ]}