"Markov" (機械学習メソッド)

詳細とサブオプション

  • マルコフ(Markov)モデルでは,訓練時間に各クラスについての n グラム言語モデルが計算される.検定時間では,各クラスの確率がベイズ理論 に従って計算される.は指定されたクラスの言語モデルによって与えられる.はクラスの事前確率である.
  • 次は,使用可能なオプションである.
  • "AdditiveSmoothing" .1使用する平滑化パラメータ
    "MinimumTokenCount"Automatic考慮する n グラムの最小数
    "Order" Automaticn グラムの長さ
  • "Order"n のとき,このメソッドは文字列を(n+1)グラムに分割する.
  • "Order"0のとき,このメソッドはユニグラム(シングルトークン)を使う.モデルはユニグラムモデルまたはネイティブベイズモデルと呼ぶことができる.
  • "AdditiveSmoothing"の値はすべての n グラム数に加えられる.これは,言語モデルの正規化に使われる.

例題

すべて開くすべて閉じる

  (1)

ラベル付きの例で分類器関数を訓練する:

分類器に関する情報を得る:

新たな例を分類する:

オプション  (4)

"AdditiveSmoothing"  (2)

"AdditiveSmoothing"サブオプションを使って分類器を訓練する:

"AdditiveSmoothing"の値を変え,不均衡なデータ集合で2つの分類器を訓練する:

不均衡な要素について対応する確率を見る:

"Order"  (2)

"Order"を指定して分類器を訓練する:

実際の単語とランダムな文字列のデータ集合を生成する:

"Order"の値を変えて分類器を生成する:

新たな実際の単語に対するこれらの分類器の確率を比較する: