統計モデル解析

モデルをデータにフィットさせるとき，そのモデルがいかによくデータにフィットしているか，またそのフィットがモデルの仮定にどの程度一致しているかを解析すると便利なことがよくある．Mathematica では，一般の統計モデルの多くでFittedModelオブジェクトを構築するフィット関数によりこれが実現できる．

フィットされたモデル情報のためのオブジェクト

FittedModelオブジェクトはある時点で評価することも，結果や診断情報を問い合わせることもできる．診断はモデルの型により多少異なる．利用できるモデルフィット関数は，線形，一般化された線形，非線形の各モデルにフィットする．

FittedModelオブジェクトを生成する関数

LinearModelFit等のモデルフィット関数とFitやFindFit等の関数との大きな違いは，診断情報をFittedModelオブジェクトからいかに簡単に取得できるかという点にある．この結果はモデルを再フィットしなくてもアクセスできる．

プロパティの計算に関係するフィットのオプションは，FittedModelオブジェクトに渡され，デフォルトがオーバーライドされる．

これらのモデルフィット関数の一般的なデータは，FitやFindFitなどの他のフィット関数のデータと同じ形式を取る．

データの指定

線形モデル

独立正規分布に従う誤差を仮定した線形モデルは，データのモデルで最も一般的なもののひとつである．このタイプのモデルはLinearModelFit関数を用いてフィットすることができる．

線形モデルのフィット

線形モデルの形式は であり， はフィットあるいは予測された値， はフィットされるためのパラメータ， は予測変数 の関数を表す．モデルはパラメータ において線形である． は予測変数のいかなる関数でもよい． は単に予測変数 となることが多い．

モデル指定およびモデル解析のためのオプションが利用できる．

LinearModelFitのオプション

Weightsオプションは重み付きの線形回帰に対する重みの値を指定する．NominalVariablesオプションはどの予測変数を名義あるいはカテゴリ変数として扱うかを指定する．NominalVariables->Allの設定では，モデルは分散分析(ANOVA)モデルである．NominalVariables->{x₁, ..., x_i-1, x_i+1, ..., x_n}では，モデルは共分散分析(ANCOVA)モデルで 番目の予測子以外はすべて名義変数として扱われる．名義変数は二値変数の集まりで表され，その変数の観察された名義カテゴリ変数の等式および不等式を示す．

ConfidenceLevel，VarianceEstimatorFunction，WorkingPrecisionは最初のフィットの後の結果の計算に関係している．これらのオプションはLinearModelFit内部で設定することができ，FittedModelオブジェクトから得られた結果のデフォルト設定を指定する．また，すでに構築されたFittedModelオブジェクトの内部で設定し，最初にLinearModelFitに与えられたオプション値をオーバーライドすることもできる．

IncludeConstantBasis，LinearOffsetFunction，NominalVariables，Weightsはフィットにだけ関係する．すでに構築されているFittedModelオブジェクト内でこれらのオプションを設定しても結果には何の影響もない．

モデルフィットフレームワークの大きな特徴は，フィットの後の結果を得ることができるということである．利用できる結果の一覧はを使って得ることができる．

プロパティにはデータに関する基本的な情報，フィットされたモデル，多数の結果，診断が含まれている．

データとフィットされた関数に関連するプロパティ

プロパティはフィットされたパラメータ値を与える．はフィットされた関数 であり，はフィットされた関数を純関数として与える．は，定数項がモデルに存在する場合に を定数1とした関数 のリストを与える．はデータの計画行列またはモデル行列である．は応答のリスト，あるいはもとのデータからの 値を与える．

残差のタイプ

残差はフィットされた値ともとの応答との点による差分を測定する．は観察された値とフィットされた値の差分を与える．およびは残差のスケールされた形式である． 番目の標準化された残差は である．ここで は推定誤差分散， はハット行列の 番目の対角要素， は 番目のデータ点の重みである． 番目のスチューデント化された残差も同じ式で，を （ 番目のデータ点を省略した分散推定）で置き換えたものである．

誤差平方和に関する特性

はモデルに対するフォーマットされた分散分析表を与える．は表の中の数値的項目を与える．その他のプロパティは，表の中の個々の部分が今後の計算で簡単に使えるように表の列の要素を与える．

パラメータ推定の特性と診断

はフィットされたパラメータ間の共分散を与える．その行列は であり，ここで は分散推定， は計画行列， は重みの対角行列である．はパラメータ推定に対して関連付けられた相関行列である．は共分散行列の対角要素の平方根に等しい．

およびには各パラメータ推定，パラメータ有意性の検定，信頼区間についての情報が含まれる．

In[14]:=

上記の表のEstimateの列はに等しい．t 統計は推定を標準誤差で割ったものである．それぞれの p 値は，t 統計に対しては両側 p 値であり，パラメータ推定が統計的に0と有意差があるかどうかを判定するために使われる．それぞれの信頼区間はConfidenceLevelオプションにより設定された水準で，パラメータ信頼区間の上限と下限を与える．表の列やフォーマットされていない値の配列を得るために，およびのさまざまなプロパティが使える．

は基底関数間の多重共線性を測定するために使われる． 番目の拡大要因は に等しい．ここで は 番目の基底関数を別の基底関数の線形関数にフィットすることからの変動係数である．IncludeConstantBasis->Trueの設定では，最初の拡大要因は定数項に対するものとなる．

は固有値，条件指標，非定数基底関数に対する分散分割を与える．Indexの列は最大固有値に対する固有値の比の平方根である．それぞれの基底関数の列は，関連付けられた固有ベクトルにより説明される基底関数における変動の割合である．は表におけるすべての基底関数に対する変動分割の値を与える．

影響尺度関連特性

点の規模での影響の測定は，各データ点がフィットに大きい影響を与えるかどうかを評価するために使われることがよくある．ハット行列とキャッチャー行列はそのような診断で重要な役割を果たす．ハット行列は となるような行列 であり，ここで は観察された応答ベクトル， は予測された応答ベクトルである．はハット行列の対角要素を与える．は （ここで はフィットしたパラメータベクトル）となるような行列 である．

はそれぞれのデータ点がフィットされた値または予測された値に及ぼす値を測定するDFFITS値を与える． 番目のDFFITS値は で記述される．ここで は 番目のハット対角要素であり， は 番目のスチューデント化された残差である．

はそれぞれのデータ点がモデルのパラメータに及ぼす影響を測定するDFBETAS値を与える． 個のパラメータを持つモデルの場合，の 番目の要素は長さ のリストであり， 番目の値がデータ点 がモデルの中の 番目のパラメータに及ぼす影響を測定する． 番目のベクトルは と書くことができ，ここで はキャッチャー行列の , 番目の要素を表す．

は，与えられた影響力のクック距離を返す． 番目のクック距離は （ここで は 番目の標準化された残差）で与えられる．

の 番目の要素は で与えられ，の 番目の値は に等しい（ここで は 番目の単独の削除変動である）．

ダービン・ワトソン 統計のは一次の自己回帰過程を存在を検定するために使われる． 統計は（ここで は 番目のの残差）に等しい．

予測値関連特性

信頼区間の表形式の結果はおよびで与えられる．これには観測された応答と予測された応答，標準誤差推定，各点に対する信頼区間が含まれる．平均の予測信頼区間は単に信頼区間と言われ，単独の予測信頼区間は予測区間と言われることが多い．

平均の予測区間は，予測子の固定値における応答 の平均の信頼区間を与えるものであり，により与えられる．ここで は，自由度 のスチューデントの 分布の 分位数， は固定された予測子で評価された基底関数のベクトル， はパラメータに対する推定分散行列である．単一の予測区間は，予測子の固定値において を予測するための信頼区間を与えるもので， で与えられる．ここで は推定誤差分散である．

とは，平均および単一の予測信頼区間の式を予測変数の関数として与える．

適合度の尺度特性

適合度はモデルがどの程度フィットしているかを評価するため，あるいはモデルを比較するために使用される．決定係数は，総平方和に対するモデルの平方和の比である．はモデルのパラメータの数に対して罰則付きで，により与えられる．

とは尤度に基づき適合度を測定する．これはどちらもモデルの対数尤度の倍に （ は予測される分散を含む，予測されるパラメータの数）を足したものに等しい． では がのとき，では は である．

一般化された線形モデル

線形モデルはそれぞれの応答値 が平均値 の正規分布からの観察となっているモデルとみることができる．一般化された線形モデルは，形式 のモデルに拡張される．ここでそれぞれの は，平均が で が指数型分布族のサポート上の可逆関数である，既知の指数型分布族からの観察であると想定される．この種類のモデルはGeneralizedLinearModelFitで得ることができる．

一般化された線形モデルのフィット

可逆関数 は連結関数と呼ばれ，線形結合 は線形予測子と呼ばれる．一般的な特殊ケースとして，恒等リンク関数とガウスまたは正規の指数型分布族を持つ線形回帰モデル，確率に対するロジットおよびプロビットモデル，カウントデータに対するポアソンモデル，ガンマおよび逆ガウスモデルがある．

誤差分散は予測 の関数であり，分散パラメータとして言及される定数 までの分布により定義される．フィットされた値に対する誤差分散 は と書くことができる．ここで は観察された応答値および予測された応答力得られた分散パラメータであり， は指数型分布族に関連付けられた分散関数である．

ロジットおよびプロビットモデルは確率でよく使われる二項モデルである．ロジットモデルの連結関数はであり，プロビットモデルの連結関数は標準の正規分布に対してはCDFの逆関数である．このタイプのモデルは，ExponentialFamily->"Binomial"で適切なLinkFunctionを持つGeneralizedLinearModelFit，またはLogitModelFit，ProbitModelFitでフィットすることができる．

ロジットおよびプロビットモデルのフィット

パラメータ推定は，想定される分布の分散関数から得られた重みで繰返し最小二乗に重みを付けることにより得られる．GeneralizedLinearModelFitのオプションには，PrecisionGoal等の反復フィットに対するオプション，LinkFunction等のモデル指定に対するオプション，ConfidenceLevel等の更なる解析のためのオプションが含まれる．

GeneralizedLinearModelFitで使用可能なオプション

LogitModelFitおよびProbitModelFitのオプションはGeneralizedLinearModelFitのオプションと同じであるが，異なる点はExponentialFamilyとLinkFunctionはロジットあるいはプロビットモデルにより定義されるため，これらはLogitModelFitおよびProbitModelFitのオプションではないという点だけである．

ExponentialFamilyには，，，，，を取ることができる．二項モデルは0から1までの応答に有効である．ポワソンモデルは非負の整数の応答に有効である．ガウス，正規モデルは実数応答に，ガンマおよび逆ガンマモデルは正の応答に有効である．擬似尤度モデルは， 番目のデータ点に対する擬似尤度関数の対数が で与えられるような分散関数 で分布構造を定義する．モデルの分散関数は，オプションでExponentialFamily->{"QuasiLikelihood", "VarianceFunction"->fun}として設定することができる．ここで fun はフィットされた値に適用される純関数である．

DispersionEstimatorFunctionは分散パラメータ を推測するための関数を定義する．推定 は線形および非線形回帰モデルでいう と同様である．

ExponentialFamily，IncludeConstantBasis，LinearOffsetFunction，LinkFunction，NominalVariables，Weightsはすべてモデル構造および最適化基準のある部分を定義し，GeneralizedLinearModelFitの内部だけで設定することができる．他のオプションはすべてGeneralizedLinearModelFit内で設定することもできるし，結果と診断を得るときにFittedModelに渡すこともできる．FittedModelオブジェクトの評価において設定されるオプションはフィットの段階でGeneralizedLinearModelFitに与えられている設定より優位になる．

データおよびフィットされた関数に関する特性

は基底関数に対するパラメータ推定を与える．はフィットされた関数 を，は線形結合 を与える．は，定数項がモデルに存在する場合に を定数1とした関数 のリストを与える．は基底関数についての計画行列あるいはモデル行列である．

分散とモデルからの逸脱に関連する特性

尤離度と尤離度表は線形モデルの分散分析により与えられるモデルの分解を一般化する．単独のデータ点に対する尤離度はであり，ここで はフィットされたモデルの対数尤度関数である．はすべてのデータ点に対する尤離値のリストを与える．すべての尤離度の総和はモデルの尤離度を与える．モデルの尤離度は，線形モデルで平方和がANOVA表にあるときは分解することができる．この完全モデルでは，予測された値がデータと同じである．

In[31]:=

平方和の場合と同じように，尤離度は加法的である．表のDevianceの列で，与えられた基底関数が加えられるとモデルの尤離度が増すことが分かる．Residual Devianceの列はモデルの尤離度と表の中のすべての項を含む部分も出るの尤離度との差分を与える．大きい標本の場合，尤離度の増加は自由度が表の基底関数の自由度に等しい 分布にほぼ従っている．

はヌルモデルの尤離度である．ヌルモデルとは，定数（定数項が含まれないときは）を含むモデルに対して観察されたすべての応答の平均に等しい定数モデルのことである．

の場合と同様に，から列あるいはフォーマットされていない項目の配列を抽出するためのプロパティがたくさん含まれている．

残差のタイプ

は残差，つまり観察された応答と予測された応答との差分のリストである．分布の仮定があるとき，残差の大きさは予測された応答値の関数として変化するものと想定される．一般化された線形モデルの分析では，スケールされた残差のさまざまなタイプが使われる．

および がそれぞれ尤離度と 番目のデータ点の残差ならば， 番目の尤離残差は で与えられる． 番目のピアソン残差は （ は指数型分布族の分散関数）と定義される．標準化された尤離度残差と標準化されたピアソン残差には（ はハット行列の 番目の対角要素）による割算が含まれる．値は尤離度とピアソン残差を組み合せたものである． 番目の尤度残差は で与えられる．

は正規化に向けた残差の変換を提供するため，これらの残差のプロットはホワイトノイズのように粗く見える． 番目のアンスコム残差は と書くことができる．

は反復フィットの最終ステップからの残差である． 番目の作業残差は， で評価された として得られる．

パラメータ推定の特性と診断

はフィットされたパラメータ間の共分散を与え，線形モデルの定義に非常に類似している．CovarianceEstimatorFunction->"ExpectedInformation"の設定では，反復フィットにより得られる想定された情報行列が使われる．この行列は であり， は計画行列， はフィットの最終段階からの重みの対角行列である．重みにはWeightsオプションで指定された重みおよび分布の分散関数に関連付けられた重みが含まれる．CovarianceEstimatorFunction->"ObservedInformation"と設定すると，この行列は により与えられる．ここで はそのモデルのパラメータについて対数尤度関数のヘッシアンである，観察されたフィッシャー(Fisher)情報行列である．

はパラメータ推定に対して関連付けられた共分散行列である．は共分散行列の対角要素の平方根と等価である．およびには個々のパラメータ推定，パラメータ有意度の検定，信頼区間に関する情報が含まれる．一般化された線形モデルの検定統計量は漸近的に正規分布に従う．

影響尺度関連特性

およびはその影響力の測定を線形回帰から一般化された線形モデルへと拡張する．対角要素が抽出されたハット行列は，反復フィットの最終的な重みを使って定義される．

影響力のクック距離は，線形回帰と同様であるが標準化された残差を標準化されたピアソン残差で置き換えることで定義される． 番目のクック距離は （ は 番目の標準化されたピアソン残差）で与えられる．

予測値特性

適合度尺度の特性

はフィットされたモデルに対する対数尤度である．およびは罰則付き対数尤度 である．ここで はフィットされたモデルに対する対数尤度， は分散パラメータを含む推定されるパラメータ数， は 個のデータ点のモデルにおいてでは2，では である．はにより与えられ，はヌルモデルの対数尤度を表す．

多数の適合度の尺度では，線形回帰の を説明されたバリエーションの尺度あるいは尤度ベースの尺度として一般化する．は により与えられる．はCoxとSnellの尺度 をスケールしたものである．には対数尤度の比が関わっており，はパラメータの数で罰則が付いて適合する．は の平方和の解釈を使い，（ここで は 番目の残差， は応答 の平均である）として与えられる．

は （ はピアソン残差）と等価である．

非線形モデル

非線形の最小二乗モデルは線形モデルの拡張であり，ここではモデルは基底関数の線形結合である必要はない．誤差は独立であると想定され，正規分布に従う．このタイプのモデルはNonlinearModelFit関数を使ってフィットすることができる．

非線形モデルのフィット

非線形モデルの形式は であり，ここで はフィットされた，あるいは予測された値， はフィットされるパラメータ， は予測子変数である．他の非線形最適化問題すべてでそうであるように，パラメータの初期値によい値を選ぶことが大切である．初期値はFindFitと同じパラメータ指定を使って与えることができる．

モデルフィットおよびモデル分析のオプションが利用できる．

NonlinearModelFitで使用可能なオプション

AccuracyGoal，Method，WorkingPrecision等の一般的な数値オプションはFindFitの場合と同じである．

Weightsオプションは重み付きの非線形回帰に対する重みの値を指定する．最適なフィットは重み付き誤差平方和に対するものである．

他のオプションはすべて初期フィットの後の結果の計算に関連し得る．これらのオプションは，フィットで使用するためにNonlinearModelFit内で設定することも，FittedModelオブジェクトから得られた結果に対するデフォルト設定を指定するため設定することもできる．これらのオプションはすでに構築されたFittedModelオブジェクト内で設定して，はじめにNonlinearModelFitに与えられたオプション値をオーバーライドすることもできる．

データとフィットされた関数に関連する特性

非線形モデルのデータおよびフィットされた関数の基本的な特性は線形および一般化された線形モデルでの同じ特性と同様に動作する．例外はがFindFitの結果に対して行われるような規則を返すという点である．

非線形モデルに対する診断の多くは，線形回帰の概念を拡張あるいは一般化する．これらの拡張は線形近似，または大規模な標本近似に依存することが多い．

残差のタイプ

線形回帰の場合と同様に，は観察された値とフィットされた値との間の差分を与える．とはこれらの差分をスケールした形式である．

標準化された 番目の残差はである．ここで は推定誤差分散， はハット行列の 番目の対角要素， は 番目のデータ点に対する重み，スチューデント化された 番目の残差は を 番目の単独削除変数 で置き換えて得られる．非線形モデルの場合は，計画行列に対して一次近似が使われるが，これはハット行列を計算するのに必要なのである．

平方誤差の総和に関連した特性

はフィットされた関数および誤差・残差のデータ属性における分散の分解を提供する．

補正されない総平方和は平方和の応答を与え，補正された総平方和は応答とその平均値との差分の平方和を与える．

パラメータ推定の特性と診断

はフィットされたパラメータ間の近似共分散を与える．この行列は であり，ここで は分散推定， はモデルに対する線形近似の計画行列， は重みの対角行列である．はパラメータ推定値に対して関連付けられた相関行列である．は共分散行列の対角要素の平方根と等価である．

およびには，誤差推定を使って得られた個々のパラメータ推定値，パラメータ有意性の検定，信頼区間についての情報が含まれる．

曲率診断特性

多くの診断で使われる一次近似はモデルがパラメータで線形であることに等しい．パラメータ推定付近のパラメータ空間が十分平坦な場合，線形近似および一次近似に依存するあらゆる結果は有効であるとみなされる．近似による線形性が有効であるかどうかを評価するために曲率診断が使われる．は曲率診断の表である．

およびは最もよくフィットしたパラメータ値におけるパラメータ空間の法曲率および正接曲率をスケールした尺度である．は最もよくフィットしたパラメータ値におけるパラメータ空間の曲率半径をスケールした尺度である．法曲率と正接曲率がの値に対して小さい場合，線形近似が妥当であるとみなされる．経験則にはその値を直接比較することを勧めるものもあれば，の半分と比較することを勧めるものもある．

影響尺度関連特性

ハット行列は となるような行列 である．ここで は観察された応答， は予測された応答ベクトルである．はハット行列の診断的要素を与える．他の特性と同様に， はモデルへの線形近似に計画行列を使う．

の 番目の要素はに等しい．ここで はデータ点の数， はパラメータの数， は 番目のハット対角， はデータ全体の分散推定， は 番目の残差である．

予測値関連特性

信頼区間に対する表の結果はおよびで与えられる．これらの結果は線形モデルの場合にLinearModelFitで得られる結果と同じである．ここでも計画行列に一次近似が使われる．

およびは予測子変数の関数を与える．

適合度尺度の特性

，，，は，線形モデルに対して定義されているように，すべて尺度を直接拡張したものである．決定係数は であり，は平方和の残差， は未補正の全平方和である．非線形モデルでは，決定係数は線形モデルでそうであるような，説明された分散の割合と同じ解釈は持たない．それは，モデルに対する平方和と残差に対する平方和が必ずしも全平方和にはならないからである．はモデルのパラメータ数について罰則が付き，により与えられる．

およびはモデルに対する対数尤度の倍に を足したものに等しい．ここで は推定された分散を含む，推定されるパラメータ数である．では は，では はである．