誤差論と最小二乗法

第11回 最小二乗法に関するいくつかの補足

今回は、線形モデルの最小二乗法による推定について少し一般的な事柄を述べておきたいと思います。また、モデルを選択する場合の基準について紹介します。

1.推定可能性と最小二乗推定値

1.1 ランク落ちのモデル

標準の線形モデル、

11-001

において、Xのランクがpより小さい(ランク落ち)場合があります。そのまま、正規方程式をたてるとX’X(p×p行列)が逆行列を持たないため、一意の解を求めることはできません。

例えば、一元配置モデルといって、実験結果に影響を及ぼす因子があり、因子のレベルを変えて効果を調べることがあります。

レベルを変えた効果を調べるために

11-002

というモデルを考えます。 μは全体の平均値、11-003はレベル1の効果、11-004はレベル2の効果を表しています。それぞれn 回の測定をしたとすると、観測方程式は、

11-005

となりますが、Xのランクは2(第2列と第3列を足すと第1列になる)でありランク落ちしています。

この場合、すべてのパラメータを解くことはできませんが、いくつかの方法で解決することができます。

a)モデルを見直して、一意に決まるパラメータを選ぶ。

b)パラメータに条件を付けくわえる。

c)一意に決まるパラメータの線形式を作って推定する。

等です。

 例えば、

a)の場合、11-006とすればモデルは、

11-007

となり、観測方程式は

11-008

となります。 Wはフルランク(rank=2) なので、正規方程式で解けます。

b)例えば、

11-009

という条件を付けると、

11-010

なので、

11-011

 

となり、これも解けます。

 ただし、この場合はパラメータの定義(意味)が変更されることになるので注意が必要です。

c)一意に決まるパラメータの線形式(推定可能関数、次節参照)は解けます。

 例えば、

11-012

 

等は、一意に推定可能です。

 

1.2 推定可能性

ここで、線形モデル

11-013

 

における未知パラメータの推定について、少し詳しく見ていきたいと思います。

一般に(線形とは限らず)、 E(Y)をパラメータ11-014 の関数で表したものがモデルです。

11-015

11-014あるいは11-014 の関数11-016 が一意に決められるかどうかは、

任意の 11-027に対して11-018ならば11-019

となることが条件となります。これは、11-01611-020の関数であることと同じで、そうでなければデータ(の期待値)E(Y)によって11-016を推定することができません。線形モデルに限ると、

11-021

ですから、 11-014のベクトル関数11-022  が11-023の線形関数、つまり

11-024

であれば、一意に決められることになります。これを推定可能と言っています。

 

例1.直線回帰のモデル(第7回)

11-025

において、

11-026

 

となるので、 11-027は推定可能です。また

11-028

なので、 11-029も推定可能です。

パラメータの推定可能条件

 線形モデルを、

11-030

 

と Xの列ベクトルの一次結合で表すと、未知パラメータ 11-031が推定可能でない条件は、

11-032

 

となる 11-033が存在すること、つまり11-034が他の列ベクトルの一次結合となることです。

 

推定可能性と不偏性

推定値が不偏とは、期待値が真値に等しくなることで、 11-035をパラメータの関数11-016 の推定値とするとすべての11-014に関して11-036となります。これから、11-014の線形関数11-037  が推定可能11-038(不偏)となる推定値11-039があることがわかります。

 

1.3 最小二乗推定値

 最小二乗解は、幾何学的に考えると次の式を満たすものです(第7回参照)。

11-040

 

ここで11-04111-042への直交射影(図1)を与える行列で、11-04311-042に直角に射影した11-044との距離が0になるような11-045をあたえる11-046 が最小二乗解でした。

11-047

一般には Xがランク落ちしていても、直交射影は定義され、その行列は一般逆行列(付録参照)を用い、

11-048

と書かれます。 Xがランク落ちしているときは、11-046は一意には決まりません(図2)。

11-049

ただし、直交射影は一意であり、推定可能関数は11-023の線形式でしたから、推定可能関数の最小二乗解は一意に決まることがわかります。つまり、推定可能関数11-050の一意な最小二乗解は、

11-051

です。

Gauss-Markovの定理(第7回)は、推定可能関数の最小二乗解についてそれがBLUE(最小分散の不偏な線形の推定値)であることを示しています。

 

例2.自由網平均

 測地網はそれを構成する基準点の座標を決定することによって構築されます。普通は、複数の固定点あるいは1点及び1方向を決めて、最小二乗法による平均計算を行います。ただし、点の位置の変動などを求めたい時に全点を未知点とする場合があります。そのような平均計算を自由網平均と呼びます。自由網平均では、網の位置、方向が不定となりますので、計画行列はランク落ちになり、標準的な最小二乗法では一意に解けません。そのため、何かしらの条件を付けるのですが、解のノルムが最小になるという条件を付けるのが自由解です。自由解は、正規方程式、

11-052

 

において、11-053となる解です。

付録にある通り、最小ノルム解は必ず一つ存在するので、

11-054

 

として自由解が求まることになります。

もう一つの解法として、11-014 に特別な拘束条件を付けて解く方法があります。

最小ノルム解11-046は一般解の11-055成分なので、Xの零空間の成分はありません。従って、零空間の基底となるベクトルを列とする11-056行列11-057があれば、

11-058

となります。この結果、線形モデルは拘束条件が付いて

11-059

 

となります。詳細は略しますが、拘束条件がある最小二乗法の正規方程式は拡張された形、

11-060

 

になり、11-061は正則になるので逆があり、

11-62

と解くことができます。もちろん11-046は、擬逆行列による解と一致します。

 

2.モデルの選択とAIC

 統計的推定において、実はモデルの選び方は大変重要な問題です。ここでは、モデルの妥当性を判断する基準として有名なAIC(Akaike’s Information Criterion: 赤池の情報量基準)を紹介します。

 我々が測定したデータは、真のモデル(母集団)から得られるものと考え、データを最もよく記述するモデルを知ることがパラメータ推定の目的です。最もよいモデルとは真に近いということですから、真のモデルとの差を何らかの量として表し、それが最小になるようなモデルを選べばよいということになります。詳細は省きますが、真のモデルとの差はKullback-Leibler情報量11-63として知られているものがあります。

11-64

 

ここで、11-65は真の確率密度、スクリーンショット 2020-11-17 13.45.33は予測確率密度です。

真の確率分布はわかりませんが、最尤推定値から11-63を推定できることが赤池によって示されました。AICは(定数倍と定数を除いた)その推定量で、小さいほど良いモデルということができます。

 最小二乗法におけるAICは、データの正規分布を仮定して

11-67

 

となります。ここで11-068:データ数、11-069:推定パラメータ数、11-070残差です。

 

参考文献

  1. Christensen, R.: Plane Answers to Complex Questions: The Theory of Linear Models, Fifth Edition (2020), Springer Texts in Statistics, New York.
  2. Koch, K-R., Parameter Estimation and Hypothesis Testing in Linear Models (1999), Springer.
  3. Burnham, K.P. and Anderson, D. R.: Model Selection and Multimodel Inference, Second Edition (2002), Springer, New York.
Share on FacebookTweet about this on TwitterShare on LinkedInEmail this to someonePrint this page