今回は、線形モデルの最小二乗法による推定について少し一般的な事柄を述べておきたいと思います。また、モデルを選択する場合の基準について紹介します。

１．推定可能性と最小二乗推定値

1.1　ランク落ちのモデル

標準の線形モデル、

において、Xのランクがpより小さい（ランク落ち）場合があります。そのまま、正規方程式をたてるとX’X(p×p行列)が逆行列を持たないため、一意の解を求めることはできません。

例えば、一元配置モデルといって、実験結果に影響を及ぼす因子があり、因子のレベルを変えて効果を調べることがあります。

レベルを変えた効果を調べるために

というモデルを考えます。 μは全体の平均値、はレベル1の効果、はレベル2の効果を表しています。それぞれn 回の測定をしたとすると、観測方程式は、

となりますが、Xのランクは2（第2列と第3列を足すと第1列になる）でありランク落ちしています。

この場合、すべてのパラメータを解くことはできませんが、いくつかの方法で解決することができます。

a)モデルを見直して、一意に決まるパラメータを選ぶ。

b)パラメータに条件を付けくわえる。

c)一意に決まるパラメータの線形式を作って推定する。

等です。

　例えば、

a)の場合、とすればモデルは、

となり、観測方程式は

となります。 Wはフルランク(rank=2) なので、正規方程式で解けます。

b)例えば、

という条件を付けると、

なので、

 

となり、これも解けます。

　ただし、この場合はパラメータの定義（意味）が変更されることになるので注意が必要です。

c)一意に決まるパラメータの線形式（推定可能関数、次節参照）は解けます。

　例えば、

 

等は、一意に推定可能です。

 

1.2　推定可能性

ここで、線形モデル

 

における未知パラメータの推定について、少し詳しく見ていきたいと思います。

一般に（線形とは限らず）、 E(Y)をパラメータ の関数で表したものがモデルです。

あるいは の関数 が一意に決められるかどうかは、

任意の に対してならば

となることが条件となります。これは、がの関数であることと同じで、そうでなければデータ（の期待値）E(Y)によってを推定することができません。線形モデルに限ると、

ですから、 のベクトル関数  がの線形関数、つまり

であれば、一意に決められることになります。これを推定可能と言っています。

 

例1．直線回帰のモデル（第7回）

において、

 

となるので、 は推定可能です。また

なので、 も推定可能です。

パラメータの推定可能条件

　線形モデルを、

 

と Xの列ベクトルの一次結合で表すと、未知パラメータ が推定可能でない条件は、

 

となる が存在すること、つまりが他の列ベクトルの一次結合となることです。

 

推定可能性と不偏性

推定値が不偏とは、期待値が真値に等しくなることで、 をパラメータの関数 の推定値とするとすべてのに関してとなります。これから、の線形関数  が推定可能（不偏）となる推定値があることがわかります。

 

1.3　最小二乗推定値

　最小二乗解は、幾何学的に考えると次の式を満たすものです（第7回参照）。

 

ここではへの直交射影（図1）を与える行列で、をに直角に射影したとの距離が０になるようなをあたえる が最小二乗解でした。

一般には Xがランク落ちしていても、直交射影は定義され、その行列は一般逆行列（付録参照）を用い、

と書かれます。 Xがランク落ちしているときは、は一意には決まりません（図2）。

ただし、直交射影は一意であり、推定可能関数はの線形式でしたから、推定可能関数の最小二乗解は一意に決まることがわかります。つまり、推定可能関数の一意な最小二乗解は、

です。

Gauss-Markovの定理（第7回）は、推定可能関数の最小二乗解についてそれがBLUE（最小分散の不偏な線形の推定値）であることを示しています。

 

例2．自由網平均

　測地網はそれを構成する基準点の座標を決定することによって構築されます。普通は、複数の固定点あるいは1点及び１方向を決めて、最小二乗法による平均計算を行います。ただし、点の位置の変動などを求めたい時に全点を未知点とする場合があります。そのような平均計算を自由網平均と呼びます。自由網平均では、網の位置、方向が不定となりますので、計画行列はランク落ちになり、標準的な最小二乗法では一意に解けません。そのため、何かしらの条件を付けるのですが、解のノルムが最小になるという条件を付けるのが自由解です。自由解は、正規方程式、

 

において、となる解です。

付録にある通り、最小ノルム解は必ず一つ存在するので、

 

として自由解が求まることになります。

もう一つの解法として、 に特別な拘束条件を付けて解く方法があります。

最小ノルム解は一般解の成分なので、Xの零空間の成分はありません。従って、零空間の基底となるベクトルを列とする行列があれば、

となります。この結果、線形モデルは拘束条件が付いて

 

となります。詳細は略しますが、拘束条件がある最小二乗法の正規方程式は拡張された形、

 

になり、は正則になるので逆があり、

と解くことができます。もちろんは、擬逆行列による解と一致します。

 

２．モデルの選択とAIC

　統計的推定において、実はモデルの選び方は大変重要な問題です。ここでは、モデルの妥当性を判断する基準として有名なAIC（Akaike’s Information Criterion: 赤池の情報量基準）を紹介します。

　我々が測定したデータは、真のモデル（母集団）から得られるものと考え、データを最もよく記述するモデルを知ることがパラメータ推定の目的です。最もよいモデルとは真に近いということですから、真のモデルとの差を何らかの量として表し、それが最小になるようなモデルを選べばよいということになります。詳細は省きますが、真のモデルとの差はKullback-Leibler情報量として知られているものがあります。

 

ここで、は真の確率密度、は予測確率密度です。

真の確率分布はわかりませんが、最尤推定値からを推定できることが赤池によって示されました。AICは（定数倍と定数を除いた）その推定量で、小さいほど良いモデルということができます。

　最小二乗法におけるAICは、データの正規分布を仮定して

 

となります。ここで:データ数、:推定パラメータ数、残差です。

 

参考文献

1. Christensen, R.: Plane Answers to Complex Questions: The Theory of Linear Models, Fifth Edition (2020), Springer Texts in Statistics, New York.
2. Koch, K-R., Parameter Estimation and Hypothesis Testing in Linear Models (1999), Springer.
3. Burnham, K.P. and Anderson, D. R.: Model Selection and Multimodel Inference, Second Edition (2002), Springer, New York.