誤差論と最小二乗法

第11回付録

一般逆行列

一般逆行列は、逆行列の考えを拡張したもので次のように定義されます。

スクリーンショット 2020-11-17 14.31.53行列スクリーンショット 2020-11-17 14.33.51に対して

スクリーンショット 2020-11-17 14.34.51

 

となるスクリーンショット 2020-11-17 14.36.16行列スクリーンショット 2020-11-17 14.37.10スクリーンショット 2020-11-17 14.33.51の一般逆行列といいスクリーンショット 2020-11-17 14.38.34と書きます。一般逆行列は一意には決まりませんが、スクリーンショット 2020-11-17 14.33.51が正則の時は、スクリーンショット 2020-11-17 14.43.04(一意)となります。

すべての行列に関してその一般逆行列が存在します。特にスクリーンショット 2020-11-17 14.33.51が対称行列とすると、スクリーンショット 2020-11-17 14.33.51は直交行列スクリーンショット 2020-11-17 14.46.15と対角行列スクリーンショット 2020-11-17 14.47.20スクリーンショット 2020-11-17 14.49.53は対角要素)が存在して、

スクリーンショット 2020-11-17 14.51.19

 

と分解できる(特異値分解)ので

スクリーンショット 2020-11-17 14.52.49

 

は、一般逆行列です。

例1.

スクリーンショット 2020-11-17 14.59.40とすると、スクリーンショット 2020-11-17 15.06.46(cは任意)は一般逆行列です。

 

直交射影行列

 一般逆行列を使うと、ベクトルのスクリーンショット 2020-11-17 15.10.49スクリーンショット 2020-11-17 15.12.16の列ベクトルが作る空間)への直交射影を与える行列は、

スクリーンショット 2020-11-17 15.13.46

と書けます。この行列は、対称行列になっています。

 

一次方程式の一般解と最小ノルム解 

 一次方程式

スクリーンショット 2020-11-17 15.15.28

が解を持てば(第8回付録参照)、

スクリーンショット 2020-11-17 15.16.42なので、スクリーンショット 2020-11-17 15.17.45

となるので、

スクリーンショット 2020-11-17 15.18.57

は(4)の解になります。解はただ一つの場合も無限にある場合もあり、一般解は、

スクリーンショット 2020-11-17 15.19.54

です。

しかし、ノルム(長さ)が最小になる解に限ると、その解は一意に決まることが分かっています。概略は以下の通りです。

一次方程式の一般解は、一意に2つの直交する成分に分けることができます。

スクリーンショット 2020-11-17 15.21.57

 

ここで、スクリーンショット 2020-11-17 15.33.08スクリーンショット 2020-11-17 15.34.03となる空間(零空間)でスクリーンショット 2020-11-17 15.35.10はそれに直交する空間です。スクリーンショット 2020-11-17 15.38.19は、スクリーンショット 2020-11-17 15.34.03の解で無限にありますが、スクリーンショット 2020-11-17 15.40.06は一つしかありません。((6)を見ると、一般解はある一つの解にスクリーンショット 2020-11-17 15.34.03の解を加えたものになっていることが分かります。)

また、各成分は直交するので

スクリーンショット 2020-11-17 15.42.10

 

となり、スクリーンショット 2020-11-17 15.40.06は最小のノルムを持つことが分かります。この最小ノルム解を行列を用いて

スクリーンショット 2020-11-17 15.44.40

 

と書くと、スクリーンショット 2020-11-17 15.46.03は擬逆行列と呼ばれているものになり一意に決まります。

擬逆行列は一般逆行列を用いて

スクリーンショット 2020-11-17 15.47.28

 

と表されることがわかっています。

 

行列の列ベクトル空間と零空間

行列スクリーンショット 2020-11-17 16.00.08の列ベクトルからなる空間をスクリーンショット 2020-11-17 16.01.12(第7回付録)と書きました。

零空間スクリーンショット 2020-11-17 15.33.08は、スクリーンショット 2020-11-17 15.34.03となるベクトルスクリーンショット 2020-11-17 16.03.46の空間です。以下の関係があります;

スクリーンショット 2020-11-17 16.05.20の直交補空間(スクリーンショット 2020-11-17 16.06.47の中でスクリーンショット 2020-11-17 16.05.20と直交する空間)をスクリーンショット 2020-11-17 16.08.38とすると、

スクリーンショット 2020-11-17 16.12.42

スクリーンショット 2020-11-17 16.13.48とすると(dimは次元の数)、

スクリーンショット 2020-11-17 16.16.38

また、

スクリーンショット 2020-11-17 16.19.03

 

例2.一次方程式の最小ノルム解

 一次方程式

 

 

スクリーンショット 2020-11-17 16.21.28

 

を考えましょう。スクリーンショット 2020-11-17 14.33.51のランクは1で、解は

スクリーンショット 2020-11-17 16.23.36

 

をみたすスクリーンショット 2020-11-17 16.25.00となります。スクリーンショット 2020-11-17 15.33.08は直線スクリーンショット 2020-11-17 16.29.25スクリーンショット 2020-11-17 15.35.10は直線スクリーンショット 2020-11-17 16.30.27です。

最小ノルム解は、スクリーンショット 2020-11-17 15.35.10成分のスクリーンショット 2020-11-17 16.32.40となります。

スクリーンショット 2020-11-17 16.33.36

 

参考文献

  1. Koch, K-R., Parameter Estimation and Hypothesis Testing in Linear Models (1999), Springer.

 

Share on FacebookTweet about this on TwitterShare on LinkedInEmail this to someonePrint this page