誤差論と最小二乗法

第8回付録 線形(線型)代数の基礎2

A2. 行列の演算

一次(線形)写像

image98image99ベクトル、image100image101ベクトル、image102image103行列としたとき

 

image104

 

は、image105次元ベクトルimage106image107次元ベクトルimage108へ写すということを示しています。これを一次(線形)写像といいます。image109の時に一次変換という場合もあります。

 

二次形式
image102image110対称行列、image9image101ベクトルとしたとき積

 

image111

 

を二次形式といいます。値はスカラー(数)です。image102が対称でない正方行列だとしても

 

image112

ですから、

 

image113

 

となり、二次形式は常に対称行列で書けることがわかります。

 

正定値行列

対称行列image102がすべてのimage114に対して、image115となるとき、正定値といいます。また、image116となるとき半正定値といいます。

 

対称行列image102が正定値なら、正則行列image117があって、

 

image118

となります。従って、image102も正則です。

 

以下の定理があります。
image102が正定値なら、その対角成分image120 
image102が半正定値なら、その対角成分 image121

 

また、


image102image122正定値行列、image123image124行列としたとき、
image125ならば、image126は正定値        (5a)
image127またはimage128ならば、image126は半正定値   (5b)
です。

(参考) 共分散行列は正定値または半正定値ですが、半正定値となるのは変数間に線形関係があるときに限られます。

 

例. 二つの確率変数に常にimage129という関係があるとしましょう。image130と書けるので、image131の共分散行列はimage132の分散image14から誤差伝播により、

 

image133

 

となります。この共分散行列は、二次形式を作ると

 

image134

であり、image135の時は0となるので半正定値です(上記(5b)の場合)。

 

連立一次方程式

未知数image136個のimage105個の連立方程式

 

image137

 

は行列の形に書けます。

 

image138

 

image102image139行列、image100image140image141image101です。 image142image102が正則ならば(6)の解がただ一つ、

 

image143

 

と求まります。

 

一般に、image144なら方程式の数が未知数の数より多いので解は存在しません。image145なら解は無限に存在します。次の定理があります。

 

image146に解が存在する必要十分条件は、image147。    (8)

ここで、image148は、image102に列image141を付け加えた行列です。


image149と書くと

image150

 

ですから、image151となるimage100があるimage152(image153の列空間)
image154image155、となります。

 

例1.

image156
image157のランクは、第1列と第2列を足すと第3列なので、

image158です。従って解をもちます。第3式×2+第2式=第1式×3ですから、実は1式は不要で解は一意に決まります(図1)。

 

image159図1.一意の解

 

 

例2.

image160
image161の列は一次独立で、image162となり、解を持ちません(図2)。このような場合、近似的に最適な解は、最小二乗法により

 

image163

 

を最小にすれば求めることができます。

 

image164

図2.解なし

 

 

例3.

image165

image166で第1式と第2式を足すと第3式になるので、実質2式であり
image158となり解をもちます。第1,2式より

 

image167

 

と表せるので、解は、

 

image168

 

となります。image169は任意なので解は無限にあります。

 

行列式

image110行列image170の行列式は、各行と列から1つずつ行列要素をとって掛け合わせ足した関数で次のように定義され、image171またはimage172と書きます、

 

image173

 

ここでimage174image175の並べ替え(置換)で、和はすべての置換について取り、符号は置換が偶なら正、奇なら負となります(置換はもとのimage175から2つずつ何回か入れ替えると得られますが、その回数が偶数なら偶置換、奇数なら奇置換といいます)。例えば、

 

image176

image177

 

 

行列式には次のような性質があります。
image178が正則でない⇒image179
image178が正則⇒image180

image181
image182
image178が正定値ならimage183
image178が正則ならimage184

 

また、正則な行列image153の逆行列は行列式を使って次のように書けます。

 

image185

 

ここで、 image186
例えば、(2 × 2) 行列なら

 

image187

B. 多次元正規分布の確率密度関数

多次元の正規分布は以前にも紹介しましたが、ベクトルと行列で表示すると便利であるとともに変数の関係などが見えやすいのでここにまとめておきます。

 

標準化(平均=0、分散=1)されたimage188個の独立な正規分布確率変数image189があるとします。その時の同時確率密度関数は、image190として、

 

image191

image192

 

となります。image193である一般の確率変数に戻すには

 

image194

 

と変換すればよく、image9の確率密度関数は、

 

image195

 

となります。

C. テイラー展開

image196image197)を滑らかな(何回でも微分可能な)実数値関数とし、image198image100の近傍の点とすると

 

image199

 

と表されます。image200は滑らかな関数です。第3項はimage201の二次になっていますから、image201が小さいとすると無視することができ

 

image202

image203

 

となりimage204の線形式で書けることがわかります。測量では、未知数と観測量の関係が線形でないとき、テイラー展開を使って線形化するのが一般的です。

 

Share on FacebookTweet about this on TwitterShare on LinkedInEmail this to someonePrint this page

目次へ戻る