誤差論と最小二乗法

第7回付録 線形(線型)代数の基礎

ベクトル、行列、ベクトル空間とその線型変換に関する数学の分野が線形(線型)代数ですが、統計学や最小二乗法で必要となる基本的なことをまとめておきます。

 

A0.集合及び演算の記号

集合に関して以下のような記号を使います。集合とはある定義されたものの集まりで、集合を構成するものを元といいます。

 

image001

image002

image003

image004

image005

image006

image007

      image008

image009

 

 また、

 

image010

 

A1.ベクトル、ベクトル空間、行列

ベクトルは二次元や三次元空間の位置ベクトルなどでおなじみでしょう。ここでは、まずベクトル空間の定義をします。

 

ベクトル空間:集合image011があってその任意の元image012とスカラーimage013に関して和とスカラー倍が定義されて、以下のような法則が成り立つときimage011をベクトル空間といい、image011の元をベクトルといいます。(スカラーとはベクトルではない普通の数のことです)

 

image014

image015

image016

image017

 

つまり、ベクトルとは和とスカラー倍が定義され、和と積の(普通の)法則がみたされているものと考えられます。ベクトル空間のことを線形(線型)空間ともいいます。

また、ベクトルは太字(ボールド体)で書くことにします。

 

ベクトルは抽象的な概念ですが、私たちが取り扱うのはほとんど image018の場合で、スカラーも実数です。その時は、image019をn次元数ベクトル空間と考え、以下のように各ベクトルをn個の実数を縦に並べた列ベクトルとして書きます。

 

image020

 

縦ベクトルと同じように横ベクトルも定義されます。横ベクトルは、「’」をつけて

 

image022

 

となります。

 

部分(ベクトル)空間image011の部分集合image023がそれ自体ベクトル空間の時、image023を部分(ベクトル)空間といいます。言い換えると、image023に含まれる元がまたベクトルとして和とスカラー倍の法則を満たすということです。

 

部分空間の例

3次元数ベクトル空間は、image024ですが、

 

image025は、その部分空間でimage026平面となります。また、image027は、image028軸でこれも部分空間です。

image023は2次元の、image029は1次元のベクトル空間です(図A 1)。

 

image030

図A1. 部分空間の例(image031

 

 

線形(一次)結合:いくつかのベクトルから和とスカラー倍で生じるベクトルを一次(線形)結合といいます。

 

image032

 

ベクトルimage033の一次結合全体からなる部分空間をimage033で張られる空間といいます。

 

一次独立と一次従属image034が成り立つのが、image035がすべて0である場合、image033は一次独立といい、そうでないとき一次従属といいます(図A2)。

 

基底:一次独立なimage033が張る空間をimage011とするとき、image037image011の基底といいます。

ある空間の基底となるベクトルの数は一定です。

 

部分空間のランク:部分空間image011の基底の元の数を、その部分空間image011のランクといい、image038と書きます(図A3)

 

image039

図A2.image040において、image041あるいはimage042は一次独立、image043は一次従属.

 

image044

図A3.image045は基底image046で張られ、ランクは2.

 

 

ベクトルの内積、直交、長さ、距離image019においてはベクトルの内積が定義されます。

 

image047のとき、image048

 

ここで、image049は横ベクトルです。「’」 は転置といって縦と横を逆にすることを示す記号です(行列の項参照)。

 

image051の内積が0 (image052 の場合、image053は直交します。        (4)

 

2つの部分空間image054が直交するとは、image055ならimage056となることです(図A4)。

 

ベクトルimage057の長さは、image058

 

 

image059の距離とは、差のベクトルの長さimage060です。           (6)

 

image061

図A4.直交部分空間の例:image062

 

行列:行列は数あるいは変数(要素)を長方形に並べたものです。また、ベクトルと同じようにここで取り扱う各行列要素はほとんどの場合実数です。行列は大文字のボールド体で書くことにします。

 

image063

 

image064の縦(列)横(行)の長さを明記する時は、n行m列の行列、またはimage065行列といいます。

同じ型の行列には和とスカラー倍が定義され、

 

image066のとき、

 

image067

 

ベクトルと同じ法則(1)を満たします。

 

image068

 

image069など。

 

従ってimage083行列全体もベクトル空間を構成していることになります。

 

image064の列数とimage071の行数が等しい時に積image072が定義されます。image073のとき、image074型で、image075とすると

 

image076

 

です。行列の積はスカラー倍とは違って、結果が掛ける順序に依存します。一般に

 

image077

 

であることに注意してください。

image078次元縦ベクトルはimage079、横ベクトルはimage080行列と考えられます。ベクトルの内積(3)は、image080ベクトルとimage079ベクトルの積です。

 

行列の列空間:image083行列 image064の各列は、image019のベクトルです。

 

image086,

 

行列の列ベクトルが張る空間を列空間といいimage087と書きます。

 

image088

 

と書けますが、image057をm次元ベクトル

 

image089

 

とすれば、

 

image090

 

です。image087のランクを行列image064のランクといい、image088あるいはimage092と書きます。ランクは空間を張る一次独立なベクトル(基底)の数でしたから、image092は一次独立な列ベクトルの数となります。実は一次独立な行ベクトルの数も同じです。

 

image094image095ならば、image064はフルランクといいます。ランクは一次独立な列(行)の数ですから、この場合可能な最大値をとります。また、

 

image097

 

が成り立ちます。

 

行列image098を行ベクトル、列ベクトルに分けて以下のように書くと、

 

image099

 

image101

 

つまり、積image102image103要素は内積image104となります。

 

行列の種類:いくつか定義をあげます。

正方行列:列と行の数が等しい行列。

 

転置行列:行と列を入れ替えた行列で、image105の転置行列をimage106と書くと、image107です。また、image108です。

 

対称行列:image109なら対称行列といいます。対称行列は正方行列です。

 

対角行列:正方行列で対角成分以外が0の行列を対角行列といいます。image110です。特に、対角成分がすべて1の対角行列を単位行列といいimage111と書きます。

 

単位行列は、積における1(単位元)で、image112が成り立ちます。ただし、image064image083なら最初のimage111image115、つぎのimage111image116です。

 

逆行列:正方行列image064に対し、image118となる行列image119がある時、image064は正則であるといいimage119image064の逆行列といいます。image115行列image064が正則となる必要十分条件はimage122、つまりimage064の列がimage019の基底となることです。

また、image064が正則ならimage124も正則で、逆行列は

 

image125

 

image064image071が同じ大きさの正則行列ならimage072も正則で、逆行列は

 

image127

 

です。

 

その他の重要な行列の演算については後の回にまわすことにします。

 

『第8回 線形モデル – その2』へ

 

参考文献

線形代数に関してはたくさんの教科書が出ています。例えば、

1.佐竹一郎: 線型代数学(2000), 裳華房.

2.有馬哲: 線型代数入門(1975), 東京図書.

 

Share on FacebookTweet about this on TwitterShare on LinkedInEmail this to someonePrint this page

目次へ戻る