ベクトル、行列、ベクトル空間とその線型変換に関する数学の分野が線形(線型)代数ですが、統計学や最小二乗法で必要となる基本的なことをまとめておきます。

 

A0．集合及び演算の記号

集合に関して以下のような記号を使います。集合とはある定義されたものの集まりで、集合を構成するものを元といいます。

 

。

      

 

 また、

 

 

A1．ベクトル、ベクトル空間、行列

ベクトルは二次元や三次元空間の位置ベクトルなどでおなじみでしょう。ここでは、まずベクトル空間の定義をします。

 

ベクトル空間：集合があってその任意の元とスカラーに関して和とスカラー倍が定義されて、以下のような法則が成り立つときをベクトル空間といい、の元をベクトルといいます。（スカラーとはベクトルではない普通の数のことです）

 

 

つまり、ベクトルとは和とスカラー倍が定義され、和と積の（普通の）法則がみたされているものと考えられます。ベクトル空間のことを線形（線型）空間ともいいます。

また、ベクトルは太字（ボールド体）で書くことにします。

 

ベクトルは抽象的な概念ですが、私たちが取り扱うのはほとんど の場合で、スカラーも実数です。その時は、をn次元数ベクトル空間と考え、以下のように各ベクトルをn個の実数を縦に並べた列ベクトルとして書きます。

 

 

縦ベクトルと同じように横ベクトルも定義されます。横ベクトルは、「’」をつけて

 

 

となります。

 

部分（ベクトル）空間：の部分集合がそれ自体ベクトル空間の時、を部分（ベクトル）空間といいます。言い換えると、に含まれる元がまたベクトルとして和とスカラー倍の法則を満たすということです。

 

部分空間の例

3次元数ベクトル空間は、ですが、

 

は、その部分空間で平面となります。また、は、軸でこれも部分空間です。

は2次元の、は1次元のベクトル空間です（図A 1）。

 

図A1.　部分空間の例（）

 

 

線形（一次）結合：いくつかのベクトルから和とスカラー倍で生じるベクトルを一次（線形）結合といいます。

 

 

ベクトルの一次結合全体からなる部分空間をで張られる空間といいます。

 

一次独立と一次従属：が成り立つのが、がすべて0である場合、は一次独立といい、そうでないとき一次従属といいます（図A2）。

 

基底：一次独立なが張る空間をとするとき、をの基底といいます。

ある空間の基底となるベクトルの数は一定です。

 

部分空間のランク：部分空間の基底の元の数を、その部分空間のランクといい、と書きます（図A3）

 

図A2.において、あるいはは一次独立、は一次従属.

 

図A3．は基底で張られ、ランクは2．

 

 

ベクトルの内積、直交、長さ、距離：においてはベクトルの内積が定義されます。

 

のとき、

 

ここで、は横ベクトルです。「’」 は転置といって縦と横を逆にすることを示す記号です（行列の項参照）。

 

の内積が0 ( の場合、は直交します。        (4)

 

2つの部分空間が直交するとは、ならとなることです(図A4)。

 

ベクトルの長さは、

 

 

の距離とは、差のベクトルの長さです。           (6)

 

図A4．直交部分空間の例：

 

行列：行列は数あるいは変数（要素）を長方形に並べたものです。また、ベクトルと同じようにここで取り扱う各行列要素はほとんどの場合実数です。行列は大文字のボールド体で書くことにします。

 

 

の縦（列）横（行）の長さを明記する時は、n行m列の行列、または行列といいます。

同じ型の行列には和とスカラー倍が定義され、

 

のとき、

 

 

ベクトルと同じ法則(1)を満たします。

 

 

など。

 

従って行列全体もベクトル空間を構成していることになります。

 

の列数との行数が等しい時に積が定義されます。のとき、型で、とすると

 

 

です。行列の積はスカラー倍とは違って、結果が掛ける順序に依存します。一般に

 

 

であることに注意してください。

次元縦ベクトルは、横ベクトルは行列と考えられます。ベクトルの内積(3)は、ベクトルとベクトルの積です。

 

行列の列空間：行列 の各列は、のベクトルです。

 

,

 

行列の列ベクトルが張る空間を列空間といいと書きます。

 

 

と書けますが、をm次元ベクトル

 

 

とすれば、

 

 

です。のランクを行列のランクといい、あるいはと書きます。ランクは空間を張る一次独立なベクトル(基底)の数でしたから、は一次独立な列ベクトルの数となります。実は一次独立な行ベクトルの数も同じです。

 

がならば、はフルランクといいます。ランクは一次独立な列(行)の数ですから、この場合可能な最大値をとります。また、

 

 

が成り立ちます。

 

行列を行ベクトル、列ベクトルに分けて以下のように書くと、

 

 

 

つまり、積の要素は内積となります。

 

行列の種類：いくつか定義をあげます。

正方行列：列と行の数が等しい行列。

 

転置行列：行と列を入れ替えた行列で、の転置行列をと書くと、です。また、です。

 

対称行列：なら対称行列といいます。対称行列は正方行列です。

 

対角行列：正方行列で対角成分以外が0の行列を対角行列といいます。です。特に、対角成分がすべて1の対角行列を単位行列といいと書きます。

 

単位行列は、積における１(単位元)で、が成り立ちます。ただし、がなら最初のは、つぎのはです。

 

逆行列：正方行列に対し、となる行列がある時、は正則であるといいをの逆行列といいます。行列が正則となる必要十分条件は、つまりの列がの基底となることです。

また、が正則ならも正則で、逆行列は

 

 

とが同じ大きさの正則行列ならも正則で、逆行列は

 

 

です。

 

その他の重要な行列の演算については後の回にまわすことにします。

 

『第8回 線形モデル – その2』へ

 

参考文献

線形代数に関してはたくさんの教科書が出ています。例えば、

1．佐竹一郎: 線型代数学(2000), 裳華房.

2．有馬哲: 線型代数入門(1975), 東京図書.