G空間データソリューションセンター

誤差論と最小二乗法

第7回線形モデル – その１

2020年02月13日

今回から、線形モデルとその解法に入ります。線形モデルは前回も紹介したようにデータ(の期待値)とパラメータの関係が線形であるようなモデルです。例えば、P、Qの座標をそれぞれとし点PQ間のGNSS基線ベクトルをと表せば、となり観測値との座標の関係は１次（線形）関係で表せます。実は測量では多くの場合（辺長や角観測と座標の関係など）、モデルは線形ではありませんが線形になるように近似して解いています。非線形モデルの線形近似については後の回でお話しします。

線形モデルの記述にはベクトルや行列を用いるのが便利ですので、それらを取り扱う線形代数の基礎的な事柄を付録にまとめておきました。必要に応じて参照していただければと思います。

1.線形モデルの表現

個の測定データのベクトルを、

個の未知パラメータからなるベクトルを

ランダム誤差のベクトルを

としたとき、線形モデルは次のように表されます。

は行列で計画(モデル)行列と呼ばれ、各成分は既知の定数です。

また、

を仮定しておきます。はと同じです。は確率変数で観測値は誤差を含みますが、その期待値がパラメータの線形式で表せるということです。

上式では期待値、は共分散をとることを示します。期待値や分散の定義については第2、4回で紹介していますが、複数個の変数がある場合、ベクトル及び行列で表現すると取り扱いが便利です。具体的に書くと、以下のようになります。

確率変数ベクトルの期待値は

確率変数間の分散を成分に持つ共分散行列(誤差行列)が次のように定義されます。

線型モデルでは、

です。

また、とをそれぞれ定数行列及びベクトルとした時、の線形変換に関して次の式が成り立ちます。

2番目の式は誤差伝播則と呼ばれています。確率変数を変換したとき、その誤差は元の変数の誤差で表せる（誤差が伝わってゆく）という意味です。

誤差伝播の例：

①観測値の和と差

2つの独立な観測値との和（差）

の分散はとのの分散をそれぞれととすると、なので(6)から

標準偏差は、となります。

②観測値の定数倍

なら

です。

③平均値の誤差

ある量(例えば基線長)を回観測したとします。すると平均値と(標本)分散は、

です（第１回参照）。平均値の誤差（分散）を求めてみましょう。観測値ベクトルは

です。平均値の式は

と書けますからの線形式です。従って、平均値の分散は(6)より

となり、１観測の分散のになります。また、標準偏差は平方根をとるのでになります（①と②を応用してはをからまで足したものと考えれば、分散は=と求まります。）。

これから線形モデルを用いてパラメータの推定や検定を行うわけですが,今回は(2)の条件の他に計画行列はフルランクと仮定しておきます（2．でわかるように正規方程式が逆行列で解ける場合です）。そうでない場合（ランク落ちという）は、後の回で取り上げます。一つだけ例をあげれば、GNSSによる基線ベクトル観測から位置を求める場合、最低１点の３次元座標を固定することにより、正規方程式の逆行列が存在します。固定点がないとランク落ちとなり逆行列では解けません。

2.　パラメータ推定法とその性質１：最小二乗法

2.1　線形モデルの幾何学

線形モデルを幾何学的に考えてみましょう。観測ベクトルは、次元空間(データ空間)内のある点を示します。は計画行列を

と列ベクトルに分けると

と書けます。各列ベクトルは次元ですからデータ空間内にあり、の列ベクトルが張る空間(：推定空間といいます)はデータ空間の部分空間となっています。そしてはの値に応じた推定空間内の点を表しています。それと観測値のベクトルとの差が誤差ベクトルとなります。問題は、もも未知ということです。しかし、はデータですから既知、また、は推定空間内にあります。

以上のことを3次元（）でイメージできるように図1で示しました。データは3次元空間内にあり、はとで張られる3次元空間内の平面でその中にがあります。

図1．線形モデルの幾何学

最小二乗の条件：推定値が

を満たすとき最小二乗解といいます(は最小値を示します)。

これは、との距離が最小になるということです。そして、そのようなベクトルは、残差が推定空間と直交するものとして与えられることがわかります(図2)。式で書くと残差のベクトルは計画行列の列ベクトルと直交するので(付録、(4))、

となります。従って、

つまり次式が成り立ちます。

これを正規方程式といいます。

がフルランクとするとのランクはとなって逆行列が存在します。従って正規方程式を解いて

が、最小二乗解となります。

および誤差の推定値は

となり、観測値は以下のように分解できます。

は直交射影と呼ばれるもので、今の場合をへ垂直に投影したもの(正射影)を与えます。は、次のような性質を持っています。

また、への正射影はただ一つに決まることが証明されます。従って最小二乗解も一意に決定されます。

図2．最小二乗法の幾何学

古い最小二乗法の教科書では、正規分布から最小二乗条件を導き出し、観測値Yを正規分布に従うと仮定していました。しかし、図2に示すように、最小二乗解は幾何学的に導かれ、観測値の正規分布の仮定は必要ありません。

簡単な例として、前回紹介した直線回帰の問題を見てみましょう(図３)。

モデルとして、

各誤差の平均は、分散は

を考えます。ベクトルと行列で表現すると、

となります。は正則ですから逆を持ち、の最小二乗解が、

と求まります。

図３．簡単な直線回帰

2.2　最小二乗解の性質

最小二乗解は重要な性質をもっていますので、以下に述べたいと思います。まず、

最小二乗解の不偏性です。

最小二乗解の期待値をとると

となり不偏(期待値が真値に等しい)であることわかります。

最小二乗解の分散

最小二乗解は観測ベクトルの線形関数として与えられますから、誤差伝播により分散を持ちます。分散行列は、

(6)より

となります。

ここで、は、未知量の重み係数行列と呼ばれ、未知量の精度に関係しています。正方行列のi番目の対角要素は、i番目の未知数の標準偏差で表されます。例えば、GNSS測位で観測点の位置をローカル座標系で表した場合、は4行４列で、緯度(n)、経度(e)、高さ(u)及び時間(t)が要素になっています。この要素からHDOP(水平DOP)が導かれます。

最良不偏推定値BLUE

推定値を求める時の基準としてBLUEというものがあります。BLUEとは(Best Linear Unbiased Estimator)の頭文字で最小の分散を持つ不偏な線形の推定値という意味です。これに関しては有名な次の定理があります。

ガウス‐マルコフの定理

線形モデル

において,が推定可能ならばそのBLUEはである。ここで、は、正規方程式を満たす最小二乗解である。

推定可能とは、の線形式からなるの不偏推定量が存在するということです。今回の仮定では自体が最小二乗解として不偏ですからは推定可能です。がフルランクでない場合はの適当な一次式が推定可能となります。証明はここでは省略しますが、一般の教科書に載っていますので(例えば、参考文献2)興味ある方は参照してください。