実験結果レポート

CLAS補強対象衛星に関する事前調査(2020.11)

※本資料は、2020年11月18日にQBIC(高精度衛星測位サービス利用推進協議会)主催で開催された第7回社会実装推進WG(拡大会議)で利用した資料です。

CLASの補強対象衛星が11機から17機に引き上げられることを受け、どの様な効果があるかを検証するために、フィールドテストを行いました。

本調査は、事前実証用の仕組みを利用して検証したものであり、実際のサービス、受信機等とは異なるため、参考試験となります。

また、サービス開始前の調査には、多くのご協力をいただきましたので、改めて謝辞を述べさせていただきます。

CLAS補強対象衛星に関する事前調査(資料)

*今回の実験で利用した「GNSS-Explorer」,「SARVAL」についてはこちらで紹介しています。

GNSS-Explorer
SARVAL

 

 

Share on FacebookTweet about this on TwitterShare on LinkedInEmail this to someonePrint this page

誤差論と最小二乗法

第11回 最小二乗法に関するいくつかの補足

今回は、線形モデルの最小二乗法による推定について少し一般的な事柄を述べておきたいと思います。また、モデルを選択する場合の基準について紹介します。

1.推定可能性と最小二乗推定値

1.1 ランク落ちのモデル

標準の線形モデル、

11-001

において、Xのランクがpより小さい(ランク落ち)場合があります。そのまま、正規方程式をたてるとX’X(p×p行列)が逆行列を持たないため、一意の解を求めることはできません。

例えば、一元配置モデルといって、実験結果に影響を及ぼす因子があり、因子のレベルを変えて効果を調べることがあります。

レベルを変えた効果を調べるために

11-002

というモデルを考えます。 μは全体の平均値、11-003はレベル1の効果、11-004はレベル2の効果を表しています。それぞれn 回の測定をしたとすると、観測方程式は、

11-005

となりますが、Xのランクは2(第2列と第3列を足すと第1列になる)でありランク落ちしています。

この場合、すべてのパラメータを解くことはできませんが、いくつかの方法で解決することができます。

a)モデルを見直して、一意に決まるパラメータを選ぶ。

b)パラメータに条件を付けくわえる。

c)一意に決まるパラメータの線形式を作って推定する。

等です。

 例えば、

a)の場合、11-006とすればモデルは、

11-007

となり、観測方程式は

11-008

となります。 Wはフルランク(rank=2) なので、正規方程式で解けます。

b)例えば、

11-009

という条件を付けると、

11-010

なので、

11-011

 

となり、これも解けます。

 ただし、この場合はパラメータの定義(意味)が変更されることになるので注意が必要です。

c)一意に決まるパラメータの線形式(推定可能関数、次節参照)は解けます。

 例えば、

11-012

 

等は、一意に推定可能です。

 

1.2 推定可能性

ここで、線形モデル

11-013

 

における未知パラメータの推定について、少し詳しく見ていきたいと思います。

一般に(線形とは限らず)、 E(Y)をパラメータ11-014 の関数で表したものがモデルです。

11-015

11-014あるいは11-014 の関数11-016 が一意に決められるかどうかは、

任意の 11-027に対して11-018ならば11-019

となることが条件となります。これは、11-01611-020の関数であることと同じで、そうでなければデータ(の期待値)E(Y)によって11-016を推定することができません。線形モデルに限ると、

11-021

ですから、 11-014のベクトル関数11-022  が11-023の線形関数、つまり

11-024

であれば、一意に決められることになります。これを推定可能と言っています。

 

例1.直線回帰のモデル(第7回)

11-025

において、

11-026

 

となるので、 11-027は推定可能です。また

11-028

なので、 11-029も推定可能です。

パラメータの推定可能条件

 線形モデルを、

11-030

 

と Xの列ベクトルの一次結合で表すと、未知パラメータ 11-031が推定可能でない条件は、

11-032

 

となる 11-033が存在すること、つまり11-034が他の列ベクトルの一次結合となることです。

 

推定可能性と不偏性

推定値が不偏とは、期待値が真値に等しくなることで、 11-035をパラメータの関数11-016 の推定値とするとすべての11-014に関して11-036となります。これから、11-014の線形関数11-037  が推定可能11-038(不偏)となる推定値11-039があることがわかります。

 

1.3 最小二乗推定値

 最小二乗解は、幾何学的に考えると次の式を満たすものです(第7回参照)。

11-040

 

ここで11-04111-042への直交射影(図1)を与える行列で、11-04311-042に直角に射影した11-044との距離が0になるような11-045をあたえる11-046 が最小二乗解でした。

11-047

一般には Xがランク落ちしていても、直交射影は定義され、その行列は一般逆行列(付録参照)を用い、

11-048

と書かれます。 Xがランク落ちしているときは、11-046は一意には決まりません(図2)。

11-049

ただし、直交射影は一意であり、推定可能関数は11-023の線形式でしたから、推定可能関数の最小二乗解は一意に決まることがわかります。つまり、推定可能関数11-050の一意な最小二乗解は、

11-051

です。

Gauss-Markovの定理(第7回)は、推定可能関数の最小二乗解についてそれがBLUE(最小分散の不偏な線形の推定値)であることを示しています。

 

例2.自由網平均

 測地網はそれを構成する基準点の座標を決定することによって構築されます。普通は、複数の固定点あるいは1点及び1方向を決めて、最小二乗法による平均計算を行います。ただし、点の位置の変動などを求めたい時に全点を未知点とする場合があります。そのような平均計算を自由網平均と呼びます。自由網平均では、網の位置、方向が不定となりますので、計画行列はランク落ちになり、標準的な最小二乗法では一意に解けません。そのため、何かしらの条件を付けるのですが、解のノルムが最小になるという条件を付けるのが自由解です。自由解は、正規方程式、

11-052

 

において、11-053となる解です。

付録にある通り、最小ノルム解は必ず一つ存在するので、

11-054

 

として自由解が求まることになります。

もう一つの解法として、11-014 に特別な拘束条件を付けて解く方法があります。

最小ノルム解11-046は一般解の11-055成分なので、Xの零空間の成分はありません。従って、零空間の基底となるベクトルを列とする11-056行列11-057があれば、

11-058

となります。この結果、線形モデルは拘束条件が付いて

11-059

 

となります。詳細は略しますが、拘束条件がある最小二乗法の正規方程式は拡張された形、

11-060

 

になり、11-061は正則になるので逆があり、

11-62

と解くことができます。もちろん11-046は、擬逆行列による解と一致します。

 

2.モデルの選択とAIC

 統計的推定において、実はモデルの選び方は大変重要な問題です。ここでは、モデルの妥当性を判断する基準として有名なAIC(Akaike’s Information Criterion: 赤池の情報量基準)を紹介します。

 我々が測定したデータは、真のモデル(母集団)から得られるものと考え、データを最もよく記述するモデルを知ることがパラメータ推定の目的です。最もよいモデルとは真に近いということですから、真のモデルとの差を何らかの量として表し、それが最小になるようなモデルを選べばよいということになります。詳細は省きますが、真のモデルとの差はKullback-Leibler情報量11-63として知られているものがあります。

11-64

 

ここで、11-65は真の確率密度、スクリーンショット 2020-11-17 13.45.33は予測確率密度です。

真の確率分布はわかりませんが、最尤推定値から11-63を推定できることが赤池によって示されました。AICは(定数倍と定数を除いた)その推定量で、小さいほど良いモデルということができます。

 最小二乗法におけるAICは、データの正規分布を仮定して

11-67

 

となります。ここで11-068:データ数、11-069:推定パラメータ数、11-070残差です。

 

参考文献

  1. Christensen, R.: Plane Answers to Complex Questions: The Theory of Linear Models, Fifth Edition (2020), Springer Texts in Statistics, New York.
  2. Koch, K-R., Parameter Estimation and Hypothesis Testing in Linear Models (1999), Springer.
  3. Burnham, K.P. and Anderson, D. R.: Model Selection and Multimodel Inference, Second Edition (2002), Springer, New York.
Share on FacebookTweet about this on TwitterShare on LinkedInEmail this to someonePrint this page

誤差論と最小二乗法

第11回付録

一般逆行列

一般逆行列は、逆行列の考えを拡張したもので次のように定義されます。

スクリーンショット 2020-11-17 14.31.53行列スクリーンショット 2020-11-17 14.33.51に対して

スクリーンショット 2020-11-17 14.34.51

 

となるスクリーンショット 2020-11-17 14.36.16行列スクリーンショット 2020-11-17 14.37.10スクリーンショット 2020-11-17 14.33.51の一般逆行列といいスクリーンショット 2020-11-17 14.38.34と書きます。一般逆行列は一意には決まりませんが、スクリーンショット 2020-11-17 14.33.51が正則の時は、スクリーンショット 2020-11-17 14.43.04(一意)となります。

すべての行列に関してその一般逆行列が存在します。特にスクリーンショット 2020-11-17 14.33.51が対称行列とすると、スクリーンショット 2020-11-17 14.33.51は直交行列スクリーンショット 2020-11-17 14.46.15と対角行列スクリーンショット 2020-11-17 14.47.20スクリーンショット 2020-11-17 14.49.53は対角要素)が存在して、

スクリーンショット 2020-11-17 14.51.19

 

と分解できる(特異値分解)ので

スクリーンショット 2020-11-17 14.52.49

 

は、一般逆行列です。

例1.

スクリーンショット 2020-11-17 14.59.40とすると、スクリーンショット 2020-11-17 15.06.46(cは任意)は一般逆行列です。

 

直交射影行列

 一般逆行列を使うと、ベクトルのスクリーンショット 2020-11-17 15.10.49スクリーンショット 2020-11-17 15.12.16の列ベクトルが作る空間)への直交射影を与える行列は、

スクリーンショット 2020-11-17 15.13.46

と書けます。この行列は、対称行列になっています。

 

一次方程式の一般解と最小ノルム解 

 一次方程式

スクリーンショット 2020-11-17 15.15.28

が解を持てば(第8回付録参照)、

スクリーンショット 2020-11-17 15.16.42なので、スクリーンショット 2020-11-17 15.17.45

となるので、

スクリーンショット 2020-11-17 15.18.57

は(4)の解になります。解はただ一つの場合も無限にある場合もあり、一般解は、

スクリーンショット 2020-11-17 15.19.54

です。

しかし、ノルム(長さ)が最小になる解に限ると、その解は一意に決まることが分かっています。概略は以下の通りです。

一次方程式の一般解は、一意に2つの直交する成分に分けることができます。

スクリーンショット 2020-11-17 15.21.57

 

ここで、スクリーンショット 2020-11-17 15.33.08スクリーンショット 2020-11-17 15.34.03となる空間(零空間)でスクリーンショット 2020-11-17 15.35.10はそれに直交する空間です。スクリーンショット 2020-11-17 15.38.19は、スクリーンショット 2020-11-17 15.34.03の解で無限にありますが、スクリーンショット 2020-11-17 15.40.06は一つしかありません。((6)を見ると、一般解はある一つの解にスクリーンショット 2020-11-17 15.34.03の解を加えたものになっていることが分かります。)

また、各成分は直交するので

スクリーンショット 2020-11-17 15.42.10

 

となり、スクリーンショット 2020-11-17 15.40.06は最小のノルムを持つことが分かります。この最小ノルム解を行列を用いて

スクリーンショット 2020-11-17 15.44.40

 

と書くと、スクリーンショット 2020-11-17 15.46.03は擬逆行列と呼ばれているものになり一意に決まります。

擬逆行列は一般逆行列を用いて

スクリーンショット 2020-11-17 15.47.28

 

と表されることがわかっています。

 

行列の列ベクトル空間と零空間

行列スクリーンショット 2020-11-17 16.00.08の列ベクトルからなる空間をスクリーンショット 2020-11-17 16.01.12(第7回付録)と書きました。

零空間スクリーンショット 2020-11-17 15.33.08は、スクリーンショット 2020-11-17 15.34.03となるベクトルスクリーンショット 2020-11-17 16.03.46の空間です。以下の関係があります;

スクリーンショット 2020-11-17 16.05.20の直交補空間(スクリーンショット 2020-11-17 16.06.47の中でスクリーンショット 2020-11-17 16.05.20と直交する空間)をスクリーンショット 2020-11-17 16.08.38とすると、

スクリーンショット 2020-11-17 16.12.42

スクリーンショット 2020-11-17 16.13.48とすると(dimは次元の数)、

スクリーンショット 2020-11-17 16.16.38

また、

スクリーンショット 2020-11-17 16.19.03

 

例2.一次方程式の最小ノルム解

 一次方程式

 

 

スクリーンショット 2020-11-17 16.21.28

 

を考えましょう。スクリーンショット 2020-11-17 14.33.51のランクは1で、解は

スクリーンショット 2020-11-17 16.23.36

 

をみたすスクリーンショット 2020-11-17 16.25.00となります。スクリーンショット 2020-11-17 15.33.08は直線スクリーンショット 2020-11-17 16.29.25スクリーンショット 2020-11-17 15.35.10は直線スクリーンショット 2020-11-17 16.30.27です。

最小ノルム解は、スクリーンショット 2020-11-17 15.35.10成分のスクリーンショット 2020-11-17 16.32.40となります。

スクリーンショット 2020-11-17 16.33.36

 

参考文献

  1. Koch, K-R., Parameter Estimation and Hypothesis Testing in Linear Models (1999), Springer.

 

Share on FacebookTweet about this on TwitterShare on LinkedInEmail this to someonePrint this page