誤差論と最小二乗法

第9回付録 線形(線型)代数の基礎3

A3.行列の演算2

 

 行列の固有値と固有ベクトル

 image_te_09f_aa行列image_te_09f_abに対して

 

image_te_09f_ac

 

となるとき、image_te_09f_adimage_te_09f_abの固有値、image_te_09f_aeimage_te_09f_adに属する固有ベクトルといいます。

 (1)が成り立つことは、image_te_09f_afとなるimage_te_09f_ag があることなので、image_te_09f_ahの列ベクトルは一次従属となり、image_te_09f_ahは正則ではありません。したがって、その行列式は0、つまり

 

image_te_09f_ai

 

となります。

image_te_09f_ajを固有多項式といい、image_te_09f_adに関してimage_te_09f_ak次の多項式です。 固有値は方程式(2)の根です。また、image_te_09f_aeimage_te_09f_ad に属する固有ベクトルとすれば、

 

image_te_09f_al

 

となるので、固有ベクトルはスカラー倍してもよいことがわかります。

 

 対称行列image_te_09f_abに関して次が成り立ちます。

a. image_te_09f_abの固有値image_te_09f_am は実数。

b.   異なる固有値に属する固有ベクトルは、互いに直交する。同じ固有値に属する固有ベクトルは、

互いに直交するように選ぶことができる。

 

 

 ベクトルの正規化

 ベクトルimage_te_09f_aoの長さはimage_te_09f_apですが、

 

image_te_09f_aq

 

は、image_te_09f_aoと同じ向きを持つ長さ1のベクトルです。これをベクトルの正規化といいます。

 

 直交行列 

 image_te_09f_dl .pnt行列 image_te_09f_dm .pntの列が、互いに直交し正規化されているとき、直交行列といいます。

直交行列 image_te_09f_dm .pntには、次の性質があります。

 

image_te_09f_ca

 

これは、image_te_09f_dm .pntを列ベクトルで

 

image_te_09_Cc_2

 

と書くと、image_te_09f_dn .pntimage_te_09f_do .pnt成分が

 

image_te_09f_cc

 

となることからわかります(第7回付録参照)。また、ベクトルimage_te_09f_du .pntに直交行列image_te_09f_dm .pntを掛けて

 

image_te_09_yCx_2

 

に変換すると、

 

image_te_09f_ce

 

より、変換されたベクトルの長さは不変なので、直交行列による変換は回転になることがわかります。

 

 対称行列の対角化

 対称行列image_te_09f_dq .pntに対して、直交行列image_te_09f_dm .pntが存在して、

 

 image_te_09f_cf

 

となります。ここで、image_te_09f_dr .pntimage_te_09f_dq .pntの固有値、image_te_09f_dm .pntの列ベクトルimage_te_09f_ds .pntは、固有値image_te_09f_dt .pntに属する正規化された固有ベクトルです。

 また、(5)を変形すれば

 

 image_te_09f_cg

 

となります(スペクトル分解)。

 

B2. 仮説検定と区間推定

 

1.仮説検定

 検定と有意性

 検定(仮説検定)は、統計学において推定と並ぶ二つの柱の一つです。検定とは、母集団についての仮説をデータにもとづいて検証することです。観測結果が理論から期待される値と厳密に一致することはありませんが、その差が誤差の範囲なのか、それ以上に何か意味のあるものかを調べることになります。何か意味のあることを「有意」といい、仮説が有意か否かによって、仮説を棄却するか、あるいはしないかを決定することになります。有意の基準は確率で示され有意水準といい、 α で表すことが普通です。例えば α = 0.1( 10% ) とし、データが得られた確率が仮説に基づいて計算したところ 0.05( 5% ) となった場合、その仮説は棄却されます。

 

 帰無仮説と対立仮説

 仮説検定を確率分布とその母数(パラメータ)から見てみると、検定とは母数に関する仮説が正しいかをデータから決めることです。パラメータ θ の全体集合を Θ とすると、仮説  H0 とは、 θ Θ の部分集合 Θ0 にふくまれること、 H0 : θ ∈ Θ0 と定義されます。H0 と対立する仮説 H1 ( H1 : θ ∉ Θ0を立てることもあり、H0 を棄却するということは、H1 を採択することになります。 H0 を帰無仮説、 H1 を対立仮説といいます。帰無とは、最初に立てた仮説が無に帰る=棄却される、という意味で、否定されることを期待することが多いので統計学ではそのような名前が付けられています。単に「仮説」として考えても問題ありません。

 

 片側検定と両側検定

 仮説検定の例として、平均値に関する検定を考えます。

ある量(長さ、温度、成分などn=10を回測って、

 

image_te_09f_cj

 

得たとします。母集団を

 

image_te_09f_ck

 

とし、このデータから μ = 18.0 であることを有意水準 α=0.05 で検定したいと思います。

 

帰無仮説は H0 :  μ = 18.0

対立仮説は H1 :  μ ≠ 18.0

 

です。

ここでは、母集団の分散が未知なので、次の統計量が従う自由度 n – 1t 分布( 第5回 )を利用した t 検定を行います。

 

image_te_09f_cl

 

 分布は、図1のようになり、 image_te_09_t_2の値がimage_te_09_-ta_2より小さいか、またはimage_te_09_ta_2より大きい確率はαとなります。image_te_09_pmta_2 α/2 パーセント点といいます(一般には小さいほうのパーセント点はimage_te_09_t1a_2ですが、 分布は を中心に左右対称なので、image_te_09_t1a=_2です。)

従って、

 

image_te_09f_cm

 

となり、仮説が棄却される値の領域を棄却域、棄却しない領域を採用域といいます。図1では、棄却域は両端の影がついた部分、採用域は中間部分です。

 この例では、t = -0.90 となり、α = 0.05 に対する α/2 パーセント点はimage_te_09_t0025_2ですから、仮説は棄却しないことになります。また、棄却域は分布の両側にあるので両側検定といいます。

 

image_te_09f_cn

 

図1.両側検定

 もし対立仮説が、H1 : μ < 18.01 ならば、平均値が非常に小さくなった時にのみ帰無仮説を棄却することになるので α パーセント点はimage_te_09_t005_2となり、-1.83 < -0.90 なので帰無仮説は棄却されません。棄却域はimage_te_09_tta_2となり片側検定といいます。また、対立仮説の不等号を逆にすれば、棄却域はimage_te_09_tpta_2となり、これも片側検定です。(図2)。

 

image_te_09f_co

図2.左片側検定と右片側検定

 

 母分散に関する検定

 次の例として、母集団の分散image_te_09_sig2_2に関する検定を考えます。連載5回によると

image_te_09f_cp

は自由度 n – 1 image_te_09f_cq分布に従うことがわかっています。平均値の検定と同じように、帰無仮説を、image_te_09f_crとし、有意水準で以下の対立仮説に応じて検定を行います。

1) image_te_09f_cs.pntなら両側検定で、image_te_09f_ct.pntなら H0 は棄却せず、それ以外は棄却。

2) image_te_09f_cu.pntなら左片側検定で、image_te_09f_cv.pntなら H0 を棄却、それ以外は棄却しない。

3) image_te_09f_cw.pntなら右片側検定で、image_te_09f_cx.pntなら H0 を棄却、それ以外は棄却しない。

これらを正規母集団の母分散に関するimage_te_09f_cy.pnt 検定といいます(図3)。

 

image_te_09f_cz.pnt

image_te_09f_da.pnt

 

 図3.image_te_09f_cy.pnt検定、両側(上)と片側検定

 

 F分布と分散の比に関する検定

 二つの確率変数と が独立で、それぞれimage_te_09f_db.pntimage_te_09f_dc.pnt に従うとき、その比image_te_09f_dd.pnt が従う確率分布を自由度( m, n ) のF分布 F(m,n) といいます(図4)。

 

image_te_09f_de.pnt

図4.F分布

F分布は二つの正規母集団の分散について調べるときに使われます。二つの集団から得られた標本分散を、image_te_09f_df.pntとすると(8)より、

 

image_te_09f_dg.pnt

 

ですから、

 

image_te_09f_dh.pnt

 

となり、F検定を行うことができます。

 

2.区間推定

 (点)推定は、未知パラメータ θ を一つの値として推定するものですが、区間推定は θが含まれるであろう区間(領域)をデータyによって推定するものです。式で書くと、θ が含まれる確率が 1 – α であるような区間、つまり

 

image_te_09f_di .pnt

 

となる ( l( y ), u( y ) ) を求めることです。区間 ( l( y ), u( y ) ) を 100( 1 – α )% 信頼区間、l( y ), u( y ) を信頼限界といいます。1 – α は多くの場合、0.99 や 0.95 に選ばれます。信頼区間は、image_te_09f_dj .pntの標本分布から決められます。

 

 信頼区間の意味

 信頼区間はあるデータから計算され、データが違えばその値も変動します。パラメータの(真の)値は常数ですから、それが計算された信頼区間にある確率で含まれるということはありません。信頼区間が意味することは、同じ観測を何回も繰り返して信頼区間を計算したとき、θ を区間内に含む観測の割合が 1 – α であるということです。

 

 正規母平均の区間推定

 母集団の分散が未知のとき、(7)は 分布に従いますから、

 

image_te_09f_dk .pnt

 

これをμについて解くと、

 

image_te_09f_dw .pnt

 

となり、μ 1 – α 信頼区間は

 

image_te_09f_dx .pnt

 

です。

 両側検定の例で使った結果の95パーセント信頼区間を求めてみましょう。

 n=10、平均値スクリーンショット 2020-06-02 9.40.29= 17.86、標本分散image_te_09f_dz .pnt= 0.243image_te_09f_ea .pnt= 2.26 でしたから、95パーセント信頼区間は、

 

image_te_09f_eb.pnt

 

より、 ( 17.51, 18.21 ) となります。

 

B3. 正規分布の性質

 (多次元)正規分布をする確率変数の性質をまとめておきます。

 

 確率変数の独立性

 正規分布をしている確率変数ベクトルimage_te_09f_ec.pntimage_te_09f_ed.pnt のようにいくつかに分けたとき、対応する共分散行列も以下のようにimage_te_09f_ee.pnt とブロックに分けられますが、

 

image_te_09f_ef.pnt

 

 

 

image_te_09f_eg.pnt ならば、image_te_09f_eh.pnt はおのおの独立になります(逆も真)。

 

 確率変数の線形関数

 ( n × 1 ) ベクトルimage_te_09f_du .pntが正規分布をしているときimage_te_09f_ei.pnt

image_te_09f_du .pnt から線形変換で得られた ( m × 1 ) ベクトル

 

image_te_09f_ej.pnt

 

は、A のランクが m ならば正規分布に従います。

 

image_te_09f_ek.pnt

 

 

例.最小二乗解の誤差分布

 最小二乗解

 

image_te_09f_el.pnt

 

は、データimage_te_09f_em.pntの線形変換image_te_09f_en.pnt のランクは image_te_09f_eo.pnt ですから、image_te_09f_ep.pnt が正規分布、

 

image_te_09f_eq.pnt

 

ならば、image_te_09f_er.pnt も正規分布でimage_te_09f_es.pnt より

 

image_te_09f_et.pnt

 

となります。

 

 確率変数の和

 ( n × 1 ) ベクトルimage_te_09f_eu.pnt が独立で正規分布image_te_09f_ev.pnt に従うとき

 ( n × 1 ) ベクトルimage_te_09_xc_2も正規分布となります。

 

image_te_09f_ex.pnt

 

ここで、image_te_09_mu_sig_2 です。

 

参考文献

1. Koch, K-R., Parameter Estimation and Hypothesis Testing in Linear Models, Springer, 1999.

Share on FacebookTweet about this on TwitterShare on LinkedInEmail this to someonePrint this page