このページは、平成１１年６月７日に開設した。
このページは、令和２年４月２４日に一部更新した。

Appendix A
　統計学の基礎概念

A.1 事象・確率・標本空間
　A.1.1 事象

統計学では、実験や観測結果のことを事象 (event) と呼ぶ。例えば、さいころを投げると、１から６の目のいずれかが出るが、それぞれは１つの事象である。

事象 E に対して、E が起こらないという事象を E の余事象 (complementary event) と呼ぶ。「２つの事象 E₁ と E₂ が同時に起こる」という事象は E₁ E₂ と表される。これに対して、「２つの事象 E₁ と E₂ のいずれかが起こる」という事象は、 E₁ E₂ と表される。また、同時に２つの事象 E₁ と E₂ が起こることが決してない時、E₁ と E₂ は排反的 (exclusive) と呼ばれる。また、「事象 E₁ が起これば必ず事象 E₂ も起こる」ということを、 E₁ E₂ と書く。この時、集合論では E₁ は E₂ の部分集合 (subset) であるという。

　A.1.2 確率・標本空間・確率変数

大ざっぱには、ある事象 E が起こる確からしさのことを確率 (probability) と呼び、P (E ) と書くことにする。例えば、さいころが理想的に作られていれば、１から６の目の出る事象を E₁ ,E₂ ,...,E₆ とすれば、

(A.1)

である。

ここで、一般に起こりうるすべての異なる数の集合から成る事象を標本空間 (sample space) と呼ぶことがある。さいころの場合、それは 1,2,3, 4,5,6 である。これを Ω と表せば、一般に P(Ω)=1 である。

確率をより正確に定義すると、つぎのようになる：

２つの事象 E₁、E₂ を考えたとき、 E₁ E₂、 E₁ E₂ もまた事象である。事象が無限個あれば、 E₁ E₂,... もまた事象である。
起こりうるすべての異なる数の集合からから成る事象 Ω も考える。
各事象 E には、確率 P(E) が対応しており、つぎの条件を満足する：
1. P (Ω) = 1,
2. P (E) 0,
3. E₁,E₂,..., が排反事象ならば、
  P (E₁ E₂...)= P(E₁) + P(E₂) + ...

一般に、標本空間 Ω は、さいころのような整数値を取る場合と、実数値を取る場合がある。

このようにして定義される確率は、標本空間またはその部分集合に対して定義できるので、一種の変数（変量）とみなすことができる。つまり、確率を標本空間の部分集合の関数とみなす時、われわれはこれを確率変数 (random variable) と呼ぶ。

　A.1.3 条件付確率と事象の独立性

　一般に２つの事象 E₁、E₂に対して

(A.2)

が成り立つ。したがって、

(A.3)

上の式での P (E₂ | E₁) を、E₁ のもとでの E₂ の条件付確率 (conditional probability) という。(A.2) 式及び (A.3) 式とも、 E₁ と E₂ を交換すると、つぎの式が成り立つ：

(A.4)

(A.5)

　もし、(A.2) 式で P (E₂ | E₁) が P (E₂) に等しい時は、

(A.6)

が成り立つ。この時、２つの事象は独立 (independent) という。

　A.1.4 確率不等式

　確率不等式（probability inequalities) 全般にわたる専門的な解説書の１つに Tong (1980) がある。例えば、多変量正規分布、多変量 t 分布、多変量カイ２乗分布、多変量 F 分布、などは、それらのうちの１群である。この節では、各種確率不等式のうち、分布によらない不等式(distribution-free inequalities) の中の基本的なものについてまとめる。これらは、分散分析における多重比較において、よく利用される。ただし、最初の「ブールの公式」は、不等式ではなく等式であることに注意せよ。

ブールの公式 (Boole's formula, also known as Poincare's)
　これについては、Hochberg & Tamhane (1987, p.363) が詳しい。それによれば、 E₁, E₂, ... , E_k, k2 を確率事象（random events) とし、E_i^c を事象 E_iの補集合（complement) とする時、

(AI.1)

をブールの公式（又は、ポアンカレの公式）という。
- （註１）ブール代数（Boolean algebra) で知られるブール（Boole, G., 1815-1864) によるが、 Hochberg & Tamhane (1987) によれば、「ポアンカレの公式」とも呼ばれる。
- （註２）（AI.1）式の表現は、例えば Hsu (1996, p.228) にも見られる。この式は、k=2,3 の場合には、集合に関するつぎのようなベン図（Venn diagram）を描けば明白：
- （註３）（AI.1）式は、つぎのように書かれることもある：
  
  (AI.2)

ボンフェロニ不等式 (the Bonferroni inequality)

　例えば Hochberg & Tamhane (1987) も指摘しているように、よく知られたボンフェロニ不等式は、上記ブールの公式（AI.1) 式の一次近似(the first order approximation) を用いるもので、

(AI.3)

（註１）（AI.3）式は、

が成り立つので、

(AI.4)

あるいは、

(AI.5)

とも書ける。こちらの不等式の方が、分散分析の対比検定（とりわけ、計画的非直交対比に対する対比検定）における実験当たりの過誤率α_EW の上限値 (an upper bound) を与えるボンフェロニ不等式の原型を与える式としては、直接的で理解しやすい。例えば、（AI.5）式で、A_i は、 i 番目の対比検定で帰無仮説が棄却されるという事象とみなし、個々の対比検定の危険率がすべて一定でαである、と仮定すれば、この式は対比検定におけるよく知られたボンフェロニ不等式そのものであることは、明らか。なお、（AI.4）式の表現は、Hsu (1996, p.228）と同一。

（註２）Hsu (1996, p.228）には、（AI.1）式のブールの公式の２次近似 (the second order approximation) である以下の不等式も示されている。この場合、２次近似は（AI.4）式と異なり、１つの下限値 (a lower bound) を与える：

(AI.6)

あるいは、

(AI.7)

（註３）統計学辞典（19989, p.15）は、（AI.5）式、（AI.7）式も含め、さらに以下の（AI.8）式も含めた式をボンフェロニ不等式としている。ここで、下記の S_j の右辺の和の添え字は小さくて見づらいが、i₁ < i₂ < ... < i_j であるとする：

(AI.8)

あるいは、

(AI.9)

　（AI.8）式あるいは（AI.9）式の不等式の特徴は、 P(A_i）の上限値を構成する式の最後の係数が必ず正になる項

を含むという点であり、不等式は自明。
　つまり、（AI.8）式または（AI.9）式は、ブールの公式の右辺の任意の偶数項（ただし、 -1 のべき乗のベキは奇数）までの和が P(A_i）の下限値に、同じくその偶数項の次の項（ただし、-1 のベキは偶数）までの和が P(A_i）の上限値を示す式といえる。（AI.8）式は誰が提案した式かは、統計学辞典には書かれていない。

クニア不等式 (the Kounias inequality)

　（AI.3) 式のブールの公式の一次近似を同時２変量確率のみを用いてさらに改良したものが、クニア（Kounias, 1968) により提案されている：

(AI.10)

あるいは、

(AI.11)

　うえの式は、次のようにも書ける：

(AI.12)

　Tong (1980, p.147) の次の不等式は、クニアの不等式での P(E_i ^c）の下限値についても加えたものである：

(AI.13)

ハンター・ウオルスリー不等式 (the Hunter-Worsley inequality)
　Hochberg & Tamhane (1987)によれば、クニアの不等式はその後 Hunter (1976) 及び Worsley (1982) が独立に同じ結果を得た。以下の結果は、グラフ理論（the graph theory) に基づく。ここで、サイクル(cycle) を持たない連結グラフ (the connected graph)、すなわち生成木 (the spanning tree) を T としよう。この時、もし T が頂点｛1, ..., P}をを持つ生成木であり、かつ {i, j}T は i と j が隣接している (adjacent) ことを表すならば、次の不等式が成り立つ：

(AI.14)

　上式の最も精確な限界値は、右辺第２項が最大になるような生成木を見つけることにより得られる。この問題を解くには、Kruscal (1956) の最小生成木アルゴリズム (the minimal spanning tree algorithm) を用いればよい（Hochberg & Tamhane, 1987, p.364)。

A.2 分布
　A.2.1 度数分布・母集団分布・標本分布

われわれが手にする (観測する) データは、それらが１変量であれ多変量であれ、観測対象となる数値の集まり (これを、統計学では母集団 (population) と呼ぶ) の中から抽出される。ここで、対象となる母集団の数値の数が有限である場合、有限母集団 (finite population)、無限である場合、無限母集団 (infinite population) と呼ばれる。

また、抽出された N 個のデータは、サイズ (大きさ) N の標本 (sample) と呼ばれる。

標本抽出の仕方についての２つの重要な概念に、復元・非復元、及び作為・無作為がある。前者は、サイズ N の標本を選るに際して、一度抽出した個体を戻すかどうかで、戻さない抽出法を非復元抽出 (sample without replacement)、戻した後再度抽出する方法を復元抽出 (sample with replacement) とそれぞれ呼ぶ。

後者は、標本抽出を作為的に行うかどうかで、統計学の理論は無作為抽出 (random sampling) による無作為標本 (random sample) を前提にする。

さて、母集団での数値の集まりの特徴を見るためには、それらの値のそれぞれを取る度数なり確率がどれだけあるかがわかればよい。それぞれの数値を横軸に取り、対応する度数なり確率を縦軸にして、数値のばらつき具合を示したものは、母集団分布 (population distribution) と呼ばれる。

有限母集団であれば、時間と費用をいとわなければ全数抽出すれば母集団分布は正確に得られるが、多くの場合それは不可能で、母集団から適当なサイズの標本を抽出し、それについての分布を描き母集団分布の特徴を推論する。

いずれにせよ、サイズ N の標本における数値を横軸に、度数を縦軸に取って、数値のばらつき具合を示したものを、度数分布 (frequency distribution) と呼び、通常母集団分布と区別する。

最後に、統計学ではこれらの他に、標本分布 (sampling distribution) なる概念も用いる。例えば、ある母集団からのサイズ N の標本を１つ得たとする。また、その平均値をとする。このは、異なる標本では一般に異なる値を取る。つまり、は標本を変えると、同一母集団からからの標本であるにもかかわらずいろいろな値を取る、すなわちある分布を持つことになる。通常標本平均は定数と考えるが、上の意味では定数ではなく確率変数とも考えることができる。そこでそのような場合、われわれはと書き、と区別する。一般に、のように標本から作られる量を統計量 (statistic) と呼ぶ。また、その分布は標本分布と呼ばれ、上述の度数分布や母集団分布と区別する。

　A.2.2 離散分布と連続分布

われわれが手にする度数分布は、前節から明らかなように多くの場合、何らかの母集団分布からのサイズ N の無作為標本とみなされるが、母集団の理論分布 (theoretical distribution) としては、これまでに多くの分布が提案されている。これらの分布は、いろいろな角度からの分類が可能であるが、１つの方法は分布を離散的分布 (discrete distribution) と連続分布 (continuous distribution) とに分類することである。離散的分布とは、標本空間の要素がさいころの目の場合のように飛び飛びの値を取る場合であり、連続分布とは、それらが連続的な値を取る場合である。離散的分布としては、２項分布 (binomial distribution)、多項分布 (multinomial distribution)、ポアソン分布 (Poisson distribution) などが、また連続分布としては、正規分布 (normal distribution)、 F-分布 (F-distribution)、 t-分布 (t-distribution)、 χ²-分布 (chi-square distribution)、などがよく知られている。

　A.2.3 確率密度と分布関数

如何なる確率変数 X の分布も、分布が離散的であれ連続的であれ、標本空間の各要素に対する確率が特定できれば決まる。そこで、これを

(A.7)

と書くものとする。この式の f (x) を確率変数が離散型の時には単に確率関数 (probability function) と、連続型の時には確率変数 X の確率密度関数 (probability density function) と呼ぶ。確率密度関数は、確率密度 (probability density) あるいは単に密度 (density) と呼ばれることもある。

　一般に、f(x) が確率関数、すなわち離散型の関数、の場合には、f(x) の値が１を超えることはないが、 f(x) が確率密度(関数）の場合には、分布によっては確率密度 f(x) は x のある範囲では１を超えることがある。F-分布、カイ2乗分布、指数分布やベータ分布は、そのような例である。しかし、A.1.2 節で述べた「確率」の定義での事象にあたるものは任意の連続分布の場合、特定の値 x ではなく特定の範囲（a 以上 b 以下）であり、x が特定の値を取る確率密度がたとえ１を超える値を持つ分布の場合でも、x が特定の範囲に入る確率は１を超えることはないので、A.1.2 節の確率の定義に矛盾しない。以下に、MATLAB による上記の分布のうち、F-分布及びベータ分布の確率密度関数の例を示す。

図３. F-分布の確率密度関数の例

図４. ベータ分布の確率密度関数の例

一方、X が離散型か連続型かにより、

(A.8)

または、

(A.9)

なる関数を、累積分布関数 (cumulative distribution function) もしくは単に分布関数 (distribution function) と呼ぶ。例えば、連続分布の１つとしてよく知られた正規分布の確率密度（または密度関数）、及び分布関数は、それぞれつぎのように書ける。ここで、正規分布の形を決めるパラメータである平均値と分散は、それぞれ μ 及び σ² であるとする：

　まず、正規分布の確率密度関数は、

(A.10)

である。ここで、正規分布はしばしば平均 μ と標準偏差 σ を用いて、 N(μ, σ) と表記される。その幾つかの例を MATLAB で図示したのが、図５である。

図５. 正規分布の確率密度関数の例

　一方、正規分布の分布関数は、

(A.11)

である。また、正規分布 N(4, 1.5) の分布関数における x=3 までの累積密度を青色で塗りつぶして示したのが図６である。

図６. 正規分布の分布関数による累積密度の例

　A.2.4 確率変数の期待値と分散

確率変数 X の分布の特徴を表すための最も基本的な指標に、期待値 (expectation) 及び分散 (variance) がある。前者の期待値は平均値とも呼ばれ、X が離散型か連続型かにより、それぞれ

(A.12)

または、

(A.13)

として定義される。

期待値については、つぎのような性質がある：

1.n 個の確率変数 X₁,X₂, ... ,X_n に対して、

	(A.14)
2.定数 a 及び b に対して、
	(A.15)
3.もし、X と Y が独立ならば、
	(A.16)

後者の分散は、X が離散型か連続型かにより、つぎのように定義される。ここで、E (X)=μ とする：

(A.17)

または、

(A.18)

一般に、X が離散型か連続型かにより、r\geq 0 なる正数に対して

(A.19)

または、

(A.20)

を、確率変数の、任意点 a の周りの r 次のモーメント（積率） (moment) と呼ぶ。上述の期待値は、その意味では原点 (a =0) の周りの１次の積率であり、分散は、期待値（平均値）の周りの２次の積率と言える。また、分散の平方根を標準偏差 (standard deviation) と呼ぶ。

分散については、つぎのような基本的な性質がある：

1.定数 a 及び b に対して、
	(A.21)
2.n 個の確率変数 X₁,X₂, ... ,X_n が互いに独立ならば、
	(A.22)
3.任意の正数 ε に対して、
	(A.23)

最後の不等式は、チェビシェフの不等式 (Chebyshev's inequality) と呼ばれる。

A.3 基本的な統計量の分布と非心分布

ここでは、確率変数の和、平均値や分散などの基本的な統計量の分布についての定理を、裏西ら (1967) に従い証明ぬきで示す。また、基本的な非心分布 (non-central distribution) についても列記する。最後に、中心極限定理 (central limit theorem) にふれる。

　A.3.1 基本的な統計量の分布

定理　１

確率変数 X が正規分布 N (μ,σ²) に従うとき、任意の実数 a (\ne 0) 、b に対して、確率変数 Y= aX + b は正規分布 N (aμ + b, a²σ²) に従う。

定理　2

互いに独立な確率変数 X 及び Y が、それぞれ正規分布 N (μ_x , σ²_x ) 、N (μ_y ,σ²_y ) に従うとき、ゼロでない実数 a ,b に対して、確率変数 aX + bY は正規分布 N (aμ_x +bμ_y ,a²σ²_x +b²σ²_y ) に従う。

定理　3

　正規分布 N (μ ,σ² ) に従う互いに独立な確率変数 X₁ ,X₂ , ...,X_n から作った算術平均

は、正規分布 N (μ ,σ²/n ) に従う。

定理　4

　互いに独立な２組の確率変数 X₁ ,X₂ ,...,X_n と Y₁ ,Y₂ , ...,Y_m とが、それぞれ N (μ_x ,σ²_x ) 、 N (μ_y ,σ²_y ) に従うとき、

の分布は、 N (μ_x - μ_y ,σ²_x /n +σ²_y /m ) に従う。

定理　5
確率変数 Z が単位正規分布 N (0,1) に従い分布している時、確率変数 Z² =Y の密度関数 f (y ) はつぎの式で与えられる自由度 (degree of freedom) 1 の χ²-分布に従う。
	(A.24)

定理　6

　互いに独立な確率変数 X,Y が、それぞれ自由度 ν₁ ,ν₂ の χ²-分布に従う時、和の分布 U =X +Y は、自由度 ν₁+ν₂ なる χ²-分布に従う。

一般に、自由度 ν の χ²-分布の密度関数は、つぎの式で与えられる

(A.25)

定理　7
正規分布 N(μ,σ²) に従う互いに独立な確率変数 X₁ ,X₂ ,...,X_n について、分散と平均
	(A.26)
から作られる確率変数 nS²/σ² は、自由度 n -1 の χ² -分布に従い、とは独立である。

　図７は、MATLAB による自由度１から４までのカイ２乗分布の確率密度関数を示す。このうち、自由度１のカイ２乗分布の x=0 における確率密度は無限大になるが、図では 1.2 をわずかに超えるところまでしか表示していないことに注意せよ。

図７. カイ２乗分布の確率密度関数の例

定理　8
確率変数 U₁ 及び U₂ が、それぞれ自由度 ν₁ 及び ν₂ の χ²-分布に従う時、それらの比 F =(U₁ /ν₁ )/(U₂ /ν₂ ) は、つぎの式で与えられる F -分布に従う。
	(A.27)

図８. F-分布の確率密度関数の例

定理　9
確率変数 X が自由度 ν なる χ²-分布に従い、これとは独立な確率変数 Z が単位正規分布に従う時、の密度関数 f (u ) は、つぎの式で与えられる自由度 ν の t -分布に従う。
	(A.28)

　以下に、MATLAB による t-分布の例を２つ示す。まず、図９は自由度５の t-分布を赤色で示し、さらにこの t-分布の分散が 5/3 になることに注意し、分散の等しい正規分布を青色で示したものである。
　ここで、両分布とも、横軸 x の変域はもちろん定義よりマイナス無限大からプラス無限大に亘るが、図９では、マイナス８からプラス８までしか描いていないが、両分布の尾の部分例えば x の絶対値がおよぞ５より大きい部分の曲線は、縦軸すなわち f(x) の値が小さいためぼやけてしまっている。

図９. t-分布の確率密度関数(赤色）の例（青色は正規分布の例）

　つぎに、t-分布と正規分布が、両分布の分散が等しい場合、前者の方がより重くて大きな広がり (heavier tails and a larger spread) を持つという特徴（例えば、Martinez et al., 2008, p.42）を図示したのが、図１０である。この図で両分布の尾の部分を比較すれば、その特徴は明らかである。ここで、図１０の縦軸のスケールは f(x)/1000、すなわち通常の１０００分の１にしてあることに注意せよ。
　なお、t-分布は極限では（自由度が無限大なる）正規分布と一致することもよく知られている。

図１０. t-分布の確率密度関数(赤色)（青色は正規分布の例）の尾の部分の特徴

定理　10

　正規分布 N (μ ,σ² ) に従う互いに独立な確率変数 X₁ ,X₂ ,...,X_n について、(A.26) 式による分散と平均から作られる確率変数

は、自由度 n -1 の t -分布に従う。

　A.3.2 非心分布

　通常われわれが扱う統計量の分布は、検定の文脈では帰無仮説のもとでのそれであるが、検出力 (power) を問題にする場合にはいわゆる非心分布の議論が必要になる。よく知られた正規分布の場合には、対立仮説 (alternative hypothesis) のもとでの分布もまた正規分布になるが、χ²-分布、F -分布、t -分布などの場合には、分布は非心分布となる。これらの分布の密度関数は、通常の中心分布と比べてさらに複雑な形を取るので、ここでは省略する。

まず、自由度 ν の非心 χ²-分布 (non-central χ² distribution) は、互いに独立な ν 個の正規分布 N(μ_i,1),i =1, ..., ν でに従う変数の２乗和の分布として定義される。ここで、λ をこの分布の非心母数 (non-central parameter) と呼ぶ。

非心 χ²-分布で λ=0 の場合を、通常の（中心）χ²-分布 (central χ² distribution または単に χ² distribution) と呼ぶ（(A.25) 式）。

つぎに、互いに独立な２つの確率変数 U₁ 及び U₂ が、それぞれ自由度 ν₁ 及び ν₂ で非心母数 λ₁ 及び λ₂ を持つ非心 χ²-分布に従うとする。この時、V =(U₁ /ν₁ )/(U₂ /ν₂ ) の分布は二重非心 F -分布 (doubly non-central F-distribution) に従う。

二重非心 F -分布で、λ₁ =λ かつ λ₂ =0 と置いたものは、一重の非心 F -分布となるが、通常これを自由度 ν₁,ν₂ で非心母数 λ を持つ非心 F -分布 (non-central F distribution) と呼ぶ。

非心 F -分布で、非心母数 λ=0 の時、通常の F -分布と呼ぶ（(A.27) 式）。

二重非心 F -分布で、ν₁ =1 の場合を二重非心 t² -分布 (non-central t²-distribution) と呼ぶ。この分布で、t² から t に変換したものを二重非心 t-分布 (doubly non-central t-distribution) と呼ぶ。同様にして、（一重）非心 F -分布で、ν₁ =1 の場合を非心 t² -分布、さらに、t² から t に変換したものを非心 t-分布 (non-central t -distribution) と呼ぶ。すなわち、互いに独立な２つの確率変数 Z₁ ,Z₂ のうち、Z₁ が N (λ ,1)、Z₂ が自由度 nu の（中心）χ² -分布に従う時、は、非心母数 λ を持つ、自由度 ν の t -分布に従う。

非心 t -分布は、非心母数 λ =0 の時、通常の t -分布となる（(A.28)式）。

　A.3.3 中心極限定理

これまで述べてきた各種の基本的な統計量の分布は、すべてそのもとになる確率変数に対して、何らかの分布を仮定することにより導かれた。それに対して、つぎに示す中心極限定理は、個々の確率変数に対してはその積率に対して非常に弱い条件を課するだけで、確率変数の和の分布が標本のサイズを大きくすれば、正規分布に近づくことを保証する。一口に中心極限定理といっても、最初の De Moivre-Laplace の定理から、Lyapunov の定理、Lindeberg-Feller の定理などがあるが（例えば、柴田、1981）、ここでは Lindeberg-Feller の定理のみを示す。

定理　11
X₁,X₂,...,X_n,... を互いに独立な確率変数の列、X_n の分布関数を F_n (x ) とする。n =1,2,... について E (X²_n )<\infty$ とし、μ_n =E (X_n )、 σ²_n =V (X_n)、 W_n =X₁ +X₂ + ... +X_n 、 s²_n=σ²₁ +σ²₂ + ... +σ²_n と置く。つぎの 1. 及び 2. が成立するための必要十分条件は 3. が成立することである。
(W_n -E(W_n ))/ s_n の極限分布は N (0,1) である。 Lindeberg の条件：任意の ε>0 に対して
	(A.29)

A.4. 仮説の検定と２種類の過誤

この節では、Kendall and Stuart (1973) に従って、統計的仮説の検定と２種類の過誤についてまとめる。

　A.4.1 統計的仮説検定と２種類の仮説

Kendall and Stuart (1973) によれば、一般に科学的仮説 (scientific hypothesis) と呼ばれるものは、データに基づいてその真偽を検証するための言明である。この特別な場合を、われわれは統計的仮説 (statistical hypothesis) と呼ぶ。

統計的仮説検定におけるデータは、何らかの母集団からのサイズ N の標本 x₁,x₂, ... ,x_N であり、これを１つのベクトル x と考える時、 N 次元空間の点として表せる。したがって、この空間を標本空間と呼ぶ。この標本空間の定義は、A.1.2 で述べたそれと若干異なるので、注意が必要である。

ベクトル x を確率変数とみなすと、それは一定の分布を持つ。したがって、われわれがもし標本空間の中のある領域 w を選ぶとすれば、標本点 x が w に入る確率 P (x \in w ) を計算することができる。これに関する仮説が統計的仮説である。

統計的仮説にはいろいろなものがある。１つは、分布の母数 (parameter) に関するものであり、他方は分布の形に関するものである。前者はパラメトリック仮説 (parametric hypothesis)、後者はノンパラメトリック仮説 (non-parametric hypothesis) と呼ばれる。

　A.4.2 単純仮説と複合仮説

前節で述べたパラメトリック仮説にも、２種類を考えることができる。ここで、ある分布の母数を θ₁,θ₂. ... ,θ_l と書くものとする。この母数の組 (θ₁,θ₂. ... ,θ_l ) は、母数空間 (parameter space) を構成する。

ある仮説が、この母数空間のうちの k 個を指定するものとする。もし、k = l ならば、その仮説は単純仮説 (simple hypothesis) であると言い、もし、 k < l であれば、複合仮説 (composite hypothesis) であると言う。

幾何学的には、もし仮説が母数空間内の点を指定するものならば単純仮説であり、部分領域 (sub-region) を指定するものであれば複合仮説である。

　A.4.3 棄却域と対立仮説

観測値に基づいて、ある仮説を検定するためには、われわれは標本空間を２つの領域に分けなければならない。もし、標本点 x がそれらのうちの１つ例えば w に落ちるならば、われわれは仮説を棄却 (reject) する。これに対して、もし標本点 x が補領域　W - w に落ちるならば、われわれは仮説を採択 (accept) する。また、ここで w を検定の棄却域 (critical region of the test) と呼び、領域 W - w を採択域 (acceptance region) と呼ぶ。また、検定される仮説を、帰無仮説 (null hypothesis) と呼ぶ。

さて、帰無仮説のもとでの観測値の分布がわかれば、われわれは帰無仮説 H₀ を棄却する確率があらかじめ設定された値 α に等しいような領域 w を決めることができる。すなわち、

(A.30)

この (A.30) 式の α を有意水準 (level of significance) と呼ぶ。これを検定のサイズ (size of the test) と呼ぶこともある。

　A.4.4 ２種類の過誤と検出力

帰無仮説と対立仮説の議論からは、統計的検定に際して２種類の過誤 (error) が存在することがわかる。それらは、つぎの２つである。

帰無仮説が正しい時に、それ（帰無仮説）を棄却する。
対立仮説が正しい時に、それ（対立仮説）を棄却する（帰無仮説が間違っている時に、それ（帰無仮説）を採択する）。

これらの過誤を、それぞれ第１種（Type I）の過誤 (error of the first kind)、第２種（Type II）の過誤 (error of the second kind) と呼ぶ。

第１種の過誤は、危険率 (level of significance) に等しい。第２種の過誤を β と書くとして、1-β を検出力 (power of the test) と呼ぶ。統計的検定における帰無仮説は、多くの場合、何らかの母数間に差がないことを意味するので、検出力が高い（1-β の値が大きい）検定とは、母数間に差がある時それを検出する力の大きい検定である、と言える。

一般に、帰無仮説の検定に際して同じ危険率を持つような棄却域のうち、いずれを選ぶかという時には、第２種の過誤が最小、すなわち検出力が最大になるような棄却域が望ましいと言える。このような棄却域は、最良棄却域 (best critical region 略して BCR) と呼ばれる。また、BCR に基づく検定は最強力検定 (most powerful test　略して MP 検定) と呼ばれる。

　A.4.5 片側検定と両側検定

一般に、棄却域を分布の片側にとる検定を片側検定 (one-sided test)、分布の両側にとる検定を両側検定 (two-sided test) と呼ぶ。例えば、平均値の差の検定に際して、どちらの検定方式を用いるべきかは、対立仮説がどのようであるかによる。もし、対立仮説が単に両群に差があるというものであれば、危険率を分布の両側に分けた方が、一般的に言って第２種の過誤を小さくするには無難であることが容易にわかる。もっとも、検定によっては最初から片側検定しか考えられない場合もあるので、注意が必要である。

A.5 Bayes の定理・最尤原理とML 推定量
　A.5.1 Bayes の定理

定理　11
q₁, ... ,q_n を情報 H のもとでの N 個の排反的言明とする。この時、H のもとで言明 p が真の時、言明 q_r (r =1, ... ,n ) が真である確率 p (q_r /p ,H ) は、つぎのように書ける。
	(A.31)

Bayes の定理は、情報 H のもとで言明 p が真の時、N 個の排反的言明のうち q_r が真である確率は、q_r が真である確率に、q_r が真の時に言明 p が真である確率を掛けたものに比例することを意味している。

　A.5.2 事前・事後確率と尤度

前節の (A.31) 式は、つぎのようにも書ける。

(A.32)

ここで、(A.32) 式の右辺の L (p / q_r,H ) は (A.31) 式の p (p / q_r,H ) をそのように書き直したにすぎない。

さて、ここで p を広義のデータとみなしてみよう。この時、(A.32) 式の左辺 p (q_r / p,H ) は、情報 H のもとでデータ p が与えられた時、N 個の排反的仮説 q₁ , ... ,q_n のうちの q_r が真である確率で、事後確率 (posterior probability) と呼ばれる。

一方、(A.32) 式の右辺の p (q_r / H ) は、データ p に無関係に、情報 H のもとで仮説 q_r が真である確率と考えられ、事前確率 (prior probability) と呼ばれる。

最後に、(A.32) 式の L (p / q_r,H ) は、情報 H のもとで仮説 q_r が真の時、データ p を手にする確率であり、尤度 (likelihood) と呼ばれる。

このように (A.32) 式を解釈すると、(A.31) 式の Bayes の定理は、つぎのようにも言える：

事後確率は、事前確率と尤度の積に比例する。

例壷の中に４つの球が入っているが、中は見えないとする。さらに、球の構成は、(1) すべて白、か (2) ３つは白で１つは黒、のいずれであることはわかっているとする。この壷の中から球を１つ取り出しては元に戻す、すなわち復元抽出を繰り返すとする。この試行から、球の構成についてのうえの２つの仮説（これらをそれぞれ q₁ , q₂ であるとする）のいずれが真であるかを判断する問題を考えてみよう。

まず、１つの球を取り出したら白であったとする。これがデータ p にあたる。また、H は、このような条件下での第１試行時にわれわれが手にしている情報を指す。この時、q₁ , q₂ の尤度は、

(A.33)

である。

一方、この時の q₁ , q₂ の事前確率 p (q₁ /H ), p (q₂ /H ) は、共に未知である。したがって、データ p すなわち第１試行で白い球を手にした時、 q₁ , q₂ が真である確率、すなわち事後確率は、計算できない。一般に、このような事態に遭遇した時どうのような仮説を選ぶかについて、いろいろな方法が提案されているが、それらのうちの代表的なものが、つぎに述べる Bayes の提案と最尤原理である。

　A.5.3　Bayes の提案と最尤原理

事前確率が未知の場合の仮説選択の第１の方法は、 Bayes の提案 (Bayes' postulate)、または不可知均等分布の原理 (principle of equidistribution of ignorance) と呼ばれ、統計的推論の理論の中で、最も大きな論点の１つである。

（Bayes の提案）複数の仮説の事前確率が共に未知の場合は、それらはすべて等しいとみなす。

第２の方法は、最尤原理 (maximum likelihood principle) である。

（最尤原理）複数の仮説の事前確率が共に未知の場合は、尤度最大の仮説を選ぶ。

　A.5.4　最尤原理とML推定量

一般に、サイズ N の標本 x₁, ... ,x_N から、それらが得られた母集団の特徴を表す未知数、すなわち母数 (parameter) θを特定する問題を考えてみよう。この場合、帰無仮説 H₀: θ=θ_0r は、(A.32) 式では、仮説 q_r にあたる。

もし、θ の事前確率、すなわち p(θ =θ_0r/H) が既知であれば、Bayes の定理を用いてすべての仮説 r 個のそれぞれの事後確率を計算し、データのもとで事後確率が最大になるような仮説 θ =θ_0r/H を選べばよい。

しかし、一般には θ の事前確率は未知の場合が多い。このような時、 (A.32) 式の尤度 L(p / q_r , H) 、すなわち仮説 H₀: & theta;= &theta_0r のもとでデータが得られる尤度を最大にする仮説を選ぶことにするのが、最尤原理のこの問題への適用である。

さて、情報 H のもとでは、θ を母数とする密度関数が f(x /θ) であることがあらかじめわかっているとする。この時、標本 x₁, ... ,x_N の得られる尤度は、データがうえの分布に従う母集団からの互いに独立な標本であるとすれば、

(A.34)

と書ける。

(A.34) 式は、x₁, ... ,x_N の同時分布 (joint distribution) を与えるもので、正確には標本の尤度関数 (likelihood function of the sample)、略して標本の LF (LF of the sample) と呼ばれる。

最尤原理からは、θ の取りうる値の範囲（値域）で、LF を可能な限り大きくするようなを選ぶのがよいことになる。そのようなは、最尤推定量 (maximum likelihood estimator) と呼ばれる。

A.6 推定量とその性質
　A.6.1 母数と推定量

(A.4.1) 節で既に母数の概念を、統計的分布に関して導入した。しかし、一般には母数は分布のそれに限定されるものではない。われわれが何らかの統計的モデルを考えるとき、それを特徴づける未知数（パラメータ）のことを、統計学ではすべて母数 (parameter) と呼ぶ。したがって、母数には (A.4.1) 節における何らかの分布のそれであることもあるし、何らかの統計的モデルの未知数であることもある。

いずれにせよ、統計学の基本的な課題は観測値 (observation) としての標本を手にしたとき、それを用いて標本が得られた母集団における未知の母数を推定したり、母数についての何らかの帰無仮説が正しいかどうかを検討したりすることである。後者は、検定の問題となる。

一般に、このような課題における標本から作られる量（関数）のことを統計量と呼ぶことは、既に (A.2.1) 節で述べた。そこで述べたをここでは s と書くものとする。もちろん、

(A.35)

であり、s は１つの統計量である。

さて、確率変数 X が平均 θ、で分散 σ² に従うとすれば、互いに独立なサイズ N の標本に対する確率変数の平均値 s は、

(A.36)

なる正規分布に従うので、母平均 θ の推定値 (estimate) としての実現値を用いることは、１つの合理的な方法と言える。ここで、一般に s のような統計量が推定のために用いられる時、これを推定量 (estimator) と呼ぶ。また、一般に何らかの母数をうえのような１つの値で推定する方法を、点推定 (point estimation) と呼ぶ。

これに対して、母数をある区間に入る確率の言葉で推定する方法を区間推定 (interval estimation) と呼ぶ。うえの s= については、

(A.37)

が成り立つことを用いて、母平均 θ の信頼度 100(1-α) % の信頼区間 (confidence interval) は、

と書ける。ここで、z_α は単位正規分布 N(0,1) の上側点を指す。

　A.6.2 推定量の持つべき性質

標本にもとづき母数 θ の推定を行う場合、θ の推定量がどのような性質を持つことが望ましいであろうか。これについては、従来から数理統計学の分野では幾つかの特性が提案されてきた。１つは、推定量またはその期待値と、その母数との一致・不一致に関する特性である。２つ目は、推定量の精度 (precision) とりわけ、推定量のばらつき (dispersion) に関するものである。３つ目は、推定量の持つ情報量に関するものである。４つ目は、推定量の、母数からのばらつきに関するものである。

第１の性質には、一致性 (consistency) と不偏性 (unbiasedness) の２つがある。前者は、推定量の値が漸近的に (asymptotically) （すなわちサンプル数が無限大になった時に）母数 θ に一致するかどうか、という性質である。これに対して、後者は、有限のサンプル数の場合、すなわち正確に (exact) 推定量の期待値が母数に一致するかどうかという性質である。

第２の性質についても、最小分散 (minimum variance、略して MV) 性に、２種類がある。１つは、推定量の漸近的な最小分散性で、他方は有限サンプルの場合のそれ（この場合には、さらに、MV の場合と最小分散限界 (minimum variance bound、略して MVB) の場合がある）である。漸近的な MV は、古典的、有限サンプルの場合は近代的な意味での有効性 (efficiency) の定義である。

第３の性質は、推定量の持つ情報の多さに関するもので、充足性とか十分性 (sufficiency) と呼ばれる。

第４の性質は、推定量の、母数からのばらつきの小ささであり、最小平均平方誤差 (minimum mean-square-error) である。

　A.6.3 一致性と不偏性

推定量 s の値が漸近的に母数 θ に等しい、すなわち確率的に（θ に）収束する (converge in probability or stochastically) ケースには２通りある。このことから、一致性にも２通り考えられている。すなわち、１つは弱い意味での一致性 (consistency in the weak sense) で、

任意の ε > 0 に対して、サンプル数 N\to \infty$ の時、
	(A.38)

もう１つは、強い意味での一致性 (consistency in the strong sense) で、

(A.39)

いずれの場合も、一致性を持つ推定量は、一致推定量 (consistent estimator) と呼ばれる。

例えば、(A.2.4) 節のチェビシェフの不等式を推定量に対して適用すると、

(A.40)

が得られるので、N \to \infty$ の時となり、したがって s = は母平均の一致推定量である。

しかし、一般にある s が一致推定量であれば、例えば

もまた一致推定量となる、すなわち一致推定量は一意的には定まらない。そこで、有限のサンプル数に対して言及できる推定量の望ましい特性を考える必要性が生じる。一般に、推定量 s の期待値が母数 θ に等しいとき、この推定量は不偏性を持つといい、そのような推定量は、不偏推定量 (unbiased estimator) と呼ばれる。正確には：

(A.41)

ならば、s は母数 θ の不偏推定量であるという。

　A.6.4 有効性と最小分散性

推定量 s の精度は、しばしばその標本分散

(A.42)

で表される。推定量の多くは、中心極限定理により、漸近的には正規分布になるので、n \to \infty$ の時、分布は平均と分散の２つの母数により決まる。古典的には、漸近的に最小分散になるような推定量は、有効性があるといい、そのような推定量を、有効推定量 (efficient estimator) と呼ぶ。もっとも、最近では漸近有効性も、１次、２次、３次等が区別されている。

いずれにせよ、古典的有効性が推定量の漸近的特性に関するものであるのに対して、有限のサンプルの場合にも推定量 s の標本分散、すなわち精度に最小値が存在することがわかったのは、比較的新しい。

Rao (1945) や Cram\'er (1946) により証明されたクラメール・ラオの不等式 (the Cram\'er-Rao inequality)

(A.43)

は、推定量 s が母数 θ の関数 τ(θ) の不偏推定量である場合に、推定量の最小分散限界 MVB を与える。

ここで、(A.43) 式の L は、互いに独立で同一な分布に従う (independent and identically distributed, 略して i.i.d. ) 母集団からの標本 x₁, ... ,x_N の尤度関数で、母数 θ のもとでの x₁, ... ,x_N の密度を f (x₁ /θ), ... , f(x_N / θ) とすれば、A.5.4 節の (A.34) 式として表せる。また、τ(θ) は、推定量 s の期待値すなわち、