====== 【データリテラシー】第12回 仮説検定 ======

===== 仮説検定の考え方 =====
__**仮説検定**__とは、母集団について仮定された命題（仮説）を標本に基づき統計的に検証することである。

例えば、ある母集団について

> 「母平均 $\mu$ は 3 より大きい」（$\mu>3$）

という仮説が正しいかを標本から検証したいとする。
$\mu$ の推定に用いた統計量は標本平均 $\bar{X}$ なので、「$\bar{X}>3$ であれば $\mu>3$ という仮説は正しい」と単純に結論づけたいと思うかもしれない。
もし $\mu>3$ という仮説が正しいとしても、$\bar{X}$ の値は標本によってばらつきがあるため、$\bar{X}$ が 3 より大きくなることもあれば、運が悪くたまたま 3 以下になることもあるかもしれない。

このような仮説を直接検証するのは難しいところがあるため、統計学の仮説検定では数学の背理法((背理法とは、ある命題を直接証明するのではなく、その命題の結論を否定する仮定して推論を行うと矛盾が生じることからもとの命題を証明する方法である。))に近い方法で検証を行う。

まず、検証したい仮説（__**対立仮説**__）とそれに反する仮説（__**帰無仮説**__)を設定する。
そして「もし帰無仮説が正しいなら起こりにくい結果」が標本から得られたならば、それは帰無仮説が正しくないためそのような結果になったのだと判断して帰無仮説を__**棄却**__する（捨て去る）証拠とする。
帰無仮説を棄却することはそれに反する対立仮説を__**採択**__することになり、これで対立仮説を検証できたことになる。

この、もし帰無仮説が正しいなら起こりにくい結果が得られる確率を__**有意水準**__ $\alpha$ といい、この起こりにくい結果の範囲を__**棄却域**__ $R$ という。

有意水準 $\alpha$ は検証する人が恣意的に設定する確率で、0.1（10%）, 0.05（5%）, 0.01（1%）がよく使われる。

**<fc #ff0000>標本から得られた統計量が棄却域 $R$ に入った場合は、帰無仮説を棄却して、対立仮説を採択するという判断をする。</fc>**
棄却域は $\alpha$ によって決まる。
もし帰無仮説が正しいならば、$\alpha$ が小さいほど標本の統計量が棄却域に入る可能性は低くなるが、そんな小さい確率でも棄却域に入ったのであれば、帰無仮説が正しいという仮定が間違っていた証拠としていいだろうということである。

逆に、**<fc #ff0000>標本の統計量が棄却域 $R$ に入らなかった場合は、帰無仮説を棄却できないが、帰無仮説を採択することにはならない</fc>**ので注意する。
帰無仮説は結果がどうであれ、最後は無に帰する運命にある。
検証しようとしているのはあくまで対立仮説である。

仮説検定は確率的に判断するので、標本による判断が誤りである可能性はゼロではなく、次の二通りの誤りが起こりうる。
  * __**第一種の過誤**__：本当は帰無仮説が正しいのに帰無仮説を棄却してしまう
  * __**第二種の過誤**__：本当は帰無仮説は正しくないのに帰無仮説を棄却できない

第一種の過誤が起こる確率が有意水準 $\alpha$ である。
$\alpha$ が小さいほど第一種の過誤が起こりにくいが、逆に第二種の過誤が起こりやすくなってしまうので、$\alpha$ は小さいほどよいということにならない。
第一種の過誤と第二種の過誤の両方を起こりにくくしたい場合は、$\alpha$ を小さくし、かつ、標本サイズ $n$ を大きくすることが必要となる。

===== 母平均の仮説検定 =====

ここでは最も簡単な母平均 $\mu$ の仮説検定について説明する。
仮説検定の手順はほぼ決まっており、母平均以外の仮説検定についても仮説や統計量と標本分布が異なるだけで手順は同じである。

母平均 $\mu$ の仮説検定に使われる統計量は標本平均 $\bar{X}$ である。
\[
\bar{X}=\frac{X_{1}+X_{2}+\cdots+X_{n}}{n}=\frac{1}{n}\sum_{i=1}^{n}X_{i}
\]

----
==== 仮説検定の手順 ====

=== ① 仮説の設定 ===
まず、帰無仮説 $H_{0}$ と対立仮説 $H_{1}$ を設定する。
対立仮説 $H_{1}$ によって__**右片側検定**__、__**左片側検定**__、__**両側検定**__ の三通りある。

  * 右片側検定
    * 帰無仮説 $H_{0}:\mu=\mu_{0}$
    * 対立仮説 $H_{1}:\mu>\mu_{0}$
  * 左片側検定
    * 帰無仮説 $H_{0}:\mu=\mu_{0}$
    * 対立仮説 $H_{1}:\mu<\mu_{0}$
  * 両側検定
    * 帰無仮説 $H_{0}:\mu=\mu_{0}$
    * 対立仮説 $H_{1}:\mu\neq\mu_{0}$

ここで $\mu_{0}$ は検証する人が設定する定数である。

検証したいのは対立仮説 $H_{1}$ であり、
検証したいことによって、この三通りの中からどれか一つを選んで検定を行う。

帰無仮説 $H_{0}$ は対立仮説 $H_{1}$ の否定であるが、便宜上「$=$」（イコール）の等式で設定する。

=== ② 検定統計量と標本分布の決定 ===
仮説検定に用いる統計量を__**検定統計量**__という。
母平均の仮説検定で検定統計量には $\bar{X}$ を用いる。
棄却域を求めるためには $\bar{X}$ の標本分布を知らなくてはならない。
[[lecture8#区間推定|中心極限定理]]によれば $\bar{X}$ は（近似的に）$\mathrm{N}(\mu,\sigma^{2}/n)$ に従う。

$\bar{X}$ から新たに検定統計量 $Z$ を定義する。
母分散 $\sigma^{2}$ が既知か未知かで $Z$ の定義は少し異なる。
母分散 $\sigma^{2}$ が未知の場合は、代わりに不偏分散 $s^{2}$ を使う。

  * 母分散 $\sigma^{2}$ が既知の場合
    * 検定統計量 $\displaystyle Z=\frac{\bar{X}-\mu_{0}}{\sigma/\sqrt{n}}=(\bar{X}-\mu_{0})\frac{\sqrt{n}}{\sigma}$

  * 母分散 $\sigma^{2}$ が未知で $n$ が大きい（$n\ge 30$）場合
    * 検定統計量 $\displaystyle Z=\frac{\bar{X}-\mu_{0}}{s/\sqrt{n}}=(\bar{X}-\mu_{0})\frac{\sqrt{n}}{s}$

$\bar{X}$ は（近似的に）$\mathrm{N}(\mu,\sigma^{2}/n)$ に従うので $Z$ は（近似的に）$\mathrm{N}(0,1)$ に従う。

母分散 $\sigma^{2}$ が未知で $n$ が小さい場合はここでは割愛する。

=== ③ 有意水準と棄却域の決定 ===

有意水準を $\alpha$ とする。
棄却域 $R$ は次のようになる。

  * 右片側検定の場合
    * $R=\{Z;Z>Z_{\alpha}\}$
    * （棄却域は $Z$ が $Z_{\alpha}$ より大きい範囲）
  * 左片側検定の場合
    * $R=\{Z;Z< -Z_{\alpha}\}$
    * （棄却域は $Z$ が $-Z_{\alpha}$ より小さい範囲）
  * 両片側検定の場合
    * $R=\{Z;|Z|>Z_{\alpha/2}\}=\{Z;Z< -Z_{\alpha/2},Z_{\alpha/2}<Z\}$
    * （棄却域は $Z$ が $-Z_{\alpha/2}$ より小さいか $Z_{\alpha/2}$ より大きい範囲）

ここで、$Z_{\alpha}$ は $\mathrm{N}(0,1)$ の上側確率 $\alpha$ のパーセント点、$Z_{\alpha/2}$ は$\mathrm{N}(0,1)$ の上側確率 $\alpha/2$ のパーセント点である。

それぞれの棄却域 $R$ を図で表すと以下のようになる。

{{ z-test.png?nolink |Z検定の棄却域}}

=== ④ 検定の実施 ===

標本から求めた検定統計量が棄却域 $R$ に入るかどうかを調べる。

  * 棄却域 $R$ に入った場合
    * 帰無仮説 $H_{0}$ を棄却して、対立仮説 $H_{1}$ を採択する。つまり、目的通り対立仮説が検証されたことになる。
  * 棄却域 $R$ に入らなかった場合
    * 帰無仮説 $H_{0}$ は棄却できないので、対立仮説 $H_{1}$ は採択されない。つまり、対立仮説を検証するに足る証拠が得られなかったことになる（対立仮説が否定された訳ではない）。

検定統計量に $Z$ を用いるので__**Z 検定**__という。

----
==== NORM.INV 関数 ====

$\mathrm{N}(0,1)$ のパーセント点 $Z_{\alpha}$ は NORM.INV 関数で求められる。


^  関数                ^  説明                                                                ^
| NORM.INV(1-α, 0, 1)  | 右側（上側）確率 $\alpha$ における $\mathrm{N}(0, 1)$ のパーセント点 $Z_{\alpha}$ を返す。  |

===== p 値 =====
上の手順では、有意水準 $\alpha$ からパーセント点 $Z_{\alpha}$ を求めて棄却域 $R$ を決定したが、
$\alpha$ がどのくらいなら帰無仮説が棄却されるかを知るためには少々手間である。

そこで、標本から得られた検定統計量の値から（仮に帰無仮説が正しいとしたときの）標本分布の確率を求めることが一般に行われる。
この確率を__**p 値**__という。
標本から得られた検定統計量の値がパーセント点となる有意水準ともいえる。

帰無仮説を棄却するかどうかを、棄却域の代わりに p 値を使って判断することがよく行われる。

下図は Z 検定の場合の p 値である。
{{ p-value.png?nolink |p値}}
図中の $Z$ は標本から得られた検定統計量の値、$|Z|$ は $Z$ の絶対値である。

**<fc #ff0000>p 値より大きい有意水準 $\alpha$ で帰無仮説は棄却される。</fc>**

例えば、p 値が $p=0.012$ なら帰無仮説は有意水準 5%（$\alpha=0.05$）では棄却されるが、1%（$\alpha=0.01$）では棄却されない。
\[
0.01 < 0.012 < 0.05
\]

p 値の定義は片側検定か両側検定かによって異なるので注意が必要である。

----
==== Z.TEST 関数 ====

LibreOffice Clac や Microsoft Excel では、p 値は Z.TEST 関数で求められる。

=== 右片側検定の場合 ===

^  関数                                    ^  説明                                                                                              ^
| Z.TEST(データ範囲, $\mu_{0}$)            | データ範囲の標本平均から Z 検定による右片側検定の p 値を求める。\\ 母標準偏差 $\sigma$ が未知の場合に用いる。  |
| Z.TEST(データ範囲, $\mu_{0}$, $\sigma$)  | データ範囲の標本平均から Z 検定による右片側検定の p 値を求める。\\ 母標準偏差 $\sigma$ が既知の場合に用いる。  |

=== 左片側検定の場合 ===

^  関数                                      ^  説明                                                                                                          ^
| 1-Z.TEST(データ範囲, $\mu_{0}$)            | データ範囲の標本平均から Z 検定による左片側検定の p 値を求める。\\ 母標準偏差 $\sigma$ が未知の場合に用いる。  |
| 1-Z.TEST(データ範囲, $\mu_{0}$, $\sigma$)  | データ範囲の標本平均から Z 検定による左片側検定の p 値を求める。\\ 母標準偏差 $\sigma$ が既知の場合に用いる。  |

=== 両側検定の場合 ===

^  関数                                                                                      ^  説明                                                                                                        ^
| MIN(Z.TEST(データ範囲, $\mu_{0}$), 1-Z.TEST(データ範囲, $\mu_{0}$))*2                      | データ範囲の標本平均から Z 検定による両側検定の p 値を求める。\\ 母標準偏差 $\sigma$ が未知の場合に用いる。  |
| MIN(Z.TEST(データ範囲, $\mu_{0}$, $\sigma$), 1-Z.TEST(データ範囲, $\mu_{0}$, $\sigma$))*2  | データ範囲の標本平均から Z 検定による両側検定の p 値を求める。\\ 母標準偏差 $\sigma$ が既知の場合に用いる。  |

===== 仮説検定の例 =====

[[dataset#データセット1]] はある母集団から抽出した 500 人の標本データである。
この中の体重のデータから標本平均と不偏標準偏差を計算すると以下の値になる。

  * 標本平均 $\bar{X}=56.66\ [\mathrm{kg}]$
  * 不偏標準偏差 $s=9.50\ [\mathrm{kg}]$

母分散 $\sigma^{2}$ が未知として、この標本データから

> 「体重の母平均 $\mu$ は 56kg より大きい」（$\mu>56$）

といえるかを有意水準 5%（$\alpha=0.05$）で検定する。

=== ① 仮説の設定 ===
検証したいのは、母平均 $\mu>56$ といえるかである。
そこで、次の仮説を設定する。

  * 帰無仮説 $H_{0}:\mu=56$
  * 対立仮説 $H_{1}:\mu>56$

これは右片側検定である。

=== ② 検定統計量と標本分布の決定 ===

母分散 $\sigma^{2}$ が未知なので検定統計量は次を使う。
\[
Z=(\bar{X}-56)\frac{\sqrt{n}}{s}
\]

$n=500$ と大きいので $Z$ は近似的に $\mathrm{N}(0,1)$ に従う。

=== ③ 有意水準と棄却域の決定 ===

有意水準 $\alpha=0.05$ の右片側検定なので、$Z_{\alpha}=Z_{0.05}$ を求める。

LibreOffice Calc の空いているセルに「''%%=NORM.INV(1-0.05,0,1)%%''」と入力すると、$Z_{0.05}\simeq 1.64$ であることが分かる。

したがって、右片側検定の棄却域 $R$ は次のようになる。
\[
R=\{Z;Z>1.64\}
\]

=== ④ 検定の実施 ===
標本から $n=500$, $\bar{X}=56.66$, $s=9.50$ なので、②の $Z$ の式に代入して計算する。
\[
Z=(56.66-56)\times\frac{\sqrt{500}}{9.50}\simeq 1.55
\]

LibreOffice Calc では空いているセルに「''%%=(56.66-56)*SQRT(500)/9.50%%''」で計算できる。
SQRT 関数は平方根（ルート）を計算する関数である。

$Z\simeq 1.55$ は③で求めた棄却域 $R=\{Z;Z>1.64\}$ に入らない（$1.55< 1.64$ なので）。
したがって帰無仮説は棄却されないので、対立仮説は採択されない。
つまり、有意水準 5% で「体重の母平均 $\mu$ は 56kg より大きい」と言えない。

標本平均 $\bar{X}=56.66$ は明らかに 56kg より大きいのにもかかわらず、体重の母平均は 56kg より大きいとは簡単に言えないことに注意してほしい。

----
==== p 値の計算 ====
p 値を求めるには Z.TEST 関数を使う。

LibreOffice Calc の空いているセルに「''%%=Z.TEST(E2:E501,56)%%''」と入力すると、$p\simeq 0.0596$ が得られる。

\[
0.05<0.0596<0.1
\]

これより、帰無仮説は有意水準 5%（$\alpha=0.05$）なら棄却されないが、10%（$\alpha=0.1$）なら棄却されることが分かる。

つまり、有意水準 10% なら「体重の母平均 $\mu$ は 56kg より大きい」といえる。


===== 課題 =====
[[dataset#データセット1]] において、500人の身長のデータを母集団とみなす。
この母集団から 50人の標本を無作為抽出して、その標本平均から
> 「身長の母平均 $\mu$ は 160cm ではない」（$\mu\neq 160$）
といえるかを仮説検定するために、p 値を求めなさい。
これは両側検定になる。

50 人の標本抽出（復元抽出）は以下のようにして行う。

  - [[dataset#データセット1]] のシートを開く。
  - セル G1 に「標本番号」、H1に「身長[cm]」と入力する。
  - セル G2 に「''=RANDBETWEEN(1,500)''」と入力する。
  - セル H2 に「''=VLOOKUP(G2,A$2:E$501,4,0)''」と入力する。
  - セル G2 を G3 から G51 までコピー&ペーストする。
  - セル H2 を H3 から H51 までコピー&ペーストする。

これで列 H に50人の身長のデータが標本抽出される。

標本の p 値は空いているセルに計算するが、p 値と分かるようにしておく。

作成したファイルは ODF 表計算ドキュメント（拡張子 .ods）で提出すること。