信頼区間・p値・仮説検定

信頼区間は推定の幅を示し、p値は帰無仮説が正しいと仮定したときに、観察された以上の結果が得られる確率。有意水準より小さければ、帰無仮説を棄却する。

仮説検定は、「差がない」という帰無仮説を立て、観察された結果が、帰無仮説の下で、どの程度まれかを、p値で評価する方法です。p値が、あらかじめ定めた有意水準（通常5%）より小さいとき、帰無仮説を棄却し、「差がある（有意差あり）」と判断します。有意水準は、検定の前に決めておきます。p値が大きいときは、帰無仮説を「棄却できない」だけで、「差がない」ことを証明したことにはなりません。

95%信頼区間は、同じ方法で調査を繰り返すと、そのうち約95%の区間が、真の値を含む、という意味の推定の幅です。標本数が大きいほど、区間は狭くなります。オッズ比・相対危険の信頼区間に1が含まれないことは、有意水準5%で有意であることに対応します。

検定の選び方は、データの種類で決めます。カテゴリー×カテゴリー（割合の比較）はχ²検定（期待度数が小さいときはフィッシャーの正確確率検定）、量的データの2群の平均の比較はt検定、正規分布に従わない2群の比較はマン・ホイットニーのU検定、3群以上の平均の比較は分散分析です。国試では、検定の選択と、p値・信頼区間の解釈（「確率が95%」の誤った解釈など）が問われます。