p値は使わない

ASAの所見

ASA(アメリカ統計学会)は2016年にp値についてのASAの所見を発表。 冒頭に,2014年2月にG. CobbがASAのフォーラムに投稿した内容として以下を紹介。

Q: Why do so many people still use p = 0.05? (どうしてみんな,未だにp=0.05を使うの?)

A: Because that’s what they were taught in college or grad school. (だってみんなそう習ったからね)

このASAの所見には,p値の使用上の注意を説明した上で,他の統計値や統計手法も利用して効果の大きさや仮説の妥当性の検討を行なうべきと説明。

出典

p値のダンス

2つの母集団からランダムに20個くらいのサンプルをとって検定を行うと,p値は試行ごとに大きく変わりうる。Cumming (2014)はこれを"p値のダンス"と呼んで紹介し,効果量とその有効区間に基づく方法を使うべきと説明している。 また,p値による議論だと有意差の有無が議論の焦点になってしまい,結局のところ比較している群間にどの程度の差があるのか,その値の信頼性はどうなのかといった議論がなくなってしまう。例えば二群の平均値にはほんのわずかの差しかなくても,サンプル数が多いと優位と判定され,優位差があることばかり過度に強調される場合がある(参考資料の効果量,Cohen’s d,検出力,検出限界にわかりやすい例がある)。

参考資料