α, βを以下のようにおく
このとき,1-β (帰無仮説が正しくない時にそれを正しく棄却できる確率)を一般に**検定力(statistical power)**とよぶ。 二群間の差を効果量(Cohen’s d)で表すとき,dの真値が0でない場合に,それを正しく棄却できる確率を表す。 ただし,検定力は帰無仮説に基づく検定手法の有効性を示す指標であり,効果量と信頼区間に基づいて二群の比較を行うための指標では(本来は)無い。 しかし,一般に検定力が高ければ効果量の見積もり精度も高くなるので,後者の場合においても検定力に基づいて実験計画を立てることは妥当であることも示されている (Nakagawa and Cuthill, 2007)。 一方で,Cumming (2014)は,効果量に注目する場合の検定力に相当する量として(学習精度, precision for learning)を用いるべきと説明し,その例を紹介している。
α, 1-β, d, n (サンプル数)の間の関係式を導けるので,平均値 d の差を α, 1-β の目標値で検出するために必要なサンプル数nの計算を行うことができる。
効果量 d=0.8 を検出するのに必要なサンプル数を計算
> library (pwr)
> pwr.t.test(d=0.8,power=0.8,sig.level=0.05)