檢定力

效果真的存在時，這個研究抓得到它的機率。

又稱：statistical power、power、檢定力分析

本頁目次

它在說什麼

檢定力是：如果效果真的存在（而且大小是某個指定的值），這個研究把它抓出來的機率。它同時取決於三件事：效果多大、樣本多大、門檻多嚴。

檢定力是事前規劃的量，不是事後辯護的話術。研究做完才回頭算「觀察到的檢定力」，只是把 p 值換個寫法。

Cohen 在 1962 年把《變態與社會心理學期刊》1960 年整整一卷的 78 篇文章拿出來算：其中 70 篇有主要檢定。要抓一個中等大小的效果，這些研究的平均檢定力是 .48，比丟銅板還低一點。抓小效果只有 .18。

換句話說：即使那些假說全部是對的，也有一半的研究注定做不出顯著結果。這件事 1962 年就算清楚了，六十年後複製危機爆發，它才被重新讀懂。

在一個檢定力普遍偏低的領域裡，能被做出來的顯著結果會系統性地偏向高估效果，因為只有運氣特別好、雜訊剛好幫忙的那些樣本才過得了門檻。同一個機制接到陽性預測值：Ioannidis 2005 的論證，一半的力氣就花在低檢定力上。

1.Jacob Cohen（1962）。The Statistical Power of Abnormal-Social Psychological Research: A Review，Journal of Abnormal and Social Psychology, 65(3), pp.145-153。pp.150-151（表 3 與 Results 節：70 篇有主要檢定的研究，偵測小／中／大效果的平均檢定力為 .18／.48／.83）。母本為 Journal of Abnormal and Social Psychology 1960 年第 61 卷全部 78 篇。原文
2.John P. A. Ioannidis（2005）。Why Most Published Research Findings Are False，PLoS Medicine, vol. 2, no. 8, e124。全文——以陽性預測值（PPV）模型說明：在事前機率低、樣本小、分析彈性大的研究領域，多數「達統計顯著」的發表結果其實是偽陽性。原文