為什麼叫虛無假設

統計課上，老師會告訴你：虛無假設就是那個「準備被拒絕的假設」。這句話沒有錯，我也一直是這樣背的。

但是沒有人告訴我，那個東西為什麼要叫 null。

照字面把 null 讀成「空的、什麼都沒有」，整套邏輯就會歪掉：你會覺得檢定是在證明「什麼都沒發生」，會覺得 $p > 0.05$ 等於「證明了沒有效果」，會覺得虛無假設是一個關於世界的主張。這三件事都是錯的，而且錯得很常見。

Fisher 自己的句子是這樣的：虛無假設從不被證明或建立，但可能在實驗過程中被否證。每一個實驗的存在，都只是為了給事實一次推翻虛無假設的機會。重點在最後半句。虛無假設是被設計來承受攻擊的那個假設，它的功能是「可以被推翻」——null 在這裡的意思接近「待作廢的、可被作廢的」（nullifiable），而不是「空無一物」。

老實說，這個詞的來歷沒有一份權威的字源紀錄。牛津英語辭典的 null hypothesis 條目把首見書證定在 1935 年，指的就是 Fisher 這本書；至於他當初為什麼挑這個字，我沒有找到他本人的說明。我們能確定的，是他怎麼用它。

而中文把它譯成「虛無」，等於把重音壓在「空」上面，正好壓錯地方。

更麻煩的還在後頭：今天課本教的那套「虛無假設檢定」，其實是把兩套彼此不相容的邏輯焊在一起的產物，而焊點正好落在這個詞上。這篇文章要做的，就是把焊點拆開。

一位女士，八杯茶

1920 年代的英國 Rothamsted 實驗站，下午茶時間。藻類學家 Muriel Bristol 說，她喝得出一杯奶茶是先倒茶還是先倒奶。Fisher 沒跟她爭味覺生理學，他設計了一個實驗：八杯茶，四杯先倒奶、四杯先倒茶，隨機排列，請她挑出先倒奶的那四杯。

先把虛無假設寫出來，因為整個實驗都靠它站著：

虛無假設：她根本喝不出差別。 她挑的那四杯，跟哪四杯真的先倒奶，沒有任何關係；她做的事情等於閉著眼睛從八杯裡隨便挑四杯。

注意它的講法。它沒有說「她一定喝不出來」，它是一個被架在那裡等著被推翻的假設。實驗要做的，就是給資料一次機會把它打掉。

這個假設一寫下來，事情就可以事先算清楚：假如她真的在瞎猜，會發生什麼？八選四，七十種挑法，每種機會均等。全中的挑法只有一種。所以一個完全喝不出來的人，靠運氣全中的機率是 $1/70$，大約 0.014。

這就是虛無假設的功用：它把「她喝不出來」這句模糊的話，變成一個可以整個列舉、可以算出機率的具體世界。 沒有它，「她答對四杯」只是一件事實，你不知道那算厲害還是普通。有了它，你才有東西可以比。

自己挑挑看：

把她瞎猜時所有可能的結果列出來，數其中有幾種跟她表現得一樣好或更好，再除以七十，得到的七十分之一就是最早的 p 值。這種把所有重排一一列舉、再數的做法，後來叫做置換檢定。虛無假設的用處就在這裡：它給你一個可以整個數完的世界，少了它，你只知道她答對四杯，不知道那算不算厲害。

順帶一提，她那天到底答對幾杯，Fisher 從頭到尾沒寫。「她全部答對」的說法，是幾十年後別人的轉述；Fisher 的女兒在傳記裡只說她「答對得夠多，足以證明自己的說法」。如果那意思是八杯裡答對六杯，那麼 $p = 0.243$，照今天的標準一點也不顯著。這門學問最有名的實驗，結果本身沒有紀錄。

p 值長什麼樣子

品茶實驗小到可以把七十種可能全部數完。真實研究通常做不到，得靠抽樣分佈。問的問題還是同一個：虛無如果為真，看到這麼極端的資料，有多常見？

順著這句話推下去，會得到一個很多人沒想過的結論：虛無為真時，p 值是均勻分佈的。$p < 0.05$ 的機率剛好 0.05，$p < 0.01$ 的機率剛好 0.01。在一個什麼都沒發生的世界裡，每二十次研究就會冒出一次「顯著」。

把效果調成零，重跑兩千次：

滑桿上那個 delta，是兩組真實平均數的差距，用標準差當尺。這個尺很重要：說「兩班平均差 2 分」沒有意義，得看分數散得多開——如果標準差是 10 分，那 2 分只是 0.2 個標準差，兩班的成績分佈幾乎完全重疊。delta = 0 就是兩組真的一模一樣，你看到的任何差異都只是抽樣的隨機起伏。

把滑桿往右推，分佈開始往左邊堆。堆得多快，就是檢定力：真的有效果時，你抓得到它的機率。同一張圖，同一個機制，只是虛無不再為真。

Neyman 與 Pearson 把它改成一個決定

1933 年，Neyman 與 Pearson 提出一套看起來很像、骨子裡完全不同的做法。他們關心的是：如果非得在兩個假設之間選一個，什麼樣的規則能讓你長期犯錯最少？他們直接把檢定稱作一種行為規則。

想像一間工廠在做醫療器材的金屬板。Gigerenzer 用這個場景解釋過他們的邏輯：機器可能故障，抽驗要花錢。誤報一次，代價是白停一次機；漏抓一次，代價是把瑕疵品送進手術室。兩種錯誤的代價不一樣，所以廠長事先把第一類錯誤壓得很低、容忍較高的第二類錯誤，再據此算出每天該抽驗幾片。這裡沒有人在問「這批資料的證據有多強」，只在問「照這條規則做，長期下來我會賠多少」。

於是有了 $H_0$ 與 $H_1$ 成對出現，有了事前固定的 $\alpha$，有了第二類錯誤與檢定力。$\alpha = 0.05$ 講的是規則的性質：虛無為真的那些場合裡，你會有 5% 的機會誤判。跟眼前這一次的信心強弱無關。

門檻要在看到資料之前決定，報告只寫拒絕或不拒絕，p 等於多少不必寫出來；在這套邏輯裡，p 只是拿來跟門檻比大小的中間值，本身不代表證據多強。

Fisher 對此很不滿，兩邊吵了二十年。課本的處理方式是：兩邊都收下。

焊接處

同一組資料，三種讀法：

第三個面板，就是今天絕大多數論文寫的那句話。它同時主張了兩件互斥的事。「p 越小證據越強」來自 Fisher，代價是放棄長期錯誤率的保證。「達到顯著水準、拒絕虛無」來自 Neyman 與 Pearson，代價是事前固定門檻、不准把 p 當證據看。兩邊的代價都不付，兩邊的權威都要。Gigerenzer 稱它為 null ritual：一套沒有作者、沒有人願意替它辯護，卻被整個學科天天執行的儀式。

0.05 這個門檻本身也沒什麼理論地位。Fisher 說二十分之一是個方便的界線，如此而已。方便，而且當年好查表。

焊接處會裂在哪裡

p 值不是「虛無為真的機率」。它是「虛無為真的前提下，看到這種資料的機率」。這兩句話長得很像，條件的方向卻剛好相反。

換個場景就看得很清楚。假設有一種病，一千個人裡有十個人得。檢驗方法不錯：得病的人，十次有八次會驗出陽性；沒病的人，也有 5% 會被誤驗成陽性。現在你驗出陽性。你得病的機率是多少？

不要用公式，就數人頭。一千個人裡：

• 十個人真的有病。其中八個驗出陽性（另外兩個漏掉了）。
• 九百九十個人沒病。其中大約五十個被誤判成陽性。

所以陽性的總共有五十八個人，其中真的有病的只有八個。驗出陽性，真的有病的機率是 8/58，大約 14%。 不是 80%，也不是 95%。（這個數字有名字：陽性預測值。）

差別在哪裡？「得病的人有八成會驗出陽性」講的是從病往檢驗看；「驗出陽性的人有多少真的有病」講的是從檢驗往病看。方向反過來，答案就從 80% 掉到 14%。中間差的那個東西，叫做事前機率：這個病本來有多罕見。檢驗方法本身完全不知道這件事。

p 值就是那個「檢驗」。$p < 0.05$ 告訴你的是「假如虛無為真，看到這種資料有多罕見」，方向是從虛無往資料看。而你真正想問的是反過來的：「看到這種資料，虛無為假的機率有多大？」要回答它，你得先知道一件 p 值裡沒有的資訊：這個領域裡，本來有多少假說是真的。那就是研究版本的「事前機率」。

自己轉轉看。事前勝算 1:10 的意思是，這個領域裡每十一個被拿去檢定的假說，大概只有一個是真的（探索性研究、篩選實驗，大致就是這個光景）：

把檢定力調低一點，你會看到更難堪的畫面：在一個大多數假說都是錯的領域裡，如果檢定力又低，「顯著」的結果會有一大半是假的。 而每一個檢定都做得正確無誤，沒有人犯規。Ioannidis 在 2005 年就是這樣算出「多數已發表的研究發現是假的」。他沒有指控任何人造假，只是把上面那個數人頭的算術套到整個科學文獻上。

p 小也不代表效果大。1988 年那個著名的阿斯匹靈試驗就是現成的例子：22,071 位醫師，服藥組 104 人心肌梗塞，安慰劑組 189 人，$p < 0.00001$。p 小到不能再小。而效果量換算成相關係數只有 0.03 左右。同一批數字算出來的兩個量，一個看起來像鐵證，一個小到幾乎看不見。

把效果固定在一個小到不值得談的數字，只把樣本數往上加：

p 值衡量的是資料有多不像虛無。樣本一多，再微小的差距也會變得很不像虛無。$p < 0.001$ 有時候只是在說「我們收了很多資料」。

還有一件事：多看幾眼，總會看到東西，這是多重比較的老問題。二十個結果變數，真實效果全都是零，每個都用 0.05 檢定一次。至少一個「顯著」的機率是 $1 - 0.95^{20} \approx 0.64$。

Simmons、Nelson 與 Simonsohn 在 2011 年直接把這件事做給大家看。他們讓受試者聽披頭四的〈When I'm Sixty-Four〉或一首對照曲，然後問出生年月日，結論是聽了那首歌的人「年輕了一歲半」（20.1 歲對 21.5 歲，$F(1,17) = 4.92$，$p = .040$）。聽歌當然不會讓人變年輕。他們是刻意示範：只要在收多少樣本、放哪些共變量、報告哪些變數上留一點沒說出口的彈性，任何東西都能做到顯著；他們算出這種彈性可以把偽陽性率推到六成。（這個例子連他們自己後來都說不穩健：拿掉一個共變量，$p$ 就掉到 .33。這正好是重點。）

沒有人造假。每個檢定都合乎規範。壞掉的是「先看資料，再決定報告哪一個」，也就是 p-hacking。這麼一做，那個 5% 的保證就消失了，而報告裡不會留下任何痕跡。

十年後帳單來了。2015 年，270 位研究者重做了 100 個心理學實驗：原研究有 97% 是顯著的，重做之後只剩 36%。這就是後來被叫做複製危機的那件事。

這樣說對，那樣說錯

同一個 p 值，有幾句值得記住的精確說法，也有幾乎人人踩過的誤讀。Greenland 等人在 2016 年把誤讀列了二十五條；下面一邊收精確的說法，一邊列最常撞見的誤讀，每條誤讀都配一句該怎麼改。

那該怎麼辦

2016 年，美國統計學會做了一件它歷史上沒做過的事：替一個統計方法發表正式聲明。那份 p 值聲明列了六條原則，最直白的一條是：科學結論與政策決定，不該只看 p 值有沒有越過某個門檻。

聲明沒有提供替代品，因為問題不在工具。p 值回答的是一個定義清楚的問題，Fisher 的用法與 Neyman-Pearson 的用法各自成立。壞掉的是那個焊接處，它讓人以為做完檢定就等於做完推論。

實務上該做的事很具體。報告效果量與信賴區間，讓讀者看得到「多大」，而不只是「有沒有」；阿斯匹靈那個例子裡，真正該被討論的是 0.03，不是那串零。事前註冊分析計畫，讓那個 5% 的保證真的成立。不顯著的結果也發表出來，否則文獻裡剩下的全是過了門檻的那 5%。虛無真的成立時，用等價檢定正面說出「差距小到不重要」，別再含糊地講「沒有顯著差異」。

null 講的是可推翻性：實驗設下、等著被資料反駁的那個假設，推論從它開始。把「不拒絕虛無」宣布成「證明了沒有效果」，就是把這個詞用反了，而「虛無」兩個字容易把人往那個方向帶。

時間軸

資料來源

1. 1.Ronald A. Fisher（1935）。The Design of Experiments，Edinburgh: Oliver and Boyd (1st ed.)。Ch. II, §5 'The Statement of Experiment', p.13（茶品實驗設定：8 杯，4 杯先加奶）；§8 'The Null Hypothesis'，p.18（1935 初版；部分刷次標為 p.19）。原文 ↑1↑2
2. 2.Gerd Gigerenzer, Stefan Krauss, and Oliver Vitouch（2004）。The Null Ritual: What You Always Wanted to Know About Significance Testing but Were Afraid to Ask，In D. Kaplan (Ed.), The Sage Handbook of Quantitative Methodology for the Social Sciences, pp.391–408. Thousand Oaks, CA: Sage。p.392（Gigerenzer 等對 Fisher 命名「null」原意的詮釋性重述，非辭典級語源條目）。原文
3. 3.John T. E. Richardson（2021）。A Closer Look at the Lady Tasting Tea，Significance, vol. 18, no. 5, pp.34–37。全文——重新檢視 Fisher《The Design of Experiments》對茶品實驗的原始記載，比對 Joan Fisher Box（1978，Fisher 之女所寫傳記）與 David Salsburg（1968，轉引 Hugh Fairfield-Smith 數十年後的回憶）兩種不同的事後轉述。原文
4. 4.Jerzy Neyman and Egon S. Pearson（1933）。On the Problem of the Most Efficient Tests of Statistical Hypotheses，Philosophical Transactions of the Royal Society of London, Series A, vol. 231, pp.289–337。p.291（「rule of behaviour」段落，決策式邏輯的原始表述）；pp.296–297（H0 記號、「errors of the first kind」與第二類錯誤用語首次系統性提出之處）。「power」一詞本身在這篇論文中尚未以此固定術語出現。原文
5. 5.Gerd Gigerenzer（2004）。Mindless Statistics，The Journal of Socio-Economics, vol. 33, no. 5, pp.587–606。p.591–592：以金屬板製造商的品管情境為例，逐步示範 Neyman–Pearson 決策邏輯（設定第一類、第二類錯誤率、依成本效益抓樣本數，「接受」不等於「相信」）如何脫胎於工業品管的驗收邏輯。原文
6. 6.Gerd Gigerenzer, Stefan Krauss, and Oliver Vitouch（2004）。The Null Ritual: What You Always Wanted to Know About Significance Testing but Were Afraid to Ask，In D. Kaplan (Ed.), The Sage Handbook of Quantitative Methodology for the Social Sciences, pp.391–408. Thousand Oaks, CA: Sage。p.392（「虛無儀式」三步驟定義；六題是非題示範 p 值的六種常見誤讀，全部為 False）原文
7. 7.Ronald A. Fisher（1925）。Statistical Methods for Research Workers，Edinburgh: Oliver and Boyd。13th ed.（1958 印次系列），p.44（部分版本標為 p.47，因版本／刷次不同）。原文
8. 8.John P. A. Ioannidis（2005）。Why Most Published Research Findings Are False，PLoS Medicine, vol. 2, no. 8, e124。全文——以陽性預測值（PPV）模型說明：在事前機率低、樣本小、分析彈性大的研究領域，多數「達統計顯著」的發表結果其實是偽陽性。原文
9. 9.Steering Committee of the Physicians' Health Study Research Group（1988）。Preliminary Report: Findings from the Aspirin Component of the Ongoing Physicians' Health Study，New England Journal of Medicine, vol. 318, no. 4, pp.262–264。22,071 名男性醫師隨機分派服用阿斯匹靈（11,037 人）或安慰劑（11,034 人）；追蹤期間阿斯匹靈組 104 人、安慰劑組 189 人發生心肌梗塞，相對風險約 0.56（降低 44%），因效果極端顯著而提前終止試驗。原文
10. 10.Robert Rosenthal（1990）。How Are We Doing in Soft Psychology?，American Psychologist, vol. 45, no. 6, pp.775–777。以二元效果量顯示法（Binomial Effect Size Display, BESD）重新詮釋阿斯匹靈與心肌梗塞試驗的效果量：相關係數 r 僅約 .03，量級很小，但換算成「每若干人中避免幾次心肌梗塞」的實際人數後，效果並不能說是無足輕重。原文
11. 11.Joseph P. Simmons, Leif D. Nelson, and Uri Simonsohn（2011）。False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant，Psychological Science, vol. 22, no. 11, pp.1359–1366。Study 2：20 名賓州大學大學生分兩組聆聽披頭四〈When I'm Sixty-Four〉或對照曲〈Kalimba〉，再回報出生年月與父親年齡；聽披頭四組經統計校正後平均年齡 20.1 歲，對照組 21.5 歲，F(1,17)=4.92，p=.040。文中另以模擬顯示：容許研究者在資料蒐集與分析上有彈性，可把單一比較的名目 5% 偽陽性率推高到 60.7%。原文
12. 12.Open Science Collaboration（2015）。Estimating the Reproducibility of Psychological Science，Science, vol. 349, no. 6251, article aac4716。重做 100 篇心理學實證研究（原刊於三份心理學期刊）：原研究中 97% 曾報告達統計顯著（p<.05）；重做後僅 36% 的研究再度達到統計顯著，重做效果量平均只有原研究的一半左右。原文
13. 13.Sander Greenland, Stephen J. Senn, Kenneth J. Rothman, John B. Carlin, Charles Poole, Steven N. Goodman, and Douglas G. Altman（2016）。Statistical Tests, P Values, Confidence Intervals, and Power: A Guide to Misinterpretations，European Journal of Epidemiology, vol. 31, no. 4, pp.337–350。§2「常見誤讀清單」，列舉 25 條——正文標題即為 "Twenty-five misinterpretations" 對應段落原文
14. 14.Ronald L. Wasserstein and Nicole A. Lazar（2016）。The ASA Statement on p-Values: Context, Process, and Purpose，The American Statistician, vol. 70, no. 2, pp.129–133。六條原則列表，正文 p.131（"Principle 1" 起）原文