紅茶の違いのわかる婦人

統計学における実験計画法において、紅茶の違いのわかる婦人（こうちゃのちがいがわかるふじん、）は、ロナルド・フィッシャーによって考案され、彼の著書『』（1935年）の中で報告されたである。本実験は帰無仮説（「実験の過程で、証明あるいは実証されることが決してないが、反証される可能性がある」仮説）の概念をフィッシャーが初めて説明したものである。
問題になっている婦人（）は、を飲んでみて見分けることが出来る、と主張したとされる。フィッシャーは彼女に、半数は紅茶を先、半数はミルクを先に入れて、ランダムに並べた8杯のミルクティーを与えることを提案した。すると、彼女が偶然のみによって特定の正答数を得る確率が何であるかを問うことができた。
フィッシャーの解説は長さは10ページ未満であり、用語、計算、および実験計画に関するその簡潔さと完全性で注目に値する。この例はフィッシャーの人生で起きたある出来事を大まかに基にしている。使われた検定はフィッシャーの正確確率検定であった。
実験.
本実験は被験者にランダムに並べられた8杯の紅茶（4杯はミルクを注いた後に紅茶を注ぎ、4杯は紅茶を注いだ後にミルクを注ぐ）を与える。被験者はどちらか一方の方法で入れられた4つの杯を選ぶことを務め、好きなだけ直接それぞれのカップを比較してもよい。実験で用いられた手法は被験者に対して完全に開示されている。
帰無仮説は、被験者が紅茶を区別する能力を持たない、というものである。ネイマン・ピアソンのアプローチと異なり、フィッシャーのアプローチでは、対立仮説は存在しなかった。
検定統計量は、任意の方法によって入れられた4つのカップの選択に成功した数の単純な総数である。帰無仮説が真であると仮定した時の、可能性のある成功数の分布は、組合せの数を使って計算することができる。組合せの式を使うと、
個の可能な組合せが存在する。
この表の1列目で与えられているあり得る成功数の頻度は以下のように導かれる。成功数0は、明らかに1組の選択肢しか存在しない（すなわち、4つ全て間違ったカップを選択する）。成功1、失敗3では、正しい4つのカップから1つを選択するやり方は組合せの式からformula_2通りとなる。それとは独立に、誤ったカップから3つを選択するやり方はformula_3通りであり、これらを掛け合わせると、4×4 = 16通りのカップの選び方が存在することになる。その他のあり得る成功数の頻度も同様に計算される。したがって、成功数は超幾何分布にしたがって分布する。具体的には、成功数と等しい確率変数formula_4 について、formula_5と書くことができる。この式において、formula_6は母集団のサイズ（紅茶のカップの総数）、formula_7は母集団中の成功状態の数（どちらかの種類の4つのカップ）、formula_8は取り出す数（カップ4つ）である。"2"個の利用可能な選択肢から"k"個を選択する組合せの分布はパスカルの三角形の"k"段目中の整数をそれぞれ二乗したものに対応する。この場合、8つの利用可能なティーカップから4つのティーカップが選択されるためformula_9である。
2種類の入れ方をした紅茶を区別する能力がないという帰無仮説を棄却するための棄却域は、伝統的な確率基準である < 5%に基づくと、4つのカップとも正しい選択を行った単一の場合となる。これば、帰無仮説の下で、4つ正解する確率が70分の1（≈ 1.4% < 5%）であるのに対して、4つの中で少なくとも3つ正解する確率が (16+1)/70 (≈ 24.3% > 5%) となるためである。
したがって、婦人が8つ全てのカップを正しく分類した時かつその時に限りフィッシャーは帰無仮説を棄却しても構わない（1.4%の有意水準で婦人の能力を有効に認めることができる）。フィッシャーは後に、より多くの試行と繰り返し試験の利点について議論した。