在機率論中，霍夫丁不等式適用於有界的隨機變數，提供了有界獨立隨機變數之和偏離其期望值超過一定數量的機率的上限，即 max mathbb Poverline X mathbb Eoverline X geq t 。霍夫丁不等式在 1963 年由瓦西里霍夫丁（Wassily Hoeffding）證明。 Hoeffding 不等式是吾妻不等式和 McDiarmid 不等式的一個特例。它類似於切爾諾夫界，但往往不那麼尖銳，特別是當隨機變數的方差很小時。 它與伯恩斯坦不等式相似，但無法與之相比。 闡述 設有兩兩獨立的一系列隨機變數 X_1 dots X_n 。假設對所有的 1 leq i leq n，X_i 變數幾乎必然滿足 a_ileqslant X_i leqslant b_i 即 mathbb PX_i in a_i b_i approx 1 考慮這些隨機變數的總和，S_n sum_i1n X_i X_1 X_2 X_3 cdots X_n1 X_n 然後霍夫丁不等式指出，對於所有 t0 有： mathbb PS_n mathbb ES_ngeqslant t leqslant expleft frac 2t2textstyle sum_i1n b_ia_i2displaystyle right mathbb PS_n mathbb ES_ngeqslant t leqslant 2 expleft frac 2t2textstyle sum_i1n b_ia_i2displaystyle right 這裡 mathbb ES_n 是 S_n 的期望。 值得注意的是，若 X_i 為抽樣獲得，該不等式仍成立；但在這種情況下，隨機變數不再是獨立的。這一說法的證據可以在 Hoeffding 的論文中找到。對於抽樣的稍微更好的上界，可參見 Serfling（1974）的論文。 另一種形式 設有兩兩獨立的一系列隨機變數 X_1 dots X_n 。那麼這 n 個隨機變數的經驗期望： overline X frac X_1 cdots X_nn 滿足以下的不等式 Wassily Hoeffding Probability inequalities for sums of bounded random variables Journal of the American Statistical Association 58 301 1330 March 1963 JSTOR ： mathbb Poverline X mathbb Eoverline X geq t leq exp left frac 2t2n2sum_i1n b_i a_i2 right mathbb Poverline X mathbb Eoverline X geq t leq 2exp left frac 2t2n2sum_i1n b_i a_i2 right 特別地 假定對於所有的 i 都有 a_i 0 b_i 1 。當 X_i 是獨立的伯努利隨機變數時，儘管它們不必服從相同分佈，我們可以得到如下更為簡潔的不等式： mathbb PS_n mathbb ES_n geqslant t leqslant exp frac 2t2n 上式對於所有的 t geqslant 0 成立。這樣我們就得到了增強版的切爾諾夫界。它更為通用，因為它允許取值介於 0 和 1 之間的隨機變數，但效果較差，因為當隨機變數方差較小時，切爾諾夫界給出了更好的尾邊界。 亞高斯隨機變數的一般情況 霍夫丁不等式的證明可以推廣到任何次高斯分佈。 回想一下，隨機變數 X 服從亞高斯分佈，是否存在 c 0 使得，mathbb Pleftvert X rightvert geqslant t leqslant 2ect2 成立。 對於任意有界變數 X t T （ T 足夠大），有 mathbb PX geqslant t 0 leqslant 2ect2 。對於任意的 t leqslant T 有 2ecT2 leqslant 2ect2 ，取 c frac ln 2T2 則有 mathbb PX geqslant t leqslant 1 leqslant 2ecT2 leqslant 2ect2 所以每個有界變數都是亞高斯變數。 對於隨機變數 X ，下式範數是有限的，當且僅當 X 是亞高斯： lVert X rVert_psi_2 overset underset mathrm definfc geq 0 mathbb Eefrac X2c2 然後設 X_1cdotsX_n 為零均值獨立亞高斯隨機變數，霍夫丁不等式的一般版本指出： mathbb Psum_i1n X_i geqslant t leqslant 2 exp frac ct2textstyle sum_i1n displaystylelVert X_i rVert 2_psi_2 其中 c 0 且為絕對常數。 證明 霍夫丁界的證明與切爾諾夫界等集中不等式類似。主要區別在於使用霍夫丁引理： 假設 X 是一個真正的隨機變數，那麼幾乎必然 X in left abright 。然後 mathbb E left esleft X mathbb E left X rightright right leqslant expleft tfrac 18 s2 ba2right 使用這個引理，我們可以證明霍夫丁不等式。如定理陳述，假設 X_1cdotsX_n 為 n 個獨立隨機變數，X_i in left a_ib_i right st i in N_ 幾乎必然 。設 S_n X_1 cdots X_n 那麼對於 s 0 且 t0 聯立馬爾可夫不等式和 X_i 的獨立性可得： begin align operatorname Pleft S_nmathrm Eleft S_n rightgeq t right operatorname P left exp s S_nmathrm Eleft S_n right geq exp st right leq exp stmathrm E left exp s S_nmathrm Eleft S_n right right exp st prod_i1nmathrm E left exp s X_imathrm Eleft X_iright right leq exp st prod_i1n expBig frac s2 b_ia_i28Big expleft sttfrac 18 s2 sum_i1n b_ia_i2right end align 此上界對於 s 的值是最佳的，最小值在指數 O en 範圍內。這可以透過最佳化二次曲線輕鬆完成，給出 sfrac 4tsum_i1n b_ia_i2 為這個值 s 編寫上面的界限，我們得到所需的界限：operatorname P left S_nmathrm Eleft S_n rightgeq t rightleq expleft frac 2t2sum_i1n b_ia_i2right 用法 霍夫丁不等式可用於推導置信區間。我們考慮一枚硬幣，它以機率 p 顯示正面，以機率 1p 顯示反面。我們拋硬幣 n 次，生成 n 個樣本 X_1 cdots X_n （即獨立同分布伯努利隨機變數）。硬幣正面朝上的預期次數是 pcdot n 。此外，硬幣正面至少出現 k 次的機率可以透過以下表達式精確量化： operatorname mathbb PH n geqslant k sum_ikn binom ni pi 1pni 其中 H n 是 n 次拋硬幣的正面數量。當 kpvarepsilon n 表示某個 varepsilon 0 時，霍夫丁不等式將這個機率限制為一個在 varepsilon2n 中呈指數小的項： operatorname mathbb PH n pn varepsilon nleqslant expleft 2varepsilon2 nright 由於這個界限在均值的兩側都成立，霍夫丁不等式意味著我們看到的頭部數量集中在其均值周圍，尾部呈指數級小。 operatorname mathbb P H n pn varepsilon nleqslant 2expleft 2varepsilon2 nright overline X frac 1n H n 作為 觀察到的 平均值，該機率可以解釋為一個置信區間的顯著性水平 alpha （出錯的機率），這個置信區間是中心為 p 的 varepsilon 鄰域： alphaoperatorname mathbb P overline X notin pvarepsilon pvarepsilon leqslant 2e2varepsilon2n 解出 n ngeqslant frac log frac 2alpha 2varepsilon2 因此，我們至少需要 frac log frac 2alpha 2varepsilon2 份樣本才能獲得 1 α 置信區間 textstyle p pm varepsilon 。因此，獲取置信區間的成本在置信水平方面是次線性的，在精度方面是二次的。請注意，有更有效的方法來估計置信區間。 參見 集中不等式 霍夫丁引理 伯恩斯坦不等式 參考文獻 Category 機率不等式