在最最佳化理論中的對偶（duality）或對偶性原則（duality principle）是指最佳化問題可以用兩種觀點來看待的理論，兩種觀點分別是「原始問題」（primal problem）及「對偶問題」（dual problem）。對偶問題的解提供了原始問題（假設是最小化問題）的下限，不過一般而言，原始問題和對偶問題的最佳解不相同。兩個最佳解的差距為對偶間隙。若是凸最佳化問題，對偶間隙也稱為是卡魯什 庫恩 塔克條件。 對偶問題 一般而言「對偶問題」是指「拉格朗日對偶問題」（Lagrangian dual problem），不過也有其他的對偶問題，例如和。拉格朗日對偶問題是指在最小化問題上加上拉格朗日乘數，也就是在目標函式上加上對應限制條件的非負拉格朗日乘數，再求解可將原目標函式最小的原始變數值。此解會得到以拉格朗日乘數的函式表示的原始變數，稱為是「對偶變數」（dual variables），因此，新的問題就是要衍生對偶變數的限制下（包括非負的限制條件），找到可以使目標函式最大化的對偶變數。 一般而言，給定二個的分隔 left XXright 及 left YYright，以及函式 f X to mathbb R cup infty，可以定義原始問題為找到 hat x 使得 f hat x inf_x in X f x 換句話說，若 hat x 存在，f hat x 是函式 f 的最小極值（minimum），也可以得到函式的最大下界（infimum）。 若有限制條件，可以整合到函式 f 中，方式是令 f f I_text constraints，其中 I_mathrm constraints 是在 X 上的適當函式，在限制條件上有最小值 0，可以證明 inf_x in X tilde fx inf_x mathrm constrained f x。後者的條件很明顯，但不一定很方便可以符合示性函式（也就是說，滿足限制條件的 x ，I_mathrm constraintsx 0 ，在其他情形，I_mathrm constraintsx infty ）。因此可以將 tilde f 延伸為 F X times Y to mathbb R cup infty 使得 F x0 tilde fx。 對偶間隙就是不等式 sup_y in Y F0y le inf_x in X F x0 左側和右側的差。 其中 F 是二個變數的凸共軛，而 sup 是上確界 線性規劃 線性規劃問題是指損失函式和約束都是線性關係的最最佳化問題。原始問題中，目標函式是 n 個變數的線性組合，問題有 m 個約束，每一個都有上限，上限由 n 個變數的線性組合表示。其目的是要在滿足限制條件的情形下，最大化目標函式的值。其解是由 n 個值表示的向量，可以讓目標函式有最大值。 在對偶問題中，目標函式是 m 個值的線性組合，這些是原始問題中 m 個限制條件的上下限。有 n 個對偶限制條件，每一個的下限都是由 m 個對偶變數的線性組合所表示。 原始問題和對偶問題的關係 針對線性的最佳化問題，在原始問題中每一個符合限制條件的次佳點，都有一個方向（或方向的子空間），可以往目標函式增加的方向移動。若往這類的方向移動，稱為除去和一個或多個限制之間的鬆弛量（slack）。候選解中不可行的值即為超過一個或多個限制的值。 在對偶問題中，會將對偶向量和限制條件相乘，這些限制條件會決定原始問題中限制條件的位置。在對偶問題中變動對偶向量類似在原始問題中調整上限。要找到最小的上限。也就是說，要將對偶向量最小化，以移除限制的候選位置和實際最佳解之間的鬆弛量（slack）。對偶向量中的不可行值是指哪些太低的值。這會讓候選解的一個或多個限制條件落在排除實際最佳解的位置。 在線性規劃中探討對偶性的方程式中，會對上述直覺有型式化的敘述。 非線性規劃 非線性規劃中的限制條件不一定是線性的，不過許多線性規劃的原則還是適用。 為了確保可以簡單的識別非線性規劃中的全域最大值，問題一般會要求函式要是凸函式，而且有緊緻的 lower level sets。 由此可以看出卡魯什 庫恩 塔克條件的重要性。卡魯什 庫恩 塔克條件可以提供非線性規劃問題中識別區域性最佳值的必要條件。也有一些額外的必要條件（約束規範，constraint qualifications）可以用來判斷可能有「最佳解」（是區域性最佳解，但不一定是全域最佳解）的方式。 強拉格朗日原則：拉格朗日對偶 考慮以下形式的非線性規劃： begin align text minimize f_0 x text subject to f_i x leq 0 i in left 1ldotsm right h_i x 0 i in left 1ldotsp right end align 其定義域 mathcal D subset mathbb Rn 有非空的內部。其拉格朗日函式 Lambda mathbb Rn times mathbb Rm times mathbb Rp to mathbb R 定義為 Lambda xlambdanu f_0 x sum_i1m lambda_i f_i x sum_i1p nu_i h_i x 向量 lambda 和 nu 是有關此問題的「對偶變數」（dual variables）或拉格朗日乘數向量（Lagrange multiplier vectors）。拉格朗日對偶函式（Lagrange dual function）gmathbb Rm times mathbb Rp to mathbb R 定義如下 g lambdanu inf_xinmathcal D Lambda xlambdanu inf_xinmathcal D left f_0 x sum_i1m lambda_i f_i x sum_i1p nu_i h_i x right 對偶函式 g 是凹函式，就算初始問題不是凸也會如此，因為是仿射函式的點狀最大下界。對偶函式提供初始問題最佳值 p 的下界：針對任意 lambda geq 0 及任意 nu，可以得到 g lambdanu leq p 。 若滿足約束規範（例如），且原問題是凸，則可以得到 d max_lambda ge 0 nu g lambdanu inf f_0 p。 凸問題 針對有不等式限制的凸最小化問題 begin align underset xoperatorname minimize f x operatorname subjectto g_i x leq 0 quad i 1ldotsm end align 拉格朗日對偶問題為 begin align underset uoperatorname maximize inf_x left f x sum_j1m u_j g_j xright operatorname subjectto u_i geq 0 quad i 1ldotsm end align 其中目標函式是拉格朗日對偶函式。假設函式 f and g_1 ldots g_m 連續可微，最大下界出現在梯度等於零的位置。問題 begin align underset x uoperatorname maximize f x sum_j1m u_j g_j x operatorname subjectto nabla f x sum_j1m u_j nabla g_j x 0 u_i geq 0 quad i 1ldotsm end align 稱為 Wolfe 對偶問題。此問題用計算的方式處理可能會很困難，因為目標函式在聯合變數 ux 上不是凹。而且，一般而言，等式的限制條件 nabla f x sum_j1m u_j nabla g_j x 也是非線性的，因此 Wolfe 對偶問題一般而言會不會是凸最佳化問題。不論如何，會成立。 歷史 依照喬治伯納德丹齊格所述，在丹齊格提出了線性規劃問題後，約翰馮諾伊曼就提出了線性規劃的對偶性定理的猜想。馮諾伊曼注意到他使用了來自其博弈論中的資訊，並且猜想兩人零和的矩陣博弈和線性規劃等效。嚴謹的證明最早是由阿爾伯特塔克和其團隊發表（丹齊格在 Nering 和塔克 1993 年著作中的前言） 相關條目 凸共軛 對偶 數學 腳註 參考資料 書籍 論文 Duality in Linear Programming Gary D Knott Category 線性規劃 Category 凸最佳化