FIT2023（第 22 回情報科学技術フォーラム）CF-006
Mixup はヘッシアン正則化を含むか？
Theoretical Insights into Mixup: Does It Include Hessian Regularization?
杉山 孔亮 *1

内田 真人 *1

Kosuke Sugiyama

Masato Uchida

概要

Mixup は，サンプルを凸結合することで新たなサンプ
ルを生成するデータ拡張手法である．この手法は非常にシンプルでありながら，Deep Neural Network の汎化性能の向上に大きく貢献してきた．Mixup を理解するた
めにさまざまな研究が行われており，Mixup がヤコビア
ン正則化を含んでいることが理論的に示されている．さらに，Mixup と label smoothing の関連性が示唆されている．しかし，重要な点として，これらの研究は Mixupで生成されるサンプルが元のサンプルに近い場合に限定されており，他の場合については未だに解析が行われていない．本論文では，これまで解析されてこなかった
Mixup で生成されるサンプルが元のサンプルから遠い場
合において，Mixup をロジスティック回帰に適用することでヘッシアン正則化の効果が得られることを証明する．
我々の理論的な結果により，Mixup は複数の正則化手法
を組み合わせて近似する手法であるという新たな解釈が
得られる．

1 序論
Mixup とは，サンプルを凸結合することで新たなサン
プルを生成するデータ拡張手法である [1]．この手法は非常にシンプルな方法でありながら，多くの問題においてDeep Neural Network（DNN）の汎化性能の向上に寄与することが確認されている [1]．これは，Mixup により生成されたサンプルが，元のサンプルの特徴を引き継ぎながらも，わずかに異なる特徴を有することが，DNNの学習において有用であるためだと考えられる．Mixup
は，テーブルデータや画像の分類問題に限らず，音声認
識 [2] やドメイン適応 [3]，グラフ分類 [4] など，様々な分野に応用されている．
Mixup が汎化性能の向上に寄与する理由については，
Mixup により生成されたサンプルが元のサンプルの近傍にある場合における解析が行われている．これらの解
析には，一般的に訓練サンプルの周りでのテイラー展開が用いられる．[5] では，テイラー展開を用いることで，Mixup を用いたときの経験損失がヤコビアン正則化を含むことを明らかにしている．さらに，[6] では，ヤコビアン正則化が入力に対する摂動の付与と等価である
ことが示されている．また，サンプルの出力情報である
ラベルに対して一様なノイズを加える label smoothing[7] との関連性もさまざまな研究により示唆されている[8, 9, 10, 11]．実際，Mixup と label smoothing はいず
れも，期待較正誤差（ECE）の改善と予測確率のエント
ロピーの増加という効果を持つことが経験的に示されている [8, 9, 10, 11]．
一方，Mixup によって生成されたサンプルが元のサンプルの近傍にない場合における解析は進んでいない．
この理由の一つに，Mixup を使用することが必ずしも汎化性能の向上につながるとは限らず，一般的な解析*1 早稲田大学

Waseda University, Tokyo, Japan.

を行うのが困難であることがある．例えば，Mixup によって生成されたサンプルが元のサンプルの近傍にない
場合，Mixup で生成されたサンプルのラベルが，元の訓練データのラベルと一致しない場合がある．この現象
は「manifold intrusion」として知られている [12, 13]．
しかし，manifold intrusion が生じない理想的な状況であっても，Mixup が汎化性能の向上に寄与する理由は明らかにされていない．これは，訓練サンプルの周りでのテイラー展開を用いた解析が行えないということが技術的な障壁になっているためである．本論文では，Mixupによって生成されたサンプルが元のサンプルの近傍に無い場合について，manifold intrusion が生じない状況でのロジスティック回帰において，ヘッシアン正則化の効
果があることを明らかにする．
この事実が成り立つことは，Mixup が本来的には訓練
サンプル間での学習モデルの振る舞いを線形化することを意図した手法 [1] として提案されたものであることか
ら類推することができる．すなわち，ある区間において学習モデルの振る舞いが線形であることは，その区間における学習モデルのヘッセ行列のすべての要素が 0 であることと等価であり，この事実が成り立つことは自然である．本論文では，この結果をテイラー展開を用いずに導いた．以上より，先行研究で示された結果に加え，本論文において新たに示された結果を踏まえると，ヤコビ
アン正則化，label smoothing，ヘッシアン正則化という複数の正則化手法をまとめて近似する手法として Mixupを特徴づけることができる．
本論文の構成は以下の通りである．2 節では，Mixupの定義と，既に行われている Mixup に関する理論研究について説明する．3 節では，Mixup がヘッシアン正則化を含むことについて，問題設定と解析結果を説明する．
加えて，解析した学習モデルよりも複雑な学習モデルについても，解析結果と同様の傾向があることを数値実験により確かめる．4 節は，本論文のまとめである．

2 関連研究2.1 Mixup の定式化
D 次元の入力空間を X ⊆ RD ，総ラベル数を L とし，
出力空間を Y = [0, 1]L とする．入力点を x ∈ X ，入力点に対応するラベルを y ∈ Y とする．各サンプル (x, y)は真の分布 P∗ に i.i.d. で従うとする．n 個の訓練デー
タ S = {(x1 , y1 ), . . . , (xn , yn )} が得られているとする．
また，S の経験分布を PbS と書く．学習に用いる損失関数b と書く．ただし，y は真のラベルで，yb は予測を l(y, y)確率とする．損失関数 l を用いた学習モデル f : X → Yの予測損失を Lstd (f ) := E(x,y)∼P∗ [l(y, f (x))] と定義
し，訓練データ S を用いた経験損失を Lstdn (f, S) :=E(x,y)∼PbS [l(y, f (x))] と定義する．ここで，E は添え字に示した確率分布に関する期待値を表す．
Mixup では，ニューラルネットワークの汎化性能を向上させるために，複数のサンプルを凸結合して混合することで新たなサンプルを作成する [1]．典型的には 2113
第 2 分冊Copyright © 2023 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2023（第 22 回情報科学技術フォーラム）つのサンプルを混合する手法が用いられるため，本論文でもこれを前提とする．具体的には，サンプル (x, y),e は(x′ , y ′ ) を混合して作成される新たなサンプル (ex, y)以下のように与えられる．

e := λx + (1 − λ)x′ ,xe := λy + (1 − λ)y ′ ,y(x, y), (x′ , y ′ ) ∼ PbS ,λ ∼ Beta(α, α).

(1)

ここで，λ ∈ [0, 1] はベータ分布 Beta(α, α) により定まる混合パラメータであり，α ∈ R+ はベータ分布を規定するハイパーパラメータである．また，Mixup を用いた学習における経験損失は以下のように定義される：

e f (eLmix(f, S) := Emix [l(y,
x))],
n

(2)

ただし

Emix [·] := E(x,y)∼PbS [E(x′ ,y′ )∼PbS [Eλ∼Beta(α,α) [·]]].
Mixup を提案した Zhang らは，Lmix
を経験損失としてn最適化することは，訓練データ間における学習モデル fの振る舞いを線形化する効果をもたらすとしている [1]．

2.2 Mixup の解析
Mixup によって生成されたサンプルが元のサンプルの近傍にある場合に関しては，様々な研究が行われている [11, 5, 14]．これらの研究では，Lmix
をテイラー展n
開することで，Mixup と正則化との関係について調べている．Carratino らは，損失関数を 2 階微分可能なクラスに限定し，Lmix
を Lstdnn と f の方向微分に依存する項に分解した [11]．Zhang らは，ある関数 h を用いて l(y, f (x)) = h(f (x)) − y ⊤ f (x) のように損失関数が分解できるクラスに限定し，Mixup にヤコビアン正則化が含まれることを示した [5]．さらに，ロジスティッ
ク回帰などの学習アルゴリズムに対して，Mixup により adversarial robustness が改善されることを示した．
Verma らは，クロスエントロピー損失とロジスティック
損失に限定し，Lmix
が J 階微分可能な f の J 次まで
nの方向微分に依存する形で表せることを示した [14]．これらの解析では共通して，混合に使用する x または x′の周りでのテイラー展開が用いられている．このことは
e が x または x′ の近傍
Mixup により作られたサンプル xにあることを暗黙的に仮定していることを意味する．さe は x または x′ に微小な摂動を加えたらにこの場合，x
ものとみなすことができる．このことは，訓練データの入力にノイズを付与することとヤコビアン正則化が等価であること [6] にも関係していると考えられる．
訓練データの出力にあたるラベルに着目すると，Mixupによって生成されたサンプルが元のサンプルの近傍にあ
e = y = y ′ が成り立つか，ye が y または y ′る場合，yに微小な摂動を加えたものとみなせる．このことから，
ラベルに一様なノイズを加える正則化手法である labelsmoothing [7] との関連性が議論されている．具体的には，[8, 9, 10, 11] では，Mixup と label smoothing の効果
が，部分的に類似していることが示されている．例えば，
Mixup と label smoothing が学習モデルの calibrationを改善することや [8, 10]，予測確率のエントロピーを増大させること [11] が数値実験により確かめられている．
また，Mixup が ECE を改善することが理論的に明らかにされている [9].
一方，Mixup によって生成されたサンプルが元のサンプルの近傍にない場合に関する解析は，著者らの知る限りにおいてこれまでに行われていない．これは，Mixupに関する既存研究において用いられいるテイラー展開による解析が行えないことが原因である．本論文では，3 節
e が x または x′ の近傍にない場合に，Mixupにおいて，xがヘッシアン正則化の効果を持つことを超平面で分離可能な二値分類データとロジスティック回帰において証明
する．

3 主結果
本論文では，これまで解析されることのなかった，

e が x または x′ の近傍以外に
Mixup により生成された xある場合について，超平面で分離可能な二値分類データとロジスティック回帰において解析し，ヘッシアン正則化の効果があることを証明する．3.1 節では解析する問題の設定を説明する．3.2 節では，設定した問題に基づ
いて Mixup にヘッシアン正則化の効果があることを示
す．3.3 節では，より複雑な学習モデルにおいても同様の傾向があることを数値実験により確かめる．

3.1 問題設定
e が x または x′ の近傍以Mixup により生成された x
外にある場合，manifold intrusion [12] が生じる可能性がある．例えば，異なる 2 つのクラスのサンプルを凸結合する際，それらのサンプル間に別のクラスのサンプル群が存在すると manifold intrusion が生じやすくなる．
この場合，Mixup が汎化性能の悪化を引き起こす可能性があるため [13] ，その効果を正確に調べることができない．そこで本論文では，manifold intrusion が生じない，超平面で分離可能な二値分類問題を考える．具体的には，分類すべきデータが従う分布として，次で定義される超平面で分離可能な 2 クラスデータを生成できる
Gaussian model を設定する．
∗) ∈ RD任意の θ ∗ = (θ1∗ , ..., θD+ , σ ∈ R+ について，∗(θ , σ)-Gaussian model は，(x, y) ∈ RD × {−1, 1} 上の確率分布として次のように定義される：(
x|y ∼ N (y · θ ∗ , σ 2 I), P(y) =

1/2
1/2

if y = 1.
if y = −1(3)

Gaussian model は，mixup が ECE を改善することや，
半教師あり学習が adversarial robustness を改善することなどの証明に用いられている [9, 15]．これらの研究[9, 15] では，θ ∗ ∈ RD としているが，本論文では簡単の∗Dため θ ∗ ∈ RD
+ としている．本論文の設定は，θ ∈ Rの設定において適宜軸の符号を入れ替える変数変換を行った場合とみなせるため，解析する対象をより制限するものではない．以降では簡単のため，σ は既知とし，θ ∗ のみが未知とする．また，2 つのクラスが超平面で分離可能である程度に σ は小さい値を持つとする．
この Gaussian model に独立に従う n 個の訓練デー
タを S = {(xi , yi )}i=1,...,n と定義する．このデータを学習する分類モデルとして，線形判別分析を用いる．線
形判別分析による分類器 Cθ は，訓練データ S を用いて，Cθ (x) := sign(θ ⊤ x) と定義する．ただし，θ =(θ1 , . . . , θD ) ∈ RD は分類器のパラメータである．訓練
データ S を用いたときの θ の最尤推定量 θb は，θb =E(x,y)∼PbS [xy] と求められる．また，訓練データ S に対して Mixup を適用したときの最尤推定量 θbmix (α) は次

114
第 2 分冊Copyright © 2023 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2023（第 22 回情報科学技術フォーラム）

14

1.0

θ =100
θ =10
θ =3
θ =1
θ =0.50.6
0.4

α =0.1α =0.5α =1.0α =2.0

12
10

p(x)

1
e−θx +1

0.8

8
6
4

0.2

2
0

0.0
−2.0

図1

−1.5

−1.0

−0.5

0.0

0.5

1.0

1.5

0.0

2.0

0.4

図2

ロジスティック回帰モデル

θbmix (α) = Emix [e
xye].

(4)

e := λx + (1 − λ)x′ , ye := λy + (1 − λ)y ′ で
ただし，x
ある．
Mixup による学習モデルの振る舞いへの影響を調べる
ためには，各サンプルに対する学習モデルの予測確率を定義する必要がある．そこで，この分類器 Cθ の確信度ベ
クトル fθb(x) = (fθ,1(x))⊤ を，ロジスティッb (x), fθ,−1b
ク回帰モデルを用いて以下のように定義する：
1,e−2k·θ⊤ x/σ2 + 1

0.6

0.8

1.0

x

のように計算される：

fθ,k (x) :=0.2xk ∈ {1, −1}.

(5)

確信度ベクトルの各要素を確信度スコアと呼ぶことにする．

3.2 Mixup とヘッシアン正則化の関係
3.2.1 モチベーションe が x または x′ の近傍以外にある場合を調べるには，
x

既存研究で用いられたテイラー展開のような訓練サンプルの近傍のみでの解析は使用できず，訓練データの凸包内全体での解析を行う必要がある．一方で，Mixup を提案した Zhang ら [1] によると，Mixup の主な効果は訓練
サンプル間における学習モデルの振る舞いを線形にすることであると述べられている．本論文ではこの点に着目する．学習モデルの振る舞いが線形にならない可能性が高い部分は，主に異なるクラスのサンプル間であると考えられる．異なるクラスのサンプル間で予測確率が非線形に変化するモデル化が可能な例として，ロジスティッ
ク回帰モデルが挙げられる．実際，図 1 より，パラメー
タ θ の値がある程度大きい 1 変量ロジスティック回帰モ
デルは，予測確率が非線形に変化していることがわかる．
また，図 1 からは，θ が小さいほどロジスティック回帰モ
デルの振る舞いが線形に近づいていることもわかる．したがって，ロジスティック回帰モデルで定義される確信度スコアに注目すれば，学習モデルの振る舞いがどれだ
け線形に近いかを，パラメータ θ を調べることで評価できるものと考えられる．
また，この評価を行うためには，学習モデルの振る舞
いの線形性を測る指標が必要である．ある区間において学習モデルの振る舞いが線形であることは，その区間における学習モデルのヘッセ行列のすべての要素が 0 であることと等価である．よって，ある区間におけるヘッセ
行列の大きさの和を指標として扱うことが考えられる．
以上より，次のような解析の方針が得られる．仮に，パBeta(α, α) の確率密度関数

ラメータ θ が小さいほどロジスティック回帰モデルの振る舞いが線形に近づくならば，ロジスティック回帰モデ
ルのヘッセ行列の大きさも小さくなると考えられる．これが成り立つならば，Mixup を適用した場合の推定量
θbmix (α) と，Mixup を適用しない場合の推定量 θb との大小関係を調べることで，Mixup にヘッシアン正則化の効果があるかを調べることができると考えられる．

3.2.2 理論解析
まず，3.1 節で定義した確信度スコア fθ,1 について，
パラメータ θ とヘッシアンの大きさの関係を調べる．そのために，評価すべき確信度スコア fθ,1 のヘッシアンの大きさを定義する．まず，確信度スコア fθ,1 の点 x ⊆ X
におけるヘッセ行列を h(fθ,1 (x)) と書く．次に，確信度
スコアのヘッセ行列を評価する範囲 Θ∗ を定める．Θ∗ の最も単純な候補として，Mixup によりサンプルが作られる範囲を含む訓練データの凸包が考えられる．しかし，この凸包は訓練データに依存するため，同じ確信度スコ
アでも訓練データが異なると評価値が変わることから，評価する範囲には適さない．そこで，訓練データに依存
せず，かつ確信度スコアが非線形になりやすい異なるク
ラスのサンプル間を十分に含むと考えられる範囲として，∗∗] と定義す, θDΘ∗ := [−θ1∗ , θ1∗ ] × [−θ2∗ , θ2∗ ] × · · · × [−θDる．この範囲に含まれない点は，決定境界から離れており，確信度スコアの変動が小さいと考えられることから，
ヘッシアンの大きさの評価において重要ではないと考えられる．以上の定義を用いて，確信度スコア fθ,1 の評価
すべきヘッシアンの大きさ H(fθ,1 , θ ∗ ) を，次のように定義する：∗

H(fθ,1 , θ ) :=ZΘ∗∥h(fθ,1 (x))∥2F dx.

(6)

ただし，∥ · ∥F はフロベニウスノルムとする．
この定義の下で，以下の定理が成り立つ．証明は，付
録 A に記載する．
定理 1. 任意の次元 D を持つ X において H(fθ,1 , θ ∗ )は，θ の各要素が正の範囲で，θ の各要素に関して単調増加し，θ の各要素が負の範囲で，θ の各要素に関して
単調減少する．
この定理より，Mixup を適用することで H(fθ,1 , θ ∗ )が小さくなるかどうかを調べるためには，Mixup の適用により θ の推定量の各要素の絶対値が小さくなるかどうかを調べればよいことがわかる．以下の定理は，このことが成り立つことを保証するものである．証明は，付録
B に記載する．

115
第 2 分冊Copyright © 2023 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2023（第 22 回情報科学技術フォーラム）

f1

g1
25000

40000

20000

H(g1 , θ ∗ )H(f1 , θ ∗ )

30000

20000

15000

10000
10000

5000

mixup
vanilla

0
10−4

10−3

mixup
vanilla

0
10−2

10−1

10−4

100

10−3

α

図3

10−2

10−1

100

α

α と H(f1 , θ ∗ ), H(g1 , θ ∗ ) の推移

定理 2. 任意の α ∈ R+ に対して，|θbimix (α)| < |θbi |, ∀i ∈ {1, . . . , D}.
が成り立つ．
定理 1，2 より，以下の系 1 が直ちに示される．系 1
は，Mixup がヘッシアン正則化の効果を持つことを示す
ものである．
系 1. 任意の α ∈ R+ に対して，∗
H(fθbmix (α),1 , θ ∗ ) < H(fθ,1b , θ ).

が成り立つ．
さらに，以下の系 2 が成り立つ．
系 2. 任意の α, α′ ∈ R+ に対して，

α < α′ ⇒ H(fθbmix (α′ ),1 , θ ∗ ) ≤ H(fθbmix (α),1 , θ ∗ ).

の活性化関数には全て ReLU 関数を用いている．g の最終層は，幅が 20 の 1 層の全結合層とシグモイド関数であり，ResNet [16] を模した関数である．学習時のパラメータは，エポック数を 300，バッチサイズを 50，学習率を 0.01，モメンタムの係数を 0.9 とする．
デ ー タ の 生 成 に は 次 の よ う に 設 定 し た Gaussianmodel を用いる．式 (6) を計算する必要があるため，計算量の観点から，Gaussian model は 2 次元とする．
Gaussian model のパラメータは，平面分離可能である
ように，θ ∗ = [5, 5], σ = 1 とし，各クラスのデータ数は100 とする．式 (6) の計算には，積分区間において 500D
点を調べ，数値積分により求めた．
図 3 に，α と，H(f1 , θ ∗ ), H(g1 , θ ∗ ) との関係を示す．
ただし，f1 , g1 は f, g の y = 1 に関する確信度スコアとする．丸い点と実線が Mixup を用いた場合であり，三角の点と破線が Mixup を使用しない場合である．プロッ
トした点は，3 回実験した結果の平均値を表している．
図 3 より，複雑な学習モデルに Mixup を適用した場合もヘッシアン正則化の効果があることと，α を大きくするほどヘッシアン正則化の効果が大きいことがわかる．

4 結論が成り立つ．
系 2 は，α が大きいほど，ヘッシアン正則化の効果が大きくなることを示している．また，図 2 に示す Beta
分布の形状より，α が大きいほど，Mixup は，x, x′ の間の中央付近にサンプルを作りやすくなることがわかる．
したがって，ヘッシアン正則化の効果は，Mixup により
e が x または x′ の近傍以外にある場合に得生成された xられるものであるといえる．

3.3 数値実験
本節では，Gaussian model から生成されたデータを，より複雑な学習モデルで学習した場合にも，3.2 節と同様の傾向があるかを数値実験により確かめる．学習モデ
ルには次で定義される f, g を用いる．f は，幅が 20 の隠れ層を 4 層持ち，最終層としてシグモイド関数を持つ
ニューラルネットワークとする．g は，幅が 20 の 2 層の全結合層と，1 層の全結合層を用いた残差接続の組み合わせを 3 つ繋げたニューラルネットワークとする．gMixup は，訓練サンプルを凸結合することにより新たなサンプルを作成するデータ拡張手法であり，多くの場面において汎化性能の向上に寄与してきた．本論文では，
これまで解析されてこなかった Mixup で生成されるサンプルが元のサンプルから遠い場合についての理論解析を行った．その結果，manifold intrusion が生じない状
況でのロジスティック回帰において，ヘッシアン正則化の効果があることを証明した．また，数値実験より，より複雑な DNN に Mixup を適用した場合にもヘッシアン
正則化の効果が現れることを確認した．以上の結果を既存研究と組み合わせることで，ヤコビアン正則化，labelsmoothing，ヘッシアン正則化という複数の正則化手法
をまとめて近似する手法として Mixup を特徴づけることができる．
謝辞
本研究の一部は，日本学術振興会における科学研究費補助金基盤研究（C）（課題番号 23K11111）による支援

116
第 2 分冊Copyright © 2023 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2023（第 22 回情報科学技術フォーラム）を受けている．ここに記し謝意を表す．
参考文献[1] Hongyi Zhang, Moustapha Cisse, Yann N
Dauphin, and David Lopez-Paz. mixup: Beyond empirical risk minimization. In International Conference on Learning Representations,
2018.
[2] Linghui Meng, Jin Xu, Xu Tan, Jindong Wang,
Tao Qin, and Bo Xu. Mixspeech: Data augmentation for low-resource automatic speech recognition. In ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech andSignal Processing (ICASSP), pages 7008–7012,
2021.
[3] Minghao Xu, Jian Zhang, Bingbing Ni, Teng Li,
Chengjie Wang, Qi Tian, and Wenjun Zhang.
Adversarial domain adaptation with domain
mixup. In Proceedings of the AAAI conference
on artiﬁcial intelligence, volume 34, pages 6502–
6509, 2020.
[4] Yiwei Wang, Wei Wang, Yuxuan Liang, Yujun
Cai, and Bryan Hooi. Mixup for node and graphclassiﬁcation. In Proceedings of the Web Conference 2021, pages 3663–3674, 2021.
[5] Linjun Zhang and Zhun Deng. How does mixup
help with robustness and generalization? In
The Ninth International Conference on Learning Representations, 2021.
[6] Chris M Bishop. Training with noise is equivalent to tikhonov regularization. Neural computation, 7(1):108–116, 1995.
[7] Christian Szegedy, Vincent Vanhoucke, Sergey
Ioﬀe, Jon Shlens, and Zbigniew Wojna. Rethinking the inception architecture for computer vision. In Proceedings of the IEEE Conference
on Computer Vision and Pattern Recognition(CVPR), June 2016.
[8] Sunil Thulasidasan, Gopinath Chennupati,
Jeﬀ A Bilmes, Tanmoy Bhattacharya, and Sarah
Michalak. On mixup training: Improved calibration and predictive uncertainty for deep neuralnetworks. Advances in Neural Information Processing Systems, 32, 2019.
[9] Linjun Zhang, Zhun Deng, Kenji Kawaguchi,
and James Zou. When and how mixup improves calibration. In International Conference on Machine Learning, pages 26135–26160.
PMLR, 2022.
[10] Rafael Müller, Simon Kornblith, and Geoﬀrey E
Hinton. When does label smoothing help? Advances in neural information processing systems,
32, 2019.
[11] Luigi Carratino, Moustapha Cissé, Rodolphe Jenatton, and Jean-Philippe Vert. On mixup regularization. arXiv preprint arXiv:2006.06049,
2020.
[12] Hongyu Guo, Yongyi Mao, and Richong Zhang.
Mixup as locally linear out-of-manifold regularization. In Proceedings of the AAAI Conference on Artiﬁcial Intelligence, volume 33, pages
3714–3722, 2019.

[13] Zixuan Liu, Ziqiao Wang, Hongyu Guo, andYongyi Mao.
Over-training with mixup
may hurt generalization.
arXiv preprint
arXiv:2303.01475, 2023.
[14] Vikas Verma, Sarthak Mittal, Wai Hoh Tang,
Hieu Pham, Juho Kannala, Yoshua Bengio,
Arno Solin, and Kenji Kawaguchi. Mixupe:
Understanding and improving mixup from directional derivative perspective. arXiv preprint
arXiv:2212.13381, 2022.
[15] Yair Carmon, Aditi Raghunathan, Ludwig
Schmidt, John C Duchi, and Percy S Liang.
Unlabeled data improves adversarial robustness.
Advances in neural information processing systems, 32, 2019.
[16] Kaiming He, Xiangyu Zhang, Shaoqing Ren,
and Jian Sun. Deep residual learning for image
recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition,
pages 770–778, 2016.

付録 A 定理 1 の証明
まず，D = 1 の場合について証明する．
補題 1. D = 1 のとき，H(fθ,1 , θ ∗ ) は，θ > 0 の範囲で
θ に関して単調増加し，θ < 0 の範囲で θ に関して単調減少する．
補題 1 の証明. v = 2/σ 2 とおく．D = 1 のとき，′fθ,1(x) = vθfθ,1 (x)(1 − fθ,1 (x)),

(7)

′′
fθ,1
(x) = v 2 θ2 fθ,1 (x)(1 − fθ,1 (x))(1 − 2fθ,1 (x))(8)

であるので，H(fθ,1 , θ ∗ ) は次のようになる:∗Z θ∗H(fθ,1 , θ ) =
Z θ∗
=
−θ ∗

−θ ∗

′′
(fθ,1
(x))2 dxv 4 θ4 (fθ,1 (x))2 (1 − fθ,1 (x))2· (1 − 2fθ,1 (x))2 dx.

y = fθ,1 (x) と変数変換すると， dx
= v1
dy
∗
であるので，H(fθ,1 , θ ) は，H(fθ,1 , θ∗ ) =(=Z fθ,1 (θ∗ )fθ,1 (−θ ∗ )

(9)

1
1
+ θ(1−y)θyv 4 θ4 y 2 (1 − y)2 (1 − 2y)2
1
·
v




1
1
+
dy
θy
θ(1 − y)1
+ fθ,1 (θ∗ )2 + 4fθ,1 (θ∗ )4 )v 3 θ3 (− 303 31−v θ (− 30 + fθ,1 (θ∗ )2 + 4fθ,1 (θ∗ )4 )if θ > 0
if θ < 0(10)と求められる．したがって，fθ,1 (θ ∗ ) は，θ > 0 の範囲
で θ に関して単調増加し，θ < 0 の範囲で θ に関して単調減少することから，H(fθ,1 , θ ∗ ) は，θ > 0 の範囲で θに関して単調増加し，θ < 0 の範囲で θ に関して単調減
少する．

117
第 2 分冊Copyright © 2023 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2023（第 22 回情報科学技術フォーラム）定理 1 の証明. fθ,1 (x) は，θ ⊤ x に関して単調増加する．
よって，fθ,1 (x) は，θ 方向にのみ増加する．そこで，fθ,1 (x) が 1 つの軸方向にのみ増加するような座標を求める．正規直交基底を (e1 , . . . , eD )，求めるべき座
標を (e′1 , . . . , e′D ) と表す．fθ,1 (x) の増加方向を e′1 のPDみとするために，まず e′1 :=i=1 θi ei と定義する．
′′
e2 , . . . , eD は，



θ1
 .
A :=  ..
θD
ξ1D..  ,
. 
ξDD

···
..
.
···

ξ12
..
.
ξD2

ξij ∈ R, i = 1, . . . , D, j = 2, . . . , D(11)を用いて，[e′1 , . . . , e′D ] = [e1 , . . . , eD ]A と定められるとする．x に対応する (e′1 , . . . , e′D ) 上の点を x′ とす
ると，

x=

D
X

x′i e′i

i=1

= x′1

=

D
X

θj e j +

D
X

j=1

i=2

D 
X

D
X

θj x′1 +

j=1

= Ax

x′i

X
D


ξji ejj=1

ξji x′i|θbmix (α)|


n
1 X
= Eλ 2(λxi + (1 − λ)xj )(λyi + (1 − λ)yj )n i,j=1n
1X= Eλ (1 − 2λ(1 − λ))xi yi + 2λ(1 − λ)s
n i=1


α+1
α+1 b
|θ| + 1 −
|s|.
(15)
≤
2α + 12α + 1Pn
Pn
1
ただし，s := ( n1i=1 xi )( 2ni=1 yi ) とする．最後のPn
1b
等式は，θ = ni=1 xi yi であることを用いた．データが超平面分離可能な程度に，Gaussian Model の分
散パラメータ σ 2 が小さいと仮定していたことより，
PPn1b| n1 ni=1 xi | < | ni=1 xi yi | = |θ| が成り立ち，またPn
1| 2n i=1 yi | < 1 であるので，


ej
|s| =

′

(12)

θ ⊤ x = θ ⊤ Ax′

X

D
D X
D
X
2
′
=
θi x 1 +ξij θi x′j
i=1

j=2

1
3
− θ1θ+θ
2

1

n



1 X
yi
2n i=1
n



b
< |θ|

b
|θbmix (α)| < |θ|.

(13)

(16)

(17)

i=1

クトルとなるように {ξij , i = 1, . . . , D, j = 2, . . . , D}を定める．例えば，D = 3 のときは次のように A を定める：3
− θ2θ+θ
1
1
1

1X
xi
n i=1

b と
が成り立つ．よって，式 (15) より，|θbmix (α)| は，|θ|b|θ| より各要素の値が小さい |s| との凸結合で表される．
したがって，次の式が成り立つ：と変形できる．fθ,1 が x′1 にのみ依存するような座標変PD換を行えばよいため，式 (13) より， i=1 ξij θi = 0, j =2, . . . , D を満たし，かつ e′2 , . . . , e′D がそれぞれ異なるベθ1A := θ2
θ3

定理 2 の証明. Eλ∼Beta(α,α) [·] を Eλ [·] と略記する．ベクトルに対する絶対値記号 | · | は，各要素について絶対値をとるものと定義する．また，ベクトルに対する不等号を，要素ごとに成り立つものと定義する．式 (4) より，
θbmix (α) について次が成り立つ：

i=2と表すことができる．よって，



付録 B 定理 2 の証明

112− θ1θ+θ3

付録 C 系 2 の証明
α+1系 2 の証明. 式 (15) における 2α+1は，α ∈ R+ に関して単調減少関数である．また，式 (15) と同様の計算により，θbmix (α) について



α+1 b
α+1
mix
b
s
θ
(α) =
θ+ 1−
2α + 12α + 1



.

(14)

このような A の定め方は，任意の次元 D においても可能である．上記のように A を定めると，e′1 は e′2 , . . . , e′Dと直交するため，変換後の座標系で考えれば，fθ,1 は x′1のみに依存する一変量関数とみなせる．このとき，x′1 のPD
係数は i=1 θi2 である．また，A による座標変換後の積分範囲を，e′1 方向の積分が一番外側になるように構成すると，正規直交基底上の θ ∗ の e′1 方向の成分を η と表せば，e′1 方向の積分区間は [−η, η] となる．e′2 , . . . , e′D 方向の積分は，fθ,1 は x′1 のみに依存することから，各積分区間の大きさをかける操作となる．以上より，任意の次元 D における H(fθ,1 ) の計算は，D = 1 の場合の計算に帰着する．したがって，補題 1 より，定理 1 が示さ
れる．

(18)

が成り立つ．よって，式 (16) と式 (18) より，α が大きいほど，θbmix (α) は θb より各要素の絶対値が小さい s に近α+1づく．また，limα→∞ 2α+1
= 21 となることと式 (16) より，任意の α ∈ R+ と i = 1, . . . , D について，θbimix (α)
はそれぞれ 0 と θbi の間に値をとり得る．つまり，任意のα ∈ R+ において θbmix (α) と θb の各要素の符号は等しい．よって，任意の α, α′ ∈ R+ について，

α < α′ ⇒ |θbimix (α′ )| < |θbimix (α)|, i = 1, . . . , D (19)が成り立つ．したがって，定理 1 より，任意の α, α′ ∈ R+
について次が成り立つ：

α < α′ ⇒ H(fθbmix (α′ ),1 , θ ∗ ) ≤ H(fθbmix (α),1 , θ ∗ ).

118
第 2 分冊Copyright © 2023 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.