KYOTO UNIVERSITY

KDD2018読み会
複数のデータセットを横断して重要な超パラメータの分析

読み手：鹿島DEPARTMENT OF INTELLIGENCE SCIENCEAND TECHNOLOGY

1

Hisashi Kashima, Human Computation Team2

Hisashi Kashima, Human Computation Team

この論文の問いかけ：
ある機械学習手法のどの超パラメータが重要？
▪ 機械学習手法にはいろいろな超パラメータがある：– SVM：（RBFカーネルの）幅や正則化パラメータ、縮小ヒューリスティクスの使用など– ランダムフォレスト：分岐の基準や、各決定木での特徴量の使用割合、葉頂点の最小データ数など– その他、手法とは独立に、欠損値の埋め方なども超パラメータとみなせる▪ 超パラメータは「民間伝承」をもとに場当たり的に決定される▪ リサーチクエスチョン：– どの超パラメータが重要？

– （さらに）それらの値域のどのあたりが重要？
3

Hisashi Kashima, Human Computation Team

関連研究との比較：
データ毎でなく学習手法レベルでの知見を得るのが目標▪ 古くは： ランダムフォレストの重要パラメータの分析▪ 最近では：– AutoML：実験を繰り返しながら特定のデータセットに最も良い超パラメータの値を見つける）– メタ学習：データセットのメタデータから良い超パラメータ値を予測– これらはその場限りの低レベルな知識▪ 本研究では： データセットの別を超えた、一般的な、より抽象度の高い知見（「SVMではカーネル幅が重要」）を見つける
4

Hisashi Kashima, Human Computation Team

結果：
有効な超パラメータの特定と、その知見を使った精度向上▪ OpenMLの100データセットを使ってfunctional ANOVA分析–：様々なデータを様々に分析した結果が集まっている▪ 超パラメータ分析の結果：– SVMでは正則化パラメータとカーネル幅– ランダムフォレストでは各決定木で使用する特徴量数と、葉の最大データ数– AdaBoostでは学習率と各決定木の最大深さが重要であることがわかり、民間伝承に一致▪ さらに、よく効きそうな領域を事前分布として入れると精度向上
5

Hisashi Kashima, Human Computation TeamFunctional ANOVA：
超パラメータの予測精度への貢献度を測れる分析法▪ 目的：超パラメータ（の組合わせ）の予測精度への影響を推定– それぞれの超パラメータの貢献度– 超パラメータ2つの組み合わせの貢献度• 単一超パラメータの貢献を差し引いた貢献度として定義– 超パラメータ3つの組み合わせの貢献度• 超パラメータの2つの組み合わせの貢献は差し引いて定義– …
▪ 方法：Functional ANOVA によってそれぞれの貢献が取り出せる– 「予測精度の分散」への寄与大→動かすと精度が大きく変わる
6

Hisashi Kashima, Human Computation TeamFunctional ANOVA：
モデル分解のイメージ▪ モデルを超パラメータの組み合わせの貢献分に分解する
カーネル幅のみによる予測

正則化パラメータのみによる予測

カーネル幅と正則化パラメータの組み合わせのみによる予測

縮小ヒューリスティク
スのみによる予測

カーネル幅と正則化パラメータと縮小ヒューリスティクスのすべての組み合わせのみによる予測

7

Hisashi Kashima, Human Computation Team

補足：
各手法のハイパーパラメータ8Hisashi Kashima, Human Computation TeamSVM（RBFカーネル）の超パラメータ分析結果：（言い伝えのとおり）カーネル幅や正則化が重要▪ SVM（RBFカーネル）ではカーネル幅、次いで、正則化パラメー
タが重要▪ こういう知見は知られていたが、初めての定量的な証拠だと適切なカーネル幅の設定
が重要
重要度

9正則化×

欠損
値
補完カーネル
幅

正則化

カーネル
幅

予測精度
カーネル幅

Hisashi Kashima, Human Computation TeamSVM（シクモイドカーネル）の超パラメータ分析結果：
RBFカーネルと同様の結果だが、こちらは組み合わせが効く▪ ここでもカーネル幅（1位）、正則化パラメータ（3位）は重要▪ 特に、これらの「組み合わせ」（ 2位）が重要
超パラメータの組み合わせが効く

重要度

予測精度

10正則化正則化×

欠損
値
補完カーネル幅カーネル
幅

カーネル幅

Hisashi Kashima, Human Computation Team

ランダムフォレストの超パラメータ分析結果：
葉の最小データ数、使用特徴数、ブートストラップが効く▪ 葉の最小データ数、各決定木で使う特徴数が効く▪ ブートストラップ（サンプリングしたデータで訓練）も効く
葉の最小データ数は（オーバーフィット気味で）小さくていい

欠損
値
補完

11ブートストラップ

特徴
数

葉の最小デー
タ数

予測
精度
葉の最小データ数

Hisashi Kashima, Human Computation Team

AdaBoostの超パラメータ分析結果：
決定木の深さは深いほどいい▪ 決定木の最大深さが劇的に効く（かつ、深いほどいい）▪ 学習率も効く
木は深くていい（≒オーバーフィット気味でいい）

欠損
値
補完12

学
習率

木の最大深さ予測
精度

木の最大深さHisashi Kashima, Human Computation Team

全手法を通して得られた知見：
少数の超パラメータが独立に有効なケースが多い▪ 多くのデータセットにおいて、少数の共通の超パラメータの影響が大きい▪ 超パラメータの組み合わせは意外に効かない– 結構独立に効く▪ あと、欠損値の補完法の選択は割とどうでもいい– どの手法でも順位は低い– 補完が必要ないという意味ではない

13Hisashi Kashima, Human Computation Team

超パラメータ最適化への応用：得られた知見を事前分布として使って予測精度向上▪ 効く超パラメータを動かしたときの予測精度を、事前分布としてAutoML手法（hyperband）に与える
予測精度▪ 一様な事前分布よりも精度向上
相対
予測精度

14

線から上が相対的に精度向上
した場合

Hisashi Kashima, Human Computation Team

まとめと所感：
機械学習法の超パラメータ重要度を実データで定量分析▪ それぞれの機械学習法の超パラメータのうちどれが重要かを調べた– Functional ANOVA, OpenMLの100データセット▪ さらに、超パラメータ最適化の事前分布に使ってみた▪ 手法的には著者らの過去の結果をつかった「だけ」ともいえる
F. Hutter, H. H. Hoos, and K. Leyton-Brown. An efficient approach for assessing
hyperparameter importance. In Proc. of ICML. 754–762 (2014).

▪ 本論文の貢献は、OpenMLデータの分析の部分– これまで皆がなんとなく思っていた「民間伝承」を定量的に分析▪ 「この方法はどういうときにうまくいく（いかない）のか」を調べたい
15

Hisashi Kashima, Human Computation Team