知っておきたいキーワード
Keywords you should know.

第 154 回

ハイパーパラメータ最適化
柳 瀬 利 彦††株式会社 Preferred Networks"Hyperparameter Optimization" by Toshihiko Yanase (Preferred Networks, Inc., Tokyo)
キーワード：ブラックボックス最適化，ヒューマンインザループ最適化，深層学習，機械学習，生成 AI，Optuna

まえがきでいる．機械学習のアルゴリズムを使

本稿では，機械学習のハイパーパラいこなすためには，学習を始める前にメータの最適化について，アイデアと深層学習（Deep Learning）をはじめ人間が決めておく必要がある設定（ハ実行方法について解説する．適切なハとした機械学習（Machine Learning）イパーパラメータ）を，対象とするイパーパラメータの設定によって，よ技術は，画像や音声の認識や生成などデータや環境に適した値に決める必要り高い精度や処理速度を得ることが期

メディア処理においてもさまざまな場がある．

待できる．

面で活用されており，日々改善が進ん

ハイパーパラメータ最適化
機械学習のアルゴリズムには，訓練データを元に，自動的に決定されるパハイパーパラメータ
バッチサイズ，学習率，etc

評価値
目的関数

accuracy，loss，etc

ラメータがある．例えば，深層学習の最適化
アルゴリズム一種である多層パーセプトロン MLP（Multilayer Perceptron）の場合には，各層の重みがパラメータである．一方
で，訓練プロセス自体を制御する設定

図 1 ブラックボックス最適化の概念図

値をハイパーパラメータと呼ぶ．例え一組のハイパーパラメータの評価を 1 回の試行として，過去の試行履歴を参照しながら反復的にば，MLP の学習率やバッチサイズが最適化を行う．

該当する．これらの値は，訓練の速度やモデルの性能，過学習の可能性などに大きく影響する．
一方で，ハイパーパラメータは，訓ることが多く，適切な設定値を見つけであるブラックボックス最適化では，ることが困難な場合がある．

ハイパーパラメータの値を入力，精度練を始める前に決めておく必要があ

ハイパーパラメータ最適化は，適切る．初めて手掛けるタスクであれば，な設定値を効率よく発見するための最ハイパーパラメータ設定は手探りにな適化手法である．代表的なアプローチ

映像情報メディア学会誌 Vol. 77, No. 6, pp. 742 〜 744（2023）などの評価値を出力とする目的関数を想定する（図 1）．そして，（49） 742

知っておきたいキーワード

試行錯誤を繰り返し，入力と出力の履歴だけからハイパーパラメータ# 1 Optuna をインポートするを最適化する．

import optuna

ブラックボックス最適化には，ベイズ最適化や進化計算など多くのアルゴ# 2 目的関数を定義

リズムが提案されている 1）が，オープ

def objective（trial）:ンソースソフトウェアが開発されていmodel = define̲model（）るため，手間をかけずに最適化実験で# ハイパーパラメータ「学習率」を決定きる．

lr = trial.suggest̲float（'lr', 1e-10, 1e-1, log=True）

例えば，著者も開発に参加している

optimizer = SGD（lr=lr）

O p t u n a（ h t t p s : / / o p t u n a . o r g ）は# モデルの訓練と評価

Python で書かれたブラックボックス...

最適化ライブラリーである 2）．図 2 の# 評価値を返す

コード例に示すように，Optuna では，return accuracy

次の 3 ステップでハイパーパラメータの最適化を実現できる．

# 3 最適化の実行（1）Optuna を import する

study = optuna.create̲study（direction= maximize ）（2）目的関数を定義し，ハイパーパ

study.optimize（objective, n̲trials=100）

ラメータの値を決定し，評価値
図 2 Optuna を用いたハイパーパラメータ最適化のコード例

を返す（3）目的関数を指定して最適化を実行する

ヒューマンインザループ最適化
近年，生成 AI（Generative AI）の研究の進展によって，高品質な画像・動画・音声の生成が可能になってきてい

元画像る．生成 AI にも多くの場合，ハイ成物の良し悪しを客観指標で評価する

パーパラメータが存在し，生成物の質ことが困難な場合が多いことである．

を高めるために適切な値を設定する必

例えば，図 3 のように生成された似顔要がある．

絵画像の評価は人間の感覚に基づいてしかし，ここで問題になるのは，生行われる．

ハイパーパラメータを変えて似顔絵変換した生成例

図 3 拡散モデルを用いたプロフィール写真からの似顔絵生成における評価インタフェースの例
元画像への変更の強度（strength, guidance̲scale）のハイパーパラメータを調整する．最も良いと感じる画像に対応するボタンをクリックする．

743 （50）

映像情報メディア学会誌 Vol. 77, No. 6（2023）

ハイパーパラメータ最適化

そのような場合には，人間の主メータ（に対応する生成物）を直感的機能や，② ボタンやスライダなど評観的な評価に基づいた最適化であるに比較するインタフェースなどが提案

価値をフィードバックするためのウィヒ ュ ー マ ン イ ン ザ ル ー プ（ H I T L :されている 3）．

ジェット，などヒューマンインザルー

Human-in-the-Loop）最適化が求められ

Optuna Dashboard（https://github.

プ最適化のためのコンポーネントを提る．ヒューマンインザループ最適化で

com/optuna/optuna-dashboard）は，供している．これらは，Python でカは，人間を最適化ループに組み込み，Web ベースの Optuna のユーザインタスタマイズすることができる．

人間の評価をフィードバックして最適フェースであるが，ヒューマンインザ

Tutorial（ https://optuna-dashboard.

化を行う．

ループ最適化を行うための基本的な機

readthedocs.io/en/stable/tutorials/hitl.

能を有している．

html）が用意されているので，ぜひ試評価においてはユーザインタフェースが重要である．一つの試行を絶対評

具体的には，Optuna Dashboard は，価するだけでなく，複数の生成物をス① 生成した画像ファイルや音声ファライダーを用いて複数のハイパーパライルをアップロードし画面に表示する

むすびしていただきたい．

つ効率的に最適化を実現する．また，改善の事例を紹介している 4）ほか，イハイパーパラメータ最適化の項で述べ

ンターネット上には動画圧縮のパラ

ハイパーパラメータ最適化は，機械たブラックボックス最適化は，入力とメータ最適化（https://gist.github.

学習に幅広く共通して存在する問題で出力のペアが分かれば良い，という非com/sile/8aa1ff7808dd55298f51dd70c8ある．さらに，ヒューマンインザルー

常にゆるい条件であるため，ハイパーb83092）などさまざまな事例がみられプ最適化により，客観的な評価が難しパラメータ以外にも広く応用できる．

る．今後，読者の皆様にとってハイい生成 AI についても最適化が可能で

拙著にて，ミドルウェア（オンラインパーパラメータ最適化がより使いやすある．Optuna などのハイパーパラ広告入札システムの実行環境）のパくなり，研究に貢献することができれメータ最適化ソフトウェアは，簡単かフォーマンス向上やクッキーのレシピば幸いである．

参考文献

1）尾崎，野村，大西： 機械学習におけるハイパパラメータ最適化手法：概要と特徴 ，信学論，J103-D，9，pp.615-631（2020）2）T. Akiba, S. Sano, T. Yanase, T. Ohta and M. Koyama: "Optuna: A Next-generation Hyperparameter
Optimization Framework", In KDD (2019)3）Y. Koyama, I. Sato, D. Sakamoto and T. Igarashi: "Sequential Line Search for Efficient Visual Design
Optimization by Crowds", ACM Trans. Graph. 36, 4, pp.48:1-48:11 (2017)4）佐野ほか：Optuna によるブラックボックス最適化 ，オーム社（2023）（2023 年 7 月 31 日受付）

や な せとしひこ

柳瀬 利彦
2010 年，東京大学大学院新領域創成科学研究科博士後期課程修了．（株）日立製作所でのメディア処理研究を経て，2018 年，（株）Preferred Networks に入社．以来，ハイパーパラメータ最適化ソフトウェア
Optuna の開発とビジネスへの応用に従事．博士（科学）．

キーワード募集中
この企画で解説して欲しいキーワードを会員の皆様から募集します．ホームページ（https://www.ite.or.jp/）の会員の声より入力可能です．また電子メール（ite@ite.or.jp），FAX（03-3432-4675）等でも受け付けますので，是非，編集部までお寄せください．

（編集委員会）（51） 744