第 12 期白眉研究者紹介● グローバル型（従来型）／ Global Type

Introduction of Hakubi Researchers 2021

★ 部 局 連 携 型（卓越研究員型）／ Tenure ‒Track Type● 包 含 特定助教

Han BAO (Assistant Professor)
研 究 課 題： 仕様検証可能な機械学習（Veriﬁable machine learning）
専 門 分 野： 統計的機械学習（Statistical Machine Learning）
受 入 先 部 局： 情報学研究科（Graduate School of Informatics）
前職の機関名： 東京大学大学院 情報理工学系研究科（Graduate School of Information Science and Technology,
The University of Tokyo）

現代社会では計算能力や計算資源の発達によって膨As modern computational powers and resources enable us

大な量のデータが収集可能になり、科学や意思決定におto collect a vast amount of data, data-driven knowledge dis-

いてデータ駆動型の知識発見はますます重要になりつ

covery has become more and more important in science anddecision making. Statistical machine learning is one of theつあります。統計的機械学習とはそのような推論を支え

key components to form the basis of such inference, by imple-

る技術の一つであり、統計的手法を援用した帰納推論をmenting statistics-based inductive inference on modern com-

現代的な計算機上で実現する分野です。

puters.

機械学習はゲーム AI や自動運転など多様な領域で成While machine learning has been successful in various do-

功を収めていますが、帰納推論はその正しさを保証する

mains such as game AI and autonomous driving, it is not

ことが容易ではなく、このことが安全性を重要視する領

straightforward to guarantee the performance of inductive

域で機械学習を用いる妨げとなっています。

inference, which often hinders machine learning from real-world applications in risk-sensitive domains.

私はこれまで、収集したデータに大きな偏りが見られ

I have been working on establishing a theoretical framework

る場合や、第三者によるデータの改竄を想定する場合にto verify whether our inference algorithm can achieve the ex-

おいて、私たちが構築したアルゴリズムが期待する性能

pected performance under the situations where the collectedを達成できるかを検証する理論的枠組みを研究してきdata is largely skewed, or we need to defend against a thirdました。これを更に一般化し、利用者が推論に対して期

person’s data perturbation. Ultimately, I aim to establish a

待する「仕様」を予め明示し、構築したアルゴリズムがframework to verify whether a learning algorithm satisfies

要請を満たすか検証を行う枠組みを目指しています。

properties speciﬁed by users.

機械学習予測の性能保証の難しさて十分なデータ量があれば、汎化誤差（未知のデータ機械学習は統計的手法に基づく帰納推論、すなわちに対する予測誤差）は限りなく小さくできることが知有限の観測を元にその背後に潜む法則性を導き出す方られています。これが昨今のビッグデータブームをは法論です。予測がどの程度正しいか、確からしいかをじめとする、巨大なデータを用いた機械学習の実応用調べることは学問としての機械学習分野において大切における成功の理由の一つであると言えます。

な要素の一つであり、統計的学習理論という一大分野

ところが、機械学習の応用が進むにつれて、今までが広がっています。統計的推論は有限の観測を一般化想定されていなかった予測モデルの挙動が顕在化してするため、未知のデータに対する推論の正しさは蓋然きました。例えば、モデルに入力されるデータに対し的にしか保証できませんが、これまでの研究の蓄積にて人間が気づかないような微小な細工を加えることで、よって、与えられたデータ量によって予測誤差を定量第三者が予測結果を恣意的に操作できてしまうという化できるようになってきました。これが汎化の学習理現象（敵対的攻撃）が知られています。また、モデル論です。汎化理論によれば予測モデルの複雑度に対しの学習時に用いたデータに内在していたバイアスに起42153235-白眉2022.indd

422022/04/18

14:36:36

白眉プロジェクト 2021

図1

予測モデルに用いる学習基準とユーザー要請とのギャップ．

因して、犯罪率予測プログラムが人種に基づいて予測られた評価基準に対して私たちの学習基準が十分であを行ってしまうような公平性の問題が報告されていまるかを検証してきました。例えば、予測の偽陽性・偽す。このように、ひたすらデータを収集して予測モデ陰性を適切にコントロールするための学習基準の設計ルに学習させればよい、というわけにはいかなくなっ指針を提案したり、敵対的攻撃に対して一般的な多くてきたのが機械学習の直面している問題です。の学習基準が堅牢でないことを発見してきました。この流れを推し進めることによって、ユーザーが定めた学習と評価のギャップを乗り越える評価基準に対して適切な学習基準を設計する指針を与えていき、機械学習の信頼性を向上させたいと考えてなぜ私たちは機械学習の予期しなかった挙動に直面います。

しているのでしょうか。その大きな鍵として私が注目しているのが、学習基準と評価基準のギャップです。

人間社会に馴染む人工知能を目指して一般的な機械学習の枠組みは、収集したデータを用いて予測性能が高くなるようなモデルを作る「学習」のディープラーニングの台頭により機械学習の実世界フェーズと、学習したモデルを使って実際に現象を予応用が急速に進むにつれて、機械学習はますますブラッ測し、想定通りに予測できているか定量化する「評価」クボックス化する傾向にあります。私は、学習と評価のフェーズにわけられます。例えば、画像分類を行いのギャップを通してユーザーと予測モデルの「対話」

たいのであれば対象の画像をできるだけ多く集めて分を促し、相互に理解可能な技術へと昇華させることを類モデルを学習させて、分類正答率で性能を評価する目指しています。このことがひいては社会に受け入れのが自然でしょう。ところが、分類正答率が最大になられやすい人工知能の基盤となることを信じています。

るモデルを直接探すのは容易ではないため、モデルの学習時には分類正答率を元にした別の基準を使って学参考文献習を行うのが一般的です。そのため、本来私たちが期[1] Bao, H. & Sugiyama, M. Calibrated Surrogate Maximi-待している性能（評価基準）と、実際に学習したモデ

zation of Linear-fractional Utility in Binary Classification.

ルが最適化している目的関数（学習基準）にはギャッ

In Proceedings of the 23rd International Conference onプがあるのです。さらに、評価基準を定める際に敵対

Artificial Intelligence and Statistics (AISTATS2020), PMLR
108:2337-2347, 2020.

的攻撃や公平性を考慮されていなければ、学習したモ[2] Bao, H., Scott, C., & Sugiyama, M. Calibrated Surrogate

デルがこういった問題を解決することは非常に困難でLosses for Adversarially Robust Classification. In Proceed-す。

ings of the 33rd Annual Conference on Learning Theory

私の研究では学習と評価のギャップに着目し、与え(COLT2020), PMLR 125:408-451, 2020.

43153235-白眉2022.indd

432022/04/18

14:36:36