転移学習

転移学習（てんいがくしゅう、）は、ある問題を解決する際に得た知識を蓄積し、関連する別の問題にそれを適用することに焦点を当てた機械学習の研究領域である。たとえば、乗用車を認識するために得た知識は、トラックを認識するためにも応用できるかもしれない。この研究領域は、に関する長い歴史を持つ心理学の文献と何かの関係をもつが、2つの分野の実用的な結びつきは限定的である。実用的な面では、過去に学習した仕事の情報を新たな仕事の学習のために再利用または転送することで、強化学習手段のサンプル効率を大幅に改善することができる可能性がある。

 歴史 
1976年、Stevo BozinovskiとAnte Fulgosiは、ニューラルネットワークの学習における転移学習に明示的に取り組んだ論文を発表したStevo. Bozinovski and Ante Fulgosi (1976). "The influence of pattern similarity and transfer learning upon the training of a base perceptron B2." (original in Croatian) Proceedings of Symposium Informatica 3-121-5, Bled.Stevo Bozinovski (2020) "Reminder of the first paper on transfer learning in neural networks, 1976". Informatica 44: 291–302.。この論文では、転移学習の数学的および幾何学的モデルを示している。1981年には、コンピュータ端末の文字を表す画像のデータセットに対して、転移学習を適用してニューラルネットワークを学習させた研究が報告された。ポジティブとネガティブな両方の転移学習が実験的に実証されたS. Bozinovski (1981). "Teaching space: A representation concept for adaptive pattern classification." COINS Technical Report, the University of Massachusetts at Amherst, No 81-28 [available online: UM-CS-1981-028.pdf]。

1993年、Lorien Prattは、機械学習における転移についての論文を発表し、識別性に基づく転移アルゴリズムを定式化した。

アンドリュー・ンは、NIPS 2016のチュートリアルでNuts and bolts of building AI applications using Deep Learning, slides、転移学習は教師あり学習の次に機械学習の商業的成功の原動力になると述べ、その重要性を強調した。

 定義 
転移学習の定義は、ドメインとタスクの観点から与えられる。ドメイン  は、特徴空間  と周辺確率分布  からなり、ここに  とする。特定のドメイン  が与えられた場合、タスクは、ラベル空間  と、目標の予測関数  の2つの要素から構成される。この関数  は、新しいインスタンス  の対応するラベル  を予測するために用いられる。このタスクは、 で示され、、 のペア  からなる学習データから学習される 50x50ピクセル Material was copied from this source, which is available under a Creative Commons Attribution 4.0 International License.。

ソースドメイン  と学習タスク  、ターゲットドメイン と学習タスク  が与えられ、ここで 、 の場合、転移学習の目的は、  と  の知識を用いて、 の対象の予測関数  の学習を改善することである。

 応用 
やベイジアンネットワークにおける転移学習のアルゴリズムが利用可能である。また、転移学習は、癌（がん）の亜類型の発見Hajiramezanali, E. & Dadaneh, S. Z. & Karbalayghareh, A. & Zhou, Z. & Qian, X. Bayesian multi-domain learning for cancer subtype discovery from next-generation sequencing count data. 32nd Conference on Neural Information Processing Systems (NeurIPS 2018), Montréal, Canada. 、建物運用、、文書分類Banerjee, Bikramjit, and Peter Stone. "General Game Learning Using Knowledge Transfer." IJCAI. 2007.、文字認識、医療画像、スパムフィルタリングにも応用されている。

2020年に、脳波記録（EEG）波形の動きをジェスチャー認識領域から精神状態認識領域へ分類するときに、その物理的性質が似ていることから、筋肉からの電気筋運動記録（EMG）信号間で転移学習が可能であることが発見された。また、この関係は逆にも作用し、脳波記録が筋運動記録をさらに分類できることも示された。この実験では、ニューラルネットワークおよび畳み込みニューラルネットワークの精度が、最初のエポック（学習前、つまり標準的なランダムな重み分布との比較）と漸近（学習プロセスの終了）の両方で、転移学習によって向上することが分かった。すなわちアルゴリズムは別のドメインに触れさせることで改善された。さらに、事前学習されたモデルの最終使用者は、完全結合層の構造を変更することで、より優れた性能を得ることができるKabir, H. M., Abdar, M., Jalali, S. M. J., Khosravi, A., Atiya, A. F., Nahavandi, S., & Srinivasan, D. (2020). Spinalnet: Deep neural network with gradual input. arXiv preprint arXiv:2007.03347.。

コードに関する機械学習の領域では、転移学習がセキュリティ上の脆弱性を自動的に修復するのに役立つことが示されている。

 参照項目 

  - 2つの親の遺伝情報を組み合わせて新しい子孫を生成するために用いられる遺伝的演算子
  - 機械学習や転移学習に関連する学問分野の一つ
 汎用ゲームプレイ - 1つ以上のゲームをうまくプレイできるように人工知能プログラムを設計すること
  - タスク間の共通性と差異を利用しながら複数の学習タスクを同時に解決する機械学習の一分野
  - 複数の自己完結型タスクを同時に解決することに焦点を当てた最適化に関する概念
  - 機械学習における問題設定の一つ

 脚注 

 推薦文献 



Category:機械学習