私の研究

私の研究
人工知能を超える可能性を内在する
ディープラーニングの研究
鈴木 忠雄（すずき ただお）福島学院大学 短期大学部 情報ビジネス学科准教授

１．はじめに近年、人工知能（AI：Artificial Intelligence）が我々の身近なところで活用されるようになってきました。特に、ディープラーニング（深層学習）が人工知能の根幹を支えることにより、人工知能の成果が飛躍的に向上し、数多くの場面で応用されるようになってきました。そして、ディープラーニングが物理学で登場する様々なテーマ、例
えば、くりこみ群、相転移、テンソルネットワー
ク、超弦理論などに関係しているようにも見えてきました。ディープラーニングが従来の AI アーキテクチャーの範疇に収まらない、情報理論的にも、数学的にも、物理学的にも新たな知見をもたらす存在であるかもしれない、という期待が持てるような様々な理論的な性質がわかってきました。
一方で、はっきりとした証拠はまだない、という研究結果もあるようです１）。したがって、ディープラーニングのまだ隠されている原理というようなものがあるとするならば、それを調べてみたいと考え、最近になって、情報理論と物理学からみたディープラーニングの正体を探るべく研究を進めています。今回、寄稿の機会をありがたくいただきましたので、ここでは、人工知能や機械学習について簡単に触れ、ディープラーニングのメカニズムについて概観してみたいと思います。

２．人工知能と機械学習とディープラーニング

現在、身近な人工知能といえば、一般的には、PC やスマホの Google 翻訳等にみられる自動翻訳、Google アシスタントや Cortana（コルタナ）、Siri（シリ）に代表される音声アシスタントなどの最近の技術があげられます。しかし実際は、人工知能という言葉は、1956年のアメリカのダートマス大学で行われた研究会議で初めて使われました２）。したがって、約60年間の間、人工知能の研究が進んできたことになります。この流れの中で、1960年代前後の推論や探索に特化した第１次 AI ブームが到来しました。この最初のブームは、AI が現実的な問題解決には対応できないことから、1970年代半ばで終わりました。そして、1970年代半ばからは１度目の AI 冬の時代になりました。次に、1980年代にエキスパートシステムが登場した第２次 AI ブームがやってきました。エキスパートシステムとは、専門的な知識やルールをコンピュータに教え込ませることで専門的な問題を解こうとするシステムです。しかし、知識やルールを完全に覚えこませることには限界があることや、現実的には複雑であいまいなデータに対しては対応できないことから、第２次 AIブームは終わりました。そして、1990年代半ばに２度目の AI 冬の時代に突入しました。次の第３次 AI ブームは、2000年代半ばから始まり、現在に至っています。この第３次 AI ブーム
では、ニューラルネットワークを用いた機械学習の研究と種々のサービスの೘ྙ૜஦ؔ૜
ड़ྙ૜AI 化が進んでいます。ニューラルネッ
図１ ニューラルネットワーク

福島の進路 2019. 941

私の研究
トワークとは、脳の多数の神経細胞において信号が伝わる仕組みをまねていることから名前が付けられています（図１）。（この図１では、中間層のノードが２つのみ図示されていますが、一般的には多数のノードが準備されます。）
ここで、機械学習とは何を意味するのか簡単に触れておきます。まず、ニューラルネットワークのたくさんのエッジ（矢印）にパラメータが割り当てられており、値は事前に決まっていません。
そして、それらのパラメータを使ってプログラムを準備します。次に、あるお手本となる事象の入力データをプログラムに読み込ませ、出力データが元々の事象の正解に近づくよう、コンピュータは自動でパラメータを決めるように動きます。この一連のプログラムの動きを機械学習と呼びます。
その第３次 AI ブームの中で、特筆すべきできことは、2012年、世界的な画像認識のコンペ
ティション「ILSVRC」において、トロント大学教授のジェフリー・ヒントン氏が、ニューラルネットワークの中間層を多層化した深層ニューラルネットワークを用いて効率的に学習させる方法、ディープラーニングを提案し、優勝したことがあげられます。東京大学大学院工学系研究科人
工物工学研究センター教授の松尾豊氏は著書の中で「ディープラーニングは人工知能研究における50年来のブレークスルー」と評価しています２）。
このディープラーニングの出現により第３次 AIブームが本格的に到来したともいえます。ディー
プラーニングが従来のニューラルネットワークを用いた学習方法と違うところは、入力データとして扱う物の特徴を学習によって自ら見つけ出すことができるところです。従来のニューラルネットワークを用いた学習では、例えば、ひまわりとバラを見分けるために、花びらや色に注目しなさい、と注目すべき特徴を人間が指定する必要がありました。これが、ディープラーニングでは、入力データとして大量の画像を準備することで、様々な画像のデータを「ディープニューラルネッ
トワーク」において「誤差逆伝播法」あるいは「バックプロパゲーション」という手法で各層のパラメータが調ਕ޽எ೵整され、画像の特徴を自ら見つ‫ؽ‬փָस
け出すことに可能になりました。ただ、現実υΡʖϕϧʖωϱή
社会において、ディープラーニング以外の手法
図２ 人 工 知 能 と 機 械 学 習 とを用いた人工知ディープラーニングの関係

42

福島の進路 2019. 9

能も存在しています。人工知能＝ディープラーニ
ングではないことを図２に明示しました。次に、ディープラーニングの特徴でもある「ディープニューラルネットワーク」と「バックプロパゲーション」について簡単に概説します。

３．ディープラーニングの特徴

ディープラーニングの特徴として、「ディープニューラルネットワーク」と「バックプロパゲーション」が挙げられます。図３は簡単にディープニューラルネットワークを模式的に表した図です。
通常のニューラルネットワークとの違いは中間層が多層になっている点が挙げられます。

૜͹஦ؔ૜೘ྙ૜

図３

ड़ྙ૜ディープニューラルネットワーク

このディープニューラルネットワークの多くのエッジ（矢印）には、それぞれパラメータが付随しています。例えばひまわりの画像をひまわりだと学習する際には、学習するための正解データ（これを教師データと呼びます）を多数読み込ませ、ひまわりの特徴が一連のパラメータセットとして決定されることで学習が進みます。これを「教師あり学習」と呼びます。学習させる画像が多いほどパラメータセットの精度は高くなります。
一方、特徴を強く学習しすぎて、例えばひまわりの画像以外は認識できなくなるような過学習状態になる場合もあるので注意が必要です。そういう場合は、ニューロンの一部を利用しない Dropout（ドロップアウト）という中間層の約50％程度のノードを使わないようにして学習することが有効だと知られています。（この他にも過学習に対して有効な手法は存在します。）結果的に、パラメータのセットが決定されれば、次に、ひまわりのテスト画像を読み込んだ際に、ディープニュー
ラルネットワークで抽出されるひまわりの特徴が、ひまわりについて学習した後のひまわりのパラメータセットに一致することが自動で確認されるため、正解の出力に到達するのです。一方、最初から正解データ（教師データ）を与えない場合、すなわち、入力データの中から AI が自ら特定のパターンや共通ルールを自動で見つけ出すことも可能になっています。これは「教師なし学習」と呼ばれます。近年では、クラスター分析や主成分分析のアルゴリズムを駆使して学習させる研究が私の研究進んでいます。「バックプロパゲーション」とは、こうした学習でパラメータを決める際に用いられるアルゴリズムの手法のことです。もともと、教師あり学習では、サンプルデータとして正解データがピクセル単位で存在しています。簡単に各中間層のパラメータが決まる手順を概説すると、以下のようになります。
① 学習データを読み込ませ正解データとの誤差の総和が得られる。
② 出力データの誤差が最小になるように各中間層のパラメータを求めるためには、まず初めに、最終段階の出力データによる誤差の微分を計算する。
③ 次に、一つ手前の中間層へ戻り「②」を用いることで一つ手前の中間層のパラメータが決まる。
④ ③を繰り返す。すなわち一つ手前の層の出力データで誤差を微分していき、これを入力層へ到達するまで実行する。
このような手法でパラメータが決定されるアルゴリズムは、出力層のうしろから誤差が前へ逆伝播していくように計算されるため「バックプロパゲーション」と呼ばれています。かなり簡略化して説明しているために、具体的な手法や計算は参
考文献をご覧ください３）４）５）６）。

４．ディープラーニングを物理学からみた場合このようなニューラルネットワークに基づく機械学習、さらにはディープラーニングを情報理論的な側面から見た場合、情報理論と物理学との関係性を用いることで、機械学習を物理学へ応用する研究が近年多くみられるようになってきています。これらの関係性をヒントに、ディープラーニングが相転移や超弦理論へ応用できる理論的なメカニズムが物理学的または情報理論的に解明されることが望まれています。情報理論の観点から機械学習をみると、基本的にはシャノンの情報エントロピーを出発点とし、機械学習の結果、統計的に生成確率が生起されるところに着目し、理想的な確率が得られる場合のエントロピーと実際の学習後のエントロピーの差を「相対エントロピー」としてとらえることができます７）。相対エントロ
ピーには学習で決定されるパラメータが存在し、学習でパラメータを決定することで相対エントロピーを「汎化誤差」とみなせます。一方、実際には、理想事象のエントロピーは誰にも分からないので、その場合、学習後のエントロピーの差を「経験誤差」と呼びます。現在、これらの汎化誤差と経験誤差の関係性（不等式）が導かれていますが、その関係性のみでは、現実的に特にディープラーニングがうまくいく結果をリーズナブルに説明することは困難であることが知られています。
汎化性能の保証を数学的に示すことができれば、機械学習と物理学との関係性が鮮明に見えてくる可能性があると期待されています８）（論文等の文献も８）を参照）。私は、過学習を防ぐためのDropout などの操作を、自発的に発生する（すべき）メカニズムだとし、物理学的にディープラーニング理論の中に構築することができれば、汎化の謎に少しでも近づくことができるのかもしれないと考えています。

参考文献１）青木健一，藤田達大，小林玉青．『深層学習は統計系の温度推定から何を学ぶのか』．人工知能学会誌，33，420－428，2018．
２）松尾豊．『人工知能は人間を超えるか』．角川
EPUB 選書021，2015．
３）東中竜一郎．『おうちで学べる人工知能のきほん』．翔泳社，2017．
４）我妻幸長．『はじめてのディープラーニング』．
SB クリエイティブ，2018．
５）斎藤康毅．『ゼロから作る Deep Learning』．
オライリージャパン，2016．
６）『人工知能のすべて』．Newton，2019年09月号，ニュートンプレス，2019．
７）E. Witten．
“A Mini-Introduction To InformationTheory”．arXiv preprint arXiv：1805．11965，2018．
８）田中章詞，富谷昭夫，橋本幸士．『ディープラーニングと物理学』．講談社，2019．

＜プロフィール＞
1965年 福島県生まれ、1990年 茨城大学理学部卒業、1994年 茨城大学大学院理学研究科
物理学専攻修了、1998年 金沢大学大学院自然科学研究科物質科学専攻修了、博士（理学）。㈲西尾システムコンサルタント 非常勤研究員、株式会社住友重機械工業 総合技術研究所と共同で数値流体シミュレーション研究を経て、1999年 七尾短期大学 講師、2003年 同 助教授、2004年 福島学院大学短期大学部情報ビジネス学科 助教授、2007年
同 准教授。現在に至る。専門は素粒子論、情報理論、機械学習、経済物理学。

福島の進路 2019. 943