シリー ズ

人工知能と物理学

変わりゆく機械学習と変わらない機械学習神嶌敏弘〈産業技術総合研究所

mail＠kamishima.net〉
4

数年前から，人工知能や機械学習について目立った成果が取り上げられるようになった．日本では，バブル崩壊後あたりから撤退する企業が相次ぎこの分野は長く冬の時代であったのに対し，海外では堅実な研究が続けられていた．その研究が実り，コンピュータ
囲碁は人間のトッププロに勝つようになったり，機械翻訳や音声認識がその精度を大幅に向上させるといった成果に繋がった．一方で，マスコミの情報では，機械学習があたかも魔法の杖であるかのような過剰な印象を与えているとも思う．以下では，現状の機械学習は
どのようなもので，何が今までと違い，何が変わっていないのかを論じる．

1.

はじめに

マスコミでは，コンピュータ囲碁が人間のトッププロにというときには，何か特定の側面を重視し，他を無視することを伴うという醜いアヒルの子の定理である．

勝てるようになったことや，機械翻訳の大幅な精度向上な

前節の理論面の制限をふまえ，6 章では，機械学習を用ど，人工知能や機械学習について目立った成果が取り上げ

いて問題解決を行うことの難しさについて述べる．一つ目

られている．そのため，人工知能・機械学習技術が，あたは，本当に達成すべき目標を定式化することの難しさ，二かも魔法の杖であるかのような，行き過ぎた印象を与えてつ目は，問題自体が明確に定義できないという不良設定にいるかもしれない．そこで本稿では，現状の機械学習はど

伴う難しさ，そして最後は，問題を解決するのに必要なのようなもので，何が今までと違い，何が変わっていない

データを過不足なく集めることの難しさである．これらののかを伝えたい．

難しさはずっと残ってはいるが，それでも 4 章で紹介した

2 章で機械学習の定義とデータ分析の処理について簡単

技術の進展によって，その応用範囲は広がっている．これに紹介する．3 章では，人工知能に関連する計算機科学のらの自然科学への応用事例を 7 章で紹介する．自然科学分

中で，データ分析に関連した研究分野である，学習理論，

野での機械学習技術の利用についての私見を最後に 8 章で機械学習，データマイニング，およびニューラルネットが述べて締めくくりとしたい．

どのような位置づけにあるかを紹介する．その後，妥当性，
有効性，および効率性の三つの観点について，データ分析
関連の 4 分野がどの観点を重視しているのかを紹介する．
4 章では，変わりゆく機械学習として，現在に至るまでの進展の過程と，ここ 20 年での変化を紹介する．その前に，人間のトッププロに勝利した囲碁ソフト Alpha GO を例にとり，この成果が，大きなブレイクスルーによって成されたのではなく，いくつもの地道な研究成果の積み上げの結果なしえたものであることを紹介したい．その後，2000 年まで，2000 年代，そして 2010 年代の三つの時期に分けて

2.

機械学習とは機械学習の定義はいろいろ試みられているが，サミュエ

ル（A. L. Samuel）が 1959 年に一般紙に対するインタビュー
として述べたものはよく引用されている．
The ﬁeld of study that gives computers the ability to learn
without being explicitly programmed.
明示的にプログラミングすることなく，コンピュータに学ぶ能力を与えようとする研究分野

機械学習の進展の様子を紹介する．2000 年まででは，デー

コンピュータの動作をすべて人手で作り上げたプログラム

タ分析に関連する各分野の起源を紹介し，1980 年代に生によって決定する代わりに，問題に合わせて選んだ手法と，じた演繹から帰納へのパラダイム転換について述べる．

データを例示として与えることにより，利用者が望む動作

2000 年代では，ビッグデータというキャッチフレーズが実を引きだそうとする試みである．

業界では用いられたが，実際の学術的には何が変わったの本稿で扱う機械学習がどのようなものかを示すために，かを述べたい．2010 年代では，現在も話題になっている深教師あり学習の枠組みを簡単に紹介する．教師あり学習

層学習について紹介し，その可能性と限界について論じる．

（supervised learning）とは，各訓練データごとに，その判5 章では，変わらない機械学習として，機械学習の本質

断結果である教師情報を付加する問題設定である．図 1 のに関わる三つの基本概念を紹介する．一つ目は，まだ見た

左枠の最初の訓練データでは，リンゴであるかどうかの判ことのない事柄について予測を正確にするという汎化誤差

断結果として「はい」の教師情報を，次のデータでは「いという規準，二つ目は，ただ一つの機械学習手法で，ありいえ」の教師情報を与えている．この訓練データから，入とあらゆる状況に対応できる方法は存在しないというノー力と予測結果の間の規則性，すなわち写像を獲得すること

フリーランチ定理，最後は，ものごとをある概念に分けるが学習段階の目標である．そして，判断結果が与えられてシリーズ「人工知能と物理学」 変わりゆく機械学習と変わらない機械学習5©2019 日本物理学会

図1

教師あり学習．

図3

人工知能・機械学習分野の国際会議マップ．*1

習と呼ばれる分野についてその概要を述べる．最初に，各
図2

データ分析の処理．

種の人工知能技術の中で機械学習がどのような位置にあるかを紹介しておこう．図 3 は，人工知能技術に関連する国

いない入力が与えられると，学習段階で得た写像を利用し際会議を分野ごとにまとめたものである．分野の重複を枠て，判断結果を得る．この図では，ある果物について写像で囲って示してあり，各分野の名前は斜体で示してある．

を適用すると「はい」という判断結果が予測されている．

基礎・理論に関する分野を上方に，これらの基礎分野に依

このように，機械学習は予測という段階を主に扱う．

存した応用分野を下方におおまかに配置してある．この図

ここでは，データ分析の処理を図 2 のように，記述・探中で機械学習に関連する分野は学習理論（learning theory），

索，検証，および予測の三つに分けて考えてみよう．最初

機械学習（machine learning），データマイニング（data min-の記述・探索は，取得してきたデータを俯瞰して把握するing），およびニューラルネットワーク（neural network）のためのものである．データの平均を計算するといった記述

4 分野である．人工知能技術の中で機械学習関連分野は他

統計と呼ばれるものを計算したりする単純なもの，グラフの分野で利用される基礎技術を扱うことと，様々な応用的などを描画する可視化手法，そして一定の条件を満たす記な人工知能技術は機械学習技術に依存していることが見て述，例えば，データ中で高頻度で現れるパターンを列挙す取れるだろう．

るという複雑なものまでが含まれる．これらの処理によっ

機械学習関連の 4 分野についてもう少し詳しく見てみよて，後の検証や予測の段階での処理を容易にしたり，デーう．これらの分野は，データを例示することで所望の動作

タの表す事象についての仮説を立てたりする．データに特を得ようとする点では共通している．しかし，いろいろな定の性質があるかどうかといった仮説を検証するのが次の問題に一般的に成立する性質に関心がある数学のような形段階である．各種の統計的仮説検定は検証の中心的な存在

式科学と，特定の具体的な問題についてその効率を向上さであり，他にも因果推論がこの役割を担う．最後の機械学せることに関心がある工学のような応用科学の両方の側面

習は主に最後の段階である予測を担当する．統計分野の回が機械学習にはある．そして，学習理論，機械学習，そし帰分析などの手法でも予測は行うが，それよりデータ分析てデータマイニングの順に応用科学への関心が強くなる．

の観点からはさらに予測に特化したものといってよい．重

学習理論では，機械学習がはたして可能なのか？

要な点は，これらの三つの段階に応じて適切な処理手法をとすればその条件は？

選ぶ必要があり，機械学習は万能なデータ処理手法という厳密に議論する．機械学習分野では，学習理論での保証にわけではないことに留意されたい．

基づいて，抽象化された問題を解く計算手法であるアルゴ

できるといったことを数理的に記述してリズムを開発する．データマイニング分野では，実世界の3.

研究分野としての機械学習

問題を，機械学習分野で開発されたアルゴリズムを適用で

ここでは，研究分野としての機械学習を概観する．前半

きるような問題に抽象化したり，またより効率的にしたりでは，機械学習を含む人工知能分野がどのような研究分野することに関心がある．残るニューラルネットワーク分野で構成されているかを述べる．後半では，特に機械学習には，歴史的経緯から他の機械学習関連分野とは異なり，理関連した分野に関し，どのような違いがあるのかを紹介す

論面から応用面までがニューラルネットという手法を通じる．

てコミュニティを形成している．

3.1

人工知能分野における機械学習研究の位置づけ

ここでは，広範囲にわたる人工知能技術のうち，機械学
6©2019 日本物理学会

*1 配布先：http://www.kamishima.net/jp/kaisetsu/
日本物理学会誌

Vol. 74, No. 1, 2019

3.2

機械学習関連各分野の研究指向

前節のように機械学習研究はいくつかの分野に細分化されている．おそらくどの学問の分野においても，細分化さ効率性も考慮する．分野としての機械学習は有効性と妥当性の中間的な立場にあり，データを扱う基盤となるデータ
ベース分野では効率性を重視する．

れた分野の指向の違いは，他分野の研究者には分かりにく以上のように，多くの分野に細分化されてはいるが，いものと思う．そこで，やや私見も入るが，これらの指向

データ分析研究のめざすところは究極的には同じである．

の違いを述べてみたい．

ただ，そこに至るまでの道筋として異なるものを思い描い

図 4 は，文献 19 から知見を得て，データ分析で重視すていると見るのが適切だろう．妥当性・有効性・効率性のる三つの観点を示し，これらのデータ分析の各分野との関三つは，一つを重視した設計をすると，他の点は悪化する係を著者が示したものである．妥当性とは予測の根拠がいというトレードオフの関係があり，なかなか同時には改善かに確かであるか，有効性とは予測がいかに正確であるか，することはできていない．自然科学が，理論と実験の二つ

そして効率性とはいかに大規模なデータを高速に処理できの側面から一つの自然の原理を追求するように，これら三るかということを表す．

つのいずれの観点でも優れた結果を得られるようにできる

自然科学にも理論と実験があるのと同様にデータ科学にもこの二つの側面がある．理論面では妥当性を重視し，たようにすることが，データ分析研究の究極の目標といえるだろう．

とえば何ができれば予測できたといえるのか，予測するとはそもそも何をすることなのかといった原理的な事柄に関心がある．実験面では有効性や観測データを重視し，将来

4.

機械学習の進展

この節では，変わりゆく機械学習として，この分野がどのデータをよりうまく予測することに関心がある．前者ののように進展してきたのかを紹介する．機械学習関連研究立場の方がより多くの場合で確実な予測，すなわち大きくの大まかな流れを図 5 に示した．大きな転換点は 80 年代は外れないことを重視するが，後者の立場の方がより多くにあるが，その前後を含めた 2000 年末まで，2000 年代のの場合で正確な予測をすることに重きをおく．

ビッグデータ時代，2010 年代の深層学習の隆盛に分けてさらに，計算機科学には，原理を明らかにしようとする
科学の側面と，効率化をめざす工学の側面もある．データ

紹介する．
4.1

Alpha GO への道のり

分析では，予測に関して数式などを用いた形式的な表現で機械学習の歴史について述べる前に，機械学習が急速に議論を進めるのが前者の立場である．一方で，理論上はす注目を集めてはいるが，その研究は長い間の積み上げによぐれた性質を備えた化学物質があっても，それを実際に合るものであることを少し述べておきたい．そこで，機械学成できるわけではないのと同様に，数式があっても，実際

習・人工知能の大きな成果として計算機科学の関係者のみの計算機で計算できるわけではない．大量のデータを扱っ

ならず，一般のニュースなどでも広く注目を集めた Alpha

たり，複雑な計算をするには工学的な工夫が必要である．

13）
GO を例として取り上げたい．

科学の側面では妥当性・有効性を，工学の側面では有効性・効率性を重視することになる．

Alpha GO はコンピュータ囲碁ソフトであり，2016 年に人間のトッププロに勝利した．囲碁のような対戦ゲームは，

図 4 に戻り，妥当性，有効性，および効率性の三つの観ルールが明確であるため，人工知能技術に比較的向いてい点のうち，各分野がどれを重視しているかを示した．統計る．そのため，いろいろな人工知能技術の実験台となってや学習理論は予測や検証の確実性に関心があり妥当性を重きた．こうした経緯から，生物学でハエが代表的な実験動視する．データマイニングは実用上の効果に関心がある．

物であることになぞらえて「人工知能研究のハエ」などとニューラルネットワークは歴史的に実験的な成果が先行しも呼ばれる．チェッカー，バックギャモン，チェスなど様々ており，有効性を重視している一方で，近年ではこれらのな対戦ゲームがあるが，その中でも囲碁は群を抜いて複雑目的を達成するために大規模化が必要になり，結果としてで，ゲームを対象とした研究の究極の目標の一つとされてきた．
囲碁はおおまかにいうと，互いに盤上に石を並べてゆき，

図4

機械学習・ニューラルネットワーク分野の指向．

シリーズ「人工知能と物理学」 変わりゆく機械学習と変わらない機械学習

図5

機械学習・ニューラルネットワーク分野の進展．

7©2019 日本物理学会

自身の石で囲った領域の多い方が勝ちになるゲームである．

機械学習は，その起源が人工知能分野にある．1953 年の計算機に囲碁をさせるには二つの課題がある．一つは，今ダートマス会議で「人工知能」という名称を考案したマッの状態が，自身にとってどれくらい有利かという形勢判断

カーシー（J. McCarthy）によれば，アナログ・フィードバッ

である．盤上の領域をどちらの陣営が囲みつつあるのかは

クに基づくサイバネティクスなどとは異なり，生体のモデ

不明瞭なので，他の対戦ゲームと比べて囲碁の形勢判断はル化ではないという意図が「人工」という語には込められ難しい．もう一つの課題は，互いに手を打っていったそのている．10） 同様に，ニューラルネットワークのように生体先の展開を予想する先読みである．囲碁は他のゲームよりを模倣するというより，機械学習は論理・数学・統計を基

各手番での選択肢は多いため，2 手，3 手と先読みをしよ

盤に発展してきた．

うとすると膨大な数の局面を考えなければならなくなる．

50 年代後半〜70 年代のニューラルネットワークでは，

この二つの課題にどう取り組んでいったかを見てみよう．

1958 年にはローゼンブラット（F. Rosenblatt）によるパーセ

形勢判断は，最初のころは，人間が内省に基づいて得たプトロンが開発され，第 1 次のニューラルネット黄金期が知見を計算機に組み込むことが一般的だったが，その知見始まる．しかし，1969 年にミンスキー（M. Minsky）らにが複雑になりすぎて人間では対処できなくなった．そこで，よりパーセプトロンの限界が示され，その研究は下火に形勢の有利不利の判断と盤面との対のデータを大量に準備なった．一方の人工知能分野では，蓄えた知識から新たなすることで，複雑な形勢判断の規準を自動的に機械学習で結果を導く演繹による問題解決がこの時期には重視されて獲得するようになった．しかし，今度はデータを大量に準いた．それでも，チェッカーというゲームについて，デー

備することは難しく，形勢の有利不利が曖昧な序盤では特タから規則性を導き出し，帰納的な機械学習の有用性を示に問題となった．これには，テサウロ（G. Tesauro）が 1995

した，サミュエルによる結果はあった．12）

年に考案した，計算機上で自身の分身と対戦を続けること

その後 80 年代中頃まで，演繹を中心とした人工知能研

でデータを集める自己対戦が強力であった．Alpha GO が究は進展するが，そこで使う知識を集めたり記述したりす行った自己対戦は，3000 年の囲碁の歴史上で行われた人ることが難しいという知識獲得ボトルネックという問題が間同士の対戦数を圧倒的に凌駕している．そして最後に，生じた．この問題に対処するため，人間が与えた知識に基局地的なせめぎ合いと同時に，盤面全体を見渡すことを同づく演繹から，データから帰納的に知識を獲得する機械学時に扱える畳み込みニューラルネットワークの採用により，習へのパラダイム転換が生じた．別の言い方をすれば，明

正確さは人間を上回るようになった．

確に定義されていない問題を解決するプログラムを作成す1997 年にチェスの世界チャンピオンに勝利した Deep

る代わりに，明確に定義された数学的タスクを解くアルゴ

Blue では，高速な計算機が，先読みに関して重要な役割

5）
リズムの設計をするようになった．
同時期に不確実な実を果たしたが，囲碁は非常に複雑なため他にも対策が必要

世界に対応するため Uncertainty AI という会議が始まるなであった．その対策は意外なもので，決着が付くまでサイ

どして，機械学習は統計学の要素を取り込んで統計的機械

コロを振って適当な所に打ち続けてみるというモンテカル

学習へとその主流が移っていった．

ロ碁という方法であった．しかし，さすがにこれではあま

この時期のニューラルネットは，1986 年のラメルハー

りに非効率的なため，より効率的に探索できるバンディット（D. E. Rumelhart）らのバックプロパゲーションの開発

トという枠組みを取り込んだ手法が登場した．さらに Al-を契機として，多層化による非線形性を獲得した．このた

pha GO では，どの手筋を深く先読みすべきかどうかの判め，パーセプトロンの限界は弱点とはならなくなり，2 度

断についても，自己対戦で集めたデータに機械学習で獲得

目の黄金期を迎えた．しかし，最適化の困難さの問題は依した規則性を活用している．

然として存在しており，1990 年代中頃には，非線形性を

以上のように，何か大きなブレイクスルー一つで，トッ

備えつつも最適化が容易なヴァプニック（V. Vapnik）らに

ププロレベルの囲碁ソフトができたわけではない．何段もよるサポートベクトルマシンにとって代わられていった．

巨人の肩に乗りながら，成果を積み上げることで注目され

4.3

る結果に繋がったという見方が適切である．
4.2

2000 年までの経緯

2000 年代のビッグデータ時代

2000 年代には「ビッグデータ」という言葉と共に機械学習が注目された．ビッグデータという語は実業界でのそれでは，機械学習の進展に話題を戻し，まず 2000 年

キャッチフレーズであるため，学術的な定義はなく，文脈までの大まかな流れを述べておく．図 5 では，ニューラル

によって様々な使い方をされている．元来は 1997 年に当

ネットとそれ以外を二つの流れとして示したが，その源流

時の 32 bit という規模の計算機ではなく，さらに大きなが異なっているためである．ニューラルネットの理論的基

データを扱える 64 bit の計算機が必要になるといった意味

盤は 1943 年の McCulloch-Pitts モデルの提案にまでさかので使われ始めた．それが，2000 年代になると，計算機上ぼれるが，これは最初のコンピュータである ENIAC の登のメモリでは処理できないほど大きなデータ，そしてそれ場よりも前である．名前の「ニューラル」が示すように，ほど大規模なデータの代表として Web を通じて収集され脳の神経細胞を参考にした数理モデルである．もう一方のるデータという意味で使われるようになった．

8©2019 日本物理学会

日本物理学会誌

Vol. 74, No. 1, 2019

ビッグデータという語自体はただのキャッチフレーズに個々の利用者の個人情報を暗号化して秘匿したままプライ

すぎないが，この時期には大規模なデータを扱う技術の進

バシーを保護して学習する方法や，スパムメールのフィル展があった．この時期の計算機は，単体での性能向上に限タを突破するなど敵対的な行動があるときの機械学習の安界がみられるようになり，より大規模で高速な計算を望む

全性など，社会的要請に対応する枠組みも考案された．

には複数の計算機を使う必要が生じた．そのため，複数の4.4

2010 年代の深層学習の登場

計算機を利用して計算を行うためのデータ管理技術である2010 年代は深層学習（deep learning）と呼ばれる手法が

MapReduce が開発された．だが，前回の計算結果を繰り返注目されている．6） 1990 年代中頃のサポートベクトルマシ

し改良するという逐次的な計算は，単純に複数の計算機をンの登場により，急速にニューラルネットは注目されな使うだけでは処理できなかった．これに対しては，確率的くなった．しかし，ヒントン（J. Hinton）やベンジオ（Y.

勾配法と呼ばれる以前から存在する方法が，予測と最適化

Bengio）らは，この不遇の時代にも忍耐強く改良を続け，の誤差をまとめて扱うというアイデアにより，大規模デー

様々な要素技術により深層学習という手法を実用化し，現タを扱う手法として脚光を浴びることとなった．この方法

在の隆盛をもたらした．2006 年にヒントンらが提案したにより，データをまとめて計算機上に読み込む必要がなく事前訓練という手法をその端緒とすることが多いが，現在

なり，記憶容量の制限が大幅に緩和されて，飛躍的に大規

はあまりこの方法は用いられていない．2011 年には音声

模なデータを扱えるようになった．

認識で顕著な成果を示し，2012 年では画像認識の性能をまた，機械学習が処理できるデータの規模の拡大は，分析の質にも影響を与えた．このことを表す国際会議
KDD2012 でのパネルでのファルトス（S. Faloutsos）の言葉を紹介する．
signal＋noise → signal＋weaker signal＋noise

競うコンペティションで他の手法に対し圧倒的な性能を示
し，一気に注目された．
深層学習の特徴は，その名が示すように，既存のニュー
ラルネットと比べて，神経細胞を模した関数を超多層に構成していることである．理論的には 3 層あれば任意の関数の写像を学習できることが証明されていたことや，超多層非常におおまかな見方をすれば，データ分析とは，データのニューラルネットはその学習が困難と信じられていたたを説明できる signal と，説明できない noise により分ける

め，このような超多層ニューラルネットは用いられてこなことである．すなわち，確定的にその挙動を記述できる部

かった．しかし，超多層の方が実際には学習が容易であり，分と，確率的な挙動を確率分布で表現する部分とに分ける

またその実験的な予測精度も優れていることが発見された．

ものである．現在では大規模データを十分に処理できるよ

その他，バッチ正規化，ReLU 活性化関数，確率的勾配法

うになったことにより，今まで signal と明確には分からなの改良など要素技術の改良もあり，数百〜数千層のモデル

かったため noise とみなしていた weaker signal も取り出せを扱えるようになった．画像処理では 1980 年の福島らのるようになった．典型的なビッグデータとされる Web の

畳み込みニューラルネット，音声認識や自然言語処理では閲覧履歴などは，従来の規模では性別ごとなどグループの1997 年のシュミットヒューバー（J. Schmidhuber）らによる，挙動は検出できたが，個人ごとの挙動は検出できなかった．

時系列予測用の LSTM という既存のネットワーク構造が，これが大規模データの処理技術により変わったというのが，超多層モデルを取り込んで活躍するようになった．

この時期のデータ分析の変化といえよう．

さらには，モデルの新しい利用方法も開発された．一つ

さらには，大規模データを扱えるようになったこと以外

は，サツケバー（I. Sutskever）らによる end-to-end や encod-にも，様々な技術の進展があった．ベイズ推定という手法

er-decoder と呼ばれる方法で，入力とそれに対する出力のは，予測の不確実性を扱えるという大きな利点があったが，対を大量に準備できれば，その対応関係を獲得できる．例

複雑な計算が必要であったためその適用範囲は限られていえば，日本語文とその英語翻訳文を大量に準備することで，た．だがこの時期，グラフィカルモデルの一般的な解法，

日本語文を対応する英文に変換できるようになり，日英の変分ベイズ，マルコフ連鎖モンテカルロ法，ノンパラメト

機械翻訳の精度は大きく向上した．他にも，グッドフェ

リックベイズなどに多くの成果があり，比較的簡潔な方法

ロー（I. Goodfellow）らによる敵対的生成ネットワークもで分析モデルを指定すれば計算が可能となり，ベイズ推定

よく研究されている．例えば，ゴッホ風の絵などをいろいは広く用いられるようになった．また，多数の予測器を組ろ生成するといったことに利用されるもので，実際のゴッ

み合わせてより高精度の予測を行うアンサンブル学習は，

ホの絵と区別の付きにくい画像を生成しようとする生成器

90 年代末に理論面で大きな飛躍があり，2000 年代には広くと，実際のゴッホと生成器の作った偽ゴッホを見分けよう普及した．一部のデータにのみ教師情報がある状況を扱うとする識別器を競わせるという仕組みである．

半教師あり学習や半教師ありクラスタリング，またデータ

これらのモデルを計算する基盤技術にも変革があった．

が少ないときに類似した分野のデータを活用する転移学習，

一つは，GPU と呼ばれる元々はコンピュータ・グラフィッ

対象の順序関係を予測するランキング学習などの，機械学

クス用に開発された装置を数値計算に利用する GPGPU で習の適用範囲を広げる枠組みの開発もあった．さらには，ある．2007 年にその基盤技術が公開されていたが，反復シリーズ「人工知能と物理学」 変わりゆく機械学習と変わらない機械学習

9©2019 日本物理学会

計算の多い深層学習には欠かせないものとなり，急速に広をリンゴと識別してしまったりする誤りの程度のことを機まった．また，計算グラフや自動微分と呼ばれる技術も普械学習での「誤差」という．すなわち，汎化誤差とは見た及した．計算グラフは，ある量 X を計算するには Y と Z がこともない場合についての誤りの程度ということである．

計算済みである必要があるといった依存関係を記述したもこの汎化誤差をできるだけ小さくすることが機械学習のので，これを計算機に与えれば複雑な計算が高速にできる目標であるのだが，これは容易ではない．なぜなら，機械ようになった．さらには，計算グラフで示した数式を解析学習の扱う問題が不良設定問題と呼ばれるものだからであ的に微分した導関数の，ある入力に対する出力値を自動的る．この逆は良設定問題といい，例えば素数を見つけるとに計算するのが自動微分という技術で，複雑な関数の勾配

いった問題であり，見つけた数が素数かを検証する規準がを容易に計算できるようになった．

明確である．それに対し，リンゴであるということは，全数々の成果と共に，深層学習には不向きな問題も明らかてのリンゴのデータを集め尽くすことはできないので，規になってきている．深層学習は画像処理や音声認識などパ

準が不明確で形式的に厳密には検証できない．機械学習を

ターン認識と呼ばれる分野では非常に得意である一方で，利用する場合には，その結果になんらかの不確実性がある

機械翻訳もその精度を非常に向上させはしたが，言外に示ことを念頭におく必要がある．

される状況は扱えないなどの問題が見つかっている．また，

このことは，観測した事実を一般的な知識に拡大解釈す

うまく動作させるには不確定な要素があり結果の再現性がる帰納論法の限界であるため人間でも問題になる．例えば，

問題になったり，挙動に説明を与えることができなかった

ニュートン力学ではほぼ光速である場合や量子の振る舞いりもする．また，なぜ深層にすることで学習が容易になるを説明できないので，相対性理論や量子力学が必要になっのかという現象を解明するといった理論面の研究は応用面

たのは，この限界によるものである．

ほど進んでいない．いずれにせよ，深層学習は有力な技術

5.2であり，深層学習自体の改良や，他の技術との組み合わせが進んでゆくであろう．

ノーフリーランチ定理

ノーフリーランチ定理 17）は，ある予測問題について手法 A が B より汎化誤差に関して性能が良かったとしても，
手法 B が A より良くなるような別の予測問題が必ず存在

5.

機械学習の基本概念することを示す．どの手法も他の手法より常によいという

ここでは，変わらない機械学習として，機械が学習することはあり得ないことになり，多くの機械学習手法を考案とはどういうことかという普遍的な問いについての研究にする必要が生じる．逆に，解こうとする予測問題について関して述べる．物理でいえば光速以上では運動できないと事前に情報があれば，それを活かした手法が有利になるのいったことと同様の不可能性に関わる三つの根源的な機械で，問題に合わせて手法を構築したり選択することが重要

学習の概念として，汎化誤差，ノーフリーランチ定理およになる．

び，醜いアヒルの子の定理を紹介する．この汎化誤差といこのノーフリーランチ定理のため，機械学習を用いるにう規準を目標として機械学習の手法を設計するのだが，直は，解こうとする問題についての専門的な知識も必要にな

接的にはこの汎化誤差を測ることはできない．ノーフリー

る．例えば，日本語で文を単語に分ける問題のことを形態ランチ定理は，機械学習の手法にはただ一つのあらゆる状

素解析という．この形態素解析は，当初は専門家が言語学況に対処できる完全な方法はないことを示す．醜いアヒル

上の知見を計算機で処理できるように手作業で変換していの子の定理は，ものごとをある概念に分けるというときにた．しかし，様々な文脈に対応できるようにしていく過程

は，必然的にそのものごとの特定の側面を重視し，他を無で，この作業は人手で行うには複雑になりすぎてしまった．

視することを伴うというものである．注意すべきは，ここ

そこで，専門家が知見を計算機に直接与えるのではなく，で述べる性質は，形式的証明に基づく不可能性であり，帰知見に基づいて文を単語に分けたデータを準備し，機械学

納的推論の枠組み全般に及ぶものであるため，計算機だけ

習技術を適用する方法が新たに開発された．このように，ではなく人間にもあてはまるものである．

機械学習でも専門的な知見は依然として必要になる．しか

5.1

汎化誤差

まず汎化誤差について述べる．機械学習では，分析しよし，その知見を発見的で経験的な手段により直接的に適用するのではなく，データの整備や結果の分析といった形でうとする対象についてのデータから，そのデータの元と機械学習を通じて活用することになる．

なったものの性質を予測する．例として，図 1 にあるリン

5.3

醜いアヒルの子の定理

ゴの識別問題を再び考えよう．今までのデータにあった，

醜いアヒルの子の定理 16）は，ノーフリーランチ定理と見たことのあるリンゴを与えられたなら，これはリンゴとならんで，機械学習の適用範囲に重要な示唆を与える．こ

して識別できる．しかし，データにあったリンゴと形状はの定理は，対象を表現している全ての特徴を同等に重要と同様だが，色が全く異なる青いリンゴではどうだろうか？

みなす限り，純粋に形式的な観点のみだけでは，他より類

このように見たり，経験したりしたこともない場合にも対似している対象の集まりというものは存在しえないことを処することが「汎化」である．そして，リンゴでないもの示す．逆にいえば，類似した対象が集まったクラスという10©2019 日本物理学会

日本物理学会誌

Vol. 74, No. 1, 2019

の不明確さが二つ目の問題である．三つ目は，機械学習を適用するにはデータを集める必要があるが，利用者が解決したい問題を解くのに必要なデータを過不足なく集めるのは難しいという問題である．これらの点について順に紹介
しよう．
一つ目は，目標の定式化の難しさである．機械学習は，実際に解決したい課題の達成度指標を良くするものである．
このため，機械学習の利用者は，解決したい問題の目標を
図6

アヒルの子の表現例．

十分に把握し，その目標が達成されたときに良くなるような指標を形式的に定める必要がある．推薦システムの例を挙げよう．推薦システムは，ネットで買い物をするときに，ものを実世界で見いだしているならば，対象のある特徴を顧客が好みそうなものを予測して提示したりするために用重視したり，軽視したりしているということであり，どのいられている．しかし，推薦システムの提示する商品が不特徴を重視したり軽視したりするかは形式的な判断の範疇可解であったりなど，何かしら不満を感じることはないだの外で決めているということである．

ろうか？

システムの内部では，過去の購買や閲覧の記録

ここでは定理の概要を直感的に記す．図 6 において，①に基づき，購入する可能性の高さを機械学習を用いて予測は醜いアヒルの子であり，他は普通のアヒルである．アヒしている．本来は顧客の満足度を最大化したいが，これをルの子は，三つの特徴，X1：濃い色か，X2：羽は違う色か，

直接的に形式的指標で表すことはできないため，購入の可X3：頭は違う色かという 3 種類の特徴で表現するものとす

9）
能性というやや違う量で代用しているわけである．
これる．もし一対の対象が，他の対より似ているのであれば，を本来の目標である満足度により近づくように，データをより多くの特徴が共通であると仮定しよう．ここで，①とさらに検証しつつ調整してゆくのは容易な作業ではない．

②では一方が醜いアヒルの子でもう一方は普通のアヒルのこうした調整を行うのが狭義のデータ・サイエンティスト

子であるが，X2 が異なるだけである．一方で，どちらもという職業である．

普通のアヒルの子同士である④と⑤もやはり X2 のみが異

二つ目は，問題が不良設定であることに由来する難しさなるだけである．すなわち，これら二つの対は特徴の点かである．形式的な問題は，公理を定めれば，解くべき問題

らすると同じくらい似ているということである．このことは明確に定義できる．それに対し，5.1 節で述べたように，

はどのアヒルの子の対についても成り立つ，すなわちどの

機械学習が扱うのは，明確には定義できない不良設定問題

対象対の間の類似度も同じになってしまう．このように，と呼ばれる問題である．例えば，画像を見せたときに，そ

純粋に形式的な観点からはどの対象の対も同様に類似してこにチーズが写っているかどうかは，「チーズっぽさ」といることを述べている．

いう量を扱う必要がある．2） 点でしか見えないほど遠方にこの定理により，対象のある側面を重視し他を無視する写っているチーズをチーズといえるのかとか，既にピザのという主観的規準なくしては，分類などの判断はコン一部となったチーズはここでチーズに含めるのかといったピュータも人間もできない．また，特徴選択や次元削減な

曖昧な条件が無限に存在し，「チーズっぽさ」は明確には定ど，一部の特徴を特に重視する操作が機械学習にとって本義できない．このような不良設定問題では，明確な定義の質的であることをこの定理は示唆している．

代わりに例示をするしかなく，機械学習を用いて問題を解いたとしても何らかの不確実性が残ることは避けられない．

6.

機械学習活用の難しさ

この不確実性を前提とした利用には，やはり困難が伴う．

ここでは機械学習手法を用いた問題解決という工学的側

三つ目は，適切な訓練データを集めることの難しさであ面についてふれたい．前節で紹介した基本概念は，当然なる．機械学習は，基本的にデータからの帰納にほぼ完全にがら手法を使う場合にも制限をもたらすため，機械学習は依存しているため，利用者が解決したい問題にとって過不銀の弾丸とはならず，その利用には困難を伴う．そうした，

足のない情報を含んだデータを準備しなくてはならない．

機械学習を活用する上での難しさをここでは 3 種類挙げる．

不適切なデータとなってしまう原因として leakage と標本

基本的なこととして，人間が達成したい課題を機械学習

選択バイアスを紹介しよう．leakage とは，実際に運用すで良くしたい指標と一致させなくてはならない．しかし，るときには使えない情報を機械学習の訓練データに含めて利用者が達成したい目標を明示的に把握できていない場合しまうことである．11） 例えば，マンモグラフィデータからが多いなどの理由で，一致させるのは難しい．これが一つの癌予測のコンペティションで，状態に応じて患者に ID

目の問題である．利用者が問題を明確に把握できていない

番号を割り振る医療機関が多く，この ID 番号を利用すると述べたが，そもそも問題が解消できたかどうかが不明瞭

ことで好成績を得ていた．しかし，この ID 番号から得たな問題を扱うのが機械学習でもある．この，解くべき問題

医療機関の情報は実際にこの手法を使うときには得られなシリーズ「人工知能と物理学」 変わりゆく機械学習と変わらない機械学習

11©2019 日本物理学会

い情報であった．標本選択バイアスは，これから予測した実験データが理論に当てはまるかを検証するのにも，もちい対象と，訓練データを集めた対象の集団が異なっている

ろんデータ分析技術はかかせない．ヒッグス粒子の質量特ため，的確に予測できなくなる問題である． 例えば，

定にまつわる事例を紹介しよう．3） 108 個もの S/ N 比の悪ローンの可否を予測する場合には，実際にローンを認めた

いセンサーのデータから，粒子の質量などを特定するのは人に関してのみ，ローンを返せたかどうかの情報が得られ容易な作業ではない．予測を扱う機械学習というより，検る．これを訓練データとして用いると，ローンを認めな証のための技術ではあるが，2000 年代のサンプリングやかった人の情報は欠落しており，的確な予測ができなくな

変分推定の機械学習技術が広く利用されている．もし仮にる．こうした問題を回避するには，関連する状況や，実際

データが 10 年前に存在しても，これらの検証技術がなかっに解決したい問題に応じた対応が要求される．

たため，ヒッグス粒子の確認はできなかったのではないか

18）

機械学習を新しい問題に適用するには，以上のような難と私は考えている．

しさがあるのである．機械学習の特性，解決すべき問題の最後は経験則を統一的に説明する理論の構築である

目標，そしてデータの状態を十分に把握して，適切に問題

ニュートンの段階である．この部分は，ミクロからマクロ解決に利用しなくてはならない．そのため，機械学習はソ

までのどの視点に立脚するのかといった選択の問題もあり，

フトウェアにデータを入力すれば何でも問題を解決できる機械学習で完全に自動化するというのは無理であろう．しというものではない．

かし，4 色問題の証明において，非常に多数の場合分けを扱うために計算機が利用されたように，理論構築の過程で

7.

機械学習の自然科学での活用

様々な機械学習技術を活用していくことは避けられないの

前節で述べたように，機械学習の適用には考慮すべき点ではないだろうか．例えば，生命科学では膨大な文献からがいくつもあるが，それでも，4 章で紹介したここ 20 年の知識を抽出し，体系的に人間に提示する技術などが研究さ進展によりその応用範囲は広がっている．計算機を用いた

れている．いずれにせよ，機械学習を含めた情報技術を活

データ分析技術を活用すると，多くのデータや多様な要素

用することで，中心となる思索により労力を集中できるよを考慮できることと，非常に膨大な情報の中から目的の情うになるだろう．

報を素早く発見できるという利点がある．こうした利点を活かした，自然科学における機械学習・データ分析の活用
事例をここでは紹介したい．機械学習研究者ドミンゴ（P.

8.

おわりに

自然科学での拡大した観測規模や膨大な学術情報を扱う

Domingos）は 著 書 The Master Algorithm 4）で，自 然 科 学 のには計算機科学，中でもデータ分析技術の利用は欠かせな

研究をブラーエ，ケプラー，ニュートンの三つに分けた見いものとなるのは確かだろう．だが，機械学習を用いた分方を紹介している．実験データを集めるブラーエの段階，

析を受け入れるのに何かしら抵抗感がある人々がいるかも

経験則を発見するケプラーの段階，そしてその経験則の背しれない．締めくくりとして，自然科学とデータ分析の関

後の理論を見つけ出すニュートンの段階である．これらのわりについて，私の戯言にお付き合いいただきたい．
まず，機械学習で見つけた対応関係は，物理法則による段階について順に見て行こう．
実験データを集めるブラーエの段階は最も機械学習の利系の記述とは違って，納得できないと思うかもしれない．

用が進んでいるといってよいであろう．まずは，南極点の確かに，統計学者ボックス（G. E. P. Box）の著名な言葉

ニ ュ ー ト リ ノ 観 測 施 設 IceCube に つ い て で あ る． 観 測

Essentially, all models are wrong, but some are useful に あ

データの量は膨大であり全てのデータを通信回線で送信するように，全ての仮説は，それが真であるとはいえない．

ることはできない．そこで，信号が含まれている可能性の一方で，これらの仮説が系の何かしらの記述といえること高い部分だけを機械学習を活用して高速により分けて通信も確かである．これで納得してもらえるのかは分からない回線で転送し，残りはハードディスクを船で輸送している．

が，このように考えてはどうだろうか．例えば，摩擦につ材料工学では，所望の性質を備えた物質を見つけ出すのに，いて，マクロな立場からは摩擦係数で記述できるが，ミク

試験的な材料を生成し，その性能を計測することを繰り返

ロな立場からは分子間力などを考慮した記述もできる．こす必要がある．これを効率化するために，ベイズ最適化とうした記述の一つと機械学習の結果を捉えて，利用できる呼ばれる方法が使われ始めている． これは，状況の不確ところで利用していけばよいのではないだろうか．例えば，

実性と有望さのバランスを考慮しつつ，試験材料を選択す

7 節の IceCube の例において，ニュートリノの信号とそうることを可能にするものである．

でないものを分離する手法は物理法則を反映したものでは

1）

14）

実験データにあてはまる経験則を見つけるのが次のケプ

ないが，実際にデータをより分けて実験を進めるためにはラーの段階である．こうした探索は計算機に適した作業で有用である．このように，それぞれの研究で受け入れられあるため，経験則の発見の研究は比較的古くから行われてる部分で，有用な新技術として役立ててもらえばと，私はいる．例えば，文献 15 は，物理学でいう次元の制約を考考えている．

慮しつつ，データを説明する経験則を発見する研究である．
12©2019 日本物理学会

また，観測データを集める人たちと，データを分析する
日本物理学会誌

Vol. 74, No. 1, 2019

人たちの間にもすれ違いがあるように思う．データを集める人たちはデータ自体に愛着があり，興味深い結果をなんとしても得たいと思うだろう．一方で，データを分析する
人たちは，分析手法に愛着があり，より適切に手法を適用すべきと考えるだろう．しかしながら，適切な手法で興味深い結果が得られることが，自然科学の進展には重要である．興味深い結果がでなくても，データ分析の過程で得た知見をデータを集める人たちにフィードバックすることはできる．逆に，データの実験条件などの情報を綿密に聞き出しモデルに反映させていくことは，興味深い結果に近づくためには重要である．データがなければ分析はできない
し，分析しなければデータは自然科学の知識とはならない
ので，自然科学の進展という共通の目的に向かって協力していかなければならない．
締めくくりとして，機械学習の現状を俯瞰し，今後を展望するための資料を挙げておく．機械学習や人工知能の現在に至るまでの経緯についてはニルソン（N. J. Nilsson）の
文献 10 がオンライン上で電子版が公開されている．機械
学習の長期的展望については文献 4 があり，また国際会議の基調講演 2, 7, 8）も興味深い．以上，本稿が機械学習につ

Human Factors in Computing Systems（2006）pp. 1097‒1101―Accurate is
not always good: How accuracy metrics have hurt recommender systems.
10）N. J. Nilsson, The Quest for Artiﬁcial Intelligence（Cambridge Univ. Press,
2010）.
11） C. Perlich, S. Kaufman, and S. Rosset, in Proc. of the 17th ACM SIGKDD
Intʼl Conf. on Knowledge Discovery and Data Mining（2011）pp. 556‒563―
Leakage in data mining: Formulation, detection, and avoidance.
12）A. L. Samuel, IBM J. Res. Dev. 3, 211（1959）―Some studies in machinelearning using the game of checkers.
13）D. Silver, Mastering the game of go with deep neural networks and tree
search, The 25th Intʼl Joint Conf. on Artiﬁcial Intelligence, Invited Talk,
2016.
14）津田宏治，人工知能技術による機能分子・物質設計，第 19 回情報論的
学習理論ワークショップ，2016.
15）鷲尾 隆，元田 浩，人工知能学会誌 15, 681（2000）―スケールタイ
プ制約に基づく科学的法則式の発見．
16）S. Watanabe, Knowing and Guessing‒Quantitative Study of Inference andInformation（John Wiley & Sons, 1969）.
17）D. H. Wolpert, Neural Computation 8, 1341（1996）―The lack of a priori
distinctions between learning algorithms.
18）B. Zadrozny, in Proc. of the 21st Intʼl Conf. on Machine Learning（2004）
pp. 903‒910―Learning and evaluating classiﬁers under sample selection
bias.
19）Z.-H. Zhou, Artiﬁcial Intelligence 143, 139（2003）―Book review: Three
perspectives of data mining.

著者紹介

いて知るための一助となれば幸いである．

神嶌敏弘氏：

推薦システム，データ

マイニング，機械学習に関する研究に従事．現在は機械学習による予測に公平性の観点を導入する研究に取り組む．

参考文献
1）M. Boerner, T. Ruhe, K. Morik, and W. Rhode, in Proc. of the ECML PKDD
2015, Part III（2015）pp. 208‒212―Discovering neutrinos through data analytics.
2）L. Bottou, Two high stakes challenges in machine learning, The 32nd Intʼl
Conf. on Machine Learning, Invited Talk, 2015.
3）K. Cranmer, Machine learning and likelihood-free inference in particle physics, The 30th Annual Conference on Neural Information Processing Systems,
Keynote, 2016.
4）P. Domingos, The Master Algorithm（Basic Books, 2015）.
5）H. Geffner, Model-free, model-based, and general intelligence, The 27th Intʼl
Joint Conf. on Artiﬁcial Intelligence, Invited Talk, 2018.
6）I. Goodfellow, Y. Bengio, and A. Courville, Deep Learning（MIT Press,
2016）.
7）R. Kohavi, Online controlled experiments: Lessons from running a / b/n tests
for 12 years, The 21st ACM SIGKDD Intʼl Conf. on Knowledge Discovery
and Data Mining, Keynote, 2015.
8）Y. LeCun. Predictive learning, The 30th Annual Conference on Neural Information Processing Systems, Keynote, 2016.
9）S. M. McNee, J. Riedl, and J. A. Konstan, in Proc. of the SIGCHI Conf. on

シリーズ「人工知能と物理学」 変わりゆく機械学習と変わらない機械学習（2018 年 8 月 10 日原稿受付）
Machine Learning: Whatʼs Changing and Whatʼs
Unchanged
Toshihiro Kamishima
abstract: This article introduces the recent changes of machine learning and the unchangeable principles of machine learning. First, after
showing the deﬁnition of machine learning（ML）, we describe the research area of ML. We overview these sub-areas from the viewpointsof validity, effectiveness, and efﬁciency. Then, as a changing part ofML, we brieﬂy show the recent progress of ML. And, we describe
three basic principles of ML. Finally, we show the difﬁculty of using
ML techniques, and examples of application of the ML techniques tothe natural science area.

13©2019 日本物理学会