日本ソーシャルデータサイエンス論文誌
第 2 巻 第 1 号（2018 年 3 月）

特集：知的データサイエンス

対談：機械学習の変遷と今後の展望

概要：本原稿は昨今，社会的に大きな注目を集めている機械学習について，慶應義塾大学理工学部櫻井彰人教授との対談内容に基づく記事である．本稿では，はじめに機械学習に用いられる用語の基本的な定義について述べる．次に，機械学習のブームについて，第一次，第二次，そして現在の第三次の 3 期に分けて，歴史的な背景を含めた変遷を紐解く．最後に，今後の機械学習の展望についてまとめる．
キーワード：人工知能，機械学習，ニューラルネットワーク

大竹：2015 年のアルファ碁 (AlphaGo) の韓国プロ棋士と1. 経歴の対局勝利を皮切りに，ここ数年，人工知能 (Artificial

櫻井彰人教授（対談者）：1975

Intelligence) という言葉が様々なメディアで取り上げられ，

年東京大学工学部 計数工学科

注目を集めているように感じます．このような状況が後押を卒業後，同大学大学院情報工

ししてか，人工知能，機械学習 (Machine Learning)，そして学研究科において，修士課程をニューラルネットワーク (Neural Network) という言葉が修了され，日立製作所入社那珂

殆ど同じ様な意味を持つ言葉として用いられている印象を工場に就職された．在職中にイ受けます．本日お話しいただくうえで，まずはこの辺りの

リノイ大学(University of

言葉の整理から始めたいと思います．

Illinois at Urbana -Champaign)に留学され，修士課程を修了された．1989 年日立製作所基櫻井：おっしゃるように，産業界においては今まさに，人礎研究所に配属後，1993 年東京大学にて博士（工学）の学

工知能ブームが起こっていると思います．これらの言葉の位を取得された．1996 年日立製作所中央研究所，1998 年北中で概念的に最も広いのは人工知能という言葉ですね．そ陸先端科学技術大学院大学教授を経て，2001 年慶應義塾大の中に機械学習があって，さらにその中にニューラルネッ

学理工学部教授となられ，機械学習，人工神経回路網を専

ト ワ ー ク ， 最 近 で はデ ィ ープ ニ ュ ー ラ ル ネ ッ トワ ー ク

門に研究活動に携われている．

(Deep Neural Network) がありますね．
人工知能の始まりは 1956 年，ジョン・マッカーシーらが大竹恒平助教（インタビュ

主催したダートマス会議と言われています．この会議で人ア）：2016 年慶應義塾大学理工工知能という言葉が用いられ，学術的研究分野として確立

学研究科開放環境科学専攻後しました．

期博士課程修了．現在，中央大学理工学部経営システム工学

大竹：約 2 ヶ月間 10 人の人工知能学者によるブレインス

科助教．マーケティング・サイ

トーミングが行われた会議ですね．

エンス，ソーシャルメディア情報を活用した経営問題の解決，櫻井：一方で，機械学習という言葉ができたきっかけは，

CSCW に興味を持つ．博士（工学）1959 年アーサー・サミュエルが開発したチェッカーのプロ
グ ラ ム で す ． 当 時 の IBM 社 の 技 術 誌 IBM Journal of

2. 機械学習に関わる諸定義
大竹恒平助教（以下大竹）：本日は機械学習の変遷と今後の展望について，櫻井彰人先生に色々お伺いしたいと考えております．どうぞ宜しくお願い致します．
櫻井彰人教授（以下櫻井）：宜しくお願いします．

Research and Development に お い て ， 初 め て “Machine
Learning” という言葉が使われました [1]．これ以降，機械学習という言葉が使われるようになりました．“Machine”という言葉を使ったあたりが，時代背景を表していますね．
当時はまだ，computer と他の “Machine” との差異が大きくはなかったのかもしれません．
大竹：確かに時代背景を表していますね．では，当時の学†1 慶應義塾大学†2 中央大学 (連絡先：otake@indsys.chuo-u.ac.jp)ⓒ2018 Japan Social Data Science Society2日本ソーシャルデータサイエンス論文誌
第 2 巻 第 1 号（2018 年 3 月）
習とはどういった意味合いを持っていたのでしょうか？

え，それぞれには確かに違いがあると思います．

櫻井：「学習する」という言葉の定義は時代とともに少しず翻訳というのが機械学習の牙城となっています．自然言語

つ変わってきていますが，概念上の機械が，経験を経て，処理のトップカンファレンスの一つである ACL (Annual

賢くなり，性能がアップするというのが機械学習の基本的

Meeting of the Association for Computational Linguistics) の発な考え方です．時系列に沿ってデータが増えてくるわけで

表では，必ず機械学習がベースにあるという状況になってすが，段々と賢くなるという訳ではなく，一歩，即ちデーいます．画像処理は言わずもがなですね．とはいえ，分野タが得られた時に，良い結果が得られるような，賢くなるごとに特色はあるのです．

例えば，私の専門分野ではないのですが，最近では機械ようなプログラムも機械学習と呼ぶようになってきていると思います．

機械学習が頭にあるのではなく，ベースに機械学習があるのだと思います．ですので，今後は機械学習を飲み込んだうえで，分野特有のアルゴリズムや工夫を行うという方

大竹：現在の学習の意味合いとしては，データ量の時系列向になるのではないかと思います．

的な増加に伴う逐次学習というよりは，データ量が少ない
時よりも多い時に結果が良くなるようなアルゴリズムを指大竹：すると，機械学習はもはや一つの分野ではなく，様々しているということでしょうか？

な領域において，基盤になりつつあるということですね．

櫻井：はい，そうですね．そして，そこでのアルゴリズム

櫻井：はい．機械学習を使うことで結果が良くなる，これとは何なのかというと，元々の定義からすると何でもいいまでできなかったことができるようになったのが，このよのです．ですから，サミュエル自身もチェッカーのプログ

うな状況を作ったのだと思います．特に人工知能ですと，ラムにおいて勝率を高くするような盤面評価のアルゴリズ

今まで研究者の知恵でやっていた部分を機械学習に置き換ムを考えたわけです．

えることで，性能がアップする，誰でもできるようになる，

一方で，手持ちのデータを使って学習する際には，実は予測と切っても切れない関係があります．というのも，例といった結果により，機械学習が基盤として利用されるようになったのだと思います．

えばチェスのプログラムを考えた際には，相手が打つ手を予測するということもあります．他方で，自身が次の手を大竹：とはいえ，機械学習の本質的な部分というのは大き打った際に最終的に自分が勝つ状況を考えるわけです．こく変わっていないように思いますが，ここ最近のブームのれを打ったら最後にどうなるかを計算することは，結果的きっかけは何でしょうか？

に予測していることになります．
いつからか，時系列的な予測から，時間・順序という要

櫻井：おっしゃる通り，本質的な部分は何も変わっていま

素とは関係なく，ある意味での未知データに対する予測をせん．一つの要因としては，利用できるデータ量が格段に行う，というように概念が広くなってきたのです．現代で増えたことではないでしょうか．

は，あるデータセットに対して，学習という動作を行って未知入力データに対する出力値を予測する，ということが大竹：これまでソフトウェアの話が中心でしたが，ハード

すべて機械学習と呼ばれるようになっているのです．こうウェアの性能向上によるところも大きいのでしょうか？

したことから，論理的な関係性はない場合もあるかもしれませんが，現在，人工知能といえば，殆どが機械学習に見

櫻井：はい，ハードウェアの話を抜きにしては語れません

えてしまうような時代になってしまっています．

ね．間違いなく，ハードウェアの発展とともに計算スピー
ドが上がり，かつ安価にマシンを購入することが可能とな

大竹：この辺りが，人工知能イコール機械学習と認識されったことが要因として大きいと思います．むしろ，このよている要因でしょうか？

うな状況にならなければ，できなかったことだと思います．

櫻井：勿論，各分野で使われている分析方法自身は違います．機械学習の使い方も違いますし，メインとなるアルゴ

3. 機械学習の変遷

リズムも違います．ただし，機械学習が有用な道具として，

大竹：では，改めまして機械学習の変遷についてお伺いし数多くの場面で利用される機会が増えています．そのため，たいと思います．現在，間違いなく機械学習のブームが来

機械学習が幅を利かせている様に見え，人工知能と同じもていると認識しておりますが，このようなブームは過去にのとして認識されているのではないかと思います．とはいもあったのでしょうか？

ⓒ2018 Japan Social Data Science Society3日本ソーシャルデータサイエンス論文誌
第 2 巻 第 1 号（2018 年 3 月）
櫻井：はい，過去に二度程ブームがあったと考えています．
櫻井：第二次のブームは，1986 年並列分散処理論（PDP モ
大竹：では，それぞれのブームについてお話し頂きたいとデル）が登場した頃からスタートしました [3]．なお，その思います．合わせまして，当時の社会情勢や櫻井先生自身

ころの機械学習は，記号表現の獲得を目指す学習が多かっがどのような研究を行われていたのかを合わせてお話し頂たのです．これは，論理的推論を可能とするため，研究者

ければ幸いです．

の考えを入れやすいという大きなメリットがあります．それと並行して，ニューラルネットワークの研究が台頭して

3.1 第一次

きたわけです．言い方によっては，記号表現の学習で大き大竹：まず，第一次ブームについてお話し頂きたいと思いな成果が出なかったため，ニューラルネットワークの研究ます．

に関心が移ったともいえますが，この辺りは定かではありません．なぜならば，両コミュニティは殆ど異なる研究者

櫻井：歴史的に捉えやすいのは，人工知能というよりもニによって形成されていたからです．多層のニューラルネッューラルネットワークの方ですので，ニューラルネットワ

トワークの学習ができれば，一般社会に存在する多くの問ークを中心にお話ししたいと思います．

題が解けそうだ，という期待が生まれたことが当時のブー

第一次のブームはニューロン素子 1 個の学習によります．
1960 年代爆発的なブームとなり世間の注目を集めました．

ムの始まりだったと思います．
人工知能の素晴らしさを喧伝するのに使われた例として，

しかしその後，1969 年にミンスキーとパパートの著書

積み木の世界での会話，というのがあります．ある仮想的

Perceptrons [2] において，線形分離不可能なパターンを識な空間に，色のついた四角や三角といった積み木が沢山あ別できないことが指摘され，それ以上の進展もなくなり第ります．人間が，「赤い三角をつかめ」「つかんだ赤い三角

一次ブームは終焉となります．

を青の立方体に置け」といった指示を出し，その指示に従

私は，当時のブームには直接関与していたわけではありって仮想的なロボットアームが命令を実行するというシスませんが，機械学習分野ではないのですが，精力的に閾値テムです．これは，記号システムの有用性を示した良い例

素子の研究をされていた室賀三郎先生に，1979 年頃お話をです．しかし，ここから実際にクレーンを使ってブロック

伺いました．当時，ニューロンをモデル化した閾値素子ををつかみ上げて，といった実世界で再現することは容易に使うことで，計算機に用いる真空管の信頼性の低さがカバはできませんでした．この他にも，言語学習を記号表現とーできるといったことや，人間の学習メカニズムが真似でして捉えた研究も非常に活発に行われていましたが，同様きるといったことについて，確かにブームが起こっていたに，実世界での実現は容易でありませんでした．当時は機そうです．両者が混在してはおりましたが，とにかく社会械学習というのは非常に限定されたコミュニティで研究にからの期待が大きかったです．

限られていたといえます．

当時，人間の学習メカニズム，脳の可塑性の要因はどこ

一方で，ニューラルネットワークが発展した一番の要因にあるか，というところを探り，それはニューロン間の結は，学習に誤差逆伝播法（バックプロパゲーション）を利

合の可塑性であることが知られておりました．脳の可塑性用したことだと思います．バックプロパゲーション自体は，を説明したいというのが研究者の強い要望でしたので，その時に突然使われ始めた訳ではありません．古いもので様々な研究が行われておりました．その中で，パーセプト

すと，1967 年に，甘利俊一先生が論文 [4] を執筆されていロンの学習アルゴリズムが，非常に上手くいったため大きます．余談ですが，私は修士課程が伊理正夫先生の研究室な注目を集めました．しかし，先に話しましたミンスキーだったのですが，当時甘利先生がよくいらっしゃって，毎とパパートにより，パーセプトロンはあまり一般化できな日のように碁を打ってらっしゃいましたね．誤差逆伝播法

いことが指摘されました．これにより，研究が下火となっのアルゴリズム自体は非常に単純ですので，甘利先生の研てしまいました．

究室では，卒業論文や修士論文で扱っていました．その際に，とにかく時間がかかるという学習スピードに関する問

大竹：1960 年代に人気を博した第一次ブームは，1969 年の題と，魅力的な学習課題がない，つまり適切なデータがな

ミンスキーとパパートの指摘により，終焉を迎えたのです

いという問題がありました．

ね．

では，なぜ PDP (Parallel Distributed Processing) の登場によりブームが起こったかというと，明らかに理由は 2 つで，

3.2 第二次
大竹：それでは次に，第二次ブームについてお話頂きたいと思います．

ⓒ2018 Japan Social Data Science Society

データとハードウェアによるものです．
まずハードウェアに関しては，当時コンピュータが急激に進歩しました．そのため，最急降下法のスピードが，大4日本ソーシャルデータサイエンス論文誌
第 2 巻 第 1 号（2018 年 3 月）
きく変わりました．また，ハードウェアの価格が下がった

ードフォワードのニューラルネットワークに加えて様々なというのも大きな理由だと思います．研究室で気楽にコンタイプのニューラルネットワークが検討されています．しピュータを購入できるようになりました．当時はまだ何もかし，それ以外に，様々なアプリケーションが山ほど紹介

わかっていない時代でしたので，初期条件の設定や学習パされています．これを読んだ研究者が，自身の領域に応用

ラメータの設定など，試行錯誤をしながら研究を進める必

してみたいと思うことは不思議ではありませんね．そうい

要がありました．結果が出るまでに多くの時間がかかるこった意味で，PDP の存在は大きかったと思います．

とは，研究者にとって非常にネガティブな要素です．コン

この辺りから，機械学習の意味するものが変わってきま

ピュータの性能の向上は，試行錯誤の回数を増やすことがす．先ほどお話ししたように，従来の記号表現の機械学習できるようになり，研究が進展する要因となりました．

とニューラルネットワークの学習とは大きく異なるのですが，外から見ると，機械が学習して賢くなる，データを貰

大竹：なるほど，確かに研究への参加者が多くなれば研究って予測をするという，似た機能を持っています．大きくは発展しますし，分析を実行する環境が整った，というは異なるのは，記号を使った機械学習に対して，ニューラル

非常に大きなインパクトがありそうに感じます．

ネットワークは数値を使っている点です．

櫻井：第一次ブームの際には，ハードウェアの価格が物凄

大竹：確かに，記号表現と数値表現はかなり大きな違いでく高かったので，参加者がそこまで多くありませんでした．

すね．

第二次ブームが起きたのは，ハードウェアが速く安くなり
だれでも参加できるようになった，というのが大きいでし櫻井：はい，実際に，この違いは後々までかなり効いてきょう．最急降下法自体は，本当に単純なアルゴリズムですます．

ので，大学 1 年生でも十分にプログラムできます．ブームの最初のころには，卒論や修論かと思える論文が沢山出て

大竹：では，第二次ブームの終焉は，どのようにして起こきていました．そのくらい新しい試みが溢れていたのです．

ったのでしょうか？

もう一つの，データに関しては，突如データが手に入る
わけではありませんので，苦労して作っていたと思います．

櫻井：大きく 2 つの原因があると私は考えています．

例えば，NetTalk 用の音声データや画像認識用のデータは，一つは，発展の要因の一つがハードウェアの急速な進歩今となっては手に入り易くなりましたが，昔は苦労して作であった点に起因すると思います．ムーアの法則に代表さ成していました．色々な学習に利用可能なデータが揃い，れるように，ハードウェアの性能は漸増的に，コンスタン

ハードウェア環境が整いましたので，ビジネスへの応用のトに上がっていきました．研究というのもコンスタントに可能性も出てきました．もう少し後になりますが，ファイ進んでいってしかるべきものですので，常識的に考えた際

ナンスデータを用いた学習も行われるようになりました．

には，どこかでブームが来るというのはおかしな話なので私が記憶しているのは，1991 年の IJCNN (International Joint

す．ところが，先ほどもお話しした通り，この分野の研究

Conference on Neural Networks) のワークショップに参加しはトライアンドエラーが必要不可欠です．トライアンドエ

た際，ファイナンスのワークショップの大きな会場に溢れラーをするか否かという研究者の判断が関係してきます．

んばかりの人が参加されていたことです．データが比較的研究者はトライアンドエラーを繰り返していき，ある時点

取得しやすく，予測を行いたいというニーズがあったこと，

で結果が出ないからこれはもうできないという判断をしてさらには統計的モデルのように綺麗なモデルではなかなかいるわけです．実際はさらにトライアンドエラーを繰り返

上手くいかない，何でもいいからとにかく良い結果が欲しせばできるかもしれませんが，それはその時点では分からい，という場面でニューラルネットワークをやってみよう

ないのです．ある所までやってできなければ，できないとという視点で人が多く参入したのだと思います．

結論付けます．そうすると，周りの研究者もできないという認識を持ち，そのまま暫く研究が停滞します．一方で，大竹：ここまでをまとめますと，第 2 次ブームのきっかけ

ハードウェアはコンスタントに進歩していますから，どこは，データが比較的揃うようになった，ハードウェアが圧かの時点で誰かができることになるのです．逆に言えば，倒的に早くなった，単純なアルゴリズムでも良い結果を得できることが分かるまでは，本当はできているのにやらなることが出来た，これらの 3 点によるところが大きいようい，という状況が起こるのです．どこかの時点でできるこですね．

とが分かれば，数多くの研究者が参加してきますし，一気に研究が進展するわけです．そうすると，その時のハード

櫻井：はい，そうですね．PDP の本の中身を見ると，フィⓒ2018 Japan Social Data Science Society

ウェアの能力を使い切るまで研究が行われます．より難し

5

日本ソーシャルデータサイエンス論文誌
第 2 巻 第 1 号（2018 年 3 月）
い問題を解こうとし，例えば，ネットワークのノード数を従来の機械学習ともニューラルネットワークとも違うアプ増やします．しかし当然パラメータが増えるので学習スピ

ローチの与えた影響は，非常に大きかったのです [5]．このードは大幅に低下します．ある程度まで大きいネットワー

ころ，Discovery という言葉が非常に流行りました．

クを試みるようになると，先ほどと同様，その時のハード

少し話をまとめますと，この頃世間的に注目を浴びたのウェアのリソースではもうこれ以上はできないという判断はデータマイニングで，従来の記号系の機械学習は，少しが下されるのです．現時点でのハードウェアのリソースで注目を浴びる機会が減っていきました．ニューラルネット

できることをやり尽くしてしまうと，新たな研究のトピッ

ワーク系は，ブームになった後暫く研究が停滞します．そクが生まれない訳です．人間は定常状態よりも，変化状態の他の方法としては，例えば遺伝的アルゴリズム (Genetic

を好む性質があるようで，研究が進まなくなると，その分

Algorithm) などが注目を集めていました．最初に機械学習

野への注目が減ります．そうすることで，新しく入ってくは段々賢くなっていくという話をしましたが，そこからる研究者も減る，そのため研究が進まなくなる，というの段々とデータからあるモデルを作成する，作成したモデル

が，第二次ブームの終焉の一つの要因であると考えていまを用いて予測を行うという風にシフトしてきました．これす．

らがまとめて意識されるようになったのは，この頃だと思

もう一つの理由としては，これは研究者コミュニティのいます．

間の話なのですが，ニューラルネットワークの性質にある

ビジネス的なインパクトとしては，データマイニングのと思います．ニューラルネットワーク研究はやったらでき

登場は大きかったと思います．機械学習やニューラルネッ

た，という部分もあり，それがどうしてできたか，というトワークのコミュニティから，データマイニングの領域にことが良くわかっていない部分があります．やれることが研究者が参入しました．ニューラルネットワークの観点か増えている際には，こういったネガティブな部分はあまりらは逆風でしたが，データ解析という観点では，大変実り目立たないのですが，新たな研究成果の差分が小さくなっの多い時代のスタートになりました．

てくると，批判的な目は当然厳しくなってきます．たまた

これは私の個人的な体験ですが，当時例えば日立では大ま上手くいったのではないか？今回のデータ特有の話では型コンピュータを売っていました．しかしながら，高価でないか？といった疑問を払拭できず，結局は一般性がないあり，ワークステーションのような小型コンピュータの台という判断に至るのです．

頭により，大型コンピュータが売れにくくなっていたのでまた当時，SVM (Support Vector Machine) などの，理論的す．一方で，アメリカではデータマイニングが大流行してなバックグラウンドを持ち，汎化能力が示された手法が作いましたので，計算能力で勝る大型計算機を売るチャンス

られました．そうすると，関心はそちらに向きますね．一であるとも考えていました．これは，計算機で大量のデー

見すると中間層 1 層のニューラルネットワークと同じ様にタを処理することへのビジネスにおけるニーズがあり，こ見えるのですが，学習時間が短く，判別能力もニューラル

れをメーカーとして積極的にサポートすることを始めるきネットワークが上手くいった際と同程度となっていました

っかけであったと思います．

ので，ニューラルネットワークから SVM へと関心が移っていきました．

3.3 第三次
大竹：それでは，今日に迫る第三次ブームについてお話し

大竹：ニューラルネットワークの分が少し悪くなってきた，

頂きたいと思います．

というところでしょうか．
櫻井：第三次ブームのトリガーを考えると，やはりインタ
櫻井：そうですね．それに加えて，機械学習的にみると，ーネットの登場だと思います．インターネットを利用する

現在のデータマイニングが，1980 年代の終わりに出てくることで，様々なデータにアクセスすることができ，データのです(Knowledge Discovery in Databases)．私が 1988 年に量が増えました．当初は接続コストが高く，機能も非常に日立の基礎研究所に移った際には，ニューラルネットワー

限定的でしたので，とても今のような状況になるとは想定

クと遺伝的アルゴリズムが新しいテーマとして脚光を浴びしていませんでした．ただ，このころからデータの蓄積はていました．このころ，データマイニングという言葉が脚始まります．例えば，ニュースグループという，今でいう光を浴び始めました．特にビジネスにおいては，データは掲示板のようなものなのですが，常時アクセスではなくメ

あるけど，どう分析すればいいかわからないという状況もールにてニュースを送るサービスがありました．また，

多々ありました．このような状況への打開策として，アグ

Netscape 社のブラウザを利用することで，インターネット

ラワルらが開発した，トランザクションデータからの知見の先にある画像を表示できるようになりました．テキスト獲得を可能としたアソシエーションルールマイニングなど，や画像といったデータが蓄積され始めたのが，この時代かⓒ2018 Japan Social Data Science Society

6日本ソーシャルデータサイエンス論文誌
第 2 巻 第 1 号（2018 年 3 月）らであると思います．特に画像の送受信は，通信コストの合でも工夫することで利用可能である，所謂加速方法に気低下や，データ通信量の増加といった，データ蓄積に対し付いた人たちもいますね．当時，私も含めて中間層を 2 層て正の循環関係を形成しました．こうして蓄積されたデーにして学習できるかわからないよりは，中間層 1 層で学習

タをどう使うか，考えるようにもなりました．

すれば十分ではないか，という意識がありました．ところが多層ができてみると，1 層ではできなかったことができ

大竹：まさに，ビジネスシーンにおけるデータマイニング

るようになるのです．これは大きいですね．できなかったの始まるきっかけと同じ状況が，インターネット上のデー

ことができるようになると，当然もっと別のことをやってタを蓄積するうえで，でき上がったということですね．

みる人たちがでてくるのです．それにより，研究は加速するのです．

櫻井：はい，ここで機械学習を使おうという流れが形成さ

現状では，end-to-end で学習ができるようになっていまれます．当時，機械学習で扱えるデータ量はまだまだ小さ

すが，これは非常に大きいです．ヒントンらのオートエン

いものでした．これは単純にハードウェアの制限によるもコーダを重ねる方法では，教師なし学習をやっていることのでした．

になります．教師なし学習よりは，教師付き学習をやった

今の機械学習ブームのきっかけは，機械学習の部分ではほうが，課題に特化した特徴量の抽出を行うようになりまなく，「ビッグデータ」がキーワードであったことは間違いすので，教師なし学習を積み重ねて最後に教師付き学習をありません．インターネットを通じたデータ蓄積，データ

するよりは性能が良くなります．ただ，どうして浅いネッ

蓄積量の拡大という背景のもと，ビッグデータの活用に注

トワークではだめなのか，については今のところ誰も答え目が集まりました．手法としては，機械学習から発展してていないように思います．とはいえ，できるようになったきた手法や，データマイニング系の手法が主として使われことは，他にも使ってみようというモチベーションになりています．先ほどもお話しした通り，元々データマイニン

ます．また，今のディープラーニング系の研究者たちは，

グというのは，機械学習のコミュニティにいた人のうち，GAN (Generative Adversarial Network) に代表されるように，

アプリケーションに目を向けた人たちが作った言葉ですが，

アーキティクチャそのものを変えようとしています．全く記号学習に拘らず，数値学習を積極的に用いた人たちです．

新しいファンクションを作ろうという動きもあります．

彼らもハードウェアの発達に従って，ある程度大きなデー
タが処理できるようになりました．それに従い，所謂機械学習の人たちも，データマイニングの人たちも，同じよう

4. 機械学習の今後の展望

なテクニックを使うようになりました．分かれていたもの

大竹：機械学習の今後の展望について，櫻井先生のご意見がいつの間にか一緒になったのです．データマイニングがをお聞かせ頂きたいと思います．はじめに，現在のブームスタートしてビッグデータという言葉ができたのですが，はいつまで続くとお考えでしょうか？

今では殆ど区別がないようにすら感じます．
櫻井：ニューラルネットワークが第一次ブーム，第二次ブ
大竹：最近では，データサイエンティストという言葉がでームときて，今を第三次のブームとすると，私は，新しいてきていますね．

機能，もっと言えば新しくできそうなことが提示されているうちは，ニューラルネットワークは発展していくと思い

櫻井：はい，データ分析がごく普通に行われるような時代

ます．ただしこの先，ハードウェアの性能をソフトウェアになりましたね．

が食いつぶす，つまりその時のハードウェアでできること

ニューラルネットワークに話を戻しますと，多層ニューをしつくしてしまう時が来る時が来ると思います．新たなラルネットワークの学習アルゴリズムは以前からあったの適用分野がいつまで出現するのかで，今後何年続くのかがですが，勾配消失問題のせいで実際の問題で利用すること決まると思っています．新しい分野が現実社会で役に立つが出来ませんでした．アルゴリズムの性質から考えれば，ようになるのは遥に先になることもあるので，役に立たな

消えて当たり前ではありますけどね．データによっては，いというネガティブな意見がでるかもしれませんが，新し中間層が 2，3 層程度であればできたのですが，一般的にはい分野で新しい結果が出れば新しい研究者は入ってきます．

難しかったのです．ブレイクスルーのきっかけになったの

新しい結果が色々出続ければ，運次第ではありますがどれは，勾配を使わないで下層からオートエンコーダを重ねてかは実際に使えるようになります．ビジネスでは，使えるいく方法を考えた，ヒントンらの研究でしょう [6]．できる

かなと思いながら着目し，資金を提供することで，ベンチといわれるとやってみようという研究者が参入し，様々なャー企業が台頭してきます．これは循環なので一度回り出方法が考えられてきます．従来の誤差逆伝播法を用いた場

したら暫く回ると思います．今のところ，うまく回っているという印象を持っています．

ⓒ2018 Japan Social Data Science Society

7日本ソーシャルデータサイエンス論文誌
第 2 巻 第 1 号（2018 年 3 月）
るようなキラキラしたものではなく，至極まっとうな結果
大竹：確かに，最近ではディープラーニング系のベンチャ

しかでないというのは念押ししますね．あまりネガティブ

ー企業も増えていますね．

なことをいうのも良くないですけどね．私がお付き合いするのは比較的，技術職の方が多いので，既にわかっていら

櫻井：一方で，第二次と第三次ブームの間に広がった，SVM

っしゃる場合も多いです．

などの手法との関係をみてみましょう．現在は，やったら上手くいったが先行している状況であり，どうして上手く

大竹：最近研究として取り組まれていることで，難しいといったかがいまだに良くわからない部分もあります．これ感じたものはありますでしょうか？

は，今まさに第二次ブームの時と同じです．理論に強い研究者は，今の新しく出てきているアーキティクチャがどう

櫻井：今私が難しいと感じているのは，多人数の経験を集して上手くいくかの検討や，しっかりした理論的基盤に立めたデータから得られるモデルと，個々の人が自分で自分つ代替物を発明してくれるかもしれません．それが登場しの経験から築き上げたモデルで予測が異なった場合，どちた際には，第二次ブームと同様に，理論的な背景を有する

らが正しいのかという問題です．例えば，タクシーを拾う

手法が選好されます．つまり，進歩の歩みが緩やかになり，人の予測があります．ベテランの運転手よりも，多くのタ代替技術が登場したことがきっかけで一気にブームが陰り，

クシー乗車の記録を集めたデータに基づきコンピュータが代替技術が広く使われるようになる，ということは考えら予測する方が正しいことが知られています．今私が取り組れます．ビジネスアプリケーションとしては，ニューラル

んでいることで結論が出ていないものの一つですが，例えネットワークの勢いは陰るかもしれませんが，データ解析

ばトンネルでコンクリートの状態を調べるということを考の発展はコンスタントに続いていくと思います．

えます．コンクリートは経年変化でひびが入ります．そのひびが大きくなっていくと壊れてしまいます．勿論壊れる

大竹：私自身，共同研究などで民間の企業の方と交流する

前，もっと言えば直前ではなくもっと前に致命的になるひ機会が多いのですが，全体の印象としては，データはあるびの存在を知って修理をしたいのです．あるひびが見つか

けどどうしていいかわからない，という問題意識を持ってったときに，このひびが将来崩落につながるかどうかを予いるように感じます．その問題解決方法として，人工知能，

測したい．それが 10 年後なのか 20 年後なのかを予測した

機械学習，ニューラルネットワークに対して過度の期待をいのです．なぜかというと，そういう予測ができるベテラ

感じることがあります．これはメディアの影響もあると思ンは，今後減る一方なのですが，予測しなければいけない

うのですが，今のブームをどのように感じられております

トンネルは沢山あります．単純に考えると，ひびを写真にでしょうか？

撮って，画像使って診断すればいいと思うのですが，実は簡単ではないのです．なぜかというと，ひびの中には，徐々櫻井：私を含めて第二次ブームを知っている人は殆ど共通に大きくなるひびと，最初の収縮によりできる全く問題のしていると思いますが，今のブームに関してはかなり冷めないひびがあり，今あるひびが将来崩落につながるようなた目で見ています．結局は，第一次，第二次と同じことをひびに発達するかどうかの判断は，そう簡単ではありませ繰り返しているというように思います．もちろん，興味をん．素人目には全然わかりません．ところがプロになると持って仕事を持ってきてくれる人は大歓迎です．誤解して分かるというのです．そこで，画像からひびをみつけ，計いる部分に関しては，誤解を解消するように気を付けてい測したひびの長さと幅を使った予測システムを作ろうとします．特に難しいデータを持ってきてくれると嬉しいですたら，その教師データに困るのです．なぜかというと，こね．

のひびは危ない，というのはその時点での専門家の判断であり，本当にそのひびが発達して崩落したかどうかを見届

大竹：はい，研究室ではお目にかかれないデータが殆どでけた訳ではないからです．基本的には先輩から教わることすね．

で判断しているのです．ですので，エキスパートが持っている知識が，学習データの正解ラベルとして扱っていいの

櫻井：ただ，多くは誤解して来られるので，人工知能と機かが分からないのです．経験上かなり確からしいというの

械学習の違いでしたり，機械学習の本質はそんなに新しいは知られていますが，実際に壊れるところまで見た人はごものではないことを伝えます．ただし，幾つもの技法が基

くわずかなのです．一方で，コンクリートの性質を使って盤的にもしっかりとしており，データの規則性を見つけてシミュレーションすることができますので，シミュレータ

何らかの結果を出すことができることについてはお話ししの答えというのもあります．人間のエキスパートが言ってています．ただ，これらは決して今メディアで騒がれていいることが正しいのか，シミュレータが正しいのか，それⓒ2018 Japan Social Data Science Society

8日本ソーシャルデータサイエンス論文誌
第 2 巻 第 1 号（2018 年 3 月）
ともそういったこととは関係なしに存在しているのか，どようなときに，個々が持っている知識・経験その記述ではれが正しいのでしょうか．正解率を適切に定義するのが難

なく，経験したことそのものを数値化することが必要であしいのです．このように，正解ラベルをどこまで信用してると思います．数人のデータではなく，百人，千人が集ま

いいのかわからない場合にどうすればいいのか，という問ることによって，人間よりも優れたモノができる可能性が題は難しいなと感じています．こうした問題は人の命にかあります．こういう分野であれば，何でも適用できると思かわることなので，繊細であり大変難しい問題であると考います．

えております．これは，自動運転を考える際にも表れますね．

大竹：大変興味深いお話し，どうも有難うございました．

大竹：それでは最後になりますが，今後，機械学習で注目

櫻井：有難うございました．

すべき新しい分野といったものはありますでしょうか？

参考文献
櫻井：全く新しい分野というと，中々思いつきませんね．
大竹：それ位，どこにでもベースの技術になっているということですね．
櫻井：はい，データが取得できるようなところでは基本的にはできると思います．人間との違いが重要になる場合というのが良くあると思います．人間の知能は，基本的には自分が経験したものからしか得ることができません．勿論，本などから他者の体験を自分の体験とすることができる，といいますが限られると思います．どの分野でもそうです
が，他者の体験も自分の体験も含めて，ものに書いて渡す，といったことは殆どないです．エキスパートシステムの考え方として，専門家の知識は専門家しか持っておらず，ナ[1] Samuel, A. L., “Some Studies in Machine Learning Using the Gameof Checkers,” IBM Journal of Research and Development, Vol. 3,
Issue. 3, pp. 210-229 (1959).
[2] Minsky, M. and Papert, S., Perceptrons: an Introduction to
Computational Geometry, MIT Press (1969).
[3] Rumelhart, D. E., McClelland, J. L. and PDP Research Group,
Parallel Distributed Processing: Explorations in the Microstructureof Cognition: Foundations, MIT Press (1986).
[4] Amari, S., “A Theory of Adaptive Pattern Classifiers,” IEEE
Transactions on Electronic Computers, Vol. EC-16, Issue. 3, pp.
299-307 (1967).
[5] Agrawal, R., Imieliński, T. and Awami, S., “Mining Association
Rules between Sets of Items in Large Databases,” Proceedings ofthe 1993 ACM SIGMOD International Conference on Managementof Data, pp. 207-216 (1993).
[6] Hinton. G. E and Salakhutdinov. R. R, “Reducing the Dimensionalityof Data with Neural Networks,” Science, Vol. 313, pp. 504-507(2006).

レッジエンジニアが一緒懸命取り出すというのは，真実だと思います．これは，永遠に変わらないと思います．このⓒ2018 Japan Social Data Science Society

9