現在の深層学習の基礎を築いた研究者たちについてまとめてみた

TECHCAFE×TAIRのアドベントカレンダー1日目の内容を執筆させていただきました。

宜しくお願いします！

最初に僕について簡単に紹介させていただきます。僕はこの記事の執筆時点では大学4年生で、情報系を専攻しています。研究室では、人工知能やロボティクスに関わる領域の研究をしています。研究内容について詳しくは話せませんが、四足歩行ロボットや深層強化学習をつかった研究をしています。
ちなみに、Qiitaで記事を執筆するのは初めてです。普段は自分が所有しているWordPressのサイトで記事を公開しています。

さて、先ほども書きましたが、今はB4です。でも、高専から編入してきたので、大学生活がスタートしたのは去年で、大学生を名乗れるようになった途端にコロナでオンライン授業になったので、いまいち一般の大学生活というものが想像できません(?)。

自分はもともとモノづくりが好きで機械に興味があったので、高専では機械工学を専攻したいと考えていたのですが、電気電子工学にも興味があったのと、機械工学科の偏差値が高かったのが相まって、電気電子系を専攻することにしました。
高専に入学して、さあ電気回路や電子回路について勉強しよう！となって間もないうちに人工知能に興味を持ち、大学では情報工学を学びたいと考えるようになりました。
とはいっても、情報系の知識が疎かったのでプログラミングについて何もわからず、とりあえず人工知能って言ったら脳から勉強しないといけないと思い、脳の勉強をしてました。興味のフローとしては以下です。

「機械を学びたい」→「電気電子回路を学びたい」→「汎用AI作りたい」→「とりあえず脳の勉強をしよう」→「機械学習・深層学習」

前置きが長くなりましたが、上のフローの後半部分、脳の勉強から深層学習に至るまでにおいて、その基礎を築いてきた研究者の方々について思いつく限り列挙し、簡単にしらべてまとめてみたというのが本記事です。

研究者については完全に独断と偏見で選んでいること、内容に誤りがある可能性がある点はご了承ください。

## サンティアゴ・ラモン・イ・カハール

(サンティアゴ・ラモニ・カハールとも呼ばれる)

表記：Santiago Ramón y Cajal

出身地：スペイン

人物：神経解剖学者

ゴルジ染色法を用いて、多くの神経細胞を観察記録しており、中には近年注目され始めているグリア細胞までも詳細に記録していた。1906年にゴルジと共にノーベル生理学・医学賞を受賞している。

## アンドリュー・フィールディング・ハクスリー

表記：Andrew Fielding Huxley

出身地：イギリス

人物：生理学者・生物物理学者

神経細胞の活動電位のモデルを提案。アラン・ロイド・ホジキンと共にホジキン・ハクスリーモデルと呼ばれる膜電位モデルを提案し、そのモデルは連立微分方程式で与えられるため、コンピュータで数値計算することで細胞の活動電位を再現することができる。1963年にノーベル生理学・医学賞を受賞している。

## アラン・ロイド・ホジキン

表記：Sir Alan Lloyd Hodgkin

出身地：イギリス

人物：生理学者・生物物理学者

アンドリュー・フィールディング・ハクスリーと共にホジキン・ハクスリーモデルを提案し、ノーベル生理学・医学賞を受賞している。

## ジョン・マッカーシー

表記：John McCarthy

出身地：アメリカ

人物：計算機科学者・認知科学者

人工知能の父と呼ばれており、1956年のダートマス会議で「人工知能」という言葉を世に送り出した人物。1971年にチューリング賞を受賞している。フレーム問題といった、初期の人工知能でしばしば話題になる事柄や、ロボットが感情を持つことはできるかなども言及している。

## ウォーレン・マカロック

表記：Warren Sturgis McCulloch

出身地：アメリカ

人物：神経生理学者

ウォルター・ピッツと共に形式ニューロンと呼ばれるモデルを提案した。ニューラルネットワークないしは、現在の深層学習の父ともいえる存在。

形式ニューロンは人工ニューロンの一つで、マカロック・ピッツモデルと呼ばれている。

## ウォルター・ピッツ

表記：Walter J. Pitts

出身地：アメリカ

人物：論理学者・数学者

ウォーレン・マカロックと共に形式ニューロンと呼ばれるモデルを提案した。ニューラルネットワークないしは、現在の深層学習の父ともいえる存在。

## フランク・ローゼンブラット

表記：Frank Rosenblatt

出身地：アメリカ

人物：心理学者

マカロック・ピッツモデルをもとにして、パーセプトロンを考案した。ニューラルネットワークは多層パーセプトロンであることを考慮すると、ローゼンブラットはニューラルネットワークの父と言える。

## マービン・ミンスキー

表記：Marvin Lee Minsky

出身地：アメリカ

人物：コンピュータ科学者・認知科学者

ダートマス会議の発起人の一人。1951年にランダム結線型ニューラルネットワークによる学習マシンSNARCを開発した。1969年にチューリング賞を受賞している。当時の単純なニューラルネットワークは非線形分離問題（排他的論理和）が学習できないことを指摘し第一次人工知能ブームが終焉を迎えた。

## シーモア・パパート

表記：Seymour Aubrey Papert

出身地：南アフリカ

人物：数学者・計算機科学者

プログラミング教育の父と呼ばれている。マービン・ミンスキーと共に人工知能の研究を行った。

## ジョン・ホップフィールド

表記：John Joseph Hopfield

出身地：アメリカ

人物：物理学者・生物学者

連想記憶モデルを提案している。ホップフィールドネットワークとして知られている。ホップフィールドネットワークはエネルギー関数を用いて、エネルギーが低い状態になるように計算を行い、記憶を連想するモデルとなっている。学習はとても単純で相関行列を適用するだけで実現できる。ホップフィールドネットワークはボルツマンマシンやオートエンコーダをはじめ、現在の深層学習のもう一つの原点と考えられる。

※ニューラルネットワークの起源は多層パーセプトロンとするものとホップフィールドネットワークとするものがある。

## デビッド・ラメルハート

表記：David E. Rumelhart

出身地：アメリカ

人物：認知心理学者

第一次AIブームの終焉後に、再度AIブームを引き起こす切っ掛けとなるバックプロパゲーションを提案したことで、ニューラルネットワークの研究を前進させた。

## 甘利俊一

人物：数理工学者・神経科学者

情報理論の創始者。また、計算論的神経科学という分野を作った人物でもある。

ホップフィールドネットワークが提案される前にホップフィールドネットワークと類似のモデルを提案していたり、ラメルハートらが誤差逆伝播を提案する前に確率的勾配降下法を定式化していたりと、すごい実績があるがあまり注目されずに終わってしまっている。

## ***福島***邦彦

人物：計算機科学者

現在のCNNの起源を開発。ネオコグニトロンとして知られている。ネオコグニトロンは視覚野をもとにモデル化されており、Add if silentとよばれる自己組織化手法を用いて学習が行われる。

## ジェフリー・ヒントン

表記：Geoffrey Everest Hinton

出身地：イギリス

人物：コンピュータ科学者・認知心理学者

深層学習の父。ボルツマンマシンやオートエンコーダ、深層信念ネットワークなど現在の深層ニューラルネットワークの元となる技術を多数開発した。

## ヤン・ルカン

表記：Yann André LeCun

出身地：フランス

人物：計算機科学者

深層学習の父。ネオコグニトロンを誤差逆伝播で学習できるようにした畳み込みニューラルネットワークを考案した。LeNetとして知られる。

## ヨシュア・ベンジオ

表記：Yoshua Bengio

出身地：カナダ

人物：計算機科学者

深層学習の父。ジェフリー・ヒントンおよびヤン・ルカンとともに2018年にチューリング賞を受賞。

## おわりに

いかがでしたでしょうか？

独断と偏見で思いついた人を列挙しただけではありますが、現在の深層学習技術を築く中で誰がどのような研究をしてきたのかは興味深いところがあります。
もし興味を持った研究者がいたら調べてみてください！

本記事の内容は以上になります。