Google （1. 2000~2014年ごろ：Google Brain創設〜DeepMind買収、Word2Vec、Seq2Seq）

## Google Brain発足
検索エンジン大手Googleは、2001年ごろウェブ検索でより適切なスペルを提案するためのスペル訂正、2006年にリリースされたGoogle翻訳などに機械学習モデルが開発された[^2]。Googleの共同創業者の一人であるLarry Page氏は、"*The perfect search engine should understand exactly what you mean and give you back exactly what you need.*"（Google翻訳：*完璧な検索エンジンは、ユーザーが何を意味しているかを正確に理解し、ユーザーが必要としている情報を正確に返す必要があります。*）と述べており、そのビジョンに向けて機械学習の技術を用いて一歩を踏み出した事になる[^1]。この頃、GoogleのR＆Dを担うGoogle Researchでは、N-gram言語モデルを用いた、統計的なスペル訂正や機械翻訳が主な技術だった[^3]。
N-gramはN個の単語のシーケンス（例えば、2-gramは「This is」「is a」「a great」「great song」のような2単語のシーケンス）であり、N-gram言語モデルは、N-1個の単語からN個目の単語を予測するモデルで[^17]、統計的機械翻訳、音声認識、スペル修正、エンティティ検出、情報抽出など、Google Researchの様々な研究開発プロジェクトに用いられた[^3]。

>![](https://miro.medium.com/v2/resize:fit:1390/format:webp/0*Omgvdgf_H_6yHAVG.png)
[N-gram language models](https://medium.com/@abhishekjainindore24/n-grams-in-nlp-a7c05c1aff12)

2010年に設立された自動運転をはじめとした破壊的技術の研究を行うGoogle Xで[^4]、2011年にGoogleのJeff Dean氏、Greg Corrado氏、およびスタンフォード大学教授のAndrew Ng氏がGoogle Brainというプロジェクトを設立し[^5]、Googleの第一世代の機械学習システム（数千コアの分散コンピューティング環境で機械学習を実行する基盤ソフトウエア）DistBeliefの開発[^10][^9]、翌2012年にはニューラルネットワークを非常に小規模な「新生児の脳」をシミュレートするものと捉え、教師データを用いずにYouTube動画を1週間見せると猫の写真に、強く反応するようになったことを発見など[^6][^7]。
>![](https://scx2.b-cdn.net/gfx/news/hires/2012/tfhthhfd.jpg)
[The architecture of neural network that recognize "Cat"]()

## Word2Vec
Google Brainは2012年中にGoogle Xを卒業してGoogleに移り[^11]（おそらくGoogle Researchに所属したと思われる）、2013年3月にニューラルネットワークの研究企業DNNresearchを買収し[^13]、Geoffrey Hinton氏、Alex Krizhevsky氏、Ilya Sutskever氏がGoogle Brainに加わった[^12]。また、同年にTomas Mikolov氏も加わりWord2Vec[^15]と呼ばれる、ニューラルネットワークに基づいて自然言語をベクトル化する単語埋め込み（Word Embedding）を行う言語モデルは、N-gram言語モデルを大幅に上回る性能（例えば、Microsoft Sentence Completion Challengeの精度において、4-gramで39%、提案手法で58.9%）を示した[^15][^14]。

>![](https://miro.medium.com/v2/resize:fit:1400/format:webp/1*7nvAd3P8BDtLx_F7iScHRA.png)
[Word2Vec architecture](https://cognitivecreator.medium.com/word2vec-nlps-gateway-to-word-embeddings-6256e6a61afe)

[^1]:[Our 10 biggest AI moments so far](https://blog.google/technology/ai/google-ai-ml-timeline/)
[^2]:[Our AI Journey](https://ai.google/advancing-ai/milestones/?section=intro)
[^3]:[All Our N-gram are Belong to You](https://research.google/blog/all-our-n-gram-are-belong-to-you/)
[^4]:[Inside X, Google's top-secret moonshot factory](https://www.wired.com/story/ten-years-of-google-x/)
[^5]:[Jeff Dean, Greg Corrado & Andrew Ng Begin the Google Brain Deep Learning AI Research Projects](https://www.historyofinformation.com/detail.php?id=5165)
[^6]:[Building High-level Features Using Large Scale Unsupervised Learning](https://static.googleusercontent.com/media/research.google.com/ja//archive/unsupervised_icml2012.pdf)
[^7]:[Using large-scale brain simulations for machine learning and A.I.](https://blog.google/technology/ai/using-large-scale-brain-simulations-for/)
[^8]:[Interview with Andrew Ng：Many Leading AI Technologies were First Deployed in China](https://syncedreview.com/2017/02/17/interview-with-andrew-ng%EF%BC%9Amany-leading-ai-technologies-were-first-deployed-in-china/)
[^9]:[Want to Do Corporate Innovation Right? Go Inside Google Brain](https://hbr.org/2016/06/want-to-do-corporate-innovation-right-go-inside-google-brain)
[^10]:[Large Scale Distributed Deep Networks](https://papers.nips.cc/paper_files/paper/2012/hash/6aca97005c68f1206823815f66102863-Abstract.html)
[^11]:[Brain](https://x.company/projects/brain/)
[^12]:[Google Hires Brains that Helped Supercharge Machine Learning](https://www.wired.com/2013/03/google-hinton/)
[^13]:[グーグル、オブジェクト認識技術を研究する新興企業DNNresearchを買収](https://japan.cnet.com/article/35029415/)
[^14]:[What are word embeddings?](https://www.ibm.com/think/topics/word-embeddings)
[^15]:[Efficient Estimation of Word Representations in Vector Space](https://arxiv.org/abs/1301.3781)
[^17]:[N-gram Language Models](https://web.stanford.edu/~jurafsky/slp3/3.pdf#:~:text=An%20n%2Dgram%20is%20a%20sequence%20of%20n,The%20water%20of%2C%20or%20water%20of%20Walden.&text=Zero%20probabilities%20are%20in%20gray.)

## Seq2Seq
また2014年9月、Google BrainのIlya Sutskever氏などによりSeq2Seqと呼ばれるモデルが発表された[^16]。Seq2Seqは、RNN（Recurrent Neural Network）の一つであるLSTM（Long Sort Time Memory）を用いて、入力文字"列"をエンコードし、隠れ層を経てデコードすると言うEncoder-Decoder構造をとる[^17]。単語ごとにベクトル化するWord2Vecと比べて、ネットワークが文脈情報を加味できる点が大きな利点といえる。

>![](https://doimages.nyc3.cdn.digitaloceanspaces.com/010AI-ML/content/images/2022/03/image-1.png)
[Seq2Seq architecture](https://www.digitalocean.com/community/tutorials/seq2seq-translator-pytorch)

[^16]:[Sequence to Sequence Learning with Neural Networks](https://arxiv.org/abs/1409.3215)
[^17]:[Introduction to Seq2Seq Translators with PyTorch](https://www.digitalocean.com/community/tutorials/seq2seq-translator-pytorch)

## DeepMind買収
2014年1月、Googleは英国ロンドンのAI企業DeepMind Technologiesを約5億ドル（約510億円）以上の巨額で買収した。この買収にあたって、GoogleとFacebookの間で価格競争が繰り広げられたと見られている[^20]。
DeepMind社は、機械学習とシステム神経科学の技術を使って強力な汎用学習アルゴリズムを構築すると言うビジョンのもと、強化学習とディープラーニングを組み合わせた技術で、AIにAtariというゲームを人間と同等、あるいはそれ以上のレベルでプレイできるようにさせたことで有名であり[^22][^23]、Googleとしては、DeepMindの人材を獲得するのが主目的だったと言われている[^24]。

>![](https://i0.wp.com/syncedreview.com/wp-content/uploads/2017/02/19.png?resize=950%2C694&ssl=1)
[Deep Reinforcement Learning in Atari](https://syncedreview.com/2017/02/24/david-silver-google-deepmind-deep-reinforcement-learning/)

また、DeepMindは倫理委員会の設置を「強く求め」「主張」しており、Googleはこの構想に難色を示したが[^25]、倫理委員会の設置した[^26]。

[^20]:[Google Acquires Artificial Intelligence Startup DeepMind For More Than $500M](https://techcrunch.com/2014/01/26/google-deepmind/)
[^21]:[Google Acquires Artificial Intelligence Startup DeepMind For More Than $500M](https://techcrunch.com/2014/01/26/google-deepmind/)
[^22]:[Playing Atari with Deep Reinforcement Learning](https://arxiv.org/abs/1312.5602)
[^23]:[Google、人工知能企業DEEPMINDを買収](https://www.itmedia.co.jp/news/articles/1401/27/news117.html)
[^24]:[グーグルが人工知能の会社を5億ドル（約515億円）で買収](https://www.gizmodo.jp/2014/01/5515.html)
[^25]:[Inside Google's Mysterious Ethics Board](https://www.forbes.com/sites/privacynotice/2014/02/03/inside-googles-mysterious-ethics-board/)
[^26]:[The biggest mystery in AI right now is the ethics board that Google set up after buying DeepMind](https://www.businessinsider.com/google-ai-ethics-board-remains-a-mystery-2016-3)

---
続きはこちら

https://qiita.com/akagi_hayato/items/d97a0c14b4997baa1cf5