2018年～19年のAIトレンドまとめ(Medium記事より)

Mediumの記事[「Keeping up with AI in 2019」](https://medium.com/thelaunchpad/what-is-the-next-big-thing-in-ai-and-ml-904a3f3345ef)と併せて関連する先駆者たちの記事を色々読んだので、備忘のためにまとめてみた。
アメリカにおける近年のAI関連の動きがまとめられた記事。
ちなみに、英語はそれほど得意ではなく、かなり意訳しているので誤訳もあるかもしれません。


#要点まとめ
##アルゴリズム関連
・近年はDeep Learning関連の論文が多い。
・その中でもNLP(Natural Language Processing)、GAN(Generative Adversarial Networks)、RL(Reinforcement Learning)が主。
###NLP(自然言語処理)
・word2vec, GLOVE, LSTMといったモデルがあったが、転移学習が難しい点がネックであった。
・ELMoの登場によってNLPにおける転移学習が進展した。
・BERTはそれを更に上回る性能を発揮した。
( ELMo/BERTについてはこちら)
[文脈を考慮した単語表現を獲得するELMo](https://kamujun.hatenablog.com/entry/2018/07/06/173931)
[汎用言語表現モデルBERTを日本語で動かす(PyTorch)](https://qiita.com/Kosuke-Szk/items/4b74b5cce84f423b7125)
[[DL輪読会]BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding](https://www.slideshare.net/DeepLearningJP2016/dlbert-pretraining-of-deep-bidirectional-transformers-for-language-understanding)

###GAN(生成モデルの一つ)
・ここ数年アカデミックな世界では大人気。
・実世界での活用事例はまだ少なく、ポテンシャルがある。
・新たな活用方法として、style transferをMLモデル用データ生成器として使うことが提案されている。
・Adversarial Patchは、分類前の画像に張り付けるとCNNモデルを欺いて分類結果を変えてしまうようなパッチを生み出すGANである。
(読みたい論文)
[GAN Dissection: Visualizing and Understanding Generative Adversarial Networks](https://arxiv.org/abs/1811.10597)
[Adversarial Patch](https://arxiv.org/pdf/1712.09665.pdf)

###RL(強化学習)
・RLはAlphaGoが囲碁の世界チャンピオンを倒したことで注目されるようになる。
・報酬を定義することで行動を最適化するモデルである。
・最近だとDeepMindのAlphaStarがオンラインゲームであるStarCraft IIでプロプレーヤーを倒したことが話題となった。
・OpenAIもオンラインゲームであるDota 2で世界チャンピオンを倒している。
・近年ではRLで学習した動作をRobotへフィードバックする試みがなされている。

###Deepfakes
・画像や動画で登場人物が絶対に言わなさそうなことを言わせることをDeepfakesと言う。
・GANで対象人物の発言を学習させることで実現。
・2018年1月に公開されたFakeAppを使えば、誰でもDeepFakesを作成することが可能となった。


##インフラ関連
###TensorFlow対PyTorch
・信頼性、デプロイやモデル再利用の容易さ、といったSRE(Site Reliability Engineers)の観点からはTensorFlow。
・論文執筆目的、Googleが嫌であればPyTorch。

###MLaaS(ML as a service)
・Google、Microsoft、AWSをはじめとする企業により、APIを使ったMLaaSが広がっている。
・多くのケースでお手軽にMLを使えるメリットはあるが、モデルやハイパーパラメータが適合しないケースでは使えない。

###Google Cloud AutoMLとTensorFlow Hub/AI Hub
・Google Cloud AutoMLはNLPやConputer visionの様々な訓練済みモデルを提供している。
・TensorFlow Hubは学習済みの深層学習モデルを簡単に共有できるリポジトリ。
・AI Hubは単なるモデルではなく、ML Pipelineを共有できる。

##ハードウェア関連
###NVIDIA
・Deep learningの学習に必須となりつつあるGPU生産のリーディングカンパニー。
・元はゲーム用として生産されていたGPUだが、ML用の高速な行列計算のためにカスタマイズされたものも出始めた。

###Intel
・2018年ではAI業界の先駆者ではなかったが、今後変わる可能性がある。
・Intelのハードウェアに特化したSDK(ソフトウェア開発キット)であるOpenVINOとnGraphを開発。
・Neural Compute StickというUSBで外付けする画像分析用プロセッサを発売。
・GPUを開発しているという噂もある。

###カスタマイズされたハードウェア
・GoogleはGPUより早いTPUを開発し、GCP(Google Cloud Platform)上で一般ユーザへも開放している。
・Amazonも同様に AWS Inferentiaを提供し始めた。

###AWS Deep Racer
・Amazonは、強化学習を利用した小型自動運転車であるAWS Deep Racerの販売、更にAWS Deep Racerのリーグ戦を開始した。

##次の動きは？
###Decision Intelligence
・これまではAIはサイエンスであったが、今後はAIをビジネスとして実世界へ応用する動きが活発になるだろう。
・"Decision Intelligence"とはAIを実世界の課題解決に活用すること。

###AIにより生み出される仕事/消滅する仕事
・AIが新たに生み出す仕事は、AIに取って代わられる仕事よりも多いと考えられる。
・教師用データへラベル付けする仕事など、数年前には考えられなかった仕事が生み出されている。

###エッジコンピューティングへの移行
・画像処理など大量のデータを使用する処理で、いちいちデータをサーバへ送信していたら処理が追いつかない。
・一方で、PCやスマートフォンを含むエッジ端末では、演算能力に限界がある。
・今後はGoogle’s Edge TPUやApple’s Neural Engineなどの新たなハードウェアの発明や、効率的なモデル・最適化されたソフトウェアの開発により、エッジ端末での演算能力不足が解消されるだろう。

###AIインフラの統合
・これまでは多くの企業によりAIインフラ開発が過熱していたが、今後は落ち着きをみせ既存のプレーヤーが中心となるだろう。
・但し、理想のAIインフラの形はまだ見えておらず、引き続き時間が必要と考えられる。
・それには多くのリソースが必要であるので、小さなスタートアップが解決するのは難しい。
・一方で、MLインフラのエンジニアは不足しており、GoogleやAmazonなどの大企業による買収ターゲットとなりうる。

###更にカスタマイズされたハードウェア
・更なるML処理速度向上のため、一般利用目的ではなく、特定のML処理に特化したハードウェアが現れるだろう。

###訓練データへの依存度の低下
・大企業はすでに大量のラベル付きデータセットを持っており、スタートアップがこれに対抗するのは難しい。
・ラベル付きの訓練データに頼らず、インターネットやセンサーから入手可能な、ラベルなし/非構造化データの活用を図ることが重要。
・GANや転移学習、強化学習の発展も、この流れの一環。

###最後に
・AIを使っても解決できていない課題は今はまだ多いが、今後どんどん解決されていくだろう。



#所感
・各分野の最新動向をまとめてくれるのは非常に助かる。
・BERTやりてぇ！GANやりてぇ！AWS Deep Racerほしい！
・AIリーディング企業と戦うにはラベルなし/非構造化データを活用すべし、という指摘はすごく納得した。商社が今後生き残るには、GoogleやAmazonが持っていないデータを使っていく必要があるのかもしれない。
・この記事で取り上げられている技術や論文についても別途勉強しようと思う。
・なかなか元記事の分量が多くて最後失速気味なのはご愛嬌ということで。