Google （4. 2018年ごろ：Cloud AutoML, BigQuery ML, Universal Transformer, BERT）

本記事は下記の続きです。

https://qiita.com/akagi_hayato/items/ee14aa95c14385aa03cf

## 経営、方針など
2018年5月のGoogle I/Oで、AI研究部門をGoogle AIという新組織に統合しGoogle Researchを廃止することを発表した[^1][^2]。

:::note info
Google Researchという基礎研究的な名称からGoogle AIという具体的な名称に変更することで、最終製品が念頭に置かれているという見方もある[^3]。
:::

また、2017年4月に米国国防総省が開始した、機械学習とデータフュージョン技術を用いて、ドローン映像や衛星画像、赤外線センサーなどのデータを分析するProject Mavenに、当初からGoogleが技術パートナーとしてドローン画像の分析に関するAIの専門知識を提供をしていたことに対して、
2018年6月に4,000人を超えるGoogle従業員が、Googleが戦争技術の開発に関与しないよう求める嘆願書へ署名した[^4][^5]。
これを受けて、Googleは、国際規範に違反する、あるいは危害を及ぼす可能性のある兵器や監視へのAI応用を追求しないことを明確に規定した一連のAI原則を発表した[^6][^7]。
これらの原則は、Googleの**Responsible AI**の基盤となった。

[^1]:[Introducing Google AI](https://research.google/blog/introducing-google-ai/)
[^2]:[Google Rebrands AI Research Division Ahead Of I/O 2018](https://www.androidheadlines.com/2018/05/google-rebrands-ai-research-division-ahead-of-i-o-2018.html)
[^3]:[Google goes all-in on artificial intelligence, renames research division Google AI](https://techcrunch.com/2018/05/08/google-goes-all-in-on-artificial-intelligence-renames-research-division-google-ai/)
[^4]:[Project Maven at *wikipedia*](https://en.wikipedia.org/wiki/Project_Maven)
[^5]:[3 Years After the Project Maven Uproar, Google Cozies to the Pentagon](https://www.wired.com/story/3-years-maven-uproar-google-warms-pentagon/)
[^6]:[AI at Google: our principles](https://blog.google/technology/ai/ai-principles/)
[^7]:[Googleが「AI技術を兵器開発に使わない」と宣言、「AI開発の原則」を発表](https://gigazine.net/news/20180608-google-ai-principle/)
[^8]:[What Are Google's Responsible AI Practices?](https://www.linkedin.com/pulse/what-googles-responsible-ai-practices-muema-neaie/)

## Cloud AutoML

Googleは2018年1月にCloud AutoMLというクラウドベースの機械学習サービスを発表した[^11]。これは、プログラミングや機械学習の専門知識がないユーザーでも高精度なカスタムAIモデルを構築できるようにすることを目的としている[^12]。特に、AI専門人材が不足している業界や中小企業でも機械学習を活用できるよう設計されている[^13]。

Cloud AutoMLは、AutoMLの研究成果であるニューラルアーキテクチャサーチ（NAS: Neural Architecture Search）技術を実用化したものであり、Google Brainの研究をもとにした実装が背景にある[^14]。このサービスでは、以下のような分野別プロダクトが提供された：

* **AutoML Vision**（画像分類および物体検出）[^15]
* **AutoML Natural Language**（テキスト分類や感情分析）[^16]
* **AutoML Translation**（特定用途の機械翻訳モデル）[^17]
* **AutoML Tables**（構造化データの予測モデリング）[^18]

これらのプロダクトは、Google Cloud Platform上でGUIベースで操作可能となっており、データのアップロードから学習、モデル評価、デプロイまでをシームレスに実行できる[^19]。さらに、GoogleのTPUやGPUなどの高性能計算資源を活用し、学習時間を短縮しつつ高精度を維持する設計となっている[^20]。

Cloud AutoMLは、Googleが推進する「AIの民主化」の一環として位置づけられており、クラウドコンピューティング環境を通じてAI技術を多くのユーザーに届ける戦略の中核を担っている[^21]。

>![](https://www.constellationr.com/system/files/uploads/user-12260/AutoML.jpg)
[Could AutoML concept](https://www.constellationr.com/blog-news/google-next-2018-deeper-dive-ai-and-machine-learning-advances)

[^11]: [Cloud AutoML: Making AI accessible to every business](https://blog.google/products/google-cloud/cloud-automl-making-ai-accessible-every-business/)

[^12]: [Google launches Cloud AutoML to automatically build custom AI models](https://venturebeat.com/ai/google-launches-cloud-automl-to-automatically-build-custom-ai-models/)

[^13]: [Google's Cloud AutoML And Its Push To Democratize Point And Click AI For All](https://www.forbes.com/sites/kalevleetaru/2018/01/18/googles-cloud-automl-and-its-push-to-democratize-point-and-click-ai-for-all/)

[^14]: [Neural Architecture Search with Reinforcement Learning](https://arxiv.org/abs/1611.01578)

[^15]: [AutoML Vision – Google Cloud](https://cloud.google.com/vision/automl/docs)

[^16]: [AutoML Natural Language – Google Cloud](https://cloud.google.com/natural-language/automl/docs)

[^17]: [AutoML Translation – Google Cloud](https://cloud.google.com/translate/automl/docs)

[^18]: [AutoML Tables – Google Cloud](https://cloud.google.com/automl-tables/docs)

[^19]: [Google’s AutoML lets you train custom machine learning models without having to code](https://techcrunch.com/2018/01/17/googles-automl-lets-you-train-custom-machine-learning-models-without-having-to-code/)

[^20]: [AI Infrastructure](https://cloud.google.com/ai-infrastructure?hl=en)

## BigQuery ML

Cloud AutoMLがノーコード・ローコードによる機械学習を実現する一方で、**BigQuery ML**はSQL文だけで機械学習モデルの構築と予測ができるサービスとして2018年7月に発表された[^22]。このサービスは、Google Cloudの大規模データウェアハウスであるBigQueryと統合されており、データを移動することなく、モデリング、トレーニング、推論をすべてBigQuery内で完結できる[^23]。

BigQuery MLでは、線形回帰、ロジスティック回帰、DNNClassifierなどのモデルが、以下のようなSQL文で簡単に作成できる：

```sql
CREATE OR REPLACE MODEL `mydataset.mymodel`
OPTIONS(model_type='linear_reg') AS
SELECT
  feature1, feature2, label
FROM
  `mydataset.training_data`;
```

このように、既存のSQLスキルを活かすことで、データアナリストや業務担当者でも本格的な機械学習モデルを構築できる。また、BigQueryの分散処理基盤により、大量のデータでも高速に学習と予測が実行可能であり、スケーラビリティと生産性の両立を実現している。

[^21]: [Google I/O Keynote 2018 – Sundar Pichai](https://www.youtube.com/watch?v=ogfYd705cRs)

[^22]: [Machine Learning in Google BigQuery](https://research.google/blog/machine-learning-in-google-bigquery/)

[^23]: [BigQuery ML Overview – Google Cloud](https://cloud.google.com/bigquery/docs/bqml-introduction?hl=ja)

[^28]: [AutoML integration with BigQuery ML – Google Cloud](https://cloud.google.com/bigquery-ml/docs/reference/standard-sql/bigqueryml-syntax-predict-automl)

[^29]: [Machine Learning with SQL: BigQuery ML – Towards Data Science](https://towardsdatascience.com/machine-learning-with-sql-bigquery-ml-4c71ad6c34a)

## Universal Transformers
2018年8月、Google BrainのチームからUniversal TransformersというAIモデルが発表された[^41]。2017年に発表された[Transformer](https://arxiv.org/abs/1706.03762)から主に下記の要素が追加され、Turing完全であることが証明されている[^40]。
- Recurrent blocks
    - EncoderとDecoderの出力を再帰的にSelf Attentionで処理し解釈を洗練する
    - 処理回数を動的に決める場合は、Adaptive Computation Time（ACT）というメカニズムで決定することができる 
- Shared Parameters
    - Transformerのように各レイヤーに異なるパラメータを持たせるのではなく、同じパラメータのレイヤーを複数回利用することでモデルサイズを低減している

>![](https://4.bp.blogspot.com/-OlrV-PAtEkQ/W3RkOJCBkaI/AAAAAAAADOg/gNZXo_eK3tMNOmIfsuvPzrRfNb3qFQwJwCLcBGAs/s640/image1.gif)
[The Universal Transformer](https://research.google/blog/moving-beyond-translation-with-the-universal-transformer/)

[^40]: [UNIVERSAL TRANSFORMERS](https://arxiv.org/abs/1807.03819)
[^41]: [Moving Beyond Translation with the Universal Transformer](https://research.google/blog/moving-beyond-translation-with-the-universal-transformer/)

## BERT
2018年10月、Google AIから、BERT（Bidirectional Encoder Representations from Transformers）と呼ばれる言語モデルが発表された。トークンのEncodeを行う際、文脈を考慮する言語モデルは存在したが、BERTは初めての双方向文脈モデルである。

:::note info
`I accessed the bank account.`という文章中の`bank`をEncodeする際、従来の文脈を考慮する言語モデル（同時期に発表されたOpenAIのGPTもこのモデル [参考: OpenAI（2. 2018~2020年ごろ：GPT1.0〜GPT3.0）](https://qiita.com/akagi_hayato/items/189f7b3029c1ce87383e#gpt-20)）は`I accessed the `という単方向の情報のみを考慮していたが、BERTは`I accessed the `と account.`の双方向の情報を考慮する。
それ前のトークンをもとに次のトークンを予測するというアプローチは単純だったが、双方向のトークンをもとにするのは難しく、Google AIはデータセットの文章の一部にマスクをかけて学習させることでBERTを成功させた。
:::

BERTは、質問応答（SQuAD）、自然言語推論（MNLI）、固有表現抽出といったタスクにおいて、従来のモデルを凌駕する性能を発揮した上で、扱いやすく早くファインチューニングできるという特徴から、自然言語処理の分野で広く用いられた。

>![](https://ainow.ai/wp-content/uploads/2019/04/BERT-image1.png)
[BERT architecture](https://ainow.ai/2019/05/21/167211/)

>![](https://1.bp.blogspot.com/-RLAbr6kPNUo/W9is5FwUXmI/AAAAAAAADeU/5y9466Zoyoc96vqLjbruLK8i_t8qEdHnQCLcBGAs/s640/image3.png)
[BERT vs OpenAI GPT vs ELMo](https://research.google/blog/open-sourcing-bert-state-of-the-art-pre-training-for-natural-language-processing/)

[^50]: [BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding](https://arxiv.org/pdf/1810.04805)
[^51]: [Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing](https://research.google/blog/open-sourcing-bert-state-of-the-art-pre-training-for-natural-language-processing/)