Google Cloud Next'18 in Tokyo 参加レポート

* イベント名： [Google Cloud Next'18 in Tokyo](https://cloud.withgoogle.com/next18/tokyo)
* 日程：2018/09/19 ~ 2018/09/20
* 参加し、参考になったセッションをここに記載

* 全体感想：
  * 技術：すでにGCPを使っていますので、PR的な講演などちょっと行かなくてもいい感じがしていますが、一部のセッションに、事例、使い方など勉強になった部分もあります。特に機械学習を使うべきなのか、ビジネスサイドとの絡み方、PDCAサイクルの注意点などです。また、データチームの課題になった部分は、HandsOnで解決案を頂いているので、有意義だと思っています。
  * 会場：今回はホテル２つで別れていて、移動に時間コストが結構あるので、セッションにギリギリになっちゃって、参加者としてはちょっとストレスが溜まりやすいと思います。ただ、案内者が多く、丁寧に説明してくださっているので、いい感じです。ランチセッションに弁当がついていてるものの、案内がなく、参加していない方は迷いやすいと。アプリの提供非常に助かります。ただ、会議室の表示一個ずつ押さないと部屋番号がわからないので、それは非効率な部分です。プリンスホテルのEXPOにいくのに都度QR Codeスキャンは必須なので、不便と感じています。トイレが少なく、行列長い。

#  ------------------Day1 ------------------
### 基調講演
* Google Next in Tokyo イベント参加者が増加  
 → 2000人 (2016) → 12000人 (2017) → 22000人 (2018)
* Google Cloudは、日本において、主に５つ領域に投資
 1. Datacenter (Tokyo & Osaka)
 2. More under sea cables in Asia 
 3. Bigquey Tokyo region 
 4. Training documentation in Japanese (これみんな拍手。結構待っているような感じ)

* Traditional company are accelerating 
 **Change or Die**  → これめっちゃ強い。でも、ビジネスって、本当に競争激しいですね...

* Why choose Google ?
  * enterprise and technology company. ex: TPU, AI 技術
  * Security, cyber attack. ex: more than 30 security products
  * GSuite. ex: 99.9% spam/attack was blocked 
  * Job matching. ex: easily adopted for every company

* Fast Retailing : 有明プロジェクト(柳井さん)
  * お客様の満足のため、早く失敗して、情報を集める→決断

* AI engineer speaking: 
  * Simple / Fast / Useful 
  * BigQuery ML / CLOUD AI: TPU 3rd generation developing. CloudMachineLearning engine (full manage)
  * Cloud autoML: 自動生成モデル
* G Suite セッション
  * Secure / Smart / Simple
  * Gmail smart reply (analyze mail and provide three quick responses)
  * Gmail smart compose (complete automatically) 
  * Google document: 自動文法spelling check
  * ワークインサイト ダッシュボード

* 事例(KARTE)
  * Web site: personal visualization (behavior and emotion) real time ex: online アンケートの結果によるレコメンド
  * 秒間22000イベント GCP BigTable & BigQuery 






### セッション：「"JapanTaxi" アプリを支えるデータ分析基盤」12:00 ~
* Japan taxi Insights: 車両リアルタイムで解析
  * 渋滞、顧客多め、空車状況
  * 地理情報、ある範囲の台数
  * 五億六千行データ：たったの5秒で結果が出る
  * スキャン400MB

* サーバーレス
  * Dataflowで整形、位置座標変換、BigQuery(GeoJson, Polygen) で範囲内有無判断
  * 日本測地系 / 世界測地系 の考慮
  * ST_Intersection関数

* リアムタイムに位置情報表示
  * Cloud FireStore (Client にreal time 送信)
  * Map Platform API(Java)

* コスト
  * 2000 USD/month
  * 2 weeks development
  * Serverless 

* JapanTaxi
  * 100人社員
  * 500万DL 配車アプリ 注文、決済
  * ミッション: 
     1. 意思決定支援
     2. AI 配車：Driver can approach to crowded area via map dashboard
     3. 分析    
         配車情報、決済、位置情報、ユーザー、アプリログ    
         例、タクシーの遅延データ分析 / ドライバー分析  / 営業効率のため
  * 基盤：    
      * AWS KINESIS > Dataflow > Pubsub > S3 , Big Query & app engine     
      * Marketing: SQL     
      * MANAGER: BI TOOL, tableau 
      * GCP CENSUSでテーブルの利用をわかる    
      * テーブルmaintain(利用者、頻度...)
  * 展望: ドライバーレコーダー画像分析







### セッション：「ビジネス視点で考える現実世界の機械学習とデータサイエンス 〜 AI をブラックボックスにしないデータ活用術 〜」 13:20〜

* Deep learning: 非構造化データには発揮
  * 画像、音声、自然言語
  * 20年前から

* 事例：データセンター冷却コスト40%低下, PUE電力効率15%改善

* ビジネス活用
  * 予測処理が中心
  * 過去のデータを元に
  * ただ、ビジネスって、どうすればいいのかという判断が大事
![IMG_0462.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/1c366452-6c8b-6aac-348c-4c777f6f81fe.jpeg)

  * ビジネスオーナー: 機械学習って、何ができるのか
  * データアナリスト: 何をしたいのか
  * ステップ1&2、何が起きていたか(統計).何が起きているかというダッシュボード
  * ステップ3、今何をするべきか

* 故障検知の事例
  * Cloud PubSub : Real time収集、各機械の温度などのデータ
  * BigQuery: 過去データ分析
  * Datalab にてJupyter notebookで分析
  * 時系列可視化→調子が悪い箇所があるようです。分布を見る、histgram → ３つの温度パターンがあるとわかった。
  * 稼働なしの低い温度、正常、高すぎる温度
  * Datastudio: Dashboard アラート回数など
  * 機械学習: BigQuery MLで、その次のステータス予測、さらにダッシュボード化
  * 壊れそうなのかを予測

* 機械学習の進め方
  * 必要な知識と人材
  * ![IMG_0465.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/14024b53-dc70-43c0-fec7-8ada52c02763.jpeg)


  * データサイエンティスト:適切な情報を割り振る。 全てのプロジェクトを横断で、リーダーになって、プロジェクトをリードする

* 機械学習結果
  * 継続的に試行錯誤、再学習が必要
  * 世界が変化するので、モデル利用期間は限定
  * ビジネスからのフィードバックループが必要
  * モデルの理解を深めて精度を上げる
![IMG_0466.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/b8936755-0423-768f-f5e8-d05debaec1cd.jpeg)


# セッション「AutoML で始める機械学習」14:10〜
![IMG_0467.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/71793640-0979-1776-37e1-fa8a0566ceec.jpeg)
![IMG_0468.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/fdd8aaa1-d168-d4c0-34a8-b82dcf7bbaab.jpeg)


* 事例：部屋探しサイトの写真のタグ 
  * キッチン/トイレとかの自動認識
  * AutoML VISION限界 :
      * 画像分類できる
      * 物体検知できない
      * セグメンテーションできない
* 事例：ラーメン画像学習
  * ライバルに悪意のフォーの画像を除去したい
  * データアップロード、訓練、精度確認93%
  * ただ、フォーの半分は、ラーメンに誤認識
  * 原因は、評価指標？データの偏り？→ 混同行列でみて、これだとわかった






### HandsOn：「GCP で実現する、ハイブリッドクラウド環境でのデータ連携パターン（実践編）」
* すごく大事な情報を手に入れました：Pubsub→BigQuery/CloudStorage もともとPythonのテンプレートがなっかたが、このHandsOnでいただきました！
* 書類
  * https://goo.gl/o7z6wZ
  * https://goo.gl/DwYB4U
  * https://storage.googleapis.com/next18-data-pattern-handson/material/handson.zip








# ------------------Day2 ------------------
### 基調講演
* Google network
  * 2 years: 12 regions built
  * DDos攻撃を防止
  * Cloud Armor
    * SQL injection / DDos 攻撃をブロック
    * BigQueryML自動検知ipをブロック

* 会社事例-コロプラ
  * ゲーム会社(Google Partnership)
  * GCP移行：GKE, cloud spanner 採用
  * SRE Work Shop: Googleからの提案

* 80%企業は、マルチクラウドを使っている
  * サーバーコスト削減一方、管理コスト上がってる

* コンテナKubernetes 
  * Auto-scale、負荷分散
  * 75%企業採用
  * 問題: GKE間の認証、通信の安全→Istio 1.0 で解決
  * CSP: cloud service platformは、上記の結合
    * セキュリティ、可視性あり

* Server-less
  * 使った分課金
  * 管理する必要がない

* 開発
  * 誰も開発したい
  * 誰もメインテインしたくない
  * Google DevOps culture (development operation)
     * Container registry 
     * Skaffold: 自動deploy build
     * Cloud build: GitHub と連携、自動検証テスト、自動本番にビルド
     * Stack Profiler : 監視ダッシュボード、各関数メソッドの実行時間と関連性をモニタリング、問題点を見つける

* セキュリティ
  * Interconnect: 自社セキュリティ環境とGCPの通信連携

* Gsuite 
  * Mail: fishing 検知、有効期限、パスワード設定
  * Work Insight (launched yesterday)






### セッション：「ビジネスに貢献する効果的なデータアナリティクス実践事例集」
* GCP Data & Analytics
![IMG_0473.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/069e9cd2-ffe7-fcc8-56ec-c2003afeeaf4.jpeg)

* メルカリ：樫田さん かしださん hik0107(twitter)
  * 一億ダンロード
  * BI TEAM = Data Analytics Team
  * ![IMG_0474.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/22bb5203-b596-ac3e-5fe4-9eeb2962314f.jpeg)

  * DATA CULTURE：PDCA速い！何かのリンクででも結果を出す
    * データ・ドリブン
    * ![IMG_0475.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/592f5bbb-6b7f-f8d5-ab41-114114c5d2ee.jpeg)
![IMG_0476.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/4aa01345-6069-5870-c0fc-a5dc9c2ddcc8.jpeg)
![IMG_0477.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/cbc70e57-8533-e3a6-0847-2a994416d660.jpeg)
![IMG_0478.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/682d78b3-6061-eee1-1ee3-fb70f585b20a.jpeg)

  * Looker！ツール！入れ替え中！
  * Big Query: Flat rate を導入済み
  * BigQuery>> GAS>> Zapier でslackに投稿


* LIXIL
  * Private DMP構築
  * 建材 年間 1・7兆
  * ClientID を実装で、GA&BQ連携解決
  * Online Offline もClientID

* MonotaRO
  * 関節資材、eコマース
  * 100億レコード
  * データ基盤を置き換えた結果
    * SQL学習人数も四倍増えた
    * 高速にレポートを見れる人が増えた
    * 自らSQL四十人に 改善意欲 学習意欲

(グロービス課題)
* レポートは少人数
* PDCA速度
* ビジネスサイド連携の強化
* AB testあたり


### セッション：「リクルートライフスタイルにおける深層学習の活用とGCPでの実現方法」- 堀澤さん horiken4 
* 基盤システム
* ![IMG_0485.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/633849b1-4337-0567-4c5f-f20b02016e54.jpeg)
![IMG_0486.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/c21b3942-a9cb-4e70-467a-5a00c45b43e2.jpeg)
![IMG_0487.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/39cb4d1a-33c8-0159-73ab-cd4c500de4ec.jpeg)
![IMG_0488.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/6657ccde-a216-98fe-c315-b83229dbeca1.jpeg)
![IMG_0489.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/1f563d5c-f39b-c433-3db4-abd11f0fde1b.jpeg)
![IMG_0490.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/0ff949e1-19f4-aa37-9c77-ed0754cac910.jpeg)


* コードスタートを解決
  * 旅行プランに行ったことユンザーに対して、宿の閲覧で解決
  * 写真フォートを見たことないユーザーは、convolutions DAE で解決





### Expo： (Looker)
* ビジネス定義をし、フォーマットを決め、正規化できるダッシュボードサービス。その後は、特に気にしなくてもいい。すなわち、基本的な変数の定義を明確にして、その後は自動SQL生成。
<img width="768" alt="IMG_0491.jpg" src="https://qiita-image-store.s3.amazonaws.com/0/200629/1764e866-fe03-c6f5-5eb3-bb5c87dd0518.jpeg">

* 年間200万円(10人)
* GitHub 管理でき、定義ズレを防ぐ
* 今月日本オフィス


### Expo：(Google People Analytics)
* GSuiteを元に、ファイルの利用回数、編集ログと利用状況を活用、タレントに使う？
* https://rework.withgoogle.com/jp/subjects/people-analytics/
* https://www.pronoiagroup.net/


# セッション：「大塚製薬のこども向け食育アプリ「おいしいおえかき SketchCook」での機械学習活用」14:40 〜
* 大塚製薬
  1. 医薬品関連
  2. 病気にならない製品 例、calorie mate

* 親世代の課題と悩み:
  * 子供の偏食、食育時間、栄養バランス
  * Sketch Cook アプリ
     * 子供の描いたものは、実際に画面上にものとしての再現 (AR)
     * 栄養を学べる
     * 画像変換 変身(写真風に変換:pix2pix & GAN(generative adversarial network)
     * 画像分析 材料(SRGANで画像を高精度化解像度)
     * 足りない部分を提案
     * レシピを含め

![IMG_0492.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/13d4eee0-0de0-d37c-de15-5337d9c143a9.jpeg)


# セッション：「BigQuery を使用した分析基盤の運用を進めていく上で見えてきた課題、乗り越えてきた軌跡」16:00〜 山田さん

* LIFE EVENT / LIFE STYLE
* 3300 正社員
* 100 エンジニア
* BQ: 90% 時間省いた
* 昔、キャパシティ管理辛い、マルチクラウド、運用コスト高くなり アカウト管理も

* Why BQ?
  * キャパシティ管理不要
  * インフラから解放
  * データの受け渡しが簡易
  * データ活用の民主化
  * 構造把握しやすい基盤
  * 親和性

* BQ運用 
  * 社内勉強会
  * メタデータ管理: METAL KING
  * Datalake構成
  * ![IMG_0497.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/8898043f-0556-ffb1-f626-48128ac9ef34.jpeg)

  
* 基盤のアーキテクチャ 滝井さん フリーランス
  1. イベントドリブン
  2. オートスケール SQSmessage の増減に応じる
  3. ジョブの開始完了プロセス分離 

* 補足の有用情報
  * Atom Packageを使う : sql-BigQuery
  * 大規模テーブルの参照料金問題:require partition filter 機能
  * ロード機能がエスケープ非対応 文字処理で、2018／04 DDLがサポート
  * ユーザー自由にテーブル作成料金問題:データセットに、テーブル有効期限を設定





### セッション：「scikit-learn 開発者が語る、Google Cloud と機械学習の実力」18:40〜
* 金融データ時系列予測; 株式出来高予測
* Need more and more data to get good results. 大規模データが重要
![IMG_0501.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/aa363612-9f80-290b-cbdf-74b7dcba0de3.jpeg)
![IMG_0503.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/6d6c4b89-bdd3-f7db-b7f2-23d64732cc09.jpeg)

* 関連書類
  * http://bit.ly/gcp-burst-training
  * http://bit.ly/nl-preprocessing-with-gcp
  * http://bit.ly/sklearn-prediction-on-gcp




### Tokyo Night
* 行列は長すぎでした。20分以上待っていました。
* 設問とリアルタイムで集計は、こないだ末永さんのYEPのイベントに似ていると思います。
* ![IMG_0508.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/5a432ba7-cbe5-8431-1dc9-387fe89f53fc.jpeg)
![IMG_0510.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/e3e51313-bcaa-9cb5-9da4-c8569c8118b7.jpeg)
![IMG_0511.jpg](https://qiita-image-store.s3.amazonaws.com/0/200629/9670a3da-018a-3195-eff2-66e1e73ea859.jpeg)


### 最後に
GoogleCloudNextに登壇した弊社のリードエンジニアが、麹町でGASハンズオンのイベントを開催いたします！
ぜひご来場ください。
* [第1回 Google Apps Script (GAS) ハンズオン @麹町](https://globis.connpass.com/event/100268/)
また、登壇した弊社のリードエンジニアが公開したスライドはこちらです 
* [Google Apps Script で始める RPA」のスライド公開します #GoogleNext18](https://qiita.com/tanabee/items/337c29c303e8729e144a)