AWS Summit Tokyo 2019 Day2,3 レポート

<img src='https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/253995/6247199f-2622-4235-f79c-c60180c0288a.jpeg' width=30%>
AWS Summit Tokyo 2019 Day2,3に行ってきました。今年は幕張メッセです。記事の一番の目的は私自身の経験値アップです。また記事を読んで頂いた人に、何かひとつでも興味を持って頂けたら幸いです。

# DAY2-12 メディア最新事例
制作・管理・アーカイブ・配信までエンドツーエンドのAWSメディア最新事例

* Amazon
クラウドのメリットは、場所を問わない、リソースが無限、初期費用が安いこと。
クラウドのセキュリティは高い。USBメモリなどの記憶メディアによる物理アクセスがなくなるためである（この考え方は浸透しているのかな）
三大コンテンツ配信である、NETFLIX、Hulu、Amazonプライム・ビデオは、AWSを使用している。(･`ω･) どや 
2015年にElemental、2017年にThinkBoxを買収している（メディア関係にもチカラを入れている）

* ジェイ・スポーツ
ラグビーの最終日に流すビデオを制作している。放送用のMXF形式で作成する。50Mbpsでファイルサイズは40GBととても大きい。
MXFはAWS MediaConvertを使用している（ほぉ、実運用でも使えるのか）
Wifiでも編集は可能であり、ローカルにHDDが不要になる（確かに40GBは重い）
クラウドは素材を共有できるので、大阪から東京へ仕事を引き継ぐことが可能。
困っている点、S3からEBSへ手動でコピーしなければいけない（なんちゃってクラウドではこの問題が出るんだよな）

* NHKテクノロジーズ
CG制作で使用している。1フレーム作成するのに計算時間が15分もかかるらしい。いつも締め切り前に高いスペックが必要となるので、クラウドとは相性が良い。
AWSはThinkBoxを買収。ThinkBoxでタスク管理。ThinkBox DeadLineは裏でクラウドフォーメーションが動く（ThinkBox推し）
クラウド導入によりサーバーラックを無くしたい（うちは増えたぜ）

* フジテレビ
先日の6/10からマスターをAWSにした（さてはAWSサミットに合わせて来たな）
2012年のお台場AWSサミットから参戦。当時日本未上陸のNetFlixに衝撃を受けたらしい。
AWS MediaConvertを使用している（みんなMediaConvertだな）

* イマジカ
ポスプロについての話。独自のスケジュール管理を作った。UIはどんなに多くても3階層まで（共感できる）
EDIUSはS3に直にアクセスできるので便利（進んでおるな）
AWS MediaConvertでMXFをプレビューしている（むむ、ここでもMediaConvert）

* フジテレビ
広告挿入の自動化、2Kと4KのハイブリットTV、など。当然AWS MediaConvertを使ってる。
低遅延＝高画質＝大規模、の三角形を描き3つは両立できない（この図とてもいい）
CMAF fMP4を使った低遅延の実演。

* 調べてみた
fMP4 (fragmented MP4)
以前HLS-4Kのデモで試したことがある。てっきりAppleだけの規格と思ってスルーしてたけど、他も使うなら是非使ってみたい。
CMAF (Common Media Application Format)
2018年1月にMicrosoftとAppleがISOに正式発行。普通セグメントが6秒だと遅延は6秒になるが、CMAFは全部ダウンロードしなくても再生できるので遅延は1秒程度だそうな（適当な解釈）

# DAY2-14 機械学習
【初級】AWSでのデータ収集、分析、そして機械学習

* 機械学習はビジネス課題からスタートすること（何度も言ってたが何か嫌なことでもあったのかな）
* 初めから何でもデータを蓄積しておく、後からやりたいことができるため（初めから全部やれって正論だけど・・）
* データレイクにデータを貯める（データレイクってビッグデータに代わる魔法の言葉かな）
* S3は1ヶ月1GBたったの3円（これだけではない、みんなダマされるな）
* データは集めるだけでなく可視化が重要、いろんなツールを駆使しよう（よし可視化を頑張ろう）
* AWSを使うと、ネット構築不要、ラッキング不要、HWメンテナンスが不要になる（さては機械学習用に高価なサーバーを買わせる業者がいるのだな）
* 誰がデータを使うのかを考えよう、3つの例では3つともスクリプトを書ける人が前提だった（インフラ部隊がスクリプトを書くはずもなく、PGがインフラも担当することに）
* Athena 低コスト → EMR 高コスト（まずはAthenaかな）
* AWS QuickSight でデータを可視化できるらしい、CSVをドラッグできるらしい（使ってみよ）
* AWS GlueはLambdaより大規模らしい（はよ言うてくれや）
* AthenaとMLを使って異常検知をしているらしい（機械学習は間違い探しに向いているのかな）
* MLはサイクルが重要と何度も言ってる（作って終わりのガラケーではない）

# DAY2-15 機械学習
機械学習の実運用でよくある課題と，AWS を使った解決方法・事例紹介

* SageMakerを使おう。モデルの評価とサイクルが重要。
* ニュース記事の分類。政治とかスポーツとか。文字だけでなく写真からも野球と分類している。
* AIを使って、車の運転中の気の緩みとかも分類（そして仕事中の気の緩みも・・）
* コンウェイの法則ってのがあり、組織の分け方がシステム設計にも反映される。
MLモデルの分類も、会社の組織体制が反映されてしまう（うちは部長11人もいるぜ）
* ミクシーのゲームで、SageMakerで運用テストを行っている。
* 専門家の知見などにも活用できる（専門家を探そう）

# DAY2-16 スマホゲーム
テクロスにおけるAWS活用の歩み ソーシャルゲーム運用とデータレイクについて

* 以前はVMでインスタンスが20個くらいあったが、AWSで4つくらいに減った（以前ありすぎ）
* VMだと別のVMがCPUを食う問題があり戦っていた（不毛な戦い）
* AWS移行のきっかけは、神姫プロジェクトというゲームで、MySQLが落ちて3日分ロールバックする事件が起きた（サラっと言ってるが、たぶん何人か死人が出てると思う）
* さすがにシームレス移行は無理で、24時間止めてもらったらしい（あのテクロスも止めたんだ、という言い訳に使えそう）
* TerraFormというツールを導入、本番とテストのステージングを管理している（調べてみたけどソフトのインストーラーのクラウド版かな）
* データレイクでログを解析、スマホゲームなので不正アクセス解析に使用している（やはりAIは間違い探しに向いているのか）
* S3とAthenaを使用。Athenaはクエリの実行時のみ課金が発生。データの加工はAWS Glueを使っている。ゲームでは行動ログを取っている。Glueで分割、S3、Athenaという流れ。
* Json化してS3に置いているらしい（Jsonが良いのかな）
* 日毎型（全部）と追記型（差分）があるらしい（なんか深そう）
* Re:dashというオープンソースのBIで見える化（ぅぅツールについていけない）
* テクロスはいっぱいツールを導入、そのすべてが3年前には無かったもの。
* ツールは正しく使おう。無理な使い方をすると後で必ず無理が出る（それが無理なのさ）

# DAY3-10 基調講演
基調講演

* Amazon
暗号化では116ものサービスがあります（おおぅ）
AWSはMicrosoftの2倍のWindowsインスタンスが稼働しています。(･`ω･) どや
EKSのKubernetesを推している（今年の推しかな）
ブロックチェーン、通販のAmazonも使用している（ブロックチェーンは要チェック）
エッジからデータを送り、ローカルデバイスをクラウドに繋げる（この考え方に乗りたい）
TensorFlowで65%速くなる（確かに機械学習とも相性がよさそう）

* 事例紹介
コカコーラ　自販機のポイントをLambdaのサーバーレスで実現
フォートナイト　DynamoDBでデータを分析
ヤンマー　車両をAWSで管理

* メルカリ
メルカリはSNSよりWeb滞在時間が長いらしい（滞在時間がひとつのモノサシなのか）
AIで違反を検知（AIは間違い探しに向いているな）
メルペイというい支払いを作った（なんか各社のポイントカードみたいだ）
AIにEKSを使っている（先取りしてるな）

* パナソニック
Vieureka（ビューレカ）プラットフォーム。カメラを目のように使う。
メタデータだけを送信してクラウドで解析している。
店舗などで年齢や滞在時間などを収集している。
入退管理にカラービット（色のついたアイコン）を使用。
パナソニックのAPIサービスは、かけつけ不要、出張費ゼロ円（言い方が気に入った）

* SyntheticGestalt（シンセティックゲシュタルト）
薬の開発には莫大な費用がかかる。テストを自動化している（薬の開発には効果ありそう）

# DAY3-14 Windowsストレージ FSx
クラウド移行はまずはここから。「Amazon FSx for Windows File Server」によるファイルサーバ移行のベストプラクティス

* クラウド上のWindowsの3分の2がAWSだ。(･`ω･) どや
* FSxはWindowsと完全に互換性がある。SMBは2.0～3.1。Active Directoryにも対応。
* 0.156/GB-mo　月額１万円（値段高すぎ高杉君）
* KMSのキーも使える、フォルダ単位で権限を指定できる。
フォルダごとにネームスペース（URL）を割り当てることができる。
3つのサブフォルダをそれぞれ分けると、3倍の速度が出る（いろんな小技がある）
* 感想　初め高いのでスルーと思ったが、EBSと比べるとそれほどではなく、S3との面倒なやりとりを考えるとありかな。

# DAY3-15 機械学習
Amazon SageMaker で実現する大規模データのための分散学習とワークフロー

* 1TBを超える巨大なデータはパイプラインモードを使う。ストリーミングで処理すると速くてコストも安い。大規模にはパイプラインモードがおすすめ。
* SageMaker Ground Truth アクティブラーニングでラベル付け（自動ラベル付けに興味がある）
* モデルをマーケットプレイスから購入できる（おーいいな）
* モデルを自動にチューニングできるらしい。出力するプロセッサ選びはとても複雑である（私はまだこのレベルではない）
* 推論はCPUが大変、90%使わない時があり、その時はGPUの1割だけ使うようにする。従来のトレーニングは手動で停止する必要があるが、SageMakerなら使い終わると自動で停止するのでコスト的に優しい（みんなAWSのコストに悩んでいるのだな）

# DAY3-16 メディア
AWS Media Services – 高度なメディアワークフローを実現

* 配信  
QVBR＝品質が定義された可変ビットレート(VBR)。調べてみた。すでにMediaConvertの選択肢にあり、全体のビットレートが下がる。いつもビットレートなんぼや問題に悩まされているので利用したい。
* 遅延  
短いセグメントは画質が下がる。CMAFを使用。分割チャンク1秒〜6秒（ここでもCMAFか）
* 広告  
サーバーサイドで広告を挿入している。MediaTailor＞広告＞CloudFront＞再生という流れ。さらに広告が再生されたかどうかの収集までやる（広告も深いな）
* 字幕  
話している内容の字幕テロップを、リアルタイムで多言語で表示。実際の映像があった（これはすごいぞ）システムの構成図が出てた（ムズイというか、面倒くさそう）

# DAY3-17 Alexa 音声認識
AWS & Alexa Automotive : Worldwide Automotive industry trends

* 車もスマホ同様にアップデートする時代に。地図と連携して駐車場を探す機能など。
* F社もN社もAWSで開発しています。(･`ω･) どや
* カーシェアの例があった。Amazonから車のキーが届き、その車で商品を運ぶ（それって配達員やん）
* アレクサオートモーティブ  
自然でありシンプルであることを力説（むぅ）
AlexaはPCにも車にも病院にも、どこでも使えるようにする。
マーケットには他の会社が作ったスキルが100個あるらしい（スキルとはMLのモデルみたいなものかな）
* カスタマイズが必要。天気の情報なら、湿度も欲しい、最高湿度も欲しい。今日の天気、明日の天気、そして一週間分の天気など、用途に合わせて情報は変わる。
* Alexaの開発者は１万人（食は万里を超える）
* 76%の客はAlexaを再度使いたい、それは購入理由にも繋がる（使いたくないとは言わないと思う）
* Alexaの人気機能。1位ナビゲーション、2位音楽、3位警告（2位は音楽なのか）
* AlexaのAutoナントカがGitにあるらしい（調べてみた、いっぱい出てきた）

# 収穫
* CMAF と MediaConvert を試してみよう
* SageMaker と Athena を始めてみよう
* QuickSight と TerraForm は面白そう
* リアルタイムの字幕がすごかった

# まとめ
去年もAWSサミットまとめ記事を書きました（Qiitaは未投稿）。読み返すとやろうとしたことができていないのです。とはいえ、やったこともいっぱいあるのです。あれもこれも全部やるのは無理だと分かったので、もう少し大きく明確なゴールを持ちたいです。