【Google Cloud Day 2020】クラウドエンジニアが少ない会社で GCP を活用してデータ基盤を作った話を聞いて

#背景
テレビを見れる環境は整ったので
どう見られているという分析をするためにデータ戦略部を立上げ基板の構築を行う
フルマネージド、サーバレスで構築したい

委託先にお願いする手もあったが、明確な目的がなかったので、
アジャイルで進めたかったので、エンジニアが少なくてもデータ基板を構築した

#データの種類が豊富
　タレント、番組、SNS、などデータの種類が20種類、ファイルは150くらい
　BIにアウトプットしている

#ID管理の部分
　異なるIDのものを紐付けた（Tver,Youtubeとかマッピングした）
　DjangoとAPPEngineは相性が良かった

#データ読み込み
　なかなかベストな方法がなかった
　cloud functionの制限にもかかった　リカバリーに時間がかかった
　取り込みにdataprepをつかったのは用途が違うけどよかった

#データウェアハウス
　分析するにあたって知識が必要だが、ちょっとした集計処理は知識がなくてもできる
　
#キャプチャ
![Screenshot from 2020-06-09 12:39:48.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/e3020bea-b608-b74c-698f-f7cd25df0ec3.png)

![Screenshot from 2020-06-09 12:40:06.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/4271ba1f-7796-6094-621c-a41d310d7557.png)
![Screenshot from 2020-06-09 12:41:31.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/fe8f52ef-ee59-0bcf-145d-b09ba09d86b0.png)

![Screenshot from 2020-06-09 12:42:37.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/701b6af1-fd27-eb0e-e06c-b2850e304643.png)

![Screenshot from 2020-06-09 12:44:55.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/cc803bec-c769-08c1-0d5e-aa5af9fd4b28.png)

![Screenshot from 2020-06-09 12:47:54.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/6f5774c3-3eba-2075-2595-07d2234eb0c3.png)

![Screenshot from 2020-06-09 12:48:08.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/3cbd8e52-24f2-03d1-ccc2-3fac523fd096.png)

![Screenshot from 2020-06-09 12:49:23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/0afc8d06-6525-204c-4fae-32175bf3b8ef.png)

![Screenshot from 2020-06-09 12:50:10.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/f6098ecb-2c5d-23cf-827e-e21ec644d272.png)

![Screenshot from 2020-06-09 12:52:35.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/3e1efec1-5771-0563-6742-6f29e1650af8.png)

![Screenshot from 2020-06-09 12:53:47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/21208842-e09e-dc03-0975-2ce73ee1dff3.png)

![Screenshot from 2020-06-09 12:54:29.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/7cc172c6-6f34-6846-5c0b-ac97282f5991.png)

![Screenshot from 2020-06-09 12:55:42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/7cfc0a75-a9b0-e721-70bf-4faae0394929.png)

![Screenshot from 2020-06-09 12:56:15.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/09793e64-17b1-68ec-d68c-ea07e2bc4cd0.png)

![Screenshot from 2020-06-09 12:57:02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/3a4c0b7c-d23f-08fc-b59c-22b01d63237e.png)

![Screenshot from 2020-06-09 12:57:52.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/4d526059-8148-ee6a-85a6-7c9175f80e71.png)

![Screenshot from 2020-06-09 12:58:27.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/9c66f76f-dd10-d43b-f229-ea931f6883d6.png)

![Screenshot from 2020-06-09 12:59:27.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/556084/fd3007bf-f33f-d078-1547-35525b34373b.png)