Snowflake Summit 2023 現地レポート Day3 - Builder Keynote -

# 前書き
株式会社NTTデータ [テクノロジーコンサルティング事業本部 デジタルテクノロジー＆データマネジメントユニット](https://enterprise-aiiot.nttdata.com/) 所属の Kento_Imamura です。

現在、ラスベガスで開催されている[Snowflake Summit 2023](https://www.snowflake.com/summit/?lang=ja)に現地参加しています。Snowflake Summitは、Snowflake社が年次で開催する最大規模のカンファレンスです。今年のテーマは「The World’s Largest Data, Apps, and AI Conference」で、6月26日から6月29日までの4日間にわたって開催されており、400セッション以上、200以上のパートナー企業が参加しています。

本記事ではDay3に行われたBuilder Keynoteの内容をお届けします。

# Builder Keynote
Builder Keynoteでは、Snowflakeの様々な最新・注目機能が寸劇形式で紹介されました。


# 1. オープニングスピーチ
まずは、Snowflake 創業者の1人であるBenoit Dageville氏の挨拶から始まりました。
Opening Keynoteでも言及があったSnowflake MarketplaceでのNative Apps公開など、Snowflakeエコシステムの未来について語られました。
![opening.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3452189/4191a46a-d731-b2f1-ecc8-59ce9328d6c3.jpeg)

また、Snowflakeでは、Snowflakeのユーザを「DataHero」とよび、その中のリーダが「DataSuperHero」として、Snowflake社から認定されています。本スピーチの中でもDataHeroやDataSuperHeroへの感謝が述べられ、最善席に並んだDataSuperHeroが紹介されました。
日本からは、NTTデータの渋谷亮太氏（写真一番右）をはじめ、6名のDataSuperHeroが今回のSummitに参加されていました。
![super_heros.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3452189/096bf468-2114-6f42-8a17-471ac00571a9.jpeg)


# 2. 想定ユースケース紹介（寸劇）
Snowflakeのキーマンたちが「Tasty Bytes」という架空の会社の社員を演じながら、Snowflakeの最新機能を紹介していました。
コミュニティマネージャが司会を担当し、プロダクトやアーキテクト・データサイエンティストなどの各分野の責任者たちが演者として出演していました。キーマンたちが寸劇を通してユーザにわかりやすくその良さを伝えようとする、そんなSnowflakeの姿勢にも強く感銘を受けました。

出演者とその役割は以下の通りです。
- ナレータ
    - ELSA MAYER (Snowflake, Senior Community Manager)
- 現場アナリスト
    - FELIPE HOFFA（Snowflake, Lead Developer Architect）
- データサイエンティスト
    - MARIE COOLSAET（Snowflake, Lead Data Scientist）
- テクニカルリード
    - DASH DESAI（Snowflake, Lead Developer Ardvocate）
- プロダクトマネージャ
    - AMANDA KELLY（Snowflake, Director of Product, Streamlit Co-founder）


## 寸劇のストーリー
「Tasty Bytes」のフランチャイズオーナーたちにデータドリブンな意思決定をしてもらうべく、上記のメンバで協力して開発を進めるというもの。収益最大化を目指す「Tasty Bytes」がSnowflakeの様々な機能を使って意思決定を支援していきます。
![sungeki-opening.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3452189/6116696d-2cce-2bd5-b37a-b2f74d1e0784.jpeg)

## 起こっている課題
「Tasty Bytes」では、下記のような課題があると設定されていました。いずれも、現場で起こり得る課題だと感じます。

### 課題①: Streamingデータの取り込みが難しい
データサイエンスチームがPoCで作成した需要予測モデルによって、利益リフトが期待できることがわかりました。一方で、その予測には**バッチデータとストリーミングデータの両方が必要**で、その両方をうまく取り込む必要がありました。

### 課題②: 分析環境がサイロ化している
現場アナリストとデータサイエンスチームはそれぞれ**異なる外部環境をつかっていて、サイロ化が生じています。** そのため、チーム間の連携も難しい状態です。

### 課題③: 分析結果利用までのリードタイムが長い
現場アナリストやデータサイエンスチームが分析したものを都度提供しているため、**現場のフランチャイズオーナーのアクションに至るまでに時間を擁してしまいます。** 

![IMG_0242.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3452189/4316e032-daf6-3e01-8323-b32552f9455d.jpeg)



## 課題に対処するための機能
### 課題①に対する機能：Snowpipe Streaming / Dynamic Tables
Opening Keynote でも紹介された[Snowpipe Streaming](https://docs.snowflake.com/en/user-guide/data-load-snowpipe-streaming-overview)や[Dynamic Tables](https://docs.snowflake.com/en/user-guide/dynamic-tables-about)を用いることで、取得されたデータを直接Snowflakeテーブルに書き込むことが可能。
無事、需要予測モデルに必要なストリーミングデータを取得できるようになりました。
![streaming1.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3452189/e738924e-45df-1f12-8d25-2c44375912fd.jpeg)


### 課題②に対する機能：Snowpark Modeling API / Snowpark Container Services
こちらもOpening Keynoteで紹介された[Snowpark ML Modeling API](https://docs.snowflake.com/en/developer-guide/snowpark-ml/snowpark-ml-modeling)を用いることで、Snowparkでscikit-learnやxgboost、lightgbmなどのモデルの学習や特徴量エンジニアリングが可能に。
さらに、[Snowpark Container Services](https://www.snowflake.com/snowpark-container-services/)により、GPUでの学習やデプロイも可能に。
これによって、現場アナリストもデータサイエンスチームも外部環境が不要となり、Snowflakeで完結。脱サイロ化・スムーズな連携を実現できるようになりました。
また、外部環境にデータやモデルを持ち出すこともないため、ガバナンスも強化することができます。
![ml1.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3452189/7bca4e30-d777-569a-a04e-f3e34c386311.jpeg)
![ml2.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3452189/081b5522-944c-a6f0-791c-4fc11eaf208b.jpeg)


### 課題③に対する機能：Streamlit in Snowflake
Streamlit in Snowflakeを用いることで、データアプリを迅速に作ることが可能に。

さらに、別セッションでも取り上げられていた、
[```st.experimental_data_editor()```](https://docs.streamlit.io/library/api-reference/data/st.data_editor)
を用いることで、アプリで表示したテーブルにユーザが書き込むことにより、アプリからデータを更新できるようになりました。

作成したアプリは簡単に他のSnowflakeユーザに共有することができます。

インタラクティブなアプリを迅速に提供することにより、現場のフランチャイズオーナーがスムーズに意思決定を行えるようになりました。
![streamlit0.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3452189/77e3e2bb-4909-932b-7ad9-d3d7ce0992f0.jpeg)
![steamlit.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3452189/c424c59c-6d55-d368-ec7c-e00aaf51d0c6.jpeg)


# 3. おわりに
実際の現場でも起こり得る課題に対して、注目度の高い機能を取り上げながら進めていく寸劇であり、非常に興味深い内容でした。
ページ下部にその他のKeynoteや個別セッションの記事のリンクもございますので、ぜひご覧ください。

# Snowflake Summit 2023関連記事
[Snowflake Summit 2023 現地レポート Day1 - Partner Summit -](https://qiita.com/Kento_Imamura/items/d126cfcff76fea57711d)
[Snowflake Summit 2023 現地レポート Day1 - Generative AI's Impact on Data Innovation in the Enterprise -](https://qiita.com/Kento_Imamura/items/e2dfa6677c1e2779e9d1)
[Snowflake Summit 2023 現地レポート Day2 - Snowflake Summit Opening Keynote -](https://qiita.com/Kento_Imamura/items/eb15058074c3b655dbe5)
Snowflake Summit 2023 現地レポート Day4 - Panel Discussion: Predictions on Generative AI and LLM in the Enterprise -

# 仲間募集
NTTデータ テクノロジーコンサルティング事業本部 では、以下の職種を募集しています。
1. クラウド技術を活用したデータ分析プラットフォームの開発・構築(ITアーキテクト/クラウドエンジニア)
2. データサイエンス領域（データサイエンティスト／データアナリスト）
3.お客様のAI活用の成功を推進するAIサクセスマネージャー
4.DX／デジタルサクセスを推進するデータサイエンティスト《管理職/管理職候補》

# ソリューション紹介
<details>～データ資産を分析活用するための環境をオールインワンで提供するソリューション～
https://enterprise-aiiot.nttdata.com/tdf/
最新のクラウド技術を採用して弊社が独自に設計したリファレンスアーキテクチャ（Datalake+DWH+AI/BI）を顧客要件に合わせてカスタマイズして提供します。
可視化、機械学習、DeepLearningなどデータ資産を分析活用するための環境がオールインワンで用意されており、これまでとは別次元の量と質のデータを用いてアジリティ高くDX推進を実現できます。<summary>Trusted Data Foundationについて</summary></details>
<details>～データ活用基盤の段階的な拡張支援（Quick Start) と保守運用のマネジメント（Analytics Managed）をご提供することでお客様のDXを成功に導く、データ活用プラットフォームサービス～
https://enterprise-aiiot.nttdata.com/service/tdf/tdf_am
TDFⓇ-AMは、データ活用をQuickに始めることができ、データ活用の成熟度に応じて段階的に環境を拡張します。プラットフォームの保守運用はNTTデータが一括で実施し、お客様は成果創出に専念することが可能です。また、日々最新のテクノロジーをキャッチアップし、常に活用しやすい環境を提供します。なお、ご要望に応じて上流のコンサルティングフェーズからAI/BIなどのデータ活用支援に至るまで、End to Endで課題解決に向けて伴走することも可能です。<summary>TDFⓇ-AM（Trusted Data Foundation - Analytics Managed Service）について</summary></details>
<details>NTTデータでは、Snowflake Inc.とソリューションパートナー契約を締結し、クラウド・データプラットフォーム「Snowflake」の導入・構築、および活用支援を開始しています。 NTTデータではこれまでも、独自ノウハウに基づき、ビッグデータ・AIなど領域に係る市場競争力のあるさまざまなソリューションパートナーとともにエコシステムを形成し、お客さまのビジネス変革を導いてきました。 Snowflakeは、これら先端テクノロジーとのエコシステムの形成に強みがあり、NTTデータはこれらを組み合わせることでお客さまに最適なインテグレーションをご提供いたします。
https://enterprise-aiiot.nttdata.com/service/snowflake<summary>NTTデータとSnowflakeについて</summary></details>
<details>データ連携や処理方式を専門領域として10年以上取り組んできたプロ集団であるNTTデータは、データマネジメント領域でグローバルでの高い評価を得ているInformatica社とパートナーシップを結び、サービス強化を推進しています。
https://enterprise-aiiot.nttdata.com/service/informatica<summary>NTTデータとInformaticaについて</summary></details>
<details>NTTデータは、お客様企業のデジタル変⾰・DXの成功に向けて、「databricks」のソリューションの提供に加え、情報活⽤戦略の⽴案から、AI技術の活⽤も含めたアナリティクス、分析基盤構築・運⽤、分析業務のアウトソースまで、ワンストップの⽀援を提供いたします。
https://enterprise-aiiot.nttdata.com/service/databricks<summary>NTTデータとDatabricksについて</summary></details>
<details>ビジュアル分析プラットフォームのTableauと2014年にパートナー契約を締結し、自社の経営ダッシュボード基盤への採用や独自のコンピテンシーセンターの設置などの取り組みを進めてきました。さらに2019年度にはSalesforceとワンストップでのサービスを提供開始するなど、積極的にビジネスを展開しています。
これまでPartner of the Year, Japanを4年連続で受賞しており、2021年にはアジア太平洋地域で最もビジネスに貢献したパートナーとして表彰されました。
また、2020年度からは、Tableauを活用したデータ活用促進のコンサルティングや導入サービスの他、AI活用やデータマネジメント整備など、お客さまの企業全体のデータ活用民主化を成功させるためのノウハウ・方法論を体系化した「デジタルサクセス」プログラムを提供開始しています。
https://enterprise-aiiot.nttdata.com/service/tableau<summary>NTTデータとTableauについて</summary></details>
<details>Alteryxは、業務ユーザーからIT部門まで誰でも使えるセルフサービス分析プラットフォームです。 Alteryx導入の豊富な実績を持つNTTデータは、最高位にあたるAlteryx Premiumパートナーとしてお客さまをご支援します。
導入時のプロフェッショナル支援など独自メニューを整備し、特定の業種によらない多くのお客さまに、Alteryxを活用したサービスの強化・拡充を提供します。
NTTデータとAlteryxについて
https://enterprise-aiiot.nttdata.com/service/alteryx<summary>NTTデータとAlteryxについて</summary></details>
<details>DataRobotは、包括的なAIライフサイクルプラットフォームです。 NTTデータはDataRobot社と戦略的資本業務提携を行い、経験豊富なデータサイエンティストがAI・データ活用を起点にお客様のビジネスにおける価値創出をご支援します。
https://enterprise-aiiot.nttdata.com/service/datarobot
<summary>NTTデータとDataRobotについて</summary></details>