SnowflakeとDataikuでAIを安全に拡大する

クラウドベースの[Snowflake社](https://www.dataiku.com/partners/snowflake/)との長年のパートナーシップを経て、2021年6月、DataikuはSnowflakeのデータサイエンステクノロジー[パートナー・オブ・ザ・イヤー](https://pages.dataiku.com/dataiku-snowflake-data-science-partner-of-the-year)に選ばれました。
2021年12月に開催されたDataikuのProduct Daysのディスカッションで、DataikuのプロダクトマネジメントのシニアディレクターであるJC Raveneauは、SnowflakeのAI/ML担当フィールドCTOであるMichael Gregoryと対談し、SnowflakeとDataikuのプラットフォームで、AI活用を拡大するためのデータの管理と保護について話し合いました。ハイライト部分を見ていきましょう！

## まず、何が問題なのか？
AIを取り入れる価値はすでに明らかになっているので、どの組織もAIの活用を迅速に拡大したいと考えます。しかし、正しい知識を持ち合わせていなければ、目の前のタスクは必ずしも簡単なものではありません。
多くの企業は、AIシステムに大きな期待を寄せて、顧客エンゲージメントとエクスペリエンスの向上、従業員の生産性向上、イノベーションの加速などの目標を掲げていますが、課題を理解しているとは限りません。

組織がAI活用の拡大を進める際に注意しなければならない主な問題をいくつか紹介します。

- 非効率（整理されていない戦略や、分散したパイプラインは、失敗する兆候とみなすことができます）
- 不透明（急速に増加するAIプロジェクトの価値を明確にしていないため、ROIに苦しみ、混沌としたギリギリのマネジメントになる可能性が高くなります）
- リスク（社内ポリシーへの不適合や外部規制に対するリスクは、ビジネス/AIチームと、管理したいガバナンスチームの間に緊張をもたらす可能性があります） 

このような課題がAIの取り組みの拡大を妨げる中で、組織がスムーズな成長を促進し、これを実現するために、必要なステップとソリューションは何でしょうか。

## AIを安全にスケールさせるための3つのポイント 
[AIガバナンス](https://pages.dataiku.com/ai-governance)、[MLOps](https://blog.dataiku.com/whats-the-link-between-ai-governance-mlops-and-responsible-ai-scaling-ai)、[責任あるAI](https://blog.dataiku.com/ml-risk-mitigation-techniques-and-controls)は、（3つのピラミッドと呼ばれ、）この3つが一体となることで、AIの活用を安全に拡大できます。
この3つのすべてに含まれていてよく焦点となるのは、集中化、価値の高いプロジェクトの優先順位付け、リスクの抑制、モデルの信頼性、プロジェクト間の透明性です。


## ガバナンスの深化 
AIガバナンスは、実はAIと同じくらいデータに関係しています。AIガバナンスは、安全なデータガバナンスの基盤がなければ実現できません。[データガバナンスは、AIガバナンスにとって](https://pages.dataiku.com/data-governance-to-ai-governance-capgemini)極めて重要であるだけでなく、最初に実行する必要があります。業界エキスパートであるMonica Rogatiの「AIのニーズの階層」を見てみましょう。

トップレベルのAIプロジェクトに到達するためには、強固なデータ基盤から構築していくべきであることがわかります。

1. 収集（キュレーション）
2. 移動/保存/テスト（セマンティックとスキーマ）
3. 探索/変換（セキュリティー、監査、リネージュ） 
4. 集計/ラベル付け（パイプラインとオーケストレーション）
5. 学習/最適化（実験とアルゴリズム）

AIの活用を拡大するには、各ステップは、その前のステップが信頼できるレベルで実現されている必要があります。前のステップで出現したデータガバナンスの問題を、AIガバナンスの問題として間違って認識しないようにしましょう。
また、AIを使いこなすには、次の2つが重要です：データをコピーしていないこと、そして監査、監査、監査です。

データを一箇所に結びつける、監査しやすい集中型パイプラインは、信頼を築き、将来への備えとしても重要です。私たちは、自分たちが十分に理解していると思っていても、将来の規制やコンプライアンス基準について完全に把握できているわけではありません。簡単に確認できる場所があれば、そこから時系列の変化を追跡でき、時間の経過とともに発展するリスクを軽減できます。Snowflakeのプラットフォームは、まさにこれを念頭に置いて設計されています。
![PREDICTED AWAY.00_04_11_17.Still028.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1196881/ddb12930-2bc9-7de8-fd26-328e0d7b0a2f.jpeg)


## SnowflakeとDataiku：適切なツールは違いを生みだす
Snowflakeは、独自のプロセスをデータフローに取り込みながら、コピーが作成されないようにできます。そして最も重要なことは、企業に必要なデータガバナンスの構築に求められるすべての機能が備わっていることです。Snowflakeのプラットフォームでは、ビジネス上の成果を優先し、適切なデータを適切な人に適切なタイミングで届けることができるようにして、効率的な規模の経済を生み出すことができるようにします。

Snowflakeが提供するこれらの機能に加えて、Dataikuはデータガバナンス機能の豊富なエコシステムを提供し、次のステージであるAIガバナンスに移行しやすくします。Dataikuのアプローチは、すべての部門や職務の人が、データのフローにアクセスできるようにします。そして、透明性だけでなく再現性のために一貫したモデル管理を促進し、複雑なAIプロジェクトの構成要素を合理化することによって、あらゆるレベルで[管理と自律性のバランス](https://techcrunch.com/sponsor/dataiku/ai-is-a-balancing-act-heres-how-to-walk-the-tightrope/)をとれるようにします。

SnowflakeとDataikuを組み合わせることで、時間の経過に伴った拡大を追跡できるようにし、それを可視的されたプロセスにします。また、前述した、[AI活用の拡大](https://pages.dataiku.com/modern-data-architecture)に関する共通の課題に対応する、迅速なシステムを構築します。SnowflakeDataikuを一緒に使うと、信頼できる方法で価値を生み出し、リスクを軽減することができるようになります。


## データの管理と保護
SnowflakeとDataikuが提供する、AI活用を拡大するソリューションについて、ぜひ[動画(英語)](https://content.dataiku.com/governing-securing-data-scaling-ai-product?lb_email=%7B%7Bcontact.email%7D%7D)でご覧ください。



<br>
<br>

原文：[*Securely Scaling AI With Snowflake and Dataiku*](https://blog.dataiku.com/securely-scaling-ai-with-snowflake-and-dataiku)