MLOpsで摩擦をなくし、AIの連鎖反応を起こす


---
AIの開発と活用をエンドツーエンドでサポートするプラットフォーム、Dataikuの概要についてご紹介するWebinarを<font color="LightSeaGreen">**2022年6月16日(木)**</font> に開催します。
高度に視覚化されたUIとわかりやすい操作性で、データサイエンティストだけでなくビジネスユーザーにも使いやすく、AIプロジェクトをエンドツーエンドで支えます。AIとデータの活用を企業全体へと広げ、データ人材を育成し、データ活用力を底上げすることをご支援します。

どんなツールだろうとご関心を持ってくださっている皆様、是非ご参加ください！
[→詳細・お申し込みはこちら](https://bit.ly/39UgYgO)

---

AIの価値は、多くの企業にいまだとって達成できない目標です。アナリストの報告書やIT意思決定者を対象とした数多くの調査では、AIプロジェクトに関連するITプロセスの貧弱な状態が、価値創出を阻む重要な要因であることが定期的に確認されています。ある調査では、AIプロジェクトのうちパイロットから本番に移行できるのはわずか半数、移行できたプロジェクトは平均9カ月かかると示しています。

実際に、AIプロジェクトを展開・管理するための既存の運用プロセスは摩擦に満ちており、アジリティー、コントロール、拡大の不足という形で現れています。これは、ITの意思決定者だけでなく、分析プロジェクトのコントロールを失いかねないデータリーダーにも大きな影響を及ぼします。これらの摩擦を一度に取り除き、最終的に企業全体でポジティブなAIの連鎖反応を引き起こすことができるとしたらどうでしょうか？

DataikuとSnowflakeがどのように役立つのか見てみましょう。
![jj-ying-PDxYfXVlK2M-unsplash.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1196881/12f869ef-3b80-9853-1d99-6bf9f2f1b577.jpeg)

<br>

## アジリティーに関する課題
[LinkedIn](https://www.linkedin.com/pulse/linkedin-jobs-rise-2022-25-us-roles-growing-demand-linkedin-news/?trackingId=k%2Bx4SrDmQlOnaDlWUcaFgg%3D%3D)によると、機械学習（ML）エンジニアは、米国の求人市場で4番目に求められている職業です。多くの組織では、貴重なデータとMLエンジニアの時間を退屈な反復作業で浪費しており、これは成功に対して重大な妨げとなっています。

#### MLエンジニアの時間を節約し、効率を向上させるには
DataikuとSnowflakeは、モデルを運用するためのオプションを組織に提供します。リアルタイムスコアリング、モニタリング、再トレーニングのために、Dataikuは、APIエンドポイントとしてモデルをデプロイするための弾性のあるAIクラスターを提供します。バッチスコアリングでは、DataikuはSnowflakeの[Snowpark](https://www.snowflake.com/snowpark/?utm_source=dataiku&utm_medium=partnerblog&utm_campaign=snowpark)（JavaおよびPython UDFを含む）とシームレスに統合し、Snowflake内で直接モデルの運用とスコアリングを行うことができます。バッチスコアリングでは、[Java UDF](https://blog.dataiku.com/snowflake-dataiku-java-udfs-snowpark)のためのSnowflakeネイティブランタイムを活用することで、In-Snowflakeモデル推論は、他のプラットフォームに対して[スコアリング速度が8倍以上](https://www.snowflake.com/webinar/product-demo/snowpark-day-april2022/)向上していることが示されています。

#### 重複作業を避け、再利用性を高める
新しいプロジェクトを立ち上げたり、古いプロジェクトを更新したりするたびに、ゼロからやり直さなければならないため、プロジェクトを本番稼動させようとする多くのチームが失敗しています。Dataikuは、プロジェクトやモジュラーコンポーネントなどの再利用可能なコンポーネントとコラボレーション環境を提供し、コーダーと非コーダーの双方が作業を最大限に再利用できるようサポートします。

<br>

## 拡大に関する課題
ラップトップのような孤立した環境で動作するノートブックを実験に使用することは、多くのデータサイエンティストの仕事の範囲を制限し、本番環境への展開に際して課題となります。また、このような分断されたシステムでは、計算のためのリソースが限られている場合があり、データ量やワークロードの種類に対してシステムが不十分な場合に問題となることがあります。さらに、このような分断されたプロジェクトは、実運用のフレームワークやシステム上でかなりのリファクタリングとテストが必要なため、実運用に移行するのが困難です。

#### クラウドインフラとの連携でスケーラビリティーを実現
Snowflakeの多言語かつエラスティックな処理エンジンとDataikuの機械学習およびモデル管理機能を組み合わせることで、DataikuとSnowflakeは、相互補完的なソリューションとなります。Dataikuのアーキテクチャーは、セルフサービスデプロイメントによるAI利用の拡大を可能にするだけでなく、モデルの推論や監視、置換、再デプロイメントのプロセスを高速化します。データ準備、特徴量エンジニアリング、モデル推論などの多くのワークロードは、Snowflakeにプッシュダウンしてデータの近くで効率的に処理を実行したり、DataikuのフルマネージドKubernetesソリューションを活用して本番ワークロードを計算クラスターにオフロードして、弾力的にスケーリングすることができます。

<br>

## コントロールに関する課題
AIに取り組む企業では、多くのモデルが十分にテストされていなかったり、本番環境のデータやリソースと互換性がなかったりという課題によく直面します。すでに本番稼動しているモデルについては、IT管理者は適切に監視できないことに不満を抱いています。最悪の場合、ビジネス部門はこれらの問題について知らされず、しかし最初に影響を受けるのはビジネス部門であることが多いため、彼らの信頼が失われるリスクがあります。McKinseyは最近の[調査](https://www.mckinsey.com/business-functions/mckinsey-analytics/our-insights/global-survey-the-state-of-ai-in-2021?cid=other-eml-dre-mip-mck&hlkid=42fe0f48bf8842b1bdc387cc81faa2b8&hctky=12017602&hdpid=dd960b72-2b64-43cb-95a3-00771c3fbfc3)で、「AIにより高生産性を実現した企業」は、エンドツーエンドのAIライフサイクル管理をマスターしている人たちであり、それ以外の人たちとは異なることを明らかにしました。このベストとワーストの差は、調査の中で最も高く、エンドツーエンドのAIライフサイクルマネジメントをコントロールすることが成功への重要な要素であることを示唆しています。

##### MLOpsで管理、監視、制御する
Dataikuを使い、MLOpsのワークフローを管理し、プロセスを管理、監視、制御することで、チームは価値の創造により多くの時間を費やし、非効率の修正に時間を割くのを避けることができます。たとえば、Dataikuの利用には以下のようなメリットがあります。

- 数回のクリックで、実験からテスト、デプロイのための本番環境まで、プロジェクトをシームレスに移行することができます。
- データパイプラインとモデルを全体的に監視し、データとパフォーマンスのドリフトを検出してアラートを出し、新しいデータに基づいて自動的に再トレーニングを行うことができます。
- 異なるステークホルダーによる複数のレビューと、本番環境へのデプロイ前の最終サインオフを可能にし、信頼性の低いモデルや偏ったモデルの拡散を抑止します。


## O'Reilly（とDataiku！）の専門家によるMLOpsの解説書
企業におけるMLの拡張について、[こちらのEBOOK(英語)](https://pages.dataiku.com/oreilly-introducing-mlops)をご覧ください。MLOpsがもたらす課題、関係者、成功のために必要な要素に焦点について解説しています。

<br>
<br>
<br>

原文：[*Get Rid of Friction & Trigger an AI Chain Reaction With MLOps*](https://blog.dataiku.com/mlops-snowflake)