AIガバナンス、MLOps、責任あるAIの関連性とは？

AIガバナンス、MLOps、Responsible AI（責任あるAI）のつながりを明確にするために、AI規制シリーズを一旦お休みします。これら3つの概念は、業界の実務家、研究者、規制当局の間で、明確に定義された関連性や境界線がないまま、しばしば話題にのぼります。[Dataiku](https://www.dataiku.com/product/)では、これらの概念はAIを活用してスケールさせるための重要な要素であると考えています。

[→  さらに先へ： エンタープライズ・グレードの生成AIへの道](https://pages.dataiku.com/enterprise-generative-ai-jp)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1196881/4a4a84c3-4f28-deb2-56c9-2d0a0243a172.png)
*AIガバナンス、MLOps、そして責任あるAIは、AIの分野に明瞭さよりもむしろ新たなノイズを加えるものとして認識される可能性があります*

## なぜ面倒なのでしょうか？
これらの概念を正しく理解し、明確にしなければ、AIを使ったスケーリングはほぼ不可能である。組織は、本番稼働するプロジェクトの数を増やし（時には複雑化させ）、AIで規模を拡大したいと考えるようになると、新たな課題に直面する：
1. **非効率さ** - 急速に増加するプロジェクトは、より多くの人員、プロセス、テクノロジーを管理する必要がある。AIの人材が不足している一方で、テクノロジー・スタックは拡大し続け、それらを管理するためのプロセスは非効率を生み出しているようだ。プロジェクトを本番稼動させるのに何ヶ月もかけるべきではありません
2. **リスク** - プロジェクトを本番稼動させるには、開発とはまったく異なる新たなリスク群が伴う。データ保護、不透明性、偏見などは、[組織の評判](https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G)や[財務実績](https://www.nytimes.com/2018/04/04/technology/google-letter-ceo-pentagon-project.html)に悪影響を及ぼしかねない具体的な問題となります
3. **法的圧力** - これらのリスクは、過去4年間、世界中の規制当局によって指摘され、議論されてきました。現在では、民間企業向けにAIガバナンスの新たな基準を設定する規制を提案するところが増えており、違反した場合には罰金を科される可能性があります

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1196881/ff57b8e4-23cd-7ad8-7d25-6a41818a7eae.png)
*世界のAI規制状況 出典: Dataiku*

これらのダイナミクスはすべて、組織がAIプロジェクトの成長を維持するために、AIガバナンス、機械学習オペレーション（MLOps）、責任あるAIについて今日から考え始めるよう促しています。データガバナンスと同様に、成熟サイクルの中でこの問題に取り組むのが遅すぎると、蓄積された負債に対応するためにより多くの時間と資金が必要にな流ことを意味します。
 

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1196881/7e74d607-644c-d29a-f9b7-67ed1aa1fee8.png)
*エンタープライズAIの成熟度モデルは、組織にとって重要なテーマとしてマネジメントが顕在化する時期を浮き彫りにする*　出典 Dataiku

なぜこれらが重要なのかがわかったところで、これらの概念が何を意味し、互いにどのように関係しているのかを理解してみましょう。

## AIガバナンスから始める
ちょっと待ってください......いや、私たちはこれら3つのコンセプトを総合的に考えなければなりません！ここがポイントです：AIガバナンスとは、運用（MLO）を結びつけるフレームワーク（有効なプロセス、ポリシー、内部適用）です： AIガバナンスとは、効率的なAIを大規模に提供することを目的とし、一貫性のある反復可能なプロセスを実施するために、業務要件（MLOps）と価値観要件（Responsible AI）を結びつけるフレームワーク（有効なプロセス、ポリシー、内部適用）です。具体的には、AIと高度なアナリティクスプロジェクトの運用リスクを管理し、法的コンプライアンスを維持するのに役立ちます。

**言い換えれば、これら3つのコンセプトは、AIプロジェクトのステップを組織全体で効率的、反復可能、再利用可能にするための一貫したアプローチを構成しています。これが、私たちが意味するスケーリングです！**

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1196881/67fe3477-035e-df79-9299-5b5725f35691.png)
*AIガバナンスは、価値ベース（Responsible AI）と運用コンセプト（MLOps）の交差点に位置します*

詳しくは以下の簡単な定義を参照ください：
- MLOps：データ収集から運用、監視まで、エンド・ツー・エンドのモデル管理に重点を置く
- 責任あるAI：AI特有のリスク（差別的バイアスや透明性の欠如など）に対応したエンド・ツー・エンドのモデル管理を実現する
- AIガバナンス：リスク調整された価値の提供とAIのスケーリングにおける効率性に重点を置き、規制に沿ったエンド・ツー・エンドのモデル管理を大規模に提供する

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1196881/f41cea99-6c37-9ba2-7fc1-3d78846197aa.png)
*AIでスケールアップするために必要な三角形の概念*

このビジョンを明確にするために、具体的な例を挙げてみましょう。AIガバナンス・ポリシーは、AIプロジェクトがライフサイクルを通じてどのように管理されるべきか（MLOps）、具体的にどのようなリスクにどのように対処すべきか（Responsible AI）を文書化したものである。そしてアナリティクスチームは、以下のようなガバナンス要件を満たす必要があります：
- MLOps：プロダクションAIプロジェクトへのアクセスを制限する、[プロジェクトに関するすべての活動を記録](https://doc.dataiku.com/dss/latest/operations/audit-trail/index.html)する[モデルの旧バージョンを保管](https://doc.dataiku.com/dss/latest/collaboration/version-control.html)する、など。
- 責任あるAI：[説明可能性](https://blog.dataiku.com/responsible-and-explainable-ai-along-the-ml-pipeline-with-dataiku)のテクニックを使って、社内の利害関係者に解釈可能性を提供する、[データやモデルに偏りがないかテスト](https://doc.dataiku.com/dss/latest/machine-learning/supervised/model-fairness-report.html)する、[決定を文書化](https://doc.dataiku.com/dss/9.0/machine-learning/model-document-generator.html)する、など。


## 納得いきませんか？別の例を見てみましょう
銀行の詐欺部門で働き、迷惑電話による詐欺から顧客を守ろうとしている場面を想像してみてください。銀行には、利用可能なあらゆる手段を駆使して、顧客や金銭的損失のリスクを最小限に抑え、責任ある方法で対処する責任があります。事前対策としては、属性や取引履歴に基づいて脆弱な顧客を特定したり、詐欺や 詐欺に対処する方法についての啓発を行ったりすることが考えられます。

銀行決済へのリスク介入策としては、取引の特徴（例：金額、場所）に基づいて、銀行決済が不正に行われるリスクを評価することが考えられる。顧客情報と決済情報を組み合わせたこのような2つのモデルを組み合わせることで、顧客担当者が口座名義人の意図を 確認する場合を除き、不審な銀行送金を未然に防ぐことができる。このような一見単純なシナリオは、MLOps、責任あるAI、ガバナンスの各テーマにまたがる複雑に絡み合ったものである。

まずAIガバナンスから始めましょう。データを使って実験したり、モデルを構築しようとしたりする前に、銀行内の複数の人が複数のステップを踏んで、プロジェクトの対象を絞り込み、適格性を確認します。この場合、不正部門でこのプロジェクトの必要性が浮上し、アドバンスド・アナリティクス（AA）チームの注意を喚起しました。

銀行の成熟度によっては、AAチームはプロジェクトを適切に適格化し、「このプロジェクトは銀行にどのような価値をもたらすのか？このプロジェクトに必要なリソース（人材、データ、インフラなど）はあるか？このプロジェクトには（銀行や顧客にとって）どのようなリスクがあり、それは許容可能か？このような原則や、それを実行するための役割分担がなければ、プロジェクトに適切なリソースを割り当てたり、プロジェクトが進むにつれてリスクを特定したりすることは容易ではありません。また、ガイドラインが確立されている場合でも、AA は他のチーム（リスク＆コンプラ イアンス部門など）と連携し、承認が必要な場合もあるでしょう。

MLOpsと責任あるAIに関しては、データから始まるライフサイクルのすべての段階で注意しなければならない。全体的な顧客プロファイルと疑わしい取引モデルを作成するには、通常、有用なデータセットを作成するために多くの異なるシステムから情報を照合し、処理する必要がある。情報に関連する出所データ、鮮度、側面データ、権限を発見し理解する能力がなければ、データサイエンスチームはデータの品質と完全性が不十分なため、実験を開始することさえ苦労することになるでしょう - 不正取引にフラグを立てることは、乾草の中から針を探すようなものであることを覚えておいてください！

こうした個人情報に関して懸念されるのは、不利な立場にある人々に対する偏見が埋め込まれる可能性があることです。多くの詐欺師は、65歳以上の個人をターゲットにしているが、これらの個人は自分が詐欺に遭っているかどうかを疑う可能性が低いという前提に立っている。[責任あるAI](https://blog.dataiku.com/introducing-the-responsible-ai-in-practice-series-and-healthcare-use-case)の観点からは、様々な年齢層におけるモデル性能の違いを測定し、考慮する必要がある。データは年齢層が高いほど詐欺事例が多くなる傾向があるため、データサイエンティストは、モデルがデータセットにあまり含まれていない年齢層の詐欺事例を正しく検出できるかどうかをテストする必要があります。これは、異なる集団、特に詐欺に遭いやすい集団に合わせた複数のモデルを作成することを意味するかもしれません。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1196881/1fd2af2c-c2db-cbd9-0710-ba531d4cf182.png)
*AIガバナンス、MLOps、責任あるAIは互いに補完し合い、AIのスケーリングに一貫したセーフガードを加える*

モデル構築に関しては、送金阻止や顧客の不必要な不満を招くような偽陽性の確率が高いため、再現可能で説明可能なモデルの重要性が強調される。このようなモデルによって、AAチーム（そして最終的にはビジネス・オーナー）は、銀行のリスク／リターンに対する意向に基づいてモデルの感度を微調整する際、使用した評価手法に納得感を持つことができる。

社内外で結果を共有する場合、[説明可能性](https://doc.dataiku.com/dss/latest/machine-learning/supervised/explanations.html)は非常に重要な要素となります。偽陰性の場合、つまり真の取引が実際には不正であると主張する場合、顧客とその支払先は、なぜ支払いにフラグが立ったのかの説明を必要とする。その説明を提供することで、モデルに対するリアルタイムのフィードバックが得られ、意思決定プロセスに対する信頼が高まり、不正の被害に遭った人たちが将来的に不正の予兆をよりよく見極められるようになるための教育の役割を果たすことができます。

また、顧客や犯罪者の行動が変化していることは言うまでもありませんが、決済処理と不正取引の識別にはかなりのタイムラグが生じる可能性があるため、アンサンブルの導入が検証された後も複雑な状況は続きます。これらすべてを考慮すると、アンサンブルを継続的に改善するためのフィードバックループに基づく[入力ドリフトとパフォーマンスモニタリング](https://www.dataiku.com/product/plugins/model-drift/)の必要性が生じます。2つのプロファイル・モデルを連動させるという特性から、慎重な管理と評価を行い、少しずつ改良を加えていくためには、個々のモデルごとにアップデートする必要があるかもしれません！

**プロジェクトが終了すると、新たなリスクが発生しても、不正チームがモデルの監視を継続できるようになります**。AIガバナンスは、プロジェクトの引継ぎのために、すべてのプロジェクトが会社のガイドラインに基づいてきちんと文書化されていることを再度確認するために導入さ れます。不正チームは、モデルがどこにあり、どのように構築され、どのような前提条件が設定されたかを知る必要がある。彼ら自身、リスクやコンプライアンス、規制当局からの懸念に対処するために、これらの情報を持っている必要があります。

このパイプラインが意図したとおりに機能すれば、犯罪者が顧客を欺くことは難しくなるはずです。その結果、犯罪者は検知を避けるために行動を変えるはずなので、時間の経過とともに、行動の変化に直面してモデルの有効性は低下していくことになります。最新の状態を維持するために、ライフサイクルは再スタートし、AIガバナンス、MLOps、および責任あるAIが反復的で生きたプロセスであることの関連性が強化さ れます。

## さあ、準備を始めよう！

AIガバナンス、MLOps、および責任あるAIを定義し、それらがなぜAIスケーリングの旅において重要なのか、そしてそれらが組織内で運用上どのように適合するのかを理解した後、これをどのように実践に移すかを考えなければなりません。旅の手始めに、各地域に合わせたベストプラクティスを探してみてはいかがでしょうか。フランス企業向けのアドバイスは[こちら](https://blog.dataiku.com/how-will-regulation-reshape-enterprise-ai-initiatives)、ヨーロッパに特化したアドバイスは[こちら](https://blog.dataiku.com/inside-the-first-ever-legal-framework-on-ai)、北米向けのアドバイスは[こちら](https://blog.dataiku.com/the-world-of-ai-is-shifting-even-in-the-us)と[こちら](https://blog.dataiku.com/using-data-privacy-to-introduce-ai-regulation-the-canadian-bet)、東南アジア向けのアドバイスは[こちら](https://blog.dataiku.com/ai-governance-singapore)をご覧ください。

**Dataikuは、AIガバナンス、MLOps、Responsible AI（責任あるAI）の各機能を1つのプラットフォームに統合し、AIを大規模に管理するためのツールを提供しています**。Dataikuは、データから学ぶだけでなく、新たなインサイトを構築することで、規模拡大のプロセスに貢献します。 誰もが可能になります： 

Dataikuは、最も複雑なAIプロジェクトもカバーします。生成AIアプリケーションに取り組む準備が整いましたら、Dataikuの[LLM Mesh](https://blog.dataiku.com/llm-mesh)と[RAFTフレームワーク](https://pages.dataiku.com/responsible-generative-ai-jp)をご利用ください。私たちの LLM Mesh と私たちの RAFT フレームワークは、企業全体で責任を持って効果的に生成 AI を拡張するのに役立ちます。私たちの役割は、お客様がご自身のスピードと条件に合わせ、AIの旅を容易にすることです。

## 企業向け生成AIについてもっと知る

この体験ページでは、使用例やその他の情報をご覧いただけます。詳細は[こちら](https://experience.dataiku.com/generative-ai/p/1)から

原文: [What’s the Link Between AI Governance, MLOps, & Responsible AI? ](https://blog.dataiku.com/whats-the-link-between-ai-governance-mlops-and-responsible-ai-scaling-ai)