2022 年 2 月
JDLA 事務局
第 4 回 AI ガバナンスとその評価研究会（第Ⅱ期）第 4 回
開催報告
1. はじめに日本ディープラーニング協会では、人工知能（以下 AI）や Deep Learning（以下 DL）に関連する国内外の政策動向についての知見を深め、議論する場としてテーマごとに研究会を設置している。本研究会「AI ガバナンスとその評価」は多様なアクターによる管理・評価の体制の在り方を「ガバナンス」と定義し、どのようなガバナンスの形がありうるのか調査し、信頼される AI の構築の一助とする研究会を 2020 年 7 月から立ち上げ、第Ⅱ期の検討を 2021 年 9 月から実施している。
研究会第 4 回（2021 年 11 月 29 日）においては、前半の部では株式会社グリッドの曽我部完氏より「AI 安定運用を拒むデータドリフトの現状と対応策」、後半の部では AI
Cloud プラットフォームを提供する DataRobot, Inc.の平田泰一氏より「DataRobot
MLOps を活用した機械学習モデルガバナンス」、立脇裕太氏より「持続可能な AI モデルの運用実現に向けて」と題して話題提供が行われた。本レポートは、話題提供の内容と研究会参加者のディスカッションを再構成して作成したものである。
2. AI 安定運用を拒むデータドリフトの現状と対応策
前半の部では株式会社グリッドの曽我部完氏より「AI 安定運用を拒むデータドリフトの現状と対応策」と題して話題提供を頂いた。
AI の本番運用が進むことで変化する課題
近年、多くの企業において AI の利活用が進んでおり、本番運用を行う企業も増加している。その中で、企業が直面する主な課題が開発フェーズで発生する課題から本番運用で発生する課題へとシフトしている。開発フェーズの課題は、AI に関する知識が不足していること等、技術の理解に係る問題が多かった。本番運用における課題は、AI の性能（予測精度）維持に関する問題である。AI の性能は時間と共に劣化することが考えられ、その原因の一つとしてデータドリフトの発生が挙げられる。
AI の本番運用課題のデータドリフトが発生する要因
データドリフトとは「本番環境で入力されるデータの性質や傾向が、学習時の状態から変化すること」であり、AI の予測性能が対応できないことが懸念される。データドリフトの発生要因として、主に下記の 3 点があげられる。
⮚

入力データ異常（想定外のデータが入力される）⮚センサー機器の劣化
1

⮚

AI に対するデータ汚染攻撃

データドリフトの対策として異常検知を実施したとしても、次々と新しい種類のデータが発生するため、いずれ AI モデルの性能が劣化してしまう。そこで、AI の運用時において次の 3 つの観点で監視/対応を行う必要がある。
⮚

適切なデータが AI に与えられているかの確認⮚

AI の性能が低下しているかのモニタリング⮚

AI の性能が低下した際、どのタイミングで再学習を行うかの判断

データドリフトに関する技術的解決方法
データドリフトの対策について、技術的なアプローチが試みられている。その一つとして、入出力のデータ異常やデータ汚染攻撃を検知するアルゴリズムがあり、これはデータの特徴抽出と AI の精度を関連付けるアルゴリズムによって入力データに異常があることを検知し、そのデータが AI の予測プロセスに進むことを食い止めるように用いる。
このようなアルゴリズムを適用しない場合は、想定外のデータが入力されたときに誤った予測結果をデータエンジニアが確認することになるが、アルゴリズムを適用した場合は AI に想定外のデータが入力されることがなく、誤った予測結果を出力することもない。
実際のシステムにおいては、入力データが発生する度に異常検知処理を実行することは現実的ではないため、一定期間の入力データの分布と異常検知の閾値を基にデータの特徴の変化について検知を行った後に、データサイエンティストやデータエンジニアへアラートをあげる仕組みが良いと考えられる。
株式会社グリッドのデータドリフト検出事例では、データの特徴抽出と AI の精度を関連付けるアルゴリズム（PAD：Proxy A Distance）を使用しており、画像認識モデル及び自然言語解析モデルの両方において、予測精度低下の検出に教師データの準備やアノテーション作業が不要となる。
3. DataRobot MLOps を活用した機械学習モデルガバナンス
後半の部では DataRobot, Inc.の平田泰一氏より「DataRobot MLOps を活用した機械学習モデルガバナンス」、立脇裕太氏より「持続可能な AI モデルの運用実現に向けて」と題して話題提供を頂いた。
国内トレンドから見るガバナンスの重要性
AI のリーダー企業は各業界のトップに立つ傾向にあり、AI の利用がビジネスに及ぼす影響は大きい。企業において AI ガバナンスを検討する際には、その企業の組織構造から考える必要がある。このとき、AI ガバナンスの成熟度に応じた組織構造は下記のようになる。（3.がより成熟度が高い組織構造となる）
1.

分析代行型：少数の業務部門が AI の利用を検討し、業務部門とは別に設けられた

2

CoE1（DX 推進チーム）がそのリードを行い、AI のユースケースを作る。
2.

CoE 支援型：CoE のサポートのもとで複数の業務部門が AI の利用を検討し、AI活用を進める。業務部門の自走化度合いによっては DS（データサイエンティスト）を配置する。

3.

LoB2自走型：全業務部門に DS が配置され、全社的に AI の利用を行う。CoE はIT 部門と統合し、全業務部門のサポートを行う。

このとき、1 で AI のユースケースを作る際は AI 利用のリスクが低い部署から始めることが望ましい。
現状、日本では金融機関において AI が多く使われている。利用規模は大小それぞれであるが、単一業務に単一 AI モデルのみでの利用に留まっているケースが多い。AI のリーダー企業は複数の AI モデルをジョブ化しビジネスで活用していることと比べると、単一の AI モデルを開発・利用することは PoC フェーズに留まっているとも言える 。AI のリーダー企業を目指すならば、今後ジョブ化を進めるとともに複数の AI モデルを管理運用可能なパイプライン開発を行う必要がある。また AI モデルの精度はいずれ劣化することを前提にガバナンスを検討しなければならない。
持続可能な AI 活用を実現するには機械学習モデルの管理が複雑化する要因は、通常のシステム開発ではコードの管理のみを行えば良い一方で、機械学習モデル開発ではコードに加えてデータやハイパーパラメータの管理が必要となる点にある。
単一の AI モデルのみを運用する小規模なケースでは、一度限りの AI 開発が行われ、開発担当の DS による属人的な保守が行われる可能性が高い。モデルの精度を担保した運用と継続的な改善を維持できなくなるリスクが大きい。

これに対し、属人性を排除し継続的な AI 活用に焦点が置かれた開発手法がパイプライン開発である。パイプライン開発では、DS とエンジニアが密に連携する。モデル運用のモニタリングシステムも実運用環境として提供することができれば、属人化しない AI モ
デルの開発・運用が可能となる。このような持続可能な AI モデルの開発手法が適用されることで、初めて AI ガバナンスの検討ができるだろう。

実務視点でのガバナンス整備
近年、MLOps という概念が登場した。MLOps とは DevOps から発展した考え方であり、機械学習（Machine Learning）と運用（Operations）が組み合わさった言葉である。
DevOps が開発担当者と運用担当者が連携し協力する開発手法を指すのに対し、MLOps

1

CoE（センターオブエクセレンス：Center of Excellence）：特定の目的を達成するために組織横断で結成される部署
2

LoB（ラインオブビジネス：Line of Business）：企業の基幹業務やそれを遂行する部署

3は DS、エンジニア及び保守運用担当者が連携し協力する開発手法を指す。
この MLOps3を導入し AI ガバナンスを適用することで、精度の良いモデルをビジネスに導入することが可能となる。MLOps を導入した場合、従来から実施されていたモデルの構築及びデプロイ方法の整備に加えて、データドリフト等のモデルの精度異常に影響する事象を検知するインフラを整え、必要に応じて再学習を行うプロセスを整備することが期待される。また、モデルのパフォーマンス評価においても、ポリシーの整備や委員会の設置が行われる。
MLOps を導入する際は、プロジェクト実行部署がデータサイエンス部署と連携する必要がある。特に重要な役割を担うのが、データサイエンス部署の MLOps エンジニアとなる。MLOps エンジニアは機械学習や IT の知識を有し、法務やコンプライアンスの担当者と対等にコミュニケーションが行える人材が担う役割である。また、プロジェクトマネジャー(PM)、DS、エンジニアとコミュニケーションを行い、モデルのデプロイの承認を行う。パイプライン開発において必要なポジションとなる。
MLOps の導入により、事業担当、DS 及びエンジニアの役割も下記のように変化することが考えられる。
⮚事業担当：個別課題に即したテーマ創出から業務改革レベルのテーマ創出へ⮚

DS：従来の役割であるモデル構築や分析の実施に加え、スピーディな精度劣化への対応⮚

AI エンジニア：従来の役割であるデプロイ作業やモデル個別の監視に加え、運用メトリックの閾値の設定

また、MLOps の導入時に考慮すべき内容として下記のようなものがある。
⮚モデルリスクルール：自社のポリシーや業務内容を考慮し、デプロイするモデルのリスクをどこまで許容できるかが明確に判断できるプロセスやドキュメントが整備されていること⮚負荷検証：実行環境の可用性がビジネス要求を満たしていること⮚

データ品質とコンプライアンス：個人情報特定ができるデータへの考慮観点を含
む、データの品質チェックが自動化できていること

このような機械学習モデルガバナンスは、企業がどこに注力し、どの範囲で機械学習モデルを導入するか、コストとのバランスを考えつつリスクを低減するために整備するものである。国内企業では、機械学習モデルガバナンスを整備している事例は現状少ないが、今後企業が複数モデルを保有するためには整備する必要がある。

3

MLOps：DevOps と ML（Machine Learning）を組み合わせた造語。時間の経過で品質が劣化する機械学

習モデルの品質保証を目的として、迅速な開発、迅速なデプロイ及び品質管理を行うために開発チームと運用チームが連携することを重視した開発手法を指す。

4

MLOps 導入後の運用
モデルデプロイの形には、予測処理を実行する専用サーバを構築するものと、モデルを複数の端末に配布するものの 2 種類ある。モデルのデプロイ後、処理速度、正常性及び精度の 3 つの視点で稼働状況をチェックする。このうち精度は放置すると基本的に劣化するが、その要因には下記の 3 点が考えられる。
⮚

特性の変化：予測すべき対象の概念が変化することを指す。例えば、クレジットの不正利用の場合、日々新たな不正の手口が産まれるため不正の定義を再定義する必要がある。コンセプトドリフトとも言う。データドリフトでは検知し辛い。

⮚

未知の入力：誤ったデータが入力される。データドリフトで検知し易い。

⮚

シグナルの消失：データの特性が変化するもので、予測するために必要な特徴量が変化することを指す。データドリフトで検知できる場合もある。

コンセプトドリフトとは、予測対象の統計的特性が時間の経過とともに不測の形で変化することである。コンセプトドリフトは急激に起こるもの（例えば、天災やコロナ禍による意識変化等）と徐々に起こるもの（人口動態による経済変化等）に分けられる。
急激に起こるコンセプトドリフトは発生するタイミングを予測することが難しいものの、発生したことの検知は容易なことが多い。
未知の入力への対処は、特徴量の型によって変わる。数値型の特徴量の場合、アルゴリズムの種類によって外挿の出力内容が異なる。例えば、アルゴリズムが線形系（回帰やニューラルネット等）の場合は「線形に外挿する」、Tree 系の場合は「トレーニングデータの極値で外挿する」。そのため、未知の数値入力より予測値が一定の値を超えると困るようなユースケースの場合は、Tree 系のアルゴリズムを選ぶ、または一定の値を超えたら固定値に変換するなどの対応を検討する必要がある。カテゴリ型の特徴量の場合は、前処理の仕組みによって多少扱いが異なるが、DataRobot では One-hot またはOrdinal エンコーディングのどちらの場合でもその他のカテゴリとして扱うため、 対象のカテゴリが予測ターゲットと強く関連する場合は再学習も視野に入れて検討する必要がある。もし表記ゆれによるものであれば、前処理で打ち取るという考え方もある。
モデルの再構築
モデルの再構築の要否は下記の観点から判断する。
⮚コンセプトドリフトが発生したか⮚

予測値に対する実測値がすぐに得られるか⮚

精度が悪化しているか⮚

データドリフトが観測されたかモデルの再構築の方式としては以下がある。
⮚学習期間のスライド⮚コンセプトドリフト発生前のデータ全削除
5⮚

直近データへの重み付け⮚

特定条件でモデルを使い分ける

モデル再構築後に旧モデルから新モデルへ置換する方式としては、次の 2 つの方法が考えられる。どちらの方式も DataRobot を活用すれば自動で実施できる。
⮚一括置換：旧モデルを新モデルに置き換える。置換先の環境を準備して切り替えるのみだが、新モデルの精度に注意する必要がある。

⮚

並行稼働後置換：新モデルを複数用意し、旧モデルと共に並行稼働させる。一定期間稼働させた後、最も精度の高いモデルを採用する。各モデルで必要なデータの保存や各モデルのモニタリングが必要となり、コストが高くなることに注意する必要がある。

4. 主催者側からのまとめと研究会参加者からの主なコメント
第 4 回では開発・運用ツールと監視・モニタリングについて議論が行われた。話題提供を踏まえて以下のような質疑応答が行われた。また質疑・ディスカッションにおいては DataRobot, Inc.の小川幹雄氏からもコメントを頂いた。
「AI 安定運用を拒むデータドリフトの現状と対応策（曽我部氏）」に係る議論⮚

モデルの再構築に係る課題✓2018 年頃までは試行錯誤によるモデル開発が行われており、ソースコードとデータの管理が課題として認識され始めていた。2020 年頃には、特に AI ベンチ
ャー企業ではそれぞれ管理することが当然となっているが、広く普及しているとは言えない状況である。

⮚モデルの精度改善の実施判断✓

モデルの精度向上をどのように行うにしてもデータの分布を学習することには変わりは無く、説明変数を改善するか、モデルを改善するかの検討が必要である。またビジネス上の要件からどこまでの精度を追及するか、どの特徴量を検討するかは R＆D としての検討も必要となる。

⮚コンセプトドリフトの検知とその再学習✓

コンセプトドリフトの検知については、説明変数に名前がある分野（需要予測等）ではその影響度合いが容易に把握できる。一方で、画像認識の分野では、説明変数が XY 座標となるため、精度劣化の検知には正解の定義が必要となる。コンセプトドリフトを早期に検知できるかという観点だと、仮にコンセプ
トドリフトによってビジネス上の損失が発生する場合は、変化定量をモニタリングする方が良い。このとき後から精度を観測するよりは、モニタリングを業務フローに組み込み、日常的にモニタリングを行った方が良い。従前はモニタリングを含めた業務フローの検討が行われずシステムの実装が行われていたが、直近 1 年くらいから業務フローの論点が発生している。
6⮚

複数のユニークなモデルを管理するうえでのメンテナンスコスト✓

確かに、従来の IT システムに比べて DS の人月単価が高く、保守運用コストが高くなる。大量のモデルを管理することにも限界があるが、管理を容易にするツールが導入された環境がエンジニアに提供されるならば、過剰な保守人員を抱える必要はないかもしれない。また、セキュリティの課題についても、不正の兆候があるデータをモデルにインプットさせない運用にすると、都度 DS が確認作業を行う必要も少なくできる。

「DataRobot MLOps を活用した機械学習モデルガバナンス（平田氏）」「持続可能なAI モデルの運用実現 に向けて（立脇氏）」に係る議論⮚モデルの再構築に係る課題✓DS が機械学習モデルの導入後に転職してしまうと、モデル運用の際に適切に管理ができないという課題があるが、DataRobot ではエンジニア以外もモデルの管理を自動で行えるようなツールを提供しており、併せてエンジニア以外の担当者に対してモデルの管理が重要であるとの説明を行っている。一方で、AIの利用に対して親和性が高い部門とそうでない部門が存在し、後者には中々理解を得られずコミュニケーションに苦労をすることがある。特に、AI のアウトプットが予測値であるという前提すら理解され難いこともあり、エンジニア以外の担当者における AI や IT に係るリテラシーが重要である。

✓

学習時に使用する学習データ、学習用コード、ハイパーパラメータなどのインプットや学習後に生成されたモデルに関しては、コード管理ツールやデータカタログを活用して記録する必要がある。また、学習で使用したインプットやアウトプットの管理だけでなく、なぜこのアルゴリズムを選択したのか、この特徴量エンジニアリング手法を用いたのはなぜか、といったような意図についてもウィキなどを活用して記録を残すことが重要である。また体制作りには、技術者の育成だけでなく、監査・評価を行う人材も育成する必要がある。

⮚モデルの精度改善の実施判断✓

コンセプトドリフトに関してはデータに現れない場合も多いことから、知識や経験をもとに判断を行うしかなく、再学習の際はコンセプトドリフト発生後のデータの重みを大きくして再学習を行うなどの手法を持って対応していく必要がある。データドリフトについては、蓄積された予測時の入力データのログ情報を観察して見直しの判断を行う。ただ多くのケースでは、1～2 年前のデータを用いて再学習を検討しているレベルに留まっているところも少なくない。

✓

経験上、精度の改善には限界があり、時間をかければ必ず改善できるというわけではない。早くて 1～2 週間、遅くとも 1～2 ヵ月で精度改善は打ち切ることが現実的ではないか。また仮に精度が上がったとしても見せかけで精度が向上していると、実運用環境にデプロイした後に期待した精度が出ないことが多い。各社で精度改善の期限と改善終了の判断軸を設ける必要がある。
7

✓

機械学習が苦手とする構造問題については、シンプルな構造に落としてモデルに適用し計算する必要がある。また、より本質的なデータを入力することも重要である。（例：コロナ禍において丸の内の飲食店の売り上げが下がるが、そもそも人が集まらない町の飲食店の売り上げは下がるという見方をすると本質的なデータは場所ではなく人流となる）⮚

コンセプトドリフトの内容による影響✓

コンセプトドリフトの内容によって、ビジネスへの影響は異なる。データの期間をずらすだけで再学習が可能であればビジネスへの影響は低いが、コロナ禍のような大規模な環境の変化があった場合は人の判断が必要となる可能性が高くなる。

⮚

データセットが異なるが類似したモデル間の共通した変化の検知✓

データロボットは全国にクライアントを持っているが、多くのクライアントが持つ複数の類似モデルに対して共通的な変化が存在するかは不明であり、個別にデータドリフトのモニタリングを実施する必要がある⮚。

一つの業務プロセスに複数の AI モデルの適用を検討する場合に、MLOps と同時にデータマネジメント部門で包括的に検討すべきこと✓

データ構築という観点では、データマートにて特徴量のバージョン管理が必要となる。これをフィーチャーストアと言う。複数のモデルに共通する特徴量と個別検討すべき特徴量を管理することで、プロジェクト個別に設置しない組織を企業が保有することになり、効率的な運用が可能となる。

⮚

データマネジメントとプロジェクトの 2 層のリーダー間の連携✓

CoE 組織には部門横断で状況を把握できるような技術力の高い DS を配置しつつ、各部門に配置する DS は CoE 組織の DS 程は技術力を求めない。但し、各部門に配置する DS はその部門の専門知識を理解できる必要がある。

✓

従前のシステムでは基幹システムと情報系基盤のそれぞれでデータ分析を行っていたが、機械学習では活用方法が異なる。従前のシステムにおける分析はオフラインで過去データを分析するが、機械学習ではリアルタイムとオフライン両方で顧客に働きかける。現状、日本企業でリアルタイムに機械学習を活用するときは、リアルタイムで発生した情報のみでサービスを提供しようとしており、リアルタイムで発生した情報と過去の分析データを紐づけたサービスが提供できていない。
＜チャットボットでの例＞●

日本：チャットのみを使用しての返答が可能だが、問合せ元である顧客の過去の分析データとリンクさせてのサービス提供は行っていない●

アマゾン：問合せ元である顧客の過去の購買履歴を参照しつつ、チャット上の問合せに返答を行う⮚

MLOps におけるリスク評価では、ビジネスリスクや社会倫理等に係るリスクも一体で考えるか8✓

ビジネスリスクになるような社会リスク（ジェンダー、人種等）について一体でリスク評価を行い、モデルに対し公平性やバイアスの観点で評価を行う必要がある。IT ガバナンスと同様にリスク評価についてはコンプライアンス委員会や事業部から代表者を出して検討委員会を設け、ポリシーを策定して会社で運営することが重要である。

⮚

複数のユニークなモデルを管理するうえでのメンテナンスコスト✓

日本の DS はスクラッチでモデルを作成することを重要視する傾向にあるが、本質的にはスクラッチ開発にこだわる必要性はない。今後モデル管理ツールの使用が拡大すると、プログラミング技術よりも自動保守の仕組みを検討するスキルが必要となるのではないか。モデル管理ツールによって、現状増加しつつあるメンテナンスコストを抑えることにも期待がある。

⮚官民連携での複数組織による共同でのドリフト検知とこれに対する海外での論点✓

海外の事例は不明である。

✓

どの特徴量が有効であるかということを各社は秘匿する必要がある。また、例
えば一般的に人事システムの退職分析モデルの性能は良くないが、その理由は各社で退職する理由は異なり、また同じ国でも異なる傾向にあるためである。
特定の特徴量についてスコープを当てると、その特徴量が関係のない企業にとってはそれがノイズや追加コストとなってしまう。

次回以降も引き続き、本研究会を通じて、日本国内外の AI ガバナンスに係る検討を続ける。
（文責：吉田暁彦）＜(第Ⅱ期)第 4 回開催概要＞
日時 ：11 月 29 日（月）15:00-17:00（Zoom 開催）
内容 ：・話題提供：「AI 安定運用を拒むデータドリフトの現状と対応策」
曽我部 完氏（株式会社グリッド）
・話題提供：「DataRobot MLOps を活用した機械学習モデルガバナンス」
平田 泰一氏（DataRobot,Inc.）、「持続可能な AI モデルの運用実現に向けて」 立脇 裕太氏（DataRobot,Inc.）
・質疑・ディスカッション

9