日本ソフトウェア科学会第 41 回大会 (2024 年度) 講演論文集

機械学習を用いたシステムの品質管理におけるベストプラクティスについて
丸山 宏
機械学習を用いたシステムの品質管理についてはいくつかのガイドラインが存在するが，それらをどのように現実のプロジェクトに適用していくかについてはまだ多くの試行錯誤が必要と考えられる．本稿では，実際にビジネスに用いられている 3 つのプロジェクトについて，その品質マネジメントの実践をレビューし，それらの共通点と相違点を明らかにする．その上で，機械学習を用いたシステムの品質管理には，ドメインに応じたハザード列挙の方法論が必要であることを議論し，そのためのベストプラクティス集の編纂を提案する．

なることである．この仮説に基づき 5 章ではドメイ

1 はじめにンに基づくベストプラクティス集の編纂が必要であ

機械学習を使ったシステムは，今までのソフトウェることを議論する．

アの作り方と大きく違うために，その品質管理が難し
い [6]．このため，いくつかの品質ガイドラインが制2 品質とは定されてきた [5] [1]．それらをどのように現実のプロ製造業における製品品質が語られていた初期には，ジェクトに適用していくかについてはまだ多くの試

品質とは製品にばらつきのないこと，と大まかに理解行錯誤が必要と考えられる．本稿では，実際にビジされていたが，品質の概念がサービスなど無形物にネスに用いられている 3 つのプロジェクトについて，も拡大されるようになってからは，品質とは「対象その品質マネジメントの実践をレビューし，それらの（製品・サービス）が持っている特性が，顧客の期待共通点と相違点を明らかにする．その上で，機械学習を満たしている度合い」と理解されることが多くなっを用いたシステムの品質管理には，ドメインに応じたた．品質特性としては，機能・性能・信頼性などの他ハザード列挙の方法論が必要であることを議論し，そに，セキュリティ・プライバシー・公平性・安全性なのためのベストプラクティス集の編纂を提案する．

ど様々なものが考えられ始めている．最近では，特に本稿ではまず 2 章で，本稿で考える品質とは何か

生成 AI の文脈においてアラインメントという言葉がを議論する．3 章では既存の品質ガイドラインをレ聞かれるようになったが，これも広くは品質特性の一ビューする．その上で，4 章で実際にビジネスで運用部と見ることもできる．

されている 3 つのシステムを取り上げ，それぞれど

このように，品質とは対象の特性だけで決まるのでのような考え方で品質管理がされているかを明らかはなく，対象に対するステークホルダの期待との相対にする．これらのケーススタディで明らかになるの関係で決まることに注意が必要である．このことは，は，ドメインごとにハザード列挙の考え方が大きく異いわゆる「AI」という言葉で過大な期待や警戒感を持つステークホルダがいる，機械学習系のシステムにOn Best Practice of Quality Management for MLBased Systems
Hiroshi Maruyama, 花 王/東 大/Preferred Networks,
Kao Corp./U. Tokyo/Preferred Networks.

おいては重要であると言える．
しかしながら，顧客の期待を事前に明確にするのは極めて困難であることは，ソフトウェア工学の長い歴図2

AI 品質マネジメントガイドライン

機械学習コンポーネントを含むシステム全体の品質を 5 つ
図1の軸で評価する

産総研の機械学習品質マネジメントガイドライン機械学習コンポーネント特有の品質属性として、3 つの外部品質と 8 つの内部品質を定義しているの品質特性，及びシステムの他の部分の品質特性については，既存のソフトウェア工学における一般的な品史が示している (アジャイル開発は，顧客の要求が事質特性，例えばセキュリティや信頼性で評価すべき，前にわからないことを前提に作られた手法だといえという考え方である．

る)．このため，品質管理においては，「起きてはまず一方，AI 品質マネジメントガイドラインでは，機いこと」(これをハザードと呼ぶ) をできるだけ漏れ械学習コンポーネントだけではなく，機械学習コンなく列挙することが大切となる．

ポーネントを含んだシステム全体の品質を，システム可能なハザードを全部列挙することは到底できな品質・モデル頑健性・データ完全性・プロセスの機敏いが，それでも列挙されたハザードがどの程度起きやさ・顧客期待の 5 軸で評価することを求めている．

すいか，その結果がどれほど致命的か，によってリス

この 2 つのガイドラインだけを見ても，それぞれクを評価することができ，そのリスクの程度によってのフォーカスが大きく異なる．また，機械学習品質マ

どのようなリスク軽減策を取れるか，を決めるのが品ネジメントガイドラインが定義する公平性という品質管理の要諦となる．

質特性は，人間が介在しない機械装置に使われる場合には適用外になるなど，ドメインにおける適合性が3 機械学習を用いたシステムの品質ガイドラ
イン大きく異なる点も使いづらいところである．さらに，機械学習の技術そのものが急速に変化していて，どち我が国では比較的早くから深層学習など機械学習らのガイドラインも頻繁に改訂を受けていることも，を使ったシステムの品質管理に議論が行われていて，静的な文書としてのガイドラインを品質管理の主要世界に先駆けて産総研の機械学習品質マネジメントガな拠り所とすることの難しさの原因になっている．

イドライン [5] や，AI プロダクト品質保証コンソーシ
アムによる AI 品質マネジメントガイドライン [1] が作られ，公開されてきた．

4 機械学習を用いたシステムの品質管理の事例

図 1 に示す機械学習品質マネジメントガイドライ

本章では，実際のビジネスに使われている機械学習ンは，機械学習コンポーネントに対して既存の品質特を用いたシステムを 3 点取り上げ，公表されている性に加えて，リスク回避性・AI パフォーマンス・公情報からそれらの品質管理の考え方を抜き出す．

平性という 3 つの追加の品質特性を評価するように，とガイドしている．機械学習コンポーネントのその他

4. 1 システム A：機械学習コンポーネントが組み込まれた工作機械ことから，薬機法などコンプライアンスに強い重点が第 1 のシステム（これをシステム A と呼ぶ）は，置かれていること，それに関連して顧客期待のコント工場で使われる工作機械であり，その 1 部に機械学ロールとデータ・アルゴリズムの透明性を明確にして習コンポーネントが組み込まれている [2]．システムいる点に特徴がある．

A における品質管理プロセスを図 3 に示す。
品質管理を行う主体はこの工作機械を製造し販売

4. 3 システム C：化学プラントにおける自動運転するメーカーである．このため，この論文での品質管システム C は石油精製プラントにおける世界最初

理は，製品の企画・設計・製造から出荷までのプロセの自動運転システムであり，原材料流量変更に伴う運スが対象範囲であり，装置の購入・設置・運用・保守転状態の変動を自動的に制御する [3]．制御の誤りは，については範囲外となっている．

巨大なプラントの停止や事故につながる可能性があ

ハザードの初期の数え上げとしては，品質管理のるために，品質が要求される．このため，化学プラン対象システムが機械装置であることから，宇宙航空

トではもともと HAZOP によるリスク管理が一般化分野など高信頼機械システムで使われる手法であるしている．HAZOP においては，FMEA とは異なりFMEA(Failure Mode - Eﬀect Analysis) を用いてい「この値が既定値より大きくなったら」のようなガイる．FMEA では，対象システムの各要素の機能を洗ドワードを利用する．

い出し，「この機能が失われたら？」のようなガイド

この論文では，HAZOP に加えて，機械学習コンワードでハザードを見つけていく．この際，3 章で述

ポーネントに対してプラント保安分野 AI 信頼性評価

べた QA4AI による AI 品質管理ガイドラインを参照

ガイドライン [7] を用いてシステム評価を実施した．

してハザードのガイドワードを拡張した．

このガイドラインは，3 章で述べた産総研の機械学習

さらに，故障モードから導かれたリスクに対して，品質マネジメントガイドラインをベースに，プラントリスクの優先順位をつけた後に，逆向きにそのリスク保安分野への拡張を行ったものであり，機械学習コンにつながる他の要因も探索することで，よりカバレーポーネントのシステムへの組み込み方をいくつか類ジを広げている．

型化して議論している．その類型の 1 つとして，既存のルールベースのシステムによって，機械学習コン

4. 2 システム B：ライフケア生成モデルの API
サービス

ポーネントの望ましくない出力をフィルタする，というものがあり，このプラント自動運転システムはその人体に関わる様々な計測値の確率同時分布を API類型に相当する (図 5)．すなわち，HAZOP に基づくとして提供するサービスであり，ヘルスケア・ライフ「ガードレール」があることで，機械学習コンポーネケア分野における汎用的な統計モデルとして利用さントに起因するハザードを取り除いている．

れることを狙ったものである [4]．
システム B における品質管理プロセスを図 4 に示

5 ベストプラクティスの重要性す。このプロセスは、構築から運用までシステムのラ以上見てきたように，汎用のガイドラインだけで機イフサイクル全般にわたる品質管理を扱っていて，そ械学習を使ったシステムの品質を効果的に維持するのためモデルの継続的な改善やその評価指標，さらにのは困難である．それぞれのドメインには，そのドメはプロセス全体のガバナンスなど組織的な観点までインでの経験・知識に基づいた品質管理の手法があをカバーしている．

り，その中にガイドラインから得られた知見をうまく

この論文では，ハザードの数え上げを，データ被験者，データセット提供者，アプリケーション事業者，埋め込むことで，効果的な品質管理ができると考えられる．

エンドユーザーという，ステークホルダ単位で行って各ドメインで異なる品質特性が重視されること，基いることに特徴がある．また，ヘルスケアに関連する盤モデルの利用など機械学習の技術そのものが急速に図3

システム A における設計時の品質管理プロセス

FMEA でハザードを数え挙げた上で、その根本原因を洗い出し、リスクの大きさと緩和策のコストに基づいて対策を決定する

図4

システム B における品質管理プロセス

訓練データの整備・モデル訓練・評価というプロセスと、それを管理するガバナンス体制を整備している

新たな機械学習を組み込んだシステムの設計者は，このベストプラクティス集を見て，自分が担当するシステムに似た品質コンサーンを持つ事例から，役に立ちそうな手法を採用すればよい．
品質管理で重要なのは，いかに致命的なハザードを見逃さないか，である．ハザードを漏れなく列挙する
形式的な手法がない現段階においては，これはプロ
図5システム C における安全管理

バルブ開度が HAZOP に基づく管理基準範囲 (赤の点線)に収まるように監視している

ジェクトの利害関係者の想像力によるしかない．そのための方法論が，このベストプラクティス集に広く紹介されていれば，より効果的な品質管理ができるのではないか．

変化しつつあることを考えると，汎用性のあるガイド

謝辞

ラインを整備することよりも，それぞれのドメイン，本稿で紹介した各プロジェクトの関係者に謝意をそれぞれの文脈で柔軟に品質管理を設計した，ベストプラクティス集を整備することのほうが効果的ではないかと考える．

表します．

参 考 文 献[1] AI プロダクト品質保証コンソーシアム: AI プロダク
ト品質保証ガイドライン 2024.04 版, 2024.
[2] Dominguez, G. A., Kawaai, K., and Maruyama,
H.: Quality Assurance for ML Devices A RiskBased Approach, 2023 30th Asia-Paciﬁc Software
Engineering Conference (APSEC), IEEE, 2023,
pp. 524–531.
[3] 平井太一朗ほか: AI によるプラント自動運転の実証と信頼性評価について, 第 54 回安全工学研究発表回講演予稿集, Tokyo, 2021.
[4] 尾藤宏達ほか: 仮想人体生成モデルにおける品質管理, 日本ソフトウェア科学会第 40 回大会講演論文集,
Tokyo, 2023.
[5] 産業技術総合研究所: 機械学習品質マネジメントガイ
ドライン 第 4 版, 2024.
[6] 石川ほか (編): 機械学習工学, 講談社, Tokyo, 2022.
[7] 石油コンビナート等災害防止３省連絡会議: プラント
保安分野 AI 信頼性評価ガイドライン 第 2 版, 2021.