プラント保安分野 AI 信頼性評価ガイドライン
第2版

2021 年 3 月
石油コンビナート等災害防止３省連絡会議（経済産業省、総務省消防庁、厚生労働省）

エグゼクティブサマリー（要 約 ）＜背景＞
石油・化学プラントは設備の高経年化や保安人材の不足に直面しており、保安体制の持続性が低下していく懸念がある。
一方で、IoT（Internet of Things）、ドローン、AI（人工知能）等の新技術の実用性が高まっている。これらの新技術を適切に活用しプラントを安定的に運転することで、保安力を維持・向上できるだけでなく、製品の品質の安定化、コスト面での効率化、工期・納期の遵守などを実現できる。
特に AI については、近年の機械学習の技術発展を背景に、プラント保安分野でも AIを組み込んだ保安システムが構築されつつある。例えば、大量のセンサデータの関係性
から微細な異常の予兆を検出する AI や、蒸留装置等の生産性を高める運転の最適化 AI
等、保安力と生産性を飛躍的に向上させる AI の実証が進んでいる。
＜課題＞
実証から実装に進むためには、AI が期待通りの品質を果たすこと（＝信頼性）について適切な検証を行う必要がある。
しかし、これまで AI については信頼性評価の体系が整備されておらず、特に安全性が重要視されるプラント保安分野において導入が進まない大きな原因の 1 つとなっている。
参考：プラント保安分野における AI の信頼性評価の必要性に関する事業者のコメント➢

AI の不良が原因でプラントを止めると大損失（人的被害、経済的被害）が生じる。
そのため社内の関係部署の了解を得るためには高度な信頼性評価が必要で、現状は難易度が高い。（プラントオーナー）➢

信頼性の評価が十分できていないので、重要な設備の管理を AI に任せることはできず、重要でない設備のみ AI に任せようかと思う。一方で、重要でない設備はそもそも保全する必要性が低く、検査自体が不要である可能性がある。（プラントオーナー）➢

AI ベンダーである我々は、顧客側（プラントオーナー）に当社の AI の信頼性を理解していただくのに苦労している。（AI ベンダー）

近年、AI の信頼性を含む品質確保や評価については、日本で先進的な検討が行われている。産業技術総合研究所(2020)「機械学習品質マネジメントガイドライン」や AI プロ
ダクト品質保証コンソーシアム(2020)「AI プロダクト品質保証ガイドライン」において信頼性評価の体系や留意点がとりまとめられている。しかし、これらのガイドラインはEC（電子商取引）や自動走行などを含めた分野横断的な内容であり、プラント保安分野
での信頼性評価について具体的な検討はされていない。

ii

したがって、プラント保安分野で信頼性の高い AI の実装を進めるためには、分野横断的な AI の信頼性評価の方法論を、プラント保安分野において解釈して適用する方法について整理を行う必要がある。
＜ガイドラインの目的及び活用方法＞
本ガイドラインは、上記の課題意識のもと、プラント保安分野に特化して AI の信頼性（プラントの安全性や生産性向上のために期待される品質を果たすこと）を適切に管理する方法を示す。
本ガイドラインを活用することで、プラントオーナー企業は、AI の高い信頼性を実現
し、保安力や生産性を向上させることができる。また、AI の信頼性について社内外へ説明責任を果たしやすくなる。更に、当該システムをベンダー企業とともに開発する際に要求事項を適切に伝達し、その達成状況を円滑に確認できる。
AI を開発し納品するベンダー企業は、本ガイドラインによって十分な信頼性を持つ
AI を構築するための方法が明確になるため、プラントオーナー企業に対して AI の信頼性を説明しやすくなる。また、オーナー企業との AI 開発プロセスで要求事項を適切に設定できるようになることも期待される。
＜信頼性評価の構造・流れ＞
基本的な考え方➢本ガイドラインは、産業技術総合研究所(2020)「機械学習品質マネジメントガイドラ
イン 第 1 版」と同様の方法で AI の信頼性評価を行い、必要な信頼性を確保する方策を示す。その上で、プラント保安分野の AI の応用例に基づいて、プラント保安分
野への具体的な適用方法を示す。

➢

なお、本ガイドラインは AI の中でも、近年に実用化が進んでいる機械学習の信頼性評価を対象としている。

機械学習の品質を 3 階層に分け（上位から「利用時品質」→「外部品質」→「内部品質」）、それらの達成を通じて機械学習利用システムの信頼性を管理する（→2）。
．．．．．．
「利用時品質」：機械学習要素を含むシステム全体が実現したいこと（→2.1.1）。
．．．．．．
「外部品質」：「利用時品質」を満たすために機械学習要素が満たすべきこと（→2.1.2）。「リスク回避性」「パフォーマンス」の 2 種類に分類する。
➢

リスク回避性：安全性を追求するタイプの品質。機械学習要素の誤判断によって悪影響（人的被害・経済的被害）を及ぼすリスクを回避・低減することを目的とする（→2.1.3(1)）。

➢

パフォーマンス：生産性を追求するタイプの品質。プラントの運転・点検を効率的に行うことを目的とする（→2.1.3(2)）。

iii

「内部品質」：「外部品質」を満たすために機械学習要素の設計・開発・運用等で満たすべきこと。次の 3 種類について、8 つの内部品質を定める（→2.1.4）。
➢

開発に用いるデータの適切性（データの量、種類など）➢開発したモデルの適切性（テストの際の機械学習の精度など）➢

実装・運用方法の適切性（機械学習の精度の維持の方法など）

信頼性評価の基本的な手順は次の通り（図 1）。
① 「利用時品質」を設定する（→2.2.1）。
② 「利用時品質」実現のために必要な「外部品質」を設定し、「リスク回避性」「パフォーマンス」の分類ごとに「外部品質」の達成レベル（要求の強さ）を決める。
ガイドラインに記載の手順に従って、リスク回避性はレベル 0、0.1、0.2、1 の 4 段
階、パフォーマンスはレベル 0、1、2 の 3 段階から数値で設定する。（→2.2.2、
2.2.3）。
③ 設定した「外部品質」のレベルの高低に応じて、要求される「内部品質」のレベル（レベル 1、2、3）が決まる。（例えば、学習データの種類・量に関する内部品質
は、レベルが高いほど多種・多量のデータを確実に集めることが求められる）。それに従って機械学習要素の開発等を行う（→2.2.4、2.2.5）。

①機械学習を用いたシステムで実現したいことを設定

利用時品質

機械学習要素の品質
外部品質②機械学習要素に求める出力を設定し、その達成レベルを決める

内部品質③レベルに応じた
要求事項に基づいて
機械学習要素を作り込む

リスク回避性

開発に用い
るデータの
適切性

開発した
モデルの
適切性

図 1 信頼性評価の手順

iv

パフォーマンス

実装・運用
方法の
適切性

機械学習要素以外の構成要素の品質

プラント保安分野のユースケースの一例として本ガイドラインでとりあげている（→
3.3.4）「異常予兆検知・診断」（多数のセンサデータを機械学習要素が解析して数十分～
数日後に顕在化する運転中の異常の兆候を検知する機械学習）を例にとると、以下の流れ
で信頼性を確保することとなる（図 2）。
① 本ケースで実現したいことを言語化し、「利用時品質」を具体的に設定する。
② 設定した「利用時品質」に対応する機械学習要素の「外部品質」を具体化し、ガイ
ドラインに記載の手順に従って「リスク回避性」「パフォーマンス」の達成レベルを決める。図 2 の例では、仮にリスク回避性はレベル 0.1、パフォーマンスはレベ
ル 1 としている。
③ リスク回避性のレベル 0.1、パフォーマンスのレベル 1 には、「内部品質」のレベ
ル 1 が該当する。レベル 1 の要求事項と、これを実行する上での留意点を確認し、機械学習要素の開発を行う。

v

利用時品質①機械学習を用いたシステムで実現したいことを設定⚫様々なプラントの条件下で、将来の異常の発生を正しく検知する⚫様々なプラントの条件下で、以下を正しく出力する
異常発生箇所/異常の深刻度//異常と関連のある変数⚫発報内容の確認に運転員や点検要員の時間を多く割かなくてよい
適度な発報頻度とする⚫発報を受けてから事故回避の対応が可能な程度に十分に早いタイミン
グで発報する

機械学習要素の品質

機
構 械
成 学
要 習
素 要
の 素
品 以
質 外
の

外部品質
リスク回避性⚫「異常予兆あり」の場合に、「正常」であると判定する誤判
定率を限りなく小さくする⚫「異常予兆あり」の場合に、異常発生箇所・異常の深刻度・異常と相関のある変数を誤って認識する誤認識率を限りなく小さくする⚫決められた時間までに検出する②機械学習
要素に求める
出力を設定し、その達成レ
ベルを決める

パフォーマンス⚫誤検知の数をできるだけ少なくする

リスク回避性：レベル 0.1

パフォーマンス：レベル 1

データセットの被覆性

内部品質③レベルに応じた
要求事項に基づ
いて機械学習要
素を作り込む

要求事項レベル 1「偏りのないサンプル抽出」→本ケースの場合、異常時データを網羅することは必須としない。一方で、正常領域における網羅的なサンプル抽出を求める。

・・・

図 2 信頼性評価の流れ（「異常予兆検知・診断」を例に）

vi

＜プラント保安分野特有の内容＞
本ガイドラインでは、上記で紹介した「異常予兆検知・診断」のほか、「運転最適化」「配管の肉厚予測」「配管の画像診断」「設備劣化診断」をユースケースとして、ガイド
ラインの適用方法を示している。具体的には、利用時品質・外部品質の項目の例と、内部品質の要求事項を実行する上での留意点を示している(→3)。
自社で開発している機械学習要素に近いユースケースがある場合は、ガイドラインの例
示を参考にすることを想定している。近いユースケースがない場合でも、信頼性評価の構造・流れはそのまま適用できる。自社のケースに応じて利用時品質・外部品質の項目やレベルを検討することが期待される。
さらに、プラントシステム担当者、品質保証担当者、保全員等の担当者ごとにガイドラ
インをどのように活用すれば良いのかについて、具体的な流れに即して示している（→4）
加えて、ガイドラインに記載している実施事項をもれなく実施するために、個々の実施事項の検討結果を記録するフォーマットも公開している1。フォーマットに従って実施事項を記録することで、ガイドラインを適用したエビデンス（証拠）を残すことができ、社内外等への説明に活用することができる。併せて、全ユースケースについて、フォーマット
を用いて実際に信頼性評価を実施した記録を「実用例」として公開している。自社のケースに近い「実用例」を参照することで、信頼性評価の実施内容やフォーマットの記載粒度等について、具体的な例を参考に検討することができる。

1https://www.fdma.go.jp/relocation/neuter/topics/fieldList4_16/jisyuhoan_shiryo.html

vii

目次
エグゼクティブサマリー（要約）1. はじめに ................................................................................................................................ 1
1.1 ガイドラインの目的及び活用方法 ............................................................................... 1
1.1.1 ガイドライン策定の目的....................................................................................... 1
1.1.2 本ガイドラインの活用効果 ................................................................................... 2
1.1.3 本ガイドラインの策定経緯 ................................................................................... 3
1.2 他のガイドラインとの関係.......................................................................................... 4
1.2.1 AI の品質に係る既存のガイドライン..................................................................... 4
1.2.2 本ガイドラインの位置づけ ................................................................................... 4
1.3 適用範囲 ....................................................................................................................... 6
1.4 本ガイドラインの構成及び読み方 ............................................................................... 7
1.5 用語 .............................................................................................................................. 9
1.6 （参考）「プラントにおける先進的 AI 事例集」について....................................... 16
2. プラント保安分野における機械学習の信頼性評価の構造 ................................................. 17
2.1 信頼性評価の 3 品質 .................................................................................................. 18
2.1.1 利用時品質........................................................................................................... 18
2.1.2 外部品質 .............................................................................................................. 18
2.1.3 利用時品質・外部品質の軸 ................................................................................. 19
2.1.4 内部品質 .............................................................................................................. 21
2.2 信頼性評価の方法と要求事項 .................................................................................... 28
2.2.1 利用時品質の設定................................................................................................ 28
2.2.2 外部品質の設定 ................................................................................................... 29
2.2.3 外部品質のレベル設定 ........................................................................................ 30
2.2.4 内部品質のレベルの確認..................................................................................... 40
2.2.5 内部品質の要求事項の確認および実行 ............................................................... 40
3. プラント保安分野における機械学習のユースケース ........................................................ 44
3.1 本ガイドラインにおけるユースケースの位置づけ ................................................... 44
3.2 対象とするユースケース ........................................................................................... 44
3.3 ユースケースに基づく信頼性評価の具体的適用 ....................................................... 45
3.3.1 配管の肉厚予測 ................................................................................................... 47
3.3.2 配管の画像診断 ................................................................................................... 54
3.3.3 設備劣化診断 ....................................................................................................... 62
3.3.4 異常予兆検知・診断 ............................................................................................ 70
3.3.5 運転最適化........................................................................................................... 78
4. ガイドラインの活用の流れ ................................................................................................. 88

viii

4.1 ガイドラインの活用の主体........................................................................................ 88
4.2 ガイドラインの適用の流れ........................................................................................ 92
4.2.1 担当別・フェーズ別の実施項目 .......................................................................... 92
4.2.2 実施項目・実施内容の全体像 ............................................................................. 96
4.2.3 フェーズ別の実施項目・実施内容 .................................................................... 100

プラント保安分野 AI 信頼性評価ガイドライン よくある質問と回答
附録 内部品質確保のための「プラント保安分野での観点」チェックリスト
別紙 プラントにおける AI の信頼性評価に関する検討会 委員等名簿

ix

図目次
図 1-1 本ガイドラインと産業技術総合研究所ガイドラインの関係................................5
図 1-2 機械学習要素・外部安全機構・機械学習利用システムと独立の安全関連系の関係 ....................................................................................................................................12
図 1-3 プラント保安分野における AI 導入の課題の分類と 「プラントにおける先進的
AI 事例集」の位置づけ ...................................................................................................16
図 2-1 機械学習利用システムの階層的な品質確保 ............................................................17
図 2-2 内部品質の 8 つの軸及びその関係性 ........................................................................23
図 2-3 信頼性評価における 3 段階の品質の関係 ................................................................28
図 2-4 利用時品質の設定イメージ（異常予兆検知・診断システムの例） ..................29
図 2-5 外部品質の設定イメージ（異常予兆検知・診断システムの例） ......................30
図 2-6 リスク回避性のレベル(AISL)の設定フロー ..........................................................31
図 2-7 機械学習要素の出力・判断に対する人間の関与..................................................38
図 2-8 「機械学習品質マネジメントガイドライン 第 1 版」と 本ガイドラインの AIPLの考え方 ............................................................................................................................40
図 2-9 外部品質の AISL/AIPL と内部品質の要求レベルの対応 .....................................40
図 3-1 プラントにおける事故等の進展とユースケースの関係......................................45
図 3-2 ユースケース「配管の肉厚予測」の導入イメージ（例）..................................48
図 3-3

ユースケース「配管の肉厚予測」における 機械学習要素と他のシステムの関係（例） ............................................................................................................................49
図 3-4 階層的な品質確保における利用時品質・外部品質項目設定の位置づけ ..........50
図 3-5 階層的な品質確保における「ユースケース固有の観点」の位置づけ ..............53
図 3-6 ユースケース「配管の画像診断」の導入イメージ（例）..................................56
図 3-7

ユースケース「配管の画像診断」における 機械学習要素と他のシステムの関係（例） ............................................................................................................................57
図 3-8 階層的な品質確保における利用時品質・外部品質項目設定の位置づけ ..........58
図 3-9 階層的な品質確保における「ユースケース固有の観点」の位置づけ ..............61
図 3-10 ユースケース「設備劣化診断」の導入イメージ（例）....................................63
図 3-11 ユースケース「設備劣化診断」における 機械学習要素と他のシステムの関係（例） ................................................................................................................................64
図 3-12 階層的な品質確保における利用時品質・外部品質項目設定の位置づけ ........65
図 3-13 階層的な品質確保における「ユースケース固有の観点」の位置づけ ............69
図 3-14 ユースケース「異常予兆検知・診断」の導入イメージ（例）........................71
図 3-15 ユースケース「異常予兆検知・診断」における 機械学習要素と他のシステムの関係（例）.....................................................................................................................72
図 3-16 階層的な品質確保における利用時品質・外部品質項目設定の位置づけ ........73
図 3-17 階層的な品質確保における「ユースケース固有の観点」の位置づけ ............77
図 3-18 ユースケース「運転最適化」の導入イメージ（例）........................................80
図 3-19 ユースケース「運転最適化」における 機械学習要素と他のシステムの関係（例）............................................................................................................................................81
図 3-20 階層的な品質確保における利用時品質・外部品質項目設定の位置づけ ........83x図 3-21 階層的な品質確保における「ユースケース固有の観点」の位置づけ ............87
図 4-1 フェーズ間で反復のあるシステム構築・運用のスタイル..................................95
図 4-2 ステップ 1「システムの目的の設定」の実施イメージ........................................ 102
図 4-3 ステップ 2「システムの機能要件・利用時品質の設定」の実施イメージ ........ 103
図 4-4 ステップ 3「外部品質の設定」の実施イメージ.................................................... 105
図 4-5 ステップ 4「外部品質のレベルに係る機械学習利用システムと 安全関連系全体の整理」の実施イメージ............................................................................................... 106
図 4-6 ステップ 5「外部品質のレベル設定」の実施イメージ........................................ 107
図 4-7 ステップ 6「内部品質のレベル設定」の実施イメージ........................................ 109
図 4-8 ステップ 7「機械学習要素の設計・開発」の実施イメージ................................ 110
図 4-9 ステップ 8「機械学習要素以外の構成要素（外部安全機構等）の開発」の 実施
イメージ .......................................................................................................................... 111
図 4-10 ステップ 9「テスト（外部品質の評価）」の実施イメージ.............................. 113
図 4-11 ステップ 10「検収」の実施イメージ ................................................................... 114
図 4-12 ステップ 11「利用時品質の確認」の実施イメージ............................................ 116
図 4-13 ステップ 12「外部品質の確認」の実施イメージ................................................ 117
図 4-14 ステップ 13「内部品質の確認」の実施イメージ................................................ 118
図 4-15 ステップ 14「システムの更新」の実施イメージ................................................ 119

xi

表目次
表 1-1 AI の「信頼性」に関するプラント保安に関わる事業者の問題意識 ..................2
表 1-2 関心事項に応じたガイドラインの参照箇所 ...........................................................8
表 2-1 「リスク回避性」の簡易評価の基準（AISL 表） ................................................35
表 2-2 本ガイドラインにおける強度基準と既存の基準・分類との関係 ......................37
表 2-3 「パフォーマンス」のレベル設定・評価基準（AIPL） .....................................39
表 3-1 ユースケースの概要 .................................................................................................44
表 3-2 「配管の肉厚予測」の機械学習要素の構成（例）..............................................49
表 3-3 ユースケース「配管の肉厚予測」の利用時品質・外部品質の項目例 ..............50
表 3-4 「配管の肉厚予測」に係る「ユースケース固有の観点」..................................52
表 3-5 「配管の画像診断」の機械学習要素の構成（例）..............................................57
表 3-6 ユースケース「配管の画像診断」の利用時品質・外部品質の項目例 ..............58
表 3-7 「配管の画像診断」に係る「ユースケース固有の観点」..................................60
表 3-8 「設備劣化診断」の機械学習要素の構成（例）..................................................64
表 3-9 ユースケース「設備劣化診断」の利用時品質・外部品質の項目例 ..................65
表 3-10 「設備劣化診断」に係る「ユースケース固有の観点」....................................67
表 3-11 「異常予兆検知・診断」の機械学習要素の構成（例）....................................72
表 3-12 ユースケース「異常予兆検知・診断」の利用時品質・外部品質の項目例 ....73
表 3-13 「異常予兆検知・診断」に係る「ユースケース固有の観点」........................76
表 3-14 「運転最適化」の機械学習要素の構成（例）....................................................82
表 3-15 ユースケース「運転最適化」の利用時品質・外部品質の項目例 ....................82
表 3-16 「運転最適化」に係る「ユースケース固有の観点」........................................85
表 4-1 機械学習利用システムの開発プロジェクトの担当..............................................89
表 4-2 機械学習利用システムの開発プロジェクトにおける役割別の所属企業の例 ..90
表 4-3 各担当のガイドラインの活用場面と確認すべき品質..........................................91
表 4-4 機械学習利用システム構築・運用のフェーズ・担当別の実施項目 ..................93
表 4-5 機械学習利用システムの構築・運用におけるフェーズ別の実施項目 ..............94
表 4-6 プラント保安分野における機械学習の信頼性評価 実施項目・内容リスト ..97
表 4-7

PoC 終了段階で目処をつけることが望ましい項目 .......................................... 100

表 4-8 フェーズ「要求・要件定義」の実施事項 ........................................................... 101
表 4-9 フェーズ「設計」の実施事項 ............................................................................... 104
表 4-10 フェーズ「実装」の実施事項 ............................................................................. 108
表 4-11 フェーズ「テスト・検収」の実施事項 ............................................................. 112
表 4-12 フェーズ「運用」の実施事項 ............................................................................. 115

xii

1. はじめに
1.1 ガイドラインの目的及び活用方法
1.1.1 ガイドライン策定の目的
AI の産業への応用の可能性と障害について、産業技術総合研究所「機械学習品質マネジ
メントガイドライン 第 1 版」では次のように記している。

「人工知能（AI）、とりわけ機械学習技術は、製造業、自動運転、ロボット、ヘルスケア、
金融、小売などの幅広い応用分野で有効性が確認され、社会実装が本格化する兆しを見せている。その一方、AI を利用した製品・サービスの品質を測定し説明する技術の不足に起因し、万が一の事故の際に原因が特定できず、また投資に見合う AI システムの優位性を説明できず、結果として、社会的な受容性を得るための制度設計の遅れや、AI 開発ビジネス拡
大への大きな障害となっている。」2
特にプラント保安分野では、「①AI が支援・代替する機能が保安（安全を守る防護機能）である」、「②多様なステークホルダーへの説明責任を負っている」という特徴があるため、
AI の信頼性を説明する技術の不足の課題が顕著である。
①については、保安機能はこれまで人間や既存のシステム・ソフトウェアが担っており、適切に動作して必要な機能を発揮するための信頼性を確保・評価するための体系3が蓄積されている。それによって、保安機能は、公共や労働者の安全を確保してきた。この保安機能に、新たに AI を保安機能の支援や代替として組み込むためには、AI の動作の信頼性を確保・評価するための確立した方法論が求められることとなる。こうした方法論がなければ、安全確保の根拠が不明瞭なまま AI が保安機能に組み込まれ、安全が損なわれることになってしまう。
②については、プラントオーナー企業は、まず、社内で環境安全部門や経営層を含めて AIの蓋然的な効果や安全面でのリスクに関して適切な認識を持ち、AI の導入に合意する必要がある。加えて、社外の地域住民や規制当局等に保安活動の説明を行う必要がある。これらの際には適正なプロセスで AI の開発・実装・運用等を行っているエビデンス（証拠）を示し、合意形成を行うことが求められる。
プラント保安に関わる事業者が抱いている、AI の「信頼性」に関する問題意識を表 1-1に示す。

2

産業技術総合研究所(2020)「機械学習品質マネジメントガイドライン

3

法令で定める保安確保手段や、機能安全やソフトウェア品質に係る国際規格等。

1

第 1 版」

表 1-1➢

AI の「信頼性」に関するプラント保安に関わる事業者の問題意識4【①関連】信頼性の評価が十分できていないので、重要な設備の管理を AI に任せることはできず、重要でない設備のみ AI に任せようかと思う。一方で、重要でな
い設備はそもそも保全する必要性が低く、検査自体が不要である可能性がある。
（プラントオーナー）➢【①②関連】AI の不良が原因でプラントを止めると大損失（人的被害、経済的被害）が生じる。そのため社内の関係部署の了解を得るためには高度な信頼性評価が必要で、現状は難易度が高い。（プラントオーナー）➢【②関連】スーパー認定では、保安の手段の妥当性を自分で当局等に説明する必要がある。そのため、KHKS5から外れた保安検査をする場合、社内で「AI を使ってよい」と決裁が取れるまでに非常に長い時間がかかる。（プラントオーナー）➢【②関連】AI ベンダーである我々は、顧客側（プラントオーナー）に当社の AI の
信頼性を理解していただくのに苦労している。信頼性の評価についてガイドラインができれば、顧客側がそれを参照して納得頂けることになると考えられる。（AIベンダー）

このように、プラント保安分野の文脈では、AI の信頼性を評価する体系化された方法論が特に必要とされている（＝本ガイドラインの課題）。この課題を解決するため、本ガイド
ラインでは、AI の中で実用化が進みつつある「機械学習」の信頼性の評価について、プラント保安分野に特化して考え方を示すことを目的としている。
1.1.2 本ガイドラインの活用効果
本ガイドラインは、主な読者として、機械学習技術を利用したシステム（以下、「機械学習利用システム」という）をプラントに導入するプラントオーナー企業と、機械学習利用シ
ステムを開発し納品するベンダー企業を想定している。それぞれの立場において想定される活用効果を以下に示す。
なお、本ガイドライン 4 章では、機械学習利用システムの構築・運用プロセスに沿って、関係するステークホルダー別にガイドラインの活用場面・参照箇所を詳述している。
(1) プラントオーナー企業の活用効果
本ガイドラインが提示する信頼性評価の方法に則ることで、保安システム内の機械学習技術を用いて構築したソフトウェア要素（以下「機械学習要素」という）に対して、適切な安全性・生産性の要求水準を設定し、その実現のために特定の要求事項を満たすことになる。
このプロセスを経ることで、機械学習要素の高い信頼性を実現し、保安力や生産性を向上さ
4

ガイドライン策定にあたり実施したインタビュー調査による。

5

高圧ガス保安協会が策定した保安検査基準。「保安検査の方法を定める告示」（平成 17 年 3 月 30 日経

済産業省告示第 84 号）において、保安検査の方法として指定されている。ただし、「特定認定事業者（スーパー認定事業所）」の場合、損傷、変形及び異常の発生状況等を確認するために十分な方法であること等を事業者が判断すれば、この保安検査基準によらず事業者が自由に設定した方法で検査することが認められている。

2

せることができる。
さらに、本書に則った機械学習要素の構築・運用を行ったエビデンス（証拠）を示すこと
で、安全性等について社内外へ説明責任を果たしやすくなる。また、保安システムをベンダー企業とともに開発する際に、要求事項を適切に伝達し、その達成状況を円滑に確認することができる。
(2) ベンダー企業の活用効果
ベンダー企業は、プラントオーナー企業との機械学習の開発・運用に関する共通言語として本ガイドラインを用いることが出来る。具体的には、プラントオーナー企業が機械学習要素に求める多種多様な要求水準を、本ガイドラインが設定しているレベルに変換して受け取ることができる。更に、機械学習要素の開発に際しては、レベルに対応して本書が設けている要求事項を実施すればよく、実施事項の妥当性をプラントオーナー企業に説明する煩雑さを省略することができる。
これにより、プラントオーナー企業から機械学習要素の信頼性について理解を得やすくなる。また、適切な信頼性評価を行っていないサービスとの差別化を行うことができる。
1.1.3 本ガイドラインの策定経緯
2020 年 4 月から 2021 年 3 月にプラント保安分野の事業者、安全や人工知能の専門家等による「プラントにおける AI 信頼性評価に関する検討会6」を開催した。検討会ではプラント保安分野における機械学習活用の状況や、それを踏まえた信頼性評価の方法等について検討を行い、本ガイドラインはその結果を踏まえて策定するものである。
今後、本ガイドラインの活用状況や、プラント保安分野の技術の進展、AI およびその品
質確保・評価技術の進展等を踏まえて、ガイドラインを継続的に見直していく。

6

検討会の委員等の構成は、本ガイドラインの別紙を参照。

3

1.2 他のガイドラインとの関係
1.2.1 AI の品質に係る既存のガイドライン
機械学習の信頼性を含む品質確保や評価については、世界的にも確立した体系が存在していないが、日本において先進的な検討が行われている。本ガイドラインの策定にあたっては、主に以下のガイドラインを参考としている。
(1) 産業技術総合研究所「機械学習品質マネジメントガイドライン 第 1 版」
産業技術総合研究所「機械学習品質マネジメントガイドライン 第 1 版」は、機械学習利用システムについて、「サービス提供で求められる品質要求を充足するための必要な取り組
みや検査項目を体系的にまとめたもの」7である。機械学習利用システムの品質を「利用時品質」「外部品質」「内部品質」の 3 段階8に分け、「機械学習要素の『内部品質』の向上により『外部品質』を必要なレベルで達成し、最終的な製品の『利用時品質』を実現する」
7 ものと整理している。機械学習要素に対する品質要求（外部品質）を「リスク回避性」「AI

パフォーマンス」「公平性」の 3 つの軸に区分 8 し、それぞれについて要求の強さに応じたレベルを設定している。また、品質要求のレベルに応じた機械学習要素を開発する際に実施
すべき、開発プロセスやデータに関する要求事項を整理している。
「機械学習品質マネジメントガイドライン 第 1 版」は、特定の産業を想定しない汎用的な内容であり、今後、特定分野への応用にあたっては、産業分野別のリファレンスの策定を求める予定になっている。
(2) AI プロダクト品質保証コンソーシアム「AI プロダクト品質保証ガイドライン

2020.08版」「AI プロダクト品質保証ガイドライン 2020.08 版」は、民間企業や大学、研究機関等の個人・組織からなる「AI プロダクト品質保証コンソーシアム」により策定された、「AI プ
ロダクトの品質保証に対する共通の指針」9である。AI プロダクトの品質保証の枠組みとして、Data Integrity、Model Robustness、System Quality、Process Agility、Customer Expectationの 5 つの軸を提示し、それぞれの軸で考慮すべき事項をチェックリスト形式で整理している。また、品質保証に有用な技術カタログの整理や、ドメイン個別のガイドラインの例示を行っている。例示されているドメインには、コンテンツ生成系システム、スマートスピーカ
ー、産業用プロセス、自動運転、AI-OCR の 5 つがある。

1.2.2 本ガイドラインの位置づけ
本ガイドラインは、「機械学習品質マネジメントガイドライン 第 1 版」の体系を用いて
7

産業技術総合研究所「機械学習品質マネジメントガイドラインを公開」、

https://www.aist.go.jp/aist_j/press_release/pr2020/pr20200630_2/pr20200630_2.html、2020 年 9 月 18 日アクセス8

詳細は 2 章を参照。

9

AI プロダクト品質保証コンソーシアム「AI プロダクト品質保証ガイドライン 2020.08 版」

4

おり、プラント保安分野への適用方法を示したリファレンスとして位置づけられる。図 1-1に「機械学習品質マネジメントガイドライン 第 1 版」との関係を示す。
本ガイドラインは、「機械学習品質マネジメントガイドライン 第 1 版」の信頼性評価の構造を用いている。具体的には、「利用時品質」「外部品質」「内部品質」の 3 段階や、外部品質の 2 つの軸およびレベル、内部品質の 8 つの軸および要求事項で同様の構造をしている（図 1-1 の左半分）。
更に、この信頼性評価の構造に、プラント保安分野での実例に基づいて肉付けを行っている。具体的には、利用時品質・外部品質の具体的な項目例や、システム全体の安全機能を踏まえたレベルの設定手順、要求事項を実現するための具体的な観点を示している（図 1-1 の
右半分）。
分類

機械学習品質マネジメントガイドライン 第1版

本ガイドラインプラント保安分野における実例

リスク回避性

リスク回避性

パフォーマンス

パフォーマンス

具
体
的
項
目
例

利用時品質

・・・
リスク回避性

外部品質

リスク回避性

2
つのパフォーマンス
軸
、
公平性
レ
ベ
ル
その他
を
セキュリティ・プライバシー／倫理性などの社会的側面継耐攻撃性／外部環境の複雑性への対応限界 承パフォーマンス
（対象外）
（対象外）

要求分析の十分性

データ設計の十分性
データセットの被覆性

データセットの均一性
内部品質

機械学習モデルの正確性
機械学習モデルの安定性

プログラムの健全性

レ
具
体ベ
的ル
項設
目定
例手
順

システム全体の安全機能
人間系を含む保安活動の中での機械学習要素の役割

要求分析の十分性

データ設計の十分性

8
つ
の
軸
、
要
求
事
項
を
継
承

データセットの被覆性

データセットの均一性
機械学習モデルの正確性
機械学習モデルの安定性

プログラムの健全性

運用時品質の維持性

図 1-1

プラント保安分野の実例における品質要求

要
求
事
項
実
現
の
た
め
の
具
体
的
観
点

プラント保安分野の実際の開発プロセスにおける留意点

運用時品質の維持性

本ガイドラインと産業技術総合研究所ガイドラインの関係

また、「AI プロダクト品質保証ガイドライン 2020.08 版」の 7 章で、プラント制御に機械学習要素を適用することを題材とした「産業用プロセス」ドメインの品質保証が扱われている。ここで挙げられている留意事項について、「要求事項実現のための具体的観点」として追加している（2.1.4 に詳述）。

5

1.3 適用範囲
本ガイドラインは、機械学習要素の信頼性を扱い10、プラント保安分野に機械学習を適用する場合に、信頼性の観点から、機能安全など従来からのプラント保安の信頼性確保の取組に追加して検討すべき事項をまとめたものである11。
．．．．．．．
例えば、本ガイドラインで扱う「リスク」とは、機械学習要素の誤判断に起因する危険・災害である。ハードウェアの信頼性・危険側故障は本ガイドラインでは取り扱っておらず、処理を実行するハードウェアの故障に起因する危険・災害は対象になっていない。また、機械学習要素以外のソフトウェアの信頼性や、プラントの保安を担う人員の業務（手順、マニュアル等）も本ガイドラインでは取り扱っていない。加えて、機械学習要素の信頼性が確認されていたとしても、導入に伴って設備・システム・手順等に変更が生じる場合、変更管理を行う必要があるが、その方法については本ガイドラインには含まれていない。
すなわち、本ガイドラインに基づく検討をもって、機械学習要素を含むシステム全体、ひいてはプラント全体の安全や性能が実現されるものではない。
加えて、法令上・倫理上の問題、第三者のプライバシー、社会的受容の確保、サイバーセ
キュリティといった、新技術・データ活用において一般的に課題とされている事項についても、本ガイドラインでは対象とせず、別途検討すべき事項とする。
本ガイドラインでは、特定の 1 プラントに実装されることを前提に、機械学習要素の信頼性を評価する12。同じ機械学習要素を複数の実装先に適用する場合は、実装先 1 箇所ごとに別途評価を行う必要がある。
本ガイドラインでは、単一の機械学習要素を対象に信頼性を評価する。複数の機械学習要素が含まれるシステムの場合は、それぞれの機械学習要素を個別に評価する必要がある13。
なお、本ガイドラインは法令の規定を緩和したりその解釈を示したりするものではなく、法定検査に機械学習要素を活用する場合は法定義務を遵守する必要がある。
導入する機械学習要素の構築プロセスが本ガイドラインに適合しているかについてプラ
ントオーナー企業が規制当局に説明する際には、プラントオーナー企業が説明責任を負う。

10

機能安全規格では、「JIS C 0508-3:2014 電気・電子・プログラマブル電子安全関連系の機能安全－第 3

部：ソフトウェア要求事項」の対象に該当する。
11

プロセス産業分野の安全計装システム（機能安全）についての国際規格として、IEC 61511-1(JIS C

0511-1)がある。ここでは、ソフトウェアを、「3.2.75.1 FPL(fixed program language: 固定プログラム言語)」、「3.2.75.2 LVL(Limited variability language: 制約可変言語)」、「3.2.75.3 FVL(Full variability
language: 完全可変言語)」のいずれかにより実現されるものと分類している。この中で、機械学習要素は
FVL により実装される要素として考えるべきである。FVL については、IEC 61508-3:2010(JIS C 05083:2014)により取り扱うものとされているため、本ガイドラインの対象とする「プラント保安分野の機械学
習要素の信頼性」は、脚注 10 の通り、IEC 61508-3:2010(JIS C 0508-3:2014)の対象に該当するものと考える。
12

学習済みの機械学習要素を導入する場合も、出力の信頼性を既存手法で評価できないため、実装先の特定のプラントを想定して、本ガイドラインの手法で信頼性を評価する。
13

本ガイドラインでは、機械学習要素を複数持つことによって冗長性を確保し、信頼性を向上する効果を得ることは現時点では難しいとの立場をとっている。例えば、アンサンブルにより精度向上を図る機械学
習要素は、本ガイドラインでは全体をひとつの機械学習要素として評価することとしている。

6

1.4 本ガイドラインの構成及び読み方
本ガイドラインは以下の構成となっている。
2 章では、「プラント保安分野における機械学習の信頼性評価の構造」として、本ガイド
ラインの階層的な信頼性評価の方法を示す。読者は、適切な信頼性評価のためには、本章に則った機械学習要素の構築・運用が求められる。
2.1 節では「信頼性評価の 3 品質」として、信頼性評価の 3 階層（「利用時品質」「外部品質」「内部品質」）のそれぞれの意味を、プラント保安分野における解釈も含めて示す。
2.2 節では「信頼性評価の方法と要求事項」として、3 段階の品質に基づいて信頼性評価を実施する方法と評価基準を示す。
3 章では「プラント保安分野における機械学習のユースケース」として、プラント保安分
野の典型的なユースケースに基づいて具体的な信頼性評価の例を示す。本章は、読者が 2 章の内容を実践する際に参照することを想定しており、読者が構築・運用する機械学習要素に合わせて適用することが期待される。
4 章では「ガイドラインの活用の流れ」として、機械学習利用システムの構築・運用の流れに従って信頼性評価の実施項目を整理し、フェーズ別・関与する主体別に、本ガイドラインの活用方法例を示す。本章は、読者が 2 章の内容を実践する際に参照することを想定しており、読者のプロジェクトの状況に合わせて柔軟に活用することが期待される。
加えて、附録として、3 段階の品質のうち「内部品質」に対する要求事項と、要求事項をプラント保安分野で実行するための留意点を整理し、チェックリストとして提示する。
なお、ガイドラインに記載している実施事項をもれなく実施するために、個々の実施事項の検討結果を記録するフォーマットも公開している14。フォーマットに従って実施事項を記録することで、ガイドラインを適用したエビデンス（証拠）を残すことができ、社内外での説明等に活用することができる。併せて、全ユースケースについて、フォーマットを用いて実際に信頼性評価を実施した記録を「実用例」として公開している。自社のケースに近い「実用例」を参照することで、信頼性評価の実施内容やフォーマットの記載粒度等について、具体的な例を参考に検討することができる。
本ガイドラインは、1 章から順に読むことで、信頼性評価の方法と適用例、実施項目が理解できるよう構成しているが、読者の関心に応じて特定の章・節から読むことも想定している。関心事項に応じたガイドラインの参照箇所は次の表の通りである。

14

https://www.fdma.go.jp/relocation/neuter/topics/fieldList4_16/jisyuhoan_shiryo.html

7表 1-2

関心事項に応じたガイドラインの参照箇所

関心事項

ガイドラインの参照箇所

ガイドラインのどの部分を誰（品質保証担当、プラントシス
テム担当、機械学習開発・設計担当等）が理解すればいいのか把握したい4.1 節

ガイドラインを誰がどのように使うのかを把握したい

4.2 節

自社で検討している AI に近い信頼性評価の検討例を把握したい

3.1 節・3.2 節でユースケースの位置づけ・一覧を確認、
ユースケースを選定→3.3 節のうち該当するユースケースを参照
併せて「実用例」を参照
3.3.1：配管の肉厚予測
実用例「1.配管の肉厚予測（横河電機株式会社）」
3.3.2：配管の画像診断
実用例「2.配管の画像診断（三菱ケミカル株式会
社・日本電気株式会社）」
3.3.3：設備劣化診断
実用例「3.設備劣化診断（横河電機株式会社）」
3.3.4：異常予兆検知・診断
実用例「4-1.異常予兆検知・診断（千代田化工建設株式会社・西部石油株式会社）」
実用例「4-2.異常予兆検知・診断（日揮株式会社）」
3.3.5：運転最適化
実用例「5-1.運転最適化（ENEOS 株式会社・株
式会社 Preferred Networks）」
実用例「5-2.運転最適化（横河電機株式会社・
JSR 株式会社）」

信頼性評価の 3 つの品質
（利用時品質、外部品質、内部品質）の意味を理解したい

2.1 節

信頼性評価の 3 つの品質に基づく、具体的な信頼性評価の方法を理解したい

2.2 節

内部品質の具体的な要求事
項・観点を確認したい

附録

用語の定義を確認したい

1.5 節

ガイドラインの適用状況を記録したい

信頼性評価実施記録フォーマット

8

1.5 用語本ガイドラインに使用する用語を以下のように定義する。
(1) 機械学習
人工知能のうち、特に計算機システムが明示的なプログラム指示に依ること無く、データのパターンを自動的に認識した結果を用いて推論・判断を行うようなシステム。深層学習も
機械学習の代表例である。15(2) 機械学習要素
機械学習技術を応用して実装されたソフトウェアコンポーネント。15 プラント保安分野においては、例えばプロセスデータから異常の予兆を検知するソフトウェアや、配管の画像か
ら腐食の程度を判定するソフトウェアなどを指す。
本ガイドラインは、機械学習要素の品質のみを対象としている。
(3) 機械学習利用システム
機械学習要素をコンポーネントとして内包するシステム。16プラント保安分野においては、
例えば機械学習を活用した異常予兆検知・診断システムや、機械学習による運転最適化機能を組み込んだ制御システム、ドローンで撮影した配管の画像から腐食の程度を判定し可視化するシステムなどを指す。
本ガイドラインでは、機械学習利用システムに内包される、機械学習要素以外の要素（ソフトウェア／ハードウェア）の品質は対象となっていない。
(4) 教師あり学習／教師なし学習／強化学習
機械学習の学習手法は、「教師あり学習」「教師なし学習」「強化学習」の 3 つに分けることができる。
「教師あり学習」は、入力データから出力データのパターンを予測／識別する学習手法である。与えられた入力データと正解となる出力データのセットを学習データとし、入力と出力の関係を学習する。教師あり学習で解く問題の代表例が「回帰」と「分類」である。本ガイドラインでは、「配管の肉厚予測（回帰）（3.3.1）」「配管の画像診断（分類））（3.3.2）」「設備劣化診断（分類）（3.3.3）」のユースケースが該当する。
「教師なし学習」は、学習データとして正解を与えずに学習を行う学習手法である。学習
データを特徴によってグループ分けする「クラスタリング」などが代表例。本ガイドライン
では、「異常予兆検知・診断（3.3.4）」のユースケースが該当する。
「強化学習」は、ある環境において行動を選択することで報酬を得るという枠組みにおいて、得られる報酬が最大になるような方策を学習する学習手法である。学習データには正解

15

産業技術総合研究所「機械学習品質マネジメントガイドラインを公開」

https://www.aist.go.jp/aist_j/press_release/pr2020/pr20200630_2/pr20200630_2.html、2020 年 9 月 8 日閲覧
16

産業技術総合研究所(2020)「機械学習品質マネジメントガイドライン 第 1 版」

9

を含まない。本ガイドラインでは、「運転最適化（3.3.5）」のユースケースが該当する。
(5) 回帰モデル／分類モデル
教師あり学習のうち、配管の肉厚など連続値を予測する問題を回帰問題、配管の腐食有無など離散値（カテゴリ）を判別する問題を分類問題といい、それぞれの問題で用いるモデルを回帰モデル、分類モデルと呼ぶ。本ガイドラインでは、回帰モデルの例として「配管の肉厚予測（3.3.1）」、分類モデルの例として「配管の画像診断（3.3.2）」「設備劣化診断（3.3.3）」のユースケースをとりあげている。
(6) プラント石油コンビナート地域を含む石油精製、化学工業（石油化学を含む）等の事業所。17(7) 安全関連系
次の両方を満足するシステム。
－EUC(equipment under control: 被制御機器)を安全な状態に移行させるため、又は EUC の安全な状態を維持するために必要な、要求された安全機能を行う。
－それ自体で、又はその他の E/E/PE(electrical/electronic/programmable electronic: 電気・電子・プログラマブル電子)安全関連系及び他リスク軽減措置によって，要求される安全機能に対して必要な安全度を達成する。18
ここで、EUC とは、本ガイドラインでは主に製造や保全に用いられる機器、機械類、装置、プラントなどを指す。18 また、E/E/PE 系とは、動力源供給装置，入力装置（センサ）、
インタフェース及び他の通信経路、出力装置（アクチュエータなど）などの要素を含むシステムを指す。18
本ガイドラインでは、単に安全関連系という場合は機械学習要素が安全関連系に含まれている場合を想定する。機械学習要素の誤判断による影響が一定以上に大きい場合、安全関連系全体の SIL 評価を求めることとしている。なお、機械学習要素を含まない安全関連系を指す場合は、次項(8)「機械学習利用システムと独立の安全関連系」を用いる。
(8) 機械学習利用システムと独立の安全関連系
機械学習利用システムの入力・処理・出力とは無関係に、対象設備の安全な状態を確保している安全関連系。機械学習要素の望ましくない出力を補正する「外部安全機構」とは異なる。
本ガイドラインでは、機械学習利用システムと独立の安全関連系がある場合には、機械学
習要素に対する「リスク回避性」の考慮が不要になる場合もあるとしている（2.3.2 節）。

17

石油コンビナート等災害防止３省連絡会議(2019)「プラントにおけるドローンの安全な運用方法に関するガイドライン」
18

JIS C 0508-4：2012 電気・電子・プログラマブル電子安全関連系の機能安全－第 4 部：用語の定義及び略語

10

(9) SIL(safety integrity level: 安全度水準)
機能安全規格 IEC 61508 (JIS C 0508) および IEC 61511 (JIS C 0511) で定められている、
安全度の値の範囲に対応する離散的水準。安全度水準 4 は最高の安全度水準であり，1 は最低である。19
安全度とは、ある E/E/PE 安全関連系が，指定した期間内に，全ての指定した条件下で，規定する安全機能を果たす確率 19 を指す。SIL は、安全機能に対する安全要求事項を規定するために用いられる。
本ガイドラインでは、SIL の 4 水準（1～4）のうち、SIL2 以上を機械学習要素に割り当てることを不可としており、「SIL1」または「SIL なし」の水準の範囲で、機械学習要素の「リスク回避性」のレベルを設定している。
(10) 外部安全機構
安全性を向上させることを目的として機械学習要素と並列・直列に処理されるソフトウ
ェアまたはハードウェアで、機械学習要素の望ましくない出力に対して監視・補正（出力の制限や上書き修正）を行い、かつ IEC 61508(JIS C 0508)、IEC 61511(JIC C 0511)などの機能安全規格（特にソフトウェアの場合は、IEC61508-3(JIS C 0508-3)など）に従う既存のシステ
ム開発プロセスの手法で十分に安全を確保できると評価できるもの。20本ガイドラインでは、
外部安全機構の有無により「リスク回避性」の要求水準が変わる、すなわち、外部安全機構があれば「リスク回避性」の要求水準が下がるものとしている。
(2)機械学習要素、(8)機械学習利用システムと独立の安全関連系、(10)外部安全機構の関係を図 1-2 に示す。
本ガイドラインでは、機械学習要素の出力からプラント設備に作用する判断に至るまでの人間の関与の仕方を 3 つに分類している（2.2.3(1)2)b に詳述。図 2-7 参照）。「外部安全機構」は、人間の関与の仕方がいずれの場合であっても、機械学習要素の出力に対してロジックに基づく上書き・補正（機械学習要素の出力が一定範囲を超えたり、他のシステムが示
す出力・判断と矛盾したりする場合、機械学習要素の出力・判断を止める）を行うものと位置づけている。
「機械学習利用システムと独立の安全関連系（インターロック等）」は、機械学習利用シ
ステムの入力・処理・出力とは無関係に、対象設備の安全な状態を確保している安全関連系であり、「外部安全機構」とは異なる。

19

JIS C 0508-4：2012 電気・電子・プログラマブル電子安全関連系の機能安全－第 4 部：用語の定義及び略語
20

産業技術総合研究所(2020)「機械学習品質マネジメントガイドライン」を参考に本ガイドラインで定義。

11

機械学習要素
入力A

処理

出力

判断

判断

確認

最終判断

判断

入力B

処理

ロジックによる
上書き・補正出力

人間

外部安全機構（例：ルールベースの指標による監視、検査装置での監視 等）

プラント設備機械学習利用システムと独立の安全関連系（例：インターロック、アラームシステム等）
入力C

警報・
停止等

処理

図 1-2 機械学習要素・外部安全機構・機械学習利用システムと独立の安全関連系 の関係(11) 信頼性（ソフトウェア信頼性）
特定条件下で使用するときのある性能を維持する能力。21
本ガイドラインでは、機械学習要素が期待通りの品質を果たすことを念頭に、例えば機械
学習要素が配管の画像から腐食を判定する判断の確からしさ等を指す。
なお、本ガイドラインは機械学習要素の信頼性を取り扱っているため、単に信頼性という場合はソフトウェア信頼性を指すものとする。
(12) リスク
危害の発生確率及びその危害の度合いの組合せ。22
本ガイドラインで取り扱うリスクは、機械学習要素の誤判断に伴うリスクのみである。
(13) 安全
許容不可能なリスクがないこと。23
本ガイドラインでは、機械学習要素の誤判断に伴うリスクが許容可能なレベルで管理されている状態を安全としている。

21

JIS Z 8115：2019 ディペンダビリティ（総合信頼性）用語22

JIS Z 8051：2015 安全側面−規格への導入指針

23

JIS C 0511-1：2019 機能安全－プロセス産業分野の安全計装システム－第 1 部：フレームワーク，定義，システム，ハードウェア及びアプリケーションプログラミングの要求事項

12

(14) 微小な怪我
不休災害のうち、医師の診察を要しないかすり傷程度のもの。
（いわゆる「赤チン災害」）
リスク回避性の要求レベルを設定する際、機械学習要素の誤判断に伴う影響を判定する
強度基準のうちの 1 つ。
(15) 利用時品質システム全体で最終的な利用者に提供すべき品質24（特定の利用状況において、利用者のニーズ（性能、使い勝手など）をどれだけ実現できるか）。プラント保安分野では、「最終的な利用者」は機械学習利用システムの目的に応じ、運転員・保全員である場合、個別設備の安全性・生産性に責任を持つ管理者である場合、プラント全体の管理者である場合、プラ
ントオーナー企業の経営層である場合等様々である。
本ガイドラインでは、利用時品質のうち、機械学習要素の外部品質と対応関係にある項目の実現について取り扱っており、機械学習要素以外の要素と対応する利用時品質は対象としていない。
(16) 外部品質システムのうち機械学習で構築された構成要素が満たすことが期待される品質。24
外部品質を達成することで、利用時品質を実現する。
本ガイドラインでは、単に外部品質という場合は機械学習要素の外部品質を指す。
(17) リスク回避性（利用時品質・外部品質の 2 軸のうちの 1 つ）
機械学習要素の望ましくない判断動作によって25、その製品の運用者・利用者または第三者などに人的被害や経済損失などの悪影響を及ぼすことを回避する品質特性である。
「リスク回避性」の要求を設定し、実現することが、安全分野における「リスク低減」の概念と対応する 24。利用時品質・外部品質の 2 種類のうちの 1 つ。
本ガイドラインでは、異常予兆検知・診断における異常の見逃しや、配管の画像診断における腐食の見逃し等、プラントの安全面に悪影響を及ぼすことを回避することを指す。2.1.3
項に詳述。
なお、ここでいう「回避」とは、リスクマネジメント26におけるリスク対応の類型の 1 つである「リスク回避(活動からの撤退)」を意味するものではない。

24

産業技術総合研究所「機械学習品質マネジメントガイドライン

25

第 1 版」

本ガイドラインにおける「リスク回避性」は、機械学習要素の誤判断による悪影響を回避することを対象としている。十分な信頼性が確認されている機械学習要素が導入された場合の、設備・システム・手順等の変更に伴う悪影響は、本ガイドラインの対象ではない。機械学習要素の信頼性が確認されていたとしても、変更に伴う悪影響が生じないよう、変更管理を行う必要がある。
26

JIS Q 0073：2010 リスクマネジメント－用語13

(18) パフォーマンス（利用時品質・外部品質の 2 軸のうちの 1 つ）
機械学習要素が、生産性・効率性向上に資する判断をすることを求める利用時品質および外部品質を総称する軸のこと。具体的には、機械学習利用システムの利用者が期待する出力（「リスク回避性」に含まれる「安心・安全」を追求する出力を除く）を、長期的に平均してより高い精度・確率で出力することを指す。個別の誤判断による悪影響が大きな問題にならない出力では、個々の出力の是非よりも、平均的な性能の高さが要求されることに着目している。27
本ガイドラインでは、異常予兆検知・診断における誤検知（異常がない場合に異常と発報する）の頻度や、配管の肉厚予測における安全側の誤差（処置が不要の場合に必要と判断する）等、個別の誤判断は許容されるが、長期的に平均してより高い性能を発揮することが期
待されることを指す。2.1.3 項に詳述。

(19) 内部品質
機械学習による構成要素が固有に持つ品質。28「外部品質」を満たすために機械学習要素の設計・開発・運用等で満たすべきことであり、次の 3 種類について、8 つの軸を定める（それぞれの品質の説明は 2.1.4 に詳述）。


開発に用いられるデータの適切性（データの量、種類など）開発したモデルの適切性（テストの際の機械学習の精度など）

実装・運用方法の適切性（機械学習の精度の維持の方法など）(20) ユースケース
プラント保安分野における機械学習利用システム活用の典型例。本ガイドラインでは、5件のユースケースに基づいて、利用時品質・外部品質の項目の例と、内部品質の要求事項を実行するための留意点を示している。3 章に詳述。
(21) （プラント保安分野での／ユースケース固有の）観点
産業技術総合研究所「機械学習品質マネジメントガイドライン」に記載の内部品質の要求事項を、プラント保安分野で実行するための留意点。ユースケースを問わずプラント保安分
野で共通的に参照すべき留意点「プラント保安分野での観点」と、個別のユースケースの開発に特化して参照すべき留意点「ユースケース固有の観点」がある。例えば、以下のような観点がある。
「偏りのないデータのサンプル抽出」という要求事項を実現するにあたり、実測値データの量に偏りがある場合、シミュレータの利用を検討する（プラント保安分野での観点）。

「偏りのないデータのサンプル抽出」という要求事項を実現するにあたり、異常予兆

27

産業技術総合研究所「機械学習品質マネジメントガイドライン

28

産業技術総合研究所「機械学習品質マネジメントガイドラインを公開」

第 1 版」を参考に記載

https://www.aist.go.jp/aist_j/press_release/pr2020/pr20200630_2/pr20200630_2.html、2020 年 9 月 11 日閲覧

14検知・診断のユースケースにおいては、異常時データを網羅することは必須とせず、正常領域における網羅的なサンプル抽出を求める（ユースケース固有の観点）。
(22) PoC「Proof of Concept（概念実証）」の略。新しいアイデアの実施可能性を確認するために、本格的な実装・システム化の前に行う検証活動を指す。
PoC は、純粋な試行的検討から本格開発の準備まで多様な意味を含む概念であり、すべての場合に信頼性評価の検討が求められるものではないが、本ガイドラインでは PoC の段階で確認しておくことが望ましい事項を 4.2.3 節に示している。
(23) レビュー
本ガイドライン 4 章において用いている、信頼性評価への関与の仕方を表す用語。本ガイ
ドラインを用いて信頼性評価を行う主担当から依頼を受け、自身の業務所掌・専門性に基づいて主担当による検討事項を確認する。
なお、レビューを行う担当者は、必ずしもガイドラインの内容を読んで理解する必要は無く、主担当者からの依頼に応える形で信頼性評価に関与する。

15

1.6 （参考）「プラントにおける先進的 AI 事例集」について
なお、図 1-3 に示すように、プラント保安分野における AI 導入の課題は、信頼性の確保・評価に係るものだけではなく、人材や体制、経済的利点の不明瞭さ等様々なものがある。こ
れらの課題の全体像や、課題を乗り越えた事例、具体的成果等については、「プラントにおける先進的 AI 事例集 ～AI プロジェクトの成果実現と課題突破の実践例～」を参照されたい。
事業者の取組による解決が必要

政府が課題解決を支援できる（法令、ガイドライン、補助事業等）

事例集で解決策の例を提示

経営的課題（AI投資に必要な組織整備不足、AI人材が確保できていない）

個別のプロジェクト
遂行における課題(目標設定の困難さ、社内外への信頼性説明)

技術的課題（AI開発のチェックポイントが未確立、データ量が限られるなど
開発の難易度が高い）

社内の現状維持バイアス
プラント×AIの人材育成・体制

AI事業の目的設定の困難さ
経済的利点が不明瞭「産業保安高度化推進事業」
等で先進的なAI実証を補助

AIの信頼性不足

高い技術水準を担保する必要
開発における制約

スマート保安官民協議会
官民アクションプラン策定

外部環境（デジタル化全般に関する課題）「プラント保安分野AI信頼性評価ガイドライン」策定

デジタル化に向けた規制の総点検（高圧法）「データの利用に関する契約ガイドライン産業保安版」策定

業界全体のデジタル化の遅れ
規制・制度上の制約

図 1-3 プラント保安分野における AI 導入の課題の分類と「プラントにおける先進的 AI 事例集」の位置づけ29

29

石油コンビナート等災害防止３省連絡会議（経済産業省、総務省消防庁、厚生労働省）(2020)「プラントにおける先進的 AI 事例集～AI プロジェクトの成果実現と課題突破の実践例～」

16

2. プラント保安分野における機械学習の信頼性評価の構造
本ガイドラインでは、「機械学習品質マネジメントガイドライン 第 1 版」の階層的な品
質確保の構造を用いて、「機械学習要素の『内部品質』の向上を通じてその『外部品質』を必要となるレベルで達成し、最終的なシステムの『利用時品質』を実現する」30。
階層的な品質確保の手順の概略を図 2-1 に示す。①機械学習利用システムで実現したいこと（利用時品質）を設定する、②利用時品質を満たすために、機械学習要素に求める性能（外部品質）を明らかにし、求めるレベル（＝要求度合いの強さ）を設定する、③レベルに応じた要求事項に基づいて実際に機械学習要素（内部品質）を作り込む、という流れとなる。
2.1 で、「利用時品質」「外部品質」「内部品質」について説明した後で、2.2 では上記の階層的な信頼性評価の方法を詳述する。

①機械学習利用システムで実現したいことを設定（→2.2.1）

利用時品質（→2.1.1）

機械学習要素の品質

機械学習要素以外の構成要素の品質

外部品質（→2.1.2）②機械学習要素に求める出力を設定し、その達成レベルを決める（→2.2.2、2.2.3）

内部品質（→2.1.4）③レベルに応じた
要求事項に基づいて
機械学習要素を作り込む（→2.2.4、2.2.5）

リスク回避性

パフォーマンス

要求分析
の十分性

データ設計
の十分性

データセットの被覆性

データセット
の均一性

学習モデル
の正確性

学習モデル
の安定性

プログラム
の健全性

運用時品質
の維持性

図 2-1 機械学習利用システムの階層的な品質確保
出所）産業技術総合研究所「機械学習品質マネジメントガイドライン

第 1 版」を参考に三菱総合研究所

作成

なお、本ガイドラインは機械学習要素の品質のみを検討対象としているが、機械学習利用システムの品質確保においては、機械学習要素以外の構成要素（ルールベースでプログラミ
ングされた構成要素等）の品質確保も重要である。機械学習要素以外の構成要素の品質は、
既存の品質確保・評価の体系（機能安全やソフトウェア品質に係る国際規格等）に従って確保する。さらに、機械学習要素と、他の構成要素をどのように組み合わせるか（例えば、機械学習要素の出力結果と、他の構成要素の出力結果を比較し、矛盾する場合は人の判断を求め、矛盾しない場合は自動的に操作する、といったルールをどのように決めるか）によっても、機械学習利用システムとして達成される品質は変化する。本ガイドラインで対象としている機械学習要素の品質のみならず、「機械学習をシステムの中でどのように使えば機械学
習利用システム全体の品質を上げることができるか」を考えることが肝要である。

30

産業技術総合研究所「機械学習品質マネジメントガイドライン

17

第 1 版」

2.1 信頼性評価の 3 品質
2.1.1 利用時品質
機械学習利用システム全体で最終的な利用者に提供すべき品質31が利用時品質である。こ
れを達成するために、機械学習要素を含むシステムの構成要素を開発する。
利用時品質には、システムの利用者がシステムに期待している目的や、前提として確保されているべき安全性等が含まれており、換言すると「システムで実現したいこと」が利用時品質であるといえる。プラント保安分野においては、「異常予兆検知・診断システム」や「配管の画像診断システム」といった機械学習利用システムを特定のプラントに導入するにあたり、利用者が期待する目的や、前提として備えるべき安全性等が、利用時品質に該当する。

32【利用時品質の例】
（異常予兆検知・診断システムの場合）
様々な条件下で、将来の異常の発生を正しく検知する

（配管の画像診断システム）
目視点検が必要な配管を見落とさない

ここで、「システムの利用者」は、機械学習利用システムの目的に応じて、運転員・保全員、個別設備の安全性・生産性に責任を持つ管理者、プラント全体の管理者、プラントオー
ナー企業の経営層等が考えられ、当該システムの利用者の立場で利用時品質が規定する。このため、利用時品質を言語化した際には、定性的な表現が中心となる。利用時品質をシステ
ムとして達成するためには、システムの構成要素が所定の性能を発揮することが必要となる。これが次項の「外部品質」である。
2.1.2 外部品質システムのうち機械学習を用いる構成要素が満たすことが期待される品質 31 が外部品質である。
外部品質は、利用時品質を達成するために、機械学習要素に求められる性能として表現される。プラント保安分野においては、「異常予兆検知・診断システム」や「配管の画像診断システム」の機械学習要素（予兆の検知や腐食の判定）に求められる性能が外部品質に該当
する。33

31
32

産業技術総合研究所「機械学習品質マネジメントガイドライン「機械学習品質マネジメントガイドライン

第 1 版」

第 1 版」では、他分野における利用時品質の具体例として、以下のようなものが挙げられている。
自動運転を行う自動車の例：あらゆる運転可能な環境条件下で障害物に衝突しない安全性
株の自動取引を行うサービスの例：利益の最大化
33「機械学習品質マネジメントガイドライン

第 1 版」では、他分野における外部品質の具体例として、

以下のようなものが挙げられている。
自動運転を行う自動車に搭載される物体認識モジュールの例：想定される天候や時間帯などの全てにお18【外部品質の例】
（異常予兆検知・診断システムの場合）「異常予兆あり」の場合に、「正常」であると判定する誤判定率を限りなく小さ
くする（配管の画像診断システム）
目視点検が「要」である場合に、「不要」であると判定する誤判定率を限りなく小さくする

機械学習利用システムを、機械学習要素とその他の構成要素からなると考えると、利用時品質は「機械学習要素の外部品質」と「その他の構成要素の外部品質」により達成される。
「その他の構成要素の外部品質」は、既存の品質確保・評価の体系（機能安全やソフトウェ
ア品質に係る国際規格等）に従って確保することを前提とし、本ガイドラインでは、単に外部品質という場合は「機械学習要素の外部品質」を指すものとしている。
2.1.3 利用時品質・外部品質の軸利用時品質・外部品質は、特徴に応じた分類を設けており、本ガイドラインでは「軸」と称している。「軸」とは、個別の機械学習利用システム及び機械学習要素について、最終的に達成したい品質の分類であり、本ガイドラインでは以下に説明する「リスク回避性」「パフォーマンス」の 2 軸を設定している34。全ての利用時品質と外部品質は、どちらかの軸に属する。
また、外部品質については、「リスク回避性」「パフォーマンス」のそれぞれの軸について要求の強さに応じたレベルを定義しており（2.2.3 参照）、外部品質のレベルに応じて、次項の「内部品質」の要求事項のレベルが決まる構造となっている。
(1) リスク回避性
機械学習要素の誤判断によって35、その機械学習利用システムの運用者・利用者または第いて、障害物を正しく認識する
株の自動取引を行うサービスに内包される株価予想モジュールの例：株価予測の誤差の最小化や、想定される取引結果の総和を最大化する
34「機械学習品質マネジメントガイドライン

第 1 版」では、機械学習要素の外部品質を「リスク回避性」「パフォーマンス」「公平性」の 3 つの軸としている。このうち「公平性」については、機械学習利用システムが消費者等の市民に影響を与えることを念頭に、機械学習要素に社会規範性や倫理性を機械学習に求める軸である。しかし、プラント保安分野においては、機械学習の対象はプラント設備であり市民
ではないことから、本ガイドラインでは「公平性」の軸は不要であると判断した。なお、本ガイドライン
では対象としていないが、例えば従業員の画像・動画データや会話内容等をデータとして含むユースケー
スの場合は、「公平性」の軸での検討が必要となる可能性がある。
35

本ガイドラインにおける「リスク回避性」は、機械学習要素の誤判断による悪影響を回避することを対象としている。十分な信頼性が確認されている機械学習要素が導入された場合の、設備・システム・手順等の変更に伴う悪影響は、本ガイドラインの対象ではない。機械学習要素の信頼性が確認されていたとしても、変更に伴う悪影響が生じないよう、変更管理を行う必要がある。

19

三者などに人的被害や経済損失などの「安全・安心」に関する悪影響を及ぼすことを回避36
する利用時品質および外部品質を総称する軸である。「リスク回避性」軸に属する外部品質の要求を設定し、実現することは、安全分野における「リスク低減」と同等のことを意味する37。
プラント保安分野における、「リスク回避性」にあたる利用時品質・外部品質の例を以下に示す38。
∙（異常予兆検知・診断システムの場合）
利用時品質：様々なプラントの条件下で、将来の異常の発生を正しく検知する
外部品質：「異常予兆あり」の場合に、「正常」であると判定する誤判定率を限りなく小さくする（機械学習要素が異常の兆候を見逃し、実際に異常が発生することを回避するための品質）∙（配管の画像診断システムの場合）
利用時品質：目視点検が必要な配管を見落とさない
外部品質：目視点検が「要」である場合に、「不要」であると判定する誤判定率を限りなく小さくする（機械学習要素が劣化した配管を安全と判断し、深刻な損傷や事故が発生することを回避するための品質）

異常の見逃しや、配管の画像診断における腐食の見逃し等、プラントの安全面に悪影響を及ぼすことを回避する品質を指している。このような項目に対し、悪影響を回避する要求の強さ等に応じた外部品質のレベルを設定することとなる（具体的なレベルの設定方法については、2.2.3(1)で詳述）。
(2) パフォーマンス
機械学習要素が、生産性・効率性向上に資する判断をすることを求める利用時品質および外部品質を総称する軸のこと。具体的には、機械学習利用システムの利用者が期待する出力（「リスク回避性」に含まれる「安心・安全」を追求する出力を除く）を、長期的に平均してより高い精度・確率で出力する品質を指す。個別の誤判断による悪影響が大きな問題にならない出力では、個々の出力の是非よりも、平均的な性能の高さが要求されることに着目している。39プラント保安分野における、「パフォーマンス」に属する利用時品質・外部品質の例を以
下に示す。
∙

36

（異常予兆検知・診断システムの場合）ここでいう「回避」とは、リスクマネジメントにおけるリスク対応の類型の 1 つである「リスク回避(活動からの撤退)」を意味するものではない。
37

産業技術総合研究所「機械学習品質マネジメントガイドライン

38

3 節では、5 件のユースケースについて外部品質の項目例を記載している。

39

産業技術総合研究所「機械学習品質マネジメントガイドライン

20

第 1 版」
第 1 版」を参考に記載

利用時品質：発報内容の確認に運転員や点検要員の時間を多く割かなくてよい適度な発報頻度とする
外部品質：誤検知の頻度を一定以下にする∙（配管の画像診断システムの場合）
利用時品質：保全員の目視点検実施数を少なく抑える
外部品質：目視点検が「不要」である場合に、「要」であると判定する誤判定率を一定以内にする

誤検知（異常がない場合に異常と発報する）の頻度や、危険側の誤差（処置が不要の場合に必要と判断する）等、個別の誤判断は許容されるが、長期的に平均してより高い性能を発揮する（＝誤検知や危険側の誤差等を少なくする）ことが期待される品質を指している。このような項目に対し、要求の強さに応じた外部品質のレベルを設定することとなる（具体的なレベルの設定方法については、2.2.3(2)で詳述）。
なお、「リスク回避性」と「パフォーマンス」は必ずしも相反するものではなく、同一の機械学習利用システムにおいて同時に求められる場合が多い。例えば、保全に用いるシステ
ムの場合、劣化の見逃しを避けるための「リスク回避性」を求めると同時に、点検・交換の頻度を最小化するための「パフォーマンス」も併せて求められる。それぞれの軸について求められる外部品質のレベルを設定し、より厳しいレベルに基づいて内部品質を作り込むことが必要になる。
2.1.4 内部品質
機械学習要素は、開発者の演繹的なプログラミングによって異常／正常等の判断をしな
いため、誤判断は様々な要因によって起こりうる（学習データセットの不十分、学習データ
セットへの過学習、実装環境の変化への適応不足など）。そのため、外部品質を管理するためには、プログラム（コード）の妥当性の評価だけでは不十分であり、機械学習の設計から運用までの全工程の妥当性を網羅的に評価する必要がある。そのため、本ガイドラインでは①データの設計、②データの品質、③学習済みモデルの品質、④実装・運用の品質、の区分にそれぞれ 2 つずつの内部品質を設定し、それらのマネジメントを通じて外部品質を実現することを求める。これらの内部品質は全ての機械学習要素に共通であり、利用時品質・外部品質と異なり、読者が自ら設定する必要は無い（利用時品質の設定については 2.2.1、外部品質の設定については 2.2.2 を参照）。
「機械学習品質マネジメントガイドライン 第 1 版」では、それぞれの内部品質の確保するために実施すべき事項を要求事項としてとりまとめており、要求事項は、外部品質のレベルに応じた 3 つのレベルに分類されている。必要なレベルに該当する要求事項に従って機械学習要素を作り込むことを通して、外部品質を満たす機械学習要素を実装する（外部品質を満たしていることは、テストにより確認する）。内部品質のレベルの確認については 2.2.4で、内部品質の要求事項の確認および実行については 2.2.5 で詳述する。
本ガイドラインでは、「機械学習品質マネジメントガイドライン 第 1 版」の要求事項をそのまま用いる。補足として、その分野横断的な要求事項をプラント保安分野において適用する際に踏まえる必要がある「観点」を「附録 内部品質確保のための『プラント保安分野

21

での観点』チェックリスト」にまとめている。ここには、「AI プロダクト品質保証ガイド
ライン 2020.08 版」（1.2.1(2)に詳述）の 7 章「産業用プロセス」ドメインで挙げられている留意事項も反映している。また、プラント保安分野の典型的なユースケース特有の「観点」
も、上記の附録に記載している（ユースケースについては 3 章で詳述）。
以下、図 2-1 で整理されている「機械学習品質マネジメントガイドライン 第 1 版」の内部品質の 8 つの軸について、「データの設計」「データの品質」「学習済みモデルの品質」「実装・運用の品質」の分類ごとに解説する。なお、要求事項はここでは例のみを記載しており、全体は上記の附録にまとめている。

22

図 2-2 内部品質の 8 つの軸及びその関係性
出所）産業技術総合研究所「機械学習品質マネジメントガイドライン

23

第 1 版」

【データの設計に関する軸】(1) 要求分析の十分性「機械学習品質マネジメントガイドライン 第 1 版」における定義
機械学習利用システムの実世界での利用状況に対応して機械学習要素に入力されると想定される運用時の実データの性質について分析が行われ、その分析結果が想定される全ての利用状況を被覆していること。
「機械学習品質マネジメントガイドライン 第 1 版」における要求事項の例✓

機械学習要素が対応すべき動作の対象・範囲を明らかにすること✓

機械学習要素の入力データの範囲を特定すること✓

機械学習要素が対応しない状況、発生頻度が低い状況などを判断すること✓

機械学習要素に起因する、機械学習利用システムの品質が低下するリスクを検討
すること

（解説）
機械学習要素が対応する動作範囲を規定すること。想定する入力データの範囲を特定し、データラベルなどの具体的な形で記述し、対応しない状況やレアな状況等を峻別する。
(2) データ設計の十分性「機械学習品質マネジメントガイドライン 第 1 版」における定義
要求分析の十分性を前提として、システムが対応すべき様々な状況に対して十分な訓練用データやテスト用データを収集し整理するためのデータ設計の十分な検討を実施すること。
「機械学習品質マネジメントガイドライン 第 1 版」における要求事項の例✓

機械学習利用システムの品質が低下するリスクを有するケースを網羅すること✓取り扱える範囲のデータの属性及びデータ量とすること✓ケースが少ない場合は網羅して確認し、多い場合は、いくつかのケースを属性や組合せを網羅するように取り出し確認すること✓高い品質が要求される場合は、ケースの抽出作業に数学的な「網羅性基準」を導入
すること

（解説）
品質管理に用いるデータ整理の細分の枠組を設計すること。高リスクな状況の組み合わせなどを網羅的にカバーすることや、全体として取り扱える範囲の数に設計すること等が
含まれる。

24

【データの品質に関する軸】(3) データセットの被覆性「機械学習品質マネジメントガイドライン 第 1 版」における定義
対応すべき状況の組み合わせの各々に対して、状況の抜け漏れがなく、十分な量の学習データが与えられていること。
「機械学習品質マネジメントガイドライン 第 1 版」における要求事項の例✓

データセットの取り方などを工夫し、必要なデータを網羅的に確保すること✓

発生頻度の低いデータが得られない場合は、テスト等も通じて検証し個別に対応を検討すること✓

網羅性基準を導入している場合、「ケースに含まれていない」属性が偏りなく分布しているか検査すること（解説）
細分した領域ごとに、十分なデータが含まれることを確認すること。データの量が十分あり、偏りがないことを確認する。これにより、十分にリスクなどに対応した学習訓練がされることを担保する。
(4) データセットの均一性「機械学習品質マネジメントガイドライン 第 1 版」における定義
データセット内の各状況や各ケースが、入力されるデータ全体におけるそれらの発生頻度に応じて抽出されていること。
「機械学習品質マネジメントガイドライン 第 1 版」における要求事項の例✓

データセット全体を取得するプロセスに偏りが生じないよう配慮しつつ、個々の属性値の発生頻度などを適宜監視すること✓「データセットの被覆性」とどのように両立させるのかの検討やデータ設計を行
うこと

（解説）
データ全体として偏りなく均一にデータが含まれることを確認すること。これはモデルの全体性能の向上を意図している。
「データセットの被覆性」と「データセットの均一性」は、バランスをとって両立させることが必要である。
なお、「データセットの均一性」は、「リスク回避性」のレベルと「パフォーマンス」のレベルに応じてそれぞれ要求事項が設定されている点に留意が必要である。

25

【学習済みモデルの品質に関する軸】(5) 機械学習モデルの正確性「機械学習品質マネジメントガイドライン 第 1 版」における定義
学習データセット（訓練用データ、テスト用データ、バリデーション用データからなる）に含まれる具体的な入力データに対して、機械学習要素が期待通りの反応を示すこと。
「機械学習品質マネジメントガイドライン 第 1 版」における要求事項の例✓

データセットの入力データに対して、機械学習要素が外部品質の期待に沿った出力であること✓データの量を変化させたり、交差検定の手法を用いたりするなど学習の達成度を評価すること✓出力に対し一定の誤判断を許容する場合は、その判断基準を定めること（解説）
データセットの入力に対して十分正確な推論が行われること。テストの結果により、訓練用データやテスト用データの精度が直接評価される。
(6) 機械学習モデルの安定性「機械学習品質マネジメントガイドライン 第 1 版」における定義
学習データセットに含まれない入力データに対して、機械学習要素が学習データセッ
ト内のそれに近いデータに対する反応と十分に類似した反応を示すこと。
「機械学習品質マネジメントガイドライン 第 1 版」における要求事項の例✓

データセットに含まれない入力データに対して、その入力データ近傍のデータセットを入力したときの出力と類似していること（解説）
データセット以外の入力データに対しても十分に安定した推論が行われること。数値評
価・分析やテスト方法などで担保する。特に安全性が要求される場合、運用中のデータに対して安定した性能が得られる必要があり、「機械学習モデルの安定性」の確保は重要である。

26

【実装・運用の品質に関する軸】(7) プログラムの健全性「機械学習品質マネジメントガイドライン 第 1 版」における定義
機械学習の訓練段階に用いる訓練用プログラムや、実行時に使われる予測・推論プログ
ラムが、与えられたデータや訓練済み機械学習モデルなどに対してソフトウェアプログ
ラムとして正しく動作すること。
要求事項の例✓

利用するソフトウェアは信頼できるソフトウェアを用いること✓

機械学習要素の開発環境と運用環境の相違とそれによる影響を予め検討すること（解説）
機械学習モデル以外のソフトウェアの品質が確保されること。機械学習要素の開発に用いるソフトウェアなどが健全であることが求められる。また、機械学習要素以外の構成要素
は、一般的なシステムに求められる品質や要求事項に則して開発することを前提とする。
(8) 運用時品質の維持性「機械学習品質マネジメントガイドライン 第 1 版」における定義
運用開始時点で充足されていた内部品質が、運用期間中を通じて維持されること。
要求事項の例✓

機械学習要素の更新頻度の見積もりまたは更新の必要性の判断基準を事前に検討すること✓

更新時の品質検査の方法、特に更新の可否の判断基準（または意思決定の方法）について検討すること（解説）
運用開始時に確保した品質が、運用期間中維持されること。運用時品質を維持するために予め検討すべき事項が要求事項となる。特に、プラントは製品の切り替えやメンテナンス等
様々な要因で経時変化する。機械学習利用システムを運用することで様々な設備状態の変化や新たなデータが得られることにより、当初の内部品質が維持されず「リスク回避性」「パ
フォーマンス」が維持されないことにもつながりかねないため、「運用時品質の維持性」の確保は重要である。

27

2.2 信頼性評価の方法と要求事項
本節では、機械学習要素の信頼性評価の適用方法や要求事項について、3 段階の品質（利用時品質、外部品質、内部品質）に従って詳述する。信頼性評価を行う際には、本節の手順に則って品質項目の具体化やレベルの設定を行う。適用方法の説明に用いる 3 段階の品質の関係図を以下に示す。

機械学習利用システムの目的・機能要件

利用時品質（リスク回避性）（パフォーマンス）

機械学習要素の品質（リスク回避性）（パフォーマンス）

要求分析
の十分性

データ設計
の十分性

データセットの被覆性

データセット
の均一性

学習モデル
の正確性

学習モデル
の安定性

プログラムの
健全性

運用時品質
の維持性

外部品質

内部品質

・・・

機械学習要素以外の構成要素の品質

図 2-3 信頼性評価における 3 段階の品質の関係
2.2.1 利用時品質の設定
機械学習利用システムの機能要件（実現したいこと）を踏まえて、利用者の視点で利用時品質を設定する。
機械学習利用システムの機能要件から、利用時品質を設定するイメージを図 2-4 に示す。
40例えば「異常予兆検知・診断」を行う機械学習利用システムの場合、システムの出力をプ

ラントの運転を担う運転員が確認し、プラントに対する必要な操作を行う。よって、利用時
品質は、運転員が求める品質であり、「様々なプラントの条件下で、将来の異常の発生を正しく検知する」こと（「リスク回避性」の軸に該当）、「発報内容の確認に運転員や点検要員の時間を割かなくてよい適度な発報頻度とする」こと（「パフォーマンス」の軸に該当）を求めることが考えられる。

40

3 節では、ユースケース別の利用時品質の項目例を記載している。

28

システムの目的に応じて利用者にとっての利用時品質を設定（1対多対応）「リスク回避性」「パフォーマンス」
それぞれ複数設定

異常予兆検知・診断
パフォーマンス

リスク回避性

利用時品質

様々なプラントの条件下で、将来の異常を正しく検知

発報内容の確認に運転員や点検要員の時間を多く割かな
くてよい適度な発報頻度

機械学習要素の品質
外部品質

内部品質

図 2-4

（リスク回避性）（パフォーマンス）

要求分析
の十分性

データ設計
の十分性

データセットの被覆性

データセット
の均一性

学習モデル
の正確性

学習モデル
の安定性

プログラムの
健全性

運用時品質
の維持性

・・・

機械学習要素以外の構成要素の品質

利用時品質の設定イメージ（異常予兆検知・診断システムの例）

2.2.2 外部品質の設定
前節で設定した利用時品質に対応した機械学習要素の外部品質を設定する。外部品質は
機械学習要素の出力に対して求められる品質であり、利用時品質に通常 1 対 1 対応で設定される。2.2.2 の時点（外部品質の設定段階）では機械学習特有の数値目標（例：○％以上の精度）を定める必要はない。「リスク回避性」の外部品質に関しては、外部品質のレベル設
定(2.2.3)の過程で、安全関連系や外部安全機構を確認することを通して機械学習要素に要求される数値目標（危険につながる誤判断の発生率等）を定めることができる場合がある。また、最終的には、機械学習要素を作り込む段階（2.2.5）で、PoC の成果やデータの取得状況・学習状況等に応じて具体的な機械学習特有の数値目標（正解率(Accuracy)、F 値など）を設定できる。
機械学習利用システムの利用時品質から、機械学習要素の外部品質を設定するイメージを図 2-5 に示す。例えば「異常予兆検知・診断」を行う機械学習利用システムの場合、「様々なプラントの条件下で、将来の異常の発生を正しく検知する」という利用時品質に対しては、「『異常予兆あり』の場合に、『正常』であると判定する誤判定率を限りなく小さくする」という外部品質が対応する（「リスク回避性」の軸に該当）。同様に、「発報内容の確認に運転員や点検要員の時間を多く割かなくてよい適度な発報頻度とする」という利用時品質に対しては、「誤検知の数をできるだけ少なくする」という外部品質が対応する（「パフォーマンス」の軸に該当）。
利用時品質は、「機械学習要素」と「機械学習要素以外の構成要素」それぞれの外部品質から成り立つものであるが、本ガイドラインでは機械学習要素の外部品質のみを対象としている。
なお、プラント保安分野の場合、機械学習利用システムと独立の安全関連系が確立している場合は、機械学習利用システムについて「リスク回避性」の考慮が不要になる場合もある。
例えば、設備の劣化傾向を検知する機械学習利用システムについて、設備の部品のブレ（変位）が一定以上になっていることを検知するセンサなどが別途存在し、安全面はその独立した安全関連系によって担保される場合、機械学習利用システムの目的は、劣化傾向を早期に29

把握して効率的なメンテナンス計画を作成することに絞られる。
このため、「リスク回避性」の考慮が不要になる（「3.3.3 設備劣化診断」のユースケース参照）。
異常予兆検知・診断
パフォーマンス

リスク回避性

利用時品質

利用時品質に対する
外部品質を設定（1対1対応）発報内容の確認に運転員や点検要員の時間を多く割かな
くてよい適度な発報頻度

機械学習要素の品質
外部品質

内部品質

図 2-5

様々なプラン トの条件下で、将来の異常を正しく検知

リスク回避性「異常予兆あり」の場合に、「正常」であると判定する誤判定率を限りなく小さくする・・・

機械学習要素以外の構成要素の品質

パフォーマンス
誤検知の数をできるだけ少なくする

要求分析
の十分性

データ設計
の十分性

データセットの被覆性

データセット
の均一性

学習モデル
の正確性

学習モデル
の安定性

プログラムの
健全性

運用時品質
の維持性

外部品質の設定イメージ（異常予兆検知・診断システムの例）

2.2.3 外部品質のレベル設定41
設定した外部品質について、機械学習要素への要求に応じたレベルを設定する。「機械学習品質マネジメントガイドライン 第 1 版」の定義を用いて、「リスク回避性」は AISL（AI
Safety Level）、「パフォーマンス」は AIPL（AI Performance Level）という指標でレベルを設定する。
(1) リスク回避性「リスク回避性」軸の外部品質に対し、機械学習要素の誤判断による悪影響を回避することへの要求の強さに応じてレベルを設定する。「リスク回避性」に関する外部品質のレベル設定の方法を以下に詳述する。
1) レベル設定の手順
リスク回避性のレベル(AISL)の設定のフローを図 2-6 に示す。

41

外部品質のレベル設定は、IEC61511-1(JIS C 0511-1)の「プロセス潜在危険及びリスク評価（H&RA）」「安全機能の防護層への割当て」に対応するステップである。ただし、本ガイドラインの適用が、IEC61511-1(JIS C 0511-1)への適合を意味するものではない。

30

①安全関連系全体のSIL評価の必要性を確認

安全関連系全体のSIL評価の必要性

安全関連系全体のSIL評価④SIL評価に基づく
詳細評価

設計の見直し(注2)

AISL表の「※」に該当設計の見直し(注2)

機械学習要素に割り当てるSILの特定
SIL2以上②「AISL表」に基づく簡易評価

なし

あり

SIL1
AISL1(注3)を設定

SILなし
AISL表(注1)に基づき
AISL0.2～0(注4)を設定⑤SIL評価結果のAISLへの変換

図 2-6

機械学習要素の誤判断による影響の簡易評価（AISL表(注1)に基づく）「AISL0.2～0」に該当③外部安全機構の確認

外部安全機構の有無
あり
1段階軽減

なし
設定変更なしAISLの評価結果

リスク回避性のレベル(AISL)の設定フロー

注 1）「AISL 表」とは、表 2-1 を指す。
注 2）設計を見直す場合、新たなシステム構成・運用（人間の関与等）で①「安全関連系全体の SIL 評価の必要性確認」から評価をやり直す。本ガイドラインでは、「機械学習利用システムと独立の安全関連系」および「外部安全機構」により、機械学習要素への SIL の割当を SIL1 または SIL なしとする。
注 3）SIL 評価に基づく SIL1 以上の安全度を担保するには、IEC 61508(JIS C 0508)への適合が必要。
「AISL1 を満足する機械学習要素を SIL1 として使用できる」ことは意味しない。
注 4）「SIL なし」に相当する AISL は「0.2～0」である。機械学習要素に割り当てる SIL が「SIL なし」
であり、かつ AISL 表に基づく AISL 評価が「※」となる場合は、より厳密な評価である「SIL 評
価」を優先する。すなわち、AISL 表の評価が「※」であっても、SIL 評価による「SIL なし」を優先し、AISL は「0.2」を設定する。AISL 表の評価が 0.2～0 となった場合は、AISL 表の評価結果を用いる。

①安全関連系全体の SIL 評価の必要性を確認
まず、機械学習利用システムを実装する対象について、安全関連系全体の SIL 評価の必要性を確認する。SIL 評価とは、機能安全規格42 において定められている、安全関連系の安全度水準(SIL)の要求を定める手法であり、SIL 評価に基づいて設計された安全関連系を実装することで、安全確保の手段が適切であることを示すことができる。機械学習利用システムを実装する設備が、機能安全規格の適用対象と想定される場合は、SIL 評価を要すると判断し、手順④を行う。これ以外の場合は、手順①の段階では SIL 評価を要しないと判断し、手順②を行う。
また、機能安全規格の適用対象となる設備であっても、以下の場合は、手順①の段階では新規の SIL 評価は要しないと判断し、手順②を行う。

42

IEC61508(JIS C 0508)、IEC61511(JIS C 0511)等。

31

⚫

既存の安全に関する規格に従ったリスクアセスメントの手法43によりプラントの安全確保が確認されている場合44⚫

機能安全規格に従ったシステム開発プロセスの手法により信頼性が確認された他の安全関連系（機械学習利用システムと独立したシステム）によってプラントの安全が確 保 さ れ る こ とか ら 、機 械 学 習 要 素 が誤 判 断を し て も 既 存 の安 全 関連 系 及 び
EUC(equipment under control: 被制御機器)45制御系の機能に影響を与えないと考えられる46場合②「AISL 表」に基づく簡易評価
SIL 評価を要しないと判断された場合は、表 2-1(AISL 表)に基づいて、機械学習要素へのリスク回避の要求の強さを簡易評価する(表の取り扱いについては後述)。表 2-1 内の「※」に該当しない場合は、手順③を行う。表 2-1 内の「※」に該当する場合は、機械学習要素へのリスク回避の要求が過大になっている（現時点の機械学習技術と信頼性のマネジメント
技術では達成できないほど高いリスク回避レベルを要求している）恐れがあり、簡易な手法
による評価が妥当でない可能性があるため、改めて SIL 評価が必要と判断し、手順④を行う。
または、
機械学習利用システムと独立の安全関連系の確保や、人間の関与を高めるなど、
機械学習利用システムの設計・運用を見直した上で、①「安全関連系全体の SIL 評価の必要性確認」から評価をやり直して、リスク回避の要求が「※」に該当しないようにする。
③外部安全機構の確認
AISL0.2～0 に該当する場合で、外部安全機構47が存在しない場合は、該当する値をそのま
ま AISL の評価値48とする。

43

機能安全規格のほか、IEC 61882:2016 Hazard and operability studies (HAZOP studies) - Application guide、IEC 60812:2018 Failure modes and effects analysis (FMEA and FMECA)、JIS C 5750-4-3:2011 ディペンダビリ
ティ マネジメント− 第 4-3 部：システム信頼性のための解析技法−故障モード・影響解析（FMEA）の手順、IEC 61025:2006 Fault tree analysis (FTA)、JIS C 5750-4-4:2011 ディペンダビリティ マネジメント− 第4-4 部：システム信頼性のための解析技法− 故障の木解析（FTA）等。
44

例：「HAZOP において、まったく危険なシナリオが発見されなかった場合」や、「HAZOP において、機械学習システムが危険なシナリオの発生源でなく、かつ危険の伝播に関わっていない場合」等。プ
ラントの安全な自動停止措置が十分な信頼性で確立している場合等。
45

EUC とは、本ガイドラインでは主に製造や保全に用いられる機器、機械類、装置、プラントなどを指す。
46

手順①の段階で機械学習要素が誤判断をしても既存の安全関連系及び EUC 制御系の機能に影響を与えないと考えられ、新規の SIL 評価を要しないと判断した場合においても、手順②において、表 2 1 を用いて機械学習要素の誤判断の影響を再確認する。表 2 1 内の「※」に該当する影響が想定された場合は、改めて SIL 評価が必要と判断し、手順④を行う。
47

安全性を向上させることを目的として機械学習要素と並列・直列に処理されるソフトウェアまたはハードウェアで、機械学習要素の望ましくない出力に対して監視・補正（出力の制限や上書き修正）を行い、かつ IEC 61508(JIS C 0508)、IEC 61511(JIC C 0511)などの機能安全規格（特にソフトウェアの場合は、IEC61508-3(JIS C 0508-3)など）に従う既存のシステム開発プロセスの手法で十分に安全を確保できると評価できるもの。インターロック等は「機械学習利用システムと独立の安全関連系」であり、外部安全機構とは異なる。「1.5 用語」および「図 1-2」を参照。
48

AISL の評価値は、1／0.2／0.1／0 としている。AISL1 は SIL1、0.2～0 は SIL なしと対応する。SIL 評

32

外部安全機構が存在する場合は、該当する値から 1 段階(例：0.2→0.1)軽減した値を AISLの評価値とする。ただし、外部安全機構は、機械学習要素の望ましくない出力及び判断に対して監視・補正（それらの制限や上書き修正）を行い、かつ、SIL 評価に基づいて設計された常時稼働するものでなければならない49。本ガイドラインでは、外部安全機構があれば、機械学習要素の出力及び判断に対して、適切に監視・補正（出力の制限や上書き修正）が行われるため、AISL を軽減させることができるとしている。
④SIL 評価に基づく詳細評価
SIL 評価が必要と判断された場合は、機能安全規格に従って安全関連系の SIL 評価を行い、機械学習要素に割り当てる SIL を特定する。SIL1 または SIL なしを特定し、手順⑤に進む。本ガイドラインにおいては、2021 年 3 月時点の機能安全に係る国際的な議論の動向を踏まえ、SIL2 以上の安全機能を機械学習要素に割り当てることは安全性へのリスクが大きいため、不可とする50。よって、機械学習要素に割り当てられた SIL が 2 以上となった場合は、設計を見直した上で、①「安全関連系全体の SIL 評価の必要性確認」から評価をやり直して、機械学習要素の SIL が SIL1 または SIL なしとなるようにする。なお、機械学習要
素の外部品質の数値目標（危険につながる誤判断の発生率等）を設定する際に、機械学習要
素に割り当てる SIL に対応した目標機能失敗尺度（例：SIL1 の低頻度作動要求モードのとき、作動要求あたりの機能失敗平均確率が 10－2 以上 10－1 未満）を参考に検討することも考えられる51。
⑤SIL 評価結果の AISL への変換
機械学習要素に割り当てる SIL が 1 の場合は、AISL は 1 とする。
SIL なしの場合は、表 2-1(AISL 表)に基づいて、AISL を設定する。ただし、評価の結果
が「※」となった場合は、より厳密な評価である「SIL 評価」の結果を優先して適用することとし、「SIL なし」に対応する AISL の 0.2、0.1、0 のうち、最も安全性に配慮した AISL0.2を設定する。

価は機能安全規格(IEC61508/JIS C 0508)に基づき 4／3／2／1 の 4 段階に分類されており、分類に応じた安全機能の要求が規定されている。「SIL なし」の場合は、機能安全規格に基づく特別な要求事項の規定はないが、通常の品質管理が求められる。しかし、機械学習は従来のシステムのように通常の品質管理の手法が確立していないため、一定の指針が必要である。そのため、「SIL なし」としているレベルをさらに分割し、大小関係を保つために小数を用いて 0.2、0.1、0 というレベル表記を採用し、一定のリスク回避性を求める設定としている。（「機械学習品質マネジメントガイドライン

第 1 版」における定義を継承）なお、「AISL0」の場合は、本ガイドラインに基づく特別な要求事項の規定はないが、通常の品質管理が求められる（「リスク回避性の品質を設定しない（品質管理しない）」こととは異なる）。
49

外部安全機構がソフトウェアの場合は、機械学習要素との独立性について特に留意が必要である。

50

今後、ガイドラインを改訂する際に、最新の機能安全に係る議論の動向を踏まえて更新する。

51

IEC 61508-1(JIS C 0508-1)において定められている、SIL の水準に対応した機能失敗平均確率（例：SIL1の低頻度作動要求モードのとき、作動要求あたり 10－2 以上 10－1 未満、等）が参考となる。詳細は、IEC
61508-1(JIS C 0508-1)を参照。ただし、ソフトウェアに適用する場合は、IEC 61508-3((JIS C 0508-3)において、機能失敗平均確率ではなく他の技法が SIL ごとに要求されている。これは、ソフトウェアに対して機能失敗平均確率の要求を設定することが困難とされているためである。このため、ここで設定した数値目
標は、内部品質の作り込みの段階でも、PoC 等を通して調整されることが想定される。

33

2) 「AISL 表」
表 2-1(AISL 表)は、機械学習要素の誤判断に起因する人的または経済的な影響の強度を
縦軸、機械学習要素の誤判断を人間が回避する可能性の程度を横軸にとっている。これは、「機械学習品質マネジメントガイドライン 第 1 版」記載の AISL の評価表を基にして、縦軸・横軸をプラント保安分野の実態を考慮して改変したものである。

34

表 2-1
強度
基準
(注 1)

Ⅰ

Ⅱ
Ⅲ
Ⅲ’
Ⅳ

人的被害

経済的被害
（直接被害額のみ）・死亡・障碍の残る傷害
・多数の重傷・極めて多数の負傷
・重軽傷
・多数の負傷
微小な怪我(注 3)

直接被害額(注 4)
1 億円以上傷害の想定なし

直接被害額の想定
は軽微「リスク回避性」の簡易評価の基準（AISL 表）

経済的被害（間接被害額を含む）

・企業体としての存続等に著しい影響・業務の運営を揺るがす
重大な損害
直接被害額
無視できない、具体的な1 千万円以上
損害
直接被害額
軽微な利益の逸失にとど1 千万円未満まる（想定される被害者により容易に回避できる場合）
間接被害額を含む経済的被害の想定は軽微①人間による代替システムが用意されておらず、機械学
習要素の判断結果がそのま
ま運転・保全に反映される

人間による回避可能性の分類52② 機 械 学 習要 素 の 判断 結 果が 運
転・保全にそのまま反映されることはなく、人間による確認・代替システム
適用を介した結果が反映される③ 機 械 学 習要 素 は 補助的情報のみを提示し、人間が判断して運転・保全に反映する※ (注 2)※（注 2）※（注 2）※ (注 2)※ (注 2)AISL 0.2(注 5)※ (注 2)AISL 0.2(注 5)

AISL 0.1

AISL 0.2(注 5)

AISL 0.2(注 5)

AISL 0.1

AISL 0AISL 0AISL 0

注 1）強度基準は、「人的被害」「経済的被害（直接被害額のみ）」「経済的被害（間接被害額を含む）」のうち最も大きいものを選択する。なお、「経済的被害（間接被害額を含む）」の適用は任意とする。
注 2）本ガイドラインでは、※箇所に該当する場合、安全関連系全体の SIL 評価を必須とした上で、機械学習要素に割り当てる SIL が SIL1 または SIL なしとなるよう設計する。SIL 評価を実施して「SIL1」が特定できている場合は、「AISL1」を設定する。
注 3）「微小な怪我」とは、いわゆる「赤チン災害」以下の強度にあたり、医師の診察を要する不休災害などは強度基準Ⅱに該当する。
注 4）「直接被害額」とは、以下を意味する。「修理・交換・清掃・廃棄処分・環境修復および緊急対応の費用。直接コストには、ビジネス上の機会損失・事業の中断および原料や製品の損失・装置の停止による逸失利益、一時的な設備の調達や運転費、顧客の要請に対応した代替製品の調達費のような間接コストは含まない。」53
注 5）※箇所に該当しない場合で、かつ SIL 評価に基づいて設計・実装した常時稼働する外部安全機構が存在する場合、記載されている AISL から 1 段階(例：0.2→0.1)軽減できる。
注 6）本表では、安全性を重視した簡易的な評価とするため、リスクグラフ法等に基づく SIL の設定で考慮される発生確率のランクを設けず、一律発生確率が高いものとして取り扱っている（＝SIL 設定の際に考慮する発生確率が最も高いものとして、その SIL 値に相当する AISL を割り振っている）。

52「機械学習品質マネジメントガイドライン

53

第 1 版」における回避可能性の分類を、プラント保安分野として解釈したもの。

The Center for Chemical Process Safety(CCPS)「CCPS

プロセス安全

先行および遅行

測定基準

2011 年 1 月改訂版」SCE-Net 安全研究会 訳 より引用。なお、本ガイ

ドラインでは、「直接コスト」を「直接被害」、「間接コスト」を「間接被害」と置き換えて強度基準に反映している。

35

a. 「AISL 表」の縦軸「AISL 表」の縦軸は、機械学習要素が誤判断した場合に発生する人的または経済的な影
響の強度に応じて AISL が変動することを示している。したがって、強度が大きい表の上の方が求められる AISL が高く、下の方が低く設定されている。この軸に則って AISL を設定する54。強度基準は、「人的被害」「経済的被害（直接被害額のみ）」「経済的被害（間接被害額を含む）」のうち最も大きいものを選択する。なお、「経済的被害（間接被害額を含む）」の適用は任意とする55。
なお、既存の安全に関する規格56に従ったリスク評価の手法によりプラントの安全確保が確認されている場合は、当該手法によるリスク評価結果を考慮した強度を設定する57。また、機械学習要素と独立の安全関連系により、機械学習要素が誤判断した場合に発生する影響を低減する対策58を行う場合は、当該対策を考慮した強度を設定する59。
表 2-2 は、本ガイドラインで定めた人的または経済的な影響と、「機械学習品質マネジメ
ントガイドライン第 1 版」やプラント保安分野の既存の評価基準・事故分類との関係を整理したものである。表 2-1（AISL 表）に基づいて縦軸の強度基準を検討する際の参考とされたい。

54本ガイドラインでは、「実装先１箇所ごと」の評価を原則としているため、実装先が複数プラントの場

合は、プラント毎に別途信頼性評価を行う。機械学習要素の誤判断の影響が複数プラントに波及しうる場
合は、「実装先１箇所で起きる影響の発生頻度が高い」ものとして取扱う。すなわち、プラント毎に誤判断の影響を検討する際、同じ誤判断の影響がすべてのプラントで想定されるものとして検討する。
55「経済的被害（間接被害額を含む）」の適用は任意としているが、機械学習利用システムの導入目的に生産停止等による逸失利益などの間接被害の予防・減少が含まれている場合は、必然的に「経済的被害（間接被害額を含む）」を適用して影響の強度を検討することが求められる。
56

機能安全規格のほか、IEC 61882:2016 Hazard and operability studies (HAZOP studies) - Application guide、IEC 60812:2018 Failure modes and effects analysis (FMEA and FMECA)、JIS C 5750-4-3:2011 ディペンダビリ
ティ マネジメント− 第 4-3 部：システム信頼性のための解析技法−故障モード・影響解析（FMEA）の手順、IEC 61025:2006 Fault tree analysis (FTA)、JIS C 5750-4-4:2011 ディペンダビリティ マネジメント− 第4-4 部：システム信頼性のための解析技法− 故障の木解析（FTA）等。
57

リスク評価結果の妥当性が十分に説明できない場合は、強度の設定において当該評価を考慮することは

できない。
58

影響度を低減する安全関連系は、機能安全規格に従ったシステム開発プロセスの手法により信頼性が確認されていなければならない。信頼性が十分に説明できない場合は、強度の設定において当該対策を考慮することはできない。
59

機械学習利用システムと独立の安全関連系により、人的損失・直接的経済損失が想定されない場合は、

人的損失・直接的経済損失のリスクについては AISL0 となる。ここで、間接的経済損失のリスクが残存している場合は、任意で間接的経済損失を含む影響の想定を行うことにより、より高い AISL を設定し、リスク回避性軸に基づく品質管理を行うことが可能である。

36

表 2-2

本ガイドラインの基準

Ⅰ
人的被害：死亡／障碍の残る傷害／多数の重傷／極めて多数の負傷（重傷・軽傷）
経済的被害（直接被害額のみ）：直接被害額 1 億円以上
経済的被害（間接被害額を含む）：企業体としての存続等に著しい影響／業務の運営を揺るがす重大な損害
Ⅱ
人的被害：重軽傷／多数の負傷（重傷・軽傷）
経済的被害（直接被害額のみ）：直接被害
額 1 千万円以上
経済的被害（間接被害額を含む）：無視できない、具体的な損害
Ⅲ
人的被害：微小な怪我
経済的被害（直接被害額のみ）：直接被害
額 1 千万円未満
経済的被害（間接被害額を含む）：軽微な利益の逸失にとどまる
Ⅲ’（想定される被害者により容易に回避できる場合）
Ⅳ
人的被害：傷害の想定なし
経済的被害（直接被害額のみ）：直接被害額の想定は軽微
経済的被害（間接被害額を含む）：間接被害額を含む経済的被害の想定は軽微

本ガイドラインにおける強度基準と既存の基準・分類との関係「想定される影響」の既存評価基準
機械学習品質マネジメントガイドラ【高圧ガス】【労働安全】
イン 第 1 版
リスクアセスメント
危険性又は有害性等のガイドライン（Ver.
調査等に関する指針 別
人的経済的2） リスクアセス
添 4 負傷または疾病のリスク
リスク
メント実施事例
重篤度
複数人の同時死亡

単一の人の死傷障碍の残る傷害

重症

企業体とし
ての存続等
に著しい影
響

Ⅰ：死亡

業務 の運 営
を揺るがす
重大な損害

無視できな
い、具体的
な損害

Ⅱ：休業災害①致命的：死亡災害や身体の一部に永久損傷を伴うもの②重大：休業災害（1 か月以上のもの、一度に多数の被災者を伴うもの）③中程度：（1 か月未満のもの、一度に複数の被災者を伴うもの）

Ⅲ：不休災害

軽傷

軽傷（想定される被害者により容易に回避できる場合）傷害の想定なし

軽微な利益
の逸失にと
どまる

Ⅳ：微小災害「発生した事故」の既存評価基準【消防】【高圧ガス】
危険物施設における高圧ガス・石油コンビナート事故対
火災・流出事故に係応要領 事故の分類る深刻度評価指標
人的被害指標A 級事故
・死者 5 名以上
・死者・重傷者合計 10 名以上
・死者・負傷者合計 30 名以上
・直接被害額 5 億円以上
B1 級事故①
・死者 1 名以上 4 名以下
B1 級事故(①を除く)・重傷者 2 名以上 9 名以下・負傷者 6 名以上 29 名以下・直接被害額 1 億円以上 5 億円未満
C1 級事故①
・負傷者 1 名以上 5 名以下かつ重傷者 1 名以下

レベル 1：死者が発生

レベル 2：重傷者または中等症者が発生【石化協】
事故評価基準（ＣＣＰＳ評価法）
レベル 1
・複数死亡
・直接被害額 10 億円超
レベル 2
1 名死亡
・直接被害額 1 億～10億円

レベル 3：休業災害
・直接被害額 1 千万～1
億円

レベル 3：軽症者が発
生

レベル 4
・応急手当
・直接被害額 250 万～1
千万円④軽度：不休災害やかす
り傷程度のもの
C1 級事故（①を除く）
レベル 4：軽症者なし

損害 の想 定なし

Ⅴ：怪我なしC2 級事故37

レベル 5
・レベル 4 未満

b. 「AISL 表」の横軸「AISL 表」の横軸は、機械学習要素の誤判断を人間が回避する可能性の程度に応じて
AISL が変動することを示している。①は、機械学習要素の判断がそのまま機械学習利用シ
ステム全体の最終判断となる場合が該当する。
②は、機械学習要素は何らかの判断を行うが、その判断は必ず人間が確認し、最終判断となる場合が該当する。③は、機械学習要素自体は判断を行わず（判断の材料となる情報のみを出力し）、機械学習要素の出力を必ず人間が見て判断を行う場合に該当する。したがって、表の左の方が求められる AISL が高く、右の方が低く設定されている。この軸に則って AISL を設定する。
横軸の検討にあたっては、図 2-7 に基づき、機械学習要素の出力及び判断に対する人間の関与の度合いを確認する。
機械学習要素入力A

処理

出力

回避可能性の分類

処理

確認

最終判断

②機械学習要素の判断結果が運転・点検にそのまま反映されることはなく、人間による確認・代替システム適用の結果が反映される判断

最終判断③機械学習要素は補助的情報のみを提示し、人間が判断して運転・点検に
反映する

判断

判断

入力B

最終判断

①人間による代替システムが用意されておらず、機械学習要素の判断結果がそのまま運転・点検に反映されるロジックによる
上書き・補正出力

人間

外部安全機構図 2-7

機械学習要素の出力・判断に対する人間の関与(2) パフォーマンス
「パフォーマンス」に関する外部品質のレベル設定及び評価基準を表 2-3 に示す。産業技術総合研究所が策定した「機械学習品質マネジメントガイドライン 第 1 版」に示されている内容を継承し、AIPL という基準で評価する。AIPL は、基本的には、「パフォーマンス」
に関する外部品質が、システムにおいてどの程度強い要件となっているかで決定する。
最も大きいレベルである AIPL 2 は、機械学習要素が一定の性能指標を満たすことが、機械学習利用システムの運用上必須または強い前提である場合に相当する。また、AIPL 1 は、一定の性能要件が機械学習利用システムの目的として特定されているが、AIPL 2 に該当しない場合
（性能要件の達成がベストエフォートでよく必達ではない場合）に相当する。また、
AIPL 0 は、性能指標が特定されず、性能指標そのものを発見することが開発の目的となる場合などに相当する。この AIPL2・1・0 の評価基準は、「機械学習品質マネジメントガイ
ドライン第 1 版」において示されている基準と同一である。

38

表 2-3「パフォーマンス」のレベル設定・評価基準（AIPL）

パフォーマンスレベル

説明

AIPL 2(mandatory requirements)

・機械学習要素が一定の性能指標（正答率・適合率・再現率など）を満たすことが、機械学習利用システムの運用上の必須または強い前提である場合。
・受発注等の契約において、前記の一定の性能指標の充足が受入要件として明確に記載される場合。

AIPL 1(best-effort requirements)

・一定の性能要件が機械学習利用システムの目的として特定されているが、AIPL 2 に該当しない場合。
特に、リリースまでの日程スケジュールが重視される場合、または品質をモニタリングしながら試験運用を行い、漸次性能向上を行う運用が許される場合。

AIPL 0・性能指標が開発時点で特定されず、性能指標そのものを発見することが開発の目的となる場合など。
・所謂 PoC の段階で終了する開発を行う場合。

なお、「機械学習品質マネジメントガイドライン 第 1 版」における「パフォーマンス」の評価基準は、「性能（正答率・適合率・再現率など）が一定の水準を満たすことに対する要求の厳しさ」によってレベルを設定しており、「性能の水準そのもの」のレベルは示していない。本来は「性能の水準そのものが高い場合に、より厳しいレベルが要求される」ところであるが、「機械学習品質マネジメントガイドライン第 1 版」の基準では、性能に求められる水準の高低によらずレベルは同じ値で評価される形となっている60。
本ガイドラインでは、プラント保安分野への適用にあたり、実用的な「パフォーマンス」の評価を行う基準とするため、「ベストエフォートで運用すればよいが、性能の水準の要求が高い」場合があれば「AIPL2」を適用すべきこととする61。なお、性能の水準の高低は、
本ガイドラインで一律の基準を示すものではなく、ユーザー企業・ベンダー企業双方の合意により設定する。
ここまで説明した AIPL の考え方を図 2-8 に示す。

60「機械学習品質マネジメントガイドライン

第 1 版」は、達成すべき具体的な目標値そのものは応用ごとに異なるため、性能の水準そのものを AIPL の指標に含めていない。本ガイドラインはプラント保安分
野に特化しており、具体的応用を想定できることから、性能の水準そのものを AIPL の指標に含めることとした。
61

本ガイドラインのユースケース「配管の肉厚予測」において、性能の要求水準が高い場合の AIPL2 の適用について例示している（3.3.1 2）b.を参照）。
また、本ガイドラインの実用例「5-1.運転最適化（ENEOS 株式会社・株式会社 Preferred Networks）」では、外部品質「生産効率とエネルギー効率を金額換算した指標を一定以上に保つ運転パラメータを提示する」に対し、実際に性能の要求水準が高い場合の AIPL2 を設定している。

39

＜機械学習品質マネジメントガイドライン第1版
におけるAIPLの基準＞
に一
対定
す水
る準
要を
求満
のた
厳す
しこ
さと

manda
tory

ー

besteffort＜プラント保安分野ガイドにおけるAIPLの基準＞
に一
対定
す水
る準
要を
求満
のた
厳す
しこ
さと

AIPL2

AIPL1

(なし)
ー

AIPL0

性能の水準の高低によらず、
AIPLは同じ値で評価される。

低

中

manda
tory

ー

besteffort

AIPL1

(なし)
性能の水準の要求が高い
ー
場合はAIPL2を適用する。

AIPL0

高

低

性能の水準

図 2-8

AIPL2

中

高

性能の水準

「機械学習品質マネジメントガイドライン 第 1 版」と本ガイドラインの AIPL の考え方

2.2.4 内部品質のレベルの確認
前項でレベルを設定した外部品質は、内部品質を作り込むことにより達成する。前項で設定した AISL/AIPL に応じて、内部品質の要求水準（要求レベル）を設定する62。外部品質の
AISL/AIPL と内部品質の要求レベルとの対応関係を図 2-9 に示す。例えば、AISL 0.2 もし
くは AIPL 2 の場合、内部品質の要求は「レベル 2」となり、内部品質の 8 つの軸それぞれに設定された「レベル 2」の要求事項を適用することとなる。複数の AISL/AIPL について、それぞれ内部品質のレベルを設定し、最も高い内部品質のレベルを用いて要求事項を適用する。
外部品質のレベルAISL 0.1

AIPL 1AISL 0.2

AIPL 2AISL 1-◯◯◯

内部品質の軸

レベル1

レベル2

レベル3

要求分析の十分性✓ 主要な品質低下リスクが発生する✓ システム全体での利用時品質低原因について検討を行い記録する。
下リスクとその影響について、工学✓ ・・・
的に一定の網羅性を持つ分析を行い、文書として記録する。
✓ ・・・✓ レベル2に加えて、以下の活動を行
う。
✓ ・・・

データ設計の十分性

✓ ・・・
✓ ・・・

✓ ・・・
✓ ・・・

✓ ・・・
✓ ・・・

・・・

✓ ・・・
✓ ・・・

✓ ・・・
✓ ・・・

✓ ・・・
✓ ・・・

図 2-9

外部品質の AISL/AIPL と内部品質の要求レベルの対応

2.2.5 内部品質の要求事項の確認および実行
前項で確認した内部品質のレベルに基づく要求事項に従って、機械学習要素の開発を行

62「データセットの均一性」のみ、AISL と AIPL にそれぞれ独立に対応したレベル（AISL0.1→LvS1、

AISL0.2,1→LvS2、AIPL1→LvE1、AIPL2→LvE2）が設定されている。附録 内部品質確保のための「プラント保安分野での観点」チェックリストの「データセットの均一性」を参照。

40

う。その際には①「要求事項」、②「プラント保安分野での観点」、③「ユースケース固有の観点」を確認する必要がある。63
内部品質の 8 つの軸及びレベル別の要求事項は、「機械学習品質マネジメントガイドライン 第 1 版」の要求事項を用いる（①）。
更に本ガイドラインでは、要求事項を実際のプラント保安分野における機械学習要素の開発等に円滑に適用できるよう、プラント保安分野における開発の実例に基づき、プラント
保安分野特有の留意点を整理した（②）。また、本次章で説明する 5 件のユースケースを設定し、ユースケースに固有の留意点も整理している（③）。
①②③は「附録 内部品質確保のための『プラント保安分野での観点』チェックリスト」にまとめており、機械学習要素の構築・運用の際には附録を参照し、「①要求事項」と併せて必要に応じて「②プラント保安分野での観点」「③ユースケース固有の観点」を確認しながら、要求事項を実現する。内部品質の要求事項は予め定められているが、その要求を達成するための方法（内部品質確保の具体的な取組）は、外部品質（およびその前提となる利用
時品質、機能要件）によって異なる。すなわち、外部品質のレベルに応じて内部品質の要求レベルが変わるだけでなく、同一レベルでも、内部品質の達成の方法は個別のケースごとに異なる。
内部品質の要求事項は、レベル（Lv1～Lv3）に応じて要求されるすべての事項に対応する（要求を満たすか、該当しないことを説明する）ことで、当該レベルの AI の信頼性が確保されたと説明できる。
内部品質 Lv1 は AISL0.1・AIPL1、内部品質 Lv2 は AISL0.2・AIPL2、内部品質 Lv3 は AISL1にそれぞれ対応する。例えば内部品質 Lv2 の要求事項にすべて対応することで、AISL0.2 ま
たは AIPL2 を確保している、と説明できることになる。
これにより、「機械学習要素の『内部品質』の向上を通じてその『外部品質』を必要となるレベルで達成し、最終的なシステムの『利用時品質』を実現する」64という階層的な品質確保を実現する。
なお、外部品質の設定段階では機械学習特有の数値目標（例：○％以上の精度）を定めていないが、「リスク回避性」の外部品質に関しては、外部品質のレベル設定(2.2.3)の過程で機械学習要素に要求される数値目標（危険につながる誤判断の発生率等）を定めることができる場合があるほか、本項において機械学習要素を実際に作り込む中で、ユーザー企業・ベンダー企業双方の合意により、PoC の成果やデータの取得状況・学習状況等に応じて、具体的な機械学習特有の数値目標（正解率(Accuracy)、F 値など）を設定することができる。
以上、2.2 節で示した一連の手順により、機械学習要素の信頼性（期待通りの品質が果たされること）を示すことができる。
機械学習要素の信頼性を示すためには以下の 3 点を満たす必要がある。
1)

機械学習要素に求める性能が、機械学習要素以外の要素（独立の安全関連系等）や運用（人間の関与等）によって適切に限定されている

63①②③は、本ガイドラインの「附録 内部品質確保のための『プラント保安分野での観点』チェックリ

スト」にまとめている。
64

産業技術総合研究所「機械学習品質マネジメントガイドライン

41

第 1 版」

2)

機械学習要素の学習やテスト、実装、運用のプロセスが適切に設計されている

3)

機械学習要素のテストが十分に実施されている手順に沿って外部品質の項目と AISL・AIPL を設定することで、1)が説明できる。また、内部品質の要求事項を満たすことで、2)が説明できる。以上の 1)及び 2)を 2.2 節で示した手順に沿って検討した上で、テストを十分に行い、求める性能を得られれば（上記3)）、1)～3)のすべてを満たすことになる。

42

コラム：AI に「精度 100%」は必要？
機械学習は、データから規則性や判断基準を学習し、これに基づいて予測や判断を行うものである。どんなにデータを集めてもデータは現実のサンプルでしかないこと、学習した規則性や判断基準には決まったルールがないことなどから、100%の精度を達成することは原理的に困難である。
一方で、「安全」はプラントにとって至上命題であり、理念目標として「100%安全」を追求することは、プラントオーナーにとって基本的なスタンスである。そのため、プラントオーナーとしては、機械学習要素に対しても、その振る舞いに対して「100%の精度」を求めがちになり、開発目標の実現が困難となってプロジェクトが進まなくなってしまう場合がある。
本ガイドラインでは、機械学習要素単体で高いレベルの安全性を確保することは困難であるとの前提に立ち、安全性を既存のシステムとの組み合わせで確保することで、機械学習要素に過度な安全機能を任せないようにする、という考え方をとっている。
例えば、数ヶ月単位の中長期的な設備の劣化傾向を把握する機械学習利用システム（ユースケース「設備劣化診断(3.3.3)」）を導入する場合、このシステムの目的はあくまで中長期的なメンテナンスの最適化であり、「設備の故障を高精度に検知して安全を守ること」ではない。安全の機能は既存の安全関連系で担保されており、機械学習利用システムが判断を誤っても、機械学習要素導入以前と比べて安全が損なわれることはな
い。この場合、メンテナンスの最適化に資する精度さえあれば、システムを問題なく運用しメンテナンスを効率化することができる。
また、生産性を向上するための最適な運転パラメータを提示する機械学習利用システム（ユースケース「運転最適化(3.3.5)」）を導入する場合、機械学習要素の出力を監視して、異常な出力に対して運転パラメータの提示範囲を限定する「外部安全機構」や、
インターロック等の既存のシステムと組み合わせて運用することにより、機械学習要素
に対して極めて高いレベルの安全性の要求をする必要はなくなる。
加えて、数日～数十分後の短期的な異常の予兆を検知する機械学習利用システム（ユースケース「異常予兆検知・診断(3.3.4)」）を導入する場合、異常予兆のアラートから自動的にプラントを操作するのではなく、運転員が必要な確認を行ってから停止操作等を行う運用にすることで、機械学習要素に求める精度の水準を抑えることができる。
以上のように、機械学習要素単体ではなく、既存の安全関連系や「外部安全機構」、
運転員・保全員を含めて総合的に安全を確保することが肝要である。これにより、機械学習の有用性を適切に活かし、保安力と効率性の双方を高めることができる。
次章からは、プラント保安分野における機械学習のユースケースをとりあげ、機械学
習要素だけでなく総合的に安全を確保するための検討例を示す。これらを参考にして、自社の事例の安全確保策を考案し、機械学習要素の適切な精度目標を設定することが期
待される。

43

3. プラント保安分野における機械学習のユースケース
3.1 本ガイドラインにおけるユースケースの位置づけ
前節で示した信頼性評価の手順は、機械学習の活用方法を問わず、プラント保安分野の全ての機械学習利用システムに適用できる。しかし、具体的な利用時品質や外部品質の設定や、内部品質の要求事項の実行を円滑に遂行するには、本ガイドラインへの一定程度の習熟を要するため、特に初めてガイドラインを活用する場合は、検討が煩雑になる懸念がある。
そこで、プラント保安分野の典型的な機械学習の活用事例ごとに本ガイドラインを活用する「ユースケース」を示して、利用時品質・外部品質の項目と内部品質の確保策を例示し、ガイドライン活用を検討する際に参考となる情報を提供する。
3.2 対象とするユースケース
本ガイドラインでは、保全（メンテナンス）に用いる機械学習利用システムとして「配管の肉厚予測」「配管の劣化診断」「設備劣化診断」の 3 件、運転（オペレーション）に用いる機械学習利用システムとして「異常予兆検知・診断」「運転最適化」の 2 件を取り上げる。
各ユースケースの概要を表 3-1 に示す。
表 3-1
ユースケース

ユースケースの概要
導入目的

機能の概要

保全（メンテナンス）に用いる機械学習利用システム(1) 配管の肉厚予測

交換サイクルの適正化(2) 配管の画像診断

目視点検の負荷軽減(3) 設備劣化診断

交換サイクルの適正化

配管の流量・内容物から配管の肉厚を予測する配管の画像から目視点検の要否を判定する（スクリーニ
ング）
個別設備の部品の劣化を予測する

運転（オペレーション）に用いる機械学習利用システム(4) 異常予兆検知・診断

事故による運転停止の回避(5) 運転最適化

生産効率・品質の維持・向上

プラントの異常予兆を検知する
目的に応じた最適な操作パラメータを提示する

図 3-1 は、プラントにおける事故等の進展と、本ガイドラインで設定したユースケースとの関係を示している。プラントの保安を事故等の進展（上部の青色のレーン）に対する防護機能ととらえた場合、防護機能を発揮する局面での活動としては、保全活動、運転操作、不適切操作対応、異常時対応、応急対応が挙げられる（中部の緑色のレーン）。それぞれの局面で機械学習の活用機会があると考えられるが、本ガイドラインの執筆時点では、保全活動と運転操作への活用を目的とした事例が多いため、ここに 5 つのユースケースを設定している。6565

今後、ガイドラインの改訂にあたり、プラント保安分野における機械学習利用システムの活用の進展を踏まえ、ユースケースの追加を検討する。

44

防護
事
故
等
の
進
展

防護

防護

設備劣化

設備異常

デ
ー
タ
取
得

保防
護
安機
・能

ユ
ー
ス
ケ
ー
ス

防護
事故・計画外
停止

デ
ー
タ
取
得

対
応

対
応

デ
ー
タ
取
得

不適切操作

デ
ー
タ
取
得

対
応

被害影響
（作業員・健康・
財産・敷地外等へ
の影響）

対
応

防護

保全活動

運転操作
予兆検知
運転支援

異常診断
保全支援

• 配管の肉厚予測• 配管の劣化診断• 設備劣化診断

図 3-1

不適切操作対応
異常操作検知

異常時対応

応急対応
緊急対応
判断支援

緊急操作
判断支援

：機械学習の活用機会• 異常予兆検知・診断• 運転最適化プラントにおける事故等の進展とユースケースの関係

3.3 ユースケースに基づく信頼性評価の具体的適用
本項では、各ユースケースについて、以下の構成で具体的な適用のイメージを示す。
まず「ユースケースの前提」として、例示する機械学習利用システムの機能や構成などの前提を定める。
次に「利用時品質・外部品質の項目例」として、当該ユースケースで検討する利用時品質
及び外部品質の具体的項目を、リスク回避性とパフォーマンスの軸に分けて例示する。外部品質の例示の中で「～～（正しい判断の割合など）を『一定』以上にする」「～～（誤検知の割合など）を『限りなく小さく』する」のように、『一定』『限りなく小さく』といった具体的な数字を想定した記載がある場合は、外部品質を設定する時点（2.2.2）では数値を決める必要はない。「リスク回避性」の外部品質に関しては、外部品質のレベル設定(2.2.3)の過程で、安全関連系や外部安全機構を確認することを通して機械学習要素に要求される数
値目標（危険につながる誤判断の発生率等）を定めることができる場合がある。また、最終
的には、機械学習要素を作り込む段階（2.2.5）で、PoC の成果やデータの取得状況・学習状
況等に応じて、ユーザー企業・ベンダー企業双方の合意により、機械学習特有の具体的な数
値目標（正解率(Accuracy)、F 値など）を設定する。
最後に「内部品質確保のための『ユースケース固有の観点』」として、内部品質の要求事項を満たす機械学習要素を開発するための当該ユースケース特有の留意点を提示する。
なお、ユースケースによらずにプラント保安分野で共通的に参照すべき留意点は、「附録
内部品質確保のための『プラント保安分野での観点』チェックリスト」にまとめている。本チェックリストは、内部品質を追求する際に活用できるよう、本ガイドラインが示している事項（要求事項とユースケースごとの観点）を一元的に示している。
各ユースケースの冒頭部には、プラント保安分野の事業者における、当該ユースケースに関連する実事例を示しており、ユースケースの理解のための参考とされたい。
なお、本ガイドラインでは、外部品質の AISL 及び AIPL の設定、ならびに、内部品質の要求レベルについては、ユースケースに基づいて示すのは外部品質の項目までであり、具体45

的な要求レベルの設定は行っていない。AISL/AIPL の設定・内部品質の要求レベルの設定
は、実際の機械学習利用システムの前提や条件に基づいて、読者が自ら実施する必要がある。
また、本ガイドラインのユースケースは機械学習のモデル等に関して多くの前提を置いた上で、利用時品質や外部品質の具体化や内部品質の要求事項を実現する際の観点の一例を示しているに過ぎない。したがって、読者は、自らが想定している機械学習利用システムの機能要件や構成等とユースケースを比較し、ユースケースの例示を柔軟に適用していくことが必要である。

46

3.3.1 配管の肉厚予測※本事例は、「配管の肉厚予測」のイメージとして掲載するものであり、以降のユースケースの記述の前提ではない。
関連事例：「腐食による配管減肉量推定」（横河電機株式会社）66

10日後、20日後、30日後の予測トレンドを表示

石油精製で使用される常圧蒸留塔の上部配管は宿命的に腐食が発生する。腐食の進行を見える化することで、メンテナンスの効率化、運転調整による腐食の進行調節を行う。
蒸留塔上部配管に関連する 20 か所のプロセスデータと肉厚の定期測定値の 2 年分を学習データとし、プロセスデータと減肉進行の関係を回帰モデル（教師あり）でモデル化。オペレータの画面にリアルタイムの減肉の推定量を表示することで、メンテナンスのタイミングを適正化するとともに、オペレータが配管の状態をより意識した運転を実施することも可能になった。

1) ユースケースの前提
a. 概要
ユースケース「配管の肉厚予測」は、減肉の進行を予測に基づいて察知して安全を守ることと、逆に過度な点検や取り替え作業を削減してメンテナンスを効率化することを目的として、プロセスデータ等から現在の配管の肉厚を予測する機械学習利用システムである。
現状、減肉に伴う配管メンテナンスは主に定期的に行う時間基準保全 (Time Based
Maintenance: TBM)で実施されているが、定期的な点検間に急激な腐食が進行するケース
や、まだメンテナンスの必要がない配管を点検・交換してしまう逸失利益が多く生じるケースがある。これを肉厚の予測に応じた状態基準保全(Condition Based Maintenance: CBM)に移行することで、保安力を向上するとともに逸失利益を削減することが期待できる。

66

本事例は、「プラントにおける先進的 AI 事例集～AI プロジェクトの成果実現と課題突破の実践例～」に詳細を記載している。併せて参照されたい。

47

b. 機能要件
本ユースケースでは、機械学習利用システムの機能要件として、「配管の肉厚を予測する」を設定する。
c. 導入イメージ
本ユースケースでは、導入のイメージを図 3-2 のように設定している。従来のプラントの配管のメンテナンスは、設置された配管を決められた期間で定期的に保全員が確認している（TBM）67。一方、機械学習利用システムの導入後は、機械学習要素が現在の配管の肉厚をリアルタイムで予測し、肉厚の予測値を保全員に出力する。保全員はこの出力内
容と各種センサデータから、肉厚の実測を行うべきかどうか判断する。

図 3-2

ユースケース「配管の肉厚予測」の導入イメージ（例）d. 他のシステムとの関係
本ユースケースでは、機械学習要素と他のシステムの関係を図 3-3 のように設定している。機械学習要素は、配管の内容物や流量などのデータを入力として、配管の肉厚を予測し、肉厚の予測値を出力し、肉厚予測値は保全員に対して提示される。保全員は肉厚予
測値が、メンテナンスが必要なしきい値を超えているかを判断し、各種センサ等の従来収集しているデータも勘案して、メンテナンスが必要かどうかの判断を行う。
機械学習要素の出力（肉厚の予測値）を監視・補正する外部安全機構は存在しない。また、配管の内容物の漏洩を防ぐための機械学習利用システムと独立の安全関連系も存在しないことを想定する。

67

現在、多くのプラントオーナー事業者は、配管のリスク等に応じて年に数回（年に１回～一ヶ月に１回程度）、作業員が肉厚の実測を行っている。なお、法定義務に関しては、例えば高圧ガス保安法およびその関連規則では、1 年に 1 度の肉厚測定を求められており、それ以上の頻度は自主的な保安活動と位置づ
けられる。

48

このため、本ユースケースの前提の下では、「AISL 表」を参照する際に「③」の列を適用することとなる。
機械学習要素
入力A

処理

配管の内容物・流量等データ

配管の
肉厚予測

入力B

処理

出力

判断

肉厚予測値

最終判断

判断

ロジックによる
上書き・補正出力

外部安全機構（例：ルールベースの指標による監視、検査装置での監視 等）

確認

最終判断

判断

最終判断

人間

①

②
③

肉厚の実測の要／不要判断予測値が肉厚の実測が必要なしきい値を超えているかプラント設備機械学習利用システムと独立の安全関連系（例：インターロック、アラームシステム等）
入力C

警報・
停止等

処理

図 3-3 ユースケース「配管の肉厚予測」における機械学習要素と他のシステムの関係（例）e. 機械学習要素の構成
本ユースケースでは、機械学習要素の構成を表 3-2 のように設定している。肉厚の値を予測するため、学習モデルとして、配管の減肉に影響すると考えられる内容物の種類・流量・流速・配管の材料・圧力などと、肉厚の値との関係を学習する教師ありの回帰モデルを想定する。学習データとしては配管の減肉に影響する各種データと肉厚の実測値を用
い、テストデータにも同様のデータを用いる。
表 3-2
学習手法
学習モデル
運用時の入力データ
開発時の学習データ
開発時のテストデータ「配管の肉厚予測」の機械学習要素の構成（例）
回帰（教師あり）
配管の内容物・流量・流速・材質・圧力などと肉厚値の関係を学習
配管の内容物・流量・流速・材質・圧力データ
配管の内容物・流量・流速・材質・圧力データ、肉厚センサデータ（実測値）
配管の内容物・流量・材質・流速・圧力データ、肉厚センサデータ（実測値）

2) 利用時品質・外部品質の項目例
本ユースケースの設定を前提とし、利用時品質・外部品質の項目を表 3-3 の通り設定する。2 章に示した階層的な品質確保の手順（図 3-4）においては、「①機械学習を用いたシステムで実現したいことを設定」「②機械学習要素に求める出力を設定し、その達成レ49

ベルを決める」に該当する。

表 3-3

ユースケース「配管の肉厚予測」の利用時品質・外部品質の項目例
利用時品質

外部品質

保全員による肉厚の実測が必要な配管を見落とさない(S-U1)

実際よりも肉厚を厚く予測する誤差を一定以内に抑える (S-E1)

リスク回避性

パフォーマンス
必要以上のメンテナンスを行わなくてよいようにする(P-U1)
注）

実際よりも肉厚を薄く予測する誤差を一定以内に抑える(P-E1)

各項目の記号は、項目間の関係を明らかにするために説明の都合上付与しているものであり、本ガイドラインとして付与を求めるものではなく、レベルの大小とも無関係である。なお、S: Safety、
P: Performance、U: Use、E: External を意味する。

利用時品質①機械学習を用いたシステムで実現したいことを設定

利用時品質の項目例
利用時品質の項目例

機械学習要素の品質
外部品質②機械学習要素に求める出力を設定し、その達成レベルを決める

内部品質③レベルに応じた
要求事項に基づいて
機械学習要素を作り込む

図 3-4

機械学習要素以外の構成要素の品質

外部品質の項目例
外部品質の項目例

要求分析
の十分性

データ設計
の十分性

データセットの被覆性

データセット
の均一性

学習モデル
の正確性

学習モデル
の安定性

プログラムの
健全性

運用時品質
の維持性

階層的な品質確保における利用時品質・外部品質項目設定の位置づけ

a. 「リスク回避性」に関する検討例
機能要件「配管の肉厚を予測する」を踏まえ、「リスク回避性」の観点から、機能要件が達成されないことで人的・経済的被害が生じることを防ぐための品質管理を行うために、管理対象である利用時品質及び外部品質を具体的に設定する。
⚫

利用時品質
人的・経済的被害の予防という観点からは、肉厚の予測を誤り、実際には減肉が進んで肉厚が要交換の基準値以下になってしまうということが望ましくない。このリスクを回避するために、「リスク回避性」属性の利用時品質として「保全員による肉厚の実測が必50要な配管を見落とさない(S-U1)」という項目を設定する。
⚫

外部品質
設定した利用時品質に対し、機械学習要素のアウトプットに求める外部品質を定める。

「保全員による肉厚の実測が必要な配管を見落とさない(S-U1)」という利用時品質に対応する外部品質は、「実際よりも肉厚を厚く予測する誤差を小さくする(S-E1)」と設定する。
ここで「実際の肉厚との予測誤差」ではなく、「実際よりも肉厚を大きく予測する誤差」としているのは、単に予測が外れることをリスクととらえているのではなく、実際の肉厚よりも厚く予想してメンテナンスのタイミングが遅れる間に減肉が決定的に進み内容物が漏洩し、人的・経済的損失が発生するというリスクを想定しているためである。一方で「実際よりも肉厚を薄く予測する誤差」も考えられるが、こちらは後段で「パフォーマン
ス」軸の品質として設定する。
この外部品質に対し、必要な外部品質のレベル「AISL」を設定する。「実際よりも肉厚を厚く予測する誤差を小さくする(S-E1)」に対し、実際よりも肉厚を厚く予測した場合に想定される人的・経済的被害の大きさを検討し、基準に従って AISL を設定する。設定した AISL が機械学習要素の AISL となり、これに応じて内部品質の要求レベルが決まる。
b. 「パフォーマンス」に関する検討例
機能要件「配管の肉厚を予測する」を踏まえ、「パフォーマンス」の観点からは、機能要件を望ましい水準で達成するための品質管理を行うために、管理対象である利用時品
質及び外部品質を具体的に設定する。
⚫

利用時品質
配管の肉厚予測では、作業員による肉厚の実測などのメンテナンスの頻度を適切な（＝

必要以上に多くない）水準とすることが求められる。必要以上にメンテナンスの頻度が高くなると、保全のコストや機会損失が大きくなるため、「リスク回避性」軸の利用時品質
で安全を確保することを前提として、可能な限り交換の頻度を抑えることが合理的である。そのため、利用時品質としては「必要以上のメンテナンスを行わなくてよいようにする(P-U1)」という項目を設定する。
⚫

外部品質
設定した利用時品質に対し、機械学習要素のアウトプットに求める外部品質を定める。

「必要以上のメンテナンスを行わなくてよいようにする(P-U1)」という利用時品質に対応する外部品質は、「実際よりも肉厚を薄く予測する誤差を一定以内に抑える(P-E1)」と設定する。プラントの保全の管理者が認識する「必要以上のメンテナンスが発生すること」
を、機械学習要素のアウトプットに置き換え、「実際よりも肉厚を薄く予測する」と表現している。
この外部品質に対し、必要な外部品質のレベル「AIPL」を設定する。「実際よりも肉厚を小さく予測する誤差を一定以内に抑える(P-E1)」に対し、求める正答率の水準や、必須とする度合いを検討し、基準に従って AIPL を設定する。なお、配管のメンテナンスひい51

ては交換について、（「リスク回避性」で安全を確保することは前提に）経済性をできる限り追求する厳しい要求水準を求める場合、必要に応じて「AIPL2」を適用することも考えられる。
3) 内部品質確保のための「ユースケース固有の観点」
本ユースケースの設定を前提とした場合の、内部品質の各要求事項を実現するための留意点（「観点」）を表 3-4 に示す。以下に記載する「観点」は、本ユースケースに近い
機械学習要素を開発する場合に、参考にすることができる。2 章に示した階層的な品質確保の手順（図 3-5）においては、「③レベルに応じた要求事項に基づいて機械学習要素を作り込む」に該当する。
表 3-4「配管の肉厚予測」に係る「ユースケース固有の観点」※本ケースの内部品質の要求事項と観点の一覧は附録のチェックリストを参照
内部品質
要求事項68
ユースケース固有の観点

腐食の種類によって「データ設計の十要求分析の分性」「データセットの被覆性」の評価（要求事項共通）にも影響するため、どの腐食を対象と十分性するかという点まで絞り込む。
(Lv1)また、特に重要と考えられる環境要因の差異に対
「環境要因」とは、ここでは気候、塩分
データ設計
する属性を抽出し、大きなリ(海からの距離や風向などの地域性)
スクの要因との組み合わせの十分性などを指す。
に対応するケースを用意すること。
(Lv1)テスト用データセットの
「応用の状況」とは、ここでは対象とす
取得源や方法を検討し、応る配管や観測の頻度、評価の時間軸
用の状況に対して偏りがな（リアルタイムの予測を行うか等）など
いことを期待できるようにすを指す。
データセットること。
の被覆性
配管の内容物・流量・材質・流速・圧力など、前提としている属性のデータ（要求事項共通）の範囲がカバーできているか注意する。

データセットの均一性（要求事項共通）

上記の属性のカバーすべきデータの各範囲のデータ量が十分であることに注意する。
ある範囲のデータ量が十分でない場
合、その範囲の予測精度が低くなる
ことを認識する。



機械学習モ
デルの正確

－

－

性

68

表中では、「機械学習品質マネジメントガイドライン

第 1 版」記載の要求事項について、「ユースケース固有の観点」に関連するもののみ抜粋している。本表に記載していない項目も、要求事項に含まれ
る。

52

内部品質
機械学習モ
デルの安定

要求事項68

ユースケース固有の観点

－

－

－

－

性
プログラム
の健全性



運用時品質
の維持性



（要求事項共通）①機械学習を用いたシステムで実現したいことを設定

既存手法による交換要否判断や、実際の交換時の配管の状態等を踏まえ、実際の正解度や見落としの有無を検証する。
本ケースは特に精度の維持の重要性が高いため、モデル構築時の前提、教師データ類を整理しておき、運用開始後の変更管理において都度
確認する。

利用時品質

機械学習要素の品質
外部品質②機械学習要素に求める出力を設定し、その達成レベルを決める

内部品質③レベルに応じた
要求事項に基づいて
機械学習要素を作り込む

図 3-5

要求分析
の十分性

リスク回避性
データ設計の十分性

パフォーマンス
データセットの被覆性

機械学習要素以外の構成要素の品質

データセットの均一性

ユースケース固有の観点
学習モデル
の正確性

学習モデル
の安定性

プログラムの
健全性

運用時品質
の維持性

階層的な品質確保における「ユースケース固有の観点」の位置づけ

53

3.3.2 配管の画像診断※本事例は、「配管の画像診断」のイメージとして掲載するものであり、以降のユースケースの記述の前提ではない。
関連事例：「画像の自動判別による配管外面の腐食箇所の抽出」（プラントオーナー企業 X 社）

配管外面の腐食の検出は、定期的な点検作業によって行われており、作業負荷が高い。特に高所の配管は足場が必要になり、高頻度の点検は難しい。そこで、本システムでは、機械学習による腐食箇所のスクリーニング技術と、ドローンによる配管画像撮影技術を組み合わせることで、点検作業の負荷削減、点検範囲の拡大、点検の高頻度化を実現する。
過去に撮影した配管外面の画像データ（腐食無し／腐食有りのラベル付き）を用いた分類モデル（教師あり）を利用。撮影した配管外面の画像をインプットとし、腐食有りと判定した画像をスクリーニング結果として保全員に提示する。保全員が画像を確認し、その後、現場で腐食状況を確認し、対応要否を判断する。

541) ユースケースの前提
a. 概要
ユースケース「配管の画像診断」は、配管外面の点検作業の負荷軽減を目的として、保全員による目視点検が必要な箇所をスクリーニングする機械学習利用システムである。
従来、配管外面の腐食の点検は定期的に保全員が目視で実施しており、大きな労力を要している。スクリーニングにより保全員が目視で点検すべき箇所を限定することができれば、労力削減効果が大きい。
また、
ベテラン保全員に依存する業務量を減らすことができ、中長期的に保安力を維持することができる。
本ユースケースは画像の撮影手段を限定するものではないが、上記の関連事例のようにドローンによる撮影と組み合わせて活用する場合は、高所作業用の足場が必要になる
高所の配管の点検が高頻度でできるため、更に大きなコスト削減効果と安全性の向上が期待できる。
b. 機能要件
本ユースケースでは、機械学習利用システムの機能要件として、「配管の画像から目視
点検要否を判定する」を設定する。
c. 導入イメージ
本ユースケースでは、導入のイメージを図 3-6 のように設定している。従来の配管の腐食有無の判断は、定期的に保全員が配管を目視で確認することで行っていた。一方、機械学習利用システム導入後は、配管の画像から、当該箇所の腐食が保全員による目視点検が必要か否かを機械学習要素が判定し、保全員に対して要否判定結果を出力する。保全員は
当該箇所の画像データを確認し、現場での目視点検結果によって配管の補修や交換を実施すべきかを判断する。

55

図 3-6

ユースケース「配管の画像診断」の導入イメージ（例）d. 他のシステムとの関係
本ユースケースでは、機械学習要素と他のシステムの関係を図 3-7 のように設定している。機械学習要素は、配管画像データを入力として目視点検の要否を判定し、要否の判定結果を保全員に対して出力する。本ユースケースの機械学習要素の出力は、目視点検の実施要否のスクリーニングを目的としたものであるため、判断の内容によって後段のフローが分岐すると想定する。目視点検が不要であると判断した場合、目視点検は実施しないという最終判断結果となる。目視点検が必要であると判断した場合、保全員が画像を確認して本当に目視点検が必要かどうかを判断し、その判断をもって最終判断とすると想定する。機械学習要素の出力（目視点検の要否）そのものを監視・補正する外部安全機構
は存在しないと考える。このため、「AISL 表」を参照する際には、より高いレベルが設定される①の列を適用する必要がある。また、配管の内容物の漏洩を防ぐための機械学習
利用システムと独立の安全関連系も存在しないことを想定する。

56

入力A

処理

出力

配管画像
データ

目視点検要否の分類

目視点検要否

目視点検実施しない

目視点検不要

機械学習要素

判断

最終判断

判断

確認
本当に目視点検が
判断
必要か？

目視点検要

入力B

処理

ロジックによる
上書き・補正

出力

最終判断

①
②
③

目視点検実施可否
最終判断

人間

外部安全機構（例：ルールベースの指標による監視、検査装置での監視 等）

プラント設備機械学習利用システムと独立の安全関連系（例：インターロック、アラームシステム等）
入力C

警報・
停止等

処理

図 3-7 ユースケース「配管の画像診断」における機械学習要素と他のシステムの関係（例）e. 機械学習要素の構成
本ユースケースでは、機械学習要素の構成を表 3-5 のように設定している。過去の定期的な配管の保全活動等において配管を撮影した画像が収集されており、それらの画像の
腐食の状態に対して目視点検の要否のラベル付けを行う。学習モデルとしては、それらの画像データを背景として、配管画像の特徴から目視点検要否を分類する教師ありの分類
モデルを想定する。学習データとしては配管画像データとその配管画像の目視点検要否
ラベルを用い、テストデータにも同様のデータを用いる。

表 3-5
学習手法
学習モデル
運用時の入力データ
開発時の学習データ
開発時のテストデータ「配管の画像診断」の機械学習要素の構成（例）
分類（教師あり）
配管画像の特徴から目視点検要否を分類する分類モデル
配管画像データ
配管画像データ＋目視点検要否ラベル
配管画像データ＋目視点検要否ラベル

2) 利用時品質・外部品質の項目例
本ユースケースの設定を前提とし、利用時品質・外部品質の項目を表 3-6 の通り設定する。2 章に示した階層的な品質確保の手順（図 3-8）においては、「①機械学習を用いたシステムで実現したいことを設定」「②機械学習要素に求める出力を設定し、その達成レベルを決める」に該当する。

57

表 3-6

ユースケース「配管の画像診断」の利用時品質・外部品質の項目例
利用時品質

外部品質

目視点検が必要な配管を見落とさない(SU1)

目視点検が「要」である場合に、「不要」であると判定する誤判定率を限りなく小さくする(SE1)

リスク回避性

パフォーマンス
保全員の目視点検実施数を少なく抑える(P-U1)
注）

目視点検が「不要」である場合に、「要」であると判定する誤判定率を一定以内にする(P-E1)

各項目の記号は、項目間の関係を明らかにするために説明の都合上付与しているものであり、本ガイドラインとして付与を求めるものではなく、レベルの大小とも無関係である。なお、S: Safety、
P: Performance、U: Use、E: External を意味する。

利用時品質①機械学習を用いたシステムで実現したいことを設定

利用時品質の項目例
利用時品質の項目例

機械学習要素の品質
外部品質②機械学習要素に求める出力を設定し、その達成レベルを決める

内部品質③レベルに応じた
要求事項に基づいて
機械学習要素を作り込む

図 3-8

機械学習要素以外の構成要素の品質

外部品質の項目例
外部品質の項目例

要求分析
の十分性

データ設計
の十分性

データセットの被覆性

データセット
の均一性

学習モデル
の正確性

学習モデル
の安定性

プログラムの
健全性

運用時品質
の維持性

階層的な品質確保における利用時品質・外部品質項目設定の位置づけ

a. 「リスク回避性」に関する検討例
機能要件「配管の画像から目視点検要否を判定する」を踏まえ、「リスク回避性」の観点からは、機能要件が達成されないことで人的・経済的被害が生じることを防ぐための品
質管理を行うために、管理対象である利用時品質及び外部品質を具体的に設定する。
⚫

利用時品質
人的・経済的被害の予防という観点からは、目視点検が必要な配管が見逃されることは望ましくない。このリスクを回避するために、「リスク回避性」属性の利用時品質として「目視点検が必要な配管を見落とさない(S-U1)」という項目を設定する。
⚫

外部品質
設定した利用時品質に対し、機械学習要素のアウトプットに求める外部品質を定める。

58

「目視点検が必要な配管を見落とさない(S-U1)」という利用時品質に対応する外部品質は、「目視点検が『要』である場合に、『不要』であると判定する誤判定率を限りなく小さくする(S-E1)」と設定する。
この外部品質に対し、必要な外部品質のレベル「AISL」を設定する。
「目視点検が『要』である場合に、『不要』であると判定する誤判定率を限りなく小さくする(S-E1)」に対し、目視点検が必要な配管画像を誤って不要であると判定した場合に想定される人的・経済的被害の大きさを検討し、基準に従って AISL を設定する。なお、機械学習要素が「目視点検不要」と判断する場合、保全員が目視確認を行うことが無いため、AISL 表において、「人間による代替システムが用意されておらず、機械学習要素の判断結果がそのまま運転・点検に反映される」基準に相当するとして AISL の設定を行う。設定した AISL が機
械学習要素の AISL となり、これに応じて内部品質の要求レベルが決まる。
b. 「パフォーマンス」に関する検討例
機能要件「配管の画像から目視点検要否を判定する」を踏まえ、「パフォーマンス」の観点からは、機能要件を望ましい水準で達成するための品質管理を行うために、管理対象である利用時品質及び外部品質を具体的に設定する。
⚫

利用時品質
配管の画像診断では、目視点検の頻度を適切な水準とすることが求められる。必要以上に目視点検の頻度が高くなると、労力の削減の効果が得られず、望ましくない。そのため、利用時品質としては「保全員の目視点検実施数を少なく抑える(P-U1)」69という項目を設
定する。
⚫

外部品質
設定した利用時品質に対し、機械学習要素のアウトプットに求める外部品質を定める。

「保全員の目視点検実施数を少なく抑える(P-U1)」という利用時品質に対応する外部品質
は、「目視点検が『不要』である場合に、『要』であると判定する誤判定率を一定以内にする(P-E1)」69 と設定する。プラントの保全の管理者が認識する「必要以上の目視点検が発生すること」を、機械学習要素のアウトプットに置き換え、「実際には目視点検が不要である配管画像を、目視点検が必要と判定する誤判定」と表現している。
この外部品質に対し、必要な外部品質のレベル「AIPL」を設定する。「目視点検が『不要』である場合に、『要』であると判定する誤判定率を一定以内にする(P-E1)」に対し、求める正答率の水準や、必須とする度合いを検討し、基準に従って AIPL を設定する。

69

本ガイドラインの実用例「2.腐食の画像診断（三菱ケミカル株式会社・日本電気株式会社）」では、品質を以下のように設定している。併せて参考にされたい。
利用時品質「詳細点検不要な箇所を要点検と判定しない」
外部品質「腐食の度合を A（要対応）/B（経過観察）/C（問題なし）の三水準で判定した場合に、C をA/B とする誤判定を一定以内にする」

59

3) 内部品質確保のための「ユースケース固有の観点」
本ユースケースの設定を前提とした場合の、内部品質の各要求事項を実現するための留意点（「観点」）を表 3-7 に示す。以下に記載する「観点」は、本ユースケースに近い
機械学習要素を開発する場合に、参考にすることができる。2 章に示した階層的な品質確保の手順（図 3-9）においては、「③レベルに応じた要求事項に基づいて機械学習要素を作り込む」に該当する。
表 3-7「配管の画像診断」に係る「ユースケース固有の観点」※本ケースの内部品質の要求事項と観点の一覧は附録のチェックリストを参照
内部品質
要求分析の
十分性

要求事項70（要求事項共通）(Lv1)また、特に重要と考えられる環境要因の差異に対する属性を抽出し、大きなリスクの要因との組み合わせに対応するケースを用意す
ること。

データ設計



「環境要因」とは、ここでは日照、天気、季節、時間帯などを指す。



配管によって塗装や防錆塗装あるいは配管そのものの地肌の色が異なっているので、それらの違いを加味して精度を確保する。
配管上に積雪があるケース等、画像により直接配管外面を確認することができない場合があることを把握する。
撮影方法のルール・留意点の整備に
よりデータの品質を一定レベルとすることについて検討する。
画像のブレに対処するためモデルにより吸収することも考えられるが、システムの複雑化・不確定要素の増加を招く可能性を把握する。
周囲の環境（日照、時刻など）やドローン撮影での画像のブレなど、入力
画像が不鮮明になる場合の対応を検討する。
環境要因の各属性のデータの範囲がカバーできているか注意する。
上記の属性のカバーすべきデータの各範囲のデータ量が十分であることに注意する。
ある範囲のデータ量が十分でない場
合、その範囲の予測精度が低くなる
ことを認識しておく。

の十分性（要求事項共通）
データセットの被覆性（要求事項共通）

データセットの均一性

70（要求事項共通）

表中では、「機械学習品質マネジメントガイドライン

ユースケース固有の観点
保温材が巻かれている配管を取り扱う場合は、配管そのものの劣化ではなく、保温材の劣化が対象となる点に注意する。

第 1 版」記載の要求事項について、「ユースケース固有の観点」に関連するもののみ抜粋している。本表に記載していない項目も、要求事項に含まれ
る。

60

内部品質
機械学習モ
デルの正確

要求事項70

ユースケース固有の観点

－

－

－

－

－

－

性
機械学習モ
デルの安定
性
プログラム
の健全性


運用時品質
の維持性

（要求事項共通）①機械学習を用いたシステムで実現したいことを設定

運用段階で撮影した画像での精度検証を行う。「目視点検要」と判定され実際に目視点検を実施した結果を記録し、これと対照して、判定精度が低い場合は、判定に用いた入力画像やモデルを重点的にチェックする。

利用時品質

機械学習要素の品質
外部品質②機械学習要素に求める出力を設定し、その達成レベルを決める

内部品質③レベルに応じた
要求事項に基づいて
機械学習要素を作り込む

図 3-9

要求分析
の十分性

リスク回避性
データ設計の十分性

パフォーマンス
データセットの被覆性

機械学習要素以外の構成要素の品質

データセットの均一性

ユースケース固有の観点
学習モデル
の正確性

学習モデル
の安定性

プログラムの
健全性

運用時品質
の維持性

階層的な品質確保における「ユースケース固有の観点」の位置づけ

61

3.3.3 設備劣化診断※本事例は、「設備劣化診断」のイメージとして掲載するものであり、以降のユースケースの記述の前提ではない。
関連事例：「撹拌機の劣化診断」（プラントオーナー企業 Y 社）
多数の振動データ

劣化診断モデル
機
械
学
習
（
判
別
分
析
）

閾値

故障の4ヶ月前に劣化傾向把握※ 劣化傾向の早期把握により、メンテナンス計画や調達を最適化する目的で導入（安全関連系とは独立）

これまで、撹拌機71の各部に設置された振動センサにより、故障の数週間前に異常な振動を検出し、設備の停止判断やメンテナンスを実施していた。
しかし、機械学習で振動データ等を分析すると、撹拌機の軸受けと減速機の振動変位の間に存在する通常の相関関係が、故障の数か月前から逸脱することが判明した。数か月前から劣化の兆候を検出できるようになれば、メンテナンス計画や調達の最適化が期待できる。
過去の振動データに対し、軸受けと減速機の振動変位の相関を変数化し、上記した通常の相関関係からの逸脱度をマハラノビス距離72を用いた判別分析により指標化し危険度として出力する。なお、本システムは数ヶ月単位のメンテナンス・調達計画の最適化のみに活用しており、設備故障の把握による安全確保は、本システムと独立のシステムで別途実施している。

1) ユースケースの前提
a. 概要
ユースケース「設備劣化診断」は、プラント設備の特定の部品の劣化傾向の早期発見を目的として、プラント設備の数週間～数か月の長期的な未来に顕在化する異常の予兆を事前に検知する機械学習利用システムである。プラント設備の部品劣化を早い段階で把握できれば、
メンテナンス計画や部材調達計画への反映、劣化を遅らせる運転の実施など、プラントの保全活動において効果が大きい。
なお、数日～数十分後の短期的な未来に発生し得るプラントの異常を検知する機械学

71

タンク内で液体と液体、液体と個体等を混ぜ合わせ、化学反応や混合等を進めるための装置。

72

データの分散を考慮して、あるデータがデータ群からどの程度離れているかを表す量。異常データの判別に用いられることが多い。

62

習利用システムのユースケースは「3.3.4 異常予兆検知・診断」を参照。
b. 機能要件
本ユースケースでは、機械学習利用システムの機能要件として、「個別設備の部品の将
来の劣化傾向を予測する」を設定する。
c. 導入イメージ
本ユースケースでは、導入のイメージを図 3-10 のように設定している。従来のプラン
ト設備の劣化診断は、プラント設備に設置された複数のセンサの値を定期的に保全員が読み取り、センサの値が予め定められたしきい値から逸脱していた場合に交換実施の判断を行っていた。一方、機械学習利用システムの導入後は、機械学習要素が設備の劣化傾向有無を判定し、劣化傾向有りと判定された場合に保全員に対してアラートを提示する。
保全員はこの提示内容と設備の稼働データから、部品の点検や交換の要否を判断する。

図 3-10 ユースケース「設備劣化診断」の導入イメージ（例）d. 他のシステムとの関係
本ユースケースでは、機械学習要素と他のシステムの関係を図 3-11 のように設定している。機械学習要素は、設備の稼働データを入力として劣化傾向の有無を分類し、その結果を保全員に出力する。保全員は、設備の対象部材の劣化傾向が交換・メンテナンスが必
要なレベルかどうかを判断し、最終判断として交換・メンテナンスの要否の判断を行う。
このため、本ユースケースの前提の下では、「AISL 表」を参照する際に「③」の列を適用することとなる。
機械学習要素の判断（設備の劣化傾向の有無）そのものを監視・補正する外部安全機構
は存在しないと考える。
なお、本ユースケースの機械学習利用システムは、中長期的に故障の兆候を検知して保全活動を効率化するために設備の劣化を診断するものとし、差し迫った設備の故障状況

63

を検知する既存システムは全く別の系として存在するものとの前提を置く。
このように、機械学習利用システムは純粋に保全活動の効率化を目的としたもので、安全性は既存システムで担保するものと想定する。そのため、本ユースケースの前提の下では、「リスク回避性」の評価は実施しない。これは、あくまで本ガイドラインで例示した前提のもとで判断されるものであり、本ユースケースに類似するあらゆるケースで「リスク回避性」の検討が不要であることを意味しない。機械学習要素に求める安全機能の水準
は、個別の適用ごとに判断する必要がある。
機械学習要素
入力A
設備の
稼働データ

入力B

処理
無劣化時と
劣化時の傾向

処理

出力

判断

劣化傾向の
有無

判断

設備の対象部材の劣化傾向が、交換・メン
テナンスが必要なレベ
確認
ルかどうか

ロジックによる
上書き・補正

出力

最終判断

最終判断

①
②

③

判断

最終判断

人間

交換・メンテナンスの要否判断

外部安全機構（例：ルールベースの指標による監視、検査装置での監視 等）

プラント設備機械学習利用システムと独立の安全関連系（例：インターロック、アラームシステム等）
入力C

警報・
停止等

処理

図 3-11 ユースケース「設備劣化診断」における機械学習要素と他のシステムの関係（例）e. 機械学習要素の構成
本ユースケースでは、機械学習要素の構成を表 3-8 のように設定している。学習モデル
として、劣化がある場合と無い場合のそれぞれの変数の分布を学習する判別分析の分類
モデルを想定する。したがって、ある時点の設備の稼働時系列データを入力とした場合、稼働データが劣化時の分布に分類された場合に劣化傾向有りと出力する。学習データとしては過去の設備の稼働時系列データと将来の劣化有無ラベルを用い、テストデータにも同様のデータとラベルを用いる。劣化有無のラベル付与はその時点ではなく将来の劣化発生有無のラベルを付与することを想定する。ここでの「将来」は数週間～数か月の長期的な未来を想定する。
表 3-8
学習手法
学習モデル
運用時の入力データ
開発時の学習データ
開発時のテストデータ「設備劣化診断」の機械学習要素の構成（例）
分類（教師あり）
劣化時・無劣化時の稼働データから、変数の分布を学習
設備稼働時系列データ
過去の設備稼働時系列データ＋将来の劣化有無ラベル
過去の設備稼働時系列データ＋将来の劣化有無ラベル642) 利用時品質・外部品質の項目例
本ユースケースの設定を前提とし、利用時品質・外部品質の項目を表 3-9 の通り設定する。本ユースケースでは、機械学習利用システムは純粋に保全活動の効率化を目的としたもので、安全性は既存システムで担保するものとする。そのため、「リスク回避性」の利用時品質・外部品質は設定せず、AISL の評価は実施しない。2 章に示した階層的な品質確保の手順（図 3-12）においては、「①機械学習を用いたシステムで実現したいことを設定」「②機械学習要素に求める出力を設定し、その達成レベルを決める」に該当する。
表 3-9

ユースケース「設備劣化診断」の利用時品質・外部品質の項目例
利用時品質

外部品質

リスク回避性－－

パフォーマンス「劣化あり」「劣化なし」の分類誤差を一定以内に抑える(P-E1)「劣化なし」から「劣化あり」に変化したとの判定結果を、決められた時間前に出力する(PE2)

部品の劣化を正しく診断する(P-U1)
メンテナンス計画への反映が可能な程度に十分に早いタイミングに劣化の傾向を予測する(P-U2)
注）

各項目の記号は、項目間の関係を明らかにするために説明の都合上付与しているものであり、本ガイドラインとして付与を求めるものではなく、レベルの大小とも無関係である。なお、S: Safety、
P: Performance、U: Use、E: External を意味する。

利用時品質①機械学習を用いたシステムで実現したいことを設定

利用時品質の項目例
利用時品質の項目例

機械学習要素の品質
外部品質②機械学習要素に求める出力を設定し、その達成レベルを決める

内部品質③レベルに応じた
要求事項に基づいて
機械学習要素を作り込む

機械学習要素以外の構成要素の品質

外部品質の項目例
外部品質の項目例

要求分析
の十分性

データ設計
の十分性

データセットの被覆性

データセット
の均一性

学習モデル
の正確性

学習モデル
の安定性

プログラムの
健全性

運用時品質
の維持性

図 3-12 階層的な品質確保における利用時品質・外部品質項目設定の位置づけ

65a. 「リスク回避性」に関する検討例
本ユースケースでは「リスク回避性」の利用時品質・外部品質を設定しないため、AISLの評価は実施しない。
b. 「パフォーマンス」に関する検討例
機能要件「個別設備の部品の将来の劣化傾向を予測する」を踏まえ、「パフォーマンス」の観点からは、機能要件を望ましい水準で達成するための品質管理を行うために、管理対象である利用時品質及び外部品質を具体的に設定する。
⚫

利用時品質
設備劣化診断では、劣化診断の精度や劣化傾向の検出タイミングを適切な水準とする

ことが求められる。劣化診断の精度水準を定める利用時品質として、「部品の劣化を正しく診断する(P-U1)」73を設定する。劣化傾向の検出タイミングについては、数週間～数か
月間単位でのメンテナンスの計画に反映できるタイミングで将来の劣化傾向を検出する必要がある。そのため、利用時品質としては「メンテナンス計画への反映が可能な程度に十分に早いタイミングに劣化の傾向を予測する(P-U2)」74という設定となる。
⚫

外部品質
それぞれの利用時品質に対し、機械学習要素のアウトプットに求める外部品質を定める。
「部品の劣化を正しく診断する(P-U1)」という利用時品質に対応する外部品質は、「『劣化あり』『劣化なし』の分類誤差を一定以内に抑える(P-E1)」73 と設定する。また、「メンテナンス計画への反映が可能な程度に十分に早いタイミングに劣化の傾向を予測する(P-U2)」という利用時品質に対応する外部品質は、「『劣化なし』から『劣化あり』に変化したとの判定結果を、決められた時間前に出力する(P-E1)」74 と設定する。
それぞれの外部品質に対し、必要な外部品質のレベル「AIPL」を設定する。「『劣化あり』『劣化なし』の分類誤差を一定以内に抑える(P-E1)」については、「分類誤差を目標値に抑える」ことをどの程度求めるかの水準や、必須とする度合いを検討し、基準に従って AIPL を設定する。同様に、「『劣化なし』から『劣化あり』に変化したとの判定結果
を、決められた時間前に出力する(P-E2)」については、求める出力タイミングの水準や、必須とする度合いを検討し、基準に従って AIPL を設定する。これらのうち最も大きい
AIPL が、機械学習要素の AIPL となり、これに応じて内部品質の要求レベルが決まる。

73

本ガイドラインの実用例「3.触媒の劣化診断（横河電機株式会社）」では、品質を以下のように設定している。併せて参考にされたい。
利用時品質「劣化の状態を正しく推定する」
外部品質「劣化の進行の推定誤差を一定以内に抑える」
74

本ガイドラインの実用例「3.設備劣化診断（横河電機株式会社）」では、品質を以下のように設定している。併せて参考にされたい。
利用時品質「メンテナンスの計画が立てられる程度に早期に劣化が進んでいると判断する」
外部品質「劣化が進行した状態の判定結果を、メンテナンスを必要とする時期から○週間以上前に出力する」

66

3) 内部品質確保のための「ユースケース固有の観点」
本ユースケースの設定を前提とした場合の、内部品質の各要求事項を実現するための留意点（「観点」）を表 3-10 に示す。以下に記載する「観点」は、本ユースケースに近い機械学習要素を開発する場合に、参考にすることができる。2 章に示した階層的な品質確保の手順（図 3-13）においては、「③レベルに応じた要求事項に基づいて機械学習要素を作り込む」に該当する。
表 3-10 「設備劣化診断」に係る「ユースケース固有の観点」※本ケースの内部品質の要求事項と観点の一覧は附録のチェックリストを参照
内部品質

要求事項75


要求分析の
十分性

（要求事項共通）

ユースケース固有の観点
製造条件によって変化する製品の成分値に対して、どの成分値の範囲までを対象とするか検討する。製造する製品が異なる場合だけでなく、流体(※)やプロセスが変わった場合も含む。
(※)混相流・多相流の配分変化など(Lv1)また、特に重要と考えられる環境要因の差異に対する属性を抽出し、大きなリ「環境要因」とは、ここでは設置場所、動作環境、気温・湿度、運転方法、原材料、用役などを指す。



対象とする製品の成分値の範囲に対して、それらの学習データが収集できるかどうか検討する。
シミュレータのデータを利用する場
合、環境要因の変化（例：高湿度→低湿度）がシミュレータで考慮されているか確認する。
データセットをシミュレーションで取得する場合は、シミュレータの妥当性を十分検証する。
部材の変更直後は基本的に「劣化無し」のデータとしてよい。「劣化なし」期
間は部材のスペックに依るが、使用環境で変化することに注意する（過去の交換頻度等を参照して、「劣化なし」とする期間を決定する）。
部材の変更直後で「慣らし運転76」が必要な場合は、その期間はデータを収集しないなどの管理を行う。

スクの要因との組み合わせに対応するケースを用意す
ること。



データ設計
の十分性


（要求事項共通）75

表中では、「機械学習品質マネジメントガイドライン

第 1 版」記載の要求事項について、「ユースケース固有の観点」に関連するもののみ抜粋している。本表に記載していない項目も、要求事項に含まれる。
76

部材の変更直後、本格的な生産の前に低負荷で稼働する等により設備の状態に問題がないか確認する運

転のこと。

67

内部品質


データセット

要求事項75(Lv1)テスト用データセットの取得源や方法を検討し、応用の状況に対して偏りがな
いことを期待できるようにす
ること。

の被覆性

ユースケース固有の観点
「応用の状況」とは、ここでは対象とする設備の種類や稼働状況(常時／一時、負荷の変更等)などを指す。



稼働データの劣化有無ラベルの確認は、その判断が適切に行える専門性を持った要員によって行う。

「劣化なし」として想定する様々な状
態の稼働データが偏りなく取得できていること。
ある状態の稼働データが十分取得できない場合、その状態から逸脱する劣化を検出する精度が低下する可能性があることを認識すること。

（要求事項共通）

データセットの均一性（要求事項共通）



－

－

－

－

－

－

機械学習モ
デルの正確
性
機械学習モ
デルの安定
性
プログラム
の健全性



運用時品質
の維持性


（要求事項共通）


68

部材の種類を変えた場合には、再学
習、学習モデルの切り替えなどの対応が必要になる可能性があることに留意する。
変化する製品成分値の範囲に対して、製品成分値の入力時に品質が維持されているか注意する。
対象設備そのものだけでなく、周辺の状況を含め、当初想定していた環境
要因などの前提条件から逸脱していないか確認する。

①機械学習を用いたシステムで実現したいことを設定

利用時品質

機械学習要素の品質
外部品質②機械学習要素に求める出力を設定し、その達成レベルを決める

内部品質③レベルに応じた
要求事項に基づいて
機械学習要素を作り込む

要求分析
の十分性

リスク回避性
データ設計の十分性

パフォーマンス
データセットの被覆性

機械学習要素以外の構成要素の品質

データセットの均一性

ユースケース固有の観点
学習モデル
の正確性

学習モデル
の安定性

プログラムの
健全性

運用時品質
の維持性

図 3-13 階層的な品質確保における「ユースケース固有の観点」の位置づけ

69

3.3.4 異常予兆検知・診断※本事例は、「異常予兆検知・診断」のイメージとして掲載するものであり、以降のユースケー
スの記述の前提ではない。
関連事例：「動力プラントにおける異常予兆検知・診断」（プラントオーナー企業 Z 社）
プロセス時系列データ

正常時のデータで正常領域を学習

予兆検知モデル
正常領域

異常予兆の検知
予兆検知 異常発生

正常領域外のデータを異常とみなす閾値

3日前に予兆把握

動力部では、供給支障が無いよう常に各設備の運転値の上下限監視をしているが、上下限監視で捉えきれない異常が要因で、設備が突発停止することがある。そこで、本システムにより、設備の異常兆候を早期に検知し、設備の突発停止を削減する。
正常時の時系列データを用いた外れ値検出モデル（教師なし）を利用。DCS より取得したプ
ロセス運転データをインプットとし、正常時からの逸脱の大きさを数値化した異常度のグラフ
や、異常度に影響を与えている変数を表示する。

1) ユースケースの前提
a. 概要
ユースケース「異常予兆検知・診断」は、異常によるプラントの突発停止の回避を目的として、プラントの数日～数十分後の短期的な未来に顕在化し得る異常の予兆を事前に検知する機械学習利用システムである。突発停止が発生すると、たとえ事故につながらな
い場合であっても、再稼働までに大きなコストを要する。このため、事前に異常の予兆を検知することにより、通常手順での停止や、異常発生箇所への対応が可能になることは、プラントにとって安全性・生産性の両面で効果が大きい。なお、長期的な設備の劣化状況を分析する機械学習要素のケースは、「3.3.3 設備劣化診断」を参照。
b. 機能要件
本ユースケースでは、機械学習利用システムの機能要件として、異常予兆の検知に相当70する「異常予兆検知時に発報する」、異常内容の診断に相当する「異常箇所、異常の深刻度、異常と関連のある変数を出力する」を設定する。
c. 導入イメージ
本ユースケースでは、導入のイメージを図 3-14 のように設定している。従来のプラン
トの異常検知は、プラントに設置された複数のセンサの値を１日に数回運転員が読み取り、運転員の経験から将来の異常の発生有無を判断していた。一方、機械学習利用システ
ムの導入後は、機械学習要素が将来の異常発生有無（異常予兆の有無）をリアルタイムで監視し、異常の予兆があった場合に運転員に対してアラートを出力する。運転員はこの出力内容とプロセスデータ等から、プラントの停止などの運転操作を行うべきか判断する。
導入前

導入後
センサ

センサ
設備状態
の変化

設備稼働
データ

運転員

プラント
運転操作

設備状態の
変化

プラント

運転中

プロセス
データ

学習
学習用
データ

検証
検証用
データ

機械学習要素
出力
異常予兆
検知結果

判断
運転操作

異常有無
の判断

入力
プロセス
データ

開発時

出力
異常予兆
検知結果

運転員

図 3-14 ユースケース「異常予兆検知・診断」の導入イメージ（例）d. 他のシステムとの関係
本ユースケースでは、機械学習要素と他のシステムの関係を図 3-15 のように設定している。機械学習要素は、プロセスデータを入力として異常予兆有無を判定し、異常予兆有りと判断された場合に運転員に対してアラートを提示する。運転員は機械学習要素の判断を参考に、各種センサ等の従来監視しているデータを含めて確認し、プラントの停止を含む運転状態の変更の判断を行う。機械学習要素の判断（近未来の異常の有無）そのもの
を監視・補正外部安全機構は存在せず、別途、プラントの安全性を担保する機械学習利用
システムと独立の安全関連系（インターロック等）が存在していることを想定する。
このため、本ユースケースの前提の下では、「AISL 表」を参照する際に「②」の列を適用することとなる。

71

機械学習要素
入力A
プロセスデータ

入力B

処理
異常予兆
かどうか判定処理

出力判断

異常予兆有無最終判断
設備の停止、運転状態の変更

判断

確認

最終判断

（将来の）
異常の発生

（従来監視している
データを含む）確認
判断

最終判断

ロジックによる
上書き・補正

出力

①
②

③

人間

外部安全機構（例：ルールベースの指標による監視、検査装置での監視 等）

プラント設備機械学習利用システムと独立の安全関連系（例：インターロック、アラームシステム等）
入力C

警報・
停止等

処理

図 3-15 ユースケース「異常予兆検知・診断」における機械学習要素と他のシステムの関係（例）e. 機械学習要素の構成
本ユースケースでは、機械学習要素の構成を表 3-11 のように設定している。プラント
では異常の発生頻度が低く、多量・多種の異常時のデータの収集が難しいため、学習モデ
ルとして、正常時のプラントデータを用いて正常領域を学習する教師なしの分類モデルを想定する。したがって、正常領域に属さない入力を異常予兆として検出する。学習デー
タとしては正常時のプロセスデータの実測値を用い、テストデータには正常時のプロセスデータ（実測値）と異常時のプロセスデータを用いると想定する。異常時のデータは実測値のみでは十分なテストができないため、実測値に加えて、シミュレーションで生成したデータを用いると想定する。
表 3-11 「異常予兆検知・診断」の機械学習要素の構成（例）
学習手法
学習モデル
運用時の入力データ
開発時の学習データ
開発時のテストデータ

分類（教師なし）
正常領域を学習
設備のプロセスデータ
正常時の設備のプロセスデータ（実測値）
正常時の設備のプロセスデータ（実測値）
異常時の設備のプロセスデータ（実測値＋シミュレーションで作成）

2) 利用時品質・外部品質の項目例
本ユースケースの設定を前提とし、利用時品質・外部品質の項目を表 3-12 の通り設定する。2 章に示した階層的な品質確保の手順（図 3-16）においては、「①機械学習を用いたシステムで実現したいことを設定」「②機械学習要素に求める出力を設定し、その達成

72

レベルを決める」に該当する。

表 3-12 ユースケース「異常予兆検知・診断」の利用時品質・外部品質の項目例
利用時品質

外部品質

様々なプラントの条件下で、将来の異常の発生を正しく検知する(S-U1)「異常予兆あり」の場合に、「正常」であると判定する誤判定率を限りなく小さくする(S-E1)

様々なプラントの条件下で、異常発生箇
所・異常の深刻度・異常と関連のある変数を正しく出力する(S-U2)「異常予兆あり」の場合に、異常発生箇所・異常の深刻度・異常と相関のある変数を誤って認識する誤認識率を限りなく小さくする(S-E2)

発報を受けてから事故回避の対応が可能な程度に十分に早いタイミングに発報する(S-U3)

決められた時間までに検出する(S-E3)

リスク回避性

パフォーマンス
発報内容の確認に運転員や点検要員の時間を多く割かなくてよい適度な発報頻度とする(P-U1)
注）

誤検知の頻度を一定以下にする(P-E1)

各項目の記号は、項目間の関係を明らかにするために説明の都合上付与しているものであり、本ガイドラインとして付与を求めるものではなく、レベルの大小とも無関係である。なお、S: Safety、
P: Performance、U: Use、E: External を意味する。

利用時品質①機械学習を用いたシステムで実現したいことを設定

利用時品質の項目例
利用時品質の項目例

機械学習要素の品質
外部品質②機械学習要素に求める出力を設定し、その達成レベルを決める

内部品質③レベルに応じた
要求事項に基づいて
機械学習要素を作り込む

機械学習要素以外の構成要素の品質

外部品質の項目例
外部品質の項目例

要求分析
の十分性

データ設計
の十分性

データセットの被覆性

データセット
の均一性

学習モデル
の正確性

学習モデル
の安定性

プログラムの
健全性

運用時品質
の維持性

図 3-16 階層的な品質確保における利用時品質・外部品質項目設定の位置づけ
a. 「リスク回避性」に関する検討例
機能要件「異常発生時に発報する」「異常箇所、異常の深刻度、異常と関連のある変数を出力する」を踏まえ、「リスク回避性」の観点からは、機能要件が達成されないことで
人的・経済的被害が生じることを防ぐための品質管理を行うために、管理対象である利用

73

時品質及び外部品質を具体的に設定する。
⚫

利用時品質
人的・経済的被害の予防という観点からは、異常の発生を見逃すことや、異常の内容（箇所等）を誤って出力することは望ましくない。これらのリスクを回避するために、「リスク回避性」属性の利用時品質として「様々なプラントの条件下で、正しく異常の発生を検知する(S-U1)」と「様々なプラントの条件下で、異常発生箇所・異常の深刻度・異常と関連のある変数を正しく出力する(S-U2)」77を設定する。発報のタイミングについては、実際の異常発生の直前（数秒前等）に発報しても対応が困難であるため、予兆の検知として意味のある十分に早いタイミングでの発報が求められる。すなわち、利用時品質としては「発報を受けてから事故回避の対応が可能な程度に十分に早いタイミングに発報する(SU3)」という設定となる78。
⚫

外部品質
それぞれの利用時品質に対し、機械学習要素のアウトプットに求める外部品質を定める。「様々なプラントの条件下で、異常の発生を正しく検知する(S-U1)」という利用時品質に対応する外部品質は、「『異常予兆あり』の場合に、『正常』であると判定する誤判
定率を限りなく小さくする(S-E1)」と設定する。ここで「誤判定率を一定以下とする」ではなく「誤判定率を限りなく小さくする」としているのは、テストで使用できる過去の異常データの量・種類が限られていることを踏まえると、少なくとも、過去の限られた異常
データの実績値及び明らかに異常である状況をシミュレートしたテストデータに対しては、正しく異常と判定されることを期待するためである。
また、「様々なプラントの条件下で、異常発生箇所・異常の深刻度・異常と関連のある変数を正しく出力する(S-U2)」という利用時品質に対応する外部品質は「『異常予兆あり』の場合に、異常発生箇所・異常の深刻度・異常と相関のある変数を誤って認識する誤認識率を限りなく小さくする(S-E2)」77 と設定する。運転員が認識する「関連」を、機械学習
要素のアウトプットに置き換え、「相関」と表現している。また、「発報を受けてから事
故回避の対応が可能な程度に十分に早いタイミングに発報する(S-U3)」という利用時品質に対応する外部品質は、「決められた時間までに検出する(S-E3)」と設定する。
それぞれの外部品質に対し、必要な外部品質のレベル「AISL」を設定する。「異常発生時に、『正常』であると判定する誤判定率を限りなく小さくする(S-E1)」については、異常を見逃した場合に想定される人的・経済的被害の大きさを検討し、基準に従って AISLを設定する。「『異常予兆あり』の場合に、異常発生箇所・異常の深刻度・異常と相関のある変数を誤って認識する誤認識率を限りなく小さくする(S-E2)」については、誤った出77

本ガイドラインの実用例「4-2.異常予兆検知・診断（日揮株式会社）」では、品質を以下のように設定している。併せて参考にされたい。
利用時品質「異常予知の原因が分かるように、予測値に影響を及ぼした変数が明確になる」
外部品質「予測値に影響を及ぼした変数を誤って出力する誤選定率を限りなく小さくする」
78

発報が早すぎて生産性が低下することを防ぐ、という品質を重視する場合は、発報のタイミングを「パフォーマンス」軸の品質として設定する。「リスク回避性」と「パフォーマンス」は、達成したい品質が安全に関するものか、効率・生産性に関するものかを個々に判断して選択する。

74

力があった場合に想定される人的・経済的被害の大きさを検討し、基準に従って AISL を設定する。「決められた時間までに検出する(S-E3)」については、発報が遅れた場合に想定される人的・経済的被害の大きさを検討し、基準に従って AISL を設定する。
これらのうち最も大きい AISL が、機械学習要素の AISL となり、これに応じて内部品質の要求レベルが決まる。
b. 「パフォーマンス」に関する検討例
機能要件「異常発生時に発報する」「異常箇所、異常の深刻度、異常と関連のある変数を出力する」を踏まえ、「パフォーマンス」の観点からは、機能要件を望ましい水準で達成するための品質管理を行うために、管理対象である利用時品質及び外部品質を具体的に設定する。
⚫

利用時品質
異常予兆検知・診断では、発報の精度やタイミングを望ましい水準とすることが求められる。発報の精度については、一定の誤発報（正常を異常と誤認識する）は許容しつつも、その頻度が多すぎると確認作業やプラント停止時間が増え、プラントのオペレーションへの悪影響が大きくなるため、許容できない。そのため、利用時品質としては「発報内容の確認に運転員や点検要員の時間を多く割かなくてよい適度な発報頻度とする(P-U1)」という設定となる。
⚫

外部品質
それぞれの利用時品質に対し、機械学習要素のアウトプットに求める外部品質を定める。
「発報内容の確認に運転員や点検要員の時間を多く割かなくてよい適度な発報頻度とする(P-U1)」という利用時品質に対応する外部品質は、「誤検知の頻度を一定以下にする(P-E1)」と設定する。運転員が認識する「適度な発報頻度」を、機械学習要素のアウトプットに置き換え、「誤検知の頻度を一定以下にする」と表現している。
この外部品質に対し、必要な外部品質のレベル「AIPL」を設定する。「誤検知の頻度を一定以下にする(P-E1)」については、求める正答率の水準や、必須とする度合いを検討し、基準に従って AIPL を設定する。設定した AIPL が機械学習要素の AIPL となり、これに応じて内部品質の要求レベルが決まる。
3) 内部品質確保のための「ユースケース固有の観点」
本ユースケースの設定を前提とした場合の、内部品質の各要求事項を実現するための留意点（「観点」）を表 3-13 に示す。以下に記載する「観点」は、本ユースケースに近い機械学習要素を開発する場合に、参考にすることができる。2 章に示した階層的な品質確保の手順（図 3-17）においては、「③レベルに応じた要求事項に基づいて機械学習要素を作り込む」に該当する。

75

表 3-13 「異常予兆検知・診断」に係る「ユースケース固有の観点」※本ケースの内部品質の要求事項と観点の一覧は附録のチェックリストを参照
内部品質

要求事項79


要求分析の
十分性

（要求事項共通）




データ設計
の十分性

(Lv1)また、特に重要と考えられる環境要因の差異に対する属性を抽出し、大きなリスクの要因との組み合わせに対応するケースを用意すること。

「環境要因」とは、ここでは異常の検知に影響する環境要因（生産負荷、生産ロット等）を指す。



データセットをシミュレーションで取得する場合は、シミュレータの妥当性を十分検証する。
「応用の状況」とは、ここでは検知した
い異常の深刻度（ハイアラーム／ハイハイアラーム 等）や、機械学習利用 シ ステ ム の 活 用 場 面 （ 常 時 ／ 一
時、昼間／夜間、定常時／非定常時等）を指す。

（要求事項共通）

データセットの被覆性(Lv1)テスト用データセットの取得源や方法を検討し、応用の状況に対して偏りがな
いことを期待できるようにすること。

(Lv1)各ケース毎に、元デー
タから偏りのないサンプル抽出などを行い、偏りがな
いことを期待できるようにす
ること。





本ケースの場合、学習データとして異常時データを網羅することは必須としない。一方で、正常領域における網羅的なサンプル抽出が必要。



正常時データが実際に正常時のものであることの確認は、その判断が適切に行える専門性を持った要員によって行う。
正常データとして想定する様々な範囲 （ 昼 間 ／ 夜 間 、定 常 時 ／ 非 定 常
時、季節の違い等）のデータを偏りなく取得する。
ある範囲の正常データが十分取得できない場合、その範囲では異常を検出する精度が低下する可能性があることを認識する。

（要求事項共通）
データセットの均一性

79（要求事項共通）

表中では、「機械学習品質マネジメントガイドライン

ユースケース固有の観点
どの箇所のどのような異常を対象とするのかによって、「データ設計の十分性」「データセットの被覆性」の評価にも影響するため、どの箇所のどのような異常を対象とするかという点まで要求を特定する。
異常の検知と、それに関連する変数との間で、工学的に意味のある因果関係が不明であっても、相関のみで活用することは妨げない。80

第 1 版」記載の要求事項について、「ユースケース固有の観点」に関連するもののみ抜粋している。本表に記載していない項目も、要求事項に含まれる。
80

異常予兆検知・診断においては、「異常の原因の特定と、その原因と異常の因果関係の工学的説明がな

いと活用できない」、との声がある。一方で、因果関係が未知の相関を見出すことが機械学習の有用性であるという側面もある。本ガイドラインでは、機械学習の活用促進の観点から、ユーザー・ベンダー間の合意のもと、安全を確保する前提で、工学的に意味のある因果関係が不明であっても、相関のみで活用することを妨げないという立場をとっている。

76

内部品質

機械学習モ
デルの正確
性

要求事項79(Lv1)テスト段階において一定量の誤判断を許容する場
合 （ false negative / false
positive で扱いを変える場
合を含む）については、その判定基準を合理的に事前に決定し、記録しておくこと。

ユースケース固有の観点

本ケースの場合、誤検知は一定量許容されうるが、テストに使用できる異常データの量・種類が限られるため、見逃しの発生率は極限まで 0 に近づけることが望ましい。

機械学習モ
デルの安定

－

－

－

－

性
プログラム
の健全性



運用時品質
の維持性



（要求事項共通）

①機械学習を用いたシステムで実現したいことを設定

化学系プラントでは特に外部環境の変化（日照条件、風向きなど）の機械
学習要素への影響が大きいため、隣接する設備の撤去や変更など、対象
設備の直接的変更でない場合でも、対象設備の外部環境に影響する変更に留意する。
対象設備の生産負荷に応じた経年劣化の進行を想定し、精度検証、学習モデルのチューニングの頻度を設計する。
（経年劣化ではなく）対象設備を大規模に修繕した場合は、その都度精度
検証、学習モデルのチューニングが必要とされる。

利用時品質

機械学習要素の品質
外部品質②機械学習要素に求める出力を設定し、その達成レベルを決める

内部品質③レベルに応じた
要求事項に基づいて
機械学習要素を作り込む

要求分析
の十分性

リスク回避性
データ設計の十分性

パフォーマンス
データセットの被覆性

機械学習要素以外の構成要素の品質

データセットの均一性

ユースケース固有の観点
学習モデル
の正確性

学習モデル
の安定性

プログラムの
健全性

運用時品質
の維持性

図 3-17 階層的な品質確保における「ユースケース固有の観点」の位置づけ

77

3.3.5 運転最適化※本事例は、「運転最適化」のイメージとして掲載するものであり、以降のユースケースの記述の前提ではない。
関連事例（定常運転）： ブタジエン生産プラントにおける AI 制御システム構築（横河電機株式会社）

シミュレータで試行錯誤しAI制御モデルを生成
参考システムとして運用、指示値使用判断は人AI

プラントシミュレータ

ブタジエン精製プラントでは PID 制御や多変数モデル予測制御により、プラント運転の自動化・安定化を行っている。しかし、天候変化等の外乱等の影響が大きい一部の工程では完全な自動制御は難しく、オペレータによる手動操作も含めてプラントをコントロールしているのが現状である。
そこで、当該プラントのシミュレータを構築して強化学習型 AI 制御アルゴリズムの自動学習を行い、そこで得たモデルを実プラントに適用することで、対象工程の自動化を既存の制御手法では難しい範囲にまで拡大し、人的ミスを減少させるとともに、生産性や運転精度を向上する。

78

※本事例は、「運転最適化」のイメージとして掲載するものであり、以降のユースケースの記述の前提ではない。
関連事例（非定常運転）：製油所における原料原油切り替え運転最適化 AI（千代田化工建設株式会社）81

石油精製プラントでは、輸入原油のタンクが空に近づくたびに、次の油種との性状の違いに応じてベテラン運転員が連続的に十以上のパラメータを同時に調整する切り替え運転を行っている。この運転は 3 日に一度程度、半日程度の手動運転が必要で、頻度と難易度が高く、操作を誤ると設備の損傷や運転のアップセットに繋がりうる。したがって、仮に最適運転ができれば生産性と保安力の向上効果が非常に大きい。
動的プラントシミュレータを用いて深層強化学習を行うことで、AI が最適な運転パラメータを出力できる。油種切り替え作業中にリアルタイムで最適な運転パラメータを運転員に提示し、省エネ・製品ロス最小化・早期切り替え完了・安全な運転を実現する。
深層強化学習では、熟練運転員の知見や過去の運転データなどから構築した、運転状況に対する最適化目標（省エネ・製品ロス最小化など）の評価を活用する。動的プラントシミュレータと AI が連携して、様々な運転状況に対して評価が高くなる運転パラメータを学習すること
で、新しい条件下でも連続的により良い運転パラメータを見つけられるようになる。

81

本事例は、「プラントにおける先進的 AI 事例集～AI プロジェクトの成果実現と課題突破の実践例～」に詳細を記載している。併せて参照されたい。

791) ユースケースの前提
a. 概要
ユースケース「運転最適化」は、製品の生産性最大化・製品ロス最小化・省エネなどの最適化目標の実現を目的に、プラントの最適化目標に応じた最適な運転パラメータを提示する機械学習利用システムである。プラントの運転は大きく定常運転と非定常運転に分けられる。プラントのスタートアップ・シャットダウン、製造製品切り替え、突発停止時などが非定常運転に該当し、それ以外の比較的安定した状態での運転が定常運転となる。本ユースケースは、定常運転と非定常運転の双方に共通する、プラントの各設備の稼働状況、生産データ、天気・原料・各種条件などから、運転員に対して最適な操作パラメータを提示する機能を想定する。定常運転・非定常運転のいずれかのみに当てはまる内容
については、定常運転・非定常運転の別を明示する。
b. 機能要件
本ユースケースでは、機械学習利用システムの機能要件として、「目的に応じた最適な操作パラメータを提示する」
を設定する。
最適化の目的は、定常運転の場合は生産性向上、非定常運転の場合は定常運転状態への早期移行等を想定する。
c. 導入イメージ
本ユースケースでは、導入のイメージを図 3-18 のように設定している。従来のプラン
トの運転では、運転員がプラントに設置された各種センサのデータから設備や環境の状態を把握し、過去の経験に基づいて運転目標に応じて運転パラメータの調整を行っていた。一方、機械学習利用システムの導入後は、機械学習要素がプラントの設備や環境のデータからリアルタイムで最適な運転パラメータを算出し、運転員に提示する。運転員は提示された運転パラメータを参考に、センサデータと自身の経験から、プラントに対する運
転操作を行う。

図 3-18 ユースケース「運転最適化」の導入イメージ（例）80d. 他のシステムとの関係
本ユースケースでは、機械学習要素と他のシステムの関係を図 3-19 のように設定している。機械学習要素は、プラントの各種センサデータ（設備データ、環境データ、生産データなど）を入力とする。設備データは設備の回転数や温度など、環境データは気温や湿度など、生産データは生産量などを想定する。それらの入力から最適化目標に応じて運転パラメータの最適値を算出し、運転員に対して出力する。運転員は自身の経験及び各種センサデータを参照し、機械学習要素が出力した運転パラメータが適当かどうか判断を行い、実際にプラントに対して操作する運転パラメータを決定する。このため、本ユースケースの前提の下では、「AISL 表」を参照する際に「③」の列を適用することとなる。
機械学習要素の出力（運転パラメータの最適値）そのものを監視・補正する外部安全機
構として、現在の設備状態が危険水準に到達しているかを判定し、機械学習要素が出力する運転パラメータを監視する処理が存在することを想定する。また、プラントに従来から存在する警報システムや緊急停止システムなどの既存システムも独立して存在していることを想定する。

機械学習要素
入力A
設備データ
環境データ
生産データ

処理

出力

判断

運転パラメータ
最適値算出

運転パラメータ
最適値

判断

最終判断

提示された​
運転パラメータが​
確認
適当か？​
判断

危険水準
到達有無
入力B

処理

ロジックによる
上書き・補正

出力

人間

最終判断

最終判断

①
②

③

実際に操作する
運転パラメータ
決定

危険水準への
外部安全機構到達有無の判定（例：ルールベースの指標による監視、検査装置での監視 等）

プラント設備機械学習利用システムと独立の安全関連系（例：インターロック、アラームシステム等）
入力C

警報・
停止等

処理

図 3-19 ユースケース「運転最適化」における機械学習要素と他のシステムの関係（例）e. 機械学習要素の構成
本ユースケースでは、機械学習要素の構成を表 3-14 のように設定している。学習モデルとして、最適な運転パラメータを学習する強化学習モデルを想定する。強化学習では、
設備のパラメータ上限付近での運転など、実際のプラントでの実測値のみで学習データ・
テストデータの被覆性と十分性を満たすことは難しいため、シミュレータの活用を前提
とする。

81

表 3-14 「運転最適化」の機械学習要素の構成（例）
学習手法
学習モデル
運用時の入力データ
開発時の学習データ
開発時のテストデータ

強化学習
最適な運転パラメータを学習する強化学習
設備データ・環境データ・生産データ
設備データ・環境データ・生産データ＋運転パラメータ（実測値＋シ
ミュレーションで作成）
設備データ・環境データ・生産データ＋運転パラメータ（実測値＋シ
ミュレーションで作成）

2) 利用時品質・外部品質の項目例
本ユースケースの設定を前提とし、利用時品質・外部品質の項目を表 3-15 の通り設定する。2 章に示した階層的な品質確保の手順（図 3-20）においては、「①機械学習を用いたシステムで実現したいことを設定」「②機械学習要素に求める出力を設定し、その達成
レベルを決める」に該当する。
表 3-15 ユースケース「運転最適化」の利用時品質・外部品質の項目例
利用時品質

外部品質

設備の安全上の許容動作スペックを超えるような運転状態をもたらさない(S-U1)

最適化を行う設備のパラメータ変数の範囲
を、安全上の許容動作スペックに対応する範囲に制限する(S-E1)

リスク回避性

パフォーマンス（定常運転）生産性を向上させるパラメー
タを提示する(P-U1-1)（定常運転）生産量を一定割合向上させるパ
ラメータを提示する(P-E1-1)（非定常運転）定常運転状態に移行する時間
を一定割合短縮させる等のパラメータを提示する(P-E1-2)（非定常運転）定常運転状態に早期移行させる等のパラメータを提示する(P-U1-2)
注）

各項目の記号は、項目間の関係を明らかにするために説明の都合上付与しているものであり、本ガイドラインとして付与を求めるものではなく、レベルの大小とも無関係である。なお、S: Safety、
P: Performance、U: Use、E: External を意味する。

82

利用時品質①機械学習を用いたシステムで実現したいことを設定

利用時品質の項目例
利用時品質の項目例

機械学習要素の品質
外部品質②機械学習要素に求める出力を設定し、その達成レベルを決める

内部品質③レベルに応じた
要求事項に基づいて
機械学習要素を作り込む

機械学習要素以外の構成要素の品質

外部品質の項目例
外部品質の項目例

要求分析
の十分性

データ設計
の十分性

データセットの被覆性

データセット
の均一性

学習モデル
の正確性

学習モデル
の安定性

プログラムの
健全性

運用時品質
の維持性

図 3-20 階層的な品質確保における利用時品質・外部品質項目設定の位置づけ
a. 「リスク回避性」に関する検討例
機能要件「目的に応じた最適な操作パラメータを提示する」を踏まえ、「リスク回避性」の観点からは、機能要件が達成されないことで人的・経済的被害が生じることを防ぐための品質管理を行うために、管理対象である利用時品質及び外部品質を具体的に設定する。
⚫

利用時品質
人的・経済的被害の予防という観点からは、出力する運転パラメータが設備の想定を超えるものになることは望ましくない。このリスクを回避するために、「リスク回避性」属
性の利用時品質として「設備の安全上の許容動作スペックを超えるような運転状態をもたらさない(S-U1)」という項目を設定する。
⚫

外部品質
設定した利用時品質に対し、機械学習要素のアウトプットに求める外部品質を求める。

「設備の安全上の許容動作スペックを超えるような運転状態をもたらさない(S-U1)」という利用時品質に対応する外部品質は、「最適化を行う設備のパラメータ変数の範囲を、安全上の許容動作スペックに対応する範囲に制限する(S-E1)」と設定する。
この外部品質に対し、必要な外部品質のレベル「AISL」を設定する。設備の想定スペッ
クを超える運転パラメータが提示された場合に想定される影響について、外部安全機構
や機械学習利用システムと独立の安全関連系を考慮して検討し、基準に従って AISL を設定する。
本ユースケースでは、信頼性が確保された外部安全機構および機械学習利用システムと独立の安全関連系（緊急停止システム等）が安全を確保することを前提としているため
機械学習要素には高度な安全性を求める必要が無いことを考慮し、SIL 評価を行って「SILなし」とした上で、AISL 表に基づいて、AISL0～0.2 程度が割り当てられると考える。これは、あくまで本ガイドラインで例示した前提のもとで判断されるものであり、本ユース

83

ケースに類似するあらゆるケースで同様の評価となることを意味しない。機械学習要素に求める安全機能の水準は、個別の適用ごとに判断する必要がある。

b. 「パフォーマンス」に関する検討例
機能要件「目的に応じた最適な操作パラメータを提示する」を踏まえ、「パフォーマンス」の観点からは、機能要件を望ましい水準で達成するための品質管理を行うために、管理対象である利用時品質及び外部品質を具体的に設定する。
⚫

利用時品質
運転最適化では、最適化目標である生産性の向上（定常運転）、定常運転状態への早期移行等（非定常運転）を達成することが求められる。そのため、利用時品質としては「生産性を向上させるパラメータを提示する(P-U1-1)」8283「定常運転状態に早期移行させる等のパラメータを提示する(P-U1-2)」と設定する。
⚫

外部品質
設定した利用時品質に対し、機械学習要素のアウトプットに求める外部品質を定める。

定常運転の場合、「生産性を向上させるパラメータを提示する(P-U1-1)」という利用時品質に対応する外部品質は、「生産量を一定割合向上させるパラメータを提示する(P-E1-1)」
82 と設定する。非定常運転の場合、「定常運転状態に早期移行させるパラメータを提示する(P-U1-2)」という利用時品質に対応する外部品質は、「定常運転状態に移行する時間を一定割合短縮させるパラメータを提示する(P-E1-2)」と設定する。
それぞれの外部品質に対し、必要な外部品質のレベル「AIPL」を設定する。定常運転の場合、「生産量を一定割合向上させるパラメータを提示する(P-E1-1)」については、求める生産量向上の水準や、必須とする度合いを検討し、基準に従って AIPL を設定する。同様に、「定常運転状態に早期移行させるパラメータを提示する(P-E1-2)」については、求める移行時間短縮の水準や、必須とする度合いを検討し、基準に従って AIPL を設定する。
これに応じて内部品質の要求レベルが決まる。

3) 内部品質確保のための「ユースケース固有の観点」
本ユースケースの設定を前提とした場合の、内部品質の各要求事項を実現するための82

本ガイドラインの実用例「5-1.運転最適化（ENEOS 株式会社・株式会社 Preferred Networks）」では、品質を以下のように設定している。併せて参考にされたい。
利用時品質「安定時、生産効率とエネルギー効率の双方を考慮した最適制御を実現する」
外部品質「生産効率とエネルギー効率を金額換算した指標を一定以上に保つ運転パラメータを提示する」
83

本ガイドラインの実用例「5-2.運転最適化（横河電機株式会社・JSR 株式会社）」では、品質を以下のように設定している。併せて参考にされたい。
利用時品質「従来以上に省エネな運転を実現する」
外部品質「省エネの指標を一定以上に保つ運転パラメータを提示する」

84

留意点（「観点」）を表 3-16 に示す。以下に記載する「観点」は、本ユースケースに近い機械学習要素を開発する場合に、参考にすることができる。2 章に示した階層的な品質確保の手順（図 3-21）においては、「③レベルに応じた要求事項に基づいて機械学習要素を作り込む」に該当する。

表 3-16 「運転最適化」に係る「ユースケース固有の観点」※本ケースの内部品質の要求事項と観点の一覧は附録のチェックリストを参照
ユースケース固有の観点
内部品質
要求事項84
定常運転
非定常運転
要求分析の
－
－
十分性

(Lv1)また、特に重要と考えられる環境要因の差異に対する属性を抽出し、大きなリ 「環境要因」とは、ここでは運転手順
スクの要因との組み合わせや原材料などを指す。
データ設計に対応するケースを用意す
の十分性
ること。

データセットをシミュレーションで取得（要求事項共通）
する場合は、シミュレータの妥当性を十分検証する。
「応用の状況」
「応用の状況」とは、ここでは(Lv1)テスト用データセットのとは、ここでは適用する操作
取得源や方法を検討し、応適用する操作場面（季節、時用の状況に対して偏りがな
場面（季節、時
間帯、スタート
いことを期待できるようにす
間帯等）、操作
アップ/シャット
データセットること。
対象設備などダウン等）、操を指す。
作対象設備なの被覆性どを指す。

天候などの「外乱」を想定したデータセットになっているか留意する。
（要求事項共通）
ベテランオペレータの運転を学習する
際は、偏ったケース設定となっていな
いか留意する。
データセット－－の均一性

「機械学習要素による操作パラメータ
提示に安全機能を期待しない（設備
テスト段階において一定量の想定スペックを超えるような操作パの 誤 判 断 を許 容 す る 場 合
ラメータ提示に対しては、外部安全機
機械学習モ（ falsenegative/false
構及びオペレータ判断により操作に
positive で扱いを変える場
デルの正確反映しない）前提」の場合は、「危険な合を含む）については、その操作につながるパラメータの出力の性判定基準を合理的に事前に許容水準を極限まで 0 に近づける」と決定し、記録しておくこと。
いった検討は求めない。SIL 評価等に基づき、機械学習要素と他のシス
84

表中では、「機械学習品質マネジメントガイドライン

第 1 版」記載の要求事項について、「ユースケース固有の観点」に関連するもののみ抜粋している。本表に記載していない項目も、要求事項に含まれ
る。

85

内部品質

要求事項84

（要求事項共通）

ユースケース固有の観点
定常運転
非定常運転
テムの安全機能の分担を適切に考慮
して機械学習要素への要求水準を決定する。
強化学習を用いたとしても、運用開始
前にテストを実施して「機械学習モデルの正確性」の要求事項を満たす。85

機械学習モ
デルの安定

－

－

－

－

性
プログラム
の健全性





運用時品質
の維持性

（要求事項共通）

85

最適値の評価は定期的／継続的にモニターし、異常がないか確認する。
設備や運転手順に変更が行われた
場合は機械学習要素の出力への影響があるため、モデルを更新する。
最適化の目標に対して極限まで運転条件を追求すると、安定性が損なわれることがあるため、機械学習要素の出力の範囲を限定するなどの対応を行う。
想定していた原料（原油種等）の内挿
範囲内で運転されていることを確認する。
運用中の設備の諸条件（反応初期／
終期、運転条件、原料、品質要求、ス
タートアップ・シャットダウン操作の許容時間等）を考慮して機械学習要素の出力の品質を確認する。

強化学習の場合、テストを実施せずに運用開始し、運用しながらより良い性能を追求することも想定され、この場合は「機械学習モデルの正確性」の要求事項を適用できない。ただし、プラント保安分野では、運用開始時には一定の性能を達成していることをテストで確認することが必要であることから、本ガイドラインでは、強化学習を用いたとしても、運用開始前にテストを実施して「機械学習モデルの正確性」の要求事項を満たすことを求めている。

86

①機械学習を用いたシステムで実現したいことを設定

利用時品質

機械学習要素の品質
外部品質②機械学習要素に求める出力を設定し、その達成レベルを決める

内部品質③レベルに応じた
要求事項に基づいて
機械学習要素を作り込む

要求分析
の十分性

リスク回避性
データ設計の十分性

パフォーマンス
データセットの被覆性

機械学習要素以外の構成要素の品質

データセットの均一性

ユースケース固有の観点
学習モデル
の正確性

学習モデル
の安定性

プログラムの
健全性

運用時品質
の維持性

図 3-21 階層的な品質確保における「ユースケース固有の観点」の位置づけ

87

4. ガイドラインの活用の流れ
ここまで、2 章でプラント保安分野における機械学習の信頼性評価の具体的な方法を説明
し、3 章でユースケースに基づく例を紹介した。本章では、信頼性評価の具体的なステップに即して 2 章および 3 章を活用する方法を示す。
まず、本ガイドラインの活用の主体について、どういった役割・事業者がどういった目的
で本ガイドラインを参照できるか整理する（4.1）。またシステム構築・運用において、各主体（保全担当、プラントシステム担当等）が信頼性評価において具体的に実施する事項、実施に際しての本ガイドラインの参照箇所等、信頼性評価におけるガイドラインの適用の具体的な流れを説明する（4.2）。
4.1 ガイドラインの活用の主体
本ガイドラインに基づく信頼性評価は、機械学習利用システムの要求・要件定義～運用の各プロセスで行われる。このプロセスにおいては、複数の企業の多様な主体が関与する。関与する主体の人数や所属企業、役割分担について、プラント保安分野において一般的に必要な役割を表 4-1 に示す。各担当はそれぞれの立場から機械学習利用システムの信頼性確保に関与する。

88

表 4-1

機械学習利用システムの開発プロジェクトの担当

部署・役割

プロジェクトにおける担当内容

経営企画

プロジェクトの実行に関する意思決定※直接のガイドライン活用主体ではない

事業企画担当機械学習利用システムの開発プロジェクトの主担当（予算、スケ
ジュール等）

品質保証担当機械学習利用システム全体の利用時品質の評価・確認
機械学習要素の外部品質・内部品質の評価・確認（機械学習利用システム・機械学習要素）

環境安全担当機械学習利用システムの安全に関わる内容のレビュー86

現場担当

運転・保全に用いるシステムの利用時品質のレビュー
機械学習要素に求める外部品質のレビュー
運用時に所期の効果が出ているかレビュー
外部安全機構や安全関連系のレビュー

現場の管理担当（製造担当、設備管理担当）、現場の作業担当（運転員、保全員）

プラントシステム担当

機械学習利用システムの利用時品質、機械学習要素の外部品
質の設定
機械学習利用システムの機械学習要素以外の構成要素（外部安全機構等）や安全関連系の整理
機械学習要素の開発に係るレビュー・データの提供

機械学習設計・開発担当

機械学習要素の設計・開発

プラント保安分野では、運転・保全を直接担っている担当者（表 4-1「現場担当」）が機
械学習利用システム全体及び機械学習要素の品質に対してレビューを行うことや、DCS87をはじめとするプラントの既存システムの運用管理を担う担当者（表 4-1「プラントシステム担当」）がデータ提供や機械学習利用システムの要件定義等で関与することが特徴的である。
なお、「品質保証担当」は、機械学習利用システムの開発に関わるその他の人員から適切な独立性の水準を持った適切な組織又は人員によって行われることが必要な場合がある。
独立性の水準は、プラントが準拠する既存の基準（機能安全規格等）に従って判断する。

86「レビュー」とは、本ガイドラインを用いて信頼性評価を行う主担当から依頼を受け、自身の業務所

掌・専門性に基づいて主担当による検討事項を確認することを意味する。例えば、機械学習利用システムの機能要件や利用時品質を、プロジェクトを牽引する「事業企画担当」が設定し、それが正しく設定されているか、システムを最終的に利用する「現場担当」が確認を行う場合、主担当は「事業企画担当」で、レビューを行うのは「現場担当」となる。なお、レビューを行う担当者は、必ずしもガイドラインの内容を読んで理解する必要は無く、主担当者からの依頼に応える形で信頼性評価に関与する。詳細に実施する事項は、4.2 を参照。
87

DCS（Distributed Control System：分散形制御システム）とは、プラントの制御システムである。プラン

ト全体を一つの制御装置で制御するのではなく、構成機器毎に制御装置があり、それがネットワークで接続されることにより、大規模なプラントの操業の制御を実現している。

89

参考として、それぞれの担当者の所属企業の例88を表 4-2 に示す。
主として、機械学習利用システムの導入検討・判断を行うユーザー企業（プラントオーナー等）が中心となって開発プロジェクトが遂行されることが想定される89。プラント設備に関連したデータ提供等についてはプラント設備のベンダー企業、機械学習利用システム・機械学習要素の設計・開発についてはシステムのベンダー企業・SIer 企業や AI ベンダー企業が参画する場合がある。
表 4-2

機械学習利用システムの開発プロジェクトにおける役割別の所属企業の例
部署・役割

所属する企業の例

経営企画

プラントオーナー企業

事業企画担当プラントオーナー企業

品質保証担当システム全体システムのベンダー企業、SIer 企業
プラントオーナー企業

機械学習要素AI ベンダー企業

環境安全担当現場担当

プラントオーナー企業
製造担当
設備管理担当プラントオーナー企業
プラント設備のベンダー企業

運転員

プラントオーナー企業

保全員

プラントオーナー企業
メンテナンス企業

プラントシステム担当

システムのベンダー企業、SIer 企業
プラントオーナー企業

機械学習設計・開発担当

AI ベンダー企業

プロジェクトによって役割は変動するため、上記の役割分担はあくまで参考例である。
「主担当者→ユーザー企業／レビュー担当者→ベンダー企業」等と固定せず、主担当者とレビュー担当者の役割を適切に割り振り、どういった担当者が関与して品質を設定したかを明らかにすることが重要である。

88

実際に機械学習利用システムの開発プロジェクトに参画する企業や、プロジェクト内での役割は、個別のプロジェクトによって異なる。本ガイドラインの「実用例」では、実際のプロジェクトにおいて信頼性評価を実施した実例に基づいて担当者を記載しているので、併せて参照されたい。
89

機械学習利用システムの開発プロジェクトは、本ガイドラインで例示したユーザー企業主導のパターンのほか、ベンダー企業側の提案を基本に、ユーザー企業の確認を得ながら進めていくパターンもある。本
ガイドラインの「実用例」では、ユーザー企業主導・ベンダー企業主導双方のパターンにおいて信頼性評価を実施した例を示しているので、併せて参照されたい。（ベンダー企業主導の実用例：「1.配管の肉厚予測（横河電機株式会社）」「3.設備劣化診断（横河電機株式会社）」「4-1.異常予兆検知・診断（千代田化工建設株式会社・西部石油株式会社）」「4-2.異常予兆検知・診断（日揮株式会社）」）90

各担当者の役割に応じて、ガイドラインの活用場面が異なるため、3 つの段階で設定される品質の中で重点的に確認すべき品質が異なる。各担当の確認すべき品質について、表 4-3に示す。
それぞれ、特に各品質について具体的な記載のある 2.1 及び 2.2 において、自身が確認すべき品質に関する記載箇所を中心にガイドラインを理解する必要がある。
表 4-3
部署・役割

各担当のガイドラインの活用場面と確認すべき品質

ガイドラインの活用場面

利用時品質

外部品質

内部品質

経営企画

－

○

－

－

事業企画担当システム全体の目的・利用時品質の設定、経営企画への目的・利用
時品質の説明●→2.1.1
2.1.3
2.2.1

○

○

●
→2.1.1
2.1.3
2.2.1

●
→2.1.2
2.1.3
2.2.2
2.2.3

●
→2.1.4
2.2.4
2.2.5

○

○

○

○

○

○

●
→2.1.1
2.1.3
2.2.1

●
→2.1.2
2.1.3
2.2.2
2.2.3

●
→2.1.4
2.2.4
2.2.5

○

●
→2.1.42.2.4
2.2.5

品質保証担当利用時品質の確認
外部品質・内部品質の確認

環境安全担当
現場担当

利用時品質に対するレビュー
外部品質に対するレビ
ュー
運用時の効果・品質のレビュー

プラントシステム担当

利用時品質の設定、外部品質の設定、内部品質に係るデータ提供や
レビュー

機械学習設
計・開発担当内部品質の把握、内部品質の要求事項に則した機械学習要素の設計・開発・更新－

凡例●：信頼性評価の手順をガイドラインの記載に則って実施する主体○：信頼性評価のレビューに応じる（必ずしもガイドラインの内容を読んで理解する必要は無く、主担当者からの依頼に応える形で信頼性評価に関与する）

91

4.2 ガイドラインの適用の流れ
機械学習利用システムの構築（要求・要件定義～テスト・検収）及び運用の各フェーズにおいて 4.1 で示した主体が信頼性評価においてどのような役割を果たし、どのようにガイド
ラインを活用するのかを示す。
4.2.1 担当別・フェーズ別の実施項目
担当・フェーズ別の信頼性評価に係る実施項目の全体像を表 4-4 に示す。
なお、機械学習利用システムが保全か運転かで、参画する主体は異なる。保全に用いる
機械学習利用システムでは、現場担当として現場の管理担当である設備管理担当と現場の作業担当である保全員が関わると想定されるが、運転に用いる機械学習利用システムでは現場の管理担当である製造担当と現場の作業担当である運転員・保全員が関わることが想定される。したがって、本章以降の記述並びに「附録 内部品質確保のための『プラント保安分野での観点』チェックリスト」ではこの点を区別して整理している。

92

表 4-4
担当

PoC

経営企画
事業企画担当品質
保証

システム品質保証担当
機械学習品質保証担当

環境安全担当
現場担当

現場の管理担当（保全）設備管理担当（運転）製造担当
現場の作業担当（保全）保全員（運転）運転員・保全員

プラントシステム担当

（
右
段
の
各
フ
ェ
ー
ズ
の
開実
発施
の事
コ項
アを
メ
ン参
バ考
ーに
で、
検
討
）

機械学習利用システム構築・運用のフェーズ・担当別の実施項目
要求・要件定義

設計

実装

システム開発に関する意思決定システムの目的の設定、システムの機
能要件・利用時品
質のレビュー

テスト・検収テストを踏まえた外部品質の評価、シ
ステムの検収機械学習要素の開発における品質保証システムの目的・機
能要件・利用時品
質のレビュー

外部品質に係る外部安全機構・安全関連系のレビュ
ー
外部品質及びそのレベル設定のレビュー、外部品質に係る外部安全機構・安全関連系のレビュー

システムの目的・機
能要件・利用時品
質のレビュー
システムの機能要件・利用時品質の設定

運用システムの導入に関する意思決定
検収における品質
全体のレビュー

外部品質の設定、外部品
質のレベル設定に係る機械学習要素以外の構成要
素（外部安全機構等）や安
全関連系の整理、外部品
質のレベル設定

機械学習設計・開発担当

利用時品質・外部品質の確認
内部品質の確認

機械学習要素の開発に係るレビュー

テストを踏まえた外部品質の評価結果のレビュー
検収における品質
全体のレビュー

機械学習要素の開発に係るレビュー

検収における品質
全体のレビュー

機械学習利用システムの機械学習要素以外の構成要素（外部安全機構等）の開発、機械
学習要素の開発に係るレビュー・データ提供
内部品質のレベル設
定、機械学習要素の設
計・開発

テストを踏まえた外部品質の評価結果のレビュー

利用時品質の確認結果のレビュー、システムの更新に係るレビュー・データ提供
利用時品質の確認結果のレビュー、システムの更新に係るレビュー・データ提供
外部品質の確認結果のレビュー、機械学習要素
以外の構成要素（外部安全機構等）の更新

内部品質に係る機械学
習要素の更新

凡例 太字・下線：該当する品質に係る品質保証活動の主な実施主体、下線のみ：該当する品質に係る品質保証活動をレビュー等で支援する主体（注）データの収集等の内部品質の作り込みは「実装」フェーズに含めている。

93

表 4-4 の横軸で示した機械学習利用システムの構築・運用におけるフェーズ別に、信頼性評価に係る実施項目を整理し表 4-5 に示した。
表 4-5

機械学習利用システムの構築・運用におけるフェーズ別の実施項目

フェーズ

ステップ

品質保証での実施項目

PoC

－

－

要求・要件定義

1

システムの目的の設定902

システムの機能要件・利用時品質の設定

3

外部品質の設定4

外部品質のレベルに係る機械学習利用システムと安全関連系の整理

5

外部品質のレベル設定

6

内部品質のレベル設定

7

機械学習要素の設計・開発

8

機械学習利用システムの機械学習要素以外の構成要素（外部安全機構等）の開発

9

テスト（外部品質の評価）

10

検収

11

利用時品質の確認

12

外部品質の確認13

内部品質（運用時品質の維持性）の確認

14

システムの更新

設計

実装

テスト・検収運用

なお、本ガイドラインではフェーズを時系列で順に行うもの（要求・要件定義→設計→実装→テスト・検収→運用）として表現しているが、本ガイドラインは必ずしもウォーターフ
ォール型の開発スタイルに限って適用できるものではない。図 4-1 に示すように、各フェーズ及びフェーズ間で反復的に行うことも考えられる。例えば、テストフェーズにおいて、設計フェーズで定めた信頼性（例：外部品質として、誤検知頻度を限りなく小さくする）を十分達成していないと評価された場合は、その前のフェーズ・ステップに戻り、なぜ信頼性が十分達成されていないのか順を追って確認・再度実施することが有効である。このように、各フェーズ・ステップの実施事項を適宜行き来しながら信頼性評価を行うことも可能である。
また、本ガイドラインにおいても、機械学習要素の設計・開発（ステップ 7）においては

90

実際の AI 開発では、システムの目的が明確でないところからスタートする場合も多いが、本ガイドラ

インは、ユーザー側の課題が定まった後の検討を対象としている。課題の探索のための検討は、信頼性評
価を要する前の段階である。なお、「プラントにおける先進的 AI 事例集」では、「AI 事業の目的設定の困難さ」という課題と、これを乗り越える解決策を掲載しているので、参照されたい。

94

一般にアジャイル型の開発スタイルがとられると想定しており、本ガイドラインの適用に
V字モデルによる開発
より機械学習要素の開発スタイルの変更を要するものではない。

要求・要件定義

運用

設計

テスト・検収実装

各フェーズ・フェーズ間における反復的な開発

図 4-1

フェーズ間で反復のあるシステム構築・運用のスタイル

95

4.2.2 実施項目・実施内容の全体像
実施担当者・実施項目及び内容の全体像をリストとして表 4-6 に示す。各フェーズの記載及び以下の表の記載における担当は代表的な例であり、プロジェクトに応じて適切に設置される必要がある。

96

表 4-6

プラント保安分野における機械学習の信頼性評価 実施項目・内容リスト（凡例

実施者：太字…当該実施項目の主な実施主体 細字…当該実施項目のレビューの実施主体）

フェーズ

ステップ

品質保証での実施項目

実施者

実施内容

ガイドライン

PoC

－

－

－

－

要求・要件
定義

1

システムの目的の設定

事業企画担当改善したい「現状の課題」を整理、「システムの目的」を設定し、機械 －学習利用システムが必要か判断

現場担当

課題やシステムの目的に対し現場・ユーザーの立場からレビュー

プラントシステム担当

機械学習利用システムの機能要件と利用時品質を設定

2

設計

3

システムの機能要件
・利用時品質の設定

外部品質の設定

2.1.1
2.1.3
設定された機械学習利用システムの機能要件と利用時品質に対し 2.2.1
企画者の立場からレビュー(3.3)

事業企画担当

現場担当設定された機械学習利用システムの機能要件と利用時品質に対し現場・ユーザーの立場からレビュー

プラントシステム担当

利用時品質を踏まえ、機械学習要素の外部品質を設定

2.1.2
2.1.3
設定された外部品質の具体化内容に対し現場の立場からレビュー 2.2.2(3.3)

現場の管理担当

4

外部品質のレベルに係る機械学習利用システムと安全関連系の整理－

プラントシステム担当

機械学習利用システムの各構成要素（機械学習要素、機械学習要 2.2.3
素以外の構成要素（外部安全機構等））、同システムと独立した安全関連系の有無や機能要件を整理

現場の管理担当

機械学習利用システムの機械学習要素以外の構成要素（外部安全機構等）や同システムと独立した安全関連系について現場の立場からレビュー

環境安全担当機械学習利用システムの機械学習要素以外の構成要素（外部安全機構等）や同システムと独立した安全関連系について安全管理の立場からレビュー

97

フェーズ

ステップ
5

実装

品質保証での実施項目
外部品質のレベル設定

実施者

実施内容

プラントシステム担当

機械学習要素の外部品質のレベルの設定

現場の管理担当

外部品質のレベルに対し現場の立場からレビュー

2.2.3

6

内部品質のレベル設定

機械学習設計・開発担当

外部品質のレベルに応じて、機械学習要素の内部品質のレベルを 2.1.4
設定
2.2.4
附録（チェックリス
ト）
(3.3)

7

機械学習要素の設計・開発

機械学習設計・開発担当

機械学習要素の設計、内部品質の要求事項と観点に応じた開発

機械学習品質保証担当

テスト・検収

ガイドライン

2.2.5
附録（チェックリス
機械学習要素の開発において、設定した内部品質のレベルと観点 ト）を満たしているか品質保証の立場から確認

現場担当

機械学習要素の開発において、現場・ユーザーの立場からデータ提供プラントシステム担当

機械学習要素の開発において、データ管理の立場からデータ提供

8

機械学習要素以外の構成要 プラントシステム担当
素（外部安全機構等）の開発

設定した外部品質・利用時品質に必要な機械学習要素以外の構成 －要素（外部安全機構等）を開発

9

テスト（外部品質の評価）

システム品質保証担当

機械学習利用システムのテストを行い、その結果を評価。機械学習 2.2.3
要素の外部品質が要求水準に達しているか評価

プラントシステム担当

テスト結果の評価を踏まえて、外部安全機構・安全関連系の整理や、外部品質の設定及びレベル設定をした立場からレビュー）

環境安全担当テスト結果の評価に対し、安全管理の立場からレビュー

システム品質保証担当

テストでの外部品質の評価結果から機械学習利用システム全体の －評価を行い、それらの評価結果等を踏まえ基準を満たす機械学習
利用システムであれば検収事業企画担当機械学習利用システム全体の評価をプロジェクト発案者の立場から
レビュー

10

検収

98

フェーズ

運用

ステップ

11

品質保証での実施項目

利用時品質の確認

実施者

実施内容

現場担当

利用時品質の評価結果に対し現場・ユーザーの立場からレビュー

システム品質保証担当

運用中の機械学習利用システムの利用時品質を確認

現場担当
12

外部品質の確認

ガイドライン

2.1.1
2.1.3
利用時品質の確認結果に対し現場・ユーザーの立場からレビュー 2.2.1

システム品質保証担当

運用中の機械学習利用システムの利用時品質の確認結果も踏ま 2.2.3
え、外部品質を確認

プラントシステム担当

外部品質の確認結果を、外部安全機構・安全関連系の整理や、外部品質の設定及びレベル設定をした立場からレビュー

13

内部品質（運用時品質の維持性）の確認

機械学習品質保証担当

運用中の機械学習利用システムの利用時品質・外部品質の確認結 2.2.4
果も踏まえ、内部品質の要求事項と観点の対応状況を確認
2.2.5
附録（チェックリスト）

14

システムの更新

機械学習設計・開発担当

外部品質・内部品質の確認結果に応じて機械学習要素を更新

プラントシステム担当

2.2.4
2.2.5
利用時品質・外部品質の確認結果に応じて機械学習要素以外の構 附録（チェックリス
成要素（外部安全機構等）を更新、システム管理の立場から機械学 ト）
習要素の更新に対しデータ提供

現場担当

機械学習要素の更新において、現場・ユーザーの立場からレビュー99

4.2.3 フェーズ別の実施項目・実施内容(1) PoC
PoC は、純粋な試行的検討から本格開発の準備まで多様な意味を含む概念であり、すべての場合に信頼性評価の検討が求められるものではない。しかし PoC 後半で本格開発を見据える段階においては、以降の開発の際に信頼性評価を円滑に行う準備として、各フェーズにおける信頼性評価の実施事項・留意事項を予め考慮することが有効である。具体的には、表4-7 に示した事項は、構築プロセスを円滑に進める上で、PoC 終了段階で目処をつけておくことが望ましい。具体的なシステム・設備が未確定な PoC 段階で、外部品質の厳密なレベ
ル設定を行うことは困難だが、機能要件・利用時品質に照らして外部品質の要求レベルの見通しをつけ、内部品質の作り込みの方針を検討しておくことが有効である。
具体的な実施内容は、該当するフェーズの記載を参照されたい。
本格開発においては、それぞれ役割をもった担当が各実施項目を行うが、PoC フェーズにおいては、それらの役割を開発のコアメンバー（事業企画担当、プラントシステム担当、機械学習設計・開発担当等）で仮定しながら検討することが想定される。
表 4-7
フェーズ
要求・要件定義（4.2.3(2)）

設計（4.2.3(3)）

実装（4.2.3(4)）

PoC 終了段階で目処をつけることが望ましい項目
ステップ

品質保証での実施項目

ガイドライン該当箇所

1（4.2.3(2)1)）

システムの目的の設定―

2（(2)2)）システムの機能要件・
利用時品質の設定

2.1.1/2.1.3/2.2.1(3.3)

3（3.2.1(3)3)）

外部品質の設定

2.1.2/2.1.3/2.2.2(3.3)

5（(3)5)）

外部品質のレベル設定

2.2.3

6
（4.2.3(4)6)）

内部品質のレベル設定

2.1.4/2.2.4/附録（チェックリ
スト）
(3.3)

注）フェーズ・ステップの（）内の数字は、本ガイドライン 4.2 節内で該当するフェーズ・ステップが記載されている項目番号である。

100

(2) 要求・要件定義
要求・要件定義においては、まずプラントオーナー企業が自社の課題を特定し、それを解決するシステムの機能要件や利用時品質を設定する。
機械学習の利用の是非は、その課題解決への必要性に応じて判断される。課題を特定した
結果、機械学習要素が必要である場合については、本ガイドラインに基づいて信頼性評価を行う。機械学習要素が必要でない場合は、機械学習要素を含まないシステムとして従来通りの信頼性評価を行うこととなる。
表 4-8

フェーズ「要求・要件定義」の実施事項

ステップ

品質保証での
実施項目

1

システムの目的の設定

事業企画担当：システム導入によって改善したい現状の課題を整理、システムの目的を設定（現場担当：課題やシステムの目的に対し現場・ユーザーの立場からレビュー）ー2

システムの機能要件・利用時品
質の設定

プラントシステム担当：機械学
習利用システムの機能要件と利用時品質を設定（事業企画担当：設定された機械学習利用システムの機能要件と利用時品質に対し企画者の立場からレビュー
現場担当：設定された機械学習
利用システムの機能要件と利用時品質に対し現場・ユーザーの立場からレビュー）

2.1.1/2.1.3/2.2.1：利用時品質の位置づけ・軸・設定方法を確認（3.3：機能要件・利用時
品質の具体的な例とし
て参照）

実施者

101

ガイドライン該当箇所

1) システムの目的の設定⚫

実施事項

事業企画担当改善したい「現状の課題」を整理、「システムの目的」を設定し、機械学習利用システムが必要か判断（例えば、配管の点検にかかるコスト削減のために配管の画像診断を行いたい場合は、具体的にどういったコストや課題があるのかなどを検討）
現場担当
課題や目的に対し、現場・ユーザーの立場からレビュー⚫

ガイドラインの該当箇所

当該項目は、品質保証の入口となる活動だが、具体的な品質保証や信頼性評価の活動の前の段階であるため、ガイドラインの該当箇所はない。

図 4-2 ステップ 1「システムの目的の設定」の実施イメージ1022) システムの機能要件・利用時品質の設定⚫

実施事項

プラントシステム担当
機械学習利用システムの機能要件と利用時品質を設定
事業企画担当設定された機械学習利用システムの機能要件と利用時品質に対し企画者の立場からレビュー
現場担当設定された機械学習利用システムの機能要件と利用時品質に対し現場・ユーザーの立場
からレビュー⚫

ガイドラインの該当箇所

プラントシステム担当は、「2.1.1 利用時品質」「2.1.3 利用時品質・外部品質の軸」で利用時品質の位置づけ、「2.2.1 利用時品質の設定」で、利用時品質の設定の方法を理解する。
記載の方法に則って、機械学習利用システムの利用時品質を設定する。事業企画担当・現場
担当は、必要に応じて同じ箇所を参照する。
プラントシステム担当は、必要に応じて「3.3 ユースケースに基づく信頼性評価の具体的適用」のうち、今回構築する機械学習利用システムに類似するユースケースの機能要件・利用時品質の例を参照する。

図 4-3 ステップ 2「システムの機能要件・利用時品質の設定」の実施イメージ103

(3) 設計
機械学習利用システム全体の設計を行う。すなわち、機械学習利用システム全体に求められる利用時品質に基づき、機械学習要素の外部品質や機械学習要素以外のシステムの役割
といった、各構成要素に求められる要件を設定する。
なお、後の「(6)運用」フェーズで実施する各品質の確認のために、本フェーズの時点で、予め「(6)運用」で求められるモニタリングの頻度や実施基準を検討しておくことが重要で
ある。
表 4-9
ステップ

品質保証での実施項目

フェーズ「設計」の実施事項
実施者

ガイドライン該当箇所

3

外部品質の
設定

プラントシステム担当：利用時
品質を踏まえ、機械学習要素の外部品質を設定（現場の管理担当：設定された
外部品質の具体化内容に対し現場の立場からレビュー）

2.1.2/2.1.3/2.2.2：外部品
質の位置づけや設定の方法を確認（3.3：外部品質の具体的な例として参照）

4

外部品質のレベルに係る
機械学習利用システムと安全
関連系の整理プラントシステム担当：機械学
習利用システムの各構成要素（機械学習要素、機械学習要
素以外の構成要素（外部安全機構等））、同システムと独立した安全関連系の有無や機能要件・関係、を整理（現場の管理担当：機械学習利用システムの機械学習要素以外の構成要素（外部安全機構等）や同システ
ムと独立した安全関連系について現場の立場からレビュー
環境安全担当：機械学習利用システムの機械学習要素以外の構成要素（外部安全機構等）や同システ
ムと独立した安全関連系がある場合、その構成要素や安全関連系について安全管理の立場からレビュー）2.2.3：機械学習要素以外の構成要素、独立した安全関連系の位置づけに応じた外部品質のレベル
設定の考え方を確認

5

外部品質の
レベル設定

プラントシステム担当：機械学
習要素の外部品質のレベルの設定（現場の管理担当：外部品質のレベルに対し現場の立場から
レビュー）

2.2.3：外部品質のレベル設定の方法を確認

1043) 外部品質の設定91⚫

実施事項

プラントシステム担当
具体化した利用時品質の内容を踏まえ、機械学習要素の外部品質を設定
現場の管理担当
設定された外部品質に対し現場の立場からレビュー⚫

ガイドラインの該当箇所

プラントシステム担当は、「2.1.2 外部品質」「2.1.3 利用時品質・外部品質の軸」で、外部品質の位置づけ、「2.2.2 外部品質の設定」で、外部品質の設定の方法を理解する。記載の方法に則り機械学習要素の外部品質の設定をする。現場の管理担当は、必要に応じて同じ箇所を参照する。
プラントシステム担当は、必要に応じて「3.3 ユースケースに基づく信頼性評価の具体的適用」のうち、今回構築する機械学習利用システムに類似するユースケースの外部品質の具
体例を参照する。

図 4-4 ステップ 3「外部品質の設定」の実施イメージ

91

本ステップ「外部品質の設定」の段階では、機械学習特有の数値目標（例：○％以上の精度）を定める

必要はない。「リスク回避性」の外部品質に関しては、ステップ 5「外部品質のレベル設定」の過程で、安全関連系や外部安全機構を確認することを通して機械学習要素に要求される数値目標（危険につながる
誤判断の発生率等）を定めることができる場合がある。また、最終的には、機械学習要素を作り込む段階（ステップ 7「機械学習要素の設計・開発」）で、PoC の成果やデータの取得状況・学習状況等に応じて具体的な機械学習特有の数値目標（正解率(Accuracy)、F 値など）を設定できる。

105

4) 外部品質のレベルに係る機械学習利用システムと安全関連系の整理⚫

実施事項

プラントシステム担当
機械学習利用システムの利用時品質の達成及び機械学習要素の外部品質のレベル設定に必要な同システムの各構成要素（機械学習要素、機械学習要素以外の構成要素（外部安全機構等））、同システムと独立した安全関連系の有無や機能要件を整理
現場の管理担当
機械学習利用システムの機械学習要素以外の構成要素（外部安全機構等）や同システムと独立した安全関連系がある場合、その構成要素や安全関連系について現場の立場からレビュー
環境安全担当機械学習利用システムの機械学習要素以外の構成要素（外部安全機構等）や同システムと独立した安全関連系がある場合、その構成要素や安全関連系について安全管理の立場からレビュー⚫

ガイドラインの該当箇所

プラントシステム担当は、「2.2.3 外部品質のレベル設定」で、機械学習利用システムの各構成要素（機械学習要素及び機械学習要素以外の構成要素（外部安全機構等））、また同システムと独立した安全関連系の位置づけに応じた機械学習要素の外部品質のレベル設定の考え方を確認し、同システムの機械学習要素以外の構成要素及び同システムと独立した
安全関連系の有無や機能要件を整理する92。現場の管理担当・環境安全担当は、必要に応じて同じ箇所を参照する。

図 4-5 ステップ 4「外部品質のレベルに係る機械学習利用システムと安全関連系全体の整理」の実施イメージ

92

ここで、機能安全規格 IEC61508(JIS C 0508)、IEC61511(JIC C 0511)等の既存のシステム開発プロセスに基づき、機械学習利用システムと独立した安全関連系により十分に安全が確保されていることが確認できた場合、ステップ 2,3 で設定した利用時品質・外部品質のうち「リスク回避性」軸の項目を機械学習要素に設定する必要はないと判断される。例として「3.3.3 設備劣化診断」のユースケースで「リスク回避性」
軸の利用時品質・外部品質を設定しない場合を掲載している。

106

5) 外部品質のレベル設定93⚫

実施事項

プラントシステム担当
機械学習要素の外部品質のレベルを設定
現場の管理担当
外部品質のレベルに対し現場の立場からレビュー⚫

ガイドラインの該当箇所

プラントシステム担当は、「2.2.3 外部品質のレベル設定」で、外部品質のレベルの設定の方法を理解する。機械学習要素の外部品質や、機械学習利用システムの機械学習要素以外の構成要素（外部安全機構等）を踏まえ、記載の方法に則って外部品質のレベル設定を行う。
「リスク回避性」は必要に応じて機械学習利用システム全体の SIL 評価と「AISL 表」の活用を組み合わせて設定する。
「パフォーマンス」は基準に基づいて適切なレベルに設定する。
現場の管理担当は、必要に応じて同じ箇所を参照する。

図 4-6 ステップ 5「外部品質のレベル設定」の実施イメージ

93

機械学習要素に要求される数値目標について、本ステップ「外部品質のレベル設定」の過程で、安全関連系や外部安全機構を確認することを通して、危険につながる誤判断の発生率等を定めることができる場
合がある。最終的には、機械学習要素を作り込む段階（ステップ 7「機械学習要素の設計・開発」）で、
PoC の成果やデータの取得状況・学習状況等に応じて具体的な機械学習特有の数値目標（正解率(Accuracy)、F 値など）を設定できる。

107

(4) 実装
機械学習利用システムの実装にあたり、内部品質の実現を通じた機械学習要素の開発、及び機械学習要素以外の構成要素の開発を行う。機械学習要素の信頼性の具体的な確保策を検討し実施する重要な工程である。
表 4-10 フェーズ「実装」の実施事項
ステップ

品質保証での実施項目

実施者

ガイドライン該当箇所

6

内部品質の
レベル設定

機械学習設計・開発担当：外部品質のレベルに応じて、機械学習要素の内部品質のレベルを設定

2.1.4：内部品質の 8 つの軸の概要を理解
2.2.4：内部品質のレベル
設定を確認
附録（チェックリスト）：内部品質のプラント保安分
野での観点を確認（3.3、附録（チェックリスト）：内部品質のユース
ケース固有の観点を参照）

7

機械学習要素の設計・開発機械学習設計・開発担当：機械
学習要素の設計、内部品質の要求事項と観点に応じた開発
機械学習品質保証担当：機械
学習要素の開発において、内部品質の要求事項と観点を満たしているか品質保証の立場から確認（現場担当・プラントシステム担
当：機械学習要素の開発において、データ管理・現場・ユーザ
ーの立場からレビュー、データ提供）

2.2.5、附録（チェックリスト）：内部品質の「要求事項」と「観点」の実行についてと具体的に実行する項目を確認

8

機械学習利用システムの機械
学習要素以外の構成要素（外部安全機構等）の開発

プラントシステム担当：設定した外部品質・利用時品
質に必要な機械学習要素以外の構成要素（外部安全機構等）
を開発

ー

108

6) 内部品質のレベル設定⚫

実施事項

機械学習設計・開発担当
外部品質のレベルに応じて、機械学習要素の内部品質のレベルを設定し、設定したレベルに対応した要求事項および、プラント保安分野での観点とユースケース固有の観点を確認⚫

ガイドラインの該当箇所

機械学習設計・開発担当は、「2.1.4 内部品質」で内部品質の 8 つの軸の内容を、「2.2.4
内部品質のレベルの確認」で、内部品質のレベルの設定方法を理解する。機械学習要素の外
部品質及び外部品質のレベルに応じて、機械学習要素の内部品質のレベルを設定する。「附録（チェックリスト）」で、レベル設定に応じた「要求事項」や「プラント保安分野での観点」、また必要に応じて「3.3 ユースケースに基づく信頼性評価の具体的適用」のうち、今回構築する機械学習利用システムに類似するユースケースの「ユースケース固有の観点」を確認する。プラントシステム担当は、必要に応じて同じ箇所を参照する。

図 4-7 ステップ 6「内部品質のレベル設定」の実施イメージ

109

7) 機械学習要素の設計・開発94⚫

実施事項

機械学習設計・開発担当
機械学習要素の設計（機械学習要素の具体的な仕様やモデルの特定）、内部品質の要求事
項と観点に従った開発
機械学習品質保証担当
機械学習要素の開発において、内部品質の要求事項と観点を満たしているか品質保証の立場から確認現場担当・プラントシステム担当
機械学習要素の開発において、データ管理・現場・ユーザーの立場からレビューやデータ
提供、ラベル付けに協力）⚫

ガイドラインの該当箇所

機械学習設計・開発担当は、「2.2.5 内部品質の要求事項の確認および実行」で「要求事項」や「観点」の位置づけや実行方法について確認し、ステップ 6 で確認した「附録（チェックリスト）」における「要求事項」と「観点」に応じて、機械学習要素の設計・開発を行う。またそのプロセスにおいて、内部品質の「要求事項」や「観点」が満たされているか、
機械学習品質保証担当がガイドライン及び「附録（チェックリスト）」の同様の箇所を踏まえて確認し、対応の記録を保存する。現場担当・プラントシステム担当は、必要に応じて同じ箇所を参照する。

図 4-8 ステップ 7「機械学習要素の設計・開発」の実施イメージ

94

本ステップ「機械学習要素の設計・開発」において、PoC の成果やデータの取得状況・学習状況等に応じて具体的な機械学習特有の数値目標（正解率(Accuracy)、F 値など）を設定できる。

110

8) 機械学習利用システムの機械学習要素以外の構成要素（外部安全機構等）の開発⚫

実施事項

プラントシステム担当
設定した利用時品質および外部品質を満たすために必要な機械学習利用システムの機械
学習要素以外の構成要素（外部安全機構等）を開発⚫

ガイドラインの該当箇所

当該項目は、機械学習要素の外部品質のレベルの前提として必要な要件を満たし、利用時品質を達成するために必要である。しかし、機械学習要素には直接関わらない項目であるた
め、ガイドラインの該当箇所はない95。

図 4-9 ステップ 8「機械学習要素以外の構成要素（外部安全機構等）の開発」の実施イメージ95

機械学習要素以外の構成要素（外部安全機構等）は、機能安全規格 IEC61508(JIS C 0508)、

IEC61511(JIC C 0511)等の既存のシステム開発プロセスに従って開発する。

111

(5) テスト・検収
機械学習利用システムをテストし、その結果を評価する。また、テストの結果も踏まえ検収を行う。機械学習要素の内部品質は、ステップ 9「機械学習要素の設計・開発」の中で確認されるので、本フェーズにおいては、機械学習利用システムの中における機械学習要素の外部品質の評価を中心に行う。検収では、利用時品質を含む要求事項が確認される。
表 4-11 フェーズ「テスト・検収」の実施事項
ステップ

品質保証での
実施項目

9

10

実施者

ガイドライン該当箇所

テスト（外部品質の評価）

システム品質保証担当：機械学習利用システムのテストを行い、その結果を評価。機械学習要素の外部品質が要求水準に達しているか評価（プラントシステム担当：テスト結果の評価を踏まえて、
外部安全機構・安全関連系の整理や、外部品質の設定及びレベル設定をした立場からレビュー
環境安全担当：テスト結果の評価に対し、安全管理の立場からレビュー）

2.2.3：外部品質の評価
基準を確認

検収

システム品質保証担当：テストでの外部品質の評価結果から機械学習利用システム
全体の評価を行い、それらの評
価結果等を踏まえ基準を満たす機械学習利用システムであれば検収（事業企画担当：機械学習利用
システム全体の評価をプロジェ
クト発案者の立場からレビュー
現場担当：利用時品質の評価
結果に対し現場・ユーザーの立場からレビュー）―112

9) テスト（外部品質の評価）⚫

実施事項

システム品質保証担当
機械学習利用システムのテストを行い、その結果を評価。機械学習要素の外部品質が要求水準に達しているか評価
プラントシステム担当
テスト結果の評価に対し、外部安全機構・独立した安全関連系の整理や、外部品質及びそのレベル設定をした立場からレビュー
環境安全担当テスト結果の評価に対し、安全管理の立場からレビュー⚫

ガイドラインの該当箇所

システム品質保証担当は、「2.2.3 外部品質のレベル設定」で、外部品質の評価基準と方法を理解する。機械学習要素の外部品質の設定内容やレベルを踏まえ、テスト結果のうち機械学習要素の外部品質が要求水準に達しているか評価する。プラントシステム担当・環境安
全担当は、必要に応じて同じ箇所を参照する。

図 4-10 ステップ 9「テスト（外部品質の評価）」の実施イメージ

11310) 検収⚫

実施事項

システム品質保証担当
テストでの外部品質の評価結果から機械学習利用システム全体の評価を行い、それらの評価結果等を踏まえ基準を満たす機械学習利用システムであれば検収事業企画担当機械学習利用システム全体の評価をプロジェクト発案者の立場からレビュー
現場担当
利用時品質の評価結果に対し現場・ユーザーの立場からレビュー⚫

ガイドラインの該当箇所

検収は各社の基準に基づいて行われるため、ガイドラインで直接該当する箇所はないが、外部品質のレベルや、それに応じて設定した内部品質のレベル、内部品質の要求事項および対応の記録、またテストでの外部品質の評価結果を適切に踏まえる必要がある。

図 4-11 ステップ 10「検収」の実施イメージ114

(6) 運用
機械学習利用システムの運用開始後は、必要に応じてシステムの更新が行われる。品質検査を都度経て更新する場合、リアルタイムで更新する場合のいずれにおいても、機械学習要素及び機械学習利用システム全体のアウトプット（利用時品質・外部品質）のモニタリングを行う必要がある。また、その結果を踏まえシステムの更新をする必要があるが、その判断の基準などの仕組みは、運用開始前（「(3)設計」フェーズの時点）に用意することが必要な場合が多い96。
上記を踏まえ、運用フェーズの実施項目は、予め設定した頻度や実施基準に基づいて実施する品質保証の活動について記載する。
表 4-12 フェーズ「運用」の実施事項

96

ステップ

品質保証での
実施項目

11

実施者

ガイドライン該当箇所

利用時品質の確認システム品質保証担当：運用中の機械学習利用システ
ムの利用時品質を確認（現場担当：利用時品質の確認結果に対し現場・ユーザーの立場からレビュー）2.1.1./2.1.3/2.2.1：利用
時品質の概要を確認

12

外部品質の
確認

システム品質保証担当：運用中の機械学習利用システ
ムの利用時品質の確認結果を踏まえ、外部品質を確認（プラントシステム担当：外部品質の確認結果を、外部安全機構・安全関連系の整理や、外部品質の設定及びレベル設定をした立場からレビュー）

2.2.3：外部品質の評価
基準を確認

13

内部品質
（運用時品質の維持性）の確認

機械学習品質保証担当：運用中の機械学習利用システ
ムの利用時品質・外部品質の確
認結果も踏まえ、内部品質の要求事項の対応状況を確認

2.2.4：内部品質の評価
基準を確認
2.2.5、附録（チェックリ
スト）：内部品質の要求
事項と観点を確認

14

システムの更新

機械学習設計・開発担当：外部品質・内部品質の確認結果に応じて機械学習要素を更新
プラントシステム担当：機械学習要素以外の構成要素（外部安全機構等）を更新、シス
テム管理の立場から機械学習
要素の更新に対しデータ提供（現場担当：機械学習要素の更新において、現場・ユーザーの立場からレビュー）

2.2.4：内部品質の評価
基準を確認
2.2.5、附録（チェックリ
スト）：内部品質の要求
事項と観点を参照

産業技術総合研究所（2020）「機械学習品質マネジメントガイドライン 第 1 版」

11511) 利用時品質の確認⚫

実施事項

システム品質保証担当
運用中の機械学習利用システムの利用時品質の達成状況を、設定したタイミングで確認
現場担当
利用時品質の確認結果に対し現場・ユーザーの立場からレビュー⚫

ガイドラインの該当箇所

システム品質保証担当は、「2.1.1 利用時品質」「2.1.3 利用時品質・外部品質の軸」で利用時品質の位置づけ、「2.2.1 利用時品質の設定」で、利用時品質の設定の方法を理解する。
構築時のシステムの機能要件・利用時品質等を踏まえ、運用中のシステムの利用時品質が当初の目的を達成できているか確認する。現場担当は、必要に応じて同じ箇所を参照する。

図 4-12 ステップ 11「利用時品質の確認」の実施イメージ

11612) 外部品質の確認⚫

実施事項

システム品質保証担当
運用中の機械学習利用システムの利用時品質の確認結果も踏まえ、機械学習要素の外部品質の達成状況を確認
プラントシステム担当
外部品質の確認結果を、外部安全機構・独立した安全関連系の整理や、外部品質及びそのレベル設定をした立場からレビュー⚫

ガイドラインの該当箇所

システム品質保証担当は、「2.2.3 外部品質のレベル設定」で、外部品質の評価基準と方法を理解する。機械学習利用システムの機能要件や利用時品質、機械学習要素の外部品質の設定・レベル設定を踏まえ、運用中の機械学習要素の外部品質が当初設定した要求事項を達成できているか確認する。プラントシステム担当は、必要に応じて同じ箇所を参照する。

図 4-13 ステップ 12「外部品質の確認」の実施イメージ

11713) 内部品質（運用時品質の維持性）の確認⚫

実施事項

機械学習品質保証担当
運用中のシステムの利用時品質・外部品質の確認結果も踏まえ、「運用時品質の維持性」の内部品質の要求事項の対応状況を確認

97⚫

ガイドラインの該当箇所

機械学習品質保証担当は、「2.2.4 内部品質のレベルの確認」及び「2.2.5 内部品質の要求事項の確認および実行」「附録（チェックリスト）」を踏まえ、内部品質の「要求事項」と「観点」に対応できているか、特に「運用時品質の維持性」について確認する。

図 4-14 ステップ 13「内部品質の確認」の実施イメージ

97「運用時品質の維持性」の内部品質を満たすことを通して、他の内部品質の達成状況が低下していないかを確認する。

11814) システムの更新98⚫

実施事項

機械学習設計・開発担当
外部品質・内部品質の確認結果に応じて機械学習要素を更新
プラントシステム担当
利用時品質・外部品質の確認結果に応じて機械学習要素以外の構成要素（外部安全機構等）
を更新、システム管理の立場から機械学習要素の設計・開発に対しデータ提供
現場担当
機械学習要素の更新において、現場・ユーザーの立場から必要に応じて意見⚫

ガイドラインの該当箇所

機械学習設計・開発担当は、「2.2.4 内部品質のレベルの確認」及び「2.2.5 内部品質の要求事項の確認および実行」「附録（チェックリスト）」を踏まえた確認結果に応じて内部品質に修正を加えて、機械学習要素を更新する。現場担当・プラントシステム担当は、必要に応じて同じ箇所を参照する。機械学習要素以外の更新についてはガイドラインでの該当箇所はない。

図 4-15 ステップ 14「システムの更新」の実施イメージ

98

更新したシステムの外部品質は、テスト・検収フェーズに戻り、ステップ９（テスト）で確認する。

119プラント保安分野 AI 信頼性評価ガイドライン よくある質問と回答
#

分類

質問

回答

1

1章

現在プラントの操業に

本ガイドラインは、法令の規定を緩和したりそ適用されている諸法令の解釈を示したりするものではなく、法定検査や必要な法定手続きに機械学習要素を活用する場合は法定義務を遵と、本ガイドラインは守する必要があります。（1.3 適用範囲 を参どのように関係してい照）

るでしょうか。

なお、令和２年度に高圧ガス保安法に基づく通達が改正され、完成検査・保安検査や日常点検等において、AI を活用することが可能であることが明確化されました 。その際には、本ガイド
ライン等を参考にして安全に配慮することが求められています。法定検査・点検で AI を活用できる条件等については、当該通達・省令等を確認する必要があります。

2

1章

サイバー攻撃等の外部

サイバーセキュリティ等の外部攻撃への対応は、攻撃への対応は、本ガプラントシステムにとっての重要課題と認識しイドラインに含まれてておりますが、機械学習に特有の課題ではないた

いますか。

め、本ガイドラインでは個別に取り扱わず、別途検討が必要な事項として整理しています。
（1.3 適用範囲 を参照）

32章

本ガイドラインを活用

AI の信頼性（期待通りの品質（安全、損失が出なすることで「安全で、損い）が果たされること）を示すためには以下の 3

失を出さないために適点を満たす必要があります。

切な方法で AI を開発・ １．AI に求める性能が、AI 以外の要素（独立の安実装した」と説明でき

全関連系等）や運用（人間の関与等）によって適るのはなぜですか。

切に限定されている
２．AI の学習やテスト、実装、運用のプロセスが適切に設計されている
３．AI のテストが十分に実施されている
本ガイドラインでは、手順に沿って外部品質の項
目と AISL・AIPL を設定することで、１．を説明できます。
また、内部品質の要求事項を満たすことで、２．
を説明できます。
以上の１．及び２．をガイドラインに沿って検討した上で、テストを十分に行い、求める性能を得られれば（上記３．）、１．～３．のすべてを満たすことになります。

#

分類

質問

回答

4

2章

AIPL を 設 定 す る 際 の性能の水準の高低は、本ガイドラインで一律の基「性能の水準」につい準を示すものではなく、ユーザー企業・ベンダーて、設定の目安はあり

企業双方の合意により設定します。

ますか。
5

2章

利用時品質や外部品質

利用時品質・外部品質の項目は、将来的に達成しに記載する項目は、将たい目標ではなく、当該開発で到達したい目標を来的に実装したい機能記載します。

を含めて記載したほう

なお、その項目について AISL を判定する際に、がよいですか。

将来目標（例：現在は人間が出力を確認するが、将来は人間の関与を抑え、自動化する）を考えた場合に想定される AISL の上昇などを予め考えておくことは有用です（備考欄等に記録しておくと、将来の検討に有効です）。

62章

AI にミスが許されない

機械学習は原理的に 100%の精度を達成すること

時は、外部品質としては困難なので、既存のシステムとの組み合わせで「ミスゼロ」を設定す

安全を確保することで、機械学習要素に過度な安ればよいですか。

全機能を任せないようにすることが重要です。ガイドライン 2 章の末尾に、「AI に「精度 100%」は必要？」と題したコラムで、関連する内容を解説していますので、併せてご参照下さい。
その上で、外部品質は、「ミスゼロ」等の理念的な目標ではなく、機械学習要素に求める現実的な目標を設定する必要があります。ガイドラインでは、ユースケースの中で「誤判定率を限りなく小さくする」といった表現を例示しています。

72章

AI の定量的な性能目標

機械学習要素を作り込む段階（ガイドライン 4 章

は、いつどのように設のステップ 7「機械学習要素の設計・開発」）で、定すればよいですか。

PoC の成果やデータの取得状況・学習状況等に応じて具体的な機械学習特有の数値目標（正解率(Accuracy)、F 値など）を設定できます。また、「リ
スク回避性」の外部品質に関しては、ステップ 5「外部品質のレベル設定」の過程で、安全関連系
や外部安全機構を確認することを通して機械学習要素に要求される数値目標（危険につながる誤判断の発生率等）を定めることができる場合があります。
ステップ 3「外部品質の設定」の段階では、機械学習特有の数値目標（例：○％以上の精度）を定める必要はありません。

#

分類

質問

回答

8

2章

AI の精度だけでなく、

ユーザーフレンドリーの要素は、利用時品質に含機械学習利用システム

まれると考えますが、機械学習と関係するかどうがユーザー（作業員等） かで本ガイドラインの対象とするかが決まりまにとってフレンドリー

す。機械学習要素の出力の品質（出力内容、出力

か、という品質も重要

タイミング等）に関する場合は、「パフォーマンと考えますが、ガイドス」として取り扱えます。一方、システムのユー

ラインではどのようにザーインターフェースなどはガイドラインの対取り扱えばよいです

象外です。

か。
9

2章

ベンダー主導で AI を提本ガイドラインの信頼性評価は、プラントへの実案しています。AISL の装を前提としています。このため、検討がベンダ判定に用いる AI の誤判

ー主導であっても、プラントオーナー側が関与し断の影響評価は、ベンて影響を想定することが必要です。

ダー側では検討が難し
いですが、プラントオーナー側の関与は必須
ですか。
10

4章

4 章に記載されている

機械学習利用システムの開発プロジェクトに参「担当」の関与は必須画する企業・担当部署の種類や、それぞれの組織ですか。当社の AI 開発の役割は、個別のプロジェクトによって異なりまの体制と合わない部分

す。実際の適用に合わせて記載いただくことで問があります。

題ありません。
なお、本ガイドラインの「実用例」では、実際のプロジェクトにおいて信頼性評価を実施した実例に基づいて担当者を記載しているので、併せて参照してください。

#

分類

質問

回答

11

4章

4 章に記載の「担当」に

例えば、機械学習利用システムの機能要件や利用ついて、主担当者とレ時品質を、プロジェクトを牽引する「事業企画担

ビュー担当者の違いは当」が設定し、それが正しく設定されているか、何ですか。ガイドライ

システムを最終的に利用する「現場担当」が確認

ンに記載の例から、主を行う場合、主担当は「事業企画担当」で、レビ担当者とレビュー担当

ューを行うのは「現場担当」となります。レビュ者の役割が入れ替わっーを行う担当者は、必ずしもガイドラインの内容ても問題ないですか。

を読んで理解する必要は無く、主担当者からの依頼に応える形で信頼性評価に関与する、としています。（4.1 節 ガイドライン活用の主体 を参照）
プロジェクトによって役割は変動するため、4 章に記載の役割分担はあくまで参考例として扱ってください。「主担当者→ユーザー企業／レビュ
ー担当者→ベンダー企業」等と固定せず、主担当
者とレビュー担当者の役割を適切に割り振り、どういった担当者が関与して品質を設定したかを明らかにすることが重要です。

12

その複数の AI が連携する場

本ガイドラインでは、それぞれの AI を個別に評他

合、ガイドラインをど価します。AI の出力が別の AI の入力になることのように適用すればよについての特別な考慮事項はありません。

いでしょうか。
13

その学習済みの AI を導入す学習済み AI も、出力の信頼性を既存手法で評価

他る場合も、本ガイドラ

できないため、本ガイドラインの手法で評価する

インの適用対象となる対象に含まれます。

でしょうか。
14

そのAI の適用先のプラント

本ガイドラインでは、「実装先１箇所ごと」の評他が複数ある場合、AI の価を原則としているため、実装先が複数プラント

誤判断の影響をすべての場合はプラント毎に別途信頼性評価を行いまの適用先について合計す。誤判断の影響が複数プラントに波及しうる場

して AISL 判定に用いる

合は、「実装先１箇所で起きる影響の発生頻度が必要がありますか。

高い」ものとして取扱います。
ただし、AISL 表上では発生頻度の高低は考慮されません（AISL 表は、一律に発生頻度が高いものとして評価することになっています。）。詳細評
価を行う場合に考慮される事項となります。

#

分類

質問

回答

15

その

AI を複数同時に活用す

AI を複数持つことで冗長性を確保することは、現他ることで冗長性を持た時点では難しいと考えています。例えば、アンサせることは、信頼性をンブルにより精度向上を図る AI は、本ガイドラ

上げることにつながり

インでは全体をひとつの AI として評価することますか。

になります。
なお、AI と、AI 以外のシステムで冗長性をもたせる場合は、AI 以外のシステムの信頼性が確認されていれば、AI 以外のシステムを当該 AI の「外部安全機構」として取り扱うことができます。

16

17

その

実際の AI 開発では、シ本ガイドラインは、ユーザー側の課題が定まった他

ステムの目的が明確で後の検討を対象としています。課題の探索のためないところからスターの検討は、信頼性評価を要する前の段階です。なトする場合も多いです

お、「プラントにおける先進的 AI 事例集」では、が、そのような場合も「AI 事業の目的設定の困難さ」という課題と、こ本ガイドラインは参考

れを乗り越える解決策を掲載していますのでごになりますか。

参照ください。

その外部品質は個別の AI 開

外部品質と内部品質は緊密に連関しています。内他

発事例ごとに設定する

部品質の要求事項は定められていますが、その要一方で、内部品質の要求を達成するための方法（サブフォーマットに記

求事項は既に定められ載する内部品質確保の具体的な取組）は、外部品ており変わりません。

質（およびその前提となる利用時品質、機能要件）

外部品質の設定は、あによって異なります。すなわち、外部品質のレベ

くまでレベル設定のみ

ルに応じて内部品質の要求レベルが変わるだけのために行うもので、でなく、同一レベルでも、内部品質の達成の方法

内部品質とは関係ない

は個別のケースごとに異なります。

のでしょうか。
18

その開発している AI が問題

内部品質の要求事項は、レベル（Lv1～Lv3）に応

他ないことを示すためじて要求されるすべての事項に対応する（要求をに、内部品質の要求事満たすか、該当しないことを説明する）ことで、項のチェックリストを

当該レベルの AI の信頼性が確保されたと説明でどのように使えばよい

きます。

ですか。

内部品質 Lv1 は AISL0.1・AIPL1、内部品質 Lv2
は AISL0.2・AIPL2、内部品質 Lv3 は AISL1 にそれぞれ対応します。例えば内部品質 Lv2 の要求事
項 に す べ て 対 応 す る こ と で 、 AISL0.2 ま た は
AIPL2 を確保している、と説明できることになります。

附録
内部品質確保のための「プラント保安分野での観点」チェックリスト

附録

内部品質確保のための「プラント保安分野での観点」チェックリスト【本チェックリストの使用方法】
0 （チェックリストを見る前に）機械学習要素の開発にあたり、要求されている内部品質の要求レベル（レベル1～3）を確認する。（ガイドライン2.2.4項）
1 下記「本チェックリストの使用場面」に応じて検討する内部品質軸について、該当する要求レベルの要求事項を確認する。
2 該当する要求レベルの要求事項と直接関連する「プラント保安分野での観点」を確認する。「内部品質の要求レベル」欄で該当する要求レベル（Lv1～Lv3）を確認する。
開発する機械学習要素がユースケースと類似している場合は、同様に「ユースケース固有の観点」も確認する。
3 要求事項を問わない共通的な「プラント保安分野での観点」を確認する。「内部品質の要求レベル」欄には、「共通」と記載している。
開発する機械学習要素がユースケースと類似している場合は、同様に「ユースケース固有の観点」も確認する。

【本チェックリストの使用場面】
データの設計

1「データの設計」の検討（要求分析の十分性、データ設計の十分性）
検討の例：
・データ収集でカバーすべき属性、環境要因等の検討
・要求分析や収集データについての現場のエンジニアへの確認

データの確認等

2「データの品質」の検討（データセットの被覆性、データセットの均一性）
検討の例：
・カバーすべき属性・環境要因等が収集できていることの確認
・データ不足時のシミュレータ活用の検討

学習

等

3「学習済みモデルの品質」の検討（機械学習モデルの正確性、機械学習モデルの安定性）
検討の例：
・誤判断の許容水準の検討
・テスト手法の検討

実装・運用

等

4「実装・運用の品質」の検討（プログラムの健全性、運用時品質の維持性）
検討の例：
・実装に利用するソフトウェアの検討
・精度検証・再学習の頻度設計

等

図「機械学習品質マネジメントガイドライン」における内部品質

出所）産業技術総合研究所「機械学習品質マネジメントガイドライン

第1版」

内部品質確保のための「プラント保安分野での観点」チェックリスト「機械学習品質マネジメントガイドライン
使用場面

内部品質軸

第1版」における内部品質要求事項

関連する「ユースケース固有の観点」（本文3.3節を参照）

リスク回避性

パフォーマンス

内部品質

要求事項

レベル

レベル

要求レベル

No.

プラント保安分野での観点

内部品質要求事項

配管の肉厚予測

配管の画像診断

設備劣化診断異常予兆検知・診断

運転最適化

・プラント分野における「主要な品質低下リス
ク」と「その原因」として、以下を検討しましたか？
データの設計

1要求分析の十分性AISL0.1

AIPL1

Lv1

1

主要な品質低下リスクが発生する原因について検討を行い記録する。

- 環境の変化：季節、天気、昼夜、気温、立地

ー

ー

ー

ー

ー

する原因」の検討結果に基づいたデータ設計を行 ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

分析するために、現場のプラントエンジニアによ ー

ー

ー

ー

ー

※カメラ等での認識を行わない場合、本ユース※カメラ等での認識を行わない場合、本ユース※カメラ等での認識を行わない場合、本ユースケースには該当しない。

ケースには該当しない。

ケースには該当しない。

など- 製品特性の変化：種類、成分など- プラントの状態の変化：立ち上げ時、通常時など

データの設計

1要求分析の十分性AISL0.1

AIPL1

Lv1

2

No.1の検討結果に基づき、データの設計を行い必
要な属性等に反映する。

・プラント分野における「品質低下リスクが発生いましたか？
・「工学的に一定の網羅性を持つ分析」として、

システム全体での利用品質低下リスクとその影響
データの設計

1要求分析の十分性AISL0.2

AIPL2

Lv2

3 について、工学的に一定の網羅性を持つ分析を行い、文書として記録する。

安全関連系全体のSIL評価や、FTA、
STAMP/STPA等の工学的リスク分析に係る既存の情報があれば、それを活用しましたか？
・既存の工学的分析がない場合は、一定の網羅性を持つ分析を新たに実施しましたか？

それぞれのリスクについて対策の要否を分析し、データの設計

1要求分析の十分性AISL0.2

AIPL2

Lv2

4 機械学習要素への入力においてそのリスクに対応 ーする特徴となる属性について分析を行う。
また、応用に即した機械学習要素の入力をもたら

データの設計

1要求分析の十分性AISL0.2

AIPL2

Lv2

5 す環境の特徴について、機械学習の容易さなどの ー分析を行い記録する。
No.3～5の分析結果に基づいて属性と属性値のデータの設計

1要求分析の十分性AISL0.2

AIPL2

Lv2

6 セットの検討を行い、その決定の経緯を記録する。

データの設計

1要求分析の十分性

AISL1

ー

Lv3

7 Lv2に加えて、以下の活動を行う。

・プラント分野における「利用環境の特徴量として捉えるべき要素」として、以下を検討しました
システムの利用環境の特徴量として捉えるべき要 か？
データの設計

1要求分析の十分性

AISL1

ー

Lv3

8

素について、過去の自己・他者の検討結果などの- 環境の変化：季節、天気、昼夜、気温、立地

文献調査を行い、必要な集合の抽出に至る検討経 など
緯を記録する。

- 製品特性の変化：種類、成分など- プラントの状態の変化：立ち上げ時、通常時など

システム全体の利用時品質低下リスクについて
データの設計

1要求分析の十分性

AISL1

ー

Lv3

9

も、そのシステムの応用分野に即した過去の検討結果などを調査し、取捨選択の経緯も含めて検討

ー

経緯を記録する。
また、システム全体の利用時品質低下リスクにつ ・「工学的分析」として、安全関連系全体のSIL
データの設計

1要求分析の十分性

AISL1

ー

Lv3

10 いては、Fault Tree Analysisなどの工学的分析を 評価や、FTA、STAMP/STPA等の工学的リスク
用いた抽出も行い、その結果を記録する。

分析を行いましたか？（Lv3においては必須）
・プラントでの全ての利用状況を被覆しているか

データの設計

1要求分析の十分性

共通

共通

共通

11 ー

る要求分析を行いましたか？

データの設計

1要求分析の十分性

共通

共通

共通

12 ー

・カメラ等での認識を行うAIの場合、認識対象と ※カメラ等での認識を行わない場合、本ユースする設備の箇所や状態を絞り込みましたか？

・設備の状態の変化を検知・予測するAIの場合、データの設計

1要求分析の十分性

共通

共通

共通

13 ー

検知・予測対象とする箇所や状態を絞り込みましたか？

データの設計

1要求分析の十分性

共通

共通

共通

14 ー

データの設計

1要求分析の十分性

共通

共通

共通

15 ー

データの設計

1要求分析の十分性

共通

共通

共通

16 ー

・要求に工学的因果関係の説明が含まれる場合、活用する上で必須かどうかを確認しましたか？

・学習だけでなく交差検証や汎化性能等が確かめ

ケースには該当しない。

 保温材が巻かれている配管を取り扱う場合は、
配管そのものの劣化ではなく、保温材の劣化が対象となる点に注意する。

 製造条件によって変化する製品の成分値に対し  どの箇所のどのような異常を対象とするのかに 腐食の種類によって「データ設計の十分性」「データセットの被覆性」の評価にも影響するため、どの腐食を対象とするかという点まで絞り込て、どの成分値の範囲までを対象とするか検討す よって、「データ設計の十分性」「データセット
ーむ。

る。製造する製品が異なる場合だけでなく、流体 の被覆性」の評価にも影響するため、どの箇所の ー(※)やプロセスが変わった場合も含む。

どのような異常を対象とするかという点まで要求(※)混相流・多相流の配分変化などを特定する。
 異常の検知と、それに関連する変数との間で、

ー

ー

ー

工学的に意味のある因果関係が不明であっても、 ー相関のみで活用することは妨げない。

ー

ー

ー

ー

ー

供されていますか？もしくは生成、獲得すること ー

ー

ー

ー

ー

ー

ー

ー

ー

られるデータ量が確保できますか？
・ユーザ企業から、課題解決に繋がるデータが提が可能になっていますか？
・課題のモデル化に際して、学習用データセット

データの設計

1要求分析の十分性

共通

共通

共通

17 ー

の説明変数の数・因果関係の数が複雑過ぎる、もしくは単純すぎることはありませんか？また、多重共線性は考慮していますか？

ー内部品質確保のための「プラント保安分野での観点」チェックリスト「機械学習品質マネジメントガイドライン
使用場面

内部品質軸

第1版」における内部品質要求事項

関連する「ユースケース固有の観点」（本文3.3節を参照）

リスク回避性

パフォーマンス

内部品質

要求事項

レベル

レベル

要求レベル

No.

プラント保安分野での観点

内部品質要求事項

配管の肉厚予測

配管の画像診断

設備劣化診断異常予兆検知・診断

運転最適化

・運用中の入力データについて、異常な動作に繋がるような、または不適切なデータ（学習時の学
データの設計

1要求分析の十分性

共通

共通

共通

18 ー

習用データとは別の⺟集団から得られた運用時の

ー

ー

ー

ー

ー

して反映できるプロセス、体制が構築されていま ー

ー

ー

ー

ー

入力データ、入力データの外れ値など）を検知し、排除する機構の必要性について考慮しましたか？
・既存の AI 適用先の経験を、次の開発に技術とデータの設計

1要求分析の十分性

共通

共通

共通

19 ー

すか？

データの設計

データの設計

データの設計

データの設計2データ設計の十分性

2データ設計の十分性

2データ設計の十分性

2データ設計の十分
性

主要なリスク要因に対応する属性（1要求分析の
AISL0.1

AIPL1

Lv1

20 十分性 で検討）について、それぞれに対応した

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ケースを設定すること。

AISL0.1

AIPL1

Lv1

21

さらに、複合的なリスク要因については、その組
み合わせに対応したケースを設定すること。

また、特に重要と考えられる環境要因の差異に対AISL0.1

AIPL1

Lv1

22 する属性を抽出し、大きなリスクの要因との組みしたか？
- 外部環境：天気、気温、設置場所など

合わせに対応するケースを用意すること。

AISL0.2

AIL2

Lv2

23 Lv１の要求を全て満たすこと。

 「環境要因」とは、ここでは日照、天気、季・プラント分野における「環境要因」を抽出しま 「環境要因」とは、ここでは気候、塩分(海からの距離や風向などの地域性)などを指す。

- 生産プロセス：生産負荷、運転手順など

節、時間帯などを指す。

 「環境要因」とは、ここでは設置場所、動作環  「環境要因」とは、ここでは異常の検知に影響 画像のブレに対処するためモデルにより吸収す 境、気温・湿度、運転方法、原材料、用役などを する環境要因（生産負荷、生産ロット等）を指ることも考えられるが、システムの複雑化・不確 指す。

す。

 「環境要因」とは、ここでは運転手順や原材料などを指す。

定要素の増加を招く可能性を把握する。

ー

ー

ー

ー

ー

ー

24 値」と、「その属性値の属する属性以外の全ての ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

か、現場のプラントエンジニアによるケース確認 ー

ー

ー

ー

ー

※カメラ等での認識を行わない場合、本ユース※カメラ等での認識を行わない場合、本ユース※カメラ等での認識を行わない場合、本ユースケースには該当しない。

ケースには該当しない。

ー

ー

ー

・データの品質のブレをモデルで吸収する場合、

 画像のブレに対処するためモデルにより吸収すシステムの複雑化・不確定要素の増加を招く可能 ー

ることも考えられるが、システムの複雑化・不確 ーーー性を検討しましたか？

定要素の増加を招く可能性を把握する。

ーー

特に重要と考えられるリスク要因については、原則としてpair-wise coverageの基準を満たすこ
データの設計2データ設計の十分性と。具体的には、「その原因の組み合わせの属性
AISL0.2

AIL2

Lv2

属性について、属性に含まれる属性値を１つずつ個別に選択したもの」の組み合わせのケースを含むこと。

データの設計2データ設計の十分性

工学的な検討に基づき、属性の網羅基準を設定
AISL1

ー

Lv3

25 し、その網羅基準を満たす属性値の組み合わせの ー
集合をケースとして設定すること。
網羅基準の厳密さ（pair-wise coverage、triple-

データの設計2データ設計の十分性

wise coverage等）は、製品の利用状況やリスク
AISL1

ー

Lv3

26 の重大さなどを加味して設定されること。必要な ー場合には、個別のリスクに応じてリスク毎に基準を個別に設定することも考えられる。

データの設計2データ設計の十分
性・リスク要因に関連する属性が抽出できている
共通

共通

共通

27 ー

を行いましたか？
 配管によって塗装や防錆塗装あるいは配管そのデータの設計2データ設計の十分
性・カメラ等での認識を行うAIの場合、認識対象と
共通

共通

共通

28 ー

する設備の箇所や材質などによって、データの範囲や取得容易性が変わることを検討しましたか？

ものの地肌の色が異なっているので、それらの違※カメラ等での認識を行わない場合、本ユースいを加味して精度を確保する。

ケースには該当しない。

 配管上に積雪があるケース等、画像により直接 ケースには該当しない。
配管外面を確認することができない場合があることを把握する。

データの設計

データの設計2データ設計の十分性

2データ設計の十分
性

共通

共通

共通

共通

共通

共通

29 ー

30 ー

・データの品質が一定に保たれるように、ルールの整備を行いましたか？

 撮影方法のルール・留意点の整備によりデータ
ーの品質を一定レベルとすることについて検討する。

・プラントで生産する製品の特性（種類、成分なデータの設計2データ設計の十分
性

共通

共通

共通

31 ー

ど）のデータを学習するAIの場合は、製品の特性の範囲をカバーしたデータの収集可能性を検討しー※製品の特性（種類、成分など）のデータを活用  対象とする製品の成分値の範囲に対して、それしない場合、本ユースケースには該当しない。

らの学習データが収集できるかどうか検討する

ましたか？
 シミュレータのデータを利用する場合、環境要データの設計2データ設計の十分性・シミュレータのデータを利用する場合、環境要
共通

共通

共通

32 ー

因の変化（例：高湿度→低湿度）がシミュレータ

因の変化がシミュレータで考慮されているか確認 ーー

で考慮されているか確認する。
 データセットをシミュレーションで取得する場しましたか？

 データセットをシミュレーションで取得する場  データセットをシミュレーションで取得する場
合は、シミュレータの妥当性を十分検証する。

合は、シミュレータの妥当性を十分検証する。

ーー

合は、シミュレータの妥当性を十分検証する。
 部材の変更直後は基本的に「劣化無し」のデー
タとしてよい。「劣化なし」期間は部材のスペッ

データの設計2データ設計の十分性クに依るが、使用環境で変化することに注意する

・データの収集において、メンテナンスの直後は
共通

共通

共通

33 ー

傾向が変わる可能性があることを検討しました
か？

ー

ー

（過去の交換頻度等を参照して、「劣化なし」とする期間を決定する）。
 部材の変更直後で「慣らし運転 」が必要な場合
は、その期間はデータを収集しないなどの管理を行う。

内部品質確保のための「プラント保安分野での観点」チェックリスト「機械学習品質マネジメントガイドライン
使用場面

内部品質軸

第1版」における内部品質要求事項

関連する「ユースケース固有の観点」（本文3.3節を参照）

リスク回避性

パフォーマンス

内部品質

要求事項

レベル

レベル

要求レベル

No.

プラント保安分野での観点

内部品質要求事項

配管の肉厚予測

配管の画像診断

設備劣化診断異常予兆検知・診断

運転最適化

 「応用の状況」とは、ここでは検知したい異常
データの確認3データセットの被覆性テスト用データセットの取得源や方法を検討し、
AISL0.1

AIPL1

Lv1

34 応用の状況に対して偏りがないことを期待できるようにすること。

・プラント分野における「応用の状況」を抽出しましたか？

 「応用の状況」とは、ここでは対象とする配管

 「応用の状況」とは、ここでは対象とする設備 の深刻度（ハイアラーム／ハイハイアラーム

や観測の頻度、評価の時間軸（リアルタイムの予 ーの種類や稼働状況(常時／一時、負荷の変更等)な 等）や、機械学習利用システムの活用場面（常時測を行うか等）などを指す。

どを指す。

／一時、昼間／夜間、定常時／非定常時

等）を

指す。
各ケース（2データ設計の十分性 で検討）毎に、データの確認3データセットの被覆性AISL0.1

AIPL1

Lv1

35

元データから偏りのないサンプル抽出などを行い、偏りがないことを期待できるようにすること。

データの確認3データセットの被覆性AISL0.1

AIPL1

Lv1

36

AISL0.1

AIPL1

Lv1

37

No.34,35の偏りを入れないために行った活動について、記録を行う事。

 「応用の状況」とは、ここでは適用する操作場
面（季節、時間帯、定常／非定常、非定常の場合
はスタートアップ/シャットダウン等）、操作対象設備などを指す。

 本ケースの場合、学習データとして異常時デー

・「正常」を学習し「異常」を分類・予測する枠組みである場合、テスト用データとして異常デー ーーー

タの網羅が難しいことを検討しましたか？

タを網羅することは必須としない。一方で、正常 ー領域における網羅的なサンプル抽出が必要。

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

 ある状態の稼働データが十分取得できない場

 ある範囲の正常データが十分取得できない場分析した各ケースについて訓練用データ、バリ
データの確認3データセットの被覆性デーション用データおよびテスト用データが十分に存在することを、訓練フェーズやバリデーショ
ンフェーズなどで確認すること。

ケースに対して訓練用データが十分に取得できな
データの確認3データセットの被覆性AISL0.1

AIPL1

Lv1

38

い場合には、網羅基準を見直して緩めた上で、当初の基準に照らして個別にシステム結合テストな

データの確認データの確認データの確認データの確認データの確認データの確認データの確認データの確認データの確認データの確認データの確認データの確認3データセットの被覆性
3データセットの被覆性
3データセットの被覆性
3データセットの被覆性

3データセットの被覆性
3データセットの被覆性
3データセットの被覆性

3データセットの被覆性

3データセットの被覆性
3データセットの被覆性
3データセットの被覆性
3データセットの被覆性
3データセットの被覆性範囲の分類・予測精度が低くなる可能性を検討しましたか？

 ある範囲のデータ量が十分でない場合、その範  ある範囲のデータ量が十分でない場合、その範
囲の予測精度が低くなることを認識する。

囲の予測精度が低くなることを認識しておく。

ー

合、その状態から逸脱する劣化を検出する精度が 合、その範囲では異常を検出する精度が低下する ー
低下する可能性があることを認識すること。

可能性があることを認識する。

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

42 いて、取得方法以外の何らかの積極的な確認を行 ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

どで確認すべきことを記録しておくこと。

データの確認・特定の範囲のデータ量が十分でない場合、そのAISL0.2

AIPL2

Lv2

39 Lv1に加えて、以下の取り組みなどを行うこと。 ー

AISL0.2

AIPL2

Lv2

40 各ケース毎に、およその出現確率の想定を把握す ー

各属性値（1要求分析の十分性で検討）またはること。
AISL0.2

AIPL2

Lv2

41

取得できたデータがその分布から外れていないことを確認すること。
各ケース毎に、中に含まれるデータの被覆性につAISL0.2

AIPL2

Lv2

うこと。
例えば、各ケース毎に、そのケースに含まれない
AISL0.2

AIPL2

Lv2

43 属性がある場合、その属性に関する分布を抽出し ーて、著しい偏りがないことを確認すること。
Lv2に加え、各ケース毎に、中に含まれるデータ

AISL1

ー

Lv3

44

ー

ー

ー

ー

ー

ー

AISL1

ー

Lv3

45 組み合わせに含まれる属性値以外のデータ間相関 ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

断が適切に行える専門性を持った要員によって行 ーーの被覆性について、一定の指標を得ること。
例えば、特微量抽出などの技法を用いて、ケースがないことなどを確認すること。
あるいは、各ケース毎の、ケースに含まれない属

AISL1

ー

Lv3

46 性の分布について、あらかじめ想定される分布を ー検討し、相違について分析を行い記録すること。

共通

共通

共通

47 ー

共通

共通

共通

48 ー

共通

共通

共通

49 ー

・データセットの取得源が正しいかどうか、現場のプラントエンジニアが確認しましたか？
・プラントシステムの起動時など非定常状態の

 稼働データの劣化有無ラベルの確認は、その判
う。
ー

ー

ー

ー

ー

広い稼働状態のデータをカバーする必要があるこ ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

データの扱いを考慮しましたか？
・化学プラントでは状態が常に変化するため、幅とを検討しましたか？

共通

共通

共通

50 ー

共通

共通

共通

51 ー

・データをシミュレーションで取得する場合は、シミュレータの妥当性を十分検討しましたか？
・天候などの「外乱」が影響する場合、それを考慮したデータセットになっていますか？

 天候などの「外乱」を想定したデータセットになっているか留意する。

 周囲の環境（日照、時刻など）やドローン撮影
データの確認3データセットの被
覆性

共通

共通

共通

52 ー

・前提としている属性のデータの範囲はカバーできていますか？

 配管の内容物・流量・材質・流速・圧力など、 での画像のブレなど、入力画像が不鮮明になる場
前提としている属性のデータの範囲がカバーでき 合の対応を検討する。
ているか注意する。

ー 環境要因の各属性のデータの範囲がカバーできているか注意する。

データの確認データの確認データの確認3データセットの被覆性

3データセットの被覆性

3データセットの被覆性

 正常時データが実際に正常時のものであること

・正常時のデータを扱う場合、実際に正常時のも
共通

共通

共通

53 ー

のであることの確認は、その判断が適切に行える ーーー

専門性を持った要員が行いましたか？

共通

共通

共通

54 ー

共通

共通

共通

55 ー

・人間の操作や手順等を学習する場合、偏ったケース設定になっていませんか？

・データの基本統計量（欠測値・外れ値の割合、
平均・分散・共分散など）を確認しましたか？

の確認は、その判断が適切に行える専門性を持っ ー
た要員によって行う。

ーー※人間の操作や手順に係るデータを活用しない場
合、本ユースケースには該当しない。

ー

ー

ー

ー

ー

 ベテランオペレータの運転を学習する際は、偏ったケース設定となっていないか留意する。

ー内部品質確保のための「プラント保安分野での観点」チェックリスト「機械学習品質マネジメントガイドライン
使用場面

データの確認

内部品質軸
3データセットの被覆性第1版」における内部品質要求事項

関連する「ユースケース固有の観点」（本文3.3節を参照）

リスク回避性

パフォーマンス

内部品質

要求事項

レベル

レベル

要求レベル

No.

プラント保安分野での観点

内部品質要求事項

配管の肉厚予測

配管の画像診断

設備劣化診断異常予兆検知・診断

運転最適化

・人間によるアノテーションが必要な場合、その
共通

共通

共通

56 ー

管理の方策（アノテーションの履歴の記録等）を ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

不足するデータを増やすこと）をルールベースプ ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

 ある状態の稼働データが十分取得できない場

 ある範囲の正常データが十分取得できない場検討しましたか？
・正常／異常の判断など特に安全に関係する領域について、特にテスト用データセットの品質（外データの確認3データセットの被
覆性

共通

共通

共通

57 ー

れ値や欠損がないこと、ラベルが正しいこと・ラ
ベルを付した人が明確であること、取得日時や場所・来歴が明確であること等）を重点的に確認しましたか？
・データの補強（data augmentationのこと。例

データの確認3データセットの被覆性

えば画像データを左右線対称にしたデータを作り
共通

共通

共通

58 ー

ログラミングで行う場合、その妥当性を十分に検討しましたか？
・補強(augumentation)したデータが適切であっデータの確認3データセットの被
覆性

共通

共通

共通

59 ー

たか評価しましたか？開発時の仮定に対して、運用時に得られる追加データの分布やラベリングに対して適切であったか評価しましたか？

データの確認データの確認4データセットの均
一性
4データセットの均
一性

ー

AIPL1

LvE1

60 （前節「データセットの被覆性」Lv1に同じ。） ー
テスト用データセットの取得源や方法を検討し、

ー

AIPL1

LvE1

61 応用の状況に対して偏りがないことを期待できるようにすること。

・プラントにおけるデータセットの取得源や取得方法に注意しましたか？

各ケース（2データ設計の十分性 で検討）毎に、データの確認4データセットの均
一性

ー

AIPL1

LvE1

62

元データから偏りのないサンプル抽出などを行

・実測値データの量に偏りがある場合、シミュい、偏りがないことを期待できるようにするこ

レータの利用を検討しましたか？

と。
データの確認4データセットの均
一性

ー

AIPL1

LvE1

63

ー

AIPL1

LvE1

64

No.61,62の偏りを入れないために行った活動について、記録を行う事。
分析した各ケースについて訓練用データ、バリ

データの確認4データセットの均
一性

デーションデータおよびテスト用データが十分に存在することを、訓練フェーズやバリデーション
フェーズなどで確認すること。
ケースに対して訓練用データが十分に取得できな

データの確認4データセットの均
一性

ー

AIPL1

LvE1

65

い場合には、網羅基準を見直して緩めた上で、当初の基準に照らして個別にシステム結合テストなどで確認すべきことを記録しておくこと。

データの確認データの確認データの確認データの確認データの確認データの確認データの確認4データセットの均
一性
4データセットの均
一性
4データセットの均
一性
4データセットの均
一性
4データセットの均
一性

4データセットの均
一性
4データセットの均
一性・特定の範囲のデータ量が十分でない場合、その範囲の分類・予測精度が低くなる可能性を検討しましたか？

 ある範囲のデータ量が十分でない場合、その範  ある範囲のデータ量が十分でない場合、その範
囲の予測精度が低くなることを認識する。

囲の予測精度が低くなることを認識しておく。

合、その状態から逸脱する劣化を検出する精度が 合、その範囲では異常を検出する精度が低下する ー
低下する可能性があることを認識すること。

可能性があることを認識する。

ー

AIPL2

LvE2

66 （前節「データセットの被覆性」Lv2に同じ。） ー

ー

ー

ー

ー

ー

ー

AIPL2

LvE2

67 Lv1に加えて、以下の取り組みなどを行うこと。 ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

70 いて、取得方法以外の何らかの積極的な確認を行 ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

AIPL2

LvE2

68

ー

AIPL2

LvE2

69

各属性値または各ケース毎に、およその出現確率の想定を把握すること。
取得できたデータがその分布から外れていないことを確認すること。
各ケース毎に、中に含まれるデータの被覆性につ

ー

AIPL2

LvE2

うこと。
例えば、各ケース毎に、そのケースに含まれない
ー

AIPL2

LvE2

71 属性がある場合、その属性に関する分布を抽出し ーて、著しい偏りがないことを確認すること。

ー

AIPL2

LvE2

72

（但し、想定する出現確率については想定事象の全集合に対して比較する。）
訓練用データの全体集合の量、レアケースの出現確率を比較して、レアケースのデータが訓練に不データの確認4データセットの均一性足する場合には、レアケースの学習を重点化する
AISL0.1

ーLvS1

73 ことを検討すること。但し、特にLvE2が要求される場合には、重点化に伴い他のケースの学習が弱化することの、製品全体の品質への影響について必ず検討を行うこと。

前節「データセットの被覆性」Lv1で検討したデータの確認4データセットの均
一性

AISL0.1

ー

LvS1

74

ケース毎のデータ量に関して、リスクに対応する
ケースにおいて十分なデータ量が存在することを明示的に確認すること。

内部品質確保のための「プラント保安分野での観点」チェックリスト「機械学習品質マネジメントガイドライン
使用場面

データの確認データの確認データの確認データの確認データの確認

内部品質軸

内部品質

要求事項

レベル

レベル

要求レベル

No.

AISL0.2

一性

AISL1

一性

4データセットの均
一性

4データセットの均
一性

4データセットの均一性関連する「ユースケース固有の観点」（本文3.3節を参照）

パフォーマンス

4データセットの均

4データセットの均第1版」における内部品質要求事項

リスク回避性

プラント保安分野での観点

内部品質要求事項

配管の肉厚予測

配管の画像診断

設備劣化診断異常予兆検知・診断

運転最適化

LvS1に加え、リスク事象毎・ケース毎の出現確ー

LvS2

75 率の想定に基づき、各ケースのデータ量を事前に ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

度を含むデータ特性が変化する可能性があること ー

ー

ー

ー

ー

ー

ー

ー

ー

見積もり設計すること。
・各ケースのテスト用データセットに偏りがない

共通

共通

共通

76 ー

か、現場のプラントエンジニアが確認しました
か？
・設備切替・保守点検等により、データ発生の頻

共通

共通

共通

77 ー

を検討しましたか？
・データ取集間隔が数か月・数年という長さにな
共通

共通

共通

78 ー

る可能性があるため、プラントの運転データとの ー
紐づけに注意しましたか？

共通

共通

共通

79 ー

・前提とする範囲のデータが偏りなく取得できていることを確認しましたか？

 1要求分析の十分性～3データセットの被覆性で 1 要求分析の十分性～3データセットの被覆性で検討した属性のカバーすべきデータの各範囲の検討した属性のカバーすべきデータの各範囲のデータ量が十分であることに注意する。

データ量が十分であることに注意する。

 「劣化なし」として想定する様々な状態の稼働データが偏りなく取得できていること。

 正常データとして想定する様々な範囲（昼間／
夜間、定常時／非定常時、季節の違い等）のデー ー
タを偏りなく取得する。

・データに偏りがある場合、選択バイアス、情報
データの確認4データセットの均一性

バイアス、交絡の問題・リスクを評価しました
共通

共通

共通

80 ー

か？外れ値や欠損値の除去・訂正の根拠、措置方 ー法について、受容・排除などのポリシーにもとづ
いて行いましたか？

ー

ー

ー

ー

内部品質確保のための「プラント保安分野での観点」チェックリスト「機械学習品質マネジメントガイドライン
使用場面

学習

学習

学習

内部品質軸

5機械学習モデルの正確性

5機械学習モデルの正確性

5機械学習モデルの正確性第1版」における内部品質要求事項

関連する「ユースケース固有の観点」（本文3.3節を参照）

リスク回避性

パフォーマンス

内部品質

要求事項

レベル

レベル

要求レベル

No.

プラント保安分野での観点

内部品質要求事項

配管の肉厚予測

配管の画像診断

設備劣化診断異常予兆検知・診断

運転最適化

テスト用データとして必要なデータ量をPoC仮定
AISL0.1

AIPL1

Lv1

81 や過去の経験から導き出し、「データの被覆性」 ー

ー

ー

ー

ー

ー

を満たす抽出プロセスを通じて用意すること。
テスト用のデータのラベル等の誤り及び外れ値の

AISL0.1

AIPL1

Lv1

82

ー

ー

ー

ー

ー

ー

AISL0.1

AIPL1

Lv1

83 いとする。ただし、データの分布の取り方につい ー

ー

ー

ー

ー

ー

除去方法について検討し実施・記録すること。
訓練用データセットについても上記に準じた取扱ては違う方法を採用して良い。

 「機械学習要素による操作パラメータ提示に安全機能を期待しない（設備の想定スペックを超えるような操作パラメータ提示に対しては、外部安 本ケースの場合、誤検知は一定量許容されうる 全機構及びオペレータ判断により操作に反映しな

テスト段階において一定量の誤判断を許容する場
学習

5機械学習モデルの
正確性

AISL0.1

AIPL1

Lv1

84

合（false negative/false positiveで扱いを変える ・プラント保安の現場での活用を前提として、誤場合を含む）については、その判定基準を合理的 判断の許容水準について検討しましたか？

ー

ー

ー

に事前に決定し、記録しておくこと。

が、テストに使用できる異常データの量・種類が い）前提」の場合は、「危険な操作につながるパ
限られるため、見逃しの発生率は極限まで0に近ラメータの出力の許容水準を極限まで0に近づけづけることが望ましい。

る」といった検討は求めない。SIL評価等に基づ
き、機械学習要素と他のシステムの安全機能の分担を適切に考慮して機械学習要素への要求水準を
決定する。

学習

学習

学習

学習

学習

5機械学習モデルの正確性
5機械学習モデルの正確性
5機械学習モデルの正確性

5機械学習モデルの正確性

5機械学習モデルの正確性

公平性が要求される場合には、予め公平性の比較
AISL0.1

AIPL1

Lv1

85 手段を定めておくこと。対照テストの結果による ・（「公平性」は本ガイドラインの対象外）

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

場合には、その合格基準を予め定めておくこと。
AISL0.2

AIPL2

Lv2

86 Lv1に加えて以下の対応を取る。

AISL0.2

AIPL2

Lv2

87

ー

ー

ー

ー

ー

ー

AISL0.2

AIPL2

Lv2

88 の合否判定についても、その合理的な判定基準を ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ラント事業者・エンジニアリング会社など）と合 ー

ー

ー

ー

ー

ー

ー

ー

テスト用・訓練用データのラベルの正当性について、何らかの追加的な確認手段を検討すること。
正解率（Accuracy）などのバリデーション段階で事前に決定し記録しておくこと。
実データでのテストと、可能な範囲でのデータ変

AISL0.2

AIPL2

Lv2

89 形などでの機械的な増量テストを同時に行うこと。
可能であれば、入力の影響度分析・ニューロンの学習

5機械学習モデルの
正確性

AISL0.2

AIPL2

Lv2

90

発火状況その他の内部的な情報の分析の適用を検討し、可能な範囲で明らかな誤りを手動で排除す
ること。

学習

学習

5機械学習モデルの正確性
5機械学習モデルの
正確性

AISL1

ー

Lv3

91

AISL1

ー

Lv3

92

AISL1

ー

Lv3

93

Lv2に加え、学習成熟状況の内部確認手段等を事前に検討すること。
結合テスト以降の製品全体での検証計画と機械学
習要素のテスト計画の対応を明示すること。
特にリスクが大きいケース（2データ設計の十分

学習

5機械学習モデルの正確性性 で検討）を中心に、製品レベルのテスト時の機械学習要素の要件との対応をテスト計画に反映し、その被覆状況を監視・確認すること。

学習

学習

学習

5機械学習モデルの正確性
5機械学習モデルの正確性
5機械学習モデルの正確性

・モデルの精度評価基準について、受入れ先（プ
共通

共通

共通

94 ー

意しましたか？
共通

共通

共通

95 ー

・強化学習を用いる場合でも、運用開始前に品質をテストで確認しましたか？

 強化学習を用いたとしても、運用開始前にテスートを実施して「機械学習モデルの正確性」の要求事項を満たす。

・識別問題ならラベル、回帰問題なら値など問題
共通

共通

共通

96 ー

によってつけるべき正解値が変わることを考慮し ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

束していますか？適合率、再現率、F 値は目標に ー

ー

ー

ー

ー

ましたか？

・交差検証や汎化性能等に使用する訓練用データ
学習

5機械学習モデルの
正確性

共通

共通

共通

97 ー

とテスト用データ、バリデーション用データを独立して分離・管理していますか？再学習、追加学
習時時にも同様の管理を行っていますか？

学習

5機械学習モデルの正確性

・学習後の正答率、損失関数の残差は、十分に収
共通

共通

共通

98 ー

達していますか？

内部品質確保のための「プラント保安分野での観点」チェックリスト「機械学習品質マネジメントガイドライン
使用場面

学習

内部品質軸
5機械学習モデルの正確性第1版」における内部品質要求事項

関連する「ユースケース固有の観点」（本文3.3節を参照）

リスク回避性

パフォーマンス

内部品質

要求事項

レベル

レベル

要求レベル

No.

プラント保安分野での観点

内部品質要求事項

共通

共通

共通

99 ー

共通

共通

共通

100 ー

・学習・再学習過程の正答率及び損失関数の残差

配管の肉厚予測

配管の画像診断

設備劣化診断異常予兆検知・診断

運転最適化

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

105 安定性を評価する技術、敵対的データの攻撃を受 ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

は、異常な変化を示していませんか？
・選択した AI アルゴリズムおよび蒸留有無の選学習

5機械学習モデルの正確性

択根拠、ハイパーパラメータの設定根拠は明確になっていますか？ユーザー・ベンダー間でアルゴ
リズムの選択根拠を説明・合意できていますか？
・学習用データセットや学習済みモデルのサイズ

学習

5機械学習モデルの正確性削減の必要はあるか確認しましたか？その際に、

共通

共通

共通

101 ー

AISL0.1

AIPL1

Lv1

102 安定性向上のために適用した技術を記録すること ー

性能の劣化はどこまで許されるのか検討しました
か？

学習

学習

学習

6機械学習モデルの安定性
6機械学習モデルの安定性
6機械学習モデルの安定性

Lv1では、過学習を防止するために広く利用さ
AISL0.1

AIPL1

Lv1

103 れている交差検証や正則化等の技術の適用が推奨 ーされる。

AISL0.2

AIPL2

Lv2

104

近傍データによる安定性の評価結果を記録することLv2では、データセットの各データの近傍に対する安定性を評価することが求められる。例えば、近傍の敵対的データによる攻撃を防御する技

学習

6機械学習モデルの安定性術の適用が推奨される。敵対的データを生成してAISL0.2

AIPL2

Lv2

けにくくする訓練技術、敵対的データの動的検知技術等がある。これらの技術を適用することは容易ではないが、現在、そのための実用的な開発・評価するための環境整備が進められている。

学習

6機械学習モデルの
安定性

AISL1

ー

Lv3

106 近傍データに対する安定性を保証すること
レベル３では、近傍データに対して一定の安定性をもつことを保証することが求められる。例え学習

6機械学習モデルの
安定性

AISL1

ー

Lv3

107

ば、近傍には敵対的データが存在しないことを保証する技術等がある。これらの技術はまだ研究段階であるが、将来的にはレベル３での適用が期待される技術である。

・特に化学プラントでは発生するデータの不確実学習

6機械学習モデルの
安定性

共通

共通

共通

108 ー

性が高いため、学習データセット近傍のデータに対する安定性に注意が必要であることを検討しま
したか？
・新規銘柄追加が多いプラントの場合、発生する学習

6機械学習モデルの
安定性

共通

共通

共通

109 ー

データが学習データセット近傍のものが多くなる
ため、安定性に注意が必要であることを検討しまー※製品の特性（種類、成分など）のデータを活用
しない場合、本ユースケースには該当しない。

したか？
学習

学習

学習

6機械学習モデルの安定性
6機械学習モデルの安定性

6機械学習モデルの
安定性

共通

共通

共通

110 ー

共通

共通

共通

111 ー

・どのような汎化性能の測定が適切か、議論・整

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

差検証を利用する際、利用する学習用データセッ ー

ー

ー

ー

ー

ー

ー

ー

ー

合が取れていますか？
・汎化性能の目標値を明確に定めていますか？学
習後の AI モデルの汎化性能は、学習時の正答率と比較して著しく劣化していませんか？
・汎化性能を測定する方法を決めていますか？交

共通

共通

共通

112 ー

トのバリエーションを確保していますか？
・AI に影響を与えるノイズ候補の洗い出しを学習

6機械学習モデルの安定性行っていますか？具体的には、誤差因子の選定と
共通

共通

共通

113 ー

それの与える影響解析を行っていますか？ノイズ ー
候補により、AI モデルの性能が著しく劣化することはありませんか？

内部品質確保のための「プラント保安分野での観点」チェックリスト「機械学習品質マネジメントガイドライン
使用場面

実装・運用

実装・運用

実装・運用

実装・運用

実装・運用

実装・運用

内部品質軸

7プログラムの健全性

7プログラムの健全性

7プログラムの健全性

7プログラムの健全性
7プログラムの健全性

7プログラムの健全性第1版」における内部品質要求事項

関連する「ユースケース固有の観点」（本文3.3節を参照）

リスク回避性

パフォーマンス

内部品質

要求事項

レベル

レベル

要求レベル

No.

内部品質要求事項
利用するソフトウェアについては、信頼できる実AISL0.1

AIPL1

Lv1

114 績を持つソフトウェア等を選定し、その選定経緯を記録すること。
選定したソフトウェアについて、その欠陥の発見

AISL0.1

AIPL1

Lv1

プラント保安分野での観点

115 等を運用期間中モニタリングし、必要に応じて修正等の措置をとること。

・シミュレータを活用する場合、実績を確認し、配管の肉厚予測

配管の画像診断

設備劣化診断異常予兆検知・診断

運転最適化

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

その選定経緯を記録しましたか？

・シミュレータを活用する場合、欠陥のモニタリ
ングや修正は可能ですか？

学習からテストフェーズに至るまでの環境と、実AISL0.1

AIPL1

Lv1

116 用段階で用いる環境の相違について、その影響な ー
どをあらかじめ検討しておくこと。

AISL0.2

AIPL2

Lv2

117

AISL0.2

AIPL2

Lv2

118

AISL0.2

AIPL2

Lv2

119

利用するソフトウェアについて、検査・実験等に ・シミュレータを活用する場合、検査・実験等でよりその信頼性を自己評価すること。
可能な場合には、SIL1相当のソフトウェア信頼性を得られたソフトウェアを用いること。

信頼性を自己評価しましたか？

ー

システムの運用期間中のソフトウェアの健全性の ・シミュレータを活用する場合、保守体制が整っ維持に関する保守体制を必ず構築すること。

ていますか？

バリデーションおよびテストフェーズにおいては、原則として実用段階で用いられる計算環境
実装・運用

7プログラムの健全性（浮動小数点精度・モデル規模等）を模倣した環
AISL0.2

AIPL2

Lv2

120 境でバリデーション・テストを行うこと。また
は、テスト済み学習モデルと実用環境での学習モ
デルの動作の一致性について、何らかの検証を行
う事。

実装・運用

実装・運用

実装・運用

7プログラムの健全性
7プログラムの健全性
7プログラムの健全性

SIL１（またはシステムの要求するSILレベル）の

AISL1

ー

Lv3

121

ー

ー

ー

ー

ー

ー

AISL1

ー

Lv3

122 基づくテスト（または形式検証など）を必ず行う ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

対する単体テストまたは外部ライブラリを含むシ ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ていますか？ソフトウェアのアップデートに対す ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ソフトウェア品質の確認を必ず行うこと。
実用環境の計算環境での学習モデルの振る舞いに
こと。

AISL1

ー

Lv3

123

また、そのモデルと実用環境での動作の一致の確認を、結合テスト以降の段階で必ず行うこと。

ー・以下のような場合に、機械学習要素の計算量を適切に抑えられるよう、考慮しましたか？
実装・運用

7プログラムの健全性- 特殊な環境・デバイスで、計算リソースが限ら
共通

共通

共通

124 ー

れる場合（エッジデバイス、特殊なPC等で計算する場合）- 同じデバイス上で他の処理も動いており、それらの処理への影響が許されない場合

実装・運用

実装・運用

7プログラムの健全性

7プログラムの健全性等・システムを評価するときに、外部ライブラリに
共通

共通

共通

125 ー

ステムテストを実施していますか？

共通

共通

共通

126 ー

・ライブラリのサプライヤとの間で、不具合に対する責任範囲は明確になっていますか？
・OS や OSS 等の各種ソフトウェアの更新頻度

実装・運用

7プログラムの健全性やサポート期間を考慮してソフトウェアを利用し
共通

共通

共通

127 ー

る対応や、サポートが終わった際の対応について決めていますか？

実装・運用

実装・運用

7プログラムの健全性

8運用時品質の維持
性・特にセキュリティアップデートがある場合な
共通

共通

共通

128 ー

ど、OS や OSS 等のソフトウェアのアップデー
トに対してシステムの更新を行っているか

外部環境変化によりシステムの品質が著しく失わ
AISL0.1

AIPL1

Lv1

129 れたときの対応について、あらかじめ検討しておくこと。

・プラント分野における「外部環境変化」を抽出しましたか？
- プラントの修繕や経年劣化、運転条件の変化など

オンラインで追加学習を行う場合には、予想外の実装・運用

8運用時品質の維持
性AISL0.1

AIPL1

Lv1

130

品質の低下がもたらす影響についてあらかじめ検討しておき、必要な場合には動作範囲の限定などのシステム的な対応を取ること。

実装・運用

8運用時品質の維持
性AISL0.1

AIPL1

Lv1

131

オフラインで追加学習を行う場合には、前７項に準じた品質管理を行う事。

内部品質確保のための「プラント保安分野での観点」チェックリスト「機械学習品質マネジメントガイドライン
使用場面

内部品質軸

第1版」における内部品質要求事項

関連する「ユースケース固有の観点」（本文3.3節を参照）

リスク回避性

パフォーマンス

内部品質

要求事項

レベル

レベル

要求レベル

No.

内部品質要求事項

製品の利用状況が許す範囲において、システムの実装・運用

8運用時品質の維持
性

品質について、動作結果との対照などから品質劣
AISL0.2

AIPL2

Lv2

プラント保安分野での観点

132 化・誤判断のモニタリングを行うこと。モニタリ

配管の肉厚予測

配管の画像診断

設備劣化診断異常予兆検知・診断

運転最適化

・プラント分野における「製品品質以外の要因」を抽出しましたか？

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

137 タセット、および同じ手法で定期的に更新するテ ー

ー

ー

ー

ー

ー

再学習・再精度検証ができる体制を構築しました ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

改造などにより、発生するデータの特性が変化す ーー

デルの切替などの対応が必要になる可能性がある ーー

ングにおいては、プライバシーなど製品品質以外の要因を十分に検討すること。

- プラント事業者からAIベンダーへのデータ開示の度合いなど

オンラインでの追加学習を行う場合には、追加学
実装・運用

8運用時品質の維持
性

習結果を何らかの方法で定常的にモニタリングすAISL0.2

AIPL2

Lv2

133 ること。モニタリングの結果で性能要求からの逸 ー脱が判明した場合には、直ちに対処を行うことができること。
オフラインでの追加学習を行う場合には、製品開発段階で用いたテスト用データセットでの「性能実装・運用8運用時品質の維持
性AISL0.2

AIPL2

Lv2

134

劣化の回帰テスト」を行い、更新前に品質が失われていないことを確認すること。必要な場合には、製品開発段階と同等の手法でテスト用データ
セットの更新を行うこと。

実装・運用

8運用時品質の維持
性

AISL1

ー

Lv3

135

プライバシー等と両立する製品品質の監視手段
を、運用体制を含めて必ず構築すること。
オンラインでの追加学習を行う場合には、追加学
習結果をシステムに反映する前に、製品内部で一実装・運用

8運用時品質の維持
性

AISL1

ー

Lv3

136

定の品質確認を行う仕組みを実装し、想定外の品
質劣化が無視できない場合には更新を中止する仕組みとすること。また、オフラインでの更新・修
正手段を必ず確保すること。
オフラインでの追加学習においては、運用での収実装・運用

8運用時品質の維持
性

集データと、システム初期構築時のテスト用デー
AISL1

ー

Lv3

スト用データセットを用いて品質を管理するこ
と。

実装・運用

実装・運用

実装・運用

実装・運用

8運用時品質の維持性
8運用時品質の維持性

8運用時品質の維持性

8運用時品質の維持
性・運用時品質の維持性を確保するため、モデルの
共通

共通

共通

138 ー

か？
・運用における品質の監視体制が妥当かどうか、
共通

共通

共通

139 ー

現場のプラントエンジニアに確認を行いましたか？

 部材の種類を変えた場合には、再学習、学習モ

・メンテナンスによる部品の交換や調整、設備の
共通

共通

共通

140 ー

る可能性があることに注意しましたか？

共通

共通

共通

141 ー

・データ特性の変化を把握するため、モニタリン
グの仕組みを検討しましたか？

ことに留意する。

ー

ー

ー

ー

 最適値の評価は定期的／継続的にモニターし、異常がないか確認する。

・製品の成分値が変化すると、発生するデータの実装・運用

8運用時品質の維持
性

共通

共通

共通

142 ー

特性が変化する可能性が高いため、モデルの再学
習・再精度検証が必要となることを確認しましたー※製品の特性（種類、成分など）のデータを活用  変化する製品成分値の範囲に対して、製品成分
しない場合、本ユースケースには該当しない。

値の入力時に品質が維持されているか注意する。

ー

ー

か？
 化学系プラントでは特に外部環境の変化（日照実装・運用

8運用時品質の維持性 対象設備そのものだけでなく、周辺の状況を含 条件、風向きなど）の機械学習要素への影響が大  設備や運転手順に変更が行われた場合は機械学・設備の周辺状況や運転手順などの前提条件が変
共通

共通

共通

143 ー

化した場合、モデルの再学習・再精度検証が必要 ーーとなることを確認しましたか？

め、当初想定していた環境要因などの前提条件か きいため、隣接する設備の撤去や変更など、対象 習要素の出力への影響があるため、モデルを更新
ら逸脱していないか確認する。

設備の直接的変更でない場合でも、対象設備の外 する。
部環境に影響する変更に留意する。

 運用段階で撮影した画像での精度検証を行う。
実装・運用

8運用時品質の維持
性

共通

共通

共通

144 ー

・運用時に収集したデータでも定期的に精度検証を行うことを検討しましたか？

「目視点検要」と判定され実際に目視点検を実施
ー

した結果を記録し、これと対照して、判定精度が ーーー

低い場合は、判定に用いた入力画像やモデルを重点的にチェックする。

実装・運用

8運用時品質の維持性 対象設備の生産負荷に応じた経年劣化の進行を・経年劣化の進行が早いと想定される場合、これ
共通

共通

共通

145 ー

に応じて精度検証、学習モデルのチューニングの ーーー

頻度を設計しましたか？

頻度を設計する。

・（経年劣化ではなく）対象設備を大規模に修繕
実装・運用

8運用時品質の維持
性

共通

共通

共通

146 ー

した場合は、その都度精度検証、学習モデルのチューニングが必要となることを確認しました （経年劣化ではなく）対象設備を大規模に修繕
ー

ー

ー

実装・運用

8運用時品質の維持性

8運用時品質の維持
性・機械学習によらない従来手法の結果との対照
共通

共通

共通

147 ー

特に精度の維持が求められる場合、予めモデル構
共通

共通

共通

148 ー

築時の前提や教師データ類を整理しておき、運用開始後の変更管理を準備しましたか？

ー 既存手法による交換要否判断や、実際の交換時や、実際の結果を踏まえて機械学習要素の精度等 の配管の状態等を踏まえ、実際の正解度や見落と ーを確認しましたか？

した場合は、その都度精度検証、学習モデルのチューニングが必要とされる。

か？

実装・運用

想定し、精度検証、学習モデルのチューニングの ー

ー

ー

ー

ー

ー

ー

しの有無を検証する。
 本ケースは特に精度の維持の重要性が高いため、モデル構築時の前提、教師データ類を整理しておき、運用開始後の変更管理において都度確認する。

ー内部品質確保のための「プラント保安分野での観点」チェックリスト「機械学習品質マネジメントガイドライン
使用場面

内部品質軸

第1版」における内部品質要求事項

関連する「ユースケース固有の観点」（本文3.3節を参照）

リスク回避性

パフォーマンス

内部品質

要求事項

レベル

レベル

要求レベル

No.

プラント保安分野での観点

内部品質要求事項

配管の肉厚予測

配管の画像診断

設備劣化診断異常予兆検知・診断

運転最適化
 最適化の目標に対して極限まで運転条件を追求

実装・運用

8運用時品質の維持
性

共通

共通

共通

149 ー

必要に応じて機械学習要素の出力の範囲を限定することを検討しましたか？

ー

ー

ー

ー

すると、安定性が損なわれることがあるため、機械学習要素の出力の範囲を限定するなどの対応を行う。
 想定していた原料（原油種等）の内挿範囲内で運転されていることを確認する。

実装・運用

8運用時品質の維持
性

共通

共通

共通

150 ー

運用時の品質を確認する上での前提（出力の想定範囲や、設備の条件設定等）を確認しましたか？

ー

ー

ー

ー

 運用中の設備の諸条件（反応初期／終期、運転
条件、原料、品質要求、スタートアップ・シャッ
トダウン操作の許容時間等）を考慮して機械学習
要素の出力の品質を確認する。

実装・運用

8運用時品質の維持
性・実運用でしか収集できないデータを記録する仕
共通

共通

共通

151 ー

組みを構築していますか？運用で発見したエラー ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

た際でも検証ができるように、検証の方法を決め ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

データ（学習時の学習用データとは別の⺟集団か ー

ー

ー

ー

ー

ー

ー

ー

ー

ー

た場合、迅速にロールバックを行う仕組みがあり ー

ー

ー

ー

ー

や多様性に対応したデータを確保しましたか？

・運用中データの導入時と異なる偏りを確認し、実装・運用

8運用時品質の維持
性

その背景を解析していますか？外れ値や欠損値の
共通

共通

共通

152 ー

除去・訂正の根拠、措置方法について、受容・排 ー
除などのポリシーにもとづいて行っていますか？
システム維持を想定できていますか？

実装・運用

8運用時品質の維持
性・モデルを更新するデータが想定したデータ区間
共通

共通

共通

153 ー

を外れているかを監視するなど、入力データの質 ー
をパトロールしていますか？
・運用後、性能に影響を与える要因を抽出し、実装・運用

8運用時品質の維持
性

共通

共通

共通

154 ー

マージンを持たせた性能目標としていますか？性能劣化の検出を人間もしくは AI システムが判断する設計になっていますか？

実装・運用

実装・運用

実装・運用

8運用時品質の維持性
8運用時品質の維持性

8運用時品質の維持
性・学習用データセットのバリエーションが増え
共通

共通

共通

155 ー

ていますか？
・訓練データの特性変化や出力の追加等により再
共通

共通

共通

156 ー

学習を行った結果、再学習前の性能に対する劣化 ーは許容可能となっていますか？
・AI モデルの更新を手動ではなく自動で実施す

共通

共通

共通

157 ー

る際に、AI モデルの特性変化や性能変化が許容範囲であることを十分検査できますか？
・学習にフィードバックするデータに対して、性能劣化に繋がる不適切なデータ（学習時の学習用

実装・運用

8運用時品質の維持
性

共通

共通

共通

158 ー

データとは別の⺟集団から得られた運用時の入力
データ、入力データの外れ値など）の混入を防ぐことができますか？もしくは、学習前に不適切なデータを排除する機構がありますか？
・運用中の推論に利用する入力データについて、実装・運用

8運用時品質の維持
性

異常な動作に繋がるような異常または不適切な
共通

共通

共通

159 ー

ら得られた運用時の入力データ、入力データの外
れ値など）を排除できる仕組みがありますか？

実装・運用

実装・運用

8運用時品質の維持性
8運用時品質の維持
性

共通

共通

共通

160 ー

・再学習したモデルの配信方法を検討しましたか？
・リリースした AI のプログラムに異常が発生し

共通

共通

共通

161 ー

ますか？

【別紙】
プラントにおける AI の信頼性評価に関する検討会 委員等名簿
座長(敬称略)山下善之

国立大学法人 東京農工大学大学院工学研究院応用化学部門 教授

委員(五十音順、敬称略)
青山敦
立命館大学 テクノロジー・マネジメント研究科 教授
石川冬樹
国立情報学研究所 アーキテクチャ科学研究系 准教授
江崎宣雄
三井化学株式会社 生産・技術本部 生産技術高度化推進室長
大岩寛
国立研究開発法人産業技術総合研究所 サイバーフィジカルセキュリテ
ィ研究センター ソフトウェア品質保証研究チーム長
大野拓也
日揮グローバル株式会社 オイル&ガス プロジェクトカンパニー プ
ロセステクノロジー本部 技術研究所 特別理事
岡田義昭
日本電気株式会社 コーポレート事業開発本部 上席プロフェッショナ
ル
小山田賢治 高圧ガス保安協会 高圧ガス部長代理
国頭庸一
三菱ケミカル株式会社 生産技術部 安全工学センター長
小渕恵一郎 横河電機株式会社 IA プロダクト&サービス事業本部 インフォメーションテクノロジーセンター AI ビジネスシニアマネージャー
近藤晃弘
株式会社日立製作所 産業・流通ビジネスユニット ソリューション＆サービス事業部 産業 PA ソリューション部
齋藤剛
独立行政法人労働者健康安全機構 労働安全衛生総合研究所 機械シス
テム安全研究グループ 上席研究員
喰田秀樹
出光興産株式会社 生産技術センター システム高度化技術室長
西 晴樹
消防研究センター 火災災害調査部長
濱田聡之
昭和電工株式会社 レスポンシブルケア部 環境安全室
原田典明
旭化成株式会社 理事 生産技術本部 デジタルイノベーションセンター長藤井達也
ENEOS 株式会社 工務部設備管理グループマネージャー
桝谷昌隆
JSR 株式会社 生産技術部長
丸山宏
株式会社 Preferred Networks PFN フェロー
安井威公
千代田化工建設株式会社 デジタルトランスフォーメーション本部 デジタル企画マーケティング部 専門長
オブザーバー（敬称略）
石油連盟
石油化学工業協会
一般社団法人 日本化学工業協会
一般財団法人 エンジニアリング協会
一般社団法人 日本電気計測器工業会
一般社団法人 日本ディープラーニング協会
日本メンテナンス工業会
独立行政法人 経済産業研究所
神奈川県 くらし安全防災局防災部 消防保安課
三重県 雇用経済部 ものづくり産業振興課
四日市市 商工農水部 商工課
総務省消防庁 特殊災害室
総務省消防庁 危険物保安室
厚生労働省 労働基準局 安全衛生部 安全課
厚生労働省 労働基準局 安全衛生部 化学物質対策課
経済産業省 製造産業局 素材産業課
経済産業省 商務情報政策局 情報経済課
経済産業省 産業保安グループ 高圧ガス保安室
経済産業省 資源エネルギー庁 資源・燃料部 石油精製備蓄課
事務局
株式会社三菱総合研究所

プラント保安分野 AI 信頼性評価ガイドライン 第 2 版
2021 年 3 月
石油コンビナート等災害防止３省連絡会議（経済産業省、総務省消防庁、厚生労働省）「プラントにおける AI の信頼性評価に関する検討会」
事務局 三菱総合研究所