消 防 危 第 124 号
令 和 ５ 年 ５ 月 15 日
各都道府県消防防災主管部長
東京消防庁・各指定都市消防長

殿

消防庁危 険物保 安室長（

公 印 省 略）

顧客に自ら給油等をさせる給油取扱所において給油の許可の判断に資す
る情報を従業員へ提供する AI システムの導入に係る留意事項について（通知）
昨今の技術革新やデジタル化の急速な進展から、危険物保安においても新技術の導入により効率的な予防保全を行うなどスマート保安の実現が期待されています。このため、消防庁では令和３年度より「危険物施設におけるスマート保安等に係る調査検討会」を開催し、顧客に自ら給油等をさせる給油取扱所（以下「セルフ給油取扱所」という。）における AI 等による給油の許可及び監視（以下「給油許可監視」という。）の支援について検討を行ってきました。今般、同検討会において、給油許可監視の支援を行う AI システムのうち、「セルフ給油取扱所において給油の許可の判断に資する情報を従業員へ提供する AI システム」（以下「情報提供型 AI システム」という。）については、セルフ給油取扱所に導入することについて、差し支えない旨の結論を得るとともに、別添１のとおり、令和４年度中間報告をとりまとめたところです。
また、石油元売会社においては、セルフ給油取扱所における AI を活用した給油許可
監視に関する技術開発が進められており、今般、石油連盟において、別添２のとおり、「セルフ SS における AI による給油許可監視の実装に向けた AI システム評価方法等に係るガイドライン

Ver.1」（2023 年４月石油連盟給油所技術専門委員会。以下「ガイドライン（Ver.1）」という。）がとりまとめられたところです。
つきましては、情報提供型 AI システムをセルフ給油取扱所に導入することに係る留意事項について、下記のとおりとりまとめましたので、通知します。引き続き、セルフ給油取扱所における給油許可監視について、適切な運用を図るようお願いします。
各都道府県消防防災主管部長におかれましては、貴都道府県内の市町村（消防の事
務を処理する一部事務組合等を含む。）に対して、この旨を周知されますようお願いします。
なお、本通知は、消防組織法（昭和 22 年法律第 226 号）第 37 条の規定に基づく助言として発出するものであることを申し添えます。
1

記
１．AI システムによる給油許可監視の支援について（１）情報提供型 AI システムとしてガイドライン（Ver.1）４「AI システムの試験方法」又はこれと同等以上の方法により信頼性評価が実施されたものについて、セルフ給油取扱所に導入することは、危険物の規制に関する規則（昭和 34 年総理府
令第 55 号）第 40 条の３の 10 に抵触するものではないこと。
（２）ガイドライン（Ver.1）においては、情報提供型 AI システムを導入するセルフ
給油取扱所について、次の要件を満たすことが求められていること。
ア

AI システムによる監視の対象となる給油レーンにおいては、停車枠を捉えることができるカメラを設置し、給油を行う顧客及び給油の対象となる車両を監視できること。

イ

セルフ給油取扱所の体制は次によること。

（ア）必ず従業員が給油許可監視を実施する体制が確保されていること。
（イ）AI システムによる監視の対象となる給油レーンを利用する顧客に対し、給油レーンへの標示、ポスターの掲示、固定給油設備の画面表示又は音声案内
等の方法により、AI による監視の事実が周知されていること。
（ウ）AI システムが正常な情報を従業員に提供できない状態にあるときは、従業員がその状態を認識し、直ちに AI システムの使用を停止できる体制となっていること。
２．導入時の手続きについて（１）AI システムの導入に伴って、新たに監視カメラ等の機器を設置するなど、セルフ給油取扱所の位置、構造又は設備に変更を生じるときは、消防法（昭和 23 年法律第 186 号。以下「法」という。）第 11 条第１項に基づく変更許可を要すること。
（２）AI システムを導入したセルフ給油取扱所は、監視カメラ等の機器やそのソフトウエアが相互に密接に関連しつつ一体となってセルフ給油取扱所の施設を構成するものであるため、AI システムの維持管理や更改に伴う監視カメラ等の機器やソフトウエアの変更工事について、「製造所等において行われる変更工事に係る取扱いについて」（平成 14 年 3 月 29 日付け消防危第 49 号。以下「第 49 号通知」という。）別添第３の No.116「セルフ給油所の監視機器・放送機器・分電盤・照明器具」欄の「取替」若しくは「補修」に該当するか又は「改造」に該当するかの別が明確に判断できない場合は、同欄における「○」又は「△」の有無にかかわ2

らず、原則として資料の提出等を求めること。
また、第 49 号通知２（２）アからエに掲げる要件を踏まえ、当該変更が法第 10条第 4 項の基準の内容と関係が生じないものであること又は保安上の問題を生じさせないものであることが判断できる場合は、同通知の「軽微な変更工事」として取り扱うこととされたいこと。
ただし、次のアからウに該当する場合は、保安上の問題を生じさせるものではないと考えられることから、資料の提出等を要さずに「軽微な変更工事」として取り扱うこととされたいこと。
ア

監視カメラ等の機器の位置及び構成に変更がないこと。

イ

上記１（１）の評価結果が引き続き有効であること。

ウ

上記１（２）の要件に係る変更がないこと。

（３）上記１（２）イについては、必要に応じ、予防規程に定めることが望ましいものであること。

（問い合わせ先）
消防庁危険物保安室
担当：千葉、北中、日下、瀬濤、渥美TEL：03-5253-7524
E-mail：fdma.hoanshitsu@soumu.go.jp

3

別添１

危険物施設におけるスマート保安等に係る調査検討報告書（令和４年度中間報告）

令和５年３月
危険物施設におけるスマート保安等に係る調査検討会

目次

1.1 検討の目的 ................................................................................................................3
1.2 検討項目 ....................................................................................................................3
1.3 検討体制 ....................................................................................................................3
1.4 検討経過 ....................................................................................................................3

2.1 検討の背景 ................................................................................................................5
2.2

AI 等に関するガイドラインのとりまとめ ..............................................................6

2.2.1 ガイドラインの概要.........................................................................................6
2.2.2 実証実験...........................................................................................................7
2.2.3 実証実験結果 ...................................................................................................8
2.2.4 今後の方向性 ...................................................................................................92.3

セルフ給油取扱所における制御卓の位置の検討...................................................10

1

はじめに
昨今、各分野において技術革新やデジタル化が急速に進展しており、危険物施設においても安全性、効率性を求める新技術の導入により効果的な予防保全を行うことなどスマート
保安の実現が期待されています。
特に地方を中心とした過疎地域における人口減少を背景として、給油取扱所の人手不足と、それに伴う地域のエネルギー供給の安定性確保が課題となっており、その課題を解決する方法の一つとして、AI の導入等により給油取扱所の業務の省人化・効率化及び安全性の向上の実現が期待されています。
この状況を踏まえ、令和３年度から引き続き、「危険物施設におけるスマート保安等に係る調査検討会」を開催し、IT 機器の使用範囲の拡大や AI の可能性について調査検討を行いました。
本報告書を取りまとめるにあたり、御多忙にもかかわらず、本検討会に積極的に御参加いただき、貴重な御意見及び多大なる御尽力を賜りました委員・オブザーバーの皆様に厚く御礼申し上げます。
令和５年３月
危険物施設におけるスマート保安等に係る調査検討会
座長

2

三宅 淳巳

検討の概要検討の目的

1.1

我が国の危険物施設は高経年化が進み、腐食・劣化等を原因とする事故件数が増加するなど、近年、危険物等に係る事故は高い水準で推移している。他方で、昨今、各分野において技術革新やデジタル化が急速に進展しており、危険物施設においても安全性、効率性を高める新技術の導入により効果的な予防保全を行うことなどスマート保安の実現が期待されている。
こういった状況を踏まえ、今後における危険物施設のスマート保安化等に柔軟な対応ができるよう調査検討を行うものである。

検討項目

1.2

セルフ給油取扱所における AI 等による給油許可監視支援について

検討体制

1.3

「危険物施設におけるスマート保安等に係る調査検討会」を開催し、検討を行った。
なお、検討会の委員等については、次頁のとおりである。

1.4

検討経過
第１回 令和４年８月２日
第２回 令和５年１月 23 日
第３回 令和５年３月 14 日※

本報告書で使用する略語は下記のとおり。
・消防法（昭和 23 年法律第 186 号） ······································································ 法
・消防法施行令（昭和 36 年政令第 37 号） ····························································· 令
・危険物の規制に関する制令（昭和 34 年政令第 306 号） ································· 危令
・危険物の規制に関する規則（昭和 34 年総理府令第 55 号） ···························· 危則
・危険物の規制に関する技術上の基準の細目を定める告示（昭和 49 年自治省告示
第 99 号）········································································································ 危告示
・火災予防条例（例）（昭和 36 年自消甲予発第 73 号） ··································· 条例

3

危険物施設におけるスマート保安等に係る調査検討会委員等
（敬称略）
座

長

三宅

淳巳

横浜国立大学

理事・副学長（以下、五十音順）

委

員 青山

敦

立命館大学大学院 テクノロジーマネジメント研究科
教授

江口

真

東京消防庁 予防部 危険物課長

江藤 義晴

四日市市消防本部

小森

一般社団法人 日本化学工業協会

一夫

予防保安課長清水 陽一郎石油連盟 給油所技術専門委員長

瀬上

横浜市消防局

哲也

予防部

保安課長

平野 祐子

主婦連合会 副会長

山田 實

危険物保安技術協会 事故防止調査研修センター
総括調査役（五十音順）

オブザーバー 安藤 順二

全国石油商業組合連合会

業務グループ部長

久保 和也

石油連盟 給油所技術専門委員会副委員長

坂井 涼子

石油連盟 給油所技術専門委員会委員

高橋 典之

危険物保安技術協会

中村 英之

一般社団法人 日本非破壊検査工業会 理事

松井晶範

一般財団法人 全国危険物安全協会 理事兼業務部長

森泉直丈

日本ガソリン計量機工業会 事務局長

業務部長

参加省庁 経済産業省
事務局

中本

敦也

総務省消防庁危険物保安室長

岡田 勇佑

総務省消防庁危険物保安室 課長補佐

北中 達朗

総務省消防庁危険物保安室 危険物施設係長

高野 貴浩

総務省消防庁危険物保安室 危険物施設係 総務事務官

瀬濤 康次

総務省消防庁危険物保安室 危険物施設係 総務事務官

日下 真太朗総務省消防庁危険物保安室 危険物施設係 総務事務官

4セルフ給油取扱所における AI 等による給油許可監視支援について
2.1

検討の背景
昨今、特に地方を中心とした過疎地域における人口減少を背景として、給油取扱所の人

手不足と、それに伴う地域のエネルギー供給の安定性確保が課題となっており、その課題を解決する方法の一つとして、給油取扱所の業務の省人化・効率化を実現することが期待されている。
顧客に自ら給油等をさせる給油取扱所（以下「セルフ給油取扱所」という。）においては、顧客に対する給油許可監視について、事業所内の制御卓に配置された従業員又はタブ
レット端末等の可搬式の制御機器を持った従業員が行っているところであるが、給油許可監視に AI・画像認識技術を活用することにより、更なる操業効率化を図ることが期待されている。
石油連盟では、従業員の給油許可監視業務を AI 等が支援できるようにすることを目的に、AI 等が監視支援を行う負担度合に応じた要求性能を定め、要求性能ごとに評価基準
及び評価方法をまとめた「セルフ SS における AI 給油許可監視の実装に向けた AI システ
ム評価方法に係るガイドライン」（以下「ガイドライン」という。）を作成しているとこ
ろであることから、本検討会において、石油連盟が作成中の当該ガイドラインの妥当性の検証を令和３年度から行っており、今年度は実際の営業中のセルフ給油取扱所を利用して実証実験を行った。
セルフ給油取扱所における AI 等による給油許可監視支援の目指すイメージについては、
図１のとおり。

図１ AI 等による給油許可監視支援の目指すイメージ5

2.2 AI 等に関するガイドラインの中間的なとりまとめ
2.2.1 ガイドラインの対象範囲
石油連盟において、今年度中間的にとりまとめられたガイドラインは参考資料１のとおりである。ガイドラインが対象とする AI の監視項目は、「ノズルを取るところからノズルを戻すところまで」「火気の有無」「携行缶の有無」とし、これらを必須の検知対象項目としている。（図２参照）
No.

監視内容
自動車が給油エリアに停止
エンジンを停止させる

給油許可における監視項目

3

自動車から降りる

4

パネルを操作し、注文・支払いをする

5

静電気除去パッドに触る

6

給油口を開ける

7

油種に応じたノズルを取る

8

給油口にノズルを差し込む

9

給油

10

給油口からノズルを抜き取る

11

ノズルを戻す12

給油口を閉める

13

乗車する

14

枠内から退場する

その他

1
2

監視内容

No.
1

火気の有無

2

携行缶・ポリ缶の有無

3

注油（灯油）【凡例】

本ガイドラインにおいて必須とする監視項目
任意の監視項目

図２ ガイドラインが対象とする監視項目

ガイドラインにおいて、AI システムのロードマップ（STEP1.0～2.0。概要は（ア）～（ウ）のとおり。）を作成しているが、今回中間的にとりまとめられたガイドラインの対
象範囲は STEP1.0 のみである。（図３参照）（ア）STEP1.0
・AI システムは給油許可判断に資する情報を従業員に提供・従業員が「目視確認（監視設備による確認）」と「給油許可」を実行（イ）STEP1.5（今後も継続して検討）
・AI システムが給油許可まで行うことができる「利用条件」と「特定条件」を設定し、その限られた条件下においてのみ、AI システムが「給油許可」を行う。条件を外れた場合及び AI システムが判断できない場合には、従業員が「給油許可」を実行（ウ）STEP2.0（対象外）
・AI システムが「給油許可」を実行（従業員は緊急時対応のみ）

6

図３ 給油許可監視システムの実装に向けたロードマップ

2.2.2 実証実験
消防庁において、ガイドラインが規定している環境条件下で、安全性及び業務効率性に資する結果であるか、といった妥当性を確認するための実証実験を行った。
実験施設には営業用の給油取扱所を使用（営業用の給油取扱所では実験不可能なシナリオについては、試験用又は休業中の給油取扱所を使用）し、機器は石油元売り会社が個別で開発した AI 給油許可システムを使用した。
カメラやセンサ、季節や天気などの前提となる外部環境を特定した上で、「認知」「判断」「操作」の要素ごとにシナリオを設定し、これらの評価シナリオの充足度を確認する
ことにより給油許可監視支援システムの有用性を検証した。具体的には、「認識外乱シナ
リオ」「顧客行動外乱シナリオ」「監視スタッフ環境外乱シナリオ」の３つのシナリオの充足度の検証を行ったものである。
表１ AI システムの実証実験の実施状況

A社

B社

C社

営業用 SS（相模原市）

営業用 SS（横浜市）

営業用 SS（東京都）

10 月 17 日～10 月 21 日

11 月 16 日～11 月 22 日

11 月 11 日～11 月 16 日

休業中 SS

試験用 SS

試験用 SS

10 月 25 日～10 月 26 日

12 月５日～12 月７日

12 月６日7

2.2.3 実証実験結果
実証実験結果の詳細にあっては参考資料２「実証実験結果」のとおり。
（1）試験シナリオについて
本実証実験において営業用 SS で発生した給油動作は、正常系の給油動作で 2643 件、異常系の給油動作で 206 件であった。ガイドラインの試験シナリオは全部で 98 シナ
リオであるが、今回の実証実験では気候や火災を取扱うケースについては検証できなかったため、確認できたシナリオは 70 シナリオとなった。確認できたシナリオのうち、正常系シナリオは 42 シナリオ、異常系シナリオは 28 シナリオとなっており、営業用 SS での実証実験では正常系シナリオが 40 シナリオ（95％）、異常系シナリオが３シナリオ（10％）発生した。営業用 SS で発生しなかった残りの 27 シナリオについては、試験用 SS 等において関係者が実施した。
ガイドラインの試験シナリオについては、実証実験の結果、営業用 SS で発生した給油動作を全て計画した試験シナリオでカバーできていた。
（2）誤判定率について
監視スタッフが安全性に問題ありと判断し給油不許可と判断したが、AI は安全性に問題なしと判断し、給油許可とした件数の割合であり、誤判定率の分布を図４に示す。

図４ 誤判定率の分布（石油元売３社平均値）

試験シナリオ 70 シナリオのうち、誤判定率が１％未満は 60 シナリオ、１％から３％は５シナリオ、３％から５％は３シナリオ、10％から 20％は２シナリオ、20％以
上は０シナリオとなった。最頻値は１％未満、中央値は３％から５％である。

8

65 シナリオは誤判定率が３％程度未満であり、AI が従来の SS スタッフと同等の判断を行う結果となった。
誤判定率が３％以上となったシナリオは５シナリオのみであった。
当該５シナリオについては元売毎に誤判定率が異なるため、利用する AI モデルの仕様や実態環境に依存する可能性があるため、今後も詳細な原因調査を行い改善を図る。
表２ 誤判定率が３％以上となった５シナリオ※誤判定率については、試験を実施した３社ごとの平均をとったもの

2.2.4 今後の方向性
AI 等による給油許可監視の省力化・効率化は、STEP1.0、1.5、2.0 の３ステップで実現するものであるが、まずは、安心・安全を第一優先とし、基本となる技術的な制約を AIが実現できる状態を確立するため、今年度は STEP1.0 を対象とした。
実証実験ではガイドラインの妥当性について検証を行い、ガイドラインの試験シナリオについては、営業用 SS で発生した給油動作を全て計画した試験シナリオでカバーできていた。
元売各社で開発している AI の誤判定率については、70 シナリオ中の 65 シナリオが誤判定率３％未満であった。
「AI システムが給油許可判断に資する情報を従業員へ提供し、従業員が目視確認（監視設備によるリアルタイム映像の確認）及び給油許可を実行する」STEP1.0 の AI について
は、給油時の安全性向上の手段として概ね有効であるため、給油取扱所に導入することについて、差し支えないと考えられる。
なお、「AI システムが特定条件下で給油許可を行い、その条件を外れた場合及び AI シ
ステムが判断できない場合に従業員が給油許可を実行する」STEP1.5 の AI については、誤判定が生じたものについての原因分析や誤判定率の閾値（３％）の妥当性等、更なる検討が必要である。

9

また、STEP1.0 においては、AI システムは給油許可判断に資する情報として、カメラにより「車両の給油口へのノズルの挿入の検知」や「人離れの検知」、「火気の検知」、「ポリ容器又は携行缶の検知」等を行い、異常の発生を覚知した場合には警告発報により従業員へ伝達する。従業員は AI の情報も参考にしながら目視確認（監視設備によるリア
ルタイム映像の確認）と給油許可を実行する。
なお、従来の制御卓において行う給油許可機能と AI システムの機能が切り離されているため、AI システムが給油所従業員の確認行為を介さずに給油許可を行う事ができない
仕組みであることから、その運用に当たっては、現行法令に抵触することはないと考えられる。

セルフ給油取扱所における顧客の給油作業等の監視に関する規定
危規則第 40 条の３の 10（抜粋）三次に定めるところにより顧客の給油作業等を監視し、及び制御し、並びに顧客に対し必要な指示を行うこと。

イ

顧客の給油作業等を直視等により適切に監視すること。

ロ

顧客の給油作業等が開始されるときには、火気のないことその他安全上支障のないことを確認した上で、第 28 条の２の５第６号ハ又は同条第７号イに規定する制御装置を用いてホース機器への危険物への供給を開始し、顧客の給油作業等が行える状態にすること。
ハ

顧客の給油作業等が終了したとき並びに顧客用固定給油設備及び顧客用固定

注油設備のホース機器が使用されていないときには、第 28 条の２の５第６号ハ又は同条第７号イに規定する制御装置を用いてホース機器への危険物の供給を停止し、顧客の給油作業等が行えない状態とすること。
ニ

非常時その他安全上支障があると認められる場合には、第 28 条の２の５第６号ニ又は同条７号ロに規定する制御装置によりホース機器への危険物の供給を一斉に停止し、給油取扱所内全ての固定給油設備及び固定注油設備における危険物の取扱いが行えない状態とすること。
ホ

第 28 条の２の５第６号ホに規定する装置等により顧客の給油作業等について必要な指示を行うこと。

10

おわりに
本報告書は、AI 等による給油許可監視支援について、ガイドラインの妥当性を検証する
ための実証実験を行い、STEP1.0 について実装に向けて整理を行った。本検討会において検討した事項については、円滑に各方策が導入できるよう、必要な措置を講ずることが適当である。
STEP1.5 以降の AI システムについては、石油連盟が作成するガイドラインの内容を踏まえ、来年度も継続して検討する必要がある。

11

参考資料
参考資料１ セルフ SS における AI による給油許可監視の実装に向けた AI システム評価方法等に係るガイドライン Ver.1
参考資料２ セルフ給油取扱所における AI 等による給油許可監視支援についての実証実験
結果報告書

12

別添２

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン Ver.1

2023 年 4 月
石油連盟

給油所技術専門委員会

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

目次

1 はじめに .............................................................................................................................................................................. 4
1.1

目的及び効果 ................................................................................................................................ 4

1.1.1 背景・目的 ........................................................................................................................................ 4
1.1.2 効果 .................................................................................................................................................... 5
1.2

構成 .................................................................................................................................................. 6

1.3

射程 .................................................................................................................................................. 6

1.4

他のガイドラインとの関係 ...........................................................................................................10

1.5

品質評価の全体像 ....................................................................................................................11

1.6

用語 ................................................................................................................................................12

1.7

関連法令等 ..................................................................................................................................15

2 機械学習の信頼性評価 .............................................................................................. 16
2.1

利用時品質及び外部品質における評価軸 .........................................................................162.2

利用時品質 .................................................................................................................................172.3

外部品質 ......................................................................................................................................172.4

外部品質の要求レベル ................................................................................................................192.4.1 リスク回避性：AISL の設定 ........................................................................................................ 19
2.4.2 パフォーマンス：AIPL の設定......................................................................................................... 23
2.5

内部品質 ......................................................................................................................................242.6

内部品質における評価軸 .........................................................................................................242.7

内部品質における各評価軸の要求レベル ............................................................................26

2.8

STEP1.0 における内部品質の詳細項目 ...............................................................................27

3 AI システムの機能・設備・運用の要件............................................................................................ 28
3.1 機能要件 ...........................................................................................................................................28
3.1.1 給油許可支援（従業者に対する情報提供） .......................................................................... 28
3.1.2 監視可能な給油動作及び対象物 ............................................................................................... 28
2

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

3.1.3 ノズル挿入の検知 ............................................................................................................................. 29
3.1.4 人離れの検知 ................................................................................................................................... 29
3.1.5 複数名給油の検知 .......................................................................................................................... 29
3.1.6 火気の検知 ....................................................................................................................................... 29
3.1.7 携行缶及びポリ缶の検知 ............................................................................................................... 29
3.2 設備要件 ...........................................................................................................................................29
3.2.1 導入対象施設 .................................................................................................................................. 29
3.2.2 給油レーンの監視 .............................................................................................................................. 30
3.2.3 セルフサービスコンソール(SSC)との連携 .......................................................................................... 30
3.3 運用要件 ...........................................................................................................................................30
3.3.1 従業者の体制 ................................................................................................................................... 30
3.3.2 監視事実の告知 .............................................................................................................................. 30
3.3.3 ODD の設定...................................................................................................................................... 30
3.3.4 AI システムの異常発生時の対応 ................................................................................................... 30

4 AI システムの試験方法 ...........................................................................................................................31
4.1 AI システムの試験方法におけるアプローチ....................................................................................31
4.2 原理原則に基づく評価シナリオの体系化 ...................................................................................32
4.2.1 認識外乱シナリオ ............................................................................................................................. 34
4.2.2 顧客行動外乱シナリオ .................................................................................................................... 66
4.2.3 監視スタッフ環境外乱シナリオ ....................................................................................................... 75

5 附録 ガイドラインの構成 ..................................................................................................................... 85
6 参考文献 ...................................................................................................................................................... 85

3

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

1 はじめに
1.1 目的及び効果
1.1.1 背景・目的
我が国において、顧客に自ら給油等を行わせる給油取扱所（以下、セルフ SS という）は、1998 年に行われた消防法並びに危険物の規制に関する政令及び同規則の改正により、その導入が実現したものである。
セルフ SS においては、引火性に代表されるガソリン・軽油等の危険性の観点から、危険物取扱者による給油行為の許可及び監視が必要とされている。
他方、近年国内の石油製品需要の減少を背景として、過疎化や、それに伴う人手不足等により、給油取扱所（以下、SS という）の数が減少し、過疎地域を中心にいわゆる SS 過疎地問題が課題となっている。2018 年 7 月に閣議決定された「エネルギー基本計画」等においては、AI・IoT 等の新たな技術を活用し、人手不足の克服、安全かつ効率的な事業運営や新たなサービスの創出可能とするため、安全確保を前提とした規制のあり方について検討することが求められている。
こうした動きを踏まえ、石油元売会社は、セルフ SS における AI を活用した給油許可監視に関する技術開発を進めており、2019～2020 年度に開催された総務省消防庁「過疎地域等における燃料供給イン
フラの維持に向けた安全対策のあり方に関する検討会」において AI を活用した給油許可監視は検討課
題の一つとなり、給油許可監視業務における AI 活用のイメージが整理された。
その流れを受け、2021 年 4 月に消防庁より、石油業界側で AI システムの評価方法等について素案を作成し、2021 年度に開催する消防庁「危険物施設におけるスマート保安等に係る調査検討会」にて提案する方向で検討してほしいとの要請があり、石油連盟は、石油元売会社・AI システム開発関係会社・消防庁等をメンバーとする WG を立ち上げ、AI システムの機能要件・評価方法・試験方法に関するガイドライン案を作成する方向で検討を進めることとした。
「セルフ SS における AI による給油許可監視の実装に向けた AI システム評価方法等に係るガイドライン」（以下、本ガイドラインという）は、セルフ SS における給油許可監視システムの実装にあたり、機能要件や試験方法等、システムの信頼性評価に関する枠組みを示すことで、セルフ SS における円滑なシステムの導入・運用を支援し、以てセルフ SS における事故の発生防止による公共の安全確保と、セルフ SS 運営の効率化に寄与することを目的としている。
なお、本ガイドラインは、石油連盟が AI システムを活用して給油許可監視を行う関係者に対して AI シス
テムの評価方法・試験方法・運用方法を強制するものではない。また、本ガイドラインの利用者（法人および個人を問わない） が、本ガイドラインに従って行動したことまたは行動しなかったことによりもたらされた全ての結果において、いかなる人に対しても、石油連盟は、全ての法的責任を負うことはない。
4セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

本ガイドラインの作成に当たっては、プラント保安分野 AI 信頼性評価ガイドライン（経済産業省・総務省
消防庁・環境省）等を参考とした。本ガイドラインは、消防法令の改正、今後の AI システムの機能改良等に応じて適宜改訂するものとする。
1.1.2 効果
本ガイドラインの活用主体としては、給油許可監視システムをセルフ SS に導入する企業と、当該システムを開発し納品するベンダー企業を想定しており、それぞれの立場において想定される活用効果を以下に示す。
(1) 給油許可監視システムを導入する SS 運営者の活用効果
給油許可監視システムを導入する SS 運営会社は、本ガイドラインの活用により、セルフ SS における給油許可監視システムの信頼性評価を適切に実施することができる。また、本ガイドラインに則って開発されたシステムの導入及び運用を行うことで、安全性等に関する説明責任を果たしやすくなり、セルフ SS におけるシステムの導入及び運用を円滑化することができる。
(2) ベンダー企業の活用効果
ベンダー企業は、本ガイドラインの活用により、給油許可監視システムを導入する SS 運営会社が同システムに求める信頼性の基準を客観的に把握した上で、システムの開発に取り組むことができる。これにより、一般的に困難とされるシステムの信頼性評価の妥当性を説明することが容易となり、より円滑なシステム開発を行えるようになることが期待される。

5セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

1.2 構成本ガイドラインは、次に示す第 1 章から第 4 章までの 4 章構成である。
第1章「ガイドラインの概要」では、本ガイドラインの目的及び効果、構成、射程、他のガイドラインとの関係、用語や関連法令等を示す。

第2章「機械学習の信頼性評価」では、給油許可監視システムの信頼性評価に用いる概念・品質の階層構造（「利用時品質」「外部品質」「内部品質」の 3 階層）の内容について整理する。

第3章「AI システムの機能・設備・運用に係る要件」では、給油許可監視システムの導入・運用時に考慮すべき要件について整理する。

第4章「AI システムの試験方法」では、給油許可監視システムにおける試験方法のアプローチと、評価
シナリオについて体系的に整理する。

第5章

「附録

ガイドラインの構成」では、本資料を含むガイドラインの構成を示す。

1.3 射程本ガイドラインは、給油許可監視業務を支援するシステムをセルフ SS へ導入する場合において、当該シス
テムの信頼性を担保するための基準等をまとめたものである。
本ガイドラインにおける「給油許可監視業務」は、消防庁が 2020 年度に開催した過疎地域等検討会において、AI 活用の対象と整理された業務領域、即ち、「火気の有無」と「携行缶・ポリ缶の有無」の検知・監視を含む、「固定給油設備からノズルが離れてから戻るまでの給油許可・監視」を射程とする（図1-1）。ただし、例えば灯油の注油行為等、将来的に業務領域を広げていく可能性を否定するものではない。
また、本ガイドラインにおいては、次頁の図 1-2 の通りロードマップを作成しており、給油許可監視システムの社会実装を 3 つの STEP で段階を踏んで実現していくこととした。

6

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

本ガイドラインにおける給油許可監視システムは、同ロードマップにおける STEP 1.0 を対象とし、セルフ SSにおける給油許可監視業務の「支援」を想定している。今後 STEP1.5 以降を実現する段階では、緊急時の有人対応を前提として給油許可監視業務を AI が一部代替することは将来的な射程に含めることとするが、その場合においても、非常時の安全確認や緊急時対応等は、引き続き有人での対応となることを前提としている。
No.

給
油
許
可
に
お
け
る
監
視
項
目

監視内容

1

自動車が給油エリアに停止

2

エンジンを停止させる

3

自動車から降りる

4

パネルを操作し、注文・支払いをする

5

静電気除去パッドに触る

6

給油口を開ける

7

油種に応じたノズルを取る

8

給油口にノズルを差し込む

9

給油

10

給油口からノズルを抜き取る

11

ノズルを戻す12

給油口を閉める

13

乗車する

14

枠内から退場する

No.

そ
の
他

監視内容

1

火気の有無

2

携行缶・ポリ缶の有無

3

注油（灯油）【凡例】

本ガイドラインにおいて必須とする監視項目
任意の監視項目

図 1-1 本ガイドラインが対象とする給油許可監視システムの射程

7

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

本ガイドラインの対象『人間』が給油許可『AI』が給油許可

STEP1

STEP1.5

STEP2*2• AIシステムは給油許可判断に資する情報を • AIシステムが給油許可まで行うことができる
提供「利用条件」と「特定条件」を設定し、その• ヒトが「目視確認(監視カメラによるリアル
限られた条件下においてのみ、AIシステムがタイム映像の確認)」と「給油許可」を実行「給油許可」を実施• AIシステムは一部監視項目を自動検知し、 • 条件を外れた場合等、AIシステムが判断できない場合には、ヒトが「給油許可」を実施
給油許可後も監視を継続• AIシステムの利用条件の範囲を広げ、AIシステムが給油許可を実行し、ヒトは緊急時対応のみを行うプロセスの実装• AIシステムが全監視項目を自動検知し、給油許可後も監視を継続• AIシステムは一部監視項目を自動検知し、給油許可後も監視を継続
AIによる支援割合

概要

AIによる支援割合

AIによる支援割合

情報提供
監視
給油許可

AIシステム
監視カメラ
画面

監視カメラ画面

給油許可

SSC

SSC

監視・対応
監視カメラ

AIシステムAIシステム

監視

監視・対応（NGの場合のみ）

給油許可

利用・特定
条件下でのみ
給油許可
監視カメラ

対応
（緊急時のみ）監視カメラ* 将来的なイメージ、完全自動化をゴールとしない。

図 1-2 本ガイドラインが対象とする給油許可監視システムの実装に向けたロードマップ

また、本ガイドラインにおいては、AI 応用分野で先行する自動運転車両の事例を参照している。図 1-3に示す通り、自動運転の技術の分野では、道路環境や気象条件等が異なる中、安全な走行を行うための技術水準に至っていないシステムにおいては、運転主体を人とシステムのいずれかに設定し、システム
が自動運転を行う場合の条件として運行設計領域（Operational Design Domain、以下、ODD という）を定め、定められた ODD を超えた場合には、システムが自動運転できないために人に判断を委ねる
仕組み、人への交代要求（Take-Over Request、以下、TOR という）を確実に行うことが必須要件となる。

8

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

この事例に則り、システムを利用できる環境条件や利用条件について、まずは具体的な評価ケースとして、先行して開発する石油元売会社のシステムごとに個別に条件の範囲を設定し、その限定された条件下でのみ給油許可監視システムの給油許可判断（計算結果）をそのまま適用できることを目指すこととした。
また、その条件下でシステムが判断（計算）できない場合には、確実に人に判断を委ねる形を想定している。

図 1-3 自動運転におけるレベルの定義（参照事例）
出所）国土交通省資料、官民 ITS 構想・ロードマップ等を基に作成

本ロードマップにおいては、足元の技術的な制約を AI が実現できる状態を STEP 1.0、AI が自立して給油
許可と給油監視までを実施できる状態を STEP 2.0 とし、その中間で AI が自立してできる条件を少しずつ増やしていく状態を STEP 1.5 とした（図 1-3）。なお、本ガイドラインは、主に STEP 1.0 を対象としている。
STEP 1.0 では、まずは安心安全を第一優先として AI で判断（計算）した内容を人間が確認することで安全を担保することを目指す。セルフ SS においては、計量機を動かすために制御装置（SSC）を利用す9セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

るが、本 STEP では従来の固定式の制御装置に加え、2019 年度に認められた可搬式の制御装置についても利用を想定している。AI が判断（計算）した安全・危険の判定結果を人間のスタッフに通知し、スタッフが監視カメラによるリアルタイム映像を目視確認して、スタッフが制御装置の許可ボタンで給油許可することを想定している。
STEP 1.5 は、人間の確認作業を少なくするため、特定の条件下で AI が自立して給油許可及び給油監視までを実施できることを目指す。

1.4 他のガイドラインとの関係
本ガイドラインの策定にあたっては、産業技術総合研究所の「機械学習品質マネジメントガイドライン第 2版」及び石油コンビナート等災害防止 3 省連絡会議1の「プラント保安分野 AI 信頼性評価ガイドライン」（以下、プラント AI ガイドラインという）、また、他領域の事例として「自動運転の安全技術ガイドライン」（以下、自動運転ガイドラインという）を参考としている。
(1) 機械学習品質マネジメントガイドライン 第 2 版（産業技術総合研究所）
産業技術総合研究所が、民間企業・大学などの有識者と共同で、「AI システムのライフサイクル全体にわたる品質マネジメントを扱い、AI システムのサービス提供で求められる品質要求を充足するための必要な取り組みや検査事項を体系的にまとめたもの」である。AI システムに求められる品質を客観的に判断する基準を策定することで、AI システムのビジネス活用を加速させることが期待されている。
(2) プラント保安分野 AI 信頼性評価ガイドライン（石油コンビナート等災害防止 3 省連絡会議）「プラント保安分野に特化して AI の信頼性（プラントの安全性や生産性向上のために期待される品質を果たすこと）を適切に管理する方法」 を示したものである。このガイドラインは、産業技術総合研究所「機械学習品質マネジメントガイドライン 第 2 版」と同様の方法で機械学習の信頼性評価を行い、必要な信頼性を確保する具体的な方法等を示している。
(3) 自動運転の安全技術ガイドライン（国土交通省自動車局）
国土交通省は、自動運転車の安全技術ガイドラインを策定し、レベル 3、4 の自動運転車2が満たすべき安全性に関する要件を明確化した。「自動運転システムが引き起こす人身事故がゼロとなる社会の実現を目指す」ことを目標として設定し、具体的には、自動運転車が満たすべき車両安全の定義を、「自動運転車の運行設計領域（ODD）において、自動運転システムが引き起こす人身事故

1

3 省とは、経済産業省・総務省消防庁・厚生労働省を指す。

2

レベル３とは「システムが全ての運転操作を行うが、システムの介入要求等に対してドライバーが適切に対応することが必要」

な条件付自動運転であり、レベル４は「特定条件下においてシステムが全ての運転操作を行う」特定条件下における完全自動運転のことを指す。

10

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

であって合理的に予見される防止可能な事故が生じないこと」と定め、ドライバーモニタリング機能の装備、サイバーセキュリティ対策、ユーザーへの情報提供など、自動運転車が満たすべき安全性に関する要件等を示している。

1.5 品質評価の全体像
本ガイドラインの策定にあたっては、次項で記載の通り、AI や他領域のガイドラインや考え方を参照した。
まず、プラント AI ガイドラインに基づき、AI システムの開発・運用の観点で留意すべき機械学習の信頼性
評価の構造を整理した。具体的には、「利用時品質」、「外部品質」、「内部品質」の３つの品質のレベ
ルと内容を設定し、ガソリンスタンドでの給油許可監視システムに適用できる形に落とし込んだ。
次に、AI システムが出力するアウトプットの品質を評価する手法として、自動運転分野における網羅性を担保可能な実用性のある「原理原則に基づくシナリオベースアプローチ」を参照し、ガソリンスタンドにおける給油許可監視業務におけるリスク因子を「認知」、「判断」、「操作」の観点で洗い出し、それぞれのリスク因子に該当する「認識外乱シナリオ」、「顧客行動外乱シナリオ」、「監視スタッフ環境外乱シナリオ」の３つの試験シナリオを整理した。
最後に、自動運転ガイドラインや消防庁 PoC の実施結果を踏まえ、AI システムの導入時・運用時に確認すべき事項として、利用の観点で必要な３つの要件、「機能要件」、「設備要件」、「運用要件」を整理した。これにより、実導入の際に AI システムを受け入れるセルフガソリンスタンドの店舗側が確認すべき要件を明らかにした。
これらの３つの検討事項の詳細は次章以降に記載するが、それぞれの関係性を以下の通り示す（図 14）。

11

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

AIシステムの３品質具備すべき３要件

一般的なAIシステムの開発時に考慮・検討すべき要件（出所：「プラント保安分野AI
信頼性評価ガイドライン」を参照し作成）

AI給油許可・監視システムの導入時・運用時に確認すべき要件（出所：国交省
自動運転ガイドライン等を参照し作成）

利用時品質
システム全体で最終的な利用者に提供すべき品質

外部品質
システムのうち機械学習で構築された構成要素が満たすことが期待される品質（リスク回避性・パフォー
マンス性）

Ａ
Ｉ
シ
ス
テ
ム
に
よ
り
目
指
す
品
質

機能要件
AIシステムが具備すべき具体的な機能（給油許可／給油監視／
TORに関する要件など）

試験シナリオAI給油許可・監視システムの導入時に確認すべきシナリオ（出所：一般社団法人日本自動車工業
会の自動運転分野における「原理原則に基づくシナリオベースアプローチ」を参照して作
成）

設備要件

試験シナリオSTEP1.0のAIシステムを実装するために必要となる施設や設備の構成
AIを使う前提条件

各種要件が充足されているかを
シナリオを通じて検証

内部品質

運用要件

外部品質を満たすために、機械学習要素の設計・開発・運用等で充足することが必要になる品質

STEP1.0のAIシステムを実装したSSが、営業を行うにあたって必要な運用上の要件

給油許可・監視業務支援領域において、安全性（・効率性）の観点で以下の２点を確認する①AIシステムが適切にアウトプットできるか②AIシステムを利用する主体が適切に利用できる運用体制となっているか

利用の観点で確認する事項

システム開発・運用の観点で確認する事項

図 1-4 3 品質、3 要件、試験シナリオの関係性
出所）各ガイドラインを参照し作成

1.6 用語本ガイドラインにおいて使用する用語について、以下のように定義する。
(1) 機械学習
機械学習は、「人工知能のうち、特に計算機システムが明示的なプログラム指示に依ること無く、デー
タのパターンを自動的に認識した結果を用いて推論・判断を行うようなシステムのこと」を指す。
(2) SS（Service Station／サービスステーション／給油取扱所）
サービスステーション(SS)は、危険物の規制に関する政令第 3 条第 1 号に規定される、給油設備によって自動車等の燃料タンクに直接給油するため危険物を取り扱う取扱所（給油取扱所）のことを指す。頭文字を取って「SS」と記載される。
(3) セルフ SS
セルフ SS は、危険物の規制に関する規則第 28 条の 2 の 4 に規定される、顧客が自ら自動車等に給油を行うことができる給油取扱所のことを指す。自動二輪車は自動車に含まれるが、顧客にガソ
12セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

リンを容器に詰め替えさせることは認められない。（平成 10 年 3 月消防危 25 号）(4) EUC（Equipment Under Control：被制御装置）
EUC は、「製造、プロセス、運輸、医療、その他の業務に供される機器、機械類、装置、プラントなど」を指し、本ガイドラインでは、主にセルフ SS における給油許可業務に用いられる機器等を指す。
(5) E/E/PE（Electric/Electronic/Programmable Electronic：電気・電子・プログラマブル電子の）E/E/PE は、「電気(E)、電子(E)及び／又はプログラマブル電子(PE)技術に基づく」ことを指す。
この用語は、電気的原理で作動する全ての機器又はシステムを包括する。
(6) 安全関連系
安全関連系は、以下の 2 つの条件を満たすシステムのことを指す3。
① EUC を安全な状態に移行させるため、又は EUC の安全な状態を維持するために必要な、要求された安全機能を行う。
② それ自体で、又はその他の E/E/PE 安全関連系及び他リスク軽減措置によって、要求される安全機能に対して必要な安全度を達成する。
(7) SIL（Safely Integrity Level：安全度水準）
SIL は、機能安全規格 IEC 61508（JIS C 0508）4及び IEC 61511（JIS C 0511）5で定められている「安全度の値の範囲に対応する離散的水準」を指す。安全度水準の最高値は 4 であり、最低値は 1 である。なお、安全度とは、「ある E/E/PE 安全関連系が、指定した期間内に、全ての指定した条件下で、規定する安全機能を果たす確率」を指す。
(8) 信頼性（ソフトウェア信頼性）
信頼性は、「特定条件下で使用するときのある性能を維持する能力」を指す。
本ガイドラインにおいて、単に「信頼性」という場合は「ソフトウェア信頼性」を指すものとする。
(9) PoC（Proof of Concept）
PoC は概念実証のことを指し、「新しいアイデアの実施可能性を確認するために、本格的な実装・システム化の前に行う検証活動」を指す6。

4

IEC（国際電気標準会議）が制定した E/E/PE の機能安全に関する国際規格

5

IEC が制定したプロセスエンジニアリングのアプリケーション規格

6

石油コンビナート等災害防止 3 省連絡会議「プラント保安分野 AI 信頼性評価ガイドライン」

13セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン(10) 利用時品質
利用時品質は、システム全体で最終的な利用者に提供すべき品質のことを指す7。実際にユーザー利用した際の満足性やリスク回避性等が該当する。
(11) 外部品質
外部品質は、システムのうち機械学習で構築された構成要素が満たすことが期待される品質のことを指す 7。外部品質を達成することで、利用時品質が実現される。
(12) 内部品質
内部品質は、機械学習による構成要素が固有に持つ品質のことを指す 6。「外部品質」を満たすた
めに、機械学習要素の設計・開発・運用等で充足することが必要になる品質である。
(13) ODD（Operational Design Domain）
自動運転分野の用語であるが、本ガイドラインでは、STEP1.5 においてシステムが自動給油許可監
視業務を行う場合の条件を指す。この条件を ODD として定め、定められた ODD を外れた場合には、システムが自動操作できないために人に判断を委ねる仕組み、人への交代要求（Take-Over
Request、以下、TOR という）を確実に行うことが必須要件となる。
(14) TOR（Take-Over Request：交代要求）
AI システムが従業者に対して手動操作への交代を要請することを指す。STEP1.5 においては、AI シス
テムによる自動給油許可から従業者への手動給油許可に移行するケースがあるため、TOR は主に
STEP1.5 で使用される。

7

産業技術総合研究所「機械学習品質マネジメントガイドライン 第 2 版」

14

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

1.7 関連法令等
本ガイドラインに関連する法令・規格・基準等は、以下に示す通りである。
(1) 消防法「火災を予防し、警戒しおよび鎮圧し、国民の生命、身体および財産を火災から保護するとともに、火災または地震等の災害に因る被害を軽減し、もつて安寧秩序を保持し、社会公共の福祉の増進に資すること」（第 1 条）を目的として定められた法律である。
(2) 消防法施行令
防火対象物、消防用設備に関する技術基準、救急業務、消防設備に関する検査等を定めた、消防法の施行のための政令。
(3) 消防法施行規則
消防法施行に必要な防火・消防管理者、消防計画等の届出、消防用設備等の設置、維持の技
術上の基準、検査、点検等を詳細に定めた省令。
(4) 危険物の規制に関する政令／規則
消防法第三章及び危険物の規制に関する政令の規定に基づき、これらの実施のために定められる
政令及び規則。危険物の品名や指定数量、貯蔵所や取扱所の区分等を定める。
(5) 消防危
消防危とは、消防庁危険物保安室が通知・通達したものを指す。「顧客に自ら給油等をさせる給油取扱所における可搬式の制御機器の使用に係る運用について」（令和 2 年 3 月 27 日付け消防危第 87 号）等が本ガイドラインに関連する。

15

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

2 機械学習の信頼性評価の構造
本ガイドラインでは、石油コンビナート等災害防止３省連絡会議「プラント保安分野 AI 信頼性評価ガイ
ドライン 第 2 版」及び同ガイドラインが参照している、産業技術総合研究所「機械学習品質マネジメント
ガイドライン 第 2 版」における品質確保の構造を用いて、AI システムの信頼性評価を行う。
品質確保の階層構造について、その概略を図 2-1 に示す。まず、AI システム全体を通して実現したい内容（＝利用時品質）を定義し、それを満たすために必要な機械学習要素の性能と達成レベル（＝外部品質）を設定した。そして、その達成レベルに応じた要求事項に基づいて、機械学習要素（＝内部品質）を作り込むことを想定している。本ガイドラインは、給油許可監視システムの品質確保に向けた各品質について、上記の流れでその定義付けを実施した。

図 2-1 機械学習利用システムの信頼性評価における３段階の品質の関係
出所）「プラント保安分野 AI 信頼性評価ガイドライン 第 2 版」（2021 年 3 月）

2.1 利用時品質及び外部品質における評価軸
本ガイドラインでは、利用時品質・外部品質における各品質分類を「軸」と称し、「リスク回避性」と「パフォーマンス」の２軸を設定している。また、外部品質については、「リスク回避性」と「パフォーマンス」のそれぞれについて、要求事項の強弱に応じた「レベル」を定義しており、外部品質のレベルに応じて、第 2.5 節の「内部品質」における要求事項のレベルが決定する構造となっている。
なお、「リスク回避性」と「パフォーマンス」の双方が同一のシステム上で要求されることもあり得る。このような場合は、「リスク回避性」と「パフォーマンス」の最適なバランスを定めることが必要である。

16

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン(1) リスク回避性「リスク回避性」とは、「機械学習要素が望ましくない判断動作を行うことを抑制し、システムを用いたサービス提供者・システムにより提供されるサービスの利用者または第三者などに人的被害や経済損
失・機会損失などの悪影響を及ぼすリスクを低減する品質特性」を指す。
(2) パフォーマンス
「パフォーマンス」とは、システムの有用性を意味し、業務等の生産性・効率性の向上に資する品質特性を指す。具体的には、システムの利用者が期待する成果を高い精度・確率で出力する品質を指し、「個別の誤判断による悪影響が大きな問題にならない出力では、個々の出力の是非よりも、平均的な性能の高さが要求されることに着目している8」。

2.2 利用時品質
利用時品質とは、「システム全体で最終的な利用者に提供すべき品質」を指す。利用時品質には、シス
テムの利用者がシステムに期待している目的や、前提として確保されているべき安全性等が含まれており、換言すると、「『システムで実現したいこと』が利用時品質である」と言える。本ガイドラインにおいては、正常な給油動作の検知と異常な給油動作の検知の組み合わせにより、安全性の向上と省力化・効率化の向上を狙ったものとした。
具体的には、リスク回避性の軸として、「『正常な』給油動作が正しく検知されること」、「（SS スタッフの対応が必要な）『異常な』給油動作が正しく検知されること」の 2 つを利用時品質と定義した。この２点を満たすことにより、安全性の向上を目指したシステムとする。また、省力化・効率化を目指したパフォー
マンスの軸として、「SS スタッフの（不要な）対応実施数を少なく抑えること」を 3 つめの利用時品質として定義した。本ガイドラインでは、AI システムがこれらの３つの利用時品質を満たすことを推奨する。

2.3 外部品質
前節で設定した利用時品質に対し、対応した機械学習要素の外部品質を設定する。外部品質とは、「システムのうち機械学習で構築された構成要素が満たすことが期待される品質」を指す。システムの構成
要素が「部品として要求される、客観的な視点の品質」のことであり、セキュリティ、信頼性、一貫性など

8

石油コンビナート等災害防止 3 省連絡会議「プラント保安分野 AI 信頼性評価ガイドライン」

17セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

正常な給油動作の検知

異常な給油動作の検知

顧客自身での携行缶給油『給油中』に（人が持っている）『ノズル』が『車両の給油口』に挿入されていることを検知する

火気

給油中に
停車枠外に
離れる
車両を停止
(ノズルの戻し忘れ)等

主に『ノズルを取る～戻す』の給油動作において、過去に事故発生の原因となったリスク行為が検知されないこと*火気や顧客自身での携行缶給油ついては、常時監視も視野に入れる

安全性向上

省力化・効率化(給油中は人間による目視確認を必要としない等)(未知の異常な給油動作をカバーできる(可能性がある))(AIが人間の見逃し等をカバーできる(可能性がある))

図 2-2 給油許可監視システムの利用時品質：リスク回避性のアプロ―チが挙げられる。
給油許可監視業務を支援するシステムの機械学習要素に求められる性能（ノズル検知能力等）が、外部品質に該当する。本ガイドラインにおいては、リスク回避性軸の外部品質として、「誤判定率の低減」
を定義した。具体的には、正しい給油許可判断が「異常」であるべき給油動作の場合に AI システムが「正常」であると判定する誤判定率、つまり、異常な行為を見逃してしまう間違いを限りなく小さくすること
正しい
給油許可判断AIシステムの給油許可判断

正解・
不正解①OK-OK
パターン

OK

OK

正解

②OK-NG
パターン

OK

NG

誤り

③NG-NG
パターン

NG

NG

正解

④NG-OK
パターン

NG

OK

重大な
誤り

誤検知率（パフォーマンス軸・効率性）=OK-NG件数/全件

誤判定率（リスク回避性軸・安全性）=NG-OK件数/全件

図 2-3 誤判定率・誤検知率の意味合い

18セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドラインを指す。また、パフォーマンス軸の外部品質は、「誤検知率の低減」と定義した。具体的には、正しい給油
許可判断が「正常」であるべき給油動作の場合に、AI システムが「異常」と判定する誤検知率、つまり、SS スタッフの対応が不要な場合に、要と判定する誤検知率を限りなく小さくすることを指す。リスク回避性軸の基準となる誤判定率と、パフォーマンス軸の基準となる誤検知率の意味合いは図 2-3 に示した通りである。

2.4 外部品質の要求レベル
前節で設定した外部品質について、機械学習要素への要求に応じたレベルを設定する。外部品質の要求レベルを評価するには、リスク回避性の軸である AI 安全レベル（AI Safety Level、以下、AISL という）と AI パフォーマンスレベル（AI Performance Level、以下、AIPL という）の 2 つの観点で評価することが求められる。本ガイドラインでは AI プラントガイドラインの評価方法に則り、レベル設定を行った。
2.4.1 リスク回避性：AISL の設定「リスク回避性」軸の外部品質に対し、機械学習要素の誤判断による悪影響を回避することへの要求の強さに応じてレベルを設定する。リスク回避性のレベルである AISL の設定フローは次に示す図 2-4 の通りである。
①安全関連系全体のSIL評価の必要性を確認
AIシステムを実装する対象設備が、
機能安全規格の適用対象と想定される場合はSIL評価を実施。

②「AISL表」に基づく簡易評価

SIL評価を要しないと判断された場合は、
AISL表に基づいて簡易評価を実施。★
に該当する場合は④SIL評価を実施し、非該当の場合は③を実施。

③外部安全機構の確認★

(機械学習要素の望ましくない出力を監視・補正する)外部安全機構が存在する場合はAISLを1段階軽減し、不在の場合は該当値をAISLと設定。

④SIL評価に基づく詳細評価

機能安全規格に従って、安全関連系のSIL評価を実施。SIL2以上の安全機能を機会学習要素に割り当てることは不可とし、SIL1/SILなしとなるよう考慮。

本ガイドラインにおいては、
AISL表を活用する⑤SIL評価結果のAISLへの変換

機械学習要素に割り当てるSILが1の場合はAISL1とし、SILなしの場合は、②のAISL表に基づいてAISLを設定。

図 2-4 リスク回避性のレベル（AISL）の設定フロー
出所）プラント保安分野 AI 信頼性評価ガイドライン第 2 版より作成

給油許可監視システムの AISL 設定においては、プラント AI ガイドラインの記載内容のうち、「機械学習要
素の誤判断による影響の簡易評価（AISL 表）」、「外部安全機構の有無」の 2 段階で評価を行った。
まず、機械学習要素の誤判断による影響の簡易評価においては、次の AISL 表を用いて評価を実施した
19

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン（図 2-5）。AISL 表は、縦軸に I～IV までの強度基準の評価、横軸に①～③までの人間による回避可能性の分類を行い、その掛け合わせでレベルを判断する。詳細は次項にて後述する。
※「微小な怪我」とは、いわゆる「赤チン災害」以下の強度にあたり、医師の診察を要する不休災害などは強度基準Ⅱに該当する。

強度基準は、１）～３）のうち、最も大きいものを選択する。 ※「直接被害額」とは、以下を意味する。「修理・交換・清掃・廃棄処分・環境修復および緊急対応の費用。直接コストには、ビジネ

ス上の機会損失・事業の中断および 原料や製品の損失・装置の停止による逸失利益、一時的な設備の調達や運転費、顧客の要請に対応した代替製品の調達費のような間接コストは含まない。」

強度基準

１）人的被害

I

•
•
•
•

死亡
障碍の残る障害
多数の重傷
極めて多数の重傷

２）経済的被害（直接被害額）

３）経済的被害（間接被害額を含む）※適用は任意1億円以上

人間による回避可能性の分類①人間による代替システムが用意されておらず、機械学習
要素の判断結果がそのまま運転・保全に反映される②機械学習要素の判断結果
が運転・保全にそのまま反映されることはなく、人間による確認・代替システムの適用を介した結果が反映される③機械学習要素は補助的情報のみを提示し、人間が判断して運転・保全に反映
する• 企業体としての存続等に著しい影響• 業務の運営を揺るがす重大な損害※AISL1※AISL 0.2

※AISL 0.2

II

• 重軽症
• 多数の負傷

1千万円以上

無視できない、具体
的な損害※AISL1※AISL 0.2

AISL 0.2

III

微小な怪我

1千万円未満軽微な利益の逸失にとどまる※AISL1AISL 0.2

AISL 0.1

III’（想定される被害者により容易に回避できる場合）

AISL 0.2

AISL 0.2

AISL 0.1

IV傷害の想定無しAISL 0AISL 0 ロードマップ

直接被害額の想定は軽微

間接被害額を含む
経済的被害の想定は軽微STEP 1.5

AISL 0 ロードマップ
STEP１

ロードマップSTEP２

図 2-5 「リスク回避性」の簡易評価の基準（AISL 表）
出所）プラント保安分野 AI 信頼性評価ガイドライン第 2 版より作成(1) AISL 表の縦軸評価（強度基準）「AISL 表」の縦軸は、機械学習要素が誤判断した場合に発生する人的又は経済的な影響の強度に応じて AISL が変動することを示している。したがって、強度が大きい表の上の方が求められる AISL
が高く、下の方が低く設定されている。強度基準は、「人的被害」「経済的被害（直接被害額のみ）」「経済的被害（間接被害額を含む）」のうち最も大きいものを選択することで設定するが、「経済的被害（間接被害額を含む）」の適用は任意となっている。
上記の判断基準を踏まえ、本ガイドラインの対象となる給油許可監視システムにおける強度基準は、過去５年間の消防庁提供事故データを分析した結果、「強度基準 II」とした。主に給油許可の業務
フローに起因する事故の人的被害の程度が II 以下の内容しか見られず、かつ II に該当する事故の発生頻度も非常に稀であったためである。具体的には、給油動作起因の死亡・重傷発生事故は０件であったが、中等傷者発生事故が 2 件あった（図 2-6）。この結果を既存の基準・分類と照らし合わせると次の図 2-7 の通りとなる。
(2) AISL 表の横軸評価（人間による回避可能性の分類）「AISL 表」の横軸は、機械学習要素の誤判断を人間が回避する可能性の程度に応じて AISL が変動することを示している。①は、機械学習要素の判断がそのまま機械学習利用システム全体の最終判断となる場合が該当する。②は、機械学習要素は何らかの判断を行うが、その判断は必ず人間が確認し、最終判断となる場合が該当する。③は、機械学習要素自体は判断を行わず（判断の材20セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

人的被害発生事故件数（平成28年度～令和２年度）
人的被害発生事故件数（単位：件）
死亡者
重傷者
中等傷者
発生事故
発生事故
発生事故
令和２年度
0
2
2
令和元年度
0
0
1
平成30年度
0
1
5
平成29年度
000
平成28年度
0
1
0
5か年計：
0
4
8

損害額別事故件数（平成28年度～令和２年度）
損害額別事故件数（単位：件）

軽傷者
発生事故

1万円以上
令和２年度
令和元年度
平成30年度
平成29年度
平成28年度
5か年計：

7
3
5
5
6
26

1万円未満

77
80
79
53
52
341

34
33
32
18
25
142

調査中
3
2
0
0
3
8

年度内
事故件数計
114
115
111
71
80
491

発生事故の詳細

事故種別
重傷者発生事故
重傷者発生事故
重傷者発生事故
重傷者発生事故
中等傷者発生事故
中等傷者発生事故
中等傷者発生事故
中等傷者発生事故

年度
令和２年度
令和２年度
平成30年度
平成28年度
令和２年度
令和２年度
令和元年度
平成30年度

中等傷者発生事故

平成30年度

中等傷者発生事故

平成30年度

中等傷者発生事故
中等傷者発生事故

平成30年度
平成30年度

事故概要
屋外セルフ給油取扱所内で顧客が自身にガソリンをかけ火をつけて発生した火災事故
給油取扱所敷地内で軽乗用車と人の関係する交通事故が発生し、固定注油設備が一部破損したもの。
ローリーからの荷卸し中における可燃性蒸気滞留による爆発火災
給油取扱所において、固定給油設備の点検中にインパクトドライバーの電気火花がガソリンベーパーに引火したことによる火災
給油取扱所において利用客が運転操作を誤り軽自動車を敷地内の事務所開口部に衝突させ、破損させたもの
給油取扱所における検定作業中の着衣着火事故
車両の接触による給油取扱所（セルフ）の固定注油設備等の破損
給油取扱所において地下貯蔵タンク解体作業中における火災
給油取扱所において顧客が給油レバーを誤って操作したことによるガソリンの流出。当該給油取扱所内において、顧客が普通自動車にガソリンを給油後、ノズルを戻す際に誤ってレバーを握ったことから、ガソリンが吐出し、顔や体にガソリンを被ったもの。
(中等傷者数：1名、怪我の種別：刺激、施設への被害：なし)
ガソリンスタンドにおいて給油中誤ってガソリンがかかり負傷した。セルフスタンドで親子で給油行為したもの。
(中等傷者数：1名、怪我の種別：化学熱傷、施設への被害：なし)
給油取扱所（屋外セルフ）における油配管点検時の流出事故
給油取扱所の廃止に伴う地下タンク（ガソリン）洗浄作業中の酸欠事故。

図 2-6 消防庁の過去 5 年間の事故データ分析結果 (1)出所）消防庁事故データより作成

図 2-7 消防庁の過去 5 年間の事故データ分析結果 (2)出所）プラント保安分野 AI 信頼性評価ガイドライン第二版より一部抜粋

料となる情報のみを出力し）、機械学習要素の出力を必ず人間が見て判断を行う場合に該当する。
したがって、AISL 表の左の方が求められる AISL が高く、右の方が低く設定されている。横軸の検討にあたっては、図 2-8 に基づき、機械学習要素の出力及び判断に対する人間の関与の度合いを確認
21

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

した。
これらの判断基準を踏まえ、本ガイドラインの対象なる給油許可監視システムにおける回避可能性の程度は、ロードマップの段階により異なる水準を設定している。具体的には、ロードマップ STEP 1.0 においては③、STEP 1.5 は②、STEP 2.0 は①に該当すると判断した。

STEP2の対象

STEP1.5の対象
STEP1の対象

STEP

AIがOK判断

AIがNG判断

STEP 1

ヒトが目視確認の上、給油許可を実施

ヒトが目視確認の上、対応実施

STEP 1.5＜特定の条件下のみ＞AIが給油許可を実施＜上記以外の通常時＞ヒトが目視確認の上、給油許可を実施

ヒトが目視確認の上、対応実施（給油中以降の場合はAIがポンプを自動停止）

STEP 2

AIが給油許可を実施（ヒトの目視確認不要）

ヒトが目視確認の上、対応実施（給油中以降の場合はAIがポンプを自動停止）

図 2-8 「リスク回避性」の横軸の判定フロー
出所）プラント保安分野 AI 信頼性評価ガイドライン第 2 版、石油元売会社ヒアリングを踏まえて作成(3) AISL 評価のまとめ(4) 以上の評価を踏まえると、リスク回避性軸のレベルはロードマップの段階によって異なり、STEP 1.0～
1.5 は AISL 0.2、STEP 2.0 においては AISL 1 となる。AISL 評価の結果をまとめると、以下の通りとなる。
SIL評価の必要性の有無（SIL評価を行う場合）

AIによる給油許可
監視システムなし
縦軸Ⅱ、横軸①～②(STEP1.5)または、③(STEP1)と判断。ただし、外部安全機構の設置により、AISLの1段階軽減措置ありと判断。
SIL評価結果
なし
考慮する影響の種類（人的被人的被害・直接的経済被害の 縦軸Ⅱの理由:
害・直接的経済被害のみ／間みAIが誤判断（異常な給油動作を見逃す）をしても、敷地内にスタッ（SIL評価を行わない場合、 接的経済被害を含む）
フが常駐していることにより迅速な駆けつけ対応が可能であるため、過もしくはSILなしの場合） 影響の強度（Ⅰ～Ⅳ）
Ⅱ
去のSS事故事例を鑑みてもⅠ程度の直接的な被害は発生しにくい
人間による回避可能性①～②または③と想定。ただし、現状でも防げていない損失ではあるが、経済的被害（①～③）
として火災事故による無視できない具体的な損害やレベル２～３の人的被害リスクを想定し、縦軸Ⅱとして品質管理を行う。
AISL
0.2 (STEP1.5)横軸①～②の理由：特定の条件下においてはAIが判断するが、それ以外の条件下では人間が確認するプロセスを経るため。
(STEP1)横軸③の理由：人の判断材料としてAIを使うため。

図 2-9 リスク回避性軸のレベル設定（AISL）
出所）プラント保安分野 AI 信頼性評価ガイドライン第 2 版、石油元売会社ヒアリングを踏まえて作成

22セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

2.4.2 パフォーマンス：AIPL の設定「パフォーマンス」に関する外部品質レベルの設定および評価基準表を次の通り示す。最も高いレベルである AIPL2 は、機械学習要素が一定の性能指標を満たすことが、機械学習利用システムの運用上必須、又は強い前提である場合に相当する。また、AIPL1 は、一定の性能要件が機械学習利用システムの目的として特定されているが、AIPL2 に該当しない場合（性能要件の達成がベストエフォートでよく、必達でない場合）に相当する。また、AIPL0 は、性能指標が特定されず、性能指標そのものを発見することが開発の目的となる場合などに相当する。この AIPL2・1・0 の評価基準は、プラント AI ガイドラインにおいて示されている定義・基準と同一である。

パフォーマンスレベル

説明

AIPL 2（mandatory requirements）•

機械学習要素が一定の性能指標（正答率・適合率・再現率など）を満たすことが、機械学習利用システムの運用上の必須または強い前提である場合。
受発注等の契約において、前記の一定の性能指標の充足が受入要件として明確に記載される場合。

ロードマップSTEP２•AIPL 1（best-effort requirements）••

一定の性能要件が機械学習利用システムの目的として特定されているが、AIPL 2に該当しない場合。
特に、リリースまでの日程スケジュールが重視される場合、または品質をモニタリングしながら試験運用を行い、漸次性能向上を行う運用が許される場合。

••

性能指標が開発時点で特定されず、性能指標そのものを発見することが開発の目的となる場合など。
所謂PoCの段階で終了する開発を行う場合。

ロードマップSTEP１～1.5

AIPL 0

図 2-10 パフォーマンスのレベル設定・評価基準の定義（AIPL）
出所）プラント保安分野 AI 信頼性評価ガイドライン第 2 版、石油元売会社ヒアリングを踏まえて作成

このように、AIPL は、基本的には、「パフォーマンス」に関する外部品質がシステムにおいてどの程度強い要件となっているかで決定し、業界で合意した性能の水準と要求水準の厳しさでユースケースごとに判断される。本ガイドラインにおいては、ロードマップの STEP 1.0～2.0 までの段階に応じて異なる AIPL を設定しており、ロードマップ STEP 1.0～1.5 の段階においては AIPL1、STEP 2.0 の段階においては AIPL2 と設定した。
性能の水準（高/中/低）

中水準に対する要求の厳しさ（mandatory/best-effort/なし）

best-effort

AIによる給油許可
監視システムAIPL

AIPL 1【性能の水準】STEP１～1.5においては、AISLに優先順位を劣後させる一方、商用化に至るために一定の性能水準を検証しながら定めていくこととするた
め、性能の水準は中程度と置く。
【水準に対する要求の厳しさ】
また、正常な場合に異常と判定する誤判定があると、異常のない（人間による確認が不要な）給油動作を人間が確認する手間が余計にかかるが、重大なコストではない。そのため、運用上許容される範囲において、best-effortで品質を高めることを目指す。

【その他、確認すべき事項】
なお、アラートを出すタイミング・閾値は運用しながら検証していくこととする。本システムの運用の前提や、評価のプロセスについて、共通認識を形成する。

図 2-11 パフォーマンス軸のレベル設定（AIPL）
出所）プラント保安分野 AI 信頼性評価ガイドライン第 2 版、石油元売会社ヒアリングを踏まえて作成

23セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

2.5 内部品質「内部品質」とは、AI システムの構成要素を作成する際に「具体的に測定したり、設計などの開発行為を通じて評価したりする、その要素が固有で持つ特性としての品質」を指す。
AI システムの誤判断は、学習データセットの不十分や過学習など、様々な要因によって起こり得るため、
適切な信頼性評価を実施するためには、AI システムの導入における全工程の妥当性を網羅的に確認する必要がある。そのため、本ガイドラインでは、「機械学習品質マネジメントガイドライン 第 2 版」の要求事項に鑑みて、データの設計から実装・運用の品質に至るまで、システム導入の工程を 4 つの区分に分類し、それぞれの区分に 2～3 項目ずつの内部品質を設定した（すなわち、合計で 9 項目の評価軸）。

2.6 内部品質における評価軸
以下では、内部品質における 9 つの評価軸について言及する。なお、各評価軸の定義は、産業技術総合研究所「機械学習品質マネジメントガイドライン 第 2 版」における定義を引用している。
(1) 要求分析の十分性
要求分析の十分性とは、「機械学習利用システムの実世界での利用状況に対応して機械学習要
素に入力されると想定される運用時の実データの性質について分析が行われ、その分析結果が想定される全ての利用状況を被覆していること」を指す。具体的には、機械学習要素が対応すべき動作の対象・範囲を明らかにすることや、入力データの範囲を特定することなどが要求事項として挙げられる。
(2) データ設計の十分性
データ設計の十分性とは、「要求分析の十分性を前提として、システムが対応すべき様々な状況に対して十分な訓練用データやテスト用データを収集し整理するためのデータ設計の十分な検討を実施すること」を指す。具体的には、AI システムの品質が低下するリスクを有するケースを網羅することや、取り扱える範囲のデータの属性及びデータ量とすることなどが要求事項として挙げられる。
(3) データセットの被覆性
データセットの被覆性とは、「対応すべき状況の組み合わせの各々に対して、状況の抜け漏れがなく、十分な量の学習データが与えられていること」を指す。具体的には、データセットの取り方などを工夫し、必要なデータを網羅的に確保することなどが要求事項として挙げられる。
(4) データセットの均一性
データセットの均一性とは、「データセット内の各状況や各ケースが、入力されるデータ全体におけるそれらの発生頻度に応じて抽出されていること」を指す。具体的には、データセット全体を取得するプロセス
24セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドラインに偏りが生じないよう配慮しつつ、個々の属性値の発生頻度などを適宜監視することなどが要求事項として挙げられる。
(5) データの妥当性(3)(4)のデータセットの分布に関する性質とは対照的に、データセット中のデータ 1 つ 1 つが訓練の目的に照らして妥当であることを、「データの妥当性」(Adequacy of data)とする。 妥当性には、値に誤りが無いことだけでなく、訓練に使われるべきでないデータが（たとえ値そのものが正確であっても）含
まれないこと（一貫性）、データに不適切な改変などがされていないこと（信憑性）、データが十分
適切に新しいものであること（最新性）などが要求事項として挙げられる。
また、教師あり機械学習の文脈では、訓練対象としての測定値等（機械学習要素を関数と見たときの入力側にあたる値）の妥当性である「データ選択妥当性」と、訓練用に付加された正解値（出力側にあたる値）の妥当性である「ラベリングの適切性」の 2 つの観点が含まれる。
(6) 機械学習モデルの正確性
機械学習モデルの正確性とは、「学習データセット（訓練用データ、テスト用データ、バリデーション用
データからなる）に含まれる具体的な入力データに対して、機械学習要素が期待通りの反応を示す
こと」を指す。具体的には、データセットの入力データに対して、機械学習要素が外部品質の期待に沿った出力であることなどが要求事項として挙げられる。
(7) 機械学習モデルの安定性
機器学習モデルの安定性とは、「学習データセットに含まれない入力データに対して、機械学習要素が学習データセット内のそれに近いデータに対する反応と十分に類似した反応を示すこと」を指す。具体的には、データセットに含まれない入力データに対して、その入力データ近傍のデータセットを入力したときの出力と類似していることなどが要求事項として挙げられる。
(8) プログラムの健全性プログラムの健全性とは、「機械学習の訓練段階に用いる訓練用プログラムや、実行時に使われる
予測・推論プログラムが、与えられたデータや訓練済み機械学習モデルなどに対してソフトウェアプログ
ラムとして正しく動作すること」を指す。具体的には、利用するソフトウェアは信頼できるソフトウェアを用いることや、機械学習要素の開発環境と運用環境の相違とそれによる影響を予め検討することなどが要求事項として挙げられる。
(9) 運用時品質の維持性
運用時品質の維持性とは、「運用開始時点で充足されていた内部品質が、運用期間中を通じて維持されること」を指す。具体的には、機械学習要素の更新頻度の見積もりまたは更新の必要性の25セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

判断基準を事前に検討することなどが要求事項として挙げられる。

2.7 内部品質における各評価軸の要求レベル
2.4 でレベルを設定した外部品質は、内部品質を作り込むことにより達成する。本ガイドラインで設定した
AISL/AIPL に応じて、内部品質の要求水準（要求レベル）を設定する。外部品質の AISL/AIPL と内部品質の要求レベルとの対応関係を以下の通り示す。例えば、AISL0.2 もしくは AIPL2 の場合、内部品質の要求は「レベル 2」となり、内部品質の 9 つの軸それぞれに設定された「レベル 2」の要求事項を適用す
ることとなる。複数の AISL/AIPL について、それぞれ内部品質のレベルを設定し、最も高い内部品質のレベルを用いて要求事項を適用する。
本ガイドラインで設定した AI システムが満たすべき内部品質の要求レベルは、ロードマップの段階によって異なる。STEP 1.0 の段階においてはレベル 1、STEP 1.5 においてはレベル 2 の要求事項を満たすべきこととする。
リスク回避水準
AISL

パフォーマンス水準AIPL

AISL 0.1

AIPL 1○AISL 0.2

AIPL 2―AISL 1―

内部品質の要求レベル
レベル１

STEP1

レベル２

レベル３

―

―

○

STEP1.5

STEP１～1.5で目指すべき要求レベル
―

―

―
○

図 2-12 外部品質の AISL/AIPL と内部品質の要求レベルの対応
出所）プラント保安分野 AI 信頼性評価ガイドライン第 2 版、石油元売会社ヒアリングを踏まえて作成

STEP 1.0～1.5 においては、内部品質の優先度を設定し、AI の非機能面（性能やセキュリティ等）に作用する内部品質は優先度を下げ対応を行うこととした。具体的には、STEP に応じて徐々に要求レベルを上げることとし、STEP 1.0 においては、すべての評価軸において要求レベル 1 の実現を目指し、STEP1.5 においては、④データセットの均一性、⑦機械学習モデルの安定性の評価軸は要求レベル 1、その他要求事項については要求レベル 2 を目指すこととする。

26

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン『人間』が給油許可

１
設．
計デ
ー
タ

２
．
デ
ー
タ
品
質

『AI』が給油許可

STEP1

STEP1.5

STEP2①要求分析の十分性

要求レベル１

要求レベル２

要求レベル３②データ設計の十分性

要求レベル１

要求レベル２

要求レベル３③データセットの被覆性

要求レベル１

要求レベル２

要求レベル３

要求レベル２～３

要求レベル１④データセットの均一性⑤データセットの妥当性

要求レベル１

要求レベル２

要求レベル２～３

モ３
デ．
ル学
の習
品済
質み

⑥機械学習
モデルの正確性

要求レベル１

要求レベル２

要求レベル３

運４
用．
の実
品装
質・

⑧プログラムの健全性

要求レベル１

要求レベル２

要求レベル３➈運用時品質の維持性

要求レベル１

要求レベル２

要求レベル３⑦機械学習
モデルの安定性

要求レベル２～３

要求レベル１

図 2-13 内部品質の要求レベル
出所）プラント保安分野 AI 信頼性評価ガイドライン第 2 版、石油元売会社ヒアリングを踏まえて作成

2.8 STEP1.0 における内部品質の詳細項目①要求分析の十分性～➈運用時品質の維持性までの AI の内部品質の要求水準と要求事項については、STEP1.0～1.5 において AI 給油許可監視システムが具体的に実現すべき内容を検討し、そのうち、
STEP1.0 の段階で満たすべき要求事項を別表１の通り整理した。AI 給油許可監視システムを開発するにあたっては、本表がチェックリストとして活用されることを想定している。

27セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

3 AI システムの機能・設備・運用の要件
本章では、事業者がセルフ SS において、AI システムによる給油許可監視を行うにあたり、必要となる各種の要件を定義する。必要要件はその内容により、①機能要件、②設備要件、③運用要件に分けられる。なお、本要件の前提となる AI システムの機能レベルは、特段の指定がない限り STEP 1.0 を想定する。この場合、AI システムは場内の監視により SS スタッフの給油許可を支援するが、AI システム自体が給油許可を実施することは想定していない。
① 機能要件： AI システムが具備すべき機能に関する要件。
② 設備要件： AI システムの稼働に際し必要となる、セルフ SS の設備に関する要件。
③ 運用要件： AI システムの稼働に際し必要となる、セルフ SS の運用に関する要件。

3.1 機能要件
3.1.1 給油許可支援（従業者に対する情報提供）(1) AI システムは、給油許可監視業務を実施する従業者に対し、給油の許可または中断の判断に必要な情報を提供できること。
(2) AI システムが顧客の正常な給油動作を認識し、且つ異常を覚知しておらず、給油作業に安全上支
障のないことを確認できたとき9は、給油許可に支障ない旨の情報を従業者に提供できること。
(3)また、異常の発生を覚知した場合には、従業者に対し、直ちに異常発生の旨を伝達できること。
3.1.2 監視可能な給油動作及び対象物
AI システムは、次に示す顧客の給油動作及び対象物の有無を継続的に監視できること。
▼ 【動作】

給油ノズルを計量機から取る▼ 【動作】

給油口に給油ノズルを差し込む▼ 【動作】

給油を行う▼ 【動作】

給油口から給油ノズルを抜き取る▼ 【動作】

給油ノズルを計量機に戻す▼ 【対象物】 火気の有無▼ 【対象物】 携行缶及びポリ缶の有無

9

危険物の保安に関する規制 第 40 条の 3 の 10 第 3 号 ロ「顧客の給油作業等が開始されるときには、火気のないことその他安全上支障のないことを確認した上で・・・ホース機器への危険物の供給を開始し、顧客の給油作業等が行える状態にすること。」

28セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

3.1.3 ノズル挿入の検知
給油許可後にノズルが給油口から脱落した場合、燃料の漏洩等の危険が生じる。そのため、AI システム
は、ノズルの給油口への挿入を検知できること、また、給油許可後に正常なノズル挿入を検知できなくな
ったときは、直ちに従業者に対し警告発報が行われるとともに、当該レーンの給油が停止されることが望ましい。
3.1.4 人離れの検知
ノズルが車両に挿入された状態で、給油者が車両周辺から離れた場合、ノズルが挿入されている事実を失念したまま車両を発進させる等の危険行為に繋がる虞が生じる。AI システムは、ノズル挿入中に給油者が車両周辺から離れた場合に、給油中の人離れを検知でき、直ちに従業者に対し警告発報が行われることが望ましい。
3.1.5 複数名給油の検知
車両の給油口の近辺に給油者の他に同乗者など複数名が留まっている場合には、SS 従業者に対し直ちに警告発報が行われることが望ましい。
3.1.6 火気の検知(1) AI システムは、給油レーン周辺において火気が発生した場合に、直ちに検知することができること。
(2) 火気を検知した場合には、直ちに従業者に対し警告発報が行われること。
(3) 火気を検知した場合には、自動または手動により、給油の緊急停止ができること。
3.1.7 携行缶及びポリ缶の検知
セルフ SS において、給油者自らによる携行缶等への給油は法令により禁止されている。給油ノズル周辺においてポリ缶または携行缶が存在する場合には、直ちにこれらの存在を検知できること、また、ポリ缶または携行缶を検知した場合には、直ちに従業者に対し警告発報が行われることが望ましい。

3.2 設備要件
3.2.1 導入対象施設
AI システムの導入対象となる給油取扱所が、危険物の規制に関する規則第 28 条の 2 の 4 に定める
「顧客に自ら給油等をさせる給油取扱所」であること。

29セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

3.2.2 給油レーンの監視(1) 監視対象となる給油レーンにおいては、停車枠を捉えることができるカメラを設置し、給油を行う顧客
及び給油の対象となる車両を監視できること。
(2) 監視対象となる給油 2 レーンに対し、1 台以上のカメラが取り付けられていることが望ましい。
3.2.3 セルフサービスコンソール(SSC)との連携(1) STEP 1.0 の AI システムにおいては、AI システムではなく、従業者が給油許可を行う体制となっていること。
(2) STEP 1.5 の AI システムにおいては、AI システムが自動操作を行う場合の条件（ODD）を充足する限りにおいて、AI システムが給油許可を行う仕様となっていること。

3.3 運用要件
3.3.1 従業者の体制
STEP1.0 の運用時には、通常のセルフ給油と同じく、必ず従業者が給油許可・監視業務に対応する体制が確保されていること。
3.3.2 監視事実の告知
AI システムによる監視対象となっている給油レーンを利用する顧客に対し、給油レーンへの標示、ポスターの掲示、計量機の画面表示または音声案内等の方法により、AI による監視の事実が周知されていること。
3.3.3 ODD の設定
STEP1.0 においては、従業者が給油許可監視を行うため ODD の設定は不要。ただし、STEP 1.5 の機
能実装時においては、AI システムが正常動作する予め定められた条件(ODD)を外れる場合には、従業者に対し、AI システムが確認と対応を要請できること。
3.3.4 AI システムの異常発生時の対応
AI システムまたはカメラ等に異常が生じる等し、AI システムが正常な情報を従業者に提供できない状態にあるときは、従業者がその状態を認識し、直ちに AI システムの使用を停止できる体制となっていること。

30

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

4 AI システムの試験方法
本章では、第 2 章で定義した３つの品質やその要求レベルを踏まえた、AI による給油許可監視システムの導入時に実施すべき具体的な試験方法を示す。

4.1 AI システムの試験方法におけるアプローチ
本ガイドラインにおいては、自動運転分野における安全保障に関するアプローチを参照し、網羅性を担保可能な実用性のある「原理原則に基づくシナリオベースアプローチ」を適用する。自動運転分野における安全保障に関するアプローチを示したものは、以下の通りである。

図 4-1 自動運転分野における安全保障に関するアプローチ
出所）一般社団法人日本自動車工業会「オーナーカー自動運転の安全性評価の取り組み」

31

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

4.2 原理原則に基づく評価シナリオの体系化
前述のアプローチを参照し、本ガイドラインにおいては、画像 AI を活用したセルフ給油許可監視に必要となる要素毎にシナリオを設定し、これらの評価シナリオの充足度を確認することにより、システムの有用性を検証する。図 4-2 に試験方法の大まかな流れを示す。

外部
環境

認知
監視カメラ
例）車両、携行缶、ノズル検知

判断

操作

正常な給油動作
入店→停車→エンジン停止→
静電気除去→給油

AI判定＋ヒトによる判断例）AI判定とヒトの判断が
異なる場合
AI

カメラ、センサ等（画角、画質等）

季節、天気、昼夜、
気温、立地など
周囲の環境

サーモカメラ・センサ等
例）火気検知計量機例）ノズルレバー状況検知 など

認識外乱シナリオ

OK

異常な給油動作例）顧客自身での携行缶給油、給油中の人離れスタッフ

NG

監視スタッフの兼務例）直接視不可の場所からの
給油許可
給油許可

顧客行動外乱シナリオ

監視スタッフ
環境外乱シナリオ

図 4-2 原理原則に基づくシナリオの体系化

AI に対する試験範囲の十分性について、給油顧客の行動や SS 環境の組み合わせは無限に存在し、単純に給油環境を整理、分類して組み合わせるだけでは現実的に検証を実施しきれず、十分な検証範囲を確保できないという課題がある。そこで、給油顧客の行動と SS 環境の組み合わせによる給油環境を俯瞰的に見て分類するアプローチではなく、給油許可監視タスクを実行するために必要なプロセスを物理原則の異なる認知、判断、操作の３要素「認知：認識外乱」、「判断：顧客行動に関する外乱」、「操作：給油許可環境外乱」に分解し、プロセス毎に処理結果に影響を及ぼす要因（Root Cause、
根本要因）をシナリオ体系として構造化することで、有限かつ安全の観点で網羅的な範囲の特定を可能にする。

図 4-3 認知・判断・操作の 3 要素

32

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

図 4-4 体系化するシナリオの３要素と外乱要因の対応

図 4-5 各シナリオの位置づけ

図 4-6 シナリオ毎の評価範囲イメージ

33

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

4.2.1 認識外乱シナリオ
認知に関わる認識外乱シナリオは、主に監視カメラが対象物を認識する状況において、認識性能に影響を与える（以下、認識外乱という）要素を検討するものである。カメラの画質によっては異なるものに間違えたり、天候・立地等によって反射したり陰になったりして違う色に見えたり、また車両や給油を行う人の位置関係によって隠れて見えなくなるといった、誤認識や検出漏れに繋がりうる要因を抽出し、その中から影響度や発生頻度を元に代表シナリオを選定する。
当該シナリオを検証することにより、誤認識（例：ノズルでないもの（傘の取っ手、衣類など）を「ノズルである」と認識する）や検出漏れ（例：ノズルを「ノズルではない」と認識する）が発生しないこと確認す
ることにより、AI が正しく安全性を判断するために必要となる入力情報の正確性を担保する。

図 4-7 誤認識と検出漏れのイメージ

これら認識外乱の要因は、「カメラ・センサ」、「周辺環境」及び「認識対象物」の 3 つに大別でき、それぞれを詳細かつ、各階層において網羅的に分解・分類することで認識外乱要因体系を構成する。例えば、構造、相対位置、種別などの視点で要因分解し、色、形状、材質、挙動などの階層まで分類を続けていく（図 4-8）。
また、認識外乱において最も重要な要素の一つであるカメラの知覚処理においては、認識対象物からの信号 S を特徴づける物理量として、強度、方位・範囲、信号の変化および取得時刻がある。図 4-9 にカ
メラの近くにおける外乱発生原理を体系化したものを示す。

34

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

認識外乱要因カメラ・センサ

付着物
・疎外物

本体仕様
• 監視カメラ/サーモ• 設置位置• 解像度• フレームレート• レンズ特性

周辺環境

SS構造

空間

• 雨滴
• 雪・氷
• 汚れ（泥・埃等）

照明• ハロゲン• LED

路面状態• 照り返し• 濡れている• 水たまり
• 積雪

天候
• 晴れ
• 曇り
• 雨
• 雪
• 霧

対象物

周辺移動物

車両

• 他車両（二輪、四輪）• ヒト（他顧客）
• 自転車

• 乗用車
• 大型車（トラック等）• 牽引者• 自動二輪

時間帯

停車枠
• 黄色
• 白
• 汚れ・擦れ

• 朝
• 昼
• 夕
• 夜

計量機
• シングルエントリー• ダブルエントリー• ノズル種別

図 4-8 認識外乱要因の体系

図 4-8 カメラの知覚における外乱発生原理
出所）「自動運転の安全性評価フレームワーク v1.0」より一部抜粋

35

ヒト

停車位置

• 給油顧客• スタッフ• 停車枠内• 停車枠外

携行缶/
ポリ缶
• 形状
• 色
• 大きさ

火気
• ベーパー引火• 火災

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

このような認識性能に影響を及ぼす外乱要因は、周辺環境の条件や認識対象物の種類などのバリエーションや、それらの組み合わせを考慮すると非常に多岐に渡る。そのため、本ガイドラインではカメラ・センサ
原理に基づいて認識外乱要因を分類し、同一の分類となるものの中からその代表要因を選択することで、シナリオ数を有限化するとともに、認識外乱要因を網羅するアプローチを採用する。
本ガイドラインでは、具体的な代表シナリオの検証観点、試験条件および試験方法については、「認識外乱の要素の抽出」→「試験シナリオの選定」→「検証観点および試験条件（試験環境）の定義」→「試験方法の定義」の 4 つのプロセスで決定した。代表シナリオの具体的な決定方法は次のとおりである。

図 4-9 認識外乱要因の体系(1) 認識外乱要因の要素抽出
認識外乱の要因と発生原理との関係はマトリクスで表すことができる。このマトリクスでは、縦方向に
認識外乱要因を、横方向に発生原理を並べており、各原理（＝列）についてそれを生じ得る要因（＝行）として該当するものが分かる形としている。同じ列内で該当する複数の外乱要因はどれも同じ原理によって生じるが、システムの安全性を評価するという観点から、認識性能への影響度および現場での遭遇確率が高い要因を選出し、評価シナリオとして優先順位付けを行った（後述(2)で実施）。
(2) 認識外乱シナリオの選定
認識性能への影響度と遭遇確率は、次のような考え方で点数化して同じ列内で比較した。

36

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン＜認識性能への影響の大きさ (X)＞
各原理について、それぞれの要因が起こし得る認識外乱の厳しさを 1～3 点で表現
（影響小：1 点、中：２点、大：３点）＜遭遇確率 (P)＞
以下で説明する（頻度総合点）×（発生時の継続時間）の数値を遭遇確率と見なし、その大きさによって 1～3 点に振り分け （確率小：１点、中：２点、大：３点）-

遭遇頻度

各外乱要因の地域性、気候・気象の影響度、使用方法による発生頻度をそれぞれ 1～3
点で表現し、４つの点数を掛け合わせて「頻度総合点」を算出- 発生時の継続時間
その要因が発生したときの１回の継続時間を 1～3 点で表現
（時間短：1 点、中：2 点、長：3 点）＜総合点＞
認識性能への影響の大きさ (X) と遭遇確率 (P) とは、それぞれウェイト (W) を 10 および 8 に設定して合計点数（WXX+WPP）を算出し、総合点とする
なお、本ガイドラインでは「認識性能への影響の大きさ (X)」、「遭遇確率 (P)」、「発生時の継続時
間」は、本ガイドライン作成時点では実験データ量は十分ではないため、WG 参加者間の定性評価により決定した。今後、実験データ量が十分に蓄積された場合においては、必要に応じて定量的な根拠をもとに見直しを実施するものとする。
(3) 検証観点／試験条件の定義
a.

検証観点
認識外乱による影響を受けず、正しく AI が認識対象物を認識し、従来給油可能な車両等に対して給油可能であること、又は給油を禁止されている車両等については給油不可であるということを軸として設定する。試験条件については次に示す要素を整理のうえ、代表的な試験条件を決定する。

b. 要素
石油元売各社の共通条件（カメラ仕様等の独自要件を除く）と給油時の安全性に影響を及ぼす可能性があるシナリオ・要因を本ガイドラインで定義し、石油元売各社毎に定義が異なる要素（カメラ・センサ仕様、カメラ設置位置など）については石油元売各社が定める方針とする。

37

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

c.

要素の網羅性に関する方針
AI システム利用条件として、前提何らかの理由で AI システムが給油行動を検知できない場合
や石油元売各社が AI システムの検知対象外と定義する給油動作については、TOR（交代要求）する方針である。そのため、本ガイドラインでは給油時の安全性に影響を及ぼす必要最低限の要因とする。（現状の給油取扱所で発生するすべての給油バリエーションを網羅することをゴールとしない。）(ア) 給油時の安全性に影響を及ぼす必要最低限の要素とは、利用条件（石油元売各社が開発した AI システムが従来の監視スタッフと同等以上の精度を担保できない給油動作や給油取扱所の環境に対しては AI 給油システムを導入しない等）を課す等の対応により回避できない要素を指す。
(イ) 石油元売各社が定義する給油動作や AI システムの検知対象物については、AI システムの検知対象物の網羅性を高めることにより、業務効率性の向上に繋がる（AI システムが半自動で判断するケース数が増え、結果的に TOR の回数が少なくなる）という考え方に基づき、必要最低限の要素を除き石油元売各社にて定義する。

d. 本ガイドラインで定義する要素
石油元売各社が共有の要素（図表：共通要素と表記）と石油元売各社が個別に定義する要素（図表：個社要素と表記）、さらに、従来レベルの安全性を満たすことができない業
務・環境条件等を利用条件により回避可能な要素（図表：回避可と表記）と回避できない要素（図表：回避不可と表記）の観点で識別を行う。このうち「共通要素」かつ「回避不可」
について本ガイドラインで定義する。要素毎の識別結果を図 4-10 に定義する。

38

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

図 4-10 認識外乱シナリオの試験要素の識別

図 3-10 で整理した識別結果より、本ガイドラインで定義すべき要素は周辺環境「SS 構造」「空間」「路面状態」の 3 要素と認識対象物「車両」「停車位置」「ヒト」「携行缶/ポリ容器」「火気」の 5 要素と定義する（図 4-11）。

図 4-11 認識外乱シナリオの試験要素一覧

39

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

e.

要素の定義
SS 現場で試験および評価が可能な粒度とするために、本ガイドラインで定義すべき要素を更に分解し、石油元売共通基準を以下のとおり定義する。

(ア) SS 構造（反射、遮蔽）＜考え方＞➢ 認識対象物（給油ノズル等）に対する認識阻害要因として『反射』『遮蔽』を試験対象とする。
➢ 「反射」については SS 環境や AI システムの実装方法等の元売各社毎に異なる要素と天候や給油対象車両等のランダム要素の影響が大きく、一意に試験条件を設定できない。そのため、本検証はサンプルケースの検証に留め、AI システムが誤認識・誤検知するケースの発生をモニタリングし是正するという運用でカバーする方針とする。
＜定義＞

図 4-12 「反射」と「遮蔽」の定義

40

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン(イ) 空間（天候、時間）＜定義の考え方＞➢ 全国で発生し得る「晴れ」「曇り」「雨」を必須要素とし、地域特性によりその発生頻度
や気象状態が異なる「雷」「雪」「霧」は推奨とする。
➢ 時間帯については日照条件が異なる「朝」「昼」「夕方」「夜」を必須とする。
＜定義＞

図 4-13 「天候」の定義

図 4-14 「時間」の定義

41

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン(ウ) 路面状態＜考え方＞➢ 路面状態は AI の認識精度に直接影響しないと想定されるが、路面の色と検知対象物が類似した色となる場合は、誤認識する可能性があるため試験を実施する。
➢ 試験対象は路面の色のバリエーションを網羅する方針とする。
➢ 精度と路面状態の関係性が元売各社により異なるため、定量的な基準は仮決めとし、運用の中で適宜見直しを実施する。
＜定義＞

図 4-15 「路面状態」の定義(エ) 車両＜考え方＞➢ 日本国内の保有台数が多い上位３位の車型と塗色を必須とし、上位４位以下は推奨とする。車型についてはさらに詳細化し、セルフ SS に来店する頻度が高いボディタ
イプを必須とする。
➢ ボディタイプとボディカラーの組合せは任意とする。

42

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン＜定義＞

図 4-16 「車両」の定義
出所）国土交通省公開情報をもとに作成

図 4-17 「車型」の定義

43

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン＜参考資料＞

図 4-18 試験対象とすべきバリエーションの根拠となる情報(オ) 停車位置＜考え方＞➢ 試験シナリオの定義上、各セルフ SS の停車枠内に収まるタイヤの数をもとに停車位置を定める。それぞれの停車位置のバリエーションを試験対象とする。
➢ 実装方法は「停車枠内のタイヤ数」「停車枠に対する車両の重なり度合」等が考えられる。試験ケースとしては停車枠内と停車枠外の定義をタイヤ数で切り分け検証を行うものとし、実装方法は元売各社に判断を委ねる方針とする。

44

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン＜定義＞

図 4-19 「停車位置」の定義(カ) ヒト＜考え方＞➢ 年齢・性別問わず人であることを検知することを確認するため、以下バリエーションを試
験対象とする。
➢ 年齢や給油客/SS スタッフ等を見分けることが目的ではなく、ヒトのバリエーションに関係なく AI が検知できることを検証する。
＜定義＞

図 4-20 「ヒト」の定義

45

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン(キ) 携行缶・ポリ容器＜考え方＞➢ 本来は安全性の観点から燃料油保管の用途として利用される携行缶・ポリ容器だけではなく、給油禁止容器についても試験対象とすべきである。但し、携行缶・ポリ容器、ペットボトル等の給油禁止容器は無数に存在し、網羅的な試験が困難。
➢ 本ガイドラインでは正常な給油行動として「給油ノズルが車両の給油口に差し込まれていること」を定義しており、本ケースで携行缶・ポリ容器などへの給油は防止可能である。
（ポリ容器・携行缶の検知が目的ではなく、正常な給油を検知できること）➢ そのため、本要素は車両の給油口以外に給油するケースの一例としてテストを行い、試験時のバリエーション網羅はベストエフォートとし、商用化時の動向を踏まえ見直しを実
施する。
＜定義＞

図 4-21 「携行缶」と「ポリ容器」の定義(ク) 火気＜考え方＞➢ 本来は事故を未然に防ぐという観点から点火源と可燃物を検知すべきであるが、現状の画像 AI および SS 設備では検知が困難である。そのため、「火」を AI の検知対象（試験対象）とし、点火源はベストエフ
ォートとする。

46

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン➢ 「火」の大きさ・燃焼温度等の定義については本ガイドラインでは定義せず、より小さな火についても検知できるようベストエフォートで対応を行うものとする。（但し、出火した
際は確実に TOR されること）＜定義＞

図 4-22 「火気」の定義(4) 試験シナリオの定義
上記(1)～(3)で定めたシナリオにおいて、一部の給油シナリオや要素については実業務で発生するケースは稀である（ＡＩの精度 100%の実現が困難である中、実ビジネスにおいて稀なケースに対応するためにどこまで投資するかという課題が発生する）。そのため、本ガイドラインでは、試験の発生頻度を基に、利用条件や導入環境に依らず必須で検証すべき試験シナリオと、利用条件や導入環境に応じて検証すべき試験シナリオを定義した。

47

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

図 4-23 認識外乱シナリオにおける試験シナリオ案

さらに、上記試験シナリオ案を(3)で定めた要素に分解し、試験ケースとして設定することで、検証・評
価可能な状態とした。このとき、要素が組み合わさることにより発生する新たな影響を加味し、「要素単一試験シナリオ」と「要素複合試験シナリオ」に分解し、検証を行う方針とした。

48

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

図 4-24 試験シナリオの体系(5) 試験シナリオ一覧
試験シナリオを以下の通り定義する。
a. 単独シナリオ49

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

50セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

51セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

52セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

53セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

54セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

55セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

56セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

57セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

58セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

59セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

b. 複合シナリオ(ア) 複合シナリオの設定方針
複合シナリオの設定方針は以下の通りである。
➢ 複合シナリオは 2 要素間の組合せケースとする。3 要素以上の組み合わせは、発生頻度が稀であることから検討対象外とし、運用フェーズの中で必要性を検証のうえ試験是非の見直しを実施する。
➢ 2 要素間の組合せケースにおいて、発生頻度が稀な状況、又は認識精度への影響が限定的であるケースは試験対象外とする。

図 4-25 複合シナリオ一覧(イ) 複合シナリオの組合せ方針元売各社の実証実験結果をもとに実際の SS で発生するであろう条件を試験対象とし、発生頻度が稀な状況、又は認識精度への影響が限定的である
シナリオは試験対象外とする。各要素の組合せと複合シナリオへの取り込み要否を以下に
纏める。

60

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

61セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

図 4-26 2 要素間の組合せ一覧

62

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン(ウ) 複合シナリオ一覧
複合シナリオを以下の通り定義する。

63

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

64セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

65セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

4.2.2 顧客行動外乱シナリオ
顧客行動外乱シナリオは、給油顧客が行う行為に対して、給油許可監視システムが安全性を正しく判断することができているかを検討するものである。
本ガイドラインが射程としている「ノズル挿入」から「給油」、固定給油装置（計量機）に「ノズルを戻す」
までの 「給油動作」と、危険要因となり得る顧客の「行動・行為」を構造化して紐づけることにより、火災やガソリンの流出等、危険に繋がる可能性が認められるシナリオを抽出する。また、セルフ SS における過去の事故事例から、一定程度の発生頻度と影響度を有する、動作ステップと行動・行為の組み合わせを抽出し、代表シナリオを選定する。
(1) 顧客行動外乱要因の要素抽出a.

給油動作のステップ
顧客行動外乱シナリオにおける「給油動作」の射程（図 4-27）は、当然ながら本ガイドラインの射程と同一であり、大きく①「ノズルの挿入」、②「給油」、③「ノズルを戻す」の 3 つに分けられる。

故に、例えば静電気除去パッドに触れてから給油口を開放する行為や、計量機にノズルを戻した後の行為については、顧客行動が安全性に影響を与えるかどうかに関わらず、顧客行動外乱シナリオ
としての検討の対象には含まれない。顧客による動作ステップの詳細について、次に再整理した。
図 4-27 正常な給油動作の流れにおける顧客行動外乱シナリオの射程① 「ノズルの挿入」は、給油を行う顧客が計量機からノズルを取り外し、給油口にノズルを挿入するまでの動作を指す。

66セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン② 「給油」は、燃料を注入する行為のそれ自体であり、これらは更にレバーを握る、レバーを握り続けて燃料の注入を継続する、レバーを離すという 3 つの段階に分けることができる。本項において単に「給油」といった場合には、これらの各行為を包括した給油動作を指す。
③ 「ノズルを戻す」は、給油口からノズルを抜き取った後、計量機にノズルを戻すまでの動作を指す。
b. 顧客の行動
顧客行動外乱シナリオにおいて、顧客が取り得る行動は、その行動が発生する要因により次の図 428 で示すように構造化することができる。なお、危険行為(Unsafe Acts)に係る顧客行動の構造化に関する確立した分類は存在しないが、行動心理学やヒューマンエラーに関する論文10等を参考に構造化を行った。
顧客の行動は、その故意又は過失の有無（意図）・判断・実行・規範意識といった内心の状態と行為の結果により、大きく①「誤操作(Slip)」、②「誤認識(Lapse)」、③「逸脱(Mistake)」、④「違反(Violation)」の 4 つに分けられる。このうち、特に①～③は「ヒューマンエラー」とも呼ばれる。

図 4-28 内心の状態と行為の結果に基づく顧客行動の構造化
出所）行動心理学やヒューマンエラーに関する論文等から作成

10

Adapted from James Reason, Human Error, Cambridge University Press67セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン① 「誤操作(Slip)」は、顧客による危険行為のうち、過失により操作を誤り、結果として危険が生じた行為のことを指す。行為結果に対する本人の意図はなく、判断は正しかったが、注意を怠ったために実行を誤ってしまった場合、当該行為は「誤操作」に分類される
例えば、給油完了後にノズルを計量機に戻そうとしたところ、誤ってレバーを握ってしまい、ガソリンが流出・飛散するような事案が「誤操作」に分類される。
この場合において、顧客本人は不注意により意図せず結果を惹き起こしてしまったため、「意図」の評価は「✕」となる。また、「判断」については、ノズルを戻そうとした判断自体は誤っていないた
め「〇」、「実行」については、本人の意図した実行ができていない（ノズルを握ろうと思って握ったのではない）ため「✕」となる他、過失であることから規範意識については「〇」（意図的に規則を破ろうとした訳ではない）の評価となる。
② 「誤認識(Lapse)」は、顧客による危険行為のうち、意図した操作を行うことができたが、過失により状況認識の段階で誤りがあったために、結果として危険が生じた行為のことを指す。行為結果に対する本人の意図はなく、本人の認識・判断の下においては実行も正しかったが、認識自体を誤ったために危険を生じた場合、当該行為は「誤認識」に分類される。
例えば、ノズルが車両に差し込まれたままであることを失念し、車両を発進させたため、ホースが破損しガソリンが噴出するような事案が「誤認識」に分類される。
この場合においても、顧客本人は不注意により意図せず結果を惹き起こしてしまったため、「意図」の評価は「✕」となる。また、「判断」については、不注意により車両にノズルが差し込まれたま
まになっていることを認識・判断できなかったことから「✕」の評価となる。「実行」については、車両を発進させようという本人の意識・作為の下で、車両を “正しく” 発進させることができることか
ら、評価は「〇」となり、過失であることから規範意識については「〇」となる。
③ 「逸脱(Mistake)」は、顧客による危険行為のうち、法令違反に該当するとまでは言えないが、推奨されない手順や行為により、危険が生じた場合の行為のことを指す。
なお、英語表記は「Mistake」となっているが、過失による行為を含まない概念であるため、日本
語でいう「間違い」とは意味合いが異なることに留意が必要である。
例えば、子どもと一緒に給油を行おうとしたところ、子どもが誤ってノズルを車両から引き抜いた
結果、ガソリンが飛散して負傷するような事案が「逸脱」に分類される。
この場合においては、子どもと一緒に給油を行うという行為自体は意図的に行われたものであるため、「意図」の評価は「〇」となる。また、「判断」については、子どもと一緒に給油を行おうとする行為は推奨されない行為であるため「✕」、「実行」については、子供と一緒に給油するという意図した行為が行えているため「〇」、「規範意識」については、法令違反を行う明確な意思はないため「〇」の評価となる。
68

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン④ 「違反(Violation)」は、顧客による危険行為のうち、法令に違反する行為が行われた結果として、危険が生じた場合の行為のことを指す。
例えば、セルフ SS 内で給油中にタバコを吸おうとライターに着火したところ、可燃性蒸気に引火し炎上するような事案が「違反」に分類される。
この場合、顧客は意図的に行為を行っているため、「意図」の評価は「〇」となる。また、「判断」
については、意図している行為が法令違反となるため「✕」、「実行」については、本人の意図した行為を正しく行えていることから「〇」、規範意識については当然に「✕」となる。
(2) 顧客行動外乱シナリオの選定
a.

事故の発生頻度と影響度に着目したシナリオ候補の整理
前述した「動作のステップ」と「顧客の行動」によりマトリクスを作成し（図 4-29）、さらにセルフ SS における過去の事故事例から、事故の「発生頻度」と「影響度」の観点に着目した事例整理を行うこと
で、重要性の高いシナリオを抽出した。
事故の「発生頻度」と「影響度」の 2 つの評価軸により、当該事故リスクの重要度を理解するというアプローチは、国際天文学連合(IAU)におけるトリノスケールの考え方を参考にしている。
トリノスケールは、地球近傍天体が地球へ衝突するリスクの深刻度を 0～10 の 11 段階で評価するもので、ここでは衝突した場合の「エネルギー」と「衝突確率」の 2 つの軸で、天体のリスクが評価される。セルフ SS における事故類型の重要度の検討にあたっては、「衝突時のエネルギー」を「事故の影
響度」、「衝突確率」を「事故の発生確率（発生頻度）」に類する概念と捉えることで、2 つの軸で客観的に事故事例の整理を行うこととした（図 4-30）。

図 4-29 顧客行動外乱シナリオのマトリクス

69

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

図 4-30 トリノスケールに見る事故類型の重要度の概念的整理

過去の事故事例については、消防庁及び損害保険会社から提供されたものを使用した。事故事例の収録対象期間は、消防庁のリストについては過去 5 年間、損害保険会社のリストについては過
去 9 年間である11。
事故の発生頻度を評価するにあたり、発生の過程や結果が類似している事故、例えば、誤操作によりガソリンが 0.5L 流出した事故と 2.0L 流出した事故については、事故事例の抽象化を行い、同一の事故類型として取り扱ったうえで発生件数をカウントし（この場合は誤操作によるガソリン流出
2 件とカウントする）、集計期間のうち 2 回以上発生している事故事例のピックアップを行った。
また、事故の影響度については、単に事故が発生したということに留まらず、実際の物的損害または人的被害が発生したことによって、事故事例に収録されているものを検討の対象とした。
このように「動作のステップ」と「顧客の行動」の組み合わせによる事故事例の整理を行うことによって、顧客行動外乱によって生ずる事故リスクの類型を網羅的に整理し、顧客行動外乱シナリオにおける試験シナリオ候補を抽出した。
b. 検知可能性と回避可能性に着目したシナリオ選定
3.2.2 (2) a. で先述した通り、一定程度の発生頻度及び影響度を有する事故事例を抽出した後、当該事故の「検知可能性」と「回避可能性」に着目し、双方が認められるものを試験シナリオとして選定することを検討した。

11

消防庁：2016 年 1 月～2020 年 12 月，損害保険会社：2010～2016 年及び 2016 年 9 月～2019 年 2 月

70セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン① 「検知可能性」は、安全を阻害する事象・要因が、カメラ・センサで検知できるかどうか、換言す
れば、給油許可監視システムが危険の発生を予見し得る状態にあるかという評価観点である。
現行の有人対応による給油における監視項目ではないものについては、たとえ技術的には検知可能なものであっても、検知可能性がないものと看做す。
ノズルを計量機から取った際にノズル内に残留していた燃料が飛散する事案を例にとると、ノズル内の残留燃料の有無は現行の監視項目ではないため、技術的に可能であるかといった評価の内容に関わらず、試験シナリオの選定にあたっては検知可能性がないものと看做しシナリオから除外する。
② 「回避可能性」は、給油許可監視システムの検知・判断によって結果回避可能な性質の危険に繋がる事象・要因であるかどうかを検討する評価観点である。
例えば、故意にガソリンを漏出させたうえ、ライターを使用し放火を図るような事案では、たとえ火気をシステムが検知できたとしても、結果回避に繋がることはないため、このような事案は試験シ
ナリオの選定にあたっては回避可能性がないものと看做しシナリオから除外する。
整理した各種の事故事例をこれらの評価観点で検討し、検知可能性と回避可能性の双方が認められるシナリオを試験シナリオとして選定した（図 4-31）。

図 4-31 顧客行動外乱シナリオにおける試験シナリオ71

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン(3) 検証観点／試験条件の定義
試験シナリオとして選定した顧客行動外乱があっても、給油許可監視システムの適切な判断及び動作により、安全が確保されるかが検証の観点（利用時品質）となる。外部品質となる想定するシステムの動作は、大きく①給油不許可、②警告発報、③給油停止に分けられる。
① 「給油不許可」は、給油許可前に試験シナリオにおける顧客行動外乱が検知された場合、システムが異常な給油動作と判断し、給油が許可されないことを指す。
この場合、ノズルに燃料は供給されず、レバーを握っても燃料が吐出することはない。給油許可後に給油許可を取り消す場合は、後述する「給油停止」に分類される。
② 「警告発報」は、試験シナリオにおける顧客行動外乱が検知された場合、光や音声等の手段で警告を行うことを指し、監督者に状況確認と有人による給油停止等の判断や、TOR の要求を行うことを想定する。なお、警告の発報対象は監督者を想定するが、給油者を警告発報の対象に含めても差し支えない。
これらの場合、警告発報があった段階で直ちに給油が停止することはないため、給油許可があった後であれば、レバーを握ることによって燃料の注入が可能な状態は維持される。
③ 「給油停止」は、試験シナリオにおける顧客行動外乱が給油許可後に検知された場合、セルフ
SS における当該レーンまたは全レーンの給油を直ちに停止することを指す。
この場合、給油停止の対象となったレーンでは、給油許可が為されたかどうかに関わらず、燃料が供給されないため、レバーを握っても燃料が吐出することはない。なお、ノズルおよびホース内に残留した燃料が吐出しないことまでを要求するものではない。
(4) 試験シナリオ一覧
a. 試験シナリオ 1（給油口にノズルを挿入する前のレバー操作による燃料吐出防止）
本試験シナリオでは、給油許可前において、ノズルを給油口に挿入する前にレバーを握っても、燃料が吐出しないことを確認する。なお、ポンプの停止や燃料供給弁の閉鎖等、燃料の吐出防止を実現するための方法の如何は問わない。
本シナリオは、「過失」×「誤操作」による顧客行動外乱に対応するものである。また、STEP 1.0 およ
び STEP 1.5 の双方について対応を「必須」とする。
b. 試験シナリオ 2（意図しないノズル脱落発生時の燃料漏洩防止）
本試験シナリオでは、給油許可後、給油中に意図せずノズルが脱落した場合、監督者に対し直ちに警告発報が行われるとともに、直ちに当該レーンの給油が停止されることを確認する。なお、試験シナ72セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

リオ 1 と同様に、燃料の漏洩防止を実現するための方法の如何は問わない。
本シナリオは、「過失」×「誤操作」による顧客行動外乱に対応するものである。ただし、ノズルの脱落とノズルの遮蔽を区別することが現行のシステムでは技術的に困難であるため、STEP 1.0 および STEP
1.5 の双方について、本シナリオへの対応は「推奨」とする。
c. 試験シナリオ 3（給油中の人離れ発生時の警告発報等）
STEP 1.0 の場合、本試験シナリオでは、給油許可後において、燃料注入中に給油者が車両から離れたとき、監督者に対し直ちに警告発報が行われることを確認する。なお、「人離れ」の定義（車両から給油者が X メートル以上離れる等）については、各社が定めるものとする。
STEP 1.5 の場合、本試験シナリオでは、給油許可後において、燃料注入中に給油者が車両から離れたとき、監督者に対し直ちに警告発報が行われることを確認する。加えて、当該レーンの給油が停止されることが推奨される。
本シナリオは、「過失」×「誤操作」による顧客行動外乱に対応するものである。また、STEP 1.0 において対応は「推奨」、STEP 1.5 において対応は「必須」とする。
d. 試験シナリオ 4（携行缶を検知した場合の警告発報等）
本試験シナリオでは、ノズル周辺に携行缶を検知した場合、給油許可前であれば給油が許可されず、給油許可後であれば監督者に対し直ちに警告発報が行われることを確認する。
本シナリオは、「故意」×「違反」による顧客行動外乱に対応するものである。また、STEP 1.0 および
STEP 1.5 の双方について対応を「必須」とする。
e. 試験シナリオ 5（火気を検知した場合の警告発報及び給油停止等）
本試験シナリオでは、火気を検知した場合、給油許可前であれば給油が許可されないこと、給油許可後であれば監督者に対し直ちに警告発報が行われるとともに、当該レーンの給油が直ちに停止されることを確認する。
本シナリオは、「故意」×「違反」による顧客行動外乱に対応するものである。また、STEP 1.0 および
STEP 1.5 の双方について対応を「必須」とする。
f. 試験シナリオ 6（ノズルを給油口から引き抜いた際のレバー操作による燃料吐出防止）
本試験シナリオでは、給油許可後にノズルを給油口から引き抜いた場合、レバーを握っても燃料が吐出しないことを確認する。なお、試験シナリオ 1 と同様に、燃料の吐出防止を実現するための方法の73セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

如何は問わない。
本シナリオは、「過失」×「誤操作」による顧客行動外乱に対応するものである。ただし、システムによって対応可否が分かれる場合があるため、STEP 1.0 および STEP 1.5 の双方について、本シナリオへの対応は「推奨」とする。

図 4-32 各試験シナリオにおける STEP ごとの「必須」／「推奨」の対応関係

74

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

4.2.3 監視スタッフ環境外乱シナリオ
監視スタッフ環境外乱シナリオでは、給油許可の可否判断を行う監視スタッフの状況に着目した検証を行う。給油中に突発的な外部環境からの外乱により監視スタッフの動作が変化しても事故を起こさないことを検証するため、フィールドでの直接視や店舗内モニタでの間接視といったスタッフの監視位置や従来の監視スタッフ単独での判断ではなく、AI からの情報も加味しこれまで以上に安全に給油ができることを確認する。
試験では監視スタッフに係る外乱要因を整理し、監視スタッフの状況が変化しても危険が生じないか、それぞれの組み合わせを網羅するような試験シナリオを構築し、検証することとする。また、将来的な商用展開を見据えた場合、給油時間が長くなると給油顧客の満足度が低下するため、給油には一定の効率性が必要と考えられる。よって、本試験では効率性の観点での確認も推奨とする。

図 4-33 監視スタッフ環境外乱の評価イメージ(1) 監視スタッフ環境外乱要因の要素抽出
給油許可環境外乱の要因は、「監視スタッフにインプットされる AI 判断結果」、「監視位置（監視方法）」の 2 つに大別できる。これらの 2 つの要因の組み合わせを網羅するような試験シナリオを構築し、そのシナリオ条件下において、AI の試験を実施して業務適合性を評価する。

75セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

監視スタッフ環境外乱
許可/不許可監視位置（監視方法）

AI判断結果AI自動判定直接視

直接視＋間接視

間接視

スタッフによる直接視スタッフによる直接視＋スタッフによる間接視

スタッフによる間接視

フィールドからの給油許可（可搬式SSCを想定）

監視室からの給油許可（固定式SSCを想定）

直接視認できない場所
からの給油許可（可搬式SSC・固定式
SSCを想定）TOR*STEP1.5

•
•

給油許可
不許可

•
•
•

給油許可前にTOR（常時監視）
給油許可時にTOR
給油許可後にTOR

図 4-34 監視スタッフ環境外乱の体系図(2) 監視スタッフ環境外乱シナリオの選定
給油許可環境外乱の要因は、「監視スタッフにインプットされる AI 判断結果」、「監視位置（監視方法）」の 2 つに大別できる。これら 2 つの要因の組み合わせにおいて、AI に外乱が発生した場合を対象に試験シナリオを構築し、そのシナリオ条件下において、AI の試験を実施して業務適合性を評価する。これらの 2 つの要因の組み合わせは以下となる。この中からさらに対象となるシナリオを選定する。

図 4-35 監視スタッフ環境外乱シナリオの組合せ

76セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

a. 監視位置
① 「フィールドからの給油許可」は、SS 敷地内の監視スタッフが適切に監視等を行うことができる範囲（以下、フィールドという）からの給油許可業務を指す。危険物の規制に関する規則の一部を改正する省令（令和元年総務省令第 67 号）が令和元年 12 月 20 日に公布され、顧客に自ら給油等をさせる給油取扱所において、可搬式の制御機器によっても給油許可等を行うことができるよう技術上の基準が整備された（令和 2 年 4 月 1 日施行）。そのため、フィールドから可搬式の制御端末を通じて監視スタッフに AI の判定情報を通知し、その結果と監視スタッフの直接視をもとに安全性を確認する状況下での試験を実施する。
② 「監視室からの給油許可」は、全ての顧客用固定給油設備等が直接視認できる位置に設置している制御卓（以下、監視室という）からの給油許可業務を指す。本ケースは可搬式の制御端末が導入されていない SS における一般的な状況となる。そのため、監視室から固定式制
御端末を通じて監視スタッフに AI の判定情報を通知し、その結果と監視スタッフの直接視及び監視カメラモニタによる間接視をもとに安全性を確認する状況下での試験を実施する。
③ 「直接視認ができない場所からの給油許可」は、SS 敷地内において直接視認ができない箇所（フィールドから固定式もしくは可搬式の制御機器のモニタ等による間接視を通じた安全確認）
からの給油許可業務を指す。そのため、固定式または可搬式の制御端末を通じて監視スタッフに AI の判定情報を通知し、その結果と監視スタッフの間接視をもとに安全性を確認する状況下での試験を実施する。なお、将来的には敷地外（給油ポイントから 15～60m 程度の駆け付けが可能な地点）において直接視認ができない箇所（敷地外の近接エリア等）からの給油許
可業務も対象となることも想定され、その場合においては試験環境の見直しを図ることとする。

77

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

2022年度実証実験で必須とするモデル

規制緩和に向けて将来的に実証試験を行うモデル（2022年度実証試験では実施対象外）

パターン①：敷地内×直接目視不可

パターン②：敷地外×直接目視不可

対象STEP⚫ STEP1～1.5⚫ STEP1～1.5

直視可否⚫ 監視地点から給油取扱所を直視できない場合⚫ 監視地点から給油取扱所を直視できない場合

監視地点⚫ 敷地内の監視室以外の場所⚫ 敷地外の近接エリア

駆け付け
地点・人員

⚫ 同上
⚫ ただし、監視員と駆け付け人員は別の人員でも可⚫ 給油ポイントから15～60m程度の駆け付け可能な地点⚫ ただし、監視員と駆け付け人員は別の人員でも可監視室

敷地内
監視室外エリア×
直接目視不可敷地外隣接店舗×
直接目視不可監視位置のイメージ

ユースケース（例）⚫ SSスタッフが目視できない場所にいる場合でも、すぐに給油許可を出来るようにする。

⚫ 左記と同様⚫ 駆けつけ給油における、「所在場所から給油取扱所を直視できない場合」でのAIシステムの導入を想定

図 4-36 直接視認できない場所からの給油許可についての取り扱い
出所）消防庁資料を踏まえて作成

b. 監視スタッフにインプットされる AI 判断結果
① 「AI 自動判定」は、AI が監視カメラやセンサ等と連携し、給油を許可して良い、又は正常な給油行動から逸脱し給油不可と判断した結果を指す。AI の判定結果は、可搬式の制御端末等を通じて監視スタッフに情報を通知する方法を想定している。STEP 1.5 においては、特定条件下
で監視スタッフの判断（直接視、間接視又はその両方を通じた確認）を介さずに、AI 単独での給油許可判断を可能とする。

② 「TOR（Take-Over Request：交代要求）」は、監視カメラを通じて捉えたい対象物が視認できない（対象物が死角に入る等）、又はセンサ類の汚れや故障等により AI が正常に安全性を評価出来ないケースにおいて、監視スタッフに状況確認を要求する状況を指す。AI が完全に機能しない状況においても適切に監視スタッフに給油監視業務が引き継がれ、従来通りの監視が可能であることを検証する。

78セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン(3) 検証観点／試験条件の定義
a. 前提事項① 安全性の確認観点
STEP 1.0 においては、現状と同じくヒトが判断を行うが監視スタッフ（ヒト）だけでなく AI が監視することで、AI に外乱が発生したり、ヒトと AI で判断結果に食い違いがあったりした場合に、ヒトが再度実態を確認することで現状より安全な給油が可能となることを確認する。
また、STEP 1.5（特定条件下）においては、AI が監視ならびに給油許可を行うが、AI に外乱が発生した場合はヒトが AI に代わって監視ならびに給油許可を安全に行えることを確認する。いずれの STEP においても、AI の監視精度ではなく、業務プロセスが成立するかを確認する。
② 効率性の確認観点
将来的な商用展開を見据えて、お客様からみた待ち時間が現状から大きく劣化しないことを推奨の確認観点とする（時間が一定基準内に収まるかを確認）。
表 3-37 監視スタッフ環境外乱シナリオの観点

AI を活用した給油許可監視業務において、給油許可/給油不許可が取り得るパターンは、(i) 監視スタッフ（＝ヒト）：給油許可判断（OK 判断）／AI：給油許可判断（OK 判断）(ii) 監視スタッフ：給油許可判断（OK 判断）／AI：給油不許可判断（NG 判断）(iii) 監視スタッフ：給油不許可判断（NG 判断）／AI：給油許可判断（OK 判断）(iv) 監視スタッフ：給油不許可判断（NG 判断）／AI：給油不許可判断（NG 判断）の 4 つがとり得る。本検討においては、従来の監視スタッフが担当している業務を、AI 等の活用
により機械が代替することを目的としているため、監視スタッフの判断は常に正しいという前提のもと検証を実施する。そのため、監視スタッフと AI の判断結果が異なるものを試験の対象とする。

79

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

b. 試験シナリオの考え方
監視スタッフ環境外乱シナリオにおいて、給油許可監視業務の方法は、STEP1 の「AI が監視するものの、給油許可監視業務は監視スタッフが実施」、STEP1.5（特定条件下）「AI 単独で実施」がある。本試験では業務プロセスの確認が観点であるため、前述の給油許可監視業務の方法のうち、AIに外乱が発生したり、ヒトと AI で判断結果に食い違いがあったりした場合を対象に、試験を実施する。

図 4-38 監視スタッフ環境外乱シナリオの試験対象(4) 試験方法の定義
a. 試験の目的
STEP 1.0 では、AI を導入することでヒトだけが監視していた従来以上に安全に給油できることを確認する。加えて、将来的な規制緩和を目指して現在給油許可のできない監視場所においても AI とヒトによる監視で安全に給油できることを確認する。
STEP 1.5（特定条件下）においては、AI が給油許可判断を行う条件下においても、現在給油許可のできない監視場所も含めて従来業務の現状と変わらず安全に給油できることを確認する。
また、将来的な商用展開を見据えた場合、給油時間が長くなると給油顧客の満足度が低下するた
め、給油には一定の効率性が必要と考えられる。よって、本試験では効率性の観点での確認も推奨とする。

80セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

b. 対象とする給油許可監視業務
現状実施している「フィールドからの給油許可」と「監視室からの給油許可」に加え、本業務が将来的に業務拡張することや監視スタッフの要員集約を見据えて、「間接視のみでの給油許可」を追加対象とし、実現性を確認しておく。尚、「間接視のみでの給油許可」の実施は任意とする。

表 3-39 STEP 1.0 および STEP 1.5 で想定する給油許可監視業務
現状

対象業務

c.

STEP1・STEP1.5（特定条件下外）

STEP1.5（特定条件下）⚫ フィールドからの給油許可⚫ 監視室からの給油許可⚫ 間接視のみでの給油許可⚫ フィールドからの給油許可⚫ 監視室からの給油許可前提とする試験環境
本試験では、「従来の給油許可監視業務と比較して、実業務が成立するかどうか」という観点での確認が目的であるため、いずれの給油許可監視業務も「営業中店舗もしくは休業中店舗（試験用設備も含む）」を利用することとする。
▼ フィールドからの給油許可においては従来同様、スタッフが直視可能な距離にいる環境で行う。
▼ 監視室からの給油許可においては従来同様、スタッフが直視可能な位置（SS 敷地内）に監視室がある環境で行う。
▼ 直接視認できない場所からの給油許可においては、給油所敷地内にあり、かつ、直接視認が不可な環境と定義し、試験においてはこのような環境を模擬的に整備して実施する。
表 3-40 給油許可監視業務における前提環境
No.

分類

1

共通

2

個別

フィールド

監視室

隣接店舗

「営業中店舗」もしくは「休業中の店舗」を利用することするスタッフが直視可能な距離にいることスタッフが直視可能な位置（SS敷地内）に監視室があること

81（以下環境を模擬的に整備して実施）
給油所敷地内でかつ、監視室とは別の直接視認が不可な環境セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

d. 試験シナリオの組合せ
試験対象となるシナリオは、AI の判断結果（給油許可=OK、給油不許可=NG、対応不可の 3つ）を軸に洗い出すと、STEP1 と STEP1.5（特定条件下）で合計 6 つとなる。
しかし、給油不許可と対応不可については業務フローが同じである（＝重複する）ため、統合することができる。よって、試験対象シナリオは以下の 4 パターンとなり、この 4 パターンにそれぞれの監視位
置（監視方法）を組み合わせたパターン数のテストとなる。
(i) STEP 1.0 および STEP 1.5（特定条件下外）において、AI が OK（給油許可）を出すパターン(ii) STEP 1.5（特定条件下）から環境変化によって STEP 1.0 および STEP1.5（特定条件下
外）に切り替わった場合において、AI が OK を出すパターン(iii) 全ての STEP において、AI が NG（給油不許可）を出すパターン(iv) 全ての STEP において、AI が対応不可となるパターン

図 4-41 監視スタッフ環境外乱シナリオの試験対象（重複排除後）

82

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

以下、前述の(i)～(iv)について試験時における想定業務プロセスと実際に実施するオペレーションの例を挙げる。本試験では業務プロセスの確認が主目的であるため、実際に想定する業務と同じ事象を発生させる必要はなく、疑似的に発生させる形で安全かつ時間をかけずに実施する。

図 4-42 STEP 1.0 において AI が給油許可を出すパターン例

図 4-43

STEP1.5（特定条件下）から環境変化によって STEP1.5（特定条件下外）に切り替わった場合において、AI が給油許可を出すパターン例

83セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

図 4-44

全ての STEP において、AI が給油不許可を出すパターン例

図 4-45

全ての STEP において、AI が対応不可を出すパターン例

84

セルフ SS における AI による給油許可監視の実装に向けた
AI システム評価方法等に係るガイドライン

5 附録 ガイドラインの構成
資料名

概要

本紙

セルフSSにおけるAIによる給油許可監視の実装に向けたAIシステム評
価方法等に係るガイドライン

セルフSSにおけるAIによる給油許可監視システムの実装にあたり、 AIシス
テムの信頼性評価方法、機能・設備・運用の要件、 試験方法を定める。

別表１

内部品質の要求事項

セルフSSにおける給油許可監視業務にAIを適用する際に、AIとして具備すべき品質要求を定める。

別表２

試験シナリオ一覧

本紙で規定した3つの外乱（認識外乱、顧客行動外乱、監視スタッフ
環境外乱）に基づく試験シナリオを定める。

6 参考文献○ 「プラント保安分野 AI 信頼性評価ガイドライン 第２版」．石油コンビナート等災害防止 3 省連絡会議．2021 年 3 月．
URL：https://www.meti.go.jp/press/2020/03/20210330002/20210330002.html○ 「機械学習品質マネジメントガイドライン 第 2 版」．産業技術総合研究所．2021 年 7 月．
URL：https://www.digiarc.AIst.go.jp/publication/aiqm/AIQM-Guideline-2.1.0.pdf○ 「オーナーカー自動運転の安全性評価の取り組み」．未来を変える自動運転ショーケース／社会受容性シンポジウム）．一般社団法人日本自動車工業会自動車部会 横山利夫．2021 年 3 月．
URL：https://www.meti.go.jp/policy/mono_info_service/mono/automobile/Automateddriving/jikoukai.pdf○ 自動運転の安全性評価フレームワーク v1.0．一般社団法人日本自動車工業会 AD 安全性評
価分科会．2020 年 10 月．
URL：https://www.jama.or.jp/safe/automated_driving/pdf/framework.pdf○ 「自動走行の実現及び普及に向けた取組報告と方針」Version 5.0．一般社団法人日本自動車
工業会 自動走行ビジネス検討会．2021 年 4 月．
URL：
https://www.meti.go.jp/shingikAI/mono_info_service/jido_soko/pdf/20210430_02.pdf○ 「参考資料３－２ セルフ給油取扱所における AI 等による給油許可監視支援についての実証実験
結果報告書」
消防庁 危険物施設におけるスマート保安等に係る調査検討会．2023 年 3 月．
○ Human Error. J. Reason. Cambridge University Press. Cambridge. 1990.
○ Torino Impact Hazard Scale. Center for Near Earth Object Studies. NASA.
URL：https://cneos.jpl.nasa.gov/sentry/torino_scale.html

85

【別表１】内部品質の要求事項
実現
タイミング

使用場面

内部品質軸 リスク回避 パフォーマン 要求レベル 要求事
レベル
スレベル
項#

STEP1

データの設計 ①要求分析の
十分性

AISL0.1

AIPL1

レベル１

1

セルフSSにおける給油許可監視分野における内部品質要求事項
主要な品質低下リスクが発生する原因について検討を行い記録する。具体的には、セルフSS
における「主要な品質低下リスク」と「その原因」として、以下を検討したか？
- 環境の変化：特殊気候等の地域特性、ＳＳの立地など- 画像AIの特性：画角、画質など- 利用者：一般消費者、SSスタッフ、監視環境など
なお、上記品質低下リスクをすべて考慮することは労力やコスト面で困難であるため、網羅性を担保するためのリスクの要因分析や検証は実運用を通じて適宜行うものとする。

STEP1

データの設計 ①要求分析の

共通

共通

十分性

共通事項

2

(レベル１)

・給油許可監視において確認すべき動作を被覆しているか分析するために、現場スタッフへのヒアリングを必要に応じて行うことで要求分析やケース確認を行ったか？
・また、実運用を通じた継続的な要求分析を行う体制があるか？
・その際、リスク要因に関連する属性が抽出できているか？

STEP1

データの設計 ①要求分析の

共通

共通

十分性
STEP1

データの設計 ①要求分析の
十分性

共通事項

3

(レベル１)
共通

共通

共通事項(レベル１)

カメラ等での認識を行うAIの場合、認識対象とする設備の箇所や状態、種別を絞り込んだか？

4

どの箇所のどのような現象（正常or異常）を対象とするのかによって、「データ設計の十分性」「データセットの被覆性」の評価にも影響するため、どの箇所のどのような現象（正常or異常）を対象とするかという点まで要求を特定する。

STEP1

データの設計②データ設計AISL0.1

AIPL1

レベル１

5

の十分性

・セルフSSにおける「品質低下リスクが発生する原因」の検討結果に基づいたデータ設計を行っ
たか？
・主要なリスク要因に対応する属性（①要求分析の十分性で検討）について、- それぞれのリスク要因に対応したケースを設定したか？（※別表２で示す、学習データを収集するにあたり、時刻や天候、車種、店舗などの条件を複数パターン準備したシナリオ）- 複合的なリスク要因については、その組み合わせに対応したケースを設定したか？
- 特に重要と考えられる環境要因の差異に対する属性を抽出し、大きなリスクの要因との組み合わせに対応するケースを用意したか？
ただし、環境条件（時刻・天候・撮影機材等）を適切に設定しているのであれば、困難が予想される条件は除く方針として問題ない。実証実験のようなテストを実店舗で一定期間行うことで、実際の活用場面に応じたチューニングを行う方針とする（➈運用時品質の維持性）。
なお、ここでいう「環境要因」とは、正常な動作(または異常な動作)の検知に影響する環境要因として、カメラ設置場所、動作環境、日照、ＳＳ立地などを指す。ただし、説明変数として環境条件（時刻・天候・撮影機材）を適切に設定しているのであれば、困難が予想される条
件は除く方針として問題ない。また、ここではカメラの故障や電源供給がされないなどの物理的なリスク要因は除くこととする。

STEP1

データの設計②データ設計
の十分性

共通

共通

共通事項
(レベル１)

6

認識対象とする設備の箇所や配色などによって、データの範囲や取得容易性が変わることを検討したか？
・ノズルやポリ缶等、画像認識する対象によって対象そのものの色や形状が異なっているので、それらの違いを加味するものとする。
場合があることを把握する。
・なお、シナリオ検証等によりリスク要因を認識することは要対応とするが、上記要素をすべて考慮することは労力やコスト面で困難であるため、AIによる給油許可監視を可能とする環境条
件等を定めることにより利用範囲を制限し、当該制限下で発生する給油シナリオについて網羅的に検証を行う方針とする。

STEP1

データの確認③データセットAISL0.1

AIPL1

レベル１

7

の被覆性

テスト用データセットの取得源や方法を検討し、応用の状況に対して偏りがないことを期待できるようにしたか？
「応用の状況」とは、検知したい異常の深刻度（スタッフへの情報通知／スタッフの駆け付け等）や、機械学習利用システムの活用場面（常時／給油時、昼間／夜間、定常時／非定常時等）を指す。
なお、上記要素をすべて網羅することは労力やコスト面で困難であるため、AIによる給油許可
監視を可能とする環境条件等を定めることにより利用範囲を制限し、当該制限下で発生する
給油シナリオについて網羅的に検証を行う方針とする。

STEP1

データの確認③データセットの被覆性

AISL0.1

AIPL1

レベル１

8

各ケース（②データ設計の十分性 で検討）毎に、元データから偏りのないサンプル抽出などを行い、偏りがないことを期待できるようにしたか？
なお、本ケースの場合、学習データとして異常時データを網羅することは必須としない。一方で、正常領域においては、網羅的なサンプル抽出は困難であるため、条件を限定した短期的なシナリオ検証にて確認することとする。

STEP1

データの確認③データセットの被覆性

AISL0.1

AIPL1

レベル１

9

上記2点の偏りを入れないために行った活動について、記録を行う事。ただし、データ管理に関する仕組み作りと厳密な運用方針は各社に委ねられるものとする。

1

実現
タイミング

使用場面

内部品質軸 リスク回避 パフォーマン 要求レベル 要求事
レベル
スレベル
項#

STEP1

データの確認③データセットAISL0.1

AIPL1

レベル１

10

の被覆性

セルフSSにおける給油許可監視分野における内部品質要求事項
分析した各ケースについて、訓練用データ、バリデーション用データおよびテスト用データが十分に存在することを、訓練フェーズやバリデーションフェーズなどで確認したか？
なお、本ガイドラインの試験シナリオで想定した範囲でのバリエーションおよび量のデータはベスト
エフォートで確保すること。
ただし、データ収集・データ管理に関する仕組み作りについては各社に委ねられるものとする。

STEP1

データの確認③データセット
の被覆性

共通

共通

共通事項
(レベル１)

11

学習用データセットの取得源の正しさについて、給油プロセスを熟知した有識者（元売各社、特約店・販売店等の関係者）に確認を行ったか？具体的には、全国の地域特性やSSレイア
ウト、設備の特性等も踏まえて、どのデータ取得源とするかという定義を実施したか？
なお、データ取得源の業界での統一的な基準については特段設けない。

STEP1

データの確認③データセット
の被覆性

共通

共通

STEP1

データの確認③データセット

共通

共通

の被覆性

共通事項
(レベル１)

12

本ガイドラインの給油プロセスにおける対象範囲をカバーするように対応したか？

共通事項

13

データをシミュレーションで取得する場合は、シミュレータの妥当性を十分検討したか？

(レベル１)
・例えば、火気の検知については、実際に火災を起こして検証することが難しいため、仮想の画像データを生成することにより検証することなどを指す。

STEP1

データの確認③データセット

共通

共通

の被覆性

共通事項

14

(レベル１)

教師データとする給油動作の画像データをSSスタッフ等のアクターによる疑似動作によって取得する場合は、偏ったケース設定になっていないか？
本ガイドラインで定めた給油動作のスコープ範囲内において、代表シナリオを網羅しているかどうかの事前確認が必要。

STEP1

データの確認③データセット
の被覆性

共通

共通

共通事項
(レベル１)

15

データの補強（data augmentationのこと。例えば画像データを左右線対称にしたデータを作り不足するデータを増やすこと）をルールベースプログラミングで行う場合、その妥当性を十分に検討したか？
・補強(augumentation)したデータが適切であったか評価したか？
・開発時の仮定に対して、運用時に得られる追加データの分布やラベリングに対して適切であったか評価したか？

STEP1

データの確認⑤データセットの妥当性

AISL0.1

AIPL1

レベル１

16

データの出所が問題に対して適切かどうか確認したか？

STEP1

データの確認⑤データセットの妥当性

AISL0.1

AIPL1

レベル１

17

●アノテーション基準について
・アノテーション基準を設けることで、専門性を持った要員でなくとも判断できる状態としたか？
・その際、アノテーションのラベリングポリシーを整理し、ラベルおよびルールを明確にしているか？
・また、ラベルおよびルールの履歴を管理しているか？
・ラベリング・外れ値除去について、- 判断基準を事前に検討しているか？
- 判断基準を与えられたデータに照らして妥当かどうかを判断し、場合によっては基準の見直
しと再チェックを行っているか？

STEP1

データの確認⑤データセットの妥当性

AISL0.1

AIPL1

レベル１

18

ラベリング作業者に対して、作業前にアノテーション基準を共有し、ラベルの判断をおこなう際に作業者間でダブルチェックを行ったか？

STEP1

学習

⑥機械学習モデルの正確性

共通

共通

共通事項
(レベル１)

19

運用開始前に品質をテストで確認したか？

STEP1

学習

⑥機械学習モデルの正確性

共通

共通

共通事項
(レベル１)

20

・交差検証や汎化性能等に使用する訓練用データとテスト用データ、バリデーション用データを独立して分離・管理しているか？
・再学習、追加学習時にも同様の管理を行っているか？

STEP1

学習

⑥機械学習モ共通

共通

デルの正確性

共通事項

21(レベル１)

学習・再学習の過程における正答率及び損失関数の残差は、・十分に収束しているか？
・異常な変化を示していないか？
・正答率、誤判定率は目標に達しているか？

STEP1

学習

⑦機械学習モAISL0.1

AIPL1

レベル１

22

デルの安定性STEP1

学習⑦機械学習モデルの安定性

AI性能を安定させるために利用した技術や手法（学習データに撮影環境(店舗)や車種、油種などを偏りなく含めることでバリエーションの網羅性を確保したり、学習データ量を確保するなど）を記録しているか？

AISL0.1

AIPL1

レベル１

23

交差検証や正則化などといった、過学習を防止する技術を利用しているか？
ただし、現実的に得られるデータに制約があるため、上記はあくまで推奨とし、実運用を通して過学習等の問題が発生した場合に検討する方針として構わない。

STEP1

実装・運用

⑧プログラムの健全性

AISL0.1

AIPL1

レベル１

24

信頼できる実績を持つソフトウェアを選定するとともに、その選定経緯を記録しているか？

STEP1

実装・運用

⑧プログラムのAISL0.1

AIPL1

レベル１

25

運用期間中、ソフトウェアの欠陥をモニタリングし、必要に応じて修正等の措置を取ることがで

健全性
STEP1

実装・運用

⑧プログラムの健全性

きるか？
AISL0.1

AIPL1

レベル１

26

学習からテストフェーズまでの段階と実用段階において、AIが作動する環境が異なることによる影響などをあらかじめ検討しているか？

2

実現
タイミング

使用場面

内部品質軸 リスク回避 パフォーマン 要求レベル 要求事
レベル
スレベル
項#

STEP1

実装・運用

⑧プログラムの

共通

共通

健全性

共通事項

27

(レベル１)

セルフSSにおける給油許可監視分野における内部品質要求事項
以下のような場合に、機械学習要素の計算量を適切に抑えられるよう、考慮したか？
- 特殊な環境・デバイスで、計算リソースが限られる場合（エッジデバイス、特殊なPC等で計算する場合）- 同じデバイス上で他の処理も動いており、それらの処理への影響が許されない場合

STEP1

実装・運用

⑧プログラムの

共通

共通

健全性

共通事項

28

(レベル１)

等

システムを評価するときに、外部ライブラリに対する単体テストまたは外部ライブラリを含むシステ
ムテストを実施しているか？
なお、単体テストかシステム全体のテストかといった詳細は、各社の品質基準に委ねられるもの
とする。

STEP1

実装・運用

⑧プログラムの
健全性

共通

共通

共通事項
(レベル１)

29

ライブラリのサプライヤとの間で、不具合に対する責任範囲を明確にしているか？

STEP1

実装・運用

⑧プログラムの
健全性

共通

共通

共通事項
(レベル１)

30

・ソフトウェアの利用にあたって、OS や OSS 等の各種ソフトウェアの更新頻度やサポート期間を考慮しているか？
・ソフトウェアのアップデートへの対応やサポートが終わった際の対応を決めているか？

STEP1

実装・運用

⑧プログラムの

共通

共通

健全性
STEP1

実装・運用

➈運用時品
質の維持性

共通事項

31

(レベル１)
AISL0.1

AIPL1

レベル１

特にセキュリティアップデートがある場合など、OS や OSS 等のソフトウェアのアップデートに対応
しているか？

32

外部環境変化によりシステムの品質が著しく失われたときの対応を予め検討しているか？
たとえば、カメラの画角ズレなど、定期的な保守点検などを通じた対処を検討しておくものとす
る。

STEP1

実装・運用

➈運用時品

共通

共通

質の維持性
STEP1

実装・運用

➈運用時品

共通事項

33

(レベル１)
共通

共通

質の維持性

共通事項

運用における品質の監視体制が妥当かどうか、現場のスタッフ（システム運用担当者）に確認を行ったか？

34(レベル１)

・季節性・天候やSS設備の刷新・工事等の外部要因により、発生するデータの特性が変化する可能性があることに注意したか？
・特に外部環境の変化（日照条件など）の機械学習要素への影響が大きいため、隣接する設備の撤去や変更など、対象設備の直接的変更でない場合でも、対象設備の外部環境に影響する変更に留意する。
・設備や運転手順に変更が行われた場合は機械学習要素の出力への影響があるため、モデルを更新する。
・また、対象設備そのものだけでなく、周辺の状況を含め、当初想定していた環境要因などの前提条件から逸脱していないか確認する。
なお、上記要素をすべて網羅することは労力やコスト面で困難であるため、STEP1.5においては、AIによる給油許可監視を可能とする環境条件等を定めること（ODDの設定）により利用範囲を制限し、当該制限下で発生する給油シナリオについて網羅的に検証を行い、実証実験のようなテストを実店舗で一定期間行うことで、実際の活用場面に応じたチューニングを行う
方針とする。

STEP1

実装・運用

➈運用時品
質の維持性

共通

共通

共通事項
(レベル１)

35

データ特性の変化を把握するため、モニタリングの仕組みを検討したか？
但し、モニタリングの観点や対象は多岐に渡るため、頻度や観点を絞り対応方針を検討するこ
と。

STEP1

実装・運用

➈運用時品
質の維持性

共通

共通

共通事項
(レベル１)

36

開発時及び運用時に、従来の監視スタッフの安全性に対する判断結果と機械学習による判断結果とを定期的に比較し、機械学習要素の精度等の検証を行うプロセスが確立されている
か？

STEP1

実装・運用

➈運用時品
質の維持性

共通

共通

共通事項
(レベル１)

37

予めモデル構築時の前提や教師データ類を整理しておき、運用開始後の変更管理を準備した
か？

STEP1

実装・運用

➈運用時品

共通

共通

共通事項

38

機械学習の精度が想定外となる場合においては、必要に応じて機械学習要素の対象とする

質の維持性(レベル１)

STEP1

実装・運用

➈運用時品
質の維持性

共通

共通

STEP1

実装・運用

➈運用時品

共通

共通

質の維持性
STEP1

実装・運用

➈運用時品
質の維持性

危険行動を限定することを検討したか？

共通事項(レベル１)

39

運用時の品質を確認する上での前提（想定している危険行動の想定範囲や、設備の条件設定等）を確認したか？

共通事項

40

・実運用でしか収集できないデータを記録する仕組みを構築しているか？

(レベル１)
共通

共通

共通事項(レベル１)

・運用で発見したエラーや多様性に対応したデータを確保する仕組みを導入しているか？
41●運用中データの管理の仕組みについて・システムの維持を想定し、運用中データの分析とフィードバックを行う仕組みが構築できているか？
・導入時と異なる偏りの有無を確認し、偏りがある場合はその背景を解析しているか？
・外れ値や欠損値の除去・訂正の根拠、措置方法について、受容・排除などのポリシーにもとづいて行っているか？
・運用中の推論に利用する入力データについて、異常な動作に繋がるような異常または不適切なデータ（学習時の学習用データとは別の⺟集団から得られた運用時の入力データ、入力デー
タの外れ値など）を排除できる仕組みがあるか？
ただし、具体的なポリシーの詳細は各社の品質基準に委ねられる。

3

実現
タイミング

使用場面

内部品質軸 リスク回避 パフォーマン 要求レベル 要求事
レベル
スレベル
項#

STEP1

実装・運用

➈運用時品

共通

共通

質の維持性

共通事項

42

(レベル１)

セルフSSにおける給油許可監視分野における内部品質要求事項●モデルの再学習の仕組みについて
モデルの再学習する際のデータに対して、継続的にモニタリングする仕組みがあるか？
- 想定したデータ区間を外れているかを監視するなど、入力データの質を確認しているか？
- 性能劣化の検出を人間もしくは AI システムが判断する設計になっているか？
- 性能劣化に繋がる不適切なデータ（学習時の学習用データとは別の⺟集団から得られた
運用時の入力データ、入力データの外れ値など）の混入を防ぐことができるか？もしくは、学習前に不適切なデータを排除する機構があるか？
なお、モデルの再学習にかかるデータの質については継続的にモニタリングする仕組みが必要だ
が、その手段は各社に委ねられるものとする。

STEP1

実装・運用

➈運用時品
質の維持性

共通

共通

共通事項
(レベル１)

43●モデルの性能について・運用後、性能に影響を与える要因を抽出し、性能目標を設定しているか？
・モデルの再学習を行った結果、訓練データの特性変化や出力の追加等による再学習前の性能に対する劣化は、許容範囲に収まっているか？

STEP1

実装・運用

➈運用時品
質の維持性

共通

共通

共通事項
(レベル１)

44

学習用データセットのバリエーションが増えた際でも検証ができるように、検証の方法を決めてい
るか？

STEP1

実装・運用

➈運用時品

共通

共通

共通事項

45

リリースした AI のプログラムに異常が発生した場合、迅速にロールバックを行う仕組みがある

質の維持性(レベル１)か？

4【別表2】試験シナリオ一覧
詳細条件（共通）

試験
連番

ケース
No.

シナリオ シナリオ
種別

No.

試験

必須／

No.

推奨

試験目的

検証観点

条件
No.

大項目

条件1

条件２

条件3

条件4

正常な

項目1

判断結果

条件1

項目2

条件2

項目3

条件3

項目4

条件4

項目5

条件5

項目6

条件6

AIシステムが対象とする車両のボディタイプやボディカラーに対して、
1

1-1-1

認識外乱
(単独)

AIが車両を認識し、
1

1

必須

給油エリア（給油レーン）内の車両（乗用車）の認識精度を確認する。

給油許可/不許可判断の結果がSSC等に表示されることを確認する。

1

乗用車

乗用車（セダン）

ボディーカラー（白、黒、灰、青）は任意

人：許可
AI：ODDによるAIシステムが対象外とする車両のボディタイプやボディカラーに対し

車両：ボディタイプ

乗用車：セダン

車両：ボディカラー

車両：ボディタイプ

乗用車：ミニバン

車両：ボディカラー

車両：ボディタイプ

乗用車：SUV

車両：ボディカラー

車両：ボディタイプ

トラック

車両：ボディカラー

車両：ボディタイプ

ピックアップトラック 車両：ボディカラー

白系、黒系、灰系、青系て、SSC等にTOR（交代要求）が表示されることを確認する。
2

1-1-2

3

1-1-3

認識外乱
(単独)
認識外乱
(単独)

1

1

必須

給油エリア（給油レーン）内の車両（乗用車）の認識精度を確認する。

同上

2

乗用車

乗用車（ミニバン）

ボディーカラー（白、黒、灰、青）は任意

1

1

必須

給油エリア（給油レーン）内の車両（乗用車）の認識精度を確認する。

同上

3

乗用車

乗用車（SUV）

ボディーカラー（白、黒、灰、青）は任意

1

大型車

トラック（普通車）

ボディーカラー（白、黒、灰、青）は任意

2

大型車

人：許可
AI：ODDによる
人：許可
AI：ODDによる

白系、黒系、灰系、青系
白系、黒系、灰系、青系

AIシステムが対象とする車両のボディタイプやボディカラーに対して、
4

1-2-1

認識外乱
(単独)

AIが車両を認識し、
1

2

必須

給油エリア（給油レーン）内の車両（大型車）の認識精度を確認する。

給油許可/不許可判断の結果がSSC等に表示されることを確認する。

人：許可
AI：ODDによるAIシステムが対象外とする車両のボディタイプやボディカラーに対し白系、黒系、灰系、青系て、SSC等にTOR（交代要求）が表示されることを確認する。
5

6

1-2-2

1-2-3

7

2-2-4

8

1-2-5

認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)

1

1

2

2

必須

必須

給油エリア（給油レーン）内の車両（大型車）の認識精度を確認する。

給油エリア（給油レーン）内の車両（大型車）の認識精度を確認する。

同上

同上

3

大型車

小型四輪車または軽四輪車（ピックアップ
トラック）
小型四輪車または軽四輪車（ピックアップ
トラック以外）人：許可

ボディーカラー（白、黒、灰、青）は任意

AI：ODDによる
人：許可

ボディーカラー（白、黒、灰、青）は任意

2

2

必須

給油エリア（給油レーン）内の車両（大型車）の認識精度を確認する。

同上

4

大型車

マイクロバスボディーカラー（白、黒、灰、青）は任意

1

2

推奨

給油エリア（給油レーン）内の車両（大型車）の認識精度を確認する。

同上

5

大型車

特殊用途車

ボディーカラー（白、黒、灰、青）は任意

1

自動二輪

2

自動二輪

AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる小型四輪車、軽四輪車
車両：ボディタイプ

ピックアップトラック 車両：ボディカラー
以外

車両：ボディタイプ

マイクロバス

車両：ボディカラー

車両：ボディタイプ

特殊用途者

車両：ボディカラー

車両：ボディタイプ

二輪車

車両：ボディカラー

車両：ボディタイプ

小型自動車（三輪）

車両：ボディカラー

白系、黒系、灰系、青系
白系、黒系、灰系、青系
白系、黒系、灰系、青系
白系、黒系、灰系、青系

AIシステムが対象とする車両のボディタイプやボディカラーに対して、
9

1-3-1

認識外乱
(単独)

AIが車両を認識し、給油許可/不許可判断の結果がSSC等に表示される
1

3

必須

給油エリア（給油レーン）内の自動二輪の認識精度を確認する。

ことを確認する。
AIシステムが対象外とする車両のボディタイプやボディカラーに対し二輪車（原動機付き二輪車または中型、大
型バイク）

人：許可

ボディーカラー（白、黒、灰、青）は任意

AI：ODDによる

白系、黒系、灰系、青系て、SSC等にTOR（交代要求）が表示されることを確認する。
10

1-3-2

認識外乱
(単独)

1

3

推奨

給油エリア（給油レーン）内の自動二輪の認識精度を確認する。

同上

小型自動車（三輪）

人：許可

ボディーカラー（白、黒、灰、青）は任意

AI：ODDによる

白系、黒系、灰系、青系

給油レーン内に携行缶が映り込んだ場合は、該当レーンに対して給油不
11

1-4-1

認識外乱
(単独)

許可およびスタッフへの警告発報されることを確認する。（必要に応じ
1

4

必須

給油エリア（給油レーン）内の携行缶の認識精度を確認する。

て、給油レーン内に携行缶が映り込んだ場合は給油停止されることを確

1

携行缶

携行缶

赤色

サイズ（5, 20, 60L）は任意認する。）携行缶を検知しない手法を用いる場合、携行缶に顧客自らが人：不許可

携行缶・ポリ容器：

AI：TOR有無

人：不許可

携行缶・ポリ容器：

AI：TOR有無

人：許可

携行缶・ポリ容器：

あり

携行缶・ポリ容器：
種類

携行缶・ポリ容
携行缶

器：

赤

色

携行缶・ポリ容器：

5, 20

容量

(60LはODD対象外)

携行缶・ポリ容器：

5, 20

容量

(60LはODD対象外)

携行缶・ポリ容器：

5, 20

容量

(60LはODD対象外)

携行缶・ポリ容器：

5, 20

容量

(60LはODD対象外)

携行缶・ポリ容器：

5, 20

容量

(60LはODD対象外)

携行缶・ポリ容器：

5, 20

容量

(60LはODD対象外)

携行缶・ポリ容器：

5, 20

容量

(60LはODD対象外)

携行缶・ポリ容器：

5, 20

容量

(60LはODD対象外)

給油できないことを確認する。
12

1-4-2

認識外乱
(単独)

1

4

必須

給油エリア（給油レーン）内の携行缶の認識精度を確認する。

同上

2

携行缶

携行缶

銀色

サイズ（5, 20, 60L）は任意あり

携行缶・ポリ容器：
種類

携行缶・ポリ容
携行缶

器：

銀

色

給油レーン内にポリ容器が映り込んだ場合は、該当レーンに対して給油
13

1-5-1

認識外乱
(単独)

不許可およびスタッフへの警告発報されることを確認する。（必要に応
1

5

必須

給油エリア（給油レーン）内のポリ容器の認識精度を確認する。

じて、給油レーン内にポリ容器が映り込んだ場合は給油停止されること

1

ポリ容器

ポリ容器

赤色

サイズ（5, 20, 60L）は任意

AI：ODDによるを確認する。）ポリ容器を検知しない手法を用いる場合、ポリ容器に顧

有無あり

携行缶・ポリ容器：
種類

携行缶・ポリ容
ポリ容器

器：

赤

色

客自らが給油できないことを確認する。
14

15

16

17

18

19

1-5-2

1-5-3

1-5-4

1-5-5

1-5-6

1-6-1

20

1-6-2

21

1-6-3

22

1-6-4

23

1-7-1

24

1-7-2

25

1-7-3

26

1-7-4

27

1-8-1

28

1-8-2

29

1-8-3

30

1-8-4

認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)

1

1

1

1

1

1

5

5

5

5

5

6

必須

必須

必須

必須

必須

推奨

1

6

推奨

1

6

推奨

1

6

推奨

1

7

推奨

1

7

推奨

1

7

推奨

1

7

推奨

1

8

必須

1

8

推奨

1

8

推奨

1

8

推奨

給油エリア（給油レーン）内のポリ容器の認識精度を確認する。

給油エリア（給油レーン）内のポリ容器の認識精度を確認する。

給油エリア（給油レーン）内のポリ容器の認識精度を確認する。

給油エリア（給油レーン）内のポリ容器の認識精度を確認する。

給油エリア（給油レーン）内のポリ容器の認識精度を確認する。

給油エリア（給油レーン）内に複数名侵入した場合の認識精度を確認する。
給油エリア（給油レーン）内に複数名侵入した場合の認識精度を確認する。
給油エリア（給油レーン）内に複数名侵入した場合の認識精度を確認する。
給油エリア（給油レーン）内に複数名侵入した場合の認識精度を確認す
る。

同上

同上

同上

同上

同上

レーンに対してスタッフへの警告発報（または給油不許可）されること

給油エリア（給油レーン）内に複数名侵入した場合の認識精度を確認する。
路面や車両のガラス等に太陽光が反射している条件下における認識精度を確認する。
路面や車両のガラス等に太陽光が反射している条件下における認識精度を確認する。
路面や車両のガラス等に太陽光が反射している条件下における認識精度を確認する。
路面や車両のガラス等に太陽光が反射している条件下における認識精度を
確認する。

6

ポリ容器

ポリ容器

携行缶給油(携行缶 or ポリ缶)

携行缶給油(携行缶 or ポリ缶)

車両給油(携行缶 or ポリ缶)

緑色

荷台

後部座席

荷台

サイズ（5, 20, 60L）は任意

AI：ODDによる
人：許可

サイズ（5, 20, 60L）は任意

色任意

AI：ODDによる携行缶の大きさ任意

色任意

携行缶の大きさ任意

色任意

携行缶の大きさ任意

給油者(成人)×同乗者(成人)

自動二輪以外AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる

同上

2

複数名給油

給油許可後

給油者(成人)×同乗者(成人)

自動二輪以外

同上

3

複数名給油

給油許可前

給油者(成人)×同乗者(未就学児)

自動二輪以外

同上

4

複数名給油

給油許可後

給油者(成人)×同乗者(未就学児)

自動二輪以外

1

複数名給油

給油許可前

給油者(成人)×同乗者(成人)

自動二輪

同上

2

複数名給油

給油許可後

給油者(成人)×同乗者(成人)

自動二輪

同上

3

複数名給油

給油許可前

給油者(成人)×同乗者(未就学児)

自動二輪

同上

4

複数名給油

給油許可後

給油者(成人)×同乗者(未就学児)

自動二輪

1

反射

太陽光

車両のボディ・ガラス

反射有無

あり

同上

2

反射

太陽光

路面(水たまり等)

反射有無

あり

同上

3

反射

ssの照明

車両のボディ・ガラス

反射有無

あり

同上

4

反射

ssの照明

路面((水たまり等)

反射有無

あり

1

天候

晴れ

朝または昼

AI：ODDによるを確認する。

人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる反射によりAI用カメラの映像が不鮮明となる、またはAIの検知精度の著しい劣化につながる場合は、SSC等を通じてTOR（交代要求）されるこ

人：許可

人：許可

給油許可前

レーンに対してスタッフへの警告発報されることを確認する。

る。

5

ポリ容器

ポリ容器

青色

複数名給油

る。

給油エリア（給油レーン）内に複数名侵入した場合の認識精度を確認す

4

ポリ容器

ポリ容器

1

自動二輪車において、給油レーン内に複数名が映り込んだ場合は、該当

る。

3

ポリ容器

自動四輪車において、給油レーン内に複数名が映り込んだ場合は、該当

給油エリア（給油レーン）内に複数名侵入した場合の認識精度を確認す
給油エリア（給油レーン）内に複数名侵入した場合の認識精度を確認す

2

人：許可

とを確認する。

人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる携行缶・ポリ容器：
有無
携行缶・ポリ容器：
有無
携行缶・ポリ容器：
有無
携行缶・ポリ容器：
有無
携行缶・ポリ容器：
有無

あり

あり

あり

あり

あり

携行缶・ポリ容器：
種類
携行缶・ポリ容器：
種類
携行缶・ポリ容器：
種類
携行缶・ポリ容器：
種類
携行缶・ポリ容器：
種類

携行缶・ポリ容
ポリ容器

1-9-1

認識外乱
(単独)

1

9

必須

夜間かつ、通常の天候条件下における、車両等の認識精度を確認する。

結果がSSC等に表示されることを確認する。
AIシステムが対象外とする給油ケースに対して、SSC等にTOR（交代要

人：許可
AI：ODDによる携行缶・ポリ容
ポリ容器

1-9-2

33

1-9-3

34

1-9-4

35

1-9-5

36

1-9-6

37

1-9-7

38

1-9-8

39

1-9-9

認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)

1

9

必須

夜間かつ、通常の天候条件下における、車両等の認識精度を確認する。

同上

2

天候

晴れ

夕方

1

9

必須

夜間かつ、通常の天候条件下における、車両等の認識精度を確認する。

同上

3

天候

晴れ

夜

1

9

必須

夜間かつ、通常の天候条件下における、車両等の認識精度を確認する。

同上

4

天候

曇り

朝または昼

1

9

必須

夜間かつ、通常の天候条件下における、車両等の認識精度を確認する。

同上

5

天候

曇り

夕方

1

9

必須

夜間かつ、通常の天候条件下における、車両等の認識精度を確認する。

同上

6

天候

曇り

夜

1

9

必須

夜間かつ、通常の天候条件下における、車両等の認識精度を確認する。

同上

7

天候

雨

朝または昼

1

9

必須

夜間かつ、通常の天候条件下における、車両等の認識精度を確認する。

同上

8

天候

雨

夕方

1

9

必須

夜間かつ、通常の天候条件下における、車両等の認識精度を確認する。

同上

9

天候

雨

夜

1

特殊気候

雷

朝または昼

人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる

1-10-1

認識外乱
(単独)

1

10

推奨

夜間かつ、特殊気象条件下における、車両等の認識精度を確認する。

結果がSSC等に表示されることを確認する。
AIシステムが対象外とする給油ケースに対して、SSC等にTOR（交代要

人：許可
AI：ODDによる

任意

1-10-242

1-10-3

認識外乱
(単独)
認識外乱
(単独)

1

10

推奨

夜間かつ、特殊気象条件下における、車両等の認識精度を確認する。

同上

2

特殊気候

雷

夕方

1

10

推奨

夜間かつ、特殊気象条件下における、車両等の認識精度を確認する。

同上

3

特殊気候

雷

夜

人：許可
AI：ODDによる
人：許可
AI：ODDによる

1 / 3 ページ

器：

任意

色
携行缶・ポリ容
任意

器：

任意

色
携行缶・ポリ容
任意

器：

任意

色

容器位置

荷台

容器位置

後部座席

容器位置

荷台

車両：ボディタイプ

自動二輪以外

複数給油

２人以上

給油者年齢

成人

同行者年齢

成人

タイミング

給油前

車両：ボディタイプ

自動二輪以外

複数給油

２人以上

給油者年齢

成人

同行者年齢

成人

タイミング

給油後

車両：ボディタイプ

自動二輪以外

複数給油

２人以上

給油者年齢

成人

同行者年齢

未就学児

タイミング

給油前

車両：ボディタイプ

自動二輪以外

複数給油

２人以上

給油者年齢

成人

同行者年齢

未就学児

タイミング

給油後

車両：ボディタイプ

自動二輪

複数給油

２人以上

給油者年齢

成人

同行者年齢

成人

タイミング

給油前

車両：ボディタイプ

自動二輪

複数給油

２人以上

給油者年齢

成人

同行者年齢

成人

タイミング

給油後

車両：ボディタイプ

自動二輪

複数給油

２人以上

給油者年齢

成人

同行者年齢

未就学児

タイミング

給油前

車両：ボディタイプ

自動二輪

複数給油

２人以上

給油者年齢

成人

同行者年齢

未就学児

タイミング

給油後

反射対象

太陽光

反射物

車両

反射対象

太陽光

反射物

車両以外

反射対象

照明

反射物

車両

反射対象

照明

反射物

車両以外

天候

晴れ

時間帯

朝、昼

天候

晴れ

時間帯

夕方

天候

晴れ

時間帯

夜

天候

曇り

時間帯

朝、昼

天候

曇り

時間帯

夕方

天候

曇り

時間帯

夜

天候

雨

時間帯

朝、昼

天候

雨

時間帯

夕方

天候

雨

時間帯

夜

天候

雷

時間帯

朝、昼

天候

雷

時間帯

夕方

天候

雷

時間帯

夜

求）が表示されることを確認する。
41

銀

携行缶・ポリ容AIシステムが対象とする給油ケースに対して、給油許可/不許可判断の
40

器：
色

求）が表示されることを確認する。
32

青

色

AIシステムが対象とする給油ケースに対して、給油許可/不許可判断の
31

器：

その他

車両給油

【別表2】試験シナリオ一覧
詳細条件（共通）

試験
連番

ケース
No.

43

1-10-444

1-10-545

1-10-646

1-10-747

1-10-848

1-10-9

シナリオ シナリオ
種別
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)

No.

試験

必須／

No.

推奨

試験目的

検証観点

条件

大項目

No.

条件1

条件２

1

10

推奨

夜間かつ、特殊気象条件下における、車両等の認識精度を確認する。

同上

4

特殊気候

雪

朝または昼

1

10

推奨

夜間かつ、特殊気象条件下における、車両等の認識精度を確認する。

同上

5

特殊気候

雪

夕方

1

10

推奨

夜間かつ、特殊気象条件下における、車両等の認識精度を確認する。

同上

6

特殊気候

雪

夜

1

10

推奨

夜間かつ、特殊気象条件下における、車両等の認識精度を確認する。

同上

7

特殊気候

霧

朝または昼

1

10

推奨

夜間かつ、特殊気象条件下における、車両等の認識精度を確認する。

同上

8

特殊気候

霧

夕方

1

10

推奨

夜間かつ、特殊気象条件下における、車両等の認識精度を確認する。

同上

9

特殊気候

霧

夜

1

火気

ライターによる

タバコ

条件3

条件4

正常な

項目1

判断結果
人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる

条件1

項目2

条件2

項目3

条件3

項目4

条件4

天候

雪

時間帯

朝、昼

天候

雪

時間帯

夕方

天候

雪

時間帯

夜

天候

霧

時間帯

朝、昼

天候

霧

時間帯

夕方

天候

霧

時間帯

夜

火気

タバコ

火気原因

ライター

火気

ベーパー引火

火気原因

ライター

火気

ベーパー引火

火気原因

静電気

火気

火災

火気原因

任意

検知対象

給油ノズル

遮蔽物

身体

遮蔽時間

時間を記録

遮蔽割合

割合を記録

検知対象

給油ノズル

遮蔽物

給油口カバー

遮蔽時間

時間を記録

遮蔽割合

割合を記録

検知対象

給油ノズル

遮蔽物

車両ドア

遮蔽時間

時間を記録

遮蔽割合

割合を記録

検知対象

給油ノズル

遮蔽物

身体

遮蔽時間

時間を記録

遮蔽割合

割合を記録

検知対象

給油ノズル

遮蔽物

給油口カバー

遮蔽時間

時間を記録

遮蔽割合

割合を記録

検知対象

給油ノズル

遮蔽物

車両ドア

遮蔽時間

時間を記録

遮蔽割合

割合を記録

車両：ボディタイプ

乗用車

枠外車輪数

0,1,2

車両：ボディタイプ

乗用車

枠外車輪数

3,4

車両：ボディタイプ

自動二輪

枠外車輪数

0

車両：ボディタイプ

自動二輪

枠外車輪数

2

車両：ボディタイプ

自動三輪

枠外車輪数

0,1

車両：ボディタイプ

自動三輪

枠外車輪数

2,3

反射対象

給油ノズル

反射物

車両、ガラス

システム発令

TOR

反射対象

携行缶

反射物

車両、ガラス

システム発令

TOR

反射物

車両

システム発令

TOR

給油者服装

黒系

給油レーン内に可燃物や火気が映り込んだ場合は、該当レーンに対して
49

1-11-1

認識外乱
(単独)

1

11

推奨

火災・ベーパー引火の認識精度を確認する。

給油不許可およびスタッフへの警告発報されることを確認する。
（必要に応じ、給油レーン内に可燃物や火気が映り込んだ場合は給油停

人：不許可
AI：TOR

止されることを確認する）
50

1-11-251

1-11-352

1-11-453

1-12-154

1-12-255

1-12-356

1-12-457

1-12-558

1-12-6

認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)

人：不許可

1

11

推奨

火災・ベーパー引火の認識精度を確認する。

同上

2

火気

ライターによる

ベーパー引火111

推奨

火災・ベーパー引火の認識精度を確認する。

同上

3

火気

静電気による

ベーパー引火111

推奨

火災・ベーパー引火の認識精度を確認する。

同上

4

火気

火災

1

遮蔽

認識対象物：給油ノズル

遮蔽物：身体遮蔽条件：○割以上死角

同上

2

遮蔽

認識対象物：給油ノズル

遮蔽物：給油口カバー

遮蔽条件：○割以上死角

同上

3

遮蔽

認識対象物：給油ノズル

遮蔽物：車両のドア

遮蔽条件：○割以上死角

同上

4

遮蔽

認識対象物：給油ノズル

遮蔽物：身体遮蔽条件：○秒以上死角

同上

5

遮蔽

認識対象物：給油ノズル

遮蔽物：給油口カバー

遮蔽条件：○秒以上死角

同上

6

遮蔽

認識対象物：給油ノズル

遮蔽物：車両のドア

遮蔽条件：○秒以上死角

1

停車枠外

自動四輪車

タイヤ二輪以上

停車枠内

同上

2

停車枠外

自動四輪車

タイヤ三輪以上

停車枠外

同上

3

停車枠外

自動二輪車

タイヤ二輪以上

停車枠内

同上

4

停車枠外

自動二輪車

タイヤ二輪以上

停車枠外

同上

5

停車枠外

自動三輪車

タイヤ二輪以上

停車枠内

同上

6

停車枠外

自動三輪車

タイヤ二輪以上

停車枠外

1

12

必須

1

12

必須

1

12

必須

1

12

必須

1

12

必須

1

12

必須

ヒトや給油カバー、ドア等により検知対象物が遮蔽されるケースにおけるシステムの挙動を確認する。
ヒトや給油カバー、ドア等により検知対象物が遮蔽されるケースにおけるシステムの挙動を確認する。
ヒトや給油カバー、ドア等により検知対象物が遮蔽されるケースにおけるシステムの挙動を確認する。
ヒトや給油カバー、ドア等により検知対象物が遮蔽されるケースにおけるシステムの挙動を確認する。
ヒトや給油カバー、ドア等により検知対象物が遮蔽されるケースにおけるシステムの挙動を確認する。
ヒトや給油カバー、ドア等により検知対象物が遮蔽されるケースにおけるシステムの挙動を確認する。

AI：TOR
人：不許可
AI：TOR
人：不許可
AI：TOR

遮蔽によりAI用カメラの映像が一部死角となる、またはAIの検知精度の著しい劣化につながる場合は、 SSC等を通じてTOR（交代要求）され

人：不許可
AI：TORることを確認する。

人：不許可
AI：TOR
人：不許可
AI：TOR
人：不許可
AI：TOR
人：不許可
AI：TOR
人：不許可
AI：TOR

元売各社が定める許容できる停車位置をAIが認識・判断し、給油許可/
59

1-13-1

認識外乱
(単独)

1

13

必須

車両等が停車枠外に停止し、監視カメラの撮影エリアからはみ出る場合のシステムの挙動を確認する。

不許可判断の結果がSSC等に表示されることを確認する。画面で捉えることができない大型車両等の来店、元売各社が許容できる停車位置を超人：許可
AI：ODDによる

えての停車など、AIシステムが判断できない場合にSSC等にTOR（交代要求）が表示されることを確認する。

60

1-13-261

1-13-362

1-13-463

1-13-564

1-13-665

1-14-166

1-14-267

1-14-3

68

69

2-1-1

2-1-2

認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(単独)
認識外乱
(複合)
認識外乱
(複合)

1

13

必須

1

13

必須

1

13

必須

1

13

推奨

1

13

推奨

1

14

必須

1

14

必須

1

14

推奨

車両等が停車枠外に停止し、監視カメラの撮影エリアからはみ出る場合のシステムの挙動を確認する。
車両等が停車枠外に停止し、監視カメラの撮影エリアからはみ出る場合のシステムの挙動を確認する。
車両等が停車枠外に停止し、監視カメラの撮影エリアからはみ出る場合のシステムの挙動を確認する。
車両等が停車枠外に停止し、監視カメラの撮影エリアからはみ出る場合のシステムの挙動を確認する。
車両等が停車枠外に停止し、監視カメラの撮影エリアからはみ出る場合のシステムの挙動を確認する。
車両のガラス等にノズルや携行缶、ヒト等が映り込んでいる場合の認識精度を確認する。
車両のガラス等にノズルや携行缶、ヒト等が映り込んでいる場合の認識精度を確認する。
車両のガラス等にノズルや携行缶、ヒト等が映り込んでいる場合の認識精度を確認する。

反射によりAI用カメラの映像が不鮮明となる、またはAIの検知精度の著しい劣化につながる場合は、SSC等を通じてTOR（交代要求）されるこ1とを確認する。
同上

2

同上

3

反射による精度劣化
反射による精度劣化
反射による精度劣化

人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可
AI：ODDによる
人：許可

給油ノズル

車両のボディまたはガラス

AI：許可または
TOR

携行缶

車両のボディまたはガラス

給油ノズルに見える何か

車両のボディ・ガラス

人：許可
AI：許可または
人：許可
AI：許可または

SS環境によりAI用カメラの映像が不鮮明となる、またはAIの検知精度の
2

1

必須

視認性が悪い環境下でのAI認識精度を確認する。

著しい劣化につながる場合は、 SSC等にTOR（交代要求）が表示され

1

必須

視認性が悪い環境下でのAI認識精度を確認する。

同上

給油ノズルのようなも
の

人：許可
1

空間×●●

夜

ボディカラー黒系

給油者服装黒

AI：許可またはることを確認する。
2

反射対象

時間帯

夜

車両：ボディカラー

黒系

時間帯

夜

その他

携行缶

路面状態

濡れ

車両：ボディカラー

灰系

給油者服装

灰系

路面状態

積雪

車両：ボディカラー

白系

給油者服装

白系

路面状態

高温

携行缶

位置

車両荷台

TOR
2

空間×●●

夜

人：許可

携行缶

AI：許可または

天候等によりAI用カメラの映像が不鮮明となる、またはAIの検知精度の
70

2-3-1

認識外乱
(複合)

著しい劣化につながる場合は、 SSC等を通じてTOR（交代要求）され
2

3

必須

AIの認識精度が劣化するであろう環境下でのAI認識精度を確認する。

ることを確認する。

1*路面状態や色合いについては厳密に定義せず、代表的なサンプルケー

路面状態×●
●

人：許可
路面濡れ

ボディカラー灰系

給油者服装灰系

AI：許可または
TORスで検証を行う。
71

72

73

2-3-2

2-4-1

2-5-1

74

2-5-2

75

2-6-1

76

2-6-2

77

2-6-3

認識外乱
(複合)
認識外乱
(複合)
認識外乱
(複合)
認識外乱
(複合)
認識外乱
(複合)
認識外乱
(複合)
認識外乱
(複合)

2

3

推奨

AIの認識精度が劣化するであろう環境下でのAI認識精度を確認する。

同上

2

来店車両の特定によりAI用カメラの映像が不鮮明となる、またはAIの検
2

4

必須

季節性により、AIが誤認識するであろう給油ケースでのAI認識精度を確認する。

知精度の著しい劣化につながる場合は、 SSC等にTOR（交代要求）が1表示されることを確認する。
2

5

推奨

2

5

必須

2

6

推奨

2

6

推奨

2

6

推奨

給油対象車両により、AIが誤認識するであろう給油ケースでのAI認識精度を確認する。

給油対象車両により、AIが誤認識するであろう給油ケースでのAI認識精度を確認する。

知精度の著しい劣化につながる場合は、 SSC等にTOR（交代要求）が同上

識精度が劣化するであろう環境下でのAI認識精度を確認する。

は、TOR（Takeover Request／交代要求）されることを確認する。

カメラの死角（カメラから捉えることができない領域）等が発生し、 認
識精度が劣化するであろう環境下でのAI認識精度を確認する。

路面状態×火気

ボディカラー白系

人：許可

給油者服装白系

AI：許可または
人：許可

路面温度高温AI：許可または
TOR
人：許可

1

車両×携行缶 荷入れが赤色の自動二輪(郵便車両)

AI：許可または表示されることを確認する。

AI精度が悪い環境下において、検知対象を捉えることができない場合に識精度が劣化するであろう環境下でのAI認識精度を確認する。

●

路面積雪

来店車両の特定によりAI用カメラの映像が不鮮明となる、またはAIの検カメラの死角（カメラから捉えることができない領域）等が発生し、 認
カメラの死角（カメラから捉えることができない領域）等が発生し、 認

路面状態×●

車両

TOR
2
1

同上

2

同上

3

人：許可

車両×携行缶 携行缶

車両の荷台

停車位置×車

認識対象物の一部（給油口やノズル等）がカメラ

人：許可に映らない状態（映像が見切れてしまう状態）

AI：許可または認識対象物の一部（給油口やノズル等）がカメラ

人：許可に映らない状態（映像が見切れてしまう状態）

AI：許可または認識対象物の一部（給油口やノズル等）がカメラ

人：許可に映らない状態（映像が見切れてしまう状態）

AI：許可または

両

自動四輪車

停車位置×人 人
停車位置×携行缶

携行缶

AI：許可または携行缶・ポリ容器：有無

郵便車両、荷入れが赤色
あり

車両：ボディタイプ

乗用車

人

指定なし

携行缶・ポリ容器：
色赤

携行缶・ポリ容器：
種類
停車位置

携行缶・ポリ容器：
容量

停車枠外

指定なし

給油レーン内に可燃物や火気が映り込んだ場合は、該当レーンに対して
78

2-7-1

認識外乱
(複合)

2

7

推奨

火災・ベーパー引火の認識精度を確認する。

給油不許可およびスタッフへの警告発報されることを確認する。
（必要に応じ、給油レーン内に可燃物や火気が映り込んだ場合は給油停

1

人×火気

人：不許可

同乗者降車状態で喫煙

AI：TOR

火気

タバコ

その他

同乗者が降車止されることを確認する）
79

3-1-1

80

3-1-2

81

3-2-1

82

3-2-2

83

84

85

86

87

3-3-1

3-3-2

3-4-1

3-4-2

3-4-3

顧客行動
外乱
顧客行動
外乱
顧客行動
外乱
顧客行動
外乱
顧客行動
外乱
顧客行動
外乱
顧客行動
外乱
顧客行動
外乱
顧客行動
外乱

3

1

必須

3

1

必須

3

2

推奨

3

2

推奨

ノズルを固定給油設備から外した後、給油口に挿入する前にレバーを握Step1.0 燃料が漏出しない

1

給油許可前

ノズル未挿入レバーを握る

-

タイミング

給油許可前

ノズル状態

未挿入

Step1.5 燃料が漏出しない

2

給油許可前

ノズル未挿入レバーを握る

-

タイミング

給油許可前

ノズル状態

未挿入

Step1.0 監督者へ警告発報 + 直ちに給油停止

1

給油許可後

燃料注入中

ノズル脱落

-

タイミング

燃料注入中

ノズル状態

脱落

Step1.5 監督者へ警告発報 + 直ちに給油停止

2

給油許可後

燃料注入中

ノズル脱落

-

タイミング

燃料注入中

ノズル状態

未挿入

離れを検知し監督者に対する警告発報や、給油停止が行われることを確認 Step1.0 監督者へ警告発報 + 直ちに給油停止

1

給油許可後

燃料注入中

ノズル挿入中人離れの発生

-

タイミング

給油許可後

ノズル状態

挿入中

その他

人離れ

2

給油許可後

燃料注入中

ノズル挿入中人離れの発生

-

タイミング

給油許可後

ノズル状態

挿入中

その他

人離れ

1

ノズル周辺に携行缶検知

給油許可前

2

ノズル周辺に携行缶検知

給油許可後

3

ノズル周辺に携行缶検知

給油許可前

り、燃料が吐出しないことを確認する
ノズルを固定給油設備から外した後、給油口に挿入する前にレバーを握り、燃料が吐出しないことを確認する
給油開始後、燃料注入中にノズルが脱落した場合、直ちに監督者への警告発報が行われるとともに、直ちに給油が停止することを確認する
給油開始後、燃料注入中にノズルが脱落した場合、直ちに監督者への警告発報が行われるとともに、直ちに給油が停止することを確認する
ノズルが車輌に挿入された状態で、給油者が車輌周辺から離れた場合、人

3

3

推奨

する
ノズルが車輌に挿入された状態で、給油者が車輌周辺から離れた場合、人
3

3

必須

離れを検知し監督者に対する警告発報や、給油停止が行われることを確認する

Step1.5 監督者へ警告発報 + 直ちに給油停止※直ちに給油停止のみ推奨

車輌周辺に携行缶を検知した場合には給油許可が行われないこと、また給
3

4

必須

油許可前に携行缶が検知された場合には、監督者に対する警告が発報され Step1.0 給油不許可 + 監督者へ警告発報

人：不許可
AI：TORることを確認する
車輌周辺に携行缶を検知した場合には給油許可が行われないこと、また給
3

4

必須

油許可後に携行缶が検知された場合には、監督者に対する警告が発報され Step1.0 監督者へ警告発報

人：不許可
AI：TORることを確認する
車輌周辺に携行缶を検知した場合には給油許可が行われないこと、また給
3

4

必須

油許可前に携行缶が検知された場合には、監督者に対する警告が発報され Step1.5 給油不許可 + 監督者へ警告発報

人：不許可
AI：TORることを確認する

2 / 3 ページ

項目5

条件5

項目6

条件6

【別表2】試験シナリオ一覧
詳細条件（共通）

試験
連番

88

89

90

91

92

ケース

シナリオ シナリオ

No.

3-4-4

3-5-1

3-5-2

3-5-3

3-5-4

93

3-6-1

94

3-6-2

種別

顧客行動
外乱
顧客行動
外乱
顧客行動
外乱
顧客行動
外乱
顧客行動
外乱
顧客行動
外乱
顧客行動
外乱

No.

試験

必須／

No.

推奨

試験目的

検証観点

条件
No.

大項目

条件1

条件２

条件3

車輌周辺に携行缶を検知した場合には給油許可が行われないこと、また給
3

4

必須

油許可後に携行缶が検知された場合には、監督者に対する警告が発報され Step1.5 監督者へ警告発報

必須

人：不許可

給油許可後

1

火気の検知

給油許可前

2

火気の検知

給油許可後

3

火気の検知

給油許可前

4

火気の検知

給油許可後

Step1.0 燃料が漏出しない

1

ノズル引き抜き

給油許可後-

Step1.5 燃料が漏出しない

2

ノズル引き抜き

給油許可後-①STEP1において、AIが給油許可を出すパターン

1

-

1

-

③全てのSTEPにおいて、AIが給油不許可を出すパターン

1-④全てのSTEPにおいて、AIが対応不可を出すパターン

1-

AI：TOR

給油許可前に検知された場合は監督者に対する警告発報とともに、給油が Step1.0 給油不許可 + 監督者へ警告発報

人：不許可
AI：TOR

停止することを確認する
給油許可後に火気を検知した場合は警告発報及び給油不許可となること、
3

5

必須

給油許可後に検知された場合は監督者に対する警告発報とともに、給油が Step1.0 給油停止 + 監督者へ警告発報

人：不許可
AI：TOR

停止することを確認する
給油許可前に火気を検知した場合は警告発報及び給油不許可となること、
3

5

必須

給油許可前に検知された場合は監督者に対する警告発報とともに、給油が Step1.5 給油不許可 + 監督者へ警告発報

人：不許可
AI：TOR

停止することを確認する
給油許可後に火気を検知した場合は警告発報及び給油不許可となること、
3

5

必須

給油許可後に検知された場合は監督者に対する警告発報とともに、給油が Step1.5 給油停止 + 監督者へ警告発報

人：不許可
AI：TOR

停止することを確認する
3

6

推奨

3

6

推奨

給油許可後にノズルを給油口から引き抜いた場合、給油終了を判断しレバーを握っても燃料が供給されないことを確認する
給油許可後にノズルを給油口から引き抜いた場合、給油終了を判断しレバーを握っても燃料が供給されないことを確認する

判断結果

ノズル周辺に携行缶検知

給油許可前に火気を検知した場合は警告発報及び給油不許可となること、
5

正常な

4

ることを確認する3

条件4

以下確認を目的とする。
＜安全性＞
監視ス
95

4-1-1

タッフ環

・AIからの状態通知を人が確認できること
4

1

必須

境

・人の確認後に給油許可が行われること（STEP1/STEP1.5特定条件以外）
・人が給油許可の判断を行い業務が再開されること＜効率性＞
以下確認を目的とする。
＜安全性＞
・AIからの状態通知を人が確認できること

監視ス
96

4-2-1

タッフ環

4

2

必須

境

・人の確認後に給油許可が行われること（STEP1/STEP1.5特定条件以②STEP1.5（特定条件下）から環境変化によってSTEP1.5（特定条件下

外）

外）に切り替わった場合において、AIが給油許可を出すパターン

・人が給油許可の判断を行い業務が再開されること＜効率性＞
・「レバーを握る」～「給油開始」までの時間が現状と大きく乖離しない
以下確認を目的とする。
＜安全性＞
・AIからの状態通知を人が確認できること

監視ス
97

4-3-1

タッフ環

4

3

必須

境

・人の確認後に給油許可が行われること（STEP1/STEP1.5特定条件以外）
・人が給油許可の判断を行い業務が再開されること＜効率性＞
・「レバーを握る」～「給油開始」までの時間が現状と大きく乖離しない
以下確認を目的とする。
＜安全性＞
・AIからの状態通知を人が確認できること

監視ス
98

4-4-1

タッフ環
境

4

4

必須

・人の確認後に給油許可が行われること（STEP1/STEP1.5特定条件以外）
・人が給油許可の判断を行い業務が再開されること＜効率性＞
・「レバーを握る」～「給油開始」までの時間が現状と大きく乖離しない

3 / 3 ページ

項目1

条件1

項目2

条件2

項目3

条件3

項目4

条件4

項目5

条件5

項目6

条件6