「人工物メトリクスを用いた個体管理技術ガイダンス」のご紹介
国立研究開発法人 産業技術総合研究所
サイバーフィジカルセキュリティ研究センター
古原 和邦

この成果は、国立研究開発法人新エネルギー・産業技術総合開発機構（ＮＥＤＯ）の委託業務（JPNP16007）の結果得られたものです。
1

人工物メトリクスを用いた個体管理技術ガイダンス
製品、デバイス、部品などを、人工物メトリクスを用いて管理する際のガイダンス*
人工物メトリクス
物の物理的特徴の計測または測定
個体
物理的特徴

個体

個体
物理的特徴

物理的特徴
個体
物理的特徴
* NEDO の委託業務（JPNP16007）において、産総研 CPSEC
が企業・大学などの有識者委員とともに構成した「人工物メトリクスを用いた個体管理技術検討委員会」でとりまとめたもの
2

ガイダンス紹介ページへのQRコード
https://www.cpsec.aist.go.
jp/achievements/artmet

人工物メトリクスを用いた個体管理技術検討委員会
ガイダンス紹介ページ
へのQRコード
https://www.cpse
c.aist.go.jp/achie
vements/artmet

委員（敬称略）松本 勉

横浜国立大学（委員長）

石山 塁

NEC データサイエンス研究所

海老澤 功

凸版印刷株式会社

オブザーバ参加組織

川岸 敏之

産業技術総合研究所

特許庁国際協力課模倣品対策室（話題提供）

高橋 徹

株式会社GAZIRU

大日本印刷株式会社

仁木 義規

株式会社 村田製作所

凸版印刷株式会社

原井 謙一

日本ゼオン株式会社

富士フイルムビジネスイノベーション株式会社

法元 盛久

産業技術総合研究所

事務局

牧野 智成

シヤチハタ株式会社

産総研 CPSEC
古原 和邦、時田 俊雄

本杉 友佳里 富士フイルムビジネスイノベーション株式会社

事務局補助：
みずほリサーチ＆テクノロジーズ株式会社
3

人工物メトリクスを用いた個体管理
個体
物理的特徴

個体管理
の現状
• ID
• シリアル番号• バーコード• 二次元コード• RFIDなどを用いた管理

人工物メトリクスを用いた個体管理
多様なニーズタグなどを付けずに管理したいフォレンジックス用途で使用できるようにしたい(模倣品が原因で事故が起きた場合に、それが自社のものでないことを示したい)

ユースケースによる違い
照合or識別参照データの保管場所
物理的特徴を貼り付ける場合
判定対象の集合
データ取得処理の信用度
AI(機械学習)を使用する場合
利用方式が一種類/複数の場合ガイダンス紹介ページ
へのQRコード
https://www.cps
ec.aist.go.jp/achi
evements/artmet

ユースケース毎に、考え方、適用すべき指標、注意点などが異なるため、それらを整理4

本ガイダンスの対象範囲

本体（中身の成分など）
本体・パッケージ
製 （表面）品
印刷物
添付物
タグ
製品情報(製品画像
や説明文など)管理機能(模倣品対策機能)に対して(*2など)

の本
対ガ
象イ
範ダ
囲ン
ス

管理対象(模倣品判定対象)の区分*1に対して

区右
分記
はを
問満
わた
なせ
いば

機能

るは測個
管識定体
理別結の
技す果物
術るを理
こ照的
と合特
にま徴
よたの

機械
読取
可能

説明

オバート

目視など人の感覚のみ
で分かる

コバート

簡易的な器具を用いるとオバートになる機械を用いることで分か
る

フォレン
ジック

専門分析などで分かる*1 参考）経済産業省 平成３０年度知的財産権ワーキング・グループ等侵害対策強化事業「模倣品対策に係る取組の効果に関する定量的把握手法の整理及び技術的手段を活用した効果的な対策手法の普及支援策に関する調査」調査報告書 デロイト トーマツ コンサルティング 合同会
社 2019.03.29 https://www.jpo.go.jp/resources/report/mohohin/document/sonota/kanbetugijutu30fy.pdf*2 参考）経済産業省「模倣品対策技術及びその普及に向けた調査 」 2014
https://www.jpo.go.jp/resources/report/mohohin/document/sonota/kanbetugijutu26fy.pdf
5活用例 日本語での用語の辞書として用語と定義の例 用 語

説 明

全般
人工物メトリクス
人工物メトリクスを用いた個体管理技術
計測
測定
コーパス
データセット
シナリオ評価テクノロジ評価

物の物理的特徴の計測または測定用語と定義
個体の物理的特徴の測定結果を照合または識別することによる管理技術
特定の目的をもって、測定の方法及び手段を考究し、実施し、その結果を用いて所期の目的を達成させることある量をそれと同じ種類の量の測定単位と比較して、その量の値を実験的に得るプロセス
対象となるデータを大規模に集めてデータベース化した資料
注記：人工物メトリクスの場合、物理的特徴の電子データが「対象となるデータ」に該当する。
テストのために用意した個体（物理的特徴を含む）を対象とし、プロトタイプまたは模擬的なアプリ
ケーションを使用して、包括的なシステム性能を判定する評価
既存のサンプル、または特別に収集したサンプルのコーパスを用い、システムの一部を構成する技術やアルゴリズムの性能を判定する評価

参考文献の例
1. 松本弘之, 宇根正志, 松本勉, 岩下直行, 菅原嗣高, “人工物メトリクスの評価における現状と課題”, 日本銀行金融研究所,
金融研究, https:/www.imes.boj.or.jp/research/papers/japanese/kk23-b1-3.pdf, 2004.6
2. 田村裕子, 宇根正志, “人工物メトリック・システムにおける耐クローン性の評価手法の構築に向けて”, 日本銀行金融研究所, 金融研究, https://www.imes.boj.or.jp/research/papers/japanese/kk28-2-7.pdf, 2009.7
3. JIS X 8101-1:2010, “情報技術―バイオメトリック性能試験及び報告―第1部：原則及び枠組み”, 2010
4. JIS X 8101-2:2010, “情報技術―バイオメトリック性能試験及び報告―第2部：テクノロジ評価及びシナリオ評価の試験方法”, 2010
5. ISO DIS 22387, “Security and resilience - Authenticity, integrity and trust for products and documents Validation procedures for the application of artefact metrics”, https://www.iso.org/standard/80717.html
6

照合/識別による分類
照合(1対1照合)

識別(1対N照合)提示されたIDまたは参照データと個体とが対応するか否かを返すアプリケーション

提示された個体に対応する0個又は1個以上のIDの候補を識別順位を付けて返すアプリケーション

個体
物理的特徴
参照データ

照合処理

個体

合致(受理)
又は非合致(拒否)

物理的特徴

さらに、以下に分類される• 個体添付型• データベース記録型

識別処理

ID

さらに、以下の分類が重要となる• 判定対象限定識別• 判定対象非限定識別7

参照データの保管場所、による分類

照合(1対1照合)

識別(1対N照合)

個体添付型: 参照データを個体と共に配付する場合
データベース記録型: 参照データをデータ
ベース/分散型台帳などに格納する場合

データベース記録型: 参照データをデータ
ベース/分散型台帳などに格納する場合

データベース記録型

個体添付型

データベース/
分散型台帳など

個体

個体

物理的特徴

物理的特徴
参照データ

個体添付型照合

合致？

ID

ID

参照データ

個体

出力

物理的特徴

ID

参照データ

データベース記録型照合

データベース記録型識別
識別（1対N照合）

照合（1対1照合）
8

照合と識別との使い分けの例
照合を用いた方がよい場合

識別を用いた方がよい場合個体とともにIDまたは参照データを流通させることができる場合個体とともにID又は参照データを流通させることができない場合、または、できるが避けたい場合

個体またはそのパッケージもしくはその鑑定書などへIDまたは参照データを記載することが可能な場合
製造過程・流通経路の途中で、IDまたは参照データを含む印字・シール等の改ざん、貼り替えを検知する場合

ばら売りの製品や部品にバーコードやシリアル番号などを付けるスペースが無い場合や付けるコストを削減したい
場合
IDまたは参照データ*が記載されていたパッケージ、鑑定書などを紛失している場合* 参照データはデータベースにも保存されている場合。

識別を用いる場合の注意点• 一般的に識別の処理時間と誤識別率は正規リストへ登録済みの個体数、またはデータベースを検索して得られる候補リスト数の増大に応じて悪化する。
• そのため、それらを許容できる範囲内に登録数または候補リスト数を収める必要がある。
• 登録数が制限される個体の種類の例: 限定品、有効期限のあるもの• 予備選択情報の活用① 個体またはそのパッケージなどに予め記載されている情報(製造日、製造場所、製造番号など)② 取得した物理的特徴から生成されたデータ
9登録処理の分類

登録

新規登録

正規リスト登録
正規個体の正規リストへの登録

非正規リスト登録
発見された非正規個体の非正規リストへの登録

追加情報登録補足情報などの追加登録

10個体添付型照合処理の流れと分類との関係• 判定対象の集合の範囲による分類• 個体と物理的特徴との関係による分類
個体
物理的特徴

物理的特
徴の読取

個体

データ取得処理

物理的特徴
参照データ

信号処理

個体と共に配布

参照データ
生成

参照データ
読取
参照データ
受入

データ取得処理の信用度による分類
データ取得処理
物理的特
徴の読取

信号処理
判定対象
データ生成

照合判定
判定処理
照合結果

登録処理（照合）

照合処理
11

個体と物理的特徴との関係による分類
個体
物理的特徴• 個体と物理的特徴との関係による分類

管理対象の個体に物理的特徴を有する物を貼り付ける場合
管理対象の個体管理対象の個体管理対象の個体が有する物理的特徴を用いる場合

物理的特徴を有する物
物理的特徴

管理対象の個体
物理的特徴

物理的特徴を有する物
物理的特徴

注意点
貼り替え防止/検出のための• 貼り付け強度• タンパーエビデンス性の確保
12

判定対象の集合の範囲による分類
個体

登録に対する不正/攻撃/エラーなどを想定しない場合*
正規/
非正規

悪意の有無
個体の分類
応用例
照合

評価
指標 識別

正規個体（本物）
正規リスト登録済個体

物理的特徴

非正規個体（偽物）
正規リスト未登録個体

意図的に細工または複製された
物理的特徴を有さない個体

正規個体• 紛失の検出など• 判定対象の集合の範囲による分類

意図的でない非正規個体• ラベル張替えの検出• 混入品の識別など

意図的に細工または複製された
物理的特徴を有する個体

意図的な
非正規個体
• 模倣品(複製)の検出など

FNMR, FRR

FMR, FAR

CMR, CARFNIR(TPIR=1-FNIR)

FPIR

CFPIR

*登録に対する不正/攻撃/エラーなどを想定する場合は、さらに細かい分類となる。詳しくはガイダンスをご参照下さい。
13データ取得処理の信用度による分類管理された区画内でデータ取得が行われる場合
例えば管理された工場内など
データ取得処理で不正が行われる可能性は小さいと仮定できる*。
信用できるとは限らない場所とデータ取得装置で取得されたデータを用いて判定等を行う場合
例えば、ブランド品の個人間売買などで模倣品出品者が、自身の装置で取得したデータを用いて、遠隔で判定を行う場合など
右記のような攻撃への対策が必要

データ取得処理の信用度による分類

大量判定の防止

個体
物理的特徴

•
•
•
•

デッド/ハード・コピー攻撃
ウルフ攻撃
シミュレート攻撃
ブルート・フォース攻撃

物理的特徴が正しく無く読み取られていること(倍率など)の確認* 操作者が未熟練の場合や、データ取得環境の違いによる取得データの品質の低下への対処は必要
14

データ取得処理
物理的特
徴の読取

リプレイ
攻撃

安
全
な
通
信
路
の
確
保

耐
タ
ン
パ
ー
性
の
確
保

判定などの処理

セキュリティ
対策例

データベース記録型照合処理の流れと分類との関係

個体

物理的特
徴の読取

物理的特徴

個体

データ取得処理

物理的特徴

個体と共に配布
信号処理

参照データ
生成

ID生成

格納

• 判定対象の集合の範囲による分類• 個体と物理的特徴との関係による分類

ID

参照データを入手すれば物理的特徴を模倣しやすくなる場合、
かつ、参照データが公開分散型
台帳などに保存される場合
アクセス権限/復号権限

ID

参照データ

データベース/
分散型台帳など

ID

ID読取

データ取得処理の信用度による分類

データ取得処理
物理的特
徴の読取

信号処理

検索
参照データ
受入

判定対象
データ生成

照合判定
参照データ

破線および破線囲み箇所はオプションを表す

判定処理
照合結果

登録処理（照合）

照合処理
15

参照データの保管場所による分類と必要な機能
分類

個体添付型
（照合のみ）

必要な
セキュリティ機能

データベース記録型
公開分散型台帳

公開していない
分散型台帳

分散型台帳以外のデータベース

秘匿性[参照データを攻撃者が入手できれば物理的特徴を模倣しやすくなる場合]

参照データの暗号化と信頼できるエンティティ(利用者/管理者など)のみへの復号権限の付与

完全性(および否認不可性)[非正規個体の物理的特徴が不正に添付または登録される可能性がある場合]参照データへの電子署名、メッ
セージ認証子などの付加(付加後も、参照データ毎の削除、差替、複製の追加は可能。
差替、複製の追加に対しては、
FMR, FAR の小ささを確認。)

可用性

参照データの冗長化

または、盗聴の行われる可能性のある通信路経由で利用する場合、認証された利用者との間の通信路の保護

FMR: False Match Rate

分散型台帳により提供される

盗聴、改さん、
なりすましの行われる可能性のある通信路経由で利用する場合、相互認証(利用者認証、サーバ
認証)されたエン
ティティ間の通信路の保護

データベースの冗
長構成

FAR: False Accept Rate16

データベース記録型識別処理の流れと分類との関係
個体

個体

データ取得処理

物理的特
徴の読取

物理的特徴
予備選択情報
信号処理

予備選択
情報読取

予備選択
情報生成

参照データ
生成
ID生成
予備選択情報

格納
ID

参照データ

破線および破線囲み箇所はオプションを表す• 判定対象の集合の範囲による分類• 個体と物理的特徴との関係による分類

データ取
得処理の
信用度に
よる分類

物理的特徴
予備選択情報を用いる場合の分類

予備選択情報

予備選択
情報読取

アクセス権限/復号権限
予備選択情報データベース/
分散型台帳など

データ取得処理
信号処理

予備選択
情報生成

予備選択情報を用いない場合は、登録されている全ての参照データが検索される。
参照データを入手すれば物理的特徴を模倣しやすくなる場合、かつ、参照データが公開分散型台帳などに保存される場合

物理的特
徴の読取

検索
参照データ
候補リスト受入

判定対象
データ生成

識別判定

候補リスト
ID 参照データ
ID 参照データ
ID 参照データ
ID 参照データ…

登録処理（識別）
17

識別結果

識別処理

判定処理

予備選択情報を用いる場合の分類
予備選択情報の例

予備選択を行う場合の指標

個体またはそのパッケージなどに予め記載されている情報

絞込み率 PR (Penetration Rate)
予備選択誤り PSE (Pre-Selection Error)

例）製造日、製造場所、製造番号など取得した物理的特徴から生成されたデータ

識別を用いる場合の注意点• 一般的に識別の処理時間と誤識別率は登録済みの個体数、またはデータベースを検索して得られる候補リスト数の増大に応じて悪化する。
• そのため、それらを許容できる範囲内に登録数または候補リスト数を収める必要がある。
• 登録数が制限される個体の種類の例: 限定品、有効期限のあるもの• 予備選択情報の活用
18

照合に対する指標 FMR, FAR, FNMR, FRR
参照データとの照合１回当たりの誤り率システムが下す最終判定の誤り率(2回以上の照合を許す場合など)の誤り率

誤合致率(誤一致率) FMR
誤非合致率(誤不一致率) FNMR

誤受入率(誤受理率) FAR
誤拒否率(誤拒否率) FRR

非正規個体

log 誤り率合致する(受理される)
誤り率

より一致
し易い
FMR: False Match RateFNMR: False Non-Match Rate

合致しない(拒否される)
誤り率

FMR
(FAR)
曲線

FNMR
(FRR)
曲線

閾値などの変数

FAR: False Accept Rate
FRR: False Reject Rate
19

正規個体

より一致
し難い

２曲線間のトレードオフを分析する必要性の有無合致しない(拒否される)誤り率

log 誤り率合致する(受理される)誤り率

２つの曲線が分離できている場合には、２曲線の間に判定の閾値を設定
正規個体

非正規個体
閾値などの変数合致しない(拒否される)誤り率

log 誤り率合致する(受理される)誤り率

２つの曲線が分離できていない場合には、２曲線間のトレードオフを分析

非正規個体

正規個体

閾値などの変数20

FMRとFNMR, FARとFRRとのトレードオフの図示

合致しない(拒否される)
誤り率

FMR
(FAR)
曲線

FNMR
(FRR)
曲線

AUC
FMR (or FAR)

閾値などの変数

ROC曲線とDET曲線の一番大きな違い
FMR: False Match RateFNMR: False Non-Match Rate

照合精度持性曲線(ROC曲線)統計の分野では従来よりROC曲線が用いられていたという経緯がある

FAR: False Accept Rate
FRR: False Reject Rate
21

log FNMR (or FRR)

合致する
(受理される)
誤り率

AUCが広いほどよいトレードオフ関係にある

1-FNMR (or FRR)

正規個体

log 誤り率

非正規個体

検出エラートレードオフ曲線(DET曲線)の一例
AUCは線形目盛で表した場合のこの部分の面積log FMR (or FAR)

対数目盛で小さな誤り率の関係を見るならDET曲線の方がよい

ROC: Receiver Operating Characteristic
DET: Detection Error Trade-off
AUC: Area Under the Curve意図的な非正規個体(複製:クローン)提示に対する指標
クローン受理率 CAR

Clone Match Rate
1回の照合でクローンが参照データと一致する率

一致しない(受理されない)
誤り率

意図的な
非正規個体
(典型的にはクローン)

log 誤り率

クローンが一致する(受理される)誤り率

CMR
(CAR)
曲線

FNMR
(FRR)
曲線

正規個体

Clone Accept Rate
最終的にクローンを受理する率

log FNMR (or FRR)

クローン一致率 CMR

DET曲線
の一例
AUCは線形目盛で表した場合のこの部分の面積log CMR (or CAR)

閾値などの変数

DET: Detection Error Trade-off
AUC: Area Under the CurveFNMR: False Non-Match Rate22

識別処理での登録/未登録判定の必要性による分類
個体

物理的特徴

識別処理

判定対象限定識別ID

判定対象非限定識別

定義: 正規個体(正規リストに登録されている個体)のみを判定対象とする識別補足:

定義:非正規個体(正規リストに未登録の個体)も判定対象とする可能性のある場合の識別補足:

識別対象を未登録と判定するための閾値は不要でとにかく類似度の高いIDを返す。
識別処理により出力されたIDとの照合処理を行うと「非合致(拒否) 」が返る場合もある。

類似度等が閾値以下のIDを正規リスト未登録と判定するなどの足切り処理を行う。
提示個体の物理的特徴と最も似ていたとしても、その類似度などが、予め定めた閾値以下であればその個体のIDは返さず、提示個体を未登録と判断する。

注意点「判定対象限定識別」を使っている場合に非正規個体を識別すると、その判定対象は登録済みとして処理されるため、(類似度等が閾値以下の場合には警告を発するようにするか）予め正規リストに未登録の個体を識別する可能性の有無について慎重に判断することが重要となる。
23

識別に対する指標 FNIR(r), TPIR(r), CMC曲線
誤拒否識別率 FNIR(r)False-Negative Identification-error Rate
最大r個のID候補に正しいIDが含まれない誤り率

累積識別精度特性曲線(累積照合特性) CMC曲線
Cumulative Match Characteristics

識別率(正受入識別率) TPIR(r)=1-FNIR(r)True-Positive Identification Ratelog FNIR(r)TPIR(r)CMC曲線

TPIRを線形目盛
で表示

CMC曲線
の拡張例

r

r

統計の分野では従来より上記のようなCMC曲線が用いられていたという経緯がある

小さな誤り率の関係を見るためには
FNIR(r)を対数目盛で表した方がよい
24

判定対象非限定識別で追加すべき指標: FPIR
誤受入識別率 FPIR
False-Positive Identification-error Rate
閾値を超えているIDが１つ以上出力される誤り率
AUCが広いほどよいトレードオフ関係にある
最大r個のID候補に含まれない誤識別率

より受け入
れられ易い

FPIR
曲線

FNIR(r)曲線

閾値などの変数

正規個体

より受け入
れられ難い

検出エラートレードオフ曲線(DET曲線)の一例

log FNIR(r)非正規個体

log 誤り率

正規リストに登録済と判断される誤識別率

AUCは線形目盛で表した場合のこの部分の面積log FPIR

DET: Detection Error Trade-off
AUC: Area Under the Curve

FNIR: False-Negative Identification-error Rate25

判定対象非限定識別で追加すべき指標: CFPIR
クローン誤受入識別率 CFPIR
クローン成功率 CSR(r)Clone False-Positive Identificationerror Rate
クローンに対して閾値を超えているIDが１つ以上出力される誤り率

log 誤り率

より受け入
れられ易い

CFPIR
曲線

FNIR(r)曲線

閾値などの変数

正規個体

より受け入
れられ難い

AUCが広いほどよいトレードオフ関係にある
検出エラートレードオフ曲線(DET曲線)の一例

log FNIR(r)最大r個のID候補に含まれない誤識別率

正規リストに登録済と判断される誤識別率
意図的な
非正規個体
(典型的には
クローン)

Clone Success Rate
閾値を超えているID最大r個の中にクローン元の個体のIDが含まれる誤り率
CFPIR ≧ CSR(r)AUCは線形目盛で表した場合のこの部分の面積log CFPIR
DET: Detection Error Trade-off
AUC: Area Under the Curve

FNIR: False-Negative Identification-error Rate
26

FIDO Alliance におけるバイオメトリクスでの必須要件
標本から推定した母集団の80%片側信頼区間の上限

1/10,000はパスワード換算でランダムな数字４桁程度の非常に低いレベル：
セキュリティ用途を考慮した場合の最低ライン

log FRR

FRRにおいては5/100未満
FARにおいては1/10,000未満

DET曲線

log FAR

人工物メトリクスにおいては高いセキュリティレベルが要求される用途以外にも、悪意のある攻撃が想定されない状況において物の管理を手軽に行う用途もあるため。
用途に応じて適切な水準を選択する
FIDO Alliance, “FIDO Biometrics Requirements Final Document”,
https://fidoalliance.org/specs/biometric/requirements/, 2020.10
27

母集団と標本の誤り率
標本の誤り率：p’=k/n=1/3
ここで n は試行回数、k は失敗の回数

母集団の誤り率の信頼区間：
p’ - L(k,n,α) ≦ p ≦ p’ + U(k,n,α)
ここで α は (1-信頼係数)

母集団

標本

同じ製造条件、同じ読取り条件毎に真の誤り率pが存在

成功

誤り

成功

１回目の試行 ２回目の試行 ３回目の試行

ベルヌーイ試行

試行の結果は２種類（成功または誤りのいずれかなど）
２種類の試行結果の確率は試行を通してそれぞれ一定
各試行は独立28

製品群/部品群などを一つの個体と捉えるユースケース
ニーズの例：ある部品Xに不具合が見つかった場合、それと同じ製造機械で生産された部品を特定し回収したい。

母集団からの標本

母集団

区別不要
個体A:部品Xの製造機械A
製造

部品X
個体Aの
物理的特徴

部品X
個体Aの
物理的特徴

部品X
個体Aの
物理的特徴

部品X
個体Aの
物理的特徴

区別必要

区別したい対象

製造

部品X
個体Bの
物理的特徴

部品X
個体Bの
物理的特徴

部品X
個体Bの
物理的特徴

個体B:部品Xの製造機械B
区別不要
29

部品X
個体Bの
物理的特徴

近似された手法で計算された信頼区間の誤差

厳密に求めた
信頼区間の上限

近
似
的
な
上
下
限
標本の
誤り率

厳密に求めた
信頼区間の下限

信頼区間を厳密に求めたり近似法との誤差を図示したりする
ためのツール EBCIC のページ
30

誤り率の信頼区間を EBCIC を用いて求める方法
Linux/WSLターミナルを用いる場合
PyPI (Python Package Index) ebcic packageのインストール$ pip install ebcic
コマンドラインヘルプ(引数の使い方、バージョン情報など)の表示$ python -m ebcic -h
信頼区間を計算するためのコマンド例:• 試行回数100回中、誤り0回の場合の誤り率の95%片側信頼区間の上限の表示$ python -m ebcic -k 0 -n 100 -c 95 -u• 試行回数100回中、誤り1回の場合の誤り率の95%両側信頼区間の下限と上限の表示$ python -m ebcic -k 1 -n 100 -c 95 -lu• 試行回数100回中、誤り1回の場合の誤り率の95%片側信頼区間の上限の表示• -kの引数が0より大きく -nの引数より小さい場合、-c の引数には片側信頼区間のパーセンテージをconfi_perc_for_one_sided として2*
confi_perc_for_one_sided - 100 を指定する。本例の場合
2*95 – 100 = 90 を指定。
$ python -m ebcic -k 1 -n 100 -c 90 -u
31

Jupyter, Jupyter-lab,
Visual Studio Code など
でも実行可能です。
詳細は以下をご参照下さい。

信頼区間を厳密に求めたり近似法との誤差を図示したりする
ためのツール EBCICのページ

AI(機械学習)使用の有無による分類と注意点
本ガイダンスで対象とする「照合/識別のためのAI(機械学習)」の範囲：
照合/識別に必要となる処理(学習済モデル)をデータセットから自動的に生成する場合。

本範囲外：
照合/識別に必要となる処理(信号処理、判定処理など)を人が生成する場合。
例、ルールベースAIのルールを人が生成する場合。
フェーズ毎の注意点
機械学習用データセット入手時/機械学習時
データポイズニング攻撃(データセット改ざん/追加/削除)
正規個体データの削除/教師ラベル改ざん

学習済モデル管理時
モデルポイズニング攻撃

２ページ後の図の表記

モデル情報の漏洩

正規個体データへのバックドア型ポイズニング攻撃

照合/識別時非正規個体の訓練データ追加

学習済モデルへの(大量)問い合わせ

正規個体データの漏洩AIが受け入れる非正規個体の提示

対策候補
前段階の
リスク

最終的な
リスク

用語については[1]またはそれを微修正したものを使用。
[1] 産総研 「機械学習品質マネジメントガイドライン 第 2 版 (revision 2.1.0)」 2021.7
32

照合/識別にAI(機械学習)を使う場合の注意点

機械学習への汎用的な攻撃方法と人工物メトリクスを用いた個体管理との関連
機械学習への汎用的な攻撃方法
データポイズニング攻撃

攻撃方法の説明
機械学習に用いるデータセットに意図的な改変を加える攻撃

人工物メトリクスを用いた個体管理との関連(条件、理由等)
大

バックドア型データポイズニング攻撃 特定の入力に対してのみ機能するようなデータポイズニング攻撃大

モデルポイズニング攻撃

学習済モデルに対して不正な動作などを埋め込む攻撃

大モデル抽出攻撃運用時に、入力データに対する出力の振る舞いを観察すること
で、学習済モデルと同様の動作をするモデルを抽出する攻撃

中 （照合が受理される、または、正しい
IDに識別される入力を特定することが本質で、学習済モデルと同様の動作をするモデルを抽出する必要は無いため）回避攻撃(敵対的データ)

運用時に機械学習利用システムに特定の改変した入力（敵対的データ、adversarial example）を与えることで、機械学習要素に想定外の誤動作を生じさせる攻撃

解釈/説明機能を誤動作させる
攻撃

敵対的データなどを用いてAIの解釈/説明機能によって出力される説明内容の価値を下げたり、間違った説明を生成したりする攻撃

中 （照合が受理される、または、正しい
IDに識別される入力を行うことが本質で、人の解釈を保持する範囲に限定される敵対的データの入力に拘る必要は無いため）

メンバシップ推測攻撃・モデルインバージョン攻撃・性質推測攻撃

機械学習に用いたデータセットについての情報を摂取する攻撃

33

小 （通常、機械学習に用いるデータセッ
トに個人情報やプライバシに関連する情報は含まれていないため）

照合/識別にAI(機械学習)を使う場合の注意点
機械学習用データセット入手時/機械学習時
データポイズニング攻撃(データセット改ざん/追加/削除)
正規個体データの削除/教師ラベル改ざん

登録済みの物理的特徴を用いた照合/識別テスト
による能力低下検出

正規個体データへのバックドア型ポイズニング攻撃

非正規個体の訓練データ追加

/

右
記
の
識
別
照
合
能
力
低
下

正規個体データの漏洩

データセットとその入手経路の管理

学習済モデル管理時

モデルポイズニング攻撃
モデル情報の漏洩

モデル抽出

照合/識別時学習済モデルへの(大量)問い合わせ照合が受理される、または、正しいIDに識別される入力の把握と作成
回避攻撃(敵対的データの作成)
悪意のある利用者による大量照合/識別の防止

照合/識別時
左記により作成された非正規個体の提示
高い汎化性の確保(データ拡張,アンサンブル学習など)
34

正規個体の物理的特徴とそのID/参照データとの照合が受理されない(FNMR,FRRの増加)
正規個体の物理的特徴と別のID/参照データとの照合が受理される(FMR,FARの増加)

を登
判録
定済
対み
象の
と物
す理
る的
場特
合徴
の
み

識
未登録の物理的特徴と正規のID/
別参照データとの照合が受理される
非(FMR,FAR,CMR,CARの増加)
右照合記
能 の 未登録の物理的特徴が登録済み
個体のいずれかに識別される
力
低(FPIR,CFPIRの増加)
下/モデル抽出攻撃

学習済モデルとその入手経路の管理

正規個体に対して正し
いIDが識別されない(FNIR(r)の増加)

未
登
録
の
物
理
的
特
徴
も
判
定
対
象
と
す
る
場
合

複数の方式を利用する場合
複数の商品や部品を扱い、商品/部品毎に管理方式が異なる場合

個体管理方式に応じてシステムへの入力センサ(カメラなど)の切替が必要
B方式照合システム
A方式のデータベース/分散型台帳等B方式で管理されている個体C方式で管理されている個体

物理的特徴
参照データ

物理的特徴
ID

A方式で管理されている個体D方式で管理されている個体

物理的特徴

予備選択情報A方式識別システム

将来、上記のニーズが高まる場合には、用途毎の入力センサ(カメラなど)の共通化が必要となってくる。

物理的特徴

C方式照合システム
C方式のデータベース2
D方式のデータベース/分散型台帳等
D方式識別システム

C方式照合システム

B方式照合システム

A方式識別システム

C方式のデータベース1

個体
物理的特徴
35

D方式識別システム

まとめ「人工物メトリクスを用いた個体管理技術ガイダンス」について紹介
人工物メトリクスのユースケース毎に、考え方、適用すべき指標、注意点などが異なるため、それらを整理
日本語での用語の辞書としても利用可能
ユースケースの分類
照合か識別か照合（個体添付型、データベース記録型）
識別（判定対象限定識別、判定対象非限定識別 による指標の違い）

物理的特徴として個体が有するものを用いる場合/偽造困難な物理的特徴を貼り付ける場合
データ取得処理の信用度
AI(機械学習)を使用する場合
利用方式が複数の場合
指標と図照合用: FNMR, FMR, FRR, FAR, CMR, CAR, ROC曲線, AUC, DET曲線
識別用: TPIR, FNIR, CMC曲線
判定対象非限定識別用: FPIR, CFPIR, ROC曲線, AUC, DET曲線
36

ガイダンス紹介
ページへのQR
コード
https://www.cpsec.ais
t.go.jp/achi
evements/
artmetご清聴ありがとうございました。

37