平成 30 年度国立研究開発法人日本医療研究開発機構委託事業

平成 30 年度 未来医療を実現する医療機器・システム研究開発事業（医療機器等に関する開発ガイドライン策定事業）

人工知能分野
開発 WG 報告書

平成 31 年 3 月
国立研究開発法人産業技術総合研究所

平成 30 年度 人工知能分野 開発 WG 委員名簿（※は座長，五十音順，敬称略）

氏名
片倉 由紀子所属
富士フイルム株式会社
メディカルシステム事業部 品証薬事部 スペシャリスト

椎名 毅

京都大学大学院
医学研究科人間健康科学系専攻 教授

清水 昭伸

東京農工大学大学院 工学府 教授

藤田 広志

岐阜大学
工学部 電気電子・情報工学科 特任教授

古川 浩

キヤノンメディカルシステムズ株式会社
経営企画部 参与

宮崎 靖

株式会社日立製作所 ヘルスケア BU
診断システム事業部 ソリューションビジネス本部 本部長付

森 健策

名古屋大学大学院 情報学研究科
知能システム学専攻 教授

森 孝夫

オリンパス株式会社 医療第３開発本部
医療イメージング技術開発１部 リードディレクター

諸岡 直樹

株式会社島津製作所
医用機器事業部 品質保証部 シニアマネージャー※横井 英人

香川大学医学部附属病院
医療情報部 部長 教授

開発 WG 事務局
鎮西 清行 産業技術総合研究所 生命工学領域 健康工学研究部門 副研究部門長
坂無 英徳 産業技術総合研究所 情報・人間工学領域 人工知能研究センター 研究チーム長

人工知能分野開発 WG 委員会 開催日程
第 1 回開発 WG 委員会
開催日 平成 30 年 8 月 7 日（火）審査・開発 WG 第 1 回合同委員会
開催日 平成 30 年 10 月 29 日（月）第 2 回開発 WG 委員会
開催日 平成 30 年 10 月 29 日（月）第 3 回開発 WG 委員会
開催日 平成 31 年 1 月 21 日（月）第 4 回開発 WG 委員会
開催日 平成 31 年 2 月 7 日（木）第 5 回開発 WG 委員会
開催日 平成 31 年 3 月 1 日（金）

目次
当該技術分野の概要および現状 ............................................................................................................................ 1
当該技術分野におけるガイドライン策定の意義 ............................................................................................ 1
ガイドラインの検討過程 .......................................................................................................................................... 1
ガイドラインの位置付けや作り方について ................................................................................................. 1
人工知能分野 開発 WG 委員会概要............................................................................................................... 2
活動結果 .......................................................................................................................................................................... 7
開発ガイドライン案の見直し ............................................................................................................................. 7
開発ガイドラインの適用事例：転移学習を効果的に用いた例 ..........................................................10
医用画像診断支援システム（人工知能技術を利用するものを含む）開発ガイドライン（手引き）（案）................................................................................................................................................................................................... 16

当該技術分野の概要および現状
サポートベクタマシン(Support Vector Machine)などの分類器に代表される機械学習の技術は、深層学習(Deep learning)の進展により注目を集めている。膨大な量のデータを用いる機械学習は、
自然画像の判別などの「特定の分類課題」において人間の能力を超える性能を示すに至り、人工知能（Artificial Intelligence; AI）が社会を変革するとの議論がなされている。
コンピュータ支援画像診断(Computer Aided Diagnostics; CAD)の分野においても、研究開発の対象は事実上すべて機械学習を用いるものとなった。人工知能技術を用いた CAD (AI-CAD)が平均的
医師の診断成績を上回るとの研究発表、海外での承認事例が出ている。
この背景のもとに、医療機器等開発ガイドライン策定事業（AMED）では、2017 年度から次世代
医療機器・再生医療等製品評価指標策定事業（厚生労働省・国立衛研）と連携して、AI-CAD に関する開発ガイドラインの策定を進めてきた。
その結果、開発ガイドライン策定事業では次の特徴を持つ開発ガイドライン案を策定した。
–

従前に公表した「コンピュータ診断支援装置の性能評価開発ガイドライン」と「コンピュータ診断支援装置におけるソフトウェア設計・開発管理」を統合–

この中に、機械学習技術に関係する事項を追記–

平成 26 年 11 月 25 日改正施行された薬機法の「単体プログラム」ほか、最新の医療機器規制制度、国際標準等に対応–

CAD が最も普及している放射線のみならず、動画像を主とする内視鏡、超音波等も対象とした。

当該技術分野におけるガイドライン策定の意義
2018 年度に入って、機械学習技術の医療応用の流れはさらに加速した。
–

自動診断（支援ではない）システム IDx-DR が米国で承認された。

–

日本でも初の機械学習を利用したシステム EndoBRAIN が承認された。

–

米国ではその後も機械学習を利用した CAD は増加しており、各国でも承認例が増えている。

これらを受けて、本年度は開発ガイドライン案の見直しと、内容をよりわかりやすくすることで医療における人工知能技術の適正な普及の一助とする。

ガイドラインの検討過程
ガイドラインの位置付けや作り方について昨年度に引き続き、開発ガイドライン策定ワーキンググループ（以下、開発 WG）委員会を設置
し、本年度は、下記に示すとおり 5 回の会合を開催した。次世代医療機器・再生医療等製品評価指標作成事業 人工知能分野 審査ワーキンググループ（以下、審査 WG）との合同会議も開催し、評
価指標およびガイドラインの検討を進めた。

1

人工知能分野 開発 WG 委員会概要(1) 第 1 回開発 WG 委員会


開催日時：平成 30 年 8 月 7 日（火）16：00 ～ 18:15



出席者［委員］横井英人（座長）、片倉由紀子、椎名毅、清水昭伸、藤田広志、古川浩、
宮崎靖、森健策（Skype による遠隔参加）、森孝夫、諸岡直樹［オブザーバー］浅沼直樹（日本医療研究開発機構）
門川員浩（経済産業省）
中岡竜介、加藤玲子（国立医薬品食品衛生研究所）
今川邦樹（医薬品医療機器総合機構）［事務局］鎮西清行、坂無英徳（産業技術総合研究所）



配布資料
資料 1：議事次第
資料 2：委員名簿
資料 3：人工知能分野 審査 WG 今年度活動計画案
資料 4：（仮題）人工知能技術を利用した医用画像診断支援システム開発ガイドライン（手引き）（案）
資料 5：開催日程案とメーリングリストについて
参考資料 1：人工知能技術を利用した医用画像診断支援システムに関する評価指標（案）
参考資料 2：平成 29 年度 人工知能分野 開発 WG 報告書



議事概要
1.

審査 WG の状況および活動計画について

2.

「（仮）人工知能技術を利用した医用画像診断支援システムに関する開発ガイド
ライン」に関する検討

3.

その他

(2) 審査・開発 WG 第 1 回合同会議
 開催日時：平成 30 年 10 月 29 日（月）15:00 – 17:15
 出席者<審査 WG>［座長］橋爪誠（北九州中央病院）［委員］佐々木毅（東京大学）、清水昭伸（東京農工大学）、田中聖人（京都第二赤十字病院）、中田典生（東京慈恵会医科大学）、藤田広志（岐阜大学）、待鳥詔洋（国立国際医療研究センター国府台病院）、松尾豊（東京大学）［厚生労働省］田中大祐、青栁ゆみ子、藤野綾太、高村建人、小川雄大

2［医薬品医療機器総合機構］岡崎譲、谷城博幸、桐山瑶子、古森亜矢、今川邦樹［事務局（国立医薬品食品衛生研究所）］蓜島由二、中岡竜介、加藤玲子<開発 WG>［委員］横井英人（座長・審査 WG 委員兼任）、片倉由紀子
清水昭伸（審査 WG 委員兼任）、藤田広志（審査 WG 委員兼任）、
古川浩、宮崎靖、森健策（Skype 参加）、森孝夫、諸岡直樹［オブザーバー］浅沼直樹、岩田倫明（日本医療研究開発機構）
門川員浩（経済産業省）

 配布資料<合同会議配布資料>
資料 1：審査・開発 WG 第１回合同会議議事次第（案）資料 2：委員名簿（審査 WG、開発 WG）
資料 3-1：既存の医療機器プログラム及びヘルスケアアプリについて
資料 3-2：国内で承認されている診断用医療機器プログラム
資料 3-3：国内で認証されている疾病診断用医療機器プログラム
資料 3-4：国内で承認されている疾病治療用医療機器プログラム
資料 3-5：Apple Store, Google Play 等から入手可能なヘルスケアアプリ
資料 4：医療機器の該当性の判断について（審査 WG 委員案）
資料 5：開発ガイドライン案
資料 6：開発 WG 今年度検討事項案
参考資料 1：Apple watch4 用医療機器アプリに関する FDA letter 1
参考資料 2：Apple watch4 用医療機器アプリに関する FDA letter 2
参考資料 3：心電計アプリ「Embrace」に関する FDA 510(k) summary
参考資料 4：心電計アプリ及びウエアラブルデバイス「Kardia Band System」に関する
FDA 510(k) summary
参考資料 5：Apple heart study に関する Apple press release homepage
参考資料 6：Apple heart study に関する FAQs homepage（スタンフォード大学）
参考資料 7：プログラムの医療機器該当性について
 議事概要1.

審査 WG 進捗状況報告

2.

総合討議

3.

その他

3

(3) 第 2 回開発 WG 委員会
 開催日時：平成 30 年 10 月 29 日（月）17：15 ～ 18：00
 出席者<開発 WG>［委員］横井英人、片倉由紀子、清水昭伸、藤田広志、古川浩、宮崎靖、
森健策（Skype による遠隔参加）、森孝夫、諸岡直樹［オブザーバー］浅沼直樹、岩田倫明（日本医療研究開発機構）
門川員浩（経済産業省）
蓜島由二、中岡竜介、加藤玲子（国立医薬品食品衛生研究所）
今川邦樹（医薬品医療機器総合機構）［事務局］鎮西清行、坂無英徳（産業技術総合研究所）<審査側>［委員］橋爪誠（北九州中央病院）、中田典生（東京慈恵会医科大学）
待鳥詔洋（国立国際医療研究センター国府台病院）、松尾豊（東京大学大学院）［オブザーバー］田中大祐、青栁ゆみ子、小川雄大、藤野綾太、高村建人（厚生労働省）
谷城博幸、古森亜矢、桐山瑶子（医薬品医療機器総合機構）

 配布資料
資料 1：議事次第
資料 2：第 1 回 開発 WG 会議 議事概要（案） 議事概要1.

ガイドライン案の追加修正について

2.

今年度の活動内容について

3.

その他

(4) 第 3 回開発 WG 委員会
 開催日時：平成 31 年 1 月 21 日（月）10：00 ～ 13：00
 出席者［委員］横井英人（座長）、片倉由紀子、椎名毅、古川浩、宮崎靖、森 孝夫、諸岡直樹［オブザーバー］栗原 宏之（日本医療研究開発機構）、
門川員浩、加藤晃治（経済産業省）
中岡竜介、加藤玲子（国立医薬品食品衛生研究所）
宮本大誠（医薬品医療機器総合機構）［事務局］鎮西清行、坂無英徳（産業技術総合研究所）
 配布資料4

資料 1：議事次第案
資料 2：審査・開発 WG 第 1 回合同会議 議事概要（案）資料 3：第２回 人工知能分野開発 WG 委員会 議事録
資料 4：人工知能技術を利用した医用画像診断支援システム開発ガイドライン（手引き）（案）（行番号あり）
資料 5：コメント一覧表
資料 5b：医用画像診断支援システム（人工知能技術を利用するものを含む）開発ガイ
ドライン（手引き）（案 r.2）
資料 6：AI-CAD 開発事例案
 議事概要1.

審査 WG の状況および活動計画について

2.

AI-CAD 開発ガイドラインに対する省庁等コメントへの対応案について

3.

その他

(5) 第 4 回開発 WG 委員会
 開催日時：平成 31 年 2 月 7 日（木）15:00 −18:00
 出席者［委員］横井英人、片倉由紀子、清水昭伸、藤田広志、古川浩、宮崎靖、森孝夫、
諸岡直樹［オブザーバー］中岡竜介、加藤玲子（国立医薬品食品衛生研究所）
宮本大誠（医薬品医療機器総合機構）［事務局］鎮西清行、坂無英徳（産業技術総合研究所）
 配布資料：
資料 1：議事次第
資料 2：「医用画像診断支援システム（人工知能技術を利用するものを含む）開発ガイ
ドライン（手引き）」（案 r.2-190207）
資料 3：コメント一覧表（抜粋）
資料 4：AI-CAD 開発事例案
資料 5：本年度の活動報告書（案） 議事概要1.

「医用画像診断支援システム（人工知能技術を利用するものを含む）開発ガイド
ライン（手引き）」に関する検討2.

本年度の活動報告書について

3.

その他

5

(6) 第 5 回開発 WG 委員会
 開催日時：平成 31 年 3 月 1 日（金） 10:00～13:00
 出席者［委員］横井英人（座長）、片倉由紀子、椎名 毅、清水昭伸、古川浩、宮崎靖、森孝夫［オブザーバー］仲山 賢一（日本医療研究開発機構）、
加藤玲子（国立医薬品食品衛生研究所）
今川 邦樹（医薬品医療機器総合機構）［事務局］鎮西清行、坂無英徳（産業技術総合研究所）

 配布資料
資料 1： 議事次第
資料 2： 第 3 回人工知能分野開発 WG 委員会議事録
資料 3： 「医用画像診断支援システム（人工知能技術を利用するものを含む）開発ガ
イドライン（手引き）」（案 r.2-190301）
資料 4： コメント一覧表（抜粋）
資料 5： AI-CAD 開発事例案
資料 6： 本年度の活動報告書（案） 議事概要1.

医用画像診断支援システム（人工知能技術を利用するものを含む）開発ガイドラ
イン（手引き）」に関する検討2.

本年度の活動報告書について

3.

今後の予定について

6

活動結果
開発ガイドライン案の見直し
平成 29 年度に一旦取りまとめた開発ガイドライン案につき、以下の観点から見直しを行った。
–

内外での機械学習技術を用いた CAD の承認事例–「市販後学習」に関する記載。特にリスクマネジメントを含む市販後学習による性能変化の品
質管理の実施主体など–

開発ガイドラインの理解を助けるための例示の充実

4.1.1 内外の承認・認可事例
各国での承認状況等について、WG 委員の協力を得て情報を収集した。2018 年には各国で機械学習技術を用いた CAD の承認・認可事例が相次いだ（表 1）。
表 1：機械学習技術の応用を標榜する CAD の承認・認可状況
米国•

CAD（診断支援システム）のドラフトガイダンスを数回発行している。診断支援の位置づけに応じてポイントを解説。

EU•

機械学習に関するガイダンスはない。

•

de Novo として承認。

•

SaMD ガイダンスにて Decision Support Software に言及するが具体的な規制には至っていない。CE 認証例あり

韓国•

AI を用いた医療機器の審査、臨床評価のガイドラインを発行した。承認例数件。

中国•

2017 年 9 月更新のクラス分類で CAD のクラス分類の記載。

•

中国ネットサービスの騰訊控股（テンセント）は 2018 年 6 月、病院向けの診療補助オープンプラットフォーム上で利用可能な人工知能診断補助機能「騰訊覓影（テンシュンミーイン）」の提供を開始。レントゲンなどの画像を分析できる。
（日経 Xtrend 2018/7/4）

日本•

大腸内視鏡映像の CAD「EndoBRAIN」が承認された(2018/12)

特に、米国では多くの製品が認可されている（表 2）。
表 2：米国での認可事例
2017/1
2018/2

Caldio DL

深層学習を用いて心臓 MRI 画像を分析する、世界初の心疾患診断(Arterys Inc.)

支援ソフトウェア。

ContaCT

人工知能アルゴリズムにより脳大血管の塞栓疑いを検知する。

(Viz. AI.)
2018/3

Acumen HPI

手術中の低血圧症を発症前に警告する、機械学習を応用したプロ

7

(Edwards

グラム

Lifescience)
2018/42018/5

IDx-DR

網膜画像から糖尿病による網膜症を診断する、世界初の自動診断(IDX LLC)システム （診断支援システムではない）

OsteoDetect

ステレオ X 線画像から、手首の遠位骨折を診断する、画像診断支(Imagen)

援プログラム

このあとも多数の製品が認可されている。とりわけ、IDx-DR は（支援ではなく）自動診断を行うシ
ステムである。以下では世界初の自動診断システム IDx-DR と日本発のシステムである EndoBRAIN
につき情報を整理する。
IDx-DR（米国 IDx 社）
IDx-DR は糖尿病の合併症の一つとして発生する糖尿病網膜症を検出するシステムである。糖尿病
網膜症は網膜カメラ画像による検査で検出されるが、その診断を行うことができるのは眼科専門医である。IDx-DR は、眼科専門医ではない PCP （primary care physician、米国制度における「かかりつけ医」)が網膜カメラで撮影した画像から症状の有無を判定する。PCP はありの場合は専門医の受診、なしの場合は 1 年後に再検査の指示を行う。
IDx-DR はサポートベクターマシンによるプログラムであり、市販後学習は行わない。トプコンプ
ログラムはクラウド上で動作する。感度 85.0%、特異度 82.5%をエンドポイントとして 900 人の臨
床試験を実施し、感度 87%、特異度 90%の結果を得た。これは平均的な眼科専門医のそれを（35%から 70%）を上回る。FDA では de Novo として認可した。
EndoBRAIN（名古屋大学、昭和大学、サイバネットシステム、オリンパス）
EndoBRAIN は、超拡大内視鏡によって撮影したポリープの拡大画像から、そのポリープが腫瘍性であるか否かの確率を提示する。医師は大腸内視鏡検査の際に発見されたポリープが腫瘍性であるかの判断にこの情報を利用する。
EndoBRAIN もサポートベクターマシンによるプログラムであり、市販後学習は行わない。プログ
ラムは内視鏡システムに増設するワークステーション上で動作するオンプレミス型のシステムである。臨床性能試験の結果、正診率 98%、感度 98%の正しさで腫瘍性であるか否かの識別が可能であった。これは非専門医の正診率を上回るという。厚生労働省はクラスⅢプログラムとして承認した。

4.1.2 「市販後学習」に関する記載の見直し
IDx-DR、 EndoBRAIN の事例に見るように、市販後学習を行うシステムは必ずしも一般的ではない。
開発が先行していたこれらのシステムがサポートベクターマシンであることも要因の一つである

8

が、市販後学習で集められるデータの質、教師データの欠落、データの管理を含む品質管理、これらのコストといった要因もある。
更に、平成 29 年度の開発ガイドライン案の中で市販後学習と性能変化に言及した部分について、
特に利用者（医師など）が CAD に市販後学習を行わせ、それに伴う性能変化が生じる場合の品質管理、リスク管理に関する記載に対して、査読者から多くの批判が集まった。批判の主なものは、使用者による市販後学習と性能変化の品質管理、リスク管理を継続的に担保する技術的方策が示されていない一方、その可能性を論じるのはエビデンスがなく無責任である、というものであった。
これらを受けて、市販後学習とこれに伴う性能変化については、製造販売業者が実施する場合を中心の記載に改めることとした。
一方、医学会の主導による人工知能技術を利用した CAD のプロジェクトなども進められていることから、医師が自ら開発することについて、倫理、法令に沿うことを前提にさらに本ガイドラインを参考にすることを望む旨に記載を変更した。

4.1.3 その他の記載の見直し
その他に、以下について記載の見直しを行った。
–

タイトルの変更： 人工知能技術を用いない CAD にも対応していることを示すため、「（人工知能技術を用いる者を含む）」と表記した

–用語の変更： 評価指標案の変更に整合させて、「事後学習」を「市販後学習」と言い換えた。
また、トレーニングと学習の関係を記載した。

–

ソフトウェア安全クラス分類： IEC 62304 および JIS T2304 におけるソフトウェア安全クラス分類の定義と記載の変更に整合させた。

–

学習データとテストデータの分離の原則： 学習データ数が膨大な場合など、必ずしもテスト
データ分離の原則を要さない場合も想定されることから、「テストデータを開発プロセスから切り離して管理するための方策については、PMDA と相談することを推奨する。
」との記載を追加した。

–

開発ガイドラインの理解を助けるための例示の充実： 4．2 節に事例を追加した。

–

個人情報保護法に関する記載を整理した。査読指摘に対して個人情報保護ダイヤルに紹介するなどして確認した。

開発ガイドライン案は、再査読を経て公表の予定である。

9

開発ガイドラインの適用事例：転移学習を効果的に用いた例
開発ガイドラインの記載は、幅広い状況に対応するため、一般的な記載となっている。これに対して、具体的な開発事例にて開発ガイドラインを適用する事例を示すこととした。以下は、転移学習を行うことで少ない学習データで効率的な開発を行った研究事例に、事後的に本開発ガイドラインを適用して開発を進めた場合を想定したものである。

本事例の位置付け
本事例は、AI-CAD 開発を開始する時に作成する「開発計画書案」の例として作成されたものである。AI-CAD のアルゴリズム開発を中心に記載したもので、システム開発の視点では項目レベルの概略のみが記載されている。開発後に PMDA に提出する「申請書類」の例ではないことに留意されたい。また、本開発ガイドラインがこの開発事例の研究としての優位性、開発した CAD の性能の優位性、安全性などを保証するものではない。
設計・開発管理が要求する項目の各プロセスへの適用方法
1) ソフトウェア安全クラス分類• 本システムの動作不良により危険状態が発生するが、リスクコントロール手段によって、死亡や重症のような受容できないリスクを回避できるため、クラス B とする
（JIS T2304）

2) 設計開発プロセスへの適用①製品に関連する要求事項の明確化（意図する用途）
i) 意図する使用目的、使用方法を明確に規定する• 背景– 筋層非浸潤性膀胱癌（NMIBC）が発見された場合、もっとも一般的な治療法は経尿道的膀胱腫瘍切除法（TUR-BT; transurethral resection of the bladder tumor）による可変病変の切除– 完全切除後に膀胱内再発を認める頻度が高く、術後 2 年以内の再発率が約 50%と言われている（M. Hoglund, "On the origin of syn- and metachronous urothelial
carcinomas", European Urology, vol.51, no.5, pp.1185-1193, 2007）– 膀胱内再発の原因は、新規発生よりも、腫瘍細胞の播種や前がん病変の広がり、微小な播種病巣（娘腫瘍）の見落とし– これらを内視鏡的な観察により正しく同定し、TUR-BT の切除範囲の質を向上させることが、膀胱内再発の抑制にとって重要• 目的– 膀胱内視鏡検査は感度 60％、特異度 70%とされ、小径の腫瘍や平坦型腫瘍、隆起病変に付随する平坦病変の広がりを同定することが困難（G P Thériault, et al.
"Bladder cancer screening among primary aluminum production workers in
Quebec", Journal of occupational medicine, vol.32, no.9, pp.869-72, 1990）– 膀胱内視鏡診断時における見落としの抑制・防止• 方法– 同時読影（通常の膀胱内視鏡検査時に病変と想定される部位を自動検出し、内視鏡画像へ重畳して検査者へリアルタイムに提示）– 検査中に撮影された内視鏡画像を適切につなぎ合わせて擬似的な全天周画像を構成し、自動検出した病変候補部位の位置を示すマーカーを重畳表示• 市販後学習を行う

10

– 性能変化：有– マネジメントを行う主体：製造販売業者– タイミング： 充分な数量のデータが収集されたときに実施を計画する
ii) 解析対象の画像、適用部位、解析対象の病変の特定• 適用部位：膀胱
• 膀胱内視鏡により得られる所見のうち、腫瘍（小径のものや平坦のものを含む）や、隆起病変に付随する平坦病変（発赤や粘膜不整）iii) 意図する使用者• 施設に所属する泌尿器科医（ただし、学習データの作成は泌尿器科専門医に限る）
iv) 意図する使用環境• 膀胱内視鏡装置が設置された医療機関②設計開発の指針と要求仕様の明示
i) 接続可能な画像診断装置の特定• 解像度 1280x1024 画素、視野角 125±10 deg.（空中）, 85±10 deg.（水中）、観察深度 3〜50mm
• ○○社製 内視鏡△△ii) ソフトウェア実行環境の明確化• 内視鏡診断装置に接続されたスタンドアローン型 PC にてオンプレミス環境で実行する• Linux (Ubuntu)iii) 使用するデータの明確化(1) 第 1 段階の学習およびバリデーション用データセット …自然画像– 臨床画像データ以外のデータ使用の有無: 有り– データソースの特性: 自然画像
– データの取得・管理方法: 公開データセット（ImageNet, http://www.image-net.org）– 画像データ取得時の撮影パラメータ : 不定
– データソースの元となる患者群の持つ傾向 : 該当なし
– 紐付けした臨床データの種類 : 該当なし
(2) 第 2 段階の学習およびバリデーション用データセット …胃内視鏡画像– 臨床画像データ以外のデータ使用の有無: 無し– データソースの特性• 画像 : 上部消化器内視鏡装置で取得した胃の静止画像• アノテーション :– 内視鏡専門医資格取得後 3 年以上の経験を有する医師 3 名が実施
– 病理組織学的検査によりピロリ菌感染と診断された患者の胃内視鏡画像を観察し、胃粘膜の発赤や、白色粘液の付着、ひだの肥厚などピロリ菌感
染に特有の所見が映っているものを選別– 負例（非感染）の画像は、病理組織学的検査および内視鏡検査によりピロリ菌に感染していないと診断された患者の胃内視鏡画像を使用– データの取得・管理方法• 日本医師会 倫理審査委員会による承認（承認番号: xxxx-xxxx-xxxx）のもと、下記の適格基準を満たし、不適格基準に含まれない患者のうち、無作為に抽出された者からデータを取得（全患者と抽出された患者とにおいて、ピロリ菌感染／非感染比や、男女比、年齢構成に有意な差がないことを確認）– 適格基準• 実験計画書に記載の医療機関で 2016 年 4 月 1 日から 2018 年 3 月 31日の間に上部消化管内視鏡検査を施行されたこと• 病理組織学的検査および内視鏡検査によりピロリ菌に感染している、

11あるいは感染していないと診断されていること– 不適格基準• 不同意の意思表示があること• 管理– ○○クリニックに設置された計算機サーバにて保管– AI-CAD 開発用の学習データとバリデーションデータのみを産業技術総合研究所へ暗号化機能付き可搬媒体を用いて提供し、同所内に設置された計算機サーバにて保管– 画像データ取得時の撮影パラメータ• 可視光による照明• 解像度 1280x1024 画素– データソースの元となる患者群の持つ傾向• 健常者• ピロリ菌感染者– 紐付けした臨床データの種類 : 該当なし
(3) 第 3 段階の学習およびバリデーション、テスト用データセット …膀胱内視鏡画像– 臨床画像データ以外のデータ使用の有無: 無し– データソースの特性• 画像 : 膀胱内視鏡装置で取得した膀胱内壁のカラー静止画像• アノテーション :– 泌尿器科専門医資格取得後 3 年以上の経験を有する医師 3 名によるクロス
チェックを実施– 静止画として取得された膀胱内視鏡画像中から腫瘍範囲、腫瘍周囲の膀胱粘膜の特徴（不整・発赤の有無、表面の凹凸など）をマーキング– データの取得・管理方法• △△大学附属病院 倫理審査委員会による承認（承認番号: xxxx-xxxx-xxxx）のもと、下記の適格基準を満たし、不適格基準に含まれない患者のうち、無作為に抽出された者のデータを取得（全患者と抽出された患者とにおいて、男女比と年齢構成に有意な差がないことを確認）– 適格基準• 実験計画書に記載の医療機関で 2006 年 4 月 1 日から 2016 年 11 月 30日の間に経尿道的膀胱腫瘍切除術(TUR-BT)を施行されたこと• 病理学的に膀胱癌の診断がついている• TUR-BT 前 3 か月以内に膀胱内視鏡検査が実施されており、膀胱内視鏡検査結果の画像（電子媒体）が保管されていること– 不適格基準• 不同意の意思表示があること• 管理– △△大学附属病院 電子症例登録システムを用い、臨床情報および画像情報を匿名化する– △△大学附属病院に設置された計算機サーバにて保管– 開発用の学習データとバリデーションデータのみを産業技術総合研究所
へ暗号化機能付き可搬媒体を用いて提供し、同所内に設置された計算機サーバにて保管– テスト用データは△△大学附属病院のサーバのみに保管し、開発用には使用しない– 画像データ取得時の撮影パラメータ• 可視光による照明• 解像度 1280x1024 画素– データソースの元となる患者群の持つ傾向
• 健常者
12

• 腫瘍（小径のものや平坦のものを含む）• 隆起病変に付随する平坦病変（発赤や粘膜不整など）– 紐付けした臨床データの種類 : 該当なし
iv) 機能の明確化

画像取得方法 : 299x299 サイズの窓により内視鏡画像全体を走査
統計解析の方法 : 深層畳み込みニューラルネットワーク
入力 : 画素値（RGB 24bit）
特徴抽出の方法 : 該当無し
出力方法
– フレーム内に病変と疑われる箇所を検出した際にその領域を枠線で囲むことで操作者へ提示する• 学習方法を特徴付ける事項– 段階的転移学習• 概要– 転移学習(transfer learning)とは、機械学習システムを適用したい目標ドメイ
ンにおける訓練データが十分でない場合などにおいて、豊富な訓練データを準備できる異なるドメインでシステムを事前に訓練してから、目標ドメインに適用するテクニックである。転移学習の元ドメインとしては、ImageNet[a]などの大規模自然画像データセットが用いられることが多い。一方で、内視鏡画像などの医用画像のように、自然画像とは大きく異なった構造を持つ
テクスチャ画像の認識タスクのための新たな転移学習手法である段階的転移学習手法も提案されている[b][c][d]。
– 段階的転移学習では、はじめに大量の自然画像を用いて DCNN を訓練し、自然画像に頻出するエッジ構造などの特徴表現を獲得させる。その後、学習
データセットの性質を目標ドメインに近づけながら、テクスチャなどの、自然画像からは直接獲得できない特徴表現を獲得させておき、最終的に、目標ドメインにおいて正しく分類を行うように DCNN を再学習させる。
– 膀胱内視鏡用の訓練用データを充分に揃えることは容易ではない一方で、消化器内視鏡の画像データは比較的豊富であるため、自然画像（ImageNet）に加えて消化器内視鏡のデータも事前学習に利用して、段階的転移学習を行う。
•
専門医師数（1/2 以下）：泌尿器科専門医 6,003 人⇔消化器内視鏡専門
医 13,537 人（厚生労働省 平成 28 年（2016 年）医師・歯科医師・薬剤師調査の概況）•
患者数（1/6 以下）：膀胱癌 20,595 例⇔胃がん 126,149 例（国立がん研究センターがん情報サービス「がん登録・統計」, 2014）•
年間検査数（1/16 以下）：膀胱内視鏡 73 万件⇔胃内視鏡 1,223 万件（厚生労働省 平成 26 年(2014)医療施設（静態・動態）調査・病院報告の概況、厚生労働省 第 3 回 NDB オープンデータ）•
少ないデータ量で識別器を効率的に訓練可能な手法である転移学習を
導入– 本システムでは、三段階の転移学習を行う（図 1）。第 1 段階としては、
ImageNet の自然画像（120 万枚）を用いて 1000 クラス分類が行えるように事前学習された GoogLeNet 等、最適な深層畳み込みニューラルネット
ワーク（DCNN）モデルを選定する。第 2 段階では、診断ラベル付き胃内視鏡ピロリ菌感染画像に DCNN モデルを適用し、感染の有無を判別できるよ
うに訓練する。第 3 段階では、DCNN アーキテクチャにおける最終段のAverage Pooling 層以前の重みを固定し、目標ドメインである膀胱内視鏡画

•
•
•
•
•

13

像の異常（病変あり）と正常（病変なし）を判定する多層パーセプトロン（MLP）
を訓練する。

図1– 参考文献[a] J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei, "Imagenet: Alarge-scale hierarchical image database," Computer Vision and Pattern
Recogni tion, 2009. CVPR 2009. IEEE Conference on IEEE, pp.248-255
2009.
[b] 野里ら: 胃内視鏡診断の知識を転移させた深層畳み込みニューラル
ネットワークによる膀胱内視鏡診断支援, 信学技報、MICT2018-58,
MI2018-58 (2018-11), pp. 83-88[c] A. Suzuki, et al.: Feature Representation Analysis of Deep Convolutional
Neural Network using Two-stage Feature Transfer - An Application for
Diffuse Lung Disease Classification, 情報処理学会論文誌 数理モデル化と応用 (TOM9), vol.11, no.3, pp.74-83, 2018.
[d] J. Qu, et al.: Gastric Pathology Image Classification Using Stepwise FineTuning for Deep Neural Networks, Journal of Healthcare Engineering, vol.
2018, Article ID 8961781, 2018.
• 各段階での転移学習で用いた学習パラメータ等(1) 第 1 段階の教師あり学習 学習済み DCNN モデルを使用（ImageNet データセットを用いて1000 クラス分類タスクについて学習） https://www.tensorflow.org/hub/(2) 第 2 段階の教師あり学習 胃内視鏡画像データセットを用いてピロリ菌感染／非感染の 2 クラス分類タスクを学習 データ拡張 : 反転、回転、拡大、暈かし 最適化アルゴリズム : Adam
 学習率 : 0.0001
 学習エポック数 : 最大 150

14• Dropout 率 : 0.1(3) 第 3 段階の教師あり学習 膀胱内視鏡画像データセットを用いて病変有無の 2 クラス分類タス
クを学習 第 2 段階で学習済みモデル（ネットワーク）の全結合層以前を固定し、全結合層のみを学習 データ拡張 : 反転、回転、拡大、暈かし 最適化アルゴリズム : Adam
 学習率 : 1.0e-4
 学習エポック数 : 最大 150
 Dropout 率 : 0.1
市販後学習– 上記第 3 段階の教師あり学習と同じパラメータで実施する。ただし、追加データを用いた学習による事前学習結果の忘却を抑制するため、学習率には小さい値（1.0e-6）を設定する。

v) 性能の明確化• 見落としの抑制や防止が主目的であるため、感度を判別性能に関する主たる性能指標とする• 目標値を感度 70%とする。根拠は下記のとおり。
– 膀胱内視鏡検査は感度 60％、特異度 70%とされ、小径の腫瘍や平坦型腫瘍，隆起
病変に付随する平坦病変の広がりを同定することが困難であることを示す研究成果が公表されている（G P Thériault, et al. "Bladder cancer screening among primaryaluminum production workers in Quebec", Journal of occupational medicine, vol.32,
no.9, pp.869-72, 1990）– △△大学附属病院 泌尿器科に所属する泌尿器科指導医 7 名に対して、テスト用
データセットから抽出した 100 枚の膀胱内視鏡画像を用いて予備的検証を行った
ところ、平均感度は 68%であった。
• 応答速度を 10 msec/frame 以内とする.

15

医用画像診断支援システム（人工知能技術を利用するものを含む）
開発ガイドライン（手引き）（案）
本ガイドライン（手引き）の目的
本ガイドライン（手引き）は、医用画像診断支援システム（Computer Aided Diagnosis:以下 CAD）の研究・開発者を対象に、その開発時のポイントをまとめたものである。本ガイドラインは 2010
年代前半に発行された CAD に関する開発ガイドラインの改訂版であり、既存の二つの CAD 開発ガ
イドラインを一つにまとめ、人工知能技術（以下、AI 技術）に関する記述を強化した。
従前の開発ガイドラインは、開発者の視点、特に単体ソフトウェアの医療機器化に際して新規参入する者も含んだ視点から読みやすいように記載されていたが、今回の開発ガイドラインは拡大・加速する AI 技術の応用が期待される CAD の開発を活性化することを目指した。特にこれまでの開発
ガイドラインでは想定していなかった、市販後学習による性能変化が見込まれる CAD については、
その注意点について慎重に議論をして、とりまとめている。
その他、本ガイドラインの策定作業では、AI 技術による大量データの学習、臨床に於ける様々な分
野での応用研究開発が進められている現状に鑑み、これまでの主として放射線分野を想定した CADに限定せず、内視鏡・超音波分野での運用も含めて検討を行った。更に、今回対象に含めなかった分野についても、その特性に鑑みた開発ガイドラインを今後策定していく予定である。
AI 技術の利用については法的・制度的な整備が進められている途上である。読者は法的・制度面の整備に留意することが望まれる。例えば、AI 技術の医療応用と責任の所在に関しては、「AI を用いた診断・治療支援を行うプログラムを利用して診療を行う場合についても、診断、治療等を行う主体は医師であり、医師はその最終的な判断の責任を負うこととなり、当該診療は医師法（昭和 23年法律第 201 号）第 17 条の医業として行われるものであるので、十分ご留意をいただきたい。
」旨が示されている 1。
また、研究や開発に用いる臨床画像データの取扱いに関連する種々の新しい法（個人情報保護法の改正、次世代医療基盤法や臨床研究法）が施行され、データの取扱いについて適切な対応が必要になっている。これらの法の主旨と、研究・開発時の留意点を Appendix に記載しているので、研究・開発が適切に実施されるよう検討されたい。

なお、CAD の製造販売承認申請に当たっては、「コンピュータ診断支援装置に関する評価指標」（薬
食機発 1207 第 1 号別添 3 平成 23 年 12 月 7 日）を、AI 技術を応用した CAD については「人工知能技術を利用した医用画像診断支援システムに関する評価指標（案）」（次世代医療機器評価指標検討会の Web サイト(http://dmd.nihs.go.jp/jisedai/Imaging_AI_for_public/index.html)にて入手可能な活動報告書の第 91

厚生労働省医政局医事課長通知『人工知能（AI）を用いた診断、治療等の支援を行うプログラムの利用と医師法第 17条の規定との関係について』（医政医発 1219 第 1 号平成 30 年 12 月 19 日）

16

頁〜第 25 頁に記載（2018 年 11 月 15 日時点）、以下、「AI-CAD 評価指標案」と称す）を参考にされたい。
上述のとおり、本ガイドラインは、以下 2 通の開発ガイドラインを統合・整理の上、AI 技術に関する事項を追加したものである。
1)

コンピュータ診断支援装置におけるソフトウェア設計・開発管理開発ガイドライン 2012
（以下、CAD 開発ガイドライン 2012）2)

コンピュータ診断支援装置の性能評価開発ガイドライン 2015（以下、CAD 開発ガイドラ
イン 2015）

改訂のポイントを以下に示す。
–

AI 技術の発達に対応した。

–

放射線画像以外の画像モダリティ（内視鏡画像、超音波画像を含む）への CAD の適用範
囲を拡大した。

–

平成 29 年の改正個人情報保護法施行、次世代医療基盤法、臨床研究法の制定等個人情報の扱いについて Appendix 9 及び 10 に含めた。

–

平成 27 年の改正医薬品医療機器等法施行を受け、医療機器プログラムとしての CAD を中心に記述を変更したほか、適用すべき規格類を更新した。

–

その他、記載全体を見直して強制事項を含まないガイダンスであることを明確化した。

用語の定義と適用範囲
用語定義
1) 医用画像診断支援システム（Computer Aided Diagnosis, CAD）
臨床現場において、医師が様々な画像撮影装置を用いて画像診断（読影）を行う際、参考となる情報を提供するソフトウェア又はシステムであり、CADe や CADx の機能を持つ。支援の方式としては使用者（CAD を実際に臨床現場で使用する医師等）に対する支援形式に応じ、first reader、second
reader、con-current reader 等が存在する。
（出典：AI-CAD 評価指標案を一部改変）
1-1) CADe （Computer-Aided Detection）
画像上で病変の疑いのある部位をコンピュータが自動検出し、その位置をマーキングする機能を有する単体ソフトウェア又は当該ソフトウェアが組み込まれている装置。コンピュータにより医用画像データのみ又は医用画像データと検査データの両方を処理し、病変又は異常値の検出を支援する。
（出典：AI-CAD 評価指標案）

17

1-2) CADx （Computer-Aided Diagnosis）
病変の疑いのある部位の検出に加え、病変候補に関する良悪性鑑別や疾病の進行度、悪性度の確率
等の定量的なデータを数値やグラフ等として出力する機能を有する単体ソフトウェア又は当該ソフトウェアが組み込まれている装置。診断結果の候補やリスク評価に関する情報の提供等により診断支援を行うものを含む。
（出典：AI-CAD 評価指標案を一部改変）
本ガイドラインでは、CADe 及び CADx を総称して、CAD と呼ぶ。
解説：開発ガイドライン 2015 では、CADx を次のように定義していた。
「画像を解析して内蔵する基準に基づいて病変の候補部位をコンピュータが自動的に分析し、医学的に広く臨床で用いられている診断基準に基づく質的診断に関する情報を提供するソフトウェア、あるいはそれを具備する装置。
」
また開発ガイドライン 2015 の適用範囲では次のように述べていた。
「本ガイドラインでは、質的診断に関する情報として、良悪性等に関するクラス分類の結果を出力する場合を対象とする。従って、クラス分類結果を出力しないもの（たとえば、腫瘍のサイズ等の特徴量、単一あるいは複数の特徴量から導かれた悪性度や進行度等の連続値、類似症例の検索結果等を出力するだけのもの）は本ガイドラインの対象には含めない。
」

2) 人工知能と機械学習
一般に AI とは、人の高度な知能によって行われている推論、学習等を模倣するコンピュータ装置
あるいはソフトウェアを指す。
機械学習は、AI 技術の一分野として大きく発展した技術であり、人間が行っている学習等の機能をコンピュータ（ソフトウェア）で実現するための手法。アルゴリズムは様々であり、判別分析法等の古典的手法から、決定木、ニューラルネットワーク、サポートベクターマシン等、多数の方法が提案されている。代表的な応用としてはクラス分類や回帰があるが、これらは CAD の目的と一致していることから、多くの CAD で利用されてきている。
（出典：AI-CAD 評価指標案を一部改変）

3) 深層学習
機械学習の一つであり、最近特に注目されている学習方法。多層化したニューラルネットワークを大量のデータを用いて学習させることに特徴がある。ネットワークには、階層型ネットワークのよ
うな確定的モデルと、ボルツマンマシンのような確率的モデルがある。学習アルゴリズムには、教師あり、教師なし、半教師学習以外に強化学習等もある。

18

（出典：AI-CAD 評価指標案）

4) バリデーション 2
機械学習アルゴリズムのハイパーパラメータ（例：サポートベクターマシンの目的関数を決定する
パラメータ、深層学習のネットワークの層数、特徴マップ数、畳み込みのフィルタサイズ、学習回数等）を決定すること。
（出典：AI-CAD 評価指標案を一部改変）

5) トレーニング（又は学習）
学習データにより、AI の内部状態を変化させること。教師あり学習では、学習データと正解のペアを用いて学習を行なう。
注 1：本ガイドラインでは、使用者等に対する教育・訓練の意味にトレーニングの語を用いない。
注２：トレーニングは「望ましい出力を得るように（分類器を）変化させること」を指す限定的な
意味、学習は知識獲得などより知的で広い概念をさす意味に区別して用いることがある。

6) テストトレーニングが完了した AI を、テストデータにより、性能評価すること。
テストデータは、学習データ、バリデーションデータと完全に分離することが望ましいが、開発時に必要な条件を備えたデータ数を確保できない場合は、Appendix 5 に示す評価手法を選択することができる。

適用範囲及び想定読者
本ガイドラインは、放射線画像や MRI 画像、超音波画像、内視鏡画像等の臨床画像（静止画像及び動画像）を用いる CAD を対象とする。本ガイドラインは AI 技術を利用しない CAD にも適用可能である。
一方、病理診断医の行う病理診断の支援を目的とする CAD は、確定診断に直結することが予想される等、上記の臨床画像に対する診断支援とは異なる側面を有することが否定できないことから今回の検討では対象外とした。また CAD における診断支援よりも広義の医療支援を指す Clinical andpatient decision support software 3及び computer aided triage 4も対象外とした。これらに対しても本ガイドラインの多くの事項が適用可能であるが、臨床画像に対する CAD との相違を踏まえた検2 AI 技術の分野では用語「バリデーション」が JIS T82304-1:2018 が定義する用語「バリデーション」とは異なる意味で用いられてきた。このため、本ガイドラインでは、バリデーションを AI 技術分野の用語として用いるが、JIS T82304-1 の定義を置き換えるものではない。
参考：JIS Q9000:2015 3.8.13 妥当性確認（validation）
3 Clinical and Patient Decision Support Software Draft Guidance; 2017 年 12 月米国 FDA 発行。
4 Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data - Premarket
Notification [510(k)] Submissions Guidance; 2012 年 7 月米国 FDA 発行

19

討が必要である。
市販後学習により生じる性能変化に伴う品質管理を製造業者が行うことが容易でない AI 技術を利用した CAD、例えば、使用者による市販後学習により施設ごとに別々の性能変化が可能となるものに関しては、薬機法上の課題等解決すべき事項が数多く存在することから、AI-CAD 評価指標案においては別添に取りまとめられている。本ガイドラインでは、Appendix 8「市販後学習による性能
変化の課題」において技術的課題を指摘するにとどめた。開発を行う場合にはその時点での最新の評価指標等を確認する事を推奨する。

本ガイドラインの想定する読者は、CAD を開発する者及び市販後学習を行わせる者とする。

CAD の設計・開発管理
設計・開発管理が要求する項目
CAD の設計・開発管理が要求する項目として以下の項目が挙げられる。
1) 解析アルゴリズムやハイパーパラメータ、学習データ
CAD の中核をなす解析アルゴリズムは、設計・開発管理が要求する主要な項目である。
AI 技術を用いる CAD の場合、解析アルゴリズムのみならず学習アルゴリズム（教師あり、半教師
あり、強化学習、自己学習、転移学習、市販後学習等）も管理すべき設計要素に含めて明確化する。
学習の対象（ネットワークの結線（結合）の重み、ハイパーパラメータ等）、データ（学習データ、バリデーションデータ、テストデータ）も合わせて明確にする。
これらについては、AI-CAD 評価指標案の 6.(2)「品目の検出・診断の原理、学習、情報セキュリティ等に関する基本的事項」に述べられている。

2) 組み合わせるハードウェアとソフトウェア
CAD は、医用画像装置や医療用画像管理システム（Picture Archiving and Communication Systems :PACS）等の他のハードウェアやソフトウェアと組み合わせて使用されることが想定される。この組合せについても考慮する。

適用すべき規格・基準
CAD に対する安全性・品質管理に関する法令・JIS 規格等の規格・基準を表 1 に示す。
表 1 CAD の安全性・品質管理に関連する基準
CAD の安全性・品質管理事項

適用すべき規格・基準20ソフトウェア安全性

JIS T82304-1:2018 5

品質マネジメント

QMS 省令（厚生労働省令第 169 号）

リスクマネジメント

JIS T14971:2012

ソフトウェアのライフサイクルマネジメント

JIS T2304:2017

なお、適用すべき規格・基準は国際整合の進展に伴って今後も変更が予定されていることから、最新の情報を確認することが望ましい。

設計・開発管理が要求する項目の各プロセスへの適用方法
ソフトウェア安全クラス分類
JIS T2304 に従って CAD のソフトウェア安全クラス分類を決定する。決定にあたっては、CAD が患者にもたらす危害のリスクに応じてこれを適切に決定する。クラスに応じた JIS T2304 の一連の設計開発プロセスを実行する。

解説
旧版の CAD 開発ガイドライン 2012 では、次のように記載されていた。
... 診断そのものは医師による行為であり、CAD は JIS T2304 のソフトウェア安全クラスにおけるクラスＢに相当すると考えられる。...
しかし、JIS T2304:2017（IEC 62304:2005, Amd.1:2015）の細分箇条 4.3 ソフトウェア安全クラス分類の記載が変更になった。

設計開発プロセスへの適用
設計開発のプロセスについては、JIS T2304 及び QMS 省令に規定されている。
① 製品に関連する一般要求事項の明確化（意図する用途） 6
下記に基づいて製品に対する一般要求事項を明確化する事が望ましい。
i) 意図する使用目的、使用方法
CAD の意図する使用目的、使用方法を明確化する。この際、first reader、second reader、
con-current reader の区別を明らかにすることも重要である。

5 専用ハードウェアと組み合わせて出荷される CAD ソフトウェアの場合は、JIS T82304 は適用されない。JIS T0601-1:2017

又は個別規格（例：超音波画像診断装置の場合は JIS T0601-2-37：2018 医用電気機器－第 2-37 部：医用超音波診断装
置及びモニタ機器の基礎安全及び基本性能に関する個別要求事項）が適用される。
6 保守サイクルにおいては、“変更の要求事項の明確化”となる

21

例：病変と想定される部位の抽出（CADe の場合）
例：異常部位の良悪性の鑑別（CADx の場合）
AI 技術を用いる CAD の場合、市販後学習の有無を明確化する。市販後学習を行う場合は、それに伴う性能変化の有無とタイミング、市販後学習と性能変化の目的も合わせて明確化することが望ましい。
市販後学習と性能変化については、Appendix 8「市販後学習による性能変化の課題」にて解説している。
ii) 解析対象の画像、適用部位、解析対象の病変
CAD の対象とする画像の種類と仕様（画素数、階調等）、適用部位及び解析対象病変を特定する。
例１：マンモグラフィ用 CAD の場合
対象画像：画素数（4728×5928）、階調 14bits
対象部位：乳房
解析対象病変：マンモグラフィの乳がん所見のうち、腫瘤病変、石灰化病変、構築の乱れ、FAD（Focal Asymmetric Density 局所的非対称陰影）（CADe の場合）
例２：胸部 CT 用 CAD の場合
対象画像：画素数（512×512）、階調 12bit
対象部位：胸部
解析対象病変：3mm 以上の肺結節（種類：Solid、GGO、Part-Solid）
例３：腹部超音波用 CAD の場合
対象画像：画素数（512×512）、階調 12bit
対象部位：腹部臓器（肝臓、胆嚢、膵臓）
解析対象病変：肝血管腫、肝細胞癌、転移性肝癌、胆嚢ポリープiii) 意図する使用者
意図する使用者を明確化する。使用者には医師等の他に、医療機関に所属する CAD のメン
テナンスを行うものが含まれる。
 専門外の医師が CAD の出力を過信することの影響を含めて検討することが望ましい。
 市販後学習を含む CAD の場合、これを行わせる者も使用者に含まれる。
iv) 意図する使用環境
使用者がソフトウェアを利用する場所だけでなく、ソフトウェアを実行する実体の計算機の存在する環境、ネットワーク環境等を含むことができる。

22

市販後学習を含む CAD の場合、市販後学習を行わせる環境はソフトウェアを利用する環境と同一とは限らない。
例：放射線科読影室、診察室
例：○○クラウドサーバ② 設計開発の指針とソフトウェア要求事項の明示
4.2 ①「製品に関連する一般要求事項の明確化（意図する用途）」で明確化した製品に対する一
般要求事項に基づいて、設計開発の仕様書における開発の指針やソフトウェア要求事項を具体化する。以下に CAD に関係する特長的なソフトウェア開発要求を示す。
ソフトウェア開発の初期には、必ずしも、これらの要求事項の全てが明らかになっているとは限らない。
i) 患者画像の仕様、接続可能な画像診断装置の特定
CAD への入力源となる患者画像を提供する CAD に接続可能な画像診断装置を特定する。
接続可能な画像診断装置への要求事項は、患者画像の具備すべき仕様（例：解像度、信号対雑
音比、ダイナミックレンジ等；iii) 「使用するデータの明確化」を参照）に基づいて設定される。
・ CAD の接続対象として接続可能な画像診断装置等を特定する場合は、接続試験の結果において不具合を生じないことが接続の条件となる。
・ CAD の接続対象が、画像・接続インターフェイス（DICOM 等）の仕様（スペック）で特定可能な場合はスペックで指定する事も可能である。
・ AI-CAD 評価指標案の 6.(2)「品目の検出・診断の原理、学習、情報セキュリティ等に関する基本的事項」で併用する画像撮影装置等の条件に言及している。
患者画像の具備すべき仕様は一連の開発プロセスを経たのちに、目標性能を達成するために必要な制限として特定されることが多い。
ii) ソフトウェア実行環境の明確化
4.2 ①「製品に関連する一般要求事項の明確化（意図する用途）」で明確化した意図する使用環境に基づいて、ソフトウェア要求事項の具体化に必要なソフトウェア実行環境を明確化する。以下を特定する。
・ 組み合わせるハードウェア環境の特定
・ 組み合わせる他のソフトウェアの特定
例：最小限必要なハードウェア及びソフトウェア構成、オプションとして追加可能な構成、ネットワーク接続、VPN 等

23iii) 使用するデータの明確化
CAD の設計開発プロセスで使用するデータに対して、実装工程（AI 技術を用いる CAD の場合
は学習プロセスが含まれる）及びシステム試験の詳細計画が実施可能になるように、使用するデータを特徴付ける事項を明確化して記述する。
例：
・ データソースの特性、データソースの元となる患者群の持つ傾向、データの取得・管理方法、画像データ取得時の撮影パラメータ、紐付けした臨床データの種類、臨床画
像データ以外のデータ使用の有無
・ アノテーションの取得方法、アノテーションを行なった医師等
・ テストデータの最終判断を行った医師等、テストデータを開発のプロセスから完全に切り離して管理するための方策
・ データソースの持つ制限（商用利用の可否、二次加工の可否など）、データソースの具備すべき法令上、倫理上の制約
データソースの法令上、倫理上の制約については、我が国では個人情報保護法、次世代医療基盤法、臨床研究法の規定に留意する（Appendix 9, 10 参照）。さらに海外で取得するデータを使用する際は、それぞれの国・地域での類似の法令に留意する。例えば、米国のHIPAA 及び HITECH といった連邦法、EU における一般データ保護規則(GDPR)である。
なお、使用するデータの具備すべき特徴は、6.1「開発及び性能評価に用いるデータ」、AICAD 評価指標案の 6.(2)2)「学習」で述べられている。また、本ガイドライン 4.2 ③i) 「SOUP
アイテムへの対応」も参照のこと。
iv) 機能の明確化
4.2 ②「設計開発の指針とソフトウェア要求事項の明示」の前項までにおいて明確化した設計
開発の仕様書における要求事項に対して、次工程のアーキテクチャ設計やシステム試験の詳細計画が実施可能になるようにソフトウェアの機能をさらに展開し、その展開した機能単位で要求事項を記述する。
例：・ 画像取得方法、着目する特徴、特徴抽出の方法、統計解析の方法、出力方法
AI 技術を用いる CAD の場合の例：
・ 学習方法を特徴付ける事項（教師あり、半教師あり、強化学習、自己学習、転移学習の有無、市販後学習機能の有無）
市販後学習機能を含む CAD の場合、この段階で明確化される。性能変化によるリスクを防ぐための機能・手順を含む場合、同様にこの段階で明確化する。

24v) 性能の明確化

診断支援性能
意図する用途に見合う解析性能を設定する。
例：真陽性率 x%、及び偽陽性率 y%（CADe の場合）
例：2 クラス分類又は多クラス分類の正分類率 z%（CADx の場合）



処理時間
意図する用途に見合う解析処理時間を設定する。



性能変化の許容範囲
市販後学習を行う CAD の場合は、市販後学習における診断支援性能変化の許容範囲を明確化する。

③ アーキテクチャ設計
下記に基づいてアーキテクチャを設計することが望ましい。
※ 深層学習等の AI 技術を用いる CAD の場合、ii)「解析対象病変の特徴の明示」、iii)「解析対象病変の特徴量の明示」は必ずしも常に可能又は必要とは限らない。その場合、これらのステップは解析アルゴリズム及びネットワーク構造や学習アルゴリズム等の明示により代えることができる。
i) SOUP 7アイテムへの対応
・ SOUP アイテム（開発過程が不明なソフトウェア）に対して、医療機器プログラムに対する要求事項である JIS T2304 に従った対応を行う。
・ AI 技術を用いる CAD の場合、学習データ及び学習済みモデルを、SOUP アイテムと同様の条件下に扱うことができる。その場合も AI-CAD 評価指標案 6.（2）の 2)「学習」
で規定される要求事項が求められる。
ii) 解析対象病変の特徴の明示
病変の特徴を明示する。
例：大きさ、濃度、辺縁部の特徴等（CADe、CADx）
iii) 解析対象病変の特徴量の明示
病変の特徴量を選定し、これらを明示する。
7 開発過程が不明なソフトウェア（Software Of Unknown Provenance）

既に開発されていて一般に利用できるが、医療機器に組み込むことを目的に開発したものではないソフトウェアアイテム（市販品（off-the-shelf）として知られているソフトウェア）または以前において開発されたソフトウェアでその開発プロセスに関する十分な記録が利用できないもの。[JIS T2304 用語および定義より]

25

例：大きさ、濃度、辺縁部の特徴等を定量化する（CADe、CADx）※ 病変の特徴量は、十分な経験を積んだ医師による診断が下されている画像デー
タに適用した結果に基づいて決定されていることが望ましい。
iv) 解析アルゴリズム・処理フローの明示
・ 処理のフロー図等により示すことができる。
・ 輪郭抽出、領域分割等のアルゴリズムは具体的なアルゴリズム名で示すことが望ましい。
例：Canny エッジ検出、Voronoi 分割、ウェーブレット変換等
・ 深層学習型の AI 技術を用いる CAD の場合は、開発設計時のネットワーク構造等も示す。
例： 2D/3D-畳み込みニューラルネットワーク、モデル ResNet-160 等v) 学習方法の明示（AI 技術を用いる場合）
・ 学習方法、用いるデータや学習済みモデルを明示する。
・ 前項にて明示したアルゴリズム（ネットワーク等）に対して、収集したデータや学習済みモデルのどれを使って学習を行わせたのか、学習の順番、強化学習、自己学習、転移学習等の組合せ方など具体的手順を記録する。
vi) 解析結果の出力方法の明示
例：円や四角で囲む、矢印、中心の位置等（CADe の場合）
例：異常部位の質的診断に関する情報をテキスト情報として出力する（CADx の場合）

④ システム試験
4.2 ②「設計開発の指針とソフトウェア要求事項の明示」で具体化したソフトウェア要求事項に対応して以下を含む検証を行う。
i) ソフトウェア実行環境の検証
4.2 ②「設計開発の指針とソフトウェア要求事項の明示／ii) ソフトウェア実行環境の明確化」
にて明確化した以下の 2 項目に対してシステム試験を実施する。
・組み合わせるハードウェア環境

・組み合わせる他のソフトウェア

少なくとも最小限の構成について、実際の実行環境又はこれを模した環境でシステム試験を実施する。必要に応じて、オプションとして追加可能な構成についても試験する。この段階で行うべき試験項目は、個別の結合試験では十分に検証できない複雑なハードウェア、ソフ26

トウェア構成の確認である。試験項目に CAD の機能、性能の検証を含む必要はない（次項以降にて実施する）。
ii) 機能的要求事項の検証
4.2 ②「設計開発の指針とソフトウェア要求事項の明示／iv) 機能の明確化」にて明確化した
機能的要求事項に対してシステム試験を実施する。
市販後学習機能を有する CAD の場合、市販後学習機能、学習後の性能評価法（承認時の性能評価法と同一であれば省略可）及び、性能変化によるリスクを回避する為の機能についても検証すること。
iii) 性能的要求事項の検証
4.2 ②「設計開発の指針とソフトウェア要求事項の明示／v) 性能の明確化」にて明確化した
下記の性能的要求事項に対してシステム試験を実施する。
・

診断支援性能・

処理時間

・

性能変化の許容範囲

性能的要求事項のシステム試験については、6.2「性能評価の基準」でも述べている。
市販後学習機能を有する CAD の場合は、性能変化の結果をシステムに反映させる前に検証する。
⑤ リスクマネジメント
JIS T2304 の箇条 7「ソフトウェアリスクマネジメントプロセス」によってソフトウェアリスク
マネジメントを実施する。CAD の場合に留意すべき主な事項を以下に示す。
1）リスク分析
リスク分析を行う。ハザードと危険状態を特定する。
a) 学習データの特徴に起因する不適当な性能又は挙動。例えば、・希少事例のデータの不足等による挙動の不安定・

偏った疾患又は正常例を過学習することによる性能低下（特に市販後学習時）b) 合理的に予見可能な誤使用。例えば、・ （使用条件に含まない場合の）first reader、解析対象外の画像、非適用部位への利用、（専門医の使用を適用範囲とする場合の）専門外の医師による使用
・ 必要な講習又は訓練を受けていない使用者による市販後学習の実施
2）リスクコントロール手段
AI 技術を用いた CAD に特有のリスクコントロール手段は、AI-CAD 評価指標案の 6.(4)「リスクマネジメント」に例示されている。

27

⑥ 構成管理プロセスi)組み合わせるソフトウェア（SOUP アイテム含む）を識別する仕組みを確立する。

ii)

SOUP アイテムの特定
名称／製造業者／識別子（バージョン等）⑦ 設計開発の検証
以下の項目に対して検証を行なう。
i) 4.2 ②「設計開発の指針とソフトウェア要求事項の明示」で設定した画像診断装置との接続の検証ii) 4.2 ②「設計開発の指針とソフトウェア要求事項の明示」で設定した附属文書への記載要求
内容の検証⑧ 設計開発の妥当性確認
CAD を実際の使用環境又は使用環境を模擬した環境で実行し、顧客ニーズ（意図する用途）に対する妥当性確認を行なう。附属文書の妥当性も確認する。

設計開発・保守プロセスの実施
設計開発プロセスの実施
上記 4.「設計・開発管理が要求する項目の各プロセスへの適用方法」を適用し、CAD の設計開発
を JIS T82304 等の定める開発プロセスに基づき実施する。

保守プロセスの実施
市場リリース後の保守サイクルにおいても、設計開発プロセス同様に上記 4.「設計・開発管理が要求する項目の各プロセスへの適用方法」の項目を必要に応じ適用し、変更要求に対する設計変
更開発を行なう。

評価手法及び留意事項
本章では、設計開発プロセスで実施すべき「性能評価」に関する試験の設定根拠について説明する。

開発及び性能評価に用いるデータ
CAD の設計開発プロセスで使用するデータは、開発に用いるデータ（学習データ、バリデーション
データ）と、性能評価に用いるデータ（テストデータ）に大別される。

28

① 基本的考え方


CAD の開発及び性能評価の際には、妥当な性質並びに数量の臨床画像データの他、シミュレーションやファントム等を用いて生成された人工画像、転移学習の場合には自然画像や別の医用画像等を使用することができる。



性能評価を適切に行うため、開発（パラメータ調整や動作確認など）に用いるデータと性能評価に用いるテストデータは厳格に区別しなければならない。
AI 技術を用いる CAD の場合は、テストデータを学習しないための方法又はその影響を十分小さくする方法が必要である。

② 推奨事項
設計開発プロセスにて明確化すべき事項として、4.2 ①「製品に関連する一般要求事項の明確化（意図する用途）」及び 4.2 ②「設計開発の指針とソフトウェ要求事項の明示」において下記項目を明確にすることが望まれる。その他、テストデータ量に関する留意事項については Appendix
7 「テストデータの量」を参照されたい。
(1) データソースの特性
データの取得・管理方法を明確化する。データの元となる患者群の持つバイアス（偏り）等にも留意する。ただし非常に大規模なデータベースの場合、母集団に対するバイアスは小さくなることが期待される。
(2) 画像データ取得時の撮影パラメータ
CAD が有する性能を正しく評価するために、適用できるモダリティ（検査機器の種類）、入力となる医用画像データの収集条件（撮影時の測定パラメータ等）、入力画像の仕様（経時
画像、造影剤の有無等）、画像の空間的な歪みや背景雑音に関して分析することが期待される。
撮像条件の例・ X 線 CT の場合：スライス厚、撮影線量、カーネル種類、造影剤の使用の有無等
・ MRI の場合：静磁場強度、撮像シーケンスとその代表的パラメータ（TR、TE、フリップ
角、積算回数、位相エンコード等）、造影剤の使用の有無等
・ 内視鏡の場合：視野における対象の捉え方、動き等の条件、拡大や染色法の有無、特殊なスペクトルの照明の利用等
・ 超音波の場合：プローブの種類や周波数、フレームレート、PRF、走査部位（心窩部、右肋間等）、造影剤の使用の有無等(3) 正解・臨床画像データ以外のデータ
CAD の開発時において使用した画像データに対応する正解や、臨床画像データ以外のデー

29

タについて明示する。例えば、正解には、病理診断結果や診断結果、アノテーション等のほか、その正解に関する最終判断を行った医師等に関する情報（選択の方法、診療歴、専門医であるか等）も含まれうる。また臨床画像データ以外のデータには、シミュレーションやファントム等を用いて生成された人工画像、画像以外の医療情報が含まれうる。これらを用いる
場合の留意事項については AI-CAD 評価指標案の 6.(2)2)「学習」の注 4)を参照のこと。
(4) データの保管期限① テストデータ
他の評価エビデンスと同様に、医療機器に要求される QMS 省令による設計管理において求められる期間の保管が必要。さらに性能変化後の再評価が必要になる事を想定すると、少なくとも評価対象の当該バージョンが市場で利用されている期間は保管することが必要になる。
② 学習データ、バリデーションデータ
どのような素性のデータで学習を行ったかという記録は残す。一方、学習データ全てを学習時の状態で維持する事は現実的でない場合も多い。このような場合は、テストデータで品質を担保する等の学習データ保管が不要な理由を明確にしておく事が望ましい。学習
データの保管が困難な例としては、ビッグデータを利用する場合や、医療機関や海外で学習済みのコンポーネント等を利用する場合等が挙げられる。
(5) テストデータを開発プロセスから切り離して管理するための方策
テストデータが開発プロセスで使用されないように管理する合理的に実施可能な方法が望まれる。
機械学習による開発プロセスでは、テストデータを学習データ及びバリデーションデータから切り離して管理する。なお、テストデータの学習結果への影響を完全に排除することは、容易でない 8。テストデータ数が十分に多い場合、学習データが極めて多い場合等、テストデータを開発プロセスから切り離した場合と実質的に等価であると判断できる場合もありうることから、テストデータを開発プロセスから切り離して管理するための方策については、
PMDA と相談することを推奨する。

性能評価の基準
性能評価の目的は、CAD の使用目的（意図した使用）としての診断支援が実施できることを示すことにある。
8 例えば、条件（学習データやモデル）を変えて 10 通りの学習を行い、学習後の 10 通りのモデルをテストデータを用いて評価し、その中から下限を上回るモデルを選択したり、もっとも性能が良いモデルを学習後のモデルとして選択することは、開発過程でしばしば行われているが、モデルの選択にテストデータを利用している（＝学習や設計にテストデータを利用している）ことになる。

30

CAD の性能を十分な症例数を含む適切なテストデータ（Appendix 3 「テストデータにおける画像
データベースとゴールド・スタンダード」参照）を利用して統計評価する（Appendix 2 「性能評価法の基礎」参照）。症例数、比較対照及び海外で収集されたデータの扱いについては、「コンピュー
タ診断支援装置に関する評価指標」（薬食機発 1207 第 1 号（別添 3）平成 23 年 12 月 7 日）に述べられている。

医師等による成績の単純比較による優劣の評価が困難な場合（例：CADe の検出性能を評価したい場合。CADe では検出漏れを防ぐため感度を高く設定するが、特異度が下がってしまい、医師の成績に対抗することができない）は、臨床的に妥当な評価基準によって判定する。その評価基準の医学的妥当性を示さねばならない。

性能評価の基準の例：
「臨床において医師が行っている診断精度」よりも、「CAD を用いた医師の診断精度」が、統計的に有意に優れているか同等である。
（注：比較対象とする医師の資格、経歴等の要件は、CAD の意図する使用目的によって変
わりうる）



同一製品のバージョンアップ等の場合は、「既承認品の CAD の分類精度」よりも統計的に有意に優れているか同等である。

医師等を被験者とする CAD の性能評価の際には、CAD の使用による医師への影響、例えば、読影
時間や疲労等について考慮する必要がある（Appendix 4 「性能評価のための読影実験における注意点」参照）。

開発に関するその他の留意事項
ソフトウェア、データセットをダウンロードすることで医師が AI 技術を使った CAD プログラムを自作することも技術的には可能となっている。国内未承認の CAD プログラムを診療で自ら用いる
ことは、医師法における医師の裁量権の範囲内とされる。しかし、設計開発プロセスが十分になされないソフトウェア、評価の定まっていない医療技術やソフトウェアを通常診療で使用することは近年の臨床倫理の観点では受け容れられないとの懸念がある。研究である場合は平成 30 年 4 月に施行された臨床研究法を遵守する必要がある。
医師が CAD を自作して自ら用いる場合は、これらの臨床倫理、法令の趣旨等に沿うべきであり、更に、本ガイドラインを参考に設計開発プロセスを実施・記録し、CAD の開発プロセスの妥当性を担保することが望まれる。

31

関連する規格及び参考資料○ 「コンピュータ診断支援装置に関する評価指標」（薬食機発 1207 第 1 号別添 3 平成 23 年 12
月 7 日）○ 「プログラムの医療機器への該当性に関する基本的な考え方について」の一部改正について（薬生監麻発 1228 第 2 号平成 30 年 12 月 28 日）○ 医療機器プログラムの取扱いについて（プログラム基本通知）（薬食機参発 1121 第 33 号、薬食安発 1121 第 1 号、薬食監麻発 1121 第 29 号平成 26 年 11 月 21 日）○ 医療機器プログラムの承認申請に関するガイダンスの公表について（事務連絡平成 28 年 3 月
31 日）○ JIS T82304-1:2018「ヘルスソフトウェア－第 1 部：製品安全に関する一般要求事項」○ IEC 82304-1:2016：Health software - Part 1: General requirements for product safety○ JIS T2304:2017「医療機器ソフトウェア－ソフトウェアライフサイクルプロセス」○ IEC 62304,:2006+AMD1:2015 CSV, Medical device software - Software life cycle processes（医療機器ソフトウェア―ソフトウェアライフサイクルプロセス）○ 医療機器におけるサイバーセキュリティの確保について（薬食機参発 0428 第 1 号、薬食安発
0428 第 1 号平成 27 年 4 月 28 日）○ 医療機器のサイバーセキュリティの確保に関するガイダンスについて（薬生機審発 0724 第 1号、薬生安発 0724 第 1 号平成 30 年 7 月 24 日）○ JIS T14971:2012「医療機器－リスクマネジメントの医療機器への適用」○ IEC/TR 80002-1:2009（Medical device software - Part 1: Guidance on the application of ISO
14971 to medical device software; 医療機器ソフトウェア－第 1 部：医療機器ソフトウェアへの ISO 14971 の適用の手引き）○ JIS Q13485:2018「医療機器－品質マネジメントシステム－規制目的のための要求事項」○ ISO 9001:2015 Quality management systems -- Requirements（品質マネジメントシステム－要求事項）○ QMS 省令：
「医療機器及び体外診断用医薬品の製造管理及び品質管理の基準に関する省令」（厚生労働省令第 169 号平成 16 年 12 月 17 日）○ GCP 省令：
「医療機器の臨床試験の実施基準に関する省令」（厚生労働省令第 36 号平成 17 年 3月 23 日）○ 医療機器の迅速かつ的確な承認及び開発のための治験ガイダンスの公表について（事務連絡平成 29 年 11 月 17 日）○ GVP 省令：
「医薬品、医薬部外品、化粧品、医療機器及び再生医療等製品の製造販売後の安全管理の基準に関する省令」（厚生労働省令第 135 号平成 16 年 9 月 22 日）○ 独立行政法人医薬品医療機器総合機構に対する機械器具等に係る治験不具合等報告について32

（薬食発 0329 第 14 号平成 25 年 3 月 29 日）○ 人を対象とする医学系研究に関する倫理指針（平成 26 年文部科学省・厚生労働省告示第 3 号）
○ 人を対象とする医学系研究に関する倫理指針ガイダンス（平成 29 年 5 月 29 日一部改訂）○ 人を対象とする医学系研究に関する倫理指針ガイダンス（附則編）（平成 29 年 3 月 8 日）
○ 人を対象とする医学系研究に関する倫理指針ガイダンス（附則編）別添 経過措置に関するＱ＆Ａ集（平成 29 年 3 月 8 日）
○ 医療・介護関係事業者における個人情報の適切な取扱いのためのガイダンス（個人情報保護委
員会 厚生労働省 平成 29 年 4 月 14 日）○ 「医療・介護関係事業者における個人情報の適切な取扱いのためのガイダンス」に関する Q&A（事例集）（個人情報保護委員会事務局 厚生労働省 平成 29 年 5 月 30 日）

33

APPENDIX
Appendix 1. 旧版の Appendix から本ガイドラインに引き継がれなかった項目
旧版の CAD 開発ガイドライン（CAD 開発ガイドライン 2012 及び 2015）に掲載していた Appendixのうち、いくつかは本ガイドラインでは削除又は記載を簡略化したり本文に統合されている。それらを掲載しなかった主な理由を以下に示す。

CAD 開発ガイドライン 2012
Appendix「汎用ハードウェアで動作する医療用ソフトウェアの設計評価における技術的な裏付け」
以下の 4 項目につき解説していた。
1.

「医療機器の基本要件基準」への適合

2.

IEC62304 適合のエビデンス

3.

IEC62304 適合性検証レポート

4.

汎用ハードウェアの選定条件

しかし、平成 26 年の医薬品医療機器等法施行により（汎用ハードウェアで動作する）医療機器プ
ログラムが制度化され、また関連する JIS 等の整備が進み、関連通知等にて上記項目も含めて明確化されたことから、本ガイドラインでは削除した。これらについては以下を参照されたい。
1.

「医療機器の基本要件基準」への適合→「医療機器の基本要件基準第 12 条第 2 項の適用について」（薬生機審発 0517 第 1 号
平成 29 年 5 月 17 日）に、JIS T2304 への適合性確認により行うこと等を明記してある。

2.

IEC62304 適合のエビデンス→同通知別添記載事例 1、2 として例示されている。

3.

IEC62304 適合性検証レポート→同通知添付資料 1「プログラムのライフサイクルへの適合に関する概要報告書」として例示されている。

4.

汎用ハードウェアの選定条件→「医療機器プログラムの取扱いについて」（平成 26 年 11 月 21 日付け薬食機参発 1121
第 33 号、薬食安発 1121 第 1 号、薬食監麻発 1121 第 29 号厚生労働省大臣官房参事官（医療機器・再生 医療等製品審査管理担当）、厚生労働省医薬食品局安全対策課長、厚生労働省医 薬食品局監視指導・麻薬対策課長連名通知、以下「プログラム基本通知」）に、製造販売承認申請書の形状、構造及び原理欄の記載要領として明記されている。

CAD 開発ガイドライン 2015
A.1 「CAD の分類と CADx の位置付け」
CADe と CADx の定義、単体ソフトウェアの場合とソフトウェアを搭載した装置の 2 通りがありう34

ること、適用するモダリティ等について解説していたが、本ガイドラインでは第 2 章で扱うこととなったため削除した。

A.3 「CAD に対する QMS （Quality Management System）」
CAD に対する QMS につき解説していた。ソフトウェアの場合、QMS と関連して IEC 62304 （JIST2304）、IEC TR 80002-1 等を適用することが望ましいとしていた。しかし、本ガイドラインでは JIS
T2304 の内容を含むものとしたこと、プログラム基本通知等によりプログラム医療機器の QMS 調査に関しても明記されたことから削除した。

A.8 「データ収集する施設数」
A.9 「性能評価に対して収集しなければならないデータ数」
本ガイドラインでは、Appendix 7 「テストデータの量」として統合した。
A.10 「入力する画像診断装置における収集条件の明確化」
簡略化して、6.1②(2)「画像データ取得時の撮影パラメータ」に記載した。
Appendix 2. 性能評価法の基礎
CAD の性能評価に対しては、以下に示す分類率や、それを用いた ROC （Receiver Operating
Characteristics）解析のいずれかを用いることを推奨する。どちらを使うかは、臨床利用の観点から決定してよい。すなわち、臨床的に一組の分類率による評価が妥当な場合には分類率を用いた評価
で良く、様々な分類率の場合を総合的に評価しなければならない場合には ROC 解析を実施するのが一般的である。
分類率や ROC の計算には下記の表（クラス分類実験結果の集計表）の数値を用いる。
表 A1 クラス分類率に基づく性能評価（クラス分類実験の集計表）
CADx の出力

クラス１

クラス２

…

クラスｎ

合計※１

クラス１

a11

a21

…

an1

S1=a11+…+an1

クラス２

a12

a22

an2

S2=a12+…+an2

：

：

：

：

：

：

クラスｎ

a1n

a2n

…

ann

Sn=a1n+…+ann

合計※２

a11+…+a1n

a21+…+a2n…

an1+…+an1n

S=S1+…+Sn

正解(Gold standard)※１正しく分類された数についての正解クラス別の合計※２正しく分類された数についての出力別の合計

これらの数値は、CAD の実際の利用を想定して作成したデータベースを用いて、Leave one out 法、35

k-fold Cross Validation 法、Hold Out 法のいずれかによって求めることが望ましい（Appendix 5「性能評価手法」参照）。ここで、評価に用いたデータベースが実際の利用を想定しているためには、
ランダム標本か階層標本等、学術的に妥当な方法を用いてデータ収集を行えば良い（Appendix 3「テストデータにおける画像データベースとゴールド・スタンダード」参照）。
また、正解は病理診断結果や合理的な診断結果から導かれていなければならない。学術的に裏付けのないクラスを独自に設定して CAD の性能評価に用いても、裏付けのない性能評価にしかならない。ここで、「合理的」とは、学術的な客観性や再現性があることを指す。したがって、手術や生検で得られた病理所見、画像検査で決定した診断、経過観察等を含む画像検査で下された診断、上記の検査の結果に基づく総合的な判定等がありうる。ただし、様々な要因によって検査結果に大きなばらつきやバイアスが含まれる事例では、複数の医師による診断結果の平均や合意等により差異を小さくするか、より精密な他の検査に置き換える必要がある。なお、ファントム等の人工データを利用する場合には、妥当な方法で定義された正解を用いねばならない。

分類率による評価
正分類率は、下記のように、表 A1 中の数値から計算される。
クラス i の正分類率 ＝ aii / Si (i=1…n)
ここで、あるクラスの診断精度は従来よりも良くなったが、他のクラスの診断精度が悪くなったのでは意味が無いことに注意をしなければならない。十分な数のデータを用いた上で、すべてのクラスに対する精度が同等か、あるいは、精度が統計的に有意に向上したクラス（クラス名を明確にすること）が一つ以上であり、かつ、その他のクラスに関する性能は統計的に同等であることを示す必要がある。
ROC （Receiver Operating Characteristics）解析による評価
2 クラス分類の場合は各クラスの正分類率の間に存在するトレードオフの関係を表した ROC 曲線（Appendix 6「観察者特性の評価」参照）を用いることにより統計的に証明することができる。ここで、精度が同等であることを示す場合には、統計的に十分な数のデータに基づいていなければならない。また、ROC の軸は、上記の各クラスの正分類率に基づいて定義する。例えば、良悪性鑑別の場合には、
縦軸は感度、
横軸は偽陽性率となる。
ただし、対象によっては、LROC（Localized response
ROC）、FROC（Free response ROC）
、AFROC（Alternative FROC）、及び JAFROC（Jackknife AFROC）
等の他の評価法が適していることがある１）。その場合には、上記の分類率を適切な性能指標、例えば FROC の場合には、偽陽性率を一症例あたりの偽陽性数等に置換して用いることが必要である。
良悪性の判定のみならず、鑑別診断結果をリストアップする場合や、疾患の程度の分類を行う場合
等は多クラスの分類が必要となる。この場合は、ある一つの注目するクラスと、残りの(n-1)のクラ

36

スを一つにまとめたクラスとの 2 クラスについて行う ROC 解析を、注目するクラスを替えながら
n 通りについて行えばよい。
一部のクラス群のみに注目して ROC 解析を行う方法も考えられるが、その場合には、一部のみに注目することの臨床的妥当性や、評価の統計的妥当性を学術文献等により確認し、根拠を明確にする必要がある。

【参考文献】
1) 尾川ら編： 医用画像工学ハンドブック（Part II, §3.3～§3.5）, 日本医用画像工学会, 2012.
統計的検定に関する注意事項
全ての検定は、統計学上の手続きを踏まえたものでなければならない。仮説検定における P 値等の有意水準としては統計的に妥当なものを用いる。P 値については慣例的に用いられてきた 0.05 では不十分とする論文が発表されている。読影実験の際の施設数や医師数はそれぞれ複数が望ましい
が、1 施設でも良いと自己判断する場合は科学的に妥当な根拠を示すことが不可欠である（Appendix 7 「テストデータの量」）。ただし、多クラスの場合にはクラス毎のデータ数に偏りがあり、クラス間のデータ数の比率が実際の臨床における症例数とかけ離れる可能性が高くなる。そのため、特に注意をして十分なデータ数及び施設数を確保する必要がある。なお、クラスごとの分類率にコスト（重み）を導入して再定義し、それに基づいて統計的検定を実施する場合には、検定を実施するより前に、そのコストが臨床的・学術的に正当であることを、査読を受けた論文等で確認して根拠を明確化しなければならない。また、各クラスのデータ数については臨床適用可能な状
態で統計解析の結果において有意な差を示すために十分な数を用いることが重要となる。

【参考文献】
1) Wagner et al., Assessment of medical imaging systems and computer aids: a tutorial review.
Acad Radiol., 14(6):723-748, 2007.
2) 藤田ら（監修）, 実践医用画像解析ハンドブック（§6.3.3）, オーム社, 2012.
3) Wasserstein, Lazar., The ASA's Statement on p-Values: Context, Process, and Purpose., The
American Statistician., 70(2):129-33, 2016.
4) Benjamin, Berger, Johnson et. al., Redefine statistical significance., Nature Human
Behaviourvolume 2:6–10, 2018.

Appendix 3. テストデータにおける画像データベースとゴールド・スタンダード
CAD 研究において、CAD のトレーニング（又は学習）及びテストに使用される画像データベースの特性は非常に重要であり、その特性によって CAD 研究の結果が大きく左右されるといっても過言ではない 1)。CAD 研究に用いられる画像データベースには、多くの場合、画像だけではなく、様々

37

な付帯情報が含まれる必要がある。その情報としては、細胞診や組織診等の病理診断により得られた確定診断結果や専門医による客観的な診断の難易度、患者の性別や年齢等が挙げられる。こういった画像データベースの構築においては大量の画像と幅広い症例の情報を収集し、それらを整理するための工夫が必要となる。しかしながら、単一の施設では収集できる症例数が限られるため、大規模な画像データベースの構築が困難な場合が多い 2)。そのため、デジタル画像が医用の世界に普及し、CAD 研究が盛んに行われるようになった頃から、誰もが使用可能な公共の画像データベースの構築に関する研究が国内外で行われてきた 2-5)。現在では、いくつかの公共での使用が可能な
画像データベースが公開されており、それらには、日本放射線技術学会で構築された結節影あり／なしの胸部単純 X 線写真のデータベース 2)や、特に読影学習を目的としたマンモグラフィのデータ
ベース 3)、米国の National Cancer Institute（NCI）の研究班が構築した肺結節の CT 画像のデータベースである Lung Image Database Consortium（LIDC）4)、南フロリダ大学のデジタルマンモグラ
フィのデータベース 5)等がある。このような画像データベースの存在により、画像データベースの構築が困難な研究者でも量的及び質的に充実した研究用データを使用し、CAD の研究を行うことが可能となり、また同じ画像データベースを使用しているものであれば、開発された CAD の性能の相互比較が可能となった。新しいモダリティや検査法に応じた CAD の開発においては、各研究施設において研究目的に応じた画像データベースを構築することも想定されるが、その際には構築したデータベースによって、CAD の評価がバイアスを受けることのないように注意する必要がある。
画像データベースに収録される画像の収集を計画する場合、その母集団について考慮する必要がある。例えば、過去数年間にある医療機関を受診したすべての患者を対象とするのか、ある特定の検査を受けた患者のすべてを対象にするのかによって、収集する画像の母集団は違ってくる。CAD の開発を行う場合に、対象となる疾患の罹患率は重要な要素となるので、受診したすべての患者を母集団とすれば、およその罹患率を推定することが可能になる。しかし、よほど罹患率の高い疾患でない限り、CAD 開発のための画像データベースを構築するために必要な母集団の数は膨大なものになると予想される。そのため、多くの場合は、CAD が対象とする疾患の疑いがあり、対象とする
モダリティで検査を受けたすべての症例を母集団として設定し、その母集団からランダム標本、又は階層標本によって研究に必要な症例数を確保する研究デザインが採用される。ここで、ランダム
標本とは、母集団からランダムに標本を抽出し、データベースに収録する方法である。他方、階層標本とは、母集団の特性（年齢・性別構成、既往歴の有無等）を調べた上で、その特性に合わせて標本を抽出する方法である。一般に、収録される症例の数が多くなるにつれて、ランダム標本と階層標本の両者を用いた場合の差異が小さくなる。
画像の収集と同時に考慮しなければいけないのは、画像に含まれる病変のゴールド・スタンダード（Gold Standard; GS）の決定である。GS は Reference Standard や Ground Truth とも呼ばれ、臨床研究において「その症例が間違いなく CAD 研究の対象となる疾患である」又は「間違いなく疾患ではない」ということを証明するための証拠のことであり、GS の決定が不明であったり、明確で38

なかったりする場合は、CAD 研究そのものの真偽が問われることになる場合がある。
特にテストデータにおいては正解を明確にする事が重要である。ただし、CAD の使い方によっては、疑陽性のデータを付加した人工画像等をテストデータとして用いる場合も想定される（例えば見逃し防止に重点化した CAD の場合等）。
また、AI 技術を用いた CAD の場合には、学習データとしては GS 付きの臨床画像以外のデータ（人工画像等）を用いる場合も考えられる。
CAD 研究用の画像データベースに含まれる画像の GS の決定には、(1)手術又は生検で得られた組織・細胞の病理所見、(2)病理所見と臨床判断（経過観察）の組合せ、(3)臨床判断のみ、(4)上位の診断システムの結果（例えば、胸部単純 X 線像に対する CT 検査の所見）、(5)専門医によるコンセン
サス、(6)ファントム実験やシミュレーション信号等既知のデータを用いる方法が挙げられる。悪性腫瘍の病変を対象として CAD を開発する場合には、すべての症例に関して病理所見で診断が確定していることが理想であるが、悪性が強く疑われない場合は、生検や手術なしで経過観察の臨床処置がとられる場合が多いので、病理所見と臨床判断との組合せで GS の決定が行われるのが一般的である。なお、規制当局への提出を想定している試験の場合、GS の作成を含む評価系全体で用いる情報の種類により、規制当局の当該試験に対する取扱いが変化する可能性があるので留意されたい。
画像データベースに収録される症例の数は、CAD において使用される様々な識別機構（Classifier）の性能に大きく影響する 3)。一般には、症例数が多ければ多いほど CAD の性能の正当性は高くなるが、CAD 研究に必要な多くの症例を確保することは時として非常に困難であるので、限られた症
例数で信頼性の高い CAD を開発するための工夫が必要となる。

【参考文献】
1) Nishikawa RM, Giger ML, Doi K, Metz CE, Yin F-F, Vyborny CJ, Schmidt RA: Med Phys, 21(2),265-269, 1994.
2) Shiraishi J, Katsuragawa S, Ikezoe J, Matsumoto T, Kobayashi T, Komatsu K, Matsui M, Fujita H,
Kodera Y, Doi K: AJR Am J Roentgenol, 174(1), 71-74, 2000.
3) Chan H-P, Sahiner B: Med Phys, 26(12), 2654-2668, 1999.
4) Li Q, Doi K: Med Phys, 34(3), 871-876, 2007.
5) ICRU Report 79. Receiver Operating Characteristic Analysis in Medical Imaging. Oxford
University Press, Oxford, UK, 2008.

Appendix 4. 性能評価のための読影実験における注意点
6.2「性能評価の基準」要件を証明するための読影実験ではバイアス等が含まれているため、結果の解釈を誤ることを防ぐための代表的な注意点や、実験の再現性を担保するための注意点について述39

べる。その他の注意点については Appendix 7 「テストデータの量」を参照のこと。
○ 評価結果にバイアスが混入する恐れのある以下のような読影実験は避けなければならない。ただし、バイアスを混入させる因子はこれら以外にもあるので注意が必要である。
 同一医師群が同一症例群を用いて、CAD を利用しない場合と利用した場合の 2 回の実験を短期間で行ってしまうと、症例に対する記憶が 2 回目の読影結果に影響を与える恐れがある。
 読影の際の画像の提示順序は実際の臨床の場合と同様、原則としてランダムでなければならず、恣意的に決めてはならない。
○ CAD の利用により想定される不利益を全て記録し、その妥当性について評価する必要がある。例えば、CAD の出力の待ち時間や CAD の出力を参照することで増加する読影時間等である。これらを測定し、有効性を上回る不利益が無いことを確認しなければならない。
○ CAD を用いた読影実験の再現性についても注意を払わなければならない。すなわち、第三者による追試によって同等の性能が得られるよう、再現に必要な全ての実験条件を記録しなければならない。以下は放射線を例に条件を示したものであるが、モダリティの特性にあわせて、追加、削除し、CAD の性能を提示する際には必要なすべての条件を開示できるように準備しておくべきである。
 入力画像の仕様：画素サイズや濃度レベル数等（3 次元画像であればスライス厚やス
ライス間隔等のパラメータも含む）
 画像の撮影条件：6.1②(2)「画像データ取得時の撮影パラメータ」を参照のこと。
 対象疾病：疾病の種類や診断の難易度
 被検者情報：年齢、性別。必要に応じて過去の疾病や手術等の既往歴、体型
 データ収集法：施設名、収集時期、画像枚数、及び具体的なデータのサンプリング法（ランダム標本化や階層標本化）
 CAD を動作させたコンピュータ環境：CPU の性能、メモリサイズ、ディスプレイの解像度や γ 特性
 CAD の処理パラメータ：製品化後に使用者が変更可能な処理パラメータ。例えば、良悪性鑑別の場合は悪性度に対する閾値
 CAD の利用形態：first reader や second reader、concurrent reader の区別
 CAD を利用した医師に関する情報：専門分野、読影経験年数、CAD の利用法に関する事前説明、当該 CAD に関する習熟度、その他の CAD の利用経験

Appendix 5. 性能評価手法
CAD で使用される処理手法の多くは、原画像から候補領域を抽出する処理と、抽出された候補領域

40

を良性・悪性又は真陽性・偽陽性に識別する処理の二つに大別される。識別のための機構としては、
線形判別分析（Linear Discriminant Analysis: LDA）
、人工ニューラルネットワーク（Artificial Neural
Network: ANN)、サポートベクターマシン（Support Vector Machine: SVM）等が含まれる。
CAD の性能評価は最終製品に対するもの（治験により収集したテストデータによる評価を含む）、
開発途上の評価（トレーニングを含む）に大別される。学習データ・バリデーションデータと（最終製品の評価に用いる）テストデータを分離する原則は、最終製品に対する評価で堅持すべきことは当然として、開発途上にあっても理想的には、閾値の設定や手法のトレーニングのために用いられる画像データベースと、その処理手法をテストするための画像データベースが区別されて用意されていることが望ましい。しかしながら、開発段階において、必要な条件を備えた症例数を確保することは困難な状況も想定される。そこで、限られた画像データベースを有効に利用し、かつ処理手法の性能を正確に評価するために、以下に示す四つの評価手法のうち、RB 法以外を推奨する。
ただし、RB 法の結果を示しても良い。また、これらの評価手法に限定するものではなく、CAD の特性に応じて適切な評価手法を選択する事が肝要である。

1) 繰り返し代入法（Resubstitution: RB 法）
繰り返し代入法は、最も簡便で単純な方法で、画像データベースに含まれるすべての画像で、処理手法における閾値の設定や識別機構のトレーニングを行い、そして、その処理手法をテストする際にも同じ画像データベースを用いる。テストに用いられる画像がコンピュータのト
レーニングに既に用いられた画像であるので、多くの場合に処理手法の性能は過大評価され、画像データベースに含まれる症例数が少ないほど、その傾向は顕著になる。CAD 開発のパイロット研究等で比較的小規模の症例数で行われる場合が多い。パイロット研究の段階である程度の性能が見込めないコンピュータ技術は、臨床的にも有用となる可能性が低く、有用なソフトウェアを開発することが困難なことが予想されることに起因する。

2) Leave-One-Out 交差検定法（Leave-one-out cross-validation: LOO 法）
交差検定法（cross-validation）は、統計学において標本データを分割し、先ず、その一部を解析して、残る部分を最初の解析の仮説検定に用いる手法である。交差検定法では、最初に解析するデータをトレーニング用データセット、残ったデータをテスト用データセットと呼ぶ。LOO
法はラウンド・ロビン（round-robin）法とも呼ばれる交差検定法の一種で、先ず、画像データ
ベースの中から一症例を取り出して、それをテスト用データセットとし、残りのトレーニング
用データセットで学習させた処理手法のテストに用いる。その後、同じ作業をすべての症例について繰り返す。例えば、画像に 100 症例分のデータが含まれる場合、一症例を取り出して、残りの 99 症例分でトレーニングを行い、その取り出した一例をテストする処理を 100 回繰り返す。ここで、同一症例から複数の標本がデータセットに含まれている場合、上記の一つずつ標本を取り出す段階において、トレーニング用のデータセットに同一症例からの標本が含まれ41ることになるため、そのことがテストにおけるバイアスになる可能性がある。したがって、同一症例からの複数の標本がデータセットに含まれる場合には、一つの標本をテスト用として取り出すのではなく、一つの症例からの標本のすべてをテスト用として取り出して、残りのデー
タセットでトレーニングを行う Leave-one case-out 法を用いる必要がある。
一般に、LOO 法は繰り返し回数が多いため非常に時間がかかる場合がある。また、LOO 法で評価される処理手法の性能は RB 法に比べて低くなる傾向があり、その差は症例数が大きくなると減少する。LOO 法は、処理手法の性能の評価という点では信頼性が高いが、処理手法における閾値の設定等が、全ての症例についてトレーニングが繰り返される毎に変化するので、臨床応用を考慮する場合には別の手法で閾値を固定させる等の工夫が必要になる（この点は、後述の KCV 法や H 法でも同様）。
3) K 分割交差検定法（K-fold Cross-Validation: KCV 法）
KCV 法は交差検定法の一つであり、LOO 法が一症例ごとにトレーニング用データセットとテス
ト用データセットに分割していたのに比べて、画像データベースの全体を K 分割して、そのグ
ループごとにトレーニング用データセットとテスト用データセットを入れ替えて評価を行う。
例えば、画像に 100 症例分のデータを 5 分割して 20 症例ずつのグループに分ける場合、一つのグループ（20 症例）を取り出して、残りの四つのグループ（80 症例分）で学習を行う。そして、その取り出した一つのグループをテストする処理を 5 回繰り返す。その後、得られた 5 回の結果を平均して一つの推定をうる。画像データベースに含まれる症例数が比較的多く、LOO
法では時間が必要となる場合に KCV 法は有用な評価法となる。
4) ホールドアウト検定法（Hold out method）HO 法
HO 法は KCV 法の分割数を 2 にした場合の評価法と基本的には同じであるが、HO 法では、トレーニング用とテスト用のデータセットを入れ替えない点が異なる。

Appendix 6. 観察者特性の評価
図 A1 に示すのは、胸部結節影の検出を目的として処理手法を開発し、その後、診断医の検出能の向上の評価のために ROC 解析が実施された対象モダリティの異なる二つの CAD 研究から得られた ROC 曲線である。一つは対象モダリティが胸部単純 X 線像で、もう一つは CT を対象としている 1,2)。両者の ROC 曲線で、点線で示したのはどちらもコンピュータ単独の性能であり、このコンピュータの手法から得られた出力を、診断医が読影を行う際に提示しなかった場合（without CAD）と提示した場合（with CAD）の差から、開発した処理手法の有用性を検討した。この両者においては、モダリティが違う上に、処理手法の開発に用いられた画像データベースも違うので、単純には比較することはできない。しかし、コンピュータ単独の性能の評価と、そのコンピュータの42

出力を診断医に提示した場合の検出能の改善の程度には直接的な関係がないことは明らかである。
コンピュータの出力を診断医が利用した場合の臨床における有用性は、観察者実験を行うことによってのみ証明することが可能である。そして、この臨床における有用性が証明されることが、「コンピュータ支援診断」研究にとってはもっとも重要なことである。さらに、図 A1 に示したデータから、コンピュータ単独の性能に対して、診断医がそのコンピュータの出力を利用した場合の検出における性能は、コンピュータ単独の性能を下回る場合（A）もあれば、上回る場合（B）
もあることも分かる。

図 A1 2 種類の CAD（
（A)胸部単純 X 線像における結節影の良悪性鑑別 1）, (B)胸部 CT における結節影の良悪性鑑別 2））を使用した場合の読影医の診断能の向上の ROC 曲線
観察者特性の評価において、その結果にバイアスが含まれる可能性のある主要な因子を以下に示す。
(1) 試料画像の読影の難易度、(2) 読影を行う試料画像の枚数、(3) 読影を行う試料画像の選択方法、(4) 読影実験の慣熟に用いられる試料画像、(5) 読影実験に使用される評価の方法、(6) 読影順序効
果、(7) 読影実験に使用される環境、(8) 読影を行う観察者（読影医等）の数、(9) 読影を行う観察者（読影医）の臨床経験、(10) 実験結果に対して行われた統計的解析の手法である。これらのうち、CAD における観察者の特性の評価用データベースとして、特に考慮すべき項目は、(1)、(2)、(3)の読影試料である。
観察者実験に使用される試料画像の読影が非常に困難な場合、CAD の支援によって異常陰影が検出されていたとしても、読影医がその情報に同意しなければ読影医の診断能は低くなり、CAD の支援による利益は非常に小さくなる 3)。一方、読影の難易度が非常に低い場合も、CAD の支援がなくても読影医は容易に異常陰影を検出することが可能なので、CAD の支援による利益は小さくなる。
読影に用いられる試料画像の枚数は、統計解析のために必要とされる数と、観察者が読影実験によって受ける疲労又は集中力の欠如、観察者実験を分割して実施する場合の弊害等を総合的に考慮して決定する必要がある。一般に、1 回の読影実験の所用時間は観察者の疲労や集中力を考慮する

43

と 1 時間以下が望ましいので、読影枚数が多くて１回の読影ですべての試料を観察することが困難な場合は、読影試料を分割して観察者実験を行う。なお、一つの試料に一つの信号（異常陰影）という制限のある ROC や LROC（ROC-type curve for task of detection and localization）解析に比べて、一つの試料に複数の信号が存在することを許容する FROC（free-response receiver operating
characteristic）や JAFROC（Jackknife Free-Response ROC）解析では、症例数を増やさずに信号の数を増やすことができるので、画像の数と読影に必要な時間の観点から、効率の良い観察者実験の計画が期待できる。
読影実験に用いる試料の数と同様に、試料の選択方法も実験結果にバイアスを与えないための重要な因子である。試料の選択方法には、Appendix 3「テストデータにおける画像データベースとゴー
ルド・スタンダード」で述べたランダム標本と階層標本がある。原則として、観察者実験に用いられる試料に対する CAD の性能は、処理手法の開発時にテスト用の画像データベースで得られた性
能と、ほぼ同等でなければいけない。例えば、処理手法の開発時の感度と特異度が共に 75%であるにも関わらず、観察者実験に用いる試料に対する CAD の性能が 90%の感度と 80%の特異度であったとすれば、その観察者実験で得られる結論は実際の CAD を過大評価している可能性が高い。しかし、将来的に達成可能なレベルの CAD の性能を仮定して観察者実験を行う研究、例えば、CADの性能について感度がどの程度であれば、臨床的な有用性が認められるかを証明するために、仮想的に CAD の性能を高くする場合がある 4)。

【参考文献】
1) Shiraishi J, Abe H, Engelmann R, Aoyama M, MacMahon H, Doi K: Radiology 227(2), 469-474,
2003.
2) Li F, Aoyama M, Shiraishi J, Abe H, Li Q, Suzuki K, Engelmann R, Sone S, MacMahon H, Doi K:
AJR Am J Roentgenol, 183(5), 1209-1215, 2004.
3) 石田隆行, 桂川茂彦, 藤田広志監修：医用画像ハンドブック, 544-558, オーム社, 2010.
4) Shiraishi J, Abe H, Engelmann R, Doi K: Acad Radiol, 10(11), 1302-1311, 2003.

Appendix 7. テストデータの量
テストデータ量の確定は開発する機器の性能を評価する上で不可欠である。「コンピュータ診断支
援装置に関する評価指標」（平成 23 年 12 月 7 日薬食機発 1207 第 1 号（別添 3））において、評価試験に必要なテストデータ数は「装置の目的や主要評価項目等を踏まえ、検出率や偽陽性・偽陰性率算出に必要なデータ数とする」こととしている。開発及び製造販売を想定する CAD に対して標榜する性能や検出する特徴、評価方法等が異なることから、テストデータの量（データ量の上限値と統計的な分布）を定量的に示すことは困難であるが、当該機器において標榜する性能が統計的に明示されることが推奨される。

44

テストデータを収集する施設の数は、収集データの客観性を保証するために 2 施設以上で収集することが望ましい。これは、単一の施設では疾患や入力装置に偏りが生じることが懸念されるためである。単一の医療機関でのみ収集する場合は複数施設で収集した場合と実質同等であることを示すべきである。

Appendix 8. 市販後学習による性能変化の課題
市販後学習による性能変化を生じる場合、特に施設ごとに異なる性能変化を生じる場合、技術的、法的課題が未解決である。本 Appendix では製造業者が品質管理を実施する CAD についてそれらの課題を生じうるケースにつき述べる。
1) 性能範囲の設定と維持
市販後学習による性能変化に対しては、製造業者が品質管理を実施し、仕様として事前に設定した許容される性能範囲内に維持する必要がある。
市販後の性能変化には以下の場合がある。
① バージョンアップ毎の段階的に性能変化する場合（バージョンアップについては AI-CAD
評価指標案の 6.(3)2)「市販後」に記載がある）② 市販後学習により高頻度で性能変化する場合
特に後者の場合に製造業者による品質管理維持が難しくなる。

2) CAD の提供形態に応じた性能管理
CAD の提供形態としては、医療機関、施設などに設置された装置上で実行される形態（オンプレミ
ス型 9）か、公衆ネットワーク等を介して実行される形態（クラウド型 10）が想定される。
クラウド型は、集中管理可能である一方、公衆ネットワーク障害の影響を受ける。また情報セキュ
リティ上の十分な対策が必要となる。性能変化する場合は製造業者による品質、バージョン管理が可能である。性能向上を全体で利用できる一方、性能低下も全体に影響するので全体展開を考慮した性能管理が必要となる。
オンプレミス型は、公衆ネットワーク障害の影響が小さい。特に公衆ネットワーク対応しない医療データ管理を行なっている施設にとって導入が容易である。反面、施設毎の管理が必要になる。オ
ンプレミス型の CAD をネットワークで接続して学習データを「共用」することも技術的には可能であるが、オンプレミス型であることのメリットを減じる。市販後学習データの偏りに起因して、施設毎に性能の異なる CAD が存在することは製造業者による品質管理、安全対策を難しくする。
オンプレミス型の CAD がネットワークから切り離された状態で運用される場合（公衆ネットワー
9 自身が管理する設備内に情報システムを設置・運用する形態（総務省「クラウドサービス提供における情報セキュリティ対策ガイドライン」）
10 従来は使用者が手元のコンピュータで利用していたデータやソフトウェアを、ネットワーク経由で、サービスとして使用者に提供する形態 (http://www.soumu.go.jp/main_sosiki/joho_tsusin/security/basic/service/13.html)

45

クの障害が起きた場合も含む）は、製造業者が公衆ネットワーク経由でメンテナンスが行えない。
使用者が主体となって学習させることを意図した CAD も考えられるが、本ガイドラインでは扱わない。

3) 市販後学習による性能変化のその他の課題
市販後学習による性能変化に関しては以下のような課題も予想される。
(1)

臨床で得られるデータには教師ラベルがない、又は簡略的、間接的な教師ラベルしか得られないことが一般的である。
得られた場合も、専門医による判定を経た教師ラベルつき学習デー
タと同等に扱えない可能性が高い。そのようなデータを用いて市販後学習することの効果、
効率、データクレンジングを行う場合はそのコスト等、市販後学習を行うことについてコス
トパフォーマンスの観点からも慎重な検討が必要である。

(2)

特定の病態を多く含む偏りのあるデータで市販後学習を繰り返すと一見性能が向上したように見えても、平均的な病態に対しては診断精度が低下する可能性がある。

Appendix 9. 個人情報保護法概要と対応
個人情報の保護に関する法律（平成 29 年改正施行、以下：個人情報保護法）は、その組織が、民間や私立大学の場合に適用され、独立行政機関の場合は、独立行政法人等の保有する個人情報の保護に関する法律が、国立の研究機関の場合には、行政機関の保有する個人情報の保護に関する法律が、また、公立の研究機関の場合には、個人情報保護条例が適用されるため留意すること。なお、適用される法律は異なるが、基本的には同等である。
（医療機関から提供を受ける診療情報の扱い）
個人情報保護法において、診療情報は要配慮個人情報とされ、取扱いに注意することが求められているとともに、その情報の医療機関以外への取扱いに関しては、患者の同意を得て扱うことが必要となる。AI 技術を用いた医療機器の学習に用いること、学習結果を製品に適用すること等、使用目的を想定した同意を得ておくことも必要になると考えられるため、注意が必要である。
なお、学術研究の場合は、同法 76 条の適用除外条項により、個人の同意を得なくても個人情報を研究に用いることができるが、製品開発等の場合には同条は適用されないこと、一方で診療情報の学術研究での利用に関しては、臨床研究法の定める臨床研究又は「人を対象とする医学系研究に関する倫理指針」の定める「研究」に該当する可能性が高いこと、これらは研究対象者の同意取得を原則的に求めていることに注意する。
このため、企業が製品開発等のための画像情報等を収集するためには、個人情報保護法に従い、医療機関等において匿名化の処理を行い、個人情報に該当しない情報として提供を受け用いるか、患者から利用に関する同意を得た要配慮個人情報として提供を受ける必要がある。提供を受けた企業
等では、個人情報に該当しない場合であっても情報の適切な管理体制の下で用いる必要がある。医薬品医療機器等法に基づく臨床試験（治験）に基づくデータ収集・利用・保管は GCP 省令（平成4617 年 厚生労働省令第 36 号）に従う必要がり、個人情報保護法第 16 条 1 項、2 項の適用を受けな
いが、医療・介護関係事業者における個人情報の適切な取扱いのためのガイダンス等に従い、情報の取り扱いには十分な配慮が必要である。
（海外へのデータ送信）
CAD の運用において要配慮個人情報に該当する画像データ等を海外のクラウド等へ送信して処理する場合は、データの管理・処理方法の水準につき国内と同等以上であるかを確認するとともに、海外への送信及び処理に対して患者同意を得る必要があると考えられる。
（市販後学習を行う場合）
市販後学習を行う場合については、開発時と同等の患者同意が必要となる。
（同意の撤回があった場合）
なお、同意が後から撤回された場合、適切に匿名化したのちに取得した当該患者のデータを遡って削除する必要はない。次のように判断できる。
1) 「人を対象とする医学系研究に関する倫理指針ガイダンス」（平成 29 年 5 月 29 日一部改定）
第 12 の 8「同意の撤回」では、『3「当該撤回又は拒否の内容に従った措置」とは、例えば、既に取得した試料・情報の使用停止・廃棄、他機関への試料・情報の提供の差し止め等が想定される。
』との記載がある。
2) 一方、同意の撤回されたデータについては、その受領者がこれを特定することが不可能であり、よってこれだけを削除することができない。同ガイダンスの当該記載は匿名化されたデータまでを意図したものでないと考えられる。
3) 個人情報保護法は、そのようなデータが含まれているデータセットの破棄やデータセットに基づく研究開発の成果物の破棄や差し止めまでを法的に求めているものではない。
（データを用いた成果物の扱い）
深層学習において、学習済みモデルは、学習の結果得られたニューラルネットの重み係数とネット
ワーク構造であるが、重み係数は統計処理した結果であるので個人情報には該当しない。ネット
ワーク構造も同様に個人情報には該当しない。患者の同意が学術研究目的のみであったデータを用いて得られた学術研究の成果物を、製品に利用することが可能であるかについて明確化が図られる
ことが期待される。
学習・評価に用いたデータについて同意撤回があった場合も、そのデータの成果物を遡って修正・削除する、又はその学習モデルを用いた製品又は匿名化されたデータからなるデータベース等の使用停止等の措置は原則的には必要ないと考えられる。
（参考資料）
・ 医療・介護関係事業者における個人情報の適切な取扱いのためのガイダンス（平成 29 年 4 月
14 日通知、個人情報保護委員会事務局・厚生労働省）
・ 「医療・介護関係事業者における個人情報の適切な取扱いのためのガイダンス」に関するＱ＆Ａ（事例集）（平成 29 年 5 月 30 日適用、個人情報保護委員会事務局・厚生労働省）

47

なお、医療ビッグデータの利活用の重要性が認識されるなか、企業等第三者が診療情報を入手する手続きが厳格になったこと、医療機関が匿名加工を行うことが現実的でないこと、診療情報の匿名
加工はその情報の性質によって様々な形態が考えられその判断には高度な専門性を要すると考えられること等から、認定匿名加工業者による匿名加工等を導入した次世代医療基盤法が制定され、平成 30 年 5 月に施行された。今後 AI の開発・性能改善に活用できるデータの提供が望まれる。
Appendix 10. 次世代医療基盤法・臨床研究法の概要と対応
次世代医療基盤法の概要と対応
医療分野の研究開発に資するための匿名加工医療情報に関する法律（平成 30 年施行、以下、次世代医療基盤法）は、「医療分野の研究開発に資するための匿名加工医療情報に関し、国の責務、基本方針の策定、匿名加工医療情報作成事業を行う者の認定、医療情報等及び匿名加工医療情報の取扱いに関する規制等について定めることにより、健康・医療に関する先端的研究開発及び新産業創出を促進し、もって健康長寿社会の形成に資することを目的とする」ものである。
このため、次世代医療基盤法に基づき匿名加工処理されたデータは、個人情報には該当しないもの
ではあるが、取扱いに配慮して扱うべきデータであり、情報入手者は、その情報の提供者が誰であり、いつ入手したかについて、適切に記録を作成し保管する必要がある。
次世代医療基盤法では、基本的には、オプトアウトの申し出がない場合においては、匿名加工業者（認定された匿名加工医療情報作成事業を行う者）により個人情報が除かれた情報であり、研究開
発や製品開発に使用することが可能である。ある時点でオプトアウトの申し出が行われた場合においても、それ以前のデータについては、そのまま利用することが可能である。

臨床研究法の概要と対応
臨床研究法の目的は、「臨床研究の実施の手続、認定臨床研究審査委員会による審査意見業務の適切な実施のための措置、臨床研究に関する資金等の提供に関する情報の公表の制度等を定めること
により、臨床研究の対象者をはじめとする国民の臨床研究に対する信頼の確保を図ることを通じてその実施を推進し、もって保健衛生の向上に寄与することを目的とする。」とされており、研究責
任医師（研究を行う医師等の代表者）は臨床研究実施基準に従い計画書の妥当性を認定臨床研究審査委員会へ図り、承認を得て、計画書を厚生労働大臣へ提出して行うこととなる。
このため、特定臨床研究（医療機器等の性能・安全性を明らかにすることを目的とする研究で、未承認品、適用外の機能を用いるもの又は製造販売業者等からの資金提供を受けて行う医療機器（既承認品を含む）を用いるもの）は基準への遵守義務が、またその他の臨床研究の場合には基準への適用の努力義務が求められている。
医薬品医療機器等法に基づく臨床試験（治験）は臨床研究法の適用を受けない。また、通常の診療行為により得られた情報のみを用いた観察研究については同法の適用を受けない。このため、通常48

の診療において撮影された画像等を用いた研究は同法の適用外となり、この場合は「人を対象とす
る医学系研究に関する倫理指針（平成 29 年文部科学省・厚生労働省告示第 1 号にて改正）」に従
い研究を行う必要がある。
なお、AI 技術の研究や学習のため、通常診療にない制御を医療行為や患者の行動に加える場合は、観察研究に該当しない（臨床研究法の対象となる）可能性があり、注意が必要である。また、該当性の判断については、
厚生労働省の HP（https://www.mhlw.go.jp/stf/seisakunitsuite/bunya/0000163417.html）で公開されている Q&A 及び事例集を参照して判断すること。判断が難しい場合は認定委員会の意見を聴くことが望ましい。

49

この報告書は、平成 30 年度に国立研究開発法人産業技術総合研究所が、国立研究開発法人
日本医療研究開発機構からの委託を受けて実施した成果を取りまとめたものです。

― 禁無断転載 ―平成 30 年度 未来医療を実現する医療機器・システム研究開発事業（医療機器等に関する開発ガイドライン策定事業）
人工知能分野
開発 WG 報告書

連絡先〒100-0004
東京都千代田区大手町 1-7-1 読売新聞ビル 23 階
国立研究開発法人日本医療研究開発機構
TEL：03-6870-2213
FAX：03-6870-2242
URL：http://www.amed.go.jp/

発行〒305-8564
茨城県つくば市並木 1-2-1
国立研究開発法人 産業技術総合研究所 健康工学研究部門
医療機器開発ガイドライン事業実務委員会
TEL/FAX：029-861-7840
E-Mail：md-guidelines@aist.go.jp