2021/2/3 計算生命科学の基礎Ⅶ

AIの医療応用における規制・責任・品質論
産業技術総合研究所
鎮西清行
AI = Artificial Intelligence，人工知能．ここでは機械学習によるもの
ML = Machine Learning, 機械学習．Deep learning, support vector machineなど
CAD = Computer Assisted Diagnosis，コンピュータ画像診断支援（システム）© K. Chinzei, AIST / CC 4.0 BY-SA

櫻井靖久先生の夢 (1980s)© K. Chinzei, AIST / CC 4.0 BY-SAMR Compatible robotics

By Dr. Kirby Vosberg; an early dream of intraoperative imaging and therapy© K. Chinzei, AIST / CC 4.0 BY-SAY. Koseki et.al., "Endoscope Manipulator for Trans-nasal Neurosurgery, Optimized for andCompatible
VerticalField
OpenMRI", Proc. of MICCAI 2002, Part I, pp. 114-121, 2002
© K.toChinzei,AIST/ CC 4.0
BY-SA

手術ロボットの安全性規格
IEC/SC 62D/JWG 35
プロジェクトリーダー
FDA recognizedconsensus standard© K. Chinzei, AIST / CC 4.0 BY-SA+⬇

© K. Chinzei, AIST / CC 4.0 BY-SA日本の承認件数は19件

日本での承認例は全てCAD（画像診断支援）だが，応用の拡大が予想される
承認年月
2017/1
2018/2
2018/3
2018/42018/62018/122019/92020/6

品目名（企業）承認国 概要Caldio DL(Arterys Inc.)
ContaCT(Viz. AI.)
Acumen HPI(Edwards Lifescience)
IDx-DR(IDX LLC)騰訊覓影（テンセント）
EndoBRAIN
サイバネットシステム（株）
EIRL aneurysm
エルピクセル（株）
InferRead CT Pneumonia（株）CESデカルト

米国

深層学習を用いて心臓MRI画像を分析する

米国

脳大血管の塞栓疑いを検知する

米国

手術中の低血圧症を発症前に警告する

米国

網膜画像から糖尿病による網膜症を診断する，世界初の自動診断システム

中国

人工知能診断補助機能

日本

Vector Support Machineによる超拡大内視鏡CAD

日本

深層学習を用いた初の国内開発CAD

日本

COVID-19肺炎の診断機能を持つCAD© K. Chinzei, AIST / CC 4.0 BY-SA

EndoBRAIN• EndoBRAINは大腸内視鏡で得られた大腸粘膜のポリープの画像を解析し、人工知能（AI）を用いて非腫瘍・腫瘍の存在確率を出力することで、大腸内視鏡検査における病理診断予測を支援するソフトウェアです。

© K. Chinzei, AIST / CC 4.0 BY-SA

IDx-DR• 「世界初のAIベースの自律診断」– 2018年4月に米国FDA認可（国内未承認）– 糖尿病の診断を受けた患者の眼底画像を入力として、糖尿病性網膜症の症状の程度を判定して、専門医の診察を受けるべきか１年後に再検査を受けるかのいずれかの指示を出力する。
– かかりつけ医(PCP)が用いることを想定© K. Chinzei, AIST / CC 4.0 BY-SA

ML応用医療システムの段階• MLを分類器として利用する
場合だけでも様々な状況がある

既存の医療行為との類似性

既存の医療機器との類似性

Exありあり• 放射線画像CADありなし• 病理診断CAD• インフルエンザ濾胞CADなしなし• スマートウォッチによる AF予知
• パンデミック予報• 既存の機器，既存の医療行為と類似性の低いMLをどう評価して，どう医療に受け入れるか？
© K. Chinzei, AIST / CC 4.0 BY-SA

ML応用医療システムの技術・制度課題
薬事・品質管理

ML/DLの技術挑戦

ML応用
医療システム

データ・モデルの所有権© K. Chinzei, AIST / CC 4.0 BY-SA

市販後学習

責任の所在

データの扱い
個人情報保護ML応用医療機器に関する評価指標・開発GL
AI-CAD評価指標• 人工知能技術を利用した医用画像診断支援システムに関する評価指標（薬生機審発0523第2号別添4 令和元年5月23日）
AI-CAD開発GL• 医用画像診断支援システム（人工知能技術を利用するものを含む）開発ガイドライン（手引き）（2019年12月公表）© K. Chinzei, AIST / CC 4.0 BY-SA

AI-CAD評価指標

AI-CAD開発GL• AI-CADの有効性と安全性を評価する際の，問題点や留意すべき点• 承認申請内容等に関して拘束力を有するものではない• AI-CADの設計・開発管理
プロセス(JIS T2304)の中でAI-CAD評価指標が指摘する点をどう実装するかの考え方• 代表的な試験方法• 想定読者– PMDA審査官– 製造販売業者（メーカー）© K. Chinzei, AIST / CC 4.0 BY-SA– 交差検定法など• 想定読者– CADを開発する者– 市販後学習させる者

データ• データの分類– 学習データ・バリデーションデータ：開発段階– テストデータ：性能評価段階

テストデータ：テスト目的で収集 → 高品質デタ
学習・バリデーションデータ：テストデータと同じ厳密さは不要• 原則– テストデータを学習に使ってはいけない（カンニング）• ただしDLアルゴリズムは，テストすると学習してしまう．
– テストデータを学習のプロセスから完全に切り離して管理© K. Chinzei, AIST / CC 4.0 BY-SA

データの品質管理
• 信頼性

– 品質
– サイバーセキュリティ
完全性・真正性・可用性• コンプライアンス– 個人情報保護法– 次世代医療基盤法 etc• SOUPアイテム (JIS T2304)（開発過程が不明なソフトウェア）
学習データ及び学習済みモデルを、SOUPアイテムと同様の条件下に扱うことができる．その場合も要求事項あり．

© K. Chinzei, AIST / CC 4.0 BY-SA• ネット上の医用画像• 医用画像でない画像• 正解ラベル（診断結果など）の不確かなデータ• 線形変換した画像• 生成した人工画像• 誰かが作成したネット上の学習済みモデル• 転移学習• 教師なし学習
etc
AI構築可能設計・開発管理プロセス
意図する使用目的等 (4.2①i)

設計開発の妥当性確認(4.2⑧)• 検査の位置付け• CADの位置付け• 検査数、専門医の人数 ...

• ML特有の手法の妥当性（転移学習等）• テストデータの選択の妥当性• 意図する用途に対する妥当性確認

データの明確化 (4.2②iii)• 自然画像（初期学習）• 臨床画像／ラベル 性能の明確化 (4.2②v)• 数、取得方法 ...
• 感度・特異度の目標• 統計的安定性の目標 ...

性能要求の検証 (4.2④iii)• 感度・特異度• 統計的安定性 ...

アーキテクチャ (4.2③)• 処理フロー実装• 学習方法実装 ...
© K. Chinzei, AIST / CC 4.0 BY-SAAIに関するリスクの評価
AI医療システムの導入がもたらすリスクの大小は，AIのレベルに相関するとは... 限らない
• 新たなハザードは... 増えません．
• 危険状態に至るシナリオが複雑化する．
• 危害の重大さと発生確率が変化する．
（リスク＝危害の重大さと頻度の組み合わせ）• 自律能の高低は，それがもたらすリスクの大小に直結しない(IEC TR 60601-4-1)© K. Chinzei, AIST / CC 4.0 BY-SA

ML応用医療システムの技術・制度課題
薬事・品質管理

ML/DLの技術挑戦

ML応用
医療システム

データ・モデルの所有権© K. Chinzei, AIST / CC 4.0 BY-SA

市販後学習

責任の所在

データの扱い
個人情報保護市販後学習により性能変化するもののうち製造販売業者が品質管理困難なものは除外• 例えば、– 使用者が市販後学習させることにより，施設ごとに異なる性能変化が生じ得るもの• 「解決すべき事項が数多く存在」– 品質管理：まちまちに学習したものを製造販売業者がどう品管する？
– 不具合対応：全回収？
– 異なる性能→ 一品目一承認の原則が...
– 機器の性能変更 → 一変対象？
• ネットワークのハイパーパラメータ(層数、特徴マップ数、畳み込みのフィルタサイズ、ユニット数等)の更新は？

© K. Chinzei, AIST / CC 4.0 BY-SA

市販後学習による性能変化
性能• 従来的なプログラムは性能変化しない

アップデート→一変t

市販開始• DLは学習し続ける– 性能向上するとは限らない– QAを連続的にやる技術？

→ 一変できるか？
段階的に一変？
→ 迅速さが不十分→ どれくらいの頻度で？
© K. Chinzei, AIST / CC 4.0 BY-SA• 改正薬機法
医療機器の変更計画の確認制度 (IDATEN)

医療機器プログラムの一変・軽変

要軽変© K. Chinzei, AIST / CC 4.0 BY-SA
https://www.pref.kyoto.jp/yakumu/documents/kouen1.pdf

医療機器プログラムの一変・軽変

一変軽変不要© K. Chinzei, AIST / CC 4.0 BY-SA
https://www.pref.kyoto.jp/yakumu/documents/kouen1.pdf

一変制度とAIの恒常的学習・性能変化• 一変制度– 変更部分につき，資料を添付して申請– よければ承認（認証）– 数ヶ月– 怠れば薬機法違反• AIの恒常的学習・性能変化…

– １回データを入力すると，状態変化– 性能が変わる可能性→無届けの性能変化であり，薬機法違反？！

© K. Chinzei, AIST / CC 4.0 BY-SA

恒常的性能変化の品質管理上の課題• 性能変化が性能向上を必ずしも意味しない。

– データの大多数が正常症例→過学習で検出性能低下する可能性• 施設ごとに学習→異なる性能– 製造販売業者がどのように品質管理して、製造販売業者としての責任を果たすか。
– 不具合が発生した場合，どの「個体」が不具合対応の対象となるかをどう判断するか。

• 施設ごとに学習して、異なる性能を持つに至ったものは果たして同一品目と言えるのか。

© K. Chinzei, AIST / CC 4.0 BY-SA

医療機器の変更計画の確認(IDATEN)制度
IDATEN = Improvement within Approval for Timely Evaluation and Notice• AI技術を応用する医療機器プログラムのように、市販後に恒常的に性能変化する場合に，

1. 性能変化の許容範囲、性能変化の方法・プロセス、性能確認の判定基準、品質担保の方法に関する変更計画を審査の過程で確認する。
2. 承認条件を付して承認する。
3. 変更計画の範囲内であれば、一部変更申請によらない軽微変更届により市販後性能変化可能とする。

© K. Chinzei, AIST / CC 4.0 BY-SA

ML応用医療システムの技術・制度課題薬事・品質管理

ML/DLの技術挑戦

ML応用
医療システム

データ・モデルの所有権© K. Chinzei, AIST / CC 4.0 BY-SA

市販後学習

責任の所在

データの扱い
個人情報保護「責任の所在」
AIを用いた診断・治療支援を行うプログラムを利用して診療を行う場合についても、診断、治療等を行う主体は医師であり、医師はその最終的な判断の責任を負うこととなり、当該診療は医師法（昭和23年法律第201号）第17条の医業として行われるものであるので、十分ご留意をいただきたい。
– 厚生労働省医政局医事課長通知「人工知能（AI）を用いた診断、治療等の支援を行うプログラムの利用と医師法第17条の規定との関係について」（医政医発1219第1号平成30年12月19日）• Accountability = 最終的な判断の責任• Responsibility = 医師と医療機器メーカーの責任分限の暗黙の約束© K. Chinzei, AIST / CC 4.0 BY-SA

医行為とは？
• 医師法第17条
医師でなければ、医業をなしてはならない。
• 看護師等が診療の補助として実施できる行為は例示© K. Chinzei, AIST / CC 4.0 BY-SA「オンライン診療の適切な実施に関する指針」（厚生労働省, H30/3）

ML応用医療システムの技術・制度課題
薬事・品質管理

ML/DLの技術挑戦

ML応用
医療システム

データ・モデルの所有権© K. Chinzei, AIST / CC 4.0 BY-SA

市販後学習

責任の所在

データの扱い
個人情報保護「個人情報保護」• AI-CAD開発GL Appendix 9• 診療情報は要配慮個人情報 →患者の同意– ML技術を用いた医療機器の学習に用いること– 学習結果を製品に適用すること，等• 学術研究の場合の適用除外条項（同法76条）– 製品開発には適用されない– 臨床研究法，倫理指針は，研究であっても同意を要請
日本
独仏© K. Chinzei, AIST / CC 4.0 BY-SA「学術研究」vs.「商業利用」「医学研究」vs.「通常診療」

個人情報保護：同意撤回があった場合
医療機関•同意取得，適切に匿名加工されたデータを取得，学習に使用

x

IC 個人情報

同意取得，要配慮個
人情報としてデータを取得，学習に使用

適切な匿名加工匿名化
個人情報DB

ML

モデル

構築した
モデルは
「個人情報」ではない→ どれだかわからない → データ・モデル廃棄不要→患者が同意撤回•

開発者

xIC 個人情報→患者が同意撤回© K. Chinzei, AIST / CC 4.0 BY-SA

ガイドラインでは想定しなかったケースx

要配慮
個人情報DB→ データ廃棄

x

テスト
データML

モデル

構築した
モデルは
「個人情報」
ではない→ モデル廃棄不要（多分）テストデータが開発の途中で変わるのは，避けた方がいい

ML応用医療システムの技術・制度課題
薬事・品質管理

ML/DLの技術挑戦

ML応用
医療システム

データ・モデルの所有権© K. Chinzei, AIST / CC 4.0 BY-SA

市販後学習

責任の所在

データの扱い
個人情報保護医療情報の「所在と所有権」• 所在：医療機関• 所有権：患者• 医療機器メーカーは両方とも無し→ 次世代医療基盤法

2020/12/15報道 「NTTデータ・ファイザー・ライ
フデータイニシアティブ、医療ビッグデータ活用によるがん患者臨床アウトカム評価の研究開始」→ 産学連携© K. Chinzei, AIST / CC 4.0 BY-SA「医師のDIY」• 医師がCADを自作して自ら用いる場合→ 薬機法の直接の対象ではない「品質管理」• AI-CAD開発GL 第7章

ソフトウェア、データセットをダウンロードすることで医師がAI技術を使ったCADプログラムを自作することも技術的には可能となっている。 （中略） 医師がCADを自作して自ら用いる場合は、これらの臨床倫理、法令の趣旨等に沿うべきであり、更に、本ガイドラインを参考に設計開発プロセスを実施・記録し、CADの開発プロセスの妥当性を担保することが望まれる。

© K. Chinzei, AIST / CC 4.0 BY-SA

医療情報以外のデータ
手術ロボの動作ログは誰のもの？
• 動作ログは宝の山• 動作ログにアクセスできるのは
da Vinci Research Kit (dVRK)– 同社の審査を経てNDAを結ぶ– 旧世代のda Vinci（非臨床用）– 非営利研究であること©2020 Intuitive Surgical, Inc.

© K. Chinzei, AIST / CC 4.0 BY-SA• 国内に2020/1現在dVRK契約なし

Hinotori + MINS
• メディカロイド Hinotori– ダビンチ後発– 2020/08承認, 2020/12/14初臨床• MINS– オプティム・メディカロイド
– 手術情報のオープンプラットフォーム• 手術ロボットの各種センサー• 内視鏡映像• 手術室映像等© K. Chinzei, AIST / CC 4.0 BY-SAGMLP・サイバーセキュリティ• FDA: AI/ML-Base SaMD Action Plan– Jan, 2021
– Good Machine Learning Practice(GMLP)• IMDRF: Principles and Practices
for Medical Device Cybersecurity– May, 2020
– MLのためのデータ収集にも影響• 日本発のAI医療機器は対応急務！
© K. Chinzei, AIST / CC 4.0 BY-SA

ML応用医療システムの技術・制度課題
薬事・品質管理市販後学習

評価指標・ガイドライン
FDA Guidance・IMDRF

ML応用
医療システム

ML/DLの技術挑戦

Explainable AI
連続的なQA技術

データ・モデルの所有権???

© K. Chinzei, AIST / CC 4.0 BY-SA

IDATEN

責任の所在

データの扱い
個人情報保護

社会合意

モデルは個人情報でない