ADVNET2023

JGNと５Gを用いた遠隔地手術データ連携とAI解析による地域間医療技術の高水準化のための研究開発
佐藤 生馬1，田村 学2，吉光 喜太郎2，山口 智子3，
藤野 雄一1，村垣 善浩2,3，正宗 賢21公立はこだて未来大学

システム情報科学部
2東京女子医科大学 先端生命医科学研究所
3神戸大学 大学院医学研究科
令和 5年 10月 5日

アジェンダ• 概要と背景および研究目的• JGNや5G環境を活用した術中情報共有システム– JGNを用いた情報共有システム– JGNを用いた情報共有に関する実証実験– ５G環境を用いた情報共有システム– ５G環境を用いた情報共有に関する実証実験– ５G環境を用いた通信に関する考察• まとめ1

研究開発体制• NICT R2～R4の以下の支援により実施– 研究開発課題名：
データ連携・利活用による地域課題解決のための実証型研究開発(第3回）– 副題：
JGNと５Gを用いた遠隔地手術データ連携とAI解析による地域間医療技術の高水準化のための研究開発• 研究代表者：公立はこだて未来大学– 佐藤生馬
– 藤野雄一• 研究分担者：東京女子医科大学– 田村学– 吉光喜太郎(R3年度~)– 山口智子 (R2～R4年度9月)• 研究実施協力者 兼 ビジネスプロデューサー：株式会社NTTドコモ

2

術中情報共有およびAI解析可能な共通プラットフォーム• Hyper SCOTより得られる情報を共有し，リアルタイムにAI解析可能な共通プラットフォームを提案– 高速かつ大容量なJGNや5G環境によるデータ共有・解析– AIにより術中の手術工程や状況の詳細な把握を可能– 遠隔地の熟練医が手術状況を確認とアドバイスが可能

3

脳腫瘍摘出術の現状• 最大限の腫瘍摘出と最小限の合併症リスクを目指した手術が求められている

脳機能脳腫瘍
摘出領域

腫瘍と脳機能局在の位置関係

累積生存者（％）– 脳腫瘍付近の脳機能を含めた腫瘍摘出による術後合併症– 脳腫瘍摘出率と生存率には相関関係[1]ー摘出率≥90%
ー摘出率<90%
術後生存期間(年)[1] Nitta M, Muragaki Y, Maruyama T, Ikuta S, Komori T, Maebayashi K, et al. Proposed therapeutic strategy for adultlow-grade glioma based on aggressive tumor resection. Neurosurg Focus. 2015;38(1):E7. doi:
10.3171/2014.10.FOCUS14651.

4悪性度の高い腫瘍における腫瘍摘出の困難性• 腫瘍が浸潤的に広がり正常組織との境界が不明瞭

変形→正常組織との境界の可視化が必要• 術中に脳の形状が変形する（ブレインシフト）が発生

開頭

術中MRI
術前MRI
ブレインシフトによる脳の形状変形– 腫瘍位置にずれが生じ，脳構造の患者Aの把握が困難
脳機能反応位置→術中の脳構造の可視化が必要• 患者ごとに脳機能位置が異なる– 脳機能部位に個人差→脳機能を考慮した摘出が必要

腫瘍患者Bの脳機能反応位置

患者ごとに異なる脳機能反応位置5悪性度の高い腫瘍における腫瘍摘出の困難性• 腫瘍が浸潤的に広がり正常組織との境界が不明瞭

変形→正常組織との境界の可視化が必要• 術中に脳の形状が変形する（ブレインシフト）が発生

開頭

術中MRI
術前MRI
ブレインシフトによる脳の形状変形– 腫瘍位置にずれが生じ，脳構造の患者Aの把握が困難
脳機能反応位置→術中の脳構造の可視化が必要• 患者ごとに脳機能位置が異なる– 脳機能部位に個人差→脳機能を考慮した摘出が必要
高度医療機器の連携による手術支援と腫瘍 患者Bの脳機能を考慮した脳腫瘍摘出

脳機能反応位置

患者ごとに異なる脳機能反応位置6Hyper Smart Cyber Operating Theater (SCOT ®)[2]• 高度医療機器の連携による手術支援– オープンMRI• ブレインシフトや残存腫瘍の確認– 手術ナビゲーション• 腫瘍・術具位置の可視化– 4K立体ビデオ顕微鏡– 生体情報モニタ

オープンMRI

オープンMRI手術ナビゲーション

4K立体ビデオ顕微鏡

手術ナビゲーション[2]岡本ら，” Hyper SCOTが創造する最先端情報誘導下外科手術 “, 技術情報誌 MEDIX VOL.70:20-24 2020

手台ロボット4K立体ビデオ顕微鏡 7

Hyper Smart Cyber Operating Theater (SCOT ®)[2]• 高度医療機器の連携による手術支援

オープンMRI

手術ナビゲーション– オープンMRI• ブレインシフトや残存腫瘍の確認
様々な医療機器のデータを時間同期して記録・– 手術ナビゲーション
表示・配信が可能となりAI医療開発へ応用• 腫瘍・術具位置の可視化– 4K立体ビデオ顕微鏡
4K立体ビデオ顕微鏡

手台ロボット–
生体情報モニタ
AI医療実現のため高速かつ高信頼なネットワークによる膨大な術前・術中・術後情報の共有および解析可能な環境が必要
オープンMRI

手術ナビゲーション[2]岡本ら，” Hyper SCOTが創造する最先端情報誘導下外科手術 “, 技術情報誌 MEDIX VOL.70:20-24 2020

4K立体ビデオ顕微鏡 8

覚醒下脳機能マッピング• 覚醒下脳機能マッピング– 術中に患者を覚醒させ，電極を用いて脳を電気刺激– 誘発・抑制された反応を観察することで脳機能の種類およびその位置を同定• 熟達した技能が必要– どこを刺激するか？
• 皮質（脳表面）• 白質（脳内部）– 観察された反応をどう解釈するか？
– 得られた脳機能位置から摘出領域をどう定めるか？

IEMAS(Intraoperative Examination Monitor for Awake
Surgery：)を用いた覚醒下脳機能マッピングの例 9覚醒下脳機能マッピング• 覚醒下脳機能マッピング– 術中に患者を覚醒させ，電極を用いて脳を電気刺激– 誘発・抑制された反応を観察することで脳機能の種類およびその位置を同定• 熟達した技能が必要– どこを刺激するか？
脳機能付近における腫瘍摘出は• 皮質（脳表面）
熟練医の手技や判断（暗黙知）に依存• 白質（脳内部）– 観察された反応をどう解釈するか？
熟練医以外の手術スタッフにも手術の正確な– 得られた脳機能位置進捗を把握するには熟練の知識・経験が必要から摘出領域をどう定めるか？
IEMASを用いた覚醒下脳機能マッピングの例

10

脳腫瘍摘出術における課題• 最大限の腫瘍摘出と最小限の術後合併症の両立が求められる

脳神経束
脳腫瘍

– 正常脳の損傷による術後合併症発生のリスク– 腫瘍の位置や脳機能位置には個人差• 覚醒下手術による脳機能位置の同定– 悪性度の高い腫瘍は摘出が困難

脳神経束と脳腫瘍• 脳神経や血管と複雑に絡み合っている• 腫瘍の増殖による浸潤で形状が複雑化• 摘出領域の判断には熟練医の知識と経験に基づいた高度な判断が必須

術中の脳機能同定熟練医でも判断に迷う症例などがあり，意思決定のためのアドバイスが必要となる場合もある
11

SCOT ®と手術戦略デスク• 脳腫瘍摘出術では執刀医には熟練の知識と経験に基づいた高度な判断が必要• 熟練医によるモニタリングと必要に応じたアドバイスが可能な手術戦略デスク– 術中状況を可視化可能

熟練医

手術戦略デスク• 熟練医は多忙であり出張等も多いという課題もある

12

SCOT ®と手術戦略デスク• 脳腫瘍摘出術では執刀医には熟練の知識と経験に基づいた高度な判断が必要• 熟練医によるモニタリングと必要に応じたアドバイスが可能な手術戦略デスク– 術中状況を可視化可能

熟練医

手術戦略デスク• 熟練医は多忙であり出張等も多いという課題もある

遠隔地からオンデマンドに所望の手術状況や術中情報を取得可能な環境が望まれている
4K映像および術中情報の共有可能な高速かつ高信頼なネットワークが必要13

未来予測手術：腫瘍摘出領域の判断を支援• 多くの過去症例を解析し、科学的根拠となる過去症例データベースを構築• 摘出予定領域に対して術後生存率と術後合併症発生確率を提示• 術後合併症を考慮した腫瘍摘出領域の判断を支援

14

未来予測手術：腫瘍摘出領域の判断を支援• 摘出予定領域に対して術後生存率と術後合併症発生確率を提示

脳溝情報

生存率: 90%
合併症発生確率
A: 10%
B: 10%
C: 3%
D: 2%
生存率: 60%
過去症例のデータから合併症発生確率
作成した標準脳の例
未来予測手術の実現には科学的根拠となる
A: 0%
解析済みの過去症例のデータベースが必要
B: 0%
機能領域：A, B, C, D
C: 0%
D: 0%

データベース構築のため膨大な術前・術中・術後情報の収集・解析・共有可能な環境が必要

15

使用可能な高速かつ広帯域なネットワーク• SINET• JGN– SDN対応ネットワークRISE• 帯域確保型専用線サービス• 5G環境– 5G公衆網– 5G閉域接続サービス• ドコモオープンイノベーションクラウド 「クラウドダイレクト」

16

ドコモオープンイノベーションクラウド®
• クラウドダイレクト– ドコモオープンイノベーションに低遅延・高セキュリティ接続可能なオプションサービス• クラウドダイレクトの特長– ネットワークの伝送遅延の低減を実現するMEC• MEC: Multi‐access Edge Computing– セキュリティの高い通信を実現する閉域アクセス– モバイル回線の接続先を変更できる「ネットワーク・オン・デマンド」*ドコモオープンイノベーションクラウド®, https://www.nttdocomo.co.jp/biz/service/doic/

17

使用可能な高速かつ広帯域なネットワーク• SINET• JGN– SDN対応ネットワークRISE• 帯域確保型専用線サービス• 5G環境– 5G公衆網– 5G閉域接続サービス• ドコモオープンイノベーションクラウド 「クラウドダイレクト」

高速・広帯域・高信頼な実験環境を構築可能な
JGNおよび5G環境を選択
18

研究目的
• JGNや5Gを用いてHyper SCOTより得られる情報を各病院や研究機関と接続および共有し，解析可能な共通プラットフォームの実現– 各SCOTから取得した情報をビッグデータとして蓄積・共有– AIを用いた手術工程解析や画像解析などの実現• 術中の手術工程や状況の詳細を把握可能• 熟練医の技術の可視化により若手医師の技術向上が可能– 遠隔地の熟練医が手術状況を確認とアドバイスが可能

19

JGNや5G環境を活用した術中情報共有システム概要• JGNと閉域5G環境下で女子医大と未来大学間を通信可能な情報共有システムを構築– 各SCOTから取得した情報をビッグデータとして蓄積・共有– 手術工程および画像解析AIの開発や教育支援に利活用– 遠隔地の熟練医が手術状況を確認とアドバイスが可能

20

術中情報共有システム上のAI解析機能概要• 手術工程解析用AI– 手術の状況・進捗を把握可能– 顕微鏡動画解析
 手術状況共有による効率化
 遠隔地から容易に手術の状況を把握
 若手医師の技術向上• 画像解析用AI– MRI画像のセグメンテーション
 手術工程解析への利用
 ナビゲーションなどへの応用 過去症例の統計的解析に応用
解析データを術中情報へ投影，
 術前情報などを術中情報へ投影 過去症例を統計的に解析した
未来予測手術用解析データ
機能位置を推測21

JGNや5G環境を活用した術中情報共有システム• JGNを用いた情報共有システム• JGNを用いた情報共有に関する実証実験• ５G環境を用いた情報共有システム• ５G環境を用いた情報共有に関する実証実験• ５G環境を用いた通信に関する考察

22

JGNを用いた情報共有システム• 未来大学にデータ共有・制御用サーバ– 匿名化済みデータベースサーバの術中情報の可視化が可能– サーバー上で手術工程解析用AIや画像解析用AIを実装• 女子医大に匿名化済みデータベースサーバと戦略デスク– 術中情報中の患者名や年齢を匿名化• JGN上のSDNコントローラ(ONOS)とSDN対応スイッチ– インターネットには接続されていないローカルネットワーク– MACアドレスやIDとパスワードでセキュリティーを担保

情報共有制御ソフトウェア

23

JGNを用いた情報共有システム

24

JGNを用いた情報共有システム• 未来大学にデータ共有・制御用サーバ– 匿名化済みデータベースサーバの術中情報の可視化が可能– サーバー上で手術工程解析用AIや画像解析用AIを実装• 女子医大に匿名化済みデータベースサーバと戦略デスク– 術中情報中の患者名や年齢を匿名化• JGN上のSDNコントローラとSDN対応スイッチ– インターネットには接続されていないローカルネットワーク– MACアドレスやIDとパスワードでセキュリティーを担保

情報共有制御ソフトウェア

25

JGNを用いた情報共有に関する実証実験 (1/2)• 総合的なデータ送信の遅延やパケットロスを評価– OBSを用いたストリーミングによる動画配信• NTPサーバをLAN内に設置して時間を同期– 女子医大で4k動画の取得（画面キャプチャ）→エンコード→送信→未来大で受信→4k動画表示
東京女子医科大学

東京女子医科大学病院
スマート治療室（SCOT）JGNスイッチ

スイッチ

匿名化（オフライン）

OPeLiNKサーバ
医療機器

はこだて未来大学

術中情報取得PC

OPeLiNK形式
データサーバ戦略デスク

先端生命医科学研究所

システム情報科学部

26

JGNを用いた情報共有に関する実証実験 (2/2)• 総合的なデータ送信の遅延やパケットロスを評価– OBSを用いたストリーミングによる動画配信• NTPサーバをLAN内に設置して時間を同期– 女子医大で4k動画の取得（画面キャプチャ）→エンコード→送信→未来大で受信→4k動画表示• 女子医大モニタには4k戦略デスク動画とシステムタイムを表示• 未来大モニタには受信した動画とシステムタイムを表示– エンコードはNVIDIAのNVENCによるH.265– パケットをキャプチャして解析• 実験結果– 4k配信は45Mbps，0.51秒の遅延で配信可能
 セキュリティが担保されつつ十分な速度でデータ共有や手術映像の配信が可能であり，手術支援に有用であると考えられる
27

５G環境を用いた情報共有システム• 閉域5Gを用いた情報共有システムを構成，情報共有時のセキュリティを担保– 匿名化済みデータベースサーバの術中情報の可視化が可能– ドコモオープンイノベーションクラウド 「クラウドダイレクト」• ネットワークの伝送遅延の低減を実現するMEC• セキュリティの高い通信を実現する閉域アクセス– SIMによりアクセス制御• モバイル回線の接続先を変更できる「ネットワーク・オン・デマンド」

28

５G環境を用いた情報共有に関する実証実験• 総合的なデータ送信の遅延やパケットロスを評価– OBSを用いたストリーミングによる動画配信• NTPサーバをLAN内に設置して時間を同期– 女子医大で4k動画の取得（画面キャプチャ）→エンコード→送信→女子医大で受信→4k動画表示 (1.47秒の遅延)• 女子医大モニタには4k戦略デスク動画とシステムタイムを表示• 情報取得PCモニタには受信した動画とシステムタイムを表示– エンコードはNVIDIAのNVENCによるH.265

29

５G環境を用いた情報共有に関する実証実験• 総合的なデータ送信の遅延やパケットロスを評価– OBSを用いたストリーミングによる動画配信• NTPサーバをLAN内に設置して時間を同期– 女子医大で4k動画の取得（画面キャプチャ）→エンコード→送信→未来大で受信→4k動画表示• 女子医大モニタには4k戦略デスク動画とシステムタイムを表示• 未来大モニタには受信した動画とシステムタイムを表示– エンコードはNVIDIAのNVENCによるH.265

30

1-3: ５G環境を用いた情報共有に関する実証実験• 実験結果– 女子医大と未来大学間のスループットは94.9Mbits/s，遅延は平均77.9ms– 4k配信は45Mbps，1.51秒の遅延で配信可能

31

５G環境を用いた通信に関する考察 (1/2)• 女子医大と未来大で上りと下り区間の2か所で無線(5G)– 無線区間を2か所通ることから，パケット往復時間が大きくなる– 現状では，遅延は30ms以内は困難であり，映像の品質を担保するために，遅延を許容しバッファを大きくするほうが良い• ドコモクラウド内での処理や，ベストエフォート型のため周辺の使用状況により通信速度や帯域に影響• 5Gの基地局の性能により通信速度に差がある– ミリ波対応エリア内（女子医大）:
受信時最大4.1Gbps / 送信時最大480Mbps– Sub6エリア内（未来大）:受信時最大3.4Gbps / 送信時最大218Mbps– 5G SA（Standalone）により，今後はより高速に通信可能
受信時最大4.9Gbps / 送信時最大1.1Gbps

32

５G環境を用いた通信に関する考察 (2/2)• どこでも簡易に専用線に接続可能であり，医療情報へのアクセスや遠隔手術支援等には有用– 複数拠点との接続も容易に可能– 移動型の手術室(モバイルSCOT)との通信などが特に有効• 遅延があるため，遠隔手術などには最適ではない– 熟練の外科医は遅延へのなれにより対応した手術も可能– ソフトウエアのUI部分も遅延を考慮した操作性が必要• 定期的な遠隔から診断や手術支援の場合は，クラウド
ダイレクトと手術室を専用線で接続するのが望ましい– 上りと下り区間の2か所の無線による遅延– 送受信の両方でパケットの費用がかかる• クラウドダイレクト内にデータベースおよびGPUサーバを設置することにより，通信や処理の高速化が可能
33

まとめ• JGNと５Gを用いた遠隔地手術データ連携とAI解析による地域間医療技術の高水準化のための研究開発のネットワーク部分を紹介– JGNや閉域５G環境を用いて，SCOT より得られる術中情報を共有可能な術中情報共有システムを構築• 匿名化した術中情報の蓄積と共有を実現• 取得した術中情報を遠隔地から確認可能• 今後は，これらの研究成果を用いた手術支援システムや未来予測手術技術の確立を目指す＊本研究成果は，国立研究開発法人情報通信研究機構の委託研究により得られたものである(R2~R4)

34