Title
Sub Title
AuthorPublisher
Publication year
JtitleJaLC DOI
AbstractNotes

GenreURL

内視鏡下経外耳道的内耳道手術に向けた拡張現実 (AR) による危険部位表示システム
AR-navigated transcanal endoscopic inner ear sugery
小川, 郁(Ogawa, Kaoru)
藤岡, 正人(Fujioka, Masato)
小澤, 宏之(Ozawa, Hiroyuki)
疋島, 啓吾(Hikishima, Keigo)
畑, 純一(Hata, Jun'ichi)
岡野, ジェイムス洋尚(Okano, James Hirotaka)
2020
科学研究費補助金研究成果報告書 (2019. )頭蓋骨模型を用いて (1) 内視鏡のレンズパラメータ・3次元位置姿勢情報と (2)施術対象の形状情報を収集し (3) それをモニタ内の拡張現実環境で表示する座標変換を達成した。
(2) に際しては模型にメルクマールを付加した上で、コンビームCT で撮像し、3次元再構成を行ったコンピュータグラフィックスモデルに対して、危険部位を想定したアノテーションを行い内視鏡映像に重畳した。これらの結果については知的財産の確保の上で、実用化研究へと進めていく予定である。
Using a skull model, we developed a protocol for (1) collecting lens parameters, 3D position /orientation information of the endoscope, shape information of the model (2) exchanging spacial
information into the 2D-based augmented reality field and (3) display calculated environment in themonitor. For collecting spatial information of the model, the image was taken with ConBeam CT
after adding Mercur physically and the computer graphics model was reconstructed in 3D. did. We
are planning to proceed with practical research after securing intellectual property of the above
mentioned protocol.
研究種目 : 挑戦的研究 (萌芽)研究期間 : 2017～2019
課題番号 : 17K19732
研究分野 : 耳鼻咽喉科
PDFファイルは改訂版に差し替え (2022.3.15)
Research Paper
https://koara.lib.keio.ac.jp/xoonips/modules/xoonips/detail.php?koara_id=KAKEN_17K19732seika

慶應義塾大学学術情報リポジトリ(KOARA)に掲載されているコンテンツの著作権は、それぞれの著作者、学会または出版社/発行者に帰属し、その権利は著作権法によって保護されています。引用にあたっては、著作権法を遵守してご利用ください。
The copyrights of content available on the KeiO Associated Repository of Academic resources (KOARA) belong to the respective authors, academic societies, orpublishers/issuers, and these rights are protected by the Japanese Copyright Act. When quoting the content, please follow the Japanese copyright act.

Powered by TCPDF (www.tcpdf.org)

３版

様式

Ｃ−１９、Ｆ−１９−１、Ｚ−１９ （共通）

科学研究費助成事業

研究成果報告書
令和

３ 年 １０ 月 ２２ 日現在

機関番号： ３２６１２
研究種目： 挑戦的研究（萌芽）研究期間： 2017 〜 2019
課題番号： １７Ｋ１９７３２
研究課題名（和文）内視鏡下経外耳道的内耳道手術に向けた拡張現実(AR)による危険部位表示システム

研究課題名（英文）AR‑navigated transcanal endoscopic inner ear sugery

研究代表者
小川郁（OGAWA, Kaoru）

慶應義塾大学・医学部（信濃町）・教授

研究者番号：００１６９１７９
交付決定額（研究期間全体）：（直接経費）

5,000,000 円

研究成果の概要（和文）：頭蓋骨模型を用いて(1)内視鏡のレンズパラメータ・3次元位置姿勢情報と(2)施術対象の形状情報を収集し(3)それをモニタ内の拡張現実環境で表示する座標変換を達成した。(2)に際しては模型にメルクマールを付加した上で、コンビームCT で撮像し、3次元再構成を行ったコンピュータグラフィックスモデ
ルに対して、危険部位を想定したアノテーションを行い内視鏡映像に重畳した。これらの結果については知的財産の確保の上で、実用化研究へと進めていく予定である。

研究成果の学術的意義や社会的意義
光学デバイスや専用器具の登場により近年一分野として確立した内視鏡下耳科手（TEES）は、ここ数年、国内外で急速な普及期を迎えつつある。本研究では海外で行われつつあるTEESでの内耳道手術をより安全に行うことを最終目標に、内視鏡画面上に拡張現実（AR）として解剖学的危険部位を投影するシステムの樹立を目指している。
海外で行われている内視鏡下内耳道手術では顔面神経損傷の頻度が高く、優れた成績を有する施設でも約10％以上の頻度で術後顔面神経麻痺を生じている。本研究はプロトタイプ研究として頭蓋骨模型を用いて鼻副鼻腔での開発を行ったが、今後は時空間的精度を向上させ、中耳・側頭骨領域にも展開していきたい。
研究成果の概要（英文）：Using a skull model, we developed a protocol for (1) collecting lensparameters, 3D position / orientation information of the endoscope, shape information of the model(2) exchanging spacial information into the 2D‑based augmented reality field and (3) display
calculated environment in the monitor. For collecting spatial information of the model, the image
was taken with ConBeam CT after adding Mercur physically and the computer graphics model wasreconstructed in 3D. did. We are planning to proceed with practical research after securing
intellectual property of the above mentioned protocol.

研究分野： 耳鼻咽喉科
キーワード： 耳科学

拡張現実

内視鏡下耳科手術

顔面神経麻痺

※科研費による研究は、研究者の自覚と責任において実施するものです。そのため、研究の実施や研究成果の公表等については、国の要請等に基づくものではなく、その研究成果に関する見解や責任は、研究者個人に帰属します。

様式 Ｃ−１９、Ｆ−１９−１、Ｚ−１９（共通）１．研究開始当初の背景
最先端医療の進歩は常にデバイスの進歩とそのためのソフトウェアを伴う。研究代表者の小川が専門領域としている耳科手術の中で、とくに内視鏡下耳科手術（TEES）はハードウェア面での進歩により急速に発展をしてきた分野だが、従来の手術アプローチとは異なる角度・視野角で術野 が展開されるため、安全な手術操作の展開には TEES に特化した解剖学的理解を要する。
分担者の藤岡は、岡野(慈恵医大)、畑(理研 BSI)、疋島(沖縄科学技術大学院大学)らと 5 年来に渡って 精細な側頭骨画像の撮像法の開発とその画像展開を行い、神経走行と血管を次世代拡散テンソル MRI によって精細に描出して高解像度 CT 画像と fusion させたものをコンピュータ画像上で 3 次元的に展開するシステムを展開してきた。これは位置情報を術前に仮想現 実、いわゆる virtual reality (VR)として提示して、手術に役立てるアプローチであ り、VR によって提示した術前情報を元に「術者のアタマの中」にあらかじめ「仮想世界」を構築することを手助けして、それに対応して「術野＝現実」で作業をしているとも言い換えられる。 他方、近年のコンピュータ画像処理の高速化により、ポケモン GO に代表されるよう、現実空間上への仮想世界の展開がリアルタイムで行えるようになっていた。他分野に目を向けると、主に眼鏡などのウェアラブル端末の普及は、ジェットコースターなどの疑似体験、広告やイベントで の展示（自動車、ファッションショーなど）、家具や自動車の色塗替えシミュレーション（IKEA、マツダ、メルセデス）、機体整備訓練（JAL）など、ここ１〜２年で急速に商用応用されている。 これらの背景を元に、申請者は従来の仮想現実（VR）によるアプローチから一歩進めて、内視鏡画像上への拡張現実（AR）による手術サポートシステムの構築を計画するに到った。
拡張現実の外科手術領域への応用は、眼鏡などのウェアラブル端末での開発が多い。これは商用端末が眼鏡の形態を主に取っていることに倣っているためと思われるが、耳科手術の場合は手術する対象が極めて小さいため術野を拡大する必要があり、また狭い部分で明るい視野展開を要することから考えると、顕微鏡ベースでの技術革新にはハードウェアの進歩がまだまだ要する。この観点からも内視鏡画面上に術前情報を載せた拡張現実（AR）によるアプローチが妥当と考えるが、他分野で過去に類を見ないアプローチであり挑戦的な研究となる。また、刻々と移動し変化する内視鏡画像に対して、その平面に水平でかつ内視鏡部位より数 mm 奧の構造物をモニタの 2 次元平面に提示することが要求される。情報工学的には座標変換によってこの演算が求められるが、手術においては極めて狭い領域で危険物を処理するため、誤差を最小限にすることが要求され、技術的にも挑戦的な研究となる。
本研究の研究分担者である藤岡、岡野、畑、疋島の画像解析研究グループはこれまでに厚生労働科研（若手研究）や文部科学省科研費（基盤 C、基盤 B）などのサポートのもとで、側頭骨画像研究の分野において着実に成果を出してきており、その評価は AMED(厚労科研より移管)ヒアリングにおいても「将来が期待される」と高く評価されてきた。
２．研究の目的
本研究では海外で行われつつある TEES での内耳道手術をより安全に行うべく、内視鏡画面上に拡張現実（AR）として解剖学的危険部位を投影するシステムを樹立する。内視鏡下手術では外耳道から直線的に周囲の臓器を壊すことなく低侵襲・短時間で病変に到達するメリットがある反面、従来の手術アプローチとは異なる 角度・視野角で術野が展開されるために TEES に特化した解剖学的理解を要する。特に前述の大血管や重要な脳神経は、内耳においては骨の中に完全に埋もれているため、術前の CT や MRI などの画像、あるいは過去の知識を元に骨を削開して重要部位を露出させ、温存する必要がある。
本研究ではその基盤となる研究として、グループで過去 5 年に培った CT、次世代拡散テンソ
ル MRI による側頭骨画像撮像・処理による 仮想現実（VR）展開のノウハウを基盤に、さらに理工学部杉本教授のグループを迎えて、術前情報より展開される「仮想世界」を、内視鏡手術における「現実空間」である内視鏡画像へと重ね合わせる開発を進めることを目的とした。
３．研究の方法
光学デバイスや専用器具の登場により近年一分野として確立した内視鏡下耳科手術（TEES）は、ここ数年、国内外で急速な普及期を迎えつつある。本研究では海外で行われつつある TEES での内耳道手術をより安全に行うことを最終目標に、内視鏡画面上に拡張現実（AR）として解剖学的危険部位を投影するシステムの樹立 を目指している。内視鏡画面上に実空間に対応した拡張現
実空間を展開するためには、予め実空間の座標軸を設定する必要があり、この座標軸設定に基づいた術前情報（たとえば画像所見）の取得と、術中の内視鏡位置情報の取得、そして画像上への拡張現実空間に表現するリアルタイムな座標変換が必要である。他方、手術においては時間的な解像度も要求され、表示の遅延は術操作を妨げるばかりか、臓器損傷や止血操作への対応の遅れなどにもつながる。画像解像度や重畳する臨床情報などの情報量は、計算量に直結するため、表示速度とのバランスを取る作業が必要である。
そこで本研究では、まずプロトタイプ研究として内視鏡下鼻副鼻腔手術で検討をすることとした。内視鏡にはオリンパス製内視鏡を用い、研究対象のファントムには大野興業㈱の KEZLEX（A39‑経鼻内視鏡手術練習用モデル）を用いて検討した。
４．研究成果
頭蓋骨模型を用いて(1)内視鏡のレンズパラメータ・3 次元位置姿勢情報と(2)施術対象の形状情報を収集し(3)それをモニタ内の拡張現実環境で表示 する座標変換を達成した。(2)に際しては模型にメルクマールを付加した上で、コンビーム CT で撮像し、3 次元再構成を行ったコンピュータグラフィックスモデ ルに対して、危険部位を想定したアノテーションを行い内視鏡映像に重畳した。これらの結果については知的財産の確保の上で、実用化研究へと進めていく予定 である。
海外で行われている内視鏡下内耳道手術では顔面神経損傷の頻度が高く、優れた成績を有する施設でも約 10％以上の頻度で術後顔面神経麻痺を生じている。とくに腫瘍性病変において腫瘍と顔面神経の位置関係を画面上で正確に表現することが必須である。本研究はプロトタイプ研究として頭蓋骨模型を用いて鼻副鼻腔での開発を行ったが、今後は時空間的精度を向上させ、中耳・側頭骨領域にも展開していきたいと考えている。

５．主な発表論文等〔雑誌論文〕 計3件（うち査読付論文 2件／うち国際共著 0件／うちオープンアクセス 1件）
１．著者名
４．巻
28(5)
藤岡 正人、小澤 宏之、野口 勝、粕谷 健人、石川 徹、猪狩 雄一、西山 崇経、細谷 誠、神崎 晶、大石直樹、小川 郁
２．論文標題
５．発行年
当科での経外耳道的内視鏡下耳科手術における工夫：3 hands techniqueを中心に
2018年
３．雑誌名
Otology Japan

６．最初と最後の頁
659‑662

掲載論文のDOI（デジタルオブジェクト識別子）
なし

査読の有無

オープンアクセス

国際共著

有オープンアクセスではない、又はオープンアクセスが困難

−

１．著者名
野口 勝, 藤岡 正人, 笠原 健, 小川 郁

４．巻

２．論文標題症例をどうみるか

５．発行年
2018年

34巻12号

外傷性ツチ骨単独骨折に対して内視鏡下耳科手術を施行した1例

３．雑誌名
JOHNS

６．最初と最後の頁
1753‑1756

掲載論文のDOI（デジタルオブジェクト識別子）
なし

査読の有無

オープンアクセス

国際共著

無オープンアクセスではない、又はオープンアクセスが困難

−

１．著者名
Saito Shin、Ozawa Hiroyuki、Fujioka Masato、Hikishima Keigo、Hata Junichi、Kurihara Sho、Okano
Hirotaka James、Ogawa Kaoru
２．論文標題Visualization of nerve fibers around the carotid bifurcation with use of a 9.4 Tesla
microscopic magnetic resonance diffusion tensor imaging with tractography
３．雑誌名Head & Neck

４．巻

掲載論文のDOI（デジタルオブジェクト識別子）
10.1002/hed.25318

査読の有無

オープンアクセス

国際共著

1件／うち国際学会0件）

２．発表標題難聴治療の最前線：経耳内視鏡下耳科手術（TEES）と幹細胞医学を用いた感音難聴治療

３．学会等名千代田区耳鼻咽喉科医会（招待講演）
４．発表年
2018年

５．発行年
2018年
６．最初と最後の頁
2228〜2234

有

オープンアクセスとしている（また、その予定である）〔学会発表〕 計9件（うち招待講演
１．発表者名藤岡正人

40−１．発表者名
藤岡正人・神崎晶・小澤宏之・大石直樹・粕谷健人・野口勝・西山崇経・石川徹・細谷誠・小川郁

２．発表標題当科での経外耳道的内視鏡下耳科手術（TEES）

３．学会等名第119回日本耳鼻咽喉科学会総会・学術講演会
４．発表年
2018年
１．発表者名粕谷健・藤岡正人・野口勝・粕谷健人・小川郁

２．発表標題
外傷性ツチ骨骨折に対してTEESを用いて伝音再建を施行した2症例

３．学会等名第80回耳鼻咽喉科臨床学会総会
４．発表年
2018年
１．発表者名藤岡正人、神崎晶、小澤宏之、大石直樹、西山崇経、野口勝、鈴木成尚、細谷誠、小川郁

２．発表標題Cadaverを用いた内視鏡下耳科手術(TEES)のトレーニング

３．学会等名
第28回日本耳科学会総会・学術講演会
４．発表年
2018年
１．発表者名塩田 智生, 伊藤 勇太, 藤岡 正人, 小澤 宏之, 戸田 正博, 杉本 麻樹,

２．発表標題
内視鏡下協働手術における集合視を用いた共同注視解析

３．学会等名
第27回日本コンピュータ外科学会大会
４．発表年
2018年

１．発表者名
藤岡 正人

２．発表標題当科におけるTEESの工夫

３．学会等名
第4回慶應山形耳鼻咽喉科研究会学術講演会
４．発表年
2017年
１．発表者名藤岡 正人

２．発表標題完全内視鏡下耳科手術の良い適応例〜ご紹介いただいたケースから〜

３．学会等名第17回ENTカンファレンス
４．発表年
2017年
１．発表者名藤岡 正人・小澤宏之・神崎晶・大石直樹・粕谷健人・野口勝・西山崇経・石川徹・細谷誠・小川郁

２．発表標題当科での経外耳道的内視鏡下耳科手術における工夫：3 hands surgeryを中心に

３．学会等名
第27回日本耳科学会総会・学術講演会
４．発表年
2017年
１．発表者名藤岡 正人・細谷誠

２．発表標題ヒトiPS 細胞を用いた遺伝性難聴研究

３．学会等名
第14回信越耳鼻咽喉科セミナー
４．発表年
2018年

〔図書〕

計0件

〔産業財産権〕〔その他〕
慶應義塾大学医学部耳鼻咽喉科学教室研究紹介
www.ent.med.keio.ac.jp

６．研究組織氏名（ローマ字氏名）（研究者番号）

藤岡正人

所属研究機関・部局・職（機関番号）
慶應義塾大学・医学部（信濃町）・講師

研
究
分 (FUJIOKA Masato)
担者(70398626)
小澤 宏之(32612)慶應義塾大学・医学部（信濃町）・講師

研
究
分 (OZAWA Hiroyuki)
担者(30327621)
疋島 啓吾(32612)
沖縄科学技術大学院大学・実験動物セクション・MRIスペシャリスト

研
究
分 (HIKISHIMA Keigo)
担者(30420219)
畑 純一(38005)
公益財団法人実験動物中央研究所・ライブイメージングセン
ター・研究員

研
究分 (HATA Junnichi)
担者(00568868)
岡野 ジェイムス洋尚(72611)
東京慈恵会医科大学・医学部・教授

研
究分 (OKANO James Hirokta)
担者(90338020)(32651)

備考

７．科研費を使用して開催した国際研究集会〔国際研究集会〕

計0件

８．本研究に関連して実施した国際共同研究の実施状況
共同研究相手国

相手方研究機関