情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2A-08
2019/3/6

ジャイロセンサーを用いたカメラ姿勢把握による内視鏡外科手術の支援システム
小川真智子†1福地健太郎†1

概要：内視鏡外科手術は内視鏡を用いて患者の体内を様々な視点から観察して行う手術であるが，内視鏡映像から内視鏡の姿勢やねじれを正確に把握し，施術するのは術者自身に高度な技術を要する．そこで本研究では，内視鏡映像の周辺平面に何も情報が表示されていないことを利用し，空間把握を補助する映像を提示し，内視鏡の視点移動の際に内視鏡の視線方向を把握しやすくし，内視鏡外科手術の施術を支援するシステムを提案する．本システムは術者を中心とした全球画像を，ジャイロセンサーを用いて取得した内視鏡の姿勢情報と連動して術者に表示することで，術者が内視鏡の視線方向を推測するための情報を増やし，患者の体内の空間把握を支援するシステムを試作した．これにより，内視鏡の扱いが未熟な初学者に対して内視鏡による空間把握の向上が期待される．

1. はじめに鏡から見て，あたかも患者の身体が透明であるかのように周辺の様子を提示する．しかし，周辺にいる人の動きなど内視鏡外科手術は内視鏡を用いて患者の体内を様々なも含めた状況をリアルタイムに忠実に提示することは困難

視点から観察して行うものであり，内視鏡は術者が患者のなので，手術前に術者が手術を行う位置で撮影された全球体外で行った操作で体内のカメラの向きを変えるものであ画像を提示する．

る．そのため，術者には内視鏡を使用しない手術に比べて2.2 システム構成高度な技術が要求される．術者に高度な技術を要求する原本システムでは，Unity[2]を用いて仮想空間中に内視鏡カ因として，奥行き情報が欠如する，内視鏡の姿勢やねじれメラと手術中の周辺の状況を仮想カメラと全球画像で模倣などの姿勢が捉えづらいなどの問題がある．前者に対してする．そのため，仮想空間中に仮想カメラを設置し，その従来の術者への支援手法として立体内視鏡で対象物を 3D周囲に撮影された全球画像を投影する球殻を配置した．こ

表示することで奥行き情報などを術者に提示するものがあの球殻は常に仮想カメラを中心としている．球殻に投影する[1]が，後者については従来の支援手法では問題解決がさる画像は，THEATA S[3]で撮影した．

れていない．このため立体内視鏡においても，内視鏡に映次に，内視鏡映像の提示方法について説明する．内視鏡っている対象物，術者の操作感や術者が持つ過去の経験や外科手術の際に用いられる内視鏡映像が円形に表示される

知識に基づいて内視鏡の姿勢やねじれを推測しながら手術ことを想定し，内視鏡映像を提示するための円形画面を仮を行う．

想カメラの視野の中心に設置した．また，全球画像と内視そこで本研究は，内視鏡映像の周辺平面に何も情報が表示されていないことを利用し，空間把握を補助する映像を鏡映像と境界を提示するための黒枠を円形画面の周囲に設置した.(図 1)提示し，内視鏡の視点移動の際に内視鏡の姿勢把握をしやすくするシステムを試作した．このシステムにより，主に研修医など，内視鏡の扱いが未熟な初学者を対象に，内視鏡外科手術における空間把握の向上が期待される．

2. 提案手法
2.1 システム設計
提案手法では，内視鏡映像の周辺平面に何の情報も表示されていないことを利用し，そこに空間把握を補助する映像を提示する．空間把握を支援する映像として，術者を中心とした周辺の様子を撮影した全球画像を内視鏡の姿勢に連動して表示することでカメラの視線方向を全球画像から推測することができると考える．内視鏡映像と周辺の状況を同一画面上で同時に表示するため，提示する映像は内視図 1

システム構成†1 明治大学© 2019 Information Processing Society of Japan498

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2A-08
2019/3/6

次に，全球映像を内視鏡の姿勢に連動させる手法を説明う．そのタスクとは内視鏡外科手術を想定した，直視ではする．本システムで用いる内視鏡は図 2 のように Nintendo

中の空間を観察できない作業台を用意し，作業台の中で内Switch の Joy-Con[4]に固定されている．Joy-Con のセンサ視鏡などの器具で操作を行うものである．本研究では，図ーによる傾き情報と仮想カメラの傾きを同期させることで，4 のようなブラックボックスの中で内視鏡を操作しながら，全球映像との連動を行う．この際，内視鏡映像のための円ブラックボックス内に設置した文字や図形をペンでなぞる

形画面は常に仮想カメラの視野の中心に見えるように調整タスク（図 5）を用意した．

した．

図 2

余白の設定
図 4

ブラックボックス

以上から図 3 に示したように，従来の内視鏡映像と同様に内視鏡映像が常に画面中心にある，かつ，内視鏡の傾き情報から得られた内視鏡の視線方向に対応する全球画像を内視鏡映像の周辺平面に提示するシステムを作成した．また，術者自身によって内視鏡映像と全球画像の見易さを調節してもらうようにするため，円形画面の直径のサイズ，全球画像と内視鏡映像と境界を提示するための黒枠の太さの切り替えを行えるようにした．また，従来システムの内視鏡映像のみ閲覧する場合と，本システムの内視鏡の姿勢把握を行うための補助を受けながら閲覧する場合を比較しながら本システムの体験を行えるようにするため，全球画像の切り替えを行えるようにした．

図 5

タスクの例

3. 体験
数名の大学生に本システムを用いたタスクを体験してもらった．その際，従来の内視鏡の提示手法と同様に内視鏡映像の周辺に何も提示しない場合，全球画像を Unity の仮想空間による天地情報とし，内視鏡の視線方向に連動して提示する場合，事前に撮影した全球画像を提示する場合
図 3

術者に提示される映像をそれぞれ体験してもらった．
体験者から「内視鏡周辺に全球画像がある方が内視鏡を2.3 体験してもらう内視鏡タスク

動かす手首の感覚と提示されている映像が対応している感本研究では，本システムにより内視鏡の姿勢把握が容易に覚があり，内視鏡カメラの姿勢把握がしやすい」という意なるかを体験してもらうため，従来研究[5]で用いられてい見を得られた．また，「天地情報のみの提示では，カメラる評価方法と同様に内視鏡を用いたタスクを体験してもらを水平方向に移動させた際，内視鏡周辺の映像が変化せず© 2019 Information Processing Society of Japan499

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2A-08
2019/3/6

空間把握がしづらい」という意見が得られたため，事前に撮影した全球画像の提示が有効である可能性がある．

4. 議論
本研究では，内視鏡を使うタスクとして体験者にブラックボックス内の文字などをペン先でなぞるタスクを設定した．しかし，本システムは内視鏡外科手術での支援を最終目標としているため，今後，実際の内視鏡外科手術で行う操作でも有効であるかの検証を行う必要がある．
また，本システムは内視鏡の扱いに慣れていない初学者を対象としているが，本研究では内視鏡を初めて扱う大学生に体験してもらったため，研修医など内視鏡を扱った経験がある人にも有効であるかが確認できていない．
最後に，本システムが術者の手元感覚に依存するものではないかは未検証である．内視鏡外科手術の内視鏡映像を記録したものを閲覧するなど，閲覧者が内視鏡操作を行っていない場合にも本システムが有効か，今後の議論を進めたい．

参考文献[1] “手術支援ロボット「ダヴィンチ」”.
http://hospinfo.tokyo-med.ac.jp/davinci/function/endoscope.html,(参照 2018-12-25)[2] “Unity”.https://unity3d.com/jp/, (参照 2018-12-25)[3] “RICOH THETA S”.https://theta360.com/ja/about/theta/s.html,(参照 2018-12-25)[4] “Joy-Con”.https://www.nintendo.co.jp/hardware/switch/index.html,(参照 2018-12-25)[5] 山内康司, 篠原一彦. 手術操作タスクパフォーマンスに対する立体内視鏡の効果. J JSCAS. vol.7, no.4, p.535-p.545, 2005

© 2019 Information Processing Society of Japan

500