2016年10月28日
3D フォーラム(三次元映像のフォーラム)第 117 回研究会「医療と 3D」

拡張現実技術の医療応用
千葉大学フロンティア医工学センター

中口俊哉
1

医療安全に対する意識の高まり• “To Err is Human: Building a Safer Healthcare System” 報告書
１９９９年，米国Institute of Medicine of the National Academy of Sciences

医療事故

年間死亡者数（米国1997年）
４４，０００人以上／年

交通事故

４３，４５８人／年

肺がん

４２，２９７人／年

エイズ

１６，５１６人／年

死因2

医療事故の種類• 医療事故の約50％が手術中に発生• 医療事故の約30％が医療過誤

Harvard Medical Practice Study3低侵襲（鏡視下）手術
鉗子腹腔鏡モニタ千葉大学医学部附属病院• 外科医にとって低侵襲（鏡視下）手術は多くの技術と経験が必要とされる難しい手技– 腹腔鏡画像には奥行き（３次元）の情報が無く，視野自体も狭い．
– 滅菌が困難なモニタは離れた場所に設置せざるを得ない．
– 手（器具）と視野（モニタ内の映像）の位置関係の把握が困難である．
4

拡張現実技術による手術支援 その１
モニタ表示画像に対するオーバーレイ表示
肝臓内部の血管走行を提示

K. Konishi et al., 2007.
5

拡張現実技術による手術支援 その２
ヘッドマウントディスプレイを使ったAR手術支援

H. Fuchs et al., 1998.
6

拡張現実技術による手術支援 その３
シースルー型液晶モニタを使ったAR

MEDARPAhttp://www.medarpa.de/7

プロジェクターARによる手術支援の提案
従来の方式

提案方式

プロジェクター・カメラ型ARの利点
・手術対象に直接映像を投影するため直感的に理解しやすい・術者への負担が少ない
8

プロジェクターの可能性• どこにでも映像を提示できる– 平面・曲面・凹凸– 近く・遠く，サイズ自由– 色・模様がある面• 小型化• カメラと組み合わせてさらに発展– プロジェクター・カメラシステム– 表示(Output) と 計測(Input)

Texas Instruments

9

映像表現技法：プロジェクションマッピング

http://design.style4.info/2011/02/perspective‐lyrique/http://and‐r.jugem.jp/?eid=128

http://vimeo.com/19817933

http://senkanburian.jugem.jp/?eid=908

10プロジェクター・カメラの応用例 1/4

Shader Lamps[Raskar, et al., 2001]

投影対象

投影画像

投影結果
プロジェクタ
カメラ

投影対象
11

プロジェクター・カメラの応用例 2/4

複数プロジェクタの繋ぎ合わせ補正前補正前補正後補正後[Brown, et al., 2005]

12

プロジェクター・カメラの応用例 3/4

非白色面への投影[Ashdown et al.,2006]

投影面補正前

補正画像

補正後

13

プロジェクター・カメラの応用例 4/4

複数のプロジェクタを用いた超解像度化[Damera-Venkata et al.,2007]14

プロジェクタAR手術支援の課題• 実現可能性の検証• 投影技術– 投影面の形状計測– プロジェクタ，カメラ，視点位置検出– 投影画像の歪み補正計算• 投影コンテンツ（体内構造データ取得）– 計測デバイス– 形状計測15

手術室における映像投影は可能か？
手術室は明るい（約2000lux）
鉗子家庭500lux, 事務所1000lux

投影画像
ポート

• 手術室の照明を落とし，腹腔鏡画像を患者腹部に単純に投影するシステムの有効性を動物実験により検討– 鏡視下手術は低照度室内でも問題なく完遂できた• 術部・鉗子・腹腔鏡画像が同時に視野に入るため，医師の負担軽減等の効果あり．

16

構築システムと投影画像の歪み
システム構成3Dプロジェクタ
ステレオメガネ

カメラ

腹部を模した実験用のボックス

投影面の形状による画像の歪み

視点移動により歪みが変化

手術支援投影に必要な技術• 投影面の形状計測（実時間）• 視点，鉗子の3次元位置追跡

腹腔鏡• 画像の歪み補正計算
17

光学式形状計測• 受動型– レンズ焦点法– 単眼視（テクスチャ，影）– ステレオ法（両眼視，三眼視，多眼視，カメラ移動）– 動画像（物体移動）• 能動型– 光レーダ法（位相差計測，時間差計測） TOFカメラ– アクティブステレオ法– 照度差ステレオ法– モアレ法– 干渉法
三次元画像計測（昭晃堂）
18

アクティブステレオ法• 受動的手法における対応付けの不安定性を解消• 構造化光○高精度，高解像度– スポット光投影– スリット光投影

×計測時間が長い（数秒オーダー）• コード化パターン画像投影– 時間多重化法（複数枚の画像を使用）• バイナリコード法• グレイコード法• 位相シフト法– 空間コード化○高精度，高解像度，計算容易
×動きに弱い○高速 ×低解像度
19

時間多重化法•グレイコード法•位相シフト法

プロジェクタから白黒2値の縞模様を複数枚投影し，縞パターンから投影画像の座標を算出する方法

位相をずらした3枚の正弦波縞模様画像を投影する

安定だが10～20枚の撮影が必要

3枚の撮影でOKだが，位相接続が問題
20

患者体表面形状計測の実装• 術前の腹部形状を高精度に計測• 術中の形状変動は固定マーカーを追跡21

デプスカメラの普及• Light Coding (Prime社）– 能動型：アクティブステレオ法• コード化パターン画像投影：空間コード化• 高速，低解像度

Microsoft社
Kinect– 安価なデバイス：Microsoft社Kinect• TOF (Time of Flight) カメラ– 能動型：光レーダ法– 距離画像撮影– 次々と商品化が進む

http://graphics.stanford.edu/~mdfisher/Kinect.html

スイスmesa社
SR400022

三次元位置検出• 光学式– 可視・赤外光を使って反射/発光マーカーを追跡○高精度，無線マーカー
×遮蔽に弱い，マーカーサイズの物理的制約• 磁気式– トランスミッタが発生する磁場を，センサで検出○遮蔽に強い，センサの小型化が可能（1mm径まで）×磁性体があると大きく歪む，一般に有線センサが多い• ハイブリッド方式– 事前処理：事前に磁場の固定歪みを計測しておく– 実時間処理：光学マーカーが遮蔽されたときのみ
磁気センサを利用
23

歪み補正：プロジェクタとカメラの双対性• カメラは像面に撮像素子(CCD,CMOS)があり，プロジェクタは像面に画像素子(LCD,DMD)がある．
• レンズ系の働きに差異はない• プロジェクタとカメラは置き換え可能→受動型２眼カメラと能動型プロジェクターカメラ
は同じ計算法で奥行きを算出• プロジェクタ位置にカメラを置いた時の撮影画像を計算で予測可能
24

歪み補正：2パスレンダリング法
計算機上の仮想空間

実空間
プロジェクタ視点

視点

プロジェクタ投影面

投影面

1. プロジェクタと視点位置を交換した状況を仮想空間で再現
2. 提示したい（歪み無い）画像を仮想空間のプロジェクタから投影
3. 仮想空間の視点位置で歪んだ画像を撮影
4. 仮想空間で撮影した歪み画像を実空間のプロジェクタから投影する
5. 実空間の視点で歪み無い画像を観測できる25

鉗子挿入支援撮影範囲の立体表示の結果

視点移動への対応

腹腔鏡画像

外部の腹腔鏡ステレオメガネにより内部の腹腔鏡
立体的に知覚
撮影範囲

腹部形状，視点移動に対応した撮影範囲の立体的な把握が可能
26

鉗子挿入支援の有効性
挿入支援方式：提案手法

実験内容• 非医療従事者10名• 鉗子の挿入を14回行う.
• 挿入に失敗した回数を計測– 短い制限時間内(2秒内)に画像内に鉗子を映せなかった回数

モニタ方式：従来手法

挿入に失敗した回数

5

従来手法

4

提案手法

32
10

A

B

C

D

E

F

G

H

I

J

被験者
27

腹部体内の形状計測• 低侵襲下：厳しい拘束条件– 腹部臓器は大きな移動・変形を伴うため術前に撮影された形態情報（CTスキャン）の使用が困難– 撮影デバイスはカメラ一本のみ– 形状計測（追加カメラなど）のためにポート穴を追加することは受け入れられない（侵襲性の増加）• 5mm以下の穴なら患者のQOLに影響しないという意見もあるが・・・– 能動的計測はまず難しい– １個の穴から挿入された内視鏡だけで形状計測

28

立体内視鏡を使った体腔内の三次元形状の実時間計測
3D position
対応点探索

カメラ（左）

カメラ（右）

カメラ

左 画像
3D立体内視鏡（新興光器製作所）

右 画像

対応点を実時間で自動検出し三次元形状を復元

3D shape

ステレオ画像対
29

提案した形状計測手法の流れ
Left Image

ステレオ画像

Right Image

左画像側に格子を設定
ステレオ画像の平行化
各格子点で探索窓を設定し，対応する格子点位置を探索
多重解像度分解
全格子点分繰り返し，最適な格子点位置を求める
ステレオ対応探索

形状の推定

各画像・格子の解像度を上げ，格子点が整列するように右画像を歪ませる
30

立体内視鏡の問題点
カメラから臓器までの距離： 約150mm
カメラ間距離： 5mm
画像対応点探索の誤差による距離値への影響が非常に大きい

Object

対応が１画素ずれると奥行きが約7mm変化．
150mm

画素単位の探索では不十分

立体内視鏡
カメラ

サブピクセルマッチングの導入

カメラ

5mm

31

形状復元結果（臓器モデルを使用）

32

透過型腹腔鏡下手術システムの完成イメージ

33

内視鏡手術が抱える課題
腹腔鏡下手術鉗子視野外での誤接触

内視鏡
トロカール

課題

術者への負担• 狭い視野• 奥行き情報の不足

視覚的な課題を解決する

画像支援システムを提案
34

内視鏡手術の画像支援システム• 低侵襲下で視点を追加する• カメラ付きトロカール Trocar Vision• 体内構造の把握を容易にする• プロジェクタARシステム PARAS• 複数モダリティ画像の融合• ラパロUS画像の内視鏡画像重畳システム
35

カメラ付きトロカール Trocar Vision の開発
鉗子腹腔鏡

トロカール

格納・展開式カメラ
腹腔鏡手術時の視野を拡大するため開発現段階のカメラ付きトロカール

低侵襲性を維持しながら複数の映像を取得

腹腔鏡下手術時の視野を拡大
36

カメラ付きトロカールの使用イメージカメラ付きトロカール映像
カメラ付きトロカール

腹腔鏡

鉗子

腹腔鏡映像

カメラ付きトロカールから鉗子を挿入

カメラ付きトロカールの映像は腹腔鏡映像と共に提示

37

医工連携事業化推進事業
事業名：

より安全な鏡視下手術実現のためのカメラ付きトロカールの開発

期間 ３年 （2014～2016年度）
２０１７年の上市（実用化）を目指す

京セラオプテック千葉大学
フロンティア医工学センター
医学研究院
要素技術開発
臨床評価

中核機関
製造・販売

日本エレクトロ
センサリデバイス

アドバンスドヘルスケア

カメラモジュール

特許戦略38

体内情報投影システム PARASの開発
福元友美
千葉大学大学院工学研究科
日下部大樹 千葉大学大学院工学研究科
中口俊哉
千葉大学フロンティア医工学センター
川田将也
KKR札幌医療センター 斗南病院
林秀樹
千葉大学フロンティア医工学センター

背景
プロジェクタ投影による拡張現実感(AR)医療支援
CTやMRIで取得した体内情報を体表に投影

腹腔鏡手術ナビゲーション(Sugimoto et al, 2010)

生検位置ナビゲーション(実験協力：KKR札幌医療センター斗南病院 川田将也, 2014)

直感的に体内構造把握が可能
手術時間の短縮，安全性の向上
40

目的
位置合わせ作業の自動化によるAR医療支援システムの利便性向上
CT画像をセットするだけ！
誰でも容易に投影可能なシステムの実現

 CT画像データと実患者姿勢の位置合わせ計算を自動化
 プロジェクタとカメラを一体化した手持ち型デバイスの開発

41

CT画像データと患者位置姿勢の位置合わせを自動化
トラッキングオブジェクト（TO）の導入
ARマーカ模様を貼り付けた立方体オブジェクト

AR
CT撮影イメージ
約40mm 立方体
100g 以下
CT画像データ
CT画像解析による
自動検出

実患者
カメラ撮影による
ARマーカ自動検出42

プロジェクタ-カメラ一体型手持ちデバイス
Projector-based AR Assistance System｜PARAS
把持部
プロジェクタ

カメラ
PC
電源ユニット把持部 640g
プロジェクタQUMI Q5 (AddTron Technology製)
1280x800, 60Hz

全体図
PC
GB-BXi7-4500 (Gigabyte Technology製)
Core i7 3GHz CPU, 4GB RAM

カメラ
BSK50KM02 (Buffalo製)
1280x960, 30fps
43

提案システム 使用の流れ
使用前

ユーザ

システム

TOを乗せて，患者のCT撮影システムにCTデータを入れる．

CT画像からTOを抽出

使用時デバイスを患者に向ける．

実空間でTOを検出
変換行列を更新
ターゲットの投影

ユーザの作業工程を最小化
44

動物実験

 デバイスの位置変化に対応したリアルタイム投影を実現
45

内視鏡-超音波画像重畳システム
小熊諒
中口俊哉
中村亮一
山口匡
川平洋
羽石秀昭

千葉大学大学院工学研究科
千葉大学フロンティア医工学センター
千葉大学フロンティア医工学センター
千葉大学フロンティア医工学センター
千葉大学フロンティア医工学センター
千葉大学フロンティア医工学センター

腹腔鏡下手術中における超音波検査
腹腔鏡視下における肝臓手術
腹腔鏡下手術用超音波プローブ
http://www.jfcr.or.jp/cancer/type/liver_i/002.html

屈曲可能

腹腔鏡画像

超音波画像

http://www.yao-hepaticcenter.com/shindan/new.html

2画面同時に観察する必要があり，画像間の位置関係の把握が困難→ 腹腔鏡画像に超音波画像を重畳表示する
47

超音波プローブの屈曲角検出

光学式位置センサ

超音波プローブ
腹腔鏡

画像位置計算腹腔鏡画像

48

in vivo実験による実現可能性評価
ブタを使用した動物実験でシステムの動作確認を行った．
光学センサ

腹腔鏡

超音波プローブ

使用デバイス
腹腔鏡:IMAGE1 H3-Z(KARL STORZ)
超音波プローブ:UST-5550(Hitachi Aloka Medical)
光学センサ：Polaris Spectra(Northern Digital Inc.)49

in vivo実験による実現可能性評価○超音波画像をリアルタイムに重畳し，1画面で同時観察が可能○カラーマーカの検出も安定(検出成功率83%)50

The Operating Room of the Future

溢れるモニタを廃し患者と部屋全体を情報提示に活用
51

ご清聴ありがとうございました．
千葉大学フロンティア医工学センター
千葉大学工学部メディカルシステム工学科
千葉大学大学院工学研究科人工システム科学専攻メディカルシステムコース

中口 俊哉
E‐mail: nakaguchi@faculty.chiba‐u.jp
HP:
http://nlab.tms.chiba‐u.jp/52