䢴䣒䢴䢯䣊䢲䢳

超音波内視鏡画像の立体重畳表示システムの開発―内視鏡画像と超音波立体画像の重畳表示実験―

Development of 3D Superposed Display System for Endoscopic Ultrasound Images―Experiment of Overlay by Endoscopic and Ultrasound 3D Images―
古川 勇志郎（九大）

正○倉爪 亮（九大）

岩下 友美（九大）

洪 在成（DGIST）

Byunghyun CHO（九大） 植村 宗則（九大） 山田 篤史（名工大） 鄭 常賢（東大）
波多 伸彦（ハーバード大）橋爪 誠（九大）

Yushiro FURUKAWA, Kyushu University, yushiro@irvs.is.kyushu-u.ac.jp
Ryo KURAZUME, Kyushu University Yumi IWASHITA, Kyushu University
Jaesung HONG, Daegh Gyeongbuk Institute of Science and TechnologyByunghyun CHO, Kyushu University Munenori UEMURA, Kyushu University
Atsushi YAMADA, Nogoya Institute of Technology Sanghyun JOUNG, Tokyo University
Nobuhiko HATA, Harvard University Makoto HASHIZUME, Kyushu University
This paper introduces the new 3D superposed display system of endoscopic ultrasound images for endoscopic augmentedsurgery. This system consists of an ultrasonic endoscope and electro-magnetic measurement sensor. The superimposed systemof endoscopic ultrasound images is designed to work on ”3D Slicer”, the multi-platform and free open source software (FOSS)
for visualization and image computing. Accuracy measurement experiments show that the developed system reconstructs theshape of a phantom (1yen coin, diameter 20.01mm , thickness 1.51mm ) with the accuracy of 1.2mm.
Key Words:Endoscopic surgery, Ultrasound Image , Volume Rendering, Augmented Reality, 3D Slicer

1グ）することで，リアルタイムに疑似的な 3 次元ボリュームデータはじめにを構築する．さらに構築した 3 次元ボリュームデータを超音波内内視鏡下外科手術は，軟性あるいは硬性鏡を口や肛門，あるいは視鏡の位置に応じて同時に撮影されたカラー画像に重畳表示 (オー腹部や胸部を切開して体内に挿入し，その先端から得られる消化バーレイ) することで，臓器の表面の画像や内部の超音波断面画像

管や臓器の映像をモニタ上で確認しながら治療を行う術式である．

だけでなく，術中に臓器内部の 3 次元構造を直感的に術者へ提示

この術式は従来の開腹手術に比べて切開部分が小さく低侵襲であすることが可能となる1)．本稿ではこのフリーハンド・リアルタイ

り，被施術者の術後の臥床期間の短縮と QoL（Quality of Life:生活ム 3 次元超音波表示システムの動作原理と構築したシステム，およの質）の向上につながることから，様々な疾患を対象に近年急速にび精度検証実験の結果と in-vivo 実験，超音波内視鏡を用いたオー普及している．しかし，内視鏡下外科手術はモニタ内の術野が狭バーレイ実験について述べる．

く遠近感がつかみにくい状況で，微細な作業が要求される難易度の高い術式である．また，病巣部の術中確認が困難であるため，確実2 従来研究な手術を行うためには十分な術前検査と手順の検討が必要である．
そこで，本研究では，術中でも検査や手順の検討・確認が可能な新
しい内視鏡下手術支援システムを開発する1)．

これまでに 2 次元超音波断面画像を方向を変えて撮影し，蓄積された画像を 3 次元ボリュームデータとして表示するシステムが開発するシステムは超音波内視鏡と磁気式位置姿勢センサから開発されている．超音波画像の主な収集法として，プローブを平行構成される．超音波内視鏡は，内視鏡の先端に小型の超音波プロー移動または扇状に走査するフリーハンドスキャン方式とプローブブ（探触子）を取り付けた医療機器であり，消化管や臓器表面のカを固定した状態で内部で機械走査が自動的に行われる自動スキャ

ラー画像とその内部の超音波画像を同時に取得できる．通常の体ン方式がある．前者は，磁気式位置姿勢センサや光学式位置セン

外式超音波検査装置は，超音波プローブを体表面に押し当て超音サを用いてプローブの位置姿勢を正確に測定して超音波画像を収波画像を撮像するため，目的の部位までの距離が遠く，低解像度で集する．後者は，機械的走査によりデータを取得し，オフラインであり，ノイズも多く含まれる．これに対して超音波内視鏡による超音波検査は，体内の臓器や腫瘍など目的部位の近傍から撮像で3D 画像を再構築するものである．
一方，近年，リアルタイム 3 次元超音波表示システムとして，4Dきるため，超音波の減衰や虚像などの影響を受けにくく，より正確エコー（超音波）システムが普及している．これは超音波プローブかつ詳細な画像を得ることができる．

を超音波断面画像に垂直な方向へ機械的に走査し，蓄積した超音

そこで現在我々が開発中のシステムでは，まず超音波プローブ

波断面画像を重畳表示して 3 次元画像をリアルタイムに描画するの位置，姿勢を操作者がフリーハンドで自由に操作し，複数の連続もので，主に産婦人科などで心臓の運動解析や胎児の診断・撮影に的な超音波画像を取得する．また同時に磁気式位置姿勢センサか利用されている．しかし，4D エコー用の超音波プローブは大型でら撮像時のプローブの位置姿勢を取得する．その後，多数の超音あり，体表面からの撮影のために胃や腸の中の空気や腹壁，骨など波画像を撮影位置姿勢に応じて重畳表示（ボリュームレンダリンの影響で深部ではノイズが多く含まれる．

䣐䣱䢰䢢䢳䢳䢯䢷䢢䣒䣴䣱䣥䣧䣧䣦䣫䣰䣩䣵䢢䣱䣨䢢䣶䣪䣧䢢䢴䢲䢳䢳䢢䣌䣕䣏䣇䢢䣅䣱䣰䣨䣧䣴䣧䣰䣥䣧䢢䣱䣰䢢䣔䣱䣤䣱䣶䣫䣥䣵䢢䣣䣰䣦䢢䣏䣧䣥䣪䣣䣶䣴䣱䣰䣫䣥䣵䢮䢢䣑䣭䣣䣻䣣䣯䣣䢮䢢䣌䣣䣲䣣䣰䢮䢢䣏䣣䣻䢢䢴䢸䢯䢴䢺䢮䢢䢴䢲䢳䢳䢴䣒䢴䢯䣊䢲䢳䢪䢳䢫

本研究では，超音波内視鏡に対して，オープンソースソフトウェ
ア 3D Slicer 上で上述したフリーハンドスキャン方式を構築する．
すなわち，内視鏡検査時にフリーハンドで目的部位周辺を超音波プローブにより走査し，作成された 3 次元ボリュームデータを用いて検査や診断が可能な，フリーハンドリアルタイム超音波内視Fieldgenerator

鏡画像の立体表示システムを開発する．

Systemcontrol unit

3 フリーハンドリアルタイム 3 次元超音波画像
Sensorcoil

立体重畳表示システム
3.1

システム構成Fig. 1 にフリーハンドリアルタイム 3 次元超音波表示システム

Fig.3 Electromagnetic
measurementrora,Northern Digital Inc.）の概要を示す．本システムで使用する超音波内視鏡は，Fig. 2 にsystem（Au-示すビデオ超音波内視鏡（EG-3780UTK, PENTAX）である．本内視鏡の先端には，Fig. 2 に示すように，CCD カメラ，および超音Table 1 Position and orientation errors

波プローブが装着されており，術者は CCD カメラ画像と超音波画像を表示装置で確認しながら診断を行う．次に，使用する磁気式

3 次元位置姿勢センサ（Aurora, Northern Digital Inc.）は，Fig. 3に示す 6 軸測定可能なセンサコイルを含む本体ユニット（SystemControl Unit）と，磁気フィールド発生装置（Field Generator）からなる．Table 1 に磁気式 3 次元位置姿勢センサの標準性能を示す．

RMS

95% CI

Position error [mm]

0.6

1.1

Orientation error [deg]

0.4

0.6

センサコイルを超音波内視鏡プローブの背面に固定し，磁気フィールド内におけるプローブの位置，姿勢を計測する．この際，超音波内視鏡の動作が磁気式 3 次元位置姿勢センサの精度にほとんど影響しないことは検証済みである1)．また 3 次元ボリューム
データの作成，表示，加工には，3D 表示と画像解析のためのオープンソースソフトウェアパッケージである 3D Slicer を使用する．

Fig. 4 に構築したシステムを用いたファントムの，3D Slicer での出力画面の例を示す．

Electro-magnetic
measurement sensor
Endoscopic
ultrasonography
Fig.4 Reconstructed phantom model in 3D Slicer

3.2 座標変換と 3 次元ボリュームデータの構築
本システムは，フリーハンド走査により超音波内視鏡から得られる複数の超音波断面画像と画像取得時の位置姿勢データを元に，Alignment

リアルタイムにボリュームレンダリングを行い，重畳された立体

3D volume rendering画像を提示する．具体的な手順を以下に示す．

1. 超音波画像と撮影時の超音波プローブの位置姿勢データを取Fig.1 3D superposed display system of endoscopic ultrasound images得する．

2. Fig. 5 に示すように，超音波画像の座標変換を行う．Fig. 5
で，ΣS ，ΣI ，ΣA ，ΣP ，及び ΣU は 3DSlicer の空間座標系，磁気フィールド発生装置の座標系，センサコイルの座標系，超音波プローブ先端の座標系，超音波画像の座標系を表わす．
超音波画像の画素 U D は 3DSlicer の空間座標系における座標
SD へと以下の式により変換される．

Endoscopic camera
Ultrasound probe

SFig.2 Endoscopic ultrasonograpy（EG-3780UTK, PENTAX）

D =S RI ×I RA ×A RP ×P RU ×U D

ここで，B RA は ΣA 座標系から ΣB 座標系への姿勢変換行列である．

䣐䣱䢰䢢䢳䢳䢯䢷䢢䣒䣴䣱䣥䣧䣧䣦䣫䣰䣩䣵䢢䣱䣨䢢䣶䣪䣧䢢䢴䢲䢳䢳䢢䣌䣕䣏䣇䢢䣅䣱䣰䣨䣧䣴䣧䣰䣥䣧䢢䣱䣰䢢䣔䣱䣤䣱䣶䣫䣥䣵䢢䣣䣰䣦䢢䣏䣧䣥䣪䣣䣶䣴䣱䣰䣫䣥䣵䢮䢢䣑䣭䣣䣻䣣䣯䣣䢮䢢䣌䣣䣲䣣䣰䢮䢢䣏䣣䣻䢢䢴䢸䢯䢴䢺䢮䢢䢴䢲䢳䢳䢴䣒䢴䢯䣊䢲䢳䢪䢴䢫(1)

3. OpenIGTLink を 用 い て 3D Slicer 上 に 送 信 す る ．
OpenIGTLink とは，位置情報，画像情報，システムステータ
スメッセージなどを通信するためのプロトコルとその C++

5. リアルタイムボリュームレンダリングにより新たな画像を生は事前に行った．実験は，Fig. 7 に示すようにシャーレの中に直径20.01mm ，厚さ 1.51mm のファントム（1 円硬貨）を固定して水成する．
I

ARAΣIΣAzRIRPySyx

Aurorazx

Sensorcoilで満たし，その上から超音波内視鏡を用いてスキャン深度 30mm

ΣPyzxzでスキャンを行い，3 次元ボリュームデータを取得した．本実験
Pでは，ファントムを胃壁内の腫瘍と想定しており，スキャン時のRU

超音波内視鏡の先端の超音波プローブとファントムとの距離は 0

Ultrasoundprobe〜10mm 以内とした．次に構築された 3 次元ボリュームデータを3DSlicer 上で表面データに変換後，ファントムの寸法と比較して形状誤差を計測した．3 次元ボリュームデータを構築し，表面データに変換する作業工程を 1 回として，10 個の表面データを生成しΣUz xxyy

Ultrasound image

た．誤差計測の方法は，まず得られた表面データの重心位置を計

3D Slicer

算し，重心位置から実際のファントムの大きさのモデルを作成す

Fig.5 Coodinate systems
3.3

なお，超音波内視鏡先端のプローブの背面には Aurora センサコイ
ルを取り付けており，超音波プローブ先端とのキャリブレーション

濃淡値データを投票し，ボクセル空間を更新する．

Σ

4.1 超音波内視鏡を用いた精度検証実験
まず，構築したシステムに対する計測精度の検証実験を行った．

ライブラリである．

4. 3D Slicer 内で，ボクセル空間に超音波断面画像から得られるS

4 実験

る．その後，3 次元ボリュームデータによって得られた表面データの各点に対し，ファントム平面上の最近傍点を探索し，RMS(Root

3 次元ボリュームデータとカラー画像のオーバーレイ発した 3DSlicer のモジュール SecondaryWindowWithOpenCV をMean Square) 誤差を計算した．
Fig. 8 にファントムの表面データと，実際の寸法の 3 次元モデルを示す．実験を行った結果，ファントムとの RMS 誤差は 1.2mmで標準偏差は 0.6mm であった．本システムの目標精度は RMS 誤
差 3mm 以内であり，対象との距離が 10mm 以内では目標精度を用いた3)．具体的な手順を以下に示す．

達成することができた．

構築した 3 次元ボリュームデータは，超音波内視鏡で撮影されたカラー画像に現在の視野に応じて重畳表示（オーバーレイ）される．オーバーレイを行うためのソフトウェアとして，山田らが開1. Zhang’s method によるカメラキャリブレーションを行う．
Aurora センサコイルを超音波内視鏡に取り付け，キャリブレーションボードの位置は Aurora ニードル（先端の位置姿勢

Aurora field generator
Aurora sensor coilを取得する針状のデバイス）を使って取得する．

2. 得られた内部パラメータと外部パラメータを用いて，Fig. 6に示すように座標変換を行う．Fig. 6 において，ΣS ，ΣA ，ΣS c ，
ΣCamera ，及び ΣCb は 3DSlicer での空間座標系，磁気フィール

Phantomド発生装置の座標系，センサコイルの座標系，超音波内視鏡
Endoscopic
ultrasonography

先端のカメラ座標系，キャリブレーションボード（カメラ画像）の座標系を表わす．3DSlicer の空間座標系におけるボクセル S D はカメラ座標 Cb D へと以下の式により変換される．
Cb

D =Cb RCm ×Cm RS c ×S c RA ×A RS ×S D

Fig.7 Environmental setup （phantom）(2)

3. SecondaryWindowWithOpenCV を用いて内視鏡画像へオー
20.01mm

バーレイを行う．
1.51mmA

ΣSRSΣA

3D modelAurora3D Slicer

CbRAScRAΣScCmRScFig.8 3D model of phantom

ΣCb

4.2 in-vivo 実験CbRCm

次に，生体内でスキャンを行い，臓器や血管の確認，抽出が可能

Sensor coil
Endoscopic
Ultrasonography ΣCamera

Phantomであるか検証するための in-vivo 実験を行った．実験は豚を用いてCalibration board

Fig.6 Camera calibration for overlay

行い，肝臓の表面をスキャンして肝臓のボリュームデータを取得した．Fig. 9 に実験環境を示す．本実験では，Fig. 10 に示す腹腔用超音波プローブを使用した．プローブ先端には Aurora のセンサコイルが取り付けられており，プローブとセンサコイル間の相対位䣐䣱䢰䢢䢳䢳䢯䢷䢢䣒䣴䣱䣥䣧䣧䣦䣫䣰䣩䣵䢢䣱䣨䢢䣶䣪䣧䢢䢴䢲䢳䢳䢢䣌䣕䣏䣇䢢䣅䣱䣰䣨䣧䣴䣧䣰䣥䣧䢢䣱䣰䢢䣔䣱䣤䣱䣶䣫䣥䣵䢢䣣䣰䣦䢢䣏䣧䣥䣪䣣䣶䣴䣱䣰䣫䣥䣵䢮䢢䣑䣭䣣䣻䣣䣯䣣䢮䢢䣌䣣䣲䣣䣰䢮䢢䣏䣣䣻䢢䢴䢸䢯䢴䢺䢮䢢䢴䢲䢳䢳䢴䣒䢴䢯䣊䢲䢳䢪䢵䢫

Aurorasensor coil

Ultrasoundimage

PC monitor

CCD Camera
Aurorafield generator
PigUltrasoundprobe

Fig.12 Overlay experimentFig.9 In-vivo experiment

EndoscopeOverlaid volume

Phantom

AuroraUltrasoundtransducer

Fig.13 Overlaid 3D model on endoscopic images
Fig.10 Laparoscopic ultrasound probe（Aloka UST-5536-7.5）
や内視鏡のカメラキャリブレーションの誤差が考えられる．

5

まとめ

本研究では，内視鏡下外科手術支援システムの一例として，超音Gallbladder

波内視鏡から得られる複数の 2 次元超音波画像を，磁気センサにPortal vein

よって取得される撮像時のプローブ位置姿勢に応じて重畳表示することで，擬似的に 3 次元ボリュームデータをリアルタイムに構築するシステムを報告した．アルミ製ファントムに対して精度検証実験を行い，RMS 誤差 1.2mm でリアルタイムに 3 次元ボリュームデータが構築できることを確認した．また in-vivo 実験を行い，Fig.11 Gallbladder and portal vein

生体内において肝臓や胆嚢，門脈といった部位の構築や抽出が可能であることを確認した．更に，構築した 3 次元ボリュームデータの内視鏡画像への重畳表示実験を行い，位置誤差 5mm 以内で重置は事前にキャリブレーション済みである．なお，超音波プロー畳可能であることを確認した．今後は，3 次元ボリュームデータのブのスキャン深度は 100mm で行った．Fig. 11 に肝臓の表面をス構築システムと内視鏡画像と重畳表示システムを統合し，in vivoキャンして得られたボリュームデータと，それから胆嚢と肝門脈実験を行う予定である．

を抽出した結果を示す．これより，生体内でも臓器や血管の 3 次

謝 辞 本研究の一部は NEDO インテリジェント手術機器研究開発プロジェクト（P08006）により実施された．

元位置，形状の把握が可能であることを確認した2)．

文献
4.3

超音波内視鏡を用いたオーバーレイ実験構築した 3 次元ボリュームデータと超音波内視鏡画像との重畳表示を行った．実験環境と使用した超音波内視鏡は，精度検証実験と同様である．ファントムの 3 次元ボリュームデータを取得後，表面データに変換する．そして，ファントムから 10〜50mm ほど離し，内視鏡画像に取得したデータを重畳表示させた．実験の様子を Fig.12 に示す．
実験結果を Fig. 13 に示す．20mm 離れた位置から撮影したファントムと重畳後の 3D モデルとの位置誤差を計測したところ，最大で 5mm のずれが確認された．この位置ずれの原因として，Aurora
センサコイルと超音波プローブ先端との初期キャリブレーション[1] 古川 勇志郎, 倉爪 亮, 岩下 友美, 洪 在成, 波多 伸彦, 橋爪 誠, ”
超音波内視鏡画像の立体重畳表示システムの開発”, 日本機械学会ロボティクスメカトロニクス講演会, 2A2-G21, 2010.
[2] 古川 勇志郎, 洪 在成, 倉爪 亮, 岩下 友美, 橋爪 誠, 波多 伸彦,”超音波内視鏡画像の立体表示システムのための精度検証及び in-vivo 実験”, 日本生体医工学会九州支部学術講演会, pp.36,2011.
[3] 古川 勇志郎, 洪 在成, 倉爪 亮, 岩下 友美, Byunghyun CHO, 山田 篤史, 鄭 常賢, 波多 伸彦, 橋爪 誠, ”フリーハンド・リアルタ
イム超音波内視鏡画像立体重畳表示システムの開発”, 第 16 回
ロボティクスシンポジア, 2011.3䣐䣱䢰䢢䢳䢳䢯䢷䢢䣒䣴䣱䣥䣧䣧䣦䣫䣰䣩䣵䢢䣱䣨䢢䣶䣪䣧䢢䢴䢲䢳䢳䢢䣌䣕䣏䣇䢢䣅䣱䣰䣨䣧䣴䣧䣰䣥䣧䢢䣱䣰䢢䣔䣱䣤䣱䣶䣫䣥䣵䢢䣣䣰䣦䢢䣏䣧䣥䣪䣣䣶䣴䣱䣰䣫䣥䣵䢮䢢䣑䣭䣣䣻䣣䣯䣣䢮䢢䣌䣣䣲䣣䣰䢮䢢䣏䣣䣻䢢䢴䢸䢯䢴䢺䢮䢢䢴䢲䢳䢳䢴䣒䢴䢯䣊䢲䢳䢪䢶䢫