計測自動制御学会東北支部 40 周年記念学術講演会
2004 年 12 月 22 日，23 日 日本大学工学部

講演番号：B08

へッド マウントディスプレ イとハプティックインタフェース
を用いた仮想手術のためのオペレータ支援システム○小林輝

小林亮介 佐藤大祐

内山勝（ 東北大学）

An Operator Support System for Virtual Surgery
Using a Head Mounted Display and a Haptic Interface∗A. Kobayashi, R. Kobayashi, D. Sato and M. Uchiyama (Tohoku University)
Abstract– In this paper, we build an operator support system for virtual surgery which provides
operational sensation and tactile sensation, using a head mounted display and a 6-DOF compact hapticinterface. It allows an operator not only to see the virtual environment, but also to interact with it. In
the system, stereoscopic vision, view direction changing and visual indication of operator’s arm become
possible. The improved reality of the system is proved by performance experiments.
Key Words: Virtual Surgery, Head Mounted Display, Haptic Interface, Stereoscopic Vision

1

はじめに

Original System

Additional SystemFASTRAK

近年の医療技術の高度化，専門化にともない，医師の学習量の負担は増加傾向にある．現状では，手術における患者の体力的負担の低減や，医師のまれな手術への経験不足など多くの課題がある．また，医師の育成についても，臨床講義などによる十分なスキルアップには限界がある．このような現状に対して，医師の知識の充実と手術トレーニングによるスキルの向上は，患者にとって安心な手術の提供，患者の生活の質 (Quality of Life)の向上に役立つ．そこで現在，このような問題を解決するために様々な手術シミュレーションの研究が進められている．肝臓の切断シミュレーション [1] や柔軟物
体の刺通や切断シミュレーション [2] といった触覚提示可能な手術シミュレーションや，生体組織の切開・開創シミュレーション [3] などが報告されている．しかし ，生体軟組織のモデルと手術器具 ( メスや剥離棒など ) の相互作用において，器具の形状を考慮した触覚提示に関する報告はまだ見当たらない．

Numerical Calculation
ComputerOS : Red Hat LinuxCPU : Pentium 4 3.2 [GHz]OS : VxWorks
CPU : Pentium MMX 233 [MHz]6-DOF
Haptic Interface

ReceiverDivider

Control Unit

HMD

Digital Scan Converter

Fig. 1: System Conﬁguration

2

手術シミュレーションシステムにおいて，臨場感をオペレータに提供するには，生体組織で生じ る変形をモデルで再現することや，モデルとの接触時に生じる触覚の提示，切断や縫合といった作業を実際に行っているかのような操作感の提示が必要となる．現在，本研究室では，手術器具の形状を考慮した触覚提示に有効な 6 自由度の触覚提示デバイスである小型ハプティッ
クインタフェース [4] を用いて，生体軟組織の特性を簡略化したモデルの変形と , その触覚を提示する仮想手術シミュレーションシステムを開発している [5]．オペ
レータの操作感の向上には，オペレータに実在する場所で，実際に作業しているかのような感覚を与える効果的な視覚情報の提示が有効である．

Transmitter

Haptic Interface
Control Computer

オペレータ支援システムの構成

Fig. 1 に，オペレータ支援システムの構成を示す．
本システムは，以前に開発された触覚提示システムと，新たに追加した視覚提示システムから構成される．
触覚提示システムの構成
触覚提示システムは，触覚提示デバイスであるハプ
ティックインタフェース (Fig. 2) と，その制御を行う計算機，そして，TGS 社製 Open Inventor を用いた仮想環境の描画および生体軟組織のモデルの変形・反力計算を行う計算機から構成されている．一般に，仮想環境内に構築する生体軟組織のモデルは，複雑で大規模になるため，その変形・反力計算は膨大となり，演算処理には時間がかかる．しかし ，手術シミュレーションシステムでは，実時間で仮想環境内のモデルとの対話操作が要求されるため，システム全体の処理の高速化・効率化を計る必要がある．さらに，ハプティックインタフェースを安定に制御する必要があるため，ハプ
ティックインタフェースの制御を行う計算機と，モデルの数値計算・仮想環境表示計算機の 2 つに処理を分

本研究では，以前に開発された触覚提示可能な仮想手術シミュレーションシステムに，立体視可能な頭部搭載型デ ィスプレ イを用いた視覚提示システムを新たに追加することで，手術器具を用いた切断や縫合といった作業における操作感を提示し ，より臨場感のあるシステムを構築することを目的とする．

93

MassSpring-Damper(b) Unit Cell(a) Voigt ModelFig. 4: Overview of a Virtual Model
Fig. 2: Overview of theHaptic Interface• 切断・縫合操作が可能

Fig. 3: Overview of theHMD System

切断・縫合操作といった作業におけるトポロジー変化に，実時間で対応可能なモデルでなくてはならない．

割している．本システムで使用したハプティックイン
タフェースは，6 自由度を有し ，並進部にはデルタ機
構，姿勢部にはジンバル機構を採用し ，パラレル機構をシリアルに結合することで，小型ながらも比較的広い作業領域を持ち，高速で動くことが可能である．また，小型化を実現するために，ハーモニックギアを用いた高減速比モータを採用し ，手先には小型 6 軸力トルクセンサが取付けられている．

これらの要件を考慮し，計算コストが小さく，また，切断・縫合などといったトポロジー変化に対して柔軟な，ばね –質点モデルを用いたモデリング手法を採用した [6]．
生 体 軟 組 織 の モ デ ル は ，粘 弾 性 体 で あ る た め ，Fig. 4 (a) の Voigt model と呼ばれる，ばね –ダンパ要素を各質点間に配置し ，対称性を持った Fig. 4 (b)の単位格子を並べることにより構築した．

視覚提示システムの構成
視覚提示システムは，3 次元位置・姿勢計測装置と，頭部搭載型ディスプレイ Head Mounted Display (以下，HMD と言う) を用いて構築した．本システムでは，オペレータの腕や頭部の動きを検出するための 3 次元位置・姿勢計測装置として，POLHEMUS 社製 3SPACE FASTRAK (以下，FASTRAK と 言う) を用いた ．FASTRAK は磁場を利用した高速，高精度な位置・姿勢計測装置であり，トラン スミッタで発生させた磁場をレシーバで検出することにより，レシーバの位置および姿勢の 6 自由度を実時間で計測することが可能である．
計測精度は，トランスミッタとレシーバ間距離によって変化するが，30 [inch] (約 760 [mm]) の範囲内では，位置に関して 0.03 [inch] (約 0.8 [mm]) であり，姿勢に関しては約 0.15 [deg.] の精度を有する．本システムでは，計 4 つのレシーバを用いる．また，オペレータに3 次元映像を提示する頭部搭載型ディスプレ イとして，Fig. 3 に示す OLYMPUS 社製 MediaMask MW601 を使用した．本 HMD は，2 チャンネルの NTSC ビデオ信号を左右の液晶デ ィスプレ イ (51 万画素) によりステレオ画像として表示できる．

3

触覚提示手法3.1 生体軟組織のモデル
手術シミュレーションにおいて，モデルに必要とされる要件を以下に挙げる．
• 非線形性・粘弾性が表現可能
手術シミュレーションで対象となる生体軟組織は，非線形性を持つ粘弾性体である．
• 計算負荷が小さい
複雑な対象の変形・反力計算は，触覚提示に必要な高い更新周期で行わなくてはならない．そのため，計算コストの削減が必要である．

3.2

ハプティックインタフェースによる触覚提示

手術シミュレーションにおいて，モデルとの接触時に生じる触覚をオペレータに提示することは，臨場感の向上に重要な役割を果たす．
本ハプティックインタフェースは，駆動部に減速機としてハーモニックギアを使用しているため，駆動時に大きな摩擦力を生じてしまう．そのため，モデルに接触していない自由空間において拘束感のない動きを実現するため，仮想コンプライアンス制御 [7] を導入した．仮想的に手先のインピーダンスを小さく設定することで，拘束感のない動きを実現した．
オペレータが加える力 F op と，モデルからの反力 F vrが加わるとき，ハプティックインタフェース手先の運動方程式は，

M ẍ + B ẋ + K∆x=

F op + F vr

(1)となる．式 (1) において，x はハプティックインタ
フェースの手先位置ベクトル，∆x は釣り合い位置からの偏差，M は慣性行列，B は減衰係数行列，K は剛性係数行列である．M ，B ，K の行列には任意の値を設定できる．また，F vr は非接触時は零となり，接触時には計算より得られるモデルからの反力となる．
式 (1) より，ハプティックインタフェース目標手先位置を算出し ，PD 制御による位置制御を用いて触覚を提示する．各インピーダンスパラメータ行列の対角要素を，M を 0.001 [kg]，B を 0.002 [Ns/m]，K を0.001 [N/m] と設定した．

4視覚提示手法

4.1

視覚情報の提示オペレータに操作感を与える効果的な視覚情報の提示として，以下のものが挙げられる．

94

Yc

Yh
ΣhXh

Σl

Zus
Zh

Zl

Yus

Zu

Xu

Yt

Yw

Yt

Xl

Σus
Xus

View Direction

Yl

Yu

Xw

Zt

Σu

Σw

Σt

Xc
Zt

Real Environment

Fig. 6: Camera Coordinate SystemReal Environment

Fig. 5: Virtual Arm Coordinate System

下腕，上腕モデルの位置・姿勢の決定
下腕モデルの位置決定には，手先モデルの位置を利用する．下腕モデルの位置は，ユーザ座標系 Σus を基準とした手先モデルの位置ベクトルと，手先モデルのオブジェクト座標系 Σh を基準とした下腕モデルのオブジェクト座標系 Σl の位置ベクトルの合成ベクトルにより決定される．ここで，座標系 Σh と座標系 Σl との位置ベクトルは，腕のモデルの幾何学的条件から決まる既知の値である．下腕モデルと同様の方法により，上腕モデルの位置決定には，算出した下腕モデルの位置を利用した．また，下腕，上腕モデルの姿勢は，装着したレシーバの姿勢データから決定する．

• 実環境でのオペレータの腕の動きを，仮想環境内において仮想腕を用いてオペレータに提示する．
• オペレータが頭部を左右に動かす，あるいは，注視物体に近づく，遠ざかることにより提示される仮想環境内の視界が左右に変化することや，ズームイン，ズームアウトする距離感といった，オペレータの頭部の動きを仮想環境に反映する．
4.2

ΣcΣt

Zw
Virtual Environment

Virtual Environment

XtZc

Xt

仮想腕の表示仮想環境で用いる仮想腕の製作には住友金属システム
開発株式会社製 3D グラフィックスソフト true Space 4を使用した．仮想腕は，手先，下腕，上腕の 3 つのモデルに分け作成し ，その形状や大きさは標準体型の人間の腕を想定している．
本システムでは，オペレータの腕の動きを検出するため，FASTRAK のレシーバを，手先，下腕，上腕に装着することとした．各レシーバからは，FASTRAKのトランスミッタ座標系を基準としたレシーバ座標系の x, y, z 位置 3 次元座標と，azimuth, elevation, roll
オイラー方向角度を取得している．仮想腕をレシーバのデータに基づき，実際の腕と対応した動きを実現するために，腕の各部に装着しているレシーバのデータを，腕の各モデルの位置・姿勢決定に用いた．しかし ，実験毎にレシーバの装着位置が異なることや，腕の動きによるレシーバの初期固定位置からのずれが原因となり，仮想腕の各モデルの繋がりがずれてしまい，違和感を感じ る結果となった．そのため，下腕，上腕に装着したレシーバからの位置データは使用せず，手先の位置データにより，下腕，上腕の位置を以下に示す方法で算出し，違和感のない仮想腕の動きを実現した．
Fig. 5 に，仮想環境の座標系と実環境のセンサ座標系を示す．仮想環境において，Σus はユーザ座標系，Σh ，
Σl ，Σu はそれぞれ仮想腕の手先，下腕，上腕に固定されたオブジェクト座標系である．実環境において，Σtは FASTRAK のトランスミッタ座標系である．
手先モデルの位置・姿勢の決定
実環境と仮想環境のインタフェース部となる，ハプティックインタフェースの柄を操作する手先の位置は重要である．そのため，手先モデルには手先に装着したレシーバの位置・姿勢データを利用し ，手先モデルの位置・姿勢を決定した．レシーバのデータは，トランスミッタ座標系 Σt を基準とした値なので，ユーザ座標系 Σus を基準とした値に座標変換して使用した．

95

4.3

視界の変化

本システムでは，HMD に FASTRAK のレシーバを装着することで，オペレータの頭部の動きを検出し，取得したデータを利用することで仮想環境での視界の変化を実現した．
Fig. 6 に，カメラ座標系を示す．仮想環境において，
Σw はワールド 座標系，Σc はカメラ座標系であり，カメラのビュー方向は，カメラ座標系の −Z 方向である．
実環境においては，Σt は FASTRAK のトランスミッタ座標系である．
仮想環境内のカメラ座標系の位置・姿勢は，HMD に装着したレシーバのデータにより決定する．レシーバのデータは，トランスミッタ座標系 Σt を基準とした値であり，ワールド 座標系 Σw を基準とした値に座標変換して使用した．

5

基礎動作実験

従来の仮想手術シミュレーションシステムに視覚提示システムを追加し ，違和感のない仮想腕の動き，オペレータの頭部の動きによる視界の変化や，操作感を確認するために基礎動作実験を行った．
オペレータは，Fig. 8 に示すように，頭部に HMDを，そして，腕には FASTRAK のレシーバを装着し ，6 自由度小型ハプティックインタフェースを用いて，仮想環境内の仮想グリップ (手術器具を想定) を操作する．
生体軟組織のモデルとしては，線形粘弾性体モデルを用いる．ここで，仮想グリップとモデルとの接触は，仮想グリップ先端の球と点接触するとした．
今回，接触シミュレーションに用いる線形弾性体モデ
ル規模を，Table 1 のように設定した．線形粘弾性体モ
デルの一辺の長さは 0.1 [m] であり，変形計算に要する
1 ステップあたりの計算時間は 2.0 [ms] である．Fig. 7に，線形粘弾性体モデルの変形をシミュレーションしている様子を示す．

Fig. 7: Simulation of Deformation
Haptic Interface

HMD(a) Real Environment
FASTRAK Receiver(b) Virtual Environment

Fig. 9: Zoom In

Fig. 8: Experiment Appearance
Virtual Hand

Table 1: Model Scale
Parameter

Virtual Upper ArmValue

The number of nodes

343

The number of links

2394

Viscous coeﬃcient

30 [Ns/m]

Elastic coeﬃcient

100 [N/m]

Mass

0.003 [kg]Virtual Lower Arm(a) Real Environment

Fig. 10: Zoom Out
た，今回構築したシステムで基礎動作実験を行い，その有効性を示した．
今後の課題として，両腕の仮想腕の表示や，腕のサイズや利き腕などのオペレータによる個人差の考慮，生体軟組織のモデルと手術器具の相互作用において器具の形状を考慮した触覚提示の実現などが挙げられる．

基礎動作実験により以下のことを確認した．

• HMD による立体感の提示
HMD を用いて仮想環境を立体視することで，従来のシステムで行う 2 次元画像表示下での操作より，臨場感が向上した．
• 仮想腕の違和感のない動き
腕の各モデルの繋がりや，その姿勢変化に違和感はなく，仮想腕が実際の腕と対応して動く．

参考文献[1] S. Cotin, H. Delingette and N. Ayache, Real-timeelastic deformations of soft tissues for surgery simulation. IEEE Transactions On Visualization and Computer Graphics, Vol. 5, No. 1, pp. 62-73, 1999.
[2] 竹内 博良，胡摩 心一郎，佐野 明人，藤本 英雄，インタラクティブな手術シミュレーションのための柔軟物操作モデ リング，日本バーチャルリアリティ学会論文誌，Vol. 8, No. 2, pp. 137–144, 2003.
[3] 中尾 恵，黒田 知宏，小山 博史，小森 優，松田 哲也，坂口 元一，米田 正始，組織切開・開創シミュレーショ
ンによる手術計画支援，日本バーチャルリアリティ学会
論文誌，Vol. 8, No. 2, pp. 163–170, 2003.
[4] Y. Tsumaki, H. Naruse, D. N. Nenchev andM. Uchiyama, Design of a Compact 6-DOF Haptic Interface, Proc. 1998 IEEE Int. Conf. on Robotics
and Automation, Leaven, Belgium, pp. 25802585, 1998．
[5] 小林 亮介，廣崎 尚登，佐藤 大祐，内山 勝，生体軟組
織の触覚提示システムの構築，日本機械学会 ロボティ
クス・メカトロニクス講演会’04 講演論文集，2A1–H–6[6] 友國 誠至，杉山 勇太，平井 慎一，実時間計算可能な仮想レオロジー物体の構築，日本バーチャルリアリティ学会論文誌，Vol. 8, No. 3, pp. 247–254, 2003.
[7] 杉本 浩一，ロボットアームの力フィードバック制御，計測と制御，Vol．25，No．1，pp．45-50，1986．

• オペレータの頭部の動きに対応した視界の変化
Fig. 9 (a) に，視点と注視物体が近い場合の視点からみた実環境の様子を，そして，(b) には (a) の条件
における仮想環境の様子を示す．また，Fig. 10 (a)に，視点と注視物体が遠い場合の視点からみた実環境の様子を，そして，(b) には (a) の条件における仮想環境の様子を示す．これより，本システムにおいて，実環境に対応した，仮想環境での距離感や視界の変化が実現できている．

6(b) Virtual Environment

おわりに

本稿では，3 次元の視覚情報を提示するために HMDを用いて，視覚提示システムを開発し ，触覚情報を提示するハプティックインタフェースを用いた触覚提示システムと融合することで，より臨場感のある仮想手術のためのオペレータ支援システムを構築した．具体的には，仮想環境にオペレータの頭部の動きや，腕の動きを反映させ，HMD を用いて 3 次元の視覚情報を提示することで，オペレータの操作感を向上させた．ま96