特集JVRSJ Vol.9 No.2 June, 2004

デジタルヒューマンと VR

33
97

臓器変形モデルと力覚フィードバックデバイスを用いた手術シミュレータの開発
鈴木薫之
東京慈恵会医科大学

鈴木直樹

東京慈恵会医科大学

大竹義人
東京慈恵会医科大学

服部麻木

東京慈恵会医科大学

林部充宏

東京慈恵会医科大学

橋爪 誠

小林 進

東京慈恵会医科大学

九州大学を構築した例を紹介する．図 1 には構築したサイバー

1．はじめに近年，コンピュータグラフィックス (Computer Graphics,ヒューマンの様子を示す．このモデルは，1 万枚以上のCG) 技術や仮想現実感 ( バーチャルリアリティ，VirtualMRI データを統合して全身構造をモデル化したものでReality, VR) 技術を駆使した映画やテレビ映像などのコンある．この過程で，被検者に負担を与えず，かつ造影剤テンツを多く目にするようになってきた．一方，医学分を用いない MRI 撮影法や四次元モデルの表示法などを野において，生体の画像や時間変化を伴う生体の三次元画像，いわゆる四次元画像が臨床現場でも利用可能になってきており，VR 技術を用いてこれらのデータを活用した生体動態解析，手術シミュレーションなどの研究開発が盛んに行われてきている．本稿では，手術シミュレーションシステムを中心に，われわれが行っている医用三次元・医用四次元画像，いわゆる医用高次元画像技術を用いた VR 技術の応用研究開発について述べる．
2．精密な四次元人体モデル
われわれは医用四次元画像技術を用いて，仮想空間にヒューマンモデルを構築し，診断や治療を支援するための手法の研究開発を行っており，その一つとして，心臓の拍動などの時間的な変化を含み，ボランティアの生体データを用いた四次元モデル「サイバーヒューマン」

図1

33

四次元人体モデル「サイバーヒューマン」の全身の様子

3498

日本バーチャルリアリティ学会誌第 9 巻 2 号 2004 年 6 月

特集

デジタルヒューマンと VR

ミュレーションシステムの開発について述べていく．
3.1 臓器変形モデル
手術シミュレーションに不可欠な要素技術として臓器変形モデリングがある．つまり，手術シミュレーションシステ
ムでは，生体という複雑な立体構造をインタラクティブに
図2

a. 脳および頭部血管の可視化操作し，かつ正確にその時のb. 胸部周辺血管構造変形状態を示す臓器変形モデ

ならびに心拍動を観察することが可能な胸部の様子

ルを用いたシステムを構成す考案した．このようなヒューマンモデルを用いて，モーる必要がある．臓器変形モデルの構築方法には，従来よションキャプチャデータにより，ある動作に対して各関り有限要素法 (Finite Element Methods, FEMs) や質点バネ節がどのように駆動するかなどの全身骨格の動態の可視手法 (Mass-Spring Methods, MSMs) が主に用いられてき化や，複雑な体内構造をリアルタイムに可視化することた [1-6]．現在では，これらの手法を基盤とし改良した手が可能となった．また，心臓の拍動や骨格とその内部に法が取り組まれている．しかしながら，内視鏡手術に代存在する血管群の位置関係も明確に観察することが可能

表されるようなビデオ画像と同等の画像更新速度で変形で，今まで把握しにくかった心内腔の挙動なども容易に処理が行え，自由な方向からかつ複数の作用点における観察，診断することが可能となった．図 2a には脳およ

インタラクティブな変形処理を実現することは難しいのび頭部血管系が観察可能な頭部の様子を示し，図 2b にが現状であった．

は骨格を半透明表示し，心臓を出入りする大血管の状況

そこで我々は，臓器形状を単一剛体球の集合体として表現することのできる球充填モデル (sphere-filled model)を観察することができる胸部の様子を示している．

を考案し，適用した [7-9]．このモデルでは，まず CT やMRI により再構築された患者臓器モデルの内部を，最3．手術シミュレーションシステム
このような医用高次元画像技術を用いた手術支援シス

密充填格子状に同一半径をもつ剛体球で充填する．
次に，テムの一つに，手術シミュレーションシステムに関する互いに接している充填球間の関係を参照し接触している研究開発が挙げられる．手術シミュレーションシステム

球間で外力を伝搬させていくと考え，隣接している球をとは，精密な患者データ (patient data) に基づくヒューマ

順次押し退けながら力を伝えることにより球群を移動さンモデルを用いて，術前に手術手技のリハーサルによるせることによって，臓器の変形を表現する．図 3 に肝臓手技の習得，手術方法の決定やその検討を患者ごとに行領域の sphere-filled model を示す．図 3a には，肝臓表面うことを可能とし，さらには手技のトレーニングといっ形状を示し，図 3b には充填球の配置の様子を示していた教育面でも使用可能なシステムである．

る．また，患者ごとの解剖学的特徴を提示するために，一方，開腹手術と比較して患者への負担の少ない腹テクスチャマッピングを行っている．このような互いに腔鏡手術などの内視鏡手術や，消化管内の外科的処置法の開発などは近年格段に多様化されてきた．しかしながら術者は直接臓器に触れることができず，かつ内視鏡画像を通した術野で作業を行うため，臓器の位置関係を三次元的に把握することが難解であり，個人的な技量の習熟も必要とするのが事実である．そこで，このような現状問題を解決すべく，我々が研究開発を行っている，手術手技のトレーニングならびに手術計画が行え，同時に

図3

肝臓領域の sphere-filled modela には肝表面形状の様子を示し，b には充填球群の配置の様子を示す．

手術作業時の感覚を術者に提示することが可能な手術シ34

特集

JVRSJ Vol.9 No.2 June, 2004

デジタルヒューマンと VR

図49935

肝臓を指で押したときの変形の様子

図中，白色球が指を想定しており，肝表面を半透明表示することによって，血管構造の変形を観察することが可能である．

接した状態に充填されている球の相互作用によって簡略管に着目することにより，その変形状況を確認すること化し，物理的な現象を幾何学的な現象に置き換えることができる．このような切開処理を繰り返し行うことによによって臓器の変形を表すため，リアルタイム処理を実り，切離処理を実現した．図 6 にこの過程の様子を示す．

現することが可能である．また，外力によって移動した

図 6a には切離面生成の様子を示し，同図 b には切除領球群の元の配置に戻ろうとする力ベクトルをもとに力覚域を術者が左手で把持したときの状況を示している．充提示のための力の方向と大きさを算出することが可能で

填球は剛体としてあるため，残存領域の充填球の数を取ある．算出した力覚値は，力覚フィードバックデバイス得することにより，残存臓器体積率を算出することが可に伝送され，術者に手術作業の感触を提示することが可能である．この図の場合の切除例では，残存肝体積は約能である．球同士の相互作用によって実現することが可70 % であるという情報を得ることができた．また術者

能な変形処理として，肝表面を指で押したときを想定しは切離された臓器切片の重みを感じながら，かつ軟組織たときの臓器変形の様子を図 4 に示す．図 4 では，肝臓として扱えることも可能である．構築したシステムでは表面を半透明表示し，肝内部を走行する脈管の状況を観これらの変形処理を約 30-35 Hz の画像更新速度により察することが可能である．白色球が指先の位置を想定し実行することが可能となり，手術手技として負担を感じており，図 4b において白色球周辺の血管構造に着目すないリアルタイム処理を実現した．

ることによって，その変形状態がわかる．一方，切開処
3.2

理においては，臓器の内部構造も切断されて変形して手術シミュレーションのための VR 環境いくため，局所的な変形を柔軟に発生できるモデルが必

従来のコンピュータディスプレイを使用した開腹手要となる．そのため，隣接する球同士に結合力を想定し術シミュレーションシステムでは，実際の開腹手術時た機能を付加させることとした．図 5 には，切開処理時の姿勢や目線，両手の作業位置を表現することは困難でのモデル変形の様子を示す．図 4 同様，切開面付近の脈あった．そこでわれわれは，できるだけ自然な環境下で視野全体をカバーできる高解像度の画像を用いてシミュレーションを実行することが可能な環境として，VirtualSurgery, Tele-surgery Cockpit を設計，製作した [10]．コックピットは，大型の曲面スクリーンを備え，0 度から 45度の間でその仰角を自由に変更することを可能とし，術者ステージには両手型の力覚フィードバックデバイスを搭載した．また術者ステージは可動式とし，術式や術者の姿勢に応じて自由に手術環境を設定することを可能

図5

切開変形処理の様子とした．また，必要に応じ液晶シャッター式の眼鏡による立体視を利用し，対象物の三次元形状，四次元的動作

a には肝表面の変形の様子を示し，b には充填球の状態を示し，着色球が切開面によって切り分けられる球群を示している．の空間的把握を高められる機能を持たせた．搭載して

35

100
36 日本バーチャルリアリティ学会誌第 9 巻 2 号 2004 年 6 月

図6特集

デジタルヒューマンと VR

切離変形処理の様子

a には切離面生成の様子を示し，b には切除領域を術者が左手で把持しているときの様子を示す．
TMいる力覚フィードバックデバイスは，両手 10 指，手のステムを必要とせず，どこでも購入できる PHANToM

甲に反力を提示することができ，十分な手術作業を行(SensAble Technologies Inc.) 2 台を使用し，ロボット手術える機構を持つ．図 7 には本コックピットにて肝切除術と同じ操作を実現した．図 9 には，胆嚢摘出術を想定し(hepatectomy) のシミュレーションを行っている様子を示たシミュレーションを行っている様子を示す．図中 a にす．図中 a には，コックピット全景の様子を示し，b には，右手ロボット鉗子で胆嚢を把持し，同時に左手ロボッは術者後方からの術野状況を示している．

ト鉗子で胆嚢を圧迫したときの様子を示している．また
図 b では，左手で胆嚢を把持し，右手で剥離処理を行っ

3.3

ロボット手術システムのための手術シミュレーションシステム
TMTM
近年 da Vinci (Intuitive Surgical Inc.) や ZEUS (ComputerMotion Inc.) といった手術用ロボットを用いて，低侵襲かつ正確な操作による内視鏡手術が行われるようになってきた．このような手術ロボットを広く臨床に応用するためには，医師は，手術ロボット特有の動きを理解し，術野画像や機器の操作に十分に慣れる必要がある．そこでわれわれは，ロボット手術特有の手技を習得することを可能とするトレーニング用手術シミュレータの開発を行っている [11]．また，遠隔地の複数の専門医からの指導や共同作業を実現するために，遠隔地からシミュレーションを実行することが可能な遠隔手術シミュレーションセンターの構築を行い，常に最新のトレーニングシステムの配信を可能とする機能を目指している．図 8 には，遠隔手術シミュレーションシステムの概念図を示す．遠隔地の各医師は，パーソナルコンピュータからシミュレーションセンターにあるビジュアルスーパコンピュータにアクセスし，任意のトレーニングプログラムを選択してシミュレーションを行う．また，同じプログラムを複数の遠隔地でセンターを介して共有することも可能である．

図7

センターと各拠点との通信回線には，近年急速に普及をしはじめているブロードバンド回線を用い，かつこの際Virtual Surgery,Tele-surgery Cockpit による手術シミュレーションを行っている様子

a にはコックピット全景を示し，b には術者後方からの術野の状況を示すの力覚フィードバックデバイスとしては，特別な開発シ36

特集

JVRSJ Vol.9 No.2 June, 2004

デジタルヒューマンと VR

図837101

遠隔手術シミュレーションセンター

センターと各ユーザーはブロードバンド回線で接続され，センターにあるトレーニングプログラムにアクセスし，シミュレーションを行うている様子を示している．シミュレーションで使用して細に把握することが可能になった．また，このような技いる臓器変形モデルには sphere-filled model を用いており，術を用いた手術シミュレーションシステムにより，患者各臓器の形状や特性を考慮し，肝臓モデルには半径 6mmごとの詳細な手術プランニングやリハーサルが充分に行の充填球，胆嚢モデルには半径 2mm の充填球と，それぞえ，また，経験が少ない医師への手術手技トレーニングれ異なる半径の充填球を用いた．また，シミュレーショや手術計画，さらにはディジタルコンテンツ化すること

TMンで用いる da Vinciの鉗子の形状は，その形状を採寸により，熟練した医師の手術手技をデジタルデータとしした情報から CAD データとして再構築した四次元モデて扱え，研修医をはじめとする若い医師への教育などにルを使用した．

活用することが可能であると考える．さらに近年では，
TM

本システムにより，da Vinciの鉗子操作を実際の手手術中に患者自身と患者体内の三次元画像を重畳表示し術に近い操作で行うことを可能にし，把持や剥離などのながら手術を進めることができる Data Fusion 技術を用変形処理を行うことを可能にした．また，ブロードバン

いた手術ナビゲーションシステムの開発 [12] も盛んにド回線による拠点間通信により，遠隔地からの手術操作行われており，これらのシステムを用いることにより，を行うことが可能となった．

正確でより安全な手術の施行が期待でき，新しい診断法や治療法が生み出されていくと考える．

4．まとめ
参考文献

医用高次元画像技術により，時空間的に複雑な対象で[1] J. Marescaux, J.M. Clement, V. Tassetti, C. Koehl, S.

ある生体の運動を，精密な四次元人体モデルを用いて詳

Cotin, Y. Russier, D. Mutter, H. Delingette, and N. Ayache,“Virtual reality applied to hepatic surgery simulation: The
next revolution,” Ann. Surg., vol. 228, no. 5, pp. 627-34 (1998)[2] S. Cotin, H. Delingette, and N. Ayache, “Real-time elastic
deformations of soft tissues for surgery simulation,” IEEETrans. Vis. Comput. Graphics, vol. 5, no. 1, pp. 62-73 (1999)
図9[3] S. Cotin, H. Delingette, and N. Ayache, “A Hybrid Elastic

da Vinci TM を用いた胆嚢摘出術を想定したシミュレーションを行っている様子

Model allowing Real-Time Cutting, Deformations anda には，右手ロボット鉗子で胆嚢を把持し，左手ロボット鉗子で胆嚢を圧迫したときの様子を示す．b には，左手ロボット鉗子で胆嚢を把持し，右手ロボット鉗子で胆嚢を剥離している様子を示す．

Force-Feedback for Surgery Training and Simulation,”
Visual Computer, vol. 16, no. 8, pp. 437-52 (2000)

37

102
38 日本バーチャルリアリティ学会誌第 9 巻 2 号 2004 年 6 月

特集[4] J. Berkley, S. Weghorst, H. Gladstone, G. Raugi, D. Berg,

デジタルヒューマンと VR

鈴木直樹（SUZUKI Naoki）

and M. Ganter, “Fast finite element modeling for surgical

東京慈恵会医科大学

高次元医用画像工学研究所

教授

simulation,” MMVR7, pp. 55-61 (1999)

1981 年早稲田大学大学院理工学研究科博士後期課程修了．工博，理博，医博．現在，東京慈恵会医科大学教授，および同大高次[5] J. Berkley, P. Oppenheimer, S. Weghorst, D. Berg, G.Raugi,

元医用画像工学研究所所長．専門は，医用生体工学，超音波医D. Haynor, M. Ganter, C. Brooking, and G. Turkiyyah,学，生物工学，医用高次元画像の臨床応用など．日本エム・イー“Creating fast finite element models from medical images,”学会などの会員および日本コンピュータ外科学会理事．

Stud. Health Technol. Inform, vol. 70, pp. 26-32 (2000)[6] C. Paloc, F. Bello, R.I. Kitney, and A. Darzi, “Online

服部麻木（HATTORI Asaki）

Multiresolution Volumetric Mass Spring Model for Real

東京慈恵会医科大学

Time Soft Tissue Deformation,” LNCS 2489, MICCAI2002,

高次元医用画像工学研究所講師

1992 年ダイキン工業 MEC 研究所研究員． 1994 年早大大学院

pp. 219-26 (2002)

理工学研究科修士課程修了．現在，東京慈恵会医科大学 講師，[7] T. Ezumi, N. Suzuki, A. Takatsu, T. Kumano, A. Ikemoto,

高次元医用画像工学研究所に勤務．専門は，高次元画像処理，Y. Adachi, and A. Uchiyama, “An Elastic Organ Model

高次元動態解析，手術シミュレーション．日本エム・イー学

for Force Feedback Manipulation and Real-time Surgical会，日本コンピュータ外科学会各会員．

Simulation,” International Conference on Artificial Reality
林部充宏 (HAYASHIBE Mitsuhiro)

and Telexistence, pp. 115-21 (1997)

東京慈恵会医科大学 高次元医用画像工学研究所 助手[8] N. Suzuki, A. Hattori, S. Kai, T. Ezumi, and A. Takatsu,

1999 年東京工業大学工学部卒業．2001 年東京大学大学院工“Surgical planning system for soft tissues using virtual学系研究科修士課程修了．2001 年東京慈恵会医科大学 助手，reality,” MMVR 5, pp. 159-63 (1997)高次元医用画像工学研究所に勤務．専門は，医用画像工学，[9] 鈴木薫之，鈴木直樹，服部麻木，内山明彦：バーチャ

ロボティクス．IEEE, 日本ロボット学会，日本コンピュータ

ル手術システムに適した弾性臓器モデルの開発，電子外科学会各会員．

情報通信学会誌，vol. J86-D-II, no. 9, pp. 1341-9 (2003)[10] S. Suzuki, N. Suzuki, A. Hattori, and A. Uchiyama,大竹義人（OTAKE Yoshito）“Dynamic Deformation of Elastic Organ Model and the VR

東京慈恵会医科大学

Cockpit for Virtual Surgery and Tele-surgery,” MMVR 11,

高次元医用画像工学研究所助手

2002 年早稲田大学大学院工学系研究科修士課程修了．2002

pp. 354-6 (2003)

年東京慈恵会医科大学 助手，高次元医用画像工学研究所に[11] 鈴木薫之，鈴木直樹，橋爪誠，掛地吉弘，小西晃造，勤務．専門は，医用画像処理，生体の動態解析．日本コンピュータ外科学会，日本補綴歯科学会各会員．

服部麻木，大竹義人，林部充宏：ロボット手術シス
テム da Vinci のための遠隔手術シミュレーションシス

進（KOBAYASHI Susumu）

テムの開発，第 12 回日本コンピュータ外科学会大会，

小林pp. 21-22. Dec (2003)

東京慈恵会医科大学

大学外科学講座助教授，および同大学附属病院手術部診療部長，(da Vinci) with a Data Fusion System for Navigation

同大学附属病院肝胆膵外科診療副部長．日本腹部救急医学会，Surgery in the Abdominal Region,” Jikeikai Med J, vol. 50

日本肝胆膵外科学会，日本消化器病学会関東支部，日本臨床外no. 1, pp. 19-27 (2003)

科学会，日本外科学会評議員，日本手術医学会各評議員．
橋爪

【略歴】

誠（HASHIZUME Makoto）

九州大学

鈴木薫之（SUZUKI Shigeyuki）
高次元医用画像工学研究所

助教授

1972 年東京慈恵会医科大学卒業．医博．現在，東京慈恵会医科[12] A. Hattori and N. Suzuki, “A Robotic Surgery System

東京慈恵会医科大学

外科学講座

大学院医学系研究科災害救急医学教授

1979 年九州大学医学部卒業．1984 年九州大学大学院医学助手

研究科修了．1998 年九州大学医学部外科学第二講座助教

1999 年早稲田大学理工学部卒業．2001 年早稲田大学大学

授．1999 年九州大学大学院医学系研究科災害救急医学教授．

院理工学研究科修士課程修了．2001 年東京慈恵会医科大学

2003 年九州大学病院先端医工学診療部部長併任．ロボティッ

助手，高次元医用画像工学研究所に勤務．専門は医用バー

クシステムの開発に関する研究に従事．日本コンピュータ

チャルリアリティ，医用画像処理，手術シミュレーション．

外科学会理事．

IEEE, 日本コンピュータ外科学会など各会員．

38