特集 人・社会のモデル化の最前線

JVRSJ Vol.18 No.3 September, 2013

11155

特集 ■ 人・社会のモデル化の最前線

人体・臓器形態のバーチャル化〜 三次元画像に基づく手術工程のモデリング 〜

中尾 恵

京都大学

Nakao Megumi

1．はじめに

人体・臓器形態のバーチャルモデルを臨床現場にお内視鏡下手術やロボット手術に代表される先端医療ける患者の治療に生かす試みも多くなされている．手技術の開発に伴い，その安全管理・手術時間の短縮

術計画や術中ナビゲーションなどへの利用である．臨と医師の負担減少などが患者と医師の双方のニーズと床現場では，1 回の撮像で得られる数百 MB 〜 GB オーなっている．一方で，CT や MRI などの撮像機器の進ダーの三次元画像から即時にバーチャルモデルを作成

歩により，一人の患者から一回で数百枚から一千枚近することが求められる．症例のバリエーションは無数

い断層画像集合（以下，三次元画像）が取得されるよにあり，かつ，医療従事者が手術前や術中に用いるこうになり，大学病院では一か月に TB（テラバイト）オーとになるため，利用形態を踏まえた即時性のあるモデダーの規模の医用画像が蓄積されている．このようなリングと直観的かつ対話操作が可能なアプリケーショ

背景の下，三次元情報の直感的な理解と対話的な操作ンを考える必要がある．本稿では特に，このような臨を可能とするバーチャルリアリティ（VR）技術が応用

床現場における外科的治療への活用を目指した，患者された医用システムが開発されてきた．今回は多くの個人の三次元画像に基づく人体・臓器形態のバーチャアプリケーションにおいて共通の課題となる人体・臓ル化に目を向けたい．

器形態のバーチャル化の観点でこれまでの研究を概観
2．人体・臓器形態のボリュームモデリングしてみたい．
医用バーチャルリアリティ分野において，人体・臓医用画像処理・認識に関する研究により，三次元画像器モデルに関する研究の先駆けとなったものに，1980内の臓器領域を半自動的あるいは対話的に比較的短時間

年代後半から 1990 年代前半にかけて米国国立図書館でで抽出することができるようになってきている．臓器領実施された Visible Human Project [1] がある．当時にお域の抽出後，術前計画や術中ナビゲーションに必要な人いて男性 28.6GB, 女性 76.2GB それぞれ 1 体のカラー

体・臓器の局所構造や力学特性に関する情報はメッシュ

断層画像集合が持つ情報量の多さはインパクトが大き形式に変換して記述する方法が取られる．整形・形成

く，画像処理や可視化，形状・弾性モデリングなど人外科領域では三次元医用画像からメッシュモデルを作成

体のバーチャル化に関連した多くの研究が進められた．

し，複雑な形状を持つ骨組織同士の接合方法の計画や応1990 年代には医学教育向けのデジタル解剖学アトラス

力解析に用いる研究がなされている．メッシュモデルは[2] が製作され，内視鏡手術 VR シミュレータ [3][4] にサーフェースレンダリングによってその表面が可視化さついても報告がなされている．医学教育や手術手技トれることが多いが，例えば切開や切削などによって構造レーニングは人体・臓器のバーチャルモデルの利用形自体に変化が生じる場合に逐次表面形状の再構築が必要態のひとつであり，現在では多くの VR シミュレータとなり，時間変化する構造をその内部を含めて実時間でが製品化されている．これらの現状は本誌の過去の特精緻に表現することが難しい．また，計算精度とコスト集記事 [5] にも詳しく紹介されている．の両方を踏まえた妥当なモデルを製作するためには要素

11

12156

特集

日本バーチャルリアリティ学会誌第 18 巻 3 号 2013 年 9 月

人・社会のモデル化の最前線

図 1 2D ポインティングによる実時間ボリューム切削 , (a) 頭蓋の部分切除表現 , (b) 脊椎の切削予定箇所の入力と内視鏡ビュー分割に関する知識やノウハウが必要で，依然多くの解析メータに反映させることによって術中ナビゲーションのソフトウェアは臨床現場において医療従事者が利用しや用途にも応用することが試みられている．

すい設計になっているとは言い難い．

切削などによる骨組織の構造変化に対応したボ

これに対し，医療従事者が普段から三次元画像を見リュームモデリングの例を示したが，手術時に柔らか慣れていることに着目して，そのボリュームレンダリい臓器に与えられる別の操作のひとつに弾性変形があング像に対する自然なインタラクションの提供を目指る．切削などの操作と異なり，変形結果を可視化するすアプローチの研究が行われてきた [6][7]．三次元画像ために三次元画像ボクセル単位で再構築するのは計算に対する対話的な編集・操作を実現するためのボリューコストが大きい．この問題に対し，三次元画像の変形ムモデリングによるアプローチである．図 1（a）はそのをボクセル単位ではなく，空間をよりスパースにサン

一例であり，マウスを用いて頭部 MRI のレンダリングプリングした頂点（代替ジオメトリ）の移動によって像を指定し，インタラクティブに頭蓋の一部を切削し変形を記述し，その頂点間の情報を GPU 上のテクスチャている様子である．レイキャスティング [8] と同様のプ補間によって可視化することで変形後の像を得るボ

ロトコルで視線方向に各ボクセルに定義された不透明

リューム変形のアルゴリズムが開発された [7][10][11]．

度を累積していき，閾値を超えた所を表面とみなすこ

代替ジオメトリには点群 [12] やメッシュ [13] などの形とによってマウスカーソルに対応したレンダリング像式が考えられており，図 2（c），図 3（c）は三次元画像表面上の三次元位置を取得することができる．三次元とその操作対象領域をスパースにサンプリングした四画像と同サイズのラベル画像に切削箇所を保持してお面体メッシュを併用して臓器のボリューム変形を表現

き，レンダリング時に GPU（Graphics Processing Unit）している例である．このとき，各頂点の変位はユーザ上で，サブボクセルレベルで不透明度を補間することの操作に対する弾性体の力学特性を定式化した実時間によって時間変化する切削面の境界を精緻に表現する変形モデルに基づいて求められる．次章では臓器変形ことができる [9]．ボリュームデータであるので，切削のモデル化の方法を幾つか紹介する．

領域を透明にすることによって，頭蓋に遮蔽されてい3．臓器変形のモデリングた脳の構造の一部が可視化される．
図 1（b）は椎間板ヘルニアや脊柱管狭窄症に対する内弾性体の変形を安定かつ高速に算出する手法として，視鏡手術において，脊椎の一部を切削する際の切削予定

ばね質点モデルや有限要素モデルなど多くの研究がな箇所（破線内部の濃い色で表示されている部分）を，ボされてきた [14]．特に有限要素法は弾性体を有限の要素リュームレンダリング像を参照しつつ入力した結果をに分解し，物理的に厳密な支配方程式を大規模な連立示している．内視鏡のレンズ特性を反映して可視化する一次方程式に置き換えることによって，安定した解のことによって，内視鏡挿入時の切削予定箇所の見え方を導出を実現する．ヤング率やポアソン比などの物性値事前に確認しておいたり，手術時に内視鏡の位置・姿勢を直接扱うことができ，精度の良い解が得られるが，をリアルタイムに計測し，レンダリング時のカメラパラメッシュの頂点数に比例したサイズの連立一次方程式

12

特集

人・社会のモデル化の最前線

JVRSJ Vol.18 No.3 September, 201313157

図 2 (a) 弾性体の回転 ・ ひねりを伴う大変形 , (b) 硬さが部分的に異なる場合 , (c) 大変形モデルに基づく腎臓のボリューム変形

図 3 肝臓の術中変形に対応した可視化 , (a)(b) 肝切除術における手術中の変形 , (c) ボリューム変形による切離面の変化の提示を解く必要があり，計算コストが高い．このため，多元位置は，局所座標系における相対位置を，グローバルくの高速化手法の提案がなされている [15][16]．一方，座標系での値に変換することによって求められる．この線形有限要素モデルは微小変形の範囲では高精度な解手法では物体の局所の回転を各局所座標系の回転量としが得られるものの，ひねりや曲げなどの回転を含む変て記述し，頂点間で補間することができる．図 2（a）は形では体積が膨張し，不自然な変形結果となることが直方体形状の弾性体を想定してひねりと曲げの両方を同知られている [17]．手術において，臓器は把持や圧排，時に与えた場合の変形をシミュレートした例である．
（b）

呼吸などの影響によって比較的大きく変形するため，は左半分が硬く，右半分が柔らかいモデルに（a）と同様弾性体の大変形を実時間で求める問題は現在においてな制約条件を与えた場合である．（c）は腎臓表面を手術も研究課題のひとつとなっている．

鉗子で把持し，腎動脈を軸に回転させた際のボリュームインタラクティブ CG や CAD の分野で研究されてきた変形結果である．

メッシュ編集法を応用して想定される臓器変形を表現す

肝臓がんに対して実施される肝切除術にもボリューる試みもなされている．メッシュの頂点単位で定義されム変形を応用できる．肝切除術では，肝臓内の複雑なる離散ラプラシアンとユーザからの入力による制約を反血管の走行を踏まえて切離面を三次元画像上に記述し，映した評価関数を定義し，その最小化問題を解くことで計画した切離面を参照しながら手術を進める試みがな

モデル形状を修正する [18]．回転を含む自然な形状修正されている．しかし，図 3（a）
（b） のように手術時にはを達成するために，各頂点において局所座標系を保持し，視野を確保するためなどに肝臓を変形させるため，切すべての頂点位置を隣接頂点の座標系を用いて表現する

離すべき方向が変化する．（c）は術中に想定される変形考え方が提案されている [19]．メッシュの各頂点の三次をシミュレートし，切離面の変化を観察する用途で作

13

14158

特集

日本バーチャルリアリティ学会誌第 18 巻 3 号 2013 年 9 月

人・社会のモデル化の最前線

図 4 下顎骨再建術における腓骨移植のバーチャル設計 ,(a) 下顎切除領域への腓骨移植シミュレーション （2 分割の場合） , (b) 医師の対話操作よる計画内容の改善 , (c) 3D プリンタによる計画内容の出力結果 (3 分割の場合 )成されたボリューム変形像である．新たに得られた切を切断することも試みられており，計画内容に沿った離面や切離の進展に伴って現れる血管構造を確認しつより精密な手術の実現が期待される．

つ手術を進めることができる．このように形状編集ア

これまでに幾つかの人体・臓器形態のバーチャルモ

ルゴリズムは医療従事者がイメージする臓器変形を得デルの利用形態を示してきたが，医療従事者が患者のる用途に有効である．

三次元画像に基づいて手術をシミュレートすることによって，頭の中のイメージであった手術プロセスが医4．手術工程のバーチャル化療を専門としない我々にもある程度理解できる形で可

最後に，下顎骨再建術における腓骨移植の計画のた視化されていることに気づく．現状の外科学領域ではめに開発したバーチャル手術計画システム [20] を紹介

手術書や過去の症例の手術ビデオ等を通して代表的なしたい．下顎歯肉癌の治療による切除や事故による下手術工程を定性的に知ることはできるが，手術工程の顎骨の欠損に対して行われる下顎骨再建に患者自身の各要素は定量的に評価されていないことが多い．この腓骨を用いる方法が試みられているが，熟練医であっ現状において，医療従事者がイメージする手術工程をても下顎の切除領域に対する理想的な腓骨の分割と配バーチャル像上に自身で表現することは，手術工程の置を得ることは容易ではない．本システムは，三次元定量的把握と客観的評価の手段として有意義である．

CT 画像から構築された下顎ボリュームモデルを可視化

例えば，執刀医が経験的に活用している暗黙的な医学し，対話的に腓骨の分割・配置をシミュレートするこ知識や症例ごとの手術戦略をバーチャル化し，記述・とを可能とする．図 4（a）は 2 分割された腓骨セグメン保存することで，執刀医が自身の手術内容を客観的にトを移植に用いる場合であり，下顎切除領域に各セグ評価できるだけでなく，後世に定量化された手術法とメントを配置した際の再建後の下顎の推定結果が可視して残すことができる．また，想定する手術工程を可化されている．医師はレンダリング像上に複数配置さ視化することで，医療従事者間の意思疎通の円滑化やれたバーチャル面を対話的に操作し，患者の元の下顎手術時間の短縮が可能となり，医療従事者と患者の双の形態や機能をより良く復元できるよう計画内容を修方の負担軽減に繋がる．さらなる人体・臓器形態のモ正する．特に本システムは専門医の見解に基づいて元デリング，手術工程のバーチャル化を通して，症例ごの下顎と再建後の下顎を定量評価する体積充填率や形との最良の手術の探求に繋がることを期待している．

状誤差など幾つかの形状評価指標を備えており，医療従事者はその評価値を参照しつつ，より良い腓骨の分参考文献

割や配置を定量的かつ対話的に探索することができる．

[1] M. J. Ackermann,: The Visible Human Project: A Resource

図 4 （c）は 3D プリンタによって出力された腓骨の分割

for Anatomical Visualization, Proc. 9th World Congress on
Medical Informatics, pp.1030-1032（1998）

パターンである．この実模型に基づいて手術時に用い[2] K. H. Hohne, B. Pflesser, A. Pommert, M. Riemer, T. H.

る金属製のガイドを製作し，そのガイドに沿って腓骨

14

特集

人・社会のモデル化の最前線

JVRSJ Vol.18 No.3 September, 2013

15159

Schiemann, R. Schubert, U. Tiede,: A New Representation of[ 15 ] M. Bro-Nielsen and S. Cotin,: Real-time Volumetric

Knowledge Concerning Human Anatomy and Function, NatureDeformable Models for Surgery Simulation Using FiniteMedicine, Vol. 1, No. 6, pp.506-511（1995）

Elements and Condensation, Eurographics Computer[3] M. Gross,: Graphics in Medicine: From Visualization toGraphics Forum, Vol. 15, No. 3, pp.57-66（1996）[16] K. Hirota and T. Kaneko,: Haptic Representation of Elastic

Surgery Simulation, ACM Trans. on Computer Graphics
Vol. 32, pp.53-56（1998）

Object, PRESENCE, Vol. 10, No. 5, pp.525-536（2001）[ 4 ] U. Kuhnapfel, H. K. Cakmak, H. Mass,: Endoscopic[17] M. Muller and M. Gross,: Interactive Virtual Materials,

Surgery Training Using Virtual Reality and Deformable

Proc. Graphic Interface, pp.239-246（2004）[18] M. Botsch and O. Sorkine,: On Linear Variational Surface

Tissue Simulation, Computers & Graphics , Vol. 24, No. 5,
pp.671-682（2000）

Defor-mation Methods, IEEE Trans. on Visualization and[5] 医療からみた VR，
日本バーチャルリアリティ学会誌，

Computer Graphics, Vol. 14, No. 1, pp.213-230（2008）[ 19 ] Y. Lipman, D. Cohen-Or, R. Gal, D. Levin,: Volume

Vol. 15, No. 1, pp.8-40（2010）[ 6 ] C. D. Correa, D. Silver and M. Chen,: Feature Alignedand Shape Preservation via Moving Frame Manipulation,

Volume Manipulation for Volume Illustration, IEEE

ACM Trans. on Graphics, Vol. 26, No. 1（2007）[20] M. Nakao, M. Hosokawa, Y. Imai, N. Ueda, T. Hatanaka,

Transactions on Visualization and Computer Graphics, Vol.
12, No. 5, pp.1069-1076（2006）

K. Minato, T. Kirita, T. Matsuda,: Volumetric Surgical[7] J. Georgii and R. Westermann,: A Generic and Scalable

Planning System for Fibular Transfer in Mandibular

Pipeline for GPU Tetrahedral Grid Rendering, Proc. IEEEReconstruction, Proc. IEEE EMBC, pp.3367-3370（2013）

Visualization, pp.1345-1352（2006）[8] M. Levoy,: Efficient Ray-tracing of Volume Data, ACM【略歴】

Transactions on Graphics, Vol. 9, No. 3, pp.256-261（1990）

中尾[9] K. Imanishi, M. Nakao, M. Kioka, M. Mori, M. Yoshida,

恵（NAKAO Megumi）

京都大学大学院

情報学研究科准教授

T. Takahashi and K. Minato,: Interactive Bone Drilling1999 年京都大学工学部卒業，2003 年京都大学情報学研

using a 2D Pointing Device to Support Microendoscopic

究科博士課程修了．同年，同大学院医学研究科助手（特Discectomy Planning, Int. J. Computer Assisted Radiology

任），2004 年より奈良先端科学技術大学院大学情報科and Surgery, Vol. 5, No. 5, pp.461-469（2010）

学研究科助手，2007 年同助教．2009 年ハーバード大[ 10 ] M. Nakao and K. Minato,: Physics-based Interactive

学医学部在外研究員を経て，2011 年 4 月より現職．専

Volume Manipulation for Sharing Surgical Process, IEEE

門は医用バーチャルリアリティ，生体医工学．文部科

Trans. on Information Technology in Biomedicine, Vol.14,

学大臣表彰 若手科学賞，IPA 未踏ソフトウェア創造事

No. 3, pp.809-816（2010）

業 スーパークリエータ，本学会論文賞，学術奨励賞な[11] M. Nesme, Y. Payan and F. Faure,: Accurate Interactive

どを受賞．

Animation of Deformable Models at Arbitrary Resolution,
International Journal of Image and Graphics, pp.175-202（2010）[ 12 ] F. Faure, B. Gilles, B. Guillaume, D. K. Pai,: Sparse
Meshless Models of Complex Deformable Solids, ACM
Trans. on Graphics 30, pp.1-11（2011）[13] M. Nakao, K. W. C. Hung, S. Yano, K. Yoshimura andK. Minato,: Adaptive Proxy Geometry for Direct Volume
Manipulation, Proc. IEEE Pacific Visualization, pp.161-168（2010）[14] A. Nealen, M. Muller, R. Keiser, E. Boxerman and M.
Carlson,: Physically Based Deformable Models in Computer
Graphics, Proc. of Eurographics, pp.809-836（2005）

15