ActiveHeart System: 心臓の視覚・触覚シミュレーション環境 の提案と構築
122

1

12

中尾 恵, 小森 優, 小山 博史, 松田 哲也, 上林 弥彦, 高橋 隆
12

京都大学大学院 情報学研究科
京都大学 医学部附属病院 医療情報部〒606-8507 京都市左京区 聖護院川原町 54 京都大学附属病院 医療情報部
Phone: 075-751-3165
E-mail: meg@kuhp.kyoto-u.ac.jp
概要: 本研究の目的はActiveHeart：心拍動の４次元視覚・触覚シミュレーション環境の提案及び実装である。本稿では、まず拍動心臓が示す能動的な触覚情報及びリアルタイムな視覚情報を記述するための手法を提案する。本手法に適用されるデータは心電同期された3次元MRIによって成人男性から取得される。弾性情報としては臨床医の経験上の値を一定弾性率として与えた。そして、心拍動モデルを触感デバイス及びリアルタイム３次元画像生成能力を持つハードウェアを用い、心拍動シミュレーション環境として設計し実装した。構築したシステムに対する数名の心臓外科医の評価の結果、触感伝達のためのインタフェースには改良の余地が残されているが、画像及び心拍動の力覚提示は優れているとの結論が得られた。最後に、発展的な心臓手術シミュレーション構築へ向け、今後の本研究の展開を議論する。
キーワード: 心臓シミュレーション, 弾性アトラス, 動的力覚モデル, 視覚化, 医学教育

ActiveHeart System: Proposal and implementation of agraphic and haptic simulation of heart beats
1Megumi Nakao, 2 Masaru Komori, 2 Hiroshi Oyama, 1 Tetsuya Matsuda, 2 Takashi Takahashi
12Graduate school of informatics Kyoto University,
Department of Medical Informatics Kyoto University Hospital

54, Shougoin Kawara-chou, Sakyou-ku, Kyoto, 606-8507, Japan
Department of Medical Informatics, Kyoto University Hospital
Phone: +81-75-751-3165,
E-mail: meg@kuhp.kyoto-u.ac.jp
Abstract: A goal of this work is proposal and construction of ActiveHeart: a simulation environment thatanyone can see and touch a heart beat in real time. In this paper, a method to express real-time graphic andhaptic behaviour of beating heart is mentioned. The data for the beating heart model was obtained from ECGgated 3D MRI of a normal volunteer. The elastic information was assumed as a uniform value with clinicallyexperienced elasticity. Using a real-time 3D graphics and a haptic device, a simulation environment of a beatingheart model was designed and implemented. The implemented system was evaluated by some cardiovascularsurgeons. Its visualization and beating expression were scored excellent, but some details in haptic expression
were remained to be improved. Finally, for more realistic cardiovascular surgical simulation, future
development of the method is discussed.
Keyword: Cardiac Simulation, Elastic Atlas, Dynamic Physical Model, Interactive Visualization, MedicalTraining

1 はじめに
近年、Virtual Reality（VR）が医療に大きく貢献する可能性を持つ技術として注目されている。[1] 視覚的かつ対話的なVRの性質は複雑な3D構造や空間的なタスクのトレーニングに有用である事が証明されている。そして、触覚情報を仮想的に生成するハプティックインタフェースは医学教育・手術シミュレーションなどの用途として注目され始めている。[2] この医療VRの広がりに伴って生体組織の形状情報だけではなく、硬さやざらつきなどの物理特性を記述する事で、その触感を再現しようとする研究が行なわれつつある。[3][4][5] 触感は臨床において視覚情報についで重要とされている情報であり、これを忠実に再現するシステムはより臨場感のあるVR環境を実現する。
ところで、心臓は生体を特徴づける能動組織であり、臨床や医療教育の現場ではその動的な視覚・触覚情報の参照に対する要求が古くからある。しかし、現在の医療では生きているヒトの心臓を直接的に参照する機会は手術時に限られ、初心者は数少ない手術の機会やビデオテープを通してその動きや処置の方法を間接的に学ぶ必要がある。視覚情報に関しては、診断や術前検討において、レントゲン像や、CT、MRI、超音波による断層像が静止画として用いられる。
最近では再構成を行った３次元画像を用いることも珍しくはなくなった。[6] しかし、立体構造を対話的に任意の方向から観察したり、任意の割断面を参照するには大規模なシステムが必要であり、術前にこうした利用がなされる事は極めてまれである。
一方、生きているヒトの心臓の触感を得たい状況も存在する。例えば、心臓に関する病例の１つである心タンポナーデに対する処置では、拍動を止めずに心膜腔内へ細い管を挿入し、病状の原因となる液体を抽出する作業が必要となる。この手術は事前に術者がトレーニングする事が不可能であるにも関わらず、拍動する心臓に直接的に処置を加えるという手術の性質上、術者にとって心膜と心筋との間の微妙な操作が要求される難しい手術の例と言える。しかし、このような要求に対し、拍動の触感を再現できるシミュレーション環境を提供できれば、術前にリハーサルを繰り返すことでより安全な手術を行う事が期待できる。これまで、こういった一部の用途にはその都度模型によるシミュレータが作られてきた。しかし、この類のシミュレ
ータは柔軟性に乏しく、内部組織の変化などを自由に参照するといった要求を満たすには至らない。したがって、VRをはじめとする情報技術を応用する事によって、これまでの古典的な手法では実現不可能な心臓弁や心筋などの心機能に関する病状診断や手術用トレーニングをリアリスティックに行うシステムの実現が望まれる。また今後は手術の低侵襲化、ロボティクス化にともない、心肺停止を行わずに行う新しい手術技法開発のために触感を提示できるシミュレーションプラットフォームも望まれている。

2 心臓シミュレーション環境の提案
上記の要求を踏まえ、心拍動に関する視覚・触覚情報を非侵襲で取得し、VRオブジェクトとして再現する事は有意義である。しかしながら、心臓は能動生体組織であるため、データの取得及び触感提示において、他の静的な臓器及び組織を対象としてきた既存研究[3] と同様のアプローチをとる事はできない。そこで、本研究では生きているヒトから現存の計測技術によって取得可能な心臓の時系列形状データに基づいて、そのリアルタイムな視覚・触覚情報を生成する手法を提案する。そして、計算機及び触感デバイスなどを利用して、心拍動のリアルタ
イム３次元視覚・触覚シミュレーション環境として実装する。すなわち、本研究は生きているヒトの心臓を仮想的に見て、触ることを可能にする環境の構築を目指したアプローチである。
本研究はVRの概念及び触感デバイスなどの情報技術を用いる事で、数少ない心臓の表現をより柔軟かつリアリティあるものにする事に目標を置いている。そして着目すべきはこれまで胸部切開後にしか触れる事ができなかった心拍動の触感を実データに基づいて再現する事を試みている点である。この結果、このシミュレーション環境はこれまで困難であった生きているヒトの心拍動が示す任意箇所の触感、任意面での切断画像などの提供を可能とする。当然、これらはすべてリアルタイムな提示を前提としている。提案するシミュレーションシステムが目指す環境及び機能を次に示す。
・ 実測データに基づく立体アトラスの提供
・ 時間軸を考慮したリアルタイムな表現

図 2 心臓領域抽出後の画像

・ 能動的な形状変化による圧力の提示
・ 柔軟かつ対話的な参照・解析環境の提供

3.2 触覚情報生成手法

今後、本稿では提案する心拍動の４次元視覚・触覚シミュレーション環境をActiveHeart
Systemと呼ぶ。ActiveHeartという名称はシステ
ム内で仮想的に提示されるリアルタイム3D心臓オブジェクトを指す名称とする。

次に拍動の触感を再現する際の最も重要な点は作成した時系列心臓形状データからどのように力を記述するかという点である。そこで、本稿では心拍動の触感をその原理の違いから、静止表現と拍動表現の２つに分類して記述し、提示する事とした。これは表面に触れた際に感じられる拍動の触感は心筋が拡張するために生じる「能動的な力」であり、臓器を押す事で生じる「受動的な力」とは異なった記述が必要となるためである。

3 心拍動の視覚・触覚表現手法
3.1 時系列心臓データ
本研究が対象とするデータは心電同期された3次元MRIにより15心時相からなる胸部周辺の時系列ボリュームデータとして得られる。図1に1枚のMRI画像を示す。この画像データが垂直に重なって256×256×64voxelの１Volumeを成す。空間分解能は水平方向1mm、鉛直方向3mmである。

実空間とデータのレジストレーション
力の記述に必要となるのはオブジェクトに対する衝突検出および反力生成である。本研究ではこの２つのアルゴリズムを記述するにあたって、仮想空間の概念を用いた空間マッピングの手法を用いた。図3にこの手法の直感的なイメージを示す。

図 1 MRI による胸部断層画像

最初の段階として、このデータにセグメンテーション処理を施し、心臓領域のみを抽出する作業を行うことで心臓の時系列形状データを得た。図2は領域抽出後の画像である。

図 3 実空間とデータの対応付け

本手法は実空間をボリュームデータが仮想的に持つ空間に対応付けるという観点から言えば、実空間自体を六面体のvoxelに分割する、すなわち空間をデジタル化する事に相当する。これは実空間とボリュームデータが持つ仮想空間を完全に１対１に対応付ける事を目的とした手法である。
本研究で扱っている時系列心臓データの空間分解能は縦横1mm、高さ3mmであるため、１voxelは1mm×1mm×3mmの六面体とする。これが256×256×64集合したものが１心時相のデータを構成しているため、このボリュームデータに対応する実空間は25.6cm×25.6cm×19.2cmとなる。
受動的な反力の記述
上記の仮想空間構築手法に基づき、静止表現のための反力は以下の 3ステップのアルゴリズムで記述される。本手法はユーザの手と物体との距離を計算する必要がなく、既存の手法[7][8]とは異なる計算時間の要らない理想的な衝突検出及び反力生成を実現する。図4に本アルゴリズムの流れをイメージで示す。
STEP1
実空間上の触感デバイス先端の位置がワークスペースつまり、ボリュームデータが成す仮想空間上の座標にマッピングされる。
STEP2
次に衝突検出が行われる。ユーザの手が仮想空間上にマッピングされているため、データと重なれば接触、重ならなければ非接触である。
STEP3:
接触後、ユーザが物体内部に手を移動させたならば反力生成を行うプロセスへと移行する。
反力の大きさはユーザの手と接触点との距離から計算される。ここで、反力係数は医師の評価によって得られる。

図 4 衝突検出と反力記述

能動的な圧力の記述

また、この空間マッピングの考え方は能動圧力の生成にも有効な解決を与え、対象オブジェクトが示す能動的な圧力を生成するための3ステップのアルゴリズムを記述する事が可能である。図5に能動圧力生成モデルの直感的なイメージを示す。
STEP1
ユーザが物体に触れている状態から開始する。
したがって、この段階ですでに接触点と反力ベクトルは得られている。
STEP2
拍動表現ではユーザの手は固定していると考え、変化するのは心臓オブジェクトのみとする。拡張期の場合、ボリュームデータ変化後の新しい心臓表面上の点を現在点と反力ベクトルを用いて走査する。
STEP3:
ボリュームデータの変化によって新しく設定された接触点とユーザの現在点から能動圧力を計算する。この処理を 15 心時相存在する心臓データに対して繰り返し適用し、時系列能動圧力を得る。

図 5 拍動による能動圧力記述

スムージング
最後に、これらの手法によって生成した時系列圧力値にスムージング処理を施すことによって、時間分解能1msecの時系列圧力値を導出し、触感デバイスに表現する事によって滑らかな触感を実現した。ヒトの触感の特性に関しては、人が時系列的な力の変化を違和感のないなめらかな力の変化として認識できる理想的な時間分解能は5msecであるという報告がすでになされている。[9] すなわち、この1msecという時間分解能はヒトが動的な力の変化をなめらかに感じるために十分理想的な値であると言える。
図6に生成された左心室の一部の表面変位に対するスムージング後の時系列能動圧力値の例を示す。本稿では心臓の収縮期には力を返さないモデルを取っている。

図 6 左心室の表面変位と能動圧力4.1 システム構成
設計及び構築したActiveHeartシステムはWindows NTマシンと触感デバイス PHANToM（Sensable Technology）レンダリングハードウ
ェア VolumePro（Mitsubishi）、グラフィカルユーザインタフェースからなる。PHANToMが持つインタフェースは棒状であり、仮想オブジェクトを指で直接触れたときの感触、穿刺時の反力などを提示する事が可能である。また、レンダリングボードはレンダリングの高速処理が可能で、サイズの大きなボリュームデータをリアルタイムで表示するためのフレームレートを達成する。図7にハードウェア構成を示す。

3.3 視覚情報生成手法
心臓を視覚的に表現するときに重要となるのは、やはりそのリアルタイム性である。そして、柔軟な解析環境のためには心臓を固定的に表示するだけでなく、多方向から見たり、内部の様子を提示したりできる事が望ましい。ところで、本研究が対象としている心臓データの大きさは約60MBである。このデータの大きさはインタラクティブな機能を考慮に入れ、リアルタイムに変化する画像を提示する際には計算機の性能が問題となる。そこで、本稿ではレンダリングボードを用いてハードウェア上でレンダリング処理を行う事でこの問題を解決する。実装の結果、拍動させたまま回転・切断・拡大縮小の操作が十分に可能な計算時間を達成する事が可能となる。この事で、心臓の動的解析の際に求められる対話性及び実時間性の要求を満たし、かつMRI画像による高解像度の立体画像提供が実現できる。

4 シミュレーション環境の設計と実装
心臓の視覚・触覚シミュレーション環境を構築するために、提案した視覚・触覚情報の提示手法の実装を試みた。本章では、実装に使用したハードウェアやソフトウェアを紹介し、データフロー図及びプロセスフロー図を用いて、心拍動シミュレーション:ActiveHeartの実装内容を概説する。

図 7 ハードウェア構成

触感の生成を行うハプティクス部では、ユーザがPHANToMの操作（Action）を行うと、PHANToMはスタイラス先端の空間座標（Position）を取得し、PC上のプロセスへと送信される。PCは心臓データと静止表現あるいは拍動表現のプロセスに基づいて計算処理を行い、PHANToMへと計算結果であるベクトル値（Force Vector）を返す。この値はPHANToMのモータへと出力され、ヒトの手に反力（Force）として伝達される。
一方、グラフィクス部ではシステムが提供するグラフィカルユーザインタフェースを通して心臓の画像が提示される。まず、時系列心臓ボリュームデータ（Volume Data）はVolumeProにロードされ、視点方向やその他の操作などの情報から提示すべきテクスチャイメージを生成する。このテクスチャデータ（Texture Data）はPCのグラフィックボードに返され、毎秒15フレームの時系列3次元イメージ（4D Image）としてディスプレイに送られる。また、GUIやマウスからの入力を通して、ユーザはオブジェクトの回転などの操作（Operation）を行う事ができる。このユーザによる操作はイベント（Event）としてPC内部のプロセスへと送られ、各イベントに対する処理を行う。

4.2 システムプロセスとデータフロー
本システムではマシン上に実装されたフォースプロセス及びグラフィックプロセスによって並列処理がなされている。各インタフェースと各プロセスの制御はPHANToM Ctrlプロセス、GUI Ctrlプロセスが行い、この２つのプロセスが共通に持つサーボループ機構によって視覚情報と触覚情報の同期を実現している。図8にプロセス・データフローダイアグラムを示す。

図 8 プロセス・データフロー

5 実現結果と表現例
本章では、実装によって実現された機能や表現を紹介する。まず、図9は構築されたシステムの外観である。PHANToM及びGUIを通してユーザが対話的にシステムを使用できる環境を提供している。心臓オブジェクトはマウスのドラッグ操作によってなめらかに回転させることができる。図9はその一例であり、視点を回転させつつ様々な視点から静止オブジェクトを触っている状況を示している。

図 9 ActiveHeart System

画面には拍動心臓を表したオブジェクト、ユーザの手を表すユーザポイント、システムが生成した力ベクトルが表示される。反力方向もユーザの視点方向に合わせて調節されており、表示されているオブジェクトそのままの形状を感じる事ができる。

図 10 心臓の視覚・触覚シミュレーション

図11は拍動表現の一例であり、ユーザが左心室に触れる事でその拍動状態を解析している状況を示した図である。3枚の連続画像において、心臓及び周辺の血管の変形と共に能動圧力を示すベクトルが変化しているのが見て取れる。実際はこの能動圧力の変化はPHANToMを通してなめらかな拍動の圧としてユーザに伝達されている。
図12は心臓オブジェクトを垂直に切断した状態で拍動させた状態を示しており、心臓内部の組織変化をリアルタイムに参照する事を可能としている。特に、この例では左室の伸縮が見て取れ、輝度値の変化から血液が大動脈へ流れる様子が示されている。

図 11 心拍動の視覚・触覚表現例

図 12 垂直切断による拍動表現

6 評価と今後の展開研究の課題と言える。

6.2 今後の展開
6.1 医師の評価とシステム考察

視覚・触覚両面における医療VRの医学の貢献に伴い、今後は内視鏡下バイパス手術など特定の最後に専門医の協力のもと、ActiveHeartの評
手術トレーニングを対象としたシミュレーション価を行った。その結果、まず視覚面では、切断環境や多くの病例を再現する触感アトラスのようなどの操作により心臓内部組織の変化を高分解な医学教材の実現が望まれる。そして、これらの能でかつインタラクティブに参照できていると概念は本稿において提案した触感記述手法やシミの評価が得られている。また、触感については
ュレーションシステムを基盤として、さらなるパ左心室、右心房の特徴的な動きを再現できておラメータの追加、圧力記述モデルの改良、病例デり、本モデルにより医師が経験的に感じているータの適用、インタフェースの充実などによって拍動の触感を出せているという結論を得る事が実現が見込める段階となった。今後は本システムできた。特に心臓外科手術では触診が非常に術を拡張し、HMDによる立体視環境の実現、複数式ストラテジーを立てる上で非常に重要であり、指化などさらに術中に近い状況を提供することにこれを心内圧がゼロのときと圧のかかっている
よってより詳細な評価を行うための環境を整備す
ときの両方の状態での柔らかさを体験できるこる必要がある。そして、専門医との連携を取りつとは、トレーニングの上でも診断の上でも貴重つ、生体手術シミュレーションや教育用アプリケであるとの指摘がなされている。すなわち、本ーションとしてより実用的な環境構築を目指してシステムは心拍動を対象とした胸部全体を含めいく予定である。
た生体手術シミュレーションや特定の病例を対象とした医学教育アプリケーションの基礎となりうる。一方、視線方向とオブジェクトの不一
7 結論
致や、複数指のサポートの要求など実際の手術環境との相違の指摘もあった。これらは今後のこれまでVirtual Realityの医療応用に関する既存研究において、生体画像及び触感の再現はすべて静的な臓器を対象としてなされてきた。これに対し本稿では新たに心臓や肺などの動的臓器が示す触感の記述手法を提案した。そして、この手法を視覚・触覚情報の同期と並列計算による性能の最適化の実現によって、触感デバイスを伴った計算機に実装し、これまでに存在し得なかった心拍動の視覚・触覚シミュレーション環境を提供した。
本システムは心拍動が示すリアルな触感に加え、リアルタイムかつ対話的な画像提供を実現しており、触診教育や心臓手術訓練への直接的な医学応用が可能である。今後は病例データの適用、心内圧などの物理的・生理的パラメータの追加により理想的かつ実用的な生体手術シミュレーション及び教育用アプリケーションへの発展が期待される。

References[1] T. Schiemann, U. Tiede, K. H. Hohne, “TheVisible Human within the VOXEL-MANFramework”, Proceedings of The Visible Human
Project Conference, 1996[2] Paul J.Gorman, Andreas H.Meier, M.Krummel,“Computer Assited Learning and Training”,
Computer Aided Surgery vol.5, p120-127, 2000
[3] Karl D. Reinig, Charles G. Rush, Helen L.
Pelster; “Real-Time Visually and Haptically
Accurate Surgical Simulation”, Proceedings ofMedicine Meets Virtual Reality4, 1996
[4] J. Berkley, S. Weghorst, H. Gladstone, G. Gaugi,
D. Berg, M. Ganter, “Banded Matrix Approach toFinite Element Modelling for Soft Tissue
Simulation”, Virtual Reality, 1999
[5] Naoki Suzuki, Asaki Hattori, Takeshi Ezumi,
Akihiko Uchiyama et al; "Simulator for virtualsurgery using deformable organ models and force
feedback system", Proceedings of Medicine
Meets Virtual Reality7, 1999
[6] Thomas Schiemann, Karl Heinz Hohne;"Definition of Volume Transformations forVolume Interaction, Proceedings of 15th
International Conference, IPMI'97 Poultney, 1997
[7] D. Ruspini, “Adding Motion to Constraint Based
Haptic Rendering Systems: Issues & Solutions”,

Proceedings, Second PHANToM Users GroupWorkshop, 1997
[8] R. Shaw, “Nearest neighbour approach to Haptic
Collision Detection”, Proceedings, Third
PHANToM Users Group Workshop, 1998
[9] R. Yoshida, A. Kameyama, M. Komori, T.
Matsuda, T. Takahashi et al; “Quantitativeanalysis of a network specific factoring medical
haptic environment by a psychological
thexperiment”, The 19 Joint Conference on MedicalInformatics, 1999

[10] Megumi Nakao, Masaru Komori, Tetsuya
Matsuda, Takashi Takahashi; "ActiveHeart: 4D
Visible and Palpable Simulation Environment ofBeating Heart", Proceedings of the Sixth
International Conference on Virtual Systems andMultiMedia, p448-455, 2000