三次元心臓モデルのリアルタイム形状変形を実現する
マルチタッチインタラクションシステムの技術開発 ∗小山 裕己
五十嵐 健夫
井尻 敬
稲田 慎
黒嵜 健一
白石 公
中沢 一雄

縫合ができ，手術シミュレーションが可能な先天性心疾患の概要

三次元軟性心臓レプリカの作製がある [11][12]．これは心臓心臓血管に関する医療において，心臓の三次元的な構造を形状をただ閲覧するのではなく，実際に手に取って変形させ理解することは心疾患患者の治療において極めて重要である．

ながら閲覧することによって，より効果的な心臓の構造理解

しかしながら，特にいくつかの心疾患においては，実際の心を実現することを目指したものである．実物に近い硬度と感臓の構造は複雑であり，適切にそれを把握するのはしばしば触を備え，細かい部分まで患者個体別に心臓レプリカを再現困難である．そこで，われわれは心臓の構造を効果的に理解できるメリットは大きいが，費用や作製時間において課題がするための新しいマルチタッチインタラクション技術を開発ある．さらに，心臓レプリカは基本的に再利用することがでし，さらに，教育・説明用途を想定したプロトタイプシステ

きない．このような心臓レプリカの短所を補完できるような，ムの実装を行った．本システムでは心臓の三次元モデルは弾インタラクティブな心臓の閲覧を可能とする診療支援ツール

性体オブジェクトとしてシミュレートされている．ユーザはの開発が求められている．

タブレット型コンピュータを用いて，心臓モデルの一部分をそのような診療支援ツールの一つの実現方法として，心臓

マルチタッチインタラクションによって引っ張って変形させを弾性体オブジェクトとしてシミュレーションし，タブレッ

るなどの操作を行い，心臓の内外の構造を観察することがで

ト型コンピュータのマルチタッチ機能を通してインタラク

きる．医師を対象に本システムの初期評価を行い，実用化にションを行うバーチャルリアリティの応用が考えられる．心向けての意見や要望をまとめた．

臓レプリカを手にとって変形させるような操作ということではなく，弾性体シミュレーションを実行して三次元オブジェ

1 緒論

クトの一部を引っ張るようなインタラクションは古くから研

心臓は三次元的に複雑な構造を持った臓器である．心臓の究が行われている [6][10][2]．しかしながら，これらの先行研構造を正確に理解し，医療従事者間で治療に関する情報を共究では，弾性体オブジェクトが三次元空間中に固定されてい有するためには，心臓を三次元的に観察できる環境の実現がたり，床に置かれていたりといった，特定の物理的状況を想必要である．例えば，先天性心疾患は，生まれつき心臓およ

定している．これに対し，心臓レプリカの機能をできるだけび心臓周辺の構造に異常がある疾患である．この疾患には非再現して心臓の三次元的構造を理解しやすい閲覧を実現させ

常に多くの種類があり，個体差も大きく，その治療には複雑るには，周囲の臓器によって固定されていない，空間中に浮な形態的構造と血行動態を併せて考える必要がある．先天性いているような状態にある心臓オブジェクトとの自然なイン

心疾患のような心臓の構造に多様な異常を持つ疾患の場合，タラクションを実現させる必要がある．一方，一般の物理シ

患者個別の心臓において三次元的な構造を正確に理解するこ

ミュレーションとマルチタッチインタラクションに関連したとは特に重要である．

研究としては，Wilson らの研究 [15][14] が挙げられる．しか

近年，画像処理技術の目覚ましい進歩により，三次元エ

し，これらの研究では指の位置だけでなく，形状もセンシン

コー，MSCT，MRI 等を用いた三次元画像診断が飛躍的に発グできる高価なデバイスを用いているなど，汎用性に問題が展・普及している．しかし，これらのデバイスで得られた三あると思われる．広く医師や医学生などが使用できるために，次元画像の直交断面表示やボリュームレンダリングでは，心特別なデバイスを用意しなくても，コンシューマレベルのタ

臓の形状をただ閲覧するだけであり，入り組んだ心臓の三次

ブレット型コンピュータで動作するようにシステムを開発す

元構造を理解するのは難しい場合がある．

る必要がある．

このような背景のもと，われわれの研究グループにおいて2 開発目的は先天性心疾患の診療支援を行うために様々な取り組みを

心臓レプリカの短所を補完し，手軽に心臓の三次元的な構行ってきた．その一つとして，通常の手術器具を用いて切開造の理解を補助できるような診療支援システムを実現するこ∗ 本稿は以下の論文の写しである：小山 裕己, 五十嵐 健夫, 井尻 敬, 稲とがわれわれの大きな目標である．そこで本研究では，汎用田 慎, 黒嵜 健一, 白石 公, 中沢 一雄. 三次元心臓モデルのリアルタイ
ム形状変形を実現するマルチタッチインタラクションシステムの技術
開発. 医療情報学, vol.34, no.5, pp.221-232. 2014. 日本医療情報学会編集委員会より許可を得て公開している．

的なタブレット型コンピュータによるマルチタッチインタラ
クションを活用した診療支援システムの構築を目指し，実用化に向けて必要となる技術や機能についての検討を行うため

1

のプロトタイプシステムを開発する．

(a)

(b)

具体的には以下のような要件を満たすシステムの開発を行う：

1. システムは常に弾性体シミュレーションを実行し，ユー

図1

ザはマルチタッチ機能を通して，心臓オブジェクトを指(a) 基本となる Shape Matching 法ではすべての質点に対して 1 つの幾何制約が適用される．(b) 局所領域ベーで引っ張って変形させることができる．

スの Shape Matching 法では互いにオーバラップした複数

2. 常に画面中央に空間中に浮いているような状態で心臓のの局所領域が定義され，それぞれの領域に対して個別に幾

三次元オブジェクトが表示され，また指先一つで任意の何制約が適用される．

方向に視点を回転できる．

3. 心臓の半透明表示，光沢や輪郭線などの描画方法の切り替えを行うことができる．
局所領域 13 システム実装方法

頂点 2

われわれは，タブレット型コンピュータである iPad 上で動作する iOS アプリケーションとしてシステムの実装を行った．以下に各機能の実装に用いた技術の詳細について記述
する．

3.1

局所領域 2

頂点 1

図2

弾性体シミュレーション

四面体メッシュにおける Shape Matching 法のための局所領域の定義の例．ここでは 1-ring neighborhood の

まず，心臓オブジェクトを弾性体として表現するための手

場合を示しており，また実際には四面体メッシュは三次元法について説明する．弾性体シミュレーション手法としては，的構造を持つが，紙面の都合上二次元的な表現を用いていバネ質点モデルや，有限要素法によるによるものなどが提案る．各々の頂点に対して，その 1-ring neighborhood にあされている [8]．しかし，計算コストや数値安定性などの問題

たる頂点の集合を考え，それらを 1 つの局所領域と考える．

によって，本研究が目的とするようなインタラクティブな用途に用いることが困難なものが多い．インタラクティブな用

(a)

断面図

途に適した弾性体シミュレーション手法としては，Muller ら

(b)

断面図

[6] によって提案された Shape Matching 法が近年注目されている．Shape Matching 法は幾何制約に基づいた擬似的な法則によって弾性体シミュレーションを行う手法である．その特徴としては，実時間で計算可能で，数値的に安定でロバ

図3

ストに動作するなどが挙げられる．

(a) レンダリングに用いるための比較的細かい三角形メッシュ．(b) シミュレーションに用いるための比較的粗い四Shape Matching 法では，弾性体オブジェクトは質点の集本システムで実際に用いた心臓の三次元モデルの例．

面体メッシュ．それぞれ右側に，各メッシュを適当な平面合として表されている．Shape Matching 法の基本的なアイで切りスムーズシェーディングによって描画した断面図を

デアは，これらのすべての質点に対して一つのある幾何制約示した．三角形メッシュは物体表面に関する情報のみを保を適用するというものである．これに対し，局所領域ベース持しているのに対し，四面体メッシュは中身の詰まったボの Shape Matching 法 [6][10][2][3][1] という拡張も存在する．

リューメトリックなデータ構造である点に注意されたい．

局所領域ベースの Shape Matching 法では，弾性体オブジェ
クトを表す質点の集合に対し，互いに要素がオーバラップしなお，四面体メッシュを用いた弾性体シミュレーションでた複数の局所領域を定義し，それぞれの局所領域に対して個別

は，シミュレーション用の四面体メッシュに対して描画用のに幾何制約を適用するというものである．図 1 に基本となる

三角形メッシュを埋め込んでおく [3] ことが多い．この “埋めShape Matching 法と局所領域ベースの Shape Matching 法の違いを模式的に示した図を示す．局所領域ベースの Shape込み” と呼ばれる操作は，比較的粗い四面体メッシュに対して比較的細かい三角形メッシュを埋め込むことで，見た目上Matching 法を使用することで，変形の自由度が大きくなるの質を保ったまま計算効率を向上させるために行われる．本という利点が得られるため，本システムでは，局所領域ベーシステムでも四面体メッシュに対して三角形メッシュを埋めスの Shape Matching 法を用いた．

込み，弾性体シミュレーションと描画のプロセスを分離した．

局所領域ベースの Shape Matching 法における局所領域

図 3 に心臓の三次元モデルにおける，それぞれのメッシュとの定義方法としては，格子状の空間分割を利用する方法 [10]断面図を示す．

や四面体メッシュの n-ring neighborhood を利用する方法

3.2[2][3][1] などが提案されている．本システムでは，複雑な構心臓モデルの位置と向きの計算

画面中央付近に常に心臓オブジェクトを表示しておくため造を持った心臓モデルを適切に表現可能である後者の方法をには，心臓オブジェクトが三次元空間に浮いているような効採用した．図 2 にその模式図を示す．

果を実現する必要がある．このような効果を実現するには，

2

単に無重力空間に心臓オブジェクトを配置するだけでは，指指の動きで引っ張る力によって運動量や角運動量が発生する．この場
合，慣性に従ってそのまま画面外に移動したり，意図しない

心臓

向きに回転したりするという問題が発生する．これを解決す
る一つのアイデアとしては，移動した心臓オブジェクトの重心位置を計算し，重心位置が常に画面中央になるように視点自体を移動させるという方法が考えられる．しかし，心臓オ
ブジェクトが回転してしまう問題には対応できないだけでな

引っ張る力

く，引っ張っていない部分が引っ張った方向と逆の方向に移動してしまうという新たな問題が発生する．

図4

そこで，すべてのシミュレーション用の頂点に対して，頂指の動きを力に変換するアルゴリズムの模式図．対象となる頂点だけでなく，その n-ring neighborhood にも点と頂点の初期位置を結ぶ自然長がゼロであるような仮想的

引っ張る力を適用する．

なバネを考えるアルゴリズムを実装した．それぞれのバネの力は弾性体シミュレーションに対応する力に比して十分小さ(a)くした．これによって，弾性体オブジェクトを引っ張っても，(b)

引っ張る力を取り除くと自然に元の位置に戻り，かつ元の向きに戻るような効果を実現した．
しかし，これだけでは引っ張った状態から力を取り除いた
場合，バネの力によって振動が起きる．このような振動は心臓オブジェクトを閲覧する上での違和感となるため，適切に

図5

指の動きを力に変換するアルゴリズムの適用例．(a)n ＝ 0 の場合，(b) n ＝ 1 の場合．

減衰させる必要があるが，一般的なバネの運動に用いられる，
速度の大きさに比例した抵抗力を与える減衰の方法は望ましくない．なぜなら，バネの運動を減衰させるための抵抗力が，うな方法をとる．すなわち，まず投影座標系において，タッ

弾性体シミュレーションによる局所的な運動まで減衰させてチの投影面上の位置から鉛直下に伸びる半直線を引き，このしまうからである．

半直線と描画用の三角形メッシュとの交点のうち，最も投影

そこでわれわれは，弾性体オブジェクトの大局的な運動量面に近い点を探す．さらに，この点からワールド座標系におと角運動量を計算し，すべてのシミュレーション用の頂点にいて最も近い四面体メッシュの頂点を探して，頂点 p を決定

対して，それらを僅かに小さくするという減衰アルゴリズム

する．ところで，このように力の作用点となる頂点 p を単一を開発した．結果，弾性体シミュレーションによる局所的なに決めることはできるが，これだけでは頂点 p だけにバネの運動を減衰させることなく，バネによって生じた大局的な運力が集中し，引っ張った効果が局所的に大きくなる (図 5 (a))

動量や角運動量を減衰させることができた．

3.3

ため，見た目が不自然になるという問題が発生する．これを指で引っ張る力の計算緩和するために，さらに頂点 p の n-ring neighborhood の各

指で心臓オブジェクトを引っ張る力の計算方法として，以頂点にもバネを考えた．その際，バネのもう片方の端点の座下に示すようなアルゴリズムを採用した．その模式図を図 4

標は，p の座標に対して p からその頂点へのオフセットを足に示す．まず初めに，指がタッチし始めた画面上の点を元に，したものとし，それらのバネ定数は頂点 p に対するバネ定数

力を作用させるシミュレーション用の四面体メッシュの頂点よりも，p から遠ざかるにつれて小さくなるように設定した．

p を探す．頂点 p の探し方については後述する．また頂点 p

また，この方法では n が大きいほど引っ張る効果は大局的にの画面からの距離，すなわち頂点 p の投影座標系における投なる (図 5 (b))．なお，このような考え方は三次元 CG のオー

影面からの距離を l とする．次に指の位置が移動し始めたら，サリングソフトウェアにおけるメッシュ形状の編集機能など

指がタッチしている位置の投影座標系における鉛直下に，画でも用いられている．

面上からの距離が l であるような点 p を考え，点 p と点 p を3.4

結ぶ自然長がゼロのバネを生成する．指の位置が移動するに

描画方法

描画システムは OpenGL ES 2.0 を用いた．シェーディン

つれて点 p の位置を更新する．最後に，指が画面から離れたグについては，フォトリアリスティックな描画を行う Half

ら，生成したバネを消失させる．ここで投影座標系とは，三Lambert [5] と呼ばれる手法，さらにセルアニメ調の平面的次元空間の基準となる座標系であるワールド座標系を視野変な描画を行うトゥーンシェーディングの二種類を実装した．

換によりカメラを原点とするカメラ座標系に変換し，さらにトゥーンシェーディングは Half Lambert による描画結果を投影変換により変換して得られる，描画範囲となる四角錐状

適当な閾値によって二色に分けることで実現した．また心臓の空間 (視野) を直方体状の空間に変換 (正規化) した座標系の半透明表示機能を実装した．これは OpenGL ES で提供さのことである [16]．

れているアルファブレンディング機能を活用することで実現

さて，指がタッチし始めた画面上の点を元に，シミュレー

した．心臓の光沢の表現には Phong の反射モデルを実装し，ション用の四面体メッシュの頂点 p を決定するには以下のよ

輪郭線の描画には Raskar の手法 [9] を用いた．

3

図6

(a)

(b)

(c)

(d)

図 7 本システムを使用している様子の例．

本システムの画面キャプチャ．

また，実際には描画の際に “埋め込み” の操作を行う．具体的には，各タイムステップにおいて，まず弾性体シミュレー
ションによって四面体メッシュの各頂点位置を更新し，それを元に詳細な三角形メッシュの各頂点位置を更新し，最後に三角形メッシュを上述の描画方法で描画するというプロセス
となる．

3.5

図8

心臓の三次元モデルの用意

固定機能の使用例．

提案システムでは，変形シミュレーション用の四面体メッシュモデルと，“埋め込み” による描画のための三角形表面

4.2

メッシュの両方が必要となる．われわれは実患者の胸部 MRI
画像を元に MeshLab [4] や Tetgen [13] 等の既存ツールを利「固定」ボタンを押すことによって，指を離しても引っ張った用して，四面体メッシュは頂点数 1,240，また三角形メッシュ

状態を維持することができる．図 8 にその様子を示す．心臓は頂点数 2,129，面数 4,274 のものを構築した．ただし，既オブジェクトを引っ張るのに使用する指は主に両手の人差し

存ツールの自動機能だけでは適切なメッシュ構造の作成は不指と中指を想定している．人差し指と中指を引っ張るのに使可能であったため，部分的な修正などは用手的に行った．こ

用した状態でも親指によってタップしやすいように，画面下の心臓モデルでは手軽に心臓の三次元的な構造の理解を補助部に大きめの「固定」ボタンを設置した．また，画面上部にできるよう，インタラクティブな実時間の操作性を重視して「固定解除」ボタンも設置しており，固定した状態を解除する

頂点数は最小限に絞った．

ことも可能である．

4.3

4 システム実装結果

視点の回転機能

三次元的な構造の理解を促進するため，本システムでは心本システムはタブレット型コンピュータ，iPad (第 4 世代)

臓モデルの周辺を回転させて視点を変更することができる．

上で動作する iOS アプリケーションとなっている．本システ

画面左上の視点変更アイコンをタッチしたまま指をスワイプ

ムのメイン画面を図 6 に，また本システム上でマルチタッチすることにより，指先一つで視点の回転が行える．

インタラクションを行っている様子を図 7 に示す．画面中央

4.4には心臓の三次元オブジェクトが表示されており，ユーザは描画方法の切り替え機能

心臓の複雑な三次元的構造を効果的に可視化するための機

この心臓オブジェクトとインタラクションすることで心臓の能として，描画に関するオプションが 4 つ用意されている．

構造を理解する．また，画面の端には各種の機能を提供する

それぞれのオプションは，画面右上にあるボタンを選択する

コンポーネントを配置した．以下では，本システムが備えることで簡単に切り換えられる．

個々の機能の振る舞いについて説明する．

4.1

引っ張った状態での固定機能

指で心臓オブジェクトを引っ張った状態で画面下部にある指で引っ張る機能

シェーディング

フォトリアリスティックなシェーディング

本システムでは心臓の三次元オブジェクトにおいて常に弾による描画を行う (図 9 (a), (b), (c), (d), (g), (h)) だけ

性体シミュレーションが実行されている．その結果，指で心でなく，トゥーンシェーディングによって，セルアニメ

臓オブジェクト上をタッチし，画面上で動かすことで，タッチ風の平面的な着色による描画を行う (図 9 (e), (f)) ことしている部分を引っ張って変形させるインタラクションが可

が可能である．
透明度能である (図 7 (b), (c), (d))．また，この操作はマルチタッチ

心臓を不透明な材質で描画する (図 9 (a), (b), (e),(f), (g)) だけでなく，半透明な材質で描画する (図 9 (c),インタラクションとして複数の指で同時に行うことができる．

4

(a)

(b)

(c)

(d)

機能について 3 名ともすぐに使いこなせるようになったことである．また心臓オブジェクトの閲覧についても基本的に違和感がなく，全体として問題なく使用可能であった．
以下に口頭によるインタビューで得られた主な意見を内容

(e)

(f)

(g)

別に纏めて記す．

(h)【設問 1：実際の診療に用いるための改善点】

1. 現在使用されている心臓モデルが簡略化されすぎており，
より詳細な心臓モデルを扱えるようにする必要がある．
具体的には，心臓の内部構造，特に弁，腱索，乳頭筋な
図9

どの位置関係が重要であるが，現在の簡略化された心臓

心臓オブジェクトの描画例．

モデルではこれらの構造が消失してしまっている．

2. 外科手術の際にアプローチできるかどうかを判断するという観点では，心臓の構造だけでなく，大血管などの周(d), (h)) こともできる．半透明で描画することで，心臓りの器官との位置関係が把握できるようになると良い．

の内部構造を可視化することができる．
光沢

光沢の描画を有効にしたり (図 9 (a), (d), (e), (g))，無【設問 2：将来的な用途に関して】効にしたり (図 9 (b), (c), (f), (h)) することが可能であ

1. 実際の心疾患患者のデータを扱えるようになれば，将来る．光沢の有無を切り替えることによって，ユーザの感的には診療支援ツールとして発展することが期待できる．

じる立体感の消失の防止に効果があると考えられる．

しかし，特に内科医などは，二次元のエコー画像などの輪郭線 心臓モデルに対して，漫画やイラストレーションの断面図を用いた診断に慣れているため，三次元モデルのような輪郭線を表示する (図 9 (a), (d), (e), (f), (h)) こ

提示と同時に対応する断面図を提示することが望ましい．

とが可能である．輪郭線の表示は，血管が入り組んだ部

2. 医師から患者への説明ツールとしての用途にはあまり好分に注目する場合や，半透明表示によって心臓壁の前後

ましいとは言えない．経験上，そのような用途では三次関係の把握が難しくなる場合などに役立つと考えられる．

4.5

元モデルではなく簡略化された二次元イラストを用いる方が良い．ただし人工血管をつけるといった手術を説明

心臓モデルの切り替え機能するような特定のケースには三次元モデルが有効である

本システムでは，予め心臓の三次元モデルを複数用意して可能性がある．

おくことで，表示する心臓モデルを切り替えることも可能で

3. 医師間での情報伝達・共有ツールとしての用途も期待である．現在，本システムは正常な心臓モデルと，外科手術をきる．そのような用途では，外科医の視点から見てもよ

模して右心室の部分に切れ目を入れた心臓モデルの 2 種類をりリアリティの高い弾性体シミュレーションや可視化が用意している．図 7 (c), (d) は切れ目の入った心臓モデルに望まれる．また，実時間での切開，縫合のシミュレーショ

切り替え，切れ目を開くような操作を行っている例である．

ン機能もあると良い．

5 システム評価

4. 正常心だけでなく，先天性心疾患の典型的症例の心臓を評価方法

扱えるようにすることで，学習ツールとしての利用が期

5.1

待できる．

開発したプロトタイプシステムの，診療支援システムとしての実用化に向けた今後の課題や方針を明確にするため，国【設問 3：その他の意見や要望】

立循環器病研究センターの小児循環器科専門医を対象として，

1. 半透明表示にした際，心内膜に注目しづらいので，心内インタビュー形式のユーザスタディを行った．対象とした医膜部分のみ別の色または透明度で可視化して欲しい．

師は 3 名で，医療従事年数はそれぞれ 7, 14, 10 年であった．

2. 心臓モデルの各部位に，印を付けたり，色を付けたり，また，普段の生活様式において，それぞれ「日常的にマルチラベルを付けたりするなどのアノテーション機能が欲し

タッチ機能を備えたタブレット型コンピュータおよびスマー

い．アノテーションの位置について，二次元断面図とのトフォンを使っている」，「タブレット型コンピュータは使っ対応がとれるとなお良い．

ていないがスマートフォンを使っている」，「どちらも使っ

3. エコー検査の訓練ツールとしては，単なる弾性体シミュていない」と三者三様であった．まず初めにわれわれが本研

レーションではなく，拍動シミュレーションができると究の目的について説明し，続いて対象者に実際にシステムを良い．

触ってもらいながら順に機能を説明した．すべての説明が済

4. 現在の弾性体シミュレーションは，柔らかすぎる印象がんだ後，暫く自由にシステムを触ってもらいながら，口頭にある．実際の心臓に比べるとリアリティが乏しいと感じよる自由形式のインタビューを実施した．

5.2

られる．

結果

5. 興味あるシステムであり，将来的には臨床において役にまず初めに，ユーザスタディを通して観察できたのは，マ立つと思われる．

ルチタッチの操作も含め心臓オブジェクトを指で引っ張る，引っ張った状態で固定する，視点を回転させるなどの基本的

5

(a)

6 考察

(b)

心臓レプリカの機能をタブレット型コンピュータ上に仮想的に再現するため，簡略化した三次元心臓モデルの構築を行い，また弾性体シミュレーションを幾何制約に基づいた

Shape Matching 法を用いるなどして実時間で動作するシステムを開発した．特に，心臓オブジェクトの局所的な運動を維持しつつ大局的な運動を減衰させる方法や，指の動きを実際に心臓オブジェクトに作用させる力に変換する方法など，

図 10システムを実現する上での技術的な新規性は高いと考えてい(a) 約 50,000 の頂点からなる先天性心疾患の心臓モデル．(b) その断面図．

る．しかし，当初より実時間の操作性を重視した心臓モデルの簡略化により，本来の目的とする先天性心疾患の心臓レプ
リカの短所を補完して診療支援を行うシステムとしては，プれなかった．これは現状のスマートフォンやタブレット型コ

ロトタイプの域を出ていない．実際，今回のユーザスタディ

ンピュータなどにおいてマルチタッチ機能が一般的になっても，現時点におけるシステムが実際の診療現場での使用に堪いることが暗黙の前提となり，操作説明を行うまでもなく必え得るかについて検証することを主眼とするものではない．

然の技術と受け止められていた可能性が高いと思われる．な

現在のシステムが抱える問題や不足している機能について，

お，当初のシステム設計の段階において iPad を選定した理由

将来的に実用化することを念頭に意見を得るという観点からの一つは，すでに広く普及しており，マルチタッチ機能を含実施した．

む基本的操作の学習コストが低いものと期待したことによる．

医師による評価を通して，タブレット型コンピュータにお現在，本システムで扱っている心臓モデルが簡略化されす

いてマルチタッチ操作が容易に行えること，また本システム

ぎているという意見について，これを改善するには 2 点解決が特にいくつかの用途に関しては実用的になり得るというすべき問題があると認識している．1 点目は計算コストの問ことが確認できたと思われる．また，診療支援のシステムと題である．本システムはコンシューマレベルのタブレット型

して実用化していくための意見も得られた．今回のユーザス

コンピュータ，iPad 上で動作するように設計されている．詳

タディでは様々な用途が想定され，外科的な手術シミュレー

細なモデルを扱おうとすると，弾性体シミュレーションおよ

ションを前提とした意見を始め，エコー検査などの内科的なび描画の双方の点において処理が実時間では難しくなり，自診断のサポートツールや患者さんへの説明ツールとしての応然なインタラクションを行うことができない．解決すべき問用など広範な意見が得られた．今後はより具体的な用途に注

題の 2 点目は，心臓モデルの作成方法である．現在は CT 画

目し，目的を絞ってシステムを設計する必要があると考える．

像を元に新たに心臓モデルを作成しているが，解像度の問題

ただし，ユーザスタディにおいても，「興味あるシステムであから診療で重要となる弁や腱索など細かい構造の取得は難し

り，将来的には臨床において役に立つと思われる」と本シスい．また，乳頭筋や筋束など心臓内腔の構造を示すのにも容テムに対する医師の関心が高いことを示唆する感想が得られ易でなく，詳細な心臓モデルの作成には専門医の判断によるている．推測ながら，他に同様のものがないことによる新規用手的な方法に頼らざるを得ないと考えている．

性やインタラクティブな心臓の閲覧性の高さなどに対して医なお，現在使用している iPad の計算性能では頂点数が師の期待感は大きいと感じられ，本システムに関する技術開50,000 を超えるようなモデルを扱うことが困難であるため，目安とする心臓モデルのサイズとしては頂点数が 25,000–

発の有効性や可能性が評価されたものと見なしている．
一方，「現在の弾性体シミュレーションは柔らかすぎる」な

50,000 程度 (面数でいうと 50,000–100,000 程度) の三角形
メッシュとして作成することを想定している．図 10 におよ

どと物理的な正確性の不十分さを指摘する意見があった．実時間の操作性を重視し，Shape Matching 法を採用して計算

そ 50,000 の頂点からなる心臓モデルの例を掲載する．このコストの低減を図ったことが大きな要因である．しかしながまま使用するのは全体として粗すぎるため，必要に応じて，当ら，従来からも心臓手術シミュレーションについては，「シ該の先天性心疾患ごとに重要な部位のみ詳細にして重要でな

ミュレーション精度の追求には生体の生理特性や複雑な物理

い部分は平滑化するなど，疾患別・部位別のチューニングを特性の記述が必要となり，実時間性を満たしたシステムの構図る予定である．いずれにしても，タブレット型コンピュー築は困難」との議論がある [7]．特に，本研究のように手軽にタ上での計算コストや制限を考慮しながら，今後，心臓モデ

心臓の三次元的構造の理解を補助するシステムとしては，当ルをどのように設計・構築するかが大きなポイントになる．

面，心臓弾性の正確性の追求よりは，むしろ操作性の向上お現在，典型的な先天性心疾患を対象とし 10 症例を目標に詳細

よび個別の心疾患を対象とした心臓モデルの構築や精緻化のな心臓モデルの作成を進めている．

方向であると考える．
ところで，心臓レプリカの機能を補完する本システムの重

7 結論

要な技術要件の一つと考えていたマルチタッチ機能について，

手軽な心臓の三次元的な構造の理解を可能とする診療支援

医師による評価においては具体的なコメントがほとんど得ら

ツールを実現するため，われわれはタブレット型コンピュー6

動の視覚及び力覚提示に関する研究, 日本バーチャルリ

タ上でのマルチタッチインタラクションに着目し，プロトタ
イプシステムを iPad 上で動作するアプリケーションとして

アリティ学会論文誌, Vol. 7, No. 3(2002), pp. 413–420.

開発した．本システムでは，コンピュータグラフィクス技術[8] Nealen, A., Müller, M., Keiser, R., Boxerman, E.,
and Carlson, M.: Physically Based Deformable Mod-を用いて心臓の三次元オブジェクトの描画を行うだけでなく，

els in Computer Graphics, Computer Graphics Forum,Vol. 25, No. 4(2006), pp. 809–836.
[9] Raskar, R.: Hardware Support for Non-photorealistic

常に弾性体シミュレーションが実行される．ユーザは心臓オ
ブジェクトの一部を引っ張って変形させるなどの操作を行いながら，その心臓の三次元的構造を効果的に理解できること

Rendering,
Proceedings of the ACM SIGGRAPH/EUROGRAPHICS Workshop on Graphicsが期待される．
このプロトタイプシステムを用いて，小児循環器科専門医

3 名を対象にインタビュー形式のユーザスタディを行い，診Hardware, HWWS ’01, New York, NY, USA, ACM,
2001, pp. 41–47.
[10] Rivers, A. R. and James, D. L.: FastLSM: Fast Lattice

療支援ツールとしての実用化に向けての意見や要望などを得た．これらの意見や要望を参考にし，より実用的なシステム

Shape Matching for Robust Real-time Deformation,
ACM Trans. Graph., Vol. 26, No. 3(2007).

を開発していくことが今後の課題である．特に，先天性心疾
患の心臓モデル構築について，タブレット型コンピュータ上[11] Shiraishi, I., Kurosaki, K.-i., Yamada, O., Kanzaki,
S., Kagisaki, K., and Ichikawa, H.: MSCT を用いた複雑先天性心疾患 3 次元画像診断とその応用 : 画像計測かでの計算コストや制限を十分に考慮する必要があることが分
かった．

謝辞

ら心臓レプリカ作成による手術シミュレーションまで,

本研究の一部は「循環器病研究開発費 25-5-1」および「科日本心臓病学会誌, Vol. 6, No. 3(2011), pp. 261–268.

学研究費補助金: 基盤研究（B）25282138」の助成を受けて[12] Shiraishi, I., Yamagishi, M., Hamaoka, K., Fukuzawa,M., and Yagihara, T.: Simulative operation on congenital heart disease using rubber-like urethane stere-

実施された．国立循環器病研究センターの倫理委員会の承認（承認番号 M24-75）を受けた．

olithographic biomodels based on 3D datasets ofmultislice computed tomography, European Journal

参考文献[1] Ijiri, T., Ashihara, T., Umetani, N., Igarashi, T.,
Haraguchi, R., Yokota, H., and Nakazawa, K.: A
Kinematic Approach for Eﬃcient and Robust Sim-of Cardio-Thoracic Surgery, Vol. 37, No. 2(2010),
pp. 302–306.
[13] Si, H.: On Refinement of Constrained Delaunay

ulation of the Cardiac Beating Motion, PLoS ONE,Vol. 7, No. 5(2012), pp. e36706.
[2] Ijiri, T., Takayama, K., Yokota, H., and Igarashi, T.:

Tetrahedralizations, Proceedings of 15th International
Meshing Roundtable, Springer-Verlag, 2006, pp. 509–
528.

ProcDef: Local-to-global Deformation for Skeletonfree Character Animation, Computer Graphics Fo-[14] Wilson, A. D.: Simulating Grasping Behavior on an
Imaging Interactive Surface, Proceedings of the ACM

rum, Vol. 28, No. 7(2009), pp. 1821–1828.
[3] Koyama, Y., Takayama, K., Umetani, N., andIgarashi, T.:
Real-time Example-based Elas-International Conference on Interactive Tabletops andSurfaces, ITS ’09, New York, NY, USA, ACM, 2009,
pp. 125–132.

tic Deformation, Proceedings of the ACM SIGGRAPH/Eurographics Symposium on Computer[15] Wilson, A. D., Izadi, S., Hilliges, O., Garcia-Mendoza,A., and Kirk, D.: Bringing Physics to the Surface,

Animation, SCA ’12, Aire-la-Ville, Switzerland,
Switzerland, Eurographics Association, 2012, pp. 19–
24.

Proceedings of the 21st Annual ACM Symposium on
User Interface Software and Technology, UIST ’08,
New York, NY, USA, ACM, 2008, pp. 67–76.

[4] MeshLab: http://meshlab.sourceforge.net/.
[5] Mitchell, J., McTaggart, G., and Green, C.: Shad-[16] コンピュータグラフィックス編集委員会: コンピュータ
グラフィックス, CG-ARTS 協会, 2nd edition, 2006.

ing in Valve’s Source Engine, ACM SIGGRAPH 2006
Courses, SIGGRAPH ’06, New York, NY, USA,ACM, 2006, pp. 129–142.
[6] Müller, M., Heidelberger, B., Teschner, M., andGross, M.: Meshless Deformations Based on ShapeMatching, ACM Trans. Graph., Vol. 24, No. 3(2005),
pp. 471–478.
[7] Nakao, M., Oyama, H., Komori, M., Matsuda, T., andTakahashi, T.: 心臓手術シミュレーションに要する心拍7