ABML2011

O3-1

2011年11月3日-5日 東京（芝浦工業大学）

視点補間による医用立体画像のリアルタイム作成に関する研究
Real-time rendering for medical images on Integral Photography using view interpolation○ 岩切謙悟
11桑名健太1正宗賢

東京大学大学院情報理工学系研究科
1

1

2

1

土肥健純

1

廖洪恩2

東京大学大学院工学系研究科
1

1

Kengo Iwakiri , Kenta Kuwana , Ken Masamune , Takeyoshi Dohi , Hongen Liao
1

2

Graduate School of Information Science and Technology, the University of Tokyo
2
Graduate School of Engineering, the University of Tokyo

Abstract: This paper describes a new rendering method for an autostereoscopic display based on Integral Photography.
The display requires many images from different viewpoints to be rendered at once. We used depth-image-based rendering(DIBR) technique to render multiple views of computer graphics models in real-time. In this approach, intermediate views
are interpolated based on limited number of reference views of the models. The rendering time is reduced significantly andnearly independent of scene complexity. We evaluated the rendering quality of our method by calculating peaksignal-to-noise ratio (PSNR) and the results proved that the proposed method provides sufficient quality. Our method isuseful for interactive visualization of medical images on multi-view autostereoscopic displays.
Key Words: Integral Photography, Depth-Image-Based Rendering, View Interpolation, Medical Images
いる (4)．この DIBR を用いて要素画像を作成する利点としては以下の 2 つが挙げられる．1 つは，CG では各画素に対応する精度の高い奥行き情報を容易に得られることである．
もう 1 つは，DIBR は処理時間がモデルの複雑さに影響されない高速なレンダリング手法だからである．
DIBR では，まず奥行き情報を利用して各画素を 3 次元空間に投影する．次に，この 3 次元空間上の点を新たに設定した投影面に対して投影する．この処理を繰り返すことによって，新たな視点から見た画像を得ることができる．

1. 序論
3 次元ディスプレイは，3 次元オブジェクトの位置・形状を直感的に理解することに適した表示装置である．そのなかで，Integral Photography(IP)の原理に基づく裸眼立体ディスプレイ(以下，IP ディスプレイ)は，液晶ディスプレイ(LCD) と レ ン ズ ア レ イ か ら 構 成 さ れ る ． Head-mounteddisplay (HMD)を装着する場合のような煩わしさがないた
め，手術室における表示装置としても有効である．X 線 CT
や MRI から得られる断層画像に対しセグメンテーションを行い，サーフェスモデルを作成し IP ディスプレイで立体的に表示することが可能である．
この IP ディスプレイをインタラクティブな表示装置として利用する場合，要素画像の作成に時間がかかることが問題である (1)．インタラクティブな立体像とは，オブジェクトに対する回転や拡大・縮小などの操作に即座に反応する立体像のことである．ただし，事前にあらゆる角度や大きさの立体像を作成しておくことは，多大な計算コストがかかる上に，メモリーの消費も大きい．
3 次元モデルから各レンズに対応する要素画像を効率的に生成する手法として，斜投影により同一方向の光線をまとめて取得する方法が提案されている (2,3)．このとき投影面をディスプレイと平行になるよう設置する．ただ，この手法では一要素画像の画素数が多くなるとリアルタイムに全要素画像を生成することが困難となる．また，レンダリング時間がモデルの複雑さに大きく影響されるため，複雑な形状を扱うことの多い医療分野では高速化が求められる．
本研究では depth-image-based rendering (DIBR)を応用した視点補間により，リアルタイムに要素画像を生成し立体像を表示した．

2-2 視点補間
DIBR を用いた視点補間では，まず合成の元となる画像を取得するために CG でのレンダリングを実行する．仮想カメラを 5 つ設置してモデルを投影し，カラー画像および対応する奥行き情報を取得する．1 つのカメラをオブジェクトに対して正面に設置し，残りの 4 つを水平および垂直方向にわずかに傾けて配置する．この上下左右のカメラは，IP ディスプレイの視域角を含むように設置する．これら 5つの視点から取得した画像を Fig.1 に示す．
この 5 視点から得られる画像をもとに，DIBR を用いて斜投影による画像を合成する．投影面はディスプレイと平行になるように設定する．つまり，オブジェクト表面の反射光を各画素の奥行き情報を利用して，ディスプレイから出る光線の位置と角度に変換する処理を行う．ある視線方向に対する投影画像を合成する場合，近傍のカメラを 3 つ選択し，その画像をもとに合成する．複数の画像を参照して合成することで，元になる CG 画像において遮蔽された部分の情報を互いに補う．医用画像を表示する場合は，背景部分は重要ではないので，対象とするオブジェクトの画素に対してのみ演算を行うことでさらに高速化される．奥行き情報をもとに画像からオブジェクトのみを抽出することが可能である．
心臓の CG モデルに対して従来手法と提案手法を適用し，静止した立体像を作成した(Fig.2)．提案手法における立体像の見え方を従来手法と比較したところ，IP ディスプレイの特長である水平および垂直方向の運動視差を有することが確かめられた．また，観察者の視点の移動に対して滑ら

2. 方法
2-1 DIBR
斜投影により要素画像を作成する従来の手法では，必要なレンダリング回数が一要素画像の画素数に等しい．そこで，CG 画像を取得する回数を削減する方法として DIBRを応用する．DIBR は画像に基づき新たな画像を合成する手法であり，3D-TV などの研究においても取り入れられてO3-1-1

かに変化する立体像が表示された．視域内から観察される像は，元の CG 画像とは異なる補間された像である．

オブジェクトを正面から見るカメラに対し，左右のカメ
ラを 20°，上下のカメラを 17°傾けて配置する．3D グラ
フィックスの描画には標準的なライブラリである OpenGLを利用した．レンダリング時間および PSNR 値の結果をTable 1 に示す．
Table 1 Rendering time per frame and PSNR values
Rendering time [ms]Number ofPSNR
Proposed method
PreviousTriangles[dB]Method
CGDIBR
Total
69,6661325
35336831.8
100,000
187543327530.0
150,000
1890
43327530.1

topleft

center4. 考察
ポリゴン数の異なる CG モデルに対して従来手法と提案手法を適用した結果，レンダリング時間が大幅に短縮された．実験結果からも DIBR による補間にかかる計算時間は，モデルのポリゴン数に影響されないことが分かる．評価実験に用いた CG モデルの場合，提案手法では 13~14fps の速度で動画を更新することが可能である．これにより IP ディスプレイのインタラクティブ性が向上した．
従来手法を基準にして PSNR 値を計算したところ，十分な画質が得られることが示された．CG モデルの場合，奥行き情報を利用した補間処理は計算時間と画質の両方の観点から有効であると言える．また，用途を医療データの表示に制限したため，オブジェクトのみを抽出した補間処理によりさらに高速化することができた． DIBR による視点補間の処理を GPU で実装すれば，さらなる高速化の実現が期待される．

rightbottom
Fig.1 Five different views of a heart model.

5. 結論
最小限の視点から得られる CG 画像を元に DIBR による視点補間を行うことで，IP ディスプレイの要素画像の作成時間を大幅に短縮した．提案手法は，レンダリング時間がモデルの複雑さに影響されにくいという利点を持つ．複数の視点から得られる画像を元にすることで，運動視差に対応するとともに画質の劣化を抑えた．提案手法は，インタ
ラクティブな IP ディスプレイに有効であり，ユーザ側の操作に対してリアルタイムに反応する表示システムを可能にする．

(a)(b)
Fig.2 IP images of a heart model rendered by (a) previous and(b) proposed methods.
3. 評価実験
ポリゴン数の異なる CG モデルに対して，計算時間の比較を行った．また，提案手法は DIBR を用いた視点補間であるため画像の低下が見られるが，画質を定量的に評価するために PSNR 値を測定した．補間に依らない従来手法を用いて作成した画像を基準として PSNR 値を計算した．

参考文献(1) H. Hoang Tran, K. Matsumiya, K. Masamune, I. Sakuma, T.
Dohi and H. Liao, “Interactive 3D Navigation System for
Image-guided Surgery,” The International Journal of
Virtual Reality, vol. 8, no. 1, pp. 9-16, 2009.
(2) R. Yang, X. Huang, S. Li, and C. Jaynes, “Toward the Light
Field Display: Autostereoscopic Rendering via a Cluster ofProjectors,” IEEE Trans. Visualization and Computer
Graphics, vol. 14, no. 1, pp. 84-96, 2008.
(3) 岩舘，片山 “3 次元オブジェクトからインテグラル式立体像を生成する手法に関する検討,” 3 次元画像コン
ファレンス 2010 講演論文集, pp. 137-140, 2010.
(4) A. Smolic, K. Müller, K. Dix, P. Merkle, P. Kauff, and T.
Wiegand, “Intermediate view interpolation based on
multiview video plus depth for advanced 3D video systems,”
Proc. IEEE International Conference on Image Processing,pp. 2448-2451, 2008.

表示装置の仕様を以下に示す．
・LCD
画素数：3840×2400
解像度：204dpi
・レンズアレイ
レンズ数：320×240
レンズピッチ：1.49×1.24
焦点距離：2mm使用した PC の CPU と GPU の仕様を以下に示す．
CPU: Intel Core i7 2.8GHz, 16GB
GPU: NVIDIA Quadro FX 580, 512MB
O3-1-2