3 次元画像コンファレンス 2012 講演論文集, P-15, pp.148-15(2012.7.13)

多視点画像を 3D シーン内に埋め込んだ
超高解像度 CGH の作成
Creation of High-Definition Computer-Generated Holograms
Arranged Multiple-Viewpoint Images in 3D Scenes
吉﨑裕 1
松島恭治 1
中原住雄 2
1
1
Yutaka Yoshizaki
Kyoji Matsushima
Sumio Nakahara2
1
関西大学 システム理工学部 電気電子情報工学科
1
Department of Electrical and Electronic Engineering, Kansai University
2
関西大学 システム理工学部 機械工学科
2
Department of Mechanical Engineering, Kansai UniversityABSTRACT
A new technique using multiple-viewpoint images of a landscape is proposed for producing extremely high-definition
computer-generated holograms. In this technique, the multiple-viewpoint images are used as background in the 3D
scene of the high-definition CGH. The wave-field of the multi-viewpoint image is calculated by a numerical method
based on conventional holographic stereogram. Obviously, this technique has advantages that any darkroom is
unnecessary and large objects in the open air can be mixed with CG-model virtual objects in the 3D scene. This isimpossible in digitized holography that captures object fields using image sensors in the darkroom. A high-definition
CGH calculated as an experiment is presented for verifying the validity of the proposed technique.
Keywords: 計算機合成ホログラム，多視点画像，ホログラフィックステレオグラム
1．はじめに近年のアルゴリズム，コンピュータ，微細加工技術の発展により，計算機上でホログラムの干渉縞を数値合成する計算機合成ホログラム(CGH)が大型化，高解像度化し，深い奥行き感のある高質な立体像が再生でるようになってきている[1-3]．
ただし，この様な高解像度 CGH で再生されるのは従来，CG などの数値モデルによる仮想の物体のみであり，実在する物体を含む 3D シーンを再生することはできなかった．
そこで，実在物体を CGH で再生する方法として，合成開口デジタルホログラフィ(DH)を用いて実在物体光波をデジタル記録/再生するデジタイ
ズドホログラフィが提案されている[4]．しかしこの技術では，古典的ホログラフィと同様に暗室が必要であり，現在のところ 5cm 程度のサイズの物体しか記録できない．そのため，より大きな物体や屋外の風景を 3D シーン内に挿入するためには，吉﨑裕
yoshizaki@laser.ee.kansai-u.ac.jp
関西大学システム理工学部電気電子情報工学科〒564-8680 大阪府吹田市山手町 3-3-35
TEL 06-6368-1121(内線 5722)

その写真を 2 次元オブジェクトとしてシーン内に配置するしかなかった．しかし，当然ながら 2 次
元画像に視差はないため，奥行き感が全く得られない．
そこで本研究では，屋外の風景を撮影した多視点画像を 3D シーンの背景として用いることを目的とし，多視点画像から生成した光波を仮想物体や実在物体の光波と共にデジタル編集して超高解像度 CGH を作成する手法を提案する．
また，提案する手法を用いて実際に多視点画像とポリゴンメッシュ仮想物体を埋め込んだ超高解像度 CGH を作成し，その再生像を示す．
2.風景の多視点画像の撮影
本研究では，屋外において一眼レフデジタルカメラを一定間隔で水平方向に移動して撮影を繰り返すことにより，風景の多視点画像を撮影した．
従って，視差は水平方向にのみ得られる．撮影時には，撮影対象の特定の位置を基準点とし，Fig.1に示すように，できる限りその基準点が撮影画像の中心に来るようにカメラのアングルを調整しながら，20 cm の間隔で直線的に移動させ，15 枚の風景写真を撮影した．このとき，基準点からカ3 次元画像コンファレンス 2012 講演論文集, P-15, pp.148-15(2012.7.13)
メラ移動軸までの距離を 15 m としている．
また，撮影時にはカメラの三脚を持ち上げて移動しており，カメラ設置位置も平坦でないことから，基準点のずれと撮影画像のローリングが生じる，そのため，撮影後に画像ソフトを用いて手作業で補正を行っている．撮影した風景写真の 1 枚を Fig.2 に示す．
3. 多視点画像と仮想物体による CGH の計算手法
多視点画像からホログラムを構成する手法としては非常に多くの手法が報告されているが[5]，本研究ではもっとも基本的なホログラフィック
ステレオグラムの作成方法をそのまま計算機上で数値的にシミュレートする手法を用いた．
まず，Fig.3 に示すように，各画像を仮想 3D シーン内でサイズ Wx  Wy の 2 次元物体として扱う
ため，その画素数がN x  Wx  x , N y  Wy  y ,(1)となるようにオーバーサンプリングを行った．ここで，サンプリング間隔x，y はこの 2 次元物体の光波が概ね視点に到達するために必要な最大回折角から定める．画像 n に対応する 2 次元物体の光波複素振幅分布を物体面上でun ( x, y, zMVI )  I n ( x, y) exp[i ( x, y)]とした．ここで，I n ( x, y) は画像の明度分布， ( x, y)
は 2 次元物体に拡散性を持たせるための散乱性位相であり，zMVI は 2 次元物体の奥行き位置である．
次に，この 2 次元物体からの伝搬光波を，その画像を撮影した位置と対応する視点面上の位置に配置した矩形窓上で求める．すなわち，vn ( x, y, zVP )  PSFr un ( x, y, zMVI ) Rect n ( x, y) (3)とする．ここで，PSFr{}はシフテッドフレネル法[6]による伝搬演算を，Rectn は画像 n に対応した矩形関数，zVP は視点面の奥行き位置を表す．本研究では水平方向にのみカメラを移動しているため，この矩形窓は，高さが CGH にほぼ等しい縦長の形状している．この様な伝搬計算を，画像を取り換えながら視点位置に対応する矩形窓に繰り返し，視点面全体での光波
uVP ( x, y, zVP )   vn ( x, y, zVP )を求める．以下この光波を視点面光波とする．
次に，この 3D シーン内に配置した他の物体に・・・

Digital Camera
15m20cm・・・

Fig.1 Geometry for recording the multiple view
point images in the open air.

Multiple-viewpoint images(2D Object)Fig.2 One of the multiple-viewpoint images.

Rectangular view window
Back propagation

WxzVP
Wy

CG-modeled object
zMVI

(4)

n3D scene in the open air

Reference point

(2)

15

Object plane
n=1

2

3View plane

Fig.3 The arrangement of the multiple-viewpoint image, view plane and object plane in the virtual 3D
scene.

3 次元画像コンファレンス 2012 講演論文集, P-15, pp.148-15(2012.7.13)
さは水平方向が約 61 mm で垂直方向が約 65 mmとなる．この視点面をホログラムの前方 200 mmに，また多視点画像を後方 100 mm の位置に配置して視点面光波を求めた．
一方，この多視点画像を背景として，前面 417個のポリゴンからなる CG モデルの自動車をホログラムの後方 70 mm(多視点画像の前方 30 mm)の位置に配置している．

Table 1 Parameters used for creation of the prototype
CGH.
Number of pixels of CGH
65,536×65,536
Pixel pitches of CGH
1µm×1µm
Reconstruction wavelength
633 nm(0,40,230)
Position of reference point sourcemm
Size of multi-view point image
132×88 mm2(Wx×Wy)Size of view plane (W×H)
61.4×65.5 mm2
Sampling intervals of view plane
1µm×1µmfield
Number of samplings of view
61,440×65,536
plane field
Size of individual view window
4.1×65.5 mm2(W×H)
Number of view windows
15
Size of virtual object(W×H×D)

40×17×22mm3

おいてシルエット法による光波遮蔽を行うため，最奥の物体位置までの逆伝搬計算を行う．それ以降は通常の超高解像度 CGH の数値合成と同じように，最奥の物体から順次，伝搬と遮蔽を行ない，3D シーンの物体光波を数値合成する．
5. 多視点画像と仮想物体による 3D シーン
本研究で再生シミュレーションを行った 3D シーンを Fig.4 に，また想定した超高解像度 CGH と物体光波数値合成のパラメータを Table 1 にそれぞれ示す．本研究では，3D シーンの背景となる多視点画像のサイズを 132×88 mm とした．また，視点面光波のサンプリング間隔を CGH と等しく設定し，一つの矩形窓のサンプリング数を 4,096×65,536 としたため，矩形窓のサイズは，幅が約4 mm，高さが約 65 mm となり，隣接する矩形窓の間隔も約 4 mm となっている．本研究では 15 枚の多視点画像を撮影しているので，視点面の大きMultiple-viewpoint images132

6. CGH の計算とシミュレーション再生像
Fig.4 の 3D シーンの物体光波を数値合成し，球面波を参照光として数値的干渉を行い，バイナリの振幅型ホログラムとして干渉縞パターンを求めた．このバイナリ CGH の波動光学的再生シミュレーション[7]の結果を Fig.5 と Fig.6 に示す．
Fig.5 は，視点平面にシミュレーション再生の視点を置き，注視点を多視点画像の中央とした場合である．(a)と(c)では，水平方向に12 mm だけ視点位置が移動している．同様に，(d)と(e)では，垂直方向に12 mm 視点位置を移動している．この結果から水平方向に視点を変えることにより，多視点画像である背景画像が変化していることがわかる．この様に，多視点画像の手前に配置した CGモデルの仮想物体と視差のある実在風景が混在する 3D シーンが再生できており，屋外風景に車が駐車してあるという通常建物の外でしか見ることのできない 3D シーンの再生像が得られていることがわかる．
また Fig.6 は，観察者の視点が視点平面から離れた場合を想定して，シミュレーション再生の視点位置をホログラムから遠ざけ，視点面の前方200 mm (ホログラム面から 400 mm)に置いた場合のシミュレーション再生像である．この結果からわかる通り，この程度では再生像に大きな変化はなく，許容範囲であることがわかる．
7. まとめ本研究では，ホログラフィックステレオグラム

Hologram plane

3070

View plane

200yxO

88z65

65
Units：mm40

Object plane

6561

Fig.4 The 3D Scene of the prototype CGH including the multiple-viewpoint image and virtual object.

3 次元画像コンファレンス 2012 講演論文集, P-15, pp.148-15(2012.7.13)の作成手法を計算機上で数値的にシミュレートすることで，屋外風景を撮影した多視点画像を超高解像度 CGH の 3D シーンの背景として用いることを試みた．それにより，背景画像にも視差がある再生像が得られると考えた．実際に多視点画像を撮影し，CG モデル仮想物体を組み合わせて再生シミュレーションを行ったところ，通常では屋外でしか見られない 3D シーンを再生できることがわかった．
謝辞
本研究は日本学術振興会の科研費(24500133)および平成 24 年度関西大学学術研究助成金(共同研究)の助成を受けたものである．

(a)Left(12,0,200)

参考文献[1] K. Matsushima, S. Nakahara: Appl. Opt. 48,
H54-H63 (2009).
[2] H. Nishi, K. Matsushima, S. Nakahara: Appl. Opt.
50, H245-H252(2011)[3] K. Matsushima, H. Nishi, S. Nakahara: J.
Electron. Imaging 21, 023002 (2012).
[4] K. Matsushima, Y. Arima, S. Nakahara: Appl.
Opt. 50, H278-H284 (2011).
[5] N. T. Shaked, B. Katz, J. Rosen: Appl. Opt. 48,H120-H136 (2009).
[6] R. P. Muffoletto, J. M. Tyler, J. E. Tohline: Optics
Express 15, 5631-5640 (2007).
[7] 村上，松島: 映情学誌 65, 1793-1800(2011).

(b)Center(0,0,200)(c)Right(12,0,200)

Units:mm(d)Low(0,12,200)(e)High(0,12,200)
Fig.5 Simulated reconstruction of the prototype CGH whose 3D scene includes the multiple-viewpoint
images of a landscape and the CG-modeled virtual object. The viewpoint is placed at the viewplane.

(a)Left(12,0,400)(b)Center(0,0,400)(c)Right(12,0,400)
Units:mm

Fig.6 Simulated reconstruction of the prototype CGH whose 3D scene includes the multiple-viewpoint
images of a landscape and the CG-modeled virtual object. The viewpoint is 200 mm further thanthe view plane.