3 次元画像コンファレンス 2011 講演論文集, pp.182–185(2011.7.15)

デジタル化ホログラフィによる実在物体と仮想物体の混合 3 次元再生
Reconstruction of Mixed 3D Scenes of Virtual and Real Objects
by Digitized Holography
有馬恭旭 1
松島恭治 1
中原住雄 2
Yasuaki Arima1
Kyoji Matsushima1
Sumio Nakahara2
1
関西大学 システム理工学部 電気電子情報工学科
1
Department of Electrical and Electronic Engineering, Kansai University
2
関西大学 システム理工学部 機械工学科
2
Department of Mechanical Engineering, Kansai UniversityABSTRACT
A novel technique is proposed for replacing the whole process of classical holography by its digital counterparts; theobject wave is recorded by digital holography (DH) and reconstructed by computer generated hologram (CGH).
Capturing wave-fields of real-existent objects by DH is not easy especially in high-definition CGHs, because theresolution and pixel size of current image sensors are not enough for requirements for high-definition CGHs. To
overcome the problem, the technique of phase-shifting lensless synthetic-aperture digital holography is used for
capturing the object field. A hybrid CGH reconstructing real-existent object mixed with CG-modeled virtual objects isactually demonstrated.
Keywords: 計算機合成ホログラム，デジタルホログラフィ，合成開口，レンズレスフーリエ型，光波遮蔽

1.

はじめに古典的なホログフィでは，銀塩フィルムなどの感光材料を用いて干渉縞を記録し，その回折作用により立体像を再生していた．しかし，最近のコンピュータ技術と微細加工技術の発展により，計算機上でホログラム干渉縞パターンを数値合成する計算機合成ホログラム(CGH)が大規模・高解像度化し，これによって深い奥行き感のある美しい立体像が再生できるようになってきた[1]．しかしながら，このような従来の CGH で再生されるのは CG 等の数値モデルによる架空の物体のみであり実在物を含む3D シーンを再生することはできなかった．
CGH で再生されるシーンに実在物体を混合する手法の一つに 3D スキャナーにより 3 次元形状を取り組む手法もあるが[2]，これはやはり CG のような数値モデルの延長であり，実在物体とは言えない問題点があった．実在の光波を撮影し，3D シーンに組み込む方法の 1 つとしてイメージセンサを用いたデジタルホログラフィ(DH)に
有馬恭旭
arima@laser.ee.kansai-u.ac.jp
関西大学システム理工学部電気電子情報工学科〒564-8680 大阪府吹田市山手町 3-3-35
TEL 06-6368-1121(内線 5722)

よりホログラム干渉縞を取得する方法が考えられる．しかし，既存のイメージセンサでは分解能，解像度がともに不十分であるため，高解像度 CGH に適した光波を取得することができないという問題点があった．
そこで本研究では，レンズレスフーリエ型合成開口DH(Lensless-Fourier synthetic aperture digital holography,LFSA-DH)[3,4]を用いることにより，センサの物理的分解能の変換と解像度の増大を図り[5]，超高解像度 CGH に適合した実在物体の光波の取得をおこなった．また，取得した光波をデジタル画像や CG モデルで与えた仮想の 3D シーン内に挿入し，超高解像度CGH として空間的3 次元像の再生をおこなった．
これらの手法を用いて作成したホログラムは，干渉により光波を記録し回折によりそれを再生するという古典的なホログラフィを完全にデジタル化したものとなっている．
そこで本研究では，これをデジタル化ホログラフィ(Digitized Holography)と呼んでいる．デジタル化ホログラ
フィでは，古典的ホログラフィでは不可能な，撮影後のデジタル編集や仮想シーンとの合成が簡単に行える．また通常の CGH と同様にデジタルデータ特有の編集・蓄積・伝送が可能である．本報告ではこれらの技術および実際にこのデジタル化ホログラフィで作成した超高解像度
CGH の光学再生像を示す．

3 次元画像コンファレンス 2011 講演論文集, pp.182–185(2011.7.15)

Fourier-transform
yImage sensor
Objecty

Nyxz

Referencepoint source

x

xdR

yNx

Fig.1 Schematic geometry of lensless Fourier digital holography.
BS1

Translation

Overlap area

 = 532 nm 1/2RP1

M1

1/2RP2
SF1
ys

ObjectBS3

xs

Object(a)SensorCaptured images(b)

Fig.2 Synthetic-aperture digital holography.

SF2M22.

物理的分解能の変換と解像度増大の原理

CGH で良好な再生像が得るためには，広い視域角と大きなホログラムサイズが必要である．視域角は干渉縞の物理的分解能で決まるため，良好な再生像が得られた最初のポリゴン法高解像度 CGH である The Venus
では，そのピクセルピッチは 1.0 m，ピクセル数は 32億ピクセルに達している．それに対して，現行のイメージセンサは，分解能も解像度もはるかに低いため，そのままでは，高解像度 CGH として再生可能な物体光波を撮影できない．そのため LFSA-DH により分解能の変換と解像度増大を行った．
レンズレスフーリエ型 DH の構成を Fig.1 に示す．このタイプの DH では，参照光波に球面波を用い，その中心をほぼ撮影物体と一致させる．その結果イメージセンサではフーリエ型ホログラムが記録されるため，位相シフトを用いて取得した複素干渉縞をフーリエ変換することで，参照点光源を含む(x，y，0)平面(像面)での物体光波が求まる．その時の物体光波のサンプリング間隔は以下の式で表すことができる．
d R ，
d R(1)
x y 
N x xN y y
ここで，はレーザの波長，dR は点光源とイメージセンサの間の距離， N x  N y はサンプリング数，  x   y はセンサピッチを表している．
(1)式からわかるように，レンズレスフーリエ型 DH で記録した光波のサンプリング間隔はセンサピッチと異なり，点光源－イメージセンサ間距離を減少するか，サンプリング数を増加させることで，フーリエ変換後のSF3Image sensor
with motorstage

BS2

M3 with PiezoshifterFig.3 The experimental setup for capturing large-scaled wave-fields by
the LFSA-DH. M: mirror, BS: beam splitter, RP: retarder plate.

光波(物体光波)のサンプリング間隔を減少することができる．また，この型の DH では，光軸から離れた位置でも干渉縞空間周波数がそれほど大きく変化しないため，イメージセンサを物理的に移動させて光波記録面積を増大する合成開口法を用いることができる．
具体的には，合成開口DH では自動2 軸ステージを用いてイメージセンサを機械的に動かし，Fig.2(a)に示すようにそれぞれ異なる位置での光波の取得を行なう．
この時，自動ステージの機械的な移動誤差がセンサのピクセルピッチよりも大きいため，そのままでは干渉縞を正確につなぎあわすことができない．そのため，センサの移動量をセンササイズより小さくし，Fig.2(b)に示すように意図的にオーバーラップする領域を設けている．このオーバーラップにより，隣り合った記録画像間の相関関数を用いてセンサ移動量を正確に求めている．これにより，複数の干渉縞をつなぎ合わせて単一の大規模な干渉縞を記録することができる．
3.

物体光波の記録実験

本研究で用いた記録光学系を Fig.3 に示す．本研究では位相シフト法を用いて直接像のみの光波複素振幅分布を取得するため，ミラーM3にはピエゾ素子を取り付けている．撮影では，一つのセンサ位置につきピエゾ素子によって位相シフト量を変えた 3 枚の干渉縞を取得して複素振幅分布を求める．イメージセンサとしてセンサピッチ 3.5 m でセンササイズ 3000×2200

3 次元画像コンファレンス 2011 講演論文集, pp.182–185(2011.7.15)
Table 2 Parameters of the “Bear II”.
Table 1 Parameters for capturing the large-scaled field.
Wavelength ()Sensor pitches (x  y)Sampling intervals (x  y)Total number of samplings (Nx  Ny)
Distance of reference point source (dR)

532nm
3.5m3.5m
1.0m1.0m
32,76832,768
21.5cmpixel の Lumenera 社製 Lw625 を用いたため，前節で述べたオーバーラップ領域の確保を考慮して水平方向に 9.5 mm，垂直方向に 6.7 mm だけセンサを移動し，この撮影を繰り返した．また，超高解像度 CGH に適合したサンプリング間隔 1.0 m の光波を取得するため，(1)式から逆算して，点光源－イメージセンサ間距離をdR = 21.5 cm に設定している．これらのパラメータをTable.1 にまとめる．
記録した物体光波4.

取得した複素振幅画像を一枚に合成した振幅像をFig.4(a)に，またそれをフーリエ変換して求めた像面上の物体光波を振幅像として(b)に示す．この結果からわかるとおり，実験では 8  12 枚の干渉縞を一枚に合成しており，有効な光波取得面積は 77  80 mm2 となる．
この取得光波は，FFT を用いるために 32,768  32,768のサンプリンググリッド中に埋め込まれている．そのため，FFT 後に得られた(b)では(1)式からサンプリング間隔はちょうど 1.0 m となる．
なお，Fig.4(b)の振幅像では，被写体の周辺でボケが生じているが，これは像面が被写体の熊の置物の目の辺りに一致し，記録光波が高分解能なため像面から離れると急激に回折するためである．
5. 仮想物体と実在物体が混在する CGH
5.1 仮想物体と実在物体が混在する３D シーン
作成した高解像度 CGH の 3D シーンを Fig.5 に示し，そのパラメータを Table 2 に示す．3D シーンでは，背景としてデジタルイメージ(イラスト)を配置し， LFSA－DH で取得した実物体光波をその前に組み込んでいる．またCGモデルの架空の蜂を実在物体光波(熊)の手前に3匹配置している．

Number of pixels
Pixel pitches
Viewing angle
Height of real objects statue
Height of 3D objects statue
Dimension of wallpaper (W×H)

65,53665,536
1.0m1.0m
373730mm
10mm
65mm×65mm

ここで，実在物体光波は 2 重化してシーン内に配置している．つまり被写体(熊)が 2 体登場するシーンとして構成している．このようなデジタル編集は通常の写真ではごく普通であるが，従来の古典的なホログラムでは不可能であり，デジタル化ホログラム特有の特徴であると言える．
5.2 シルエットマスクによる光波遮蔽
実在物体の後方から入射する光波が実在物体の光波と重なって，半透明に再生されないように光波を遮蔽しなければならない．そこでCGHで光波遮蔽を行なう際に用いられているシルエット法[6,7]を実在物体にも適用した．そのためには，Fig.6 に示すように，まず実在物体光波を配置する位置まで背景画像の光波を数値的に伝搬する．次に物体光波の振幅像から作成した 2 値のシルエットマスクを物体光波面に乗算する．その後に背景画像光波に物体光波を加算する．これにより物体で光波が遮蔽され，物体が半透明に再生されることを防ぐことができる．
実物体から作成したシルエットマスクを Fig.7(b)に示す．
この画像は Fig.4(a)の実験で取得した光波の中心部分の一部だけを切り取り，フーリエ変換を行なって得られたFig.7(a)の振幅画像から作成している．これは，取得光波全体から再生すると Fig.4(b)のように振幅像にボケが生じエッジの抽出が困難になるためである．
光学再生像とまとめ
Fig.8 は実際に作成した高解像度CGH である“Bear II”を光学再生し，複数の視点から撮影したものである．この再生像からわかるとおり，実際にこのような 3D シーンの模型を作製して撮影したかのような再生像を得ることができることがわかる．
6.

2D digital image
Captured fieldsof real-existent object
CG-modeled
3D objects
506550(a)2cm

1cm
1cm5065(b)Units: mm
Fig.4 Amplitude images of the captured (a) andFourier-transformed field (b).

100

Hologram
Fig.5 The mixed 3D scene of “Bear II” including the field of thereal-existent object and the CG-modeled virtual object

3 次元画像コンファレンス 2011 講演論文集, pp.182–185(2011.7.15)
Background

Captured fields ofreal-existent object

Hologram

1stPropagation

2nd
Propagation(a)Fig.6 Silhouette masking of the background field(a) left

Fig.7 (a) The amplitude image obtained from a small part of the captured
field. (b) The silhouette mask produced from the amplitude image.

(c) right(b) center(d) low(b)(e) high

Fig.8 Photographs of optical reconstruction of the “Bear II” created for the mixed 3D scene including real-existent and virtual objects.
Photographs (a) – (e) are taken from different view points.

本研究では，レンズレスフーリエ型合成開口デジタルホログラフィ(LFSA－DH)により超高解像度 CGH に適合した高分解能かつ超高解像度な実在物体光波を取得した．また，取得した実在物体の光波と CG の仮想物体を計算機上で組み合わせ，新たな架空の3Dシーンを構成し，実在物体と仮想物体のハイブリッドな高解像度 CGHを作成できることを示した．
謝辞
本研究は日本学術振興会の科研費(21500114)の助成を受けたものである．
参考文献[1] K. Matsushima, S. Nakahara: Appl. Opt. 48, H54-H63(2009).
[2] H. Nishi, K. Higashi, Y. Arima, K. Matsushima, S.
Nakahara: SPIE 7957, 79571A (2011).
[3] T. Nakatsuji, K. Matsushima: Appl. Opt. 47, 136-143(2008).
[4] R. Binet, J. Coloneau, J. Lehureau: Appl. Opt. 41,4489-4496 (2002).
[5] 有馬, 松島,中原: HODIC Circular 29, No.3, 5-8(2010).
[6] K. Matsushima, A. Kondoh, SPIE 5290, 90-97 (2004).
[7] 近藤, 松島:信学論 J87-D-II, 1487-1494 (2004).