文献情報：HODIC Circular Vol. 33, No. 4, pp.18-23(口頭発表: 2013.10.18, Invited).

HODIC Circular ホログラフィック・ディスプレイ研究会

Vol. 33, No. 4 (Oct. 2013)

デジタイズドホログラフィにおける複数マスクを用いた隠面消去処理
藤田 大知††

松島 恭治†

中原 住雄‡

関西大学 システム理工学部 電気電子情報工学科‡
関西大学 システム理工学部 機械工学科〒564-8680 大阪府吹田市山手町 3-3-35

E-mail:fujita@laser.ee.kansai-u.ac.jp， matsu@kansai-u.ac.jp

あらまし 近年，実在物体を用いて高解像度 CGH を作成するデジタイズドホログラフィと呼ばれる技術が開発された．この技術はホログラムを記録/再生する全過程をデジタル化したものであるため，記録後にシーンのデジタル編集操作が可能であるという長所がある．デジタイズドホログラフィでは，3D シーンの相互オクルージョンを再生するためにシルエットマスクを用いて光波遮蔽を行っている．しかし，従来法では単一のシルエットマスクを用いており，物体によっては顕著なオクルージョンエラーが生じる．
そこで，本研究では複数のシルエットマスクを用いてオクルージョンエラーを軽減する手法を提案する．
キーワード CGH，デジタイズドホログラフィ，コンピュータホログラム，隠面消去

Hidden-surface removal by multiple masks
in digitized holography
Daichi FUJITA††Kyoji MATSUSHIMA†

Sumio NAKAHARA‡

Department of Electrical and Electronic Engineering , Kansai University‡
Department of Mechanical Engineering, Kansai University
E-mail:fujita@laser.ee.kansai-u.ac.jp, matsu@kansai-u.ac.jp

Abstract Recently, we have developed a technique called digitized holography in that the real-existing object
fields are optically reconstructed by high-definition CGHs. Digitized holography allows us to digitize the wholeprocesses of holography. As a result, the 3D scene can be digitally edited after recording the hologram. In digitized
holography, masking by object silhouette is used for light-shielding and reconstructing mutual-occlusion of the 3D
scene. However, light-shielding by the single mask sometimes leads to severe occlusion errors. We propose a newtechnique using multiple masks in order to reduce the occlusion errors.
Keyword

CGH, digitized holography, computer holography, light-shielding, occlusion

1. はじめに
過去数年間で，高解像度の計算機合成ホログラ

れ，最新のコンピュータホログラフィとして多くの見学者から人気を博している[4]．

ム(Computer-Generated Hologram，以下 CGH)ではさらに，我々はデジタルホログラフィ(Digital

奥行き感のある美しい光学再生が可能となったHolography，以下 DH)で取得した実在物体光波を[1-3]．その結果，250 億ピクセル以上から構成さ用いて高解像度 CGH に取り込む手法を提案し，これた“Brothers”が現在 MIT ミュージアムに展示されをデジタイズドホログラフィと呼んでいる[5]．
Holographic Display Artists and Engineers ClubHODIC Circular ホログラフィック・ディスプレイ研究会
この技術ではホログラムの記録・再生過程を完全にデジタル化しており，CGH と同様デジタルデータ特有の蓄積･伝送が可能である．また，再生するシーンのデジタル編集が可能であり，物体像の拡大/縮小も可能である[6,7]．
デジタイズドホログラフィでは 3D シーンの相互オクルージョンを再生するため，CGH の光波遮蔽に用いられるシルエット隠面消去法[3,8,9]を適用している．しかしこの時，物体を一方向から見たシルエットのみをマスクとした光波遮蔽では，撮影物体によってはオクルージョンエラーが表れ，特に強い自己オクルージョンがある場合にはそれが顕著になる．そこで本研究では，視線の方向に対応した複数のシルエットマスクを用いて光波遮Vol. 33, No. 4 (Oct. 2013)

Table 1 Parameters used for capturing object fields.
Wavelength ()Number of samplings (Nx  Ny)
Sensor pitches (x  y)Distance of reference point
source (dR)
Sampling intervals (x  y)532nm
32,76832,768
3.5m3.5m
215mm
1.0m×1.0mとにより広範囲の物体光波を取得している．
今回，強い自己オクルージョンが生じるように，わざと撮影物体を少し斜めに傾け，縦横ともに11.4cm の複素振幅分布を記録した．実験に用いたパラメータを Table 1 に示す．また，取得した複素振幅画像を Fig.2(a)に示し，これをフーリエ変換して得られた物体光波の振幅像を(b)に示す．本手法

線サンプリンング面を用いた手法が提案されていでは物体光波のサンプリング間隔 Δx，Δy は
d R
d R
x ，
(1)
y 
N x xN y yるが，これは DH で取得した実物体光波に対するとなる．ここで，λ は波長であり，dR は参照点光ものではない[10,11]．本研究ではレンズレスフー

源-イメージセンサ間距離，Nx，Ny と δx，δy はそれ

リエ型合成開口 DH[12]で取得した高解像度な実ぞれ x，y 方向のサンプリング数とセンサピッチで在物体光波における隠面消去処理を提案する．

あり，Table 1 のパラメータではサンプリング間隔蔽を行うことで，オクルージョンエラーを軽減する手法を提案する．同種の隠面消去法としては光はちょうど 1 m となる．
なお，Fig.2(b)の振幅像にボケが生じているのは，2. 実在物体光波の記録
実在物体光波の記録には Fig.1 に示すレンズレ
スフーリエ型合成開口法を用いている[12]．実験に用いたイメージセンサのピクセル数は 3000

像面が被写体の中心に一致し，記録光波が高分解能なため像面から離れると急激に回折するためである．

×2200 pixel，センサピッチは 3.5µm×3.5µm である．
被写体には高さ 2.3 cm，幅 3.0 cm の子狐の人形を3. 複数シルエットマスクの作成用いた．M3 にはピエゾ素子を取り付け，位相シシルエットマスクは Fig.2(a)の取得した複素振フト法を用いて直接像のみの物体光波を取得して幅分布から作成することができる．この時，従来いる．また，イメージセンサを機械的に動かすこ法では，中央の一部分を切り出してフーリエ変換してボケのない振幅像を求めて，そのシルエット

1/2RP1 BS1

BS2

ND filter 1からマスクを求めていた[5]．しかし，これはそのM1

DPSS laser = 532 nm

SF2

1/2RP211.4cmysObjectxs

11.4cm

BS3SF1
ND filter 2M4M2SF3Stage+Image
Senseor
M5(a)

(b)

1.0cm

M3 with Piezo

Fig. 1. The experimental setup for capturing
large-scaled wave-fields by lensless-Fourier
synthetic aperture DH.

Fig.2. Captured complex amplitudes (amplitudeimage) (a) and its Fourier-transform(amplitude image) (b).

Holographic Display Artists and Engineers ClubHODIC Circular ホログラフィック・ディスプレイ研究会

Vol. 33, No. 4 (Oct. 2013)
νy

切り出した一部分の方向から見たシルエットであるため，観察する方向によって形が変わる被写体
では，オクルージョンエラーが生じる．
これを軽減するためには，視線方向に対応した(b)(c)νx

複数のシルエットマスクを作成しなければならな
νnい．Fig.3 に視線方向に対応したシルエットマスクの作成方法を示す．ここでは簡単化のため，水平方向の視差のみを考え，視線 n が光軸となす角度を θn とすると，フーリエホログラムで対応する空間周波数 νn は

n sin  n(2)となる[12]．また，本研究で用いたレンズレスフーリエ型の DH では，物体光波のスペクトルのサンプリング間隔 Δν は xdR(3)となる．このことから，θn の方向から観察した像を得るためには Fig.2(a)の複素振幅分布の中心から

nd sin (4) Rx
離れたサンプリング点を中心とした一部分を切り出せば良いことがわかる．
なお，本研究では，Fig.3 に示すようにホログラ
ムを水平方向に均等分割し，その中心を通るよう視線角度 θn を求めたため，Pn (a)
(d)

(e)

Fig. 4. (a) Spectral amplitude of the captured field.
(b), (c) The amplitude images obtained
from small parts of the spectrum. (d), (e)The silhouette masks produced from theamplitude images.

 Hn 
 dH 

 n  tan 1 (5)となる．ここで，dH は 3D シーン中に実在物体を配置する平面とホログラム間の距離，Hn は分割ホログラム n の中心までの距離である．
Fig.4 に作成したシルエットマスクの例を示す．
ここで(a)は Fig.2(a)を 32,768  32,768 にトリミングした複素振幅分布である．式(4)から求めたサン
プリング点を中心とした 2048  2048 の範囲を切り取り，フーリエ変換することでこの物体を観察する方向に応じた振幅像(b)や(c)が得られる．次に閾値を用いてこれらの振幅像を 2 値化し，白黒反転させることで(d)や(e)のような視線角度 θn に対応したシルエットマスク Mn(x,y)を作成することができる．

yνyy
Sensor plane

Hologram
Objectνxxxz
θnHn

νn

Object plane
Object fielddHdR

Fig.3. Production of multiple masks corresponding to the view directions.

Holographic Display Artists and Engineers ClubHODIC Circular ホログラフィック・ディスプレイ研究会
Captured fields ofreal-existing object
yyyVol. 33, No. 4 (Oct. 2013)

Captured fields ofreal-existing objectyHologram

Backgroundyy

Hologram

Backgroundx

1st
Propagation

xxzx

x

n=0 1 2

2nd
Propagation

1st
Propagation

xz
3 4

2nd
Propagations

n=0

n=4・・・

(a)

(a)

(b)

Fig.5. Schematic illustration of the principleof the conventional silhouette method.

(b)

Fig.6. Schematic illustration of the proposed
method.
N 1

H ( x, y)   H n ( x, y)

以上の説明は水平方向視差のみについて行ったが，同様の処理を垂直方向にも行うことにより全方向視差が処理できる．

を求める．

4. シルエットマスクによる光波遮蔽法

5. 提案法と従来法の比較提案法を検証するために，背景画像に細かいチ

4.1. 単一シルエットマスクによる光波遮蔽
Fig.5 に従来の単一シルエットマスクによる光波遮蔽の原理を示す．いま物体の背面に入射する光波 u(x,y)とし，シーンを真正面に見込む視線のみからの作成したシルエットマスク M(x,y)とすると，背景光波を遮蔽した物体光波は，u '( x, y)  M ( x, y) u( x, y)  O( x, y)(8)

n0(6)となる．O(x,y)は DH で記録しフーリエ変換した物体光波である．ここで，Fig.5(a)は背面入射光波をマスクした状態を模式的に示しており，(b)はさらに物体光波を加算した状態を示している．

4.2. 複数シルエットマスクを用いた光波遮蔽
Fig.6 に提案法による複数マスクを用いた光波遮蔽の原理を示しており，n=0 と 4 の方向での光波遮蔽過程を模式的に示している．提案法ではェックパターンの 2 次元デジタル画像と子狐の実在物体光波を混合した CGH を作成した．用いた
3D シーンと CGH のパラメータをそれぞれ Fig.7と Table 2 に示す．本研究では水平，垂直方向にそれぞれ 5×5 枚の合計 25 枚のシルエットマスクを用いて光波遮蔽を行っている．異なる視点位置からの再生シミュレーションの結果が Fig.8 である．この結果から，従来法では視点位置を左右に移動したときに顕著なオクルージョンエラーが確認できるが，提案法では，それらのオクルージョンエラーが軽減されていることが確認わかる．
Table 2 Parameters used for creating CGH.
Number of samplings
Sampling intervals

Fig.4 から作成したシルエットマスク Mn(x,y)を用いて u(x,y)を遮蔽する．すなわち，θn の視線方向でBackground 65

65,53665,5361.0 m1.0m
Captured fields ofreal-existing object

は，背景光波を遮蔽した物体光波は65

u 'n ( x, y)  M n ( x, y) u( x, y)  O( x, y) (7)となる．これをシフテッド角スペクトル法[13]に65

65

より視線方向に対応したホログラム面上のセグメz

ント Hn(x,y)に伝搬計算する．これをすべての視線30方向に対して N 回繰り返すことで，ホログラム面

Units:mmでの全体光波Fig. 7120
Hologram

The 3D scene of the CGH for comparison.

Holographic Display Artists and Engineers ClubHODIC Circular ホログラフィック・ディスプレイ研究会
6. まとめ本研究では各視線方向に対応した複数のシルエットマスクを用いて光波遮蔽を行うことで，オクルージョンエラーを軽減する手法を提案し，有効であることを示した．今後は，提案法を用いた高解像度 CGH の作成を行い，実際に提案法による効果を確認する．
本研究は，日本学術支援振興会の科研費(24500133)，および文部科学省私立大学戦略基盤研究形成支援事業(平成 25 年～ 平成 29 年)の助成を受けたものである．

文

献[1] K. Matsushima, S. Nakahara: “ExtremelyHigh-Definition
Full-Parallax
Computer-Generated Hologram Created by the
Polygon-Based Method”, Appl. Opt. 48,
H54-H63 (2009).
[2] H. Nishi, K. Matsushima, S. Nakahara:“Rendering of specular surfaces in polygon-based
computer-generated holograms”, Appl. Opt. 50,
H245-H252 (2011).
[3] K. Matsushima, H. Nishi, S. Nakahara, “Simple
wave-field
renderingforphotorealisticreconstruction in polygon-based high-definition
computer holography,” J. Electron. Imaging 21,023002 (2012).
[4] K. Matsushima, S. Nakahara, “Stepping closer toVol. 33, No. 4 (Oct. 2013)

the perfect 3D digital image,” SPIE Newsroom (6Nov. 2012). DOI: 10.1117/2.1201210.004526.
[5] K. Matsushima, Y. Arima, S. Nakahara,“Digitized holography: modern holography for
3D imaging of virtual and real objects,” Appl. Opt.
50, H278-H284 (2011).
[6] D. Fujita, K. Matsushima, S. Nakahara, “Digital
Resizing of Reconstructed Object Images inDigitized Holography,” OSA Topical Meeting on
Digital Holography and Three-Dimensional
Imaging 2013, Hawaii, DW2A.7(2013).
[7] 藤田大知, 松島恭治, 中原住雄: デジタイズ
ドホログラフィにおける仮想光学系を用いた物体光のデジタル拡大/縮小編集, Optics &Photonics Japan 2012 講 演 予 稿 集 , 23aD3(2012).
[8] 近藤暁靖, 松島恭治: シルエット近似を用いた全方向視差 CGH の隠面消去, 電子情報通信学会論文誌 J87-D-II, 1487-1494(2004).
[9] K. Matsushima and A. Kondoh, “A wave opticalalgorithm for hidden-surface removal in digitally
syntheticfull-parallax
hologramsforthree-dimentional objects,” SPIE Proc．5290，90-97(2004).
[10] Koki Wakunami, Hiroaki Yamashita, andMasahiro Yamaguchi, “Occlusion culling forcomputer generated hologram based on
ray-wavefront conversion,” Opt. Express 21,
21811-21822 (2013).
[11] Koki Wakunami and Masahiro Yamaguchi,“Occlusion processing for computer generated

Conventional
methodThis workleftFig. 8

centerright

Simulated reconstructions of holograms created by the conventional
and proposed light-shielding techniques.

Holographic Display Artists and Engineers ClubHODIC Circular ホログラフィック・ディスプレイ研究会

Vol. 33, No. 4 (Oct. 2013)

hologram by conversion between the wavefront
and light-ray information,” J. Phys.: Conf. Ser.
415 012047 (2013).
[12] T.Nakatsuji and K.Matsushima, “Free-viewpoint
images captured using phase-shifting synthetic
aperture digital holography,” Appl. Opt. 47,
D136-D143 (2008).
[13] K. Matsushima, “Shifted angular spectrum
method for off-axis numerical propagation,” Opt.
Express 18, 18453-18463 (2010).

Holographic Display Artists and Engineers Club