3 次元画像コンファレンス 2023 講演論文集, 発表番号 P-11 (2023.7.13, 京都, 優秀論文賞)

光線サンプリング面を用いて記録した実物体像を埋め込んだ全方向視差高解像度フルカラーCGH
Full-Color Full-parallax High-Definition CGH Embedding Image ofReal Object Produced Using Ray-Sampling Plane
松島 恭治
パニアグア カルロス
桂 諒介
西 寛仁
Hirohito Nishi
Kyoji Matsushima
Paniagua Carlos
Ryosuke Katsura
関西大学システム理工学部電気電子情報工学科
Department of Electrical, Electronic and Information Engineering, Kansai University
ABSTRACTA method is proposed to create full-color full-parallax high-definition computer-generated holograms (FPHDCGH). Using the method, the wavefield of real objects, generated at three wavelengths from color multi-viewport
images (MVI), can be embedded in the 3D scene reconstructed by the FPHD-CGH. The MVI of the physical object
is captured by an ordinary color camera, and converted to the wavefield by the method using a ray-sampling plane(RSP). Several techniques, such as adjustment of the visual field and post-processing of the MVI, are presented
for reconstructing clear color 3D image with proper occlusion processing. An FPHD-CGH is fabricated toreconstruct 3D images where the image of a real object is embedded in the 3D scene whose wavefield is generated
from 3D model using physical simulation, i.e., the polygon-based method.
Keywords: 計算機合成ホログラム , ポリゴン法，多視点画像
1．はじめにいる光線サンプリング面(Ray sampling plane: RSP)のコンピュータホログラフィにおいて，CGモデルの手法が提案されており[5,6]，光波伝搬を用いるため仮想物体だけでなく，実物体を全方向視差高解像比較的輻輳調節矛盾が生じにくい再生像を得ること

度 CGH (full-parallax high-definition CGH: FPHD-ができる．近年，我々はポリゴン法/シルエット法によCGH)で再生する手法として，3Dスキャナ等を用いる物理シミュレーションによって処理したモデルと多て実物体の3次元形状を記録する手法や[1,2]，合成

視点画像をRSPで処理したモデルが複雑に組み合

開口ディジタルホログラフィを用いる手法等が報告さわされたCGHを計算する手法を考案し，それによるれている[3,4]．しかし，FPHD-CGHは広い視域を有モノクロFPHD-CGHの作製，またフルカラー化の手するため，前者は長い撮影時間や欠落したポリゴン法を提案している[7]．また， 被写体を撮影した多視の補填が必要である．一方，後者は高度の撮影技点画像にRSPの手法を適用して作成した実物体の術が必要であり，いずれも被写体を撮影できる方法

モノクロFPHD-CGHを報告している[8]．

ではない．

そこで本研究では，実物体のカラー多視点画像

FPHD-CGHの物体光波の計算方法として，物理の撮影を行い，実物体を物理シミュレーションによるシミュレーションではなく，CGによる多視点画像を用仮想3Dシーンに埋め込んだフルカラーCGHの作成を試みた．本論文では，RSPを用いた実物体光波の西 寛仁<h_nishi@kansai-u.ac.jp>〒564-8680大阪府吹田市山手町3-3-35
関西大学電気電子情報工学科
TEL 06-6368-0842(ダイヤルイン)

取得とオクルージョン処理の手順を報告し，この手法を用いて実際に作製したフルカラーFPHD-CGHの光学再生像を示す．

3 次元画像コンファレンス 2023 講演論文集, 発表番号 P-11 (2023.7.13, 京都, 優秀論文賞)
実物体画像
背景除去画像マスク画像

ランダム位相オクルージョン
処理後の光波

背景光波
IFFT

FFT

光波領域

光線領域

光波領域

Fig.1 The procedure for occlusion processing in RSP.

2．計算手法体を撮影した．この等間隔の視点が RS 点に対応し2.1 RSP を用いた多視点画像からの光波計算ており，撮影したカラー画像の色チャンネル毎に乱多視点画像の各画像に乱数位相を付与してフー数位相を付与して FFT 計算を行い，RSP 上に配置リエ変換し，物体近傍に配置した RSP 上の視点位置している．多視点画像の撮影に用いた主要なパラ(RS 点)に埋め込むことで光線情報を波面情報に変メータを Table 1 に示す．

換する．得られた光波を CGH 面まで波動光学的に4.1 多視点画像のトリミング処理伝搬計算することで物体光波を計算する．最終的に，

本研究では，カラー多視点画像の画角𝜃𝐹𝑂𝑉 を光CGH 面上で得られた物体光と参照光を数値的に干波の最大回折角から決定した[7]．すなわち，多視点渉させ，干渉縞パターンを得る．

画像の画角を2.2 オクルージョン処理の原理
物理シミュレーションと組み合わせたときの オク𝜃𝐹𝑂𝑉 = 2sin−1 (𝜆2𝛥𝑥)(1)とした．ここで𝛥𝑥は物体光波のサンプリング間隔，𝜆ルージョン処理の原理をFig.1に示す[7]．まず，RSPに入射する背景光波を逆フーリエ変換して光線情報
𝑏[𝑚, 𝑛]を求める．次に，RS点に対応する多視点画
𝑢𝑖𝑗

像から求めたマスク画像𝑀𝑅𝑆𝑃 [𝑚, 𝑛]を乗算し，マスク𝑏[𝑚, 𝑛]𝑀𝑅𝑆𝑃 [𝑚, 𝑛]を求める．背景を処理した光線𝑢𝑖𝑗

除去した実物体画像の位相を乱数化してこれに加算

Table 1 Parameters used for capture of the MVI.
Number of captured images
Intervals of viewpoints [mm]Number of pixels for each
captured image
Subject Distance (D) [mm]Width of visual field (W) [mm]することで，オクルージョン処理した光線情報
𝑜𝑢𝑖𝑗[𝑚, 𝑛]を求め，それをフーリエ変換することでオクルージョン処理後の光波𝑈𝑖𝑗𝑜 [𝑚, 𝑛]を求める．この計

Subject

16,384
1.1 × 1.1
1,944 × 19,44
65.0
46.4

Visual field
Position of camera(RS point)
Camera算を全てのRS点で行ってRSP上で統合する．
3．実物体の多視点画像の取得
3.1 多視点画像の撮影
本研究では 2 軸自動ステージを用いてカメラを移動し，Fig.2 に示す等間隔の位置から Fig.3 の被写

RSP

Fig.2 Capture of a multi-viewpoint image (MVI).

3 次元画像コンファレンス 2023 講演論文集, 発表番号 P-11 (2023.7.13, 京都, 優秀論文賞)
5．CGH の光学再生
CGHで再生する3DシーンをFig.6 に示し，仮想物体と背景のパラメータをTable 2に示す．サンプリン
グ間隔1.0μm × 1.0μm，サンプル数64K × 64K (1K= 1024)の物体光波から，干渉縞オーバーサンプリング[9]によって発生した約80億画素の干渉縞パター
Fig.3 The subject captured before the green back.

ン ( 64K × 128K ， 画 素 ピ ッ チ 1.0μm × 0.5μm ) を ，は波長である．そのため，画角が波長によって異なレーザーリソグラフィ装置を用いて描画し，RGBカることになり，色チャンネルごとに異なった画角で撮ラーフィルタ方式[10]によるカラーCGHとして作成し影を行わなければならない．しかし，これでは撮影時た．このCGHの光学再生像をFig.7に示す．この再生間がおよそ 3 倍となってしまう．そこで本研究では，

ResizeTrimming

Fig.4 に示すように，多視点画像をカメラの最大画角で撮影し，RGB に対応する波長の物体光波の計算

Red
ChannelOriginalImage

では，それぞれの画角に応じた範囲をトリミングし，Green
Channel

最も画角が広い R チャンネルを基準として拡大/縮Blue
Channel

小処理した画像を使用した．これにより，一度の撮影で三波長の RSP を求めることができる．

Fig.4 Adjustment of the field of view.

3.5 背景の削除とマスク画像の生成

(a)

(b)

(c)

(d)

(e)

(f)

Fig.1 の手順でオクルージョン処理するためには，被写体の抽出と，マスク画像の生成が必要となる．
そこで，本研究ではグリーンバックの前に被写体を設置し，OpenCV を用いて背景の削除とマスクの作成を行った．この過程を Fig.5 に示す．ここで，緑色要素を抽出しやすくなるためにカラー画像の色空間(g)を RGB から HSV 色空間に変換をしている．
この処理では，まず色相が背景の緑色に近い部分を抽出し，緑色要素を除去した画像(b)を求め，グレースケール画像(c)に変換し，二値化処理(d)を行

Fig.5 Post-processing of the captured MVI.

う．二値化処理によって，画像にノイズや輪郭部分Real Objectにジャギーが生じるため，モルフォロジー演算によりノイズを取り除き，メディアンフィルタで輪郭を平滑化

Backgroundimage65

RSP
3D modelした後に元の RGB 色空間に戻し，マスク画像(e)を6565求め，原画像の差分計算を行うことによって背景を削除した画像(f)を得る．さらに，マスク画像(e)を白黒

70.5

65

29.5

反転してオクルージョン処理用のマスク画像(g)を取得した．

30
CGH

Units:

70

Fig.6 The 3D scene of the fabricated FPHD-CGH.

3 次元画像コンファレンス 2023 講演論文集, 発表番号 P-11 (2023.7.13, 京都, 優秀論文賞)
像から，視点移動したときのなめらか運動視差と自然なオクルージョンが再生されて，被写体であるライオンのフィギュアの質感も鮮明に再生されていることが分かった．
6．まとめ
物理シミュレーションによる仮想物体と，撮影した多視点画像からRSPの手法で求めた実物体の映像

Table 2 Parameters of the RSP and CGH.
RSP
Number of samplings
Number of RS points
Number of samplings ineach RS point
Intervals of RS points [mm]CGH
Number of pixels
Pixel pitches [m]
Design wavelength [nm]65,536 × 65,536
128 × 128
512 × 512
0.51 × 0.51
65,536 × 131,072
1.0 × 0.5635, 517, 443が混在したフルカラーCGHを作製した．今後は，解像度が高く画角の広いカメラを用いて撮影枚数を増やすことにより，視域が広く大型の全方向視差高解像度CGHの作製が可能になると考えられる．
謝辞
本研究は，日本学術振興会科研費 22H03712の助成を受けたものである．
[1]

[2]

[3]

[4]

参考文献
松島: コンピュータホログラム「Brothers」制作記－MITミュージアムでのCGH展示を目指して,
HODIC Circular 32, No.2, 31-40 (2012).
宮岡, 市原, 松島, 中原: Kinect Fusionを用いた高解像度フルカラーCGHの作成と再生, 3次
元画像コンファレンス2014, 13-16 (2014).
K. Matsushima, Y. Arima, S. Nakahara:
Digitized holography: modern holography for 3D
imaging of virtual and real objects, Appl. Opt. 50,
H278-H284 (2011).
K. Matsushima, N. Sonobe: Full-color digitized
holography for large-scale holographic 3D
imaging of physical and nonphysical objects,
Appl. Opt. 57, A150-A156 (2018).

left[5] K. Wakunami, M. Yamaguchi: Calculation forcomputer generated hologram using raysampling plane, Opt. Express 19, 9086-9101(2011).
[6] K. Wakunami, H. Yamashita, M. Yamaguchi:
Occlusion culling for computer generated
hologram based on ray-wavefront conversion,
Opt. Express 21, 21811-21822 (2013)[7] 桂, 松島: ポリゴン法と光線サンプリング面を用いたハイブリッド計算法による全方向視差高解像度CGH, 3次元画像コンファレンス2022, 10-2(2022).
[8] 伊藤, 松島, 山口: 光線サンプリング面の手法を用いて合成した実物体の高解像度計算機合成ホログラム, 3次元画像コンファレンス2016, P10 (2016).
[9] 松島，他: 関大デジタルホロスタジオにおける大規模CGH描画・作成技術, HODIC Circular
38, No. 1, 2-9 (2018).
[10] Y. Tsuchiyama, K. Matsushima: Full-color
large-scaled computer-generated holograms
using RGB color filters, Opt. Express 25, 20162030 (2017).

center

Fig.7 Optical reconstruction of the fabricated FPHD-CGH

right