文献情報： HODIC 学生シンポジウム 2023 論文集，17-20 (2023.2.22, オンライン)

全方向視差高解像度 CGH アニメーションにおける二分探索による構造化照明の自動マッピング
Automatic Mapping of Structured Illumination Using Binary Searchin Animation of Full-Parallax High-Definition CGH
田村直樹

西 寛仁

Naoki Tamura Hirohito Nishi

松島恭治

Kyoji Matsushima

関西大学 システム理工学部 電気電子情報工学科〒564-8680 大阪府吹田市山手町 3-3-35
Department of Electrical, Electronic and Information Engineering, Kansai University
Yamate-cho 3-3-35, Suita, Osaka 564-8680, Japan
E-mail: k351797@kansai-u.ac.jp (N. Tamura)
Abstract Since full-parallax high definition CGHs (FPHD-CGH) consist of a gigantic number ofpixels, it is difficult to change their reconstructed images. Therefore, an animation method by mapping
structured illumination was proposed, but this method requires very precise mapping of the structured
illumination with an accuracy less than 0.1 mm. In this paper, we propose an automatic mapping techniqueusing binary search of markers made at the four corners of the CGH in advance. A fabricated portable
illumination system is reported as well.
Keyword Computer-generated hologram, Animated CGH, Mapping structured illumination
1. はじめに
近年，コンピュータホログラフィと計算機技術の発展により，数百億から一千億以上のピクセルを有する全方向視差高解像度計算機
合 成 ホ ロ グ ラ ム (Full-Parallax High-Definition
CGH，以下 FPHD-CGH)が作製されるようになった．このような FPHD-CGH では，知覚矛盾が全く生じないため驚くほど奥行きの深い 3次元映像を再生できる[1]．また，ホログラムサイズの大型化も進んでおり，サイネージな
ど FPHD-CGH の社会実装も期待されている．
しかし，その再生像は 1 枚の静止画であり，視点移動に伴って見える像が変化するアニメーテッド CGH を除き[2]，像を変化させることは非常に困難である．これは，FPHD-CGHが先述のとおり莫大なピクセル数で構成されており，そのピクセル数を表示できるディスプレイが現状存在しないためである．
そこで，複数フレームの干渉縞を空間分割して 1 つに統合し，空間分割に合わせたパターンの構造化照明で所望のフレームの干渉縞のみを照明してそのフレームを再生し，照明パターンを切り替えることで FPHD-CGH のアニメーション再生を行う手法を提案している[3]．この手法では，カラーフィルタ方式フ
ルカラーCGH[4]でもアニメーション再生ができることが確認されている[5]．
しかし，この手法では構造化照明光を 0.1
mm 以下の高い精度で CGH 干渉縞にマッピングしなければ所望のフレーム以外の像も同時に再生され，フレーム間クロストークが発生する．このマッピングには長い時間と熟練を要し，オンサイトでの調整も容易ではない．
そこで本研究では，あらかじめ CGH の四隅に設けたマーカーを二分探索して自動的にマッピングを行う手法を提案し，これを用いた可搬性のある照明装置の製作を報告する．
2. 構造化照明の自動マッピング
2.1. 自動マッピングの原理
本研究では，干渉縞に照射する構造化照明を，レーザープロジェクタを用いて発生させる．オンサイトでの設置では，一般に，干渉縞とプロジェクタの位置関係を先に決め，投影画像を変形して正確に干渉縞部分に照明を位置合わせする．これを正確に行うためには，投影画像中のどのピクセルが干渉縞の四隅の位置を照明しているか特定する必要がある．
このピクセルを特定するため，Fig.1 に示すようにあらかじめ CGH 干渉縞の四隅位置にマーカーを設けておく．マーカーは照明光が透過する微細な開口になっており，その背後にフォトセンサを設置することで，マーカー部分が照明された場合にそれを検出できるよ
うにする．実際には，Fig.2 のように PC を用いて四隅に設置したそれぞれのフォトセンサから得られる信号強度を計測しながらマーカー位置を探索し，干渉縞の四隅位置の特定を行っていく．
マーカー位置を特定する手法の一つとして，照明光が小さなスポット光となるような画像をプロジェクタに表示し，そのスポットで干渉縞上をラスタスキャンする方法が考えられる．スポットがマーカーの開口を照明しているときにのみセンサ信号が得られるので，スポットのサイズを小さくしながらラスタスキャンを繰り返し，最終的にスポットが 1 ピクセルのサイズになるまで行うことでマーカー位置を特定することができる．
しかし，この手法は現在広く普及しているLCOS 液晶プロジェクタ等では有効であるが，カラーFPHD-CGH 再生に適したレーザー走査型プロジェクタには適用できない．
2.2. レーザー走査型プロジェクタ
本研究で用いたレーザー走査型プロジェク
タのスペックを Table 1 に示す．このプロジェ
クタは MEMS ミラーを用いて RGB レーザービームをスキャンして像を投影するプロジェ
クタであり，一定の範囲ではフォーカスフリーである．また，レーザー光源であるため，MarkersCGH

Fig.1 Markers made for detecting projection pixels
illuminating four corners of the CGH.
Photo sensor
CGH

Laser
Projector

CGHPC

Amp
Amp
Sensor Signals
Amp
Amp

4ch
A/D
Converter USB

Fig.2 Configuration of the automatic mappingsystem.
Specification of the projector used forstructured illumination.
SONY Mobile
Product name
Projector
1920×720
Display resolution [pix]Table 1

Light source

Laser diode

Aspect ratio

16:9

Maximum projection distance [m]3.45

Maximum screen size [in]120

Brightness [lm]32

Frame rate [fps]60

RGB カラーフィルタ方式カラーCGH でも，再生像にボケが生じない理想的な照明となる．
しかし，このプロジェクタでは，前述のスポット光を投影する手法でのマーカー位置の特定が難しい．これは，スポット光のパターン自体がビームスキャンで形成されているため，スポット光がマーカーを照明しても，センサ信号が得られるのはビームが開口を横切った一瞬であるからである．ビームスキャンの垂直同期信号等は得られないので，スポットパターン中のどのピクセルが開口を照明しているか特定することができない．そのため，
本研究ではレーザー走査型プロジェクタでものピクセルを特定することができる．

Marker3. アニメーション CGH の作製A

B

(a)MarkerMarker

AA

B

B

(c)
(b)
Fig.3 The principle of the proposed binary search.

マーカー位置を照明しているピクセルが容易に特定できるような，二分探索を用いた手法を考案して用いた．
2.3. マーカー照明ピクセルの二分探索
二分探索によってマーカー照明ピクセルの特定を行う原理を Fig.3 に示す．この手法では，まず(a)のように，マーカー位置を探索する範囲の半分のみを照明するような画像をプロジ
ェクタによって表示する．この時，プロジェ
クタのビームスキャン 1 フレームの時間内にフォトセンサで信号検出されれば，照明した領域内にマーカーを照明しているピクセルがあることがわかる．従って，次はこの領域をさらに二分割して，センサ信号の有無を検出する．一方で，照明した領域内でセンサ信号が得られなかった場合は，照明していなかった領域で二分探索を行っていく．この操作を縦方向横方向がそれぞれプロジェクタの 1 ピクセルの大きさになるまで繰り返すことにより，投影画像の中でマーカー部分を照明しているピクセルを特定することができる．
本手法での探索回数は，探索範囲の横方向と縦方向のピクセル数をそれぞれ𝑁𝑥 ，𝑁𝑦 とすると，𝑁 = log 2 𝑁𝑥 + log 2 𝑁𝑦(1)で与えられる．本研究で用いたプロジェクタの解像度は 1920×720 ピクセルであるため，𝑁 ≈ 20.4 となり，理論上約 21 回の探索で干渉縞四隅位置を照明しているピクセルを特定できる．従って，ビームスキャンが 60fps のプロジェクタを用いた場合，約 1.4 秒で四隅全て3.1. 干渉縞パターンの計算と統合
本研究では，4 フレームで構成された単色アニメーション用 CGH を作製した．各フレー
ムでは，それぞれマル，バツ，サンカク，壁紙のみのモデルを再生する．
これら 4 つの 3D モデル群の全方向視差の物体光波をポリゴン法によって個別に計算し，シルエット法によって隠面消去を行なった．
得られたそれぞれの物体光波を参照光波と数値的に干渉することにより各フレームの干渉縞パターンを計算した．これを 128×128 の矩形ブロックに分割して抽出し，1 つの干渉縞に統合した．各ブロックは約 0.65 mm 角であり，ブロック間には 0.16 mm のガードギャップ領域を設けている．このような手順で作製したアニメーション CGH のパラメータをTable 2 に示す．
3.2. 自動マッピング用マーカーの設計
干渉縞の四隅位置に設置するマーカーの開口サイズは，プロジェクタ投影画像の 1 ピクセルの大きさと同じ大きさとした．投影画像の大きさはプロジェクタと CGH 間の距離によって変化するため，本研究では投影画像の広がりと再生像の観察のしやすさの観点から，プロジェクタと CGH 間の距離を 40cm とした．用いたプロジェクタではこの距離での投影画像のサイズは 334 mm×185 mm となるので，これをプロジェクタの解像度で横縦それぞれ除算することによって，投影画像の 1 ピクセルの大きさを計算できる．その結果，横0.18mm，縦 0.26mm の矩形開口のマーカーを四隅に設置した．
4. 提案法による CGH アニメーション
4.1. CGH アニメーションの光学再生
二分探索による 1 つのマーカー照明ピクセ
ル特定にかかった探索回数は 22 回であり，理論値より多くなった．ここで，提案手法では投影画像のピクセル数を二分の一して探索を進めるが，ピクセル数が 2 で割り切れない場合があるため，その場合は切り上げる必要がある．例えば， 11 ピクセルの探索範囲の次に探索する範囲は 5.5 ピクセルであるが，5.5 ピ

クセルを表示することはできないため，切り上げて 6 ピクセルの範囲を探索する．そのため，理論値より数回探索回数が増えている．
二分探索による自動マッピングを行って得られた 4 つのフレームの再生像の写真を Fig.4に示す．各フレームで違うモデルの像が再生されており，CGH のアニメーション再生ができていることがわかる．しかし，どのフレームでもクロストークが発生している．ここで，干渉縞の 0.65mm 角の各ブロック一つに対するプロジェクタ投影画像のピクセル数は 3.7×2.5 ピクセルと，非常に小さい値となっている．このように，各ブロックに対する投影画像の有効ピクセル数が十分に確保できていな
いため，構造化照明がぼけ，クロストークが発生したと考えられる．
4.2. 照明装置の小型化
提案した手法では容易に自動マッピングを行うことができるが，使用する機器やケーブルが多く広いスペースが必要になるため，展示するには不向きである．従って，本研究では Fig.5 に示すようにこれらの機器やケーブルをまとめ，オンサイトでの設営を可能にした．
5. まとめFPHD-CGH アニメーションにおける二分探索による構造化照明の自動マッピング手法を提案した．提案した手法を用いて干渉縞の四隅全てを自動マッピングした結果，容易な操作で鮮明なアニメーション再生像を確認することができた．今後は，CGH 大型化による照明光の有効ピクセル数増加や，より可搬性のある照明装置の製作を試みる．
謝辞
本研究は，日本学術振興会科研費 22H03712の助成を受けたものである．

(2021).
[4] Y. Tsuchiyama and K. Matsushima, “Full-color
large-scaled computer-generated holograms using
RGB color filters,” Opt. Express 25, 2016-2030(2017).
[5] プレスリリース, “ホログラフィーのサイズや視域角を維持しながらカラーアニメーション化に成功”，https://www.kddiresearch.jp/newsrelease/2022/050901.html，(参照 2023/01/23)．
Table 2 Parameters of the animated CGH.
No. of pixels (W × H)
131,072 × 131,072
Pixel pitches [μm]0.8 × 0.8

Size (W × H) [cm]10.4 × 10.4

Design wavelength [nm]633

No. of frames

4

Frame1

Frame2

Frame3Frame4

Fig.4 Photographs of optical reconstruction of theanimated FPHD-CGH, adjusted using theproposed method.

参考文献[1] K. Matsushima: Introduction to Computer
Holography, Sec. 1.3 (Springer, 2020).
[2] 湯浅, 山口, 吉川: “写実的なアニメーテッドホ
ログラムのための点群データ生成手法の提案 ”, 3 次 元 画 像 コ ン フ ァ レ ン ス 2020, 8-3(2020).
[3] 松島，小中，森川: “構造化照明マッピングを 用いた全方向視差高解像度 CGH のアニメーション”，3 次元画像コンファレンス 2021，2-2Sensor amps.
A/D converter
Fig.5 The portable illumination system used for onsite setup.