3 次元画像コンファレンス 2022 講演論文集, 10-3 (2022.7.16, 長崎大学)

構造化照明マッピングを用いた CGH
アニメーションにおける位置合わせの自動化
Automatic Positioning in Animated CGH by Mapping Structured Light田村直樹 1Naoki Tamura1

小磯諒太 2
野中敬介 2
小林達也 2
松島恭治 1
Ryota Koiso2 Keisuke Nonaka2 Tatsuya Kobayashi2 Kyoji Matsushima1
1
関西大学 システム理工学部 電気電子情報工学科
2
KDDI 総合研究所
1
Department of Electrical, Electronic and Information Engineering, Kansai University
2

KDDI Research, Inc.

ABSTRACT
Although full-parallax high-definition CGHs (FPHD-CGH) reconstruct very impressive deep 3D images, its gigantic
number of pixels makes it impossible to change the reconstructed image. The mapping of structured light is the techniquethat allows us to animate FPHD-CGHs. However, since very precise mapping of the structured light is required to realize
animation without crosstalk, an automatic positioning technique is proposed in this paper. An actual animated FPHDCGH, positioning of the illumination is performed by the proposed technique, is demonstrated to verify the validity ofthe technique.
Keywords: 計算機合成ホログラム，CGH アニメーション，構造化照明マッピング

1.

はじめに数百億から一千億以上のピクセルを有する全方向視差高解像度計算機合成ホログラム (Full-Parallax

画像をフィルム化するなどしてキネマトグラフ的に再生するような方法が考えられるが，いずれも実現は簡単ではない．

High-Definition CGH: FPHD-CGH)では，その再生像

そこで，複数フレームの干渉縞を空間的に分割・に知覚矛盾が全く生じないため，従来の技術では困統合し，CGH 照明光源としてプロジェクタを用いて難な，驚くほど深い奥行きの 3 次元映像を再生する

干渉縞に正確にマッピングした構造化照明を切り替ことができる[1]．その画像サイズも A4 サイズ以上えることにより FPHD-CGH のアニメーション再生に達し，ポスター広告などへの応用が期待されていを実現する手法を提案している[3]．モノクロ CGHる．しかし，その再生像は静止画であり，視点移動だけでなく，RGB カラーフィルタ方式フルカラーによるアニメーテッド CGH 以外では[2]，像を変化CGH [4]でもこの手法によるアニメーションが可能させること自体が非常に困難である．これは，FPHD-であることが確認されており[5]，今後はサイネージ

CGH の画素数が，例えば，一千億ピクセルであればなどへの活用が期待されている．

8K UHDTV の約 3,000 台分に相当するためである．

しかし，構造化照明光を CGH 干渉縞にマッピン

FPHD-CGH でアニメーション映像を実現するためグする際には，10～100 m 程度の位置合わせ精度がには，CGH 自体を機械的に交換する方法や，干渉縞要求される．そのため，調整に長い時間を要し，所望のフレーム以外の像が再生されるフレーム間クロ

田村直樹<k351797@kansai-u.ac.jp>
関西大学システム理工学部電気電子情報工学科〒564-8680 大阪府吹田市山手町3-3-35
TEL 06-6368-1121(内線 5722)

ストークが発生する問題が生じていた[3]．そこで本論文では，構造化照明の位置合わせを自動化する手法を提案し，その手法を用いて得られたアニメーシ
ョン CGH の再生像について報告する．

3 次元画像コンファレンス 2022 講演論文集, 10-3 (2022.7.16, 長崎大学)

Fringe pattern
Aperture

Photosensor

Illumination light

Small apertures

Fig.1 Apertures used for detecting corner-illuminating
pixels.
2.

構造化照明の位置合わせの自動化

2.1. 基本的な原理

Fig.2 A photosensor placed behind the aperture.
Photo sensor

Frame

本研究では，プロジェクタを用いて構造化照明を発生する．プロジェクタと干渉縞の位置関係が一定

Projector
CGHである場合，プロジェクタに搭載された台形補正等と類似した方法を用いて投影画像を変形し，構造化照明を正確に干渉縞に位置合わせする．これを正確に実行するためには，投影画像のどのピクセルがAmp
Sensor Signals

CGH 干渉縞の四隅を照明しているかを前述の精度

Amp
Amp
Amp

4chA/D
ConverterPC程度で正確に特定する必要がある．
そのため本研究では，Fig.1 に示すように，CGH 干

Fig.3 Configuration of automatic positioning.

渉縞の四隅にマッピング調整用の小開口を設け，Spot scanFig.2 に示すように，その背後にフォトセンサを設置して照明光が開口を照明しているかどうかを検出した．構造化照明を制御する PC では，Fig.3 に示すよ

Aperture
Spotlight

Aperture
Spotlight

Beam scan

うに，CGH の四隅に取り付けたフォトセンサからの信号強度をモニターし，投影画像中で四隅を照明しているピクセルの探索を行った．
プロジェクタの投影画像中で干渉縞の四隅を照明しているピクセルを探索する手法としては，例えば，Fig.4(a)に示すようにスポットライト状の画像を投影してそれをスキャンしていく手法などが考えられる．この場合，スポット光が開口を横切る間のみセンサ信号が検出されるため，スポットサイズを縮小しながらスキャンすればその時系列信号から容易に開口を照明しているピクセルを特定できる．しかしながら，これは現在広く普及している液晶プロジェ
クタ等の画像を投影するタイプのプロジェクタの場合である．
本研究では，SONY Mobile Projector を使用した．
このプロジェクタは光源に LD を用いているため，RGB カラーフィルタ方式フルカラーCGH を照明し(a)(b)

Fig.4 Search of the aperture-illuminating pixel by
projecting spotlight-like illumination pattern.てもボケがほとんど生じない．また，フォーカスフリーで投影光の広がりも小さいため，CGH 干渉縞を照明する投影画像の有効ピクセル数を大きくすることができる．ただし，このプロジェクタは液晶プロジェクタとは異なり，ビームスキャン方式で画像を投影している．そのため，スポットライト状の画像を投影している場合でも，実際には Fig.4(b)に示すよ
うに，細いビームがスポットライトのパターンを形成しているだけであり，ビームが開口を横切る一瞬だけしかセンサ信号が得られない．ビームスキャン自体を制御することはできないため，センサ信号と開口を照明しているピクセルの対応付けができず，探索はほぼ不可能である．そのため，本研究ではビームスキャン方式のプロジェクタであっても開口照3 次元画像コンファレンス 2022 講演論文集, 10-3 (2022.7.16, 長崎大学)

Aperture

Aperture
AAB

B
(a)

(b)
Aperture

Table 1 Parameters of the animated CGH.
No. of pixels (W × H)
131,072 × 131,072
Pixel pitches [μm]Size (W × H) [cm]
Design wavelength [nm]0.8 × 0.8
10.4 × 10.4633

Center of spherical reference
field (x, y, z) [mm](0, −120, 600)になる．そのため，60fps のプロジェクタでは，理論A

上は 1.4 秒ほどで四隅に対応する 4 ピクセルを探索

B(c)Fig.5 The principle of the proposed binary search.

できる．
3. アニメーション用 CGH の作成
3.1. 干渉縞パターンの計算本研究で作製した単色アニメーション用 CGH の明ピクセルを容易に特定できる手法として，以下のバイナリサーチ法を考案して用いた．
2.2. バイナリサーチ法

3D シーンを Fig.6 に示す．アニメーションは 4 フレームで構成しており，それぞれマル，バツ，サンカク，壁紙のみのモデルを再生する．
これら 4 つの 3D シーンの全方向視差の物体光波

バイナリサーチ法の原理を Fig.5 に示す．この手法では，(a)に示すように，まず照明光が干渉縞に設けた特定の開口の探索範囲の半分のみを照明するような画像をプロジェクタに表示する．このとき，照明されている領域を A，照明されていない領域を Bとすると，プロジェクタのビームスキャン 1 フレー
ム期間中にフォトセンサからの信号が得られた場合，開口は A の領域にあることになる．逆にセンサ信号が得られなかった場合は B の領域にあることになる．
ここで，センサ信号のタイミングは関係なく，センをポリゴン法とシルエット法を用いて個別に計算した．これらの物体光波をそれぞれ参照光波と数値干渉して発生した 104 mm×104 mm の干渉縞を 128×128 の矩形ブロックに分割して抽出し，1 つの干渉縞に統合した[3]．矩形ブロックの間には 0.16 mm のガードギャップを設けたため，一つのブロックのサイズは約 0.65 mm となっている．このようにして作成した CGH のパラメータを Table 1 に示す．
3.2. 自動位置合わせ用の開口開口の大きさを CGH 面上のプロジェクタ投影画サ信号が得られるべき 1 フレーム期間中に信号が得られたかどうかだけが重要である．
もしも，1 フレーム期間中に信号が検出され，A の領域に開口があることが分かった場合は，Fig.5(b)に示すように，(a)の A 領域の半分のみを照明し，同様に探索を行っていく．逆にセンサ信号が得られなかった場合，(a)の B 領域の探索を行なう．これを照明
光がプロジェクタ投影像の 1 ピクセルのサイズになるまで繰り返し，開口を照明しているピクセルの位置を特定する．この手法では，横方向と縦方向のピクセル数をそれぞれ𝑁𝑥 ，𝑁𝑦 とすると，探索回数は
𝑁 = log 2 𝑁𝑥 + log 2 𝑁𝑦で与えられる．本研究では 1920×720 ピクセルのプロジェクタを用いたため𝑁 ≈ 20.4となり，約 21 回の探索で一つの開口の照明ピクセルを特定できる計算

像の 1 ピクセル分の大きさに設定している．ここで，投影画像の大きさはプロジェクタから CGH までの距離によって変化するため，本研究ではプロジェク
タと CGH の距離を 40 cm に設定した．この距離における投影画像のサイズは 334 mm×185 mm である
ので，プロジェクタのピクセル数で横縦それぞれ除算することで投影画像の 1 ピクセルに相当する大きさを求めた．その結果，縦 0.26 mm，横 0.18 mm の矩形の開口を四隅に設けた．
4.

CGH 光学再生像のアニメーション結果
実際に探索を行ったところ，1 つの開口の照明ピクセルの探索回数は，探索範囲全体の半分のサイズから探索を始めるため横方向で 9 回，横方向の最後の探索終了後に縦方向の探索範囲の半分から探索を3 次元画像コンファレンス 2022 講演論文集, 10-3 (2022.7.16, 長崎大学)
104

ターンにボケが生じてしまっている．若干のフレーム間クロス

104

トークは，このボケに起因する

Frame 110060

ものと考えられる．

160

Units：mm

104

まとめ5.

構造化照明マッピングを用いた CGH アニメーションにおける照明光の位置合わせを自動化する手法を提案した．提案したFrame 2

Frame 3

Frame 4

Fig.6 The 3D scene of the animated CGH.

バイナリサーチ法を用いて実際に位置合わせを行い光学再生像を観察した結果，調整時間が激始めるため縦方向で 8 回，合計で 17 回となり，ほぼ減し，フレーム間クロストークの発生も軽減するこ

理論通りの結果になった．
一方，探索時間の方は理論より長くなった．これは，フォトセンサから得られるセンサ信号のパルス幅が約 0.2 μs であり，AD コンバータの最大サンプリング速度 4 μs よりも短かかったためである．プロ
ジェクタの 1 フレーム期間の検出ではセンサ信号を見逃す可能性があるため，本研究ではサンプリング速度を 60 μs，サンプリング回数を 10000 回に設定し，1 回の探索で約 36 フレーム分の検出時間を取った．そのため，1 つの開口の照明ピクセルを特定するのに約 10.2 秒を要した．
4 つのフレームそれぞれの光学再生像を Fig.7 に示す．どのフレームも比較的鮮明な再生像を得られていることがわかる．しかし，若干のクロストークが発生している．実際に CGH 干渉縞に投影されているプロジェクタの有効ピクセル数は約 597×404ピクセルであり，0.65 mm×0.65 mm のブロック一つに対する投影画像のピクセル数は 3.7×2.5 ピクセルに過ぎない．この様に，各ブロックに対する投影画とができた．今後はレンズを付加するなどして照明光の有効ピクセル数を増加し，構造化照明の精度を上げる必要がある．
謝辞
本研究は，日本学術振興会科研費 22H03712 の助成を受けたものである．
参考文献[1] K. Matsushima: Introduction toholography, Sec. 1.3 (Springer, 2020).

Computer[2] 湯浅, 山口, 吉川: “写実的なアニメーテッドホログラムのための点群データ生成手法の提案”,
3 次元画像コンファレンス 2020, 8-3 (2020).
[3] 松島，小中，森川: “構造化照明マッピングを用いた全方向視差高解像度 CGH のアニメーション”, 3 次元画像コンファレンス 2021，2-2(2021).
[4] 土山泰裕: カラーフィルタ方式フルカラー高解像度計算機合成ホログラム，関西大学理工学研究科修士論文 (2018).
[5] プレスリリース, “ホログラフィーのサイズや視域角を維持しながらカラーアニメーション化に成功”, https://www.kddiresearch.jp/newsrelease/2022/050901.html，(参照2022-06-22)．

像の有効ピクセル数は非常に少なく，構造化照明パ

Frame1

Frame2

Frame3

Frame4

Fig.7 Photographs of optical reconstruction of the animated CGH, adjusted by the proposed method.