2019 年 高柳健次郎財団 研究奨励賞 成果論文

電子ホログラフィ方式の 3 次元映像技術における高速計算技術
西辻崇 TAKASHI Nishitsuji

東京都立大学 システムデザイン学部 電子情報システム工学科〒191-0065 東京都日野市旭が丘６－６

１．はじめに電子ホログラフィ方式の 3 次元映像技術
は，人間が立体を知覚する要件を完全に満たせる唯一の技術であることから，究極の 3次元映像技術や映像技術の最終形とも称されている．しかし，実用化には多くの技術障壁があり，最も重要なものの 1 つが高速計算技術の開発である．
本研究では，高速計算アルゴリズムの開発と Graphic Processing Unit (GPU)と呼ばれる並列計算機への実装により，かかる課題の解決を図った．主たる成果は 3 次元像を線のみによる構成（ワイヤフレーム）に限定することで大幅な計算高速化に成功した手法の開発である．
2019 年より 6 編の Q1
ジャーナルへの論文発表をはじめ，各種報道や招待講演依頼など，国内外で注目される成果を得た．
２．電子ホログラフィ
人間は物体の反射光を両眼がとらえることにより立体として認識する．逆に言えば，反射光を再現できれば 3 次元映像が実現する．電子ホログラフィは光波を電子的に変調し，所望の反射光を再現することで 3 次元映像を作り出す技術である．競合する他方式が疑似的な３次元像の再現であり，それに起因した眼精疲労や違和感が生じるのに対し，電子ホログラフィは完全な反射光を再現できるため，人間にとって最も自然

図 1

3 次元像の再生光学系な 3 次元映像を再生可能な唯一の技術と呼ばれる．
図 1 に本研究で試作した 3 次元映像の再生系を示す．レーザー光源から発せられた光を加工し，空間光変調器（Spatial LightModulator: SLM）に照射することで映像の反射光を再現する．SLM の変調パターン（Computer-Generated Hologram: CGH）は光の伝搬計算で得られる．この計算は，SLM に照射された光が実空間を伝搬する逆過程，すなわち 3 次元像から反射した光がSLM 上に作る波面を計算したものであり，一般に高負荷計算となる．波面は複素振幅だが，市販されている SLM は振幅，または位相の一方のみを再現可能であり，変調効率の高さから，現在では位相変調型の SLMが主流である．そのため，本稿では位相型を前提に説明する．
3 次元像の表面が自発光する無限小の点光源で埋められているとみなせば，SLM 上の波面は，

1

2019 年 高柳健次郎財団 研究奨励賞 成果論文

図 2 CG-Line 法の概要[1]𝑁−1𝑈(𝑥, 𝑦) = arg⁡ [∑ 𝐴𝑗 exp(𝑖𝑘𝑟𝑗 )](1)𝑗と書ける．ここで，(𝑥, 𝑦)は CGH の画素座標，𝑁は点光源の総数，𝐴𝑗 は𝑗番目の点光源の強度，𝑖は虚数単位，arg⁡[⋅]は位相を取得する関数，𝑘は波数で光源波長を𝜆として，𝑘 =2𝜋/𝜆と定義される．また，𝑟𝑗 は(𝑥𝑗 , 𝑦𝑗 , 𝑧𝑗 )⁡にある𝑗番目の点光源と CGH の画素との距離であり，22𝑟𝑗 = {(𝑥𝑗 − 𝑥) + (𝑦𝑗 − 𝑦) + 𝑧𝑗2 }−0.5(2)と定義する．CGH の画素数を𝑀とすれば，式(1)の計算量は𝑂(𝑁𝑀)である．実用規模では，𝑁 = 107 , 𝑊 = 106 となり，単純な計算方
式ではスーパーコンピュータ以上の計算性能が要求される．

点光源群が同じ奥行きに並ぶならば，形成される波面は１次元パターンを𝑥軸方向に引き伸ばしたようになる．これは，点光源群が曲線の場合にも同様の傾向をなす．また，１次元パターンは奥行きに依存する．そのため，本研究では，図 1 (b)のように１次元パターンを事前計算，または，逐次計算し，線の形状に沿って合成することで，近似的に CGH を形成する波面を合成する[1]．
図 1(a)の条件で収束する波面は，解析的に，𝜆𝑖𝜋𝑦 2𝑈(𝑦) = √ exp ()
𝜁𝜆𝜁

(3)

３．成果

で求められる[6]．ここで，𝜆は光源波長，𝜁は再生距離，𝑖は虚数単位であり，𝑦は CGHの画素と 3 次元線を CGH に投影した線（図1(b)の点線）を結ぶ線の法線のノルムである．
式(3)から明らかなように，波面は 1 次元関

筆者はかねてより波面の幾何的な対称性に着目した高速計算手法を開発し最大で数千倍近い高速化性能を達成している．本研
究では，投影する３次元像を線（ワイヤフレーム）で構成されるものに限定した場合に生じる波面の顕著な幾何的対称性を利用した高速計算手法を開発した[1-8]．
図 1(a)のように𝑥軸上の十分な長さの範囲に密に連続する点光源群を考えた場合，数であり，点光源ごとに式(1)を適用する場合に比べ，計算量は平方根のオーダーで削減できる．
式(3)に基づく CG-Line 法は線が無限長である場合に生じる収束波面を，近似的にすべての線に適用しているため，線の端点で間延びするなどの劣化が生じる．そこで，有限長の線が作る波面を解析的に求める手法（Analytical CG-Line 法）を開発した[2]．
22019 年 高柳健次郎財団 研究奨励賞 成果論文

この手法で描画可能な線は同じ奥行きの直線と円弧に限定されるが，オリジナルのCG-Line 法に比較して誤差が小さく，画質劣化が生じにくい上，GPU 実装が可能であることに優位性がある．
他方，オリジナルの CG-Line 法の GPU実装手法も開発した[4]．CGH 計算は画素ごとに独立した計算構造を取れるため，元来，GPU 実装に適している．
CG-Line 法の GPU実装を考えるとき，図 1(b)のように 1 次元きさとすると，ノイズを重畳した収束波面は式(3)より，の波面を掃引する動きの並列化は，ランダムメモリアクセスを引き起こすため GPU実装には適さない．そこで，CGH の画素ごとに，そこを通る線画オブジェクトの法線を求めることで，高効率な GPU 実装を実現した．線画オブジェクト𝑔⃗𝑘 について，CGH⃗⃗𝑘 との画素𝑟⃗と𝑔⃗𝑘 上の点を結ぶベクトルを ℎ⃗⃗𝑘 が𝑔⃗𝑘 の法線となる条件は，すれば，ℎ強度は，𝜆𝑦2𝑈(𝑦) = √ exp {𝑖𝜋 ( ± 𝛾)}
𝜁𝜆𝜁(5)となる．ここで𝛾の符号は一様乱数で決定する．乱数に基づく位相ノイズによる光強度の減衰効果は以下のように説明できる．
CGH の 位 相 が ラ ン ダ ム に 同 じ 割 合 で𝑒 −𝑖𝜋𝛾 , 𝑒 𝑖𝜋𝛾 の位相変化を持つとき，集光点の𝑒 −𝑖𝜋𝛾 + 𝑒 +𝑖𝜋𝛾
𝐼=||
22(6)
cos(2𝜋𝛾)+1= cos(𝜋𝛾)2 =2に比例した強度を持つ[6]．すなわち，式(6)より，の𝑦とすれば，CGH の画素単位で並列化した CG-Line 法を実行できる．式(3)は𝑔⃗𝑘 の次数が 2 の場合，3 次方程式となり解の公式であるカルダノの公式で解ける．
GPU 実装版の CG-Line 法(GPU-CG-Line法)は従来版に比較して高速処理が可能な一方で，方式特有の画質劣化として線上の強度不均衡の発生がわかっている[4]．これは，

cos −1 (2𝐼 − 1)(7)2𝜋となる位相ノイズを式(5)に印加すれば，所望の強度分布を再生像に与えられる．この事実を利用し，GPU-CG-Line 法における強度不均衡の補正に成功した[7]．また，表現性の向上を目的に線にグラデーションを付ける手法としても提案している[6]．
ここまでに説明した CG-Line 法は，線が同じ再生距離𝜁に分布している前提があった．しかし，ワイヤフレームアートのように，より実用的な 3 次元像の再生には，奥行方

GPU-CG-Line 法で曲線の波面を合成する
場合，線画の単位長あたりの波面面積が曲率に応じて差異が生じることに起因すると考えている．すなわち，曲率が大きい場合には，同じ長さの直線に比較して，合成する波面の面積が大きくなり，集光される光のエネルギーが増えることで強度不均衡が生じる．この改善のため，位相ノイズの重畳による補正手法を開発した[6, 7]．𝛾をノイズの大向に連続的に変化する 3 次元像への対応が不可欠である．そこで，Analytical CG-Line法の発展として，直線に限定されるが奥行方向の変化を含むワイヤフレーム 3 次元像を再生可能な CGH 計算手法を開発した [5]．
Analytical CG-Line 法と同様に，GPU 実装可能であり高速に計算できる．
最後に，ペンタブレットをインターフェイスとした，インタラクティブシステムを⃗⃗𝑘 ⋅ 𝑔⃗′𝑘 = 0(4)ℎである．なお，𝑔⃗𝑘 は多項式であり，′は一階⃗⃗𝑘 |を式(3)微分を表す．この方程式を満たす|ℎ𝛾=32019 年 高柳健次郎財団 研究奨励賞 成果論文紹介する[3]．CG-Line 法は GPU 実装に適した形に改良されたが，消費電力や排熱，大きさ，費用等の問題から，組込系で用いられるような非力なプロセッサでも動作可能であるほうが都合良い．その実践として，開発したインタラクティブシステムでは，入力を手描きにすることで，単位フレームあたりに更新する CGH の範囲を小さく抑えている．すなわち，単位フレームあたりのCGH 計算量は人間の手描き速度で決定す

能な 3 次元像は写実性の対極にあるようなワイヤフレームアートである．その点においては，世間の電子ホログラフィに対する期待には直接的に応えられない．しかし，線のみで表現する 3 次元像であっても，例えば各種ナビゲーションシステムや遠隔作業指示システムなど，実用に足る用途は多く考えられる．これらの用途において，電子ホログラフィの 3 次元像再生システムとしての優位性を含んだワイヤフレーム投影による条件設定とした．これにより，家庭用 PCによるリアルタイム処理を可能にした．

る実用的なプロトタイプシステムを構築し，より広く，本研究のコンセプトを発展させていきたいと考えている．

４．おわりに本研究は，千葉大学，ベルギー・ブリュッ
セル自由大学，及び所属する東京都立大学の研究者，学生諸氏との共同研究により，筆者の当初の着想から広く発展し，高速性，表現性の向上を実現してきた．最後に，今後の５．参考文献[1] T. Nishitsuji, T. Shimobaba, T. Kakue,and T. Ito, "Fast calculation ofcomputer-generated hologram of linedrawn objects without FFT," Opt.

研究計画をもって本稿を結ぶ．
表現性の向上が当面の課題である．一例
が線幅の自由度向上である．現状では，線幅無限小の線の描画に限られるため，3 次元像が実用的な解像度，サイズになった場合，視認性が著しく劣化する可能性がある．また，線幅の表現性が高まれば，塗りつぶす表現が可能になることから，ワイヤフレームアートに限らない 3 次元像の生成に展開可能であると考えている．この場合，他手法に比Express, 28(11), 15907–15924 (2020).
[2] D. Blinder, T. Nishitsuji, T. Kakue, T.
Shimobaba, T. Ito, and P. Schelkens,"Analytic computation of line-drawn
objects
incomputer
generated
holography," Opt. Express 28(21),31226–31240 (2020).
[3] T. Nishitsuji, T. Kakue, D. Blinder, T.
Shimobaba, and T. Ito, "An interactive
holographic projection system that

較した計算速度の優位性を維持する課題がある．これまでに実現可能性を検証には成功しており[8]，安定的な出力を得られる計算方式を開発している．
また，「何に使えるか」という普遍的な疑問に対する回答もプロトタイプ制作と言う形で用意する必要がある．理論的には実物に見紛うばかりの 3 次元像を再生可能な電子ホログラフィにおいて，本研究で再生可

uses a hand-drawn interface with aconsumer CPU," Sci. Rep. 11(1), 147(2021).
[4] T. Nishitsuji, D. Blinder, T. Kakue, T.
Shimobaba, P. Schelkens, and T. Ito,
"GPU-accelerated
calculation
ofcomputer-generated holograms forline-drawn objects," Opt. Express,
29(9), 12849–12866 (2021).
4

2019 年 高柳健次郎財団 研究奨励賞 成果論文

[5] D. Blinder, T. Nishitsuji, and P.
Schelkens, "Real-time computation of
3D wireframes in computer-generated
holography," IEEE Trans. Image
Process. 30, 9418–9428 (2021).
[6] T. Nishitsuji, N. Shiina, D. Blinder, T.
Shimobaba, T. Kakue, P. Schelkens, T.
Ito, and T. Asaka, "Variable-intensity
line 3D images drawn using kinoformtype electroholography superimposedwith phase error," Opt. Express 30(15),27884 (2022).
[7] N. Shiina, T. Nishitsuji, T. Asaka,"Quality Improvement of ComputerGenerated Holograms for Line-Drawn
Objects by Imposing a Phase Error",International Photonics 2022 (IP2022),
IP05-02, Yokohama, Japan (2022.4.22).
[8] A. Hayashi, T. Nishitsuji, T. Asaka,"Thickening the width of holographic
three-dimensional line images using
anerrordiffusiontechnique",International Photonics 2022 (IP2022),
IP06-04, Yokohama, Japan (2022.4.22).
６．謝辞
本研究は，高柳健次郎財団の助成によりなされました．多大なご支援を賜り，関係各位に感謝いたします．
以上

5