3 次元画像コンファレンス 2014 講演論文集, P-13, (2014.7.11)

Kinect Fusion を用いた高解像度フルカラーCGH の作成と再生
Creation and Reconstruction of High-Definition Full-Color CGH
Using Kinect Fusion
宮岡貴史 1

市原瑞穂 1

松島恭治 1

中原住雄 2

Takashi Miyaoka1

Mizuho Ichihara1

Kyoji Matsushima1

Sumio Nakahara2

1

関西大学 システム理工学部 電気電子情報工学科

1

Department of Electrical and Electronic Engineering, Kansai University
2

関西大学 システム理工学部 機械工学科

2

Department of Mechanical Engineering, Kansai University

ABSTRACTThe conventional 3D scanners commonly measure the subject shape observed from a given direction and produce thedepth map. If the subject has concave surfaces, i.e. self-occlusion, the 3D scanner most likely outputs a polygon-meshwith many missing polygons in the invisible surface. On the other hand, the viewing angle of high-definition
computer-generated holograms (CGH) reaches to 45 degrees even at this stage. Therefore, if we create CGHs directlyfrom the depth map produced by conventional 3D scanners, the missing polygons are perceived by viewers whenmoving their viewpoint. In this research, high-definition CGHs are created by using Kinect for Windows and Kinect
Fusion that make possible to produce polygon-mesh without missing polygons. Moreover, since the polygon meshacquired by Kinect Fusion has color information as vertex colors, full-color 3D images are optically reconstructed byhigh-definition CGHs using dichroic mirrors and a white LED. Actual high-definition full-color CGH is demonstrated
to verify the technique.
Keywords:

計算機合成ホログラム，3D スキャン，Kinect，カラー再生，白色光再生

1. はじめにした距離画像を作成するため，その測定方向からは我々が作成し現在 MIT ミュージアムにおいて展見えないポリゴンに欠落が発生する．一方，高解像示されているホログラム“Brothers”では，コンピュ度計算機合成ホログラムの視域角は 45 度以上にもータホログラフィで実在の顔形状を再生するためになるため，3D スキャナでは測定されていないポリゴ工業用 3D スキャナを用いて形状計測している[1]．

ンも再生される．そのため“Brothers”では手作業で

しかし 3D スキャナは，一般に特定の方向から測定ポリゴンを補完する必要があった[1]．
一方，Microsoft 社の Kinect for Windows(以下，宮岡貴史<miyaoka@laser.ee.kansai-u.ac.jp>
関西大学システム理工学部電気電子情報工学科〒564-8680 大阪府吹田市山手町3-3-35
TEL 06-6368-1121(内線 5722)

Kinect)を 3D スキャナとし，Kinect Fusion ソフトを用いることで多方向から計測した形状をリアルタイムで合成し，欠落のないポリゴンメッシュを作成することが出来る．そこで，本研究ではこの Kinect
Fusion を用いて実在物体の形状データを取得し，

3 次元画像コンファレンス 2014 講演論文集, P-13, (2014.7.11)
我々がすでに報告している単一白色 LED 光源を用

Table 1 Specification of Kinect Fusion [3]．

いた高解像度 CGH のフルカラー再生法[2]を改良しNumber of pixels (depth image)320×240てフルカラーCGH の再生を試みた．

Number of pixels (color image)

640×480

以下，実際に Kinect Fusion により取得したポリゴ

Frame rate

30 fpsンメッシュから高解像度 CGH の干渉縞を計算する

Sensing range (default mode)

過程を述べ，試作した高解像度 CGH のフルカラー

Horizontal angle of field of view

57°

光学再生像を示す．

Vertical angle of field of view43°

2. Kinect による実在物体の 3D データ取得方法
2.1

Rendered 3D model

Kinect と Kinect Fusion

0.8～4.0 m

Raw data ofdepth camera

良く知られているように，Kinect には RGB カメラと距離センサが搭載されている．この距離センサは赤外線プロジェクタと赤外線カメラから成っており，赤外線プロジェクタによって被写体に投映した擬似ランダムドットパターンを単一の赤外線カメラによって撮影するアクティブステレオ方式により距離画像を取得することができる．また，同時に RGB カ

Matching result of the input data

メラにより被写体のカラー画像も取得することができる．Table 1 にその仕様を示す．
一方，Kinect Fusion とは Microsoft 社が公式に配布している Developer Toolkit に含まれるアプリケーションの一つである．Kinect Fusion は距離画像とカラー画像の撮影を連続的に実行し，これらのデータをリアルタイムで 3 次元点群データに変換し保持することができる．この点群データには，頂点座標とその頂点カラー情報が含まれている．Kinect Fusion は
このように複数の視点から取得した 3 次元点群データを一つに統合することで欠落のない 3 次元データ

Fig.1 A screen shot of Kinect Fusion Explorer-D2D.
ータの取得が可能である．
Kinect Fusion で出力可能な 3D データのフォーマットには STL，OBJ，PLY 形式がある．このうち RGBカメラにより取得した頂点カラー情報が保存されるのは PLY 形式のみのため，本研究ではこの形式で保存を行った．

3. CGH 計算のための物体モデルの作成方法
40 億ピクセルを超える高解像度 CGH を作製するため，ポリゴン法を用いた光波計算を行う必要があを出力することができる．

る[4]．そのためのツールである Wave Field Library

2.2(WFL)と Polygon Source Library (PSL)を使用してい3 次元データの取得と保存

Kinect Fusion 撮影時の画面例を Fig.1 に示す．赤
枠内で示した大きなペインには，撮影を進めるに従ってリアルタイムに再構成された 3 次元モデルが表示されている．右上の緑枠内のペインでは距離カメ
ラの RAW データを表示しており，右下の青色枠内のペインでは再構成されたデータと入力データの整合結果が表示されている．このように主に左のペインを確認しつつ Kinect の撮影範囲から物体を見失わないよう注意してセンサを物体の周囲で移動させ，欠落のない 3 次元データを取得する．また Kinect 自体は固定し，被写体を回転させることでも 3 次元デる[5,6]．現在のバージョンの WFL/PSL では，物体光波数値合成にはベースとなるポリゴンメッシュデータと UV テクスチャマッピング用のマッピング画像が必要となる．一方，Kinect Fusion によって PLY形式で保存されるのは，頂点カラーデータであるため，そのままではマッピング画像が得られない．そのため，Fig.2 に示す手順により，フォーマット変換やマッピング画像生成を行った．

3.1

ポリゴン数の低減

Kinect Fusion が出力するポリゴンメッシュではポリゴン数が数十万ポリゴン程度になるため，ポリゴ3 次元画像コンファレンス 2014 講演論文集, P-13, (2014.7.11)
ン法による光波数値合成に長時間を要する．そのた学系を Fig. 3(b)に示す．ダイクロイックミラーを使めポリゴン数を低減させる必要がある．本研究では用することで光の利用効率が上がり，再生像が明るこの処理に MeshLab を用いた．ただし，MeshLab をくなるため通常の室内照明下でも明瞭な再生像を観用いて PLY 形式の 3 次元データをそのままローポリ察することができる．

ゴン化すると，ポリゴンメッシュに欠落が生じてし5. フルカラーCGH の作成と再生まう．そこで本研究ではポリゴン数低減に適した以上の手法を用いて，“Girl and Earth”と名づけたSTL 形式に一旦フォーマット変換しその後ポリゴンフルカラーCGH を作成した．作成した CGH の 3D数低減を行った．ただし STL 形式はカラー情報を保3D model(PLY format)持しないため頂点カラーが破棄されてしまう．

3.2

テクスチャ画像の作成

ポリゴン法での物体光波レンダリングに必要なUV テクスチャマッピング用の画像を得るため，本研究では Kinect Fusion で取得した頂点カラーの 3D

CG rendering(Metasequoia)

Format conversion(Metasequoia)

Color texture image(BMP format)

Polygon mesh
(STL format)

Gray-scale conversion& correction(Photoshop)

Reduction of numberof polygon(MeshLab)

Gray-scale texture image(BMP format)

Polygon mesh
(PLY format)

モデルを正投影 CG 画像としてレンダリングし，これをテクスチャ画像として用いている．このテクスチャ画像を前節でローポリゴン化したポリゴンメッ
シュに手作業で位置あわせして UV マッピングを行っている．

4.

フルカラーCGH 再生方法
Fig. 3(a)に示す従来の CGH フルカラー再生法では，UV texture alignment(Metasequoia )ビームスプリッタで照明光を分岐してからカラーフ
ィルターにより RGB 光を取り出していたため，光Texture-mapped polygon mesh
(MQO format)

学素子の数が多く，照明光量が低下していた．また迷光も多く発生していた．そのため，暗室や暗箱でObject field rendering & CGH coding(PSL / WFL)

しか明瞭なカラー再生像を得られなかった．そこで
本研究では 2 枚の 45 度入射タイプのダイクロイックミラーを用いて白色 LED から 3 原色の照明光を取り出している．本研究で用いたフルカラーCGH 再生光

CGH printing(Laser lithography)
Fig.2 Procedure for creating full-color highdefinition CGHs with Kinect Fusion.

CGH for B
Blue color
filter

CGHfor R

Green color
filterBeamsplitter1CGH for G

Red colorfilterWhite lightLED
Beamsplitter2

Beamsplitter3

Bluedichroic mirror

CGHfor B

Greendichroic mirror

CGHfor G
White lightLED

CGH for R

Viewpoint

Viewpoint(a) conventional(b) This work

Fig.3 Experimental setup for full-color reconstruction of high-definition CGH:(a) conventional and (b) improved setups.

3 次元画像コンファレンス 2014 講演論文集, P-13, (2014.7.11)
シーンとパラメータを Fig. 4 と Table 2 に示す．ここで，RGB の 3 枚の CGH のための物体光波レンダリ[7] 中村, 松島, 中原: 3 次元画像コンファレンス
2011, 66 (2011).

ングに用いた波長(以下，設計波長)は，再生に用い[8] K. Matsushima, M. Nakamura, S. Nakahara:

た白色 LED とダイクロイックミラーから求まる照“Silhouette methods for hidden-surface removal in

明光スペクトルから我々が提案している設計波長決

computer holography and its acceleration by

定手法を用いて決定した[2]．Fig. 5 に用いた光学系

switch-back technique” (to be published).

での照明光スペクトルを示す．各色の CGH の設計

50Units：mm

波長としては，対応する色の照明光スペクトルの積50分値を等分する波長を使用している．

yなお，実際に物体光波を合成してみると Kinect

xFusion が出力する物体モデルには，その内部に隠れ40たポリゴンが存在することがわかった．これが再生40されないように，本研究ではスイッチバック法[7,8]z100によって隠面消去を行っている．
実際に作成した高解像度 CGH の光学再生像をFig. 4 3D scene of the full-color high-definition
CGH named “Girl and Earth”.

Fig. 6 に示す．この結果から Kinect Fusion を用いる
ことにより高解像度 CGH のフルカラー再生像が得

Table 2 Parameters used for creating full-color CGH.

られることが分かった．

Number of pixels

65,536 × 65,536

6. まとめPixel pitches

0.8 μm × 0.8 μm

Sizes of CGHs

52.4 × 52.4 mm2

Position of reference(0,35,350) mm

本研究では，Kinect Fusion により欠落のないポリゴンメッシュを取得し実際にフルカラーCGH を作1成・再生した．この時，従来より明るいフルカラー

7. 謝辞
Kinect Fusion の利用についてご示唆いただいた
日本大学山口先生に深謝いたします．本研究は，日本学術振興会の科研費(24500133)，および文部科学省私立大学戦略基盤研究形成支援事業(平成 25 年～平成 29 年)の助成を受けたものである．
参考文献[1] 松島: HODIC Circular 32, No.3, 31 (2012).
[2] 宮岡，松島，中原: 3 次元画像コンファレンス
2013, 101 (2013) .
[3] Build Insider: “Kinect v1 と Kinect v2 の徹底比較”,
http://www.buildinsider.net/small/kinectv2cpp/01(アクセス:2014 年 5 月 23 日).
[4] K. Matsushima: Appl. Opt. 44, 4607-4614(2005).
[5] 松島: Optics &Photonics Japan 講演予稿集, 9aC2(2010).
[6] 光情報システム研究室：WaveField Tools 公式サイト,
http://www.laser.ee.kansai-u.ac.jp/WaveFieldTools/.

Power [a.u.]

CGH フルカラー再生像を確認した．

B0.8

再 生 光 学系 を 用 いる こ とに よ り 室内 照 明 下で の0.6

G0.40.2

R0400

450500550

600

650700

Wavelength [nm]Fig. 5 Estimated spectra of RGB illumination light.

Fig. 6 Optical reconstruction of the full-color
high-definition CGH.