NAIST-IS-MT1251073

修士論文

点群へのプリミティブ当てはめによる正対画像生成に基づく三次元形状とテクスチャの欠損修復

中尾聡志

2014 年 3 月 12 日

奈良先端科学技術大学院大学
情報科学研究科 情報科学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
中尾

聡志

審査委員：
横矢

直和 教授

（主指導教員）

加藤博一 教授（副指導教員）佐藤智和 准教授（副指導教員）

河合紀彦 助教（副指導教員）点群へのプリミティブ当てはめによる正対画像生成に基づく三次元形状とテクスチャの欠損修復 ∗
中尾

聡志

内容梗概
近年, 仮想空間上に現実物体を三次元モデルとして再現し, 拡張現実感 (Aug-mented Reality: AR) や仮想現実感 (Virtual Reality: VR) の技術を活用して, これらのモデルを閲覧するアプリケーションが開発されている. このような三次元
モデルを用いたアプリケーションは身近になりつつあるが, モデルの生成には高度なモデリング技術や複雑な生成手順が必要となるため, モデルの生成を簡便に行う手法が求められている. これを実現する手法として, カメラや Kinect などの安価な距離画像センサを用いて現実物体の色や形状を計測し, それらを統合することでモデルを生成する手法がある. しかし, 遮蔽や計測位置の制限により生じる未計測部分や計測誤差に起因して, 生成したモデルに欠損が生じる. この問題に対して，本論文では平面および三種類の回転体 (円筒, 円錐, 球) で表現される
三次元プリミティブ形状を利用し, 三次元モデルにおける欠損領域の形状とテクスチャを同時に修復する手法を提案する. 具体的には, まず計測された点群にプリミティブを当てはめ, プリミティブと点群の距離に基づいて, プリミティブの表面に正対したデプスマップとテクスチャを生成する. 次に, デプスマップとテク
スチャ上の欠損領域に対して, 欠損領域と他の領域間の輝度値および奥行き値の類似度に基づいて定義するエネルギー関数を最小化することで欠損領域を修復す
る. 本研究では, プリミティブを基準とした正対画像を生成することで計測された入力画像に存在する射影歪みを補正し, プリミティブごとの生成画像を個別に∗奈良先端科学技術大学院大学 情報科学研究科 情報科学専攻 修士論文, NAIST-IS-MT1251073,
2014 年 3 月 12 日.

i

扱い探索領域を限定することで高品質な修復を実現する. また, 三次元形状を二次元のデプスマップとして扱うことで類似度算出の計算コストおよび類似パター
ンの探索コストを低減する. 実験では, 遮蔽による未計測部分に生じた様々な現実物体の三次元モデルの形状とテクスチャの欠損を同時に修復することで提案手法の有効性を示す. また, 一つの物体に当てはめるプリミティブの個数や範囲を変更し, 修復結果を比較することで欠損修復に有効なプリミティブの当てはめ方について考察する.

キーワード
三次元欠損修復, プリミティブ当てはめ, 画像修復, エネルギー最小化, 正対化iiRecovering Missing 3D Shapes and Textures
Based on Rectified Image by Fitting Primitives
to Point Cloud∗Satoshi Nakao

Abstract
Recently, Augmented Reality (AR) or Virtual Reality (VR)-based applications
that enable us to view virtualized real objects are becoming common to us. However, generation of 3D models requires highly-skilled and complex modeling procedures. In order to easily and conveniently generate 3D models of real objects,
a number of methods have been proposed to integrate the shape and color data
captured from inexpensive depth sensors like Kinect and RGB cameras. The
problem of these methods is that unmeasured parts due to occlusions, restriction of viewpoint and measurement errors may lead to an incomplete model withmissing regions. This thesis proposes a method for recovering the shape and texture of the missing regions in a 3D model using 3D geometric primitives which
are composed of planes and three solids of revolution (cylinders, cones, spheres).
Specifically, we first fit primitives to the point cloud of the incomplete model,
and generate rectified depth maps and textures, based on the distances between
the primitives and the point cloud. We then recover the depth maps and textures of the missing regions by minimizing the energy function defined based on
the similarity between the missing region and the rest of the image. In order torecover the missing regions at high-quality, perspective distortion of the depth∗

Master’s Thesis, Department of Information Science, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT1251073, March 12, 2014.

iii

maps and textures is corrected and each depth map and texture corresponding toeach primitive are separately recovered. In addition, treating a 3D shape as a 2D
depth map reduces the costs of calculating the similarity and searching for similar
patterns. In experiments, we show the eﬀectiveness of the proposed method bysimultaneously recovering the depth maps and textures of the missing regions invarious 3D data. We also discuss how to fit eﬀective primitives for recovering themissing regions by changing the number and range of primitives fitted to a 3Dmodel and comparing the recovered results.

Keywords:
3D shape and texture recovering, primitive fitting, image inpainting, energy minimization, rectificationiv

目次
1. はじめに1

2. 関連研究と本研究の位置づけ

3

2.1

2.2

三次元モデルの欠損修復に関する従来研究 . . . . . . . . . . . . .

3

2.1.1

形状の欠損修復 . . . . . . . . . . . . . . . . . . . . . . . .

3

2.1.2

形状とテクスチャの同時欠損修復 . . . . . . . . . . . . . .

7

本研究の位置づけと方針 . . . . . . . . . . . . . . . . . . . . . . .

8

3. プリミティブ当てはめに基づく三次元形状とテクスチャの欠損修復

11

3.1

提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

3.2

点群へのプリミティブ当てはめ . . . . . . . . . . . . . . . . . . .

15

3.3

正対デプスマップと正対テクスチャ画像の生成 . . . . . . . . . . .

16

3.3.1

平面の場合 . . . . . . . . . . . . . . . . . . . . . . . . . .

16

3.3.2

回転体の場合 . . . . . . . . . . . . . . . . . . . . . . . . .

17エネルギー関数最小化による正対画像の欠損修復 . . . . . . . . .

19

3.4.1

欠損領域の指定 . . . . . . . . . . . . . . . . . . . . . . . .

19

3.4.2

画像の初期化 . . . . . . . . . . . . . . . . . . . . . . . . .

19

3.4.3

エネルギー関数の定義 . . . . . . . . . . . . . . . . . . . .

20

3.4.4

エネルギー関数の最小化 . . . . . . . . . . . . . . . . . . .

22

3.4

4. 欠損修復実験

23

4.1

現実物体を対象とした修復実験 . . . . . . . . . . . . . . . . . . .

23

4.2

プリミティブの当てはめ方による比較. . . . . . . . . . . . . . .

29

4.3

対称コピーによる初期化を利用した修復実験 . . . . . . . . . . . .

33

5. おわりに

35

謝辞

36

参考文献

37

v

図目次
1

仮想化された現実物体の三次元モデルを用いたアプリケーションの例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

2

Davis ら [6] の手法 . . . . . . . . . . . . . . . . . . . . . . . . . .

4

3

Sharf ら [9] の手法. . . . . . . . . . . . . . . . . . . . . . . . . .

5

4Schnabel ら [12] の手法 . . . . . . . . . . . . . . . . . . . . . . . .

6

5Kawai ら [20] の手法 . . . . . . . . . . . . . . . . . . . . . . . . .

8

6

プリミティブ当てはめによる欠損修復の流れ . . . . . . . . . . . .

12

7

入力データとプリミティブ当てはめ . . . . . . . . . . . . . . . . .

138

正対画像生成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

139欠損領域の指定と修復結果 . . . . . . . . . . . . . . . . . . . . . .

1410

三次元モデル生成 . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

11

プリミティブ当てはめの例 . . . . . . . . . . . . . . . . . . . . . .

15

12

平面に対する正対デプスマップの生成. . . . . . . . . . . . . . .

1613

円筒に対する正対デプスマップの生成. . . . . . . . . . . . . . .

1814

円錐に対する正対デプスマップの生成. . . . . . . . . . . . . . .

1815

球に対する正対デプスマップの生成 . . . . . . . . . . . . . . . . .

1816

領域ごとの画素の関係 . . . . . . . . . . . . . . . . . . . . . . . .

2117

左右変換行列を用いた時の相違度算出における対応画素の例 . . .

21

18

オフィス用プリンタでの欠損修復実験. . . . . . . . . . . . . . .

25

19

電気ポットでの欠損修復実験. . . . . . . . . . . . . . . . . . . .

26

20

椅子での欠損修復実験 . . . . . . . . . . . . . . . . . . . . . . . .

27

21

植木鉢での欠損修復実験 . . . . . . . . . . . . . . . . . . . . . . .

28

22

アヒルの置物での欠損修復実験 . . . . . . . . . . . . . . . . . . .

30

23

複数のプリミティブを用いた正対画像の欠損修復 . . . . . . . . .

31

24

単一のプリミティブを用いた正対画像の欠損修復 . . . . . . . . .

3225

対称コピーを用いた正対画像の欠損修復実験 . . . . . . . . . . . .

34

vi

表目次
1

従来手法と提案手法の比較 . . . . . . . . . . . . . . . . . . . . . .

102

実験に用いた計算機の仕様 . . . . . . . . . . . . . . . . . . . . . .

233

現実物体を対象とした実験における物体の点群数 . . . . . . . . .

29

4

プリミティブの当てはめ方による比較における物体の点群数 . . .

33

5対称コピーによる初期化を利用した実験における物体の点群数 . .

33

vii

1. はじめに
拡張現実感 (Augmented Reality: AR) や仮想現実感 (Virtual Reality: VR) の技術を活用し, 現実物体を仮想空間上に再現した三次元モデルを閲覧するアプリ
ケーションとして, AR カタログのような家具配置シミュレーション [1](図 1(a))
や建物内部の様子をドーム型スクリーンに投影する空間シミュレーション [2](図1(b)) 等がある. このような三次元モデルを用いたアプリケーションは身近になりつつあるが, 現実物体のモデルの生成には人手による高度なモデリング作業やソフトウェアに依存した複雑な生成手順が必要となるため, モデルの生成を簡便に行う手法が求められている. これに対し, RGB カメラや Kinect のような距離画像センサを用いて物体の色や形状を計測し, 三次元モデルを自動的に生成する手法が提案されている. 例えば, 複数地点での RGB カメラ画像群を入力とし, 物体の形状を推定する Multi-baseline stereo [3] や Multi-view stereo [4], 距離画像センサを連続的に動かしモデルを生成する KinectFusion [5] 等がある. しかし, これらの手法では, 以下に挙げる要因により生じる未計測部分がモデルの欠損となり,欠損のない完全なモデルを生成することは容易ではない.

• 他の物体による遮蔽や自己遮蔽による未計測• 計測位置の制限による未計測• 物体の材質による未計測
完全なモデルを生成するための一つの手段として, これらの未計測部分に対する欠損を自動修復する手法が開発されている.
本論文ではモデルの欠損領域に対する高品位な修復を実現するために, 計測された入力画像に存在する射影歪みを補正し, 欠損領域以外の限定された計測領域の形状とテクスチャを用いて修復を行う手法を提案する. 具体的には, まず計測された点群に, 平面または三種類の回転体（円筒, 円錐, 球）のプリミティブ形状を複数当てはめ, プリミティブと点群の距離に基づいて, プリミティブの表面に正対したデプスマップとテクスチャ画像を生成する. 次に, 正対デプスマップと正対テクスチャ画像上の欠損領域に対して, 欠損領域と計測領域間の輝度値および1

(a) IKEA カタログ [1](b) visiMax [2]図 1: 仮想化された現実物体の三次元モデルを用いたアプリケーションの例
奥行き値の類似度に基づいて定義するエネルギー関数を最小化することで欠損領域を修復する.
以下, 2 章では, 関連研究および本研究の位置づけについて述べる. 3 章では, 本
論文の提案手法である, プリミティブ当てはめによる正対画像生成に基づく三次元形状とテクスチャの欠損修復について述べる. 4 章では, 現実物体を対象とした実験を行い, 提案手法の有効性を示す. 最後に, 5 章でまとめと今後の展望につい
て述べる.

2

2. 関連研究と本研究の位置づけ
本章では, 計測位置の制限や遮蔽による未計測部分に起因して, 生成モデルに欠損が生じる問題について, 三次元モデルの欠損を違和感なく修復することを目的とする従来研究について概観する. また, 関連研究に対する本研究の位置づけを述べる.

2.1 三次元モデルの欠損修復に関する従来研究
三次元モデルにおける欠損修復手法は, 形状のみに着目し欠損周囲の形状を参考に補間を行う手法と, 形状とテクスチャの両方を考慮して補間を行う手法に大別できる. 以下では, それぞれの従来研究について述べる.

2.1.1 形状の欠損修復
形状の欠損を修復する手法は, 三次元点群をそのまま扱う手法と点群を投影し二次元データとして扱う手法に分類できる. 三次元点群をそのまま扱う手法には,欠損領域の周囲の形状のみを修復に利用する手法と, モデル全体やデータベース
内のモデルを事例とする手法がある.
欠損領域の周囲の形状のみを修復に利用する手法として, 符号付距離場における零交差を用いた欠損修復手法がある [6]. この手法では, 三次元モデルの欠損領域の周辺にある計測された領域で, モデルの内外の領域に対しそれぞれ正負の値を設定する. その数値を欠損領域に滑らかに伝搬させ, 零値となった三次元位置をモデルの境界とすることで修復を行う (図 2). また異なるアプローチとして, 欠損の周囲の点群に直接, 二次曲面を当てはめることで補間を行う手法が提案されている [7]. この手法では欠損領域に接平面を当てはめ, その法線を高さ方向の軸とする二次曲面関数を欠損領域の周囲の点群に基づき算出し, 欠損領域に形状を再現する. Ju [8] はあらかじめ, 欠損を大まかな形状で埋めた上で, 欠損の周囲の形状と共に, 八分木を用いて欠損を修復する手法を提案している. この手法では,欠損領域に対して大まかなポリゴンからなる初期形状を与え, その後, 三次元モ3

修復前の足のモデル

断面の形状

修復後の足のモデル

修復後の境界図 2: Davis ら [6] の手法
デルを八分木によるグリッドに分割する. その分割数を増やしながらポリゴンを細かくしていくことで, 滑らかな形状を欠損領域内に生成している. これらの手法 [6–8] では, 欠損領域の周囲の形状に従った滑らかな形状しか生成できないた
め, 欠損が比較的大きい場合には, 違和感が生じる可能性が高い.
モデル全体を事例とする手法として, 粗密法による類似形状探索に基づく修復手法が提案されている [9]. この手法では, 図 3 のように三次元モデルを含む三次元空間を複数の三次元セルに分割し, セルのサイズを変更しながら欠損のあるセ
ルの形状に最も類似したセルを探索し, 欠損のあるセルを更新する. これを繰り返すことで, 他の領域に存在する類似形状を欠損領域に再現し, 修復する. また,別のアプローチとして, 画像の陰影を利用する手法がある [10]. この手法では, モデルに加えて RGB 画像を入力とし, 画像内の同様の陰影を持つ箇所では形状も類似しているという仮定のもと, 画像内の陰影を基に, 欠損領域の修復に利用する計測領域を特定する. しかし, 光源が十分遠くにない場合や, 局所形状の法線方向の違いによって, 形状が同一であっても, 陰影が一致するとは限らないため,
適切な事例が見つからず, 修復結果に違和感が生じる可能性がある. これに対して, 計測領域から欠損領域に形状を直接コピーするのではなく, 計測領域へのプ
リミティブ当てはめによって欠損領域を補間する手法が提案されている [11–13].

4粗密法による欠損修復

モデルの修復結果の例

図 3: Sharf ら [9] の手法

Stulp ら [11] の手法では, 計測領域の点群に単一のプリミティブ形状（平面, 円筒,球）を当てはめ, それを欠損領域に伸長して修復する. 一方, Schnabel ら [12] の手法では, 複数のプリミティブ形状（平面, 円筒, 円錐, 球, 円環）を用いて修復する（図 4）. これらの手法 [11, 12] では, 大きい欠損に対して大局的な修復結果を得ることができるが, 欠損領域の表面にプリミティブ形状自体を用いており, 細
かい凹凸が表現されない問題がある. この問題を解決するために, Breckon ら [13]は, 単一のプリミティブ形状（平面, 円筒, 球）を点群に当てはめ, それを欠損領域に伸長した後, プリミティブから点群までの距離を基準に, 欠損領域の境界の形
状と計測領域の形状との類似度を算出し, 最も類似した形状を欠損領域にコピーすることを, 欠損領域が全て埋まるまで繰り返すことで修復を行っている. 逐次的にコピーを繰り返すことで, 局所的には違和感のない形状が得られるが, 全体として最適な形状が得られるとは限らない.
データベース内のモデルを事例として利用する手法として, 形状に関するテンプレートを利用する手法が提案されている [14, 15]. これらの手法では, 対象モデ

5

欠損のある点群

プリミティブ当てはめ

欠損修復結果図 4: Schnabel ら [12] の手法
ルと同類の物体をデータベースから選択し, 対象モデル内の欠損領域に対応する
テンプレート内の局所的な類似形状を, 対象モデルに統合できるように変形, コ
ピーすることで修復を行う. このようなアプローチを用いることで適切な形状が見つかる可能性を高めることができるが, データベースの準備や物体の選択などの初期化に手間がかかる.
点群を投影し二次元データとして扱う手法では, 三次元形状を平面に投影し, 平面と点群の距離に基づくデプスマップを生成し, それを奥行き値の類似度を用いて修復することで三次元形状を修復する [16, 17]. 三次元形状をデプスマップに変換することで, 類似領域の探索にかかる計算量を低減し, 欠損領域を効率的に修復できる. Stavrou ら [16] は三次元形状を XY 平面, YZ 平面, XZ 平面のいずれかに投影することでデプスマップに変換し, 欠損修復を行っている. しかし, 修復結果
が三次元モデルと投影する平面の位置に大きく影響される問題が残されている.
この平面の位置による影響を低減するために, Salamanca ら [17] は三次元形状の
主曲率方向に垂直な方向を法線とする平面を用いてデプスマップを生成し, 欠損修復を行っている. しかし, 三次元形状に対して, 一つのデプスマップのみを用いているため, 比較的大きな欠損がある場合や欠損周囲の形状が湾曲している場合には, 欠損領域に最適な奥行き値のパターンがデプスマップ内の他の領域に見つからず, 修復結果に違和感が生じる可能性が高い.

6

2.1.2 形状とテクスチャの同時欠損修復
形状とテクスチャの欠損を同時に修復する手法は, 形状のみの修復手法と同様に, 三次元点群をそのまま扱う手法と二次元データに変換し修復する手法に分類できる. 三次元点群をそのまま扱う手法として, 類似形状は同様のテクスチャを持つという仮定に基づき, 形状と画像の組み合わせを利用する欠損修復手法が提案されている [18]. この手法では欠損領域以外の領域におけるレンジデータと画像のパッチの組をデータベースに登録しておき, 類似形状の探索を類似画像の探索により行い, 類似画像に対応する形状をコピーすることで欠損を修復する. この手法には, 同じ形状は必ず同じテクスチャを持たなければならないという制限がある. また, テクスチャのみの類似度に基づいた修復ではなく, 形状とテクス
チャの両方の類似度に基づき欠損を修復する手法が提案されている [19,20]. Parkら [19] の手法では, 欠損領域とそれ以外の領域の形状の曲率を求め, 局所的な曲率と各三次元点に与えられた色の差に基づく類似度が最大の領域をコピーすること
で欠損領域を修復する. 一度のコピーで修復を行うため, 欠損領域とほぼ同じ大きさの類似領域がモデル内にない場合には, 修復結果に違和感が生じやすい. これに対して, Kawai ら [20] は欠損領域に類似した領域自体をコピーせず, 計測領
域と欠損領域間の形状とテクスチャの類似度に基づくエネルギー関数を最小化す
ることで, 比較的大きな欠損に対しても, 形状とテクスチャを修復できる手法を提案している (図 5). この手法では, 欠損領域内の任意の局所領域の形状とテクス
チャが他の領域と類似するよう最適化し, 詳細な形状を再現する. しかし, 類似度の計算や各頂点の位置の更新を三次元空間上で行うため, 計算コストが高い. また, 最終結果が初期形状に大きく依存するため, 例えば, 裏面のほとんどが計測できず欠損がある場合等では, 適切な初期形状を与えないと, 違和感のある形状が生成されやすくなる局所解問題がある.
形状とテクスチャを二次元データに変換した上で修復を行う手法として, 三次
元形状を平面に投影して生成したデプスマップの勾配を用いて欠損を修復する手法が提案されている [21]. この手法では, デプスマップの奥行き値をそのまま扱うのではなく, デプスマップの x 軸方向および y 軸方向に奥行き値を微分した, 奥行き値の勾配を画像全体の各画素で求めておき, RGB および x 軸方向, y 軸方向

7

欠損のあるモデル

形状修復結果欠損修復結果図 5: Kawai ら [20] の手法の勾配の五次元を画素値とする画像を生成する. その五次元の画素値の差に基づ
く類似度指標を用いて, 画像の欠損修復手法 [22] に倣い, 欠損領域の境界のパッチに類似したパッチを画像内から探索し, コピーする. それを逐次的に欠損全てが埋まるまで繰り返す. 最後にポアソン方程式により, 勾配から奥行き値を復元する. 勾配を用いることで対象が平面の場合には, 三次元点群を投影する平面の位置に影響されにくくなるが, 対象が曲面の場合には, 投影した平面上での勾配が三次元点群上では同じ形状を持つ領域でも変化が生じるため, 欠損領域に適切な
奥行き値が見つからず, 最適な形状が再現されない可能性が高い.

2.2 本研究の位置づけと方針
表 1 に従来手法および本論文で提案する修復手法における, 修復の対象, 修復で用いるデータの種類, 事例の種類, 欠損領域の補間方法を示す. 三次元モデルの欠損修復のアプローチとして, 形状のみ, または, 形状とテクスチャの両方を考慮して補間を行う手法が提案されている. また, それぞれの手法において, 三次元点群をそのまま扱う手法と点群を投影し二次元データとして扱う手法が存在する. 三次元点群をそのまま扱う場合には, 欠損領域の補間に用いる形状を計算するコストや計測領域にある類似形状を探索するコストが高い傾向にある. また三次元形
状を平面に投影し, 二次元データとして扱う手法の場合には, 計算コストを低減することができるが, 投影する平面の位置により, 欠損領域の補間に用いる計測領域に歪みが生じ, 欠損領域に適切な事例が存在しないため, 修復結果に違和感が生じる場合がある. さらに, 欠損の修復に用いる事例の種類は, 欠損周囲の形状, モデ

8ル全体, データベースの形状に分類できる. 欠損周囲の形状を事例として用いる
場合, 修復結果は局所的に最適な解であるが, モデル全体として見た場合に最適であるとは限らない. モデル全体を事例とする手法には, 類似形状を逐次コピーする手法とプリミティブを用いる手法, 類似度に基づくエネルギー関数を最小化する手法がある. まず逐次コピーでは欠損領域の境界と計測領域間での形状または,形状かつテクスチャの類似度を算出し, 最も類似した領域を逐次的にコピーする
ことで, 欠損を修復しているが, 欠損領域全体で最適な形状およびテクスチャが生成できない可能性がある. それに対してプリミティブを用いることで, モデル
全体を考慮した大局的な補間が実現できるが, 欠損領域に詳細な形状が再現されない問題がある. またデータベースを用いる場合には, モデルの欠損領域に適切な形状が見つかる場合が多いが, 初期化に手間がかかる. 次に, エネルギー関数最小化の手法では, 欠損領域に全体的に最適な形状およびテクスチャを再現できる.
しかし, 初期化の方法に修復結果が影響される問題が残されている.
本研究は, 計測された入力画像に存在する射影歪みを補正し, 欠損領域に適切な奥行き値を持つ事例を生成する. さらに, 三次元モデルを分割し, 個別に扱うことで, 事例の探索領域を限定し計算コストを下げて, 比較的高品質な修復を行う.
具体的には, モデルの三次元形状に, Schnabel ら [12] の手法に倣いプリミティブ
形状を当てはめ, プリミティブを基準とした正対デプスマップと正対テクスチャ
画像を生成し, 奥行き値と RGB 値を用いた類似度に基づくエネルギー関数の全体最適化により, 大局的かつ局所的に違和感なく欠損領域の形状とテクスチャを
修復する.

9

表 1: 従来手法と提案手法の比較
修復の対象

修復データ

事例の種類

欠損の補間方法

手法

形状のみ

三次元点群

欠損周囲

周囲形状の伝搬

Davis ら [6]二次曲面当てはめ

Wang ら [7]ポリゴンの細分化

Ju [8]

粗密法と逐次コピー

Sharf ら [9]陰影を用いた探索とXu ら [10]

モデル全体

逐次コピー
プリミティブ

Stulp ら [11]Schnabel ら [12]プリミティブとBreckon ら [13]逐次コピー
データベーステンプレートの形状

Pauly ら [14]Kraevoy ら [15]二次元データ

モデル全体

逐次コピー

Stavrou ら [16]
Salamanca ら [17]形状とテクスチャ

三次元点群

モデル全体

テクスチャのみを用いた

Becker ら [18]

探索と逐次コピー

二次元データモデル全体

10

一回のコピー

Park ら [19]エネルギー関数最小化

Kawai ら [20]逐次コピー

Doria ら [21]エネルギー関数最小化

提案手法

3. プリミティブ当てはめに基づく三次元形状とテクス
チャの欠損修復
本章では, プリミティブ当てはめに基づく三次元形状とテクスチャの欠損修復の提案手法についての詳細を述べる. 本研究では, RGB カメラと距離画像センサの内部および外部パラメータはあらかじめ校正されているものとする. 以下では,提案手法の概要と提案手法を構成する技術について詳述する.

3.1 提案手法の概要
図 6 に提案手法の流れを示す. まず, RGB カメラおよび距離画像センサで現実物体の色と奥行き情報を計測し, それらを基に, 三次元点群と RGB 画像を提案手法の入力データとして取得する (図 7(a)(b)). 次に, 生成した点群に複数のプリミ
ティブを当てはめ (図 7(c)), プリミティブごとにそれを基準とする正対デプスマッ
プと正対テクスチャ画像を生成する (図 8(a)(b)). 画像上にある欠損領域を指定し(図 9(a)(b)), 欠損領域に初期値を与えた後, 色と奥行き値の類似度に基づくエネルギー関数の最小化により欠損を修復する (図 9(c)(d)). この処理をプリミティブごとに実行し, 最後に, 各正対デプスマップと正対テクスチャ画像から三次元モデルを復元する (図 10(a)(b)).
以下, 3.2 節では三次元点群へのプリミティブ当てはめについて, 3.3 節では正対
デプスマップと正対テクスチャ画像の生成方法について, 3.4 節では画像の初期化とエネルギー関数最小化による画像の欠損修復について詳述する.

11

点群・RGB画像を取得

点群へのプリミティブ当てはめ

正対デプスマップと正対テクスチャ画像の生成

欠損領域の指定と初期化

エネルギー関数最小化による正対画像の欠損修復

三次元モデル生成
図 6: プリミティブ当てはめによる欠損修復の流れ

12

(a) 三次元点群の例(b) RGB 画像の例

青：円錐

白：平面
(c) プリミティブの当てはめ結果

図 7: 入力データとプリミティブ当てはめ(a) 平面の正対テクスチャ画像と正対デプスマップ(b) 円錐の正対テクスチャ画像と正対デプスマップ

図 8: 正対画像生成

13

(a) 平面の正対画像の欠損領域指定(b) 円錐の正対画像の欠損領域指定(c) 平面の正対画像の修復結果(d) 円錐の正対画像の修復結果

図 9: 欠損領域の指定と修復結果(a) モデルの前面(b) モデルの背面

図 10: 三次元モデル生成14

3.2 点群へのプリミティブ当てはめ計測された現実物体の点群に対して文献 [23] の手法により複数のプリミティブを当てはめる. ただし, 本研究では用いるプリミティブを平面, 回転体（円筒, 円
錐, 球）に限定する. 文献 [23] の手法では, 以下の手順によって, 点群へのプリミ
ティブの当てはめと点群のクラスタリングを同時に行う.

(1) 各点の法線を算出する(2) 任意の 1 点を選び, クラスタを作成する(3) 近傍点 p をクラスタの候補としてランダムに選択する(4) 複数の候補プリミティブを当てはめ, 候補プリミティブと近傍点 p の距離が一定範囲内にあれば, 点群とプリミティブの法線の角度の差に基づき, 評価
値を計算する(5) (3)(4) を一定回数繰り返し, 評価値が最大となる場合の近傍点 p を同一クラスタに追加する(6) 候補プリミティブとの距離が一定範囲内にある近傍点がなくなるまで (3)〜(5) を繰り返し, 候補プリミティブを一つに定める(7) 同一クラスタに決定した点群を除去し, 全ての点がクラスタ化されるまで(2)〜(6) を繰り返す
Kinect より取得した現実物体の点群に対して, プリミティブごとにクラスタリン
グした結果を図 11 に示す. 平面, 円筒, 球が抽出できていることが確認できる.

(a) 三次元点群(b) 当てはめ結果

図 11: プリミティブ当てはめの例

15

3.3 正対デプスマップと正対テクスチャ画像の生成
当てはめられたプリミティブに基づき, 正対デプスマップと正対テクスチャ画
像を生成する. これらの画像の生成方法はプリミティブごとに異なる. 以下では,
プリミティブが平面の場合と回転体（円筒, 円錐, 球）の場合に分けて詳述する.

3.3.1 平面の場合
まず当てはめられた平面と各点との距離に基づき, 正対デプスマップを生成し,それを用いて正対テクスチャ画像を生成する (図 12). デプスマップおよびテクス
チャ画像の軸は平面上の任意の垂直な二方向により決定する. 次に, デプスマッ
プの奥行き値を算出する. 以下, 平面にクラスタリングされた点 X を例として述べる. 当てはめられた平面の単位法線ベクトルを n, 平面上の任意の点の座標をC とすると, 点 X を基点とし, X から平面に下ろした垂線の足へのベクトル v は
n に平行であることから, 変数 t を用いて v = tn と表せ, 以下の式が成り立つ.
(X + tn − C) · n = 0(1)

これにより求めた t を画像の表現値に収まるように線形に正規化することで, 奥行き値を決定する. また, ここでは計測位置によって, 生成した正対デプスマップ
内でデータが疎になる箇所が生じるため, 近傍 4 点の距離に基づき, 重みを付与した線形補間をすることで密なデプスマップを生成する. 次に, デプスマップ内の奥行き値を持つ画素について, カメラの事前校正結果に基づき, 対応する入力 RGB
画像から色情報を取得することで正対テクスチャ画像を生成する.
奥行き値
で表現

平面の法線n点から平面へのベクトルtn
当てはめられた平面

正対デプスマップ

図 12: 平面に対する正対デプスマップの生成

16

3.3.2 回転体の場合
当てはめられた回転体の軸を用いて正対デプスマップと正対テクスチャ画像を生成する. ただし, 回転体が球の場合は何らかの方法で一意に回転軸を定める. この正対デプスマップと正対テクスチャ画像は回転体の軸に対して垂直な方向から見た奥行き値と色を表現し, 本研究では, これらを回転体の正対デプスマップと正対テクスチャ画像と定義する. まず, 回転体にクラスタリングされた点 X の生成する正対画像上での座標の決定方法について述べる. 図 13, 14, 15 に示すように, 軸に垂直な任意のベクトルを基準ベクトル e とし, 点 X から軸に下ろした垂線の足 X ′ から点 X へのベクトルを v ′ としたとき, 点 X の生成する画像上での

x 座標はベクトル e と v ′ のなす角により決定する. また y 座標の値は軸上にある
プリミティブ最上部を基準点 C ′ としたとき, 基準点 C ′ と垂線の足 X ′ の距離により決定する. 次に, 奥行き値 L は画像の表現値に正規化する変数 ϵ, k を用いて,以下のように決定する.

L = ϵ + k(|v ′ | − r)(2)

ここで r は垂線の足 X ′ の高さにおける回転体の半径であり, 回転体ごとに以下のように定める.

• 円筒の場合: 円筒の半径（一定）• 円錐の場合: 円錐の頂点角を α, 基準点 C ′ と垂線の足 X ′ の距離を l とした
とき, r = l tan α• 球の場合:球の半径を R, 基準点 C ′ と垂線の足 X ′ の距離を l としたとき,√
r = R2 − (R − l)2

次に, 各回転体において, 正対デプスマップ内でデータを持つ画素に対応する色情報を事前校正結果に基づき取得し, 正対テクスチャ画像を生成する.

17

基準点C’

円筒の軸
縦軸と横軸、

基準ベクトルe 奥行き値決定
L

X

垂線の足X’v’|v’|- r02π円筒における正対デプスマップ

図 13: 円筒に対する正対デプスマップの生成
円錐の軸

基準点C’

縦軸と横軸、
奥行き値決定α
基準ベクトルeLX
垂線の足X’v’

0|v’|- r2π円錐における正対デプスマップ

図 14: 円錐に対する正対デプスマップの生成
球の軸
基準点C’
基準ベクトルe
X
垂線の足X’v’

縦軸と横軸、
奥行き値決定L|v’|- r02π球における正対デプスマップ

図 15: 球に対する正対デプスマップの生成

18

3.4 エネルギー関数最小化による正対画像の欠損修復
生成した正対デプスマップと正対テクスチャ画像上の欠損領域を, 欠損領域とそれ以外の領域との類似度に基づくエネルギー関数の最小化により修復する. 以
下, 欠損領域の指定, 画像の初期化方法, エネルギー関数の定義とその最小化手法について述べる.

3.4.1 欠損領域の指定
正対デプスマップと正対テクスチャ画像には以下の領域が存在する.

• 未計測部分による欠損領域• 他のプリミティブに当てはめられた領域による欠損領域• 計測された領域（データ領域）
修復の対象は未計測部分による欠損領域であるため, 正対デプスマップと正対テ
クスチャ画像上で未計測部分による欠損領域を手動で指定し, それ以外の領域と区別する.

3.4.2 画像の初期化
現実物体の対称性をユーザが指定する場合, 物体の裏面にある大きな欠損を修復するために, 事例となるデータ領域を拡大させ, 修復に有効な初期値を設定す
る. 具体的には, ユーザが画像上で対称軸を設定し, 軸に対してデプスマップとテ
クスチャ画像のデータを持つ画素を軸対称にコピーすることで, 未計測部分の一部をデータ領域とする. その後, 欠損領域を, データ領域の画素値の平均値で埋める等の方法で, 欠損領域の初期値を与える.

19

3.4.3 エネルギー関数の定義
図 16 に示すように入力画像を欠損領域 Ω を含む領域 Ω′ と Ω′ 以外のデータ領
域 Φ に分ける. ここでは一定サイズの正方ウィンドウ W が欠損領域 Ω を含む場
合の W の中心画素の集合を Ω′ とする. このとき, 欠損領域のテクスチャと奥行
き値の尤もらしさに基づくエネルギー関数を以下のように定義する.

E=∑

wi (SSDc (xi , xj , Mi ) + λSSDd (xi , xj , Mi ) + µh(yi , yj ))(3)xi ∈Ω′

ここで wi = 1/γ δ （γ: 正の定数, δ: 欠損領域からの距離）は欠損領域の各画素に関する重み, λ, µ は寄与度の重みである. xi = (xi , yi )T は領域 Ω′ 内の画素であり,

xj = (xj , yj )T は計測されたデータ領域 Φ 内の画素である. Mi は対称変換を行う
ための行列で, 左右, 上下, 点対称のテクスチャと形状も修復の事例として用いる(図 17). テクスチャの相違度 SSDc , および奥行き値の相違度 SSDd を以下のように定義する.

SSDc (xi , xj , Mi ) =∑||I(xi + p) − I(xj + Mi p)||2(4)(d(xi + p) − d(xj + Mi p))2

(5)

p∈W

SSDd (xi , xj , Mi ) =∑p∈W

ここで I は画素値ベクトル（RGB 空間）, d は奥行き値を表す. また, h(yi , yj ) はプリミティブが回転体の場合, 欠損領域の存在する高さに, 類似形状と類似テクス
チャがある可能性が高いという考えから, 同じ高さにある類似形状と類似テクス
チャが選ばれやすくするためのコスト項であり, 以下の式で表す.

{
h(yi , yj ) =cosh (yi − yj ) ; |yi − yj | <= κcosh (κ)(6); otherwise

ここで κ は高さの範囲を決める閾値である. 式 (6) により高さが近い範囲ではコストが低く, 離れるほど高くなる. なお, プリミティブが平面の場合, h(yi , yj ) = 0と設定する.

20

W

W

xj

xi

Ω’
Ω

欠損領域

Φ
図 16: 領域ごとの画素の関係

p

W

W
Mip

xi

xj

欠損領域
図 17: 左右変換行列を用いた時の相違度算出における対応画素の例

21

3.4.4 エネルギー関数の最小化定義したエネルギー関数 (式 (3)) を, 以下の処理を繰り返して最小化することで, 欠損領域に最適なテクスチャと奥行き値を決定する. まず画素 xi の正方ウィ
ンドウ内にある欠損を類似した画素で埋め, その値を用いて, さらにエネルギー関数を最小化することで, 全体に最適な修復を行う.

(i) 類似テクスチャ・奥行き値の探索: 欠損領域内の色と奥行き値を固定し, Φ内から以下の式を満たすように各画素 xi と対応する画素 xj の位置および対称変換行列 Mi を独立に決定する. ここでは探索手法 [24] を用いること
で, 高速な探索を行う.

(f (xi ), g(Mi )) = argmin(SSDc (xi , xj , Mi ) + λSSDd (xi , xj , Mi )xj ,Mi+ µh(yi , yj ))(7)(ii) 欠損領域内の色と奥行き値の更新: 類似テクスチャ・奥行き値を持つ画素位
置 f (xi ) および対称変換行列 g(Mi ) を固定し, 式 (3) が極値をとる, 画素 xiの画素値・奥行き値を算出し, 更新する. 具体的には, 式 (3) を各画素値・奥行き値で微分することで, xi の画素値・奥行き値は以下のように独立に算出
される.

∑
∑
d(xi ) =p∈W wi I(f (xi + p) − g(Mi )p)∑I(xi ) =p∈W wip∈W wi d(f (xi + p) − g(Mi )p)∑p∈W wi

22

(8)

(9)

4. 欠損修復実験
Kinect を用いて現実物体の計測を行い, 得られた RGB 画像と点群に基づいて
プリミティブに正対したデプスマップとテクスチャ画像を生成し, 欠損を手動で指定した後, 修復を行った. さらに, 現実物体へのプリミティブの当てはめ方による修復結果の比較実験と, 比較的大きな欠損に対し, 対称コピーによる初期化を利用した修復実験を行った. 実験に用いた計算機の仕様を表 2 に示す. 欠損領域の初期化は画像内でデータを持つ画素の平均値を用いており, 式 (3) の λ, µ はそれ
ぞれ 1.5, 0.5 に設定した.
表 2: 実験に用いた計算機の仕様
項目

詳細

CPU

Intel Core i7-3930K 3.20GHz

メモリ

RAM 16.0GB

GPU

NVIDIA GeForce GTX 670

OSWindows 7 64bit

グラフィック API

OpenGL, PCL Viewer

4.1 現実物体を対象とした修復実験
オフィス用プリンタ (図 18(a)) と電気ポット (図 19(a)), 椅子 (図 20(a)), 植木鉢(図 21(a)) を対象として計測を行い, 欠損の修復実験を行った. 各物体の入力時と修復後における点群数を表 3 に示す. 植木鉢のモデルに関しては, 四視点から計測したデータを統合し, 欠損修復の入力とした. 他のモデルは単一視点からの計測結果を入力とした. 以下, 各物体の修復結果を示し, 考察を行う.
オフィス用プリンタの側面の修復実験の結果を図 18 に示す. ここでは, 側面にプリミティブとして平面が当てはまり, 図 18(e), (h) に示す正対画像が生成された. この側面には他の物体による遮蔽および自己遮蔽による欠損がある. これら

23

の欠損を正対デプスマップと正対テクスチャ画像上で図 18(g) のように指定し, 修復した結果を図 18(f), (i) に, これらを三次元モデルに戻した結果を図 18(c), (d)に示す. 同図に示すように, オフィス用プリンタの側面にある持ち手の部分に生じた自己遮蔽による欠損と, 側面の下部にある他の物体の遮蔽による欠損が修復できていることが確認できる.
次に, 電気ポットに対する修復実験の結果を図 19 に示す. 電気ポットでは同図
中 (d) に示すように, 電気ポットの上面と側面に円筒が, 正面に平面が当てはまり,
図 19(e), (h) に示す正対画像が生成された. これらの画像上には多数の欠損が生じている. これらの欠損を図 19(g) のように指定し, 修復した結果を図 19(f), (i)に, それを三次元モデルに戻した結果を図 19(c) に示す. 同図に示すように, 電気
ポットの前面にある透明な材質による欠損が修復され, 上面と側面については, 物
体の面の法線と Kinect の光軸の方向の角度差が大きいために生じた欠損が修復されていることが確認できる.
次に, 椅子に対する修復実験の結果を図 20 に示す. このモデルでは, 椅子に掛けられている物体の遮蔽により欠損が生じている (図 20(b), (c)). 椅子には円筒が二つ当てはまり, 図 20(g), (i) に示すような正対画像が生成された. 図 20(d) のように正対画像上の欠損領域と, 椅子に残った遮蔽している物体のテクスチャを指定し, 修復した結果を図 20(h), (j) に示す. また, 三次元モデルに戻した結果を図20(e), (f) に示す. 修復対象が曲面の場合でも, 図 20(e), (f) のように, プリミティ
ブ当てはめにより, 曲面上の欠損に対して適切な奥行き値を得ることができ, 歪みのない修復ができた. ただし, テクスチャに遮蔽している物体の影が残っており,違和感が生じている.
次に, 植木鉢に対する修復実験の結果を図 21 に示す. このモデルでは, 隣接する壁による計測位置の制限があり, 欠損が生じている (図 21(b): 破線円部). 植木
鉢には図 21(d) のように, 円筒がモデルの内側と外側に当てはまり, 図 21(f) に示
すような正対画像が生成された. 図 21(e) のように正対画像上の欠損領域を指定
し, 修復した結果を図 21(g) に示す. また, 三次元モデルに戻した結果を図 21(c)に示す. 計測できない方向がある現実物体に対して, モデルの欠損を修復することができた.

24

(a) オフィス用プリンタ(b) 三次元点群(c) 欠損修復結果 (視点: 左)(d) 欠損修復結果 (視点: 右)(e) 欠損のある正対デプスマップ(f) 正対デプスマップの修復結果(g) 指定した欠損領域(h) 欠損のある正対テクスチャ画像 (i) 正対テクスチャ画像の修復結果

図 18: オフィス用プリンタでの欠損修復実験

25

(a) 電気ポット(b) 三次元点群(c) 欠損修復結果

上面: 円筒側面: 円筒前面: 平面(d) プリミティブ当てはめ結果 (e) 欠損のある正対デプスマップ群 (f) 正対デプスマップの修復結果(g) 指定した欠損領域(h) 欠損ある正対テクスチャ画像群 (i) 正対テクスチャ画像の修復結果

図 19: 電気ポットでの欠損修復実験

26

(a) 椅子(b) 三次元点群 (視点: 左)(c) 三次元点群 (視点: 上)(d) 指定した欠損領域(e) 欠損修復結果 (視点: 左)(f) 欠損修復結果 (視点: 上)(g) 欠損のある正対デプスマップ群(h) 正対デプスマップの修復結果(i) 欠損のある正対テクスチャ画像群(j) 正対テクスチャ画像の修復結果

図 20: 椅子での欠損修復実験

27

左前面
(a) 植木鉢

右前面(b) 三次元点群

内側：円筒

左前面
(c) 欠損修復結果

背面

外側：円筒

(d) 当てはめ結果(f) 欠損のある正対画像群(e) 指定した欠損領域(g) 正対画像の修復結果

図 21: 植木鉢での欠損修復実験

28

背面

表 3: 現実物体を対象とした実験における物体の点群数
対象物体

入力点群数 [点]修復後点群数 [点]オフィス用プリンタ側面

72366

140930

電気ポット

66395

86668

椅子

98654

348881

植木鉢

26295

51898

4.2 プリミティブの当てはめ方による比較
ここでは, 対象をアヒルの置物 (図 22(a)) として, 複数のプリミティブを当てはめた場合と, プリミティブとして手動で単一の円筒を当てはめた場合との修復結果の比較を行った. 対象物体の入力時と修復後の点群数を表 4 に示す. 手動で設定した円筒の半径は 120[mm] とし, その軸を対象が置いてある平面の法線と設定した. 複数のプリミティブを当てはめた場合では, 図 23(a) のように, 頭部に円錐,
胸部に球, 足に平面が当てはまり, 各プリミティブごとに, 図 23(b) のように欠損領域を指定し, 画像の修復を行った (図 23(c), (d)). ただし, 足は修復を行っていない. これらを三次元モデルに戻した結果を図 23(c) に示す. また単一のプリミ
ティブを用いた場合には, 正対デプスマップと正対テクスチャ画像上で図 24(b) のように欠損領域を指定し, 修復した結果を図 24(c) に示す. それを三次元モデルに戻した結果を図 24(e) に示す. 図 22(d) は複数のプリミティブを当てはめた場合の, アヒルの置物の修復結果を上部から俯瞰し, 左胸部を拡大した画像であり, 図22(f) は単一のプリミティブを当てはめた場合の修復結果を同様に拡大した画像である. 図 22(d), (f) に示すように, 単一のプリミティブ当てはめにおいては, 胸部が歪んだ凸形状になっており, 複数のプリミティブを当てはめた場合と比較して,違和感のある形状が生成されている. これは頭部と胸部に別々のプリミティブを当てはめた場合と比較し, 単一の円筒を基準とした場合には, 当てはめ誤差が大きくなり, 対象点群と円筒との間の距離が注目点ごとにばらつくため, 欠損領域に最適な奥行き値の事例が計測領域に見つからず, 歪んでしまった可能性が高い.

29

(a) アヒルの置物(b) 三次元点群(c) 複数のプリミティブを用いた修復結果(d) 複数のプリミティブでの胸部拡大図(e) 単一のプリミティブを用いた修復結果(f) 単一のプリミティブでの胸部拡大図

図 22: アヒルの置物での欠損修復実験

30

頭部: 円錐

胸部: 球

足: 平面
(a) 当てはめ結果(b) 指定した欠損領域(c) 正対デプスマップ修復前 (左) と修復後 (右)(d) 正対テクスチャ画像修復前 (左) と修復後 (右)図 23: 複数のプリミティブを用いた正対画像の欠損修復

31

(a) 修復前の正対デプスマップ (上)・正対テクスチャ画像 (下)(b) 指定した欠損領域(c) 修復後の正対デプスマップ (上)・正対テクスチャ画像 (下)図 24: 単一のプリミティブを用いた正対画像の欠損修復

32

表 4: プリミティブの当てはめ方による比較における物体の点群数
入力点群数 [点]修復後点群数 [点]プリミティブの当てはめ方

11055

18305

複数のプリミティブの場合

23625

単一のプリミティブの場合

4.3 対称コピーによる初期化を利用した修復実験
ここでは, 対象をアヒルの置物 (図 25(a)) として, 側面から計測したデータを用いて実験を行った. 対象の点群 (図 25(b)) に円筒が当てはまり, 計測された点群の範囲と対象物体の事前知識から, 対称性があると仮定し修復を行った. すなわち,物体の裏面の領域に大きな欠損のある, 正対デプスマップと正対テクスチャ画像に対し, 図 25(d) に示すように, 画像上で手動により対称軸を設定し, 対称コピー
による初期化を行った. 入力時, コピー後, 修復後の点群数を表 5 に示す. コピー
後において, 正対画像上の奥行き値が存在しない全ての画素を欠損領域として指定し, 修復した結果を図 25(e) に示す. また, これを三次元モデルに戻した結果を
図 25(c) に示す. 図 25(d) に示すように, 正対デプスマップと正対テクスチャ画像
上で計測された側面のデータを, 任意の軸に対して対称移動させることで, 物体の裏面の大きな欠損領域に形状が再現され, 図 25(e) のように, 残りの欠損領域を修復できた. また, 図 25(c) のように, モデルの裏面を閲覧することができる. 対称性のある現実物体を側面から計測したデータに対して, 初期化での計測データの対称移動が欠損修復に有効であると考えられる.
表 5: 対称コピーによる初期化を利用した実験における物体の点群数
入力点群数 [点]

コピー後点群数 [点]

修復後点群数 [点]

15473

60346

14758533

(a) アヒルの置物(b) 三次元点群(c) 修復結果(d) 対称移動による初期化(e) 正対画像の欠損修復結果

図 25: 対称コピーを用いた正対画像の欠損修復実験

34

5. おわりに
本論文では, 現実物体を RGB カメラや距離画像センサで計測した, 遮蔽や計測
位置の制限による未計測部分, 計測誤差のある点群に対して, 計測された入力画像に存在する射影歪みを補正し, プリミティブごとの生成画像を個別に扱い探索領
域を限定することで高品位に修復する手法を提案した. 具体的には, 点群へプリミティブ当てはめを行い, プリミティブを基準とした正対デプスマップと正対テ
クスチャ画像を生成し, これらの画像上にある欠損領域に対し, 類似度に基づくエ
ネルギー関数の最小化による画像修復を行った.
実験では, 現実物体への複数のプリミティブを当てはめ, 様々な欠損に対して,
プリミティブごとに分割して修復を行う影響を考察した. 加えて, 複数のプリミ
ティブと単一のプリミティブを当てはめた場合の修復結果を比較し, 複数のプリミティブを当てはめることの優位性を考察した. また, 現実物体に対称性がある
場合, 計測位置によっては, データ領域にある画素を対称的にコピーしておくこと
で, 大きい欠損を修復できることを確認した.
本研究では, 他のプリミティブに当てはめられた領域による欠損領域と未計測部分による欠損領域を区別するため, 正対画像上において手動で修復の対象となる欠損領域を指定したが, 今後, プリミティブの位置関係を考慮し, 欠損領域の指定を自動で行う必要がある. また, 三次元モデルが複雑な形状である場合, モデルに当てはまるプリミティブ数が増大する. このとき, 一つのプリミティブがカバーする範囲が狭すぎると, 欠損領域に最適な形状が, 他のプリミティブに含まれる可能性がある. このため, 今後, 類似した事例が同一プリミティブに存在するように, プリミティブ当てはめにおける閾値の設定を自動的に決定する手法が必要であると考えられる.

35

謝辞
本研究を進めるにあたり, その全過程において細やかな御指導, 御鞭撻を頂いた視覚情報メディア研究室 横矢 直和 教授に心より感謝いたします. そして, 本研究の遂行にあたり, 有益な御助言, 御鞭撻を頂いたインタラクティブメディア設計学研究室 加藤 博一 教授に厚く御礼申し上げます. さらに, 本研究の全過程を通して, 始終温かい御指導をして頂いた視覚情報メディア研究室 佐藤 智和 准教
授に深く感謝申し上げます. また, 研究に関して的確な御助言を頂いた視覚情報
メディア研究室 河合 紀彦 助教, 中島 悠太 助教に厚く御礼申し上げます. また,研究室での生活を支えていただいた視覚情報メディア研究室 石谷 由美 女史に心より感謝いたします.

36

参考文献
[1] IKEA カタログ, http://www.ikea.com/ms/ja_JP/virtual_catalogue/
online_catalogues.html[2] 広視野角視覚シミュレータ（visiMax）, http://www.takenaka.co.jp/news/
2014/01/02/index.html[3] M. Okutomi, T. Kanade: “A Multiple-Baseline Stereo”, IEEE Trans. on
Pattern Analysis and Machine Intelligence, Vol. 15, No. 4, pp. 353-363, 1993.
[4] S. M. Seitz, B. Curless, J. Diebel, D. Scharstein, R. Szeliski: “A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms”, Proc.
CVPR, pp. 519-528, 2006.
[5] R. Newcombe, S. Izadi, O. Hilliges, D. Molyneaux, D. Kim, A. Davison,
P. Kohli, J. Shotton, S. Hodges, A. Fitzgibbon: “KinectFusion: Real-Time
Dense Surface Mapping and Tracking”, Proc. ISMAR, pp. 127-136, 2011.
[6] J. Davis, S.R. Marschner, M. Garr, M. Levoy: “Filling Holes in Complex
Surfaces Using Volumetric Diﬀusion”, Proc. Int. Symp. on 3DPVT, pp. 428438, 2002.
[7] J. Wang, M. M. Oliveira: “Filling Holes on Locally Smooth Surfaces Reconstructed from Point Clouds”, Image and Vision Computing, Vol. 25, No. 1,
pp. 103-113, 2007.
[8] T. Ju: “Robust Repair of Polygonal Models”, ACM Trans. on Graphics, Vol.
23, No. 3, pp. 888-895, 2004.
[9] A. Sharf, M. Alexa, D. Cohen-Or: “Context-Based Surface Completion”,
ACM Trans. on Graphics, Vol. 23, No. 3, pp. 878-887, 2004.

37

[10] S. Xu, A. Georghiades, H. Rushmeier, J. Dorsey, L. McMillan: “Image
Guided Geometry Inference”, Proc. Int. Symp. on 3DPVT, pp. 310-317,
2006.
[11] F. Stulp, F. Dell’Acqua, R. B. Fisher: “Reconstruction of Surfaces BehindOcclusions in Range Images”, Proc. Int. Conf. on 3DIM, pp. 232-239, 2001.
[12] R. Schnabel, P. Degener, R. Klein: “Completion and Reconstruction with
Primitive Shapes”, Computer Graphics Forum, Vol. 28, No. 2, pp. 503-512,
2009.
[13] T. P. Breckon, R. B. Fisher: “Three-Dimensional Surface Relief Completion Via Nonparametric Techniques”, IEEE Trans. on Pattern Analysis andMachine Intelligence, Vol. 30, No. 12, pp. 2249-2255, 2008.
[14] M. Pauly, N. J. Mitra, J. Giesen, L. Guibas, M. Gross: “Example-Based
3D Scan Completion”, Proc. ACM SIGGRAPH / Eurographics Symp. on
Geometry Processing, pp. 23-32, 2005.
[15] V. Kraevoy, A. Sheﬀer, “Template-Based Mesh Completion”, Proc. ACM
SIGGRAPH / Eurographics Symp. on Geometry Processing, pp. 13-22, 2005.
[16] P. Stavrou, P. Mavridis, G. Papaioannou, G. Passalis, T. Theoharis: “3dObject Repair Using 2d Algorithms”, Proc. Int. Conf. on Computational
Science, Vol.2, pp. 271-278, 2006.
[17] S. Salamanca, P. Merch, A. Adan, C. Cerrada, E. Perez: “A Robust Method
for Filling Holes in 3D Meshes Based on Image Restoration”, Proc. ACIVS,
pp. 742-751, 2008.
[18] J. Becker, C. Stewart, R. J. Radke: “LiDAR Inpainting from a Single Image”,
Proc. ICCV Workshops on 3DIM, pp. 1441-1448, 2009.
[19] S. Park, X. Guo, H. Shin, H. Qin: “Shape and Appearance Repair for Incomplete Point Surfaces”, Proc. ICCV, Vol. 2, pp. 1260-1267, 2005.
38

[20] N. Kawai, A. Zakhor, T. Sato, N. Yokoya: “Surface Completion of Shapeand Texture Based on Energy Minimization”, Proc. ICIP, pp. 913-916, 2011.
[21] D. Doria, R. J. Radke: “Filling Large Holes in LiDAR Data by Inpainting
Depth Gradients”, Proc. CVPR Workshops, pp. 65-72, 2012.
[22] A. Criminisi, P. Perez, K. Toyama: “Region Filling and Object Removal by
Exemplar-Based Image Inpainting”, IEEE Trans. on Image Processing, Vol.
13, No. 1, pp. 1200-1212, 2004.
[23] R. Schnabel, R. Wahl, R. Klein: “Eﬃcient RANSAC for Point-Cloud Shape
Detection”, Computer Graphics Forum, Vol. 26, No. 2, pp. 214-226, 2007.
[24] C. Barnes, E. Shechtman, Dan B. Goldman, A. Finkelstein: “The Generalized PatchMatch Correspondence Algorithm”, Proc. ECCV, pp. 29-43, 2010.

39