写真の中の仮想世界へ
１枚の景観画像からのインタラクティブな 3D シーン生成システム
1 枚の景観画像から 3D モデルを容易に生成できるシステムを開発した。生成される 3D モデルは背景モデルと前景物モデルから構成され、ユーザが地面領域と立体物との「境界線」をインタラクティブに指定することで、各モデルの 3 次元座標が算出される。さらに本システムでは、前景物モデリングやテクスチャ生成を簡単に行うことができ、簡素ながら十分な 3D 効果の得られる 3D シーンを効率よく作成することができる。

○ はじめに近年、写実的なレンダリング

これらの問題に対して、近年モデル化できるが、領域指定やを効率よく行うため、イメージでは自動または手動によって 1テクスチャ編集などに手間がかベースによるレンダリング手法

枚の画像のみから 3D シーンをかる。また、ユーザインタラクが多く研究されている。この手生成する手法が研究されている。

ションもあまり直感的ではない。

法は画像をテクスチャとして用自動生成の場合、領域分割や機そこで我々は 1 枚の画像を入いることで複雑な物体形状を正械学習を用いて画像中の各領域力として、簡単で直感的な操作確にモデル化しなくてもリアリの幾何ラベルを推定する手法がで 3D シーンを作成できるシス

ティのある 3D 空間が作成でき、提案されている 4)12)。これらのテムを開発した。本システムで高速なレンダリングが可能とな手法は手作業を必要としないが、はまずユーザが地面と立体物のる。作成された空間の視点を移

奥行き推定や領域推定に失敗す

境界線をインタラクティブに指動することにより、ユーザはそる場合が少なくなく、適用可能定する。この境界線によってモの空間を実際に歩いているような画像が限られる。また、木やデルの 3 次元座標が算出され、な体験をすることができ、バー人などの前景物があるシーンで3D シーンモデルが生成される

チャルツアーなど特定の景観をはうまくいかない場合が多い。

（図 1）。また、入力画像の領域3 次元的に表現するときに多くこれに対し、ユーザが画像の領分割とグラフカット 2)ベースの用いられる。しかし、一般的に域情報や奥行き情報を与えるこ最適化を組み合わせることによそのような 3D シーンを作成すとで対話的に 3D シーンを生成り、簡単に前景物の抽出とモデるには多くの入力画像 13)や専門する手法が提案されているリングを行うことができる。こ的な知識が必要である上、非常

5)6)7)9)。これらの手法は自動生成れにより、に手間のかかる作業である。に比べ、より多くの画像を 3D(a) 入力画像(b) 境界線と前景物
第1図(c) 3D モデル

提案システムによる 3D シーン生成の流れ(d) 視点移動

とで背景モデルが構築される。
スクリーン座標系において左下を原点とし右方向を +x 、上方向をとする。また、3D モデルにおいて原点はカメラ位置と一致し、視線方向をラの焦点距離を、カメとする。ここ, , ,で 同 次 座 標は

∈ 0,1 が小さいほど 3 次元空間の奥に透視投影変換される。
(a)
第2図

(b)

2D 画像

3D モデル3D モデル生成

よって入力画像のスクリーン座標の原点,を、境界線上で最も 座標が大きな頂点前景物を含む景観画像でも 3Dモデルの地面領域に前景物モデをシーンモデルが容易に作成できルが垂直に設置される。このシ系におけるる。生成されるモデルは単純なステムにおいて、3D シーン作成′ , ′ ,モデルであり、入力画像の 3 次のためにユーザは 2 つの簡単なと、その同次座標 ′ , ′ は以元構造を正確に再現するもので作業を行う。すなわち入力画像はないが、ユーザに十分な 3Dの境界線と前景物の指定である。

下のように表される：:,, ,1効果を与えることができる。

これらの作業は入力画像上で行′ :われ、3 次元的な編集を必要とここでしない。

であり、本システムでは 0.1 と○ 提案システム本システムによって生成される 3D シーンは背景モデルと前,とし、ワールド座標,をそれぞれ、 ′ , ′ ,,とする, ,とは小さな正の値している。この 2 点を基準とし背景モデルて入力画像の地面領域の各頂点景物モデルから成る。これらの入力画像はユーザによって指,モデルは少数のポリゴンに入力定された折れ線にもとづいて地される：

画像の各領域がテクスチャマッ面ポリゴンと複数の壁ポリゴンに分割される（図 2）。この各頂′:ピングされたものであり、背景が以下のように算出,, ,点に適切な座標を割り当てるこ(a) 入力画像と前景領域（破線）(b) 背景推定（制約なし）
第3図

背景テクスチャの生成(c) 背景生成（制約あり）

(a) 入力画像(b) 領域分割(c) ユーザ入力(d) 領域処理(e) グラフカット(f) 追加ユーザ入力(g) 抽出された前景物(h) 視点移動

第4図
ただし、1前景物の抽出てしまう。これを避けるため、スチャ生成の精度向上という 2前景物領域はその他の背景領域つの役割を果たしている。

で補完する必要がある。本シス
テムでは補完のために Barnes

・・・(1)
また、残りの壁領域の各頂点は壁と地面は垂直であるという制約条件のもとに算出される。これにより視線方向に奥行きをもつ 3D モデルが生成される。
生成されるモデルは Kang らの消失線の理論 6)にもとづいているが、本手法は各頂点の 値によって座標を決定しているた
め、Kang らが示した算出手法
よりも単純に計算でき、さらにこの方程式を用いて前景物モデルの座標も算出できる。
背景テクスチャ生成されたポリゴンモデルに背景テクスチャを貼り付けることで背景モデルが完成する。本稿における背景とは入力画像の中で前景物が含まれない領域である。しかし前景物領域を取り除いた入力画像を背景テクスチャとして用いると前景物の部分が「穴」になっ前景物モデル

らの PatchMatch と呼ばれる手前景物の抽出は画像編集の際1)を用いる。彼らの手法によに最も手間のかかる作業の 1 つり、計算コストの高い類似領域である。既存手法では前景をブ探索を高速化し、画像を高速にラシで直接塗りつぶしていくペ自動補完することができる。本

イントベースの抽出手法 10)や、システムではこの手法を実装し、背景と前景の境界をなぞってい指定された前景物が抜き出されく境界線ベースの抽出手法 8)14)ると同時にその領域が自動的にが示されている。しかし、これ補完される。よって、すべてのらは対象となる前景物の形状に前景物の抽出が完了すると同時よっては細かく正確な作業が必に完全な背景テクスチャが生成要となる。提案システムではユされる。しかし、画像補完は対ーザ入力をなるべく少なくし、象領域が大きくなるほど精度がかつ細かく正確な作業を必要と低くなってしまう（図 3(b)）。

しない前景物抽出を目指し、領Barnes らは、画像補完の際にガ域分割とグラフカットベースのイド線上の類似領域探索をその手法 2)を組み合わせて前景最適線上に拘束することで画像構造化を行う。

法

を補完に反映させる手法を提案

本システムでは入力画像は読している。本システムではこのみ込まれると同時に領域分割が理論にもとづき、境界線を補完適用される（図 4 (b)）。 この領の拘束条件として用いることで域分割のために、我々は前景物の補完精度を向上させてComaniciu らの手法 3)を用いる。

いる（図 3(c)）。つまり、境界線

この手法では入力画像の色を表は 3 次元座標の算出と背景テク

す L*u*v と位置を表す x、y の(a) 入力画像(c) GrabCut11)(b) Photoshop
第5図(d) 提案手法

提案手法と既存手法との比較

5 属性を特徴として Mean Shift

明示的に前景や背景領域を指定秒、提案手法では 18 秒であった。

を行い、近接領域同士の色空間し、この情報をもとに再度分割

よって図 5 に示す例では、提案におけるユークリッド距離が閾を行うことでより正確な前景抽手法は他の手法と比べ、前景抽値以下のものを統合することで出を行う編集機能が示されてい出にかかる時間が約 85%低減さ領域分割を行う。この手法は多る。本システムではこれに上記れている。ただし、本手法の前くの画像で高い精度を実現するの領域処理を追加し、ユーザに景抽出精度は GrabCut によることが示されている。

よる前景/背景指定、指定範囲を最適化に依存しており、既存手前景物抽出のため、まずユー領域単位に拡張、グラフカット法よりも精度が向上するわけで

ザはなげなわツールのようなイによる最適化の 3 段階を繰り返はない。しかし他の手法に比べンタフェースを用いて前景物領すことでより粗く少ないユーザてより粗く少ないユーザ入力で域を粗く囲む（図 4 (c)）。囲ま

入力で正確な前景物抽出を行う

前景物を抜き出すことができ、れた領域の外側は背景領域とし、ことができる。

ユーザの負担を軽減することがさらにガイド線が含まれる各領本システムによる前景物抽出域は背景であると推測できるた

結果を図 5 に示す。入力画像のこのようにして抽出された前め、その領域もすべて背景とみサイズは 800×600 ピクセルで景物画像を 1 枚の四角形ポリゴなす（図 4 (d)）。これを初期状ある。提案手法のユーザ入力にンに前景物テクスチャとしてマ態とし、さらにグラフカットを対する最適化処理時間は約 0.41

ッピングすることで前景物モデベースとする GrabCut と呼ば秒であった。また、ユーザの作ルが生成され、背景モデルの地れる手法 11)にもとづいて領域の業時間も含めて前景物抽出にか面領域に垂直に配置される。こ最適化を行う（図 4 (e)）。

かった時間は、強力な画像編集の前景物モデルの各頂点の 3 次

しかし正確な前景物抽出は困

ツールである Adobe Photoshop

元座標は、前景物領域の中で最難な課題であり、上記の処理だ

CS5 の Quick Selection ツールも小さい 座標にもとづき式(1)けではうまく抽出されない場合

では 107 秒、我々の実装によると垂直条件から計算できる。

がある。GrabCut ではユーザがRother らの GrabCut では 115(a) 前景と接地制約（白線）(b) 接地制約なし
第6図

前景物の接地制約可能となる。

(c) 接地制約あり

(a) 入力画像と境界線（白線）(b) 3D モデル

第7図(a) 入力画像とユーザ入力(c) 視点移動

曲線形状の境界線をもつ室内画像(b) 視点移動
第8図

提案システムによる 3D シーン生成のサイズは全て 0.5 から 1.0 メの領域は 1 つの平面としてモンである前景物モデルの各頂点ガピクセルの範囲内である。

デル化されているため、視点にには同じ奥行きが与えられてい図 1 では 2 基の街灯が前景物とよっては階段が後ろの建物に張る。しかし前景物が奥に向かっして指定され、背景の境界が 5り付いているような違和感をユて地面領域に置かれている場合個の頂点をもつ折れ線で指定さーザに与えることがある。には不自然なモデルが生成されれている。この街灯はビルボー

図 7 は曲線と直線を含む境界てしまう。そこで本システムでド変換が適用され、横からの視線をもつ屋内の写真である。こは前景物が地面領域に接してい点に対しても立体感のある自然のように前景物がない画像は境る部分を直線で指定することで、な前景物が生成される。街灯の界線を指定するだけで 3D シー

前景物モデルの 3 次元座標を修ような円柱状の物体や一般的なンを生成することができる。ま正できる機能を実装している

木などの前景物は、回転してもた、図 8 のように複数の前景物（図 6）。

あまり形状が変わらない場合がや夜のシーンなどでも、本シス多く、ビルボード変換で十分にテムを用いて簡単に 3D モデル○ 結果と考察対応することができる。しかし、を生成することができる。

本稿において、使用した画像

本手法では地面や壁のそれぞれ接地制約

四角形の板状ポリゴ

これらの 3D シーンを作成するのにかかった時間はすべて 3したいと考えている。また、透分以下であった。この作業時間

視投影によって引き伸ばされるにおいて大きな割合を占めるのテクスチャを高解像度化するこは、入力画像の前景物抽出にかとでよりシーンのリアリティをかる時間である。例えば前景物向上させたい。

9)がない図 7 の場合、3D シーンを作成するのにかかった時間が参考文献14 秒であったのに対し、複数の1)前景物をもつ図 8 下段では作業時間は 110 秒であった。このように 3D シーンを作成するための作業時間は、前景物の数に応じて増加していく。よって、提案システムにおける前景物抽出2)の高速化は 3D シーンを作成する上で非常に重要な役割を果たしていることがわかる。

○ 結論

3)

本稿では、我々が開発した 1枚の景観画像から容易に 3D シーンを生成できるシステムについて述べた。生成されるシーン

4)

モデルは背景モデルと前景物モデルから構成され、ユーザがインタラクティブに指定した地面と壁の境界線からその 3 次元座

5)標が算出される。この境界線を用いたモデリングにより、様々な景観画像の 3D シーンを作成することが可能となる。さらに提案システムでは前景物の簡易6)抽出やモデリング、背景テクスチャの自動生成を行うことができる。これによりユーザの負担が少ない効率的なシーンモデリングが可能となる。
今後の研究では、ユーザが前

7)

景物に対して立体のプリミティブを当てはめたり、立体形状を表す稜線をひいたりすることで、それを反映した立体的な前景物モデルが作成できる機能を実現

8)

BARNES, C., SHECHTMAN,E., FINKELSTEIN, A., AND
GOLDMAN, D. B. 2009.
PatchMatch: A randomized
correspondence algorithm forstructural image editing. ACM
Trans. Graph. 28, 3, 24:1–11.
BOYKOV, Y., AND JOLLY, M.
P. 2001. Interactive graph cutsfor optimal boundary & regionsegmentation of objects in n-dimages. In Proceedings ofICCV, 105–112.
COMANICIU, D. AND MEER,P. 2002. A robust approach
toward feature space analysis.
IEEE Trans. Pattern Analysis
and Machine Intelligence, 24,5, 603–619.
HOIEM, D., EFROS, A. A.,
AND HEBERT, M. 2005.
Automatic photo pop-up. ACM
Trans. Graph. 24, 3, 577–584.
HORRY, Y., ANJYO, K.-I.,
AND ARAI, K. 1997. Tour into
the picture: using a spiderymesh interface to makeanimation from a single image.
In Proceedings of ACM
SIGGRAPH 97, 225–232.
KANG, H., PYO, S., ANJYO,
K., AND SHIN, S. 2001. Tour
into the picture using avanishing
lineandits
extension
topanoramic
images. In Proceedings ofEurographics, 132–141.
LIEBOWITZ, D., CRIMINISI,A., AND ZISSERMAN, A.
1999. Creating Architectural
Models from Images. In
Proceedings of Eurographics,
39-50.
MORTENSEN, E. N., AND
BARRETT, W. A. 1995.

10)

11)

12)

13)

14)

Intelligent scissors for image
composition. In Proceedings ofACM SIGGRAPH.
OH, B. M., CHEN, M.,
DORSEY, J., AND DURAND,F.
2001.
Image-basedmodeling and photo editing. In
ProceedingsofACM
SIGGRAPH, 433–442.
OLSEN, JR., D. R., AND
HARRIS,M.
K.
2008.
Edge-respecting brushes. In
UIST, 171–180.
ROTHER, C., BLAKE, A.,
AND KOLMOGOROV, V. 2004.
Grabcut
interactive
foreground extraction using
iterated graph cuts. ACM
Trans. Graph. 24, 3, 309–314.
SAXENA, A., SUN, M., AND
NG, A.Y. 2009. Make3D:
Learning 3D Scene Structurefrom a Single Still Image.
IEEE Trans. Pattern Analysis
and Machine Intelligence, 31,5, 824–840.
SNAVELY, N., SEITZ, S. M.,
AND SZELISKI, R. 2006.
Photo
tourism:Exploring
photo collections in 3d. In
SIGGRAPH
Conference
Proceedings, ACM Press, New
York, NY, USA, 835–846.
WANG, J., AGRAWALA, M.,
AND COHEN, M. F. 2007. Softscissors: an interactive tool for
realtime high quality matting.
ACM Trans. Graph. 27, 3, 9.

【筆者紹介】

飯塚里志
筑波大学大学院
システム情報工学研究科
サイエンス専攻〒 305-8573

コンピュータ

博士前期課程 2 年

茨城県つくば市天王台

1-1-1
TEL：029-853-5388
FAX：029-853-5388
Email：iizuka@npal.cs.tsukuba.ac.jp

三谷純

福井幸男

金森由博

筑波大学大学院

筑波大学大学院

筑波大学大学院

システム情報工学研究科

システム情報工学研究科
サイエンス専攻〒 305-8573

コンピュータ

助教

サイエンス専攻〒 305-8573

コンピュータ

准教授

茨城県つくば市天王台

システム情報工学研究科サイエンス専攻〒 305-8573

コンピュータ教授

茨城県つくば市天王台

1-1-1

1-1-1

1-1-1

TEL：029-853-5388

TEL：029-853-5524

TEL：029-853-5388

FAX：029-853-5388

FAX：029-853-5524

FAX：029-853-5388

Email：mitani@cs.tsukuba.ac.jp

Email：fukui@cs.tsukuba.ac.jp

茨城県つくば市天王台

Email：kanamori@cs.tsukuba.ac.jp