日本バーチャルリアリティ学会第 8 回大会論文集 (2003 年 9 月)

複合現実感のための形状に関する知識を利用した実物体の仮想化
Virtualization of Real Object Based on Shape Knowledge in Mixed Reality
舟橋健司 1) , 香村和成 2) , 岩堀祐之 1)

Kenji Funahashi, Kazunari Komura and Yuji Iwahori
1) 名古屋工業大学 情報メディア教育センター（〒 466-8555 名古屋市昭和区御器所町, kenji@center.nitech.ac.jp）

2) 株式会社 メイテツコム
Abstract : This paper describes a new method to realize a virtual representation of real object. A
special device or a special environment is not required. This method reconstructs the object shapeautomatically from a few input images using the knowledge of shape for the artificial or the realobject. For a polyhedron object, the proposed method can estimate the hidden shape from thefront view images. The developed system can virtualize the right regular pyramid or prism fromtwo real images taken by a digital still or video camera. The camera parameters are also estimatedthrough the system, and roughly drawn shape of a real object is represented in virtual space withthe texture mapping.
Key Words:

1.

Mixed Reality, Virtualization of Real Object, Shape Knowledge,
Hidden Shape, Camera Parameters

はじめに多くの物体の形状から得た知識や経験を利用していると考

近年、仮想物体と実物体を融合する複合現実感への要望えられる。そこで、本研究では、人間が持つ知識や経験をが高まっている。複合現実感の研究の多くは実際の映像に用いて形状復元を試みる。具体的には、第一段階として実仮想物体を合成することや、映像から抽出した実物体を他世界に存在する人工物によく見られる角柱形状や角錐形状のシーンに合成することを目的としている [1]。本研究では、を対象に行う。これより 3 次元情報を求める際に必要なカカメラの位置やパラメータを指定することなく、実物体のメラパラメータを自動的に推測する。また、短時間で画像形状などのデータを計算機に取り込む (以下、仮想化) こと取得から隠れた部分の仮想化までを行い、実物体の全体形を目的とする。ここでは、これまで試みてきた仮想物体によ状の復元を行う。
以下では次に示す手順で実物体の仮想化を行う (図 1)。

る実物体への干渉、実物体の映像上における移動の実現 [2]を考慮し、物体形状の概略を取得することを目的とする。
カメラで撮影した画像から実物体の形状復元を行うため(1) 2 次元画像からの特徴点抽出(2) 特徴点におけるステレオマッチングには、カメラパラメータが必要となる。研究の場において(3) 3 次元情報を持つ特徴点の 3 次元凸包作成

は研究者が撮影機器や撮影環境を考慮し、必要なカメラパ(4) 形状に関する知識を利用したカメラパラメータの推定

ラメータを手動設定した後に実験を行う場合が多い [3]。ま(5) 形状に関する知識を利用した隠れた形状の推定

た、前述した実物体の復元手法から得られる物体形状だけ

なお、上記 (1)-(3) は、本稿では省略させて頂く。また、実では、実物体の画像上で見えない部分の特徴点、面の情報

物体の 2 枚の画像を撮影する時のカメラの移動は短いものについては分からない。物体の全体形状復元に関する研究とし、カメラは画像の水平軸に平行に移動しているものとは数多く行われているが、これらの研究は、全体形状を撮仮定する。

影した多数枚の画像を必要とする [4]。
人間は日常生活において 2 次元の情報、3 次元の情報に2.

形状に関する知識を利用したキャリブレーションかかわらず、物体の形や大きさを認識している。さらには、

2.1

ステレオマッチング

見えている部分から見えていない部分の形状を推測し、物ステレオマッチングにおいて、左右のカメラのレンズ中体の全体形状を把握している。これは、人間があらかじめ心はそれぞれ絶対座標 OL (0, 0, 0)、OR (d, 0, 0) になるようreal objectv2

v2

squaresquaretime

bp2

camera

p2

bv3
av3
ap1

v1

p1

v1
(a)

prism which contains
visible non-quadrangle base(b)

cuboid(1)v1square

v2

(2)
bp2

v1

aav3
(3)

(4)

pyramid which contains
visible non-triangle base

(5)

(d)

pyramid which contains
visible two triangle

v2squarev1squareab

図 1: 実物体の仮想化

p2

p1squarep1(c)v2v3bv3a

距離 d だけ離し、物体に対し平行とする。レンズの焦点距
離は f とする。物体上の点 P (Xp, Yp , Zp ) を投影した左画

v2bv3

v1(e) pyramid seen from a side(f)pyramid seen from a top

図 2: 対象物体

像中の点 PL(xl , yl ) と右画像中の点 PR (xr , yr ) はそれぞれ画像の中心を原点とする相対座標とする。また、レンズ中心から焦点距離 f の位置に物体を投影した画像の 1 画素あたりの大きさ (以下、画素サイズ) を α とする。点 i の座標は次式のように表される。

Xi =2.2xli
yli× d, Yi =× d,xli − xri
xli − xri
1f× × d.
Zi =xli − xr
α2.2.2

カメラパラメータの推定

本研究では、実験的に直角柱または、正多角形を底面に持つ直角錐の多面体を対象にする。これは、実世界に存在する人工物はこれらの形状を組み合わせて作られるものが多く、その形状から直角の関係を推測することが容易なた(1)

カメラパラメータの自動推定

前述のステレオマッチングにより特徴点の 3 次元情報を数値化として得るためには焦点距離 f と画素サイズ α の関めである。

(1) 角柱か角錐かの判断
画像上で見える面 (以下、可視面) に三角形の面が 2 面以上あれば、画像上の物体は角錐物体と判断する。そうでなければ、角柱物体と判断する (図 2)。

係値 f /α(以下、β) とカメラ間距離 d が必要である。ここ(2) 垂直な関係の抽出で、d は X, Y, Z 座標に含まれていることから物体の正しい角柱物体、または角錐物体の底面となる面 p1 を求める。底大きさを決めるパラメータとなる。複合現実感においては面を元に、垂直な関係を抽出する。

相対的な大きさを考慮することが多いため、実際の大きさ■角柱物体： 側面が四角形であることを考慮し、可視面かを考慮しない物体の形状を求めることを考える。そこで、物ら四角形以外の多角形の底面を探索する (図 2 (a))。可視面

体形状に関する知識を利用し、X, Y 座標に応じた適切な奥が四角形のみで構成されている場合、直方体であると推測

行情報を求めるために必要な β を自動推定する。

し、任意の四角形を底面とする (図 2 (b))。

2.2.1

3 次元凸包のための仮パラメータ

可視面にある物体の側面 p2 を 1 面選択する。選択された

3 次元凸包を実際に求めるため、d はあらかじめ決められp1 と p2 は隣接する関係があり、直角に交わると推測する。

た値に設定する。また、対象としている物体は、ある程度次に p1 と p2 に共通する頂点 v3 を求め、p1 と p2 に共通での体積を持っているはずであると考え、物体の X 座標の最なく、v3 と辺を成す頂点 v1 、v2 を選択する (図 2 (a)(b))。

大値 maxx 、最小値 minx と、Z 座標の最大 maxz 、最小■角錐物体： 側面は三角形であるため、可視面から三角形以値 minz を求め、maxx − minx = β(maxz − minz ) から外の多角形の底面を探索する (図 2 (c))。可視面が三角形 2仮の β を仮定して 3 次元凸包を実際に求める。

つである時、その物体は三角錐であると推測する (図 2 (d))。
また、三角形の面のみが 3 つ以上ある場合、対象物体を側面、または上面から見ていると判断できる (図 2 (e)(f))。

正しい物体形状を復元するために形状に関する知識を利

可視面に三角形以外の底面となる面がある時、その中心用し、カメラパラメータ β を自動的に求める実験を行った。

点を v3 とする。また、底面の頂点を v1 、共通する頂点を実験では、図 3 に示す画像を用い、実画像には理論値としv2 とする (図 2 (c))。三角錐であれば、可視面のすべてのて物体本来の頂点 7 点を手動で設定する。図 4 は仮のカメ面が三角形であり、底面を選択できない。このため、任意のラパラメータで 3 次元凸包を構成した結果であり、正しい1 面の中心点を v3 、その面上の頂点を v1 、その面上にな形状とは異なっている。図 5 はカメラパラメータの推定をい頂点を v2 とする (図 2 (d))。可視面に底面がなく三角形行った結果である。正しいカメラパラメータに近い値が求の側面が 3 面以上ある角錐物体であれば、共通する頂点をまっていることが分かる。

v2 、共通しない頂点を v1 とする。さらに、v2 が画像上で物体の隠れた部分を仮想化する実験を行った。図 6 に示す

物体の輪郭線上にあるならば、側面から物体を見ていると実画像を使用した。結果を図 7 に示す。仮のカメラパラメー判断し、他の可視面と共通しない頂点 2 点の中点を v3 とタを設定した後に、実物体の正しい頂点や面に関する情報する (図 2 (e))。そうでなければ、上面から物体を見ているが求まれば、カメラパラメータの推定や、隠れた部分の仮想と判断し、v2 以外の頂点の中心点を v3 とする (図 2 (f))。

化が可能であることが確認できた。また、計算時間は CPU(3) カメラパラメータの推定

速度 IntelPentiumIII866MHz、メモリ容量 256MB の計算

直角の関係を持つ a = v1 − v3 , b = v2 − v3 の 2 つのベク機において約 7 秒であり、短時間での実物体の仮想化を実トルを求める。a · b = 0 が成り立つため、β が求まり、物現した。これより、実物体の仮想化までの一連の処理が自体の X, Y 座標に応じた適切な Z 座標が得られる。

動的に行える。

3.

5.

隠れた形状の推測

むすび

まず、以下に示すように隠れた頂点を推測する。続いて、

本研究では、特殊な機器や環境なしに、短時間で映像中推測された頂点も含めて 3 次元凸包を再構成することによの実物体を仮想化する手法を提案した。人間が物体を認識り、全体形状を得る。

する際には、視覚から得る情報だけでなく、知識や経験を3.1利用している場合が多い。そこで、第一段階として人工物

角柱物体

直角柱では、側面はすべて長方形であり、底面同士を結によく見られる角柱や角錐物体の形状に関する知識を利用

ぶ辺はすべて平行であることを利用し、物体の隠れた部分し、カメラパラメータの自動推定を行った。また、同様のの頂点を求める。可視面である底面の頂点で、可視面であ知識を用いることで、画像では見えていない物体の頂点やる側面の頂点と共通しない頂点を求める。その点を可視面裏面部分の推測を行い、隠れた部分の仮想化を行うことがである底面から裏面である底面の底面同士を結ぶ側面の辺できる。本手法を用いた実物体の仮想化が行えることを実に沿って平行移動する。移動後の点が隠れた部分の頂点と験を行い検証した。これより、操作者は任意のカメラを利なる。

用し、映像上の実物体を自動的に仮想化することができる。

3.2

本研究は、将来的には部屋の模様変えから、医療、教育分

角錐物体

可視面に三角形以外の底面となる多角形が存在するのならば、すべての頂点が画像に見えていると判断でき、頂点野まで多くの人々にとって身近な場所で、幅広く応用できると考えられる。

を推測する必要はない (図 2 (a))。また、可視面に三角形が今後の課題として、実物体の仮想化後に各面がゆがんで2 面のみある場合には、可視面の一方の三角形を底面とするいる場合があるため、正しい形状への補正が必要である。ま

三角錐と考える (図 2 (b))。可視面に底面がなく、三角形のた、物体の概略形状を凸多面体に限定せず、凹形状の物体面が 3 面以上あれば、上面、もしくは側面から見た角錐物に対しても考慮する必要がある。

体の画像であると判断できる。上面からであれば、頂点は謝辞推測する必要はない (図 2 (c))。したがって、側面から見て本研究を進めるにあたり数々の助言を与えてくださった岩いる場合にのみ隠れた部分の頂点を求める (図 2 (d))。複数

堀研究室諸氏に心から感謝致します。なお本研究の一部は、の可視面で共通してない頂点を見つける。その 2 点の中点

堀情報科学振興財団研究助成による。

を角錐物体の底面の中心点とする。2 つの可視面に共通する頂点を対象に前述の中心点を対称の中心とした回転対称性を利用し、隠れた部分の頂点を求める。

4.

実験および結果
前述の手法に基づく実験システムを C 言語を用いて実現し、実物体の仮想化に関する実験を行った。撮影には容易に入手可能なビデオカメラを用い、カメラの移動は特別に測定することなく行った。

(a) left image(b) right image

図 3: 実験用実画像 (1)(a) wire frame(b) texture mapping(c) other side

図 4: 仮のカメラパラメータ(a) wire frame(b) texture mapping(c) other side

図 5: カメラパラメータの推定(a) left image(b) right image

図 6: 実験用実画像 (2),(3)参考文献[1] 佐藤いまり, 林田守広, 甲斐郁代, 佐藤洋一, 池内克史: 実(a) front view(b) reverse view(c) front view(d) side view

光源環境下での画像生成: 基礎画像の線形和による高速レンダリング手法, 電子情報通信学論文誌, Vol. J84-D-II,

No. 8, pp. 1864-1872, 2001
[2] 安藤忍, 舟橋健司, 岩堀祐之, 岩田彰: 複合現実感における仮想物体による実物体への干渉, 電子情報通信学会

2001 年総合大会講演論文集, A-16-14, pp. 337, 2001
[3] 神原誠之, 大隈隆史, 竹村治雄, 横矢直和: ビデオシース
ルー型拡張現実感のための実時間ステレオ画像合成, 電子情報通信学論文誌, Vol. J82-D-II, No. 10, pp. 1775-1783, 1999
[4] 西山芳生, 斎藤英雄, 小沢慎治: 多視点カラー画像からの 3 次元形状及び物体色の推定, 電子情報通信学論文誌,

Vol. J82-D-II, No. 6, pp. 990-1000, 1999

図 7: 隠れた形状の推定