■ IT News Letter ■文教大学大学院 ■ 情報学研究科

先見的情報を用いた画像陰影からの多面体の形状復元手法
コンピュータビジョンと画像理解の第一歩

文教大学大学院情報学研究科 教授

下平 丕作士†Hisashi Shimodaira†
あらましコンピュータビジョンと画像理解とは何か，その難しさについて説明した後，対象を多面体に限定し，画像陰影から多面体の形状を復元するための著者の研究 1) の概要を紹介する．
キーワード：コンピュータビジョン，画像処理，陰影，形状復元, 多面体

1. は じ め にンは，2 次元の画像から 3 次元の世界の様子を復元しよう

ビジョンとは視覚のことである．人間は眼からの情報か生じさせる 3 次元物体は，無数に存在する．CV では，画ら 3 次元の世界 (シーン) でなにが起こっているかを知るこ像として与えられた情報を用いて，その中の１つを探索しとができる．カメラを通じて得られた観測データに基づい推論しなければならない．これは与えられた条件に最もよてコンピュータにこれをやらせたいというのがコンピューく適合する最適解を探索する問題に帰着するが，画像としタビジョン (CV) であり，観測データが画像である場合がて与えられた情報のみでは，探索範囲が広すぎて解を見つ画像理解である．

けることが困難である．とすることである．対象を多面体に限っても，ある画像をCV の研究の歴史は古く，1965 年頃 MIT の Minsky 教

人間は，1 枚の写真を与えられたとき，その写真がどの授が大学院生に夏休みの宿題として課題を出したそうであようなシーンを撮ったものか (コンテクスト) を経験的知識る．その頃から，数多くの研究がなされてきたが，40 年経っに基づいて理解することができる．また，3 次元物体につてもいまだに，全然と言ってもいいほど未解決である．人いての先見的な知識を持っており，さらにそれらを様々な間は，１枚の写真を与えられたとき，その中に何が写って方向や環境で見たときにどのように見えるかを経験的知識いるか，写っているものの形状やおおよその大きさなどを，として持っている．これらの知識を無意識のうちに用いて，特別な予備知識なしで理解することができる．コンピュー

1 枚の写真を与えられたとき，その中に何が写っているか，タでは，一般的な状況では，それがほとんどできない．し写っているものの形状やおおよその大きさなどを認識する

かし，シーンや対象について限定された場合には，それがことができるのである．CV においても，コンピュータに可能であり，実際，郵便物の宛先の認識，製品の組み立て

このような知識を与えることが必要になるが，一般的な状ロボットなどで実用化され，その有用性が認められている．

況では，このような知識はほとんど無限といっていいほど

本稿では，CV において解決すべき課題について説明し存在するため，知識をどのように表現し利用するかが難した後，対象を多面体に限定し，一般的な状況における画像陰影から多面体の形状を復元するための著者の研究

1)の概要を紹介する．

2. コンピュータビジョンはなぜ難しいか 2)いのである．

3. 画像陰影からの多面体の形状復元
ここでは，画像情報のうちの陰影，すなわち画素値の変化を用いて多面体の大きさを含む形状を復元する手法につい画像は 3 次元の世界を 2 次元の画像面に射影したもので，て説明する．これは，広く画像陰影からの形状復元 (Shape-

奥行き情報つまり 3 次元情報を完全に失っている．ビジョFrom-Shading:SFS) と言われる分野の一部である．多面体の画像を解析しエッジを検出することにより，多面体の稜2007 年 1 月 10 日受付† 〒 253–8550 神奈川県茅ヶ崎市行谷 1100
shimodaira-h@hi-ho.ne.jp† Graduate School of Infomation and Communication,
Bunkyo University

文教大学大学院情報学研究科 IT News Letter Vol. 3, No. 1, pp. 1〜2 (2007)

線を表す線画が得られる．例えば，図 1 の画像について図2 のような線画が得られる．それぞれの直線は多面体を構成する平面の交線である．SFS は，画像中の各面の明るさと交線のデータにマッチするような 3 次元空間における多(1) 1図 1多面体の画像

図 2

画像から抽出した線画
図 3

計算結果

面体の形状を逆算する問題である．実世界では多面体で近は，例えば，家具，建物など多くのものは水平面上に存在似できる物体が多く，画像理解における重要な課題である．

し，多くの場合垂直面を持っている．したがって，シーン稜線は凸 (+)，凹 (−)，または面と背景との境界 (←, →)のコンテクストに合うようにこれらの情報を利用できる．の４種類に分類され，ラベル付けされる．多面体の線画は，このような複雑な非線形最適化問題は，局所的な最小値これらの４種類のラベルで全体として矛盾のないようにラが無数に存在し，真の最小値を求めることは難しい．ここベル付けができることが明らかにされた．このような矛盾

では，DIRECT(Dividing rectangle) という，大域的探索のないラベル付けは通常複数存在し，ラベル付けだけでは，能力の優れたアルゴリズムを用いている．

ごく限られた場合にしか元の形状を特定できない．杉原厚

例として，提案手法により，図 1 の画像から抽出した図吉 (1984) は上記のラベル付けに基づいて線画がみたすべき代数式を導き，これを用いて多面体の形状を計算により求2 の線画に基づいて，下部の直方体の各面の水平性と垂直性を用いて得られた計算結果を，図 3 に示す．薄い線が実める手法を提案した．この手法は，数学的には厳密である物であり，濃い線が復元した形状である．

が，画像中のノイズから生ずる誤差により解が大きく影響される．また，Shimshoni ら (1997) は，上記のラベル付

4. む す びけに基づいて，線画がみたすべき代数式にノイズから生ず

提案手法は，SFS の第 1 歩であり，実用的には未完成でる誤差を未知数として含める手法を提案した．この手法である．次のような今後の課題がある．実世界の画像中には，は，探索する未知数が著しく多くなるという難点がある．

必ず他の物体の影が生ずるので，影を考慮した線画の抽出

著者の手法は，画像情報と先見的情報からなる目的関数を行う．また，物体の面の明るさは，光源からの光の反射を大域的最適化手法により探索し，目的関数が最小になる光だけでなく，各面の反射光が相互に影響しあった結果で解を求める．多面体を構成する平面の誤差を考慮した未知あるため，相互反射の影響を考慮する．

数の設定方法を工夫し，先見的情報として稜線のラベル付〔文けと平面の水平性・垂直性を利用して探索範囲を狭める手法に特徴がある．1 枚の画像データのみでは 3 次元物体の大きさを逆算できないので，カメラから物体までのおおよ
その距離と撮影時のカメラの焦点距離をデータとして与え

献〕

1）Hisashi Shimodaira: A Shape-from-Shading Method of Polyhedral Objects Using Prior Information, IEEE Transactions on Pattern Analysis and Machine Intelligence, 28-4(2006), 612-624.
2）金出武雄：ロボット視覚, 情報処理, 44-11(2003), 1130-1137.

る必要がある．以下に，その特徴について説明する．
画像から抽出された線画の頂点の座標値は誤差を必ず含んでいる．3 次元空間における平面は 3 点によって決定される．したがって，多面体を構成する平面の頂点が 4 個以上あり，座標値に誤差が含まれている場合，全ての頂点が同一平面に存在することはできない．提案手法では，復元すし もだいら ひさし下 平 丕作士 1941 年生. 1971 年 3 月 東京都立大学大学院修士課程終了. NTT などを経て, 1996 年 4 月
文教大学情報学部教授に就任. 工学博士. コンピュータビジョン, 画像処理, 人工知能, 計算知能などの研究を行っている. 文教大学大学院情報学研究科では「アルゴリズム特論」,「画像情報処理演習」を, 情報学部では「画像処理」，「マルチメディア技術」，「メディア処理プログラミング」，「コンピュータ推論」を担当．

る面をそれぞればらばらな面とし，各面が少なくとも 1 自
由度 (未知数) を有するように順次組み立て，面間のギャップを非線形最適化により最小化する．
線画のラベル付けについては，矛盾のないラベル付けを計算するアルゴリズムが開発されており，実世界に合うような解を選ぶことができる．また，実世界における多面体
2 (2)文教大学大学院情報学研究科 IT News Letter Vol. 3, No. 1 (2007)