(57)【要約】【課題】異なる画像間で各画像に撮影されている同一物体の対応付けること。【解決手段】撮影された画像から消失点の位置を推定する消失点推定部と、消失点推定部が推定した消失点に基づいて、特徴点を検出する領域を選択する領域選択部と、領域選択部が選択した領域内において特徴点を検出する特徴点検出部と、特徴点検出部が検出した特徴点を用いて画像間の対応付けを行う対応付け部と、を備える対応付け装置。【選択図】図１
2014052977.tif 000002
【特許請求の範囲】
【請求項１】
撮影された画像から消失点の位置を推定する消失点推定部と、
前記消失点推定部が推定した消失点に基づいて、特徴点を検出する領域を選択する領域選択部と、
前記領域選択部が選択した領域内において特徴点を検出する特徴点検出部と、
前記特徴点検出部が検出した特徴点を用いて画像間の対応付けを行う対応付け部と、
を備える対応付け装置。
【請求項２】
前記対応付け部の対応付けに基づいて距離画像を生成する距離画像生成部と、
前記消失点推定部が推定した消失点の位置と、画像特徴量とに基づいて画像の領域分割を行う構成物体推定部と、
前記構成物体推定部によって分割された領域に前記距離画像生成部が生成した距離画像を用いて、ラベル付けを行うラベル付与部と、
前記ラベル付与部がラベルを付与した画像からユーザの注目領域を抽出する注目領域抽出部と、を更に備える請求項１に記載の対応付け装置。
【請求項３】
撮影された画像から消失点の位置を推定する消失点推定ステップと、
前記消失点推定ステップによって推定された消失点に基づいて、特徴点を検出する領域を選択する領域選択ステップと、
前記領域選択ステップによって選択された領域内において特徴点を検出する特徴点検出ステップと、
前記特徴点検出ステップによって検出された特徴点を用いて画像間の対応付けを行う対応付けステップと、
をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の特徴点を検出する技術に関する。
【背景技術】
【０００２】
従来、カメラで撮影された画像から距離画像を作成し、撮像物体の認識を行う技術が提案されている（例えば、非特許文献１参照）。また、未校正カメラによって撮影された画像を用いて距離画像を作成する場合、画像間の対応付け、カメラパラメータの回転・並進パラメータ算出、対象物体の３次元座標算出という過程を経る。そのため、画像間の対応付けを安定して行える技術が要求されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】C. W. Chu, S. Hwang, and S. K. Jung, “Calibration-free approach to 3D reconstruction using light stripe projections on a cube frame”, Third Int. Conf. on 3DIM pp. 13-19
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術は、画像間の対応付けを精度よく行えるが、市街地などにおいて人や車などの動物体の多い場所や、光の届きにくい場所や遠方などに光を投影することが困難である。また、複数枚の画像のみを用いるパッシブステレオ手法では、人や車両など動物体が画像中に入り込むことを避けることができない。そのため、ユーザが人や車などの動物体が多い場所（例えば市街地）で撮影を行った場合、異なる画像間で、各画像に撮影されている同一物体の対応付けが困難であるという問題があった。
【０００５】
上記事情に鑑み、本発明は、異なる画像に存在する同一物体の対応付けの精度を向上させる技術の提供を目的としている。
【課題を解決するための手段】
【０００６】
本発明の一態様は、撮影された画像から消失点の位置を推定する消失点推定部と、前記消失点推定部が推定した消失点に基づいて、特徴点を検出する領域を選択する領域選択部と、前記領域選択部が選択した領域内において特徴点を検出する特徴点検出部と、前記特徴点検出部が検出した特徴点を用いて画像間の対応付けを行う対応付け部と、を備える対応付け装置である。
【０００７】
本発明の一態様は、上記の対応付け装置であって、前記対応付け部の対応付けに基づいて距離画像を生成する距離画像生成部と、前記消失点推定部が推定した消失点の位置と、画像特徴量とに基づいて画像の領域分割を行う構成物体推定部と、前記構成物体推定部によって分割された領域に前記距離画像生成部が生成した距離画像を用いて、ラベル付けを行うラベル付与部と、前記ラベル付与部がラベルを付与した画像からユーザの注目領域を抽出する注目領域抽出部と、を更に備える。
【０００８】
本発明の一態様は、撮影された画像から消失点の位置を推定する消失点推定ステップと、前記消失点推定ステップによって推定された消失点に基づいて、特徴点を検出する領域を選択する領域選択ステップと、前記領域選択ステップによって選択された領域内において特徴点を検出する特徴点検出ステップと、前記特徴点検出ステップによって検出された特徴点を用いて画像間の対応付けを行う対応付けステップと、をコンピュータに実行させるためのコンピュータプログラム。
【発明の効果】
【０００９】
本発明により、異なる画像に存在する同一物体の対応付けの精度を向上させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】領域抽出装置１０の機能構成を表す概略ブロック図である。
【図２】シーン分類の具体例を示す図である。
【図３】シーン分類の具体例を示す図である。
【図４】消失点推定部１０２が行うシーン推定処理の概略を示す図である。
【図５】領域選択部１０３の処理の具体例を示す図である。
【図６】初期領域の具体例を示す図である。
【図７】本発明の処理の流れを表すフローチャートである。
【図８】フィードバックの処理の具体例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態である領域抽出装置１０について説明する。図１は、領域抽出装置１０の機能構成を表す概略ブロック図である。
領域抽出装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、領域抽出プログラムを実行する。領域抽出プログラムの実行によって、領域抽出装置１０は、画像生成部１００、ラベル付け処理部１１０を備える装置として機能する。また、画像生成部１００は、画像入力部１０１、消失点推定部１０２、領域選択部１０３、特徴点検出部１０４及び距離画像生成部１０５として機能する。ラベル付け処理部１１０は、構成物体推定部１１１、ラベル付与部１１２及び注目領域抽出部１１３として機能する。なお、領域抽出装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。また、領域抽出プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、領域抽出プログラムは、電気通信回線を介して送受信されても良い。
【００１２】
画像生成部１００は、入力された画像を用いて距離画像を作成する。以下、画像生成部１００の具体的な構成について説明する。
画像入力部１０１は、領域抽出装置１０に対して入力される画像のデータを時系列順に入力する。画像入力部１０１は、例えば、ＣＤ−ＲＯＭやＵＳＢメモリ（Universal Serial Bus memory）等の記録媒体に記録された画像のデータを読み出しても良い。また、画像入力部１０１は、スチルカメラやビデオカメラによって撮像された画像を、カメラから受信しても良い。また、領域抽出装置１０がスチルカメラやビデオカメラに内蔵されている場合、画像入力部１０１は撮像された画像又は撮像前の画像をバスから受信しても良い。また、画像入力部１０１は、ネットワークを介して他の情報処理装置から画像のデータを受信しても良い。画像入力部１０１は、画像のデータの入力が可能な構成であれば、さらに異なる態様で構成されても良い。以下の説明では、画像入力部１０１によって入力された画像を、「入力画像」という。
【００１３】
消失点推定部１０２は、画像入力部１０１によって入力された入力画像内の消失点の位置を推定する。
領域選択部１０３は、消失点推定部１０２によって推定された消失点の位置に基づいて、特徴点を検出する領域を選択する。
特徴点検出部１０４は、領域選択部１０３によって選択された領域から特徴点を検出する。
距離画像生成部１０５は、検出された特徴点に基づいて距離画像を生成する。
【００１４】
ラベル付け処理部１１０は、入力画像に含まれる１以上の領域に対してラベル付けを行う。以下、ラベル付け処理部１１０の具体的な構成について説明する。
構成物体推定部１１１は、消失点推定部１０２によって推定された消失点の位置に基づいて、入力画像内の領域を分割する。
【００１５】
ラベル付与部１１２は、構成物体推定部１１１によって分割された領域に対してラベルを付与する。
注目領域抽出部１１３は、ラベルが付与された領域からユーザが注目している領域を抽出する。
【００１６】
次に、消失点推定部１０２の処理について詳細に説明する。
まず、消失点推定部１０２は、入力画像に撮像されている物体を構成する複数の直線（以下、「直線群」という。）を検出する。次に、消失点推定部１０２は、検出された直線群の交点を算出する。消失点推定部１０２は、交点を算出することによって、消失点の位置を推定する。
【００１７】
具体的には、消失点推定部１０２は、入力画像からエッジを抽出し、一繋がりのエッジを一本の直線として検出する。エッジの抽出は、例えばＣａｎｎｙエッジ検出器を用いて行われても良いし、Ｈｏｕｇｈ変換を用いて行われても良いし、他の方法によって行われても良い。次に、消失点推定部１０２は、検出された直線群の中からランダムに２直線を選択して、２直線の交点を算出する。消失点推定部１０２は、算出された交点を通過する直線を直線群の中から検出し、その数をその交点の得票数とする。消失点推定部１０２は、全ての交点について得票数を取得し、得票数の一番多い交点を消失点として算出する
【００１８】
また、消失点推定部１０２は、直線の長さを信頼度とみなし、検出された直線群の中で最も信頼度が高い直線と、二番目に信頼度が高い直線との交点を消失点として算出しても良い。また、消失点推定部１０２は、消失点を複数点算出したい場合、得票数の多い順に消失点として算出しても良い。
【００１９】
また、入力画像における消失点の大まかな位置を推定できればいい場合、消失点推定部１０２は、例えば以下のような処理を行うことによって消失点の位置を推定しても良い。
消失点推定部１０２には、複数のシーン分類と、各シーン分類における入力画像の特徴量と、各シーン分類における消失点の位置との対応付けが予め記憶されている。消失点推定部１０２は、入力画像の特徴量を算出し、予め記憶している特徴量と比較することによって、複数のシーン分類の中から一つのシーン分類を選択する。図２及び図３は、シーン分類の具体例を示す図である。図２に示されるように、建物の内部は一般的に左右の壁面Ａ，Ｃと、奥側の面Ｄと、天井面Ｂと床面Ｅとで構成される。
【００２０】
図２の視点ＶＡから矢印方向に撮影すると、図３（Ａ）のように壁面Ａが右方向に向けて小さくなるように撮影される。すなわち、図３（Ａ）の画像では、向かって左側の地面に垂直な壁面Ａと天井面Ｂとで構成されているシーンが撮影されている。この場合、消失点は右方向Ｌ１（画像内の右側又は画像外の右側）に存在し、消失点へ向かう直線は右肩下がりの直線が多くなる。
【００２１】
図２の視点ＶＢから矢印方向に撮影すると、図３（Ｂ）のように壁面Ａ、天井面Ｂ、壁面Ｃなどが中心に向けて小さくなるように撮影される。図３（Ｂ）の画像では、左右の地面に垂直な壁面Ａ及び壁面Ｃと天井面Ｂとで構成されているシーンが撮影されている。この場合、消失点は画像中央付近Ｌ２に存在し、消失点へ向かう直線は中心に向けた直線（言い換えれば、中心からの放射線）が多くなる。
【００２２】
図２の視点ＶＣから矢印方向に撮影すると、図３（Ｃ）のように壁面Ｃが左方向に向けて小さくなるように撮影される。図３（Ｃ）の画像では、向かって右側の地面に垂直な壁面Ｃと天井面Ｂとで構成されているシーンが撮影されている。この場合、消失点は左方向Ｌ３（画像内の左側又は画像外の左側）に存在し、消失点へ向かう直線は左肩下がりの直線が多くなる。
消失点推定部１０２は、入力画像がいずれのシーン分類に属するか推定する（以下、「シーン推定処理」という。）。なお、シーン分類として３種のシーンを説明したが、シーン分類は上述したものに限定される必要は無い。
【００２３】
図４は、消失点推定部１０２が行うシーン推定処理の概略を示す図である。次に、図４を用いて消失点推定部１０２のシーン推定処理の具体例について説明する。以下に説明する具体例では、消失点推定部１０２は教師付学習に基づいてシーン分類を推定する。ただし、以下に説明する代表微分値の組合せは、シーン構成を表現できる特徴量の一例にすぎず、他の値がシーン構成を表現できる特徴量として用いられても良い。
【００２４】
まず、前処理について説明する。シーン毎に複数枚の学習用画像が用意される。次に、学習用画像毎に複数の解像度の画像が作成される。次に、各画像が縦４横４の１６等分に分割される。以下の説明では、１６等分によって生じた１６個の画像を「部分画像」という。図４（Ａ）は、１６等分にされた画像の具体例を示す図である。
【００２５】
次に、各部分画像について、各方向のエッジ成分を抽出した微分画像を作成する。図４（Ｂ）の例では、縦方向（ｙ軸方向）のエッジ、横方向（ｘ軸方向）のエッジ、ｘ軸から４５度反時計回りに回転したエッジ、ｘ軸から４５度時計回りに回転したエッジ、の４種類の方向のエッジ成分を抽出した微分画像が生成される。この処理により、各部分画像について、方向毎に４種類の微分画像が生成される。
【００２６】
次に、各微分画像の代表微分値を算出する。代表微分値は各微分画像内の微分値の統計値（合計値や平均値や最頻値など）である。より具体的には、微分画像を二値化し、画素値が１（エッジ強度が強いことを示す値）の画素の数を代表微分値として用いても良い。また、微分画像を２５６階調の画像とし、各画素の値の合計値を代表微分値として用いても良い。また、微分画像を２５６階調の画像とし、画素値の平均値を代表微分値として用いても良い。
【００２７】
この時点で、一つの画像に対し、１６枚の部分画像が生成され、各部分画像について４枚の微分画像が生成され、微分画像毎に一つの代表微分値が算出されている。したがって、一つの画像に対し、１６×４＝６４個の代表微分値が算出されている。この代表微分値の数字の並びが、その画像の特徴量として用いられる。以上の処理が各解像度の画像毎に行われ、それぞれの特徴量が算出される。
【００２８】
次に、上述のようにして算出した各解像度の各学習用画像の特徴量に基づいて、シーン分類を推定するための識別器が作成される。図４（Ｃ）は、識別器のモデルを表す図である。図４（Ｄ）は、識別器による識別結果のパターンを表す図である。特徴量と、その特徴量が示すシーン分類とを教師データとして、ニューラルネットワークで学習させる。ニューラルネットワークとしては、例えば以下の文献に開示される技術が適用されても良い。八木康史・齋藤英雄編、「コンピュータビジョン最先端ガイド２」、アドコム・メディア株式会社、2010年6月発行、p.96-98。また、識別器はニューラルネットワークに限定される必要は無く、例えばＳＶＭ(Support Vector Machine)など、他の識別器が用いられても良い。ＳＶＭとしては、例えば以下の文献に開示される技術が適用されても良い。八木康史・齋藤英雄編、「コンピュータビジョン最先端ガイド２」、アドコム・メディア株式会社、2010年6月発行、p.108-113。
以上の処理が前処理である。
【００２９】
消失点推定部１０２は、以上のようにして前処理によって予め作成された識別器を用いて、シーン分類を行う。具体的には以下の通りである。消失点推定部１０２は、識別器を作成する処理（前処理）と同様にして、入力画像について特徴量を算出する。そして、消失点推定部１０２は、算出された特徴量と、予め設定された識別器と、に基づいて、入力画像のシーンを分類する。そして、消失点推定部１０２は、分類結果に基づいて、入力画像において消失点の存在する位置を推定する。
以上で、消失点推定部１０２の処理についての詳細な説明を終える。
【００３０】
次に、領域選択部１０３の処理について詳細に説明する。
領域選択部１０３は、消失点推定部１０２によって推定された消失点の位置に基づいて、特徴点を検出する領域を選択する。図５を用いて領域選択部１０３の処理について説明する。図５は、領域選択部１０３の処理の具体例を示す図である。なお、以下の説明では、水平方向の線を「水平線」と呼ぶ。
【００３１】
図５に示す入力画像２１０には、左右の壁面、床面、天井、歩行者２０２ａ及び歩行者２０２ｂが撮像されている。消失点２００は、入力画像２１０の中央付近に位置している。まず、領域選択部１０３は、消失点２００の位置に基づいて水平線２０１を定義する。次に、領域選択部１０３は、水平線２０１を用いて入力画像２１０を２つの領域に分割する。そして、領域選択部１０３は、消失点２００の位置より高い領域、即ち水平線２０１より高い領域を、特徴点を検出する領域に選択する。
【００３２】
消失点２００の高さは、一般的に視線の高さにくることが多い。そのため、目の高さに携帯電話のカメラやデジタルカメラを持って撮影すると、消失点の高さはほぼユーザの身長の高さになる。市街地などに存在する動物体は、人物や動物や車両などであることが多い。即ち、消失点２００の位置より低い領域では、動物体が存在する確率は高い。それに対して、消失点２００の位置より高い領域では、動物体が存在する確率が低い。そのため、消失点２００の位置より高い領域が特徴点を検出する領域として選択されることによって、動物体から特徴点を検出してしまうことを防止できる。
【００３３】
また、ユーザの身長や、撮影方法や、シーンにおいて動物体の存在する位置等がある程度既知な場合、領域選択部１０３は動物体の存在する位置に応じて特徴点を検出する領域を選択しても良い。具体的には、領域選択部１０３はユーザの身長や、撮影方法や、シーンにおいて動物体の存在する位置等の情報と特徴点を検出する領域とを対応付けて記憶しておく。領域選択部１０３は、ユーザの身長や、撮影方法や、シーンにおいて動物体の存在する位置を検出する。そして、領域選択部１０３は、検出した情報と記憶している情報とに基づいて、特徴点を検出する領域を選択する。
【００３４】
また、領域選択部１０３は、消失点２００付近の領域を、特徴点を検出する領域から除外しても良い。その理由は以下の通りである。消失点２００付近の領域には、カメラの視点から遠く離れた地点の物体や背景が撮像されている。このような物体や背景には焦点が正確に合っていない場合も多く、ぼやけた画像として撮像されてしまうことが多い。そのため、このような領域の画像から特徴点を検出すると、特徴点の位置の精度が低下してしまうおそれがある。このような問題に対し、上述したように領域選択部１０３は消失点２００付近の領域を特徴点を検出する領域から除外する。そのため、精度よく特徴点を抽出することが可能となる。したがって、特徴点の対応付けの精度を向上させることが可能となる。
【００３５】
また、領域選択部１０３は、消失点の位置に基づいて選択した領域内の一部の領域のみを、特徴点を検出する領域として選択しても良い。例えば、領域選択部１０３は、以下のように動作しても良い。まず、領域選択部１０３は、消失点の位置に基づいて、特徴点を検出する領域の候補を選択する。次に、領域選択部１０３は、選択された領域内においてSaliency（サリエンシー）の値を算出する。そして、領域選択部１０３は、算出されたサリエンシーの値が高い（閾値以上）領域を、特徴点を検出する領域として選択しても良い。Saliencyの算出技術としては、例えば、以下の文献に開示されている技術が適用されても良い。L. Zhang, M. H. Tong, T. K. Marks, H. Shan, and G.W. Cottrell, “SUN: A Bayesian Framework for Saliency Using Natural Statistics”, Journal of Vision, 8(7):32, 2008 1-20。
【００３６】
また、領域選択部１０３は、矩形（例えば、看板やポスターなど）を検出し、検出された矩形の中から更にSaliencyの値が高い領域を、特徴点を検出する領域として選択しても良い。矩形の検出技術としては、例えば以下の文献に開示されている技術が適用されても良い。北原亮、中村高雄、片山淳、安野貴之、「携帯端末上における幾何補正のためのリアルタイム矩形追跡手法」、Technical report of IEICE.ISCE、106(351)、1-6、2006年11月9日。
以上で、領域選択部１０３の処理についての詳細な説明を終える。
【００３７】
次に、距離画像生成部１０５の処理について詳細に説明する。距離画像生成部１０５は、特徴点検出部１０４によって検出された特徴点（領域選択部１０３が選択した領域に存在する特徴点）を用いて３次元座標を算出する。距離画像生成部１０５の処理は以下の通りである。
【００３８】
まず、距離画像生成部１０５は入力画像間において、実空間における同一部分を表す特徴点同士を対応付ける。次に、距離画像生成部１０５は、対応付けられた特徴点に基づいてカメラパラメータの回転・並進パラメータを算出する。距離画像生成部１０５は、算出したカメラパラメータに基づいて、入力画像に撮像されている物体の３次元座標を算出する。距離画像生成部１０５は、算出された３次元座標を用いて距離画像を生成する。
【００３９】
３次元座標の算出過程としては、例えば以下の各文献に開示されている技術が適用されても良い。山田健人、金澤靖、金谷健一、菅谷保之、「２画像からの３次元復元最新アルゴリズム」、情報処理学会研究報告、2009-CVIM-168-15(2009-8)、pp.1-8。菅谷保之、金澤靖、金谷健一、「エピ極線幾何学による２画像間の密な点対応の生成」、情報処理学会研究報告、CVIM2004-148-19(2005-3)、pp.145-152。  以上で、距離画像生成部１０５の処理についての詳細な説明を終える。
【００４０】
次に、構成物体推定部１１１の処理について詳細に説明する。構成物体推定部１１１は、消失点の位置に基づいて、入力画像の領域分割を行う。具体的には、構成物体推定部１１１は消失点の位置に基づいて、入力画像を複数のシーンに分類する。次に、構成物体推定部１１１はシーン分類の結果に基づいて、入力画像に対して初期領域（シード）を設定する。そして、構成物体推定部１１１は、初期領域内の画素値に基づいて、画像を初期領域の数に応じた部分領域（大カテゴリ領域）に分割する。
【００４１】
構成物体推定部１１１は、シーン分類毎に、初期領域の座標を予め記憶している。一つのシーン分類に対して設定される初期領域の数は一つであっても良いし複数であっても良い。初期領域は、シーン分類において一つの面が存在すると推定される領域毎に設定される。例えば、図３（Ａ）のシーン分類では、天井面Ｂを示す初期領域と、左壁面Ａを示す初期領域とが設定される。例えば、図３（Ｂ）のシーン分類では、天井面Ｂを示す初期領域と、左壁面Ａを示す初期領域と、右壁面Ｃを示す初期領域とが設定される。例えば、図３（Ｃ）のシーン分類では、天井面Ｂを示す初期領域と、右壁面Ｃを示す初期領域とが設定される。
【００４２】
各面に設定される初期領域の座標はどのように決められても良い。例えば、初期領域の座標は、上述した前処理で用いられた学習用画像において、各物体の領域として最も多く画像上に現れた領域が初期領域の座標として決定されても良い。例えば、学習用画像毎に各物体の領域の重心を抽出し、各重心の統計的な位置（例えば、重心）から所定範囲の領域を初期領域の座標と決定しても良い。また、予め消失点の位置毎に初期領域を与える座標を設定されていても良い。また、一つのシーン分類に対して設定される初期領域の数は一つであっても良いし複数であっても良い。
【００４３】
領域分割の方法について図６を用いて説明する。図６は、初期領域の具体例を示す図である。図６においては、画像の右下側に、右壁面Ｃに対応する初期領域２１が設定されており、画像の左上部分に天井面Ｂに対応する初期領域２２が設定されている。
【００４４】
次に、構成物体推定部１１１は、初期領域内の画素値に基づいて入力画像を複数の領域に分割する。構成物体推定部１１１の具体的な処理は以下の通りである。構成物体推定部１１１は、初期領域外の領域を、どの初期領域と同種の領域であるか判定する。構成物体推定部１１１は、同種の領域を一つの大カテゴリ領域と判定することによって、入力画像を複数の領域に分割する。構成物体推定部１１１は、例えば画素の色が似ている（画素値の差が閾値より小さい）領域を同種の領域と判定しても良いし、他の判定方法であっても良い。より具体的には、構成物体推定部１１１が初期領域に基づいて行う領域分割の処理は、ｗａｔｅｒｓｈｅｄ法に基づいて行われても良い。ｗａｔｅｒｓｈｅｄ法として、例えば以下の各文献に開示されている技術が適用されても良い。松田晃一訳、「詳細OpenCV-コンピュータビジョンライブラリを使った画像処理・認識」、オーム社、2010年2月発行、p.299-300。
以上で、構成物体推定部１１１の処理についての詳細な説明を終える。
【００４５】
次に、ラベル付与部１１２の処理について詳細に説明する。ラベル付与部１１２は、構成物体推定部１１１によって分割された各大カテゴリ領域に対し、その領域が形成される際に使用された初期領域に対応する大カテゴリラベルを付与する。大カテゴリラベルは、その大カテゴリ領域がどのような物体であるかを示す情報である。例えば、大カテゴリラベルの具体例として、天井、壁、床などがある。各初期領域には大カテゴリラベルが予め定義されている。
【００４６】
なお、初期領域に対して一つの大カテゴリラベルが定義されている場合には、ラベル付与部１１２は、この対応付けを予め記憶している。ラベル付与部１１２は、大カテゴリ領域に対し、予め対応付けられている大カテゴリラベルを付与する。
一方、初期領域に対して複数の大カテゴリラベルが定義されている場合には、ラベル付与部１１２は複数の大カテゴリラベルの中から一つの大カテゴリラベルを選択して付与する。以下、一つの初期領域に対して複数の大カテゴリラベルが定義されている場合のラベル付与部１１２の処理の具体例について説明する。
【００４７】
各大カテゴリラベルには、大カテゴリ領域の画素値に基づいて算出される特徴量が対応付けて定義されている。すなわち、一つの初期領域に対し、大カテゴリラベル及びその特徴量の組合せが複数定義されている。ラベル付与部１１２は、この定義を予め記憶している。大カテゴリラベルに対して対応付けて定義されている特徴量は、例えば以下のような前処理によって予め定義されている。まず、学習用画像から各大カテゴリラベルに相当する領域（例えば壁、天井といった領域）を手動又は画像認識装置などで切り出す。そして、切り出した領域毎に特徴量を算出する。以上の前処理によって、各大カテゴリラベルに対応する特徴量が算出される。
【００４８】
特徴量には、画素値のヒストグラムが用いられてもよいし、Bag of features等のヒストグラムが用いられてもよい。Bag of featuresとしては、例えば以下の文献に開示される技術が適用されても良い。コンピュータビジョン最先端ガイド３，  八木康史・齋藤英雄編，アドコム・メディア株式会社，2010年12月発行，p.90-93。また、例えば特徴量を濃淡値のヒストグラムで表す場合、各画素値（各ビン）での平均値を並べたものを、特徴量としてもよい。
【００４９】
次に、前処理によって定義されている特徴量を用いたラベル付与部１１２の処理について説明する。ラベル付与部１１２は、処理の対象としている大カテゴリ領域について特徴量を算出する。そして、ラベル付与部１１２は、特徴量が最も類似する大カテゴリラベルを選択し、処理の対象としている大カテゴリ領域に対して付与する。
【００５０】
ラベル付与部１１２は、例えば、特徴量としてヒストグラムが与えられた場合、Histogram Intersectionを用いて特徴量の類比を判定しても良い。Histogram Intersectionは、二つのヒストグラムが似ているほど大きな値を示す。二つのヒストグラムをそれぞれＨ１、Ｈ２と表し、ヒストグラムＨのｉ番目のビンの値をＨ［ｉ］と表すと、Histogram Intersectionの値（Ｓ）は以下に示す式１で定義できる。
【数１】
2014052977.tif 000003
二つのヒストグラムがまったく同じ場合に、Histogram Intersectionの値（Ｓ）は最大値をとる。ラベル付与部１１２は、大カテゴリラベル毎にＳの値を算出し、Ｓの値が最も大きい大カテゴリラベルを選択して付与する。
【００５１】
ヒストグラムは、画像サイズによって値が変わらないように下のように正規化してもよい。式２は、正規化したHistogram Intersectionの値（Ｓ’）を表す式である。
【数２】
2014052977.tif 000004
正規化すると、Histogram Intersectionの値（Ｓ’）は０から１の間の値をとる。二つのヒストグラムがまったく同じ場合に、正規化したHistogram Intersectionの値（Ｓ’）は１となる。ラベル付与部１１２は、大カテゴリラベル毎にＳ’の値を算出し、Ｓ’の値が最も大きい（最も１に近い）大カテゴリラベルを選択して付与する。
【００５２】
図７は、本発明の処理の流れを表すフローチャートである。画像入力部１０１は、領域抽出装置１０に対して入力される画像のデータを入力する（ステップＳ１０１）。消失点推定部１０２は、画像入力部１０１が入力した入力画像から消失点の位置を推定する（ステップＳ１０２）。領域選択部１０３は、消失点推定部１０２が推定した消失点の位置に基づいて、特徴点を検出する領域を選択する（ステップＳ１０３）。特徴点検出部１０４は、選択された領域内から特徴点を検出する（ステップＳ１０４）。距離画像生成部１０５は、時間的に近接する２つの入力画像から検出された特徴点を対応付ける。距離画像生成部１０５は、対応付けられた特徴点からカメラパラメータの回転・並進パラメータを算出する（ステップＳ１０５）。距離画像生成部１０５は、算出されたカメラパラメータに基づいて、入力画像に撮像されている構成物体の３次元座標を算出する。（ステップＳ１０６）。距離画像生成部１０５は、算出された３次元座標に基づいて距離画像を生成する（ステップＳ１０７）。
【００５３】
構成物体推定部１１１は、消失点推定部１０２によって推定された消失点の位置に基づいて入力画像の領域を分割する（ステップＳ１０８）。ラベル付与部１１２は、構成物体推定部１１１によって分割された領域にラベルを付与する（ステップＳ１０９）。具体的には、ラベル付与部１１２は消失点の位置に基づいて設定された初期領域の位置に応じて「天井」、「床」、「壁」などのラベルを付与する。注目領域抽出部１１３は、ラベルが付与された画像からSaliencyの値が高い領域をユーザの注目領域として抽出する（ステップＳ１１０）。
【００５４】
以上のように構成された領域抽出装置１０は、消失点の位置に基づいて特徴点を検出する領域を選択する。具体的には、領域抽出装置１０は、動物体が多く撮像されるおそれがある位置（消失点より下の領域）を特徴点を検出する領域から除外する。そして、領域抽出装置１０は、動物体が比較的撮像されない位置（消失点より上の領域）を特徴点の検出領域として選択する。そのため、領域抽出装置１０は、特徴点の対応付けの精度を低下させるおそれのある動物体を除外して特徴点を検出する領域を選択できる。その結果、特徴点の対応付けの精度を向上させることが可能となる。
【００５５】
また、このような処理によって対応付けられた特徴点に基づいてカメラパラメータを算出することによって、カメラパラメータの算出精度を向上させることが可能となる。また、このような処理によって算出されたカメラパラメータに基づいて距離画像を生成することによって、距離画像の生成精度を向上させることが可能となる。また、このような処理によって生成された距離画像を用いて領域分割やラベル付けを行うことによって、領域分割やラベル付けの精度を向上させることが可能となる。また、このようなラベル付けの結果を用いて注目領域を抽出することによって、注目領域の抽出精度を向上させることが可能となる。
【００５６】
＜変形例：構成物体推定部＞
構成物体推定部１１１は以下の方法を用いて、大カテゴリ領域を、更に小さい複数の領域（小カテゴリ領域）に分割しても良い。以下、構成物体推定部１１１の処理の具体例としていくつか説明する。
［平均値シフト法］
構成物体推定部１１１は、初期領域を設定しない方法で大カテゴリ領域を複数の細かい領域に分割しても良い。このような分割手法として、以下の文献に開示された平均値シフト法がある。松田晃一訳、「詳細OpenCV-コンピュータビジョンライブラリを使った画像処理・認識」、オーム社、2010年2月発行、p.301-303。
【００５７】
［初期領域を用いた分割法（初期領域数未知）］
前処理として、各大カテゴリラベルにおいて含まれている可能性のある物体を、共起情報として学習しておく。例えば、大カテゴリラベルが壁の場合には、小カテゴリとなる物体して、ポスター、シャッター、窓、扉、が含まれる可能性が有るという学習結果が得られる。そして、各物体の画素値の特徴量が学習結果として予め取得される。構成物体推定部１１１は、この学習結果を予め記憶している。したがって、構成物体推定部１１１は共起情報記憶部としても機能する。構成物体推定部１１１は、大カテゴリ領域の画素値と学習結果の特徴量とに基づいて、大カテゴリ領域内にどのような物体が含まれているかを推測する。構成物体推定部１１１は、含まれていると推測された物体の数に応じた数の初期領域を、領域内に設定する。そして、構成物体推定部１１１は、初期領域に基づいて領域分割を行っても良い。
【００５８】
［初期領域を用いた分割法（初期領域数既知）］
各大カテゴリラベルにおいて、初期領域数が予め設定されている。例えば、大カテゴリラベルが壁の場合に、必ずポスターとシャッターの二つの物体が含まれることがわかっているとする。この場合には、大カテゴリラベル「壁」に対応付けて、初期領域の数「２」が予め対応付けられている。構成物体推定部１１１は、大カテゴリラベルに対応付けられた数の初期領域を、大カテゴリ領域内に設定する。そして、構成物体推定部１１１は、初期領域に基づいて領域分割を行っても良い。
【００５９】
［初期領域を用いた分割法（初期領域数候補）］
各大カテゴリラベルにおいて、初期領域数の候補が複数設定されている。例えば、「壁」という大カテゴリラベルに対して、ポスター及びシャッターの二つの物体が含まれる場合と、ポスターのみが含まれる場合とがある。この場合には、大カテゴリラベル「壁」に対応付けて、初期領域の数「２」と「１」とが予め対応付けられている。さらに、各初期領域の数に対し、予め学習用画像に基づいて得られている特徴量が対応付けられている。構成物体推定部１１１は、大カテゴリ領域の画素値に基づいて特徴量を算出し、各初期領域の数に対応付けられた特徴量と比較することによって、初期領域の数を決定する。なお、特徴量には、カラーヒストグラムやBag of featuresのヒストグラムなど、比較に適していればどのような特徴量が用いられても良い。また、特徴量の比較方法としては、各特徴量に適した方法が適用される。例えば、カラーヒストグラムを特徴量とした場合には、上述したHistogram Intersectionが用いられても良い。
【００６０】
以下、カラーヒストグラムを特徴量として用いた場合の処理の具体例について説明する。前処理として、まず学習用画像から、大カテゴリラベルが壁の領域を手動等の手法によって切り出す。次に、壁上にポスターがある領域と、壁上にシャッターがある領域と、壁上にシャッター及びポスターがある領域との３つに分類する。次に、切り出した領域それぞれのカラーヒストグラムを算出する。そして、算出されたヒストグラムの平均値や最頻値等の値を、各分類の特徴量とする。以上が前処理である。
【００６１】
構成物体推定部１１１は、大カテゴリ領域の特徴量と、各分類の特徴量とを比較する。構成物体推定部１１１は、最も特徴量が類似している分類を選択し、初期領域の数を決定する。例えば、大カテゴリ領域「壁」の領域の特徴量と、壁上にポスターのみがある領域の特徴量とが最も類似していた場合、大カテゴリ領域「壁」の分割数は２となる。構成物体推定部１１１は、大カテゴリラベルに対応付けられた数の初期領域を、大カテゴリ領域内に設定する。そして、構成物体推定部１１１は、初期領域に基づいて領域分割を行っても良い。
【００６２】
＜変形例：ラベル付与部＞
次に、構成物体推定部１１１が大カテゴリ領域を分割した際に、ラベル付与部１１２が行う処理について詳細に説明する。小カテゴリラベルは、各小カテゴリ領域に対して付与される情報である。小カテゴリラベルは、その小カテゴリ領域がどのような物体であるかを示す情報である。例えば、小カテゴリラベルの具体例として、ポスター、看板、シャッター、窓などがある。各大カテゴリラベルには、その中に含まれる可能性のある小カテゴリラベルが予め定義されている。ラベル付与部１１２は、各小カテゴリ領域に対し、その小カテゴリ領域を内包している大カテゴリラベルに対応付けられているラベルを付与する。
【００６３】
なお、大カテゴリラベルに対して一つの小カテゴリラベルが定義されている場合には、ラベル付与部１１２はその小カテゴリラベルを小カテゴリ領域に付与する。
一方、大カテゴリラベルに対して複数の小カテゴリラベルが定義されている場合には、ラベル付与部１１２は、小カテゴリ領域毎に複数の小カテゴリラベルの中から一つの小カテゴリラベルを選択して付与する。以下、一つの大カテゴリラベルに対して複数の小カテゴリラベルが定義されている場合のラベル付与部１１２の処理の具体例について説明する。
【００６４】
小カテゴリラベルには、小カテゴリ領域の画素値に基づいて算出される特徴量が対応付けて定義されている。小カテゴリラベルに対して対応付けて定義されている特徴量は、例えば以下のような前処理によって予め定義されている。まず、学習用画像から、小カテゴリラベルに相当する領域を手動又は画像認識装置などで切り出す。そして、切り出した領域毎に特徴量を算出する。
【００６５】
特徴量には、画素値のヒストグラムが用いられてもよいし、Bag of features等のヒストグラムが用いられてもよい。Bag of featuresとしては、例えば以下の文献に開示される技術が適用されても良い。コンピュータビジョン最先端ガイド３，  八木康史・齋藤英雄編，アドコム・メディア株式会社，2010年12月発行，p.90-93。また、例えば特徴量を濃淡値のヒストグラムで表す場合、各画素値（各ビン）での平均値を並べたものを、特徴量としてもよい。
【００６６】
また、大カテゴリラベルと、それに内包される小カテゴリラベルとの共起情報を、学習用画像に基づいて予め取得しておく。すなわち、大カテゴリラベルと小カテゴリラベルとの組合せ毎に、共起情報を予め定義しておく。
以上の前処理によって、各小カテゴリラベルに対応する特徴量と、大カテゴリラベル及び小カテゴリラベルの組合せ毎の共起情報が算出される。構成物体推定部１１１は、この共起情報の対応付けを予め記憶している。したがって、構成物体推定部１１１は共起情報記憶部としても機能する。
【００６７】
次に、前処理によって定義されている特徴量を用いたラベル付与部１１２の処理について説明する。ラベル付与部１１２は、処理の対象としている小カテゴリ領域について特徴量を算出する。次に、ラベル付与部１１２は、共起情報に基づいて、処理の対象としている大カテゴリラベルにおいて内包される可能性の高い小カテゴリラベルを選択する。そして、ラベル付与部１１２は、選択された小カテゴリラベルの特徴量と、小カテゴリ領域から算出された特徴量とを比較する。ラベル付与部１１２は、特徴量が最も類似する小カテゴリラベルを選択し、処理の対象としている小カテゴリ領域に対して付与する。
【００６８】
ラベル付与部１１２は、例えば、特徴量としてヒストグラムが与えられた場合、Histogram Intersectionを用いて特徴量の類比を判定しても良い。Histogram Intersectionは、二つのヒストグラムが似ているほど大きな値を示す。二つのヒストグラムをそれぞれＨ１、Ｈ２と表し、ヒストグラムＨのｉ番目のビンの値をＨ［ｉ］と表すと、Histogram Intersectionの値（Ｓ）は以下に示す式３で定義できる。
【数３】
2014052977.tif 000005
二つのヒストグラムがまったく同じ場合に、Histogram Intersectionの値（Ｓ）は最大値をとる。ラベル付与部１１２は、小カテゴリラベル毎にＳの値を算出し、Ｓの値が最も大きい小カテゴリラベルを選択して付与する。
【００６９】
ヒストグラムは、画像サイズによって値が変わらないように下のように正規化してもよい。式４は、正規化したHistogram Intersectionの値（Ｓ’）を表す式である。
【数４】
2014052977.tif 000006
正規化すると、Histogram Intersectionの値（Ｓ’）は０から１の間の値をとる。二つのヒストグラムがまったく同じ場合に、正規化したHistogram Intersectionの値（Ｓ’）は１となる。ラベル付与部１１２は、小カテゴリラベル毎にＳ’の値を算出し、Ｓ’の値が最も大きい（最も１に近い）小カテゴリラベルを選択して付与する。
【００７０】
＜その他の変形例＞
本発明の一実施形態は、対応付け装置として構成されても良い。対応付け装置は、消失点推定部１０２、領域選択部１０３、特徴点検出部１０４に加えて対応付け部を備える。対応付け部は、上述した距離画像生成部１０５が行う処理のうち、実空間における同一部分を表す特徴点同士を対応付ける処理を行う。
本実施例では、特徴点検出部１０４が検出した特徴点をラベル付けの処理に使用する一実施例で示したが、それに限定される必要はなく、他の処理に使用されても良い。
【００７１】
特徴点検出部１０４は、以下のような処理を行うことによって画像上での特徴点検出を高速化しても良い。もともと十分な解像度の画像が得られている場合、特徴点検出部１０４は、画像上で消失点２００から遠い領域（ある閾値以上の画素数離れた領域）においては、元画像の１／２や１／４などに解像度をおとした状態で特徴点を検出する。一方、特徴点検出部１０４は、画像上で消失点２００に近い領域においては、元画像の解像度で特徴点を検出する。通常、画像上の消失点２００に向かうほど、カメラと被写体との距離が遠くなる。そのため、カメラから近い位置で撮像された被写体に比べて、消失点２００付近で撮像された被写体の解像度は低くなる。即ち、カメラから近い位置で撮像された被写体に比べて、消失点２００付近で撮像された被写体はぼやけた画像として撮像されてしまう。そのため、上記のような処理を行うことによって、特徴点の検出精度を過剰に低下させることなく、画像上での特徴点検出を高速化させることが可能となる。
【００７２】
距離画像生成部１０５は、カメラパラメータの回転・並進パラメータを算出後に図５の水平線２０１より下の領域において特徴点の検出を行い、特徴点の３次元座標を算出しても良い。
ラベル付与部１１２は、入力画像内で検出される線分によって分けられる各領域に対してラベルを付与しても良い。図６を用いて具体例について説明する。例えば、ラベル付与部１１２は、初期領域２２を含む領域（直線３３より上の領域）を天井と判断しても良い。また、距離画像に基づいて上部の平面の形状がわかる場合、ラベル付与部１１２は、上部の平面を天井と判断しても良い。同様に、ラベル付与部１１２は、初期領域２１を含む領域（直線３３より下の領域）を壁と判断しても良い。
【００７３】
また、ラベル付与部１１２は壁とラベル付けされた領域内において矩形検出を行い、矩形内のSaliencyの値が閾値以上であれば、その矩形をポスターや看板と判断しても良い。
市街地や店舗の画像を処理の対象としている場合、ユーザの興味は「壁」とラベルが付与された領域に多い。ラベル付与部１１２は、「壁」とラベルが付与された領域が、店舗のシャッターや壁であるのか、店舗の商品群なのかラベルを付与する際に距離画像を用いる。「壁」とラベルが付与された領域が店舗のシャッターの場合は、平面上に特徴点の３次元座標がのると考えられる。壁とラベルが付与された領域が商品群の場合は、通路から更に奥まった空間に設置されているため、平面上にのらないと考えられる。
【００７４】
そこで、ラベル付与部１１２は３次元座標点から平面を作成し、壁とラベル付けされた領域内の３次元座標点が一つの平面にのる場合は、「壁」とラベルを付与する。また、壁とラベルが付与された領域内の３次元座標点が一つの平面にのらない場合は、対象物体に凹凸があると考えられるので、「商品群」とラベルを付与する。３次元座標点から平面を作成する方法としては、例えば以下の文献に開示されている技術が適用されても良い。石川裕治、宮川勲、若林佳織、有川知彦、「ＭＤＬ原理に基づく３次元点集合からの建物モデル復元」、情報処理学会論文誌、vol.44、No. SIG 9(CVIM 7)、2003年7月15日、pp.64-74。
【００７５】
また、例えば、密な距離画像が生成できる場合は、距離画像からBag-of-keypointsによって表現された特徴ベクトルをNaive Bayes、ＳＶＭなどの機械学習によって物体認識を行っても良い。Bag-of-keypointsとして、例えば以下の文献に開示されている技術が適用されても良い。G. Csurka, C. R. Dance, L. Fan, J. Willamowski, and C. Bray, Visual categorization with bags of keypoints, in Proc. of ECCV Workshop on Statistical Learning in Computer Vision, pp. 59-74 (2004)。
【００７６】
ラベル付与部１１２は、特徴量を比較する際に、各小カテゴリラベルにおける比較結果を示す値（以下、「比較値」という。）を領域共起情報に基づいて補正しても良い。比較値とは、例えば上述した式３によって得られる値Ｓや、式４によって得られる値Ｓ’等である。ラベル付与部１１２は、処理の対象としている大カテゴリラベルにおいて、内包される可能性の高いことを示す共起情報を持つ小カテゴリラベルの比較値に対しては、その値がより類似していることを示す値となるように補正する。一方、ラベル付与部１１２は、処理の対象としている大カテゴリラベルにおいて、内包される可能性の低いことを示す共起情報を持つ小カテゴリラベルの比較値に対しては、その値がより類似していないことを示す値となるように補正する。そして、ラベル付与部１１２は、補正後の比較値に基づいて小カテゴリラベルを選択する。
【００７７】
構成物体推定部１１１は、ラベル付与部１１２の処理結果のフィードバックを受けて、再度分割処理を行うように構成されても良い。以下、フィードバックの処理について具体例を説明する。
構成物体推定部１１１は、ラベル付与部１１２の処理結果と、大カテゴリラベルとの組合せ毎に、整合性を判断するための条件を予め記憶している。構成物体推定部１１１は、大カテゴリラベル毎に、整合性の条件が満たされているか否か判定する。整合性の条件が満たされている場合には、構成物体推定部１１１はその大カテゴリ領域について、再度の分割処理は行わない。一方、整合性の条件が満たされていない場合には、構成物体推定部１１１は、再度の分割処理を行う。
【００７８】
図８は、フィードバックの処理の具体例を示す図である。図８（Ａ）は、入力画像の具体例を示す図である。図８（Ｂ）は、ラベル付与部１１２による最初の処理結果を示す図である。図８（Ｂ）は、直線３３を境界として、上方向に大カテゴリ領域３１が設定され「天井」のラベルが付与され、下方向に大カテゴリ領域３２が設定され「壁」のラベルが付与されている。図８（Ｃ）は、ラベル付与部１１２による最初の処理結果を示す図である。図８（Ｃ）では、大カテゴリ領域３１の内部において、看板のラベルを有する小カテゴリ領域３１１が設定されている。
【００７９】
天井と壁との境界線が直線３３であるとすると、看板の小カテゴリ領域３１１は天井に埋まってしまうことになり、現実の状況では生じ得ない。そのため、天井の大カテゴリラベルと看板の小カテゴリラベルとの整合性の条件として、看板の小カテゴリ領域が境界線に接している又は跨いでいることが予め設定されている。構成物体推定部１１１は、図８（Ｃ）に示される処理結果では、予め設定されている条件が満たされていないと判定する。そして、構成物体推定部１１１は、看板の小カテゴリ領域が境界線（直線３３）に接する又はこれを跨ぐように、領域分割処理をやりなおす。図８（Ｄ）は、構成物体推定部１１１が領域分割処理を再度行った結果を示す図である。図８（Ｄ）に示されるように、構成物体推定部１１１は、ラベル付与部１１２の処理結果と整合性の条件とに基づいて、この条件を満たすように領域分割を行う。このように、フィードバック処理を施すことにより、さらに精度良く領域を分割しラベルを付与することが可能となる。
【００８０】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８１】
１０…領域抽出装置，  １００…画像生成部，  １０１…画像入力部，  １０２…消失点推定部，  １０３…領域選択部，  １０４…特徴点検出部，  １０５…距離画像生成部（対応付け部），  １１０…ラベル付け処理部，  １１１…構成物体推定部，  １１２…ラベル付与部，  １１３…注目領域抽出部，  ２００…消失点，  ２０１…水平線，  ２０２（２０２ａ及び２０２ｂ）…歩行者（人物）
【図１】
2014052977.tif 000007
【図２】
2014052977.tif 000008
【図５】
2014052977.tif 000009
【図７】
2014052977.tif 000010
【図３】
2014052977.tif 000011
【図４】
2014052977.tif 000012
【図６】
2014052977.tif 000013
【図８】
2014052977.tif 000014