(57)【要約】【課題】面の境界線を精度良く求め、境界線から擬似的な３次元データを生成することができる境界線検出装置を提供する。【解決手段】消失点算出処理部１０は、撮影画像から直線検出を行って消失点を算出する。境界線候補領域決定処理部１１は、消失点の位置に基づいて境界線候補領域を決定する。境界線候補直線検出処理部１２は、境界線候補領域のコントラストを上げて再度直線検出を行って境界線候補直線を検出する。特徴量算出処理部１３は、境界線候補直線で区切られた境界線候補領域内の各々の特徴量を算出する。境界線決定処理部１４は、境界線候補領域の各々の特徴量の距離を算出し、境界線候補直線の中から境界線を決定する。出力処理部１５は、境界線、または境界線と消失点とから算出した奥行推定データを出力する。【選択図】図１
2012234431.tif 000002
【特許請求の範囲】
【請求項１】
奥行情報が与えられておらず、かつコントラストの低い撮影画像から境界線データを生成する境界線検出装置であって、
前記撮影画像から直線検出を行い、検出した直線に基づいて消失点を算出する消失点算出手段と、
前記消失点算出手段によって算出された消失点の位置に基づいて、前記撮影画像内の壁が存在することを示す境界線候補領域を決定する境界線候補領域決定手段と、
前記境界線候補領域決定手段によって決定された境界線候補領域中に対して直線検出を行って境界線候補直線を検出する境界線候補直線検出手段と、
前記境界線候補直線検出手段によって検出された境界線候補直線で区切られた境界線候補領域内の各々の特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された、区切られた境界線候補領域の各々の特徴量に基づいて前記境界線候補領域間の距離を算出し、該特徴量の距離に基づいて前記境界線候補直線の中から境界線である直線を決定する境界線決定手段と、
前記境界線決定手段によって決定された境界線、または前記境界線決定手段によって決定された境界線と消失点とから算出した奥行推定データを出力する出力手段と
を備えることを特徴とする境界線検出装置。
【請求項２】
前記境界線候補直線検出手段は、
前記境界線候補領域内の画像のコントラストを上げて直線検出を行い、前記境界線候補直線を検出することを特徴とする請求項１に記載の境界線検出装置。
【請求項３】
前記境界線決定手段は、
前記境界線候補領域内の区切られた領域同士の特徴量の距離を求め、該距離が大きい候補を境界線として決定することを特徴とする請求項１または２に記載の境界線検出装置。
【請求項４】
奥行情報が与えられておらず、かつコントラストの低い撮影画像から境界線データを生成する境界線検出方法であって、
前記撮影画像から直線検出を行い、検出した直線に基づいて消失点を算出する消失点算出ステップと、
前記消失点算出ステップで算出された消失点の位置に基づいて、前記撮影画像内の面が存在することを示す境界線候補領域を決定する境界線候補領域決定ステップと、
前記境界線候補領域決定ステップで決定された境界線候補領域中に対して直線検出を行って境界線候補直線を検出する境界線候補直線検出ステップと、
前記境界線候補直線検出ステップで検出された境界線候補直線で区切られた境界線候補領域内の各々の特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップで算出された、区切られた境界線候補領域の各々の特徴量に基づいて前記境界線候補領域間の距離を算出し、該特徴量の距離に基づいて前記境界線候補直線の中から境界線である直線を決定する境界線決定ステップと、
前記境界線決定ステップで決定された境界線、または前記境界線決定ステップで決定された境界線と消失点とから算出した奥行推定データを出力する出力ステップと
を含むことを特徴とする境界線検出方法。
【請求項５】
前記境界線候補直線検出ステップは、
前記境界線候補領域内の画像のコントラストを上げて直線検出を行い、前記境界線候補直線を検出することを特徴とする請求項４に記載の境界線検出方法。
【請求項６】
前記境界線決定ステップは、
前記境界線候補領域内の区切られた領域同士の特徴量の距離を求め、該距離が大きい候補を境界線として決定することを特徴とする請求項４または５に記載の境界線検出方法。
【請求項７】
奥行情報が与えられておらず、かつコントラストの低い撮影画像から境界線データを生成する境界線検出装置のコンピュータに、
前記撮影画像から直線検出を行い、検出した直線に基づいて消失点を算出する消失点算出機能、
前記消失点算出機能によって算出された消失点の位置に基づいて、前記撮影画像内の面が存在することを示す境界線候補領域を決定する境界線候補領域決定機能、
前記境界線候補領域決定機能によって決定された境界線候補領域中に対して直線検出を行って境界線候補直線を検出する境界線候補直線検出機能、
前記境界線候補直線検出機能によって検出された境界線候補直線で区切られた境界線候補領域内の各々の特徴量を算出する特徴量算出機能、
前記特徴量算出機能によって算出された、区切られた境界線候補領域の各々の特徴量に基づいて前記境界線候補領域間の距離を算出し、該特徴量の距離に基づいて前記境界線候補直線の中から境界線である直線を決定する境界線決定機能、
前記境界線決定機能によって決定された境界線、または前記境界線決定機能によって決定された境界線と消失点とから算出した奥行推定データを出力する出力機能
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、建物や建物内など面で構成させるシーンを撮影した奥行き情報を有さない１枚の撮影画像から奥行き推定データを生成するための境界線検出装置、境界線検出方法、及びプログラムに関する。
【背景技術】
【０００２】
一枚の写真の画像データから建物を直方体と仮定し、エッジ抽出を行い、消失点の位置から３次元復元を行う手法がある（例えば非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】情報処理学会研究報告. CVIM, "１枚の画像からの３次元復元の統計的最適化", 2004(113), 117-124, 2004-11-11
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、建物内等を３次元表示するためには、面と面（天井と壁、壁と床など）の境界線を検出することが重要である。しかしながら、面と面の境界は影になっていることが多く、コントラストが低いため、画像上でエッジとして検出され難い。
【０００５】
図５（ａ）に示すように、入力画像１０１にエッジ検出処理を施した画像１０２から分かるように、面と面の境界線は、直線として検出されていない。一方、図５（ｂ）に示すように、境界線がエッジとして検出されるように、全体のコントラストを上げた画像１０３を用いると、画像１０４、１０５から分かるように直線が多数検出され、多数検出された直線群から境界線を決定するのが困難となる。
【０００６】
上述したように、従来技術では、一枚の画像から建物等を構成する平面の３次元復元をする際、平面間の境界線は、画像上でコントラストが低いため、直線として検出し難く、３次元復元の際に、面の境界が一意に決定できないという問題があった。
【０００７】
本発明は、このような事情を考慮してなされたものであり、その目的は、面の境界線を精度良く求め、境界線から擬似的な３次元データを生成することができる境界線検出装置、境界線検出方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本発明は、奥行情報が与えられておらず、かつコントラストの低い撮影画像から境界線データを生成する境界線検出装置であって、前記撮影画像から直線検出を行い、検出した直線に基づいて消失点を算出する消失点算出手段と、前記消失点算出手段によって算出された消失点の位置に基づいて、前記撮影画像内の壁が存在することを示す境界線候補領域を決定する境界線候補領域決定手段と、前記境界線候補領域決定手段によって決定された境界線候補領域中に対して直線検出を行って境界線候補直線を検出する境界線候補直線検出手段と、前記境界線候補直線検出手段によって検出された境界線候補直線で区切られた境界線候補領域内の各々の特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された、区切られた境界線候補領域の各々の特徴量に基づいて前記境界線候補領域間の距離を算出し、該特徴量の距離に基づいて前記境界線候補直線の中から境界線である直線を決定する境界線決定手段と、前記境界線決定手段によって決定された境界線、または前記境界線決定手段によって決定された境界線と消失点とから算出した奥行推定データを出力する出力手段とを備えることを特徴とする境界線検出装置である。
【０００９】
本発明は、上記の発明において、前記境界線候補直線検出手段は、前記境界線候補領域内の画像のコントラストを上げて直線検出を行い、前記境界線候補直線を検出することを特徴とする。
【００１０】
本発明は、上記の発明において、前記境界線決定手段は、前記境界線候補領域内の区切られた領域同士の特徴量の距離を求め、該距離が大きい候補を境界線として決定することを特徴とする。
【００１１】
また、上述した課題を解決するために、本発明は、奥行情報が与えられておらず、かつコントラストの低い撮影画像から境界線データを生成する境界線検出方法であって、前記撮影画像から直線検出を行い、検出した直線に基づいて消失点を算出する消失点算出ステップと、前記消失点算出ステップで算出された消失点の位置に基づいて、前記撮影画像内の面が存在することを示す境界線候補領域を決定する境界線候補領域決定ステップと、前記境界線候補領域決定ステップで決定された境界線候補領域中に対して直線検出を行って境界線候補直線を検出する境界線候補直線検出ステップと、前記境界線候補直線検出ステップで検出された境界線候補直線で区切られた境界線候補領域内の各々の特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップで算出された、区切られた境界線候補領域の各々の特徴量に基づいて前記境界線候補領域間の距離を算出し、該特徴量の距離に基づいて前記境界線候補直線の中から境界線である直線を決定する境界線決定ステップと、前記境界線決定ステップで決定された境界線、または前記境界線決定ステップで決定された境界線と消失点とから算出した奥行推定データを出力する出力ステップとを含むことを特徴とする境界線検出方法である。
【００１２】
本発明は、上記の発明において、前記境界線候補直線検出ステップは、前記境界線候補領域内の画像のコントラストを上げて直線検出を行い、前記境界線候補直線を検出することを特徴とする。
【００１３】
本発明は、上記の発明において、前記境界線決定ステップは、前記境界線候補領域内の区切られた領域同士の特徴量の距離を求め、該距離が大きい候補を境界線として決定することを特徴とする。
【００１４】
また、上述した課題を解決するために、本発明は、奥行情報が与えられておらず、かつコントラストの低い撮影画像から境界線データを生成する境界線検出装置のコンピュータに、前記撮影画像から直線検出を行い、検出した直線に基づいて消失点を算出する消失点算出機能、前記消失点算出機能によって算出された消失点の位置に基づいて、前記撮影画像内の面が存在することを示す境界線候補領域を決定する境界線候補領域決定機能、前記境界線候補領域決定機能によって決定された境界線候補領域中に対して直線検出を行って境界線候補直線を検出する境界線候補直線検出機能、前記境界線候補直線検出機能によって検出された境界線候補直線で区切られた境界線候補領域内の各々の特徴量を算出する特徴量算出機能、前記特徴量算出機能によって算出された、区切られた境界線候補領域の各々の特徴量に基づいて前記境界線候補領域間の距離を算出し、該特徴量の距離に基づいて前記境界線候補直線の中から境界線である直線を決定する境界線決定機能、前記境界線決定機能によって決定された境界線、または前記境界線決定機能によって決定された境界線と消失点とから算出した奥行推定データを出力する出力機能を実行させることを特徴とするプログラムである。
【発明の効果】
【００１５】
この発明によれば、面の境界線を精度良く求めることができ、境界線から擬似的な３次元データを生成することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態による境界線検出装置の構成（及び処理の流れ）を示すブロック図である。
【図２】本実施形態において、壁と天井との境界線候補領域、及び境界線を検出する一例を説明するための概念図である。
【図３】本実施形態による、特徴量算出手法を説明するための概念図である。
【図４】本実施形態による、床と壁との境界線から３次元復元を行う手法を説明するための概念図である。
【図５】従来技術において、境界線検出を困難にする要因を示す概念図である。
【発明を実施するための形態】
【００１７】
本発明では、消失点を用いて境界線の存在する候補領域を限定し、限定された候補領域内において境界線検出における閾値を２段階にすることで、さらにコントラストを上げ、必要な候補領域のみから再度エッジ検出を行って境界線候補を検出し、境界線候補で区切られた２つの候補領域それぞれのヒストグラムや、混合ガウス分布といった特徴量を算出し、その特徴量同士の距離を算出し、区切られた候補領域同士の特徴量の距離が一番離れたときの直線を境界線として決定する。これにより、面の境界線を精度良く求めることができ、境界線から擬似的な３次元データを生成することが可能となる。
【００１８】
本発明のように、消失点算出によるジオメトリ推定とジオメトリ推定による境界線候補領域の算出、境界線候補領域の限定による２段階に分けたコントラスト変化を実現、さらに、境界線候補直線で区切られた２領域の特徴量を比較することで、コントラストが低くても面の境界線検出精度を上げることが可能となる。
【００１９】
以下、本発明の一実施形態を、図面を参照して説明する。
図１は、本実施形態による境界線検出装置の構成（及び処理の流れ）を示すブロック図である。境界線検出装置１は、消失点算出処理部１０、境界線候補領域決定処理部１１、境界線候補直線検出処理部１２、特徴量算出処理部１３、境界線決定処理１４、及び出力処理部１５から構成されている。
【００２０】
消失点算出処理部１０は、撮影画像から直線検出を行い、直線情報に基づいて消失点を算出する。境界線候補領域決定処理部１１は、消失点の位置に基づいて、壁の境界線が存在すると思われる境界線候補領域を決定する。境界線候補直線検出処理部１２は、境界線候補領域中のみ直線検出を行って境界線候補直線を算出する。
【００２１】
特徴量算出処理部１３は、境界線候補直線で区切られた境界線候補領域内それぞれの特徴量を算出する。境界線決定処理１４は、区切られた境界線候補領域それぞれの特徴量に基づいて、境界線候補領域間の距離を算出し、該距離値に基づいて、境界線候補直線から境界線である直線を決定する。出力処理部１５は、境界線、または境界線と消失点とから算出される奥行推定データを出力する。
【００２２】
まず、消失点算出処理１０による、消失点を算出する手法ついて説明する。
単に、検出された直線の交点を算出し、消失点としてもよいが、消失点と関係のない直線が多く画像中に含まれる場合には、投票を用いてより精度良く交点を算出する手法もある。例えば、入力画像から直線を検出し、検出された直線群の中からランダムに２本ずつ直線を抽出して交点を算出し、その交点を通過する直線を直線群から抽出し、その数を交点への投票数とする。投票数の一番多い点座標を消失点としてもよい。
【００２３】
また、消失点の場所毎に、予め学習を行って識別器を作成しておき、入力画像を識別器にかけることで、大よその消失点の候補位置を決めておき、その候補位置を通過する直線のみから、直線同士の交点を算出し、一番多く直線が通過する交点を消失点として算出してもよい。
【００２４】
次に、境界線候補領域決定処理部１１による、境界線が存在する境界線候補領域を限定する手法について説明する。図２（ａ）、（ｂ）は、本実施形態において、壁と天井との境界線、及び境界線候補領域を検出する一例を説明するための概念図である。図２（ａ）において、画像３０１は、入力画像をＣａｎｎｙエッジ検出器［文献１：J.Canny : A computational approach to edge detection. "IEEE Transactions on pattern Analysus and machine Intelligence" #8(1986) : 679-714］にかけ、エッジを検出した結果である。該画像３０１のエッジ情報を元に直線を検出する。
【００２５】
図２（ａ）において、画像３０２に示すように、画像中で消失点を通る直線のなかで、一番傾きの大きい直線３０３を、面と面の境界線に近い直線とし、境界線の存在候補領域の端とする。消失点を通る一番傾きの大きい直線３０３から、消失点を通過する垂線３０４までの囲まれた領域を境界線候補領域３０５とする。消失点を通過する垂線が、後述するように（図３参照）、画像外にある場合には、境界線が存在する境界線候補領域を画像上で直線３０３より上の部分とする。
【００２６】
次に、境界線候補直線検出処理部１２の境界線候補直線の算出手法について説明する。図２（ｂ）において、画像３０６に示すように、境界線候補領域３０７のコントラストを上げ、直線を検出する。直線３０８、３０９が検出された直線である。初めからコントラスを上げると、消失点を通らない多数のノイズに相当する直線も検出してしまい、正確に消失点を算出するのが困難となる。
【００２７】
これに対して、本発明のように、消失点算出と境界線検出との２段階に分けてコントラストを変化させることで、それぞれの精度を向上させることが可能となる。検出された直線３０８と３０９を境界線候補とし、それぞれの候補線が境界線である確からしさを特徴量算出処理により算出する。すなわち、まず、消失点を算出し、消失点から境界線の存在する候補領域を決める（図２（ａ））。次に、候補領域のコントラストを上げることで境界線候補を決める（図２（ｂ））。
【００２８】
次に、特徴量算出処理部１３の特徴量算出手法について説明する。
図３（ａ）、（ｂ）は、本実施形態による、特徴量算出手法を説明するための概念図である。図３（ａ）に示すように、境界線候補直線４０４を取り上げた場合、境界線候補直線４０４で区切られた、端４０５とする境界線候補領域のそれぞれの２領域４０２、４０３の特徴量を算出する。ここでは、各領域でのカラー画像でのＲＧＢでのそれぞれの画素値のヒストグラムを特徴量としてもよいし、グラフ４０６ａ、４０６ｂで示すように、ヒストグラムを混合ガウシアン分布で近似したものを特徴量としてもよい。
【００２９】
また、特徴量は、境界線候補領域内の区切られた２領域４０２、４０３すべての画素値を使って算出してもよいし、図３（ｂ）に示すように、区切られた領域４０７内それぞれの中の一部、例えば、１０画素×１０画素の領域をそれぞれとってきて、特徴量を算出してもよい。図３（ｂ）に示す区切られた領域４０７、４０８、４０９、４１０にあるように、ランダムに１０画素×１０画素の領域を複数個選択し、それぞれの領域内での特徴量を算出し、例えば、領域４０７と領域４０９、領域４０７と領域４１０、領域４０８と領域４０９、領域４０８と領域４１０との特徴量の距離といったように、各領域同士の特徴量の距離を算出し、その平均値を２領域の距離としてもよい。
【００３０】
次に、境界線決定処理１４による、境界線候補直線から境界線である直線を決定する手法について説明する。特徴量算出処理において、ヒストグラムを特徴量とした場合、境界で区切られたそれぞれの領域のヒストグラム間の距離をバタチャリア距離で表す。ヒストグラムをＤｉとすると、バタチャリヤ距離は、以下の数式（１）で表される。
【００３１】
【数１】
2012234431.tif 000003
【００３２】
特徴量算出処理において、ＧＭＭ（混合ガウス分布モデル：Gaussian Mixture Model）で特徴量を表現している場合には、ＧＭＭ間の距離を求め、その距離が一番大きくなるよう区切った候補直線を境界線として決定する。
ＧＭＭ間の距離は、次式（２）で表される。
【００３３】
【数２】
2012234431.tif 000004
【００３４】
Ｄｉは、カラー画像のヒストグラムであり、Ｍｉは、Ｄｉから作成したＧＭＭを表している。２つの領域が似ていれば、各ＧＭＭからの生成確率が近くなるため、距離は、小さくなる。上記数式（２）は、Ｍ１とＭ２に対して非対称であるため、ＧＭＭのＭ１とＭ２間の距離は、最終的に次式（３）により計算される。
【００３５】
【数３】
2012234431.tif 000005
【００３６】
なお、境界線で区切られた２領域の特性を捉えた特徴量と距離算出法であれば、上記以外のものでも何でもよい。このように、分割された２領域の特性が一番離れるように決定した直線を境界線と決定する。すなわち、境界線候補領域内の区切られた２つの領域の特徴量の距離を求め、距離が大きい（似ていない）候補を採用する。
【００３７】
以上、天井と壁との境界線について説明したが、図４（ａ）に示すように、床と壁の境でも同様である。画像５０１において、消失点５０７を算出し、消失点５０７を通る直線のうちで、一番傾きの大きい直線５０２を選択する。直線５０２と消失点５０７とを通る垂線５０３とで囲まれた境界線候補領域から境界線候補直線５０６を検出する。画像５０５内の境界線候補直線５０６で区切られた２領域のカラーヒストグラム等を算出し、その距離値を計算する。そして、閾値以上であれば、境界線として決定とする。
【００３８】
次に、出力処理部１５による出力手法について説明する。
ここでは、境界線決定処理部１４で決定した境界線情報を算出してもよい。境界線と消失点とを算出できれば、以下のように相対的な３次元情報を取得することができ、擬似的な３次元表示が可能となる。相対的な３次元情報は、例えば、下記の式で算出できる。
【００３９】
図４（ｂ）に示すように、床の境界線を算出した場合、床の高さを０、カメラの高さを１とし、垂直方向の消失点５０８に関し、画像上での座標をｖ１、３次元空間上での座標をＶ１と表現する。カメラの内部パラメーターをＫ、λは非負のパラメーターとし、これらを既知とすると（または、適当な値を与えたとする）、画像上でｐの点は、３次元空間上の座標をＰとすると、以下の数式（４）となる。
【００４０】
【数４】
2012234431.tif 000006
【００４１】
垂直方向の消失点５０８の画像上での座標が次式（５）で表されるとき、
【００４２】
【数５】
2012234431.tif 000007
【００４３】
３次元空間上での位置は、次式（６）となる。
【００４４】
【数６】
2012234431.tif 000008
【００４５】
垂直方向の消失点の座標と、床と壁との境界線とを結ぶ直線上の２点、境界線上の点５１０（画像上での座標ｐ１）と、その上にある点５０９（画像上での座標座標ｐ２）との高さの違いをｈとすると、数式（７）でｈが表される。
【００４６】
【数７】
2012234431.tif 000009
【００４７】
このように、３次元表示を算出することも可能となる。
【００４８】
上述した実施形態によれば、消失点算出と境界線検出の際とで、２段階の直線検出のための閾値を設けることで、コントラストが低い領域に境界線が存在する場合でも、安定して境界線を検出することができる。さらに、特徴量の距離値を境界線の信頼度として用いることで、誤検出を減らすことができるといった効果がある。そして、消失点と境界線とを安定して抽出することができれば、一枚の画像から安定して画像中の面の３次元情報を復元することができ、立体表示や、領域分割といった幅広い応用が可能となる。
【符号の説明】
【００４９】
１０  消失点算出処理部
１１  境界線候補領域決定処理部
１２  境界線候補直線検出処理部
１３  特徴量算出処理部
１４  境界線決定処理部
１５  出力処理部
【図１】
2012234431.tif 000010
【図２】
2012234431.tif 000011
【図３】
2012234431.tif 000012
【図４】
2012234431.tif 000013
【図５】
2012234431.tif 000014