(57)【特許請求の範囲】
【請求項１】
取得された複数の画像に対して、所定の領域を設定し、前記複数の画像の一方の画像の前記領域に前記複数の画像の他方の画像の前記領域を一致させる幾何変換関数を用いて幾何変換画像を生成する平面領域位置合わせ部と、
前記幾何変換画像と前記他方の画像の領域とに基づいて平面領域を検出する平面領域検出部と、を有し、
前記平面領域位置合わせ部は、前記平面領域検出部で検出された平面領域を前記所定の領域として設定し、
前記平面領域検出部は、前記幾何変換画像から歪み特徴量を検出する歪み特徴量算出部と、前記歪み特徴量算出部で検出された歪み特徴量に基づいて、前記幾何変換画像と前記他方の画像の領域との一致領域である平面領域を検出する一致判定部と、を有し、
前記歪み特徴量算出部は、前記幾何変換画像と前記他方の画像の領域の各々に対して、水平方向の輝度の増加量と垂直方向の輝度の増加量の比によって決定される輝度勾配方向を検出し、検出した前記輝度勾配方向を歪み特徴量とする輝度勾配方向算出部を有する平面領域検出装置。
【請求項２】
請求項１記載の平面領域検出装置において、
複数の画像を取得する複数の画像取得部と、
取得された前記複数の画像に対して、予め定めた歪みを補正し、補正された補正画像を生成する画像生成部と、を有し、
前記平面領域位置合わせ部には、前記画像生成部で生成された複数の補正画像が入力される平面領域検出装置。
【請求項３】
請求項１記載の平面領域検出装置において、
前記複数の画像は、左画像と右画像である平面領域検出装置。
【請求項４】
請求項１記載の平面領域検出装置において、
前記一致判定部は、前記幾何変換画像で検出された歪み特徴量が存在する領域を不一致領域とし、前記不一致領域以外の領域を平面領域とする平面領域検出装置。
【請求項５】
請求項１記載の平面領域検出装置において、
前記平面領域位置合わせ部は、
取得された複数の画像に対して、平面領域が含まれる可能性が高い領域、又は前記平面領域検出部で検出された前記平面領域を前記所定の領域として設定する領域設定部と、
前記領域設定部で設定された前記複数の画像の一方の画像の領域に前記幾何変換関数を用いて幾何変換を行い、幾何変換画像を生成する幾何変換関数算出部と、
を有する平面領域検出装置。
【請求項６】
請求項１記載の平面領域検出装置において、
前記平面領域位置合わせ部は、前記複数の画像の複数の所定の領域を一致させる前記幾何変換関数を算出する平面領域検出装置。
【請求項７】
左画像と右画像を撮像するステレオカメラと、
前記ステレオカメラから左画像と右画像を取得する画像取得部と、
取得された前記左画像と前記右画像に対して、所定の領域を設定し、前記左画像又は前記右画像の一方の前記領域に他方の前記領域を一致させる幾何変換関数を用いて幾何変換し、幾何変換画像を生成する平面領域位置合わせ部と、
前記幾何変換画像と幾何変換されていない前記一方又は他方の領域とに基づいて平面領域を検出する平面領域検出部と、を有し、
前記平面領域位置合わせ部は、前記平面領域検出部で検出された平面領域を前記所定の領域として設定し、
前記平面領域検出部は、前記幾何変換画像から歪み特徴量を検出する歪み特徴量算出部と、前記歪み特徴量算出部で検出された歪み特徴量に基づいて、前記幾何変換画像と幾何変換されていない前記一方又は他方の領域との一致領域である平面領域を検出する一致判定部と、を有し、
前記歪み特徴量算出部は、前記幾何変換画像と前記幾何変換されていない一方又は他方の領域の各々に対して、水平方向の輝度の増加量と垂直方向の輝度の増加量の比によって決定される輝度勾配方向を検出し、検出した前記輝度勾配方向を歪み特徴量とする輝度勾配方向算出部を有するステレオカメラシステム。
【請求項８】
請求項７記載のステレオカメラシステムにおいて、
前記平面領域位置合わせ部は、
取得された前記左画像と前記右画像に対して、平面領域が含まれる可能性が高い領域、又は前記平面領域検出部で検出された前記平面領域を前記所定の領域として設定する領域設定部と、
前記領域設定部で設定された前記左画像と前記右画像一方の画像の領域に前記幾何変換関数を用いて幾何変換を行い、幾何変換画像を生成する幾何変換関数算出部と、を有するステレオカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載用撮像素子からの画像から平面を検出する平面領域検出装置及びステレオカメラシステムに関する。
【背景技術】
【０００２】
走行環境の認識法は、レーザレーダ，超音波やミリ波レーダを利用する方法と、画像を利用する方法に大別できる。
【０００３】
レーザレーダやミリ波レーダを用いる検出方法では、一般に装置が高価で、十分な空間解像が得られないという問題があった。超音波センサを用いる検出方法では、遠くの計測が困難であって、空間分解能が低いという問題があった。
【０００４】
画像を用いる方法では、単眼、すなわち、１つの視点から得られる画像を用いる方法と、複眼を用いる方法に分類できる。従来、画像を用いる方法の多くは単眼で、主に、高速道路等の整備された環境で用いることを想定し、路面の白線（例えば分離線や中央線）等を検出することにより、走行可能な領域を検出している。しかしながら、白線等の存在が保証されず、種々の路面色やパターンが表われる一般道や駐車場等では、濃度パターンのみから走行可能領域と障害物を安定に区別することは困難であるという問題があった。
【０００５】
一方、複眼による方法、すなわち、ステレオ画像を利用する検出方法では、原理的には環境の三次元構造を利用できるため、より安定に走行環境を認識できる可能性がある。特に、走行可能な領域は空間中でほぼ平面であるとみなせることから、画像を射影変換し、各画像の重なり具合から、平面領域か否か、或いは、障害物か否かを検出するという方法が、例えば、特許文献１，特許文献２で既に提案されている。また、射影変換関数を算出する際に、同時に平面の方程式を求める方法もこれらの文献で提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−２９３６９８号公報
【特許文献２】特開２００５−２１７８８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示されている方法の場合、特徴点の対応関係から射影変換行列を算出し、基準画像と二次元射影変換された参照画像の輝度値が一致していれば平面領域、不一致であれば非平面領域という判定を行っている。しかしながら、二次元射影変換された参照画像の輝度値は、平面領域以外でも基準画像の輝度値と偶然に一致する場合があり、平面領域の未検出や誤検出の原因となっている。
【０００８】
また、特許文献２に開示されている方法の場合、道路面の傾斜や車の走行によるカメラの振動に対処できるように、平面領域を動的に求めることを可能にしている。しかしながら、基準画像と二次元射影変換された参照画像の輝度値が一致していれば平面領域、不一致であれば非平面領域という判定を行っている点は変わらず、平面領域の未検出や誤検出を抑制する有効な方法を開示していない。また、二次元射影変換関数は、あらかじめ設定した局所領域について算出されるので、走行領域全体が完全な平面ではない場合、射影変換に大きな誤差が生じる画素が表われることがあり、これも平面領域の未検出や誤検出の原因となっている。
【０００９】
本発明の目的は、平面領域以外での輝度値の一致、及び射影変換の誤差に由来する平面領域の未検出と誤検出を抑止する平面領域検出装置及びステレオカメラシステムを提供することである。
【課題を解決するための手段】
【００１０】
本発明は、上記課題を解決するために、取得された複数の画像に対して、所定の領域を設定し、複数の画像の一方の画像の領域に複数の画像の他方の画像の領域を一致させる幾何変換関数を用いて幾何変換画像を生成する平面領域位置合わせ部と、幾何変換画像と他方の画像の領域とに基づいて平面領域を検出する平面領域検出部と、を有し、平面領域位置合わせ部は、平面領域検出部で検出された平面領域を所定の領域として設定し、平面領域検出部は、幾何変換画像から歪み特徴量を検出する歪み特徴量算出部と、歪み特徴量算出部で検出された歪み特徴量に基づいて、幾何変換画像と他方の画像の領域との一致領域である平面領域を検出する一致判定部と、を有し、歪み特徴量算出部は、幾何変換画像と他方の画像の領域の各々に対して、水平方向の輝度の増加量と垂直方向の輝度の増加量の比によって決定される輝度勾配方向を検出し、検出した輝度勾配方向を歪み特徴量とする輝度勾配方向算出部を有する構成とする。
【００１１】
また、左画像と右画像を撮像するステレオカメラと、ステレオカメラから左画像と右画像を取得する画像取得部と、取得された左画像と右画像に対して、所定の領域を設定し、左画像又は右画像の一方の領域に他方の領域を一致させる幾何変換関数を用いて幾何変換し、幾何変換画像を生成する平面領域位置合わせ部と、幾何変換画像と幾何変換されていない一方又は他方の領域とに基づいて平面領域を検出する平面領域検出部と、を有し、平面領域位置合わせ部は、平面領域検出部で検出された平面領域を所定の領域として設定し、平面領域検出部は、幾何変換画像から歪み特徴量を検出する歪み特徴量算出部と、歪み特徴量算出部で検出された歪み特徴量に基づいて、幾何変換画像と幾何変換されていない一方又は他方の領域との一致領域である平面領域を検出する一致判定部と、を有し、歪み特徴量算出部は、幾何変換画像と幾何変換されていない一方又は他方の領域の各々に対して、水平方向の輝度の増加量と垂直方向の輝度の増加量の比によって決定される輝度勾配方向を検出し、検出した輝度勾配方向を歪み特徴量とする輝度勾配方向算出部を有する構成とする。
【発明の効果】
【００１２】
本発明によれば、平面領域以外での輝度値の一致、及び射影変換の誤差に由来する平面領域の未検出と誤検出を抑止する平面領域検出装置及びステレオカメラシステムを提供できる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る平面領域検出装置の一構成例を説明する図である。
【図２】本発明の平面領域検出部の構成例を説明する図である。
【図３】本発明に係る平面領域検出装置の主要構成を説明する図である。
【図４】本発明の平面領域位置合わせ部の構成例を説明する図である。
【図５】振動が大きい環境で運用する場合の問題点を説明する図である。
【図６】高速化の処理内容を説明する図である。
【図７】本発明の歪み特徴量算出部を説明する図である。
【図８】図７の輝度勾配方向の特徴を説明する図である。
【図９】本発明に係る平面領域検出装置の他の構成例を説明する図である。
【図１０】図９のアフィンパラメータの特徴を説明する図である。
【発明を実施するための形態】
【００１４】
図１に本発明に係る平面領域検出装置の一構成例を示す。
【００１５】
本発明は、撮像された画像中の平面領域を未検出，誤検出を抑制しつつ検出することを特徴とする。
【００１６】
本発明の平面領域検出装置、本実施例ではステレオカメラ装置とする。ステレオカメラ装置は、２つの撮像部（左カメラ１２，右カメラ１３）で撮像した複数の画像（左画像，右画像）を取得する画像取得部（左画像取得部１０，右画像取得部１１），画像生成部２０，平面領域位置合わせ部３０，平面領域検出部５５によって構成される。平面領域検出部５５は、図２に示す通り、歪み特徴量算出部４０，一致判定部５０によって構成される。なお、ステレオカメラである２つの撮像部（左カメラ１２，右カメラ１３）と、この平面領域検出装置と、を含む構成をステレオカメラシステムとする。
【００１７】
左カメラ１２と右カメラ１３から同期した画像をそれぞれの左画像取得部１０と右画像取得部１１が取り込む。
【００１８】
画像生成部２０では、様々な歪みを補正し、補正画像として歪みのない画像を生成する。通常、カメラは撮像デバイスの設置のずれ、取り付けたレンズ固有の歪み、カメラの光軸方向のずれなどにより、固有の歪みが存在する。画像生成部２０において、この歪みを取り除く。  
平面領域位置合わせ部３０では、画像生成部２０で生成された補正画像である二画像のうち、一方の画像に幾何変換を施し、他方の画像と平面領域の画素位置を一致させる。この際、一致させる画素として、平面領域に含まれる画素のみを選択し、所定の領域である関心領域として設定する。例えば、車に搭載して、走行可能な領域を認識するセンサとして用いる場合、画像下部の矩形領域を関心領域として設定する。
【００１９】
図２に示すとおり、平面領域検出部５５では、例えば、歪み特徴量算出部４０、一致判定部５０のような構成で、撮像された画像中の平面領域を検出する。
【００２０】
平面領域位置合わせ部３０において、平面領域の画素位置を一致させる幾何変換を施すと、平面領域のみ他方の画像と一致し、その他の領域では、画像に歪みが生じて、他方の画像と一致しないという特徴をもった画像が得られる。双方の画像の一致と不一致を判別するために、歪み特徴量算出部４０では、画像の歪みを表現する特徴量を算出する。
【００２１】
一致判定部５０では、歪み特徴量算出部４０で得られた画像の歪みを表現する特徴量を用いて、二画像間の一致と不一致を判別し、平面領域を未検出・誤検出を抑制しつつ検出する。
【００２２】
検出された平面領域全体を関心領域として、平面領域位置合わせ部３０に入力し、平面領域全体の画素位置を合わせる幾何変換を求める。幾何変換関数には、カメラ間の幾何関係を表現するパラメータと平面を近似する方程式が含まれているので、平面全体の画素位置を合わせる幾何変換関数を求めることと、平面全体を近似する平面の方程式を求めることは、カメラの幾何関係が同じであれば、等しい。平面全体の画素位置を合わせる幾何変換関数から、平面の方程式を抽出することで、平面領域全体を近似する平面方程式を算出する。
【００２３】
上記特許文献２では、幾何変換画像と基準画像の二画像間の一致と不一致を判別するのに画像の輝度値を採用している。しかしながら、基本的に自然画像は低周波成分で構成されている、すなわち、周囲の輝度値は類似しているため、幾何変換画像により画像に歪みが生じている場合でも、幾何変換画像と基準画像の二画像間で輝度差をとった場合に値が小さくなることがある。当該公知例では、輝度差が小さい領域が平面領域と考えるので、画像に歪みが生じているにも関わらず、周辺輝度が類似していることによって、偶然に二画像間の輝度差が小さくなり、その領域が誤検出されることがある。
【００２４】
また、特許文献２では、幾何変換関数から平面方程式を抽出する。撮像部間の幾何的関係が既知であれば、平面領域を一致させる幾何変換関数は、平面方程式の係数のみをパラメータとする関数となるので、幾何変換関数を算出することで、平面方程式を得ることができる。この際、初期に関心領域として選択する平面領域は、平面以外の領域を含まないように、設定する必要がある。しかしながら、選択領域内の画素のみを一致させる幾何変換関数と平面方程式が得られるため、平面領域全体を近似する平面方程式とは大きく異なる場合がある。後段の処理において、遠方の障害物などを検出する際に、平面推定精度が影響するため、このような推定誤差の発生は問題となる。
【００２５】
本平面領域検出装置の主要なアイデアを図３に示す。
【００２６】
左画像取得部１０と、右画像取得部１１にて取り込まれた左画像１００，右画像１１０に対して、平面領域位置合わせ部３０にて平面と見なせる場所を所定の領域である初期関心領域として設定する。次に、平面領域位置合わせ部３０の変換部１２０において、左画像１００の関心領域と右画像１１０の関心領域を一致させる幾何変換関数を求める。ここで、得られた幾何変換関数を一方の画像に適用して幾何変換を行い、関心領域の画像が一致する幾何変換画像１３０を得る。この際、幾何変換は平面領域に関してのみ成立するものであり、平面以外の領域では画像に歪みが生じる。
【００２７】
平面領域検出部５５において、幾何変換画像１３０と右画像１１０の比較を行い、平面領域を検出する。画像が一致する領域を平面領域、一致しない領域を平面領域ではないと判定する。ここで検出された平面領域を新たに関心領域と設定して、再度幾何変換関数を算出する。初期関心領域は平面以外の領域を含まないように設定するため、関心領域平面のみを近似する幾何変換関数が得られ、平面全体を精度良く近似する幾何変換関数とはならない。
【００２８】
しかしながら、平面領域１４０を関心領域として、再度幾何変換関数を算出することで、初期関心領域よりも広い平面領域を関心領域にすることができるため、平面全体をより精度良く近似する幾何変換関数を求めることができる。
【００２９】
平面領域以外での輝度値の一致に由来する未検出と誤検出を抑制するために、被差分特徴量として画像の歪みを表現する歪み特徴量を採用する。射影変換の誤差に由来する未検出と誤検出を抑制するために、射影変換関数を算出する際の関心領域として、前フレームにおける平面領域、あるいは当該画像から事前に算出した平面領域を設定する。
【００３０】
図４に平面領域位置合わせ部３０の処理フローの一実施例を示す。平面領域位置合わせ部３０は、関心領域設定部３１と幾何変換関数算出部３２から構成される。
【００３１】
関心領域設定部３１では、平面領域に含まれる画素群を関心領域として設定する。例えば、車に搭載して、走行可能な領域を認識するセンサとして用いる場合、現在走行している平面が撮像される可能性が高い画像下部に固定の矩形領域をとり、関心領域として設定する。
【００３２】
設定領域のみを近似する平面の方程式が得られ、走行可能な平面全体に対しては近似精度が低くなることがある。そこで、後段の処理で平面領域全体の画素を算出した後に、その領域を関心領域として、走行可能な平面全体を近似する平面の方程式を算出する。これによって、遠方の障害物などを精度良く判定できる。
【００３３】
幾何変換関数算出部３２では、平面領域の画像が一致するように、誤差関数を設計し、誤差を最小化する幾何変換関数を求める。誤差関数Ｅは、例えば、式（１）のように設計する。
【００３４】
【数１】
0005501084.tif 000002
【００３５】
ここで、Ｉは変換対象画像、Ｔは基準画像、Ｗは幾何変換行列、Ｒは関心領域画素の集合、Ｘは画素位置を表すベクトル、ｐは幾何変換関数のパラメータを表す。この非線形最適化問題を解くために、幾何変換関数のパラメータを誤差が減少するように微小変化させ、これを繰り返すことで誤差関数を最小化する幾何変換関数を求める。すなわち、式（２）のように誤差関数Ｅを最小化する微小変化量について解き、幾何変換関数のパラメータを更新する。
【００３６】
【数２】
0005501084.tif 000003
【００３７】
ここで、△ｐは幾何変換関数パラメータの微小変化量であり、以下式（３）で得られる。
【００３８】
【数３】
0005501084.tif 000004
【００３９】
ここで、▽Ｉは変換対象画像の水平微分値，垂直微分値を要素としてもつベクトルである。Ｈはヘッセ行列であり、以下式（４）で表される。
【００４０】
【数４】
0005501084.tif 000005
【００４１】
幾何変換関数のパラメータは、以下式（５）で更新される。
【００４２】
【数５】
0005501084.tif 000006
【００４３】
ここで、幾何変換関数を、例えば、以下式（６）とおけば、撮像部間の幾何関係を既知として、平面の方程式を導出できる。
【００４４】
【数６】
0005501084.tif 000007
【００４５】
ここで、Ｒは撮像部間の回転、ｔは撮像部間の平行移動を表す。このとき、ｐは平面の法線ベクトルを表す。
【００４６】
誤差関数Ｅは、式（１）のように、画像の輝度値を一致させるような幾何変換だけでなく、以下式７のように、画像から抽出された特徴量を一致させるような幾何変換を求めても良い。
【００４７】
【数７】
0005501084.tif 000008
【００４８】
ここで、Ｉf，Ｔfは、Ｉ，Ｔそれぞれから抽出された特徴量を表す。例えば、エッジ強度、輝度勾配の方向などを表す。
【００４９】
幾何変換関数算出部３２は、式（１）の誤差関数Ｅを反復的に最小化することで幾何変換関数を求める。高速化を実現するためには、反復一回の計算量を削減することと、収束までに要する反復回数を削減することが有効である。本実施例では、収束までに要する反復回数を削減する方法を提示する。
【００５０】
図５に車両振動によって計算時間が増大する様子を示して、振動が大きい環境で運用する場合の問題点を説明する。
【００５１】
図５（ａ）に示すとおり、撮像部（左カメラ１２，右カメラ１３）を含む撮像システムを搭載した車両１などが大きく振動する場合、撮像部の振動によって、平面が撮像部に対して相対的に大きく変動する。この際、図５（ｂ）に示す通り、撮像システムにおいては、算出される平面方程式がフレーム間で大きく変動することになる。左カメラ１２と平面２００の相対関係は、フレームｎ，ｎ＋１，ｎ＋２と進むごとに、車体の振動に伴って大きく変動することになる。撮像部の振動が小さく、フレーム間での変動が少ない場合であれば、前フレームで得られた平面方程式（法線）２１０を次フレームの初期平面方程式（法線）２２０として用いることで、反復回数を減少できる。
【００５２】
しかしながら、この場合は、前フレームで得られた平面方程式を初期値として反復計算を行っても、収束すべき解と初期値の差が大きいために、グラフ２３０に示すように、誤差の減少が収束するまでには時間を要する。
【００５３】
図６に高速化を実現するための一実施例を示す。例えば、ジャイロなどの車両１の姿勢を計測するセンサ２４０によって、フレーム間に生じた車両の運動を計測し、前フレームで推定した平面方程式の推定結果に車両の運動情報を積算することで、現在のフレームの平面方程式２１０を推定する。
【００５４】
この姿勢情報は、図１で言えば、平面領域位置あわせ部３０に入力すればよい。推定した平面方程式を次フレームの平面方程式の初期値として、誤差の最小化処理を実施することで、グラフ２３０に示すように、反復処理回数を大幅に減少でき、高速化を実現できる。反復処理を実施する前に、式（１）あるいは、式（７）の誤差を評価し、十分に小さい値であれば、出力値をそのまま用いて幾何変換関数を算出しても良い。また、初期推定値として用いる平面方程式が、現フレームのものに近づけばよいので、ジャイロの精度が低い場合でも利用可能である。
【００５５】
幾何変換関数によって変換された画像と基準画像は、平面領域においては画像が一致し、それ以外の領域では、幾何変換画像で生じた歪みのために画像が一致しないという性質を示す。
【００５６】
歪み特徴量検出部４０では、平面領域と非平面領域を歪みの有無を利用して判別するために、幾何変換画像に生じた歪みを検出する特徴量を得る。
【００５７】
図７に歪み特徴量検出部４０に輝度勾配方向を用いた場合の処理フローを示す。
【００５８】
本実施例における歪み特徴量検出部４０では、平面領域位置あわせ部３０で得られた幾何変換画像と基準画像のそれぞれに対して、輝度勾配方向算出部４１において輝度勾配方向を特徴量として求め、左画像と右画像の双方の画像から得られた特徴量を一致判定部５０に入力する。一致判定部５０では、特徴量を比較し、双方の画像の一致不一致を判定することで、画像中の平面領域を検出する。
【００５９】
図８に輝度勾配方向の特徴を示す。図８（ａ）に示す通り、輝度勾配方向は、局所領域における輝度の増加方向を表す。輝度勾配方向は、水平方向の輝度の増加量と垂直方向の輝度の増加量の比によって決定される。すなわち、以下式（８）にて定義される。
【００６０】
【数８】
0005501084.tif 000009
【００６１】
ここで、θは輝度勾配の方向、ｗは局所領域の幅、（ｉ，ｊ）は画素位置、ｋはインクリメントのカウントを表す。tan-1は四象限逆正接を表す。局所領域内の輝度が局所領域３００のように分布している場合、輝度勾配方向は０°となる。局所領域３１０のように分布している場合、輝度勾配方向は９０°、局所領域３２０のように分布している場合１３５°でとなり、輝度の増加方向を示している。
【００６２】
図８（ｂ）に幾何変換で生じる歪みで輝度勾配方向が変化する様子を示す。例えば左画像３３０から幾何変換画像３５０のように、変換部３４０によって画像が歪んだ場合、局所領域３６０から局所領域３７０のように、同一の局所領域内の輝度分布が変化し、それに伴って輝度勾配の方向も変化する。
【００６３】
それに対して、局所領域内の輝度が一致している場合、輝度勾配の方向も同一となる。従って、画像が一致する領域と、歪みによって一致していない領域を判別することができる。
【００６４】
また、輝度の絶対差は無視され、相対的な増加方向のみ参照するので、テクスチャレス領域などにおいても、その他の領域と同様に特徴量を算出することができ、画像の一致と不一致を判別できる。
【００６５】
図９に歪み特徴量検出部４０にアフィン変換の変形パラメータを用いた場合の処理フローを示す。
【００６６】
本実施例における歪み特徴量検出部４０では、平面領域位置あわせ部３０で得られた幾何変換画像と基準画像の双方から、アフィンパラメータ算出部４２において、アフィン変換の変形パラメータを特徴量として求め、得られた特徴量を一致判定部５０に入力する。
【００６７】
一致判定部５０では、歪み特徴量検出部４０で得られた特徴量と歪みが無い場合のアフィン変換の変形パラメータを比較し、比較結果から歪みの有無を判定することで、画像中の平面領域を検出する。
【００６８】
図１０にアフィン変換の変形パラメータを示す。グラフ４００における座標ｘ，ｙは、以下式（９）に示す二次元のアフィン変換４１０によって変換され、グラフ４２０で示される変換座標が得られる。
【００６９】
【数９】
0005501084.tif 000010
【００７０】
ここで、
0005501084.tif 000011
は変換後の座標を表す。ａ，ｂ，ｃ，ｄ，ｅ，ｆは変形パラメータを表す。この６つの変形パラメータによって変換が一意に決定する。
【００７１】
図１０（ｂ）に、アフィン変換の変形パラメータを利用した平面検出の概要を示す。画像に歪みが無い場合、変形パラメータは、以下、式（１０）となる。
【００７２】
【数１０】
0005501084.tif 000012
【００７３】
アフィン変換の性質から、歪みが大きいほど、式（１０）の変形パラメータとの差が大きくなる。そこで、本実施例における歪み特徴量検出部４０では、幾何変換画像４２１と基準画像である右画像４２２において、平面検出の際に比較対象となる領域４３０，４４０など同士を比較し、アフィン変換の変形パラメータ算出部４５０において、変形パラメータを求め、変形パラメータ比較部４６０において歪みが無い場合の変形パラメータと比較することで、平面領域を検出する特徴量を得る。アフィン変換の変形パラメータの算出は、例えば、以下、式（１１）で示す誤差関数Ｅを最小化することで得られる。
【００７４】
【数１１】
0005501084.tif 000013
【００７５】
ここで、
0005501084.tif 000014
は幾何変換後の画像を表す。また、Ｒは注目する局所領域を表す。Ｗはアフィン変換を以下式（１２）と表す。
【００７６】
【数１２】
0005501084.tif 000015
【００７７】
局所領域のアフィン変形パラメータと歪みが無い場合のアフィン変形パラメータの比較は、例えば、それぞれをベクトルと見なしてユークリッド距離を評価することにより行う。すなわち、以下、式（１３）で示すユークリッド距離Ｓで評価する。
【００７８】
【数１３】
0005501084.tif 000016
【００７９】
ここで、ｗは幾何変換後の画像と基準画像の間で求めたアフィン変換の変形パラメータの要素をベクトルとして並べたものを表す。また、ｗndは、歪みが無い場合のアフィン変形パラメータの要素をベクトルとして並べたものを表す。局所領域のアフィン変形パラメータと歪みが無い場合のアフィン変形パラメータの比較は、ユークリッド距離Ｓに限らず、市街地距離や、マハラノビス距離，重み付きユークリッド距離など、その他の評価値を用いても良い。
【００８０】
一致判定部５０では、歪み特徴量算出部４０で得られた画像の歪みを表現する特徴量を用いて、二画像間の一致と不一致を判別し、平面領域を未検出と誤検出を抑制しつつ検出する。
【００８１】
歪み特徴量算出部４０において、輝度勾配方向を用いる場合、一致判定部では、例えば、式（８）の出力値である輝度勾配方向の差分値を求める。輝度分布が一致している領域では、輝度勾配方向も一致するため、差分値は小さくなり、０に近い値をとる。それに対して、幾何変換によって画像に歪みが生じている領域では、勾配方向が変化しているため、差分値は０とならず、比較的大きな値となる。したがって、差分値に閾値処理などを適用することで、平面領域とその他の領域を分離できる。
【００８２】
特徴量に関しては、局所的な分布を総合的に考慮して評価するために、平均値フィルタやメディアンフィルタを初めとする領域平滑化フィルタを適用しても良い。また、これらを反復的に適用した結果を被差分値として用いても良い。評価値の一部が雑音などで適切に算出できず、局所的に誤った値をとっている場合に有効である。また、閾値処理を適用した後に、モルフォロジ演算によって、平面領域を整形したり、微小領域を除去したりしても良い。連結領域の面積などから、領域を整形しても良い。
【００８３】
画像が歪んでいる場合でも、輝度値の分布によっては、輝度勾配方向が小さくなる場合がある。例えば、水平方向に強いエッジが分布しており、画像の歪みも水平方向にのみ生じている場合などは、幾何変換画像においても基準画像においても同じように水平方向のエッジに直交するように分布する可能性がある。
【００８４】
そこで、その他の特徴量を補助的に用いて、歪み検出特徴量のみで判定できない画素が平面に属するか否かの判定を行う。例えば、ステレオカメラから得られる三次元座標情報を特徴量として用いる。ステレオカメラでは、三角測量の原理に基づいて距離計算を実施し、透視投影モデルに当てはめることで、三次元情報を計算できる。画像中の各画素における撮像物体の距離は、視差から計算できる。視差は、基準画像中の小領域が他方の画像中のどこにあるかを探索して、画像上の座標の差を計算することで得られる。幾何変換が水平方向に支配的で、かつ、水平方向に強いエッジが存在する場合は、この処理により得られた三次元情報を用いて、当該画素が平面よりも高い位置にあるか、低い位置にあるかを判定することで、平面領域と非平面領域の判別精度を向上できる。他の特徴量を用いて、平面領域と非平面領域の判別精度を向上させても良い。この特徴量は、例えば図２，図７，図９における一致判定部５０に入力して用いればよい。
【００８５】
歪み特徴量算出部４０において、アフィン変換の変換パラメータを用いる場合、幾何変換画像と基準画像から得られた変形パラメータと歪みが無い場合の変形パラメータから計算した式（１３）の評価値に対して閾値処理を適用することで、平面領域と非平面領域を判別する。
【００８６】
閾値処理を適用する前に、局所的な分布を総合的に考慮して評価するために、平均値フィルタやメディアンフィルタを初めとする領域平滑化フィルタを適用しても良い。また、これらを反復的に適用した結果を被差分値として用いても良い。評価値の一部が雑音などで適切に算出できず、局所的に誤った値をとっている場合に有効である。閾値処理を適用した後に、モルフォロジ演算によって、平面領域を整形したり、微小領域を除去したりしても良い。連結領域の面積などから、領域を整形しても良い。
【００８７】
一致判定部５０で得られた画像中の平面領域を関心領域として、再び平面領域位置あわせ部２０に入力し、幾何変換関数算出部３２を利用して、平面方程式を算出する。幾何変換関数を式（６）とおき、カメラ間の幾何関係を既知として、式（１）、あるいは式（７）の誤差関数を最小化する幾何変換関数を導出することで、平面方程式を算出できる。平面領域検出部で得られた平面全体を関心領域としているために、平面全体を近似する平面方程式が得られる。
【符号の説明】
【００８８】
１０  左画像取得部
１１  右画像取得部
１２  左カメラ
１３  右カメラ
２０  画像生成部
３０  平面領域位置合わせ部
３１  関心領域設定部
３２  幾何変換関数算出部
４０  歪み特徴量算出部
４１  輝度勾配方向算出部
４２  アフィンパラメータ算出部
５０  一致判定部
５５  平面領域検出部
【図１】
0005501084.tif 000017
【図２】
0005501084.tif 000018
【図３】
0005501084.tif 000019
【図４】
0005501084.tif 000020
【図５】
0005501084.tif 000021
【図６】
0005501084.tif 000022
【図７】
0005501084.tif 000023
【図８】
0005501084.tif 000024
【図９】
0005501084.tif 000025
【図１０】
0005501084.tif 000026