(57)【要約】【課題】より高精度に処理を行うこと。【解決手段】第１の撮像手段により撮像された第１の画像から選択された注目画素と、前記第２の撮像手段により撮像された第２の画像における複数の比較対象画素との間で、周辺画素を含めた画素値の相違程度を示す指標値を算出して該指標値が最小となる比較対象画素を抽出し、該抽出した比較対象画素と前記注目画素との座標差を視差として算出して前記注目画素に対応付けることを、複数の注目画素に対して行う視差算出手段と、前記視差算出手段により対応付けられた注目画素と視差の組み合わせから、前記指標値が最小となった比較対象画素の近傍における前記指標値の傾きが基準値以上である組み合わせを選択する選択手段と、を備える画像解析装置。【選択図】図１
2013239078.tif 000002
【特許請求の範囲】
【請求項１】
異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する第１及び第２の撮像手段により撮像された画像を解析する画像解析装置であって、
前記第１の撮像手段により撮像された第１の画像から選択された注目画素と、前記第２の撮像手段により撮像された第２の画像における複数の比較対象画素との間で、周辺画素を含めた画素値の相違程度を示す指標値を算出して該指標値が最小となる比較対象画素を抽出し、該抽出した比較対象画素と前記注目画素との座標差を視差として算出して前記注目画素に対応付けることを、複数の注目画素に対して行う視差算出手段と、
前記視差算出手段により対応付けられた注目画素と視差の組み合わせから、前記指標値が最小となった比較対象画素の近傍における前記指標値の傾きが基準値以上である組み合わせを選択する選択手段と、
を備える画像解析装置。
【請求項２】
請求項１記載の画像解析装置であって、
前記選択手段により選択された複数の注目画素と視差の組み合わせを用いて路面構造を推定する路面構造推定手段を備える画像解析装置。
【請求項３】
請求項２記載の画像解析装置であって、
前記選択手段により選択された複数の注目画素と視差の組み合わせから、画像における奥行き方向の視差の変動程度に基づいて、路面を写したと推定される注目画素と視差を抽出する路面判定手段を備え、
前記路面構造推定手段は、前記路面判定手段により抽出された路面を写したと推定される注目画素と視差の組み合わせを用いて路面構造を推定する手段である、
画像解析装置。
【請求項４】
異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する第１及び第２の撮像手段により撮像された画像を解析する画像解析装置であって、
前記第１の撮像手段により撮像された第１の画像から選択された注目画素と、前記第２の撮像手段により撮像された第２の画像における複数の比較対象画素との間で、周辺画素を含めた画素値の一致程度を示す指標値を算出して該指標値が最大となる比較対象画素を抽出し、該抽出した比較対象画素と前記注目画素との座標差を視差として算出して前記注目画素に対応付けることを、複数の注目画素に対して行う視差算出手段と、
前記視差算出手段により対応付けられた注目画素と視差の組み合わせから、前記指標値が最小となった比較対象画素の近傍における前記指標値の傾きが基準値以上である組み合わせを選択する選択手段と、
を備える画像解析装置。
【請求項５】
異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する第１及び第２の撮像手段により撮像された画像を解析する画像解析装置が、
前記第１の撮像手段により撮像された第１の画像から選択された注目画素と、前記第２の撮像手段により撮像された第２の画像における複数の比較対象画素との間で、周辺画素を含めた画素値の相違程度を示す指標値を算出して該指標値が最小となる比較対象画素を抽出し、
該抽出した比較対象画素と前記注目画素との座標差を視差として算出して前記注目画素に対応付けることを、複数の注目画素に対して行い、
前記対応付けられた注目画素と視差の組み合わせから、前記指標値が最小となった比較対象画素の近傍における前記指標値の傾きが基準値以上である組み合わせを選択する、
を備える画像解析方法。
【請求項６】
異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する第１及び第２の撮像手段により撮像された画像を解析する画像解析装置に、
前記第１の撮像手段により撮像された第１の画像から選択された注目画素と、前記第２の撮像手段により撮像された第２の画像における複数の比較対象画素との間で、周辺画素を含めた画素値の相違程度を示す指標値を算出して該指標値が最小となる比較対象画素を抽出させ、
該抽出した比較対象画素と前記注目画素との座標差を視差として算出して前記注目画素に対応付けることを、複数の注目画素に対して行わせ、
前記対応付けられた注目画素と視差の組み合わせから、前記指標値が最小となった比較対象画素の近傍における前記指標値の傾きが基準値以上である組み合わせを選択させる、
を備える画像解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラ技術を利用して処理を行う画像解析装置、画像解析方法、及び画像解析プログラムに関する。
【背景技術】
【０００２】
従来、同一物体を角度を変えて撮像し、複数の画像における対応点同士の位置関係から、物体との距離等を算出する技術が知られている。係る技術は、ステレオカメラ技術等と称されている。ステレオカメラ技術は、車両に搭載され、例えば車両前方の障害物との距離を算出するのに用いられている。
【０００３】
ところで、複数の画像における対応点、すなわち同一の撮像対象を撮像したと推定される点（画素）を発見するのには、例えばＳＡＤ（Sum  of  Absolute  Difference）のような指標値が用いられる。ＳＡＤは、一方の画像における基準領域内の各画素の画素値（例えば輝度値）と、他方の画像における基準領域内の各画素の画素値（同）との差分の絶対値の総和として求められる。特許文献１には、ＳＡＤが最小値となる点を、メイン画像における注目点と相関度が最も高いサブ画像上の対応位置とするステレオ画像処理装置について記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２５０９９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の装置を含め、ステレオカメラ技術においては、画素値等の数値を用いて対応点を探索する結果、実際には同一の撮像対象を撮像していない点を対応付けてしまう場合がある。
【０００６】
このような不都合は、例えば車両から路面上の対応点を発見しようとする場合に大きいものとなり得る。路面では、描画された白線等を除き、コントラストの小さいアスファルトやコンクリートが連続することが多く、画素値に大きな特徴が生じにくいからである。この結果、撮像対象との距離等を算出する際の精度が低下するおそれがある。
【０００７】
本発明は、一側面によれば、より高精度に処理を行うことが可能な画像解析装置、画像解析方法、及び画像解析プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための本発明の一態様は、
異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する第１及び第２の撮像手段により撮像された画像を解析する画像解析装置であって、
前記第１の撮像手段により撮像された第１の画像から選択された注目画素と、前記第２の撮像手段により撮像された第２の画像における複数の比較対象画素との間で、周辺画素を含めた画素値の相違程度を示す指標値を算出して該指標値が最小となる比較対象画素を抽出し、該抽出した比較対象画素と前記注目画素との座標差を視差として算出して前記注目画素に対応付けることを、複数の注目画素に対して行う視差算出手段と、
前記視差算出手段により対応付けられた注目画素と視差の組み合わせから、前記指標値が最小となった比較対象画素の近傍における前記指標値の傾きが基準値以上である組み合わせを選択する選択手段と、
を備える画像解析装置である。
【０００９】
この本発明の一態様によれば、周辺画素を含めた画素値の相違程度を示す指標値が最小となった比較対象画素の近傍における指標値の傾きが基準値以上である組み合わせを選択することにより、有意な視差、すなわち同一の撮像対象物が写っている可能性が高い注目画素と比較対象画素の組み合わせから算出された視差を選択することができるため、これを用いた処理を高精度に行うことができる。
【００１０】
本発明の一態様において、
前記選択手段により選択された複数の注目画素と視差の組み合わせを用いて路面構造を推定する路面構造推定手段を備えるものとしてもよい。
【００１１】
この場合、
前記選択手段により選択された複数の注目画素と視差の組み合わせから、画像における奥行き方向の視差の変動程度に基づいて、路面を写したと推定される注目画素と視差を抽出する路面判定手段を備え、
前記路面構造推定手段は、前記路面判定手段により抽出された路面を写したと推定される注目画素と視差の組み合わせを用いて路面構造を推定する手段であるものとしてもよい。
【００１２】
本発明の他の態様は、
異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する第１及び第２の撮像手段により撮像された画像を解析する画像解析装置であって、
前記第１の撮像手段により撮像された第１の画像から選択された注目画素と、前記第２の撮像手段により撮像された第２の画像における複数の比較対象画素との間で、周辺画素を含めた画素値の一致程度を示す指標値を算出して該指標値が最大となる比較対象画素を抽出し、該抽出した比較対象画素と前記注目画素との座標差を視差として算出して前記注目画素に対応付けることを、複数の注目画素に対して行う視差算出手段と、
前記視差算出手段により対応付けられた注目画素と視差の組み合わせから、前記指標値が最小となった比較対象画素の近傍における前記指標値の傾きが基準値以上である組み合わせを選択する選択手段と、
を備える画像解析装置である。
【００１３】
この本発明の一態様によれば、周辺画素を含めた画素値の一致程度を示す指標値が最大となった比較対象画素の近傍における指標値の傾きが基準値以上である組み合わせを選択することにより、有意な視差、すなわち同一の撮像対象物が写っている可能性が高い注目画素と比較対象画素の組み合わせから算出された視差を選択することができるため、これを用いた処理を高精度に行うことができる。
【００１４】
本発明の他の態様は、
異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する第１及び第２の撮像手段により撮像された画像を解析する画像解析装置が、
前記第１の撮像手段により撮像された第１の画像から選択された注目画素と、前記第２の撮像手段により撮像された第２の画像における複数の比較対象画素との間で、周辺画素を含めた画素値の相違程度を示す指標値を算出して該指標値が最小となる比較対象画素を抽出し、
該抽出した比較対象画素と前記注目画素との座標差を視差として算出して前記注目画素に対応付けることを、複数の注目画素に対して行い、
前記対応付けられた注目画素と視差の組み合わせから、前記指標値が最小となった比較対象画素の近傍における前記指標値の傾きが基準値以上である組み合わせを選択する、
を備える画像解析方法である。
【００１５】
また、本発明の他の態様は、
異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する第１及び第２の撮像手段により撮像された画像を解析する画像解析装置に、
前記第１の撮像手段により撮像された第１の画像から選択された注目画素と、前記第２の撮像手段により撮像された第２の画像における複数の比較対象画素との間で、周辺画素を含めた画素値の相違程度を示す指標値を算出して該指標値が最小となる比較対象画素を抽出させ、
該抽出した比較対象画素と前記注目画素との座標差を視差として算出して前記注目画素に対応付けることを、複数の注目画素に対して行わせ、
前記対応付けられた注目画素と視差の組み合わせから、前記指標値が最小となった比較対象画素の近傍における前記指標値の傾きが基準値以上である組み合わせを選択させる、
を備える画像解析プログラムである。
【発明の効果】
【００１６】
本発明は、一側面によれば、より高精度に処理を行うことが可能な画像解析装置、画像解析方法、及び画像解析プログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施例に係る画像解析装置１のシステム構成例である。
【図２】カメラ１００、２００の撮像範囲を例示した図である。
【図３】カメラ１００によって撮像された画像と、カメラ２００によって撮像された画像を示す図である。
【図４】ある撮像対象物Ｐ（Ｘ，Ｙ，Ｚ）の、左画像及び右画像における位置Ｐｌ及びＰｒを示す図である。
【図５】右画像、及び左画像から右エッジ画像、左エッジ画像を生成する様子を示す図である。
【図６】視差算出部１４により実行される処理の流れを示すフローチャートの一例である。
【図７】視差算出部１４が、右エッジ画像と左エッジ画像を走査して注目画素や比較対象画素を選択し、ＳＡＤウィンドウ*、ＳＡＤウィンドウ**を設定する様子を模式的に示す図である。
【図８】最小、且つ極小値となったＳＡＤ値の波形（以下、ＳＡＤ波形と称する）を例示した図である。
【図９】最小、且つ極小値となったＳＡＤ値の波形（以下、ＳＡＤ波形と称する）を例示した図である。
【図１０】サブピクセルの視差を求める原理を模式的に示す図である。
【図１１】路面判定部２０が右エッジ画像を走査する様子を模式的に示す図である。
【図１２】式（１０）に係る座標軸を説明するための説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための形態について、添付図面を参照しながら実施例を挙げて説明する。
【実施例】
【００１９】
以下、図面を参照し、本発明の一実施例に係る画像解析装置、画像解析方法、及び画像解析プログラムについて説明する。
【００２０】
［構成］
図１は、本発明の一実施例に係る画像解析装置１のシステム構成例である。画像解析装置１は、カメラ１００、２００に接続されて用いられる。
【００２１】
カメラ１００、２００は、例えば、ＣＣＤ（Charge  Coupled  Device）カメラやＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）カメラである。
【００２２】
カメラ１００、２００は、例えば、車両のルームミラー背面部の左右端に取り付けられ、車両前方且つ斜め下方を撮像する。カメラ１００、２００は、鉛直方向の光軸角度（俯角）が一致するように取り付けられている。カメラ１００、２００は、所定周期で撮像した画像を画像解析装置１に送信する。図２は、カメラ１００、２００の撮像範囲を例示した図である。図示するように、カメラ１００、２００は、異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する。図３は、カメラ１００によって撮像された画像（以下、左画像と称する）と、カメラ２００によって撮像された画像（以下、右画像と称する）を示す図である。
【００２３】
画像解析装置１は、例えば、ＣＰＵ（Central  Processing  Unit）を中心としてＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）等がバスを介して相互に接続されたマイクロコンピュータであり、その他、必要に応じて、ＨＤＤ（Hard  Disc  Drive）やＤＶＤ−Ｒ（Digital  Versatile  Disk-Recordable）ドライブ、ＣＤ−Ｒ（Compact  Disc-Recordable）ドライブ、ＥＥＰＲＯＭ（Electronically  Erasable  and  Programmable  Read  Only  Memory）等の記憶装置やＩ／Ｏポート、タイマー、カウンター等を備える。
【００２４】
画像解析装置１は、記憶装置に格納されたプログラムをＣＰＵが実行することにより機能する機能ブロックとして、画像入力部１０と、歪補正・平行化処理部１２と、視差算出部１４と、選択部１６と、サブピクセル視差算出部１８と、路面判定部２０と、白線検出による視差算出部２２と、路面構造推定部２４と、を備える。
【００２５】
ＣＰＵが実行するプログラムは、例えば、プログラムを記録した記憶媒体がドライブ装置に装着されることによって、記憶装置にインストールされる。また、この他、車載インターネット装置等のインターフェース装置がネットワークを介して他のコンピュータよりダウンロードし、記憶装置にインストールされてもよいし、画像解析装置１の出荷時に、予め記憶装置やＲＯＭ等に格納されていてもよい。
【００２６】
画像入力部１０は、カメラ１００、２００から入力される画像データを、それぞれＲＡＭ等に格納する。
【００２７】
歪補正・平行化処理部１２は、同じタイミングでカメラ１００、２００により撮像された画像データの組について、カメラ１００、２００の内部パラメータや外部パラメータを用いて、歪補正処理を行うと共に、縦方向すなわち距離の方向に関して、同一の撮像対象物が同じ位置に写るように平行化する処理を行う。カメラ１００、２００は、同じ高さで同じ俯角をもって取り付けられるため、原理的には、縦方向に関して同一の撮像対象物が同じ位置に写る筈であるが、カメラ１００、２００の取り付け誤差や車両のロール運動、ルームミラーの振動等によって、上記のような平行化処理が必要となる場合がある。
【００２８】
歪補正処理は、例えば、カメラ１００、２００のレンズの設計値を用いた補正変換テーブルを用いて行ってもよいし、半径方向の歪曲収差のモデルを用いたパラメータ推定により行ってもよい。また、カメラ１００、２００の取り付け誤差に関する平行化処理は、例えば、カメラ１００、２００の共通撮像範囲に格子パターンを設置し、対応付けられた格子点からカメラ１００、２００の相対関係を算出する実験を予め行っておくことにより、行うことができる。
【００２９】
［視差算出］
図４は、ある撮像対象物Ｐ（Ｘ，Ｙ，Ｚ）の、左画像及び右画像における位置Ｐｌ及びＰｒを示す図である。位置Ｐｌ及びＰｒは、歪補正・平行化処理部１２によって、画像の縦方向（以下、ｙ方向と称する）に関する座標（ｙ座標）は同じになるように修正されるが、画像の横方向（以下、ｘ方向と称する）に関する座標（ｘ座標）は、カメラ１００、２００の間隔に応じて異なるものとなる。このＰｌとＰｒのｘ座標のズレ量を視差として算出し、Ｐｌ、Ｐｒのｙ座標、視差、及びカメラ１００、２００の設置パラメータを反映させた演算を行うことにより、撮像対象物Ｐまでの距離等を求めることができる。
【００３０】
ところで、視差を算出する際には、左画像と右画像の間で、同じ撮像対象物を撮像したと推定される画素同士の対応付けを行う必要がある。視差算出部１４は、まず、歪補正・平行化処理部１２によって修正された左画像及び右画像に対して、Ｓｏｂｅｌフィルター等を適用し、エッジを強調したエッジ画像を生成する。図５は、右画像、及び左画像から右エッジ画像、左エッジ画像を生成する様子を示す図である。なお、視差算出部１４は、ＳｏｂｅＬフィルターに代えて、Ｐｒｅｗｉｔｔフィルター等、他の手法を用いてエッジ画像を生成してもよい。
【００３１】
そして、視差算出部１４は、例えば右エッジ画像を基準画像、左エッジ画像を参照画像とし、以下の処理を行って右エッジ画像の各画素における視差を算出する。図６は、視差算出部１４により実行される処理の流れを示すフローチャートの一例である。本フローチャートは、例えば所定周期で繰り返し実行される。
【００３２】
まず、視差算出部１４は、右エッジ画像において、画素を一つ選択する（Ｓ３００）。以下、Ｓ３００で選択した画素を注目画素と称する。視差算出部１４は、例えば、右エッジ画像の左上隅の画素から右に１ピクセルずつずらして画素を選択し、右端まで到達すると一つ下の行の左端の画素から右に１ピクセルずつずらして画素を選択するという順序で、注目画素を順次選択する。
【００３３】
次に、視差算出部１４は、注目画素を中心としたＳＡＤウィンドウ*を設定する（Ｓ３０２）。ＳＡＤウィンドウ*は、例えば注目画素の上側及び下側に数ピクセル、右側及び左側に数ピクセルといった矩形範囲で設定される（縦幅と横幅は異なってもよい）。
【００３４】
次に、視差算出部１４は、左エッジ画像において、ｙ座標が注目画素と同じ画素を一つ選択する（Ｓ３０４）。以下、Ｓ３０４で選択した画素を比較対象画素と称する。視差算出部１４は、例えば、左エッジ画像におけるｙ座標が注目画素と画素を、左端の画素から右に１ピクセルずつずらして右端まで選択するという順序で、比較対象画素を順次選択する。
【００３５】
次に、視差算出部１４は、比較対象画素を中心としたＳＡＤウィンドウ**を設定する（Ｓ３０６）。ＳＡＤウィンドウ**は、ＳＡＤウィンドウ*と同じサイズ、形状で設定される。
【００３６】
そして、視差算出部１４は、Ｓ３０４で設定したＳＡＤウィンドウ*とＳ３０６で設定したＳＡＤウィンドウ**の間でＳＡＤ値を算出する（Ｓ３０８）。ＳＡＤ値は、同じ位置の画素の画素値（例えば輝度値であるが、色彩を加味してもよい）の差の絶対値の合計であり、式（１）で定義される。式中、ＮはＳＡＤウィンドウの縦方向のサイズ、ＭはＳＡＤウィンドウの横方向のサイズ、ＩはＳＡＤウィンドウ*の中で（ｉ，ｊ）で表される座標の画素値、ＴはＳＡＤウィンドウ**の中で（ｉ，ｊ）で表される座標の画素値である。ＳＡＤ値は、「注目画素の周辺画素を含めた画素値の、比較対象画素の周辺画素を含めた画素値との相違程度を示す指標値」の一例である。
【００３７】
【数１】
2013239078.tif 000003
なお、ＳＡＤ値に代えて、例えばＳＳＤ（Sum  of  Swuared  Difference）値のような、同様の性質を有する他の指標値を用いてもよい。ＳＳＤ値は、同じ位置の画素の輝度差の差の２乗の合計であり、式（２）で定義される。
【００３８】
【数２】
2013239078.tif 000004
次に、視差算出部１４は、Ｓ３０４において、左エッジ画像から、ｙ座標が注目画素と同じ全ての画素を選択したか否かを判定する（Ｓ３１０）。左エッジ画像から、ｙ座標が注目画素と同じ全ての画素を選択していない場合、視差算出部１４は、Ｓ３０４に戻り、一つ右側の画素を比較対象画素として選択する。
【００３９】
一方、左エッジ画像から、ｙ座標が注目画素と同じ全ての画素を選択した場合、視差算出部１４は、Ｓ３０４〜Ｓ３１０のループ処理において算出されたＳＡＤ値のうち、最小、且つ極小値となったＳＡＤ値を抽出し、当該ＳＡＤ値が算出された際の比較対象画素と注目画素の座標差（ｘ方向の距離）を、当該注目画素についての視差として算出する（Ｓ３１２）。
【００４０】
注目画素に対応する一連のＳＡＤ値等の指標値、及びこれが最小、且つ極小値となった際の比較対象画素に関するデータは、後に選択部１６が処理に用いるため、ＲＡＭ等の記憶装置に格納される。
【００４１】
なお、視差算出部１４は、最小、且つ極小値となったＳＡＤ値が存在しない場合は、当該注目画素について視差を算出しない。これは、左画像の端部でＳＡＤ値が最小となったり、全ての比較対象画素についてＳＡＤ値が一定となったりした場合に生じる現象であり、このような場合には有意な視差が得られないからである。
【００４２】
次に、視差算出部１４は、Ｓ３００において、右エッジ画像から全ての画素を選択したか否かを判定する（Ｓ３１４）。右エッジ画像から全ての画素を選択していない場合、視差算出部１４は、Ｓ３００に戻り、一つ右側の画素（右端まで到達した場合は一つ下の行における左端の画素）を注目画素として選択する。一方、右エッジ画像から全ての画素を選択した場合、視差算出部１４は、本フローチャートの１ルーチンを終了する。
【００４３】
図７は、視差算出部１４が、右エッジ画像と左エッジ画像を走査して注目画素や比較対象画素を選択し、ＳＡＤウィンドウ*、ＳＡＤウィンドウ**を設定する様子を模式的に示す図である。
【００４４】
［有意な視差（画素）の選択］
ところで、視差算出部１４により算出された、注目画素に対応付けられた視差は、そのまま距離の算出等に用いてもよいが、路面の構造を推定する場合等、より高い正確性が求められる場合には、有意な視差、すなわち同一の撮像対象物が写っている可能性が高い注目画素と比較対象画素の組み合わせから算出された視差に絞り込む処理を行うと、好適である。
【００４５】
図８及び図９は、ＳＡＤ値が最小、且つ極小値となった比較対象画素Ｑ、その左側の比較対象画素Ｑ-１、その右側の比較対象画素Ｑ+１におけるＳＡＤ値の波形（以下、ＳＡＤ波形と称する）を例示した図である。ＳＡＤ波形には、図８に示すようになだらかな波形を示すものと、図９に示すように急峻な波形を示すものが存在する。これらのうち、有意な視差が算出できるのは、図９に示すように急峻な波形を示すＳＡＤ波形が得られた注目画素及び比較対象画素の組み合わせからである。
【００４６】
このため、選択部１６は、視差が算出された各注目画素について、例えば式（３）により、ＳＡＤ値が最小、且つ極小値となった比較対象画素Ｑの近傍におけるＳＡＤ値の傾きを示す指標値αを算出し、指標値αが基準値以上である注目画素と、対応する視差に絞り込む処理を行う。基準値は、固定値であってもよいし、統計的な値（例えばαの平均値等）であってもよい。
【００４７】
α＝｜（比較対象画素Ｑ-１におけるＳＡＤ値）−（比較対象画素ＱにおけるＳＡＤ値）｜＋｜（比較対象画素Ｑ+１におけるＳＡＤ値）−（比較対象画素ＱにおけるＳＡＤ値）｜  …（３）
【００４８】
なお、式（３）は、ＳＡＤ値が最小、且つ極小値となった比較対象画素の近傍におけるＳＡＤ値の傾きを反映した値αを導出するための一例であり、例えば、「１ピクセル」を「数ピクセル」に置換する等、種々の変更が許容される。
【００４９】
このような処理を行うことにより、有意な視差と注目対象画素との組み合わせを選択することができる。これによって、本実施例の画像解析装置１は、後述する路面構造推定処理等において、より高精度に処理を行うことができる。
【００５０】
［サブピクセル視差の算出］
サブピクセル視差算出部１８は、選択部１６により選択された視差を、サブピクセルの視差に変換して分解能を向上させる。以下の説明において、視差は注目画素に対応付けられていることを前提とし、「注目画素と視差の組み合わせを選択する」ことを、単に「視差を選択する」と称する。
図１０は、サブピクセルの視差を求める原理を模式的に示す図である。図示するように、ＳＡＤ値が最小、且つ極小値となった比較対象画素ＱにおけるＳＡＤ値をｃ、その左側の比較対象画素Ｑ-１におけるＳＡＤ値をａ、その右側の比較対象画素Ｑ+１におけるＳＡＤ値をｂとすると、ＳＡＤ値を真に最小、且つ極小値とする仮想的な比較対象画素Ｑ*のｘ座標と、比較対象画素Ｑのｘ座標との差分ＳＰは、式（４）によって表される。
【００５１】
ＳＰ＝（ａ−ｂ）／２（ａ−ｃ）  （ａ＞ｂ）
ＳＰ＝（ａ−ｂ）／２（ｂ−ｃ）  （ａ≦ｂ）  …（４）
【００５２】
サブピクセル視差算出部１８は、算出した差分ＳＰを視差に加算することによって、より高精度なサブピクセルの視差を算出する。
【００５３】
なお、選択部１６の処理は、サブピクセルの視差が算出された後に行われてもよい。この場合、選択部１６は、仮想的な比較対象画素Ｑ*がＱ-１とＱの間にあれば式（５）により指標値α*を算出し、Ｑ*がＱとＱ+１の間にあれば式（６）により指標値α*を算出すればよい。
【００５４】
α*＝｜（Ｑ-１におけるＳＡＤ値）−（Ｑ*におけるＳＡＤ値）｜＋｜（ＱにおけるＳＡＤ値）−（Ｑ*におけるＳＡＤ値）｜  …（５）
α*＝｜（ＱにおけるＳＡＤ値）−（Ｑ*におけるＳＡＤ値）｜＋｜（Ｑ+１におけるＳＡＤ値）−（Ｑ*におけるＳＡＤ値）｜  …（６）
【００５５】
［路面判定］
路面判定部２０は、例えば右エッジ画像を画像の奥行き方向に走査し、所定数以上の縦に連続する注目画素に対応付けられた視差が閾値以内（例えば１ピクセル以内）に収まる場合、当該連続する注目画素を、立体物を写した画素であると判定する。そして、路面判定部２０は、立体物を写したと判定した画素以外の注目画素を、路面を写した画素であると判定する。図１１は、路面判定部２０が右エッジ画像を走査する様子を模式的に示す図である。画像の奥行き方向に並ぶ注目画素に対応付けられた視差が閾値以内に収まるということは、カメラ１００、２００との距離が略一定であることを表している。このため、この一連の注目画素は、立体物（例えば先行車両の後端面や路側の壁等）を写していると考えられ、そうでない注目画素は路面を写したものと考えられる。なお、奥行き方向とは、画像の中央部では縦方向と略一致するが、画像の左右端部では、手前側から奥側にかけて中央部に収束する方向となる。
【００５６】
［白線検出による視差算出］
一方、白線検出による視差算出部２２は、歪補正・平行化処理部１２によって修正された左画像及び右画像に対して、例えば隣接画素との輝度差が閾値以上である画素を抽出し、抽出した画素のうち、直線状又は曲線状（カーブの場合）に並ぶ点に絞り込むことにより、白線の輪郭に相当する画素を抽出する。以下、抽出した画素を白線エッジと称する。直線状又は曲線状に並ぶ点は、例えばハフ変換や最小二乗法等によって抽出することができる。
【００５７】
そして、白線検出による視差算出部２２は、視差算出部１４と同様、左画像における白線エッジ（注目画素）と、右画像における白線エッジ（比較対象画素）との視差を求めることにより、左画像における白線エッジ（注目画素）に対応付けられた視差を算出する。
【００５８】
［路面構造推定］
路面構造推定部２４は、視差算出部１４、選択部１６、サブピクセル視差算出部１８により算出されたサブピクセルの視差に路面判定部２０の判定を加味したデータと、白線検出による視差算出部２２により算出された視差とを反映させて、路面の構造を推定する。
【００５９】
路面構造推定部２４は、以下のような条件を満たす視差を選択し、選択した視差を用いて路面構造を推定する。なお、同じ注目画素に対して異なる視差が算出されたような場合、下記の条件１を満たす視差が条件２、３を満たす視差に優先し、条件２を満たす視差が条件３を満たす視差に優先するものとしてよい。
【００６０】
条件１：白線検出による視差算出部２２により視差が算出され、且つ選択部１６により選択された視差
条件２：白線検出による視差算出部２２により算出された視差
条件３：選択部１６により選択された視差であり、且つ路面判定部２０により路面を写した画素であると判定された注目画素に対応付けられた視差。
【００６１】
路面構造推定部２４は、上記のように視差を選別すると、まず式（７）〜（９）により、視差を三次元情報（距離Ｄ、横位置Ｘ、高さＹ）に変換する。式中、ｆはカメラ１００、２００の焦点距離、Δｄは視差、ｘ，ｙは注目画素のｘ座標及びｙ座標である。
【００６２】
Ｄ＝ｆＢ／Δｄ  …（７）
Ｘ＝ｘＤ／ｆ  …（８）
Ｙ＝ｙＤ／ｆ  （９）
【００６３】
路面構造推定部２４は、更に、路面の構造が式（１０）で表されるため、式（７）〜（９）で求められる路面の三次元情報を複数用いて、最小二乗法等を適用し、式（１０）のパラメータを算出する。式中、ａは縦断曲率であり、ｂはカメラ１００、２００のピッチ角であり、ｃはカメラ１００、２００の高さである。図１２は、式（１０）に係る座標軸を説明するための説明図である。
【００６４】
Ｙ＝ａ×Ｚ2＋ｂ×Ｚ＋ｃ  …（１０）
【００６５】
［まとめ］
以上説明した本実施例の画像解析装置１によれば、ＳＡＤ値が最小、且つ極小値となった比較対象画素の近傍におけるＳＡＤ値の傾きを示す指標値αを算出し、指標値αが基準値以上である注目画素と、対応する視差に絞り込む処理を行うため、有意な視差と注目対象画素との組み合わせを選択することができる。これによって、路面構造推定処理等において、より高精度に処理を行うことができる。
【００６６】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【００６７】
例えば、視差算出部１４が、ＳＡＤ値が最小、且つ極小値となった比較対象画素を選択するものとしたが、単に、ＳＡＤ値が最小となった比較対象画素を選択するものとしても構わない。
【００６８】
また、注目画素の周辺画素を含めた画素値の、比較対象画素の周辺画素を含めた画素値との相違程度を示す指標値であるＳＡＤ値が最小、且つ極小値となった比較対象画素を選択するものとしたが、この逆に、注目画素の周辺画素を含めた画素値の、比較対象画素の周辺画素を含めた画素値との「一致程度」を示す指標値が最大、且つ極小値（或いは単に最大）となった比較対象画素を選択するものとしても構わない。
【符号の説明】
【００６９】
１    画像解析装置
１０  画像入力部
１２  歪補正・平行化処理部
１４  視差算出部
１６  選択部
１８  サブピクセル視差算出部
２０  路面判定部
２２  白線検出による視差算出部
２４  路面構造推定部
１００、２００  カメラ
【図１】
2013239078.tif 000005
【図２】
2013239078.tif 000006
【図４】
2013239078.tif 000007
【図６】
2013239078.tif 000008
【図７】
2013239078.tif 000009
【図８】
2013239078.tif 000010
【図９】
2013239078.tif 000011
【図１０】
2013239078.tif 000012
【図１１】
2013239078.tif 000013
【図１２】
2013239078.tif 000014
【図３】
2013239078.tif 000015
【図５】
2013239078.tif 000016