(57)【要約】【課題】距離情報の精度を向上させるとともに回路規模削減・処理時間短縮が可能な障害物計測方法、障害物計測装置及び障害物計測システムを提供する。【解決手段】この障害物計測方法は、障害物までの距離をステレオ画像による視差算出で計測するものであって、低解像度画像から算出した視差値についてその信頼度を求め、信頼度に基づいて、高解像度画像における視差算出のための対応点探索のウィンドウサイズを設定する。【選択図】図５
2009092551.tif 000002
【特許請求の範囲】
【請求項１】
障害物までの距離をステレオ画像による視差算出で計測する障害物計測方法であって、
低解像度画像から算出した視差値についてその信頼度を求め、
前記信頼度に基づいて、高解像度画像における視差算出のための対応点探索のウィンドウサイズを設定することを特徴とする障害物計測方法。
【請求項２】
前記信頼度が低いと判定されたとき、前記信頼度が低いと判定された低解像度画像の領域に対応する前記高解像度画像における領域について、その対応点探索のウィンドウサイズを前記信頼度を求めた場合よりも大きく設定する請求項１に記載の障害物計測方法。
【請求項３】
前記低解像度画像における対応点探索の相関演算方法としてＳＡＤ法（差分絶対値和）を用いる請求項１または２に記載の障害物計測方法。
【請求項４】
前記信頼度は、前記低解像度画像から得られたＳＡＤ最小値について所定の閾値を基準にして判定される請求項３に記載の障害物計測方法。
【請求項５】
前記信頼度は、前記低解像度画像から前記ＳＡＤ法により得られた視差値をLR-Check法（バックマッチング法）により評価した結果に基づいて判定される請求項３または４に記載の障害物計測方法。
【請求項６】
前記高解像度画像における対応点探索の相関演算方法としてＰＯＣ法（位相限定相関法）を用いる請求項１乃至５のいずれか１項に記載の障害物計測方法。
【請求項７】
障害物までの距離をステレオ画像による視差算出で計測する障害物計測装置であって、
画像を取得する複数のカメラと、
前記画像から解像度の異なる高解像度画像及び低解像度画像を生成する画像生成手段と、
前記低解像度画像から算出した視差値についてその信頼度を求め判定する信頼度判定手段と、
前記高解像度画像から視差算出により距離情報を生成する距離情報生成手段と、を備え、
前記高解像度画像による視差算出のための対応点探索のウィンドウサイズを前記信頼度判定手段の判定結果に基づいて設定することを特徴とする障害物計測装置。
【請求項８】
前記信頼度が低いと判定されたとき、前記距離情報生成手段は、前記信頼度が低いと判定された低解像度画像の領域に対応する前記高解像度画像における領域について、その対応点探索のウィンドウサイズを前記信頼度を求めた場合よりも大きく設定する請求項７に記載の障害物計測装置。
【請求項９】
前記信頼度判定手段における対応点探索の相関演算方法としてＳＡＤ法（差分絶対値和）を用いる請求項７または８に記載の障害物計測装置。
【請求項１０】
前記信頼度判定手段は、ＳＡＤ最小値について所定の閾値を基準にして前記信頼度を判定する請求項９に記載の障害物計測装置。
【請求項１１】
前記信頼度判定手段は、前記ＳＡＤ法により得られた視差値をLR-Check法（バックマッチング法）により評価した結果に基づいて前記信頼度を判定する請求項９または１０に記載の障害物計測装置。
【請求項１２】
前記離情報生成部における対応点探索の相関演算方法としてＰＯＣ法（位相限定相関法）を用いる請求項７乃至１１のいずれか１項に記載の障害物計測装置。
【請求項１３】
請求項７乃至１２のいずれか１項に記載の障害物計測装置と、前記計測された距離情報に基づいて前記障害物に関する危険を判定する判定部と、前記危険と判定されたときに警告を発する警告部と、を備えることを特徴とする障害物計測システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、障害物までの距離を計測する障害物計測方法、障害物計測装置及び障害物計測システムに関する。
【背景技術】
【０００２】
ステレオ画像による距離計測では、一対の画像の内の基準画像の１つの領域に対し参照画像でパターンが一致する領域を探索し、それら対応点間の視差を算出し、その視差から三角測量の原理により対象物までの距離を算出している。
【０００３】
上述の対応点探索の信頼度に関し、特許文献１は、カメラ画像中の複数の点について、位置情報と、その位置情報がどの程度正確に算出されたかを表す信頼度とを算出し、信頼度が高く、位置情報が正しく算出されている場合は、位置情報を用いて歪みの少ない合成画像が表示される一方、信頼度が低く、位置情報に大きな誤差が含まれている場合は、位置情報は用いないが、障害物が誤った位置に表示されたり消えたりはしない合成画像が表示され、自然でかつ運転者の誤解をまねかないような車両周辺の状況を示す画像を提示できるようにした車両周辺監視装置を開示する（〔００１１〕参照）。
【０００４】
また、特許文献２は、複数の原色画像で構成された一対のカラー画像を用いて、ステレオマッチングを行う画像処理装置において、それぞれの原色視差に基づいて、画像領域毎の統一視差を算出するとともに、原色視差およびシティブロック距離の少なくとも一方の信頼性を示す信頼度情報を統一視差に対応付けて出力し、一の画像領域に関する信頼性が高いと判断した場合には、この画像領域に関する統一視差を出力するとともに、一の画像領域に関する信頼性が高くないと判断した場合には、演算量の低減を図るために、この画像領域に関する統一視差を出力しないようにしている（〔０００６〕〔０００７〕参照）。
【特許文献１】特開２００４−５６７７８号公報
【特許文献２】特開２００３−１５０９３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上述のようなステレオカメラで得たステレオ画像による距離情報算出においては、その際に利用される左右画像の領域ベースの対応付けにおいてウインドウサイズを小さくすると、左右画像の対応点探索のための情報量が少なくなるため、誤対応が多くなるという問題がある。かかる誤対応を回路構成で解決しようとすると、回路規模が大きくなったり、処理時間が長くなってしまう。
【０００６】
特許文献１，２はともに、信頼度が低く算出した距離情報の精度が低い場合に、大きな誤差を含む位置情報を用いないこと、その画像領域に関する統一視差を出力しないこと等の消極的な対策をとるものであり、信頼度を大きくし距離情報の精度をよくするような積極的な対策を提案するものではない。
【０００７】
本発明は、上述のような従来技術の問題に鑑み、距離情報の精度を向上させるとともに回路規模削減・処理時間短縮が可能な障害物計測方法、障害物計測装置及び障害物計測システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明による障害物計測方法は、障害物までの距離をステレオ画像による視差算出で計測する障害物計測方法であって、低解像度画像から算出した視差値についてその信頼度を求め、前記信頼度に基づいて、高解像度画像における視差算出のための対応点探索のウィンドウサイズを設定することを特徴とする。
【０００９】
この障害物計測方法によれば、低解像度画像から得た視差値について求めた信頼度に基づいて、高解像度画像における視差算出のための対応点探索のウィンドウサイズを設定するので、信頼度が低い場合はウィンドウサイズを大きく設定できる。したがって、高解像度画像による視差算出の際に情報量が多くなり誤対応が少なくなるため、対応点探索における対応精度がよくなり、高解像度画像から算出される距離情報の精度が向上するとともに回路規模削減・処理時間短縮が可能となる。
【００１０】
上記障害物計測方法において前記信頼度が低いと判定されたとき、前記信頼度が低いと判定された低解像度画像の領域に対応する前記高解像度画像における領域について、その対応点探索のウィンドウサイズを前記信頼度を求めた場合よりも大きく設定することが好ましい。低解像度画像を用いて得た視差値についての信頼度が低いとされても、信頼度が低いと判定された低解像度画像の領域に高解像度画像において対応する領域について、その対応点探索のウィンドウサイズを大きく設定するので、高解像度画像についての対応点探索における対応精度がよくなり、算出された距離情報の精度が向上する。
【００１１】
また、前記低解像度画像における対応点探索の相関演算方法としてＳＡＤ法（差分絶対値和）を用いることが好ましい。この場合、前記信頼度は、前記低解像度画像から得られたＳＡＤ最小値について所定の閾値を基準にして判定されるようにできる。探索位置の相関が高いほどＳＡＤ値が小さくなることを利用したものである。すなわち、一致度が疑わしい場合はＳＡＤ値も大きくなるので、閾値判定をすることで信頼度の高いＳＡＤ結果であるか、低いＳＡＤ結果であるかを判別できる。
【００１２】
また、前記信頼度は、前記低解像度画像から前記ＳＡＤ法により得られた視差値をLR-Check法（バックマッチング法）により評価した結果に基づいて判定されるようにしてもよい。
【００１３】
また、前記高解像度画像における対応点探索の相関演算方法としてＰＯＣ法（位相限定相関法）を用いることが好ましい。
【００１４】
本発明による障害物計測装置は、障害物までの距離をステレオ画像による視差算出で計測する障害物計測装置であって、画像を取得する複数のカメラと、前記画像から解像度の異なる高解像度画像及び低解像度画像を生成する画像生成手段と、前記低解像度画像から算出した視差値についてその信頼度を求め判定する信頼度判定手段と、前記高解像度画像から視差算出により距離情報を生成する距離情報生成手段と、を備え、前記高解像度画像による視差算出のための対応点探索のウィンドウサイズを前記信頼度判定手段の判定結果に基づいて設定することを特徴とする。
【００１５】
この障害物計測装置によれば、低解像度画像から得た視差値について求めた信頼度に基づいて、高解像度画像における視差算出のための対応点探索のウィンドウサイズを設定するので、信頼度が低い場合はウィンドウサイズを大きく設定できる。したがって、高解像度画像による視差算出の際に情報量が多くなり誤対応が少なくなるため、対応点探索における対応精度がよくなり、高解像度画像から算出される距離情報の精度が向上するとともに距離情報生成手段において回路規模削減・処理時間短縮が可能となる。
【００１６】
上記障害物計測装置において前記信頼度が低いと判定されたとき、前記距離情報生成手段は、前記信頼度が低いと判定された低解像度画像の領域に対応する前記高解像度画像における領域について、その対応点探索のウィンドウサイズを前記信頼度を求めた場合よりも大きく設定することが好ましい。低解像度画像を用いて得た視差値についての信頼度が低いとされても、信頼度が低いと判定された低解像度画像の領域に高解像度画像において対応する領域について、その対応点探索のウィンドウサイズを大きく設定するので、高解像度画像についての対応点探索における対応精度がよくなり、算出された距離情報の精度が向上する。
【００１７】
また、前記信頼度判定手段における対応点探索の相関演算方法としてＳＡＤ法（差分絶対値和）を用いることが好ましい。この場合、前記信頼度判定手段は、ＳＡＤ最小値について所定の閾値を基準にして前記信頼度を判定することが好ましい。探索位置の相関が高いほどＳＡＤ値が小さくなることを利用したものである。すなわち、一致度が疑わしい場合はＳＡＤ値も大きくなるので、閾値判定をすることで信頼度の高いＳＡＤ結果であるか、低いＳＡＤ結果であるかを判別できる。
【００１８】
また、前記信頼度判定手段は、前記ＳＡＤ法により得られた視差値をLR-Check法（バックマッチング法）により評価した結果に基づいて前記信頼度を判定することが好ましい。
【００１９】
また、前記離情報生成部における対応点探索の相関演算方法としてＰＯＣ法（位相限定相関法）を用いることが好ましい。
【００２０】
本発明による障害物計測システムは、上述の障害物計測装置と、前記計測された距離情報に基づいて前記障害物に関する危険を判定する判定部と、前記危険と判定されたときに警告を発する警告部と、を備えることを特徴とする。
【００２１】
この障害物計測システムによれば、警告部からの警告により危険に注意が向き、危険回避の操作を行うことができるとともに、障害物計測システムにおいて距離精度が向上し信頼性を確保でき、回路規模削減・処理時間短縮を実現できる。
【発明の効果】
【００２２】
本発明の障害物計測方法、障害物計測装置及び障害物計測システムによれば、距離情報の精度を向上させることができるとともに回路規模削減・処理時間短縮が可能となり、距離情報の精度向上と回路規模削減・処理時間短縮との両立が可能となる。また、信頼度判定のために低解像度画像から視差値を得るので、不必要な演算を抑制でき、回路規模削減・処理時間短縮に寄与できる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明を実施するための最良の形態について図面を用いて説明する。
【００２４】
〈第１の実施の形態〉
図１は第１の実施の形態による障害物計測装置の概略的構成を示すブロック図である。
【００２５】
図１に示すように、車両用の障害物計測装置１０は、右カメラ１１と、左カメラ１２と、カメラ１１，１２からの画像を補正する画像補正部１３と、カメラ１１，１２による画像から複数の解像度の画像を生成する多重解像度画像生成部１４と、多重解像度画像生成部１４で生成した低解像度画像から視差値を算出する視差値算出部１５と、多重解像度画像生成部１４で生成した高解像度画像から算出した視差値に基づいて距離情報・距離画像を生成する距離情報生成部１６と、を備え、車両に搭載される。
【００２６】
障害物計測装置１０は、さらに、視差値算出部１５で低解像度画像から算出した視差値についてその信頼度を求め判定する信頼度判定部１７と、信頼度判定部１７の判定結果に基づいて距離情報生成部１６における視差算出のための対応点探索のためのウィンドウサイズを設定するウィンドウサイズ設定部１８と、を備える。
【００２７】
右カメラ１１及び左カメラ１２は、それぞれレンズ等の光学系とＣＣＤやＣＭＯＳイメージセンサ等からなる撮像素子とを備え、車両の前部に所定間隔に配置されてステレオカメラを構成し、車両前方に存在する先行車両や歩行者等の障害物の画像情報を電気信号として得る。
【００２８】
画像補正部１３は、カメラ１１，１２からの画像についてカメラ１１，１２のレンズの周辺部に生じるひずみ等を補正する。
【００２９】
視差は、２つの撮像面における計測対象物のずれ量であり、２つの画像のある領域の相関の高い領域を探索することで求められる。その探索方式としては、ＳＡＤ、ＳＳＤ、ＮＣＣが従来使用されてきたが、最近では、高精度、ロバストな装置としてＰＯＣが注目されている。視差と距離とは反比例の関係にあるので、視差を計測することで距離の計測が可能である。
【００３０】
すなわち、視差値算出部１５は、視差演算のための対応点探索法として差分絶対値和(Sum of Absolute Difference:SAD)による相関法を用いて、低解像度画像から視差値としてＳＡＤ値を得る。
【００３１】
また、距離情報生成部１６は、視差演算のための対応点探索法として位相限定相関法(Phase-Only Correlation:POC)を用いて高解像度画像から視差値を得る。この場合、高解像度画像における視差算出のための対応点探索のウィンドウサイズは、信頼度判定部１７の判定結果に基づいてウィンドウサイズ設定部１８で設定される。
【００３２】
ＳＡＤ法は、一般的によく用いられている対応点探索法であり、例えば、新井元基、鷲見和彦、松山隆司による論文「画像のブロックマッチングにおける相関関数とサブピクセルの推定方式の最適化」（情報処理学会  研究報告 CVIM-144-5, pp.33-40, May 2004）や特開２０００−２８３７５３号公報等を参照できる。
【００３３】
ＰＯＣ法（位相限定相関法）は、デジタル信号に変換された画像信号をフーリエ変換し、位相信号と振幅信号を得て、位相信号だけを逆フーリエ変換することで得られた位相情報を用いる対応点探索法であり、位相成分のみを使用するため、精度の高いマッチングが可能であり、ＳＡＤ法よりも対応点探索の精度が高い。ＰＯＣ法は、例えば、福田康宏、安部正英、川又政征による論文「位相限定相関を用いた映像の位置ずれ補正のＤＳＰによる実現」（計測自動制御学会東北支部  第215回研究集会(2004.5.27)資料番号215-3）等を参照できる。
【００３４】
なお、視差値算出部１５及び距離情報生成部１６は、上述のＳＡＤ法、ＰＯＣ法による視差算出のための演算を集積素子等によりハード的に処理できるが、ＣＰＵ（中央演算処理装置）によりソフト的に処理するようにしてもよい。この場合、ＣＰＵは所定のプログラムに従って所定の演算を実行する。
【００３５】
次に、図１の視差値算出部１５の具体例について図２（ａ）〜（ｃ）を参照して説明する。図２は図１の障害物計測装置の視差値算出部１５における対応点探索の例を説明するために左画像を示す概略図（ａ）、右画像を示す概略図（ｂ）及び探索位置と相関値との関係例を概略的に示す図（ｃ）である。
【００３６】
図２（ａ）、（ｂ）のように、同一の障害物である道路１上の先行車両Ｐについて左カメラ１２から得られる左画像（基準画像）Ｌと右カメラ１１から得られる右画像（参照画像）Ｒとが水平方向にずれて撮像面上に表示されるが、これら２つの撮像面における対象物のずれ量が視差であり、撮像面における視差は撮像素子の画素ピッチから測定できる。
【００３７】
図２において左画像（基準画像）Ｌと右画像（参照画像）Ｒとの対応点探索を次のように行う。すなわち、視差値算出部１５では図２（ａ）のように低解像度画像の先行車両Ｐの左画像Ｌに所定サイズのウィンドウＷ０を設定し、図２（ｂ）のように同じく右画像Ｒに同じサイズのウィンドウＷ１（破線で示す）を設定し、両ウィンドウＷ０，Ｗ１において次の数１に示すＳＡＤ算出式によりＳＡＤ値sad(x,y,d)を求める。
【００３８】
【数１】
2009092551.tif 000003
【００３９】
そして、図２（ｂ）の破線のように、右画像Ｒのウィンドウの位置をサイズを変えずにＷ１→Ｗ２→Ｗ３のように画面の横方向にずらして、上記ＳＡＤ算出式によりＳＡＤ値sad(x,y,d)を求める。
【００４０】
上述のようにして求めたＳＡＤ値と探索位置との関係は、図２（ｃ）のように変化し、右画像ＲのウィンドウＷ２において左画像ＬのウィンドウＷ０に対し最も相関が高く、ウィンドウＷ２のときのＳＡＤ値ｃが最小となる。このように、ＳＡＤ法による対応点探索において、探索位置の相関が高い（大きい）ほどＳＡＤ値が小さくなる。
【００４１】
次に、図１の信頼度判定部１７における信頼度の判定の具体例について図３（ａ）〜（ｄ）を参照して説明する。図３は図２（ａ）〜（ｃ）のようにして求めたＳＡＤ値と探索位置との関係による探索結果の例を概略的に示す図（ａ）乃至（ｄ）であり、図３（ｄ）は、ＳＡＤ値から信頼度を判定する例を説明するための図である。
【００４２】
図３（ａ）、（ｂ）は、対応点探索の探索領域が違う場合の各探索結果であり、探索領域によって一致度（相関の大きさ）が異なる場合があるが、ＳＡＤ値が小さいほど一致度は高い。また、図３（ｃ）のように、どの探索位置でもＳＡＤ値が高い場合、すなわち、一定値以上であると、対応点探索の信頼性が低いと考えられる。
【００４３】
そこで、図３（ｄ）のように、対応点探索の結果得られたＳＡＤ値に対し閾値ｔｈを設け、図１の信頼度判定部１７は、ＳＡＤ値の最小値（ＳＡＤ最小値）と閾値ｔｈとを比較して、最小値が閾値ｔｈ以下である場合は、対応点探索の信頼度が高いと判定し、閾値ｔｈ以上である場合は、信頼度が低いと判定する。
【００４４】
例えば、図３（ｄ）において、探索結果を示すカーブＡにおけるＳＡＤ値の最小値ａは、閾値ｔｈ以下であるから対応点探索の信頼度が高いと判定される。また、探索結果を示すカーブＢにおけるＳＡＤ値の最小値ｂは、閾値ｔｈ以上であるから対応点探索の信頼度が低いと判定される。
【００４５】
次に、図３（ｄ）のような対応点探索の信頼度の判定結果に基づいて図１の距離情報生成部１６でウィンドウサイズを設定する具体例について図４（ａ）、（ｂ）を参照して説明する。
【００４６】
図４は、図２（ａ）と同様の左画像Ｌにおいて先行車両の各画像（高解像度）に対して設定した対応点探索のウィンドウサイズを示す模式図（ａ）及びウィンドウサイズを閾値ｔｈを境にして変えることを示すグラフ（ｂ）である。
【００４７】
図４（ａ）の車両Ｐ１と別の車両Ｐ２についての高解像度の左画像Ｌに対応する低解像度画像により、上述のようにそれぞれ対応点探索を行った結果、車両Ｐ１の画像に関する領域についてはＳＡＤ値の最小値が閾値ｔｈよりも大きく（信頼度が低く）、車両Ｐ２の画像に関する領域についてはＳＡＤ値の最小値が閾値ｔｈよりも小さい（信頼度が高い）場合、図４（ｂ）のように、距離情報生成部１６において、高解像度の車両Ｐ１，Ｐ２の各画像に関する領域に対しＰＯＣ法により対応点探索を行う際に、車両Ｐ１の画像に関する領域に対するウィンドウＷ４のサイズをＮ×Ｎと設定し、車両Ｐ２の画像に関する領域に対するウィンドウＷ５のサイズをＭ×Ｍと設定する。ここで、Ｍ＜Ｎである。
【００４８】
上述のように、図１のウィンドウサイズ設定部１８では、視差値算出部１５における低解像度画像に対するＳＡＤ法により信頼度を得るための対応点探索では、ウィンドウサイズをＭ×Ｍと設定しており、信頼度が低いと判定された車両Ｐ１の低解像度画像の領域と対応する車両Ｐ１の高解像度画像の領域について、その対応点探索のウィンドウＷ４のサイズを、上記信頼度を求めた場合のサイズＭ×Ｍよりも大きいＮ×Ｎに設定している。
【００４９】
一方、信頼度が高いと判定された車両Ｐ２の高解像度画像の領域では、その対応点探索のウィンドウＷ５のサイズを、上記信頼度を求めた場合のサイズＭ×Ｍと同じに設定し、変えていない。なお、ウィンドウサイズは、カメラ１１，１２の撮像素子の画素ピッチの整数倍として設定できる。
【００５０】
次に、図１の障害物計測装置１０の全体の動作（ステップＳ０１〜Ｓ０７）について図５のフローチャートを参照して説明する。
【００５１】
まず、カメラ１１，１２で撮影した画像、例えば、図２（ａ）、（ｂ）のように道路１上を走行している車両Ｐの左右画像が入力すると（Ｓ０１）、画像補正部１３で画像補正してから（Ｓ０２）、多重解像度画像生成部１４で複数の解像度の画像を生成する（Ｓ０３）。
【００５２】
次に、視差値算出部１５で、上述の複数の解像度の画像の内の低解像度画像に基づいてＳＡＤ法により対応点探索を行い、各探索位置においてＳＡＤ値を算出する（Ｓ０４）。
【００５３】
次に、信頼度判定部１７で、図３（ｄ）のように低解像度画像により算出されたＳＡＤ値の最小値（ＳＡＤ最小値）を所定の閾値ｔｈと比較し、低解像度画像による対応点探索の信頼度を判定する（Ｓ０５）。
【００５４】
その結果、例えば、図３（ｄ）のようにＳＡＤ値の最小値ｂが閾値ｔｈ以上である場合は、信頼度が低いと判定されて（Ｓ０５）、ウィンドウサイズ設定部１８では、例えば、図４（ｂ）のように、視差値算出部１５でＳＡＤ法により信頼度を得るための対応点探索におけるウィンドウサイズＭ×Ｍから、距離情報生成部１６における高解像度画像による対応点探索のウィンドウサイズをＭ×Ｍよりも大きいＮ×Ｎに設定する（Ｓ０６）。
【００５５】
また、図３（ｄ）のようにＳＡＤ値の最小値ａが閾値ｔｈ以下である場合は、信頼度が高いと判定されて（Ｓ０５）、ウィンドウサイズ設定部１８では、例えば、図４（ｂ）のように、距離情報生成部１６における高解像度画像による対応点探索のウィンドウサイズを変えずに、視差値算出部１５で信頼度を得るための対応点探索におけるウィンドウサイズＭ×Ｍと同じにする。
【００５６】
上述のようにして設定されたウィンドウサイズＮ×Ｎ、または、Ｍ×Ｍ（Ｎ＞Ｍ）により、距離情報生成部１６で高解像度画像による対応点探索を行い、距離情報を生成する（Ｓ０７）。
【００５７】
なお、距離情報生成部１６は、例えば、ＰＯＣ法による対応点探索の結果得られた視差に基づいて障害物までの距離を３次元的に算出し距離情報・距離画像を生成する。
【００５８】
以上のように、本実施の形態の障害物計測装置１０によれば、低解像度画像から得たＳＡＤ値の最小値から求めた対応点探索の信頼度に基づいて、高解像度画像における例えばＰＯＣ法による視差算出のための対応点探索のウィンドウサイズを設定するので、信頼度が低い場合はウィンドウサイズを大きく設定できる。したがって、高解像度画像による視差算出の際に情報量が多くなり誤対応が少なくなるため、対応点探索における対応精度がよくなり、高解像度画像から算出される距離情報の精度が向上するとともに、距離情報生成部１６における回路規模削減・処理時間短縮が可能となり、距離情報の精度向上と回路規模削減・処理時間短縮との両立が可能となる。
【００５９】
また、信頼度判定のために低解像度画像からＳＡＤ値を得るので、視差値算出部１５において不必要な演算を抑制でき、回路規模削減・処理時間短縮に寄与できる。
【００６０】
上述の特許文献１は信頼度の結果により求めた距離情報から信頼度の低い領域を削除したり、特許文献２は信頼度の結果を求めた距離情報に付加して出力するようにしているが、ともに、本実施の形態のように、求めた信頼度に基づいて信頼度が低いと判断された場合には、改めて対応付けのウインドウサイズを変更してから対応点探索することで精度の良い距離情報を取得することを開示も示唆もせず、上記効果を奏するものではない。
【００６１】
次に、図１の信頼度判定部１７の別の具体例について図６を参照して説明する。図６は、図１の視差値算出部１５及び信頼度判定部１７におけるLR-Check法による信頼度判定のステップ（ａ）乃至（ｃ）を説明するための左カメラ画像と右カメラ画像とを模式的に示す図である。
【００６２】
図１の視差値算出部１５で低解像度画像についてＳＡＤ法により対応点探索を行い、図６（ａ）のように、左カメラ画像Ｌの探索対象領域ｆに対し相関が高い領域ｇを右カメラ画像Ｒから探索する。
【００６３】
次に、図６（ｂ）のように、図６（ａ）で求めた右カメラ画像Ｒの相関が高い領域ｇに対し最も相関が高い領域ｈを左カメラ画像Ｌから探索する。
【００６４】
次に、信頼度判定部１７は、左カメラ画像Ｌにおいて図６（ｂ）で探索した結果の領域ｈの位置が図６（ａ）で指定した探索対象領域ｆの位置と一致しているか否かを判断し、一致すれば、図６（ｃ）のように、左カメラ画像Ｌの探索対象領域ｈ（ｆ）と右カメラ画像Ｒにおける探索結果領域ｇとが一致していることになり、対応点探索の信頼度が高いと判定する。また、一致していなければ、対応点探索の信頼度が低いと判定する。
【００６５】
上述のような視差値算出部１５及び信頼度判定部１７におけるLR-Checkの結果に基づいてウィンドウサイズ設定部１８は距離情報生成部１６における対応点探索のウィンドウサイズを設定する。すなわち、距離情報生成部１６における対応点探索のウィンドウサイズは、図４（ａ）と同様に、対応点探索の信頼度が高いと判定されれば、設定を変えないが、対応点探索の信頼度が低いと判定されると、大きく設定する。
【００６６】
以上のようにして信頼度判定部１７が対応点探索の信頼度を判定することで、対応点探索の信頼度が低いと判定されると、障害物計測装置１０は、図５と同様に、ウィンドウサイズを大きく設定し、距離情報生成部１６で高解像度画像による対応点探索を行い、距離情報を生成することができる。
【００６７】
なお、図６（ａ）〜（ｃ）のような左右画像の対応点探索の一致・不一致を判断する手法は、LR-Check法といわれるが、バックマッチング法ともいう。LR-Check法については、例えば、次の文献に詳しい。「R.Bolles and J. Wood_II.Spatiotemporal Consistency Checking of Passive Range Data. In T.Kanade and R. Paul,editors,Robotics Research: The Six International Symposium, pp165-183.International Foundation for Robotics Research,1993．」
【００６８】
〈第２の実施の形態〉
図７は第２の実施の形態の車両用の障害物計測システムを概略的に示すブロック図である。
【００６９】
図７の障害物計測システム３０は、図１の障害物計測装置１０と、障害物計測装置１０の距離情報生成部１６からの距離情報に基づいて例えば図２（ａ）、（ｂ）の先行車両Ｐとの間の距離が設定距離以上か否かを判定する判定部３１と、先行車両Ｐとの間の距離が設定距離以下のときに車両の操縦者に警告音や警告音声や警告ランプ等で危険を知らせる警告部３２と、を備える。
【００７０】
図７の障害物計測システム３０によれば、先行車両Ｐとの間の距離が設定距離以下となり接近した場合、障害物計測装置１０からの距離情報に基づく警告部３２からの警告により操縦者は危険に注意が向き、危険回避の操作を行うことができるとともに、距離精度が向上し信頼性を確保でき、演算時間の短縮、回路規模削減を実現できる。
【００７１】
以上のように本発明を実施するための最良の形態について説明したが、本発明はこれらに限定されるものではなく、本発明の技術的思想の範囲内で各種の変形が可能である。例えば、本実施の形態では、対応点探索の信頼度は、低解像度画像から算出したＳＡＤ値の最小値（ＳＡＤ最小値）をしきい値と比較した結果、または、低解像度画像から算出した対象物の視差値をLR-Check法により評価した結果（一致の有無）に基づいて判定したが、本発明はこれらに限定されず、他の方法による判定であってもよいことはもちろんである。
【００７２】
また、図１の視差値算出部１５では、ＳＡＤ法を用いて対応点探索を行ったが、これに限定されず、他の方法であってもよく、例えば、ＰＯＣ法であってもよい。
【００７３】
また、図１の障害物計測装置１０または図７の障害物計測システム３０は、自動車や電車等の自走車両に搭載して使用可能であるが、これらに限定されず、例えば、ロボット等に搭載してもよいことはもちろんである。
【００７４】
また、図７の障害物計測システム３０では、先行車両との間の距離が設定距離以下のとき、警告を発するようにしたが、例えば、自動的に減速するように車両を制御するようにしてもよい。
【図面の簡単な説明】
【００７５】
【図１】第１の実施の形態による障害物計測装置の概略的構成を示すブロック図である。
【図２】図１の障害物計測装置の視差値算出部１５における対応点探索の例を説明するために左画像を示す概略図（ａ）、右画像を示す概略図（ｂ）及び探索位置と相関値との関係例を概略的に示す図（ｃ）である。
【図３】図２（ａ）〜（ｃ）のようにして求めたＳＡＤ値と探索位置との関係による探索結果の例を概略的に示す図（ａ）乃至（ｄ）であり、図３（ｄ）は、ＳＡＤ値から信頼度を判定する例を説明するための図である。
【図４】図２（ａ）と同様の左画像Ｌにおいて先行車両の各画像（高解像度）に対して設定した対応点探索のウィンドウサイズを示す模式図（ａ）及びウィンドウサイズを閾値ｔｈを境にして変えることを示すグラフ（ｂ）である。
【図５】図１の障害物計測装置１０の全体の動作（ステップＳ０１〜Ｓ０７）を説明するためのフローチャートである。
【図６】図１の視差値算出部１５及び信頼度判定部１７におけるLR-Check法による信頼度判定のステップ（ａ）乃至（ｃ）を説明するための左カメラ画像と右カメラ画像とを模式的に示す図である。
【図７】第２の実施の形態の車両用の障害物計測システムを概略的に示すブロック図である。
【符号の説明】
【００７６】
１０ 障害物計測装置
１１ 右カメラ
１２ 左カメラ
１４ 多重解像度画像生成部
１５ 視差値算出部
１６ 距離情報生成部
１７ 信頼度判定部
１８ ウィンドウサイズ設定部
３０ 障害物計測システム
３１ 判定部
３２ 警告部
Ｌ 左カメラ画像、左画像
Ｍ，Ｎ ウィンドウサイズ
Ｒ 右カメラ画像、右画像
Ｗ０〜Ｗ５ ウィンドウ
【図１】
2009092551.tif 000004
【図２】
2009092551.tif 000005
【図３】
2009092551.tif 000006
【図４】
2009092551.tif 000007
【図５】
2009092551.tif 000008
【図６】
2009092551.tif 000009
【図７】
2009092551.tif 000010