(57)【要約】      （修正有）【課題】対象の分類に比較的適している高密度視差画像を生成することができるだけでなく、測距に比較的適している疎視差画像を生成することができる視差値導出装置を提供する。【解決手段】視差値導出装置は、画素毎に、視差値だけでなくコスト値に応じて付与された信頼度フラグを出力する。これにより、信頼度フラグが付与された視差値の全画素分を取得した外部の装置は、対象の分類処理に利用する高密度視差画像を生成することができるだけでなく、２つの撮像装置と対象との間の距離の算出処理に利用する疎視差画像を生成することができる。よって、対象の分類と正確な測距の両方に利用することができる。【選択図】図１５
2015194486.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像位置から撮像された基準画像における基準領域と、第２の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、のコスト値を算出する算出手段と、
前記算出手段により算出された、前記基準画像における所定の基準領域の周辺の基準領域のコスト値と、前記基準画像における前記所定の基準領域のコスト値と、を合成する合成手段と、
前記合成手段により合成されたコスト値に基づいて、前記所定の基準領域において撮像されている対象の視差値を導出する導出手段と、
前記導出手段により導出された前記視差値と、前記視差値により特定される前記所定の基準領域のコスト値とを出力する出力手段と、
を備えた視差値導出装置。
【請求項２】
前記出力手段は、前記コスト値に代えて、前記コスト値を所定の閾値で二値化したうえで、前記視差値と出力することを特徴とする請求項１に記載の視差値導出装置。
【請求項３】
前記所定の閾値は変更可能であることを特徴とする請求項２に記載の視差値導出装置。
【請求項４】
請求項１乃至３のいずれか一項に記載の視差値導出装置を備えたことを特徴とする移動体。
【請求項５】
前記移動体は、車両又はロボットであることを特徴とする請求項４に記載の移動体。
【請求項６】
請求項１乃至３のいずれか一項に記載の視差値導出装置を備えたことを特徴とするロボット。
【請求項７】
前記ロボットは、固定設置される工業用ロボットであることを特徴とする請求項６に記載のロボット。
【請求項８】
第１の撮像位置から撮像された基準画像における基準領域と、第２の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、のコスト値を算出する算出ステップと、
前記算出ステップにより算出された、前記基準画像における所定の基準領域の周辺の基準領域のコスト値と、前記基準画像における前記所定の基準領域のコスト値と、を合成する合成ステップと、
前記合成ステップにより合成されたコスト値に基づいて、前記所定の基準領域及び前記所定の基準領域に対応する対応領域において撮像されている対象の視差値を導出する導出ステップと、
前記導出ステップにより導出された前記視差値と、前記視差値により特定される前記所定の基準領域のコスト値とを出力する出力ステップと、
を実行する視差値導出方法。
【請求項９】
コンピュータに、請求項８に記載の方法を実行させることを特徴とするプログラム。
【請求項１０】
第１の撮像位置から撮像された基準画像における基準領域と、第２の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、の一致度を算出する算出手段と、
前記算出手段により算出された、前記基準画像における所定の基準領域の周辺の基準領域の一致度と、前記基準画像における前記所定の基準領域の一致度と、を合成する合成手段と、
前記合成手段により合成された一致度に基づいて、前記基準画像または前記比較画像中の物体の認識を行う物体認識装置で用いられる所定の判別情報を付与して前記所定の基準領域において撮像されている対象の視差値を導出する導出手段と、
前記導出手段により導出された前記視差値のうち、第１の判別情報により判別される第１の視差値に第１の補助処理を行い、第２の判別情報により判別される第２の視差値に第２の補助処理を行ったうえで処理する第１の処理と、前記第１の視差値に前記第１の補助処理とは異なる第３の補助処理を行い、前記第２の視差値に前記第２の補助処理を行ったうえで処理する第２の処理と、を行う物体認識装置に出力する出力手段と、
を備えたことを特徴とする視差値導出装置。
【請求項１１】
前記出力手段は、前記導出手段により導出された前記視差値のうち、前記第１の視差値と前記第２の視差値とを用いて処理する前記第１の処理と、前記第１の視差値は用いず前記第２の視差値を用いて処理する前記第２の処理と、を行う物体認識装置に出力する
ことを特徴とする請求項１０に記載の視差値導出装置。
【請求項１２】
前記出力手段は、前記導出手段により導出された前記視差値のうち、前記第１の視差値と前記第２の視差値とを用いて処理する物体の認識処理と、前記第１の視差値は用いず前記第２の視差値を用いて処理する測距処理と、を行う物体認識装置に出力する
ことを特徴とする請求項１１に記載の視差値導出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像の対象を撮像して得られた基準画像及び同じ対象を撮像して得られた比較画像から、対象に対する視差を示す視差値を導出する発明に関する。
【背景技術】
【０００２】
従来から、ステレオ画像法によって、ステレオカメラから対象に対する視差を導き出し、この視差を示す視差値によって、三角測量の原理に基づき、ステレオカメラから対象までの距離を測定する測距方法が知られている。この測距方法により、例えば、自動車間の距離や、自動車と障害物間の距離が測定され、自動車の衝突防止に役立てている。
【０００３】
また、視差値の求め方としては、ステレオマッチング処理が用いられている。このステレオマッチング処理は、ステレオカメラの２つのカメラのうち、一方のカメラによって得られた基準画像内の注目する基準画素に対して、他方のカメラによって得られた比較画像内の複数の対応画素の候補を順次シフトしながら、画像信号が最も類似する画素である対応画素の位置を求めることで、基準画像と比較画像の間の視差値を検出する。一般的には、２つのカメラによって得られた画像信号の輝度値を比較することで、比較する輝度値のコスト値(Cost：ここでは「非類似度」)が最も低い画素の位置が求められる。 
また、近年、ステレオマッチング処理において、ミスマッチングを防止するために、画像における輝度値の差が大きい領域であるエッジ部分の輝度値を比較するブロックマッチング法が用いられている（例えば、特許文献１参照）。
【０００４】
ところが、対象の輝度変化量を示すテクスチャが弱く、抽出すべき特徴そのものが乏しい領域では、エッジ検出を行っても、十分な効果を得ることができない。
【０００５】
そこで、テクスチャが弱い対象でも、より正確な視差値を導き出す方法が提案されている（例えば、特許文献２参照）。この方法によって、基準画像上の注目する基準画素のコスト値だけでなく、この基準画素の周囲の画素のコスト値を集約することで、テクスチャが弱い対象に対する視差値を導き出すことができる。これにより、対象の全体像を導き出すことができるため、測距だけでなく、対象が標識であるか車であるか等、対象の分類に利用することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に記載された方法を用いた場合、テクスチャが弱い対象は、テクスチャが強い対象に比べて視差値の信頼度が低いにも拘わらず、テクスチャが強い対象と同じように測距に利用される。これにより、カメラ等の撮像位置とテクスチャが弱い対象との間の測距の精度が高くないため、測距に適しているとは言い難いという課題が生じる。
【課題を解決するための手段】
【０００７】
上述の課題を解決するため、請求項１に係る発明は、第１の撮像位置から撮像された基準画像における基準領域と、第２の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、のコスト値を算出する算出手段と、前記算出手段により算出された、前記基準画像における所定の基準領域の周辺の基準領域のコスト値と、前記基準画像における前記所定の基準領域のコスト値と、を合成する合成手段と、前記合成手段により合成されたコスト値に基づいて、前記所定の基準領域において撮像されている対象の視差値を導出する導出手段と、前記導出手段により導出された前記視差値と、前記視差値により特定される前記所定の基準領域のコスト値とを出力する出力手段と、を備えた視差値導出装置である。
【発明の効果】
【０００８】
以上説明したように、請求項１に係る発明によれば、視差値だけでなくコスト値も出力するため、視差値のみが出力される場合に比べて、対象の分類だけでなく測距にも適しているという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】撮像装置から物体までの距離を導き出す原理の説明図である。
【図２】（ａ）は基準画像、（ｂ）は（ａ）に対する高密度視差画像、（ｃ）は（ａ）に対するエッジ視差画像を示す概念図である。
【図３】（ａ）は基準画像における基準画素を示す概念図、（ｂ）は（ａ）の基準画素に対して比較画像における対応画素の候補を順次シフトしながらコスト値を算出する際の概念図である。
【図４】シフト量毎のコスト値を示すグラフである。
【図５】合成コスト値を導き出すための概念図である。
【図６】視差値毎の合成コスト値を示すグラフである。
【図７】（ａ）は本発明の一実施形態に係る物体認識システムを搭載した自動車の側面を表す概略図、（ｂ）は自動車の正面を示す概略図である。
【図８】物体認識システムの概観図である。
【図９】物体認識システムの全体のハードウェア構成図である。
【図１０】視差値導出装置の主要部のハードウェア構成図である。
【図１１】本実施形態の処理を示したフローチャートである。
【図１２】（ａ）はシフト量毎のコスト値を示すグラフ、（ｂ）は視差値毎の合成コスト値を示すグラフである。
【図１３】信頼度フラグを付与する処理を示したフローチャートである。
【図１４】一画素における視差値及び信頼度フラグを示す概念図である。
【図１５】（ａ）は高密度視差画像、（ｂ）閾値Ｔｈ１未満のコスト値が利用された疎視差画像、閾値Ｔｈ２未満のコスト値が利用された疎視差画像を示す概念図である。
【発明を実施するための形態】
【００１０】
以下、図面を用いて、本発明の一実施形態について説明する。
【００１１】
〔ＳＧＭ法を用いた測距方法の概略〕
まず、図１乃至図６を用いて、ＳＧＭ(Semi-Global Matching)法を用いた測距方法の概略について説明する。なお、ＳＧＭ法に関しては、非特許文献(Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information)に開示されているため、以下では概略を説明する。
【００１２】
＜測距の原理＞
図１を用いて、ステレオ画像法により、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。なお、図１は、撮像装置から物体までの距離を導き出す原理の説明図である。また、以下では、説明を簡略化するため、複数の画素からなる所定領域ではなく、一画素単位で説明する。
【００１３】
なお、一画素単位ではなく、複数の画素からなる所定領域単位で処理される場合、基準画素を含む所定領域は基準領域として示され、対応画素を含む所定領域は対応領域として示される。また、この基準領域には基準画素のみの場合も含まれ、対応領域には対応画素のみの場合も含まれる。
【００１４】
（視差値算出）
まず、図１で示される撮像装置１０ａおよび撮像装置１０ｂによって撮像された各画像を、それぞれ基準画像Ｉａおよび比較画像Ｉｂとする。なお、図１では、撮像装置１０ａおよび撮像装置１０ｂが平行等位に設置されているものとする。図１において、３次元空間内の物体Ｅ上の点Ｓは、撮像装置１０ａおよび撮像装置１０ｂの同一水平線上の位置に写像される。すなわち、各画像中の点Ｓは、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）および比較画像Ｉｂ中の点Ｓｂ（Ｘ，ｙ）において撮像される。このとき、視差値Δは、撮像装置１０ａ上の座標における点Ｓａ（ｘ，ｙ）と撮像装置１０ｂ上の座標における点Ｓｂ（Ｘ，ｙ）とを用いて、（式１）のように表される。
【００１５】
Δ＝Ｘ−ｘ        （式１）
ここで、図１のような場合には、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）と撮像レンズ１１ａから撮像面上におろした垂線の交点との距離をΔａにし、比較画像Ｉｂ中の点Ｓｂ（Ｘ，ｙ）と撮像レンズ１１ｂから撮像面上におろした垂線の交点との距離をΔｂにすると、視差値Δ＝Δａ＋Δｂとなる。
【００１６】
（距離算出）
また、視差値Δを用いることで、撮像装置１０ａ，１０ｂと物体Ｅとの間の距離Ｚを導き出すことができる。具体的には、距離Ｚは、撮像レンズ１１ａの焦点位置と撮像レンズ１１ｂの焦点位置とを含む面から物体Ｅ上の特定点Ｓまでの距離である。図１に示されるように、撮像レンズ１１ａ及び撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、及び視差値Δを用いて、（式２）により、距離Ｚを算出することができる。
【００１７】
Ｚ＝（Ｂ×ｆ）／Δ    （式２）
この（式２）により、視差値Δが大きいほど距離Ｚは小さく、視差値Δが小さいほど距離Ｚは大きくなる。
【００１８】
＜ＳＧＭ法＞
続いて、図２乃至図６を用いて、ＳＧＭ法を用いた測距方法について説明する。なお、図２（ａ）は基準画像、図２（ｂ）は（ａ）に対する高密度視差画像、図２（ｃ）は（ａ）に対するエッジ視差画像を示す概念図である。ここで、基準画像は、物体が輝度によって示された画像である。高密度視差画像は、ＳＧＭ法によって、基準画像から導き出された画像であり、基準画像の各座標における視差値を示した画像である。エッジ視差画像は、従来から用いられているブロックマッチング法によって導き出された画像であり、基準画像のエッジ部のような比較的テクスチャの強い部分のみの視差値を示した画像である。
【００１９】
ＳＧＭ法は、テクスチャが弱い物体に対しても適切に上記視差値を導き出す方法であり、図２（ａ）に示されている基準画像に基づいて、図２（ｂ）に示されている高密度視差画像を導き出す方法である。なお、ブロックマッチング法を用いた場合には、図２（ａ）に示されている基準画像に基づいて、図２（ｃ）に示されているエッジ視差画像が導き出される。図２（ｂ）及び図２（ｃ）における破線の楕円内を比べると分かるように、高密度視差画像は、エッジ視差画像に比べてテクスチャが弱い道路等の詳細な情報を表すことができるため、より詳細な測距を行うことができる。
【００２０】
このＳＧＭ法は、非類似度であるコスト値を算出して直ちに視差値を導出せず、コスト値を算出後、更に、合成非類似度である合成コスト値 (Synthesis Cost)を算出することで視差値を導出し、最終的にほぼ全ての画素における視差値を示す視差画像（ここでは、高密度視差画像）を導き出す方法である。
【００２１】
なお、ブロックマッチング法の場合は、コスト値を算出する点はＳＧＭ法と同じであるが、ＳＧＭ法のように、合成コスト値を算出せずに、エッジ部のような比較的テクスチャの強い部分の視差値のみを導出する。また、視差値の導出方法は、換言すると、視差値の生産方法でもある。
【００２２】
（コスト値の算出）
まず、図３及び図４を用いて、コスト値Ｃ（ｐ，ｄ）の算出方法について説明する。図３（ａ）は基準画像における基準画素を示す概念図、図３（ｂ）は（ａ）の基準画素に対して比較画像における対応画素の候補を順次シフトしながら（ずらしながら）コスト値を算出する際の概念図である。図４は、シフト量毎のコスト値を示すグラフである。ここで、対応画素は、基準画像内の基準画素に最も類似する比較画像内の画素である。なお、以降、Ｃ（ｐ，ｄ）は、Ｃ（ｘ，ｙ，ｄ）を表すものとして説明する。
【００２３】
図３（ａ）に示されているように、基準画像内の所定の基準画素ｐ（ｘ，ｙ）と、この基準画素ｐ（ｘ，ｙ）に対する比較画像内におけるエピポーラ線(Epipolar Line)ＥＬ上の複数の対応画素の候補ｑ（ｘ＋ｄ，ｙ）との各輝度値に基づいて、基準画素ｐ（ｘ，ｙ）に対する各対応画素の候補ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）が算出される。ｄは、基準画素ｐと対応画素の候補ｑのシフト量（ずれ量）であり、本実施形態では、画素単位のシフト量が表されている。即ち、図３では、対応画素の候補ｑ（ｘ＋ｄ，ｙ）を予め指定された範囲（例えば、０＜ｄ＜２５）において順次一画素分シフトしながら、対応画素の候補ｑ（ｘ＋ｄ，ｙ）と基準画素ｐ（ｘ，ｙ）との輝度値の非類似度であるコスト値Ｃ（ｐ，ｄ）が算出される。コスト値Ｃの算出方法としては、コスト値Ｃが非類似度を示す場合、ＳＡＤ(Sum of Absolute Difference)等の公知の方法が適用される。
【００２４】
このようにして算出されたコスト値Ｃ（ｐ，ｄ）は、図４に示されているように、シフト量ｄ毎のコスト値Ｃの集まりであるコスト曲線のグラフによって表すことができる。図４では、コスト値Ｃは、シフト量ｄ＝５，１２，１９の場合が０（ゼロ）となるため、最小値を求めることができない。このように、テクスチャが弱い物体の場合には、コスト値Ｃの最小値を求めることは困難になる。
【００２５】
（合成コスト値の算出）
次に、図５及び図６を用いて、合成コスト値Ｌｓ（ｐ，ｄ）の算出方法について説明する。図５は、合成コスト値を導き出すための概念図である。図６は、視差値毎の合成コスト値を示す合成コスト曲線のグラフである。本実施形態における合成コスト値の算出方法は、コスト値Ｃ（ｐ，ｄ）の算出だけでなく、所定の基準画素ｐ（ｘ，ｙ）の周辺の画素ｐ’（ｘ’，ｙ’）を基準画素とした場合のコスト値を、基準画素ｐ（ｘ，ｙ）におけるコスト値Ｃ（ｐ，ｄ）に集約させて、合成コスト値Ｌｓ（ｐ，ｄ）を算出する。
【００２６】
次に、合成コスト値の算出方法について、より詳細に説明する。合成コスト値Ｌｓ（ｐ，ｄ）を算出するためには、まず、経路コスト値Ｌｒ（ｐ，ｄ）を算出する必要がある。(式３)は、経路コスト値Ｌｒ（ｐ，ｄ）を算出するための式であり、（式４）は、合成コスト値Ｌｓを算出するための式である。
【００２７】
Ｌｒ（ｐ，ｄ）＝Ｃ（ｐ，ｄ）＋ｍｉｎ｛（Ｌｒ（ｐ−ｒ，ｄ），Ｌｒ（ｐ−ｒ，ｄ−１）＋Ｐ１，Ｌｒ（ｐ−ｒ，ｄ＋１）＋Ｐ１，Ｌｒｍｉｎ（ｐ−ｒ）＋Ｐ２｝    （式３）
ここで、（式３）において、ｒは、集約方向の方向ベクトルを示し、ｘ方向およびｙ方向の２成分を有する。ｍｉｎ｛｝は、最小値を求める関数である。Ｌｒｍｉｎ（ｐ−ｒ）は、ｐをｒ方向に１画素シフトした座標において、シフト量ｄを変化させた際のＬｒ（ｐ−ｒ，ｄ）の最小値を示す。なお、Ｌｒは、（式３）に示されているように再帰的に適用される。また、Ｐ１及びＰ２は、予め実験により定められた固定パラメータであり、経路上で隣接する基準画素の視差値Δが連続になりやすいようなパラメータになっている。例えば、Ｐ１＝４８、Ｐ２＝９６である。
【００２８】
また、（式３）に示されているように、Ｌｒ（ｐ，ｄ）は、基準画素ｐ（ｘ，ｙ）におけるコスト値Ｃに、図５に示されているｒ方向の各画素における各画素の経路コスト値Ｌｒの最小値を加算することで求められる。このように、ｒ方向の各画素におけるＬｒを求めるため、最初は、基準画素ｐ（ｘ，ｙ）のｒ方向の一番端の画素からＬｒが求められ、ｒ方向に沿ってＬｒが求められる。
【００２９】
そして、図５に示されているように、８方向のＬｒ０，Ｌｒ４５，Ｌｒ９０，Ｌｒ１３５，Ｌｒ１８０，Ｌｒ２２５，Ｌｒ２７０，Ｌｒ３１５が求められ、最終的に（式４）に基づいて、合成コスト値Ｌｓが求められる。
【００３０】
【数１】
2015194486.tif 000003
【００３１】
このようにして算出された合成コスト値Ｌｓ（ｐ，ｄ）は、図６に示されているように、シフト量ｄ毎に合成コスト値Ｌｓ（ｐ，ｄ）が示される合成コスト曲線のグラフによって表すことができる。図６では、合成コスト値Ｌｓは、シフト量ｄ＝３の場合が最小値となるため、視差値Δ＝３として算出される。
【００３２】
なお、上記説明ではｒの数を８として説明しているが、これに限られることはない。例えば、８方向を更に２つに分割して１６方向、３つに分割して２４方向等にしてもよい。
【００３３】
また、(式４)によって、（式３）によって算出された全ての経路ｒに関する経路コスト値Ｌｒを合計したが、これに限るものではない。１つの経路コスト値Ｌｒを合成コスト値としてもよいし、２以上の経路コスト値Ｌｒの合成を合成コスト値Ｌｓとしてもよい。
【００３４】
また、コスト値Ｃは「非類似度」として示されているが、非類似度の逆数としての「類似度」として表されてもよい。この場合、コスト値Ｃの算出方法としては、ＮＣＣ(Normalized Cross Correlation)等の公知の方法が適用される。また、この場合、合成コスト値Ｌｓが最小ではなく「最大」となる視差値Δが導出される。なお、非類似度と類似度の両者を含めて、「一致度」として表してもよい。
【００３５】
〔本実施形態の具体的な説明〕
以下、図面を用いて、本実施形態の具体的な説明を行う。ここでは、自動車に搭載される物体認識システム１について説明する。
【００３６】
なお、物体認識システム１は、車両の一例としての自動車だけでなく、車両の他の例として、バイク、自転車、車椅子、農業用の耕運機等に搭載されることができてもよい。また、移動体の一例としての車両だけでなく、移動体の他の例として、ロボット等に搭載されることができてもよい。更に、ロボットは、移動体だけでなく、ＦＡ(Factory Automation)において固定設置される工業用ロボット等の装置であってもよい。また、固定設置される装置としては、ロボットだけでなく、防犯用の監視カメラであってもよい。
【００３７】
＜実施形態の構成＞
まず、図７乃至図９用いて、本実施形態の全体構成について説明する。
【００３８】
（外観構成）
図７及び図８を用いて、本実施形態の物体認識システム１の外観構成を説明する。なお、図７（ａ）は本発明の一実施形態に係る物体認識システムを搭載した自動車の側面を表す概略図、図７（ｂ）は自動車の正面を示す概略図である。図８は、物体認識システムの概観図である。
【００３９】
図７（ａ），（ｂ）に示されているように、本実施形態の物体認識システム１は、撮像装置１０ａ及び撮像装置１０ｂを備えており、撮像装置１０ａ及び撮像装置１０ｂは自動車の進行方向前方の光景を撮像することができるように設置される。
【００４０】
また、図８に示されているように、物体認識システム１は、本体部２と、本体部２に対して設けられた一対の円筒状の撮像装置１０ａ及び撮像装置１０ｂとによって構成されている。
【００４１】
（全体のハードウェア構成）
次に、図９を用いて、物体認識システム１の全体のハードウェア構成について説明する。なお、図９は、物体認識システムの全体のハードウェア構成図である。
【００４２】
図９に示されているように、物体認識システム１は、本体部２において、視差値導出装置３及び物体認識装置５を備えている。このうち、視差値導出装置３は、物体Ｅを撮像して得られた複数の画像から、物体Ｅに対する視差を示す視差値Δを導出し、各画素における視差値Δを示す高密度視差画像を出力する。物体認識装置５は、視差値導出装置３から出力された高密度視差画像に基づいて、撮像装置１０ａ，１０ｂから物体Ｅまでの距離を測定する等の処理を行なう。
【００４３】
ここで、まずは、視差値導出装置３のハードウェア構成について説明する。図９に示されているように、視差値導出装置３は、撮像装置１０ａ、撮像装置１０ｂ、信号変換装置２０ａ、信号変換装置２０ｂ、及び画像処理装置３０を備えている。
【００４４】
撮像装置１０ａは、前方の光景を撮像して画像を表すアナログ信号を生成するものであり、撮像レンズ１１ａ、絞り１２ａ、及び画像センサ１３ａを備えている。撮像レンズ１１ａは、撮像レンズ１１ａを通過する光を屈折させて物体の像を結像させるための光学素子である。絞り１２ａは、撮像レンズ１１ａを通過した光の一部を遮ることによって、後述する画像センサ１３ａに入力される光の量を調整する。画像センサ１３ａは、撮像レンズ１１ａ及び絞り１２ａから入力された光を電気的なアナログの画像信号に変換する半導体の素子であり、ＣＣＤ(Charge Coupled Devices)やＣＭＯＳ(Complementary Metal Oxide Semiconductor）等によって実現される。なお、撮像装置１０ｂは撮像装置１０ａと同じ構成を備えているため、撮像装置１０ｂについての説明は省略する。また、撮像レンズ１１ａと撮像レンズ１１ｂは、それぞれのレンズ面が互いに同一平面内になるように設置されている。
【００４５】
また、信号変換装置２０ａは、撮像された画像を表すアナログ信号をデジタル形式の画像データに変換するものであり、ＣＤＳ(Correlated Double Sampling)２１ａ、ＡＧＣ(Auto Gain Control)２２ａ、ＡＤＣ(Analog Digital Converter)２３ａ、及びフレームメモリ２４ａを備えている。ＣＤＳ２１ａは、画像センサ１３ａによって変換されたアナログの画像信号から相関二重サンプリングによってノイズを除去する。ＡＧＣ２２ａは、ＣＤＳ２１ａによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ＡＤＣ２３ａは、ＡＧＣ２２ａによって利得制御されたアナログの画像信号をデジタル形式の画像データに変換する。フレームメモリ２４ａは、ＡＤＣ２３ａによって変換された画像データを記憶する。
【００４６】
同様に、信号変換装置２０ｂは、撮像装置１０ｂによって変換されたアナログの画像信号から画像データを取得するものであり、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂを有している。なお、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂはそれぞれＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａ、及びフレームメモリ２４ａと同じ構成であるため、それらについての説明は省略する。
【００４７】
更に、画像処理装置３０は、信号変換装置２０ａ及び信号変換装置２０ｂによって変換された画像データを処理するための装置である。この画像処理装置３０は、ＦＰＧＡ(Field Programmable Gate Array)３１、ＣＰＵ(Central Processing Unit)３２、ＲＯＭ(Read Only Memory)３３、ＲＡＭ(Random Access Memory)３４、Ｉ／Ｆ(Interface)３５及び上記各構成要素３１〜３５を図９に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン３９を備えている。
【００４８】
このうち、ＦＰＧＡ３１は、集積回路であり、ここでは、ＣＰＵ３２の命令に従って、画像データが表す画像における視差値Δを算出する処理を行う。ＣＰＵ３２は、視差値導出装置３の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が視差値導出装置３の各機能を制御するために実行される画像処理用プログラムを記憶している。ＲＡＭ３４はＣＰＵ３２のワークエリアとして使用される。
【００４９】
Ｉ／Ｆ３５は、物体認識装置５における後述Ｉ／Ｆ５５とアドレスバスやデータバス等のバスライン４を介して通信するためのインターフェイスである。
【００５０】
続いて、物体認識装置５のハードウェア構成について説明する。図９に示されているように、物体認識装置５は、ＦＰＧＡ５１、ＣＰＵ５２、ＲＯＭ５３、ＲＡＭ５４、ＣＡＮＩ／Ｆ５５、ＣＡＮ(Controller Area Network) Ｉ／Ｆ５８及び上記各構成要素５１〜５５，５８を図９に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５９を備えている。
【００５１】
このうち、ＦＰＧＡ５１、ＣＰＵ５２、ＲＯＭ５３、ＲＡＭ５４、Ｉ／Ｆ５５、及びバスライン５９は、それぞれ画像処理装置３０におけるＦＰＧＡ３１、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４、Ｉ／Ｆ３５、及びバスライン３９と同様の構成であるため、説明を省略する。なお、Ｉ／Ｆ５５は、画像処理装置３０におけるＩ／Ｆ３５とバスライン４を介して通信するためのインターフェイスである。また、ＲＯＭ５３は、ＣＰＵ５２が物体認識装置５の各機能を制御するために実行される物体認識用プログラムを記憶している。
【００５２】
ＣＡＮ Ｉ／Ｆ５８は、外部コントローラ等と通信するためのインターフェイスであり、例えば、自動車のＣＡＮ等に接続されることができる。
【００５３】
このような構成により、画像処理装置３０のＩ／Ｆ３５からバスライン４を介して物体認識装置５に高密度視差画像が送信されると、物体認識装置５におけるＣＰＵ５２の命令によって、ＦＰＧＡ５１が、撮像装置１０ａ，１０ｂと物体Ｅとの間の距離Ｚを算出する。なお、物体認識装置５におけるＣＰＵ５２の命令によってＦＰＧＡ５１が距離Ｚを算出せずに、画像処理装置３０のＣＰＵ３２の命令によってＦＰＧＡ３１が距離Ｚを算出してもよい。
【００５４】
なお、上述の例では、２つの撮像装置１０ａ，１０ｂを用いたが、これに限らず１つの撮像装置を用いてもよい。この場合、１つの画像センサにおいて撮像境域を２箇所に分けることにより、対象Ｅを撮像する。
【００５５】
また、上記各プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)やＳＤメモリカード(Secure Digital memory card)等である。
【００５６】
（主要部のハードウェア構成）
次に、図３、図９及び図１０を用いて、視差値導出装置３の主要部のハードウェア構成について説明する。なお、図１０は、視差値導出装置の主要部のハードウェア構成図である。
【００５７】
図９におけるＦＰＧＡ３１は、図１０に示されているように、コスト算出部３１０、コスト合成部３２０、視差値導出部３３０、及び信頼度出力部３４０を備えている。これらは、ＦＰＧＡ３１の回路の一部であるが、上記プログラムが実行されることにより、同じ処理を行うことができるようにしてもよい。
【００５８】
このうち、コスト算出部３１０は、図３に示されているように、基準画像（図３（ａ）参照）内の基準画素ｐ（ｘ，ｙ）の輝度値と、比較画像（図３（ｂ）参照）内において基準画素ｐ（ｘ，ｙ）に基づくエピポーラ線ＥＬ上でシフトさせることでシフト量ｄ毎に特定される対応画素の候補ｑ（ｘ＋ｄ，ｙ）の各輝度値とに基づいて、基準画素ｐ（ｘ，ｙ）に対する対応画素の候補ｑ（ｘ＋ｄ，ｙ）の各コスト値Ｃを算出して出力する。また、コスト算出部３１０は、算出した各コスト値Ｃを保持（記憶）することができる。
【００５９】
また、コスト合成部３２０は、コスト算出部３１０によって出力された一の基準画素ｐ（ｘ，ｙ）に対する対応画素の候補ｑ（ｘ＋ｄ，ｙ）の各コスト値Ｃと、コスト算出部３１０によって出力された他の基準画素ｐ’（ｘ’，ｙ’）に対する対応画素の候補ｑ’（ｘ’＋ｄ，ｙ’）の各コスト値Ｃとを、シフト量ｄ毎に合成し、合成コスト値Ｌｓを出力する。なお、この合成の処理は、(式３)に基づいてコスト値Ｃから経路コスト値Ｌｒを算出した後、更に、（式４）に基づいて各方向における経路コスト値Ｌｒを加算して、最終的に合成コスト値Ｌｓを算出する処理である。
【００６０】
更に、視差値導出部３３０は、コスト合成部３２０によって出力された合成コスト値Ｌｓが最小となる場合のシフト量ｄを、視差値Δとして導出する。
【００６１】
また、信頼度出力部３４０は、コスト算出部３１０に保持されている各コスト値Ｃを取得し、この各コスト値Ｃのうちで、最小となる合成コスト値Ｌｓのシフト量と同じシフト量のコスト値として特定される特定のコスト値Ｃ（ｐ，Δ）を導出する。更に、信頼度出力部３４０は、特定のコスト値Ｃ（ｐ，Δ）が所定の閾値Ｔｈ１（例えば、Ｃ＝６０）未満であるか否かを判断する。そして、信頼度出力部３４０は、特定のコスト値Ｃ（ｐ，Δ）が所定の閾値Ｔｈ１未満である場合には、視差値導出部３３０から導出された視差値Δに対して信頼度フラグ「１」を付与する（関連付ける）。また、信頼度出力部３４０は、特定のコスト値Ｃ（ｐ，Δ）が所定の閾値Ｔｈ１以上である場合には、視差値導出部３３０から導出された視差値Δに対して信頼度フラグ「０」を付与する（関連付ける）。信頼度フラグ「１」は、視差値導出部３３０によって導出された視差値Δの信頼度が高い旨を示し、信頼度フラグ「０」の場合は、視差値導出部３３０によって導出された視差値Δの信頼度が低い旨を示している。なお、信頼度出力部３４０は、利用者の操作等によって閾値を変更することができる。
【００６２】
＜実施形態の処理又は動作＞
次に、図１１乃至図１５を用いて、本実施形態の処理または動作を説明する。ここでは、視差値Δの導出方法について説明する。なお、図１１は、本実施形態の処理を示したフローチャートである。
【００６３】
まず、図９に示されている撮像装置１０ａは、対象Ｅを撮像してアナログの画像データを生成する（ステップＳ１−１）。同じく、撮像装置１０ａは、対象を撮像してアナログの画像データを生成する(ステップＳ１−２)。
【００６４】
次に、信号変換装置２０ａは、アナログの画像データを、デジタルの画像データに変換する（ステップＳ２−１）。同じく、信号変換装置２０ｂは、アナログの画像データを、デジタルの画像データに変換する（ステップＳ２−２）。
【００６５】
次に、信号変換装置２０ａは、画像処理装置３０のＦＰＧＡ３１に、変換後のデジタルの画像データを基準画像のデータとして出力する（ステップＳ３−１）。この基準画像の概念図は、図２（ａ）に示されている。同じく、信号変換装置２０ｂは、画像処理装置３０のＦＰＧＡ３１に、変換後のデジタルの画像データを比較画像のデータとして出力する（ステップＳ３−２）。この比較画像は、撮像装置１０ｂによって撮像された画像であるが、図２（ａ）に示されている基準画像と極端な違いはないため、比較画像の概念図は図示しないで省略する。
【００６６】
次に、図１０に示されているコスト算出部３１０は、基準画像のデータ及び比較画像のデータに基づき、図１２（ａ）のグラフで示されているように、シフト量ｄ毎のコスト値Ｃを算出する（ステップＳ４）。なお、図１２（ａ）はシフト量ｄ毎のコスト値を示すグラフである。ここでは、シフト量がｄ＝１５の場合にコスト値Ｃが最小となっている。
【００６７】
次に、図１０に示されているコスト合成部３２０は、図１２（ｂ）のグラフで示されているように、シフト量ｄ毎に合成コスト値Ｌｓを出力する（ステップＳ５）。なお、図１２（ｂ）はシフト量毎の合成コスト値を示すグラフである。ここでは、シフト量がｄ＝１３の場合に合成コスト値Ｌｓが最小となっている。そして、視差値導出部３３０は、コスト合成部３２０によって出力された合成コスト値Ｌｓが最小となる場合のシフト量ｄを、視差値Δとして導出する（ステップＳ６）。この場合、合成コスト値Ｌｓが最小となるシフト量はｄ＝１３であるため、視差値導出部３３０は、視差値Δ＝１３を出力する。また、この場合の高密度視差画像は、図１５（ａ）に示されているような画像となる。
【００６８】
次に、信頼度出力部３４０は、視差値Δに信頼度フラグＦを付与する（ステップＳ７）。ここで、図１２及び図１３を用いて、上記ステップＳ７の信頼度フラグＦの付与の処理について説明する。なお、図１３は、信頼度フラグを付与する処理を示したフローチャートである。
【００６９】
図１３に示されているように、信頼度出力部３４０は、コスト算出部３１０から取得した各コスト値Ｃのうちで、最小となる合成コスト値Ｌｓのシフト量と同じシフト量の特定のコスト値Ｃ（ｐ，Δ）を導出する（ステップＳ７−１）。図１２では、図１２（ｂ）に示されているように、最小となる合成コスト値Ｌｓのシフト量がｄ＝１３であるため、図１２（ａ）に示されているように、シフト量が同じくｄ＝１３の場合の特定のコスト値はＣ（ｐ，Δ）＝５０である。
【００７０】
次に、信頼度出力部３４０は、特定のコスト値Ｃ（ｐ，Δ）が所定の閾値Ｔｈ１未満であるか否かを判断する（ステップＳ７−２）。そして、ステップＳ７−１において、特定のコスト値Ｃ（ｐ，Δ）が閾値Ｔｈ１未満である場合には（ＹＥＳ）、信頼度出力部３４０は、視差値導出部３３０から導出された視差値Δに対して、信頼度フラグＦ「１」を付与する（ステップＳ７−３）。一方、ステップＳ７−２において、特定のコスト値Ｃ（ｐ，Δ）が閾値Ｔｈ１以上である場合には、信頼度出力部３４０は、視差値導出部３３０から導出された視差値Δに対して、信頼度フラグＦ「０」を付与する（ステップＳ７−４）。ここで、図１４を用いて、信頼度フラグＦが付された視差値Δの概念について説明する。図１２では、特定のコスト値Ｃ（ｐ，Δ）＝５０であり、閾値Ｔｈ１＝６０未満であるため、視差値Δに信頼度フラグＦ＝１が付与される。
【００７１】
また、信頼度フラグＦが付与された視差値の概念については、図１４を用いて説明する。なお、図１４は、一画素における視差値及び信頼度フラグを示す概念図である。図１４に示されているように、画素毎に、２進数で表現された視差値Δのデータのうち、１ビットを使用して信頼度フラグＦ（「１」又は「０」）が示され、７ビットを使用して視差値Δ（ここでは、０〜６３）が示される。
【００７２】
以上のようにして、信頼度フラグＦが付与された状態の全画素分の視差値Δは、図９に示されているＩ／Ｆ３５から、外部装置である物体認識装置５に送信される。そして、信頼度フラグＦが付与された状態の全画素分の視差値Δは、物体認識装置５によって、対象Ｅを分類する処理に使用されたり、撮像装置１０ａ，１０ｂと対象Ｅとの間の距離Ｚが算出されたりする。
【００７３】
例えば、物体認識装置５は、信頼度フラグＦを使用しない状態での全画素分の視差値Δから、図１５（ａ）に示されるような高密度視差画像を生成することができる。この高密度視差画像は、対象Ｅが車であるか標識であるか等のように、対象Ｅを分類する際に利用されたり、撮像レンズ１１ａ，１１ｂと対象Ｅとの間の距離Ｚの算出に利用されたりする。
【００７４】
また、物体認識装置５は、信頼度フラグＦを用いた状態での全画素分の視差値Δから、図１５（ｂ）に示されるような疎視差画像を生成することができる。この疎視差画像は、撮像レンズ１１ａ，１１ｂと対象Ｅとの間の距離Ｚの算出に利用される。疎視差画像は、高密度視差画像よりも対象Ｅの分類には適していないが、高密度視差画像よりも測距には適している。
【００７５】
また、この場合、物体認識装置５は、信頼度フラグＦ＝０の画素部分に関しては、信頼度が低いものとして視差値Δを使用しないで疎視差画像を生成するのに対して、信頼度フラグＦ＝１の画素部分に関しては、信頼度が高いものとして視差値Δを使用して疎視差画像を生成する。例えば、標識と空と境目のように、主にエッジが強調される画素部分が視差画像の作成に用いられるため、疎視差画像は、図２（ｃ）に示されているエッジ視差画像に近い画像となる。
【００７６】
なお、図１２（ａ）において、閾値Ｔｈ＝２（ここでは、Ｔｈ２＝４０）にした場合、図１５（ｃ）に示されるような疎視差画像が生成される。即ち、閾値が下がると、図１５（ｃ）に示されているように、図１５（ｂ）に比べて視差値が得られる画素が少なくなる。
【００７７】
続いて、本実施形態における視差値導出装置３からの出力を受け取った物体認識装置５の処理又は動作について説明する。なお、以下、全体として画像が動画として得られる場合における物体認識システム１について説明する。
【００７８】
視差値導出装置３は、画素ごとに信頼度フラグＦが付与された視差画像を物体認識装置５に出力する。物体認識装置５は、信頼度フラグＦ＝０が付与された画素および信頼度フラグＦ＝１が付与された画素の両方を用いて、対象の分類を実行する。次に、物体認識装置５は、信頼度フラグＦ＝１が付与された画素のみを用いて、測距を実行する。これにより、対象の分類だけでなく、測距についても精度良く行うことができる。
【００７９】
なお、ここで、信頼度フラグＦ＝０が付与された画素および信頼度フラグＦ＝１が付与された画素の両方を用いて対象の分類を行うことは、信頼度フラグＦ＝０が付与された画素および信頼度フラグＦ＝１が付与された画素の両方に補助処理（第１の補助処理の一例、第２の補助処理の一例）を行って対象の分類を行うことを意味し、信頼度フラグＦ＝０が付与された画素を用いず信頼度フラグＦ＝１が付与された画素を用いて測距を行うことは、信頼度フラグＦ＝０が付与された画素には、信頼度フラグＦ＝１が付与された画素と異なる補助処理（第３の補助処理の一例）を行って測距を行うことを意味するものとする。なお、第１の補助処理は、一例として、信頼度フラグ＝０が付与された画素を用いること、または信頼度フラグ＝０が付与された画素に空間フィルタリング処理を行うことである。一方、第２の補助処理は、一例として、信頼度フラグ＝１が付与された画素を用いること、または信頼度フラグ＝１が付与された画素に空間フィルタリング処理を行うことである。更に、第３の補助処理は、一例として、信頼度フラグ＝０が付与された画素を用いないことである。
【００８０】
上記については、視差値導出装置３が信頼度フラグＦを出力する構成でなく、信頼度フラグＦに基づいた視差画像のみを物体認識装置５に出力する構成としても良い。ただし、この場合は、画像が出力されるフレーム毎に、図１５（ａ）のような高密度視差画像と図１５（ｂ）のような疎視差画像が切り替わって出力されることとなる。例えば、第１のフレームにおいては、信頼度フラグＦ＝０および１の画素による高密度視差画像が出力され、第２のフレームにおいては、信頼度フラグＦ＝１の画素のみによる疎視差画像が出力される、といったものである。この場合においても、第１のフレームにおいて対象の分類がなされ、第２のフレームにおいて測距が行われれば、対象の分類だけでなく、測距についても精度良く行うことができる。もちろん、視差値導出装置３が信頼度フラグＦを出力する構成であっても、画像が出力されるフレーム毎に異なる処理がなされる構成とすることができる。なお、ここで、信頼度フラグＦ＝０が付与された画素および信頼度フラグＦ＝１の画素による高密度視差画像により対象の分類を行うことは、信頼度フラグＦ＝０が付与された画素および信頼度フラグＦ＝１が付与された画素の両方に補助処理（第１の補助処理の一例、第２の補助処理の一例）を行って対象の分類を行うことを意味し、信頼度フラグＦ＝０の画素は用いず信頼度フラグＦ＝１の画素を用いた疎視差画像により測距を行うことは、信頼度フラグＦ＝０が付与された画素には信頼度フラグＦ＝１が付与された画素と異なる補助処理（第３の補助処理の一例）を行って測距を行うことを意味するものとする。
【００８１】
なお、本実施形態は、信頼度フラグＦに基づいて異なる処理がなされれば効果を発揮するのであって、上記形態に限定されるものではない。例えば、視差値導出装置３が画素ごとに信頼度フラグＦが付与された視差画像を物体認識装置５に出力した後、物体認識装置５は、信頼度フラグＦ＝０が付与された画素および信頼度フラグＦ＝１が付与された画素の両方を用いて空間フィルタリング処理を行い、これを用いて、対象の分類を実行することができる。また、物体認識装置５は、信頼度フラグＦ＝１が付与された画素のみを用いてこれに空間フィルタリング処理を行い、これを用いて、測距を実行することができる。
【００８２】
また、上記のうち、信頼度フラグ＝０は、第１の判別情報の一例である。信頼度フラグ＝１は、第２の判別情報の一例である。信頼度フラグ＝０が付与された画素に基づく視差値は、第１の視差値の一例である。信頼度フラグ＝１が付与された画素に基づく視差値は、第２の視差値の一例である。対象の分類は、第１の処理の一例である。測距は、第２の処理の一例である。
【００８３】
＜実施形態の主な効果＞
以上説明したように本実施形態によれば、視差値導出装置３は、画素毎に、視差値Δだけでなく特定のコスト値Ｃ（ｐ，Δ）に応じて付与された信頼度フラグＦを出力することができる。これにより、信頼度フラグＦが付与された視差値Δの全画素分を取得した物体認識装置５は、対象の分類に比較的適している高密度視差画像を生成することができるだけでなく、測距に比較的適している疎視差画像を生成することができる。このように、視差値導出装置３は、従来に比べて、より多くの情報を物体認識装置５に出力することができる。
【００８４】
＜実施形態の補足＞
上記実施形態では、視差値導出装置３は物体認識装置５に、信頼度フラグＦが付与された視差値Δを出力しているが、これに限るものではない。例えば、視差値導出装置３内に物体認識装置５の機能が含まれ、視差値導出装置３内で、高密度視差画像又は疎視差画像を生成してもよい。また、視差値導出装置３は、視差値Δに信頼度フラグＦを付与せずに、視差値Δ及び信頼度フラグＦを、別々に物体認識装置５に出力してもよい。但し、この場合、視差値Δと信頼度フラグＦのデータのヘッダ部分には、視差値Δ及び信頼度フラグＦを関連づけるための識別子が付される。更に、信頼度フラグは信頼度情報の一例であり、信頼度情報の他の例として、信頼度が高い又は信頼度が低い旨を示すデータ等が挙げられる。
【００８５】
また、上記実施形態では、信頼度出力部３４０は、図１４に示されているように、視差値Δに対して信頼度フラグＦを付与しているが、これに限るものではない。例えば、信頼度出力部３４０は、信頼度フラグＦに代えて、特定のコスト値Ｃ（ｐ，Δ）を付与してもよい。この場合、コスト値Ｃが１〜１００だとすると、８ビット必要なため、図１４では、視差値Δを示すための７ビットと、特定のコスト値Ｃ（ｐ，Δ）を示すための８ビットの合計である１５ビットが必要となる。更に、コスト算出部３１０は、コスト値Ｃの最小値だけでなく、コスト値Ｃの全てを付与してもよい。
【００８６】
＜付記項＞
上記実施形態では、以下に示すような発明が開示されている。
【００８７】
〔付記項１〕
対象を撮像した第１の撮像手段によって得られた基準画像及び前記対象を撮像した第２の撮像手段によって得られた比較画像から前記対象に対する視差を示す視差値を導出する視差値導出装置であって、
前記基準画像内の基準領域の輝度値と、前記比較画像において前記基準領域に基づくエピポーラ線上でシフトさせることでシフト量毎に特定される対応領域の候補の各輝度値との非類似度又は類似度を示す各コスト値を算出する算出手段と、
前記算出手段によって算出された一の基準領域に対する対応領域の候補の各コスト値と、前記算出手段によって算出された他の基準領域に対する対応領域の候補の各コスト値とを前記シフト量毎に合成して、前記シフト量毎に各合成コスト値を出力する合成手段と、
前記合成手段によって出力された前記各合成コスト値のうち、前記コスト値が非類似度を示す場合には最小となる合成コスト値のシフト量に基づいて、又は、前記コスト値が類似度を示す場合には最大となる合成コスト値のシフト量に基づいて、前記視差値を導出する導出手段と、
前記各コスト値が非類似度を示す場合には、前記各コスト値のうち、前記最小となる合成コスト値のシフト量と同じシフト量の特定のコスト値を出力し、又は、前記各コスト値が類似度を示す場合には、前記各コスト値のうち、前記最大となる合成コスト値のシフト量と同じシフト量の特定のコスト値を出力する出力手段と、
を有することを特徴とする視差値導出装置。
【００８８】
〔付記項２〕
前記出力手段は、前記視差値と、前記各コスト値が非類似度を示す場合における前記特定のコスト値又は前記各コスト値が類似度を示す場合における前記特定のコスト値と、を関連づけて出力することを特徴とする付記項１に記載の視差値導出装置。
【００８９】
〔付記項３〕
付記項１に記載の視差値導出装置であって、
前記出力手段は、付記項１に記載の前記出力手段による処理に代えて、前記各コスト値が非類似度を示す場合における前記特定のコスト値、又は前記各コスト値が類似度を示す場合における前記特定のコスト値に基づいて、前記視差値の信頼度を示す信頼度情報を出力することを特徴とする視差値導出装置。
【００９０】
〔付記項４〕
前記信頼度情報は、前記各コスト値が非類似度を示す場合における前記特定のコスト値が所定の閾値未満のときに信頼度が高い旨を示し、前記コスト値が類似度を示す場合における特定のコスト値が所定の閾値を超えるときに信頼度が高い旨を示すことを特徴とする付記項３に記載の視差値導出装置。
【００９１】
〔付記項５〕
前記信頼度情報は、信頼度が高い旨を示すフラグ又は信頼度が低い旨を示すフラグであることを特徴とする付記項３又は４に記載の視差値導出装置。
【００９２】
〔付記項６〕
前記出力手段は、前記視差値及び前記信頼度情報を関連付けて出力することを特徴とする付記項３乃至５のいずれか一項に記載の視差値導出装置。
【符号の説明】
【００９３】
１  物体認識システム
２  本体部
３  視差値導出装置
５  物体認識装置
１０ａ  撮像装置
１０ｂ  撮像装置
２０ａ  信号変換装置
２０ｂ  信号変換装置
３０  画像処理装置
３１０  コスト算出部（算出手段の一例）
３２０  コスト合成部（合成手段の一例）
３３０  視差値導出部（導出手段の一例）
３４０  信頼度出力部（出力手段の一例）
【先行技術文献】
【特許文献】
【００９４】
【特許文献１】特開２００６−０９０８９６号公報
【特許文献２】特開２０１２−１８１１４２号公報
【図１】
2015194486.tif 000004
【図２】
2015194486.tif 000005
【図３】
2015194486.tif 000006
【図４】
2015194486.tif 000007
【図５】
2015194486.tif 000008
【図６】
2015194486.tif 000009
【図７】
2015194486.tif 000010
【図８】
2015194486.tif 000011
【図９】
2015194486.tif 000012
【図１０】
2015194486.tif 000013
【図１１】
2015194486.tif 000014
【図１２】
2015194486.tif 000015
【図１３】
2015194486.tif 000016
【図１４】
2015194486.tif 000017
【図１５】
2015194486.tif 000018