(57)【要約】【課題】物体検出に適した疎視差画像処理方法と装置及びこれに基づく物体検出方法と装置を提供する。【解決手段】該疎視差画像処理方法は、その中から所定物体が検出される視差画像を取得し、充填を行うための始点と終点の対が満たすべき水平方向上の距離制限条件と視差差分制限条件を決定し、水平方向において充填を行うための始点と終点の対を決定し、水平方向上の始点と終点の間に位置する空白視差点の充填を行い、充填を行うための始点と終点の対が満たすべき垂直方向上の距離制限条件と視差差分制限条件を決定し、垂直方向において充填を行うための始点と終点の対を決定し、垂直方向上の始点と終点の間に位置する空白視差点の充填を行うことを含む。本発明によれば、物体検出に適した視差点の充填された画像を取得することができ、物体検出に役立つ。【選択図】図１
2014216016.tif 000002
【特許請求の範囲】
【請求項１】
その中から所定物体が検出される視差画像を取得するステップと、
視差画像の水平方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき水平方向上の距離制限条件と視差差分制限条件を決定するステップと、
視差画像内の水平方向上の各行に対し、水平方向上の距離制限条件と視差差分制限条件に基づいて、水平方向において充填を行うための始点と終点の対を決定し、水平方向において充填を行うための始点と終点の対に基づいて、水平方向上の始点と終点の間に位置する空白視差点の充填を行うステップと、
視差画像の垂直方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき垂直方向上の距離制限条件と視差差分制限条件を決定するステップと、
視差画像内の垂直方向上の各列に対し、垂直方向上の距離制限条件と視差差分制限条件に基づいて、垂直方向において充填を行うための始点と終点の対を決定し、垂直方向において充填を行うための始点と終点の対に基づいて、垂直方向上の始点と終点の間に位置する空白視差点の充填を行うステップと、を含む
検出対象の所定物体の特性に基づく疎視差画像処理方法。
【請求項２】
検出対象の所定物体の水平方向上の特性が不足している場合、水平方向上の視差点の充填を行ってから、垂直方向上の視差点の充填を行うステップをさらに含む
請求項１に記載の疎視差画像処理方法。
【請求項３】
検出対象の所定物体の垂直方向上の特性が不足している場合、垂直方向上の視差点の充填を行ってから、水平方向上の視差点の充填を行うステップをさらに含む
請求項１に記載の疎視差画像処理方法。
【請求項４】
水平方向上の視差点の充填を行う前に、垂直方向のエッジ検出を行い、物体の垂直境界を位置決定するステップをさらに含み、
前記水平方向上の視差点の充填は、物体の垂直境界の範囲内で行う
請求項１に記載の疎視差画像処理方法。
【請求項５】
視差画像内に、検出すべき対象ではなく、且つ視差が垂直方向上に徐々に変化していく対象が存在する場合は、前記垂直方向上の距離制限条件が、始点と終点の間の垂直距離が所定正数よりも大きいことを含む、
請求項１に記載の疎視差画像処理方法。
【請求項６】
水平方向上及び／又は垂直方向上の充填を行うための始点と終点の対を決定するステップにおいて、充填に用いられることができず、且つ背景となる可能性が所定の閾値よりも高い視差点を除去することを含む
請求項１に記載の疎視差画像処理方法。
【請求項７】
前記充填を行う視差点は、関連付けられた信頼値を有し、
水平方向上の一行または垂直方向上の一列の視差点を充填する時、一つの空白視差点を充填することが可能な始点と終点の対が多いほど、該充填視差点に、より高い信頼値を設定する
請求項１に記載の疎視差画像処理方法。
【請求項８】
その中から所定物体が検出される視差画像を取得するステップと、
視差画像の水平方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき水平方向上の距離制限条件と視差差分制限条件を決定するステップと、
視差画像内の水平方向上の各行に対し、水平方向上の距離制限条件と視差差分制限条件に基づいて、水平方向において充填を行うための始点と終点の対を決定し、水平方向において充填を行うための始点と終点の対に基づいて、水平方向上の始点と終点の間に位置する空白視差点の充填を行うステップと、
視差画像の垂直方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき垂直方向上の距離制限条件と視差差分制限条件を決定するステップと、
視差画像内の垂直方向上の各列に対して、垂直方向上の距離制限条件と視差差分制限条件に基づいて、垂直方向において充填を行うための始点と終点の対を決定し、垂直方向において充填を行うための始点と終点の対に基づいて、垂直方向上の始点と終点の間に位置する空白視差点の充填を行うステップと、
充填処理後の視差画像を分割するステップと、
検出すべき物体の特性に基づいて、分割された領域から物体検出を行うステップと、を含む、疎視差画像に基づく物体検出方法。
【請求項９】
その中から所定物体が検出される視差画像を取得する視差画像取得部と、
視差画像の水平方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき水平方向上の距離制限条件と視差差分制限条件を決定する水平方向制限条件決定部と、
視差画像内の水平方向上の各行に対し、水平方向上の距離制限条件と視差差分制限条件に基づいて、水平方向において充填を行うための始点と終点の対を決定し、水平方向において充填を行うための始点と終点の対に基づいて、水平方向上の始点と終点の間に位置する空白視差点の充填を行う水平方向充填部と、
視差画像の垂直方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき垂直方向上の距離制限条件と視差差分制限条件を決定する垂直方向制限条件決定部と、
視差画像内の垂直方向上の各列に対し、垂直方向上の距離制限条件と視差差分制限条件に基づいて、垂直方向において充填を行うための始点と終点の対を決定し、垂直方向において充填を行うための始点と終点の対に基づいて、垂直方向上の始点と終点の間に位置する空白視差点の充填を行う垂直方向充填部と、
を含む、検出対象の所定物体の特性に基づく疎視差画像処理装置。
【請求項１０】
その中から所定物体が検出される視差画像を取得する視差画像取得部と、
視差画像の水平方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき水平方向上の距離制限条件と視差差分制限条件を決定する水平方向制限条件決定部と、
視差画像内の水平方向上の各行に対して、水平方向上の距離制限条件と視差差分制限条件に基づいて、水平方向において充填を行うための始点と終点の対を決定し、水平方向において充填を行うための始点と終点の対に基づいて、水平方向上の始点と終点の間に位置する空白視差点の充填を行う水平方向充填部と、
視差画像の垂直方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき垂直方向上の距離制限条件と視差差分制限条件を決定する垂直方向制限条件決定部と、
視差画像内の垂直方向上の各列に対して、垂直方向上の距離制限条件と視差差分制限条件に基づいて、垂直方向において充填を行うための始点と終点の対を決定し、垂直方向において充填を行うための始点と終点の対に基づいて、垂直方向上の始点と終点の間に位置する空白視差点の充填を行う垂直方向充填部と、
充填処理後の視差画像を分割する分割部と、
検出すべき物体の特性に基づいて、分割された領域から物体検出を行う物体検出部と、を含む、疎視差画像に基づく物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は視差画像処理に関し、具体的には疎視差画像処理方法及び装置、並びにそれに基づく物体検出方法及び装置に関するものである。
【背景技術】
【０００２】
既に多くの視差画像に基づく物体検出方法が開発されており、例えば、視差画像に基づく道路上の車両、ガードレール等の検出方法がある。
【０００３】
しかしながら、カメラの性能の限界または場面自体の特性等の要因により、視差点の比較的に疎な視差画像（以下、疎視差画像と称する）が得られたことがある。疎視差画像の影響で、車両等の物体検出が困難になる場合があり、また、実際に、元視差画像を水平方向または垂直方向に投影してＵ視差画像またはＶ視差画像を得てから、Ｕ視差画像またはＶ視差画像上で物体検出を行うことがあるが、この場合、ＵまたはＶ投影による遮断または視差点が疎らなことによってＵまたはＶ視差画像上の物体特性が非常に弱くなり、物体の検出が難しくなることがある。例えば、2005年第5回3次元デジタルイメージング・モデリング世界大会（Proceeding  of  the  Fifth  International  Conference  3-D  Digital  Imaging  and  Modeling  2005）で発表されたZhencheng  Hu,  Francisco  Lamosa  and  Keiichi  Uchimuraを作者とする、「A  Complete  U-V-Disparity  Study  for  Stereovision  Based  3D  Driving  Environment  Analysis」というタイトルの論文には、ＵＶ視差画像の平面特性に基づく物体位置特定と分割検出の方法が紹介されている。
【０００４】
HRL  LABORATORIES,LLCのOwechko,Yuri等を発明者とする、「Method  and  apparatus  for  three-dimensional  shape  estimation  using  constrained  disparity  propagation」というタイトルの米国特許第7561732号には、制限された視差画像膨張方法に基づく物体の3次元形状の推定方法と装置が開示されている。この方法では、物体特性から視差値の推定を開始し、さらに非物体特性から視差値の推定に進み、続いて視差値の制限に基づいて、安定するまで物体視差値の推定を繰り返して行い、最後に物体の3次元形状とそれに対応する視差画像を推定する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
物体検出に適した疎視差画像処理方法と装置及びそれに基づく物体検出方法と装置の提供が望まれている。
【課題を解決するための手段】
【０００６】
本発明の一の態様においては、その中から所定物体が検出される視差画像を取得するステップと、視差画像の水平方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき水平方向上の距離制限条件と視差差分制限条件を決定するステップと、視差画像内の水平方向上の各行に対し、水平方向上の距離制限条件と視差差分制限条件に基づいて、水平方向において充填を行うための始点と終点の対を決定し、水平方向において充填を行うための始点と終点の対に基づいて、水平方向上の始点と終点の間に位置する空白視差点の充填を行うステップと、視差画像の垂直方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき垂直方向上の距離制限条件と視差差分制限条件を決定するステップと、視差画像内の垂直方向上の各列に対し、垂直方向上の距離制限条件と視差差分制限条件に基づいて、垂直方向において充填を行うための始点と終点の対を決定し、垂直方向において充填を行うための始点と終点の対に基づいて、垂直方向上の始点と終点の間に位置する空白視差点の充填を行うステップと、を含む検出対象の所定物体の特性に基づく疎視差画像処理方法を提供する。
【０００７】
本発明の他の態様においては、その中から所定物体が検出される視差画像を取得するステップと、視差画像の水平方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき水平方向上の距離制限条件と視差差分制限条件を決定するステップと、視差画像内の水平方向上の各行に対し、水平方向上の距離制限条件と視差差分制限条件に基づいて、水平方向において充填を行うための始点と終点の対を決定し、水平方向において充填を行うための始点と終点の対に基づいて、水平方向上の始点と終点の間に位置する空白視差点の充填を行うステップと、視差画像の垂直方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき垂直方向上の距離制限条件と視差差分制限条件を決定するステップと、視差画像内の垂直方向上の各列に対して、垂直方向上の距離制限条件と視差差分制限条件に基づいて、垂直方向において充填を行うための始点と終点の対を決定し、垂直方向において充填を行うための始点と終点の対に基づいて、垂直方向上の始点と終点の間に位置する空白視差点の充填を行うステップと、充填処理後の視差画像を分割するステップと、検出すべき物体の特性に基づいて、分割された領域から物体検出を行うステップと、を含む、疎視差画像に基づく物体検出方法を提供する。
【０００８】
本発明のさらに他の態様においては、その中から所定物体が検出される視差画像を取得する視差画像取得部と、視差画像の水平方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき水平方向上の距離制限条件と視差差分制限条件を決定する水平方向制限条件決定部と、視差画像内の水平方向上の各行に対し、水平方向上の距離制限条件と視差差分制限条件に基づいて、水平方向において充填を行うための始点と終点の対を決定し、水平方向において充填を行うための始点と終点の対に基づいて、水平方向上の始点と終点の間に位置する空白視差点の充填を行う水平方向充填部と、視差画像の垂直方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき垂直方向上の距離制限条件と視差差分制限条件を決定する垂直方向制限条件決定部と、視差画像内の垂直方向上の各列に対し、垂直方向上の距離制限条件と視差差分制限条件に基づいて、垂直方向において充填を行うための始点と終点の対を決定し、垂直方向において充填を行うための始点と終点の対に基づいて、垂直方向上の始点と終点の間に位置する空白視差点の充填を行う垂直方向充填部と、を含む、検出対象の所定物体の特性に基づく疎視差画像処理装置を提供する。
【０００９】
本発明の他の態様においては、その中から所定物体が検出される視差画像を取得する視差画像取得部と、視差画像の水平方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき水平方向上の距離制限条件と視差差分制限条件を決定する水平方向制限条件決定部と、視差画像内の水平方向上の各行に対して、水平方向上の距離制限条件と視差差分制限条件に基づいて、水平方向において充填を行うための始点と終点の対を決定し、水平方向において充填を行うための始点と終点の対に基づいて、水平方向上の始点と終点の間に位置する空白視差点の充填を行う水平方向充填部と、視差画像の垂直方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき垂直方向上の距離制限条件と視差差分制限条件を決定する垂直方向制限条件決定部と、視差画像内の垂直方向上の各列に対して、垂直方向上の距離制限条件と視差差分制限条件に基づいて、垂直方向において充填を行うための始点と終点の対を決定し、垂直方向において充填を行うための始点と終点の対に基づいて、垂直方向上の始点と終点の間に位置する空白視差点の充填を行う垂直方向充填部と、充填処理後の視差画像を分割する分割部と、検出すべき物体の特性に基づいて、分割された領域から物体検出を行う物体検出部と、を含む、疎視差画像に基づく物体検出装置を提供する。
【００１０】
本発明の実施例に基づく疎視差画像処理方法、装置及びこのような疎視差画像の処理を含む物体検出方法と装置は、検出すべき物体の水平方向上の特性及び垂直方向上の特性に基づいて充填を行うための始点と終点の対が満たすべき水平方向上及び垂直方向上の距離制限条件と視差差分制限条件を決定し、決定された水平方向上の制限条件に基づいて視差画像に対して水平方向において視差点の充填を行い、そして決定された垂直方向上の制限条件に基づいて視差画像に対して垂直方向において視差点の充填を行うことで、物体検出に適した視差点が充填された画像を取得することができ、視差点を充填した画像から直接物体検出を行うことができる。
【図面の簡単な説明】
【００１１】
図面では例示的な各実施例を図示しているが、これらの実施例に限定されるものではない。図面の簡略化と明瞭化のために、以下に引用する図示した部品は比例するように描かれているわけではない。また、場合によっては、図面間で図番を重複使用し、同一または同様の部品を示すことがある。
【図１】本発明の実施例による疎視差画像処理方法の全体フローチャートである。
【図２】本発明の１つの実施例による水平方向上の視差点充填処理方法のフローチャートである。
【図３】（a）は、元視差画像の一例を示し、（b）は、水平方向の視差充填処理、即ちx-connect処理後の視差画像を示した図である。
【図４】本発明の実施例による垂直方向上の視差点の充填処理方法のフローチャートである。
【図５】（a）は、元視差画像の一例を示し、（b）は、垂直方向の視差充填処理、即ちy-connect処理後の視差画像である。
【図６】（a）は、図3（b）のx-connect連結後の結果であり、（b）は、図６（a）に対して例示的なy-connect処理を施した後の結果である。
【図７】本発明の１つの実施例による疎視差画像に基づく物体検出方法のフローチャートである。
【図８】（a）は、元グレースケール画像を、該画像上で検出した明るい色のぎざぎざ状の点となる視差点とともに示した図であり、（b）は、元視差画像に対して水平方向上の空白視差点の充填を行った後に得られた視差画像であり、（c）は、図8（b）内の視差画像に対して垂直方向上の空白視差点の充填を行った後に得られた視差画像であり、（d）は、図8（c）内の視差画像に対して水平方向上の空白視差点の充填を行った後に得られた視差画像であり、（e）は、図8（d）内の視差画像に対して垂直方向上の空白視差点の充填を行い、領域分割後に得られた意図的な結果であり、（f）は、画像分割後の物体検出結果である。
【図９】本発明の実施例による疎視差画像処理装置3000の例示的な配置ブロック図である。
【図１０】本発明の実施例による疎視差画像に基づく物体検出装置4000の例示的な配置ブロック図である。
【図１１】本発明の実施例による疎視差画像処理/物体検出システム6000のハードウェア配置の概念図である。
【発明を実施するための形態】
【００１２】
当業者が本発明をより良く理解できるように、以下、図面と具体的な実施形態により、本発明をさらに詳細に説明する。また、本発明の要点と混同しないように、当該分野の公知の技術については詳細な説明を行わない。
【００１３】
以下の順序で説明を行う：
1、疎視差画像処理方法例
1.1、疎視差画像処理方法の全体フローチャート例
1.2、水平方向上の視差点の充填処理方法例
1.3、垂直方向上の視差点の充填処理方法例
2、疎視差画像に基づく物体検出方法
3、疎視差画像処理装置
4、疎視差画像に基づく物体検出装置
5、システムのハードウェア配置
6、まとめ
＜1、疎視差画像処理方法例＞
＜1.1、疎視差画像処理方法の全体フローチャート例＞
以下、図1を参考にして、本発明の実施例の疎視差画像処理方法の全体フロー例を説明する。
【００１４】
図1は本発明の実施例の例示的で疎視差画像処理方法の全体フローである。
【００１５】
図１に示すように、ステップS1100では、その中から所定物体が検出される視差画像を取得する。
【００１６】
従来の視差画像を取得する方法はいずれも本発明に用いることができる。例えば、双眼カメラ、多眼カメラ、ステレオカメラで撮影し、該連続型道路分割体部分を含む視差画像を算出することができる。具体的には、例えば、双眼カメラで左画像と右画像を撮影し、左画像と右画像から視差画像を計算して取得することができる。または、立体画像の深度画像を得、深度画像に基づいて視差画像を取得することができる。
【００１７】
また、該視差画像はネットワーク、例えばワイヤレスネットワーク経由で現地または遠隔から伝送されたものでもよい。
【００１８】
ステップS1200では、視差画像の水平方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき水平方向上の距離制限条件と視差差分制限条件を決定する。
【００１９】
１例では、充填を行うための始点と終点の間の水平方向上の距離は所定水平距離の上限しきい値未満で、始点と終点の間の視差上の絶対差は所定視差差分の上限しきい値未満になるように決定する。双眼カメラで車の後部を撮影して得られた視差画像を例にすると、このとき、車後部の左右の境界間の距離を考慮して、前記所定水平距離の上限しきい値は車後部の左右の境界間の距離に対応するよう設定できる。同時に旗竿、柱のような直立した孤立物体の妨害物を取り除くという目的と、これらの妨害物は通常、幅の比較的小さな物体であることを考えると、所定水平距離の下限しきい値を設定し、充填を行うための始点と終点の間の水平方向上の距離が同時に所定水平距離の下限しきい値を超えた場合に、充填を行うために選ばれるようにしてもよい。
【００２０】
ステップS1300では、視差画像内の水平方向上の各行に対して、水平方向上の距離制限条件と視差差分制限条件に基づいて、水平方向において充填を行うための始点と終点の対を決定し、水平方向において充填を行うための始点と終点の対に基づいて、水平方向上の始点と終点の間に位置する空白視差点の充填を行う。
【００２１】
１例では、水平方向上の視差点の充填を行う前に、垂直方向のエッジ検出を行い物体の垂直境界を位置決定してもよく、ここで、前記水平方向上の視差点の充填は、物体の垂直境界の範囲内で行うものとする。これにより、視差充填の効率を向上することができる。
【００２２】
以下、図2と図3を参考にして、水平方向上の視差点の充填の動作方法例を詳しく説明する。
【００２３】
ステップS1400では、視差画像の垂直方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき垂直方向上の距離制限条件と視差差分制限条件を決定する。
【００２４】
該ステップは、前記ステップS1200の動作と類似しているが、垂直方向の視差点の充填に対して距離制限条件と視差差分制限条件を決定することに相違点がある。
【００２５】
１例では、充填を行うための始点と終点の間の垂直方向上の距離は、所定垂直距離の上限しきい値未満で、始点と終点の間の視差上の絶対差は所定視差差分の上限しきい値未満であるようにする。双眼カメラで車の後部を撮影して得られた視差画像を例にすると、このとき、車後部の上下の境界間の距離を考えて、前記所定垂直距離の上限しきい値が車後部の上下の境界間の距離に対応するよう設定することができる。同時に車線のような物体の妨害を取り除くという目的と、これらの妨害物は通常、高さが低く、かつ視差が垂直方向上で徐々に変化していく物体であることを考えると、所定垂直距離の下限しきい値を設定し、充填を行うための始点と終点の対の間の垂直方向上の距離が同時に所定垂直距離の下限しきい値を超えた場合に、充填を行うために選ばれるようにしてもよい。
【００２６】
ステップS1500では、視差画像内の垂直方向上の各列に対して、垂直方向上の距離制限条件と視差差分制限条件に基づいて、垂直方向において充填を行うための始点と終点の対を決定し、垂直方向において充填を行うための始点と終点の対に基づいて、垂直方向上の始点と終点の間に位置する視差点の充填を行う。
【００２７】
以下、図4、5、6を参考にして、垂直方向上の視差点の充填の動作方法例を詳しく説明する。
【００２８】
１例では、視差点の充填過程において、同時にノイズの除去処理を行う。具体的には、水平方向及び/または垂直方向上の充填を行うための始点と終点の対を決定する工程において、充填に用いられることができず、且つ背景となる可能性が所定しきい値よりも高い視差点を除去してもよい。例えば、車両の検出を例にすると、垂直方向上の充填基礎となる始点と終点の対を決定する工程において、視差画像の底部に位置する視差が垂直方向上で徐々に変化していく連続視差点を見つけた場合は、車線等の物体を示す傾向にあることから、これらの連続視差点を視差画像から除去してもよい。
【００２９】
また、１例では、前記充填視差点は、関連付けられた信頼値を有してもよい。水平方向上の一行または垂直方向上の一列の視差点の充填を行う際に、一つの空白視差点を充填することが可能な始点と終点の対が多いほど、該充填視差点には比較的高い信頼値が与えられる。以下、図2、3を組み合わせた水平方向上の視差充填処理と図4、5、6を組み合わせた垂直方向上の視差充填処理において、充填する視差点に信頼値を与える例を具体的に詳しく説明する。
【００３０】
ここで、図1では水平方向上の視差点の充填ステップS1300が垂直方向上の視差点の充填ステップS1500の前にあるが、両者の実際の実行順序を限定するものではない。実際に、検出すべき物体の特性と視差画像の特徴から、水平方向の視差点の充填と垂直方向の視差点の充填の前後順を決めてもよい。
【００３１】
１例では、検出対象の所定物体の水平方向上の特性が不足している場合、例えば水平境界が足りないとき、まず水平方向上の視差点の充填を行い、それから垂直方向上の視差点の充填を行うことができる。例えば、双眼カメラが前の車両の後部に向いているとき、撮影された車両の視差画像は通常、はっきりとした垂直方向のエッジ（即ち、左右境界、即ち物体の左側と右側の垂直方向に伸びる境界）を有し、一方、水平方向のエッジ（上下境界）はそれほど鮮明ではない。同時に、このような車両後部の水平方向上の視差値に大差がないことを考えると、このような検出対象に対しては、先ず水平方向上の視差点の充填を行うのが適切であり、これにより、有効な視差点の増加を確保することができる。
【００３２】
他の１例では、検出対象の所定物体の垂直方向上の特性が不足している場合、垂直方向上の視差点の充填を行ってから、水平方向上の視差点の充填を行うことができる。
【００３３】
また、ここで、水平方向上の視差点の充填及び/または垂直方向上の視差点の充填は、満足のいく視差画像が得られるまで、繰り返して行われてもよい。また、１例では、毎回、充填処理後の得られた視差画像に対して物体検出を行い、物体検出の結果から水平方向上または垂直方向上の視差点の充填を引き続き行うか否かを判断してもよい。
【００３４】
本発明の前記実施例の疎視差画像処理方法は、検出すべき物体の水平方向上の特性及び垂直方向上の特性から、充填基礎となる始点と終点の対の間が満たすべき水平方向上及び垂直方向上の距離制限と視差差分制限を決定し、決定した水平方向上の制限から、視差画像に対して水平方向上の視差点の充填を行い、そして決定した垂直方向上の制限から、視差画像に対して垂直方向上の視差点の充填を行うことで、物体検出に適した視差点が充填された画像を取得し、それによって視差点を充填した画像上で直接物体検出を行うことができる。
【００３５】
図1に示す疎視差画像処理方法の処理後の視差画像を取得してから、充填処理後の視差画像を分割し、そして、検出すべき物体の特性から分割した領域に対して物体検出を行う。以下、図7と組み合わせて、疎視差画像充填処理を含む物体検出方法について詳細な説明を行う。
【００３６】
図8（a）から（f）は、例示的な本発明の実施例を応用した疎視差画像処理方法による処理結果及びこのような処理後の画像から分割と物体検出を実施した完成予想図である。図8（a）は、最初のグレースケール画像と一緒にその上に検出した視差点を示し、視差点は明るい色のぎざぎざ状の点である。図8（b）は最初の視差画像に対して水平方向上の視差点の充填を行った後に得られた視差画像であり、多くの横線の欠けた視差点が充填されたことがわかる。図8（c）は、図8（b）の視差画像に対して垂直方向上の視差点の充填を行った後に得られた視差画像である。図8（d）は、図8（c）内の視差画像に対して水平方向上の視差点の充填を行った後に得られた視差画像である。図8（e）は、図8（d）内の視差画像に対して垂直方向上の視差点の充填を行った後に得られた視差画像及び矩形の枠で示した画像分割結果である。図8（f）は、画像分割後の物体検出結果である。
【００３７】
＜1.2、水平方向上の視差点の充填処理方法例＞
以下、図2を参考にして、本発明の実施例の水平方向上の視差点の充填処理方法を説明する。該方法は図1に示すステップS1300に応用できる。以下の文章では容易な説明のために、水平方向上の視差点の充填処理方法をx-connect処理と称する。名前が暗示するように、水平方向上の視差点の充填処理は、水平方向、即ちx方向上の始点と終点の間の連結処理に類似している。
【００３８】
図2は、本発明の１実施例の水平方向上の視差点の充填処理方法のフローチャートである。
【００３９】
図2に示すように、ステップS1301では、システムが視差画像内の各行をスキャンし読み取りを始める。スキャン順序は上から下、あるいは下から上でもよい。
【００４０】
ステップS1302では、新規行があるか否かを判断し、新規行がある場合、新規行が読み取られ、以降の処理に供される。新規行がない場合、x-connect処理はここで終了する。
【００４１】
ステップS1303では、各行の視差点を左から右へまたは右から左へ水平に動かし、視差点の値を一つ一つ判断し、視差値が0の場合は、視差値なしと見なしてもよく、無視差点と称することもできる。この例では、スキャン順序は左から右となる。
【００４２】
ステップS1304において、１視差点が存在する場合、ステップＳ1305に進み、視差点がなければ、ステップS1301に戻り、新規行のスキャンを開始する。
【００４３】
ステップS1305では、ステップS1304で存在すると判定した視差点を、始点Ps（i）と設定し、このiは、ペアを成す始点と終点のペア数を表している。
【００４４】
ステップS1306では、引き続き水平方向上の右側に向かって水平検索を行うことで、距離制限条件と視差差分制限条件を満たす隣接する視差点Ptmpを検出する。
【００４５】
ステップS1307では、始点Ps(i)との距離と視差値上の制限条件を満たす新視差点Ptmpが存在するか否かを判断する。距離制限条件と視差差分上の制限条件に関しては、前述の図1のステップS1200で説明したようにして取得する。例えば、１例では、始点と終点の間の水平方向上の距離は9画素以下とし、ここで、距離の制限条件は検出すべき物体の水平方向上のサイズ特性から調整してもよい。１例では、始点と終点の視差値間の差分は、例えば5以下に設定し、ここで、視差値の差分の制限条件は、検出される物体の位置と縦方向の深さ上の視差値分布から調整してもよい。
【００４６】
ステップS1307において、始点Ps(i)との距離と視差値上の制限条件を満たす新視差点Ptmpが存在すると判断した場合、ステップS1308に進む。
【００４７】
ステップS1308では、該新視差点Ptmpを対応する終点Pn(i)に設定し、その後、ステップS1306に戻り、引き続き右側に向かって新たな始点Ps(i)との距離と視差値上の制限条件を満たす該始点に対応する終点があるか否かを検出する。本例では、最後に検出した始点Ps(i)との距離と視差値上の制限条件を満たす１点を終点としている。
【００４８】
ステップS1307で、始点Ps(i)との距離と視差値上の制限条件を満たす新視差点Ptmpが見つからないと判断した場合、ステップS1309に進む。
【００４９】
ステップS1309では、始点Ps(i)に対応する終点Pn(i)を検出可能かどうかを判断する。
【００５０】
ステップS1309でPs(i)に対応する終点Pn(i)が検出されていないと判定された場合（ステップS1309内のNO）、ステップS1303に戻り、引き続き元の行で右方向（スキャン方向を左から右へと仮定した場合）に視差点をスキャンし視差点を探す。本例では、Ps(i)の終点を検索する過程で、最後に出会った点から右側に向かって引き続きスキャンし視差点を探す。
【００５１】
ステップS1309で、Ps(i)に対応する終点Pn(i)が検索されたと判定された場合（ステップS1309内のYES）は、ステップS1310に進む。
【００５２】
ステップS1310では、始点と終点間の視差点を充填し値を付与し、与える値はすべてが始点Ps(i)または終点Pn(i)と同一であってもよいし、あるいは、それらの中間の値、例えば平均値であってもよいし、あるいは、漸進的に変化する数値によってより平滑に連結した視差値としてもよい。ここでは、始点と終点間に存在する非空白視差点については、元値を保留しておいても、空白視差点と見なし同様に充填処理を施してもよい。本例では、始点と終点の間に存在する非空白視差点については、元値をそのまま保留している。ステップS1310の後は、ステップS1311に進む。
【００５３】
ステップS1311では、終点Pn(i)を新たな始点に設定してから、ステップS1306に戻り、これにより、引き続き該行で、元方向に水平検索を行い、該新たな始点間との距離と視差差分制限条件を満たす終点候補となり得る視差点を探す。
【００５４】
このように、すべての行についてスキャンと充填動作が終了するまでに、以上の動作が繰り返し行われる。
【００５５】
x-connect処理をより容易に理解するために、以下、図3を組み合わせて具体的な動作例を挙げる。図3の表は、１視差画像を表し、表内の数値は各画素点に存在する視差値を表し、ジョブの目的は、x-connect方法を用いて該視差画像に連結処理を施すことである。ここでは、距離制限条件を9画素以下、視差値制限条件を5と仮定する。図3（a）は、元視差画像であり、（b）は、水平方向の視差充填処理またはx-connect処理後の視差画像である。
【００５６】
上述したように、水平方向上の視差点の充填前に、効率向上のために、前処理を施してもよい。例えば、先に垂直主体エッジまたはシャープなエッジ検出を行い、物体の垂直境界を位置決定することで、ノイズ除去の助けとなり、以後は、垂直境界内部で水平方向上の視差点処理を行うだけでよく、x-connect方法の効率を高めることができる。垂直境界検出は、例えばSobelによる境界検出でもよい。
【００５７】
図3において、１例によると、x-connect方法は次のように行われる。左上コーナーの一行目の破線の矩形枠が示した視差値23の視差点から開始し、すなわち、始点とし、水平方向の右側に向かって探し、相次いで右側に隣接する二つの破線矩形枠に対応する視差値を19と22とする点を探し出し、これらは距離と視差値差の制限条件を満たし、さらに右側には要求を満たす視差点がない。本例では値を22とする視差点を終点とし、始点と終点の間の空白の視差値は充填され、充填した値は始点と終点の視差の平均値である。本例では、距離制限条件を9画素以下、視差値差制限条件を5と仮定している。2行目と5行目の別の二つの実線矩形枠が示す視差値を61と58とする二つの視差点は、視差値要求を満たしていないため、処理しない、さらに下から二行目の実線矩形枠が示す視差値を19とする視差点は、その間の距離が距離制限条件を満たしていないため、処理しない。ここでは、実線で囲った視差値は、始点または終点のスキャン中に該視差値が始点または終点となる視差値候補要求を満たしていないことを表している。一行目の破線の四角で囲った視差値は、該視差値が始点または終点となる視差値候補要求を満たしていことを例を挙げて示すのに用いている。図3の楕円は検出した主要垂直境界を表し、本例の水平方向上の視差点の充填処理機x-connect処理は境界から始まっている。
【００５８】
また、例では、実際の動作中に、連結性能を高めるため、視差値の信頼値をさらに設定してもよい。例えば、図3が示すように、一行目の「23/1」は該点の視差値を23とし、信頼値を1とすることを表し（即ち、最初に存在する視差点を表す）、次の「21/0.6」は該点の視差値を21とし、信頼値を0.6とすることを表している（充填して得られた視差値の信頼値を0.6とする）。
【００５９】
一般的に、水平方向上の一行の視差点の充填を行うとき、一つの空白視差点を充填することが可能な始点と終点の対が多いほど、該充填視差点には比較的高い信頼値が与えられる。
【００６０】
例では、信頼値の設定規則は以下のとおりである。始点から要求を満たす視差点の終点を見つけ出し、中間の新規連結与えた値の視差点は0.5と設定され、終点を探し出した後、引き続き右側に向かって距離制限条件（例えば12画素点と設定）を見つけ出すまで探し、要求を満たす新規視差点があるか否かを調べ、要求を満たす新規視差点がある場合、新規点を終点と設定し、同時に中間の新規連結与えた値の視差点の信頼値が0.1増加する。例では、懲罰措置を設定してもよく、例えば要求を満たさない場合、信頼値を減らす、または他の調整方式をとる。最初の視差点の信頼値は1.0と設定され、x-connect処理によって変わることはない。
【００６１】
このような信頼値は、規定の距離制限条件と視差値差制限条件内で新たに連結出現した視差点の信頼性の度量を表している。視差値に信頼値を与える利点は、例えば信頼値が0.7よりも高ければ検出に使われる等、その後の処理または検出動作が信頼値に基づいて斟酌処理できることにある。
【００６２】
図8（b）は、最初の視差画像に対して水平方向上の空白視差点の充填を行った後に得られた視差画像であり、多くの横線の欠けた視差点が充填されたことがわかる。
【００６３】
＜1.3、垂直方向上の視差点の充填処理方法例＞
以下、図4を参考にして、本発明の実施例の垂直方向上の視差点の充填処理方法を説明する。該方法は、図1に示すステップS1500に応用できる。以下の文章では説明しやすいように、垂直方向上の視差点の充填処理方法をy-connect処理と称す。名前が暗示するように、垂直方向上の視差点の充填処理は垂直方向、即ちy方向上の始点と終点の間の連結処理に似ている。
【００６４】
図4は、本発明の実施例の垂直方向上の視差点の充填処理方法のフローチャートである。図4に示すように、例示的なy-connect処理は前記図2を参考にして説明したx-connect処理と似ているが、垂直方向上、即ちy方向で行ったものである。
【００６５】
図4に示すように、ステップS1501では、システムが視差画像内の各列をスキャンし読み取りを始める。スキャン順序は左から右でも、右から左でもよい。
【００６６】
ステップS1502では、新規列があるか否かを判断し、新規列がある場合、新規列は読み取られて、その後の処理に回される。新規列がない場合、y-connect処理はここで終わる。
【００６７】
ステップS1503では、各列の視差点を上下にあちこち動かし、視差点の値を一つ一つ判断し、視差値が0のとき視差値なしと見なし、無視差点と称すことができる、動かす方向は上から下または下から上でもよいが、本例では、動かす方向は上から下へと設定している。
【００６８】
ステップS1504で、視差点が存在する場合、ステップＳ1505に進み、視差点がなければステップS1501に戻って新規列のスキャンを開始する。
【００６９】
ステップS1505では、ステップS1504で存在すると判定した視差点を始点Ps（i）と設定し、このiは対を成す始点と終点のペア数を表している。
【００７０】
ステップS1506では、引き続き垂直方向上で上から下に垂直検索を行うことで、距離と視差差分制限条件を満たす隣接する視差点Ptmpを探す。
【００７１】
ステップS1507では、始点Ps(i)との距離と視差値上の制限条件を満たす新視差点Ptmpが存在するか否かを判断する。
【００７２】
関連する距離制限条件と視差差分上の制限条件は、前文の図1のステップS1200の説明のようにして取得する。例えば、例では、始点と終点の垂直方向上の距離は9画素以下とすることができ、ここでの距離の制限条件は検出すべき物体の垂直方向上のサイズ特性から調整することができる。例では、始点と終点の視差値間の差を例えば5以下に設定することができ、ここでの視差値の差の制限条件は検出される物体の位置と縦方向の深さ上の視差値分布から調整できる。また、例では、垂直方向上の距離制限条件は4画素以上を含む。ここでの距離制限条件設定は前記のx-connect連結と組み合わせた距離制限条件と異なり、検出する物体の要求に基づいて変化するからである。視差画像は垂直方向上で地面の影響を受けるため、視差画像は縦方向に延伸し、地面の徐々に変化していく視差点が不必要に連結されるのを防ぐために、最小値4以上という制限条件を加える。通常、前記垂直方向上の距離制限条件は、視差画像内に検出すべき対象ではなく、且つ視差が垂直方向上で徐々に変化していく対象が存在する場合、始点と終点の間の垂直距離が所定正数よりも大きいことを含んでもよい。同様に、垂直の面がx-connectによる影響を避けるために、前記x-connect方法に距離の最小値制限条件を加えることが出来る。
【００７３】
ステップS1507で、始点Ps(i)との距離と視差値上の制限条件を満たす新視差点Ptmpが存在すると判定した場合、ステップS1508に進む。
【００７４】
ステップS1508では、この新視差点Ptmpを対応する終点Pn(i)に設定し、その後、ステップS1506に戻り、引き続き下に向かって新たな始点Ps(i)との距離と視差値上の制限条件を満たす該始点に対応する終点があるか否かを探す。本例では、最後に探し出した始点Ps(i)との距離と視差値上の制限条件を満たす点を終点としている。
【００７５】
ステップS1507で、始点Ps(i)との距離と視差値上の制限条件を満たす新視差点Ptmpが見つからないと判断した場合、ステップS1509に進む。
【００７６】
ステップS1509では、始点Ps(i)  に対応する終点Pn(i)を探し出せるかどうかを判断する。
【００７７】
ステップS1509でPs(i)  に対応する終点Pn(i)を探し出せないことが決定した場合（ステップS1509内のNO）、ステップS1503に戻り、引き続き最初の行の中で下に向かって（スキャン方向を上から下へと仮定した場合、逆もまた然り）視差点をスキャンして探す。本例では、Ps(i)の終点を探す過程で最後に出会った点から下に向かって引き続き視差点をスキャンして探す。
【００７８】
ステップS1509で、Ps(i)  に対応する終点Pn(i)を探し出せたと判定した場合（ステップS1509内のYES）、ステップS1510に進む。
【００７９】
ステップS1510では、始点と終点間の空白視差点に与える値の充填を行い、与える値はすべてが始点Ps(i)または終点Pn(i)と同一であってもよいし、またはこれらの中間値、例えば平均値であってもよいし、または変化していく数値によってより平滑に連結した視差値としてもよい。本例では、充填中にノイズ除去の処理を行い、例えば充填に用いられることができず、且つ背景になる可能性が所定しきい値より高い視差点を除去し、除去される点は、例えば連結要求を満たしていない点、例えば単独の、または短距離で連続した白線のようなものであり、始点と終点、及びその間の有効点は残される。ステップS1510の後、ステップS1511に進む。
【００８０】
ステップS1511では、終点Pn(i)を新たな始点に設定して、それからステップS1506に戻り、この行で元の方向に沿って引き続き垂直検索を行い、この新たな始点との距離と視差差分制限条件を満たす終点候補となる可能性のある視差点を探す。
【００８１】
このように、すべての行に対してスキャンと可能な充填動作を行うまで続ける。
【００８２】
ｙ-connect処理をより理解するために、以下、図5を組み合わせて１実施例を挙げる。図5の表は１視差画像を表し、その中の数値は各画素点に存在する視差値を表し、y-connect方法を用いて該視差画像に連結処理を行うためのものである。ここでの距離制限条件は12画素以下、4画素以上とし、視差値差制限条件は5とする。前記したようにこの距離設定の違いは、検出すべき物体の要求によって変化するからである。視差画像は垂直方向上で地面の影響を受けるため、視差画像は縦方向に延伸し、地面の変化する視差点が不必要に連結されるのを防ぐため、最小値4以上という制限条件を加える。図5（a）は、例示的な最初の視差画像であり、（b）は例示的な垂直方向の視差充填処理またはy-connect処理後の視差画像である、その中の実線の四角い枠が示す視差値は連結要求を満たす始点を表し、破線の枠が示す視差値は連結要求を満たしていない視差点を表す。
【００８３】
図5を参考にして、例では、y-connect方法は次のように行っている。左上角の二列目の実線の四角の枠が示す視差値を20とする視差点から開始し、これは始点でもあり、システムは垂直方向に下に向かって探し、下側の実線矩形枠が示す視差値を22とする点を探し出す。この点は距離と視差値差の制限条件を満たし、その更なる下には要求を満たす視差点がないため、値を22とする視差点を終点とし、その中の全ての視差値は充填され、充填した値はそれらの隣接点の平均値である。5列目の二つの破線矩形枠が示す視差値を61と24とする視差点は、距離と数値の要求を満たしていない。下から3列目の二つの破線矩形枠が示す視差値を18とする二つの視差点は、距離制限条件を越えているため、連結処理されず、また、このような連結要求を満たしていない最初の視差点はノイズと見なされ、残されない。また、実際の動作では、連結性能を高めるため、視差値の信頼値の設定を増やすことができ、設定方法はx-connectと同じであり、ここでは詳しく述べない。
【００８４】
前記図5は、最初の視差画像上でy-connect連結を行う例を示している。
【００８５】
以下、図6を参考にして、図4（b）のx-connect連結後にy-connect連結を行う結果例である。その中、図6（a）は、図4（b）のx-connect連結後の結果であり、その中の実践枠が示す視差値は連結要求を満たす始点を表し、破線枠が示す視差値は連結要求を満たしていない視差点を表している。図6（b）は、図6（a）に対して例示的なy-connect処理を行った後の結果であり、その中の実践枠が示す視差値は連結要求を満たす始点を表し、破線枠が示す視差値は連結要求を満たしていない視差点を表している。図6（b）からわかるように、結果から連結要求を満たしていないノイズと見なす視差点を取り除き、その中の図6（b）の縦長の破線の四角い枠は、この列内の二つの要求を満たしていない点（例えば：図6（a）内の破線枠で示された61/1と58/1）の存在により、この列全体に高い確率のノイズがあることを表していて、そのため、この列全体を削除する。
【００８６】
なお、本例では、路上の車両を検出する場合に、y-connect処理を行うとき、連結要求を満たしていない最初の視差点をノイズとして除去する。これは例のみに過ぎず、本発明を限定するものではない。検出対象の違いと実践の必要性に応じて、様々なノイズ検出の準則を考え、ノイズの除去を行う。
【００８７】
ここでは、x-connect連結と同じく、視差値の信頼値を追加設定でき、かつ通常、垂直方向上の一行の視差点の充填を行うとき、一つの空白視差点を充填することが可能な始点と終点の対が多いほど、充填する該視差点には比較的高い信頼値が与えられる。
【００８８】
しかし、ここではy-connectはx-connect後に行うため、ここで動作する視差点はすでに事前に連結して信頼値を有しているものである。例示では、y-connect方法内の新たに連結する視差点の信頼値は、最初の信頼値影響を掛け、例えば現在（例えば水平方向）の信頼値をCc(i)とすれば、前の方法で得られる始点と終点の信頼値はそれぞれCs(i)、Cn(i)であり、新規（例えば垂直方向）の信頼値はこの両者の平均値を掛けたもの、Cc(i)×（Cs(i)＋Cn(i)）/2、である。
【００８９】
このようなステップで視差画像全体を動作し、新規視差画像は図8（c）に示すように、多くの垂直の線が繋ぎ合わされ、垂直方向上に視差点を充填している。図8（c）に示すように、車両の主体部の垂直方向上の視差点は強調され、非車両部分、例えば車線では、多くの視差点が除去される。
【００９０】
＜2、疎視差画像に基づく物体検出方法＞
以下、図7を参考にして、本発明の実施例の疎視差画像に基づく物体検出方法を説明する。
【００９１】
図7は本発明の実施例の疎視差画像に基づく物体検出方法2000のフローチャートである。
【００９２】
図7に示すように、ステップS2100では、その中から所定物体が検出される視差画像を取得する。
【００９３】
ステップS2200では、視差画像の水平方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき水平方向上の距離制限条件と視差差分制限条件を決定する。
【００９４】
ステップS2300では、視差画像内の水平方向上の各行に対して、水平方向上の距離制限条件と視差差分制限条件に基づいて、水平方向において充填を行うための始点と終点の対を決定し、水平方向において充填を行うための始点と終点の対に基づいて、水平方向上の始点と終点の間に位置する空白視差点の充填を行う。
【００９５】
ステップS2400では、視差画像の垂直方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき垂直方向上の距離制限条件と視差差分制限条件を決定する。
【００９６】
ステップS2500では、視差画像内の垂直方向上の各列に対して、垂直方向上の距離制限条件と視差差分制限条件に基づいて、垂直方向において充填を行うための始点と終点の対を決定し、垂直方向において充填を行うための始点と終点の対に基づいて、垂直方向上の始点と終点の間に位置する空白視差点の充填を行う。
【００９７】
ステップS2600では、充填処理後の視差画像を分割する。分割方法は、従来の分割方法の中の一つ、例えば、CCA、k-means等でもよい。一例として、CCAに基づく分割方法を使用する。図8（e）は、充填処理後の視差画像を分割した後の効果図であり、その中各矩形の枠は分割結果を表し、その中の最大の矩形枠は最終的な検出結果としての車両を表している。ステップS2600の後、ステップS2700に進む。
【００９８】
ステップS2700では、検出すべき物体の特性に基づいて、分割された領域から物体検出を行う。物体検出方法は、例えば、色、階調度、対称性、物体の寸法位置等に基づく従来の検出方法のいずれかでよい。１例では、車両視差画像の特殊性を考慮して、非常に簡単な寸法フィルターの方法を採用し、幅、高さとアスペクト比が要求を満たすように分割した領域が検出結果として出力される。図8（f）は、視差画像の検出結果のグレースケール画像上で対応する結果であり、その中の最大の矩形枠は最終的な検出結果を表している。
【００９９】
前記ステップS2100〜S2500は図1と組み合わせて説明したステップS1100〜S1500の機能と実現と類似しているため、ここではこれ以上述べない。
【０１００】
本発明の前記実施例の疎視差画像に基づく物体検出方法は、検出すべき物体の水平方向上の特性と垂直方向上の特性から充填基礎となる始点と終点の対の間が満たすべき水平方向上及び垂直方向上の距離制限と視差差分制限を決定し、決定した水平方向上の制限から視差画像に対して水平方向上の視差点の充填を行い、そして決定した垂直方向上の制限から視差画像に対して垂直方向上の視差点の充填を行うことで、物体検出に適した視差点が充填された画像を取得し、視差点を充填した画像上で直接物体検出を行うことに適し、その結果、物体検出の正確性を高めることができる。
【０１０１】
＜3、疎視差画像処理装置＞
以下、図9を参考にして、本発明の１実施例の疎視差画像処理装置の配置例を説明する。
【０１０２】
図9は本発明の実施例の疎視差画像処理装置3000の例示的な配置ブロック図である。
【０１０３】
図9に示すように、疎視差画像処理装置3000は、その中から所定物体が検出される視差画像を取得するための視差画像取得部3100と、充填処理部3200を含む。充填処理部3200は、視差画像の水平方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき水平方向上の距離制限条件と視差差分制限条件を決定する水平方向制限条件決定部3210、視差画像内の水平方向上の各行に対して、水平方向上の距離制限条件と視差差分制限条件に基づいて、水平方向において充填を行うための始点と終点の対を決定し、水平方向において充填を行うための始点と終点の対に基づいて、水平方向上の始点と終点の間に位置する空白視差点の充填を行う水平方向充填部3220、視差画像の垂直方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき垂直方向上の距離制限条件と視差差分制限条件を決定する垂直方向制限条件決定部3230、視差画像内の垂直方向上の各列に対して、垂直方向上の距離制限条件と視差差分制限条件に基づいて、垂直方向において充填を行うための始点と終点の対を決定し、垂直方向において充填を行うための始点と終点の対に基づいて、垂直方向上の始点と終点の間に位置する空白視差点の充填を行う垂直方向充填部3240を含む。
【０１０４】
視差画像取得部3100と水平方向制限条件決定部3210、水平方向充填部3220、垂直方向制限条件決定部3230、垂直方向充填部3240を含む充填処理部3200の機能と実現は図1を組み合わせて説明したステップS1100〜S1500の説明を参照することができるため、ここではその説明は省略する。
【０１０５】
＜4、疎視差画像に基づく物体検出装置＞
以下、図10を参考にして、本発明の実施例の疎視差画像に基づく物体検出装置の例示的な配置を説明する。
【０１０６】
図10は、本発明の実施例の疎視差画像に基づく物体検出装置4000の例示的な配置ブロック図である。
【０１０７】
図10に示すように、物体検出装置4000は、その中から所定物体が検出される視差画像を取得するのに用いる視差画像取得部4100、充填処理部4200、充填後の視差画像を分割する分割部4300、そして、検出すべき物体の特性から分割した領域について物体検出を行う物体検出部4400を含む。充填処理部4200は、視差画像の水平方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき水平方向上の距離制限条件と視差差分制限条件を決定する水平方向制限条件決定部4210、視差画像内の水平方向上の各行に対して、水平方向上の距離制限条件と視差差分制限条件に基づいて、水平方向において充填を行うための始点と終点の対を決定し、水平方向において充填を行うための始点と終点の対に基づいて、水平方向上の始点と終点の間に位置する空白視差点の充填を行う水平方向充填部4220、視差画像の垂直方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき垂直方向上の距離制限条件と視差差分制限条件を決定する垂直方向制限条件決定部4230、そして、視差画像内の垂直方向上の各列に対して、垂直方向上の距離制限条件と視差差分制限条件に基づいて、垂直方向上の充填において充填を行うための始点と終点の対を決定し、垂直方向において充填を行うための始点と終点の対に基づいて、垂直方向上の始点と終点の間に位置する空白視差点の充填を行う垂直方向充填部4240を含む。
【０１０８】
視差画像取得部4100と水平方向制限条件決定部4210、水平方向充填部4220、垂直方向制限条件決定部4230、垂直方向充填部4240を含む充填処理部4200、分割部4300、物体検出部4400の機能と実現は図7を組み合わせて説明したステップS2100〜S2700の説明を参照することができるため、ここではその説明は省略する。
【０１０９】
＜5、システムのハードウェア配置＞
本発明は前記疎視差画像処理方法と物体検出方法を実行可能なシステムで実行する。図11は本発明の実施例の疎視差画像処理/物体検出システム6000のハードウェア配置の概念図である。図11に示すように、疎視差画像処理/物体検出システム6000は、処理対象画像、例えば双眼カメラが撮影した左右画像、ステレオカメラが撮影したステレオ動画等を外部から入力するための、例えばキーボード、マウス、そして通信ネットワークとそれに接続する遠隔入力装置等を含む入力装置6100、前記本発明の実施例の疎視差画像処理方法及び/または物体検出方法を実施し、または前記本発明の実施例の疎視差画像処理装置を実施するための、例えばコンピューターのＣＰＵまたは他の処理能力を有するICチップ等を含み、例えばインターネット等のネットワーク（未表示）に接続して、処理プロセスの必要に応じてネットワークから例えば左右画像等のデータを取得する処理装置6200、前記疎視差画像処理/物体検出を実施して得られた結果を外部に出力するための、例えば、モニター、プリンターおよび通信ネットワークとそれに接続した遠隔出力装置等を含む出力装置6300、そして前記疎視差画像処理/物体検出過程に関する画像、得られた結果、コマンド、中間データ等、例えば視差画像、水平方向上の距離制限条件と視差差分制限条件、垂直向上の距離制限条件と視差差分制限条件、水平充填結果、垂直充填結果、領域分割結果と物体検出結果等を揮発性または非揮発性の方法で保存するための、例えばランダムアクセスメモリー（RAM）、読取り専用メモリー（ROM）、ハードディスク、または半導体メモリー等の各種の揮発性または非揮発性メモリーを含むメモリー装置6400を含む。
【０１１０】
＜6、まとめ＞
前文は、本発明の実施例の検出対象の所定物体の特性に基づく疎視差画像処理方法、装置及び疎視差画像に基づく物体検出方法と装置を説明している。
【０１１１】
本発明の一面においては、検出対象の所定物体の特性に基づく疎視差画像処理方法は、その中から所定物体が検出される視差画像を取得し、視差画像の水平方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき水平方向上の距離制限条件と視差差分制限条件を決定し、視差画像内の水平方向上の各行に対して、水平方向上の距離制限条件と視差差分制限条件に基づいて、水平方向において充填を行うための始点と終点の対を決定し、水平方向において充填を行うための始点と終点の対に基づいて、水平方向上の始点と終点の間に位置する空白視差点の充填を行い、視差画像の垂直方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき垂直方向上の距離制限条件と視差差分制限条件を決定し、そして、視差画像内の垂直方向上の各列に対して、垂直方向上の距離制限条件と視差差分制限条件に基づいて、垂直方向において充填を行うための始点と終点の対を決定し、垂直方向において充填を行うための始点と終点の対に基づいて、垂直方向上の始点と終点の間に位置する空白視差点の充填を行うことを含む。
【０１１２】
疎視差画像に基づく物体検出方法は、その中から所定物体が検出される視差画像を取得し、視差画像の水平方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき水平方向上の距離制限条件と視差差分制限条件を決定し、視差画像内の水平方向上の各行に対して、水平方向上の距離制限条件と視差差分制限条件に基づいて、水平方向において充填を行うための始点と終点の対を決定し、水平方向において充填を行うための始点と終点の対に基づいて、水平方向上の始点と終点の間に位置する空白視差点の充填を行い、視差画像の垂直方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき垂直方向上の距離制限条件と視差差分制限条件を決定し、視差画像内の垂直方向上の各列に対して、垂直方向上の距離制限条件と視差差分制限条件に基づいて、垂直方向において充填を行うための始点と終点の対を決定し、垂直方向において充填を行うための始点と終点の対に基づいて、垂直方向上の始点と終点の間に位置する空白視差点の充填を行い、充填処理後の視差画像を分割し、そして、検出すべき物体の特性に基づいて、分割された領域から物体検出を行うことを含む。
【０１１３】
検出対象の所定物体の特性に基づく疎視差画像処理装置は、その中から所定物体が検出される視差画像を取得する視差画像取得部と、視差画像の水平方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき水平方向上の距離制限条件と視差差分制限条件を決定する水平方向制限条件決定部と、視差画像内の水平方向上の各行に対して、水平方向上の距離制限条件と視差差分制限条件に基づいて、水平方向において充填を行うための始点と終点の対を決定し、水平方向において充填を行うための始点と終点の対に基づいて、水平方向上の始点と終点の間に位置する空白視差点の充填を行う水平方向充填部と、視差画像の垂直方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき垂直方向上の距離制限条件と視差差分制限条件を決定する垂直方向制限条件決定部と、そして、視差画像内の垂直方向上の各列に対して、垂直方向上の距離制限条件と視差差分制限条件に基づいて、垂直方向において充填を行うための始点と終点の対を決定し、垂直方向において充填を行うための始点と終点の対に基づいて、垂直方向上の始点と終点の間に位置する空白視差点の充填を行う垂直方向充填部とを含む。
【０１１４】
疎視差画像に基づく物体検出装置は、その中から所定物体が検出される視差画像を取得する視差画像取得部と、視差画像の水平方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき水平方向上の距離制限条件と視差差分制限条件を決定する水平方向制限条件決定部と、視差画像内の水平方向上の各行に対して、水平方向上の距離制限条件と視差差分制限条件に基づいて、水平方向において充填を行うための始点と終点の対を決定し、水平方向において充填を行うための始点と終点の対に基づいて、水平方向上の始点と終点の間に位置する空白視差点の充填を行う水平方向充填部と、視差画像の垂直方向上の検出すべき物体の特性に基づいて、充填を行うための始点と終点の対が満たすべき垂直方向上の距離制限条件と視差差分制限条件を決定する垂直方向制限条件決定部と、視差画像内の垂直方向上の各列に対して、垂直方向上の距離制限条件と視差差分制限条件に基づいて、垂直方向において充填を行うための始点と終点の対を決定し、垂直方向において充填を行うための始点と終点の対に基づいて、垂直方向上の始点と終点の間に位置する空白視差点の充填を行う垂直方向充填部と、充填処理後の視差画像を分割する分割部と、そして、検出すべき物体の特性に基づいて、分割された領域から物体検出を行う物体検出部とを含む。
【０１１５】
本発明の前記実施例の疎視差画像処理方法、装置及びこのような疎視差画像処理を含む物体検出方法と装置は、検出すべき物体の水平方向上の特性と垂直方向上の特性から充填基礎となる始点と終点の対の間が満たすべき水平方向上及び垂直方向上の距離制限条件と視差差分制限条件を決定し、決定した水平方向上の制限条件から視差画像に対して水平方向上の視差点の充填を行い、そして決定した垂直方向上の制限条件から視差画像に対して垂直方向上の視差点の充填を行うことで、物体検出に適した視差点が充填された画像を取得し、それによって視差点を充填した画像上で直接物体検出を行うのに適する。
【０１１６】
本発明の実施例の説明は例示に過ぎず、当業者は必要に応じて変更、代替または組合せを行うことができる。
【０１１７】
例えば、前文は検出すべき対象として車両を例に、検出対象の所定物体の特性に基づく疎視差画像を充填する処理を説明したが、これは例示に過ぎず、本発明はこれに限るものではなく、検出すべき対象として、例えばガードレール、歩行者等の他の対象に適用することもできる。
【０１１８】
前文では、まず水平方向の充填（即ちx-connect）処理後に垂直方向の充填（即ちy-connect）処理を行うことを例に、疎視差画像の充填処理を説明している。しかし、これは一例に過ぎず、検出すべき対象と視差画像の特性等の実際のニーズに応じて、まずy-connectを行い、それからx-connect処理を行ってもよく、またx-connectとy-connectの繰り返し回数も必要に応じて設定してもよい。
【０１１９】
以上、具体的な実施例と結び付けて本発明の基本原理を説明したが、ここで、当業者であれば、本発明の方法および装置の全部あるいは如何なるステップあるいは部材も理解することができ、如何なるコンピューター（処理器、メモリー媒体等を含む）あるいはコンピューター・ネットワークの中でも、ハードウェア、ファームウェア、ソフトウェアあるいはそれらの組合せによって実現することができ、これは当業者が本発明の説明を閲読のうえ、彼らの基本的なコンピュータープログラミング技能を用いて実現できるものである。
【０１２０】
このため、本発明の目的は如何なるコンピューター上でも1つのあるいは一組のコンピュータープログラムを使うことにより実現できる。前記のコンピューターは汎用の公知の装置でもよい。このため、本発明の目的は前記の方法あるいは装置を実現するプログラムコードを含むプログラム製品を提供するだけで実現する。つまり、このようなプログラム製品も本発明を構成しており、このようなプログラム製品をもつ記憶媒体も本発明を構成している。当然のことながら、前記記憶媒体は公知の如何なる記憶媒体あるいは将来開発される如何なる記憶媒体であってもよい。
【０１２１】
更に指摘すべきことは、本発明の装置と方法においては、当然のことながら、各部または各ステップは分解および/または新たな組み合わせができるということである。これらの分解および/または新たな組み合わせは本発明と同等の効果を有するものと見なすべきである。かつ、前記の一連の処理ステップの実行は当然、説明の順序に従い時間順に行うことができるが、必ずしも時間順に行う必要はない。あるステップは平行してあるいは互いに独立して行うことができる。
【０１２２】
前記の発明を実施するための形態は、本発明の保護範囲の限定となるものではない。設計要求および他の要因によって、いろいろな修正、組合せ、副次的組合せおよび代替が生じ得ることは言うまでもない。本発明の精神および原則を逸脱しない範囲内の、如何なる修正、同等の入替えおよび改善等は、全て本発明の保護範囲に含まれなければならない。
【先行技術文献】
【特許文献】
【０１２３】
【特許文献１】米国特許第7561732号
【非特許文献】
【０１２４】
【非特許文献１】「A  Complete  U-V-Disparity  Study  for  Stereovision  Based  3D  Driving  Environment  Analysis」Proceeding  of  the  Fifth  International  Conference  3-D  Digital  Imaging  and  Modeling  2005、Zhencheng  Hu,  Francisco  Lamosa  and  Keiichi  Uchimura
【図１】
2014216016.tif 000003
【図２】
2014216016.tif 000004
【図４】
2014216016.tif 000005
【図７】
2014216016.tif 000006
【図９】
2014216016.tif 000007
【図１０】
2014216016.tif 000008
【図１１】
2014216016.tif 000009
【図３】
2014216016.tif 000010
【図５】
2014216016.tif 000011
【図６】
2014216016.tif 000012
【図８】
2014216016.tif 000013