(57)【要約】【課題】車両検出方法及び装置を提供する。【解決手段】かかる方法は、グレースケール画像とそれに対応する視差画像を取得し；グレースケール画像から水平エッジと垂直エッジを検出し、二値化処理を行い、二値化した水平エッジ画像と垂直エッジ画像をそれぞれ取得し；水平エッジ画像、垂直エッジ画像及び視差画像を組合せて、各列に対して対称性を計算し、その中で、各列に対して、該列に関連する車両の画像における幅範囲内にある一つ又は複数の第一幅について、水平エッジ画像中のエリア型の対称性、視差画像中の可能な車両の左右垂直エッジの対称性及び垂直エッジ画像に反映される車両の左右垂直エッジの度合いに基づいて該列の該一つ又は複数の第一幅に関する対称性を計算し、該列の対称性を計算し；及び、計算して得た各列の対称性に基づいて車両を検出することを含む。【選択図】図２
2015011713.tif 000002
【特許請求の範囲】
【請求項１】
グレースケール画像とそれに対応する視差画像を取得し、
前記グレースケール画像から水平エッジと垂直エッジを検出し、二値化処理を行い、二値化した水平エッジ画像と垂直エッジ画像をそれぞれ取得し、その中で、二値中の一つがエッジを表し、もう一つが非エッジを表し、
前記水平エッジ画像、前記垂直エッジ画像及び前記視差画像を組合せて、各列に対して対称性を計算し、その中で、各列に対して、該列に関連する車両の画像における幅範囲内にある一つ又は複数の第一幅について、前記水平エッジ画像中のエリア型の対称性、前記視差画像中の可能な車両の左右垂直エッジの対称性及び前記垂直エッジ画像に反映される車両の左右垂直エッジの度合いに基づいて該列の該一つ又は複数の第一幅に関する対称性を計算し、該列の該一つ又は複数の第一幅に関する対称性に基づいて該列の対称性を計算し、及び
計算して得た各列の対称性に基づいて車両を検出することを含む、車両検出方法。
【請求項２】
該列の第一幅に関する対称性を計算することは、
前記水平エッジ画像において、該列を中心とし、前記第一幅をエリア幅として確定したエリア内にて、エッジ画素点数Nを統計し、該列に関する対称のエッジ画素点の個数Sを統計し、前記エッジ画素点数N及び該列に関する対称のエッジ画素点の個数Sに基づいて前記水平エッジ画像中のエリア型の対称性を計算し、
前記垂直エッジ画像において、該列の左右両側に位置し、該列の第一幅の半分の距離にある列を中心とし、第二幅をエリア幅として確定した左右縦縞エリア内において、エッジ画素点数Vを統計し、その中で、前記垂直エッジ画像に反映された車両の左右垂直エッジの度合いを、エッジ画素点数Vに基づいて計算し、
前記視差画像において、該列の左右両側に位置し、該列の第一幅の半分の距離にある列を中心とし、第二幅をエリア幅として確定した左右縦縞エリア内において、該左右縦縞エリア内の該列に関する対称のエッジ画素点数Dを統計し、その中で、前記視差画像中の可能な車両の左右垂直エッジの対称性を、前記対称のエッジ画素点数Dに基づいて計算し、及び
前記水平エッジ画像中のエリア型の対称性、前記垂直エッジ画像中のエッジ画素点数V及び前記視差画像中のエッジ画素点数Dに基づいて、該列の第一幅に関する対称性を計算することを含む、請求項1の車両検出方法。
【請求項３】
下記公式の内の一つに基づいて該列の第一幅に関する対称性を計算し、
【数１】
2015011713.tif 000010
ここで、F(N、S、V、D)は計算して得た該列の対称性とし、Wは該第一幅を表し、W1、W2、W3は加重係数を表し、且つ(0,1)の範囲内の実数とする、請求項2の車両検出方法。
【請求項４】
該列の関連する車両の画像の幅範囲内にある一つ又は複数の第一幅は、
前記視差画像において、該列の代表性視差を確定し、
車両の物理世界における真実の幅範囲、画像を捕らえるのに用いるカメラのパラメータ、及び該列の代表性視差に基づき、前記車両の画像におけるの幅範囲(Wmin,Wmax)を計算し、及び、
前記車両の画像の幅範囲(Wmin,Wmax)内において、前記一つ又は複数の第一幅を確定することにって取得する、請求項1又は2の車両検出方法。
【請求項５】
各列に対して対称性を計算する前に、二値化した水平エッジ画像と垂直エッジ画像にインタラクティブ処理を行い、二値化した水平エッジ画像中にエッジ画素点として保留する、且つ、二値化した垂直エッジ二値画像中に非エッジ画素点として保留することで得られた画像のみを処理後の水平エッジ画像とし、そして、二値化した垂直エッジ画像中にエッジ画素点として保留する、且つ、二値化した水平エッジ画像中に非エッジ画素点として保留することで得られた画像のみを処理後の垂直エッジ画像とすることを含む、請求項1の車両検出方法。
【請求項６】
前記計算して得た各列の対称性に基づき、車両を検出することは、対称軸を位置決定することを含み、前記対称軸を位置決定することは、
連結した対称性エリアを確定し、及び
各連結した対称性エリアの中心を計算し、車両の対称軸とすることを含む、請求項1の車両検出方法。
【請求項７】
前記計算して得た各列の対称性に基づき、車両を検出することは、車両の左右位置を位置決定することをさらに含み、前記車両の左右位置を位置決定することは、
前記垂直エッジ画像において、各位置決定された対称軸に対し、左右の所定の範囲内を捜索し、各列のエッジ画素点の個数を計算し、
前記左右の所定の範囲内のエッジ画素点の個数の左側の最大値と右側の最大値を計算し、及び
左側の最大値のある列を車両の左位置とし、及び右側の最大値のある列を車両の右位置とすることを含む、請求項6の車両検出方法。
【請求項８】
前記計算して得た各列の対称性に基づき、車両を検出することは、車両の底部位置と頂部位置を位置決定することをさらに含み、前記車両の底部位置と頂部位置を位置決定することは、
処理した水平エッジ画像において、位置決定された左右位置の列内に、各行のエッジ画素点の個数に基づいて、下から上にかけて底部位置を捜索し、
前記垂直エッジ画像において捜索した底部位置が左右位置の列と交差する場所の所定の範囲内にエッジが存在するかを検証し、及び視差画像において捜索した底部位置が左右位置の列と交差する場所の所定の範囲内に視差が存在するかどうかを検証することから底部位置を検証し、及び
所定の車両アスペクト比に基づいて頂部位置を得ることを含む、請求項7の車両検出方法。
【請求項９】
前記計算して得た各列の対称性に基づき、車両を検出することは、検出した車両に対して後処理を行うことを含み、前記検出した車両に対して後処理を行うことは、
検出した車両の位置と視差図に基づいて、車両のサイズと位置が所定の規則に合致しない車両をフィルタして取り除き、及び
検出された車両エリアの視差画像の分散が所定のしきい値より小さいかどうかを検証することを含む、請求項8の車両検出方法。
【請求項１０】
グレースケール画像とそれに対応する視差画像を取得するグレースケール画像と視差画像取得部材と、
前記グレースケール画像から水平エッジと垂直エッジを検出し、二値化処理を行い、二値化した水平エッジ画像と垂直エッジ画像をそれぞれ取得し、その中で、二値中の一つがエッジを表し、もう一つが非エッジを表す水平エッジ画像と垂直エッジ画像取得部材と、
前記水平エッジ画像、前記垂直エッジ画像及び前記視差画像を組合せて、各列に対して対称性を計算し、その中で、各列に対して、該列に関連する車両の画像における幅範囲内にある一つ又は複数の第一幅について、前記水平エッジ画像中のエリア型の対称性、前記視差画像中の可能な車両の左右垂直エッジの対称性及び前記垂直エッジ画像に反映される車両の左右垂直エッジの度合いに基づいて該列の該一つ又は複数の第一幅に関する対称性を計算し、該列の該一つ又は複数の第一幅に関する対称性に基づいて該列の対称性を計算する列の対称性計算部材と、
計算して得た各列の対称性に基づいて、車両を検出する車両検出部材と、を含む、車両検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は全体的には画像処理に関するものであり、さらに具体的には、画像処理に基づいて車両検測を行う方法及び装置に関するものである。
【背景技術】
【０００２】
運転支援システムの応用は日に日に普及してきており、このような運転支援システムは一般的に車両上にカメラ設備及び/又はその他のセンサー設備を取り付け、例えばカメラ設備の撮影した画像を分析し、運転者に対して運転に有益な情報を提供するものである。
【０００３】
車両交通事故の統計によれば、運転者が直面する主なプレッシャは他の車両に起因することが明らかになっている。したがって、自律運転支援システムにおいて、ロバスト性、信頼性のある車両検測が重要な課題となる。正確な車両検測は今後の車両識別、車両追跡及び衝突防止等に有利である。
【０００４】
車両の対称性の特性に基づいて画像処理を利用し、車両を検出する技術はすでに開発されている。
【０００５】
DELPHI  TECHNOLOGIES,  Inc.の発明名称「Detection  Method」で、米国特開第2009/0110286A1号では、既知の形状の対称物の検出方法を提案しており、ここでは、対称性を表す値はグラデーションベクトルと一本の線を比較し、得られるものである。
【０００６】
タイトルを「Vehicle  area  detecting  apparatus  and  vehicle  area  determining  method」とする米国特開第6842531B2号においては、車両が存在する確率の高い候補エリア内で車両検出を行い、水平対称評価、分散評価、比較的低いエリアの平均階層評価及びエリア判断ユニットによって車両検出を行う。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、車両検出方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一側面によれば、車両検出方法が提供される。該方法は、グレースケール画像とそれに対応する視差画像を取得し；グレースケール画像から水平エッジと垂直エッジを検出し、二値化処理を行い、二値化した水平エッジ画像と垂直エッジ画像をそれぞれ取得し、その中で、二値中の一つがエッジを表し、もう一つが非エッジを表し；水平エッジ画像、垂直エッジ画像及び視差画像を組合せて、各列に対して対称性を計算し、その中で、各列に対して、該列に関連する車両の画像における幅範囲内にある一つ又は複数の第一幅について、水平エッジ画像中のエリア型の対称性、視差画像中の可能な車両の左右垂直エッジの対称性及び垂直エッジ画像に反映される車両の左右垂直エッジの度合いに基づいて該列の該一つ又は複数の第一幅に関する対称性を計算し、該列の該一つ又は複数の第一幅に関する対称性に基づいて該列の対称性を計算し；及び、計算して得た各列の対称性に基づいて車両を検出することを含む。
【０００９】
本発明の他の側面によれば、車両検出装置が提供される。該装置は、グレースケール画像とそれに対応する視差画像を取得するグレースケール画像と視差画像取得部材；グレースケール画像から水平エッジと垂直エッジを検出し、二値化処理を行い、二値化した水平エッジ画像と垂直エッジ画像をそれぞれ取得し、その中で、二値中の一つがエッジを表し、もう一つが非エッジを表す水平エッジ画像と垂直エッジ画像取得部材；水平エッジ画像、垂直エッジ画像及び視差画像を組合せて、各列に対して対称性を計算し、その中で、各列に対して、該列に関連する車両の画像における幅範囲内にある一つ又は複数の第一幅について、水平エッジ画像中のエリア型の対称性、視差画像中の可能な車両の左右垂直エッジの対称性及び垂直エッジ画像に反映される車両の左右垂直エッジの度合いに基づいて該列の該一つ又は複数の第一幅に関する対称性を計算し、該列の該一つ又は複数の第一幅に関する対称性に基づいて該列の対称性を計算する列の対称性計算部材；及び、計算して得た各列の対称性に基づいて、車両を検出する車両検出部材を含む。
【００１０】
上述の車両検出方法及び装置を利用すれば、各列を対象に該列に関連する幅範囲を確定し、該幅範囲に基づいて列の対称性を確定し、したがって、実際の状況に十分適合させ、さらに精確に車両を検出することが可能である。このほかに、列の対称性を計算するときに、車両の水平エッジ画像、垂直エッジ画像及び視差画像の特性に基づき、水平エッジ画像のエリア型の対称性、視差画像の左右垂直エッジの対称性及び垂直エッジ画像に反映される車両の左右垂直エッジの度合いを総合的に考慮するため、さらに適切に列の対称性を計算し、車両検出に用いることが可能であり、ノイズに対してさらなるロバスト性を有し、さらに精確な検出結果を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例における車両検出システムのシステム構造図の例である。
【図２】本発明の実施例における車両検出システムのブロック図である。
【図３】本発明の実施例における車両検出システムの全体フローチャートである。
【図４】(a)〜(g)は、エッジ検出、二値化処理、インタラクティブ処理による結果の比較例であり、その中で、(a)は最初のグレースケール画像であり、(b)はソーベルオペレータを利用して得られた水平エッジ画像であり、(c)はソーベルオペレータを利用して得られた垂直エッジ画像であり、(d)は二値化した水平エッジ画像であり、(e)は二値化した垂直エッジ画像であり、(f)はインタラクティブ処理した後の二値化した水平エッジ画像であり、(g)はインタラクティブ処理した後の二値化した垂直エッジ画像である。
【図５】(a)はステレオカメラ設置の略図であり、(b)は水平投影画像の中で車両の幅を計算する略図である。
【図６】一つの実施例の列の車両の図像中の幅範囲内のある幅に関する対称性を計算する方法のフローチャートである。
【図７】(a)〜(c)はそれぞれ水平エッジ画像、垂直エッジ画像、視差画像中の関連するデータの統計を示すものである。
【図８】(a)及び(b)は計算した各列の各幅に関する対称性の水平エッジ画像中の表示の略図であり、その中で、(a)において符号1が囲むエリアに対し、符号2が示す対称性の表示を得る。
【図９】図8(b)の対称性の値に対してフィルタリングを行った結果の略図である。
【図１０】本発明の実施例における計算して得た各列の対称性に基づいて車両を検出する例示的な方法のフローチャートである。
【図１１】本発明の実施例における計算して得た各列の対称性に基づいて車両の対称軸を位置決定する方法のフローチャートである。
【図１２】一例における対称軸を位置決定した結果の略図である。
【図１３】本発明の実施例における車両の左右位置を位置決定する方法のフローチャートである。
【図１４】一例における車両の左右位置を位置決定した結果の略図である。
【図１５】本発明の実施例における車両の底部位置と頂部位置を位置決定する方法のフローチャートである。
【図１６】一例における車両の底部位置と頂部位置を位置決定した結果の略図である。
【図１７】後処理後に検出された車両の結果の略図である。
【図１８】車両を検出するのに用いるシステムの構造図である。
【図１９】本発明の実施例における車両検出システムの全体ハードウェアブロック図である。
【発明を実施するための形態】
【００１２】
以下、図面を参考に本発明の好ましい実施方法を詳しく説明する。図面では本発明の好ましい実施方法を示しているが、理解すべきことは、様々な形式で本発明を実現することができ、ここで述べている実施方法に限るものではない。また、これらの実施方法を提供するのは、本発明をより透徹し、完璧にするためであり、また本発明の範囲を完璧に当業者に伝えることができる。
【００１３】
図1は、本発明の実施例における車両検出システムのシステム構造図の例である。該システムの入力はグレースケール画像及びそれに対応する視差画像であり、例えば車両に取り付けた双眼カメラで撮影して得られる。該入力は車両検出装置を経由し、出力は車両検出結果であり、出力の形式は、例えば、ディスプレイ上に検出した物体を出力指示する可視形式、又は、マイク形式で言語として提示するまたはテキスト形式で車両検出結果情報を出力するなど多様な形でよい。
【００１４】
説明すべきことは、図１の中に示すシステム入力はグレースケール画像及びそれに対応する視差画像であるが、当然のことながら入力は例えば双眼カメラの左画像と右画像であってもよく、それから、車両検出システム内部で例えば左画像をグレースケール画像とし、また、左画像と右画像から対応する視差画像を得ることができる。
【００１５】
図2は、本発明の実施例における車両検出装置100のブロッグ図である。
【００１６】
図2に示すように、車両検出装置100は、グレースケール画像とそれに対応する視差画像を取得するグレースケール画像と視差画像取得部材110と；グレースケール画像から水平エッジと垂直エッジを検出し、二値化処理を行い、二値化した水平エッジ画像と垂直エッジ画像をそれぞれ取得し、その中で、二値中の一つがエッジを表し、もう一つが非エッジを表す水平エッジ画像と垂直エッジ画像取得部材120と；水平エッジ画像、垂直エッジ画像及び視差画像を組合せて、各列に対して対称性を計算し、その中で、各列に対して、該列に関連する車両の画像の幅範囲内にある一つ又は複数の第一幅について、水平エッジ画像中のエリア型の対称性、視差画像中の可能な車両の左右垂直エッジの対称性及び垂直エッジ画像に反映される車両の左右垂直エッジの度合いに基づいて該列の該一つ又は複数の第一幅に関する対称性を計算し、該列の該一つ又は複数の第一幅に関する対称性に基づいて該列の対称性を計算する列の対称性計算部材130と；計算して得た各列の対称性に基づいて、車両を検出する車両検出部材140とを含む。
【００１７】
説明すべきことは、前記車両検出装置100の部材はソフトプログラムを用いて実現できることで、例えば汎用コンピュータ内のCPUとRAMとROMなどの組合せで、そしてその中の作動しているソフトコードを通じて実現する。ソフトプログラムは例えばフラッシュメモリ、フロッピー（登録商標）、ハードディスク、光ディスクなどの記録媒体に記録でき、作動時は例えばランダムアクセスメモリRAMにロードしてCPUが実行する。また、汎用コンピュータのほか、特定用途向け集積回路とソフト間の協同を通じて実現できる。前記集積回路はMPU（マイクロプロセッサ）、DSP（デジタルシグナルプロセッサ）、FPGA（フィールドプログラマブルゲートアレイ）、ASIC（特定用途向け集積回路）などの中の少なくとも一つから実現することを含む。カメラが撮影して得た2次元画像及び/または立体画像を分析して対象を検出するため、このような汎用コンピュータまたは特定用途向け集積回路などは例えば車両に搭載でき、さらに例えばカメラのような車両上に取り付けた道路と道路関連対象の画像形成に用いる画像形成設備と通信する。また、車両検出装置100の各部材は例えば特定のフィールドプログラマブルゲートアレイ、特定用途向け集積回路などの専用のハードウェアを用いて実現できる。また車両検出装置100の各部材はソフトウェアとハードウェアの組合せを利用して実現することもできる。
【００１８】
説明すべきことは、図2に示す矢印は二つの部材の機能の間に論理関係があることを表しているだけであり、二つの部材間は直接または間接的に連動連結できる。また、図3の中のある二つの部材の間である方向の矢印連結が未表示であったとしても、これは両者の間に該方向の論理関係が存在しないことを表すものではない。言い換えると、両者の間には相互協力関係が存在する可能性があり、例えば車両検出部材140とグレースケール画像と視差画像取得部材110の間には論理関係が存在し、その中で車両検出部材140はグレースケール画像と視差画像取得部材110が得た視差画像を利用して車両を検出する。
【００１９】
前記各部材の構造と数は本発明の範囲を制限しない。本発明の実施例では、前記グレースケール画像と視差画像取得部材110、水平エッジ画像と垂直エッジ画像取得部材120、列の対称性計算部材130、車両検出部材140は合併して一つの独立した部材にして相応する機能と操作を実行、実現できる。または、前記グレースケール画像と視差画像取得部材110、水平エッジ画像と垂直エッジ画像取得部材120、列の対称性計算部材130、車両検出部材140はさらに小さな部材に分解して各自の機能と操作を実現することもできる。
【００２０】
また、説明すべきことは、図2に示した構造は排他的なものではなく、例えば、車両検出装置100は、例えば車両検出部材140の検出結果を表示するのに用いる表示部材、関連する情報を外部に伝達するのに用いる通信部材などの、その他の部材を含むことができる。
【００２１】
以下、図3を参考に本発明の実施例における車両検出方法200の例を説明する。本発明の実施例では、車両検出方法200の各ステップは図2が示した対応する部材によって実施される。即ち、ステップS210はグレースケール画像と視差画像取得部材110によって執行され、ステップS220は水平エッジ画像と垂直エッジ画像取得部材120によって執行され、ステップS230は列の対称性計算部材130によって執行され、そしてステップS240は車両検出部材140によって執行される。
【００２２】
図3に示すように、ステップS210において、グレースケール画像と対応する視差画像を取得する。
【００２３】
既存のグレースケール画像と対応する視差画像を取得するいずれの方法も本発明に用いることができる。例えば、例えば車載双眼カメラ、多眼カメラ、ステレオカメラからグレースケール画像を撮影し、対応する視差画像を計算して得ることができる。具体的には、例えば、車載双眼カメラを通じて左画像と右画像を撮影し、その中で左画像（または右画像）をこのグレースケール画像とし、左画像と右画像に基づいて視差画像を計算することができる。
【００２４】
ここでは、一実施例では、車両検出装置、または、車両検出装置に合併された設備は車両上に搭載でき、例えば現地の車載カメラからグレースケール画像と視差画像の取得を実現できる。または、別の実施例では、例えば有線ネットワークまたは無線ネットワークを利用して、遠くからグレースケール画像とそれに対応する視差画像を得ることができる。
【００２５】
ステップS210において、グレースケール画像から水平エッジ画像と垂直エッジ画像を検出し、二値化処理を行い、二値化した水平エッジ画像と垂直エッジ画像をそれぞれ得、その中の二つ値の中で一つがエッジを表し、もう一つが非エッジを表す。
【００２６】
このステップは、水平エッジ画像と垂直エッジ画像を得るためのものである。車両は明確な水平エッジと垂直エッジを有するため、水平エッジ画像と垂直エッジ画像を利用し、車両のエッジ特性を水平エッジ画像と垂直エッジ画像中に反映させることが可能である。
【００２７】
一例では、ソーベルオペレータを使用し、グレースケール画像の水平エッジと垂直エッジを取得する。ソーベルオペレータに関する紹介はME  Sobelが1982年にSociological  methodologyにて発表した「A  symptonic  confidence  intervals  for  indirect  effects  in  structural  equation  models」というタイトルの論文を参考することができる。
【００２８】
その後、水平エッジ画像と垂直エッジ画像に対して二値化処理を行い、該二値化処理は、30（グレースケール値）といった一つの固定しきい値、又は、適応しきい値法で行うことが可能であり、適応しきい値法に関しては、N  Otsuが1975年にAutomaticaにて発表した「A  threshold  selection  method  from  gray-level  histograms」というタイトルの論文を参考することができる。
【００２９】
二値化した水平エッジ画像と垂直エッジ画像において、通常は白画素を用いてエッジ画素を表示し、黒画素を用いて非エッジ画素を表示する。しかし、これを推察することが可能であり、黒画素を用いてエッジ画素を表示し、白画素を用いて非エッジ画素を表示すること可能である。ここでは、分かりやすく説明するため、白画素でエッジ画素を表示し、黒画素で非エッジ画素を表示する形式を例として説明する。
【００３０】
好ましくは、一つの例において、二値化した水平エッジ画像と垂直エッジ画像にインタラクティブ処理を行い、二値化した水平エッジ画像中にエッジ画素点として保留する、且つ、二値化した垂直エッジ二値画像中に非エッジ画素点として保留することで得られた画像のみを処理後の水平エッジ画像とし、そして、二値化した垂直エッジ画像中にエッジ画素点として保留する、且つ、二値化した水平エッジ画像中に非エッジ画素点として保留することで得られた画像のみを処理後の垂直エッジ画像とする。言い換えれば、水平エッジ画像において、水平エッジ画像と垂直エッジ画像中、白画素点であるすべての画素点を黒画素点に変換する。垂直エッジ画像において、水平エッジ画像と垂直エッジ画像中、白画素点であるすべての画素点を黒画素点に変換する。インタラクティブ処理する前と比べると、このようなインタラクティブ処理を行って得られた水平エッジ画像及び垂直エッジ画像にはさらに多くの純粋な水平エッジ又は垂直エッジが含まれており、後に行う対称性を計算する等のステップ中に発生するノイズを低減できる。
【００３１】
図4中の(a)〜(g)は、エッジ検出、二値化処理、インタラクティブ処理による結果の比較例である。その中で、(a)は最初のグレースケール画像であり、(b)はソーベルオペレータを利用して得られた水平エッジ画像であり、(c)はソーベルオペレータを利用して得られた垂直エッジ画像であり、(d)は二値化した水平エッジ画像であり、(e)は二値化した垂直エッジ画像であり、(f)はインタラクティブ処理した後の二値化した水平エッジ画像であり、(g)はインタラクティブ処理した後の二値化した垂直エッジ画像である。
【００３２】
図4のインタラクティブ処理を経た後の二値化した水平エッジ画像(f)及びインタラクティブ処理前の二値化した水平エッジ画像(d)から見て取れるのは、インタラクティブ処理により、水平エッジ画像中のグレースケール画像中の傾斜した縦方向に伸びる車線、遠方の樹木のエッジが引き起こした水平エッジファクターが大幅に減少し、後に行う車両検出の対称性を計算する等のステップ中に発生するノイズを低減し、計算の精確性と効率を向上させているということである。
【００３３】
ステップS230において、水平エッジ画像、垂直エッジ画像及び視差画像を組合せで、各列に対して対称性を計算し、その中で、各列に対して、該列に関連する車両の画像の幅範囲内にある一つ又は複数の第一幅について、水平エッジ画像中のエリア型の対称性、視差画像中の左右垂直エッジの対称性及び垂直エッジ画像に反映される車両の左右垂直エッジの度合いに基づいて該列の該一つ又は複数の第一幅に関する対称性を計算し、該列の該一つ又は複数の第一幅に関する対称性に基づいて該列の対称性を計算する。
【００３４】
ステップS230の主な考え方は、以下の二つである。(1)各列に対し、よく見られるこのような一つに固定された車両エリア幅を利用するのではなく、各列に対して該列自身に関連する車両の幅範囲を確定することで、各列を対象にさらに精確に車両を検出できる。これは、撮影された車両と画像を取得したカメラ（例えば、車載カメラ）の間の距離が異なるため、画像中の車両のサイズも異なり、即ち、カメラとの距離が近い車両は画像中でのサイズも比較的大きく、カメラとの距離が遠い車両は画像中でのサイズも比較的小さくなり、したがって、画像中で計算した各列の対称性を車両検出に用いるとき、該列の関連する車両幅範囲を考慮する必要があるからである。(2)一つの列に対し、該列に関連する、画像中の車両の幅範囲内の一つ又は複数の幅を対象に対称性を計算するとき、以下の三つのファクターを考慮する。即ち、水平エッジ画像のエリア型の対称性、視差画像の左右垂直エッジの対称性、垂直エッジ画像に反映される車両の左右垂直エッジの度合いの三つである。その背景思想は、車両の水平エッジ画像のエリア型の対称性は明らかであり、したがって列の対称性の計算における水平エッジ画像の対称性を主とし、同時に、車両の左右エッジの場所が視差画像に反映される垂直エッジの対称性と車両の左右エッジの場所が垂直エッジ画像に反映される垂直エッジ画像の実在する反映度合いを考慮する。これは、発明者が、車両の垂直エッジが水平エッジと明らかに異なるため、二値化した垂直エッジ画像において、車両の左右垂直エッジが不完全である上に、車両の左右エッジの場所が画像中に反映される良好な対称性を確保していないものの、車両本体の左右エッジの実体存在は垂直画像中に対応する垂直エッジの存在を確保可能であることを発見し、これにより発明者が、さらに適切なのは、垂直エッジ画像の左右垂直エッジの反映度合いを考慮することであると認識したためである。
【００３５】
本文において、「エリア型の対称性」とは、一つのエリアで計算された対称性（該エリアに関する中心軸）を示す。「垂直エッジの対称性」とは、ある垂直対称軸について、左右両側の垂直型ナローバーの相互対称の度合いを示す。「垂直エッジの反映度合い」又は「垂直エッジの実在反映度合い」とは、画像中のある一つ又は複数の垂直ナローバーにおいてどれぐらい度合いで、垂直エッジが存在するものと反映されるものであると理解できる。
【００３６】
このほかに、ここでいう「各列」とは画素単位の各列とすることができ、又は、所定の列の間隔の画像の水平方向に沿ってスキャンされる各列とすることができる。また、ユーザーの関心ある画像エリア内の所定の列の間隔に基づいた各列とすることもでき、さらには、可変間隔に基づいて取得した画像の水平方向に沿ってスキャンした各列とすることもできる。
【００３７】
以下、いかにして各列を対象として、該列自身に関連する車両の幅範囲を確定するかについて例を挙げて説明する。
【００３８】
カメラと撮影対象間の距離が既知の状況では、撮影対象の実際の物理的大きさとカメラの画像内の大きさの間には一定の換算関係がある。カメラと撮影対象間の距離は視差が表す。そのため対象の視差及び対象の実際の物理的大きさから、該対象の画像内での大きさを導き出すことができる。
【００３９】
以下、図5(a)と(b)を参考に、導き出す過程をおおまかに説明する。図5の(a)はステレオカメラ設置の略図であり、図5の(b)は水平投影画像の中で車両の幅を計算した略図である。
【００４０】
本分野では公知のように、カメラの設置及び対象とカメラとの距離又はいわゆる深度Zの決定方法については、視差値dは以下の式(1)で計算できる。
【数１】
2015011713.tif 000003
【００４１】
上記公式において、dは視差値で、xlとxrはそれぞれ左画像と右画像の中の対応する画素の水平座標で、fはレンズの長さで、bは基線距離で、Zは対象点P（X,Y,Z）の深度で、図7（a）に示す通りである。
【００４２】
水平投影画像、即ち図5(b)からわかるように、視差画像の中の幅は以下の式（2）で計算できる。
【数２】
2015011713.tif 000004
【００４３】
上記公式において、dは視差で、fはレンズの長さで、bは基線距離で、Zは深度で、Lは車両のリアルな幅で、lは車両の画像内の画素幅である。
【００４４】
以上からわかるように、既知の車両のリアル世界の中の幅から、車両の画像内の画素幅を導き出すことができる。
【００４５】
例では、車両の実際の幅を最大2メートル、最小1メートルと定義でき、視差値が既知のとき、車両の視差画像内の幅範囲は前記式（2）で計算して得られる。
【００４６】
続いて、図6を参考に、いかにして車両を画像中の幅範囲内にある幅に関する列の対称性を計算するかについて、例を交えて詳細に説明する。
【００４７】
図6の示すように、一つの実施例の列の車両の図像中の幅範囲内のある幅に関する対称性を計算する方法230のフローチャートである。該方法230は図3が示すステップS230中に応用することができる。
【００４８】
図6は、該方法の入力が水平エッジ画像、垂直エッジ画像及び視差画像として入力されることを示す。
【００４９】
ステップS231において、検討した列の視差画像中の車両の幅範囲を推算し、後に行う列の該幅に関する対称性の計算のために、ある該幅範囲内のある幅を確定する。
【００５０】
例では、検討する列（以下の文では分かりやすく説明するため、その位置をXcとする)の代表性視差を確定でき、例えば、列の各画素の視差の平均値又は中央値を計算し、該列の代表性視差とすることができ、又は列のある段の区間内の視差の平均値又は中央値を計算し、代表性視差とすることができる。
【００５１】
その後、車両の物理世界における真実の幅範囲、画像を取得したカメラのパラメータ、及び該代表性視差に基づいて、車両の画像中の幅範囲(Wmin,Wmax)を、例えば、上記公式(2)を利用して計算する。
【００５２】
得られた車両の画像中の幅範囲を確定した後、列の該幅範囲内に関するある幅W（請求項中における第一幅がこれに該当する）を、例えば(Wmin＋Wmax)/2の対称性を計算する。
【００５３】
別の例では、一つの列の視差値が極めて疎である場合、意味ある又は代表性を有する視差値を探し出すことは難しく、例えば、簡単に得た図像の全体幅の十分の一をその計算する列に関する対称性の幅とすることができる。
【００５４】
ステップS232において、該幅に関して、水平エッジ画像、垂直エッジ画像及び視差画像の関連するデータを統計する。
【００５５】
以下、図7(a)〜(c)を参考に、水平エッジ画像、垂直エッジ画像及び視差画像中の関連するデータの統計を説明する。図7(a)〜(c)は、それぞれ水平エッジ画像、垂直エッジ画像、視差画像中の関連するデータの統計を示すものである。
【００５６】
一例では、水平エッジ画像において、図7(a)に示すように、列Xcに対し、Xc-W/2からXc＋W/2までの範囲内でエッジ画素数を統計し、エッジ画素を白画素と仮定し、白画素の個数Nを統計し、列Xcに関する対称の白画素の個数Sを統計する。具体的には、二つの画素(X,Y)と(X＋Xc,Y)をいずれも白色とした場合、これら二つの画素はXc軸に関する対称である。
【００５７】
一例では、水平エッジ画像中の列Xcの幅Wに関するエリア型の対称性Symhorizontal(Xc,W)は、以下の公式(3)から推計できる。
【数３】
2015011713.tif 000005
【００５８】
公式(3)は例を示しているにすぎず、その他の公式を利用することも可能である。例えば、簡単に対称の白画素数Sを全白画素数Nで割り、水平エッジ画像中の列Xcの幅Wに関するエリア型の対称性を計算することができる。
【００５９】
一例では、垂直エッジ画像において、垂直エッジ画像中に反映される可能な車両の左右垂直エッジの度合いを計算するため、該列Xcの左右両側に位置し、該列Xcの第一幅の半分の場所にある列を中心とし、第二幅をエリア幅として確定した左右縦縞エリア内において統計を行い、エッジ画素数Vを統計し、その中で、垂直エッジ画像中に反映された車両の左右垂直エッジの度合いをエッジ画素数Vに基づいて反映する。
【００６０】
具体的には、図7(b)に示すように、列Xcの左右両側に、それぞれ列Xc-W/2とXc＋W/2を中心とし、二つのナロー縦縞エリアを得る。例えば、五つの画素幅（即ち第二幅W2）のバーテティカルバーエリアとする。該第二幅W2の白画素数Vを統計する。一例では、該白画素数V又はその正規化した値から、該縦縞エリアの位置する場所に一つの垂直エッジ（可能な車両の垂直エッジに対応する）が存在する可能性を表示する。
【００６１】
例えば、一例では、垂直エッジ画像の該縦縞エリアの位置する場所に一つの垂直エッジ（可能な車両の垂直エッジがこれに対応する）が存在する可能性P(vertical)は下記公式(4)で表される。
【数４】
2015011713.tif 000006
【００６２】
一例では、視差画像において、垂直エッジ画像中に可能な車両の対称の左右垂直エッジの度合いを反映する（又は、その存在を示す）ために、該列Xcの左右両側に位置する、該列Xcの第一幅の半分の場所にある列を中心とし、第二幅をエリア幅として確定した左右縦縞エリア内で、該左右縦縞エリア中の該列Xcに関する対称のエッジ画素数Dを統計し、その中で、視差画像中の可能な車両の左右垂直エッジの対称性を、対称のエッジ画素数Dに基づいて計算する。
【００６３】
具体的には、図7(c)に示すように、列Xcの左右両側において、それぞれ列Xc-W/2とXc＋W/2を中心とし、二つのナロー縦縞エリアを得、例えば、五つの画素幅（即ち、第二幅）の縦縞エリアとする。該左右縦縞エリアの該列Xcに関する対称の白画素数Dを統計する。一例では、該白画素数D又はその正規化した値（例えば、D/W）から、該左右縦縞エリアの位置する場所に列Xcに関する左右垂直エッジ（可能な車両の対称の左右垂直エッジに対応する）が存在する可能性を表す。
【００６４】
例えば、一例では、視差画像中において、該左右縦縞エリアの位置する場所に、列Xcに関する対称の左右垂直エッジ（可能な車両の対称の左右垂直エッジがこれに対応する）が存在する可能性P(d)は、下記の公式(5)で表される
【数５】
2015011713.tif 000007
【００６５】
先に説明した中で、第二幅を例に挙げ、五つの画素幅としたが、これは例を示したにすぎず、必要に応じて異なる画素幅をとることも可能である。このほかに、先に説明した中で、視差画像及び垂直エッジ画像中の縦縞エリアの幅即ち第二幅は同じものとしたが、本発明はこれに限らず、視差画像中の縦縞エリアの幅及び垂直エッジ画像中の縦縞エリアの幅は、互いに異なっていてもよい。
【００６６】
図6に戻り、ステップS223において、列Xcの幅Wに関する対称性を計算する。
【００６７】
前記ステップS232で統計した関連するデータ、即ち水平エッジ画像において統計し、得られた幅Wに関連するエリア内の白画素の個数Nと列Xcの関する対称の点の個数S、垂直エッジ画像中のエッジ画素数V及び視差画像中の対称のエッジ画素数Dに基づき、列Xcの関連する幅Wの対称性Symmetry(Xc,W)を計算する。これは下記公式(6)で表される。
【数６】
2015011713.tif 000008
【００６８】
その中で、F(N,S,V,D)は様々な形式をとり、以下の公式(7)又は(8)で表される。
【数７】
2015011713.tif 000009
【００６９】
上記公式(8)のW1、W2及びW3は加重ファクターであり、且つ(0,1)の範囲内で実数となり、その値は経験に基づいて又は学習を通して確定する。
【００７０】
上記公式(7)と(8)のWは第一幅であり、公式(7)、(8)では主に正規化ファクターの作用を果たす。さらに、これはその他の数値を用いて代替することも可能である。
【００７１】
説明すべきことは、上記公式(7)、(8)は列のある幅に関する対称性を計算する公式の一例にすぎず、必要に応じてその他のS、V、Dに関する単調逓増、Nに関する単調低減といったあらゆる関数形式を採用することが可能であるという点である。
【００７２】
また、説明すべきことは、前記列のある幅に関する対称性を計算する例において、直接統計データ、即ち水平エッジ画像の中で統計して得られた幅Wの関連するエリア内の白画素点の個数N、そして、列Xcに関する対称の点の個数S、垂直エッジ画像内のエッジ画素点数V及び視差画像内の対称エッジ画素数点Dから対称性を計算する。しかし、これは例にすぎず、当然のことながら、例えば前記公式(3)、(4)、(5)をそれぞれ利用し、水平エッジ画像の中で統計して得られた幅Wの関連エリア内の白画素点の個数N及び列Xcに関する対称の点の個数Sに基づいて水平エッジ画像中の列Xcの幅Wに関するエリア型の対称性Symmetry(Xc,W)を計算して得られ、そして、垂直エッジ画像の中で統計して得られた該白画素点数Vに基づいて、該縦縞エリアの位置する場所に垂直エッジ（可能な車両の垂直エッジに対応する）が存在する可能性P(verical)を計算し、そして、視差画像の中で統計して得られた該列Xcに関する対称の白画素点数Dに基づいて、該左右縦縞エリアの位置する場所に対称の垂直エッジ（可能な車両の対称の左右垂直エッジに対応する）が存在する可能性P(d)を計算し、その後、水平エッジ画像の中で列Xcの幅Wに関するエリア型の対称性Symmetry(Xc,W)、垂直エッジ画像の中で垂直エッジが存在する可能性P(verical)、視差画像の中で対称の垂直エッジが存在する可能性P(d)に基づいて、最後の列Xcの幅Wに関する対称性を計算する。
【００７３】
図6に戻り、ステップS233で列のある幅に関する対称性を計算して得た後に、該列の幅に関連する対称性を出力できる。
【００７４】
以上、ある列のある幅に関する対称性を計算して得た場合、その中で、該幅が該列と関連する車両の幅範囲に落とし込むことを説明した。これに類似し、該列と関連する車両の幅範囲にある多くの幅に対して、列の各幅に関する対称性をそれぞれ計算できる。例えば、所定の幅の間隔に基づいて、列の最小幅Wminから最大幅Wmaxまでの関連する各幅の対称性を計算できる。
【００７５】
図8の(a)と(b)は、計算した各列の各幅に関する対称性の水平エッジ画像中の表示の略図である。その中で、図8の(a)において符号1が囲むエリアに対し、符号2が示す対称性の表示を得、その中で、該対称性の表示の中の各点(Xc,W)のXc座標が示すのは列Xcの対称性であり、該点の垂直座標Wは関連する幅（第一幅）を示し、該点のグレースケール値は該列Xcの該幅Wに関連する対称性の値を示し、その中で、該点が明るいほど対称性が高いことを示す。図8の(b)は図8の(a)の対称性の結果エリアを拡大したものである。
【００７６】
一例では、列の各幅に関する対称性の値に対してフィルタリング処理を行うことができる。例えば、一つの固定しきい値を採用し、列の各幅に関する対称性の値が該しきい値よりも小さい場合、列の各幅に関する対称性の値は0と設定される。車両の対称性がその他の物体より大きいことから、該フィルタリング処理は対称性の弱い列を取り除く、対称性の強い、車両とすることがさらに可能ないくつかの列のみを保留することができる。図9は図8の（b）の対称性の値にフィルタリングを行った結果の略図である。
【００７７】
「列の対称性」として、該列の車両を幅範囲にあるある幅に関する対称性を用いて表示又は該列の車両を幅範囲にある複数の幅に関する対称性の平均値又は中央値を用いて表示することができる。別の視点から見ると、列の対称性は該列が車両の対称軸となる可能性を表すものと見なすことができ、これにより、後に行う例えば計算して得た列の対称性に基づいて車両の対称軸を位置決定し、車両を検出することができるようになる。
【００７８】
例えば、水平エッジ画像、垂直エッジ画像及び視差画像に対して左側から右側にかけてスキャンを行うことで、図6に示した列の対称性の計算方法に基づいて、各列の対称性を計算し、得ることができる。
【００７９】
図3に戻り、ステップS230において、各列の対称性を得た後に、ステップS240へ進む。
【００８０】
ステップ240において、計算して得た各列の対称性に基づいて、車両を検出する。
【００８１】
以下、図10を参考に、本発明の実施例における計算し得た各列の対称性に基づいて車両を検出する例示的な方法を説明する。
【００８２】
図10の示すように、該方法は処理後のエッジ画像、視差画像及び計算した各列の対称性を入力し、対称性の値が比較的弱い列を排除し、対称性が比較的強く、車両の対称軸となる可能性を持つ列のみを保留するため、好適な該計算した各列の対称性の値に前記フィルタリング処理を行う。
【００８３】
ステップS241において、計算して得られた各列の対称性に基づいて、車両の対称軸の位置を決定する。
【００８４】
以下、図11を参考に、本発明の実施例における計算して得た各列の対称性に基づいて車両の対称軸を位置決定する方法241の例を説明する。該方法241は計算して得た各列の対称性を入力とする。
【００８５】
図11に示すように、ステップS2411で計算して得た各列の対称性に基づいて、連結する対称性エリアを検出し、連結する対称性エリアは連続する列の対称性の値がすべて一定のしきい値よりも大きいエリアであると定義する。例えば、左側から右側にかけて連続した対称列を捜索することで、連結する対称エリアを得ることができる。
【００８６】
その後、ステップS2412で各連結する対称性エリアの中心列を計算し、位置決定した対称軸として出力する。
【００８７】
図12は一例の対称軸の位置決定を行った結果の略図であり、その中で、符号1が示す縦線は、位置決定した対称軸の位置を表す。位置決定した対称軸の位置は、車両が存在する中心列（中心軸）である可能性がある位置として認識される。
【００８８】
図10に戻り、続いて、ステップS242で車両の左右の位置を位置決定する。
【００８９】
以下、図13を参考に、本発明の実施例における車両の左右の位置を位置決定する方法242の例を説明する。
【００９０】
図13に示すように、該方法の入力は垂直エッジ画像及び位置決定した車両の対称軸の位置である。
【００９１】
ステップS2421では、垂直エッジ画像において、各位置決定された対称軸に対し、左右の所定の範囲内を捜索し、各列のエッジ画素点の個数を計算する。
【００９２】
ステップS2422では、左右の所定の範囲内のエッジ画素点の個数の左側の最大値と右側の最大値を計算する。
【００９３】
ステップS2423では、左側の最大値のある列を車両の左位置とし、及び右側の最大値のある列を車両の右位置とする。これによって左右位置が決定され、出力される。
【００９４】
図14は、一例の車両の左右位置を決定した結果の略図であり、その中で、符号1は位置決定した車両の対称軸を示し、符号2は位置決定した車両の左右位置を示す。位置決定された左右位置は存在する可能性がある車両の左右の境界として認識される。
【００９５】
図10に戻り、続いて、ステップS243で車両の底部位置及び頂部位置を位置決定する。
【００９６】
以下、図15を参考に、本発明の実施例における車両の底部位置及び頂部位置を決定する方法243の例を説明する。
【００９７】
図15に示すように、該方法の入力は水平エッジ画像及び位置決定した車両の左右位置である。
【００９８】
ステップS2431では、処理された水平エッジ画像において、位置決定した左右位置の列内で、下から上にかけて各行の白画素点の個数を統計し、白画素点の個数が一定のしきい値よりも大きい場合、該位置を暫定的な車両の底部位置として認識する。
【００９９】
ステップS2432では、該底部位置を検証する。例えば、一例では、垂直エッジ画像において捜索した底部位置が左右位置の列と交差する場所の所定の範囲内にエッジが存在するかを検証し、及び視差画像において捜索した底部位置が左右位置の列と交差する場所の所定の範囲内に視差が存在するかどうかを検証することから底部位置を検証する。垂直エッジ画像中にエッジが存在する、そして、視差画像中に視差が存在する場合、検証は成功であり、ステップS2433へ進む。垂直エッジ画像中にエッジが存在せず、そして、視差画像中に視差が存在しない場合、検証は失敗であり、ステップS2431にジャンプする。
【０１００】
ステップS2433において、所定の車両のアスペクト比に基づいて頂部位置を得る。例では、車両のアスペクト比を1と設定する。これは例にすぎず、制限されるものではなく、車両の違いに基づいて一つ又は複数の異なるアスペクト比を設定することができる。
【０１０１】
前記車両の底部位置と頂部位置の位置決定方法は、得られた底部位置と頂部位置を出力する。
【０１０２】
図16は、車両の底部位置と頂部位置を決定した結果の略図である。その中で、符号1は、位置決定した車両の対称軸を示し、符号2は位置決定した車両の左右位置を示し、符号3は位置決定した車両の底部位置と頂部位置を示す。位置決定した底部位置と頂部位置は、車両の底部と頂部の境界が存在する可能性があると認識される。
【０１０３】
図10に戻り、ステップS243において、車両の底部位置と頂部位置を位置決定した後に、検出された車両の結果を出力し、その後車両検出処理を終了することができる。
【０１０４】
説明すべきことは、先に説明した車両の対称軸、車両の左右位置、車両の底部位置と頂部位置の位置決定方法は、例にすぎず、その他の方式又はその他の方法と本例の方法を組み合わせて、車両対称軸、車両の左右位置、車両の底部と頂部位置の位置決定に応用することが可能であり、又は、その他の手段を補佐すること、例えばグレースケール画像の特性といったその他の特性を借用し、対称軸等の識別を行うことも可能である。また、実施例では、対称軸の位置決定、車両の左右位置の位置決定、底部と頂部位置の位置決定は、相互に参考及び検証にすることが可能であり、例えば、対称軸を暫定的に位置決定した後、位置決定した対称軸に対し、適当な車両の左右位置及び/又は底部と頂部位置を探し出すことが難しいことが発見された場合、この対称軸を破棄又はこの対称軸の付近にさらに適切な対称軸が存在するか探し出す。または、一例では、車両の位置決定過程中において、車両のその他の特性を組み合わせて位置決定を行うことが可能である。例えば、左右位置の位置決定を行ったとき、位置決定した左右位置が、車両の幅範囲内に落とし込まれているかを確かめる。
【０１０５】
説明すべきことは、例では、車両の検出は、検出した車両に対して後処理を行うことを含める。例えば、後処理は、検出した車両位置と視差画像に基づいて、車両のサイズと位置が所定の規則に合致しない車両をフィルタし、排除することができ、例えば、車両のある位置の視差から、車両の左右幅範囲及び上下高度範囲を導き出し、検出した車両の幅が該幅範囲に落とし込まれていないことを発見した場合又は検出した車両の高度が該高度範囲に落とし込まれていないことを発見した場合、該車両を検出結果から取り除くことができる。また、後処理は、検出した車両エリアの視差画像内の分散（variance）が所定の基準に合致するかを検証することを含めることもできる。通常、視差画像の車両エリア中の視差は互いに近しくなければならず、大きな分散を持つものではない。
【０１０６】
図17は前記後処理を経た後の検出した車両の結果の略図であり、その中の四角い枠は検出した車両を示す。
【０１０７】
前記本発明の実施例における車両検出方法を利用し、各列に対して該列の関連する幅範囲を確定し、該幅範囲に基づいて列の対称性を確定することにより、実際の状況に十分適合し、さらに精確に車両を検出することが可能である。このほかに、列の対称性を計算するとき、車両の水平エッジ画像、垂直エッジ画像及び視差画像中の特性に基づいて、水平エッジ画像のエリア型の対称性、視差画像の左右垂直エッジの対称性及び垂直エッジ画像に反映された車両の左右垂直エッジの度合いを総合的に考慮し、適切に列の対称性を計算し、車両検出に用いることが十分可能であり、ノイズに対してさらなるロバスト性を有する。したがって、さらに精確な検出結果を得ることができる。
【０１０８】
本発明は車両を検出するのに用いるシステムで実施することができる。図18は車両を検出するのに用いるシステム300の構造図である。該システム300は、対象の現像を行う現像設備310、例えば単眼カメラ、双眼カメラ、多眼カメラ等を車両上に取り付け、使用することを含めることも可能である。車両検出装置320は、現像設備310が現像した画像に対して分析を行うことで、車両を検出する。該車両検出装置320は、例えば、図3で示した車両検出装置の配置を利用して実現することが可能である。
【０１０９】
本発明は、車両を検出するのに用いるハードウェアシステムを通じて実施することができる。図19は本発明の実施例における車両検出システム400の全体ハードウェアブロック図である。図19に示すように、車両検出システム400は、例えばグレースケール画像、視差画像、カメラの設置情報などの関連情報を外部から入力するのに用い、例えばキーボード、マウス、そして通信ネットワークとそれに接続した遠隔入力設備等々を含むことができる入力設備410、前記本発明の実施例における車両検出方法を実施し、または前記車両検出装置を実施するのに用いる、例えばコンピュータの中央演算処理器または他の処理能力を有するICチップ等々を含みことができ、例えばインターネット等のネットワーク（図示せず）と結んで、処理プロセスの必要により遠方に処理後の結果を伝送する等々ができる処理設備420、前記車両検出過程で得られた結果を外部に出力するのに用い、例えば、モニター、プリンター、および通信ネットワークとそれに接続した遠隔出力設備等々を含むことができる出力設備430、そして、前記車両検出過程に関係する例えば水平エッジ画像、垂直エッジ画像、対称性の値、車両の左右位置、水平エッジ画像中のエリア型の対称性と視差画像中の左右垂直エッジの対称性及び垂直エッジ画像に反映される車両の左右垂直エッジの度合いなどのデータを揮発性または非揮発性の方法で保存するのに用い、さらに適切に列の対称性を計算し、車両検出に用いることが可能であり、ノイズに対してさらなるロバスト性を有し、さらに精確な検出結果を得ることができるメモリー設備440を含む。
【０１１０】
〈総括〉
本発明の実施例では、グレースケール画像とそれに対応する視差画像を取得し；グレースケール画像から水平エッジと垂直エッジを検出し、二値化処理を行い、二値化した水平エッジ画像と垂直エッジ画像をそれぞれ得、その中で、二値中の一つがエッジを表し、もう一つが非エッジを表し；水平エッジ画像、垂直エッジ画像及び視差画像を組合せて、各列に対して対称性を計算し、その中で、各列に対して、該列に関連する車両の画像の幅範囲内にある一つ又は複数の第一幅について、水平エッジ画像中のエリア型の対称性、視差画像中の可能な車両の左右垂直エッジの対称性及び垂直エッジ画像に反映される車両の左右垂直エッジの度合いに基づいて該列の該一つ又は複数の第一幅に関する対称性を計算し、該列の該一つ又は複数の第一幅に関する対称性に基づいて該列の対称性を計算し；そして、計算して得た各列の対称性に基づいて車両を検出することを含む車両検出方法を提供する。
【０１１１】
本発明の実施例では、グレースケール画像とそれに対応する視差画像を取得するグレースケール画像と視差画像取得部材と；グレースケール画像から水平エッジと垂直エッジを検出し、二値化処理を行い、二値化した水平エッジ画像と垂直エッジ画像をそれぞれ得、その中で、二値中の一つがエッジを表し、もう一つが非エッジを表す水平エッジ画像と垂直エッジ画像取得部材と；水平エッジ画像、垂直エッジ画像及び視差画像を組合せて、各列に対して対称性を計算し、その中で、各列に対して、該列に関連する車両の画像の幅範囲内にある一つ又は複数の第一幅について、水平エッジ画像中のエリア型の対称性、視差画像中の可能な車両の左右垂直エッジの対称性及び垂直エッジ画像に反映される車両の左右垂直エッジの度合いに基づいて該列の該一つ又は複数の第一幅に関する対称性を計算し、該列の該一つ又は複数の第一幅に関する対称性に基づいて該列の対称性を計算する列の対称性計算部材と；そして、計算して得た各列の対称性に基づいて、車両を検出する車両検出部材と、を含む車両を検出する車両検出装置を提供する。
【０１１２】
本発明の実施例に基づいた車両検出方法及び装置を利用すれば、各列を対象に該列に関連する幅範囲を確定し、該幅範囲に基づいて列の対称性を確定し、したがって、実際の状況に十分適合させ、さらに精確に車両を検出することが可能である。このほかに、列の対称性を計算するときに、車両の水平エッジ画像、垂直エッジ画像及び視差画像の特性に基づき、水平エッジ画像のエリア型の対称性、視差画像の左右垂直エッジの対称性及び垂直エッジ画像に反映される車両の左右垂直エッジの度合いを総合的に考慮するため、さらに適切に列の対称性を計算し、車両検出に用いることが可能であり、ノイズに対してさらなるロバスト性を有し、さらに精確な検出結果を得ることができる。
【０１１３】
前記説明は説明的なものに過ぎず、多くの修正及び/または代替を行うことができる。
【０１１４】
例えば、前文の説明では、カメラは車両に取り付けていると説明されているが、これは例に過ぎず、本発明を制限するものではなく、カメラは如何なる位置に設置してもよく、例えば、道路両側の電柱に設置する等が可能である。グレースケール画像と対応する視差画像を得ることができさえすれば、本発明を応用して車両を検出できる。
【０１１５】
また、前文の説明では、列のある幅に関連する対称性を計算するとき、画像の上から下までの全ての画素を対象に行うことでありが、例えば、まず連結するエリアを確定し、それから該連結するエリアについて、各列のある幅に関する対称性をスキャンして確定することも可能である。
【０１１６】
また、前文の説明では、列のある幅に関する対称性を計算するとき、水平エッジ画像のエリア型の対称性、視差画像の可能な車両の左右垂直エッジの対称性及び垂直エッジ画像に反映される車両の左右垂直エッジの度合いを考えたが、例えば、視差画像中の車両の左右垂直エッジに存在する可能性を視差画像の左右垂直エッジの対称性の代替として用いることも可能である。このほかにも、垂直エッジ画像の左右垂直エッジの対称性を垂直エッジ画像の左右垂直エッジが存在する度合いの代替として用いることも可能である。又は、列のある幅に関する対称性を計算するとき、水平エッジ画像中のエリア型の対称性、視差画像の可能な車両の左右垂直エッジの対称性及び垂直エッジ画像中に反映される車両の左右垂直エッジの度合いを考える以外に、視差画像の車両の左右垂直エッジが存在する可能性及び/又は視差画像の可能な車両の左右垂直エッジの対称性を考えることも可能である。
【０１１７】
また、前文の説明では、車両検出を例として説明を行ってきたが、本発明は、実際には垂直軸に関して左右対称性を反映するいかなる物体の検出に応用可能である。
【０１１８】
以上、具体的な実施例と結び付けて本発明の基本原理を説明したが、指摘する必要があることは、当業者であれば、本発明の方法および装置の全部あるいは如何なるステップあるいは部材も理解することができ、如何なるコンピュータ（処理器、メモリー媒体等を含む）あるいはコンピュータ・ネットワークの中でも、ハードウェア、ファームウェア、ソフトウェアあるいはそれらの組合せによって実現できることであり、これは当業者が本発明の説明を読んだ状況においては彼らの基本的なコンピュータプログラミング技能を用いて実現できることである。
【０１１９】
このため、本発明の目的は如何なるコンピュータ上でも1つのあるいは一組のコンピュータプログラムを使うことにより実現できる。前記のコンピュータは通用している公知の装置でよい。このため、本発明の目的は前記の方法あるいは装置を実現するプログラムコードを含むプログラム製品を提供するだけで実現する。つまり、このようなプログラム製品も本発明を構成しており、このようなプログラム製品をもつ記憶媒体も本発明を構成している。当然のことながら、前記記憶媒体は公知の如何なる記憶媒体あるいは将来開発される如何なる記憶媒体であってもよい。
【０１２０】
更に指摘すべきことは、本発明の装置と方法においては、当然のことながら、各部材あるいは各ステップは分解および/または新たな組み合わせができることである。これらの分解および/または新たな組み合わせは本発明と同等の効果を有する方案と見做されるべきである。またステップ間に論理上の前後依存関係が存在しなければ、必ずしも時間順に行う必要はなく、実行する前後の順序を調整することができ、または例えば調達使用に応じて実行できる。
【０１２１】
前記の発明を実施するための形態は、本発明の保護範囲の制限となるものではない。当業者にとって明白なことは、設計要求および他の要因によって、色々な修正、組合せ、副次的組合せおよび代替が生じ得ることである。本発明の精神および原則中の如何なる修正、同等の入替えおよび改善等は、全て本発明の保護範囲に含まれなければならない。
【図１】
2015011713.tif 000011
【図２】
2015011713.tif 000012
【図３】
2015011713.tif 000013
【図５】
2015011713.tif 000014
【図６】
2015011713.tif 000015
【図１０】
2015011713.tif 000016
【図１１】
2015011713.tif 000017
【図１３】
2015011713.tif 000018
【図１５】
2015011713.tif 000019
【図１８】
2015011713.tif 000020
【図１９】
2015011713.tif 000021
【図４】
2015011713.tif 000022
【図７】
2015011713.tif 000023
【図８】
2015011713.tif 000024
【図９】
2015011713.tif 000025
【図１２】
2015011713.tif 000026
【図１４】
2015011713.tif 000027
【図１６】
2015011713.tif 000028
【図１７】
2015011713.tif 000029