(57)【要約】【課題】測距対象までの測距結果の精度を高めることが可能な補正機能を備えている、車両用画像認識装置を提供すること。【解決手段】車両周辺の画像を出力する撮像手段（単眼カメラ１１）と、測距対象の前記画像上の縦方向位置を前記画像から実測することによって、前記測距対象までの距離を計測する計測手段（立体物抽出部１５，距離補正部１６）とを備え、前記計測手段は、前記測距対象までの距離を計測する方法とは別の方法で距離が測定された道路標示の前記画像上の縦方向位置によって、前記測距対象までの距離の補正をする、車両用画像認識装置。【選択図】図１
2012159470.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺の画像を出力する撮像手段と、
測距対象の前記画像上の縦方向位置を前記画像から実測することによって、前記測距対象までの距離を計測する計測手段とを備え、
前記計測手段は、
前記測距対象までの距離を計測する方法とは別の方法で距離が測定された道路標示によって、前記測距対象までの距離の補正をする、車両用画像認識装置。
【請求項２】
前記計測手段は、前記道路標示の前記画像上の縦方向位置を、前記補正に用いる、請求項１に記載の車両用画像認識装置。
【請求項３】
前記計測手段は、前記別の方法で測定された前記道路標示までの距離に前記画像上で対応する縦方向位置と、前記道路標示の前記画像上で実測された縦方向位置との差分を、前記補正に用いる、請求項２に記載の車両用画像認識装置。
【請求項４】
前記測距対象の前記画像上で実測された縦方向位置を表す縦座標をＹｐ，前記差分をΔＹ，前記画像の消失点の縦座標をＹｖ，前記撮像手段の上下方向の角度分解能をＱ，前記撮像手段の取り付けた高さをＨｃ，前記測距対象までの距離をＤｐとすると、
前記計測手段は、
Ｄｐ＝Ｈｃ／（tan（Ｙｐ＋ΔＹ−Ｙｖ）×Ｑ）
に基づいて、前記測距対象までの距離を算出する、請求項３に記載の車両用画像認識装置。
【請求項５】
前記別の方法は、前記道路標示の所定部位の大きさの規格値と前記所定部位の前記画像上の大きさの検出値とを用いて、前記道路標示までの距離を算出するものである、請求項１から４のいずれか一項に記載の車両用画像認識装置。
【請求項６】
前記別の方法は、前記道路標示の所定部位の前記画像上の横幅の検出値を用いて、前記道路標示までの距離を算出するものである、請求項１から５のいずれか一項に記載の車両用画像認識装置。
【請求項７】
前記道路標示は、横断歩道又は菱形マークである、請求項１から６のいずれか一項に記載の車両用画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺の画像を出力する撮像手段と、測距対象の前記画像上の縦方向位置を前記画像から実測することによって、前記測距対象までの距離を計測する計測手段とを備える、車両用画像認識装置に関する。
【背景技術】
【０００２】
従来技術として、二次元画像において、視点からの距離が既知である基準点を基準とした照度差に基づいて、視点から非基準点までの距離を求めることにより、立体情報を取得する技術が知られている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２２７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、実交通環境において測距対象までの距離を測定するためには、何らかの補正をすることによって、その測定値を変動させうる撮像手段側の要因を効率的に取り除く必要がある。
【０００５】
例えば、測距対象の撮像画像上の縦方向位置から測距対象までの距離を計測する場合、車両のピッチングや車両姿勢の変化などによる車両のピッチ変動によって、計測値に誤差が含まれてしまう。
【０００６】
そこで、本発明は、測距結果の精度を高める補正機能を備えた、車両用画像認識装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る車両用画像認識装置は、
車両周辺の画像を出力する撮像手段と、
測距対象の前記画像上の縦方向位置を前記画像から実測することによって、前記測距対象までの距離を計測する計測手段とを備え、
前記計測手段は、
前記測距対象までの距離を計測する方法とは別の方法で距離が測定された道路標示によって、前記測距対象までの距離の補正をする、ことを特徴とするものである。
【発明の効果】
【０００８】
本発明によれば、測距結果の精度を高める補正ができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態である車両用画像認識装置１の構成を示したブロック図である。
【図２】単眼カメラ１１によって得られた自車両の進行方向の撮像画像２１を示した図である。
【図３】道路標示である横断歩道までの距離を算出するまでの処理例を示したフローチャートである。
【図４】図２の撮像画像２１上の横断歩道２５を説明するための図である。
【図５】撮像画像２１上でピクセル幅ａを有する横断歩道２５までの距離Ｌを示した図である。
【図６】一般道路環境下の実シーンにおける横断歩道までの距離の算出結果である。
【図７】測距対象である歩行者までの距離を算出するまでの処理例を示したフローチャートである。
【図８】距離Ｌのときの、カメラ１１の取り付け高さＨｃと縦座標Ｙｖ，Ｙｏとの関係を示した図である。
【図９】式（３）を表したグラフである。
【図１０】式（４）に基づく距離補正部１６の距離補正結果の一例を示した図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら、本発明を実施するための形態の説明を行う。図１は、本発明の一実施形態である車両用画像認識装置１の構成を示したブロック図である。車両用画像認識装置１は、車両に搭載され、単眼カメラ１１と、道路標示抽出部１２と、大きさ検出部１３と、距離算出部１４と、立体物抽出部１５と、距離補正部１６とを備えている。各部の機能の一部又は全部は、画像認識処理を実行するプロセッサやマイクロコンピュータ等によって実現可能である。
【００１１】
単眼カメラ１１は、自車両周辺（例えば、自車両の進行方向）を所定の画角で撮像して、その撮像画像を出力する撮像手段である。自車両の進行方向は、前進方向でも、後進方向でもよい。単眼カメラ１１は、ＣＣＤ又はＣＭＯＳ等の撮像素子を備えている。
【００１２】
道路標示抽出部１２は、単眼カメラ１１による撮像画像から道路標示の所定部位を抽出する手段である。道路標示抽出部１２によって抽出される所定部位は、予め設計的に決められていて、道路標示の全体でも一部でもよい。
【００１３】
道路標示は、文字、記号又はそれらの組み合わせが路面上にペイント等によって標示されたものである。道路標示の大きさは、法令等で予め定められた寸法を基準としている。道路標示の具体例として、規制標示と指示標示が挙げられる。規制標示の具体例として、転回禁止マーク、最高速度マークなどが挙げられる。指示標示の具体例として、横断歩道、前方に横断歩道があることを示す菱形マーク、前方に優先道路があることを示す三角マーク、進行方向マークなどが挙げられる。
【００１４】
図２は、単眼カメラ１１によって得られた自車両の進行方向の撮像画像２１を示した図である。撮像画像２１には、道路標示として、自車両の前方の進路上に標示された横断歩道２５が含まれている。符号２６は、消失点（無限遠点）を表す。図２の場合、道路標示抽出部１２は、例えば、撮像画像２１から、横断歩道２５を構成する候補ラインｐ１〜ｐ４を抽出する。撮像画像２１は、左右方向のピクセル数がＷ、上下方向のピクセル数がＨの画像である。
【００１５】
大きさ検出部１３は、道路標示抽出部１２によって抽出された道路標示の所定部位についての単眼カメラ１１による撮像画像上の大きさ（好ましくは、横幅）を検出する手段である。大きさ検出部１３は、例えば、道路標示の所定部位を構成するピクセル数を撮像画像から取得することで、その所定部位の撮像画像上の大きさを検出できる。
【００１６】
距離算出部１４は、道路標示抽出部１２によって抽出された道路標示の所定部位についての規格上の予め定められた大きさと、大きさ検出部１３により実際に検出された大きさと、単眼カメラ１１の角度分解能とに基づいて、自車両からその道路標示までの距離を算出する手段である。
【００１７】
図３は、道路標示である横断歩道までの距離を算出するまでの処理例を示したフローチャートである。図２，４を参照しながら、本フローチャートについて説明する。
【００１８】
ステップＳ１０において、道路標示抽出部１２は、撮像画像２１の画素輝度分布に基づいて、画素の輝度が急変する上下方向（垂直方向）のエッジを撮像画像２１の中から抽出する。
【００１９】
ステップＳ２０において、道路標示抽出部１２は、ステップＳ１０で抽出したエッジを、水平方向（自車両から横断歩道を見たときの左右方向）の輝度変化パターンによって分類する。道路標示抽出部１２は、各エッジの左領域及び右領域の画素輝度分布に基づいて、左領域が右領域よりも暗い場合には「立ち上がりエッジ」と判定し、左領域が右領域よりも明るい場合には「立ち下がりエッジ」と判定する。
【００２０】
ステップＳ３０において、道路標示抽出部１２は、撮像画像２１を水平方向にサーチして、ステップＳ２０で分類したエッジが所定回数以上交互に繰り返し出現するラインを、横断歩道２５を構成する候補ラインとしてグルーピングする。そして、道路標示抽出部１２は、撮像画像２１を垂直方向にサーチして、グルーピングされた各候補ラインの隣接関係、及び候補ラインを構成するエッジの接続関係によって、各候補ラインをグルーピングして横断歩道領域を抽出する。
【００２１】
例えば、道路標示抽出部１２は、互いに隣り合う立ち上がりエッジと立ち下がりエッジを１ペアとして、所定数以上のペア（例えば、３ペア以上）が存在し、且つ、それらの所定数以上のペアについて各ペアを構成する２つのエッジ間の水平方向（左右方向）の距離（例えば図４の場合、距離ｂ１，ｂ２，ｂ３）がそれぞれ所定の範囲内にあるとき、それらの各ペアを、横断歩道２５を構成する候補ラインとして抽出し、それらの抽出された複数の候補ラインを横断歩道領域としてグルーピングする。
【００２２】
ステップＳ４０において、大きさ検出部１３は、横断歩道領域の左右方向のピクセル数（幅）を検出し、距離算出部１４は、その検出された左右方向のピクセル数を用いて、自車両の単眼カメラ１１から横断歩道２５までの距離を算出する。
【００２３】
図４は、図２の撮像画像２１上の横断歩道２５を説明するための図である。道路標示抽出部１２によって横断歩道領域として抽出されたペアの中で、大きさ検出部１３は、例えば、最も左側のペアの立ち上がりエッジｐ１ａから、左から３番目のペアの立ち下がりエッジｐ３ｂまでの距離に相当する３ペア分のピクセル幅ａを検出する。横断歩道２５の規格上のその３ペア分の両端間の幅長（すなわち、ピクセル幅ａの部分に対応する部位の規格上求められる値）をＡとし、単眼カメラ１１の左右方向の角度分解能をＰとし、自車両から横断歩道２５までの距離をＬとすると、図５から明らかなように、
Ｌ＝Ａ／tan（ａ×Ｐ）      ・・・（１）
という関係式が成り立つ。ここで、角度分解能Ｐは、単眼カメラ１１の左右方向の画角をα［度］、単眼カメラ１１によって得られる撮像画像２１の左右方向のピクセル数をＷ［pix.］とすると、「Ｐ＝α／Ｗ［度／pix.］」によって表すことが可能な固定値である。つまり、距離算出部１４は、式（１）に基づいて、横断歩道２５までの距離Ｌを算出することができる。
【００２４】
もちろん、横断歩道領域として抽出されたペアのエッジであれば、どのエッジ間のピクセル幅を検出してもよく、その検出されたピクセル幅をａとした場合、ピクセル幅ａの部分に対応する部位の規格値が固定値Ａに相当する。
【００２５】
したがって、車両用画像認識装置１は、上記構成の、単眼カメラ１１、道路標示抽出部１２、大きさ検出部１３及び距離算出部１４を備えていることにより、横断歩道等の道路標示の所定部位の規格上の大きさを加味して、道路標示までの距離を算出しているので、道路標示が自車両から遠方に存在する状況であっても、道路標示までの距離を単眼カメラによる撮像画像から精度良く算出できる。
【００２６】
図６は、一般道路環境下の実シーンにおける横断歩道までの距離の算出結果であって、（ａ）は、本発明の実施例を示し、（ｂ）は、測距点の画像上の上下方向の位置を表す縦座標とその測距点までの距離との対応関係に基づいて、画像上の横断歩道領域の最下端の縦座標から横断歩道までの距離を算出する従来技術の場合の比較例を示している。図６から明らかなように、本発明の実施例の方が、上下方向の位置を表す縦座標を基準に距離を算出する従来技術に比べて、自車両のピッチ変動や道路勾配変化などの外乱の影響を受けにくいため、横断歩道までの距離の真値に対してずれが小さく、精度良く距離を算出できることがわかる。
【００２７】
ところで、図１に示されるように、車両用画像認識装置１は、測距対象（立体物）までの距離を計測する計測手段として、立体物抽出部１５及び距離補正部１６を更に備えている。
【００２８】
立体物抽出部１５は、自車両の進行方面に存在する道路標示近辺（例えば、道路標示が標示された道路上又はその道路脇）に存在する立体物を、単眼カメラ１１によって得られた撮像画像から、テンプレートマッチング等のパターン認識により抽出する手段である。この立体物の具体例として、歩行者、先行車両・駐車車両などの他車両、自車両と衝突するおそれのある障害物（歩行者等を含む）などが挙げられる。
【００２９】
立体物抽出部１５は、抽出された立体物の撮像画像上の縦方向位置を表す縦座標を実測する。立体物抽出部１５は、例えば、図２に示されるように、歩行者２２の最下端の撮像画像２１上の縦座標Ｙｐを実測する。
【００３０】
距離補正部１６は、立体物までの距離を計測する後述の方法とは別の方法で距離が測定された道路標示によって、立体物までの距離の補正をして、その補正値を算出するものである。この別の方法とは、例えば、距離算出部１４で実行される上述の距離算出方法である。
【００３１】
図７は、測距対象である歩行者までの距離を算出するまでの処理例を示したフローチャートである。図２，８〜１０を参照しながら、本フローチャートについて説明する。
【００３２】
ステップＳ８０の横断歩道２５の領域検出と、ステップＳ９０の横断歩道２５までの距離Ｌの算出は、上記同様である。
【００３３】
ステップＳ１００において、道路標示抽出部１２は、距離算出部１４によって上記の式（１）に基づいて算出された距離Ｌに対応する撮像画像２１上での縦方向位置を表す縦座標Ｙｏを算出する。単眼カメラ１１の路面からの取り付け高さをＨｃ，消失点２６のＹ座標をＹｖ，単眼カメラ１１の左右方向の角度分解能をＰとし、単眼カメラ１１の上下方向の角度分解能をＱとすると、図８から明らかなように、
Ｙｏ＝Ｙｖ＋（tan-1（Ｈｃ／Ｌ））／Ｑ      ・・・（３）
という関係式が成立する。ここで、角度分解能Ｑは、上述の角度分解能Ｐと同様に考えることができる。すなわち、角度分解能Ｑは、単眼カメラ１１の上下方向の画角をβ［度］、単眼カメラ１１によって得られる撮像画像の上下方向のピクセル数をＨ［pix.］とすると、「Ｑ＝β／Ｈ［度／pix.］」によって表すことが可能な固定値である。つまり、道路標示抽出部１２は、式（３）に基づいて、縦座標Ｙｏを算出することができる。
【００３４】
図９は、式（３）を表したグラフである（Ｑ＝０．０２７，Ｙｖ＝２４０，Ｈｃ＝１．２８）。例えば、距離算出部１４によって算出された横断歩道２５までの距離Ｌが４０ｍであるときの縦座標Ｙｏは３０８ピクセルとなる。
【００３５】
ステップＳ１１０において、道路標示抽出部１２は、横断歩道２５の撮像画像２１上での上下動に基づいて、自車両のピッチ変動量を算出する。すなわち、道路標示抽出部１２は、まず、抽出された横断歩道２５の撮像画像２１上の縦方向位置を表す縦座標を実測する。道路標示抽出部１２は、例えば、図２に示されるように、横断歩道２５の最下端の撮像画像２１上の縦座標Ｙｃを実測する。そして、道路標示抽出部１２は、縦座標Ｙｏと縦座標Ｙｃとの差分ΔＹを算出する。この差分ΔＹが、自車両のピッチ変動量に相当する。実測された縦座標Ｙｃが例えば２８０ピクセルであれば、縦座標Ｙｏが３０８ピクセルのとき、差分ΔＹは「３０８−２８０＝＋２８」ピクセルとなる。
【００３６】
ステップＳ１２０において、距離補正部１６は、歩行者２２までの距離を算出する。すなわち、距離補正部１６は、立体物抽出部１５によって実測された歩行者２２の最下端の撮像画像２１上の縦座標Ｙｐに差分ΔＹを加算した座標を用いて、自車両から歩行者２２までの距離Ｄｐを算出する。距離Ｄｐの算出式を得るためには、式（３）の逆関数を考えればよいので、
Ｄｐ＝Ｈｃ／（tan（Ｙｐ＋ΔＹ−Ｙｖ）×Ｑ）      ・・・（４）
という算出式が成立する。
【００３７】
図１０は、式（４）に基づく距離補正部１６の距離補正結果の一例を示した図である。立体物抽出部１５によって実測された歩行者２２の最下端の撮像画像２１上の縦座標Ｙｐを補正せずに、縦座標Ｙｐと被写体までの距離との予め定められた対応関係に基づいて歩行者２２までの距離を算出した場合、車両のピッチ変動等の影響を強く受けることにより、縦座標Ｙｐの実測値が２５２ピクセルのとき、歩行者２２までの距離は２２６ｍになる。これに対して、式（４）に基づいて算出した場合、歩行者２２までの距離Ｄｐは６８ｍになり、歩行者２２までの距離を精度良く算出できる。
【００３８】
なお、ピッチ変動量Ｄは、
Ｄ＝Ｑ×ΔＹ      ・・・（５）
によって近似的に求めることができる。この場合、Ｄが正の値のとき、自車両が上向きにピッチ変動していることを示し、Ｄが負の値のとき、自車両が下向きにピッチ変動していることを示す。
【００３９】
したがって、車両用画像認識装置１は、上記構成の、立体物抽出部１５及び距離補正部１６を備えていることにより、横断歩道等の道路標示の所定部位の規格上の大きさを加味して、歩行者等の立体物までの距離を算出しているので、立体物が自車両から遠方に存在する状況であっても、立体物までの距離を単眼カメラによる撮像画像から精度良く算出できる。また、歩行者等の立体物までの距離を計測する方法とは別の方法で距離が測定された道路標示によって、その立体物までの距離の補正がされるので、車両のピッチ変動によって生ずるその立体物の撮像画像上の縦方向位置の測定誤差を小さくできる結果、測距結果の精度を高めることができる。
【００４０】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００４１】
例えば、上述の実施形態は、単眼カメラを用いて道路標示までの距離を算出するものであったが、別の方法で道路標示までの距離を算出してもよい。例えば、ステレオカメラを用いて道路標示までの距離を算出してもよい。
【符号の説明】
【００４２】
１  車両用画像認識装置
１１  単眼カメラ
１２  道路標示抽出部
１３  大きさ検出部
１４  距離算出部
１５  立体物抽出部
１６  距離補正部
２１  撮像画像
２２  歩行者
２５  横断歩道
２６  消失点（無限遠点）
ｐ１〜ｐ４  候補ライン
【図１】
2012159470.tif 000003
【図２】
2012159470.tif 000004
【図３】
2012159470.tif 000005
【図４】
2012159470.tif 000006
【図５】
2012159470.tif 000007
【図６】
2012159470.tif 000008
【図７】
2012159470.tif 000009
【図８】
2012159470.tif 000010
【図９】
2012159470.tif 000011
【図１０】
2012159470.tif 000012