(57)【要約】【課題】車両およびドライバに対して提供される駐車枠に関する情報を適切化する。【解決手段】第１白線検出部３０１で検出した手前側白線端部２３ＬＥが進行方向俯瞰画像２２ｅと側方俯瞰画像２２ｂ，２２ｃとの境界２８に達したか否かを判定するように、側方進入判定部３１１を構成した。そして、側方進入判定部３１１で、手前側白線端部２３ＬＥが境界２８に達したと判定されると、側方俯瞰画像２２ｂ，２２ｃから白線を検出するように、第２白線検出部３０３を構成した。【選択図】図３
2014107696.tif 000002
【特許請求の範囲】
【請求項１】
車両の進行方向を検出する進行方向検出部と、
前記車両の前方、後方、および側方に設けられたカメラで撮影して得られた画像を取得し、前記取得した画像のうち、前記車両の前方に設けられたカメラで撮影して得られた画像、および、前記車両の後方に設けられたカメラで撮影して得られた画像のいずれか一方の画像から、前記進行方向検出部が検出した前記車両の進行方向に対応する画像を進行方向画像として選択する画像選択部と、
前記画像選択部で選択された前記進行方向画像から物体の特徴を検出する進行方向物体特徴検出部と、
前記進行方向物体特徴検出部で検出した物体の特徴の端部のうち、車両の手前側に存在する手前側物体特徴端部が、前記車両の側方に設けられたカメラで撮影して得られた側方画像と、前記進行方向画像との境界に達したか否かを判定する側方進入判定部と、
前記側方進入判定部で、前記手前側物体特徴端部が、前記進行方向画像と前記側方画像の境界に達したと判定されると、前記側方画像から物体の特徴を検出する側方物体特徴検出部と、
前記進行方向物体特徴検出部と、前記側方物体特徴検出部とで検出した物体の特徴を用いて物体を検出する物体検出部を備えることを特徴とする車載画像処理装置。
【請求項２】
車両の前方、後方、および側方に設けられたカメラで撮影して得られた画像を取得し、取得した前記画像を合成して、俯瞰画像を生成する画像合成部と、
前記車両の進行方向を検出する進行方向検出部と、
前記画像合成部で生成した俯瞰画像のうち、前記車両の前方に設けられたカメラで撮影して得られた画像に基づいて生成した前方俯瞰画像、および、前記画像合成部で生成した俯瞰画像のうち、前記車両の後方に設けられたカメラで撮影して得られた画像に基づいて生成した後方俯瞰画像のいずれか一方の俯瞰画像から、前記進行方向検出部が検出した前記車両の進行方向に対応する俯瞰画像を進行方向俯瞰画像として選択する画像選択部と、
前記画像選択部で選択された前記進行方向俯瞰画像から白線を検出する進行方向白線検出部と、
前記進行方向白線検出部で検出した白線の端部のうち、車両の手前側に存在する白線の端部である手前側白線端部が、前記画像合成部で生成した俯瞰画像のうち、前記車両の側方に設けられたカメラで撮影して得られた画像に基づいて生成した前方俯瞰画像と、前記進行方向俯瞰画像との境界に達したか否かを判定する側方進入判定部と、
前記側方進入判定部で、前記手前側白線端部が、前方俯瞰画像と前記進行方向俯瞰画像との境界に達したと判定されると、前記側方俯瞰画像から白線を検出する側方白線検出部とを備えることを特徴とする車載画像処理装置。
【請求項３】
請求項２に記載の車載画像処理装置において、
前記側方白線検出部は、前記進行方向白線検出部で検出した白線についての延在方向に関する情報を少なくとも参照して、前記側方俯瞰画像から白線を検出することを特徴とする車載画像処理装置。
【請求項４】
請求項３に記載の車載画像処理装置において、
前記側方白線検出部は、前記進行方向白線検出部で検出した白線についての延在方向に関する情報を少なくとも参照して、前記側方俯瞰画像における白線の位置を予測することを特徴とする車載画像処理装置。
【請求項５】
請求項４に記載の車載画像処理装置において、
前記側方白線検出部は、予測した前記側方俯瞰画像における白線の位置と、前記側方俯瞰画像の走査線との交点を算出し、前記側方俯瞰画像に存在する白線を横切るように走査することで得られる輝度の立ち上がりおよび立ち下がりを検出し、検出した輝度の立ち上がりおよび立ち下がりの存在する位置と前記算出した交点とが一致するか否かを判定することで予測した白線を検出することを特徴とする車載画像処理装置。
【請求項６】
請求項２〜５のいずれか一項に記載の車載画像処理装置において、
前記側方白線検出部による前記側方俯瞰画像の走査密度は、前記進行方向白線検出部による前記進行方向俯瞰画像の走査密度よりも粗いことを特徴とする車載画像処理装置。
【請求項７】
請求項６に記載の車載画像処理装置において、
前記進行方向白線検出部は、前記進行方向方俯瞰画像を順次走査することで白線を検出し、
前記側方白線検出部は、前記側方俯瞰画像を飛び越し走査することで白線を検出することを特徴とする車載画像処理装置。
【請求項８】
請求項２〜７のいずれか一項に記載の車載画像処理装置において、
前記進行方向白線検出部の検出結果に基づいて、駐車枠を検出する進行方向駐車枠検出部をさらに備え、
前記手前側白線端部は、前記進行方向駐車枠検出部で検出した駐車枠に係る白線の端部のうち、車両の手前側に存在する白線の端部であること特徴とする車載画像処理装置。
【請求項９】
請求項２〜８のいずれか一項に記載の車載画像処理装置において、
少なくとも前記側方白線検出部で検出した白線に関する情報に基づいて駐車枠を検出する駐車枠検出手段をさらに備えることを特徴とする車載画像処理装置。
【請求項１０】
請求項１において、物体特徴は白線であり、物体は駐車枠であることを特徴とする車載画像処理装置。
【請求項１１】
請求項１において、物体特徴は白線であり、物体はレーンであることを特徴とする車載画像処理装置。
【請求項１２】
車両の前方、後方、および側方に設けられたカメラで撮影して得られた画像を取得し、取得した前記画像を合成して、俯瞰画像を生成する画像合成部と、
前記車両の進行方向を検出する進行方向検出部と、
前記画像合成部で生成した俯瞰画像のうち、前記車両の前方に設けられたカメラで撮影して得られた画像に基づいて生成した前方俯瞰画像、および、前記画像合成部で生成した俯瞰画像のうち、前記車両の後方に設けられたカメラで撮影して得られた画像に基づいて生成した後方俯瞰画像のいずれか一方の俯瞰画像から、前記進行方向検出部が検出した前記車両の進行方向に対応する俯瞰画像を進行方向俯瞰画像として選択する画像選択部と、
前記画像選択部で選択された前記進行方向俯瞰画像から白線を検出する第１の白線検出部と、
前記第１の白線検出部の検出結果に基づいて、駐車枠を検出する第１の駐車枠検出部と、
前記第１の駐車枠検出部で検出した駐車枠に係る白線の端部のうち、車両の手前側に存在する白線の端部である手前側白線端部が、前記画像合成部で生成した俯瞰画像のうち、前記車両の側方に設けられたカメラで撮影して得られた画像に基づいて生成した前方俯瞰画像と、前記進行方向俯瞰画像との境界に達したか否かを判定する側方進入判定部と、
前記側方進入判定部で、前記手前側白線端部が、前方俯瞰画像と前記進行方向俯瞰画像との境界に達したと判定されると、前記第１の駐車枠検出部の検出結果を参照して、前記側方俯瞰画像から白線を検出する第２の白線検出部とを備えることを特徴とする車載画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載画像処理装置に関する。
【背景技術】
【０００２】
車両の後部に取り付けられたカメラにより撮影して得られた画像から駐車枠線を認識し、駐車枠線を仮想的に延長した枠線を表示することで、ドライバが車両を駐車枠線に平行駐車させることを支援する装置が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１６４０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述した特許文献に記載の装置では、車両が駐車枠内に進入するにつれて、カメラによって撮影される駐車枠線の長さが徐々に短くなる。そのため、仮想的に延長する枠線の角度が、駐車枠線に対してずれてしまうおそれがある。
【課題を解決するための手段】
【０００５】
（１）  請求項１の発明による車載画像処理装置は、車両の進行方向を検出する進行方向検出部と、車両の前方、後方、および側方に設けられたカメラで撮影して得られた画像を取得し、取得した画像のうち、車両の前方に設けられたカメラで撮影して得られた画像、および、車両の後方に設けられたカメラで撮影して得られた画像のいずれか一方の画像から、進行方向検出部が検出した車両の進行方向に対応する画像を進行方向画像として選択する画像選択部と、画像選択部で選択された進行方向画像から物体の特徴を検出する進行方向物体特徴検出部と、進行方向物体特徴検出部で検出した物体の特徴の端部のうち、車両の手前側に存在する手前側物体特徴端部が、車両の側方に設けられたカメラで撮影して得られた側方画像と、進行方向画像との境界に達したか否かを判定する側方進入判定部と、側方進入判定部で、手前側物体特徴端部が、進行方向画像と側方画像の境界に達したと判定されると、側方画像から物体の特徴を検出する側方物体特徴検出部と、進行方向物体特徴検出部と、側方物体特徴検出部とで検出した物体の特徴を用いて物体を検出する物体検出部を備えることを特徴とする。
（２）  請求項２の発明による車載画像処理装置は、車両の前方、後方、および側方に設けられたカメラで撮影して得られた画像を取得し、取得した画像を合成して、俯瞰画像を生成する画像合成部と、車両の進行方向を検出する進行方向検出部と、画像合成部で生成した俯瞰画像のうち、車両の前方に設けられたカメラで撮影して得られた画像に基づいて生成した前方俯瞰画像、および、画像合成部で生成した俯瞰画像のうち、車両の後方に設けられたカメラで撮影して得られた画像に基づいて生成した後方俯瞰画像のいずれか一方の俯瞰画像から、進行方向検出部が検出した車両の進行方向に対応する俯瞰画像を進行方向俯瞰画像として選択する画像選択部と、画像選択部で選択された進行方向俯瞰画像から白線を検出する進行方向白線検出部と、進行方向白線検出部で検出した白線の端部のうち、車両の手前側に存在する白線の端部である手前側白線端部が、画像合成部で生成した俯瞰画像のうち、車両の側方に設けられたカメラで撮影して得られた画像に基づいて生成した前方俯瞰画像と、進行方向俯瞰画像との境界に達したか否かを判定する側方進入判定部と、側方進入判定部で、手前側白線端部が、前方俯瞰画像と進行方向俯瞰画像との境界に達したと判定されると、側方俯瞰画像から白線を検出する側方白線検出部とを備えることを特徴とする。
（３）  請求項１２の発明による車載画像処理装置は、車両の前方、後方、および側方に設けられたカメラで撮影して得られた画像を取得し、取得した画像を合成して、俯瞰画像を生成する画像合成部と、車両の進行方向を検出する進行方向検出部と、画像合成部で生成した俯瞰画像のうち、車両の前方に設けられたカメラで撮影して得られた画像に基づいて生成した前方俯瞰画像、および、画像合成部で生成した俯瞰画像のうち、車両の後方に設けられたカメラで撮影して得られた画像に基づいて生成した後方俯瞰画像のいずれか一方の俯瞰画像から、進行方向検出部が検出した車両の進行方向に対応する俯瞰画像を進行方向俯瞰画像として選択する画像選択部と、画像選択部で選択された進行方向俯瞰画像から白線を検出する第１の白線検出部と、第１の白線検出部の検出結果に基づいて、駐車枠を検出する第１の駐車枠検出部と、第１の駐車枠検出部で検出した駐車枠に係る白線の端部のうち、車両の手前側に存在する白線の端部である手前側白線端部が、画像合成部で生成した俯瞰画像のうち、車両の側方に設けられたカメラで撮影して得られた画像に基づいて生成した前方俯瞰画像と、進行方向俯瞰画像との境界に達したか否かを判定する側方進入判定部と、側方進入判定部で、手前側白線端部が、前方俯瞰画像と進行方向俯瞰画像との境界に達したと判定されると、第１の駐車枠検出部の検出結果を参照して、側方俯瞰画像から白線を検出する第２の白線検出部とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、車両およびドライバに対して提供される駐車枠に関する情報を適切化できる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による車載画像処理装置の構成を示すブロック図である。
【図２】車両に搭載されたカメラにより撮影された車両周囲の撮影画像と、画像合成部により合成された俯瞰画像との画像の例を示す図である。
【図３】演算処理部が行う演算処理の制御ブロック図である。
【図４】演算処理部の画像選択部で行われる処理のフローチャートである。
【図５】演算処理部の第１白線検出部で行われる処理のフローチャートである。
【図６】演算処理部の第１駐車枠検出部で行われる処理のフローチャートである。
【図７】駐車枠を構成する駐車枠線の例を示す模式図である。
【図８】演算処理部の側方進入判定部で行われる処理のフローチャートである。
【図９】進行方向俯瞰画像として前方俯瞰画像が選択された状態の一例を示す図である。
【図１０】演算処理部の第２白線検出部で行われる処理のフローチャートである。
【図１１】第２白線検出部における処理に係る俯瞰画像を示す図である。
【図１２】第２白線検出部における処理について説明する図である。
【図１３】演算処理部の第２駐車枠検出部で行われる処理のフローチャートである。
【図１４】本発明の第２実施の形態による車載画像処理装置の構成を示すブロック図である。
【図１５】演算処理部が行う演算処理の制御ブロック図である。
【図１６】演算処理部の画像選択部で行われる処理のフローチャートである。
【図１７】演算処理部の第１白線検出部で行われる処理のフローチャートである。
【図１８】演算処理部の第１白線検出部で行われる処理の例を示す模式図である。
【図１９】本発明の第２実施の形態における前方カメラと側方カメラの処理の関係の例を示す模式図である。
【図２０】演算処理部の側方進入判定部で行われる処理のフローチャートである。
【図２１】演算処理部の第２白線検出部で行われる処理のフローチャートである。
【図２２】演算処理部の第２白線検出部で行われる処理の例を示す模式図である。
【図２３】本発明の第３実施の形態による車載画像処理装置が動作するシーンの例を示す模式図である。
【図２４】本発明の第３実施の形態による車載画像処理装置の構成を示すブロック図である。
【図２５】演算処理部が行う演算処理の制御ブロック図である。
【図２６】演算処理部の第１白線検出部で行われる処理の例を示す模式図である。
【図２７】演算処理部の第１レーン検出部で行われる処理のフローチャートである。
【図２８】演算処理部の第２白線検出部で行われる処理の例を示す模式図である。
【図２９】演算処理部の第２レーン検出部で行われる処理のフローチャートである。
【発明を実施するための形態】
【０００８】
[第１の実施の形態]
図１〜１３を参照して、本発明による車載画像処理装置の第１の実施の形態を説明する。図１は、本発明の一実施の形態による車載画像処理装置１００の構成を示すブロック図である。図１に示す車載画像処理装置１００は、車両１（図２参照）に搭載されて使用されるものであり、画像合成部２と、演算処理部３と、出力部４と、を備える。車載画像処理装置１００は、不図示のコンピュータに所定の制御プログラムを実行させることにより、これらの機能を実現している。図２は、車両１に搭載されたカメラ１ａ〜１ｄにより撮影された車両周囲の撮影画像２１ａ，２１ｂ，２１ｃ，２１ｄと、画像合成部２により合成された俯瞰画像２２との画像の例を示す図である。
【０００９】
車両１に搭載されたカメラ１ａ〜１ｄは、車両１の周囲をそれぞれ異なる撮影範囲で撮影する電子式カメラであり、車両１のボディ、バンパー、ドアミラー等の各部に設置されている。これらの各カメラの撮影範囲は、合わせて車両１の全周囲をカバーできるように定められている。本実施の形態では、図２に示すようにカメラ１ａは車両１前方の撮影範囲を、カメラ１ｂは車両１左側方の撮影範囲を、カメラ１ｃは車両１右側方の撮影範囲を、カメラ１ｄは車両１後方の撮影範囲をそれぞれ撮影するものとして説明する。カメラ１ａ〜１ｄにより所定のフレームレート間隔でそれぞれ取得された撮影画像は、画像合成部２へ出力される。
【００１０】
なお、本実施の形態では、４つのカメラ１ａ〜１ｄが上記のような各撮影範囲をそれぞれ撮影するものとして説明するが、車両１に搭載されるカメラの個数および撮影範囲はこれに限定されない。また、各カメラを合わせた撮影範囲は、必ずしも車両１の全周囲をカバーしていなくてもよい。車両１の周囲を適切な範囲で撮影できれば、任意の個数のカメラを用いて、任意の撮影範囲について撮影画像を取得することができる。
【００１１】
図２において、紙面左側の画像２１ａ，２１ｂ，２１ｃ，２１ｄは、車両１に搭載されたカメラ１ａ〜１ｄで撮影して得られた車両１の周囲の撮影画像を示し、紙面右側の画像２２（２２ａ，２２ｂ，２２ｃ，２２ｄ）は俯瞰画像（オーバーヘッドビュー画像）を示している。
【００１２】
画像合成部２は、カメラ１ａ〜１ｄにより取得された各撮影画像２１ａ，２１ｂ，２１ｃ，２１ｄに基づいて、車両の全周囲を俯瞰した様子を示す俯瞰画像２２を合成する。この俯瞰画像２２は、カメラ１ａ〜１ｄの各撮影画像２１ａ，２１ｂ，２１ｃ，２１ｄをその撮影方向に応じて座標変換した上で繋ぎ合わせることによって合成されるものである。画像合成部２により合成された俯瞰画像は、演算処理部３へ出力される。
【００１３】
カメラ１ａにおける撮影画像２１ａ、すなわち車両１前方の撮影画像２１ａから生成された俯瞰画像２２ａを前方俯瞰画像２２ａと呼ぶ。同様に車両１後方の撮影画像２１ｄから生成された俯瞰画像２２ｄを後方俯瞰画像２２ｄと呼び、車両１側方の撮影画像２１ｂ，２１ｃから生成された俯瞰画像２２ｂ，２２ｃをそれぞれ側方俯瞰画像２２ｂ，２２ｃと呼ぶ。
【００１４】
俯瞰画像２２は、たとえば、車両１側では車両１内に設置された表示装置１Ｍに表示される。俯瞰画像２２が表示される領域（画像領域２２Ｆ）は、車両１の前方、左側方、右側方および後方にそれぞれ対応する４つの画像領域２２Ｆａ、２２Ｆｂ、２２Ｆｃおよび２２Ｆｄにより構成されている。これらの画像領域２２Ｆに表示される各画像２２ａ，２２ｂ，２２ｃ，２２ｄは、上述したように、図１のカメラ１ａ〜１ｄによってそれぞれ撮影された画像に基づいて作成されたものである。各画像領域２２Ｆａ、２２Ｆｂ、２２Ｆｃおよび２２Ｆｄ内には、駐車枠を構成する駐車枠線２３Ｌの一部が表示されている。
【００１５】
演算処理部３は、画像合成部２により合成された俯瞰画像２２に基づいて所定の演算処理を行うことにより、車両周囲の駐車枠を認識する。この演算処理部３が行う演算処理の内容については、後で詳しく説明する。演算処理部３による駐車枠の認識結果は、出力部４へ出力される。
【００１６】
出力部４は、演算処理部３による駐車枠の認識結果に基づいて、車両周囲の駐車枠に対する駐車枠情報を出力する。たとえば、車両１に対する駐車枠の方向や駐車枠までの距離を示す情報を駐車枠情報として出力する。この駐車枠情報は、車載画像処理装置１００と接続されている上位の車両制御装置（不図示）へと出力され、車両１の駐車支援や走行制御等に利用される。たとえば、周囲に駐車場が存在する状況であることを自動で認識し、たとえば、駐車場環境である場合には、後述する表示装置１Ｍに自車周囲の俯瞰映像を自動で切り替えて表示することができる。これにより、公道において駐車場であると誤検知する状況を抑制し、適切なタイミングでユーザへの提示映像を切り替えることができるようになる。
【００１７】
また，出力部４は、演算処理部３による駐車枠の認識結果に基づいて、自車からの相対的な位置情報として駐車枠情報を出力する。たとえば、駐車枠の左右枠線の端点座標，駐車枠線の角度および切片といった、実環境中における駐車枠の位置情報を出力する。この駐車枠情報は、車載用駐車枠認識装置と接続されている上位の車両制御装置（不図示）へと出力され、車両の駐車支援や走行制御等に利用される。たとえば、自車から駐車枠までの相対的な位置姿勢に基づいて，駐車枠までの走行経路を計算し，ドライバにブレーキやシフトポジション変更のタイミングや，舵角の操作量を通知することによって，駐車支援を行うことが可能となる。これにより、車庫入れ等の運転操作に不慣れなドライバにとっても、短時間で駐車動作が完了できるようになる。
【００１８】
さらには、自車から駐車枠までの相対的な位置姿勢に基づいて，駐車枠までの走行経路を計算し、自動で車両の前進・後退・旋回の制御量を計算し、その計算結果に従って車両運動を自動制御してもよい。これにより、車庫入れ等の運転操作に不慣れなドライバにとっても、安全かつ正確に駐車動作を完了できるようになる。
【００１９】
以上説明したような画像は、上述したように、たとえば車両１内の表示装置１Ｍにおいて表示される。なお、表示装置１Ｍに表示される画像は、俯瞰画像２２に変換する前の撮影画像２１ａ等であってもよい。この場合には、表示装置１Ｍに表示される画像が車両１の進行方向に応じて切り替えられることが好ましい。たとえば、車両１のシフトレバーを前進方向に切り替えたときには、車両１が前進していると判断して、カメラ１ａにより撮影された車両前方の撮影画像２１ａが表示されるようにしてもよい。一方、車両１のシフトレバーを後退方向に切り替えたときには、車両１が後退していると判断して、カメラ１ｄにより撮影された車両１の後方の撮影画像２１ｄが表示されるようにしてもよい。
【００２０】
次に、演算処理部３が行う演算処理の内容について説明する。図３は、演算処理部３が行う演算処理の制御ブロック図である。図３に示すように、演算処理部３は、画像選択部３１０と、第１白線検出部３０１と、第１駐車枠検出部３０２と、側方進入判定部３１１と、第２白線検出部３０３と、第２駐車枠検出部３０４の各制御ブロックを機能的に有する。演算処理部３では、たとえば、これらの各制御ブロックに対応してメモリに記録されているプログラムをマイクロコンピュータで実行することにより、図３の各制御ブロックを実現している。演算処理部３は、たとえば車速が所定の速度（たとえば５０ｋｍ／ｈ）以下となった場合に、処理を実施する。車速が所定の速度以下となったか否かの判断は、車両側から出力される車速パルスの周期に基づいて判断してもよく、車両の不図示の制御装置から出力される車速に関する情報に基づいて判断してもよい。
【００２１】
画像合成部２により合成された俯瞰画像は、演算処理部３において画像選択部３１０に入力される。画像選択部３１０は、自車両の進行方向に関する情報として、自車両のシフトポジションに関する情報を検出し、検出したシフトポジションに対応する進行方向（前または後）に応じた俯瞰画像を前方俯瞰画像２２ａおよび後方俯瞰画像２２ｄのいずれか一方から選択し、進行方向俯瞰画像２２ｅとして第１白線検出部３０１へ出力される。
【００２２】
第１白線検出部３０１は、入力された進行方向俯瞰画像２２ｅから路面に描かれた白線を検出する。すなわち、第１白線検出部３０１は、車両１の進行方向側で延在する白線を検出する。第１白線検出部３０１を進行方向白線検出部３０１とも呼ぶ。
【００２３】
第１白線検出部３０１が行う処理内容については、後述する。なお、車速が所定の速度以下となったか否かの判断は、車両側から出力される車速パルスの周期に基づいて判断してもよく、車両の不図示の制御装置から出力される車速に関する情報に基づいて判断してもよい。第１白線検出部３０１による白線の検出（認識）結果は、第１駐車枠検出部３０２へ出力される。
【００２４】
第１駐車枠検出部３０２は、第１白線検出部３０１による白線の抽出結果に基づいて、駐車枠を検出する。第１駐車枠検出部３０２が行う処理内容については、後述する。第１駐車枠検出部３０２による駐車枠の検出結果は、側方進入判定部３１１および図１の出力部４へ出力される。
【００２５】
側方進入判定部３１１は、第１駐車枠検出部３０２が行った処理内容に基づいて、第１駐車枠検出部３０２で検出した駐車枠に係る白線の端部のうち、車両１の手前側に存在する白線の端部である手前側白線端部が、進行方向俯瞰画像２２ｅと側方俯瞰画像２２ｂ，２２ｃとの境界に達したか否かを判定する。側方進入判定部３１１が行う処理内容については、後述する。
【００２６】
第２白線検出部３０３は、第１駐車枠検出部３０２および側方進入判定部３１１が行った処理内容に基づいて、車両１の側方の俯瞰画像２２ｂ，２２ｃにおける白線（駐車枠線２３Ｌ）の予想位置を算出し、算出した予想位置における駐車枠線２３Ｌを検出する。第２白線検出部３０３を側方白線検出部３０３とも呼ぶ。第２白線検出部３０３が行う処理内容については、後述する。第２白線検出部３０３による白線の検出（認識）結果は、第２駐車枠検出部３０４へ出力される。
【００２７】
第２駐車枠検出部３０４は、第１白線検出部３０１による白線の検出結果および第２白線検出部３０３の検出結果に基づいて、進行方向俯瞰画像２２ｅに現れる駐車枠線２３Ｌと、側方の俯瞰画像２２ｂ，２２ｃに現れる駐車枠線２３Ｌとから、駐車枠を検出する。第２駐車枠検出部３０４による駐車枠の検出結果は、図１の出力部４へ出力される。
【００２８】
図４は、演算処理部３の画像選択部３１０で行われる処理のフローチャートである。このフローチャートに示す処理は、演算処理部３が処理を実施する度に、繰り返し実行される。ステップＳ３０１において、俯瞰画像２２およびシフトポジションに関する情報を取得してステップＳ３０２へ進む。ステップＳ３０２において、ステップＳ３０１で取得したシフトポジションに対応する進行方向（前または後）に応じた俯瞰画像を前方俯瞰画像２２ａおよび後方俯瞰画像２２ｄのいずれか一方から選択し、進行方向俯瞰画像２２ｅとして第１白線検出部３０１へ出力してリターンする。
【００２９】
図５は、演算処理部３の第１白線検出部３０１で行われる処理のフローチャートである。このフローチャートに示す処理は、演算処理部３が処理を実施する度に、繰り返し実行される。ステップＳ１０１において、画像選択部３１０から出力された進行方向俯瞰画像２２ｅに対して、順次走査（プログレッシブスキャン）を行い、すべての走査線（全ライン）で横方向のエッジフィルタを適用してステップＳ１０３へ進む。
【００３０】
ステップＳ１０３において、ステップＳ１０１における処理結果から、輝度の立ち上がりおよび立ち下がりのピークを抽出してステップＳ１０５へ進む。ステップＳ１０５において、ステップＳ１０３における処理の結果から、所定の間隔（駐車枠線の横幅に相当する間隔）で輝度の立ち上がりのピークと輝度の立ち下がりのピークとによってペアとして成り立つエッジのみを残す処理を行ってステップＳ１０７へ進む。
【００３１】
ステップＳ１０７において、ステップＳ１０５における処理によって残されたエッジに関し、立ち上がりのピーク同士、および立ち下がりピーク同士で、直線状に並んでいると推定されるピークをひとまとまりのグループとして関連づけるグルーピング（グループ化）を行ってステップＳ１０９へ進む。ステップＳ１０９において、ステップＳ１０７における処理によるピークの各グループに対して、ノイズの除去を目的として、各グループの長さによるフィルタリングを行う。すなわち、１つのグループを構成する直線状に並ぶピークのうち、直線の両端に相当する２つのピーク同士の間隔が所定の長さよりも長いグループだけを残す処理を行う。ステップＳ１０９における処理を実行するとステップＳ１１１へ進む。
【００３２】
ステップＳ１１１において、ステップＳ１０９における処理によって残された各グループについて、立ち上がりのエッジの任意の１グループ、およびこの立ち上がりのエッジとペアをなす立ち下がりのエッジのグループにおける、直線の両端に相当する２つの端点（上端および下端）の座標をそれぞれ抽出して、第１駐車枠検出部３０２へ出力する。
【００３３】
図６は、演算処理部３の第１駐車枠検出部３０２で行われる処理のフローチャートである。このフローチャートに示す処理は、演算処理部３が処理を実施する度に、繰り返し実行される。ステップＳ１２１において、第１白線検出部３０１から出力された情報に基づいて、任意の２本の白線（駐車枠線）に関する情報を選択してステップＳ１２３へ進む。
【００３４】
ステップＳ１２３において、ステップＳ１２１で選択した２本の白線同士の延在方向の角度差が所定値（Ｔｈθｍａｘ）以下であるか否かを判断する。すなわち、ステップＳ１２３では、２本の白線が略平行であるか否かを判断する。ステップＳ１２３が肯定判断されるとステップＳ１２５へ進み、２本の白線の間隔が所定の範囲内（ＴｈＷｍｉｎ以上かつＴｈＷｍａｘ以下）であるか否かを判断する。すなわち、ステップＳ１２５では、駐車枠を構成する２本の白線として考えられる間隔で２本の白線が並んでいるか否かを判断する。
【００３５】
ステップＳ１２５が肯定判断されるとステップＳ１２７へ進み、２本の白線の下端のずれが所定の範囲内（ＴｈＢｍｉｎ以上かつＴｈＢｍａｘ以下）であるか否かを判断する。ここで、２本の白線の下端のずれについて、図７を参照して説明する。図７の左図（ａ）に示すように、駐車場の敷地における車両１の移動方向（図７の紙面における上下方向および左右方向）に対して車両１を平行または直角に駐車するように駐車枠２３が設けられ、この駐車枠２３に対応するように駐車枠線２３Ｌが描かれている場合、紙面における下端は、ずれない。
【００３６】
しかし、図７の右図（ｂ）に示すように、駐車場によっては、車両１の移動方向（図７の紙面における上下方向および左右方向）に対して車両１を平行または直角ではなく斜めに駐車するように駐車枠２３が設けられ、この駐車枠２３に対応するように駐車枠線２３Ｌが描かれている場合がある。この場合、距離Ｂで示すように、駐車枠２３を構成する駐車枠線２３Ｌの下端位置がずれる。これは、図示右側の駐車枠線２３Ｌが紙面下方の車両１が走行する領域に対してはみ出さないようにするために、駐車枠線２３Ｌの下端位置をずらしてあるからである。
【００３７】
たとえば、高速道路のサービスエリアやパーキングエリアでは、図７の右図（ｂ）の左側の駐車枠線２３Ｌの下端から駐車枠線２３Ｌの延在方向に対して垂直な線分と、駐車枠線２３Ｌの下端同士を結ぶ線分との交差角度θが０度、３０度、４５度のいずれかとすることが定められている。また、駐車枠２３の幅Ｗについても取り得る値の範囲が決まっている。そこで、本実施の形態では、上記交差角度θが、０度、３０度、４５度のいずれかの値であるときに取り得る距離Ｂの値があらかじめ不図示のメモリ等に記憶されている。
【００３８】
本実施の形態のステップＳ１２７では、あらかじめ記憶されている上述した距離Ｂと、前方俯瞰画像２２ａから算出される距離Ｂとを比較して、その差が上述した所定の範囲内（ＴｈＢｍｉｎ以上かつＴｈＢｍａｘ以下）であるか否かを判断することによって、２本の白線が１つの駐車枠２３を構成する白線（駐車枠線２３Ｌ）であるか否かを判断する。
【００３９】
ステップＳ１２７が肯定判断されるとステップＳ１２９へ進み、２本の白線で構成される矩形の駐車枠２３の４隅の座標を１つの駐車枠２３についての位置の情報として登録する。ステップＳ１２９を実行するとステップＳ１３１へ進み、第１白線検出部３０１から出力された情報に基づくすべての白線（駐車枠線）に関して、任意の２本の白線についての上述した処理を行ったか否かを確認する。ステップＳ１３１が肯定判断されると、上述した処理によって得られた結果を側方進入判定部３１１に出力して、リターンする。ステップＳ１３１が否定判断されるとステップＳ１２１へ戻る。
【００４０】
ステップＳ１２３が否定判断されるか、ステップＳ１２５が否定判断されるか、ステップＳ１２７が否定判断されるとステップＳ１３１へ進む。
【００４１】
図８は、演算処理部３の側方進入判定部３１１で行われる処理のフローチャートである。このフローチャートに示す処理は、演算処理部３が処理を実施する度に、繰り返し実行される。ステップＳ３１１において、上述した第１駐車枠検出部３０２の図６におけるステップＳ１２９で登録された駐車枠２３の４隅の座標に基づいて、この駐車枠２３を構成する２本の駐車枠線２３Ｌの端部のうち、車両１の手前側に存在する白線の端部である手前側白線端部２３ＬＥが進行方向俯瞰画像２２ｅと側方俯瞰画像２２ｂ，２２ｃとの境界２８に達したか否かを判定する。たとえば図９は、車両１のシフトポジションがＤ（ドライブ）であって、車両１が前進していると判断されて、進行方向俯瞰画像２２ｅとして前方俯瞰画像２２ａが選択された状態の一例を示す図である。なお、図９では、手前側白線端部２３ＬＥが境界２８に達していない状態を示している。
【００４２】
車両１が進行することで、図示左右方向に２つ存在している手前側白線端部２３ＬＥのうちの少なくとも一方が境界２８に達すると、ステップＳ３１１が肯定判断されて、ステップＳ３１２へ進む。ステップＳ３１２において、図示左右方向に２つ存在する境界２８のうち、ステップＳ３１１で手前側白線端部２３ＬＥが境界２８に達したと判断される方の境界２８に接する側方俯瞰画像２２ｂ，２２ｃにおいて、白線の検出処理を開始するように、第２白線検出部３０３へ指示を出力してリターンする。
【００４３】
図示左右方向に２つ存在している手前側白線端部２３ＬＥの双方が境界２８に達していない場合、ステップＳ３１１が否定判断されて、リターンする。
【００４４】
図１０は、演算処理部３の第２白線検出部３０３で行われる処理のフローチャートである。このフローチャートに示す処理は、たとえば側方進入判定部３１１から白線の検出処理を開始する指示が入力されると、第２白線検出部３０３において繰り返し実行される。なお、第２白線検出部３０３で行われる処理によって、側方俯瞰画像２２ｂ，２２ｃに表示されている駐車枠線２３Ｌ（たとえば、図１１の俯瞰画像２２ｂ，２２ｃに現れている駐車枠線２３Ｌ）を検出する。
【００４５】
ステップＳ１４１において、側方俯瞰画像２２ｂ，２２ｃに対して、走査されるラインを間引くために飛び越し走査（インターレススキャン）を行う。このような間引かれた走査を行い、すべての走査線、すなわち間引かれなかったライン（飛び越し走査によって得られた、たとえば１フィールド分）に対して横方向のエッジフィルタを適用する。
【００４６】
このように、飛び越し走査によって得られた、たとえば１フィールド分に対してだけ横方向のエッジフィルタを適用することで、側方俯瞰画像２２ｂ，２２ｃに対する白線検出処理の負荷を減らすことができる。
【００４７】
なお、後述する図１２では、上述した飛び越し走査に係る走査線２６を模式的に示している。ステップＳ１４１を実行するとステップＳ１４３へ進む。
【００４８】
ステップＳ１４３において、ステップＳ１４１における処理結果から、輝度の立ち上がりおよび立ち下がりのピークを抽出してステップＳ１４５へ進む。ステップＳ１４５において、ステップＳ１４３における処理の結果から、所定の間隔（駐車枠線の横幅に相当する間隔）で輝度の立ち上がりのピークと輝度の立ち下がりのピークとによってペアとして成り立つエッジのみを残す処理を行ってステップＳ１４７へ進む。
【００４９】
ステップＳ１４７において、第１駐車枠検出部３０２で登録した駐車枠２３についての位置の情報に基づいて、駐車枠線２３Ｌの延長線を側方俯瞰画像２２ｂ，２２ｃの領域に延ばす。たとえば、図１１に示すように、第１駐車枠検出部３０２で認識した駐車枠２３を構成する駐車枠線２３Ｌについての情報から、側方俯瞰画像２２ｂ，２２ｃの領域に延在する駐車枠線２３Ｌの延長線２５を算出する。なお、図１１に図示した例では、駐車枠線２３Ｌの延在方向の中心線を延長線２５として延ばしている。
【００５０】
ステップＳ１４７が実行されるとステップＳ１４９へ進み、飛び越し走査に係る各ライン（各走査線２６）とステップＳ１４７で算出した延長線２５との交点を算出する。すなわち、図１２における俯瞰画像２２ｂ，２２ｃに示すように、各走査線２６と延長線２５との交点２７を算出する。なお、図１１や図１２で示している延長線２５，走査線２６および交点２７は、説明の便宜のために図中に表しているだけであり、表示装置１Ｍに表示される画像には、延長線２５，走査線２６および交点２７は表示されない。
【００５１】
ステップＳ１４９が実行されるとステップＳ１５１へ進み、各走査線２６上で各交点２７の近傍（駐車枠線２３Ｌの幅方向に相当する所定の範囲内）に、輝度の立ち上がりのピークと輝度の立ち下がりのピークとによってペアとして成り立つエッジが存在するか否かを確認してステップＳ１５３へ進む。
【００５２】
ステップＳ１５３において、一番上のライン、すなわち、図１２における図示上方の走査線２６から順に交点２７を辿り、ステップＳ１５１で存在を確認したエッジのペアが存在しなかった交点２７を特定し、特定した交点２７の１つ上の走査線２６上の交点２７を白線の下端、すなわち駐車枠線２３Ｌの下端として、この交点２７の座標を抽出し、第２駐車枠検出部３０４へ出力する。
【００５３】
図１３は、演算処理部３の第２駐車枠検出部３０４で行われる処理のフローチャートである。このフローチャートに示す処理は、たとえば、上述した第２白線検出部３０３における白線検出処理が実施されると、第２駐車枠検出部３０４において実行される。ステップＳ１６１において、上述した第２白線検出部３０３で白線検出を実施したか否かを判断する。ステップＳ１６１は肯定判断されるとステップＳ１６３へ進む。
【００５４】
ステップＳ１６３において、第１白線検出部３０１で検出された白線の下端を、第２白線検出部３０３で検出した駐車枠線２３Ｌの下端と置き換えて、進行方向俯瞰画像２２ｅと側方俯瞰画像２２ｂ，２２ｃとにまたがった白線が、たとえば図１２における右側と左側のそれぞれ１本の駐車枠線２３Ｌであると判定し、これら２本の白線によって１つの駐車枠２３が構成されるものとして、この駐車枠２３の位置の情報を登録する。そして登録した情報を出力部４へ出力してリターンする。
【００５５】
ステップＳ１６１が否定判断されるとリターンする。
【００５６】
上述した本実施の形態によれば、次の作用効果を奏する。
（１）  第１白線検出部３０１で検出した手前側白線端部２３ＬＥが進行方向俯瞰画像２２ｅと側方俯瞰画像２２ｂ，２２ｃとの境界２８に達したか否かを判定するように、側方進入判定部３１１を構成した。そして、側方進入判定部３１１で、手前側白線端部２３ＬＥが境界２８に達したと判定されると、側方俯瞰画像２２ｂ，２２ｃから白線を検出するように、第２白線検出部３０３を構成した。これにより、進行方向俯瞰画像２２ｅと側方俯瞰画像２２ｂ，２２ｃとにまたがった駐車枠線２３Ｌであっても駐車枠線２３Ｌを正しく認識できるので、車両１およびドライバに対して提供される駐車枠２３に関する情報を適切化できる。
【００５７】
（２）  第１駐車枠検出部３０２で検出された駐車枠２３に係る白線の延在方向に関する情報に基づいて白線を検出するように第２白線検出部３０３を構成した。これにより、側方俯瞰画像２２ｂ，２２ｃにおける白線の位置を予測できるので、飛び越し走査した場合であっても側方俯瞰画像２２ｂ，２２ｃにおける白線を検出できる。したがって、第２白線検出部３０３における白線検出処理の負荷を減らすことができ、第２白線検出部３０３に係る演算装置の性能を必要以上に要求しなくて済むため、車載画像処理装置１００のコストダウンに貢献できる。
【００５８】
（３）  より具体的には、第１駐車枠検出部３０２で認識した駐車枠２３を構成する駐車枠線２３Ｌについての情報から、側方俯瞰画像２２ｂ，２２ｃの領域に延在する駐車枠線２３Ｌの延長線２５を算出するように構成した。そして、延長線２５と飛び越し走査に係る各ライン（各走査線２６）との交点を算出するように構成した。また、各交点２７の近傍に、輝度の立ち上がりのピークと輝度の立ち下がりのピークとによってペアとして成り立つエッジが存在するか否かを確認するように構成した。これにより、進行方向俯瞰画像２２ｅと側方俯瞰画像２２ｂ，２２ｃとにまたがって存在する白線を容易に検出できるので、第２白線検出部３０３における白線検出処理の負荷を減らすことができ、第２白線検出部３０３に係る演算装置の性能を必要以上に要求しなくて済むため、車載画像処理装置１００のコストダウンに貢献できる。
【００５９】
（４）  第１白線検出部３０１による行方向俯瞰画像２２ｅの走査については順次走査を行い、第２白線検出部３０３による側方俯瞰画像２２ｂ，２２ｃの走査については飛び越し走査を行うように構成した。すなわち、第２白線検出部３０３による側方俯瞰画像２２ｂ，２２ｃの走査密度が、第１白線検出部３０１による行方向俯瞰画像２２ｅの走査密度よりも粗くなるように構成した。これにより、白線検出に係る処理速度を向上できるので、遅滞なく白線検出ができ、ひいては、遅滞なく駐車枠に関する情報を出力できる。したがって、駐車枠に関する情報を用いた車両１側での処理時間を短縮でき、駐車枠に関する情報を用いた車両１の制御に資する。
【００６０】
[第２の実施の形態]
次に、本発明の第２の実施の形態について図１４から図２２を参照しつつ以下に説明する。
【００６１】
図１４は、第２実施の形態にかかわる外界認識装置２００の構成を説明するブロック図である。図１４に示す車載画像処理装置２００は、車両１に搭載されて使用されるものであり、演算処理部３１と、出力部４と、を備える。なお、第１の実施の形態と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。
【００６２】
本実施の形態において特徴的なことは、画像合成部２を用いず、演算処理部３１で直接画像処理を実施していることである。
【００６３】
演算処理部３１が行う演算処理の内容について説明する。図１５は、演算処理部３１が行う演算処理の制御ブロック図である。図１２に示すように、演算処理部３１は、画像選択部３６１と、第１白線検出部３１１と、第１駐車枠検出部３０２と、側方進入判定部３６２と、第２白線検出部３１３と、第２駐車枠検出部３０４の各制御ブロックを機能的に有する。演算処理部３１は、車両に取り付けたカメラ１ａ〜１ｄから取得される画像２１ａ〜２１ｄのうち、第1白線検出部３１１において前方カメラ画像２１ａ、第２白線検出部にて右側方カメラ画像２１ｂ、左側方カメラ画像２１ｃを用いる。演算処理部３１では、たとえば、これらの各制御ブロックに対応してメモリに記録されているプログラムをマイクロコンピュータで実行することにより、図１２の各制御ブロックを実現している。演算処理部３１は、たとえば車速が所定の速度（たとえば５０ｋｍ／ｈ）以下となった場合に、処理を実施する。車速が所定の速度以下となったか否かの判断は、車両側から出力される車速パルスの周期に基づいて判断してもよく、車両の不図示の制御装置から出力される車速に関する情報に基づいて判断してもよい。演算処理部３１による駐車枠の認識結果は、出力部４へ出力される。
【００６４】
前方カメラ画像２１ａ、後方カメラ画像２１ｄは、演算処理部３において画像選択部３６１に入力される。画像選択部３６１は、自車両の進行方向に関する情報として、自車両のシフトポジションに関する情報を検出し、検出したシフトポジションに対応する進行方向（前または後）に応じたカメラ画像を前方カメラ画像２１ａおよび後方カメラ画像２１ｄのいずれか一方から選択し、進行方向カメラ画像２１ｅとして第１白線検出部３１１へ出力される。
【００６５】
第１白線検出部３１１は、前方カメラ画像２１ａを入力し、路面に描かれた白線を検出する。第１白線検出部３１１が行う処理内容については、後述する。第１白線検出部３１１による白線の検出（認識）結果は、第１駐車枠検出部３０２へ出力される。
【００６６】
第２白線検出部３１３は、第１駐車枠検出部３０２が行った処理内容に基づいて、右側方カメラ画像２１ｂ、左側方カメラ画像２１ｃにおける白線の予想位置を算出し、算出した予想位置における駐車枠線を検出する。第２白線検出部３１３が行う処理内容については、後述する。第２白線検出部３１３による白線の検出（認識）結果は、側方進入判定部３６２および図１４のへ出力部４へ出力される。
【００６７】
側方進入判定部３６２は、第１駐車枠検出部３０２が行った処理内容に基づいて、第１駐車枠検出部３０２で検出した駐車枠に係る白線の端部のうち、車両１の手前側に存在する白線の端部である手前側白線端部４１ＬａＥ，４１ＬｂＥが、進行方向カメラ画像２１ｅと側方カメラ画像２１ｂ，２１ｃとの境界４６Ｌ、４６Ｒに達したか否かを判定する。側方進入判定部３６２が行う処理内容については、後述する。
【００６８】
図１７は、演算処理部３１の第１白線検出部３１１で行われる処理のフローチャートである。このフローチャートに示す処理は、演算処理部３１が処理を実施する度に、繰り返し実行される。ステップＳ２０１において、車両１の進行方向カメラ画像２１ｅに対して、処理ラインを設定する。処理ラインの設定の例について、図１８を用いて説明する。図１８（ａ）は、進行方向カメラ画像２１ｅの一例である。この画像に対して、処理ライン４２を設定する。図１８（ｂ）はラインを均等に画面全体に適用した場合の一例である。このほかにも、過去の白線や駐車枠の検出結果に基づいて設定したり、自車の挙動に基づいて設定する方法等が考えられるが、ここでは説明を割愛する。
【００６９】
ステップＳ２０３において、ステップＳ２０１にて設定したすべての処理ラインに対して横方向のエッジフィルタを適用してステップＳ２０５へ進む。ステップＳ２０５において、ステップＳ２０３における処理結果から、輝度の立ち上がりおよび立ち下がりのピークを抽出してステップＳ２０７へ進む。ステップＳ２０７において、ステップＳ２０５における処理の結果から、所定の間隔（駐車枠線の横幅に相当する間隔）で輝度の立ち上がりのピークと輝度の立ち下がりのピークとによってペアとして成り立つエッジのみを残す処理を行ってステップＳ２０９へ進む。
【００７０】
ステップＳ２０９において、ステップＳ２０７における処理によって残されたエッジに関し、立ち上がりのピーク同士、および立ち下がりピーク同士で、直線状に並んでいると推定されるピークをひとまとまりのグループとして関連づけるグルーピング（グループ化）を行う。ここで、本実施例ではカメラ画像をそのまま用いているため、エッジのピークは第１の実施例のように画像上で直線上に並ばない。そこで、本実施例では、カメラ幾何情報を用いてすべてのエッジ点を世界座標へ変換し、世界座標上でグルーピングを実施する。グルーピング後、ステップＳ２１１へ進む。ステップＳ２１１において、ステップＳ２０９における処理によるピークの各グループに対して、ノイズの除去を目的として、各グループの長さによるフィルタリングを行う。すなわち、１つのグループを構成する直線状に並ぶピークのうち、直線の両端に相当する２つのピーク同士の間隔が所定の長さよりも長いグループだけを残す処理を行う。ステップＳ２１１における処理を実行するとステップＳ２１３へ進む。
【００７１】
ステップＳ２１３において、ステップＳ２１１における処理によって残された各グループについて、立ち上がりのエッジの任意の１グループ、およびこの立ち上がりのエッジとペアをなす立ち下がりのエッジのグループにおける、直線の両端に相当する２つの端点（上端および下端）の座標をそれぞれ抽出して、側方進入判定部３６２へ出力する。
【００７２】
図２０は、演算処理部３１の側方進入判定部３６２で行われる処理のフローチャートである。ステップＳ３６２において、上述した第１駐車枠検出部３０２の図６におけるステップＳ１２９で登録された駐車枠２３の４隅の座標に基づいて、この駐車枠２３を構成する２本の駐車枠線４１Ｌａ，４１Ｌｂの端部のうち、車両１の手前側に存在する白線の端部である手前側白線端部４１ＬａＥ，４１ＬｂＥが進行方向カメラ画像２１ｅと側方カメラ画像２１ｂ，２１ｃとの境界４６Ｌ，４６Ｒに達したか否かを判定する。たとえば図１９は、車両１のシフトポジションがＤ（ドライブ）であって、車両１が前進していると判断されて、進行方向カメラ画像２１ｅとして前方カメラ画像２１ａが選択された状態の一例を示す図である。なお、図１９では、手前側白線端部４１ＬａＥ，４１ＬｂＥが境界４６Ｌ，４６Ｒに達していない状態を示している。
【００７３】
車両１が進行することで、図示左右方向に２つ存在している手前側白線端部２３ＬＥのうちの少なくとも一方が境界４６Ｌ，４６Ｒに達すると、ステップＳ５２１が肯定判断されて、ステップＳ５２３へ進む。ステップＳ５２３において、図示左右方向に２つ存在する境界４６Ｌ，４６Ｒのうち、ステップＳ５２１で手前側白線端部４１ＬａＥ，４１ＬｂＥが境界４６Ｌ，４６Ｒに達したと判断される方の境界４６Ｌ，４６Ｒに接する側方カメラ画像２１ｂ，２１ｃにおいて、白線の検出処理を開始するように、第２白線検出部３１３へ指示を出力してリターンする。
【００７４】
図示左右方向に２つ存在している手前側白線端部４１ＬａＥ，４１ＬｂＥの双方が境界４６Ｌ，４６Ｒに達していない場合、ステップＳ３１１が否定判断されて、リターンする。
【００７５】
図２１は、演算処理部３１の第２白線検出部３１３で行われる処理のフローチャートである。このフローチャートに示す処理は、たとえば側方進入判定部３６２から白線の検出処理を開始する指示が入力されると、第２白線検出部３１３において繰り返し実行される。なお、第２白線検出部３１３で行われる処理によって、車両１側方のカメラ画像２１ｂ，２１ｃに表示されている駐車枠線４１Ｌｃ（たとえば、図１９に現れている駐車枠線４１Ｌｃ）を検出する。以下、このフローチャートを用いて左側方カメラ画像２１ｂに関する処理を説明するが、右側方カメラ画像２１ｃに対する処理も同様である。
【００７６】
ステップＳ２２１において、第１駐車枠検出部３０２で登録した駐車枠２３についての位置の情報に基づいて、側方カメラ画像２１ｂ，２１ｃにおいて存在すると予測される駐車枠線４３Ｌの予想位置を算出する。図２２に示すのは左側方カメラ画像２１ｂに対する処理の例である。以下、図に基づいて説明する。図に示すように、第１駐車枠検出部３０２にて認識した駐車枠２３を構成する線４１Ｌｂについての情報から、側方カメラ画像２１ｂ，２１ｃにおいて存在すると予測される駐車枠線４１Ｌｂの予想位置を示す仮想線４３Ｌを算出する。
【００７７】
ステップＳ２２３において、仮想線４３Ｌを、カメラ幾何情報を用いて側方画像２１ｂ上へ重畳し、その線の周囲に処理ライン４４Ｌを設定する。
【００７８】
ステップＳ２２５において、ステップＳ２２３において設定した処理ラインに対して横方向のエッジフィルタを適用する。
このように、処理ライン４２よりＹ方向の間隔が疎な横方向のエッジフィルタを適用することで、側方カメラ画像２１ｂ，２１ｃに対する白線検出処理の負荷を減らすことができる。
【００７９】
ステップＳ２２７において、ステップＳ２２５における処理結果から、輝度の立ち上がりおよび立ち下がりのピークを抽出してステップＳ２２９へ進む。ステップＳ２２９において、ステップＳ２２７における処理の結果から、所定の間隔（駐車枠線の横幅に相当する間隔）で輝度の立ち上がりのピークと輝度の立ち下がりのピークとによってペアとして成り立つエッジのみを残す処理を行ってステップＳ２３１へ進む。
【００８０】
ステップＳ２３１において、各処理ライン４４と仮想線４３の各交点４５の近傍に存在している輝度の立ち上がりのピークと輝度の立ち下がりのピークとによってペアとして成り立つエッジペアを抽出する。
【００８１】
ステップＳ２３３において、延長予測線４３Ｌと、ライン４３Ｌの交点４７Ｌから、順次処理エリアを探索し、エッジペアが存在するか否かを判定する。エッジペアが存在しなかった、もしくは最終ラインまで探索に成功したら、そのラインで処理を終了し、ステップＳ２３５へ移る。そして、ステップＳ２３５において、ステップＳ２３３において、交点４７Ｌと探索を終了した点の一つ手前の点を白線として登録する。
【００８２】
[第３の実施の形態]
次に、本発明の第３の実施の形態について図２３から図２９を参照しつつ以下に説明する。
【００８３】
図２４は、第３の実施の形態にかかわる外界認識装置３００の構成を説明するブロック図である。図２４に示す車載画像処理装置３００は、車両１に搭載されて使用されるものであり、演算処理部３２と、出力部４と、を備える。なお、第１実施の形態および第２実施の形態と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。
【００８４】
本実施の形態において特徴的なことは、駐車枠ではなく、白線抽出結果から走行レーンを検出していることである。図２３（ａ）に示すように、自車１がレーンを逸脱しそうな場合、実際に前輪がレーンを跨いだか否かは、サイドカメラで確認するほうが望ましく、
本実施例はこのような場合に側方カメラを用いて前輪が車線を逸脱するタイミングを正確に認識するものである。
【００８５】
演算処理部３２が行う演算処理の内容について説明する。図２４は、演算処理部３２が行う演算処理の制御ブロック図である。図２４に示すように、演算処理部３２は、第１白線検出部３１１と、第１レーン検出部３２２と、第２白線検出部３１３と、第２レーン検出部３２４の各制御ブロックを機能的に有する。演算処理部３２は、車両に取り付けたカメラ１ａ〜１ｄから取得される画像２１ａ〜２１ｄのうち、第1白線検出部３１１において前方カメラ画像２１ａ、第２白線検出部にて右側方カメラ画像２１ｂ、左側方カメラ画像２１ｃを用いる。演算処理部３２では、たとえば、これらの各制御ブロックに対応してメモリに記録されているプログラムをマイクロコンピュータで実行することにより、図２０の各制御ブロックを実現している。演算処理部３２は、たとえば車速が所定の速度（たとえば４０ｋｍ／ｈ）以上となった場合に、処理を実施する。車速が所定の速度以下となったか否かの判断は、車両側から出力される車速パルスの周期に基づいて判断してもよく、車両の不図示の制御装置から出力される車速に関する情報に基づいて判断してもよい。演算処理部３２による駐車枠の認識結果は、出力部４へ出力され、例えばレーン逸脱警報等に用いられる。
【００８６】
第３実施の形態における第１の白線抽出部３１１の処理は第２実施の形態で説明したフローと同一であるため詳細な説明は割愛する。図２６（ａ）に示すように、前方カメラ画像２１ａに写る白線４１Ｌａ、４１Ｌｂに対し、処理エリア４２を設定する。処理エリアは、過去のレーン認識結果の近傍に設けたり、画面全体を処理するように設定される。本実施形態においては、前方カメラ画像２１ａを左右に分割し、それぞれの領域から左側レーン、右側レーンを検出している。第１白線検出部３１１による白線の検出（認識）結果は、第１レーン検出部３２２へ出力される。
【００８７】
図２７は、演算処理部３２の第１レーン検出部３２２で行われる処理のフローチャートである。このフローチャートに示す処理は、演算処理部３２が処理を実施する度に、繰り返し実行される。ステップＳ３０１において、第１白線検出部３１１から出力された情報に基づいて、任意の２本の白線に関する情報を選択してステップＳ３０３へ進む。
【００８８】
ステップＳ３０３において、ステップＳ３０１で選択した２本の白線同士の延在方向の角度差が所定値（Ｔｈθｍａｘ）以下であるか否かを判断する。すなわち、ステップＳ３０３では、２本の白線が略平行であるか否かを判断する。ステップＳ３０３が肯定判断されるとステップＳ３０５へ進み、２本の白線の間隔が所定の範囲内（ＴｈＷｍｉｎ以上かつＴｈＷｍａｘ以下）であるか否かを判断する。すなわち、ステップＳ３０５では、レーンを構成する２本の白線として考えられる間隔で２本の白線が並んでいるか否かを判断する。
【００８９】
ステップＳ３０５が肯定判断されるとステップＳ３０７へ進み、２本の白線で構成される４隅の座標をレーンついての位置の情報として登録する。ステップＳ３０５を実行するとステップＳ３０７へ進み、第１白線検出部３１１から出力された情報に基づくすべての白線に関して、任意の２本の白線についての上述した処理を行ったか否かを確認する。ステップＳ３０７が肯定判断されると、上述した処理によって得られた結果を第２白線検出部３１３に出力して、リターンする。ステップＳ３０９が否定判断されるとステップＳ３０１へ戻る。
【００９０】
ステップＳ３０３が否定判断されるか、ステップＳ３０５が否定判断されるとステップＳ３０９へ進む。
【００９１】
第３実施の形態における第２の白線検出部３１３の処理は、第２実施の形態で説明したフローと同一であるため詳細な説明は割愛する。図２８（ａ）に示すように、前方カメラ画像２１ａから検出したレーンを成す白線の情報に基づき、仮想線４３を引き、仮想線を中心として処理エリア４４を設定する。第２の白線検出部の白線検出結果は、第２レーン検出部３２４へ出力される。
【００９２】
図２９は、演算処理部３２の第２レーン検出部３２４で行われる処理のフローチャートである。このフローチャートに示す処理は、演算処理部３２が処理を実施する度に、繰り返し実行される。ステップＳ３２１において、上述した第２白線検出部３１３で白線を検出できたか否かを判断する。ステップＳ３２１は肯定判断されるとステップＳ３２３へ進む。
【００９３】
ステップＳ３２３において、第２白線検出部３１３で検出した白線と、第１白線検出部３１１で検出された白線のうち、第２白線検出部３１３で検出した白線の近くに存在する白線とによって構成されるレーンを、第１レーン検出部３２２で登録したレーンを棄却して新規登録する。そして、登録した情報を出力部４へ出力してリターンする。
【００９４】
ステップＳ３２１は否定判断されるとリターンする。
【００９５】
以上説明したように、本発明は駐車枠の検出に限定されるものではなく、旋回時に前方カメラの視野に一部しか入らない物体を検出する際に、前方カメラの検出結果に基づいて、側方カメラで物体の一部を検出し、前方カメラと側方カメラの検出結果を用いて物体を検出するものである。
【００９６】
−−−変形例−−−
（１）  上述の説明では、たとえば車速が所定の速度（たとえば５０ｋｍ／ｈ）以下となった場合に、演算処理部３の各部で上述した処理が行われるように構成したが、本発明はこれに限定されない。上述した所定の速度としての５０ｋｍ／ｈは一例であり、演算処理部３の各部で上述した処理を行う閾値としての車速が、５０ｋｍ／ｈよりも速い速度や遅い速度であってもよい。また、たとえば、車両１に搭載されたナビゲーション装置から、車両１の現在位置が駐車場内であるか否かを表す情報に基づいて、演算処理部３の各部で上述した処理が行われるように構成してもよい。
【００９７】
（２）  上述の説明では、第１駐車枠検出部３０２および第２駐車枠検出部３０４で駐車枠２３の検出を行うように構成したが、本発明はこれに限定されない。たとえば、第１駐車枠検出部３０２で行われる処理を第２駐車枠検出部３０４で行われるように構成してもよい。すなわち、第１駐車枠検出部３０２を設けることは必須ではない。
（３）  上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
【００９８】
なお、本発明は、上述した実施の形態のものに何ら限定されず、車両の進行方向を検出する進行方向検出部と、車両の前方、後方、および側方に設けられたカメラで撮影して得られた画像を取得し、取得した画像のうち、車両の前方に設けられたカメラで撮影して得られた画像、および、車両の後方に設けられたカメラで撮影して得られた画像のいずれか一方の画像から、進行方向検出部が検出した車両の進行方向に対応する画像を進行方向画像として選択する画像選択部と、画像選択部で選択された進行方向画像から物体の特徴を検出する進行方向物体特徴検出部と、進行方向物体特徴検出部で検出した物体の特徴の端部のうち、車両の手前側に存在する手前側物体特徴端部が、車両の側方に設けられたカメラで撮影して得られた側方画像と、進行方向画像との境界に達したか否かを判定する側方進入判定部と、側方進入判定部で、手前側物体特徴端部が、進行方向画像と側方画像の境界に達したと判定されると、側方画像から物体の特徴を検出する側方物体特徴検出部と、進行方向物体特徴検出部と、側方物体特徴検出部とで検出した物体の特徴を用いて物体を検出する物体検出部を備えることを特徴とする各種構造の車載画像処理装置を含むものである。
また、本発明は、上述した実施の形態のものに何ら限定されず、車両の前方、後方、および側方に設けられたカメラで撮影して得られた画像を取得し、取得した画像を合成して、俯瞰画像を生成する画像合成部と、車両の進行方向を検出する進行方向検出部と、画像合成部で生成した俯瞰画像のうち、車両の前方に設けられたカメラで撮影して得られた画像に基づいて生成した前方俯瞰画像、および、画像合成部で生成した俯瞰画像のうち、車両の後方に設けられたカメラで撮影して得られた画像に基づいて生成した後方俯瞰画像のいずれか一方の俯瞰画像から、進行方向検出部が検出した車両の進行方向に対応する俯瞰画像を進行方向俯瞰画像として選択する画像選択部と、画像選択部で選択された進行方向俯瞰画像から白線を検出する進行方向白線検出部と、進行方向白線検出部で検出した白線の端部のうち、車両の手前側に存在する白線の端部である手前側白線端部が、画像合成部で生成した俯瞰画像のうち、車両の側方に設けられたカメラで撮影して得られた画像に基づいて生成した前方俯瞰画像と、進行方向俯瞰画像との境界に達したか否かを判定する側方進入判定部と、側方進入判定部で、手前側白線端部が、前方俯瞰画像と進行方向俯瞰画像との境界に達したと判定されると、側方俯瞰画像から白線を検出する側方白線検出部とを備えることを特徴とする各種構造の車載画像処理装置を含むものである。
また、本発明は、上述した実施の形態のものに何ら限定されず、車両の前方、後方、および側方に設けられたカメラで撮影して得られた画像を取得し、取得した画像を合成して、俯瞰画像を生成する画像合成部と、車両の進行方向を検出する進行方向検出部と、画像合成部で生成した俯瞰画像のうち、車両の前方に設けられたカメラで撮影して得られた画像に基づいて生成した前方俯瞰画像、および、画像合成部で生成した俯瞰画像のうち、車両の後方に設けられたカメラで撮影して得られた画像に基づいて生成した後方俯瞰画像のいずれか一方の俯瞰画像から、進行方向検出部が検出した車両の進行方向に対応する俯瞰画像を進行方向俯瞰画像として選択する画像選択部と、画像選択部で選択された進行方向俯瞰画像から白線を検出する第１の白線検出部と、第１の白線検出部の検出結果に基づいて、駐車枠を検出する第１の駐車枠検出部と、第１の駐車枠検出部で検出した駐車枠に係る白線の端部のうち、車両の手前側に存在する白線の端部である手前側白線端部が、画像合成部で生成した俯瞰画像のうち、車両の側方に設けられたカメラで撮影して得られた画像に基づいて生成した前方俯瞰画像と、進行方向俯瞰画像との境界に達したか否かを判定する側方進入判定部と、側方進入判定部で、手前側白線端部が、前方俯瞰画像と進行方向俯瞰画像との境界に達したと判定されると、第１の駐車枠検出部の検出結果を参照して、側方俯瞰画像から白線を検出する第２の白線検出部とを備えることを特徴とする各種構造の車載画像処理装置を含むものである。
【符号の説明】
【００９９】
２  画像合成部、３  演算処理部、４  出力部、２２  俯瞰画像、２２ａ  前方俯瞰画像、２２ｂ，２２ｃ  側方俯瞰画像、２２ｄ  後方俯瞰画像、２２ｅ  進行方向俯瞰画像、１００  車載画像処理装置、３０１  第１白線検出部、３０２  第１駐車枠検出部、３０３  第２白線検出部、３０４  第２駐車枠検出部、３１０  画像選択部、３１１  側方進入判定部
【図１】
2014107696.tif 000003
【図２】
2014107696.tif 000004
【図３】
2014107696.tif 000005
【図４】
2014107696.tif 000006
【図５】
2014107696.tif 000007
【図６】
2014107696.tif 000008
【図７】
2014107696.tif 000009
【図８】
2014107696.tif 000010
【図９】
2014107696.tif 000011
【図１０】
2014107696.tif 000012
【図１１】
2014107696.tif 000013
【図１２】
2014107696.tif 000014
【図１３】
2014107696.tif 000015
【図１４】
2014107696.tif 000016
【図１５】
2014107696.tif 000017
【図１６】
2014107696.tif 000018
【図１７】
2014107696.tif 000019
【図１８】
2014107696.tif 000020
【図１９】
2014107696.tif 000021
【図２０】
2014107696.tif 000022
【図２１】
2014107696.tif 000023
【図２２】
2014107696.tif 000024
【図２３】
2014107696.tif 000025
【図２４】
2014107696.tif 000026
【図２５】
2014107696.tif 000027
【図２６】
2014107696.tif 000028
【図２７】
2014107696.tif 000029
【図２８】
2014107696.tif 000030
【図２９】
2014107696.tif 000031