(57)【要約】【課題】２つの撮像画像の間で生じる視差に基づき立体物を認識する装置において、光芒により立体物が誤認識されたことを検知できるようにする。【解決手段】立体物認識装置は、同一方向を撮影するように配置された一対のカメラと、一対のカメラにて撮影された撮像画像の間に生じる視差に基づき、立体物を認識する認識部１６と、認識部にて立体物が認識されると、撮像画像に基づき立体物の領域内に光芒が存在するか否かを判定し、光芒が存在する場合に、立体物は光芒により誤認識されたものであると判断する光芒判定部１８と、を備える。【選択図】図２
2018077772.tif 000002
【特許請求の範囲】
【請求項１】
同一方向を撮影するように配置された一対のカメラ（２Ｌ，２Ｒ）と、
前記一対のカメラにて撮影された撮像画像の間に生じる視差に基づき、立体物を認識する認識部（１６）と、
前記認識部にて前記立体物が認識されると、前記撮像画像に基づき、当該立体物の領域内に光芒が存在するか否かを判定し、前記光芒が存在する場合に、当該立体物は前記光芒により誤認識されたものであると判断する光芒判定部（１８）と、
を備えた、立体物認識装置。
【請求項２】
前記光芒判定部は、
前記撮像画像の中から、前記立体物の領域内で前記光芒の一部となり得る画素又は画素領域を探索開始点として抽出し、該探索開始点の周囲で輝度の高い方向へ画素探索を行う画素探索部（１８Ａ）と、
前記画素探索部による画素探索の途中で輝度が高く光源となり得る画素又は画素領域が存在する場合に、当該探索軌跡を光芒候補として選択する候補選択部（１８Ｂ）と、
を備え、前記候補選択部にて光芒候補として選択された探索軌跡が、前記探索開始点から前記光源までの直線上から乖離がない場合に、前記立体物の領域内に前記光芒が存在すると判断するよう構成されている、請求項１に記載の立体物認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一対のカメラにて撮影された撮像画像の間に生じる視差に基づき立体物を認識する立体物認識装置に関する。
【背景技術】
【０００２】
従来、車両が立体物に衝突するのを回避させるために、例えば、特許文献１に記載のように、車両前方を左右一対のカメラで撮影し、その撮像画像の視差に基づき立体物を認識するよう構成された立体物認識装置が知られている。
【０００３】
また、この種の装置では、フロントガラスに付着した水滴や水のスジによって立体物が実際のものよりも大きく認識されることがある。このため、特許文献２に記載のように、光が拡散する環境下では、各画素の輝度及び色に基づき光が拡散した領域を特定して立体物の外縁を決定することも提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−２４１６０号公報
【特許文献２】特許第５２７２０４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記従来の立体物認識装置では、車両のフロントガラスの汚れ等によって微細なシリンドリカルガラスが形成されることにより、光が拡散し、カメラによる撮像画像上で、光源を中心に光が線状に伸びる現象、つまり光芒、が発生することがある。
【０００６】
そして、このような光芒が左右のカメラに発生して、左右の撮像画像で光芒がマッチングした場合、光芒同士が作り出す視差によって、立体物が誤認識されてしまうという問題が発生する。
【０００７】
なお、特許文献２では、光の拡散によって認識した立体物の外縁が広がるのを防止できるものの、光芒により立体物が誤認識されたことを検知することはできない。
本開示の一局面は、２つの撮像画像の間で生じる視差に基づき立体物を認識する装置において、光芒により立体物が誤認識されたことを検知できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本開示の一局面の立体物認識装置は、一対のカメラ（２Ｌ，２Ｒ）と、認識部（１６）と、光芒判定部（１８）とを備える。
認識部は、一対のカメラにて撮影された撮像画像の間に生じる視差に基づき、立体物を認識する。
【０００９】
光芒判定部は、認識部にて立体物が認識されると、撮像画像に基づき、当該立体物の領域内に光芒が存在するか否かを判定し、光芒が存在する場合に、立体物は光芒により誤認識されたものであると判断する。
【００１０】
従って、本開示の立体物認識装置によれば、一対のカメラにて光芒がそれぞれ撮像されて、各撮像画像における光芒同士が作り出す視差によって、認識部が立体物を誤認識した場合に、光芒判定部にて、立体物が誤認識されたことを検知することができる。
【００１１】
よって、本開示の立体物認識装置によれば、認識部にて誤認識された立体物がカメラの前方に存在するものとして外部装置に出力されるのを抑制でき、立体物認識装置の信頼性を高めることができる。
【００１２】
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
【図面の簡単な説明】
【００１３】
【図１】実施形態の衝突回避支援システム全体の構成を表すブロック図である。
【図２】立体物認識装置の制御ユニットの機能構成を表すブロック図である。
【図３】制御ユニットにて実行される光芒検出処理を表すフローチャートである。
【図４】撮像画像の一例を表す説明図であり、図４Ａは立体物領域、図４Ｂは探索開始点、図４Ｃは探索開始点からの画素探索動作、をそれぞれ表す。
【発明を実施するための形態】
【００１４】
以下に本発明の実施形態を図面と共に説明する。
図１に示すように、本実施形態の衝突回避支援システム１は、車両の前方を左右一対のカメラ２Ｌ、２Ｒにて撮影し、その撮像画像の視差から車両前方に存在する立体物を認識して、車両が立体物に衝突するのを回避させるためのものである。
【００１５】
このため、衝突回避支援システム１には、カメラ２Ｌ，２Ｒと画像解析用の制御ユニット１２とを備えた立体物認識装置１０と、立体物認識装置１０による立体物の認識結果に応じてブレーキ装置４やステアリング装置６を駆動する車両制御装置２０が備えられている。
【００１６】
左右一対のカメラ２Ｌ、２Ｒは、所謂ステレオカメラであり、車両から見て同一方向である車両の前方領域を、車両の左右から撮影するように配置されている。そして、各カメラ２Ｌ，２Ｒは、左右の撮像画像を表す画像データを制御ユニット１２に入力する。
【００１７】
制御ユニット１２は、ＣＰＵ１２Ａ、ＲＡＭ，ＲＯＭ，フラッシュメモリ等の半導体メモリ（以下、メモリ）１２Ｂ、及び、図示しない入出力ポート等を備えたマイクロコンピュータにて構成されている。
【００１８】
そして、ＣＰＵ１２Ａがメモリ１２Ｂに記録されたプログラムに従い各種処理を実行することにより、車両前方に存在する立体物を認識し、認識結果を車両制御装置２０に出力する。
【００１９】
車両制御装置２０は、制御ユニット１２と同様、ＣＰＵやメモリを含むマイクロコンピュータにて構成されている。そして、車両制御装置２０は、制御ユニット１２による立体物の認識結果に基づき、ブレーキ装置４を駆動することで、車両が立体物に衝突することのないように車両を停止させる。なお、立体物の認識結果は、自車両に対する立体物の位置や大きさを表す情報である。
【００２０】
また、車両制御装置２０は、ブレーキ装置４の駆動によって立体物の手前で車両を停止させることができないときには、ステアリング装置６を駆動することで、立体物を避けるように車両の操舵輪を操舵する。この結果、車両が前方の立体物に衝突するのを回避できるようになる。
【００２１】
次に、立体物認識装置１０の制御ユニット１２は、メモリ１２Ｂに記録されたプログラムに従い各種処理を実行することによって、図２に示すように、視差生成部１４、認識部１６、及び、光芒判定部１８としての機能を実現する。
【００２２】
視差生成部１４は、左右のカメラ２Ｌ，２Ｒから左右の撮像画像である画像データを取得し、取得した画像データから左右の画像の視差を表す視差画像を生成する。
また認識部１６は、視差生成部１４にて生成された視差画像に基づき、撮像画像上の立体物を認識し、認識した立体物毎に、立体物の位置や大きさを表す立体物情報を生成して車両制御装置２０に出力する。
【００２３】
なお、視差生成部１４及び認識部１６の機能により実現される、視差画像を生成して立体物を認識する技術は、特許文献１、２等に記載のように従来から知られているので、ここでは詳細な説明は省略する。
【００２４】
次に、光芒判定部１８は、認識部１６にて立体物が認識された際に、その認識された立体物が、左右のカメラ２Ｌ，２Ｒにて撮像された光芒により誤認識されたものであるか否かを判定するためのものである。
【００２５】
そして、光芒判定部１８は、認識部１６にて認識された立体物が、光芒により誤認識されたものであると判定すると、その旨を認識部１６に通知することで、誤認識された立体物が認識部１６から車両制御装置２０に出力されるのを禁止する。
【００２６】
この結果、本実施形態の衝突回避支援システム１によれば、車両制御装置２０において、光芒により誤認識された立体物に対し、衝突回避のためのブレーキ制御及びステアリング制御が実施されるのを防止することができる。
【００２７】
ここで、光芒判定部１８は、ＣＰＵ１２Ａが図３に示す光芒検出処理を実行することにより実現される機能であり、より詳しくは、画素探索部１８Ａ及び候補選択部１８Ｂとしての機能を有する。
【００２８】
なお、光芒検出処理は、認識部１６にて立体物が認識される度に、その認識された立体物に対して実行される処理である。そして、本実施形態の光芒検出処理では、認識部１６が立体物を認識した左右の撮像画像の何れか一方を用いて、光芒の有無を判定するものとする。
【００２９】
図３に示すように、ＣＰＵ１２Ａは、光芒検出処理を開始すると、まずＳ１１０にて、上記一方の撮像画像において、認識部１６にて認識された立体物の画像領域を、図４Ａに示す立体物領域として取得する。なお、Ｓはステップを表す。
【００３０】
次に、Ｓ１２０では、図４Ｂに示すように、Ｓ１１０で取得した立体物領域内で輝度が一定値以上で光芒となり得る画素を、光芒探索の開始点である探索開始点として抽出する。
【００３１】
そして、続くＳ１３０では、図４Ｃに示すように、Ｓ１２０にて抽出された探索開始点から、探索開始点の周囲で輝度の高い方向へ画素探索を行う。
なお、Ｓ１２０での探索開始点の抽出及びＳ１３０での画素探索は、撮像画像中の一つの画素に対して実行するようにしてもよく、予め設定された複数個の画素からなる画素領域に対して実行するようにしてもよい。そして、本実施形態では、上記Ｓ１１０〜Ｓ１３０の処理により、図２に示す画素探索部１８Ａとしての機能が実現される。
【００３２】
次に、Ｓ１４０では、Ｓ１３０での画素探索の途中で、輝度が光源判定用の閾値以上で光源となり得る画素若しくは画素領域が存在するか否かを判定する光芒候補判定処理を実行する。
【００３３】
また、続くＳ１５０では、Ｓ１４０の光芒候補判定処理にて、画素探索の途中で光源となり得る画素若しくは画素領域が存在すると判定されたかを判断することにより、Ｓ１３０による探索軌跡は光芒候補であるか否かを判断する。なお、本実施形態では、Ｓ１４０，Ｓ１５０の処理により、図２に示す候補選択部１８Ｂとしての機能が実現される。
【００３４】
次に、画素探索の途中で光源となり得る画素若しくは画素領域が存在し、Ｓ１５０にて探索軌跡は光芒候補であると判断されると、Ｓ１６０に移行して、その光芒候補に対し光芒判定を行う光芒判定処理を実行する。
【００３５】
Ｓ１６０の光芒判定処理では、Ｓ１３０にて実施した画素探索の探索開始点からＳ１４０にて光源と判定された画素若しくは画素領域までの探索軌跡が、探索開始点と光源とを結ぶ直線上にあるか、その直線から乖離しているかを判定する。
【００３６】
次にＳ１７０では、Ｓ１６０にて、探索軌跡は探索開始点と光源とを結ぶ直線上にあると判定されたか否かを判断することにより、探索軌跡は光芒であるか否かを判断する。そして、探索軌跡は探索開始点と光源とを結ぶ直線上にあり、Ｓ１７０にて探索軌跡は光芒であると判断されると、Ｓ１８０に移行する。
【００３７】
Ｓ１８０では、認識部１６に対し光芒を検出したことを出力することで、認識した立体物は光芒により誤認識したものであることを通知し、光芒検出処理を終了する。
また、Ｓ１５０にて探索軌跡は光芒候補ではないと判断されるか、或いは、Ｓ１７０にて光芒ではないと判断された場合には、光芒検出処理をそのまま終了する。
【００３８】
以上説明したように、本実施形態の衝突回避支援システム１においては、車両の前方を撮影する左右一対のカメラ２Ｌ、２Ｒによる撮像画像の視差に基づき、車両前方に存在する立体物を認識して、車両が立体物に衝突するのを回避させるように構成されている。
【００３９】
そして、左右の撮像画像から立体物を認識する立体物認識装置１０には、視差生成部１４及び認識部１６に加えて、認識部１６が認識した立体物は、光芒により誤認識されたものであるか否かを判定するための光芒判定部１８が設けられている。
【００４０】
従って、本実施形態の立体物認識装置１０によれば、カメラ２Ｌ，２Ｒにて光芒が撮像されて、各撮像画像における光芒同士が作り出す視差によって、認識部１６が立体物を誤認識した場合に、光芒判定部１８にてその旨を検知することができる。
【００４１】
よって、本実施形態の衝突回避支援システム１によれば、立体物認識装置１０から車両制御装置２０に、光芒により誤認識された立体物の情報が出力されて、誤認識された立体物に対する衝突回避のための車両制御が実施されるのを抑制できる。従って、本実施形態によれば、立体物認識装置１０、延いては衝突回避支援システム１の信頼性を高めることができる。
【００４２】
また、光芒判定部１８は、認識部１６にて認識された立体物に対し、光芒判定を行うように構成されている。このため、常時撮像画像全体を画像解析して光芒の有無を判定するようにした場合に比べて、光芒判定を効率よく実施できるようになり、制御ユニット１２の処理負荷を低減できる。
【００４３】
以上、本開示の一実施形態について説明したが、本開示の立体物認識装置は上記実施形態に限定されることなく、種々変形して実施することができる。
例えば、上記実施形態において、光芒判定部１８としての機能を実現する光芒検出処理では、認識部１６が立体物を認識した左右の撮像画像の何れか一方を用いて光芒の有無を判定するものとしたが、左右の撮像画像の両方を用いるようにしてもよい。
【００４４】
この場合、左右の撮像画像毎に上記と同様の手順で光芒の有無を判定し、左右の撮像画像の両方に光芒が存在するときに、認識部１６が認識した立体物は光芒により誤認識されたものであると判定するようにしてもよい。
【００４５】
このようにすれば、左右の撮像画像の一方にだけ光芒が含まれている場合に、その光芒が光芒判定部１８にて検出されて、認識部１６が立体物を誤認識したと判断されるのを抑制でき、光芒判定部１８による誤認識の判定精度を高めることができる。
【００４６】
またこの場合、光芒検出処理では、左右の撮像画像の両方に光芒が存在すると判定した際に、撮像画像内での光芒の位置や長さを比較し、これらが略一致している場合に、認識部１６にて立体物が誤認識されたと判断するようにしてもよい。このようにすれば、光芒判定部１８による誤認識の判定精度をより高めることができる。
【００４７】
次に、上記実施形態では、制御ユニット１２は、ＣＰＵ１２Ａ及びメモリ１２Ｂを有するマイクロコンピュータにて構成され、図２に示す各機能は、ＣＰＵ１２Ａがメモリ１２Ｂに格納されたプログラムを実行することにより実現されるものとして説明した。
【００４８】
しかし、制御ユニット１２の各機能の一部若しくは全ては、ソフトウェアではなく、論理回路やアナログ回路を組み合わせた一つ又は複数のＩＣ等を用いてハードウェアにて実現されてもよい。
【００４９】
また、上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
【００５０】
また、本開示の技術は、立体物認識装置の他、立体物認識装置を構成要素とするシステム、立体物認識装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、立体物認識方法など、種々の形態で実現することもできる。
【符号の説明】
【００５１】
１…衝突回避支援システム、２Ｌ，２Ｒ…カメラ、４…ブレーキ装置、６…ステアリング装置、１０…立体物認識装置、１２…制御ユニット、１２Ａ…ＣＰＵ、１２Ｂ…メモリ、１４…視差生成部、１６…認識部、１８…光芒判定部、１８Ａ…画素探索部、１８Ｂ…候補選択部、２０…車両制御装置。
【図１】
2018077772.tif 000003
【図２】
2018077772.tif 000004
【図３】
2018077772.tif 000005
【図４】
2018077772.tif 000006