(57)【要約】【課題】車両の周囲への赤外線の投光を減らす対象物検出装置を提供する。【解決手段】車両の周囲を撮像した画像にもとづいて対象物を検出する対象物検出装置１０において、赤外線投光部２２は、赤外線を所定の投光間隔で投光する。撮像部２０は、投光された赤外線の反射光を撮像する。画像処理部２６は、撮像部２０により撮像した画像において対象物を検出する。撮像部２０は、赤外線投光部２２が投光する間に撮像して、赤外線投光部２２が投光しない間は撮像しない。【選択図】図１
2017039463.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲を撮像した画像にもとづいて対象物を検出する対象物検出装置であって、
赤外線を所定の投光間隔で投光する赤外線投光部と、
投光された赤外線の反射光を撮像する撮像部と、
前記撮像部により撮像した画像において対象物を検出する画像処理部と、を備え、
前記撮像部は、前記赤外線投光部が投光する間に撮像して、前記赤外線投光部が投光しない間は撮像しないことを特徴とする対象物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周囲を撮像した画像にもとづいて対象物を検出する対象物検出装置に関する。
【背景技術】
【０００２】
夜間、車両の周囲を撮像して他車両や歩行者などの対象物を検出するため、光源としてヘッドライトを用いることがある。ヘッドライトをロービームに設定すると遠方まで撮像しづらいが、ハイビームに設定することで遠方まで撮像できる。しかしながら、ヘッドライトをハイビームに設定すると、対向車の運転者にグレアを生じさせるおそれがある。そこで、夜間での撮像の光源としてヘッドライトの代わりに赤外線を投光する装置を用い、対向車の運転者にグレアを生じさせることを抑える技術が提案されている（特許文献１参照）。
【０００３】
特許文献１には、車両の周辺を逐次撮像した画像から対象物を検知し、撮像画像を車載ディスプレイに表示するとともに対象物に枠を付けて表示する車両用表示装置が開示される。車両用表示装置は、近赤外光を車両前方に投光する近赤外光投光器と、車両前方を撮像するカメラ部と、撮像した画像から対象物を検知するナイトビューＥＣＵと、ナイトビューＥＣＵから受け取った画像を表示するディスプレイとを備える。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１１９９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで夜間の撮像では、撮像素子に十分な光を受けさせる目的で、シャッターを開く露光時間を長くとることがある。そのため撮像素子が強い光を受光すると、長い露光時間のなかで、その部分の輝度情報が最大値となり、撮像画像にグレア領域が生じて対象物の検出が困難となる事態が発生しうる。
【０００６】
特許文献１に開示されるように、対象物検知のために自車および対向車が赤外線を常時投光する機器を搭載している場合を想定すると、自車から投光した赤外線を対向車の撮像素子が受光することで、対向車において自車の検出が困難となり、同様に、対向車から投光された赤外線を自車の撮像素子が受光することで、自車において対向車の検出が困難となる状況が生じうる。そのため自車および対向車のそれぞれにおいて、相手の検出可能性を高めるための技術の開発が望まれている。
【０００７】
本発明はこのような問題に鑑みてなされたものであり、その目的は、車両の周囲への赤外線の投光を制御する対象物検出装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様は、車両の周囲を撮像した画像にもとづいて対象物を検出する対象物検出装置であって、赤外線を所定の投光間隔で投光する赤外線投光部と、投光された赤外線の反射光を撮像する撮像部と、撮像部により撮像した画像において対象物を検出する画像処理部と、を備える。撮像部は、赤外線投光部が投光する間に撮像して、赤外線投光部が投光しない間は撮像しない。
【０００９】
この態様によると、赤外線投光部が所定の投光間隔で投光することで、投光しない時間を設け、対向車の撮像素子が自車からの投光を常時受光する状況を回避できる。また、対向車にも採用されれば、自車の撮像素子が対向車からの投光を受光する可能性を低減できる。これにより、撮像した画像にグレア領域が生じて、そのグレア領域に位置する対象物を検出できない可能性を低減できる。また、投光のタイミングに合わせて撮像を行うことで、赤外線の投光を効率的に利用できる。
【発明の効果】
【００１０】
本発明によれば、車両の周囲への赤外線の投光を制御する対象物検出装置を提供できる。
【図面の簡単な説明】
【００１１】
【図１】第１実施例の対象物検出装置の構成を説明するための図である。
【図２】対象物検出装置の投光タイミングおよび撮像タイミングについて説明するための図である。
【図３】対象物検出装置の撮像処理のフローを説明するための図である。
【図４】第２実施例の対象物検出装置の構成を説明するための図である。
【図５】第２実施例の対象物検出装置の対象物検出処理のフローを説明するための図である。
【発明を実施するための形態】
【００１２】
図１は、第１実施例の対象物検出装置１０の構成を説明するための図である。対象物検出装置１０は、撮像部２０、赤外線投光部２２、制御部２４および画像処理部２６を備える。
【００１３】
対象物検出装置１０は、所定の間隔で撮像される画像から車両の走行に影響を与えるような歩行者や他車両等の対象物を検出し、撮像される複数の画像をもとに対象物を追跡する。そして、対象物検出装置１０は、検出結果を車載の表示装置に出力したり、自車と対象物との衝突回避等の運転支援を行う装置に出力する。なお、検出する対象物には、動く物体として、例えば、歩行者、自転車、車両（自動四輪車）、自動二輪車等の移動物体があり、動かない物体としてレールなどの障害物がある。
【００１４】
赤外線投光部２２は、赤外線を所定の投光間隔で、例えば０．１秒毎に投光する。赤外線投光部２２は、車両の前方側に設けられ、車両前方に投光する。赤外線投光部２２は、波長が近赤外領域（例えば、８００ｎｍ〜２５００ｎｍ）の赤外線を投光する発光ダイオードを、１つまたは複数有する。なお、赤外線投光部２２は、車両後方や側方に設けられ、車両後方や側方に投光してもよい。
【００１５】
赤外線投光部２２から投光される赤外線は、車両のヘッドライトのロービームと比べて照射範囲が広く、ヘッドライトのロービームの照射範囲が車両前方の約５０ｍであるのに対し、赤外線投光部２２では約１００ｍまで投光できる。このため、対象物検出装置１０は赤外線投光部２２を用いることで運転者が夜間にロービームの照射で目視で認識できる位置より遠くにある対象物を検出することが可能となる。ヘッドライトをハイビームの投光角度にすると運転者がロービームの場合より遠方を目視可能になるが、前方の車両や対向車の運転者にグレアを生じるおそれがある。赤外線投光部２２は、ヘッドライトのハイビームの投光角度に合わせても、可視光でないため対向車の運転者にグレアを生じさせない。
【００１６】
撮像部２０は、車両の周辺を撮像するカメラである。撮像部２０は、例えば、赤外光領域にて撮像可能なＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラであってよい。撮像部２０は、車両の前方を撮像するために車両の前方側に設けられるが、この態様に限らず、車両の後方や側方に撮像するために車両の後方や側方に設けられてよい。なお、撮像部２０は車両の周囲を撮像し、車両の周囲には車両の前方、後方および側方のうち、少なくとも１つの方向が含まれる。
【００１７】
撮像部２０は、赤外線投光部２２の投光のタイミングに合わせて撮像する。撮像部２０は、赤外線投光部２２が投光する毎に、シャッターを開いて露光してシャッターを閉じ、撮像する。投光と受光のタイミングを合わせることで、投光する時間と受光する時間が重ならない時間が設けられる。撮像部２０は、撮像した画像を画像処理部２６に出力する。
【００１８】
制御部２４は、周辺が暗い場合のナイトモードにおいて、赤外線投光部２２の投光および撮像部２０の撮像のタイミングを制御する。制御部２４は、例えば車両に設けられた照度計の検出結果にもとづいてナイトモードに移行するか決定する。制御部２４は、赤外線投光部２２を所定の投光間隔で投光するように制御する。
【００１９】
制御部２４は、撮像部２０を赤外線投光部２２が投光する間に撮像させ、赤外線投光部２２が投光しない間に撮像しないように制御し、赤外線投光部２２の投光タイミングと撮像部２０の撮像タイミングを合わせる。制御部２４は、設定した投光タイミングおよび撮像タイミングに応じて、指示信号を赤外線投光部２２および撮像部２０に出力する。
【００２０】
画像処理部２６は、撮像部２０で撮像した画像を一定時間毎に受け取り、受け取った画像にもとづいて対象物を検出する処理をする。画像処理部２６は、検出結果を表示装置や運転支援装置に出力する。画像処理部２６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などからなり、対象物検出用のアプリケーションプログラムを実行する。
【００２１】
画像処理部２６は、予め保持するテンプレートを用いて、パターンマッチングの手法により対象物を検出する。テンプレートには車両の形状、歩行者の形状、電柱の形状など対象物の形状が規定されている。画像処理部２６は、テンプレート毎に画像からパターンマッチングに手法により対応する領域を順次抽出する。画像処理部２６は、対象物を検出できた場合、画像から対象物の少なくとも一部を含む領域を抽出し、記憶する。また、対象物検出部１３４はパターンマッチングの手法に限らず、公知の画像認識の手法を用いて対象物を検出してよい。
【００２２】
図２は、対象物検出装置１０の投光タイミングおよび撮像タイミングについて説明するための図である。図２の縦軸は赤外線投光部２２から照射される赤外線の放射強度を示し、横軸は時間を示す。
【００２３】
赤外線投光部２２は、赤外線を所定の投光間隔で、例えば０．１秒毎に投光する。制御部２４は、赤外線投光部２２にライトオンの指示信号を出力すると、赤外線投光部２２が照射を開始する。赤外線投光部２２が照射を開始した時点では、赤外線の放射強度が弱く、撮像に必要な反射光が十分に得られないため、制御部２４は赤外線投光部２２の照射開始タイミングの後に撮像部２０の撮像開始タイミングを設定する。制御部２４は、撮像部２０の撮像開始タイミングを、赤外線投光部２２の照射開始タイミングから所定の立ち上がり時間経過後に設定する。
【００２４】
制御部２４は、赤外線投光部２２の照射停止タイミングと撮像部２０の撮像停止タイミングを同時に設定し、赤外線投光部２２および撮像部２０にオフする指示信号を出力する。このように、制御部２４は、赤外線投光部２２が投光している間に撮像部２０に撮像させる。
【００２５】
夜間では日中と比べて撮像部２０の露光時間を増やすことで鮮明な画像を得ることが可能であるが、撮像部２０の露光時間を増やすと、長い露光時間のなかで、強い光を受光した部分の輝度情報が最大値となり、画像にグレア領域が生じる可能性がある。グレア領域は、所定の輝度以上の画素値の集合として画像に白い領域として表れ、対象物の認識を妨げる。
【００２６】
第１実施例の対象物検出装置１０では、赤外線投光部２２が所定の投光間隔で投光して投光しない時間帯を設けることで、常時投光する場合と比べて、他車両の撮像部が対象物検出装置１０より投光された赤外線を受光する可能性を低減することができる。また、対象物検出装置１０を他車両に搭載することで、他車両から常時投光される場合と比べて自車の撮像部が対向車から投光された赤外線を受光する可能性を低減することができる。これにより、撮像部２０が強い光を受光して、撮像画像にグレア領域が生じる可能性を低減できる。
【００２７】
図３は、対象物検出装置１０の撮像処理のフローを説明するための図である。本処理はナイトモードにおいて所定の投光間隔で周期的に繰り返し実行される。制御部２４は、ナイトモードがオンであるか判定する（Ｓ１０）。
【００２８】
ナイトモードがオンであれば（Ｓ１０のＹ）、制御部２４は、赤外線投光部２２に照射開始を指示する指示信号を出力し（Ｓ１２）、赤外線投光部２２は照射開始する。制御部２４は、照射開始から立ち上がり時間経過後に撮像部２０に撮像開始を指示する指示信号を出力し（Ｓ１４）、撮像部２０は撮像開始する。
【００２９】
制御部２４は、赤外線投光部２２に照射終了を指示する指示信号を出力すると同時に、撮像部２０に撮像終了を指示する指示信号を出力し（Ｓ１６）、赤外線投光部２２は投光を終了し、撮像部２０は撮像を終了する。画像処理部２６は、撮像部２０が撮像した画像を受け取って対象物を検出する処理を行い（Ｓ１８）、ステップ１０に戻って本処理を継続する。このように、本処理は周期的に繰り返し撮像が実行される。ナイトモードがオンでなければ（Ｓ１０のＮ）、本処理を終了する。なお、ナイトモードがオンでなければ赤外線投光部２２を用いない通常の撮像処理が実行される。
【００３０】
図４は、第２実施例の対象物検出装置１００の構成を説明するための図である。ここで各図面に示される同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。第２実施例の対象物検出装置１００は、撮像部２０、赤外線投光部２２、制御部１２４および画像処理部１２６を備える。
【００３１】
制御部１２４は、赤外線投光部２２での投光タイミングと、撮像部２０での撮像タイミングを制御する。制御部１２４は、画像にグレア領域が含まれている場合、再度の撮像を付加的に実行する。
【００３２】
画像処理部１２６は、撮像された画像から対象物を含む領域を検出する対象物検出部１３４と、撮像された画像からグレア領域を検出するグレア検出部１３６とを有する。対象物検出部１３４は、テンプレートを用いてパターンマッチングの手法により対象物を検出する。対象物検出部１３４は、テンプレート毎に画像から対応する領域を順次抽出する。対象物検出部１３４は、対象物を検出できた場合、画像から対象物の少なくとも一部を含む領域を抽出し、記憶する。
【００３３】
対象物検出部１３４は、今回検出された対象物が過去に検出された対象物と同じであるか判定し、異なる対象物であれば新たな識別番号を付し、同じ対象物であれば過去に検出された対象物と同じ識別番号を付して記憶し、追跡処理を行う。これにより、異なる画像でも同じ対象物として追跡する処理することができる。
【００３４】
グレア検出部１３６は、撮像された画像から、所定の基準輝度より高い画素が所定の個数以上に集まっている白い領域をグレア領域として検出する。グレア検出部１３６は、グレア領域を検出すると、グレア領域の情報を記憶して対象物検出部１３４に出力する。また、グレア検出部１３６は、車両走行状態の情報にもとづいて、車両進行路およびその周辺に位置するグレア領域を検出した場合にのみ、グレア領域の検出結果を対象物検出部１３４に出力してよい。車両走行状態の情報は、車速情報および舵角情報を含み、車両の進行状態を示す情報である。対象物検出部１３４は、画像にグレアが含まれる場合には、制御部１２４に再撮像させるよう指示する信号を制御部１２４に出力する。
【００３５】
グレア領域が検出された際の再撮像処理について説明する。制御部１２４は、画像にグレア領域が含まれる場合、次の撮像周期に達する前に、再度の撮像をする再撮像処理を実行し、通常の撮像の間に再撮像処理を割り込ませる。制御部１２４は、再撮像をする際、次の投光周期に達する前に赤外線投光部２２に投光させるよう指示し、赤外線投光部２２が投光している間に撮像部２０に撮像するように指示する。再撮像をする際、制御部１２４は、撮像時間、すなわちシャッターを開放して露光する時間を通常の撮像時間より短く設定し、例えば半分の時間に設定する。撮像部２０の光の取り込み時間を短くすることで、輝度情報の最大値を超える光が取り込まれる可能性を低減し、グレア領域を縮小または除去できる。なお、撮像時間を短くしたことで、グレアが発生していなかった箇所は、光が足らず黒く不鮮明に撮像されている可能性がある。撮像部２０は再撮像した画像を画像処理部１２６に出力する。
【００３６】
対象物検出部１３４は、再撮像した画像を受け取り、画像から対象物を検出する。再撮像した画像の対象物検出結果は、運転支援装置などに出力される。例えば、対向車のヘッドライトによって数秒間グレアが生じる場合に、露光時間の長い撮像と露光時間の短い撮像とを繰り返して、対象物の検出を継続できる。
【００３７】
別の変形例では、対象物検出部１３４は再撮像した画像の対象物検出結果と、前回の対象物検出結果を併合して、１つの画像での対象物検出結果とする。対象物検出部１３４は、再撮像した画像のうち、前回のグレア領域と同じ位置の領域における対象物を検出して、その検出結果を併合データとして生成する。または、対象物検出部１３４は、再撮像した画像から対象物を検出し、検出した対象物の位置が前回のグレア領域と重なる場合に、その対象物の検出結果を併合データとして生成する。併合データとして生成された対象物の位置は、前回の撮像から再撮像までの時間によって補正されてよい。対象物検出部１３４は、グレア領域が検出された画像での対象物の検出結果に、再撮像した画像の一部の対象物の検出結果を加えて、１つの画像での対象物の検出結果とする。このように、撮像した画像にグレアが生じた場合に撮像時間を短くして撮り直すことで、グレアの発生を抑えて対象物を検出し、対象物の追跡が可能となる。
【００３８】
また、別の変形例では、今回撮像した画像にグレア領域が含まれる場合、対象物検出部１３４は、今回撮像した画像の対象物検出結果を破棄し、前回撮像した画像に含まれる追跡中の対象物を次回に継続して追跡してよい。また、今回撮像した画像にグレア領域が含まれる場合、対象物検出部１３４は、今回のグレア領域の位置と前回撮像した画像の対象物の位置が重なる場合に、今回の対象物検出結果を破棄して、対象物を次回継続して追跡してよい。これにより、追跡中の対象物が撮像されているにも関わらず、グレアにより画像上で見失った場合にも、検出結果を破棄して追跡を継続できる。
【００３９】
また、別の変形例では、制御部１２４は、撮像部２０に露光させる撮像時間をグレア領域の検出の有無によって調整してもよい。制御部１２４は、グレア領域が検出されない場合には、今回の撮像時間をそのまま次回の撮像時間に設定し、グレア領域を検出した場合には、今回の撮像時間を短くして次回の撮像時間に設定する。初期では撮像時間は予め所定時間に設定されており、グレア領域の検出結果に応じて調整されてもよい。グレア領域が検出しない場合に撮像時間を維持することで、安定して鮮明な画像を取得でき、グレア領域が検出された場合に撮像時間を短くすることで、前回の撮像で表れたグレア領域を縮小または除去できる。
【００４０】
図５は、第２実施例の対象物検出装置１００の対象物検出処理のフローを説明するための図である。本処理は、ナイトモードにおいて所定の周期で繰り返し実行される。制御部１２４は、ナイトモードがオンであるか判定する（Ｓ３０）。
【００４１】
ナイトモードがオンであれば（Ｓ３０のＹ）、制御部１２４は、赤外線投光部２２に照射開始を指示する指示信号を出力し（Ｓ３２）、赤外線投光部２２は照射開始する。制御部１２４は、照射開始から立ち上がり時間経過後に撮像部２０に撮像開始を指示する指示信号を出力し（Ｓ３４）、撮像部２０は撮像開始する。
【００４２】
制御部１２４は、赤外線投光部２２に照射終了を指示する指示信号を出力し、同時に制御部１２４は、撮像部２０に撮像終了を指示する指示信号を出力し（Ｓ３６）、赤外線投光部２２は投光を終了し、撮像部２０は撮像を終了する。
【００４３】
画像処理部１２６のグレア検出部１３６は、撮像部２０から撮像した画像を受け取り、画像からグレアを検出する処理を実行し（Ｓ３８）、検出結果を対象物検出部１３４に出力する。対象物検出部１３４は、撮像部２０から受け取った画像から対象物検出処理を実行し（Ｓ３９）、対象物の検出結果を生成する。グレア検出部１３６は、グレア領域が検出されたか判定する（Ｓ４０）。
【００４４】
グレア領域が検出された場合（Ｓ４０のＹ）、制御部１２４は再撮像処理を実行する（Ｓ４２）。再撮像処理において、制御部１２４は赤外線投光部２２に投光指示を出力し、制御部１２４は撮像部２０に撮像指示を出力する。このとき、制御部１２４は前回の撮像時間より短い撮像時間を設定することで、再撮像した画像からグレアを縮小または除去できる。
【００４５】
撮像部２０は、再撮像した画像を対象物検出部１３４に出力し、対象物検出部１３４は、再撮像した画像から対象物を検出する。グレア領域が検出されない場合（Ｓ４０のＮ）、再撮像処理は実行されない。対象物の検出する処理を行った後、制御部１２４はステップ３０に戻って本処理を周期的に継続する。ナイトモードがオンでなければ（Ｓ３０のＮ）、本処理を終了する。このように、対象物検出装置１００は、対象物検出処理を実行する。
【００４６】
本発明は、上述の実施例および変形例に限定されるものではなく、当業者の知識に基づいて各種の設計変更等の変形を加えることも可能である。各図に示す構成は、一例を説明するためのもので、同様な機能を達成できる構成であれば、適宜変更可能である。
【符号の説明】
【００４７】
１０  対象物検出装置、  ２０  撮像部、  ２２  赤外線投光部、  ２４  制御部、  ２６  画像処理部、  １００  対象物検出装置、  １２４  制御部、  １２６  画像処理部、  １３４  対象物検出部、  １３６  グレア検出部。
【図１】
2017039463.tif 000003
【図２】
2017039463.tif 000004
【図３】
2017039463.tif 000005
【図４】
2017039463.tif 000006
【図５】
2017039463.tif 000007