(57)【要約】      （修正有）【課題】自車両の周辺における物体の存在を監視する装置において、自車両から対象物までの距離の算出精度を状況に応じて適応的に高めて算出する。【解決手段】処理装置（プロセッサ）装置は、撮像装置１０２から自車両周辺の画像を繰り返し取得し、取得された画像において対象物が存在する領域を対象物領域として設定１１２し、対象物領域に対し所定の関係を有する位置に少なくとも一つの周囲領域を更に設定１１６し、最後に撮像された第１の画像における周囲領域と、第１の画像の前に撮像された他の画像における周囲領域と、の相関度を算出１１８し、第１の画像が取得された時刻から順次遡って相関度が所定のレベル以上である他の画像のうち元も古い前記他の画像を、第２の画像として設定して、第１及び第２の画像を用いて自車両から前記対象物までの距離を算出１２０する。【選択図】図１
2017059097.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された撮像装置により繰り返し撮像される画像から当該車両の周辺における物体の存在を監視する車両周辺監視装置であって、
処理装置を備え、
当該処理装置は、
前記撮像装置から前記画像を取得し、
前記画像において対象物が存在する領域を対象物領域として設定し、
前記画像のうち、最後に撮像された第１の画像とその前に撮像された第２の画像との間での、前記対象物領域のサイズの変化率と撮像時刻の差と前記車両の現在の車速とに基づいて、前記車両から前記対象物までの距離を測定する、
よう構成されており、
前記処理装置は、さらに、
前記取得された画像において、前記対象物領域に対し所定の関係を有する位置に少なくとも一つの周囲領域を更に設定し、
前記第１の画像における前記周囲領域と、前記第１の画像の前に撮像された他の前記画像における対応する前記周囲領域と、の相関度を算出し、
前記第１の画像が取得された時刻から順次遡って前記相関度が所定のレベル以上である前記他の画像のうち元も古い前記他の画像を、前記第２の画像として設定する、
よう構成されている、
車両周辺監視装置。
【請求項２】
前記相関度は、前記第１の画像における前記周辺領域における輝度の平均値と、前記他の画像における対応する前記周辺領域における輝度の平均値との差により評価され、前記差が所定の値以下であるとき、前記相関度が所定のレベル以上であるものと判断される、
請求項１に記載の車両周辺監視装置。
【請求項３】
前記処理装置は、前記画像における垂直方向に沿った前記対象物領域の上部及び中央部のそれぞれを挟むように前記画像の水平方向に沿って左右に設けられた４つの周辺領域を、前記画像に設定するよう構成されている、
請求項１又は２に記載の車両周辺監視装置。
【請求項４】
前記処理装置は、前記第１の画像の撮像時刻と前記第２の画像の撮像時刻との差が所定の時間未満であるときは、前記相関度のレベルにかかわらず、前記第１の画像と、前記第１の画像の撮像時刻から所定の時間だけ前に撮像された前記画像と、を用いて前記車両から前記対象物までの距離を測定するよう構成されている、
請求項１ないし３のいずれか一項に記載の車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像装置から取得される画像を用いて当該車両の周辺における物体の存在を監視する装置に関し、特に、画像の状況に応じて当該物体までの距離の算出精度を適応的に高めることのできる装置に関する。
【背景技術】
【０００２】
車載カメラにより２つの異なる時刻において連続して撮像された画像に基づいて、歩行者等の対象物の実空間位置を測定し、当該測定の結果に基づいて車両と対象物との接触可能性の高低を判定する装置が知られている（特許文献１参照）。この装置では、車両が移動して対象物までの距離が変化することにより、連続して撮像された２つの画像内における当該対象物のサイズが変化することを利用して、当該サイズの変化率から当該車両から対象物までの距離が算出される。ただし、例えば対象物である歩行者が歩いて移動していてその姿勢が変化するような場合には、連続して撮像された２つの画像間において当該歩行者を同一のものとして認識できない場合が有り得る。
【０００３】
この問題を解消する技術として、例えば対象物が歩行者である場合には、連続して撮像する２つの画像の時間間隔を、歩行者である人間の標準的な歩行周期又は半歩行周期と一致するように設定し、連続して撮像される２つの画像内に写り込む歩行者の形状や姿勢が当該２つの画像間においてほぼ同一となるようにすることで、同一歩行者の追跡を正しく行って、当該歩行者までの距離を算出する「車両周辺監視装置」が知られている（特許文献２、３参照）。
【０００４】
また、上記問題を解消する他の技術として、連続して撮像する２つの画像の時間間隔を所定の時間に固定し、例えば対象物が歩行者である場合には、連続して撮像された２つの画像において、歩行者として認識される部分画像のうち動きの少ない部分（例えば上半身に相当する部分）を抽出し、当該２つの画像における当該抽出した部分のサイズの変化から、当該歩行者までの距離を算出する「車両周辺監視装置」が知られている（特許文献４参照）。
【０００５】
ところで、車両から対象物までの距離算出の精度は、当該算出に用いる２つの画像間における対象物画像のサイズの変化率の検出精度と、当該２つの画像における車両から対象物までの距離の変化量に依存し、当該距離の変化量が大きいほど高くなる。したがって、対象物までの距離の算出精度の観点からは、車両に搭載されて移動するカメラにより連続して撮像される２つの画像間における撮像時刻の間隔は、当該画像間において対象物の同一性が正しく行われ得る範囲においてできるだけ長いことが望ましい。
【０００６】
しかしながら、上記従来の装置では、連続して撮像される２つの画像の撮像時刻の間隔Δｔは、所定の値に（又は所定の条件に従って）一律に固定されているため、上記距離の算出精度は撮像に用いるカメラの空間分解能（すなわち、対象物画像のサイズ変化の検出精度）に専ら依存することとなり、上記算出精度を高めようとすると空間分解能の高い高価な撮像装置が必要となって監視装置全体としてのコストが高くなる。
【０００７】
一方で、上記撮像時刻の間隔Δｔを長く設定すれば上記算出精度を向上することはできるものの、むやみに長く設定したのでは２つの画像間での対象物の追跡（同一性判断）が不正確となり、距離算出結果の信頼性が低下する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２１３５６１号公報
【特許文献２】国際公開第２００９／１３０８２７（Ａ１）号パンフレット
【特許文献３】特許第４２７１７２０号公報
【特許文献４】国際公開第２００９−１３０８２８（Ａ１）号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記背景より、車両の周辺における物体の存在を監視する装置において、当該車両から対象物までの距離の算出精度を、対象物追跡の正確さが損なわれない範囲において適応的に高め得る構成の実現が望まれている。
【課題を解決するための手段】
【００１０】
本発明の一の態様によると、車両に搭載された撮像装置により繰り返し撮像される画像から当該車両の周辺における物体の存在を監視する車両周辺監視装置であって、処理装置を備え、当該処理装置は、前記撮像装置から前記画像を取得し、前記画像において対象物が存在する領域を対象物領域として設定し、前記画像のうち、最後に撮像された第１の画像とその前に撮像された第２の画像との間での、前記対象物領域のサイズの変化率と撮像時刻の差と前記車両の現在の車速とに基づいて、前記車両から前記対象物までの距離を測定する、よう構成されており、前記処理装置は、さらに、前記取得された画像において、前記対象物領域に対し所定の関係を有する位置に少なくとも一つの周囲領域を更に設定し、前記第１の画像における前記周囲領域と、前記第１の画像の前に撮像された他の前記画像における対応する前記周囲領域と、の相関度を算出し、前記第１の画像が取得された時刻から順次遡って前記相関度が所定のレベル以上である前記他の画像のうち元も古い前記他の画像を、前記第２の画像として設定する、よう構成されている。
本発明の他の態様によると、前記相関度は、前記第１の画像における前記周辺領域における輝度の平均値と、前記他の画像における対応する前記周辺領域における輝度の平均値との差により評価され、前記差が所定の値以下であるとき、前記相関度が所定のレベル以上であるものと判断される。
本発明の他の態様によると、前記処理装置は、前記画像における垂直方向に沿った前記対象物領域の上部及び中央部のそれぞれを挟むように前記画像の水平方向に沿って左右に設けられた４つの周辺領域を、前記画像に設定するよう構成されている。
本発明の他の態様によると、前記処理装置は、前記第１の画像の撮像時刻と前記第２の画像の撮像時刻との差が所定の時間未満であるときは、前記相関度のレベルにかかわらず、前記第１の画像と、前記第１の画像の撮像時刻から所定の時間だけ前に撮像された前記画像と、を用いて前記車両から前記対象物までの距離を測定するよう構成されている。
【００１１】
本発明によれば、現在の画像と過去の画像との間において対象物の周辺領域の画像の相関度（同一性）が所定のレベル以上であるという条件の下で最も過去の画像を基準画像とし、当該基準画像と現在画像とを用いて車両から対象物までの距離を算出するので、現在の画像と過去の画像との間での対象物の同一性判断に関する正確さが損なわれない範囲又はより高い範囲において、上記距離の算出精度を適応的に高めることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る車両周辺監視装置の構成を示す図である。
【図２】図１に示す車両周辺監視装置における、周辺領域の設定の一例を示す図である。
【図３】図１に示す車両周辺監視装置における距離算出用画像の選択について説明するための説明図である。
【図４】図１に示す車両周辺監視装置の動作の手順を示すフロー図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係る車両周辺監視装置の構成を示す図である。
本車両周辺監視装置１００（以下、単に「監視装置１００」という）は、ＣＰＵ（Central Processing Unit）等のプロセッサ、プログラムが書き込まれたＲＯＭ（Read Only Memory）、データの一時記憶のためのＲＡＭ（Random Access Memory）等を有するコンピュータであり、車両に搭載されて用いられる。以下、監視装置１００が搭載された車両をホスト車両と称する。
【００１４】
監視装置１００は、例えばホスト車両の前方を撮像する撮像装置１０２からの画像データを受信するための入力インタフェース（入力ＩＮＦ）１０４と、スピーカ等の音出力装置１０６及び液晶表示装置等を含む画像出力装置１０８に音信号や画像信号を出力するための出力インタフェース（出力ＩＮＦ）１１０と、を含む。ここで、撮像装置１０２は、本実施形態では赤外線カメラであるものとする。ただし、撮像装置１０２は、これに限らず、他の任意の波長又は波長域の光又は電磁波による画像を取得することのできる、他の任意のカメラとすることができる。
【００１５】
さらに、監視装置１００は、対象物領域設定ユニット１１２と、対象物追跡ユニット１１４と、周辺領域設定ユニット１１６と、周辺同一性判定ユニット１１８と、距離算出ユニット１２０と、位置算出ユニット１２２と、接触判定ユニット１２４と、警報制御ユニット１２６と、表示画像生成ユニット１２８と、を有する。
【００１６】
監視装置１００が有する上記各ユニットは、コンピュータである監視装置１００がプログラムを実行することにより実現され、当該コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、上記各ユニットの全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
【００１７】
監視装置１００は、さらに、撮像装置１０２から取得した画像等を保存し記憶しておくための記憶装置１３０も有している。
【００１８】
対象物領域設定ユニット１１２は、撮像装置１０２が所定の時間間隔Δｔ（例えば、５０ｍｓ）毎に撮像したホスト車両前方の画像を、入力ＩＮＦ１０４を介して逐次受信して取得する。対象物領域設定ユニット１１２は、撮像装置１０２から画像を取得する毎に、当該取得した画像に捉えられている対象物を識別して、当該対象物の画像領域である対象物領域を設定する。
【００１９】
上記において対象物領域とは、例えば上記画像において識別した対象物の外接矩形である。なお、本実施形態では、対象物は歩行者を含むものとする。ただし、対象物は、これに限らず、歩行者、犬や猫等の動物、自転車、等々の任意の一つ又は複数とすることができる。また、画像に捉えられている対象物の識別は、特許文献２に記載の方法や公知のパターンマッチング等の手法を用いて行うことができる。
【００２０】
また、対象物領域設定ユニット１１２は、上記取得した画像と、識別した対象物の種類及び対象物領域の画像内の位置を含む対象物情報とを、監視装置１００が備える記憶装置１３０に記憶する。以下、撮像装置１０２から最後に取得した画像を「現在画像」、その前に取得した画像を「過去画像」と称する。
【００２１】
対象物追跡ユニット１１４は、現在画像及び過去画像に捉えられている対象物の追跡（トラッキング）を行う。具体的には、対象物領域設定ユニット１１２が記憶した過去画像における対象物情報を参照し、現在画像において識別された対象物が、過去画像における対象物情報が示す対象物のいずれかと同一の物体であるか否かを判断する。そして、同一であれば、過去画像及び現在画像における当該対象物の情報に同じ識別ラベルを付して、同一対象物に関する画像情報であることを明示する。なお、同一の物体であるか否かについての上記判断は、画像内において識別された対象物について設定された対象物領域及び当該領域内の画像を公知の手法を用いて比較することにより行うことができる。
【００２２】
周辺領域設定ユニット１１６は、記憶されている現在画像及び過去画像における対象物情報を参照し、現在画像において識別された対象物と同一の対象物が過去画像において識別されているときは、当該対象物が識別された現在画像及び全ての過去画像について、当該対象物に設定された対象物領域に対し所定の関係を有する位置に、少なくとも一つの周囲領域を設定する。当該所定の位置は、対象物の種類毎に予め定められて記憶装置１３０に記憶されており、周辺領域設定ユニット１１６は、当該記憶されているこれらの情報に基づいて周辺領域を設定する。
【００２３】
対象物領域に対する周囲領域の位置及び形状は、例えば、対象物領域を縦方向（または垂直方向、すなわち、画像における重力方向）に沿って上部、中央部、下部の３つの部分に分けた（例えば略３等分した）ときの、上部及び又は中央部を水平方向に挟む左右の位置の少なくとも一つの位置に設定され、望ましくは、対象物領域を水平方向に挟む左右の位置に少なくとも一つずつ設定される。その理由については後述する。
【００２４】
図２は、対象物が歩行者である場合の、対象物領域に対して予め定義される周辺領域の位置及び形状の例を示す図である。図示の例では、歩行者である人間の標準形状２００の外接矩形２０２を対象物領域として、当該対象物領域を縦方向に略三等分した場合の上部及び中央部に含まれる頭部及び胴体部について、当該頭部及び胴体部をそれぞれ左右方向に挟む位置に全部で４つの周辺領域２０４、２０６、２０８、２１０が定義されている。
【００２５】
具体的には、まず、人間の標準形状２００における頭部の中心を通る水平線２１２の位置と、腰部を通る水平線２１４の位置が定義されている。これらの位置は、例えば外接矩形２０２の高さＬ０に対する、当該外接矩形２０２の上辺からの水平線２１２、２１４の距離Ｌ１及びＬ２の比（Ｌ１／Ｌ０及びＬ２／Ｌ０）として定義される。そして、水平線２１２、２１４に沿ってそれぞれ外接矩形２０２の左右外側方向へ距離Ｌ３だけ離れた位置に、配置基準点２１６、２１８、２２０、２２２が定義される。これらの配置基準点２１６〜２２２に対し、それぞれ互いに同一の矩形形状を有する所定のサイズの周辺領域２０４〜２１０の外接矩形２０２に近い方の１辺の中点が、配置基準点２１６〜２２０とそれぞれ一致するように、周辺領域２０４〜２１０が配される。
【００２６】
図２において定義されているのは、外接矩形２０２（すなわち対象物領域）の高さに対する水平線２１２、２１４の相対位置（Ｌ１／Ｌ０及びＬ２／Ｌ０）と、距離Ｌ３と、周辺領域２０４〜２１０の形状及びサイズである。撮像装置１０２により撮像された実際の画像上において周辺領域を設定する場合には、当該画像における対象物領域の高さに対して上記Ｌ１／Ｌ０及びＬ２／Ｌ０の比率を用いて水平線２１２及び２１４に相当する水平線を設定し、当該対象物領域の横幅と一致するように外接矩形２０２の横幅を拡大又は縮小するための拡大率又は縮小率をＬ３に乗じた値を用いて、配置基準点２１６〜２２２に相当する位置を特定すればよい。なお、撮像装置１０２により撮像された画像上において設定する周辺領域の形状及びサイズは、対象物領域の大きさに関わらず予め定められた周辺領域２０４〜２１０と同じ形状及びサイズとすることもできるし、予め定められた周辺領域２０４〜２１０と同じ形状及びサイズを対象物領域の大きさに応じて拡大又は縮小した値とすることもできる。本実施形態では、対象物領域の大きさに関わらず一律の形状及びサイズをもつ周辺領域を設定する。
【００２７】
図１に戻り、周辺同一性判定ユニット１１８は、現在画像において識別された対象物の一つを順次選んで以下の処理を繰り返し行い、当該対象物の全てついて以下の処理を行う。以下では、現在画像において識別された対象物のうち現在の処理対象として選ばれた対象物を注目対象物と称する。
【００２８】
周辺同一性判定ユニット１１８は、注目対象物について現在画像において設定された周辺領域と、過去画像における対応する周辺領域との相関度（以下、単に「相関度」という）のレベルを判定する。より具体的には、現在画像において設定された注目対象物の周辺領域のピクセル毎の輝度値の平均値（輝度平均値）と過去画像における対応する周辺領域の輝度平均値との差を算出し、当該算出された輝度平均値の差によって上記相関度のレベル（以下、「相関度レベル」ともいう）を評価する。すなわち、上記算出した輝度平均値の差が所定値以下であれば、上記相関度は所定のレベル以上であると判断し、上記輝度平均値の差が所定値より大きいときは、上記相関度は所定のレベルより低いと判断する。
【００２９】
本実施形態では、対象物領域に対して設定される４つの周辺領域のうち、少なくとも一つの周辺領域に関して上記輝度平均値の差が所定値以上であれば、対応する過去画像の現在画像に対する相関度レベルは所定のレベル未満であると判断する。
【００３０】
これに代えて、各周辺領域について算出した輝度平均値の差を全周辺領域について加算した総和を用いて上記相関度を評価するものとし、輝度平均値の差の総和が所定値以下であれば、上記相関度は所定のレベル以上であると判断し、上記輝度平均値の差の総和が所定値より大きいときは、上記相関度は所定のレベルより低いと判断することもできる。また、例えば、各周辺領域について輝度平均値の差を算出し、当該算出された輝度平均値の差が所定の値以下である周辺領域の数が所定の数以上であれば上記相関度は所定のレベル以上であると判断し、そうでない場合は上記相関度は所定のレベルより低いと判断するものとすることもできる。
【００３１】
距離算出ユニット１２０は、現在画像の直前に撮像された過去画像（以下、「直前の過去画像」という）の相関度レベルが所定のレベル以上であれば、当該直前の過去画像から撮像時刻順に過去へ向かって各過去画像を探索し、直前の過去画像を含む相関度レベルが所定のレベル以上である連続する過去画像（すなわち、撮像時刻が連続している過去画像）のうち最も過去に撮像された過去画像を基準画像として設定する。ここで、現在画像及び基準画像は、それぞれ第１の画像及び第２の画像に対応する。
【００３２】
そして、距離算出ユニット１２０は、第１の画像である現在画像における注目対象物の対象物領域のサイズｈ０と、第２の画像すなわち基準画像である過去画像における注目対象物の対象物領域のサイズｈ１とを算出し、ｈ１に対するｈ０の拡大率Ｒａｔｅを算出して、ホスト車両から注目対象物までの距離Ｚ０を次式により求める。
Ｒａｔｅ＝ｈ０／ｈ１                  （１）
Ｚ０＝Ｖ×ΔＴ／（Ｒａｔｅ−１）      （２）
ここで、ΔＴは、現在画像の撮像時刻と基準画像である過去画像の撮像時刻との時間差、Ｖは、現在のホスト車両の車速である。なお、当該車速は、ホスト車両が備える車速センサ（不図示）から取得するものとすることができる。
【００３３】
図３は、ホスト車両から対象物までの距離算出に用いる基準画像の設定について説明するための説明図である。図３（ａ）〜（ｄ）は、それぞれ撮像装置１０２が撮像したホスト車両の進行方向前方の画像であり、図３（ａ）〜（ｄ）の図示左肩部分に撮像時刻ｔが示されている。ここで、Δｔは、撮像装置１０２における撮像の時間間隔である。
【００３４】
すなわち、図３（ａ）は現在時刻ｔ０において撮像された現在画像、図３（ｂ）は現在時刻ｔ０から時間間隔Δｔだけ前の時刻ｔ０−Δｔに撮像された直前の過去画像、図３（ｃ）及び（ｄ）はそれぞれ時刻ｔ０−２Δｔ及びｔ０−３Δｔに撮像された過去画像を示している。
【００３５】
図３（ａ）〜（ｄ）に示す各画像においては、対象物である歩行者３００、３０２、３０４、３０６がそれぞれ識別されており、歩行者３０２〜３０６の各画像部分の外接矩形である対象物領域３０８、３１０、３１２、３１４がそれぞれ設定されている。また、対象物領域３０８〜３１４のそれぞれについて、歩行者に関して予め定義された４つの周辺領域の配置（例えば図２に示す配置）に従い、周辺領域３２０、３２２、３２４、３２６と、周辺領域３２８、３３０、３３２、３３４と、周辺領域３３６、３３８、３４０、３４２と、周辺領域３４４、３４６、３４８、３５０と、が設定されている。ここで、歩行者３００〜３０６は、対象物追跡ユニット１１４により同一の対象物を撮像したものとして識別され、同一のラベルが付されているものとする。
【００３６】
また、図３（ａ）〜（ｄ）の図示左端には、例えば背景に存在する同一の建物の一部が、背景物体３５２、３５４、３５６、３５８として写り込んでおり、図３（ａ）〜（ｃ）においては背景物体３５２〜３５６は周辺領域３２０〜３４２と重なってないが、時刻ｔ０−３Δｔに撮像された図３（ｄ）の画像では、背景物体３５８の画像が周辺領域３４４及び３４８と重なっている。
【００３７】
上記の状況において、周辺同一性判定ユニット１１８は、図３（ａ）に示す現在画像の周辺領域３２０〜３２６と、図３（ｂ）〜（ｄ）に示す各過去画像におけるそれぞれの周辺領域３２８〜３３４、３３６〜３４２、３４４〜３５０との相関度レベルを算出する。具体的には、周辺同一性判定ユニット１１８は、例えば、周辺領域３２０〜３５０のそれぞれについてピクセル毎の輝度平均値を求める。そして、図３（ａ）に示す現在画像における周辺領域３２０の輝度平均値と、当該周辺領域３２０に対応する図３（ｂ）〜（ｄ）における周辺領域３２８、３３６、３４４のそれぞれの輝度平均値との差を求める。
【００３８】
同様に、周辺同一性判定ユニット１１８は、図３（ａ）に示す現在画像における周辺領域３２２の輝度平均値と、当該周辺領域３２２に対応する図３（ｂ）〜（ｄ）における周辺領域３３０、３３８、３４６のそれぞれの輝度平均値との差、図３（ａ）に示す現在画像における周辺領域３２４の輝度平均値と、当該周辺領域３２４に対応する図３（ｂ）〜（ｄ）における周辺領域３３２、３４０、３４８のそれぞれの輝度平均値との差、及び図３（ａ）に示す現在画像における周辺領域３２６の輝度平均値と、当該周辺領域３２６に対応する図３（ｂ）〜（ｄ）における周辺領域３３４、３４２、３５０のそれぞれの輝度平均値との差、を算出する。
【００３９】
そして、図３に示す状況においては、図３（ｄ）に示す過去画像における周辺領域３４４及び３４８のみが背景物体３５８と重なっており、他の周辺領域３２０〜３４２、３４６、３５０は対応する背景物体３５２〜３５８と重なっていないことから、図３（ａ）に示す現在画像の周辺領域３２０及び３２４と、図３（ｄ）に示す過去画像における対応する周辺領域３４４及び３４８との間の、それぞれの輝度平均値の差のみが、上述において算出した他の輝度平均値の差に比べて大きくなり、したがって、予め適宜に設定された所定の値よりも大きくなり得る。
【００４０】
その結果、周辺同一性判定ユニット１１８は、注目画像である歩行者３００に関して、図３（ａ）に示す現在画像に対する図３（ｂ）及び（ｃ）に示す過去画像の相関度レベルは所定レベル以上であり、図３（ｄ）に示す過去画像の相関度レベルは所定レベル未満であると判断する。
【００４１】
この判断結果に基づき、距離算出ユニット１２０は、図３（ａ）に示す現在画像に対する直前の過去画像である図３（ｂ）に示す過去画像の相関度レベルが所定のレベル以上であるので、当該直前の過去画像から撮像時刻順に過去へ向かって図３（ｃ）、図３（ｄ）の各過去画像を探索し、直前の過去画像（図３（ｂ））を含む相関度レベルが所定のレベル以上である連続する過去画像のうち最も過去に撮像された過去画像である図３（ｃ）の過去画像（即ち、時刻ｔ０−２Δｔで撮像された過去画像）を基準画像として設定する。そして、距離算出ユニット１２０は、図３（ａ）に示す現在画像における歩行者３００の対象物領域３０８の高さ（式（１）のｈ０に対応）と、基準画像である図３（ｃ）に示す過去画像における歩行者３０４の対象物領域３１２の高さ（式（１）のｈ１に対応）と、現在画像と過去画像との撮像時刻の差２Δｔ（式（２）のΔＴに対応）と、現在のホスト車両の車速Ｖと、を用いて、ホスト車両から歩行者３００が表す現実の歩行者までの距離Ｚ０を、上述の式（１）（２）に従って算出する。
【００４２】
このように、本実施形態に係る監視装置１００では、対象物追跡ユニット１１４における対象物領域内の類似性判断に基づいた現在画像と過去画像との間における注目対象物の同一性判断に加えて、上記のように、注目対象物の対象物領域の周囲に設定した周辺領域についての、現在画像と過去画像との間での類似度をも判断し、注目対象物の画像における同一性と、周辺領域における同一性が高いと判断された過去画像のうち最も古い画像（すなわち、現在時刻との撮像時刻の時間差が最も大きい過去画像）を基準画像として用いる。このため、本実施形態に係る監視装置１００では、対象物追跡の正確さを損なうことなく（むしろ、より高い正確さにおいて）、ホスト車両から注目対象物までの距離の算出精度を適応的に高めることができる。
【００４３】
ここで、前述したように周辺領域を対象物領域の左右両側に設けるのは、対象物領域の周辺の領域をできるだけ均等にサンプリングして同一性を判断するほうが、当該対象物の周囲環境の同一性をより適切に判断することができるからである。また、周辺領域を対象物領域の下部の左右に設定しないのは、当該下部部分は対象物が地面に接する部分であり、地面のパターンは場所によって変化が激しく多様であって、対象物の周囲環境の同一性の判断には適さないためである。
【００４４】
図１に戻り、位置算出ユニット１２２は、上記算出されたホスト車両から注目対象物までの距離Ｚ０と、現在画像における当該注目対象物の対象物領域の位置から、ホスト車両に対する注目対象物の実空間における相対的な位置を示す３次元位置座標（Ｘ０、Ｙ０、Ｚ０）を求める。なお、３次元位置座標は、例えば撮像装置１０２の撮像面の光学中心を原点とし、撮像装置１０２の光軸をｚ軸、鉛直方向をｙ軸、水平方向をｘ軸とする座標系として定めることができ、Ｘ０及びＹ０は、現在画像における対象物領域の位置と撮像装置１０２の焦点距離から、公知の手法を用いて求めることができる。また、ホスト車両に設けられたヨーレートセンサ（不図示）及び速度センサ（不図示）からの情報にも基づき、例えば特許文献２、３に示された手法を用いてホスト車両の回頭角を考慮した注目対象物の位置座標を求めてもよい。
【００４５】
位置算出ユニット１２２は、現在画像において識別された対象物のそれぞれを注目対象物として上記の処理を繰り返し行い、当該識別された対象物の全てについて上記３次元位置座標を算出する。
【００４６】
接触判定ユニット１２４は、ホスト車両に設けられた速度センサ等（不図示）から取得される速度と、上記算出された各対象物の３次元位置座標と、に基づき、各対象物とホスト車両とが接触する可能性を評価する。当該評価は、例えば特許文献２、３に記載の方法を用いることができる。
【００４７】
警報制御ユニット１２６は、現在画像において識別された対象物のうち少なくとも一つの対象物について、接触判定ユニット１２４が上記接触の可能性が高いと判断しているときは、例えば出力ＩＮＦ１１０を介して音出力装置１０６に警報音を発出させる。これに代えて又はこれに加えて、上記接触の可能性が高いと判断された対象物の位置情報を表示画像生成ユニット１２８に出力する。
【００４８】
表示画像生成ユニット１２８は、撮像装置１０２が撮像した画像を入力ＩＮＦ１０４を介して取得して画像出力装置１０８に表示すべき表示画像を生成し、当該表示画像を出力ＩＮＦ１１０を介して画像出力装置１０８に表示する。また、表示画像生成ユニット１２８は、警報制御ユニット１２６から、接触可能性の高い対象物の位置情報を受信したときは、例えば当該対象物について接触可能性が高いことを示す警告アイコンを対応する位置に重畳表示して上記表示画像を生成する。
【００４９】
次に、車両周辺監視装置１００の処理動作の手順について、図４に示すフロー図に従って説明する。本処理は、車両周辺監視装置１００の電源がオンされたときに開始し、所定の時間間隔（例えば撮像装置１０２における所定の撮像時間間隔と同じ時間間隔）で繰り返し実行される。
【００５０】
処理を開始すると、まず、対象物領域設定ユニット１１２は、撮像装置１０２が撮像したホスト車両前方の画像を、入力ＩＮＦ１０４を介して受信して取得し（Ｓ１００）、当該取得した画像に捉えられている対象物を識別して、当該対象物の画像領域である対象物領域を設定する（Ｓ１０２）。同時に、対象物領域設定ユニット１１２は、上記取得した画像（現在画像）と上記設定した対象物領域の情報とを関連付けて、記憶装置１３０に記憶する。
【００５１】
次に、対象物追跡ユニット１１４は、現在画像及び過去画像に捉えられている対象物の追跡（トラッキング）を行う（Ｓ１０４）。具体的な手法は、対象物追跡ユニット１１４について上述した説明のとおりである。続いて、周辺領域設定ユニット１１６は、記憶装置１３０に記憶されている現在画像及び過去画像における対象物情報を参照して、現在画像において識別された対象物と同一の対象物が過去画像において識別されているか否かを判断し（Ｓ１０６）、識別されていないときは（Ｓ１０６、Ｎｏ）、処理を終了する。
【００５２】
一方、現在画像において識別された対象物と同一の対象物が過去画像において識別されている識別されているときは（Ｓ１０６、Ｙｅｓ）、当該対象物が識別された現在画像及び全ての過去画像について、当該対象物に設定された対象物領域に対し所定の関係を有する位置に、少なくとも一つの周囲領域を設定する（Ｓ１０８）。次に、周辺同一性判定ユニット１１８は、注目対象物について現在画像において設定された周辺領域と、過去画像における対応する周辺領域との相関度レベルを判定することにより周辺領域の同一性を判定し（Ｓ１１０）、距離算出ユニット１２０は、相関度レベルが所定のレベル以上である、直前の過去画像を含む連続する過去画像のうち最も過去に撮像された過去画像を基準画像として設定して、現在画像と基準画像とにおける注目対象物の対象物領域の高さの比から、上述の式（１）（２）に従って、ホスト車両から当該注目対象物までの距離Ｚ０を求める（Ｓ１１２）。
【００５３】
なお、上記のように設定した基準画像の撮像時刻と現在画像の撮像時刻との時間差が所定の時間未満であるとき（現在画像に対し直前の過去画像の相関度レベルが既に所定のレベル未満である場合を含む）、距離算出の精度を一定レベルに維持すべく、現在時刻の撮像時刻から予め定めた時間だけ過去に撮像された過去画像を基準画像として設定して、ホスト車両から注目対象物までの距離を算出するものとしてもよい。
【００５４】
続いて、位置算出ユニット１２２は、ステップＳ１１２において算出された距離Ｚ０と、現在画像における注目対象物の対象物領域の位置とに基づき、実空間におけるホスト車両に対する注目対象物の相対的な位置を示す３次元位置座標（Ｘ０、Ｙ０、Ｚ０）を求める。算出する（Ｓ１１４）。なお、ステップＳ１０２からＳ１１４までの処理は、現在画像において識別された対象物のそれぞれを注目対象物として、当該対象物の全てについて実行される。
【００５５】
次に、接触判定ユニット１２４は、ホスト車両に設けられた速度センサ等（不図示）から取得される速度と、上記算出された各対象物の３次元位置座標と、に基づき、各対象物とホスト車両とが接触する可能性を評価し（Ｓ１１６）、当該接触の可能性が高いか否かを判断する（Ｓ１１８）。そして、いずれかの対象物について接触可能性が高いときは（Ｓ１１８、Ｙｅｓ）、警報制御ユニット１２６は、音出力装置１０６に警報音を発出させるか、及び又は表示画像生成ユニット１２８を介して警告アイコン等の警告表示を画像出力装置１０８に表示して（Ｓ１２０）、処理を終了する。一方、ステップＳ１１８において、いずれの対象物も接触の可能性が低いときは（Ｓ１１８、Ｎｏ）、そのまま処理を終了する。
【００５６】
以上、説明したように、本実施形態に係る車両周辺監視装置１００は、対象物領域の周囲に設定された周辺領域についての、現在画像に対する相関度レベルが所定のレベル以上である連続する過去画像のうち最も古い過去画像を基準画像とし、当該基準画像と現在画像とを用いて対象物までの距離を算出する。これにより、車両周辺監視装置１００は、対象物の画像の周囲における周辺領域の画像の同一性が保たれる範囲において最も古い過去画像を基準画像として用いることで、対象物追跡の正確さを一定レベルに保持しつつホスト車両から当該対象物までの距離の算出精度を適応的に向上することができる。
【符号の説明】
【００５７】
１００・・・車両周辺監視装置、１０２・・・撮像装置、１０４・・・入力インタフェース、１０６・・・音出力装置、１０８・・・画像出力装置、１１０・・・出力インタフェース、１１２・・・対象物領域設定ユニット、１１４・・・対象物追跡ユニット、１１６・・・周辺領域設定ユニット、１１８・・・周辺同一性判定ユニット、１２０・・・距離算出ユニット、１２２・・・位置算出ユニット、１２４・・・接触判定ユニット、１２６・・・警報制御ユニット、１２８・・・表示画像生成ユニット、１３０・・・記憶装置、２０２・・・外接矩形、２０４〜２１０、３２０〜３５０・・・周辺領域、２１６〜２２２・・・配置基準点、３００〜３０６・・・歩行者、３０８〜３１４・・・対象物領域、３５２〜３５８・・・背景物体。
【図１】
2017059097.tif 000003
【図２】
2017059097.tif 000004
【図３】
2017059097.tif 000005
【図４】
2017059097.tif 000006