(57)【要約】【課題】より高精度に物体監視を行うことが可能な物体監視装置、および物体監視システムを提供すること。【解決手段】一実施形態の物体監視装置は、第１の処理部と、第２の処理部と、決定部とを備える。第１の処理部は、レーダ部の出力に基づいて、目標物の位置に関する情報を出力する。第２の処理部は、時間の経過に応じて繰り返し撮像を行う撮像部により撮像された画像に基づいて、目標物の位置に関する情報を出力する。第２の処理部は、第１の時刻において撮像された画像から第１の処理部の処理結果に基づく画像を切り出し、第１の時刻よりも後の第２の時刻において撮像された画像において、切り出した画像と相関の高い画像を探索し、探索結果に基づいて、目標物の位置に関する情報を出力する。決定部は、第１の処理部と第２の処理部の出力に基づいて目標物の位置を決定する。【選択図】図１
2015059808.tif 000002
【特許請求の範囲】
【請求項１】
物体に電磁波を放射して反射波を受信するレーダ部の出力に基づいて、目標物の位置に関する情報を出力する第１の処理部と、
時間の経過に応じて繰り返し撮像を行う撮像部により撮像された画像に基づいて、前記目標物の位置に関する情報を出力する第２の処理部であって、第１の時刻において撮像された画像から前記第１の処理部の処理結果に基づく画像を切り出し、前記第１の時刻よりも後の第２の時刻において撮像された画像において、前記切り出した画像と相関の高い画像を探索し、探索結果に基づいて、前記目標物の位置に関する情報を出力する第２の処理部と、
前記第１の処理部と前記第２の処理部の出力に基づいて前記目標物の位置を決定する決定部と、
を備える物体監視装置。
【請求項２】
請求項１記載の物体監視装置であって、
前記第１の処理部と前記第２の処理部は、少なくとも、前記目標物との距離、および、方位または横位置を出力し、
前記決定部は、前記目標物との距離に関しては、前記第１の処理部の出力を前記第２の処理部の出力よりも大きく反映させて決定し、前記目標物の方位または横位置に関しては、前記第２の処理部の出力を前記第１の処理部の出力よりも大きく反映させて決定する、
物体監視装置。
【請求項３】
請求項１または２記載の物体監視装置であって、
前記第２の処理部は、前記第２の時刻に対応する前記第１の処理部の出力を基準として探索領域を設定し、前記設定した探索領域内で、前記切り出した画像と相関の高い画像を探索する、
物体監視装置。
【請求項４】
請求項１から３のうちいずれか１項記載の物体監視装置であって、
前記第２の処理部は、前記撮像部により撮像された画像上の位置に応じて、前記切り出される領域、および前記探索の対象とされる領域の大きさ及び／または形状を変更する、
物体監視装置。
【請求項５】
物体に電磁波を放射して反射波を受信するレーダ部と、
時間の経過に応じて繰り返し撮像を行う撮像部と、
前記レーダ部の出力に基づいて、目標物の位置に関する情報を出力する第１の処理部と、
前記撮像部により撮像された画像に基づいて、前記目標物の位置に関する情報を出力する第２の処理部であって、第１の時刻において撮像された画像から前記第１の処理部の処理結果に基づく画像を切り出し、前記第１の時刻よりも後の第２の時刻において撮像された画像において、前記切り出した画像と相関の高い画像を探索し、探索結果に基づいて、前記目標物の位置に関する情報を出力する第２の処理部と、
前記第１の処理部と前記第２の処理部の出力に基づいて前記目標物の位置を決定する決定部と、
を備える物体監視システム。
【請求項６】
請求項５記載の物体監視システムであって、
前記第１の処理部と前記第２の処理部は、少なくとも、前記目標物との距離、および、方位または横位置を出力し、
前記決定部は、前記目標物との距離に関しては、前記第１の処理部の出力を前記第２の処理部の出力よりも大きく反映させて決定し、前記目標物の方位または横位置に関しては、前記第２の処理部の出力を前記第１の処理部の出力よりも大きく反映させて決定する、
物体監視システム。
【請求項７】
請求項５または６記載の物体監視システムであって、
前記第２の処理部は、前記第２の時刻に対応する前記第１の処理部の出力を基準として探索領域を設定し、前記設定した探索領域内で、前記切り出した画像と相関の高い画像を探索する、
物体監視システム。
【請求項８】
請求項５から７のうちいずれか１項記載の物体監視システムであって、
前記第２の処理部は、前記撮像部により撮像された画像上の位置に応じて、前記切り出される領域、および前記探索の対象とされる領域の大きさ及び／または形状を変更する、
物体監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、レーダ装置とカメラの出力を利用して物体を監視する物体監視装置、および物体監視システムに関する。
【背景技術】
【０００２】
ＦＭＣＷ（Frequency  Modulated  Continuous  Wave）方式により物体との距離と物体の速度を観測するレーダ装置が知られている（例えば、特許文献１参照）。また、カメラにより撮像された画像を解析して障害物を検出する障害物検出装置が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１４９８９８号公報
【特許文献２】特開２００６−５３８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
レーダ装置による物体認識と、カメラによる物体認識とでは、それぞれに長所と短所があり、従来の技術では、これらの出力に基づいて高精度な物体監視を行うことができない場合があった。
本発明が解決しようとする課題は、より高精度に物体監視を行うことが可能な物体監視装置、および物体監視システムを提供することである。
【課題を解決するための手段】
【０００５】
一実施形態の物体監視装置は、第１の処理部と、第２の処理部と、決定部とを備える。第１の処理部は、物体に電磁波を放射して反射波を受信するレーダ部の出力に基づいて、目標物の位置に関する情報を出力する。第２の処理部は、時間の経過に応じて繰り返し撮像を行う撮像部により撮像された画像に基づいて、前記目標物の位置に関する情報を出力する。また、第２の処理部は、第１の時刻において撮像された画像から前記第１の処理部の処理結果に基づく画像を切り出し、前記第１の時刻よりも後の第２の時刻において撮像された画像において、前記切り出した画像と相関の高い画像を探索し、探索結果に基づいて、前記目標物の位置に関する情報を出力する。決定部は、前記第１の処理部と前記第２の処理部の出力に基づいて前記目標物の位置を決定する。
【０００６】
一実施形態の物体監視システムは、レーダ部と、撮像部と、第１の処理部と、第２の処理部と、決定部とを備える。レーダ部は、物体に電磁波を放射して反射波を受信する。撮像部は、時間の経過に応じて繰り返し撮像を行う。第１の処理部は、前記レーダ部の出力に基づいて、目標物の位置に関する情報を出力する。第２の処理部は、前記撮像部により撮像された画像に基づいて、前記目標物の位置に関する情報を出力する。また、第２の処理部は、第１の時刻において撮像された画像から前記第１の処理部の処理結果に基づく画像を切り出し、前記第１の時刻よりも後の第２の時刻において撮像された画像において、前記切り出した画像と相関の高い画像を探索し、探索結果に基づいて、前記目標物の位置に関する情報を出力する。決定部は、前記第１の処理部と前記第２の処理部の出力に基づいて前記目標物の位置を決定する。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態に係る物体監視システム１の概要を説明するための図である。
【図２】物体監視装置１００の機能構成の一例を示す図である。
【図３】本実施形態の物体監視装置１００により実行される処理の流れを示すフローチャートの一例である。
【図４】周期的に行われる処理間の利用関係の一例を示す図である。
【図５】時刻ｔ−３において保存された周囲画像Ｔを示す図である。
【図６】図５の３サイクル後の時刻ｔにおいて設定される探索領域Ｂを示す図である。
【図７】探索の結果、目標物ＯＢを映したと推定された領域を示す図である。
【図８】レーダ装置の出力のみを用いてＮＮ相関により目標物を追跡した場合に、目標物の位置を誤検出する様子を示す図である。
【図９】レーダ装置の出力のみを用いてＮＮ相関により目標物を追跡した場合に、目標物の位置を誤検出する様子を示す図である。
【図１０】撮像画像Ａにおける位置に応じて異なる大きさに設定される周囲画像Ｔや走査画像Ｉを例示した図である。
【図１１】周囲画像Ｔや走査画像Ｉ、探索領域Ｂの形状を変更した様子を示す図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照し、物体監視装置、および物体監視システムの実施形態について説明する。
＜第１実施形態＞
以下、第１実施形態に係る物体監視装置、および物体監視システムについて説明する。図１は、第１実施形態に係る物体監視システム１の概要を説明するための図である。物体監視システム１は、例えば、レーダ装置１０と、カメラ２０と、物体監視装置１００とを備える。物体監視システム１は、レーダ装置１０の出力とカメラ２０が撮像した画像に基づいて、目標物ＯＢに関する情報を算出する。目標物ＯＢに関する情報とは、例えば、目標物ＯＢの位置および速度を含む。以下、地表面Ｓにおける第１の方向Ｘと、方向Ｘに直交する方向Ｙとを二軸とした直行座標系を用いて説明する。
【０００９】
レーダ装置１０とカメラ２０は、例えば、地表面Ｓにおける基準地点Ｏの上方に設置される。レーダ装置１０の物体検知領域の中心軸と、カメラ装置２０の光軸とは、略一致するように設置されてよい。以下、この略一致する方向を、方向Ｙとする。また、図１における領域ＳＡは、物体監視システム１が物体を監視可能な領域を示している。領域ＳＡは、例えば、レーダ装置１０の物体検知領域とカメラ２０の撮像可能領域との重複部分である。なお、レーダ装置１０とカメラ２０は、自動車などの移動体に搭載されてもよいし、人によって保持されても構わない。
【００１０】
レーダ装置１０は、図１におけるＹ方向に電磁波を放射して、目標物ＯＢなどの物体により反射された反射波を受信する。レーダ装置１０は、例えば、ＦＭＣＷ（Frequency  Modulated  Continuous  Wave）レーダである。レーダ装置１０は、例えば、ＦＭ変調されたスイープ信号であるダウンチャープとアップチャープとを、交互に複数回送受信するように制御される。レーダ装置１０の出力値は、所定周期Ｓ１で物体監視装置１００に入力される。なお、レーダ装置１０は、他の種類のレーダ装置であっても構わない。
【００１１】
カメラ２０は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の固体撮像素子を備え、所定周期Ｓ２で繰り返し撮像を行い、撮像した画像のデータを物体監視装置１００に出力する。ここで、所定周期Ｓ１は、例えば所定周期Ｓ２よりも短い周期である。
【００１２】
物体監視装置１００は、任意の場所に設置されるコンピュータ装置である。図１では、物体監視装置１００がレーダ装置１０やカメラ２０の傍に設置されるかのように示したが、物体監視装置１００は、レーダ装置１０やカメラ２０とは離れた場所に設置され、ＷＡＮ（Wide  Area  Network）やＬＡＮ（Local  Area  Network）等のネットワークを介してレーダ装置１０やカメラ２０と接続されても構わない。
【００１３】
図２は、物体監視装置１００の機能構成の一例を示す図である。物体監視装置１００は、例えば、データ取得部１１０と、レーダ観測部１１２と、第１の処理部１１４と、第２の処理部１２０と、決定部１３０と、記憶部１４０とを備える。また、第２の処理部１２０は、探索領域決定部１２２と、目標物探索部１２４とを備える。これらの機能部のうち一部または全部は、例えば、ＣＰＵ（Central  Processing  Unit）等のプロセッサが、記憶部１４０に記憶されたプログラムを実行することにより機能するソフトウェア機能部である。また、これらの機能部のうち一部または全部は、ＬＳＩ（Large  Scale  Integration）やＡＳＩＣ（Application  Specific  Integrated  Circuit）等のハードウェア機能部であってもよい。記憶部１４０は、ＲＡＭ（Random  Access  Memory）やＲＯＭ（Read  Only  Memory）、フラッシュメモリ、ＨＤＤ（Hard  Disk  Drive）、レジスタ等を含む。
【００１４】
データ取得部１１０は、レーダ装置１０から検知結果を取得する。
レーダ観測部１１２は、例えば、ビート周波数により速度を算出した後、距離を算出するＭＲＡＶ（Measurement  Range  after  measurement  Velocity）方式によって、物体との距離を算出する（特許文献１参照）。レーダ観測部１１２は、例えば、ＡＤ変換器、アップ系列ダウン系列抽出部、ＦＦＴ部、ＤＢＦ部、ＭＲＡＶ／ＦＭＣＷ処理部、測角部などを備える。ＡＤ変換器は、レーダ装置１０から受信したアナログ信号をデジタル信号に変換してアップ系列ダウン系列抽出部に出力する。アップ系列ダウン系列抽出部は、入力された信号から、アップチャープ信号とダウンチャープ信号を分離してＦＦＴ部に出力する。ＦＦＴ部は、入力された信号を高速フーリエ変換により周波数軸上の信号に変換し、ＤＢＦ部に出力する。ＤＢＦ部は、入力された周波数軸上の信号を用いて、ΣビームとΔビームを形成する。この際に、ＤＢＦ部は、複数回のスイープによって得られたΣビームのスレッショルドレベルを検出し、スレッショルドレベルから目標を検出して保存する。ΣビームはＭＲＡＶ／ＦＭＣＷ処理部に出力され、Δビームは測角部に出力される。ＭＲＡＶ／ＦＭＣＷ処理部は、入力されたΣビームに基づいて、アップ系列／ダウン系列のペアリング等の処理を行い、物体との距離および物体の速度を算出する。ＭＲＡＶ／ＦＭＣＷ処理部は、上記スレショルドレベルを超える周波数バンクを抽出し、周波数バンクに対して、スイープ時刻と相対距離との最小２乗直線、すなわち、フィッティング直線を算出し、その直線の勾配に基づいて速度を算出する。そして、ＭＲＡＶ／ＦＭＣＷ処理部は、算出した速度とビート周波数に基づいて、物体との距離を算出する。一方、測角部は、ＭＲＡＶ／ＦＭＣＷ処理部からΣビームを入力し、ΣビームとΔビームに基づいて物体の方位を算出する。なお、レーダ観測部１１２の機能は、レーダ装置１０の内部機能であってもよい。
【００１５】
第１の処理部１１４は、レーダ装置１０の出力を使用したレーダ観測部１１２の出力に基づいて、目標物ＯＢの位置および速度を出力する。ここで、レーダ観測部１１２の出力は、「物体」の位置、および速度に関するものであり、その物体が目標物ＯＢであるか否かを識別したものではない。従って、第１の処理部１１４は、仮にレーダ観測部１１２の出力が複数の物体に関する情報を含む場合でも、どの物体が目標物ＯＢであるかを推定し（すなわち目標物ＯＢを同定し）、目標物ＯＢの位置および速度を出力する。
【００１６】
また、第２の処理部１２０は、カメラ２０により撮像された画像に基づいて、目標物ＯＢの位置および速度を算出して出力する。第２の処理部１２０は、繰り返し処理を行う中で、過去に目標物ＯＢを撮像したと推定された画像の一部と相関の高い画像領域を探索し、発見された画像領域の撮像画像中の位置に基づいて、目標物ＯＢの位置および速度を出力する。
【００１７】
ここで、「位置」とは、「距離（図１におけるＹ座標）」と「方位（図１における基準地点Ｏまわりの角度）」の組み合わせであってもよいし、「距離」と「横位置（図１におけるＸ座標）」の組み合わせであってもよい。また、第１の処理部１１４により算出される実平面上の位置および速度は、画像平面上の位置および速度に変換されて使用されることがある。実平面と画像平面の変換には、あらかじめキャリブレーションで求めた関数式を用いる。
【００１８】
［処理フロー］
以下、第１の処理部１１４、第２の処理部１２０、および決定部１３０の具体的な処理の内容について、フローチャートを示して説明する。図３は、本実施形態の物体監視装置１００により実行される処理の流れを示すフローチャートの一例である。なお、ここでは、第１の処理部１１４の処理周期が、第２の処理部１２０の処理周期よりも短い（例えば１／３程度）ものとする。これは、レーダ装置１０およびレーダ観測部１１２の処理周期が、カメラ２０による撮像周期よりも短いことに対応したものであってもよいし、そうではなく、単に第１の処理部１１４が第２の処理部１２０よりも高速に処理を行うことを意味してもよい。
【００１９】
まず、物体監視装置１００は、第１の処理部１１４と第２の処理部１２０の両方の処理タイミングが到来したか否かを判定する（ステップＳ２００）。第２の処理部１２０の処理タイミングとは、例えば、カメラ２０から画像データが入力されたタイミングである。ステップＳ２００において否定的な判定を得た場合、物体監視装置１００は、第１の処理部１１４のみの処理タイミングが到来したか否かを判定する（ステップＳ２０２）。ステップＳ２０２において否定的な判定を得た場合、本フローチャートの１ルーチンが終了する。
【００２０】
第１の処理部１１４のみの処理タイミングが到来した場合、第１の処理部１１４は、前回の処理結果に基づいて、目標物ＯＢを同定する（ステップＳ２０４）。そして、決定部１３０は、第１の処理部１１４の処理結果を、目標物ＯＢの位置および速度とする（ステップＳ２０６）。ここで、「前回の処理結果」とは、前回が第１の処理部１１４のみの処理タイミングであれば、第１の処理部１１４の処理結果であり、前回が第１の処理部１１４および第２の処理部１２０の処理タイミングであれば、第１の処理部１１４と第２の処理部１２０の処理結果を統合した処理結果である。
【００２１】
図４は、周期的に行われる処理間の利用関係の一例を示す図である。なお、物体監視装置１００が処理を開始した直後など、「前回の処理結果」が存在しない場合には、全ての物体を目標物ＯＢとして扱ってもよいし、最も反射波が大きかった物体等を目標物ＯＢとして選択してもよい。
【００２２】
いずれの場合でも、第１の処理部１１４は、α―βフィルタ等を用いた相関追跡により前回の処理結果における目標物ＯＢの位置および速度と処理周期から今回の目標物ＯＢの位置を推定し、レーダ装置１０の出力する物体の位置の中で、推定された位置に最も近い物体を目標物ＯＢと判断し、目標物ＯＢと判断した物体の位置および速度を、目標物ＯＢの位置および速度として出力する。なお、第１の処理部１１４は、前回の処理結果だけでなく、前々回やそれ以前の処理結果を加味し、今回の目標物ＯＢの位置を推定してもよい。
【００２３】
一方、ステップＳ２００において、第１の処理部１１４と第２の処理部１２０の両方の処理タイミングが到来したと判定された場合、まず第１の処理部１１４が、前回の処理結果に基づいて、目標物ＯＢを同定する（ステップＳ２０８）。本ステップの処理は、ステップＳ２０４の処理と同様である。
【００２４】
次に、第２の処理部１２０のうち探索領域決定部１２２が、ステップＳ２０８における第１の処理部１１４の処理結果に基づいて、直近で入力された画像において目標物ＯＢを探索する探索領域を設定する（ステップＳ２１０）。そして、目標物探索部１２４が、探索領域内で目標物ＯＢを探索し（ステップＳ２１２）、探索結果に基づく周囲画像を記憶部１４０に保存する（ステップＳ２１４）。
【００２５】
図５〜図７は、時刻ｔ−３において保存された周囲画像Ｔと、その３サイクル後の時刻ｔにおいて設定される探索領域Ｂと、探索の結果、目標物ＯＢを映したと推定された領域とを順に示す図である。
【００２６】
図５に示すように、時刻ｔ―３において、撮像画像Ａにおける目標物ＯＢの位置（ｉ，ｊ）が決定されると、その周囲画像Ｔが切り出される。周囲画像Ｔは、監視対象とする目標物ＯＢの種類に応じて、任意の大きさおよび形状に切り出してよい。例えば、目標物ＯＢが歩行者や車両である場合、周囲画像Ｔは、実際の大きさにして２［ｍ］×２［ｍ］程度に相当する画像上の大きさに切り出される。この際に、画像上の大きさは目標物ＯＢとの距離に応じて変動するため、目標物ＯＢが近い場合には周囲画像Ｔを大きく切り出し、遠い場合には周囲画像Ｔを小さく切り出すようにしてよい。ここでは、周囲画像Ｔの横サイズを２ａ、縦サイズを２ｂとして周囲画像Ｔが切り出されたものとする。この場合、周囲画像Ｔの四隅の座標は、（ｉ―ａ，ｊ＋ｂ）、（ｉ＋ａ，ｊ＋ｂ）、（ｉ―ａ，ｊ―ｂ）、（ｉ＋ａ，ｊ―ｂ）となる。
【００２７】
図６に示すように、時刻ｔにおいては、時刻ｔにおける第１の処理部１１４の処理結果（目標物ＯＢの位置）を、画像平面に変換した位置（ｉ＊，ｊ＊）を基準として、探索領域Ｂが設定される。探索領域Ｂは、例えば目標物ＯＢの位置を中心とする矩形領域である。そして、目標物探索部１２４は、探索領域Ｂ内に収まる画像であって、例えば周囲画像Ｔと同じ大きさ及び形状を有する走査画像Ｉを、探索領域Ｂ内で順次切り出し、周囲画像Ｔと最も相関の高い走査画像Ｉを、目標物ＯＢを撮像した画像であると判断する（図７）。周囲画像Ｔに含まれる各画素の画素値をＴ（ｍ，ｎ）、周囲画像Ｔのサイズを２ａ×２ｂ、走査画像Ｉに含まれる各画素の画素値をＩ（ｍ，ｎ）とすると、周囲画像Ｔと走査画像Ｉの相関ＲＮＣＣは、例えば、式（１）で表される。
【数１】
2015059808.tif 000003
【００２８】
ここで、「画素値」とは、撮像画像Ａが単色画像である場合には、輝度値である。また、撮像画像Ａがカラー画像である場合には、ＲＧＢ成分を輝度値に変換したものを画素値としてよい。また、画像間の相関を求める手法は上記に限らず種々の手法を用いることができ、例えば、ＲＧＢ成分についてヒストグラムを求め、ヒストグラムの類似性に基づいて周囲画像Ｔと走査画像Ｉの相関を求めてもよい。
【００２９】
最も相関の高い走査領域が決定されると、時刻ｔ―３における周囲画像Ｔから、最も相関の高い走査領域への移動量が求められる。移動量は、例えば、時刻ｔ―３における周囲画像Ｔの重心と、最も相関の高い走査領域の重心との間の差分ベクトルである。目標物探索部１２４は、時刻ｔ―３において求められていた、第２の処理部１２０の処理結果としての目標物ＯＢの位置に差分ベクトルを加算して、時刻ｔにおける目標物ＯＢの位置を求める。また、差分ベクトルに基づいて、目標物ＯＢの速度を求める。新たな目標物ＯＢが求められると、その周囲画像Ｔが切り出され、記憶部１４０に保存される。
【００３０】
ステップＳ２１６において、決定部１３０は、第１の処理部１１４の処理結果と第２の処理部１２０の処理結果を統合し、目標物ＯＢの位置および速度を決定する。ここで、決定部１３０は、目標物ＯＢの位置のうち距離成分については第１の処理部１１４の処理結果を大きく反映させて決定し、目標物ＯＢの位置のうち横位置成分（方位成分）については、第２の処理部１２０の処理結果を大きく反映させて決定する。第１の処理部１１４の処理結果である目標物ＯＢの位置を（ｘ１，ｙ１）、第２の処理部１２０の処理結果である目標物ＯＢの位置を（ｘ２，ｙ２）とすると、決定部１３０は、式（２）により目標物ＯＢの位置（ｘ，ｙ）を決定する。ここで、係数Ｃ１＜Ｃ２、Ｄ１＞Ｄ２が成立する。決定部１３０は、Ｃ１、Ｄ２を、例えば０．１程度の値とし、Ｃ２、Ｄ１を、例えば０．９程度の値とすると好適である。また、Ｃ１、Ｄ２をゼロ、Ｃ２、Ｄ１を１としても構わない。なお、位置についてのみ説明したが、速度についても同様に、距離成分について第１の処理部１１４の処理結果を大きく反映させ、横位置成分について第２の処理部１２０の処理結果を大きく反映させてよい。なお、決定部１３０により決定された位置および速度は、外部装置に出力されたり、記憶部１４０に記憶されたりする。
（ｘ，ｙ）＝（Ｃ１×ｘ１＋Ｃ２×ｘ２，Ｄ１×ｙ１＋Ｄ２×ｙ２）  ‥（２）
【００３１】
目標物ＯＢの位置および速度が決定されると、決定部１３０は、更に、決定した位置および速度に対して、等加速度運動モデルを適用したカルマンフィルタを用いて、目標物ＯＢの高精度位置及び速度を推定する。さらにカルマンフィルタを用いて、次の処理タイミングにおける目標物ＯＢの位置および速度を推定する。次の処理タイミングにおいて、決定部１３０は、１タイミング前に推定された目標物ＯＢの位置および速度と、当該処理タイミングにおいて決定された目標物ＯＢの位置および速度との差分を求める。そして、決定部１３０は、差分の大きさが基準値以上である場合には、レーダ装置１０による観測が不安定だったと判断し、当該回の処理結果ではなく１タイミング前に推定された位置および速度を、目標物ＯＢの位置および速度として決定する。このような処理によって、物体監視装置１００は、処理のロバスト性を向上させることができる。
【００３２】
上記説明したように、物体監視装置１００は、目標物ＯＢの位置のうち距離成分については第１の処理部１１４の処理結果を大きく反映させ、目標物ＯＢの位置のうち横位置成分（方位成分）については、第２の処理部１２０の処理結果を大きく反映させることによって、より高精度に物体監視を行うことができる。
【００３３】
一般的に、ＦＭＣＷレーダ等のレーダ装置は、比較的短い間隔で位置や速度を測定することができ、応答性に優れている。また、レーダ装置は、照明や天候の変化に余り影響されないという利点を備えている。しかしながら、レーダ装置は、距離の測定精度に比して、方位（横位置）の測定精度が低いという課題を備えている。図８および図９は、レーダ装置の出力のみを用いてＮＮ相関により目標物を追跡した場合に、目標物の位置を誤検出する様子を示す図である。図中、白丸は、レーダ装置が出力した物体の位置を画像平面上の位置に変換したものである。図８に示すように、ＮＮ相関により追跡した場合、レーダ装置が複数の物体の位置を出力する結果、誤った位置を目標物の位置と認識する場合がある。また、図９に示すようにレーダ装置が目標物からの反射波をとらえることができなかった場合、正確に目標物の位置を検出できない場合がある。
【００３４】
一方、カメラによる物体位置測定技術においては、一般的に、レーダ装置よりも横位置に関する測定精度が高いものの、距離に関する測定精度はレーダ装置よりも低いものとなっている。また、照明や天候の影響を受けやすく、レーダ装置よりも測定周期が長くなることが多い。
【００３５】
従って、これらの技術の利点を統合することで、より高精度に物体監視を行うことができる。本実施形態の物体監視装置１００では、距離方向成分について第１の処理部１１４の処理結果を大きく反映させ、水平方向位置成分（方位成分）について第２の処理部１２０の処理結果を大きく反映させるため、レーダ装置１０の利点と、カメラ２０を用いた物体位置測定技術の利点との双方を利用して、物体監視を行うことができる。
【００３６】
また、物体監視装置１００は、係数Ｃ１＝Ｄ２＝ゼロ、Ｃ２＝Ｄ１＝１とせずに、例えばＣ１やＤ２を０．１、Ｃ２やＤ１を０．９程度にすることで、レーダ装置１０の出力による同定結果とカメラ２０の撮像画像Ａによる物体認識結果との一方が大きく異常値を出力した場合等に対応することができ、ロバスト性を高めることができる。
【００３７】
また、物体監視装置１００は、第２の処理部１２０が、第１の処理部１１４の処理結果に基づいて探索領域Ｂを設定し、探索領域Ｂ内で周囲画像Ｔと相関の高い走査画像Ｉを探索するため、カメラ２０の撮像画像Ａ全体で探索を行う場合に比して、処理負荷を低減し、処理速度を向上させることができる。
【００３８】
＜第２実施形態＞
以下、第２実施形態に係る物体監視装置、および物体監視システムについて説明する。ここでは、図１〜図４、および関連する説明を援用し、第１実施形態との相違点を中心に説明する。
【００３９】
第２実施形態に係る物体監視装置１００の第２の処理部１２０は、走査画像Ｉの大きさを、周囲画像Ｔと同じ大きさとするのではなく、撮像画像Ａ上における位置に基づいて変更する。図１０は、撮像画像Ａにおける位置に応じて異なる大きさに設定される走査画像Ｉを例示した図である。図中、撮像画像Ａにおける奥側に設定される走査画像Ｉは、手前側に設定される走査画像Ｉに比してサイズが小さくなっている。このように、走査画像Ｉの大きさを周囲画像Ｔと同じにしない場合、例えば、周囲画像Ｔと走査画像Ｉの相関ＲＮＣＣを求める前に、補間演算等によりサイズを合わせる処理を行い、補間後の画像間で式（１）を適用して相関を求めてよい。
【００４０】
また、第２実施形態に係る物体監視装置１００の第２の処理部１２０は、周囲画像Ｔや走査画像Ｉの形状を、正方形や長方形ではなく、手前側が広くなる形状（例えば台形）に設定してもよい。また、この場合、第２実施形態に係る物体監視装置１００の第２の処理部１２０は、探索領域Ｂを、周囲画像Ｔや走査画像Ｉの形状に合わせて、台形等に設定してもよい。図１１は、周囲画像Ｔや走査画像Ｉ、探索領域Ｂの形状を変更した様子を示す図である。手前側に設定される走査画像Ｉが、奥側に設定される走査画像Ｉに比して大きくなる点については、図８の場合と同様である。
【００４１】
このような処理によって、第２実施形態の物体監視装置１００は、更に高精度に物体認識を行うことができる。目標物ＯＢが手前側に映っている場合、奥側に映っている場合よりも画像上のサイズが大きくなるため、周囲画像Ｔと走査画像Ｉを一定のサイズにした場合、求める相関が正確でなくなる可能性があるからである。
【００４２】
以上説明した少なくともひとつの実施形態によれば、レーダ装置１０の出力に基づいて目標物ＯＢの位置に関する情報を出力する第１の処理部１１４と、カメラ２０により撮像された画像に基づいて画像間の相関により目標物ＯＢの位置に関する情報を出力する第２の処理部１２０とを備え、第１の処理部１１４と第２の処理部１２０の出力に基づいて目標物ＯＢの位置を決定するため、より高精度に物体監視を行うことができる。
【００４３】
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４４】
１  物体監視システム
１０  レーダ装置
２０  カメラ
１００  物体監視装置
１１０  データ取得部
１１２  レーダ観測部
１１４  第１の処理部
１２０  第２の処理部
１２２  探索領域決定部
１２４  目標物探索部
１３０  決定部
１４０  記憶部
Ａ  撮像画像
Ｂ  探索領域
Ｉ  走査画像
ＯＢ  目標物
Ｔ  周囲画像
【図１】
2015059808.tif 000004
【図２】
2015059808.tif 000005
【図３】
2015059808.tif 000006
【図４】
2015059808.tif 000007
【図５】
2015059808.tif 000008
【図６】
2015059808.tif 000009
【図７】
2015059808.tif 000010
【図８】
2015059808.tif 000011
【図９】
2015059808.tif 000012
【図１０】
2015059808.tif 000013
【図１１】
2015059808.tif 000014