(57)【要約】【課題】対象物体の位置を精度良く検出することができる位置検出システム、位置検出装置、および位置検出方法を提供することである。【解決手段】実施形態の位置検出システムは、第１の観測部と、第２の観測部と、尤度算出部と、決定部とをもつ。第１の観測部は、所定の空間内の物体を時系列に観測して、時系列ごとに第１の観測信号を生成する。第２の観測部は、第１の観測部と異なる方法で物体を時系列に観測して、時系列ごとに第２の観測信号を生成する。尤度算出部は、第１の観測部により生成された第１の観測信号に応じて第１の尤度の分布を算出すると共に、第２の観測部により生成された第２の観測信号に応じて第２の尤度の分布を算出し、算出した第１の尤度の分布と第２の尤度の分布とに基づいて第３の尤度の分布を算出する。決定部は、第３の尤度の分布に基づいて所定の空間内における物体の位置を決定する。【選択図】図２
2016166802.tif 000002
【特許請求の範囲】
【請求項１】
所定の空間内の物体を時系列に観測して、前記時系列ごとに第１の観測信号を生成する第１の観測部と、
前記第１の観測部と異なる方法で前記物体を時系列に観測して、前記時系列ごとに第２の観測信号を生成する第２の観測部と、
前記第１の観測部により所定の期間において観測されて生成された第１の観測信号に応じて前記所定の空間内における第１の尤度の分布を算出すると共に、前記第２の観測部により前記所定の期間において観測されて生成された第２の観測信号に応じて前記所定の空間内における第２の尤度の分布を算出し、前記算出した第１の尤度の分布と第２の尤度の分布とに基づいて、前記所定の空間内における第３の尤度の分布を算出する尤度算出部と、
前記所定の空間内における第３の尤度の分布に基づいて前記所定の空間内における前記物体の位置を決定する決定部と、
を備える位置検出システム。
【請求項２】
前記第１の観測部により前記所定の期間よりも前に観測されて生成された前記第１の観測信号と、前記第２の観測部により前記所定の期間よりも前に観測されて生成された前記第２の観測信号と、前記尤度算出部により算出された第３の尤度とに基づいて、前記所定の期間において前記物体が前記空間内に存在する確率を示す確率密度分布を算出する確率密度分布算出部とを備え、
前記決定部は、前記確率密度分布算出部により算出された確率密度分布に基づいて、前記所定の空間内における前記物体の位置を決定する、
請求項１記載の位置検出システム。
【請求項３】
前記第１の観測部は、前記物体に電波を放射して前記電波の反射波を受信するレーダ装置を含み、
前記第２の観測部は、前記物体を撮像するカメラを含む、
請求項１または２記載の位置検出システム。
【請求項４】
前記尤度算出部は、前記第１の尤度と前記第２の尤度とを所定の比率に応じて統合することにより、前記第３の尤度の分布を算出する、
請求項１から３のうちいずれか一項記載の位置検出システム。
【請求項５】
前記尤度算出部は、前記所定の期間よりも前の期間において前記決定部により決定された物体の位置またはその変化に基づいて、前記所定の比率を変更する、
請求項４記載の位置検出システム。
【請求項６】
前記決定部は、前記確率密度分布算出部により算出された確率密度分布が閾値よりも大きい場合に、前記空間における前記物体の位置を決定する、
請求項２記載の位置検出システム。
【請求項７】
所定の空間内の物体を所定の期間において時系列に観測して前記時系列ごとに生成された第１の観測信号に応じて前記所定の空間内における第１の尤度の分布を算出すると共に、前記第１の観測信号と異なる方法で観測された第２の観測信号であって、前記物体を前記所定の期間において時系列に観測して前記時系列ごとに生成された第２の観測信号に応じて前記所定の空間内における第２の尤度の分布を算出し、前記算出した第１の尤度の分布と第２の尤度の分布とに基づいて、前記所定の空間内における第３の尤度の分布を算出する尤度算出部と、
前記所定の空間内における第３の尤度の分布に基づいて前記所定の空間内における前記物体の位置を決定する決定部と、
を備える位置検出装置。
【請求項８】
所定の空間内の物体を時系列に観測して、前記時系列ごとに第１の観測信号を生成する第１の観測部と、前記第１の観測部と異なる方法で前記物体を時系列に観測して、前記時系列ごとに第２の観測信号を生成する第２の観測部とを制御するコンピュータが、
前記第１の観測部により所定の期間において観測されて生成された第１の観測信号に応じて前記所定の空間内における第１の尤度の分布を算出すると共に、前記第２の観測部により前記所定の期間において観測されて生成された第２の観測信号に応じて前記所定の空間内における第２の尤度の分布を算出し、前記算出した第１の尤度の分布と第２の尤度の分布とに基づいて、前記所定の空間内における第３の尤度の分布を算出し、
前記所定の空間内における第３の尤度の分布に基づいて前記所定の空間内における前記物体の位置を決定する、
位置検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、位置検出システム、位置検出装置、および位置検出方法に関する。
【背景技術】
【０００２】
ミリ波等の電波を用いて人物や車両等の対象物体の位置を検出する技術が知られている。しかしながら、電波を用いた従来の技術では、放射した電波の反射波が互いに干渉したり、干渉した反射波により受信する信号の強度にばらつきが生じたりする場合があった。この結果、対象物体の位置を精度良く検出できない場合があった。
【０００３】
一方、カメラにより撮像された画像や動画を用いて対象物体の位置を検出する技術が知られている。しかしながら、画像や動画を用いた従来の技術では、夜間や雨天等の環境の変化によって撮像対象である空間のコントラストが低下する場合があった。この結果、対象物体の位置を精度良く検出できない場合があった。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Advanced Millimeter-Wave Radar System to Detect Pedestrians and Vehicles by Using Coded Pulse Compression and Adaptive Array, IEICE Trans. Commun, Vol.E96-B, No.9, pp.2313-2322, Sep.1, 2013
【非特許文献２】Tomoki Watanabe, Satoshi Ito, Kentaro Yokoi: Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection, PSIVT, pp.37-47(2009)
【非特許文献３】J. Vermaak, A. Doucet and P. Perez, “Maintaining Multi-Modality through Mixture Tracking,” Proc. the International Conference on Computer Vision, vol.2, pp.1110-1116, 2003.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、対象物体の位置を精度良く検出することができる位置検出システム、位置検出装置、および位置検出方法を提供することである。
【課題を解決するための手段】
【０００６】
実施形態の位置検出システムは、第１の観測部と、第２の観測部と、尤度算出部と、決定部とをもつ。第１の観測部は、所定の空間内の物体を時系列に観測して、時系列ごとに第１の観測信号を生成する。第２の観測部は、第１の観測部と異なる方法で物体を時系列に観測して、時系列ごとに第２の観測信号を生成する。尤度算出部は、第１の観測部により所定の期間において観測されて生成された第１の観測信号に応じて所定の空間内における第１の尤度の分布を算出すると共に、第２の観測部により所定の期間において観測されて生成された第２の観測信号に応じて所定の空間内における第２の尤度の分布を算出し、算出した第１の尤度の分布と第２の尤度の分布とに基づいて、所定の空間内における第３の尤度の分布を算出する。決定部は、所定の空間内における第３の尤度の分布に基づいて所定の空間内における物体の位置を決定する。
【図面の簡単な説明】
【０００７】
【図１】一実施形態における位置検出システム１の利用場面の一例を示す図。
【図２】一実施形態における位置検出システム１の機能構成の一例を示す図。
【図３】第１の尤度または第２の尤度の一例を示す図。
【図４】前回までの対象物体の位置と検出領域Ｓの中心位置（原点）との距離Ｌに応じて変化する重み係数ｗの値の一例を示す図。
【図５】距離ΔＬおよび角度Δθの値に対して設定される重み係数ｗの値の一例を示す図。
【図６】状態量→ｘｔが示す事後確率密度分布ｐ｛→ｘｔ｜→Ｚｔ｝の一例を示す図。
【図７】追跡処理部３２４による対象物体の追跡結果の一例を示す図。
【図８】一実施形態における位置検出装置３００により実行される処理の流れを示すフローチャート。
【発明を実施するための形態】
【０００８】
以下、実施形態の位置検出システム、位置検出装置、および位置検出方法を、図面を参照して説明する。
【０００９】
図１は、一実施形態における位置検出システム１の利用場面の一例を示す図である。本実施形態における位置検出システム１は、例えば、駅、空港、発電所、浄水場、病院、学校、データセンタ等の公共公益施設に設けられ、上述した施設に出入りする人間（対象物体）の位置を検出する。位置検出システム１は、レーダ装置１００と、撮像装置２００と、位置検出装置３００とを備える。
【００１０】
図１に示す例の場合、レーダ装置１００および撮像装置（カメラ）２００は、人間が歩行する路面に対して、人間の背丈よりも上方（Ｚ軸上方向）の位置に設けられている。これにより、レーダ装置１００および撮像装置２００は、所定の検出領域Ｓ内に存在する人間を観測し、検出領域Ｓ内における人間の位置を検出する。検出領域Ｓは、例えば、レーダ装置１００の検出領域と撮像装置２００の検出領域との重複部分である。
【００１１】
本実施形態において、レーダ装置１００および撮像装置２００は、上述した例に限定されるものではなく、例えば、人間の側面から人間を観測するようにしてもよいし、下方（Ｚ軸下方向）から人間を観測するようにしてもよい。このような場合、位置検出装置３００は、例えば、レーダ装置１００および撮像装置２００の一方または双方に対して、射影変換（ホモグラフィ）等の画像変換処理を行うと好適である。また、本実施形態における位置検出システム１は、人間の位置を検出するものに限られず、例えば、自動車や船舶、航空機等の移動体の位置を検出するものであってもよい。
【００１２】
図２は、一実施形態における位置検出システム１の機能構成の一例を示す図である。本実施形態におけるレーダ装置１００は、例えば、ＦＭＣＷ（Frequency Modulated Continuous Wave）方式のレーダである。以下、本実施形態では、レーダ装置１００をＦＭＣＷ方式のレーダとして説明するが特段本方式に制限されるものでない。例えば、レーダ装置１００は、パルスドップラ方式であってもよいし、上述したＦＭＣＷ方式とパルスドップラ方式との組み合わせであってもよい。
【００１３】
レーダ装置１００は、送受信制御部１０２と、発信部１０４と、変調部１０６と、送信アンテナ素子１０８と、受信アンテナ素子１１０と、混合部１１２と、復調部１１４と、信号処理部１１６とを備える。レーダ装置１００は、「第１の観測部」の一例である。
【００１４】
送受信制御部１０２は、後述する装置制御部３１２による制御指令に応じて、所定の観測期間において発信部１０４と復調部１１４とを動作させるように制御する。例えば、送受信制御部１０２は、所定の周期で信号を発信するように発信部１０４を制御する。また、例えば、送受信制御部１０２は、発信部１０４による信号の発信のタイミングを示す信号（以下、「タイミング信号」と称する）を復調部１１４に出力する。
【００１５】
発信部１０４は、送受信制御部１０２による制御によって、所定の周期で所定の信号（連続波）を発信する。
【００１６】
変調部１０６は、発信部１０４により発信された信号に対して、所定の周波数で周波数変調を行う。変調部１０６は、例えば、発信部１０４により発信される信号をスイープ（チャープ）するように変調する。変調部１０６は、変調した信号を送信アンテナ素子１０８に出力する。
【００１７】
送信アンテナ素子１０８は、変調部１０６により変調された信号を電波として検出領域Ｓに向けて放射する。
【００１８】
受信アンテナ素子１１０は、電波を受信し、受信した電波を信号に変換する。例えば、受信アンテナ素子１１０は、検出領域Ｓ内に存在する対象物体により反射された電波（以下、「反射波」と称する）を受信する。
【００１９】
混合部１１２は、変調部１０６により変調された信号（以下、「変調信号」と称する）と、受信アンテナ素子１１０により変換された信号（以下、「受信信号」と称する）とを混合し、混合した信号を復調部１１４に出力する。
【００２０】
復調部１１４は、送受信制御部１０２により出力されるタイミング信号に応じて、混合部１１２により混合された信号を復調する。復調部１１４は、復調した信号から送信信号の送信周期ごとに変調信号の周波数と、受信信号の周波数との周波数差或いは周波数和を有する信号（以下、「ビート信号」と称する）を抽出する。復調部１１４は、抽出したビート信号を信号処理部１１６に出力する。
【００２１】
信号処理部１１６は、復調部１１４により抽出された周波数和のビート信号に基づいて、自装置すなわちレーダ装置１００から対象物体までの距離を算出するとともに、対象物体の速度を算出する。また、信号処理部１１６は、復調部１１４により抽出された周波数和および周波数差のビート信号に基づいて、レーダ装置１００を基準視点とした場合に対象物体が存在する方向（三次元の角度）を算出する。信号処理部１１６は、例えば、ＭＲＡＶ（Measurement Range after measurement Velocity）方式を用いて、上述した距離、速度、方向を算出する。以下、信号処理部１１６により算出された距離、速度、方向と、受信アンテナ素子１１０により受信された電波の強度とを、「電波観測信号→（ｚ＿ｒｄｒｔ）」と記載する。また、矢印→を、ベクトル表記を示すものとして説明する。なお、電波観測信号→（ｚ＿ｒｄｒｔ）は、「第１の観測信号」の一例である。
【００２２】
本実施形態における撮像装置２００は、撮像制御部２０２と、撮像素子２０４と、画像処理部２０６とを備える。撮像装置２００は、「第２の観測部」の一例である。
【００２３】
撮像制御部２０２は、後述する装置制御部３１２による制御指令に応じて、所定の観測期間において画像処理部２０６に画像データを生成させる。
【００２４】
撮像素子２０４は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。撮像素子２０４は、光を受光し、受光した光に応じた信号（アナログ信号）を生成する。
【００２５】
画像処理部２０６は、撮像素子２０４により生成された信号（アナログ信号）に基づいて、検出領域Ｓを含む二次元の画像データを生成する。画像処理部２０６は、生成した画像データから、色や形状、輝度、輪郭等の特徴量（或いは特徴点）を抽出する。以下、画像処理部２０６により抽出された特徴量（或いは特徴点）を、「画像観測信号→（ｚ＿ｉｍｇｔ）」と記載する。なお、画像観測信号→（ｚ＿ｉｍｇｔ）は、「第２の観測信号」の一例である。
【００２６】
本実施形態における位置検出装置３００は、制御部３１０と、表示部３３０と、記憶部３４０とを備える。制御部３１０は、装置制御部３１２と、取得部３１４と、尤度算出部３１６と、確率密度分布算出部３１８と、状態量決定部３２０と、位置決定部３２２と、追跡処理部３２４と、行動判定部３２６とを備える。制御部３１０の機能部のうち一部または全部は、ＣＰＵ（Central Processing Unit）等のプロセッサが記憶部３４０に記憶されたプログラムを実行することにより機能するソフトウェア機能部である。また、制御部３１０の機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。
【００２７】
装置制御部３１２は、所定の観測期間において、送受信制御部１０２と撮像制御部２０２とが同期して観測信号を生成するように制御する。すなわち、装置制御部３１２は、レーダ装置１００により生成される電波観測信号→（ｚ＿ｒｄｒｔ）と、撮像装置２００により生成される画像観測信号→（ｚ＿ｉｍｇｔ）とを同期させる。これによって、後述する取得部３１４は、同じ時刻に観測された電波観測信号→（ｚ＿ｒｄｒｔ）と、画像観測信号→（ｚ＿ｉｍｇｔ）とをそれぞれ取得することができる。以下、同期する際に用いる時刻の情報を、「同期情報」と記載する。
【００２８】
取得部３１４は、レーダ装置１００における信号処理部１１６から、電波観測信号→（ｚ＿ｒｄｒｔ）を取得するとともに、撮像装置２００における画像処理部２０６から、画像観測信号→（ｚ＿ｉｍｇｔ）を取得する。
【００２９】
ここで、上述した検出領域Ｓ全体において、ある時刻ｔに人間（対象物体）が存在する確率を表す存在確率分布を数式（１）によって表現し、以下、これを状態量（状態ベクトル）として説明する。
【００３０】
【数１】
2016166802.tif 000003
【００３１】
数式（１）中に示す行列の要素ｘｔは、レーダ装置１００または撮像装置２００を原点とした場合、時刻ｔにおける奥行き方向（図１中におけるｘ方向）の位置を表す。また、数式（１）中に示す行列の要素ｙｔは、レーダ装置１００または撮像装置２００を原点とした場合、時刻ｔにおける水平方向（図１中におけるｙ方向）の位置を表す。すなわち、数式（１）中に示す状態量→ｘｔは、時刻ｔにおける検出領域Ｓの二次元座標を表す。人間の位置座標をベクトル表記にした場合、上述した各観測信号は、以下に示す数式（２）および（３）によって表すことができる。
【００３２】
【数２】
2016166802.tif 000004
【００３３】
【数３】
2016166802.tif 000005
【００３４】
取得部３１４は、所定の観測期間において、時系列に生成される複数の観測信号を、レーダ装置１００と撮像装置２００とのそれぞれから取得し、取得した複数の観測信号を観測期間ごとに一つのグループにまとめる。
【００３５】
例えば、装置制御部３１２による指示される観測を開始する時刻ｔ＝１から観測を終了する時刻ｔになるまでの期間、すなわち観測期間が時刻１から時刻ｔまでの期間である場合において、レーダ装置１００により時系列に生成される電波観測信号→（ｚ＿ｒｄｒｔ）を、下記の数式（４）によって表す。また、観測期間が上述した時刻１から時刻ｔまでの期間である場合において、撮像装置２００により時系列に生成される画像観測信号→（ｚ＿ｉｍｇｔ）を、下記の数式（５）によって表す。
【００３６】
【数４】
2016166802.tif 000006
【００３７】
【数５】
2016166802.tif 000007
【００３８】
数式（４）における電波観測信号→（Ｚ＿ｒｄｒｔ）は、時系列に生成される各電波観測信号の集合を表す。また、数式（５）における画像観測信号→（Ｚ＿ｉｍｇｔ）は、時系列に生成される各画像観測信号の集合を表す。
【００３９】
このような場合、取得部３１４は、所定の観測期間において生成された複数の電波観測信号を一つのグループにまとめ、新たに電波観測信号→（Ｚ＿ｒｄｒｔ）を生成する。また、取得部３１４は、所定の観測期間において生成された複数の画像観測信号を一つのグループにまとめ、新たに画像観測信号→（Ｚ＿ｉｍｇｔ）を生成する。
【００４０】
尤度算出部３１６は、取得部３１４により取得された電波観測信号→（ｚ＿ｒｄｒｔ）に基づいた尤度を示す第１の尤度ｐ｛→（ｚ＿ｒｄｒｔ）｜→ｘｔ｝を算出する。また、尤度算出部３１６は、取得部３１４により取得された画像観測信号→（ｚ＿ｉｍｇｔ）に基づいた尤度を示す第２の尤度ｐ｛→（ｚ＿ｉｍｇｔ）｜→ｘｔ｝を算出する。
【００４１】
尤度算出部３１６は、例えば、電波観測信号→（ｚ＿ｒｄｒｔ）が示す電波の強度や距離および速さから導出される電波の到達時間から第１の尤度ｐ｛→（ｚ＿ｒｄｒｔ）｜→ｘｔ｝を算出する。また、尤度算出部３１６は、例えば、画像観測信号→（ｚ＿ｉｍｇｔ）が示す色ヒストグラムから第２の尤度ｐ｛→（ｚ＿ｉｍｇｔ）｜→ｘｔ｝を算出する。
【００４２】
図３は、第１の尤度または第２の尤度の一例を示す図である。第１の尤度または第２の尤度は、例えば、検出領域Ｓ全体を示す二次元平面（Ｘ−Ｙ平面）上において、所定の領域ごとにそれぞれ算出される。図３に示す例の場合、尤度算出部３１６は、領域Ａの尤度を０．８と算出する。
【００４３】
尤度算出部３１６は、算出した第１の尤度ｐ｛→（ｚ＿ｒｄｒｔ）｜→ｘｔ｝と、第２の尤度ｐ｛→（ｚ＿ｉｍｇｔ）｜→ｘｔ｝とを、所定の比率に応じて統合する。以下、尤度算出部３１６により統合された尤度を、第３の尤度ｐ｛→（ｚ＿ｔｏｔａｌｔ）｜→ｘｔ｝と記載する。下記に示す数式（６）は、第３の尤度ｐ｛→（ｚ＿ｔｏｔａｌｔ）｜→ｘｔ｝の算出式の一例である。
【００４４】
【数６】
2016166802.tif 000008
【００４５】
尤度算出部３１６は、例えば、重み係数ｗを第１の尤度ｐ｛→（ｚ＿ｒｄｒｔ）｜→ｘｔ｝に乗算し、１から当該重み係数ｗを減算した重み係数（１−ｗ）を第２の尤度ｐ｛→（ｚ＿ｉｍｇｔ）｜→ｘｔ｝に乗算する。尤度算出部３１６は、これら重み係数を乗算した各尤度同士を加算することにより、第３の尤度ｐ｛→（ｚ＿ｔｏｔａｌｔ）｜→ｘｔ｝を算出する。なお、重み係数ｗは、１次元の値に限らず、行列で表現しても良い。例えば、Ｘ方向の値とＹ方向の値とで別々の重みを乗算しても良い。
【００４６】
なお、上述した重み係数ｗの値は、設計段階において予め設定されていてもよいし、運用過程において逐次変更されてもよい。尤度算出部３１６は、運用過程において逐次変更する場合、例えば、上述した所定の観測期間の次の観測期間において生成される電波観測信号→（ｚ＿ｒｄｒ２ｔ）と、画像観測信号→（Ｚ＿ｉｍｇ２ｔ）とから第３の尤度を算出する過程において、当該観測期間に生成された電波観測信号→（ｚ＿ｒｄｒｔ）と画像観測信号→（ｚ＿ｉｍｇｔ）とを用いて算出した第３の尤度ｐ｛→（ｚ＿ｔｏｔａｌｔ）｜→ｘｔ｝の値を参照することにより、第３の尤度の算出時に使用する重み係数ｗの値を変更する。すなわち、尤度算出部３１６は、現在の観測信号から第３の尤度を算出する場合、過去に決定した対象物体の位置情報を用いて当該第３の尤度の補正を行う。以下、重み係数ｗの値の変更処理について説明する。
【００４７】
一般的に、レーダ装置は、撮像装置に比して、距離方向に対する検出精度が優れている。また、レーダ装置は、撮像装置に比して、遠距離にある物体に対する検出精度が優れている。従って、本実施形態における尤度算出部３１６は、例えば、前回までの対象物体の位置と検出領域Ｓの中心位置（原点）との距離Ｌが長くなるのに応じて、重み係数ｗが大きくなるように設定する。
【００４８】
図４は、尤度算出部３１６によって、距離Ｌに応じて設定される重み係数ｗの一例を示す図である。図４に示す例の場合、重み係数ｗは、監視箇所からの距離Ｌの増大に伴って増加する。尤度算出部３１６は、例えば、図４に示す傾向を有する数式またはマップに対して距離Ｌを代入することにより重み係数ｗを算出する。これによって、位置検出装置３００は、監視箇所から見て遠距離にある対象物体の位置を精度よく検出することができる。
【００４９】
また、尤度算出部３１６は、過去に決定した複数の対象物体の位置のうち、２つ以上の位置（例えば、前回と前々回との位置）を抽出し、抽出した位置（座標）間の距離変化｜ΔＬ｜に基づいて重み係数ｗを算出してもよい。すなわち、尤度算出部３１６は、過去の対象物体の位置の距離方向の変動量（距離変化｜ΔＬ｜）に基づいて、重み係数ｗの値を設定してもよい。この場合、尤度算出部３１６は、例えば、距離変化｜ΔＬ｜が長くなるのに応じて、重み係数ｗが大きくなるように設定する。これによって、位置検出装置３００は、監視箇所から見て距離方向の位置変化が大きい対象物体の位置を、精度よく検出することができる。
【００５０】
また、尤度算出部３１６は、過去に決定した複数の対象物体の位置のうち、２つ以上の位置を抽出し、抽出した位置（座標）間の監視箇所から見た角度変化｜Δθ｜を算出し、算出した角度変化｜Δθ｜に応じて重み係数ｗの値を設定してもよい。この場合、尤度算出部３１６は、例えば、角度変化｜Δθ｜が大きくなるのに応じて、重み係数ｗが小さくなるように設定する。これによって、位置検出装置３００は、監視箇所から見て方位方向の位置変化が大きい対象物体の位置を、精度よく検出することができる。
【００５１】
また、尤度算出部３１６は、上述した距離変化｜ΔＬ｜と角度変化｜Δθ｜との双方に基づいて、重み係数ｗの値を変更してもよい。図５は、距離変化｜ΔＬ｜および角度変化｜Δθ｜の値に対して設定される重み係数ｗの値の一例を示す図である。尤度算出部３１６は、例えば、図５に示す傾向を有する数式またはマップに対して、算出した距離変化｜ΔＬ｜および角度変化｜Δθ｜を代入して重み係数ｗの値を算出する。これによって、位置検出装置３００は、監視箇所から見て対象物体がどのような方向に移動する場合であっても、対象物体の位置を精度よく検出することができる。
【００５２】
このようにして、位置検出装置３００は、過去に決定した対象物体の位置を示す座標情報に基づいて重み係数ｗを自動的に変更する処理を行い、変更した重み係数ｗとレーダ装置１００の観測信号の尤度（第１の尤度）と撮像装置２００の観測信号の尤度（第２の尤度）とを用いて第３の尤度を算出する。
【００５３】
なお、尤度算出部３１６は、上述した距離Ｌ、距離変化｜ΔＬ｜、角度変化｜Δθ｜等のパラメータを適宜組み合わせて総合的に重み係数ｗを決定してもよい。また、尤度算出部３１６は、観測を開始してから算出し続けた全ての対象物体の位置情報を用いて重み係数ｗの値を決定してもよい。
【００５４】
確率密度分布算出部３１８は、当該時刻ｔ（現在の観測時刻）において不確定な状態量→ｘｔを示す確率密度分布（以下、「事後確率密度分布」と称する）を、当該時刻ｔよりも前の時刻（例えば時刻ｔ−１）、すなわち過去の観測時刻における観測信号と、尤度算出部３１６により算出された当該時刻ｔにおける第３の尤度｛→（ｚ＿ｔｏｔａｌｔ）｜→ｘｔ｝とを用いることにより算出する。確率密度分布算出部３１８は、例えば、下記に示す数式（７）および（８）を用いて、時刻ｔにおける状態量→ｘｔの事後確率密度分布を算出する。
【００５５】
【数７】
2016166802.tif 000009
【００５６】
【数８】
2016166802.tif 000010
【００５７】
数式（７）中に示すｐ｛→ｘｔ｜→Ｚｔ｝は事後確率密度分布であり、ｐ｛→ｘｔ｜→Ｚｔ−１｝は過去の観測時刻を示す時刻ｔ−１における状態量→ｘｔの確率密度分布（以下、「事前確率密度分布」と称する）である。Ｚｔは、数式（８）に示すように、グループ化した画像観測信号→（Ｚ＿ｉｍｇｔ）および電波観測信号→（Ｚ＿ｒｄｒｔ）を、ベクトルの一要素とした行列式である。
【００５８】
状態量決定部３２０は、確率密度分布算出部３１８により算出された事後確率密度分布ｐ｛→ｘｔ｜→Ｚｔ｝から、状態量→ｘｔを決定する。状態量決定部３２０は、例えば、上述した数式（７）をモデルとしたパーティクルフィルタ等のモンテカルロ近似手法を用いて状態量→ｘｔを決定する。
【００５９】
位置決定部３２２は、状態量決定部３２０により決定された状態量→ｘｔに基づいて、検出領域Ｓ内における対象物体の位置を決定する。位置決定部３２２は、状態量決定部３２０により複数の状態量→ｘｔが決定された場合、当該状態量→ｘｔが示す事後確率密度分布ｐ｛→ｘｔ｜→Ｚｔ｝の値が最大となる状態量→ｘｔを抽出し、抽出した状態量→ｘｔのベクトル（行列）が示す座標（ｘｔ、ｙｔ）を、時刻ｔにおいて対象物体が存在する位置として決定する。なお、位置決定部３２２は、「決定部」の一例である。
【００６０】
図６は、状態量→ｘｔが示す事後確率密度分布ｐ｛→ｘｔ｜→Ｚｔ｝の一例を示す図である。図６に示す例の場合、位置決定部３２２は、閾値Ｔｈよりも大きい値をとる事後確率密度分布値の中から最大となる値ｐ｛→ｘｔ｜→Ｚｔ｝ｐ−ｐを抽出する。位置決定部３２２は、抽出した値ｐ｛→ｘｔ｜→Ｚｔ｝ｐ−ｐにおける状態量→ｘｔｐ−ｐにより示される座標を対象物体が存在する位置として決定する。
【００６１】
追跡処理部３２４は、例えば、拡張カルマンフィルタや無香カルマンフィルタを用いて、電波観測信号→（ｚ＿ｒｄｒｔ）および画像観測信号→（ｚ＿ｉｍｇｔ）の双方または一方に乗るノイズ（例えばホワイトノイズ）を予測し、これら観測信号に対して予測したノイズを除くような重み付け演算を行う。追跡処理部３２４は、観測信号からノイズを除くことで、現在の時刻に決定した対象物体の位置を過去の時刻（例えば１つ前の時刻）における対象物体の位置から予測することができ、時系列に遷移する対象物体の動きを動的モデル上で滑らかにすることができる。この結果、追跡処理部３２４は、検出領域Ｓ内において動く対象物体を追跡することができる。
【００６２】
図７は、追跡処理部３２４による対象物体の追跡結果の一例を示す図である。図７に示す例の場合、追跡処理部３２４は、対象物体の位置として、状態量→ｘｔから状態量→ｘ６ｔまでの間の状態量を補い、検出領域Ｓを示す二次元平面上において状態量→ｘｔから状態量→ｘ６ｔまでを滑らかに繋ぐような軌跡を形成する。
【００６３】
行動判定部３２６は、追跡処理部３２４により検出領域Ｓを示す二次元平面上において形成された軌跡のパターンから、人間（対象物体）の行動を判定する。行動判定部３２６は、例えば、追跡処理部３２４により形成された軌跡のパターンと、後述する記憶部３４０に記憶された人間（対象物体）の異常な動きを示した軌跡のパターンとのマッチングを行い、検出領域Ｓ内に存在する人間（対象物体）の行動が異常か否かを判定する。
【００６４】
また、行動判定部３２６は、撮像装置２００による画像観測信号→（Ｚ＿ｉｍｇｔ）に含まれる特徴量や特徴点に基づいて、検出領域Ｓ内から外に移動し、再度検出領域Ｓ内に移動してきた人間が同一人物であるか否かを判定してもよい。これによって、例えば、検出領域Ｓ内外を何度も往復するような一見人間の目視による監視では異常と判定されないような行動であっても、本実施形態における行動判定部３２６では、画像上において人間のテクスチャを判定することで人間の異常な行動を判定することができる。
【００６５】
行動判定部３２６は、追跡処理部３２４により形成された軌跡のパターンが異常なものであると判定した場合、異常である旨の信号を表示部３３０に出力する。なお、行動判定部３２６は、異常か否かの判定に対して、いくつかのレベルを設けてもよい。このような場合、行動判定部３２６は、異常であることを示すレベルに応じて判定結果を表示部３３０に出力してもよい。
【００６６】
表示部３３０は、入力された信号に基づいた画像を表示する。表示部３３０は、液晶ディスプレイ、有機ＥＬ（Electroluminescence）ディスプレイ等である。表示部３３０は、例えば、行動判定部３２６による種々の判定結果を表示する。
【００６７】
記憶部３４０は、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の不揮発性の記憶媒体（非一時的な記憶媒体）と、ＲＡＭ（Random Access Memory）、レジスタ等の揮発性の記憶媒体とを有する。記憶部３４０に記憶される情報は、検出領域Ｓの位置情報、同期情報、電波観測信号→（ｚ＿ｒｄｒｔ）画像観測信号→（ｚ＿ｉｍｇｔ）、第１の尤度ｐ｛→（ｚ＿ｒｄｒｔ）｜→ｘｔ｝、第２の尤度ｐ｛→（ｚ＿ｉｍｇｔ）｜→ｘｔ｝、第３の尤度ｐ｛→（ｚ＿ｔｏｔａｌｔ）｜→ｘｔ｝、重み係数ｗ、上述した数式（１）から（８）、事後確率密度分布ｐ｛→ｘｔ｜→Ｚｔ｝、軌跡のパターン等を含む。
【００６８】
図８は、一実施形態における位置検出装置３００により実行される処理の流れを示すフローチャートである。本実施形態における位置検出装置３００は、例えば、同期情報に含まれる観測期間を周期として、本フローチャートの処理を行う。
【００６９】
まず、取得部３１４は、レーダ装置１００から電波観測信号→（ｚ＿ｒｄｒｔ）を取得する（ステップＳ１００）。次に、取得部３１４は、撮像装置２００から、画像観測信号→（ｚ＿ｉｍｇｔ）を取得する（ステップＳ１０２）。なお、位置検出装置３００は、ステップＳ１０２の処理をステップＳ１００の処理の前に行ってもよい。
【００７０】
次に、尤度算出部３１６は、取得部３１４により取得された電波観測信号→（ｚ＿ｒｄｒｔ）に基づいて第１の尤度ｐ｛→（ｚ＿ｒｄｒｔ）｜→ｘｔ｝を算出するとともに、取得部３１４により取得された画像観測信号→（ｚ＿ｉｍｇｔ）に基づいて第２の尤度ｐ｛→（ｚ＿ｉｍｇｔ）｜→ｘｔ｝を算出する（ステップＳ１０４）。
【００７１】
次に、尤度算出部３１６は、算出した第１の尤度ｐ｛→（ｚ＿ｒｄｒｔ）｜→ｘｔ｝いおよび第２の尤度ｐ｛→（ｚ＿ｉｍｇｔ）｜→ｘｔ｝を、重み係数ｗに基づいて統合することにより、第３の尤度ｐ｛→（ｚ＿ｔｏｔａｌｔ）｜→ｘｔ｝を算出する（ステップＳ１０６）。
【００７２】
次に、確率密度分布算出部３１８は、過去の観測期間における観測信号と、尤度算出部３１６により算出された現在の観測期間における第３の尤度｛→（ｚ＿ｔｏｔａｌｔ）｜→ｘｔ｝とを用いて、事後確率密度分布ｐ｛→ｘｔ｜→Ｚｔ｝を算出する（ステップＳ１０８）。
【００７３】
次に、状態量決定部３２０は、確率密度分布算出部３１８により算出された事後確率密度分布ｐ｛→ｘｔ｜→Ｚｔ｝から、状態量→ｘｔを決定する（ステップＳ１１０）。次に、位置決定部３２２は、状態量決定部３２０により決定された状態量→ｘｔに基づいて、検出領域Ｓ内における対象物体の位置を決定する（ステップＳ１１２）。
【００７４】
次に、追跡処理部３２４は、種々の観測信号に対してノイズを除くような重み付け演算を行う（ステップＳ１１４）。次に、追跡処理部３２４は、現在の観測期間に決定した対象物体の位置を過去の観測期間における対象物体の位置から予測し、現在までに決定した全て（或いは一部）の対象物体の位置（状態量→ｘｔ）を繋ぐ軌跡を、検出領域Ｓを示す二次元平面上において形成する（ステップＳ１１６）。
【００７５】
次に、行動判定部３２６は、追跡処理部３２４により検出領域Ｓを示す二次元平面上において形成された軌跡のパターンから、人間（対象物体）の行動を判定する（ステップＳ１１８）。行動判定部３２６は、判定結果のうち、異常な行動を示す軌跡のパターンが存在するか否かを判定する（ステップＳ１２０）。位置検出装置３００は、行動判定部３２６による判定結果に異常な行動を示す軌跡のパターンが存在しない場合（ステップＳ１２０；Ｎｏ）、本フローチャートの処理を終了する。
【００７６】
行動判定部３２６は、判定結果に異常な行動を示す軌跡のパターンが存在する場合（ステップＳ１２０；Ｙｅｓ）、異常である旨の信号を表示部３３０に出力する。これによって、表示部３３０は、行動判定部３２６の判定結果として異常である旨を示す情報を表示する（ステップＳ１２２）。これによって、位置検出装置３００は、本フローチャートの処理を終了する。
【００７７】
以上説明した少なくともひとつの実施形態によれば、検出領域Ｓ内の対象物体に対して電波を放射して観測することにより、時系列ごとに電波観測信号を生成するとともに、同検出領域Ｓ内の対象物体を撮像して観測することにより、時系列ごとに画像観測信号を生成し、生成した電波観測信号に応じた第１の尤度の分布と、生成した画像観測信号に応じた第２の尤度の分布とに基づいて、第３の尤度の分布を算出し、算出した第３の尤度の分布に基づいて検出領域Ｓ内における対象物体の位置を決定する。この結果、対象物体の位置を精度良く検出することができる。
【００７８】
また、上述した実施形態によれば、第３の尤度の分布を算出する際に、電波観測信号に応じた第１の尤度の分布と画像観測信号に応じた第２の尤度の分布とを、過去の観測結果が示す座標情報に応じて重み付けて統合することにより、検出領域Ｓ内の対象物体の検出精度を向上させることができる。
【００７９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００８０】
１…位置検出システム、１００…レーダ装置、１０２…送受信制御部、１０４…発信部、１０６…変調部、１０８…送信アンテナ素子、１１０…受信アンテナ素子、１１２…混合部、１１４…復調部、１１６…信号処理部、２００…撮像装置、２０２…撮像制御部、２０４…撮像素子、２０６…画像処理部、３００…位置検出装置、３１０…制御部、３１２…装置制御部、３１４…取得部、３１６…尤度算出部、３１８…確率密度分布算出部、３２０…状態量決定部、３２２…位置決定部、３２４…追跡処理部、３２６…行動判定部、３３０…表示部、３４０…記憶部、Ｓ…検出領域
【図１】
2016166802.tif 000011
【図２】
2016166802.tif 000012
【図３】
2016166802.tif 000013
【図４】
2016166802.tif 000014
【図５】
2016166802.tif 000015
【図６】
2016166802.tif 000016
【図７】
2016166802.tif 000017
【図８】
2016166802.tif 000018