(57)【要約】  移動体検出手段８５は、第一の移動体の位置と第二の移動体の位置とが略同一の場合、その位置において移動体を検出したと判定し、第一の移動体の位置と第二の移動体の位置とが異なる場合であって第一の信頼度と第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、その閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定する。
2018168182.tif 000002
【特許請求の範囲】
【請求項１】
第一のセンサを用いて取得された情報から第一の移動体の位置を検出する第一移動体検出手段と、
第二のセンサを用いて取得された情報から第二の移動体の位置を検出する第二移動体検出手段と、
前記第一の移動体の第一の信頼度を算出する第一信頼度算出手段と、
前記第二の移動体の第二の信頼度を算出する第二信頼度算出手段と、
前記第一の移動体の位置と前記第二の移動体の位置に基づいて、移動体の検出を判定する移動体検出手段とを備え、
前記移動体検出手段は、前記第一の移動体の位置と前記第二の移動体の位置とが略同一の場合、当該位置において移動体を検出したと判定し、前記第一の移動体の位置と前記第二の移動体の位置とが異なる場合であって前記第一の信頼度と前記第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、当該閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定する
ことを特徴とする移動体検出装置。
【請求項２】
第一のセンサと第二のセンサとは、性質の異なる２種類のセンサが用いられる
請求項１記載の移動体検出装置。
【請求項３】
第一のセンサは、予め定めた第一の検出波長の画像を撮像する第一の撮像手段であり、
第二のセンサは、前記第一の検出波長とは異なる予め定めた第二の検出波長の画像を撮像する第二の撮像手段であり、
第一移動体検出手段は、前記第一の撮像手段で撮像された画像から第一の移動体の位置を検出し、
第二移動体検出手段は、前記第二の撮像手段で撮像された画像から第二の移動体の位置を検出する
請求項１または請求項２記載の移動体検出装置。
【請求項４】
第一の検出波長が可視光波長であり、第二の検出波長が近赤外線波長または遠赤外線波長である
請求項３記載の移動体検出装置。
【請求項５】
第一のセンサは、予め定めた第一の検出波長の画像を撮像する撮像手段であり、
第二のセンサは、複数の音響センサを含むマイクロホンアレイであり、
第一移動体検出手段は、前記撮像手段で撮像された画像から第一の移動体の位置を検出し、
第二移動体検出手段は、前記マイクロホンアレイで検出された音響データから音源の位置を第二の移動体の位置として検出し、
第二信頼度算出手段は、前記音源の特徴に基づいて音源の移動を特定することにより、前記音源の第二の信頼度を算出する
請求項１または請求項２記載の移動体検出装置。
【請求項６】
第一のセンサは、予め定めた第一の検出波長の画像を撮像する撮像手段であり、
第二のセンサは、発信された予め定めた第三の波長の電磁波に対する反射波を受信するレーダであり、
第一移動体検出手段は、前記撮像手段で撮像された画像から第一の移動体の位置を検出し、
第二移動体検出手段は、第二の移動体の前記反射波が示す反射データから第二の移動体の位置を検出し、
第二信頼度算出手段は、前記反射データの特徴に基づいて前記反射波の強度の遷移を特定することにより、第二の信頼度を算出する
請求項１または請求項２記載の移動体検出装置。
【請求項７】
第一のセンサを用いて取得された情報から第一の移動体の位置を検出し、
第二のセンサを用いて取得された情報から第二の移動体の位置を検出し、
前記第一の移動体の第一の信頼度と前記第二の移動体の第二の信頼度とを算出し、
前記第一の移動体の位置と前記第二の移動体の位置とが略同一の場合、当該位置において移動体を検出したと判定し、
前記第一の移動体の位置と前記第二の移動体の位置とが異なる場合であって、前記第一の信頼度と前記第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、当該閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定する
ことを特徴とする移動体検知方法。
【請求項８】
第一のセンサと第二のセンサとは、性質の異なる２種類のセンサが用いられる
請求項７記載の移動体検出方法。
【請求項９】
コンピュータに、
第一のセンサを用いて取得された情報から第一の移動体の位置を検出する第一移動体検出手処理、
第二のセンサを用いて取得された情報から第二の移動体の位置を検出する第二移動体検出処理、
前記第一の移動体の第一の信頼度を算出する第一信頼度算出処理、
前記第二の移動体の第二の信頼度を算出する第二信頼度算出処理、および、
前記第一の移動体の位置と前記第二の移動体の位置に基づいて、移動体の検出を判定する移動体検出処理を実行させ、
前記移動体検出処理で、前記第一の移動体の位置と前記第二の移動体の位置とが略同一の場合、当該位置において移動体を検出したと判定させ、前記第一の移動体の位置と前記第二の移動体の位置とが異なる場合であって前記第一の信頼度と前記第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、当該閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定させる
ための移動体検出プログラム。
【請求項１０】
第一のセンサと第二のセンサとは、性質の異なる２種類のセンサが用いられる
請求項９記載の移動体検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、センサを用いて移動体を検出する移動体検出装置、移動体検出方法および移動体検出プログラムに関する。
【背景技術】
【０００２】
近年、ドローンの利活用による空撮が行われるようになっている。ドローンに搭載したカメラを用いて対象物を上空から撮影することにより、これまでヘリコプターやセスナでは近づけなかった場所の撮影や、人では危険で且つ長時間かかっていた場所の測量等が容易に実現できるようになってきた。【０００３】
しかし、ドローンの普及に伴い、操縦の未熟さから国宝級の建造物や人が往来する場所への落下事故、さらにはテロリズムやいたずら目的で故意に墜落させるといった事件や事故が多くなってきている。そのため、ドローンを飛行可能とする空域を決め、その空域に飛行する物体を検出する技術が求められており、音響やレーダを利用した検出方式など様々な提案がなされている。また、ドローンに限らず、感度波長が異なる２種類の撮像手段を用いて物体を検出する技術も提案されている。【０００４】
例えば、特許文献１では、道路上の落下物を検出する目的で、あらかじめ定めた２種類のカメラ映像から車の移動と共に移動する物体をそれぞれ検出し、危険と思われる落下物を検出する方法が提案されている。【０００５】
また、特許文献２でも、物体検出方法が提案されている。特許文献２に記載された方法では、自動運転や自動ブレーキアシストを考慮した車載カメラによる移動物体を検出する目的で、あらかじめ定めた２種類のカメラ映像から入力され得る映像を環境の変化に応じたＬＵＴ（Look up Table）を準備し、人や障害物の検出漏れを抑制する
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第５７２０３８０号公報
【特許文献２】特許第５８８８１１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１および特許文献２のいずれも、移動するカメラの設置場所は車載を前提にしている。そのため、背景の変化が限定的であり、物体を検出する必要がある部分の背景は比較的単純なため、移動体の検出精度を向上させるには、昼夜や晴雨の環境変動に対する頑健性を向上させることで十分であった。【０００８】
また、特許文献１に記載された物体検出方法では、検出波長が互いに異なる第１カメラ、第２カメラにより撮影した画像をそれぞれの取得画像として取得し、取得画像から道路上の物体の移動状態を検出して、静止物体と移動物体とを判別する。また、取得画像から道路上の物体の立体情報を算出し、それぞれの処理結果の特徴量を統合して、落下物の判定が行われる。しかし、この方法は、ドローンのように画面と比較して小さく且つ自由に移動して背景が複雑に変化する移動体の検出には不向きであった。【０００９】
また、特許文献２に記載された物体検出装置は、対象物検出用の画像生成に用いる合成パラメータと、視認用の画像生成に用いる合成パラメータとをそれぞれ独立に変更して制御している。しかし、特許文献２に記載された物体検出装置では、背景が複雑に変化した場合の対象物検出用の画像生成については考慮されていない。【００１０】
また、特許文献１および特許文献２に記載された方法のように、カメラなどの二つのセンサを用いて移動体を検出する場合、いずれか一方のセンサが移動体を検出できないと、移動体の検出そのものができなくなってしまうという問題がある。【００１１】
そこで、本発明は、複数のセンサを用いて移動体を検出する場合に、移動体の検出精度を向上できるとともに移動体の検出漏れが発生することを抑制できる移動体検出装置、移動体検出方法および移動体検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明による移動体検出装置は、第一のセンサを用いて取得された情報から第一の移動体の位置を検出する第一移動体検出手段と、第二のセンサを用いて取得された情報から第二の移動体の位置を検出する第二移動体検出手段と、第一の移動体の第一の信頼度を算出する第一信頼度算出手段と、第二の移動体の第二の信頼度を算出する第二信頼度算出手段と、第一の移動体の位置と第二の移動体の位置に基づいて、移動体の検出を判定する移動体検出手段とを備え、移動体検出手段が、第一の移動体の位置と第二の移動体の位置とが略同一の場合、その位置において移動体を検出したと判定し、第一の移動体の位置と第二の移動体の位置とが異なる場合であって第一の信頼度と第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、その閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定することを特徴とする。【００１３】
本発明による移動体検出方法は、第一のセンサを用いて取得された情報から第一の移動体の位置を検出し、第二のセンサを用いて取得された情報から第二の移動体の位置を検出し、第一の移動体の第一の信頼度と第二の移動体の第二の信頼度とを算出し、第一の移動体の位置と第二の移動体の位置とが略同一の場合、その位置において移動体を検出したと判定し、第一の移動体の位置と第二の移動体の位置とが異なる場合であって、第一の信頼度と第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、その閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定することを特徴とする。【００１４】
本発明による移動体検出プログラムは、コンピュータに、第一のセンサを用いて取得された情報から第一の移動体の位置を検出する第一移動体検出手処理、第二のセンサを用いて取得された情報から第二の移動体の位置を検出する第二移動体検出処理、第一の移動体の第一の信頼度を算出する第一信頼度算出処理、第二の移動体の第二の信頼度を算出する第二信頼度算出処理、および、第一の移動体の位置と第二の移動体の位置に基づいて、移動体の検出を判定する移動体検出処理を実行させ、移動体検出処理で、第一の移動体の位置と第二の移動体の位置とが略同一の場合、その位置において移動体を検出したと判定させ、第一の移動体の位置と第二の移動体の位置とが異なる場合であって第一の信頼度と第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、その閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、複数のセンサを用いて移動体を検出する場合に、移動体の検出精度を向上できるとともに移動体の検出漏れが発生することを抑制できる。
【図面の簡単な説明】
【００１６】
【図１】本発明による移動体検出装置の第１の実施形態の構成例を示すブロック図である。
【図２】移動体を検出する方法の例を示す説明図である。
【図３】第１の実施形態の移動体検出装置の動作例を示す説明図である。
【図４】第１の実施形態の移動体検出装置の動作例を示すフローチャートである。
【図５】本発明による移動体検出装置の第２の実施形態の構成例を示すブロック図である。
【図６】第２の実施形態の移動体検出装置の動作例を示す説明図である。
【図７】第２の実施形態の移動体検出装置の動作例を示すフローチャートである。
【図８】本発明による移動体検出装置の第３の実施形態の構成例を示すブロック図である。
【図９】第３の実施形態の移動体検出装置の動作例を示す説明図である。
【図１０】第３の実施形態の移動体検出装置の動作例を示すフローチャートである。
【図１１】本発明による移動体検出装置の第４の実施形態の構成例を示すブロック図である。
【図１２】本発明による移動体検出装置の第５の実施形態の構成例を示すブロック図である。
【図１３】本発明による移動体検出装置の概要を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態を図面を参照して説明する。
【００１８】
実施形態１．
図１は、本発明による移動体検出装置の第１の実施形態の構成例を示すブロック図である。本実施形態の移動体検出装置１００は、第１の画像入力手段１と、第１の移動体検出手段２と、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、第２の画像入力手段５と、第２の移動体検出手段６と、第２の信頼度算出手段７と、第２の移動体座標算出手段８と、統合処理手段９とを備えている。
【００１９】
本実施形態の移動体検出装置１００（より具体的には、第１の画像入力手段１および第２の画像入力手段５）は、感度波長（検出波長）が異なる２種類の撮像手段で撮像された画像をそれぞれ入力する。すなわち、本実施形態では、性質の異なる２種類の撮像手段が用いられる。
【００２０】
以下の説明では、第１の画像入力手段１に入力される画像を撮像する撮像装置を第一の撮像装置と記し、第２の画像入力手段５に入力される画像を撮像する撮像装置を第二の撮像装置と記す。また、第一の撮像手段は、予め定めた第一の検出波長のカメラ画像（以下、第一の入力画像と記す。）を撮像するものとし、第二の撮像手段は、第一の検出波長とは異なる予め定めた第二の検出波長のカメラ画像（以下、第二の入力画像と記す。）を撮像するものとする。
【００２１】
予め定めた第一の検出波長のカメラ画像は、一例としてＲＧＢカメラによるカラー可視画像であってもよいし、可視領域の波長をカバーする輝度によるモノクロ可視画像であってもよい。
【００２２】
また、予め定めた第二の検出波長のカメラ画像は、一例として遠赤外カメラによる温度画像であってもよいし、可視領域の波長近傍の近赤外画像であってもよい。
【００２３】
第１の移動体検出手段２は、第１の画像入力手段１に入力されたカメラ画像から移動体を検出する。移動体の検出方法は任意である。図２は、移動体を検出する方法の例を示す説明図である。第１の移動体検出手段２は、例えば、入力された画像を時系列に、入力された時間τとその直前に入力された時間（τ−１）の２つの画像Ｉ１，Ｉ２間で差分を取り、画面全体で差分値が最小になる様に時間（τ―１）の画像を移動させる。
【００２４】
次に、第１の移動体検出手段２は、時間τの画像を任意の整数ｎおよびｍを用いたｎ×ｍサイズのブロックに分割し、画面全体の差分値が最小の画像を中心に移動させながらブロック内の差分値が最小になる位置をブロック移動量として記憶させる。そして、第１の移動体検出手段２は、そのブロック移動量を周辺のブロック移動量と異なるブロックまで拡大させることで移動体を検出する
【００２５】
他にも、第１の移動体検出手段２は、画像全体のオプティカルフローと局所的なオプティカルフローから移動体を検出してもよい。第１の移動体検出手段２が検出した移動体のことを、以下、第一の移動体と記す。
【００２６】
第２の移動体検出手段６は、第２の画像入力手段５に入力されたカメラ画像から移動体を検出する。移動体の検出方法は任意である。第２の移動体検出手段６は、第１の移動体検出手段２が移動体を検出する方法と同様の方法を用いてもよく、異なる方法を用いてもよい。第２の移動体検出手段６が検出した移動体のことを、以下、第二の移動体と記す。
【００２７】
第１の信頼度算出手段３は、第１の移動体検出手段２が検出した移動体（すなわち、第一の移動体）の信頼度を算出する。ここで算出される信頼度は、移動体の尤もらしさを表わす度合いである。
【００２８】
例えば、第１の移動体検出手段２が移動体を検出した領域を時系列に拡大し、複数のフレームに亘って移動体を検出したとする。この場合、第１の信頼度算出手段３は、連続したフレーム数に応じた第一の入力画像から信頼度を算出してもよい。また、第１の信頼度算出手段３は、移動体として検出された領域を二値化し、形状をパタンマッチングして算出される類似度を信頼度としてもよい。
【００２９】
第１の移動体座標算出手段４は、第一の移動体の位置を算出する。第１の移動体座標算出手段４は、例えば、第１の移動体検出手段２が移動体として検出した領域を取り囲むように第一の入力画像から移動体の位置（座標）を矩形座標として算出してもよい。
【００３０】
このように、本実施形態では、第１の画像入力手段１と第１の移動体検出手段２と第１の移動体座標算出手段４とが協働することにより、第一の撮像手段で取得された情報を用いて第一の移動体の位置を検出していると言える。
【００３１】
第２の信頼度算出手段７は、第２の移動体検出手段６が検出した移動体（すなわち、第二の移動体）の信頼度を算出する。第２の信頼度算出手段７は、第１の信頼度算出手段３が信頼度を算出する方法と同様の方法を用いて信頼度を算出してもよい。
【００３２】
第２の移動体座標算出手段８は、第二の移動体の位置を算出する。第２の移動体座標算出手段８は、例えば、第１の移動体検出手段２が移動体の位置を算出する方法と同様の方法を用いて信頼度を算出してもよい。
【００３３】
このように、本実施形態では、第２の画像入力手段５と第２の移動体検出手段６と第２の移動体座標算出手段８とが協働することにより、第二の撮像手段で取得された情報を用いて第二の移動体の位置を検出していると言える。
【００３４】
統合処理手段９は、第一の移動体の位置と第二の移動体の位置に基づいて、移動体の検出を判定する。具体的には、統合処理手段９は、第一の移動体の位置と第二の移動体の位置とが同一の場合、その位置において移動体を検出したと判定する。なお、画像間で算出される位置の誤差を考慮し、第一の移動体の位置と第二の移動体の位置とが一定の範囲内の場合、統合処理手段９は、第一の移動体の位置と第二の移動体の位置とが同一であると判定してもよい。以下、位置が完全に同一の場合だけでなく、予め定めた一定の誤差の範囲内であることを、両方の位置が略同一であると記す。
【００３５】
さらに、統合処理手段９は、第一の移動体の位置と第二の移動体の位置とが異なる場合であっても、第一の信頼度と第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、その閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定する。
【００３６】
例えば、第一の入力画像から検出された移動体の位置に、第二の入力画像から検出された移動体の位置が存在しないとする。この場合、統合処理手段９は、第一の画像入力による移動体の位置座標にある移動体の信頼度が予め定めておいた閾値αより大きいか否か判断する。信頼度が閾値αより大きい場合、統合処理手段９は、第一の入力画像から検出された移動体の位置に移動体が存在すると判定して、その移動体を検出する。閾値αは、例えば、可視カメラによる物体検出方法によって予め設定される。
【００３７】
さらに、例えば、第二の入力画像から検出された移動体の位置に、第一の入力画像から検出された移動体の位置が存在しないとする。この場合、統合処理手段９は、第二の画像入力による移動体の位置座標にある移動体の信頼度が予め定めておいた閾値βより大きいか否か判断する。信頼度が閾値βより大きい場合、統合処理手段９は、第二の入力画像から検出された移動体の位置に移動体が存在すると判定して、その移動体を検出する。閾値βは、例えば、温度カメラもしくは近赤外カメラによる物体検出方法によって予め設定される。閾値αと閾値βの値は、同じであってもよいし、異なっていてもよい。
【００３８】
なお、第一の移動体の位置と第二の移動体の位置とが異なる場合であって、いずれの信頼度も、予め定めた閾値より大きい場合も可能性として存在する。このような場合、統合処理手段９は、各画像から検出された位置に移動体がそれぞれ存在すると判定して、それらの移動体を検出すればよい。すなわち、それぞれの画像から移動体が一体ずつ、計二体存在すると判定される。
【００３９】
第１の画像入力手段１と、第１の移動体検出手段２と、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、第２の画像入力手段５と、第２の移動体検出手段６と、第２の信頼度算出手段７と、第２の移動体座標算出手段８と、統合処理手段９とは、プログラム（移動体検出プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
【００４０】
例えば、プログラムは、移動体検出装置１００の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、第１の画像入力手段１、第１の移動体検出手段２、第１の信頼度算出手段３、第１の移動体座標算出手段４、第２の画像入力手段５、第２の移動体検出手段６、第２の信頼度算出手段７、第２の移動体座標算出手段８、統合処理手段９として動作してもよい。
【００４１】
また、第１の画像入力手段１と、第１の移動体検出手段２と、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、第２の画像入力手段５と、第２の移動体検出手段６と、第２の信頼度算出手段７と、第２の移動体座標算出手段８と、統合処理手段９とは、それぞれが専用のハードウェアで実現されていてもよい。
【００４２】
図３は、第１の実施形態の移動体検出装置１００の動作例を示す説明図である。感度波長が異なる２種類の撮像手段において、第１の画像入力手段１は、予め定めた第一の検出波長のカメラ画像を入力する。入力されたカメラ画像の画像データＳ１は、第１の移動体検出手段２に入力され、第１の移動体検出手段２は、第一の移動体検出処理にて、移動体検出データＳ２を出力する。
【００４３】
第１の移動体検出手段２で移動体として検出された移動体検出データＳ２の領域が時系列に拡大され、複数フレームに亘って移動体が検出されたとする。この場合、第１の信頼度算出手段３は、連続したフレーム数に応じた第一の画像入力による信頼度Ｓ３を算出する。第１の信頼度算出手段３は、例えば、移動体の画像と周辺画像の画素値のヒストグラムの差と、前フレームの移動体検出情報を利用して信頼度を算出する。第１の信頼度算出手段３は、移動体として検出された領域を二値化して形状をパタンマッチングして、類似度を信頼度Ｓ３として算出してもよい。
【００４４】
第１の移動体座標算出手段４は、第一の移動体座標算出処理にて、第１の移動体検出手段２で移動体として検出された領域を取り囲むように、画面上における第一の画像入力による移動体の位置座標Ｓ４を算出する。
【００４５】
同様に、第２の画像入力手段５は、予め定めた第二の検出波長のカメラ画像を入力する。入力されたカメラ画像の画像データＳ５は、第２の移動体検出手段６に入力され、第２の移動体検出手段６は、移動体検出データＳ６を出力する。
【００４６】
第２の移動体検出手段６で移動体として検出された移動体検出データＳ６の領域が時系列に拡大され、複数フレームに亘って移動体が検出されたとする。この場合、第２の信頼度算出手段７は、連続したフレーム数に応じた第二の画像入力による信頼度Ｓ７を算出する。第２の信頼度算出手段７は、移動体として検出された領域を二値化して形状をパタンマッチングして、類似度を信頼度Ｓ７として算出してもよい。
【００４７】
第２の移動体座標算出手段８は、第２の移動体検出手段６で移動体として検出された移動体検出データＳ６の領域を取り囲むように、画面上における第二の画像入力による移動体の位置座標Ｓ８を算出する。
【００４８】
統合処理手段９は、第一の画像入力による移動体の信頼度Ｓ３および移動体の位置座標Ｓ４と、第二の画像入力による移動体の信頼度Ｓ７および移動体の位置座標Ｓ８とを入力する。統合処理手段９は、位置座標Ｓ４と位置座標Ｓ８とが略同一の場合、その座標の位置に移動体が存在するとして、移動体Ｓ９を検出する。
【００４９】
一方、位置座標Ｓ４に位置座標Ｓ８が一致しない場合であって、位置座標Ｓ４で検出された移動体の信頼度Ｓ３が予め定めておいた閾値αより大きな場合、統合処理手段９は、位置座標Ｓ４に移動体が存在するとして移動体Ｓ９を検出する。さらに、位置座標Ｓ８に位置座標Ｓ４が一致しない場合であって、位置座標Ｓ８で検出された移動体の信頼度Ｓ７が予め定めておいた閾値βより大きな場合、統合処理手段９は、座標位置Ｓ８に移動体が存在するとして移動体Ｓ９を検出する。
【００５０】
図４は、第１の実施形態の移動体検出装置１００の動作例を示すフローチャートである。第１の移動体座標算出手段４は、第一の移動体の位置を検出する（ステップＳ１０１）。また、第２の移動体座標算出手段８は、第二の移動体の位置を検出する（ステップＳ１０２）。本実施形態では、移動体の位置の検出には、性質の異なる２種類のセンサ（撮像手段）を用いてそれぞれ撮像された画像が用いられる。
【００５１】
具体的には、第一のセンサは、予め定めた第一の検出波長（例えば、可視光波長）の画像を撮像する第一の撮像手段であり、第二のセンサは、第一の検出波長とは異なる予め定めた第二の検出波長（例えば、近赤外線波長または遠赤外線波長）の画像を撮像する第二の撮像手段である。
【００５２】
第１の信頼度算出手段３は、第一の移動体の第一の信頼度を算出する（ステップＳ１０３）。同様に、第２の信頼度算出手段７は、第二の移動体の第二の信頼度を算出する（ステップＳ１０４）。統合処理手段９は、第一の移動体の位置と第二の移動体の位置が略同一であるか否か判断する（ステップＳ１０５）。
【００５３】
第一の移動体の位置と前記第二の移動体の位置とが略同一の場合（ステップＳ１０５におけるＹｅｓ）、統合処理手段９は、その位置において移動体を検出したと判定する（ステップＳ１０６）。一方、第一の移動体の位置と第二の移動体の位置とが異なる場合（ステップＳ１０５におけるＮｏ）、統合処理手段９は、第一の信頼度と第二の信頼度のうちのいずれか一方の信頼度が閾値を超えているか否か判断する（ステップＳ１０７）。信頼度が閾値を超えている場合（ステップＳ１０７におけるＹｅｓ）、統合処理手段９は、閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定する（ステップＳ１０８）。一方、信頼度が閾値を超えていない場合（ステップＳ１０７におけるＮｏ）、統合処理手段９は、移動体を検出したと判定せずに、処理を終了する。
【００５４】
以上のように、本実施形態では、第１の移動体座標算出手段４が、第一の移動体の位置を検出し、第２の移動体座標算出手段８が、第二の移動体の位置を検出する。さらに、第１の信頼度算出手段３が、第一の移動体の第一の信頼度を算出し、第２の信頼度算出手段７が、第二の移動体の第二の信頼度を算出する。そして、統合処理手段９が、第一の移動体の位置と第二の移動体の位置に基づいて、移動体の検出を判定する。
【００５５】
具体的には、第一の移動体の位置と第二の移動体の位置とが略同一の場合、統合処理手段９は、その位置において移動体を検出したと判定する。一方、第一の移動体の位置と第二の移動体の位置とが異なる場合であって第一の信頼度と第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、統合処理手段９は、その閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定する。
【００５６】
以上のような構成により、複数のセンサを用いて移動体を検出する場合に、移動体の検出精度を向上できるとともに移動体の検出漏れが発生することを抑制できる。
【００５７】
実施形態２．
次に、本発明による移動体検出装置の第２の実施形態を説明する。図５は、本発明による移動体検出装置の第２の実施形態の構成例を示すブロック図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、説明を省略する。
【００５８】
本実施形態の移動体検出装置２００は、第１の画像入力手段１と、第１の移動体検出手段２と、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、センサ情報入力手段１０と、第２の移動体検出手段１１と、第２の信頼度算出手段１２と、第２の移動体座標算出手段１３と、統合処理手段９とを備えている。
【００５９】
すなわち、本実施形態の移動体検出装置２００は、第１の実施形態の移動体検出装置１００と比較し、第２の画像入力手段５、第２の移動体検出手段６、第２の信頼度算出手段７および第２の移動体座標算出手段８の代わりに、センサ情報入力手段１０、第２の移動体検出手段１１、第２の信頼度算出手段１２および第２の移動体座標算出手段１３を備えている点において異なる。
【００６０】
また、第１の実施形態では、性質の異なる２種類のセンサとして、感度波長が異なる２種類の撮像手段が用いられる場合について説明した。本実施形態では、性質の異なる２種類のセンサとして、画像を撮像する撮像手段と、音響センサとが用いられる場合について説明する。
【００６１】
すなわち、本実施形態の移動体検出装置２００（より具体的には、第１の画像入力手段１およびセンサ情報入力手段１０）は、撮像手段で撮像されたカメラ画像と、音響センサで検出された音響データとをそれぞれ入力する。なお、本実施形態では、音響センサを複数用いてマイクロホンアレイを構成する。マイクロホンアレイは、例えば、少なくとも４個以上のマイクロホンから構成される。
【００６２】
第１の画像入力手段１、第１の移動体検出手段２、第１の信頼度算出手段３および第１の移動体座標算出手段４の構成は、第１の実施形態と同様である。
【００６３】
本実施形態のカメラ画像は、一例としてＲＧＢカメラによるカラー可視画像であってもよいし、可視領域の波長をカバーする輝度によるモノクロ可視画像であってもよい。
【００６４】
センサ情報入力手段１０は、マイクロホンが複数配置されたマイクロホンアレイで検出された音響データを入力する。
【００６５】
第２の移動体検出手段１１は、センサ情報入力手段１０に入力された音響データから移動体を検出する。第２の移動体検出手段１１は、例えば、予め定めた数と配置のマイクロホンから入力される音響データを、フーリエ変換によって、ある単位時間毎に周波数分析を行い、音源方向とレベルなどの分析を行うことで、移動体を検出する。
【００６６】
他にも、第２の移動体検出手段１１は、入力された音響データを時系列に解析し、音響レベルの変化を用いて移動体を検出しても良い。
【００６７】
第２の信頼度算出手段１２は、第２の移動体検出手段１１が検出した第二の移動体の信頼度を算出する。具体的には、第２の信頼度算出手段１２は、音源の特徴に基づいて音源の移動を特定することにより、音源の信頼度を算出する。
【００６８】
例えば、第２の移動体検出手段１１が移動体を検出した領域を時系列に拡大し、複数のフレームに亘って移動体を検出したとする。この場合、第２の信頼度算出手段１２は、連続したフレーム数に応じた音響データから信頼度を算出してもよい。また、第２の信頼度算出手段１２は、移動体として検出された音響データの周波数パタンを予め移動体として登録しておいた音響パタンとパタンマッチングすることにより算出される類似度を信頼度としてもよい。
【００６９】
第２の移動体座標算出手段１３は、第二の移動体の位置を算出する。第２の移動体座標算出手段１３は、例えば、第２の移動体検出手段１１が第二の移動体の位置として検出した領域（音源の位置）を取り囲むように第一の入力画像（具体的には、第１の画像入力手段１が入力する画像）から移動体の位置（座標）を算出してもよい。
【００７０】
統合処理手段９は、第１の実施形態と同様、第一の移動体の位置と第二の移動体の位置に基づいて、移動体の検出を判定する。具体的には、統合処理手段９は、第一の移動体の位置と第二の移動体の位置とが略同一の場合、その位置において移動体を検出したと判定する。
【００７１】
さらに、統合処理手段９は、第一の移動体の位置と第二の移動体の位置とが異なる場合であっても、第一の信頼度が閾値を超えている場合、その第一の信頼度に対応する移動体の位置において移動体を検出したと判定する。
【００７２】
第１の画像入力手段１と、第１の移動体検出手段２と、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、センサ情報入力手段１０と、第２の移動体検出手段１１と、第２の信頼度算出手段１２と、第２の移動体座標算出手段１３と、統合処理手段９とは、プログラム（移動体検出プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
【００７３】
図６は、第２の実施形態の移動体検出装置２００の動作例を示す説明図である。第１の画像入力手段１、第１の移動体検出手段２、第１の信頼度算出手段３および第１の移動体座標算出手段４の内容は、図１に示す内容と同様である。
【００７４】
センサ情報入力手段１０は、マイクロホンを複数配置したマイクロホンアレイから音響データＳ１０を入力する。入力された音響データＳ１０は、第２の移動体検出手段１１に入力され、第２の移動体検出手段１１は、第二の移動体検出処理において、移動体検出データＳ１１を出力する。
【００７５】
第２の移動体検出手段１１で移動体として検出された移動体検出データＳ１１の領域が時系列に拡大され、複数フレームに亘って移動体が検出されたとする。この場合、第２の信頼度算出手段１２は、連続したフレーム数に応じた音響データの入力による信頼度Ｓ１２を算出する。第２の信頼度算出手段１２は、移動体として検出された音響データの周波数パタンをあらかじめ移動体として登録しておいた音響パタンとパタンマッチングして、類似度を信頼度Ｓ１２として算出しても良い。また、第２の信頼度算出手段１２は、周波数別音響レベルパタンと目的の移動体の音響パタンとを照合し、一致度を信頼度として算出してもよい。
【００７６】
第２の移動体座標算出手段１３は、移動体として検出された領域を取り囲むように、画像データの画面上での移動体の位置座標Ｓ１３を算出する。
【００７７】
統合処理手段９は、第一の画像入力による移動体の信頼度Ｓ３および移動体の位置座標Ｓ４と、音響入力による移動体の信頼度Ｓ１２および移動体の位置座標Ｓ１３とを入力する。統合処理手段９は、位置座標Ｓ４と位置座標Ｓ１３とが略同一の場合、その座標の位置に移動体が存在するとして、移動体Ｓ９を検出する。
【００７８】
一方、位置座標Ｓ４に位置座標Ｓ１３が一致しない場合であって、位置座標Ｓ４で検出された移動体の信頼度Ｓ３が予め定めておいた閾値αより大きな場合、統合処理手段９は、位置座標Ｓ４に移動体が存在するとして移動体Ｓ９を検出する。
【００７９】
図７は、第２の実施形態の移動体検出装置２００の動作例を示すフローチャートである。第１の移動体座標算出手段４は、第一の移動体の位置を検出する（ステップＳ１０１）。また、第２の移動体座標算出手段１３は、第二の移動体の位置を検出する（ステップＳ２０２）。
【００８０】
具体的には、第一の移動体の位置を検出する第一のセンサは、予め定めた第一の検出波長（例えば、可視光波長）の画像を撮像する撮像手段であり、第二の移動体の位置を検出する第二のセンサは、複数の音響センサを含むマイクロホンアレイである。すなわち、第１の移動体座標算出手段４は、撮像手段で撮像された画像から第一の移動体の位置を検出し、第２の移動体座標算出手段１３は、マイクロホンアレイで検出された音響データから音源の位置を第二の移動体の位置として検出する。
【００８１】
第１の信頼度算出手段３は、第一の移動体の第一の信頼度を算出する（ステップＳ１０３）。同様に、第２の信頼度算出手段１２は、第二の移動体の第二の信頼度を算出する（ステップＳ２０４）。具体的には、第２の信頼度算出手段１２は、音源の特徴に基づいて音源の移動を特定することにより、音源の第二の信頼度を算出する。
【００８２】
以下、統合処理手段９が移動体を検出する処理は、図４のステップＳ１０５からステップＳ１０８までの処理と同様である。
【００８３】
以上のように、本実施形態では、第１の移動体座標算出手段４が、予め定めた第一の検出波長の画像を撮像する撮像手段で撮像された画像から第一の移動体の位置を検出し、第２の移動体座標算出手段１３が、複数の音響センサを含むマイクロホンアレイで検出された音響データから音源の位置を第二の移動体の位置として検出する。そして、第２の信頼度算出手段１２が、音源の特徴に基づいて音源の移動を特定することにより、音源の第二の信頼度を算出する。
【００８４】
以上のような構成によっても、複数のセンサを用いて移動体を検出する場合に、移動体の検出精度を向上できるとともに移動体の検出漏れが発生することを抑制できる。
【００８５】
実施形態３．
次に、本発明による移動体検出装置の第３の実施形態を説明する。図８は、本発明による移動体検出装置の第３の実施形態の構成例を示すブロック図である。なお、第２の実施形態と同様の構成については、図５と同一の符号を付し、説明を省略する。
【００８６】
本実施形態の移動体検出装置３００は、第１の画像入力手段１と、第１の移動体検出手段２と、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、センサ情報入力手段１０と、第２の移動体検出手段１１と、第２の信頼度算出手段１２と、第２の移動体座標算出手段１３と、基準信号生成手段１４と、統合処理手段９とを備えている。
【００８７】
すなわち、本実施形態の移動体検出装置３００は、第２の実施形態の移動体検出装置２００と比較し、基準信号生成手段１４をさらに備えている点において異なる。
【００８８】
また、第２の実施形態では、性質の異なる２種類のセンサとして、画像を撮像する撮像手段と、音響センサとが用いられる場合について説明した。本実施形態では、性質の異なる２種類のセンサとして、画像を撮像する撮像手段と、発信された電磁波の反射波を受信するレーダとが用いられる場合について説明する。すなわち、本実施形態では、レーダ方式による物体検出方法が用いられる。
【００８９】
すなわち、本実施形態の移動体検出装置３００（より具体的には、第１の画像入力手段１およびセンサ情報入力手段１０）は、撮像手段で撮像されたカメラ画像と、発信された予め定めた波長の電磁波に対する反射波を受信するレーダで検出された反射波が示す反射データとをそれぞれ入力する。
【００９０】
第１の画像入力手段１、第１の移動体検出手段２、第１の信頼度算出手段３および第１の移動体座標算出手段４の構成は、第１の実施形態と同様である。
【００９１】
本実施形態のカメラ画像は、一例としてＲＧＢカメラによるカラー可視画像であってもよいし、可視領域の波長をカバーする輝度によるモノクロ可視画像であってもよい。
【００９２】
基準信号生成手段１４は、基準となるあらかじめ定めた波長の信号（電磁波）を出力する。以下の説明では、この波長のことを第三の波長と記す。
【００９３】
本実施形態のセンサ情報入力手段１０は、レーダが受信した第二の移動体の反射波が示す反射データを入力する。本実施形態で用いられるレーダは、基準信号生成手段１４が出力した電磁波の反射波をレーダアンテナにより受信して、センサ情報入力手段１０に入力する。
【００９４】
第２の移動体検出手段１１は、センサ情報入力手段１０に入力された反射データから移動体を検出する。第２の移動体検出手段１１は、例えば、基準信号生成手段１４が出力した基準信号と、受信した反射データの位相差とにより、レーダアンテナからの距離と方向を検出してもよい。
【００９５】
また、第２の移動体検出手段１１は、入力された反射データを時系列に解析し、反射波の位相差に加え、信号レベルの変化を用いて移動体を検出してもよい。
【００９６】
第２の信頼度算出手段１２は、第２の移動体検出手段１１が検出した第二の移動体の信頼度を算出する。具体的には、第２の信頼度算出手段１２は、反射データの特徴に基づいて反射波の強度の遷移を特定することにより、第二の信頼度を算出する。
【００９７】
例えば、第２の移動体検出手段１１が移動体を検出した領域を時系列に拡大し、複数のフレームに亘って移動体を検出したとする。この場合、第２の信頼度算出手段１２は、連続したフレーム数に応じた反射データから信頼度を算出してもよい。
【００９８】
また、第２の信頼度算出手段１２は、移動体として検出された反射データの強度分布を予め移動体として登録しておいた反射パタンとパタンマッチングすることにより算出される類似度を信頼度としてもよい。
【００９９】
第２の移動体座標算出手段１３は、第二の移動体の位置を算出する。第２の移動体座標算出手段１３は、例えば、第２の移動体検出手段１１が第二の移動体の位置として検出した領域を取り囲むように第一の入力画像（具体的には、第１の画像入力手段１が入力する画像）から移動体の位置（座標）を算出してもよい。
【０１００】
統合処理手段９は、第１の実施形態と同様、第一の移動体の位置と第二の移動体の位置に基づいて、移動体の検出を判定する。具体的には、統合処理手段９は、第一の移動体の位置と第二の移動体の位置とが略同一の場合、その位置において移動体を検出したと判定する。
【０１０１】
さらに、統合処理手段９は、第一の移動体の位置と第二の移動体の位置とが異なる場合であっても、第一の信頼度が閾値を超えている場合、その第一の信頼度に対応する移動体の位置において移動体を検出したと判定する。
【０１０２】
図９は、第３の実施形態の移動体検出装置３００の動作例を示す説明図である。第１の画像入力手段１、第１の移動体検出手段２、第１の信頼度算出手段３および第１の移動体座標算出手段４の内容は、図１に示す内容と同様である。
【０１０３】
基準信号生成手段１４は、基準となる信号を出力する。センサ情報入力手段１０は、レーダアンテナにより受信された電磁波の反射波が示す反射データＳ１５を入力する。入力された反射データＳ１５は、第２の移動体検出手段１１に入力され、第２の移動体検出手段１１は、第二の移動体検出処理において、移動体検出データＳ１６を出力する。第２の移動体検出手段１１は、例えば、基準信号と受信した反射データとの位相差によりレーダアンテナからの距離と方向を検出する。
【０１０４】
第２の移動体検出手段１１で移動体として検出された移動体検出データＳ１６の領域が時系列に拡大され、複数フレームに亘って移動体が検出されたとする。この場合、第２の信頼度算出手段１２は、連続したフレーム数に応じた反射データの入力による信頼度Ｓ１７を算出する。第２の信頼度算出手段１２は、移動体として検出された反射データの強度分布をあらかじめ移動体として登録しておいた反射パタンとパタンマッチングして、類似度を信頼度Ｓ１７として算出しても良い。
【０１０５】
第２の移動体座標算出手段１３は、移動体として検出された領域を取り囲むように、画像データの画面上での移動体の位置座標Ｓ１８を算出する。
【０１０６】
統合処理手段９は、第一の画像入力による移動体の信頼度Ｓ３および移動体の位置座標Ｓ４と、反射波入力による移動体の信頼度Ｓ１７および移動体の位置座標Ｓ１８とを入力する。統合処理手段９は、位置座標Ｓ４と位置座標Ｓ１８とが略同一の場合、その座標の位置に移動体が存在するとして、移動体Ｓ９を検出する。
【０１０７】
一方、位置座標Ｓ４に位置座標Ｓ１８が一致しない場合であって、位置座標Ｓ４で検出された移動体の信頼度Ｓ３が予め定めておいた閾値αより大きな場合、統合処理手段９は、位置座標Ｓ４に移動体が存在するとして移動体Ｓ９を検出する。
【０１０８】
図１０は、第３の実施形態の移動体検出装置３００の動作例を示すフローチャートである。第１の移動体座標算出手段４は、第一の移動体の位置を検出する（ステップＳ１０１）。また、第２の移動体座標算出手段１３は、第二の移動体の位置を検出する（ステップＳ３０２）。
【０１０９】
具体的には、第一の移動体の位置を検出する第一のセンサは、予め定めた第一の検出波長（例えば、可視光波長）の画像を撮像する撮像手段であり、第二の移動体の位置を検出する第二のセンサは、発信された予め定めた第三の波長の電磁波に対する反射波を受信するレーダである。
【０１１０】
すなわち、第１の移動体座標算出手段４は、撮像手段で撮像された画像から第一の移動体の位置を検出し、第２の移動体座標算出手段１３は、第二の移動体の反射波が示す反射データから第二の移動体の位置を検出する。
【０１１１】
第１の信頼度算出手段３は、第一の移動体の第一の信頼度を算出する（ステップＳ１０３）。同様に、第２の信頼度算出手段１２は、第二の移動体の第二の信頼度を算出する（ステップＳ３０４）。具体的には、第２の信頼度算出手段１２は、反射データの特徴に基づいて反射波の強度の遷移を特定することにより、第二の信頼度を算出する。
【０１１２】
以下、統合処理手段９が移動体を検出する処理は、図４のステップＳ１０５からステップＳ１０８までの処理と同様である。
【０１１３】
以上のように、本実施形態では、第１の移動体座標算出手段４が、予め定めた第一の検出波長の画像を撮像する撮像手段で撮像された画像から第一の移動体の位置を検出する。また、第２の移動体座標算出手段１３が、発信された予め定めた第三の波長の電磁波に対する反射波を受信するレーダで検出された第二の移動体の反射波が示す反射データから第二の移動体の位置を検出する。そして、第２の信頼度算出手段１２が、反射データの特徴に基づいて反射波の強度の遷移を特定することにより、第二の信頼度を算出する。
【０１１４】
以上のような構成によっても、複数のセンサを用いて移動体を検出する場合に、移動体の検出精度を向上できるとともに移動体の検出漏れが発生することを抑制できる。
【０１１５】
実施形態４．
次に、本発明による移動体検出装置の第４の実施形態を説明する。第１の実施形態から第３の実施形態では、各移動体検出装置が検出処理および信頼度算出処理を行う場合について説明した。なお、本発明による移動体検出装置が複数の装置で実現されてもよい。
【０１１６】
図１１は、本発明による移動体検出装置の第４の実施形態の構成例を示すブロック図である。本実施形態の移動体検出装置４００は、検出装置４１０と、検出結果処理装置４２０とを備えている。なお、移動体検出装置４００は、複数の装置を含むことから、移動体検出装置４００を移動検出システムと言うこともできる。
【０１１７】
検出装置４１０は、第１の画像入力手段１と、第１の移動体検出手段２と、第２の画像入力手段５と、第２の移動体検出手段６と、メモリ（図示せず）とを含む。第１の画像入力手段１と、第１の移動体検出手段２と、第２の画像入力手段５と、第２の移動体検出手段６とは、例えば、メモリに記憶されたプログラムに従って動作するＣＰＵにより実現される。
【０１１８】
また、検出結果処理装置４２０は、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、第２の信頼度算出手段７と、第２の移動体座標算出手段８と、統合処理手段９と、メモリ（図示せず）とを含む。検出結果処理装置４２０は、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、第２の信頼度算出手段７と、第２の移動体座標算出手段８と、統合処理手段９とは、例えば、メモリに記憶されたプログラムに従って動作するＣＰＵにより実現される。
【０１１９】
第１の画像入力手段１、第１の移動体検出手段２、第１の信頼度算出手段３、第１の移動体座標算出手段４、第２の画像入力手段５、第２の移動体検出手段６、第２の信頼度算出手段７、第２の移動体座標算出手段８および統合処理手段９の内容は、第１の実施形態と同様である。
【０１２０】
ただし、第１の移動体検出手段２は、検出結果を検出結果処理装置４２０（より具体的には、第１の信頼度算出手段３および第１の移動体座標算出手段４）に送信する。また、第２の移動体検出手段６は、検出結果を検出結果処理装置４２０（より具体的には、第２の信頼度算出手段７および第２の移動体座標算出手段８）に送信する。
【０１２１】
以下、本実施形態の具体例を説明する。検出装置４１０は、例えば、ＣＰＵ及びメモリを備える一つの筐体に可視カメラと赤外カメラを含む。検出装置４１０は、移動体の検出処理を実行し、移動体を検出したときに、検出結果をサーバに相当する検出結果処理装置４２０に送信する。このように、検出装置４１０が、いわゆるインテリジェントカメラとして機能してもよい。
【０１２２】
また、本実施形態では、移動体検出装置４００が、第１の実施形態の各構成で実現される場合について説明した。ただし、移動体検出装置４００が、第２の実施形態または第３の実施形態の各構成で実現されてもよい。
【０１２３】
この場合、検出装置４１０が、第１の画像入力手段１と、第１の移動体検出手段２と、センサ情報入力手段１０と、第２の移動体検出手段１１と、メモリを含む構成であってもよい。また、検出結果処理装置４２０が、第１の信頼度算出手段３と、第１の移動体座標算出手段４と、第２の信頼度算出手段１２と、第２の移動体座標算出手段１３と、統合処理手段９と、メモリとを含む構成であってもよい。
【０１２４】
実施形態５．
次に、本発明による移動体検出装置の第５の実施形態を説明する。第４の実施形態では、複数のカメラと複数の検出手段が１つの筐体（装置）で実現されている場合について説明した。他にも、一方のカメラが画像データの取得のみを行い、他のカメラを備える装置に取得したデータを送信して、移動体を検出するようにしてもよい。
【０１２５】
図１２は、本発明による移動体検出装置の第５の実施形態の構成例を示すブロック図である。本実施形態の移動体検出装置５００は、検出装置５１０と、検出結果処理装置５２０と、画像取得装置５３０とを備えている。なお、移動体検出装置５００は、複数の装置を含むことから、移動体検出装置５００を移動検出システムと言うこともできる。
【０１２６】
検出装置５１０は、第１の画像入力手段１と、第１の移動体検出手段２と、第２の移動体検出手段６と、メモリ（図示せず）とを含む。すなわち、検出装置５１０は、第４の実施形態の検出装置５１０と比較し、第２の画像入力手段５を備えていない点において異なる。それ以外の内容は、第４の実施形態と同様である。また、検出結果処理装置５２０は、第４の実施形態の検出結果処理装置４２０と同様である。
【０１２７】
画像取得装置５３０は、第２の画像入力手段５を含む。第２の画像入力手段５は、撮像された画像が入力されると、その画像を検出装置５１０（より具体的には、第２の移動体検出手段６）に送信する。
【０１２８】
以下、本実施形態の具体例を説明する。検出装置５１０は、例えば、ＣＰＵ及びメモリを備える一つの筐体に可視カメラを含む。また、画像取得装置５３０は、赤外カメラを含む筐体により実現される。すなわち、可視カメラ（ＩＰカメラなど）と赤外カメラとは異なる筐体で実現される。画像取得装置５３０は、赤外カメラで撮像された画像を検出装置５１０に送信する。検出装置５１０は、移動体の検出処理を実行し、移動体を検出したときに、検出結果をサーバに相当する検出結果処理装置５２０に送信する。このように、検出装置５１０が、いわゆるインテリジェントカメラとして機能してもよい。
【０１２９】
また、第４の実施形態と同様、移動体検出装置５００が、第２の実施形態または第３の実施形態の各構成で実現されてもよい。
【０１３０】
次に、本発明の概要を説明する。図１３は、本発明による移動体検出装置の概要を示すブロック図である。本発明による移動体検出装置は、第一のセンサ（例えば、撮像手段）を用いて取得された情報（例えば、画像）から第一の移動体の位置を検出する第一移動体検出手段８１（例えば、第１の移動体検出手段２および第１の移動体座標算出手段４）と、第二のセンサ（例えば、撮像手段、音響センサ、レーダ）を用いて取得された情報（例えば、画像、音響データ、反射データ）から第二の移動体の位置を検出する第二移動体検出手段８２（例えば、第２の移動体検出手段６，１１および第２の移動体座標算出手段８，１３）と、第一の移動体の第一の信頼度を算出する第一信頼度算出手段８３（例えば、第１の信頼度算出手段３）と、第二の移動体の第二の信頼度を算出する第二信頼度算出手段８４（例えば、第２の信頼度算出手段７，１２）と、第一の移動体の位置と第二の移動体の位置に基づいて、移動体の検出を判定する移動体検出手段８５（例えば、統合処理手段９）とを備えている。
【０１３１】
移動体検出手段８５は、第一の移動体の位置と第二の移動体の位置とが略同一の場合、その位置において移動体を検出したと判定し、第一の移動体の位置と第二の移動体の位置とが異なる場合であって第一の信頼度と第二の信頼度のうちのいずれか一方の信頼度が閾値を超えている場合、その閾値を超えている信頼度に対応する移動体の位置において移動体を検出したと判定する。
【０１３２】
そのような構成により、複数のセンサを用いて移動体を検出する場合に、移動体の検出精度を向上できるとともに移動体の検出漏れが発生することを抑制できる。
【０１３３】
また、第一のセンサと第二のセンサとは、性質の異なる２種類のセンサが用いられる。
【０１３４】
具体的には、第一のセンサが、予め定めた第一の検出波長の画像を撮像する第一の撮像手段であり、第二のセンサが、第一の検出波長とは異なる予め定めた第二の検出波長の画像を撮像する第二の撮像手段であってもよい。このとき、第一移動体検出手段８１は、第一の撮像手段で撮像された画像から第一の移動体の位置を検出し、第二移動体検出手段８２は、第二の撮像手段で撮像された画像から第二の移動体の位置を検出してもよい。
【０１３５】
例えば、第一の検出波長が可視光波長であり、第二の検出波長が近赤外線波長または遠赤外線波長である
【０１３６】
また、具体的には、第一のセンサが、予め定めた第一の検出波長の画像を撮像する撮像手段であり、第二のセンサが、複数の音響センサを含むマイクロホンアレイであってもよい。このとき、第一移動体検出手段８１は、撮像手段で撮像された画像から第一の移動体の位置を検出し、第二移動体検出手段８２は、マイクロホンアレイで検出された音響データから音源の位置を第二の移動体の位置として検出し、第二信頼度算出手段８４は、音源の特徴に基づいて音源の移動を特定することにより、音源の第二の信頼度を算出してもよい。
【０１３７】
また、具体的には、第一のセンサが、予め定めた第一の検出波長の画像を撮像する撮像手段であり、第二のセンサが、発信された予め定めた第三の波長の電磁波に対する反射波を受信するレーダであってもよい。このとき、第一移動体検出手段８１は、撮像手段で撮像された画像から第一の移動体の位置を検出し、第二移動体検出手段８２は、第二の移動体の反射波が示す反射データから第二の移動体の位置を検出し、第二信頼度算出手段８４は、反射データの特徴に基づいて反射波の強度の遷移を特定することにより、第二の信頼度を算出してもよい。
【０１３８】
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１３９】
この出願は、２０１７年３月１７日に出願された日本特許出願２０１７−５２１９５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１４０】
本発明は、センサを用いて移動体を検出する移動体検出装置に好適に適用される。特に、本発明は、ドローンのように背景が大きく変化する中で移動する物体を検出するシステムに、より好適に適用される。
【符号の説明】
【０１４１】
１  第１の画像入力手段
２  第１の移動体検出手段
３  第１の信頼度算出手段
４  第１の移動体座標算出手段
５  第２の画像入力手段
６  第２の移動体検出手段
７  第２の信頼度算出手段
８  第２の移動体座標算出手段
９  統合処理手段
１０  センサ情報入力手段
１１  第２の移動体検出手段
１２  第２の信頼度算出手段
１３  第２の移動体座標算出手段
【図１】
2018168182.tif 000003
【図２】
2018168182.tif 000004
【図３】
2018168182.tif 000005
【図４】
2018168182.tif 000006
【図５】
2018168182.tif 000007
【図６】
2018168182.tif 000008
【図７】
2018168182.tif 000009
【図８】
2018168182.tif 000010
【図９】
2018168182.tif 000011
【図１０】
2018168182.tif 000012
【図１１】
2018168182.tif 000013
【図１２】
2018168182.tif 000014
【図１３】
2018168182.tif 000015
【国際調査報告】
2018168182.tif 000016
2018168182.tif 000017