(57)【要約】      （修正有）【課題】対象物の位置を精度良く算出する情報処理装置を提供する。【解決手段】取得部４２と、検出部４４と、推定部（決定部）４６と、変換部４８とを備える。取得部は、第１面上の対象物を撮像した撮像画像を取得する。出力部５０は、対象物の存在を表す対象物情報を付加した、仮想移動面を表す出力画像を出力し、出力画像における対象物の位置に対応する座標に対象物情報を付加する。検出部は、撮像画像における対象物の位置およびサイズを検出する。決定部は、撮像画像における対象物の位置およびサイズに基づき、撮像画像における対象物の位置と前記第１面を所定方向から見た仮想面における対象物の位置との間の関係を表す対応関係を決定する。変換部は、対応関係に基づき、撮像画像における対象物の位置を仮想面における対象物の位置に変換する。そして、出力部は、出力画像を表示装置２４に供給して出力画像を表示させる。【選択図】図３
2018046501.tif 000002
【特許請求の範囲】
【請求項１】
第１面上の対象物を撮像した撮像画像を取得する取得部と、
前記撮像画像における前記対象物の位置およびサイズを検出する検出部と、
前記撮像画像における前記対象物の位置およびサイズに基づき、前記撮像画像における前記対象物の位置と前記第１面を所定方向から見た仮想面における前記対象物の位置との間の関係を表す対応関係を決定する決定部と、
前記対応関係に基づき、前記撮像画像における前記対象物の位置を、前記仮想面における前記対象物の位置に変換する変換部と、
を備える情報処理装置。
【請求項２】
前記対象物の存在を表す対象物情報を付加した、前記仮想面を表す出力画像を出力する出力部をさらに備え、
前記出力部は、前記出力画像における前記対象物の位置に対応する座標に、前記対象物情報を付加する
請求項１に記載の情報処理装置。
【請求項３】
前記決定部は、前記撮像画像における位置が異なる複数の前記対象物の検出結果に基づき、前記対応関係を決定する
請求項２に記載の情報処理装置。
【請求項４】
前記決定部は、前記対応関係として、前記対象物のサイズと、前記撮像画像における前記対象物の位置との関係を決定する
請求項３に記載の情報処理装置。
【請求項５】
前記決定部は、前記対象物のサイズを目的変数、前記撮像画像における前記対象物の位置を説明変数とした回帰式を決定する
請求項４に記載の情報処理装置。
【請求項６】
前記変換部は、
前記回帰式と前記撮像画像に含まれる前記対象物の位置とに基づき、前記対象物のサイズを算出するサイズ算出部と、
前記対象物のサイズに基づき、前記撮像画像を撮像した撮像装置から前記対象物までの距離を算出する距離算出部と、
前記撮像画像を撮像した撮像装置の光軸に対する前記対象物の角度を算出する角度算出部と、
前記角度および前記距離に基づき、前記仮想面における前記対象物の位置を算出する位置算出部と、
を有する
請求項５に記載の情報処理装置。
【請求項７】
前記検出部は、
それぞれの検出位置において前記対象物を検出するサーチ部と、
前記対象物のサイズと前記撮像画像における前記対象物の位置との関係を表す前記対応関係を前記決定部から取得する関係取得部と、
前記サーチ部が検出する前記対象物のサイズを、前記検出位置および前記対応関係に基づき定まるサイズに変更するサイズ変更部と、
を有する請求項４から６の何れか１項に記載の情報処理装置。
【請求項８】
前記決定部は、複数の前記対象物の検出結果に基づき、前記撮像画像における前記対象物が存在すると推定される存在領域を決定し、
前記検出部は、
前記存在領域を前記決定部から予め取得する存在領域取得部と、
検出処理を実行させる範囲として、前記存在領域を前記サーチ部に設定する範囲設定部と、
を有し、
前記サーチ部は、前記検出位置を前記存在領域で移動させる
請求項７に記載の情報処理装置。
【請求項９】
前記決定部は、前記撮像画像を複数に分割した分割領域毎に前記対応関係を決定し、
前記変換部は、前記対象物を含む前記分割領域を特定し、特定した前記分割領域について決定された前記対応関係に基づき、前記仮想面における前記対象物の位置を算出する
請求項２から８の何れか１項に記載の情報処理装置。
【請求項１０】
前記出力部は、前記対象物情報として、アイコンを前記出力画像に付加する
請求項２から９の何れか１項に記載の情報処理装置。
【請求項１１】
前記出力部は、
前記仮想面を複数の領域に分割した複数の検出領域のそれぞれについて、存在する前記対象物の数を集計し、
前記出力画像における、それぞれの前記検出領域に対応する座標に、前記対象物情報として、含まれる前記対象物の数を表す情報を付加する
請求項２から９の何れか１項に記載の情報処理装置。
【請求項１２】
前記対象物の数を表す情報は、数字、色、輝度、アイコン、透明度、文字または記号である
請求項１１に記載の情報処理装置。
【請求項１３】
前記出力部は、
視野範囲から外れた領域に存在する前記対象物の位置を、過去の前記撮像画像から検出された前記対象物の位置および移動情報に基づき決定し、
決定した位置に前記対象物情報を付加する
請求項２から１２の何れか１項に記載の情報処理装置。
【請求項１４】
前記取得部と、前記検出部と、前記決定部と、前記変換部とをそれぞれが有する複数の対象物検出部と、
前記出力部とを備え、
複数の前記対象物検出部のそれぞれは、
互いに異なる視点から撮像した前記撮像画像を取得し、
互いに共通の前記仮想面における前記対象物の位置を出力し、
前記出力部は、
前記出力画像における、それぞれの前記対象物検出部が出力した前記対象物の位置に対応する座標に、前記対象物情報を付加する
請求項２から１３の何れか１項に記載の情報処理装置。
【請求項１５】
前記仮想面における指定領域に前記対象物が移動した場合、前記指定領域に前記対象物が移動した旨を示す情報を出力する通知部をさらに備える
請求項２から１４の何れか１項に記載の情報処理装置。
【請求項１６】
前記仮想面は、鉛直方向から見た前記第１面を平面的に表す地図情報である
請求項２から１５の何れか１項に記載の情報処理装置。
【請求項１７】
前記仮想面は、鉛直方向以外の所定角度から見た前記第１面を立体的に表す地図情報であり、
前記対象物情報は、前記所定角度から見た前記対象物を立体的に表すアイコンである
請求項２から１５の何れか１項に記載の情報処理装置。
【請求項１８】
請求項２から１７の何れか１項に記載の情報処理装置と、
前記撮像画像を入力する入力装置と、
前記出力画像を表示する表示装置と、
を備える検出システム。
【請求項１９】
前記撮像画像を撮像する撮像装置をさらに備える請求項１８に記載の検出システム。
【請求項２０】
情報処理装置が実行する情報処理方法であって、
前記情報処理装置が、
第１面上の対象物を撮像した撮像画像を取得し、
前記撮像画像における前記対象物の位置およびサイズを検出し、
前記撮像画像における前記対象物の位置およびサイズに基づき、前記撮像画像における前記対象物の位置と前記第１面を所定方向から見た仮想面における前記対象物の位置との間の関係を表す対応関係を決定し、
前記対応関係に基づき、前記撮像画像における前記対象物の位置を、前記仮想面における前記対象物の位置に変換する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置、検出システムおよび情報処理方法に関する。
【背景技術】
【０００２】
駅の通路またはビルのフロア等を通行する人物を監視する監視カメラシステムが知られている。このような監視カメラシステムでは、天井等に取り付けら撮像装置から人物を撮像する。
【０００３】
また、このような監視カメラシステムでは、撮像した画像を表示するのみならず、人物の位置および数を監視することが望まれる。この場合、監視カメラシステムは、撮像装置が撮像した画像から、トップビューにおける人物の位置を算出しなければならない。
【０００４】
しかしながら、監視カメラシステムに用いられる撮像装置は、床面に対して所定の俯角で人物を撮像する。従って、監視カメラシステムは、撮像装置が撮像した画像から、人物の位置を精度良く算出することは困難であった。また、床面に対して所定の俯角で人物を撮像した場合、撮像装置からの距離に応じて、画像内における人物の大きさが異なる。従って、監視カメラシステムは、様々な大きさの人物を検出しなければならなく、非常に大きな演算コストが必要であった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２１１５３４号公報
【特許文献２】特開２００７−２６５１５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
発明が解決しようとする課題は、対象物の位置を精度良く算出することにある。
【課題を解決するための手段】
【０００７】
実施形態に係る情報処理装置は、取得部と、検出部と、決定部と、変換部とを備える。前記取得部は、第１面上の対象物を撮像した撮像画像を取得する。前記検出部は、前記撮像画像における前記対象物の位置およびサイズを検出する。前記決定部は、前記撮像画像における前記対象物の位置およびサイズに基づき、前記撮像画像における前記対象物の位置と前記第１面を所定方向から見た仮想面における前記対象物の位置との間の関係を表す対応関係を決定する。前記変換部は、前記対応関係に基づき、前記撮像画像における前記対象物の位置を、前記仮想面における前記対象物の位置に変換する。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る検出システムを示す図。
【図２】対象物が移動する移動面と撮像装置との位置関係を示す図。
【図３】第１実施形態に係る処理回路の機能構成を示す図。
【図４】対象物を含む撮像画像の一例を示す図。
【図５】撮像画像における対象物の位置およびサイズの一例を示す図。
【図６】対象物の位置と、撮像画像における対象物の画角等の関係を示す図。
【図７】撮像画像における対象物の座標と、サイズとの関係を示す図。
【図８】変換部の機能構成の一例を示す図。
【図９】第１実施形態に係る出力画像の一例を示す図。
【図１０】検出システムの処理の流れを示すフローチャート。
【図１１】第２実施形態に係る検出部の機能構成を示す図。
【図１２】検出部により検出される対象物の検出サイズを示す図。
【図１３】空白領域を示した撮像画像の一例を示す図。
【図１４】撮像画像を複数に分割した分割領域を示す図。
【図１５】対象物の移動方向を付加した出力画像の一例を示す図。
【図１６】推定不存在領域を付加した出力画像の一例を示す図。
【図１７】視野範囲から外れた対象物情報を付加した出力画像の一例を示す図。
【図１８】存在不可能領域を付加した出力画像の一例を示す図。
【図１９】第５実施形態に係る出力画像の一例を示す図。
【図２０】撮像装置側が小さくなるように分割された検出領域を示す図。
【図２１】存在不可能領域の境界に一致させた検出領域を示す図。
【図２２】対象物の数を輝度で表した出力画像の一例を示す図。
【図２３】第６実施形態に係る処理回路の機能構成を示す図。
【図２４】第６実施形態に係る出力画像の一例を示す図。
【図２５】視野範囲が重複した領域および視野範囲外の領域を示す図。
【図２６】第７実施形態に係る処理回路の機能構成を示す図。
【図２７】第７実施形態に係る出力画像の一例を示す図。
【図２８】第８実施形態に係る出力画像の一例を示す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら本実施形態に係る検出システム１０について説明する。なお、以下の実施形態では、同一の参照符号を付した部分は略同一の構成および動作をするので、相違点を除き重複する説明を適宜省略する。
【００１０】
（第１実施形態）
図１は、実施形態に係る検出システム１０を示す図である。検出システム１０は、移動面を移動する対象物を固定の視点から撮像した撮像画像に基づき、所定方向から見た移動面（第１面、例えば床面）を表す仮想移動面（仮想面、例えばトップビューで表された移動面またはクォータービューで表された移動面）における対象物の位置を、精度良く算出することを目的とする。
【００１１】
なお、本実施形態において、対象物は、人物である。また、移動面は、人物が移動する床面または道路等である。なお、対象物は、人物に限らず、車両等の他の移動体であってもよい。
【００１２】
検出システム１０は、撮像装置１２と、情報処理装置２０と、入力装置２２と、表示装置２４とを備える。
【００１３】
撮像装置１２は、対象物が移動する所定空間を撮像可能な位置に、固定して配置される。撮像装置１２は、固定された位置から所定空間を撮像する。撮像装置１２は、所定のフレームレートで画像を撮像し、撮像して得られたそれぞれの画像を情報処理装置２０に与える。撮像装置１２が撮像した画像は、可視光画像または赤外線画像等の種々の画像であってよい。
【００１４】
情報処理装置２０は、例えば、専用または汎用コンピュータである。情報処理装置２０は、ＰＣ、あるいは、情報を保存および管理するサーバに含まれるコンピュータであってもよい。情報処理装置２０は、例えば、専用または汎用コンピュータである。情報処理装置２０は、ＰＣ、あるいは、画像を保存および管理するサーバに含まれるコンピュータであってもよい。
【００１５】
情報処理装置２０は、処理回路３２と、記憶回路３４と、通信部３６とを有する。処理回路３２、記憶回路３４および通信部３６は、バスを介して接続される。また、情報処理装置２０は、例えば、バスを介して、撮像装置１２、入力装置２２および表示装置２４と接続される。
【００１６】
処理回路３２は、プログラムを記憶回路３４から読み出して実行することにより、プログラムに対応する機能を実現するプロセッサである。プログラムを読み出した状態の処理回路３２は、図１の処理回路３２内に示された各部を含む。すなわち、処理回路３２は、プログラムを実行することにより、取得部４２と、検出部４４と、推定部４６（決定部）と、変換部４８と、出力部５０として機能する。これらの各部の詳細は、後述する。
【００１７】
処理回路３２は、単一のプロセッサにより構成されてもよいし、複数の独立したプロセッサにより構成されてもよい。また、処理回路３２は、特定の機能が、専用の独立したプログラム実行回路がプログラムを実行することにより実現されてもよい。
【００１８】
また、「プロセッサ」という文言は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ：ＣＰＬＤ）およびフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ：ＦＰＧＡ））等の回路を意味する。プロセッサは、記憶回路３４に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路３４にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
【００１９】
記憶回路３４には、処理回路３２を、取得部４２、検出部４４、推定部４６、変換部４８および出力部５０として機能させるためのプログラムが記憶されている。記憶回路３４は、処理回路３２が行う各処理機能に伴うデータ等を必要に応じて記憶する。
【００２０】
また、記憶回路３４は、対象物の位置の算出に用いられる対応関係を記憶する。さらに、記憶回路３４は、撮像装置１２により撮像された撮像画像を記憶する。また、記憶回路３４は、対象物の位置の算出に用いられる各種の設定値、および、ユーザインターフェース画像等を記憶する。
【００２１】
例えば、記憶回路３４は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。また、記憶回路３４が行う処理は、情報処理装置２０の外部の記憶装置で代替されてもよい。記憶回路３４は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記憶媒体であってもよい。また、記憶媒体は１つに限られず、複数の媒体から、上述した実施形態における処理が実行される場合も、実施形態における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。
【００２２】
通信部３６は、有線または無線で接続された外部装置と情報の入出力を行うインターフェースである。通信部３６は、ネットワークに接続して通信を行ってもよい。
【００２３】
入力装置２２は、ユーザからの各種指示や情報入力を受け付ける。入力装置２２は、例えば、マウスまたはトラックボール等のポインティングデバイス、あるいはキーボード等の入力デバイスである。
【００２４】
表示装置２４は、画像データ等の各種の情報を表示する。表示装置２４は、例えば、液晶表示器等の表示デバイスである。
【００２５】
図２は、対象物が移動する移動面３０と撮像装置１２との位置関係を示す図である。対象物は、移動面３０の上を移動する。対象物は、一時的に、移動面３０上において停止していてもよい。例えば、対象物が人物である場合、移動面３０は、道路またはビルのフロア等である。
【００２６】
移動面３０は、例えば平面である。移動面３０は、一部に坂または階段等を含んでいてもよい。また、移動面３０は、全体が斜めに傾いていてもよい。
【００２７】
撮像装置１２は、移動面３０を移動する対象物を、上方から所定の角度（俯角θ）で撮像する。例えば、対象物が人物である場合、撮像装置１２は、駅またはビルのフロア等の移動面３０を所定の俯角で撮像する。撮像装置１２は、固定されている。
【００２８】
また、対象物は、撮像装置１２の撮像範囲（画角）に対して、大きさの個体差が比較的に小さい。例えば、対象物が人物であれば、対象物の大きさは、１ｍから２ｍ程度の範囲の大きさである。
【００２９】
図３は、第１実施形態に係る処理回路３２の機能構成を示す図である。処理回路３２は、取得部４２と、検出部４４と、推定部４６と、変換部４８と、出力部５０とを有する。
【００３０】
取得部４２は、移動面３０を移動する対象物を、撮像装置１２が固定された視点から撮像した撮像画像を取得する。例えば、取得部４２は、撮像装置１２から撮像画像を取得する。記憶回路３４が撮像装置１２により撮像された撮像画像を記憶している場合、取得部４２は、記憶回路３４から撮像画像を取得してもよい。
【００３１】
検出部４４は、取得部４２が取得したそれぞれの撮像画像について、撮像画像に含まれる対象物を検出する。そして、検出部４４は、検出したそれぞれの対象物について、撮像画像における対象物の座標（撮像画像における対象物の位置）およびサイズを検出する。なお、検出部４４による対象物の検出処理のさらなる詳細については、図５等を参照して後述する。
【００３２】
推定部４６は、検出部４４により検出された撮像画像における対象物の座標およびサイズに基づき、対応関係を決定する。対応関係は、撮像画像における対象物の座標と、所定方向から見た移動面３０を表す仮想移動面における対象物の位置との間の関係を表す情報である。
【００３３】
例えば、仮想移動面は、鉛直方向から見た移動面３０を平面的に表す地図情報（トップビューの地図情報）であってよい。また、例えば、仮想移動面は、鉛直方向以外の所定方向から見た移動面３０を立体的に表す地図情報（クォータービューの地図情報）であってもよい。
【００３４】
対応関係は、例えば、数式で表されてもよいし、テーブル等により表されてもよい。なお、推定部４６による推定処理のさらなる詳細については、図６および図７等を参照して後述する。
【００３５】
変換部４８は、推定部４６により推定された対応関係を取得する。そして、変換部４８は、取得した対応関係に基づき、検出部４４により検出された撮像画像における対象物の座標を、仮想移動面における対象物の位置に変換する。
【００３６】
例えば、仮想移動面が移動面３０のトップビューである場合、変換部４８は、撮像画像における対象物の座標を、移動面３０のトップビューにおける位置に変換する。この場合、変換部４８は、対応関係が変換式であれば、変換式を用いて演算を行って、撮像画像における座標を、トップビューにおける位置に変換する。また、変換部４８は、対応関係がテーブルであれば、テーブルを参照して、撮像画像における座標を、トップビューにおける位置に変換する。なお、変換部４８の構成の一例については、図８等を参照して後述する。
【００３７】
出力部５０は、対象物の存在を表す対象物情報を付加した、仮想移動面を表す出力画像を出力する。さらに、出力部５０は、出力画像における対象物の位置に対応する座標に、対象物情報を付加する。そして、出力部５０は、出力画像を表示装置２４に供給して、表示装置２４に出力画像を表示させる。
【００３８】
例えば、出力画像は、移動面３０のトップビューの地図情報を平面的に表す画像であってよい。この場合、出力部５０は、出力画像における対象物の位置に対応する座標に対象物情報を付加する。
【００３９】
対象物情報は、対象物を表すアイコンであってよい。例えば、出力部５０は、対象物が人物である場合、人物を表すアイコンを、出力画像における人物の位置に対応する座標に付加してもよい。これにより出力部５０は、対象物が地図におけるどこに存在するのかを直感的に認識させることができる。
【００４０】
なお、推定部４６は、検出部４４が１枚の撮像画像から対象物の位置および座標を検出する毎に、対応関係を推定してもよい。この場合において、推定部４６は、過去に検出された対象物の位置および座標も用いて対応関係を推定してもよい。また、推定部４６は、一定数以上の対象物の位置および座標を用いて対応関係を推定した結果、対応関係の精度が一定以上高くなった場合には、対応関係の推定処理を終了してもよい。これにより、処理回路３２は、以後の演算コストを小さくすることができる。
【００４１】
また、変換部４８が対応関係の推定処理を終了した場合には、変換部４８は、最終的に算出された対応関係を用いて、以後の処理を実行する。また、変換部４８が対応関係の推定処理を終了した場合には、検出部４４は、対象物のサイズを出力しなくてよい。また、処理回路３２は、キャリブレーションにおいて、推定部４６を動作させて対応関係の推定処理を実行し、実運用時には、推定部４６を動作させなくてもよい。
【００４２】
図４は、対象物を含む撮像画像の一例を示す図である。取得部４２は、例えば、図４に示すような、人物を対象物として含む撮像画像を取得する。
【００４３】
図５は、撮像画像における対象物の位置およびサイズの一例を示す図である。検出部４４は、取得部４２が取得したそれぞれの撮像画像を解析し、撮像画像における対象物の座標およびサイズを検出する。
【００４４】
例えば、対象物が人物である場合、検出部４４は、人物の顔、頭部、上半身、全身または予め定められた身体の部位を検出してよい。図５の例においては、検出部４４は、頭部と上半身の上部とを含む部位を、矩形の検出窓を用いて検出している。
【００４５】
そして、検出部４４は、検出した対象物について、撮像画像における座標を検出する。例えば、検出部４４は、矩形の検出窓の所定位置の角または中心の、撮像画像における座標を検出してよい。
【００４６】
なお、図５の例においては、撮像画像の水平方向の座標をｘ、撮像画像の高さ方向の座標をｙとしている。以後の図の撮像画像も同様である。そして、図５の例においては、検出部４４は、第１の対象物の座標として（ｘ１，ｙ１）を検出し、第２の対象物の座標として（ｘ２，ｙ２）を検出し、第３の対象物の座標として（ｘ３，ｙ３）を検出している。
【００４７】
さらに、検出部４４は、検出した対象物において、撮像画像中におけるサイズを検出する。サイズは、撮像画像に含まれる対象物の所定の部位の２点間の距離である。例えば、対象物が人物である場合、サイズは、頭部、上半身または全身の縦方向の長さ、または、横幅であってもよい。また、サイズは、両目の間の長さであってもよい。例えば、図５の例においては、検出部４４は、頭部と上半身の上部とを含む部位を検出するための矩形の検出窓の高さ方向の長さを、サイズとして検出している。そして、図５の例においては、検出部４４は、第１の対象物のサイズとしてｓ１を検出し、第２の対象物の座標としてｓ２を検出し、第３の対象物の座標としてｓ３を検出している。なお、検出部４４は、矩形の検出窓を用いて対象物を検出する場合には、検出窓の横幅または対角線の長さをサイズとして検出してもよい。
【００４８】
また、検出部４４は、過検出の除去処理をして、対象物を検出してもよい。過検出とは、対象物以外の領域を対象物として検出してしまう処理である。検出部４４は、例えば、検出尤度の閾値を制御する処理、および、背景との差分を検出して動いていない部分を除いて対象物を検出する処理等をしてもよい。さらに、検出部４４は、画像上の位置および大きさが近似する対象物を結合して１つにする処理等を実行してもよい。
【００４９】
図６は、空間内における対象物の位置と、撮像画像における対象物の画角および位置との関係を示す図である。検出システム１０では、撮像装置１２が固定して配置され、対象物が固定の移動面３０の上を移動する。また、対象物は、個体に関わらず、略同一の大きさである。
【００５０】
ここで、移動面３０に射影した撮像装置１２の位置から、対象物までの距離をｄとする。また、撮像画像に占める対象物の画角を、αとする。この場合、ｄが長くなるほど、αは、小さくなる。つまり、対象物が撮像装置１２から遠くなるほど、撮像画像に占める対象物のサイズは小さくなる。
【００５１】
例えば、図６に示すように、距離がｄ１の場合の対象物の画角がα１であり、距離がｄ２の場合の対象物の画角がα２であり、距離がｄ３の場合の対象物の画角がα３であったとする。この場合、ｄ１＜ｄ２＜ｄ３であれば、α１＞α２＞α３という関係となる。
【００５２】
さらに、撮像画像における対象物の高さ方向の座標をｙとする。この場合、ｄが長くなるほど、ｙは、大きくなる。つまり、対象物が撮像装置１２から遠くなるほど、対象物は、撮像画像における上側に位置する。
【００５３】
例えば、図６に示すように、距離がｄ１の場合の対象物の撮像画像におけるｙ座標がｙ１であり、距離がｄ２の場合の対象物の撮像画像におけるｙ座標がｙ２であり、距離がｄ３の場合の対象物の撮像画像におけるｙ座標がｙ３であったとする。ｙ座標は、下側（移動面３０側）が小さい値である。この場合、ｄ１＜ｄ２＜ｄ３であれば、ｙ１＜ｙ２＜ｙ３という関係となる。
【００５４】
以上のように、検出システム１０では、撮像装置１２から対象物までの距離ｄと、撮像画像に占める対象物の画角との間には相関が存在する。さらに、検出システム１０では、撮像装置１２から対象物までの距離ｄと、撮像画像における対象物の座標との間には相関が存在する。
【００５５】
さらに、撮像画像に占める対象物の画角は、撮像画像に占める対象物のサイズを表す。このことから、検出システム１０では、撮像画像における対象物の座標と、対象物のサイズとの間には相関が存在する。
【００５６】
図７は、撮像画像における対象物の座標と、サイズとの関係を示す図である。推定部４６は、撮像画像に含まれる対象物の座標と、対象物のサイズとの検出結果に基づき、対象物のサイズと撮像画像における対象物の座標との間の対応関係を推定する。
【００５７】
例えば、推定部４６は、対象物のサイズと撮像画像における対象物の座標との間の相関を表す回帰式を推定する。より具体的には、推定部４６は、対象物のサイズを目的変数、撮像画像における対象物の座標を説明変数とした、下記の式（１）により示される回帰式を推定する。
【００５８】
ｓ＝（ａ×ｙ）＋ｂ…（１）
なお、ｓは、対象物のサイズ、ｙは、撮像画像における対象物の縦方向の座標、ａ、ｂは定数を表す。
【００５９】
推定部４６は、サイズが異なる少なくとも２以上の対象物の検出結果に基づき、回帰式の定数であるａおよびｂを推定する。例えば、推定部４６は、最小二乗法、主成分分析またはＲＡＮＳＡＣ（Random  Sample  Consensus）等の手法により、ａおよびｂを推定する。
【００６０】
なお、推定部４６は、座標が異なる少なくとも２個の対象物の検出結果を取得できれば、対応関係（例えば回帰式）を推定することができる。推定部４６は、異なる時刻に撮像された２以上の撮像画像に含まれる少なくとも２個の対象物の検出結果に基づき、対応関係（例えば回帰式）を推定してもよい。また、推定部４６は、１個の撮像画像に含まれる少なくとも２個の対象物の検出結果に基づき、対応関係（例えば回帰式）を推定してもよい。また、推定部４６は、過去の検出結果を累積し、累積した検出結果に基づき回帰式を推定してもよい。
【００６１】
なお、対象物を含まない撮像画像を取得した場合、または、これまでと同一の座標およびサイズの対象物を取得した場合には、推定部４６は、回帰式の推定処理をスキップしてもよい。
【００６２】
また、例えば、推定部４６は、下記の式（２）により示される回帰式を推定してもよい。
【００６３】
ｓ＝（ａ×ｘ）＋（ｂ×ｙ）＋ｃ…（２）
なお、ｘは撮像画像における対象物の水平方向の座標、ｃは定数を表す。
【００６４】
このように水平方向の座標を含めた回帰式を推定することにより、推定部４６は、例えば、撮像装置１２にロール方向の傾きが存在する場合にも、対応物のサイズと、撮像画像における対象物の座標との間の相関を精度良く推定することができる。
【００６５】
推定部４６は、撮像画像における対象物の座標を、所定方向から見た移動面３０を表す仮想移動面における対象物の位置に変換するための対応関係として、式（１）または式（２）で示したような回帰式を推定する。そして、推定部４６は、推定した対応関係である回帰式を、変換部４８に与える。
【００６６】
図８は、変換部４８の機能構成の一例を示す図である。推定部４６が、対象物のサイズを目的変数、撮像画像における対象物の座標を説明変数とした回帰式を推定する場合、変換部４８は、図８のような構成を有してよい。すなわち、変換部４８は、対応関係取得部６０と、サイズ算出部６２と、距離算出部６４と、角度算出部６６と、位置算出部６８とを有する。
【００６７】
対応関係取得部６０は、推定部４６により推定された回帰式を取得する。例えば、対応関係取得部６０は、式（１）または式（２）に示された回帰式を取得する。
【００６８】
サイズ算出部６２は、撮像画像に含まれる対象物の座標を取得する。そして、サイズ算出部６２は、推定された回帰式に基づき、撮像画像に含まれる対象物の座標から、対象物のサイズを算出する。例えば、回帰式が式（１）で表される場合には、サイズ算出部６２は、対象物の高さ方向の座標ｙから、対象物のサイズｓを算出する。また、例えば、回帰式が式（２）で表される場合には、サイズ算出部６２は、対象物の水平方向の座標ｘおよび対象物の高さ方向の座標ｙから、対象物のサイズｓを算出する。
【００６９】
距離算出部６４は、サイズ算出部６２により算出された対象物のサイズから、第１視点（撮像装置１２の位置）から対象物までの距離を算出する。例えば、距離算出部６４は、下記の式（３）により、第１視点から対象物までの距離を算出する。
ｄ＝（ｈ×ｆ）／ｓ…（３）
【００７０】
なお、ｄは、第１視点（撮像装置１２の位置）から対象物までの距離を表す。ｈは、対象物のサイズの実世界での大きさを表す。ｆは、撮像装置１２の焦点距離を表す。
【００７１】
距離算出部６４には、ｈおよびｆがユーザ等により予め設定されている。ｈおよびｆは、出力画像上での対象物の相対的な位置関係が特定できればよいので、必ずしも精度の良い値でなくてもよい。例えば、上半身検出をする場合、距離算出部６４には、ｈとして０．５ｍが設定されてもよい。また、例えば、顔検出をする場合、距離算出部６４には、ｈとして０．１５ｍが設定されてもよい。距離算出部６４は、算出した距離を位置算出部６８に与える。
【００７２】
角度算出部６６は、撮像画像に含まれる対象物の水平方向の座標を取得する。角度算出部６６は、撮像画像に含まれる対象物の水平方向の座標から、撮像画像を撮像した撮像装置１２の光軸に対する対象物の水平方向の角度を算出する。
【００７３】
例えば、角度算出部６６は、下記の式（４）により、撮像装置１２の光軸に対する対象物の水平方向の角度を算出する。
【００７４】
β＝｛（ｘ−（ｗ／２））／（ｗ／２）｝×（γ／２）…（４）
なお、βは、撮像装置１２の光軸に対する対象物の水平方向の角度を表す。ｗは、撮像画像の水平方向のサイズを表す。γは、撮像画像の画角を表す。
【００７５】
角度算出部６６には、ｗおよびγがユーザ等により予め設定されている。ｗおよびγは、出力画像上での対象物の相対的な位置関係が特定できればよいので、必ずしも精度の良い値でなくてもよい。例えば、角度算出部６６には、γとして、一般的なカメラ画角である４５°が設定されていてもよい。また、“普通”、“狭い”または“広い”等の複数の画角をユーザが選択可能であってもよい。例えば、角度算出部６６は、“普通”が選択された場合、γに４５°が設定され、“狭い”が選択された場合、γに３０°が設定され、“広い”が選択された場合、γに９０°が設定されてもよい。角度算出部６６には、算出した角度を位置算出部６８に与える。
【００７６】
位置算出部６８は、第１視点（撮像装置１２の位置）から対象物までの距離と、撮像装置１２の光軸に対する対象物の水平方向の角度とに基づき、仮想移動面における対象物の位置を算出する。例えば、位置算出部６８は、仮想移動面が移動面３０を鉛直方向から見たトップビューを表す情報である場合、下記の式（５）および式（６）に基づき、仮想移動面における対象物の位置を算出する。
【００７７】
ｔｘ＝ｄ×ｃｏｓ（β）…（５）
ｔｙ＝ｄ×ｓｉｎ（β）…（６）
なお、ｔｙは、仮想移動面における、撮像装置１２の光軸の投射方向（ｙ方向）の位置を表す。ｔｘは、仮想移動面における、撮像装置１２の光軸の投射方向に直交する方向（ｘ方向）の位置を表す。
【００７８】
また、式（５）および式（６）は、仮想移動面における第１視点（撮像装置１２）の射影位置が、基準位置（（ｔｘ，ｔｙ）＝０）となる。位置算出部６８は、第１視点以外の点を基準位置とする場合には、式（５）および式（６）により算出された座標を平行移動すればよい。
【００７９】
図９は、第１実施形態に係る検出システム１０から出力された出力画像の一例を示す図である。出力部５０は、仮想移動面を表す出力画像を出力する。例えば、出力部５０は、出力画像を表示装置２４に表示させる。
【００８０】
仮想移動面は、所定方向から見た移動面３０を表す情報である。本実施形態においては、仮想移動面は、鉛直方向から見た移動面３０を平面的に表すトップビューの地図情報である。
【００８１】
出力部５０は、このような仮想移動面（例えば、地図情報）を表す出力画像に、対象物の存在を表す対象物情報を付加する。具体的には、出力部５０は、出力画像における対象物の位置に対応する座標に、対象物情報を付加する。
【００８２】
例えば、出力部５０は、対象物情報として、アイコンを出力画像に付加する。例えば、図９に示すように、出力部５０は、第１出力画像２１０に、対象物である人物の存在を表す丸印の対象物アイコン２１２を付加する。この場合において、出力部５０は、第１出力画像２１０における、変換部４８が出力した対象物の位置に対応する座標に、対象物アイコン２１２が付加する。
【００８３】
なお、出力部５０は、対象物の存在を表す対象物情報として、アイコン以外の情報を出力画像に付加してもよい。例えば、出力部５０は、対象物情報として、記号、文字または数字等を付加してもよい。また、出力部５０は、対象物情報として、周囲と異なる輝度値、色または透明度とした情報を付加してもよい。
【００８４】
図１０は、検出システム１０の処理の流れを示すフローチャートである。検出システム１０は、図１０に示すフローチャートの流れで処理を実行する。
【００８５】
まず、検出システム１０は、移動面３０を移動する対象物を固定された視点から撮像した撮像画像を取得する（Ｓ１１１）。続いて、検出システム１０は、取得した撮像画像に含まれる対象物を検出する（Ｓ１１２）。さらに、検出システム１０は、検出したそれぞれの対象物について、撮像画像における対象物の座標およびサイズを検出する。なお、検出システム１０は、Ｓ１１２で撮像画像に含まれる対象物が検出できなかった場合には、処理をＳ１１１に戻して、次の撮像画像について処理を進める。
【００８６】
続いて、検出システム１０は、検出された撮像画像における対象物の座標およびサイズに基づき、対応関係を推定する（Ｓ１１３）。対応関係は、撮像画像における対象物の座標を、仮想移動面における対象物の位置に変換するための関係である。なお、検出システム１０は、過去に検出された対象物の座標およびサイズをも用いて、対応関係を推定してもよい。
【００８７】
続いて、検出システム１０は、撮像画像に含まれるそれぞれの対象物について、変換処理を行う（Ｓ１１４、Ｓ１１５、Ｓ１１６）。具体的には、検出システム１０は、推定された対応関係に基づき、検出された撮像画像における対象物の座標を、仮想移動面における対象物の位置に変換する。
【００８８】
続いて、検出システム１０は、対象物の存在を表す対象物情報を付加した出力画像を生成する（Ｓ１１７）。具体的には、出力部５０は、仮想移動面（例えば、地図情報）を表す出力画像における、対象物の位置に対応する座標に、アイコン等の対象物情報を付加する。
【００８９】
続いて、検出システム１０は、生成した出力画像を表示する（Ｓ１１８）。続いて、検出システム１０は、処理が終了したか否かを判断する（Ｓ１１９）。終了していない場合（Ｓ１１９のＮｏ）、検出システム１０は、処理をＳ１１１に戻して、次の撮像画像について処理を進める。終了した場合（Ｓ１１９のＹｅｓ）、検出システム１０は、本フローを終了する。
【００９０】
以上のように、本実施形態に係る検出システム１０は、移動面３０を移動する対象物を固定の視点から撮像した撮像画像に基づき、所定方向から見た移動面３０を表す仮想移動面における対象物の位置を、精度良く算出することができる。さらに、本実施形態に係る検出システム１０は、仮想移動面を表す出力画像における、対応する対象物の位置に、対象物の存在を表す情報を付加することができる。これにより、本実施形態に係る検出システム１０によれば、対象物の位置をユーザに容易に認識させることができる。
【００９１】
（第２実施形態）
図１１は、第２実施形態に係る検出部４４の機能構成を示す図である。
【００９２】
本実施形態に係る推定部４６は、対象物のサイズと、撮像画像における対象物の座標との関係を表す回帰式を推定する。さらに、推定部４６は、複数の対象物の検出結果に基づき、撮像画像における対象物が存在しえる存在領域と、撮像画像における対象物が存在しない空白領域とを推定する。例えば、推定部４６は、撮像画像と同一の座標空間に、対象物が検出された位置をマッピングし、マッピングした結果を解析して、対象物が存在する存在領域と、対象物が存在しない空白領域とを推定する。
【００９３】
本実施形態に係る検出部４４は、関係取得部７０と、存在領域取得部７２と、サーチ部７４と、サイズ変更部７６と、範囲設定部７８とを含む。
【００９４】
関係取得部７０は、対象物のサイズと撮像画像における対象物の座標との対応を示す対応関係を、推定部４６から予め取得する。例えば、関係取得部７０は、推定部４６により推定された回帰式を予め取得する。存在領域取得部７２は、推定部４６により推定された存在領域を予め取得する。
【００９５】
サーチ部７４は、取得部４２から撮像画像を取得する。サーチ部７４は、撮像画像における検出座標を移動させながら、それぞれの検出座標において対象物を検出する。例えば、サーチ部７４は、撮像画像をラスタスキャンしながら、対象物を検出する。サーチ部７４は、対象物を検出した場合、検出した対象物の座標を変換部４８に与える。
【００９６】
サイズ変更部７６は、検出座標の移動に応じて、サーチ部７４が検出する対象物のサイズを変更する。サイズ変更部７６は、サーチ部７４が検出する対象物のサイズを、検出座標および対応関係に基づき定まるサイズに変更する。例えば、サイズ変更部７６は、検出座標に対応する対象物のサイズを回帰式に基づき算出し、算出したサイズをサーチ部７４に設定する。そして、サーチ部７４は、検出座標毎に、設定されたサイズの対象物を検出する。
【００９７】
範囲設定部７８は、存在領域を、検出処理を実行させる範囲としてサーチ部７４に設定する。そして、サーチ部７４は、設定された範囲内をサーチして対象物を検出する。
【００９８】
図１２は、検出部４４により検出される対象物の検出サイズを示す図である。例えば、サーチ部７４は、対象物を検出するための矩形の第１検出窓２２０の座標を移動させながら、それぞれの座標において第１検出窓２２０内の画像を解析して対象物を検出する。これにより、サーチ部７４は、第１検出窓２２０のサイズと同等の対象物を検出することができる。
【００９９】
ここで、サーチ部７４は、サイズ変更部７６による制御に応じて第１検出窓２２０の大きさを変更する。サイズ変更部７６は、第１検出窓２２０の座標を回帰式に代入して対象物のサイズを算出し、第１検出窓２２０の大きさを算出した対象物のサイズに設定する。これにより、サーチ部７４は、それぞれの座標において全ての大きさの対象物を検出しなくてよいので、少ない演算コストで対象物を検出することができる。
【０１００】
なお、サーチ部７４は、それぞれの検出座標において、第１検出窓２２０の大きさを、設定されたサイズに対して所定割合（例えば±２０％程度）変動させて対象物を検出してもよい。これにより、サーチ部７４は、回帰式に推定誤差を含んでいても、対象物を検出することができる。
【０１０１】
図１３は、対象物が存在しないと推定される空白領域を示した撮像画像の一例を示す図である。通路を歩いている人物を対象物として検出する場合、通路以外の場所には、対象物が存在しない可能性が高い。例えば、図１３に示した撮像画像において、斜線で示した第１空白領域２２２には、対象物である人物は存在しないと推定される。
【０１０２】
従って、サーチ部７４は、撮像画像における空白領域以外の領域（存在領域）をサーチして対象物を検出する。これにより、サーチ部７４は、撮像画像の全面に対してサーチをしなくてよいので、少ない演算コストで対象物を検出することができる。また、さらに、サーチ部７４は、このように空白領域以外をサーチして対象物を検出するので、空白領域での過検出を無くすこともできる。
【０１０３】
（第３実施形態）
図１４は、撮像画像を複数に分割した分割領域を示す図である。第３実施形態において、推定部４６は、撮像画像を複数に分割した分割領域毎に、対応関係を推定する。例えば、推定部４６は、分割領域毎に、対象物のサイズと撮像画像における対象物の座標との間の相関を表す回帰式を推定する。
【０１０４】
分割領域は、例えば、図１４に示すように、撮像画像を縦方向および水平方向に３分割したそれぞれの領域である。そして、推定部４６は、分割領域毎に推定した対応関係（例えば回帰式）を変換部４８に与える。
【０１０５】
変換部４８は、対象物が検出された場合、検出された対象物を含む分割領域を特定する。そして、変換部４８は、特定した分割領域について推定された対応関係（例えば回帰式）に基づき、仮想移動面における対象物の位置を算出する。これにより、本実施形態に係る検出システム１０によれば、撮像画像にレンズ等により歪みが生じている場合、および、移動面３０の傾斜が異なる部分が存在する場合等であっても、撮像画像の全面にわたって精度良く仮想移動面における対象物の位置を算出することができる。
【０１０６】
なお、撮像画像によっては、対象物を含む分割領域と対象物を含まない分割領域が存在する場合がある。推定部４６は、対象物を含まない分割領域については、対応関係の推定処理をスキップする。また、対応関係の推定処理をスキップした分割領域については、変換部４８は、対象物が含まれないので、変換処理を実行しない。
【０１０７】
また、推定部４６は、推定誤差が小さくなるように、分割領域の境界を変更してもよい。例えば、推定部４６は、分割領域の境界を変更して、変更前の複数の分割領域の推定誤差の合計と、変更後の複数の分割領域の推定誤差の合計を比較する。そして、推定部４６は、変更後の複数の分割領域の推定誤差の合計の方が小さい場合には、変更後の境界の分割領域で対応関係を推定する。
【０１０８】
また、推定部４６は、推定誤差の合計が小さくなるように、分割領域の数を変更してもよい。例えば、推定部４６は、分割領域の数を増加させたり減少させたりして、変更前の複数の分割領域の推定誤差の合計と、変更後の複数の分割領域の推定誤差の合計を比較する。そして、推定部４６は、変更後の複数の分割領域の推定誤差の合計の方が小さい場合には、変更後の境界の分割領域で対応関係を推定する。
【０１０９】
また、推定部４６は、隣接する２つの分割領域の対応関係が近似している場合、対応関係が近似している隣接する２つの分割領域を合成して、１つの分割領域としてもよい。
【０１１０】
（第４実施形態）
図１５は、対象物の移動方向を付加した出力画像の一例を示す図である。
【０１１１】
本実施形態において、出力部５０は、時間的に連続する複数の撮像から検出された対象物の位置に基づき、それぞれの対象物の移動方向を検出する。例えば、出力部５０は、オプティカルフロー等の技術を用いて移動方向を算出する。そして、出力部５０は、対象物情報として、対象物の移動方向を含むアイコンを、出力画像に付加してもよい。
【０１１２】
例えば、出力部５０は、図１５に示すように、第１出力画像２１０に、人物の存在を表す対象物アイコン２１２および人物の移動方向を示す矢印アイコン２３０を付加してもよい。なお、出力部５０は、このような２つのアイコンに代えて、移動方向を識別可能な１つのアイコンを付加してもよい。この場合、出力部５０は、対象物の移動方向に応じてアイコンの向きを変更する。
【０１１３】
さらに、検出部４４は、対象物の属性を検出してもよい。例えば、対象物が人物である場合、検出部４４は、人物が男性であるか女性であるか、および、人物が大人であるか子供であるか等の属性を検出してもよい。
【０１１４】
そして、出力部５０は、対象物情報として、対応する対象物の属性を識別するアイコンを出力画像に付加する。例えば、出力部５０は、男性と女性とで異なる形状または色のアイコンを付加してもよい。また、出力部５０は、大人と子供とで異なる形状または色のアイコンを付加してもよい。なお、出力部５０は、アイコンに限らず、記号、文字または数字等により属性を表す情報を付加してもよい。
【０１１５】
図１６は、対象物が存在しないと推定される不存在領域を付加した出力画像の一例を示す図である。
【０１１６】
出力部５０は、仮想移動面における複数の対象物の位置に基づき、仮想移動面における対象物が存在しないと推定される不存在領域を検出する。例えば、出力部５０は、仮想移動面に対象物が検出された位置をマッピングし、マッピングした結果を解析して、対象物が存在しない不存在領域を推定する。なお、推定部４６が撮像画像における空白領域を推定している場合には、出力部５０は、推定部４６により推定された空白領域を仮想移動面に射影した領域を、不存在領域としてもよい。
【０１１７】
そして、出力部５０は、出力画像における、不存在領域に対応する領域に、対象物が存在しないことを示す情報を付加する。例えば、出力部５０は、図１６に示すように、第１出力画像２１０に第１不存在領域２４０を付加してもよい。
【０１１８】
図１７は、撮像画像の視野範囲および視野範囲から外れた領域に存在する対象物の位置を示す情報を付加した出力画像の一例を示す図である。出力部５０は、出力画像に、撮像画像に含まれる視野範囲を示す情報をさらに付加してもよい。
【０１１９】
例えば、出力部５０は、撮像装置１２を仮想移動面に射影した位置を示すカメラアイコン２５０を、第１出力画像２１０に付加してよい。さらに、出力部５０は、撮像装置１２の視野範囲を示す境界線２５２を第１出力画像２１０に付加してよい。これにより、検出システム１０は、視野範囲をユーザに認識させることができる。
【０１２０】
さらに、出力部５０は、視野範囲から外れた領域に存在する対象物の位置を、過去の撮像画像から検出された対象物の位置および移動情報に基づき予測してもよい。例えば、出力部５０は、オプティカルフロー等の技術を用いて、視野範囲から外れた領域に存在する対象物の位置を予測する。そして、出力部５０は、出力画像における、推定した位置に対応する座標に、対象物情報を付加する。
【０１２１】
例えば、出力部５０は、図１７に示すように、第１出力画像２１０における、視野範囲外の位置に、予測した対象物を表す予測アイコン２５４を付加する。これにより、本実施形態に係る検出システム１０は、仮想移動面上での視野範囲以外に存在する対象物をユーザに認識させることができる。なお、出力部５０は、予測された対象物の位置を表すアイコンを、実測した対象物の位置を表すアイコンと異なるアイコンとしてよい。
【０１２２】
図１８は、存在不可能領域を付加した出力画像の一例を示す図である。出力部５０は、仮想移動面上における対象物が存在しえない領域を、予め取得してもよい。例えば、通路を歩いている人物を対象物として検出する場合、出力部５０は、仮想移動面上における人物が入場しえないエリアを予め取得してよい。
【０１２３】
そして、出力部５０は、仮想移動面上における対象物が存在しえない領域を示す情報を、出力画像に付加する。例えば、出力部５０は、図１８に示すように、対象物が存在しえない領域を示す第１存在不可能領域２５６を第１出力画像２１０に付加する。これにより、本実施形態に係る検出システム１０は、対象物が存在しえない領域をユーザに認識させることができる。
【０１２４】
また、出力部５０は、変換部４８から出力された対象物の位置が、対象物が存在しえないとして設定された領域内か否かを判断してもよい。出力部５０は、変換部４８から出力された対象物の位置が、対象物が存在しえないとして設定された領域内である場合、その対象物の位置は誤検出であると判断する。そして、出力部５０は、誤検出である判断した対象物については、出力画像に対応する対象物情報を付加しない。例えば、出力部５０は、図１８に示すように、第１存在不可能領域２５６内に対象物の位置が検出された場合には、誤検出であるとして対象物情報を付加しない。これにより、本実施形態に係る検出システム１０は、精度良く対象物情報を出力画像に付加することができる。
【０１２５】
（第５実施形態）
図１９は、複数の検出領域毎に集計した対象物の数を表す情報が付加された出力画像の一例を示す図である。本実施形態に係る出力部５０は、仮想移動面を複数の領域に分割した複数の検出領域のそれぞれについて、存在する対象物の数を集計する。そして、出力部５０は、出力画像における、それぞれの検出領域に対応する座標に、対象物情報として、検出領域に含まれる対象物の数を表す情報を付加する。
【０１２６】
例えば、出力部５０は、図１９に示すように、第１出力画像２１０に、検出領域を区切る点線を付加する。そして、出力部５０は、点線で区切られたそれぞれの検出領域の中に、対象物の数を表す数字を付加する。
【０１２７】
検出領域は、対象物が所定数個存在しえる大きさである。例えば、検出領域は、対象物が１個以上存在しえる大きさであってよい。対象物が人物である場合、検出領域は、例えば２ｍ×２ｍ〜１０ｍ×１０ｍ程度の大きさに対応する領域であってよい。
【０１２８】
なお、２以上の検出領域の境界部分に対象物が検出された場合には、出力部５０は、その対象物が含まれる割合が多い方の検出領域の集計値に、１個分の対象物を表す値（例えば１）を投票する。また、出力部５０は、その対象物が含まれる全ての検出領域の集計値に、１個分の対象物を表す値（例えば１）を投票してもよい。また、出力部５０は、その対象物が含まれる割合に応じて、１個分の対象物を表す値を分割し、分割した値をそれぞれの集計値に投票してもよい。
【０１２９】
また、出力部５０は、複数の検出領域のそれぞれについて、時間的に異なる複数の撮像画像から得られた対象物の数を合計して、平均化してもよい。また、出力部５０は、視野範囲外の対象物を推定した場合には、推定した対象物の数も含めて集計してもよい。
【０１３０】
図２０は、撮像装置１２側が小さくなるように分割された検出領域を示す図である。出力部５０は、撮像装置１２に近い位置に対応する検出領域を、撮像装置１２に遠い位置に対応する検出領域よりも小さくしてよい。撮像画像における、撮像装置１２に近い位置に対応する部分の方が、撮像装置１２に遠い位置に対応する部分よりも情報量が多い。従って、出力部５０は、検出領域が小さくても、精度良く対象物の数を集計することができる。
【０１３１】
図２１は、対象物が存在しえない存在不可能領域と対象物が存在しえる存在可能領域との境界に一致させた検出領域を示す図である。
【０１３２】
出力部５０は、例えば、対象物が存在しえない領域を、予め取得しておく。例えば、通路を歩いている人物を対象物として検出する場合、出力部５０は、仮想移動面上における人物が入場しえないエリアを、対象物が存在しえない領域として予め取得してよい。なお、推定部４６が撮像画像における空白領域を推定している場合には、出力部５０は、推定部４６により推定された空白領域を仮想移動面に射影した領域を、対象物が存在しえない領域としてもよい。
【０１３３】
そして、出力部５０は、少なくとも一部の検出領域の境界を、対象物が存在しえない領域と、対象物が存在しえる領域との境界に一致させてもよい。例えば、出力部５０は、図２１に示すように、対象物が存在しえない領域を示す第１存在不可能領域２５６の境界と、検出領域の境界とを一致させる。
【０１３４】
図２２は、対象物の数を輝度で表した出力画像の一例を示す図である。また、出力部５０は、対象物の数を表す情報として、出力画像のそれぞれの検出領域に対応する座標に、輝度、色、アイコン、透明度、文字または記号を付加してもよい。
【０１３５】
例えば、出力部５０は、図２２に示すように、それぞれの検出領域の画像の輝度を、含まれる対象物の数に応じて変えてよい。例えば、出力部５０は、対象物の数の多い検出領域の輝度を濃くし、対象物の数の少ない検出領域の輝度を薄くしてもよい。これにより、出力部５０は、それぞれの検出領域における対象物の数を視覚的に認識させることができる。
【０１３６】
（第６実施形態）
図２３は、第６実施形態に係る処理回路３２の機能構成を示す図である。第６実施形態に係る検出システム１０は、複数の撮像装置１２を備える。複数の撮像装置１２は、共通の移動面３０を移動する対象物を、互いに異なる視点から撮像する。複数の撮像装置１２のそれぞれは、例えば、道路またビルのフロア等を異なる視点から撮像する。
【０１３７】
なお、複数の撮像装置１２により撮像された画像の視野範囲は、一部が重複していてもよい。また、複数の撮像装置１２のそれぞれは、同一の俯角で対象物を撮像してもよいし、異なる俯角で対象物を撮像してもよい。
【０１３８】
本実施形態に処理回路３２は、複数の対象物検出部８０と、出力部５０とを有する。複数の対象物検出部８０のそれぞれは、複数の撮像装置１２と一対一で対応する。複数の対象物検出部８０のそれぞれは、取得部４２と、検出部４４と、推定部４６と、変換部４８とを含む。
【０１３９】
複数の対象物検出部８０のそれぞれは、対応する撮像装置１２により撮像された撮像画像を取得し、取得した撮像画像に対して処理を実行する。すなわち、複数の対象物検出部８０のそれぞれは、互いに異なる視点から撮像した撮像画像を取得し、取得した撮像画像に対して処理を実行する。そして、複数の対象物検出部８０のそれぞれは、互いに共通の仮想移動面における対象物の位置を出力する。例えば、複数の対象物検出部８０のそれぞれは、共通の座標で表される位置を出力する。
【０１４０】
出力部５０は、複数の対象物検出部８０のそれぞれから、同一の時刻に取得された撮像画像に基づき検出された対象物の位置を取得する。そして、出力部５０は、出力画像における、それぞれの対象物検出部８０が出力した対象物の位置に対応する座標に、対象物情報を付加する。
【０１４１】
図２４は、第６実施形態に係る検出システム１０から出力された出力画像の一例を示す図である。本実施形態において、出力部５０は、複数の撮像装置１２の視野範囲を含む出力画像を生成する。例えば、図２４に示す第２出力画像２６０は、４つの撮像装置１２の視野範囲を含む。出力部５０は、例えば、それぞれの撮像装置１２の仮想移動面における位置を示すカメラアイコン２５０と、カメラアイコン２５０により示された撮像装置１２の視野範囲を示す境界線２５２とを第２出力画像２６０に付加してよい。
【０１４２】
そして、出力部５０は、このような出力画像に、それぞれの対象物検出部８０から出力された対象物の位置に対応する座標に、対象物の存在を表すアイコンを付加する。例えば、出力部５０は、図２４に示すように、第２出力画像２６０における対象物の位置に対応する座標に、対象物アイコン２１２および対象物の移動方向を示す矢印アイコン２３０を付加する。
【０１４３】
このように本実施形態に係る検出システム１０は、広い範囲の移動面３０を表す仮想移動面における対象物の位置を、精度良く算出することができる。
【０１４４】
図２５は、出力画像における視野範囲が重複した領域および視野範囲外の領域を示す図である。複数の撮像装置１２の視野範囲を含む出力画像を生成した場合、出力画像には、複数の視野範囲が重複する領域を含む可能性がある。例えば、図２５に示す第２出力画像２６０は、２つの視野範囲が重複した第１重複領域２６２を含む。
【０１４５】
出力部５０は、複数の対象物検出部８０が重複領域に対象物を検出した場合、１つの対象物検出部８０から出力された対象物の位置に基づき、対象物情報を出力画像に付加してよい。すなわち、出力部５０は、１つの対象物について２以上の対象物検出部８０が位置を出力した場合、何れか１つの位置に基づき対象物情報を出力画像に付加してよい。
【０１４６】
これに代えて、出力部５０は、複数の対象物検出部８０が重複領域に対象物を検出した場合、平均の位置に基づき対象物情報を出力画像に付加してもよい。すなわち、出力部５０は、１つの対象物について２以上の対象物検出部８０が位置を出力した場合、何れか１つの位置に基づき対象物情報を出力画像に付加してよい。
【０１４７】
また、複数の撮像装置１２の視野範囲を含む出力画像を生成した場合、出力画像には、何れの視野範囲からも外れた領域を含む可能性がある。例えば、図２５に示す第２出力画像２６０は、何れの視野範囲からも外れた第１範囲外領域２６４を含む。
【０１４８】
出力部５０は、何れの視野範囲からも外れた領域に存在する対象物の位置を、過去の撮像画像から検出された対象物の位置および移動情報に基づき予測してよい。例えば、出力部５０は、オプティカルフロー等の技術を用いて、視野範囲から外れた領域に存在する対象物の位置を予測する。そして、出力部５０は、出力画像における、推定した位置に対応する座標に、対象物情報を付加してよい。
【０１４９】
（第７実施形態）
図２６は、第７実施形態に係る処理回路３２の機能構成を示す図である。第７実施形態に処理回路３２は、第６実施形態の構成に加えて、通知部８２をさらに有する。
【０１５０】
通知部８２は、仮想移動面における一部の領域が指定領域として予め設定されている。例えば、通知部８２は、出力画像における一部の領域を、マウスまたはキーボード等で指定する操作に応じて、指定領域を受け付けてよい。
【０１５１】
通知部８２は、それぞれの対象物検出部８０により検出された対象物の位置を取得し、仮想移動面における指定領域に対象物が移動したか否かを検出する。そして、通知部８２は、指定領域に対象物が移動した場合、指定領域に対象物が移動した旨を示す情報を出力する。
【０１５２】
図２７は、第７実施形態に係る検出システム１０から出力された出力画像の一例を示す図である。例えば、通知部８２は、図２７に示すように、第２出力画像２６０に予め第１指定領域２８０が設定されている。通知部８２は、第１指定領域２８０に対象物が移動した場合、指定領域に対象物が移動した旨を示す情報を外部に出力する。
【０１５３】
例えば、通知部８２は、対象物の侵入を禁止する領域が指定領域として設定された場合、音声または画像による警報を出力してもよい。また、通知部８２は、指定領域に対象物が移動した場合、指定領域に対応する実空間に設けられた照明を点灯させたり、指定領域に対応する実空間に設けられたモニタに所定の情報を表示させたりしてもよい。
【０１５４】
（第８実施形態）
図２８は、第８実施形態に係る検出システム１０から出力された出力画像の一例を示す図である。第８実施形態において、仮想移動面は、鉛直方向以外の所定角度から見た移動面３０を立体的に表す地図情報（クォータービューの地図情報）であってよい。そして、出力部５０は、このような仮想移動面を表す出力画像を表示してよい。例えば、出力部５０は、図２８に示すような第３出力画像２９０を表示してもよい。
【０１５５】
さらに、第８実施形態において、対象物情報は、所定角度から見た対象物を立体的に表すアイコンであってよい。出力部５０は、出力画像における、対応する位置に、このようなアイコンを付加する。
【０１５６】
また、出力部５０は、それぞれの対象物が移動しているか停止しているか、および、移動方向を取得してもよい。そして、出力部５０は、対象物情報として、対象物が移動しているか停止しているかを識別可能なアイコン、および、対象物の移動方向を識別可能な出力画像に付加してよい。さらに、出力部５０は、それぞれの対象物の属性を取得してもよい。そして、出力部５０は、対象物の属性を識別可能なアイコンを出力画像に付加してよい。
【０１５７】
例えば、出力部５０は、図２８に示すように、対象物情報として、人物アイコン２９２を第３出力画像２９０に付加してよい。人物アイコン２９２は、人物の存在を表す。さらに、人物アイコン２９２は、人物が男性であるか女性であるかを識別可能である。さらに、人物アイコン２９２は、人物の移動方向、および、人物が移動しているか停止しているかを識別可能である。
【０１５８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１５９】
１０  検出システム
１２  撮像装置
２０  情報処理装置
２２  入力装置
２４  表示装置
３０  移動面
３２  処理回路
３４  記憶回路
３６  通信部
４２  取得部
４４  検出部
４６  推定部
４８  変換部
５０  出力部
６０  対応関係取得部
６２  サイズ算出部
６４  距離算出部
６６  角度算出部
６８  位置算出部
７０  関係取得部
７２  存在領域取得部
７４  サーチ部
７６  サイズ変更部
７８  範囲設定部
８０  対象物検出部
８２  通知部
２１０  第１出力画像
２１２  対象物アイコン
２２０  第１検出窓
２２２  第１空白領域
２３０  矢印アイコン
２４０  第１不存在領域
２５０  カメラアイコン
２５２  境界線
２５４  予測アイコン
２５６  第１存在不可能領域
２６０  第２出力画像
２６２  第１重複領域
２６４  第１範囲外領域
２８０  第１指定領域
２９０  第３出力画像
【図１】
2018046501.tif 000003
【図２】
2018046501.tif 000004
【図３】
2018046501.tif 000005
【図４】
2018046501.tif 000006
【図５】
2018046501.tif 000007
【図６】
2018046501.tif 000008
【図７】
2018046501.tif 000009
【図８】
2018046501.tif 000010
【図９】
2018046501.tif 000011
【図１０】
2018046501.tif 000012
【図１１】
2018046501.tif 000013
【図１２】
2018046501.tif 000014
【図１３】
2018046501.tif 000015
【図１４】
2018046501.tif 000016
【図１５】
2018046501.tif 000017
【図１６】
2018046501.tif 000018
【図１７】
2018046501.tif 000019
【図１８】
2018046501.tif 000020
【図１９】
2018046501.tif 000021
【図２０】
2018046501.tif 000022
【図２１】
2018046501.tif 000023
【図２２】
2018046501.tif 000024
【図２３】
2018046501.tif 000025
【図２４】
2018046501.tif 000026
【図２５】
2018046501.tif 000027
【図２６】
2018046501.tif 000028
【図２７】
2018046501.tif 000029
【図２８】
2018046501.tif 000030