(57)【要約】【課題】複数の対象物における状態および属性の少なくとも１つを表す対象物情報を精度良く推定する。【解決手段】情報処理装置は、取得部と、検出部と、判別部と、推定部とを備える。取得部は、撮像画像を取得する。検出部は、撮像画像に含まれる複数の対象物を検出する。判別部は、撮像画像に基づき、検出された複数の対象物のそれぞれについて、状態および属性の少なくとも１つを表す対象物情報および対象物情報の信頼度を算出する。推定部は、信頼度が設定値より高い対象物における対象物情報の分布に基づき、複数の対象物における対象物情報の分布を推定する。【選択図】図３
2018112880.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を取得する取得部と、
前記撮像画像に含まれる複数の対象物を検出する検出部と、
前記撮像画像に基づき、検出された前記複数の対象物のそれぞれについて、状態および属性の少なくとも１つを表す対象物情報および前記対象物情報の信頼度を算出する判別部と、
前記信頼度が設定値より高い対象物における前記対象物情報の分布に基づき、前記複数の対象物における前記対象物情報の分布を推定する推定部と、
を備える情報処理装置。
【請求項２】
前記判別部は、検出された前記複数の対象物のそれぞれについて、所定状態または所定属性であるか否かを判別し、
前記推定部は、前記信頼度が前記設定値より高く且つ前記所定状態または前記所定属性であると判別された対象物に基づき、前記所定状態または前記所定属性である対象物の数を算出する
請求項１に記載の情報処理装置。
【請求項３】
前記判別部は、検出された前記複数の対象物のそれぞれについて、所定状態および所定属性であるか否かを判別し、
前記推定部は、前記信頼度が前記設定値より高く且つ前記所定状態および前記所定属性であると判別された対象物に基づき、前記所定状態および前記所定属性である対象物の数を算出する
請求項１に記載の情報処理装置。
【請求項４】
前記推定部は、前記信頼度が前記設定値より高い対象物の数に対する、前記信頼度が前記設定値より高く且つ前記所定状態または前記所定属性であると判別された対象物の数との比率に基づき、前記所定状態または前記所定属性である対象物の数を算出する
請求項２に記載の情報処理装置。
【請求項５】
前記推定部は、
検出された前記複数の対象物のそれぞれを、前記信頼度が前記設定値より高い第１グループと、前記信頼度が前記設定値以下の第２グループとに分類し、
前記第２グループに属する対象物について、前記第１グループの中から、距離が近い順に予め定められた数の対象物を選択し、
前記第２グループに属する対象物について、選択された予め定められた数の対象物のそれぞれの前記判別結果に基づき、前記所定状態または前記所定属性であるか否かを決定し、
前記第１グループに属するそれぞれの対象物に対する前記判別結果と、前記第２グループに属するそれぞれの対象物に対する決定結果とに基づき、前記所定状態または前記所定属性である対象物の数を算出する
請求項２に記載の情報処理装置。
【請求項６】
前記複数の対象物のそれぞれは、人物であり、
前記所定状態は、所定位置に設置された目的物を見ている状態であり、
前記判別部は、検出された前記複数の対象物のそれぞれが、前記目的物を見ているか否かを判別する
請求項２から５の何れか１項に記載の情報処理装置。
【請求項７】
前記目的物は、広告を表示する表示装置であり、
前記推定部は、前記表示装置を見ている対象物の数を算出する
請求項６に記載の情報処理装置。
【請求項８】
前記所定状態は、対象物が前記目的物の方向を向いている状態である
請求項６または７に記載の情報処理装置。
【請求項９】
前記所定状態は、対象物が所定速度以下で移動している状態である
請求項６または７に記載の情報処理装置。
【請求項１０】
前記判別部は、検出された前記複数の対象物のそれぞれについて、複数種類の前記対象物情報および複数種類の前記対象物情報のそれぞれの前記信頼度を算出し、
前記推定部は、前記信頼度が前記設定値より高い対象物における、複数種類の前記対象物情報の分布に基づき、前記複数の対象物における、複数種類の前記対象物情報の分布を推定する
請求項１に記載の情報処理装置。
【請求項１１】
前記信頼度が前記設定値より高い対象物が、予め定められた数以下であった場合、前記設定値を低くする制御部をさらに備える
請求項１から１０の何れか１項に記載の情報処理装置。
【請求項１２】
前記撮像画像における、第１空間に対応する部分画像を特定する検出領域特定部をさらに備え、
前記検出部は、前記部分画像に含まれる前記複数の対象物のそれぞれを検出する
請求項１から１１の何れか１項に記載の情報処理装置。
【請求項１３】
前記複数の対象物のそれぞれの検出結果に基づき、前記目的物を見ることができない遮断領域を検出する遮断領域特定部をさらに備え、
前記判別部は、前記複数の対象物のそれぞれの状態を、前記遮断領域に含まれるか否かに応じて判別する
請求項８に記載の情報処理装置。
【請求項１４】
撮像画像を取得する取得部と、
前記撮像画像に含まれる複数の対象物を検出する検出部と、
前記撮像画像に基づき、検出された前記複数の対象物のそれぞれについて、状態および属性の少なくとも１つを表す対象物情報および前記対象物情報の信頼度を算出する判別部と、
前記複数の対象物のそれぞれに対応する位置に、前記複数の対象物のそれぞれの前記対象物情報の前記判別結果と、前記信頼度を表す情報とを付加した出力画像を出力する出力部と、
を備える情報処理装置。
【請求項１５】
情報処理装置が実行する情報処理方法であって、
前記情報処理装置が備える取得部が、撮像画像を取得し、
前記情報処理装置が備える検出部が、前記撮像画像に含まれる複数の対象物を検出し、
前記情報処理装置が備える判別部が、前記撮像画像に基づき、検出された前記複数の対象物のそれぞれについて、状態および属性の少なくとも１つを表す対象物情報および前記対象物情報の信頼度を算出し、
前記情報処理装置が備える推定部が、前記信頼度が設定値より高い対象物における前記対象物情報の分布に基づき、前記複数の対象物における前記対象物情報の分布を推定する
情報処理方法。
【請求項１６】
情報処理装置に、請求項１５に記載の情報処理方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
駅の通路等を通行したり、ビルのフロア等に滞在したりする人物を監視する監視カメラシステムが知られている。このような監視カメラシステムでは、天井等に取り付けられた撮像装置から人物を撮像する。
【０００３】
また、監視カメラシステムでは、撮像した画像を表示するのみならず、人物の状態等を判別することが望まれる。例えば、監視カメラシステムでは、人物が広告を見ているかどうかを判別することが望まれる。人物が広告を見ているか否かを判別することにより、監視カメラシステムでは、広告を見た人の数等を算出することができる。
【０００４】
しかし、監視カメラシステムに用いられる撮像装置は、固定されている。従って、撮像装置から遠い位置の人物は、画像内で相対的に小さくなってしまう。また、光または影等の影響により認識率が低下する人物が画像内に含まれる場合もある。このため、監視カメラシステムでは、画像に含まれている全ての人物について、精度良く状態等を判別することが困難であった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２３３１１９号公報
【非特許文献】
【０００６】
【非特許文献１】Viet-Quoc  Pham,  Tatsuo  Kozakaya,  Osamu  Yamaguchi  and  Ryuzo  Okada，  “COUNT  Forest:  CO-voting  Uncertain  Number  of  Targets  using  Random  Forest  for  Crowd  Density  Estimation”,  International  Conference  on  Computer  Vision,  pp.3253‐3261，2015年
【発明の概要】
【発明が解決しようとする課題】
【０００７】
発明が解決しようとする課題は、複数の対象物における、状態および属性の少なくとも１つを表す対象物情報を精度良く推定することにある。
【課題を解決するための手段】
【０００８】
実施形態に係る情報処理装置は、取得部と、検出部と、判別部と、推定部とを備える。前記取得部は、撮像画像を取得する。前記検出部は、前記撮像画像に含まれる複数の対象物を検出する。前記判別部は、前記撮像画像に基づき、検出された前記複数の対象物のそれぞれについて、状態および属性の少なくとも１つを表す対象物情報および前記対象物情報の信頼度を算出する。前記推定部は、前記信頼度が設定値より高い対象物における前記対象物情報の分布に基づき、前記複数の対象物における前記対象物情報の分布を推定する。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態に係る検出システムを示す図。
【図２】情報処理装置の構成を表示装置および撮像装置とともに示す図。
【図３】第１実施形態に係る対象物検出部の構成図。
【図４】第１実施形態に係る出力画像の一例を示す図。
【図５】第１実施形態に係る対象物検出部の処理を示すフローチャート。
【図６】複数種類の状態または属性の一例を示す図。
【図７】第１実施形態の変形例に係る対象物検出部の構成図。
【図８】第２実施形態に係る推定部の構成図。
【図９】第２実施形態に係る対象物検出部の処理を示すフローチャート。
【図１０】第２実施形態に係る出力画像の一例を示す図。
【図１１】第３実施形態に係る対象物検出部の構成図。
【図１２】第３実施形態に係る出力画像の第１例を示す図。
【図１３】第３実施形態に係る出力画像の第２例を示す図。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら本実施形態に係る検出システム１０について説明する。なお、以下の実施形態では、同一の参照符号を付した部分は略同一の構成および動作をするので、相違点を除き重複する説明を適宜省略する。
【００１１】
（第１実施形態）
図１は、第１実施形態に係る検出システム１０を示す図である。検出システム１０は、第１空間を撮像した撮像画像に基づき、第１空間に存在する複数の対象物における、状態および属性の少なくとも１つを表す対象物情報の分布を、精度良く推定する。例えば、検出システム１０は、第１空間を撮像した撮像画像に基づき、第１空間に存在する所定状態または所定属性である対象物の数を精度良く算出する。また、例えば、検出システム１０は、第１空間を撮像した撮像画像に基づき、第１空間に存在する所定状態および所定属性である対象物の数を精度良く算出する。
【００１２】
例えば、対象物は、人物である。第１空間は、対象物が通過または滞在する場所である。例えば、第１空間は、対象物が人物である場合、駅の通路、プラットフォーム、道路およびビルのフロア等である。なお、対象物は、人物に限らず、車両等の他の物体であってもよい。
【００１３】
状態は、時間または環境等により変化する可能性がある、画像から認識可能な対象物の特徴である。例えば、対象物が人物の場合、状態は、顔の向き、体の向き、移動速度、移動方法、表情（例えば、笑い、悲しみ、怒り、嫌悪、驚きまたは恐れ）、または、行動等である。
【００１４】
状態の分布は、状態が顔の向きであれば、複数の対象物のうち、右方向に向いている対象物が２割、左方向に向いている対象物が８割といった情報である。また、所定状態は、各種の状態のうちの、特定された１つの状態である。例えば、所定状態は、所定の目的物（例えば広告）を見ている状態、所定方向（例えば南西方向）を向いている状態、または、所定速度範囲（例えば時速５ｋｍ／ｈから時速１０ｋｍ／ｈまでの範囲）で移動している状態等である。また、例えば、所定状態は、所定の表情（例えば、笑い）である状態、または、所定行動（例えば、携帯端末装置を操作している状態）等である。
【００１５】
属性は、時間または環境等により変化しない、画像から認識可能な対象物の特徴である。例えば、対象物が人物の場合、属性は、性別、年齢または年代等である。
【００１６】
属性の分布は、属性が性別であれば、複数の対象物のうち、男性が２割、女性が８割といった情報である。また、所定属性は、男性、女性、所定年齢（例えば３０歳）または所定年代（例えば２０歳〜３９歳）等である。
【００１７】
検出システム１０は、表示装置１２と、撮像装置１４と、情報処理装置２０とを備える。
【００１８】
表示装置１２は、情報を表示する。例えば、表示装置１２は、情報として、広告を表示する。表示装置１２は、広告に限らず、ニュースまたは各種の通知情報等を表示してもよい。表示装置１２は、第１空間に存在する人物に対して情報を提示可能な位置に、固定して配置される。
【００１９】
表示装置１２は、動画像を表示してもよいし、静止画像を表示してもよいし、文字のみを表示してもよい。本実施形態においては、表示装置１２は、表示する情報内容が情報処理装置２０により制御される。しかし、表示装置１２は、情報処理装置２０とは接続されていない独立の装置であってもよいし、紙等が取り付けられた看板であってもよい。
【００２０】
撮像装置１４は、第１空間に存在する複数の対象物を撮像可能な位置に、固定して配置される。撮像装置１４は、固定された位置から第１空間を撮像する。撮像装置１４は、所定時間毎に第１空間を撮像し、撮像して得られた複数の撮像画像を情報処理装置２０に与える。
【００２１】
情報処理装置２０は、例えば、専用または汎用コンピュータである。情報処理装置２０は、ＰＣ、あるいは、情報を保存および管理するサーバに含まれるコンピュータであってもよい。情報処理装置２０は、一台の装置により実現されてもよいし、連携して動作する複数台の装置により実現されてもよい。また、情報処理装置２０は、ネットワーク上に実現される仮想的な装置（例えばクラウド）等であってもよい。
【００２２】
情報処理装置２０は、表示装置１２を制御して、表示装置１２に所定の情報（例えば広告）を表示させる。また、情報処理装置２０は、撮像装置１４を制御して、撮像装置１４により撮像された撮像画像を取得する。
【００２３】
そして、情報処理装置２０は、撮像装置１４が撮像した撮像画像に基づき、第１空間に存在する複数の対象物における、状態および属性の少なくとも１つを表す対象物情報の分布を推定する。例えば、情報処理装置２０は、撮像装置１４が撮像した撮像画像に基づき、第１空間に存在する所定状態または所定属性である対象物の数を算出する。また、例えば、情報処理装置２０は、撮像装置１４が撮像した撮像画像に基づき、第１空間に存在する所定状態および所定属性である対象物の数を算出する。また、例えば、対象物が人物であり、表示装置１２が広告を表示している場合、情報処理装置２０は、撮像装置１４が撮像した撮像画像に基づき、広告を見ている対象物の数を算出する。
【００２４】
図２は、情報処理装置２０の構成を表示装置１２および撮像装置１４とともに示す図である。
【００２５】
情報処理装置２０は、入力部２２と、表示部２４と、通信部２６と、記憶回路２８と、処理回路３０とを有する。入力部２２、表示部２４、通信部２６、記憶回路２８および処理回路３０は、バスを介して接続される。また、情報処理装置２０は、例えば、バスを介して、表示装置１２および撮像装置１４と接続される。
【００２６】
入力部２２は、ユーザからの各種指示や情報入力操作を受け付ける。入力部２２は、例えば、マウスまたはトラックボール等のポインティングデバイス、あるいはキーボード等の入力デバイスである。
【００２７】
表示部２４は、画像データ等の各種の情報を表示する。表示部２４は、例えば、液晶表示器等の表示デバイスである。
【００２８】
通信部２６は、有線または無線で接続された外部装置と情報の入出力を行うインターフェースである。通信部２６は、ネットワークに接続して通信を行ってもよい。
【００２９】
例えば、記憶回路２８は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。また、記憶回路２８が行う処理は、情報処理装置２０の外部の記憶装置で代替されてもよい。記憶回路２８は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）またはインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記憶媒体であってもよい。また、記憶媒体は、１つに限られず、複数の媒体から構成されてもよい。
【００３０】
処理回路３０は、１または複数のプロセッサを含む。１または複数のプロセッサは、記憶回路２８からプログラムを読み出して実行する。１または複数のプロセッサがプログラムを読み出して実行した場合の処理回路３０は、図２の処理回路３０内に示された各部を含む。すなわち、１または複数のプロセッサがプログラムを実行することにより、処理回路３０は、表示制御部３２および対象物検出部４０として機能する。
【００３１】
表示制御部３２は、表示装置１２を制御して、表示装置１２に所定の情報（例えば広告）を表示させる。対象物検出部４０は、撮像装置１４を制御して、撮像装置１４により撮像された撮像画像を取得する。そして、対象物検出部４０は、取得した撮像画像に基づき、第１空間に存在する複数の対象物における、状態および属性の少なくとも１つを表す対象物情報の分布を推定する。例えば、対象物検出部４０は、取得した撮像画像に基づき、第１空間に存在する所定状態または所定属性である対象物の数を算出する。また、例えば、対象物検出部４０は、取得した撮像画像に基づき、第１空間に存在する所定状態および所定属性である対象物の数を算出する。また、例えば、対象物が人物であり、表示装置１２が広告を表示している場合、対象物検出部４０は、取得した撮像画像に基づき、広告を見ている対象物の数を算出する。
【００３２】
対象物検出部４０は、取得部４２、検出部４４、判別部４６、信頼度算出部４８、推定部５０、効果算出部５２および出力部５４を含む。これらの各部の詳細は、後述する。
【００３３】
また、処理回路３０は、プロセッサとは異なる専用のハードウェア回路を含んでもよい。専用のハードウェア回路は、これらの各部のうちの一部または全部の機能を、プロセッサに代わり実現する。
【００３４】
プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であってよい。プロセッサは、ＣＰＵに限らず、プログラムを実行する他の種類のデータ処理デバイスであってよい。
【００３５】
記憶回路２８には、処理回路３０を、表示制御部３２および対象物検出部４０（取得部４２、検出部４４、判別部４６、信頼度算出部４８、推定部５０、効果算出部５２および出力部５４を含む）として機能させるためのプログラムが記憶されている。記憶回路２８は、処理回路３０が行う各処理機能に伴うデータ等を必要に応じて記憶する。
【００３６】
また、記憶回路２８は、撮像装置１４により撮像された撮像画像を記憶する。また、記憶回路２８は、処理結果を表す情報および出力画像を記憶する。
【００３７】
なお、記憶回路２８がプログラムを記憶することに代えて、処理回路３０の内部のＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）がプログラムを記憶してもよい。この場合、１個または複数のプロセッサが、内部のＲＯＭに記憶された（内部に組み込まれた）プログラムを読み出して実行することにより、処理回路３０は、プログラムに対応する機能を実現する。
【００３８】
図３は、第１実施形態に係る対象物検出部４０の構成を示す図である。対象物検出部４０は、取得部４２と、検出部４４と、判別部４６と、信頼度算出部４８と、推定部５０と、効果算出部５２と、出力部５４とを含む。
【００３９】
取得部４２は、第１空間を撮像した撮像画像を取得する。例えば、取得部４２は、撮像装置１４から撮像画像を取得する。記憶回路２８が撮像装置１４により撮像された撮像画像を記憶している場合、取得部４２は、記憶回路２８から撮像画像を取得してもよい。また、取得部４２は、所定時間毎に撮像した複数の撮像画像を取得してもよい。
【００４０】
検出部４４は、撮像画像に含まれる、第１空間に存在する複数の対象物のそれぞれを検出する。例えば、検出部４４は、第１空間に存在する複数の対象物の数、および、複数の対象物のそれぞれの位置を検出する。また、検出部４４は、取得部４２が所定時間毎に撮像した複数の撮像画像を取得した場合、複数の撮像画像のそれぞれに含まれる、第１空間に存在する複数の対象物のそれぞれを検出する。
【００４１】
例えば、対象物が人物である場合、検出部４４は、撮像画像から、人物の顔、頭部、上半身、全身または予め定められた身体の部位を検出してよい。また、検出部４４は、撮像画像を複数の小領域に分割し、小領域毎に対象物の密度を算出してもよい。また、検出部４４は、撮像画像または小領域に半分しか含まれていない対象物の数を、０．５としてもよい。
【００４２】
判別部４６は、撮像画像に基づき、検出部４４により検出された複数の対象物のそれぞれの状態および属性の少なくとも１つを表す対象物情報を判別する。例えば、判別部４６は、検出された複数の対象物のそれぞれについて、所定状態または所定属性であるか否かを判別する。また、例えば、判別部４６は、検出された複数の対象物のそれぞれについて、所定状態および所定属性であるか否かを判別する。
【００４３】
例えば、複数の対象物のそれぞれは、人物であり、所定状態は、所定位置に設置された目的物を見ている状態であるとする。この場合、判別部４６は、検出された複数の対象物のそれぞれが、目的物を見ているか否かを判別する。また、目的物は、広告を表示する表示装置１２であってもよい。この場合、判別部４６は、検出部４４により検出された複数の対象物のそれぞれが、広告を見ているか否かを判別してよい。
【００４４】
例えば、判別部４６は、対象物の向き（方位）を検出し、検出した対象物の向きに基づき、対象物が目的物（例えば表示装置１２）を見ているか否かを判別してもよい。この場合、判別部４６は、例えば、顔の向きまたは体の向きを、対象物の向きとして検出してよい。判別部４６は、所定角度単位（例えば、１°）で対象物の向きを検出してよい。また、判別部４６は、対象物が画像における右方向または左方向の何れかを向いているか、または、対象物が画像における上方向または下方向を向いているか程度の選択肢で、対象物の向きを判別してもよい。
【００４５】
また、判別部４６は、対象物の移動速度を検出し、検出した移動速度に基づき、対象物が目的物（例えば表示装置１２）を見ているか否かを判別してもよい。例えば、判別部４６は、検出した移動速度が所定速度以下である場合に、対象物が目的物を見ていると判別する。この場合、検出部４４は、撮像画像毎に対象物を追従し、対象物の位置変化に基づき対象物の移動速度を検出してよい。
【００４６】
また、検出部４４は、さらに、対象物の移動方向に基づき、対象物が目的物（例えば表示装置１２）を見ているか否かを判別してもよい。例えば、判別部４６は、検出した移動方向が、目的物に向かう方向に一致する場合、対象物が表示装置１２を見ていると判別してもよい。
【００４７】
また、検出部４４が小領域毎の対象物の密度を算出した場合には、判別部４６は、小領域毎の、状態および属性の少なくとも１つを表す対象物情報の分布を判別する。例えば、判別部４６は、例えば、ある小領域について、２割の対象物が目的物を見ており、８割の対象物が目的物を見ていないと判別してもよい。
【００４８】
信頼度算出部４８は、検出部４４により検出された複数の対象物のそれぞれについて、対象物情報を判別した判別結果の信頼度を算出する。例えば、信頼度算出部４８は、撮像画像から検出された対象物の解像度、大きさ、明度またはコントラスト等に基づき、信頼度を算出する。
【００４９】
信頼度算出部４８は、０％以上、１００％以下の数値に正規化された信頼度を算出してよい。また、検出部４４が小領域毎の対象物の密度を算出した場合には、信頼度算出部４８は、小領域毎の信頼度を算出する。例えば、判別部４６は、ある小領域について、信頼度が８０％の確率で、２割の対象物が目的物を見ており、８割の対象物が目的物を見ていないと算出してよい。なお、信頼度は、複数の対象物のそれぞれの状態および属性を判別するとともに、算出されてもよい。この場合、信頼度算出部４８は、例えば、判別部４６に組み込まれて実現される。
【００５０】
推定部５０は、予め入力された設定値を受け取る。設定値は、信頼度が取りうる範囲内の値である。例えば、信頼度算出部４８が０％以上、１００％以下の数値に正規化された信頼度を算出する場合、設定値は、０％以上、１００％以下の範囲の値である。
【００５１】
推定部５０は、検出部４４により検出された複数の対象物のうち、信頼度が設定値より高い１以上の対象物を特定する。続いて、推定部５０は、信頼度が設定値より高い１以上の対象物における、状態および属性の少なくとも１つを表す対象物情報の判別結果の分布を算出する。そして、推定部５０は、信頼度が設定値より高い対象物における対象物情報の分布に基づき、第１空間に存在する複数の対象物における対象物情報の分布を推定する。例えば、推定部５０は、第１空間に存在する全ての複数の対象物における対象物情報の分布を推定する。
【００５２】
例えば、推定部５０は、検出部４４により検出された複数の対象物のうち、信頼度が設定値より高い１以上の対象物の数（第１の数）を特定する。続いて、推定部５０は、信頼度が設定値より高い１以上の対象物のうちの、所定状態または所定属性であると判別された対象物の数（第２の数）を特定する。続いて、推定部５０は、信頼度が設定値より高い１以上の対象物の数（第１の数）に対する、所定状態または所定属性であると判別された対象物の数（第２の数）の比率（第１の比率）を算出する。そして、推定部５０は、検出部４４により検出された複数の対象物の総数に、算出した比率（第１の比率）を乗じて、第１空間に存在する所定状態または所定属性である対象物の数を算出してよい。
【００５３】
より具体的に、対象物が人物であり、所定状態が、目的物である表示装置１２を見ている状態である場合、推定部５０は、次のような処理を実行する。
【００５４】
まず、推定部５０は、検出部４４により検出された複数の対象物の数（総数）を特定する。例えば、推定部５０は、総数として、１７名を特定したとする。
【００５５】
続いて、推定部５０は、検出部４４により検出された複数の対象物のうち、信頼度が設定値より高い１以上の対象物の数（第１の数）を特定する。例えば、推定部５０は、第１の数として、１１名を特定したとする。
【００５６】
続いて、推定部５０は、信頼度が設定値より高い１以上の対象物のうちの、表示装置１２を見ていると判別された対象物の数（第２の数）を特定する。例えば、推定部５０は、第２の数として、５名を特定したとする。
【００５７】
続いて、推定部５０は、信頼度が設定値より高い１以上の対象物の数（第１の数）に対する、表示装置１２を見ていると判別された対象物の数（第２の数）の比率（第１の比率）を算出する。本例では、推定部５０は、第１の比率として、５／１１を算出する。
【００５８】
そして、推定部５０は、検出部４４により検出された複数の対象物の総数に、算出した比率（第１の比率）を乗じて、第１空間に存在する表示装置１２を見ている対象物の数を算出する。本例では、推定部５０は、第１空間に存在する、表示装置１２を見ている対象物の数として、１７×５／１１≒７．７名を算出する。
【００５９】
このように、対象物が人物であり、所定状態が表示装置１２を見ている状態である場合、推定部５０は、第１空間に存在する目的物を見ている対象物の数を算出することができる。
【００６０】
なお、取得部４２が所定時間毎に撮像した複数の撮像画像を取得した場合、推定部５０は、第１空間に存在する複数の対象物における、状態および属性の少なくとも１つを表す対象物情報の分布を時系列に表す時系列情報を推定してもよい。例えば、推定部５０は、第１空間に存在する、目的物を見ている対象物の数を時系列に表す時系列情報を算出してもよい。
【００６１】
さらに、推定部５０は、時系列情報に対して、時間的な平均化処理をしたり、前後の算出結果から大きく値が外れる外れ値を除去したりしてもよい。これにより、推定部５０は、ノイズ等の影響を除去してより精度の良い時系列情報を算出することができる。また、検出部４４が小領域毎の対象物の密度を算出した場合には、推定部５０は、小領域毎に、表示装置１２を見ている対象物の数または時系列情報を算出してもよい。
【００６２】
効果算出部５２は、対象物が人物であり、表示装置１２が広告を表示し、且つ、推定部５０が目的物である表示装置１２を見ている対象物の数を算出した場合、広告が複数の対象物に与えた広告効果を算出する。
【００６３】
広告効果は、例えば、注目率、滞在人秒または述べ視聴人秒である。注目率は、第１空間に存在する対象物（人物）の総数に対する、広告を見た対象物（人物）の数の比である。また、滞在人秒は、広告を見ている対象物（人物）当たりの時間（秒）である。述べ視聴人秒は、対象物（人物）が広告を見ている時間を累積した時間（秒）である。また、検出部４４が撮像画像毎に対象物を追従している場合、効果算出部５２は、所定時間以上広告を見ている対象物（人物）を特定し、特定した対象物（人物）から広告効果を算出してもよい。
【００６４】
また、表示装置１２は、一定時間毎に広告を変更する場合がある。このような場合、効果算出部５２は、広告毎に、広告効果を算出してもよい。また、表示装置１２は、同一の商品に関する広告であっても、表示する画像またはコンテキストが異なる場合がある。このような場合、効果算出部５２は、画像またはコンテキスト毎に、広告効果を算出してもよい。また、例えば、第１空間に存在する対象物が何らかの要因によって、広告を物理的に見ることができない場合がある。例えば、線路を挟んでホームの反対外に広告が表示される場合、対象物は、ホームに電車が停車している時間帯には、広告を見ることができない。効果算出部５２は、このような時間帯について、広告効果を算出してなくてもよい。
【００６５】
また、効果算出部５２は、例えば、天候の情報、気温情報、近隣においてイベントが発生した時間帯または社会情勢、広告のデザイン、および、広告の配置等の情報を取得して、広告効果に付加してもよい。これにより、効果算出部５２は、広告料の設定および将来の広告効果の予測等に参考にさせることができる。
【００６６】
出力部５４は、推定部５０により推定された、第１空間に存在する複数の対象物における、対象物情報の分布を外部に出力する。例えば、出力部５４は、推定部５０により算出された、第１空間に存在する所定状態または所定属性である対象物の数（または、所定状態および所定属性である対象物の数）を外部に出力する。また、表示装置１２が広告を表示する場合には、出力部５４は、第１空間に存在する広告を見ている対象物の数を外部に出力してもよい。さらに、出力部５４は、効果算出部５２が広告効果を算出した場合、広告効果も外部に出力する。
【００６７】
なお、外部に出力するとは、例えば、対象の情報を表示部２４に表示させたり、対象の情報を通信部２６を介して他の装置に送信したり、対象の情報を記憶回路２８に記憶させたりすることをいう。
【００６８】
図４は、第１実施形態に係る対象物検出部４０から出力される出力画像の一例を示す図である。例えば、対象物が人物であり、表示装置１２が広告を表示し、且つ、推定部５０が表示装置１２を見ている対象物の数を算出した場合、出力部５４は、広告を見ている対象物の数を表示部２４に表示させてよい。例えば、出力部５４は、図４に示すような、第１空間に存在する対象物を表す出力画像に、広告を見ている対象物の数を表す情報を付加して、表示部２４に表示させてもよい。
【００６９】
さらに、出力部５４は、効果算出部５２により算出された広告効果を、出力画像に付加して表示部２４に表示させてもよい。また、時系列情報を算出した場合には、出力部５４は、対象物の移動に応じて出力画像を動的に変化させながら、時系列情報および広告効果を出力画像に付加してもよい。
【００７０】
なお、出力画像は、撮像装置１４が撮像した画像であってよい。また、出力部５４は、撮像画像から検出した対象物の位置を座標変換し、例えば第１空間のトップビュー画像またはクウォータビュー画像等を生成してもよい。そして、出力部５４は、生成したトップビュー画像またはクウォータビュー画像を出力画像として表示部２４に表示させてもよい。
【００７１】
図５は、第１実施形態に係る対象物検出部４０の処理を示すフローチャートである。対象物検出部４０は、図５に示すフローチャートに従って処理を実行する。
【００７２】
まず、Ｓ２１１において、取得部４２は、第１空間を撮像した撮像画像を取得する。続いて、Ｓ２１２において、検出部４４は、撮像画像に含まれる、第１空間に存在する複数の対象物のそれぞれを検出する。
【００７３】
続いて、Ｓ２１３において、判別部４６は、検出された複数の対象物のそれぞれの、状態および属性の少なくとも１つを表す対象物情報を判別する。ここでは、判別部４６は、検出された複数の対象物のそれぞれについて、所定状態または所定属性であるか否か（または、所定状態および所定属性であるか否か）を判別する。
【００７４】
続いて、Ｓ２１４において、信頼度算出部４８は、検出された複数の対象物のそれぞれについて、対象物情報を判別した判別結果の信頼度を算出する。
【００７５】
続いて、Ｓ２１５において、推定部５０は、検出された複数の対象物のうち、信頼度が設定値より高い１以上の対象物の数（第１の数）を特定する。続いて、Ｓ２１６において、推定部５０は、信頼度が設定値より高い１以上の対象物のうちの、所定状態または所定属性（または、所定状態および所定属性）であると判別された対象物の数（第２の数）を検出する。
【００７６】
続いて、Ｓ２１７において、推定部５０は、信頼度が設定値より高い１以上の対象物の数（第１の数）に対する、所定状態または所定属性（または、所定状態および所定属性）であると判別された対象物の数（第２の数）の比率（第１の比率）を算出する。続いて、Ｓ２１８において、推定部５０は、検出部４４により検出された複数の対象物の総数に、算出した比率（第１の比率）を乗じて、第１空間に存在する所定状態または所定属性（または、所定状態および所定属性）である対象物の数を算出する。
【００７７】
対象物が人物であり、表示装置１２が広告を表示し、且つ、推定部５０が表示装置１２を見ている対象物の数を算出した場合、Ｓ２１９において、効果算出部５２は、広告効果を算出する。なお、広告効果を算出しない場合には、効果算出部５２は、Ｓ２１９の処理をスキップする。
【００７８】
続いて、Ｓ２２０において、出力部５４は、算出した第１空間に存在する所定状態または所定属性（または、所定状態および所定属性）である対象物の数を外部に出力する。なお、Ｓ２１９で広告効果を算出した場合には、出力部５４は、さらに広告効果も出力する。
【００７９】
対象物検出部４０は、以上の処理を撮像装置１４が撮像画像を出力する毎に（例えばフレーム毎）、実行する。また、対象物検出部４０は、複数の撮像画像に対してまとめてＳ２１１からＳ２２０の処理を実行してもよい。
【００８０】
図６は、複数種類の状態または属性の一例を示す図である。判別部４６は、検出された複数の対象物のそれぞれについて、複数種類の状態および属性を判別してもよい。例えば、対象物が人物である場合、判別部４６は、状態として、向き、移動速度、表情および行動を判別してもよい。さらに、判別部４６は、属性として、年代および性別を判別してもよい。
【００８１】
例えば、判別部４６は、対象物が広告方向を向いているか、広告方向を向いていないかを判別してよい。さらに、例えば、判別部４６は、対象物が静止しているか、第１速度以上第２速度未満で移動しているか（遅い）、第２速度以上で移動しているか（速い）を判別してよい。さらに、判別部４６は、対象物が笑っているか、平常であるか、嫌悪しているかを判別してよい。また、さらに、判別部４６は、対象物が携帯端末装置を操作しているか、操作していないかを判別してよい。
【００８２】
また、例えば、判別部４６は、対象物の年齢が、１９歳以下か、２０〜３９歳か、４０〜５９歳か、６０歳以上かを判別してもよい。また、例えば、判別部４６は、対象物が男性か女性かを判別してよい。
【００８３】
また、このように、１つの対象物に対して複数種類の状態または属性を判別した場合、信頼度算出部４８は、検出された複数の対象物のそれぞれについて、複数種類の状態および属性のそれぞれを判別した判別結果の信頼度を算出する。例えば図６の各ボックス内のカッコ書きは、信頼度を表す。
【００８４】
さらに、このように、１つの対象物に対して複数種類の状態および属性を判別した場合、推定部５０は、信頼度が設定値より高い対象物における、複数種類の状態および属性の分布に基づき、第１空間に存在する複数の対象物における、複数種類の状態および属性の分布を推定する。
【００８５】
例えば、推定部５０は、目的物である表示装置１２を見ている対象物の数を性別毎に算出してもよい。また、推定部５０は、目的物である表示装置１２を見ている対象物の数を、年代毎に算出してもよい。これにより、効果算出部５２は、広告効果をより詳細に算出することができる。
【００８６】
また、効果算出部５２は、所定種類の状態および属性の判別結果を用いて、広告効果を補正してもよい。例えば、効果算出部５２は、判別した表情の分布に基づき広告効果を補正してもよい。より具体的には、効果算出部５２は、笑っている人物の割合が高ければ広告効果を高くし、笑っている人物の割合が低ければ広告効果を低くしてもよい。また、効果算出部５２は、移動速度が速い人物の割合が高ければ、広告効果を低くし、移動速度の速い人物の割合が低ければ広告効果を高くしてもよい。
【００８７】
また、効果算出部５２は、特定の行動をしている人物の割合が高ければ、広告効果を高くしてもよい。例えば、効果算出部５２は、携帯端末装置を操作して広告の情報を取得している人物の割合が多かったり、携帯端末装置を用いて、広告に表示された二次元コードから情報を取得している人物の割合が多かったりする場合に、広告効果を高くしてもよい。
【００８８】
図７は、第１実施形態の変形例に係る対象物検出部４０の構成を示す図である。対象物検出部４０は、制御部７２をさらに有する。制御部７２は、推定部５０から、信頼度が設定値より高い対象物の数を取得する。制御部７２は、信頼度が設定値より高い対象物が、予め定められた数以下であるか否かを判別する。
【００８９】
制御部７２は、信頼度が設定値より高い対象物が、予め定められた数以下であった場合、設定値を低くする。例えば、制御部７２は、元の設定値から予め定められた値を減じたり、元の設定部に所定の割合を乗じたりして、新たな設定値を算出する。そして、推定部５０は、新たな設定値を受け取った場合、再度、推定処理を実行する。これにより、制御部７２は、信頼度が設定値より高い対象物が少なすぎるために、状態および属性の少なくとも１つを表す対象物情報の分布を精度良く算出することができないことを回避することができる。
【００９０】
以上のように、第１実施形態に係る検出システム１０によれば、第１空間に存在する複数の対象物における、状態および属性の少なくとも１つを表す対象物情報の分布を、精度良く推定することができる。例えば、検出システム１０は、第１空間に存在する所定状態または所定属性（または、所定状態および所定属性）である対象物の数を精度良く算出する。
【００９１】
例えば、対象物が人物であり、表示装置１２が広告を表示し、且つ、推定部５０が、目的物である表示装置１２を見ている対象物の数を算出する場合、第１実施形態に係る検出システム１０によれば、広告効果等を精度良く算出することができる。
【００９２】
なお、対象物が見ている目的物は、広告を表示している表示装置１２に限らない。例えば、対象物が見ている目的物は、店舗等に陳列している商品であってもよい。このような場合、検出システム１０は、陳列している商品について、興味を持った人物の数を算出することができる。
【００９３】
（第２実施形態）
図８は、第２実施形態に係る推定部５０の構成を示す図である。第２実施形態に係る検出システム１０は、推定部５０の構成が異なる。
【００９４】
互いに近い対象物が同一の状態または同一の属性である可能性が高い。第２実施形態に係る推定部５０は、このような前提に基づき、信頼度が設定値以下の対象物についての状態よび属性を、近傍に位置する信頼度が設定値より高い対象物に対する状態の判別結果に基づき推定する。
【００９５】
第２実施形態において、判別部４６は、検出部４４により検出された複数の対象物のそれぞれについて、所定状態または所定属性であるか否かを判別する。例えば、対象物は人物であり、所定状態は、所定位置に設置された目的物である表示装置１２を見ている状態である。そして、判別部４６は、検出された複数の対象物のそれぞれが、表示装置１２を見ているか否かを判別する。
【００９６】
第２実施形態に係る推定部５０は、分類部８２と、第１グループ記憶部８４と、第２グループ記憶部８６と、選択部８８と、決定部９０と、個数算出部９２とを含む。
【００９７】
分類部８２は、予め入力された設定値を受け取る。分類部８２は、検出部４４により検出された複数の対象物のそれぞれを、信頼度が設定値より高い第１グループと、信頼度が設定値以下の第２グループとに分類する。
【００９８】
第１グループ記憶部８４は、第１グループに分類された対象物についての、判別結果、信頼度および位置を記憶する。第２グループ記憶部８６は、第２グループに分類された対象物についての、判別結果、信頼度および位置を記憶する。
【００９９】
選択部８８は、第２グループに属する対象物について、第１グループの中から、距離が近い順に予め定められた数の対象物を選択する。例えば、選択部８８は、第１グループ記憶部８４および第２グループ記憶部８６に記憶されている情報を検索して、予め定められた数の対象物を選択する。
【０１００】
決定部９０は、第２グループに属する対象物について、選択された予め定められた数の対象物のそれぞれの判別結果に基づき、所定状態または所定属性であるか否かを決定する。
【０１０１】
個数算出部９２は、第１グループに属するそれぞれの対象物に対する判別結果を第１グループ記憶部８４から読み出す。また、個数算出部９２は、第２グループに属するそれぞれの対象物に対する決定結果を決定部９０から取得する。
【０１０２】
そして、個数算出部９２は、第１グループに属するそれぞれの対象物に対する判別結果と、第２グループに属するそれぞれの対象物に対する決定結果とに基づき、第１空間に存在する所定状態または所定属性である対象物の数を算出する。例えば、個数算出部９２は、第１グループに属する所定状態または所定属性と判別された対象物の数と、第２グループに属する、所定状態または所定属性と決定された対象物の数とを加算して、第１空間に存在する所定状態または所定属性である対象物の数を算出する。
【０１０３】
決定部９０は、例えば、次のような処理により、第２グループに属する対象物について、所定状態または所定属性であるか否かを決定する。
【０１０４】
決定部９０は、第２グループに属する対象物について、選択された予め定められた数の対象物に対する判別結果を多数決して、所定状態または所定属性であるか否かを決定する。
【０１０５】
例えば、決定部９０は、第２グループに属するある対象物（Ａ）について、第１グループの中から、距離が近い順に３個の対象物（Ｂ、Ｃ、Ｄ）を選択したとする。このとき、３個の対象物（Ｂ、Ｃ、Ｄ）の状態が、ＶＢ、ＶＣ、ＶＤであったとする。ＶＢ、ＶＣ、ＶＤは、例えば、対象物が所定属性（例えば表示装置１２を見ている状態）の場合には“１”、所定属性でない場合には“−１”となる値である。この場合、決定部９０は、ＶＡ＝ＶＢ＋ＶＣ＋ＶＤが正であれば、第２グループに属する対象物（Ａ）が、所定属性（例えば表示装置１２を見ている状態）であると決定する。
【０１０６】
決定部９０は、第２グループに属する対象物のそれぞれについて、選択された予め定められた数の対象物のそれぞれに対する判別結果に、決定対象の対象物からの距離が近い程大きな重みを与える。そして、決定部９０は、重みが与えられた後の選択された予め定められた数の対象物のそれぞれに対する判別結果に基づき、所定状態または所定属性であるか否かを決定してもよい。
【０１０７】
例えば、第２グループに属する対象物（Ａ）から、第１グループの中から選択された対象物（Ｂ）までの距離がＬＢであったとする。また、対象物（Ａ）から、第１グループの中から選択された対象物（Ｃ）までの距離がＬＣであったとする。また、対象物（Ａ）から、第１グループの中から選択された対象物（Ｄ）までの距離がＬＤであったとする。この場合、決定部９０は、ＶＡ＝（ＶＢ／ＬＢ）＋（ＶＣ／ＬＣ）＋（ＶＤ／ＬＤ）が正であれば、第２グループに属する対象物（Ａ）が、所定属性（例えば表示装置１２を見ている状態）であると決定する。
【０１０８】
また、決定部９０は、第２グループに属する対象物のそれぞれについて、選択された予め定められた数の対象物のそれぞれに対する判別結果に対して、信頼度が高い程大きな重みを与える。そして、決定部９０は、重みが与えられた後の選択された予め定められた数の対象物のそれぞれに対する判別結果に基づき、所定状態または所定属性であるか否かを決定してもよい。
【０１０９】
例えば、第２グループに属するある対象物（Ａ）に対する判別結果の信頼度が、αＡであるとする。また、第１グループの中から選択された３つの対象物（Ｂ、Ｃ、Ｄ）に対する判別結果の信頼度が、αＢ、αＣ、αＤであるとする。この場合、決定部９０は、ＶＡ＝（αＡ×ＶＡ／１）＋（αＢ×ＶＢ／ＬＢ）＋（αＣ×ＶＣ／ＬＣ）＋（αＤ×ＶＤ／ＬＤ）が正であれば、第２グループに属する対象物（Ａ）が、所定属性（例えば表示装置１２を見ている状態）であると決定する。
【０１１０】
図９は、第２実施形態に係る対象物検出部４０の処理を示すフローチャートである。なお、図９のＳ２１１からＳ２１４までの処理、および、Ｓ２１９からＳ２２０までの処理は、図５に示した処理と同一である。以下、図５との相違点について説明する。
【０１１１】
Ｓ２１４に続き、Ｓ２３１において、推定部５０は、検出された複数の対象物のそれぞれを、信頼度が設定値より高い第１グループと、信頼度が設定値以下の第２グループとに分類する。続いて、推定部５０は、第２グループに属する対象物毎に（すなわち、信頼度が設定値以下の対象物毎に）、Ｓ２３３およびＳ２３４の処理を実行する（Ｓ２３２とＳ２３５との間のループ処理）。
【０１１２】
Ｓ２３３において、推定部５０は、第２グループに属する対象物について、第１グループの中から、距離が近い順に予め定められた数の対象物を選択する。Ｓ２３４において、推定部５０は、選択された予め定められた数の対象物のそれぞれの判別結果に基づき、所定状態または所定属性であるか否かを決定する。
【０１１３】
例えば、決定部９０は、第２グループに属する対象物について、選択された予め定められた数の対象物に対する判別結果を多数決して、所定状態または所定属性であるか否かを決定する。さらに、決定部９０は、距離または信頼度の重みを考慮して、所定状態または所定属性であるか否かを決定してもよい。
【０１１４】
第２グループに属する全ての対象物についてＳ２３３およびＳ２３４の処理を終えると、推定部５０は、処理をＳ２３６に進める。Ｓ２３６において、推定部５０は、第１グループに属するそれぞれの対象物に対する判別結果と、第２グループに属するそれぞれの対象物に対する決定結果とに基づき、第１空間に存在する所定状態または所定属性である対象物の数を算出する。そして、対象物検出部４０は、Ｓ２３６に続き、Ｓ２１９およびＳ２２０の処理を実行する。
【０１１５】
図１０は、第２実施形態に係る対象物検出部４０から出力される出力画像の一例を示す図である。第２実施形態に係る推定部５０は、第１空間に存在する複数の対象物毎に、所定状態または所定属性であるか否かの判別結果を出力する。そこで、第２実施形態に係る出力部５４は、出力画像における複数の対象物のそれぞれに対応する位置に、第１空間に存在する複数の対象物のそれぞれの所定状態または所定属性の判別結果と、信頼度を表す情報とを付加する。
【０１１６】
例えば、図１０に示すように、出力部５４は、広告を見ていると判別または決定された対象物には、出力画像における対応する位置に○印を付加する。また、例えば、出力部５４は、広告を見ていないと判別または決定された対象物には、出力画像における対応する位置に×印を付加する。
【０１１７】
さらに、出力部５４は、信頼度が設定値より高い対象物には、出力画像における対応する位置に、信頼度が高い旨を示す情報を付加する。また、さらに、出力部５４は、信頼度が設定値以下の対象物には、出力画像における対応する位置に、信頼度が低い旨を示す情報を付加する。
【０１１８】
また、例えば、出力部５４は、広告を見ている対象物の数を表す情報と、広告を見ていない対象物の数を表す情報とを、信頼度毎に出力画像に付加してもよい。例えば、出力部５４は、信頼度が設定値より高く且つ広告を見ている人数と、信頼度が設定値より高く且つ広告を見ていない人数と、信頼度が設定値以下であり且つ広告を見ている人数と、信頼度が設定値以下であり且つ広告を見ていない人数とを、出力画像に付加してもよい。
【０１１９】
また、効果算出部５２は、第１実施形態と同様の広告効果を算出してよい。さらに、第２実施形態では、第１空間に存在する複数の対象物のそれぞれ毎に、所定状態または所定属性であるか否かの判別結果が特定される。そこで、効果算出部５２は、対象物の位置に応じて広告効果を補正してもよい。例えば、効果算出部５２は、広告を表示している表示装置１２に近いほど広告効果を高くしてもよい。
【０１２０】
さらに、効果算出部５２は、広告を見ていると判別または決定された対象物の位置を、広告に付加してもよい。これにより、効果算出部５２は、どの位置から広告が見られているかといった空間的な広告効果を算出させることができる。
【０１２１】
（第３実施形態）
図１１は、第３実施形態に係る対象物検出部４０の構成を示す図である。図１２は、第３実施形態に係る対象物検出部４０から出力される出力画像の第１例を示す図である。図１３は、第３実施形態に係る対象物検出部４０から出力される出力画像の第２例を示す図である。
【０１２２】
第３実施形態に係る対象物検出部４０は、検出領域特定部１１２と、遮断領域特定部１１４とをさらに有する。検出領域特定部１１２は、撮像画像における、第１空間に対応する部分画像を特定する。
【０１２３】
例えば、表示装置１２を見ることができる空間が、撮像画像に含まれる全空間のうちの、一部分である場合がある。このような場合、撮像画像に含まれる全ての対象物を検出しても、検出した対象物は、実際には表示装置１２を見ることができない可能性がある。
【０１２４】
そこで、検出領域特定部１１２は、撮像画像における対象物を検出する対象である第１空間に対応する領域を、予め設定する。例えば、図１２に示すように、検出領域特定部１１２は、撮像画像の領域の一部分を、撮像画像における表示装置１２を見ることができる空間に対応する検出領域１２２を特定する。検出領域特定部１１２は、例えば操作者が手動で設定した情報を取得してもよい。
【０１２５】
そして、検出部４４は、特定された検出領域１２２から、対象物を検出する。これにより、検出部４４は、第１空間に存在する複数の対象物を精度良く検出することができる。
【０１２６】
また、撮像画像に含まれる空間に、第１の表示装置１２−１を見ることができる空間と、第２の表示装置１２−２を見ることができる空間とが含まれる場合がある。この場合、１つの撮像装置１４から、第１の表示装置１２−１を見ている対象物と、第２の表示装置１２−２を見ている対象物とを検出することができる。
【０１２７】
そこで、このような場合、検出領域特定部１１２は、撮像画像における第１の表示装置１２−１を見ることができる空間に対応する領域と、撮像画像における第２の表示装置１２−２を見ることができる空間に対応する領域とを、予め設定する。例えば、図１３に示すように、検出領域特定部１１２は、第１の表示装置１２−１を見ることができる空間に対応する第１検出領域１２４と、第２の表示装置１２−２を見ることができる空間に対応する第２検出領域１２６とを設定する。そして、検出部４４は、第１検出領域１２４と第２検出領域１２６のそれぞれについて、独立に対象物を検出する。これにより、検出部４４は、１つの撮像画像から、複数の第１空間に存在する複数の対象物を検出することができる。なお、検出領域特定部１１２は、２つの表示装置１２に限らず、さらに多くの表示装置１２毎に領域を特定してもよい。
【０１２８】
遮断領域特定部１１４は、第１空間に存在する複数の対象物のそれぞれの検出結果に基づき、目的物を見ることができない遮断領域を検出する。
【０１２９】
例えば、表示装置１２が低い場所に設置されている場合、表示装置１２との間に他の人物が立っていると、後ろの人物は、表示装置１２を見ることができない。そこで、遮断領域特定部１１４は、例えば、対象物における、目的物である表示装置１２とは反対側を、遮断領域として検出する。
【０１３０】
判別部４６は、遮断領域の情報を遮断領域特定部１１４から取得する。そして、判別部４６は、複数の対象物のそれぞれの状態を遮断領域に含まれるか否かに応じて判別する。例えば、判別部４６は、対象物が遮断領域に含まれる場合には、表示装置１２を見ていないと判断する。これにより、判別部４６は、精度良く対象物の状態を判別することができる。
【０１３１】
以上、第１から第３の実施形態について説明した。これらの実施形態の情報処理装置２０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、本実施形態の情報処理装置２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の情報処理装置２０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施形態のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１３２】
情報処理装置２０を対象物検出部４０として機能させるためのプログラムは、取得モジュールと、検出モジュールと、判別モジュールと、信頼度算出モジュールと、推定モジュールと、効果算出モジュールと、出力モジュールとを有する。情報処理装置２０は、処理回路３０（例えば１または複数のプロセッサ）が記憶回路２８からプログラムを読み出して実行することにより各モジュールが主記憶装置（例えばＲＡＭ等のメモリ）上にロードされ、処理回路３０（例えば１または複数のプロセッサ）が、取得部４２、検出部４４、判別部４６、信頼度算出部４８、推定部５０、効果算出部５２および出力部５４として機能する。
【０１３３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１３４】
１０  検出システム
１２  表示装置
１４  撮像装置
２０  情報処理装置
２２  入力部
２４  表示部
２６  通信部
２８  記憶回路
３０  処理回路
３２  表示制御部
４０  対象物検出部
４２  取得部
４４  検出部
４６  判別部
４８  信頼度算出部
５０  推定部
５２  効果算出部
５４  出力部
７２  制御部
８２  分類部
８４  第１グループ記憶部
８６  第２グループ記憶部
８８  選択部
９０  決定部
９２  個数算出部
１１２  検出領域特定部
１１４  遮断領域特定部
１２２  検出領域
１２４  第１検出領域
１２６  第２検出領域
【図１】
2018112880.tif 000003
【図２】
2018112880.tif 000004
【図３】
2018112880.tif 000005
【図４】
2018112880.tif 000006
【図５】
2018112880.tif 000007
【図６】
2018112880.tif 000008
【図７】
2018112880.tif 000009
【図８】
2018112880.tif 000010
【図９】
2018112880.tif 000011
【図１０】
2018112880.tif 000012
【図１１】
2018112880.tif 000013
【図１２】
2018112880.tif 000014
【図１３】
2018112880.tif 000015