(57)【要約】      （修正有）【課題】施設側のコストをかけることなく、施設の混雑状況に関する情報を蓄積し、ユーザに提供する。【解決手段】混雑状況把握装置１は、装着しているユーザの周辺を撮像可能な撮像部を備えた装置であって、撮像部によって撮像された周辺画像を画像認識する画像認識部１１と、画像認識結果に基づいて、ユーザが滞在する施設を特定する施設特定部１２と、画像認識結果に基づいて、施設特定部１２によって特定された施設の混雑状況を特定する混雑状況特定部１３と、特定された施設を識別する施設情報と、特定された混雑状況に関する混雑状況情報とをサーバ装置２に送信する混雑状況情報送信部１４と、混雑状況情報をサーバ装置２から受信する混雑状況情報受信部１７と、受信された混雑状況情報をユーザに通知する通知部１８とを備える。【選択図】図２
2015158866.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの周辺を撮像可能な撮像手段を備えた、当該ユーザが装着する混雑状況把握装置であって、
前記撮像手段によって撮像された周辺画像を画像認識する画像認識手段と、
前記画像認識手段による画像認識結果に基づいて、前記ユーザが滞在する施設を特定する施設特定手段と、
前記画像認識手段による画像認識結果に基づいて、前記施設特定手段によって特定された施設の混雑状況を特定する混雑状況特定手段と、
前記施設特定手段によって特定された施設を識別する施設情報と、前記混雑状況特定手段によって特定された混雑状況に関する混雑状況情報とを、サーバ装置に送信する混雑状況情報送信手段と、
を備える混雑状況把握装置。
【請求項２】
混雑状況情報を前記サーバ装置から受信する混雑状況情報受信手段と、
前記混雑状況情報受信手段によって受信された混雑状況情報を前記ユーザに通知する通知手段と、
をさらに備える請求項１に記載の混雑状況把握装置。
【請求項３】
混雑状況情報の取得要求を前記サーバ装置に送信する取得要求送信手段をさらに備え、
前記混雑状況情報受信手段は、前記取得要求送信手段による取得要求に応じて前記サーバ装置から送信された混雑状況情報を受信する、
請求項２に記載の混雑状況把握装置。
【請求項４】
特定の位置を示す位置情報を取得する位置情報取得手段をさらに備え、
前記取得要求送信手段は、前記位置情報取得手段によって取得された位置情報を含む、混雑状況情報の取得要求を前記サーバ装置に送信し、
前記混雑状況情報受信手段は、前記取得要求送信手段による取得要求に応じて前記サーバ装置から送信された混雑状況情報であって、当該サーバ装置により抽出された、当該取得要求に含まれる位置情報が示す位置から所定の範囲内に位置する施設の混雑状況情報を受信する、
請求項３に記載の混雑状況把握装置。
【請求項５】
前記位置情報取得手段は、当該混雑状況把握装置の現在位置を示す位置情報を取得する、
請求項４に記載の混雑状況把握装置。
【請求項６】
前記撮像手段によって撮像された周辺画像を前記ユーザに表示する表示手段をさらに備え、
前記通知手段は、前記混雑状況情報受信手段によって受信された混雑状況情報を、前記表示手段によって表示された周辺画像に重畳して表示する、
請求項２〜５の何れか一項に記載の混雑状況把握装置。
【請求項７】
ユーザの周辺を撮像可能な撮像手段を備えた、当該ユーザが装着する混雑状況把握装置と、サーバ装置とを含む混雑状況把握システムであって、
前記混雑状況把握装置は、
前記撮像手段によって撮像された周辺画像を画像認識する画像認識手段と、
前記画像認識手段による画像認識結果に基づいて、前記ユーザが滞在する施設を特定する施設特定手段と、
前記画像認識手段による画像認識結果に基づいて、前記施設特定手段によって特定された施設の混雑状況を特定する混雑状況特定手段と、
前記施設特定手段によって特定された施設を識別する施設情報と、前記混雑状況特定手段によって特定された混雑状況に関する混雑状況情報とを、前記サーバ装置に送信する混雑状況情報送信手段と、
を備え、
前記サーバ装置は、
施設情報と混雑状況情報とを前記混雑状況把握装置から受信する混雑状況情報受信手段と、
前記混雑状況情報受信手段によって受信された施設情報と混雑状況情報とを対応付けて格納する混雑状況情報格納手段と、
を備える、混雑状況把握システム。
【請求項８】
ユーザの周辺を撮像可能な撮像手段を備えた、当該ユーザが装着する混雑状況把握装置により実行される混雑状況把握方法であって、
前記撮像手段によって撮像された周辺画像を画像認識する画像認識ステップと、
前記画像認識ステップにおける画像認識結果に基づいて、前記ユーザが滞在する施設を特定する施設特定ステップと、
前記画像認識ステップにおける画像認識結果に基づいて、前記施設特定ステップにおいて特定された施設の混雑状況を特定する混雑状況特定ステップと、
前記施設特定ステップにおいて特定された施設を識別する施設情報と、前記混雑状況特定ステップにおいて特定された混雑状況に関する混雑状況情報とを、サーバ装置に送信する混雑状況情報送信ステップと、
を含む混雑状況把握方法。
【請求項９】
ユーザの周辺を撮像可能な撮像手段を備えた、当該ユーザが装着する混雑状況把握装置と、サーバ装置とを含む混雑状況把握システムにより実行される混雑状況把握方法であって、
前記混雑状況把握装置が、前記撮像手段によって撮像された周辺画像を画像認識する画像認識ステップと、
前記混雑状況把握装置が、前記画像認識ステップにおける画像認識結果に基づいて、前記ユーザが滞在する施設を特定する施設特定ステップと、
前記混雑状況把握装置が、前記画像認識ステップにおける画像認識結果に基づいて、前記施設特定ステップにおいて特定された施設の混雑状況を特定する混雑状況特定ステップと、
前記混雑状況把握装置が、前記施設特定ステップにおいて特定された施設を識別する施設情報と、前記混雑状況特定ステップにおいて特定された混雑状況に関する混雑状況情報とを、前記サーバ装置に送信する混雑状況情報送信ステップと、
前記サーバ装置が、施設情報と混雑状況情報とを前記混雑状況把握装置から受信する混雑状況情報受信ステップと、
前記サーバ装置が、前記混雑状況情報受信ステップにおいて受信された施設情報と混雑状況情報とを対応付けて格納する混雑状況情報格納ステップと、
を含む混雑状況把握方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、施設等の混雑状況を蓄積及び把握するための混雑状況把握装置、混雑状況把握システム及び混雑状況把握方法に関する。
【背景技術】
【０００２】
従来、店舗内の混雑状況を管理するシステムが知られている。例えば、下記特許文献１では、店舗内の床に目印を予め配置し、店舗内の床を撮影部により撮影し、撮影された画像中の目印の数を用いて店舗内の混雑度を算出する混雑状況管理システムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−８２８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の混雑状況管理システムでは、店舗側が混雑度を蓄積するためには、床に目印を配置したり、床を撮影する撮影部を用意したり、当該混雑状況管理システムを管理する人員を配置したりする等、店舗側のコストがかかる。
【０００５】
そこで、本発明は、かかる課題に鑑みて為されたものであり、施設側のコストをかけることなく、施設の混雑状況に関する情報を蓄積することができる混雑状況把握装置、混雑状況把握システム及び混雑状況把握方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の混雑状況把握装置は、ユーザの周辺を撮像可能な撮像手段を備えた、当該ユーザが装着する混雑状況把握装置であって、撮像手段によって撮像された周辺画像を画像認識する画像認識手段と、画像認識手段による画像認識結果に基づいて、ユーザが滞在する施設を特定する施設特定手段と、画像認識手段による画像認識結果に基づいて、施設特定手段によって特定された施設の混雑状況を特定する混雑状況特定手段と、施設特定手段によって特定された施設を識別する施設情報と、混雑状況特定手段によって特定された混雑状況に関する混雑状況情報とを、サーバ装置に送信する混雑状況情報送信手段と、を備える。
【０００７】
このような混雑状況把握装置によれば、画像認識結果に基づいて、ユーザが滞在する施設及び当該施設の混雑状況が特定される。つまり、施設側のコストをかけることなく、かつユーザが特別な操作をすることなく、施設の混雑状況が特定される。そして、特定された施設を識別する施設情報と、特定された混雑状況に関する混雑状況情報とがサーバ装置に送信される。つまり、施設側のコストをかけることなく、かつユーザが特別な操作をすることなく、施設の混雑状況に関する情報である施設情報と混雑状況情報とがサーバ装置に蓄積される。
【０００８】
また、本発明の混雑状況把握装置において、混雑状況情報をサーバ装置から受信する混雑状況情報受信手段と、混雑状況情報受信手段によって受信された混雑状況情報をユーザに通知する通知手段と、をさらに備えることが好ましい。かかる構成を採れば、混雑状況情報がサーバ装置から受信され、ユーザに通知される。これにより、施設側のコストをかけることなく、かつユーザが特別な操作をすることなく、ユーザが施設の混雑状況を把握することができる。
【０００９】
また、本発明の混雑状況把握装置において、混雑状況情報の取得要求をサーバ装置に送信する取得要求送信手段をさらに備え、混雑状況情報受信手段は、取得要求送信手段による取得要求に応じてサーバ装置から送信された混雑状況情報を受信することが好ましい。かかる構成を採れば、混雑状況把握装置が指定したタイミングで混雑状況情報をサーバ装置から受信することができるため、ユーザの利便性を向上することができる。
【００１０】
また、本発明の混雑状況把握装置において、特定の位置を示す位置情報を取得する位置情報取得手段をさらに備え、取得要求送信手段は、位置情報取得手段によって取得された位置情報を含む、混雑状況情報の取得要求をサーバ装置に送信し、混雑状況情報受信手段は、取得要求送信手段による取得要求に応じてサーバ装置から送信された混雑状況情報であって、当該サーバ装置により抽出された、当該取得要求に含まれる位置情報が示す位置から所定の範囲内に位置する施設の混雑状況情報を受信することが好ましい。かかる構成を採れば、特定の位置から所定の範囲内に位置する施設の混雑状況情報をサーバ装置から受信することができるため、例えば、ユーザが指定した位置近辺の施設の混雑状況をユーザが把握することができ、ユーザの利便性を向上することができる。
【００１１】
また、本発明の混雑状況把握装置において、位置情報取得手段は、当該混雑状況把握装置の現在位置を示す位置情報を取得することが好ましい。かかる構成を採れば、例えば、ユーザの現在位置近辺の施設の混雑状況をユーザが把握することができ、ユーザの利便性を向上することができる。
【００１２】
また、本発明の混雑状況把握装置において、撮像手段によって撮像された周辺画像をユーザに表示する表示手段をさらに備え、通知手段は、混雑状況情報受信手段によって受信された混雑状況情報を、表示手段によって表示された周辺画像に重畳して表示することが好ましい。かかる構成を採れば、ユーザに表示された周辺画像に、混雑状況情報が重畳して表示されるため、混雑状況情報がユーザの視界に入りやすく、例えば音や振動でその存在を通知されるよりも確実に気づくことができ、ユーザは施設の混雑状況をより確実に把握することができる。また、例えば、周辺画像に混雑状況情報を重畳して表示する際に、当該情報が示す施設が周辺画像中の実際に存在する場所近辺に重畳して表示することで、ユーザは当該施設が具体的にどの場所にあるかを容易に気づくことができ、ユーザの利便性を向上することができる。
【００１３】
また、上記課題を解決するため、本発明の混雑状況把握システムは、ユーザの周辺を撮像可能な撮像手段を備えた、当該ユーザが装着する混雑状況把握装置と、サーバ装置とを含む混雑状況把握システムであって、混雑状況把握装置は、撮像手段によって撮像された周辺画像を画像認識する画像認識手段と、画像認識手段による画像認識結果に基づいて、ユーザが滞在する施設を特定する施設特定手段と、画像認識手段による画像認識結果に基づいて、施設特定手段によって特定された施設の混雑状況を特定する混雑状況特定手段と、施設特定手段によって特定された施設を識別する施設情報と、混雑状況特定手段によって特定された混雑状況に関する混雑状況情報とを、サーバ装置に送信する混雑状況情報送信手段と、を備え、サーバ装置は、施設情報と混雑状況情報とを混雑状況把握装置から受信する混雑状況情報受信手段と、混雑状況情報受信手段によって受信された施設情報と混雑状況情報とを対応付けて格納する混雑状況情報格納手段と、を備える。
【００１４】
このような混雑状況把握システムによれば、混雑状況把握装置にて、画像認識結果に基づいて、ユーザが滞在する施設及び当該施設の混雑状況が特定される。つまり、施設側のコストをかけることなく、かつユーザが特別な操作をすることなく、施設の混雑状況が特定される。そして、特定された施設を識別する施設情報と、特定された混雑状況に関する混雑状況情報とが混雑状況把握装置からサーバ装置に送信され、サーバ装置にて格納される。つまり、施設側のコストをかけることなく、施設の混雑状況に関する情報である施設情報と混雑状況情報とがサーバ装置に蓄積される。
【００１５】
ところで、本発明は、上記のように混雑状況把握装置及び混雑状況把握システムの発明として記述できる他に、以下のようにそれぞれ混雑状況把握方法の発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
【００１６】
即ち、本発明に係る混雑状況把握方法は、ユーザの周辺を撮像可能な撮像手段を備えた、当該ユーザが装着する混雑状況把握装置により実行される混雑状況把握方法であって、撮像手段によって撮像された周辺画像を画像認識する画像認識ステップと、画像認識ステップにおける画像認識結果に基づいて、ユーザが滞在する施設を特定する施設特定ステップと、画像認識ステップにおける画像認識結果に基づいて、施設特定ステップにおいて特定された施設の混雑状況を特定する混雑状況特定ステップと、施設特定ステップにおいて特定された施設を識別する施設情報と、混雑状況特定ステップにおいて特定された混雑状況に関する混雑状況情報とを、サーバ装置に送信する混雑状況情報送信ステップと、を含む。
【００１７】
また、本発明に係る混雑状況把握方法は、ユーザの周辺を撮像可能な撮像手段を備えた、当該ユーザが装着する混雑状況把握装置と、サーバ装置とを含む混雑状況把握システムにより実行される混雑状況把握方法であって、混雑状況把握装置が、撮像手段によって撮像された周辺画像を画像認識する画像認識ステップと、混雑状況把握装置が、画像認識ステップにおける画像認識結果に基づいて、ユーザが滞在する施設を特定する施設特定ステップと、混雑状況把握装置が、画像認識ステップにおける画像認識結果に基づいて、施設特定ステップにおいて特定された施設の混雑状況を特定する混雑状況特定ステップと、混雑状況把握装置が、施設特定ステップにおいて特定された施設を識別する施設情報と、混雑状況特定ステップにおいて特定された混雑状況に関する混雑状況情報とを、サーバ装置に送信する混雑状況情報送信ステップと、サーバ装置が、施設情報と混雑状況情報とを混雑状況把握装置から受信する混雑状況情報受信ステップと、サーバ装置が、混雑状況情報受信ステップにおいて受信された施設情報と混雑状況情報とを対応付けて格納する混雑状況情報格納ステップと、を含む。
【発明の効果】
【００１８】
本発明によれば、施設側のコストをかけることなく、施設の混雑状況に関する情報を蓄積することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る混雑状況把握システムのシステム構成図である。
【図２】本発明の実施形態に係る混雑状況把握装置及びサーバ装置の機能ブロック図である。
【図３】本発明の実施形態に係る混雑状況把握装置のハードウェア構成を示す図である。
【図４】本発明の実施形態に係るサーバ装置のハードウェア構成を示す図である。
【図５】本発明の実施形態に係る混雑状況把握装置が、ユーザが滞在する施設を特定している場面を示す図である。
【図６】本発明の実施形態に係る混雑状況把握装置が、施設の混雑状況を特定している場面を示す図である。
【図７】ユーザの近隣エリアにおける施設を示す図である。
【図８】本発明の実施形態に係る混雑状況把握装置が、施設に対して混雑状況情報を重畳して表示している場面を示す図である。
【図９】混雑状況情報テーブルのテーブル例を示す図である。
【図１０】従来技術において混雑状況を把握する際の処理を示すフローチャートである。
【図１１】本発明の実施形態に係る混雑状況把握装置で実行される処理（混雑状況把握方法）を示すフローチャート（その１）である。
【図１２】本発明の実施形態に係る混雑状況把握装置で実行される処理（混雑状況把握方法）を示すフローチャート（その２）である。
【発明を実施するための形態】
【００２０】
以下、図面とともに本発明による混雑状況把握装置、混雑状況把握システム及び混雑状況把握方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【００２１】
図１は、本発明の実施形態に係る混雑状況把握システム４のシステム構成図である。図１に示す通り、混雑状況把握システム４は、混雑状況把握装置１と、サーバ装置２と、ネットワーク３とを含んで構成される。混雑状況把握装置１とサーバ装置２とは、ネットワーク３を介して互いに通信可能である。なお、図１において、混雑状況把握装置１と、サーバ装置２と、ネットワーク３とはそれぞれ１つずつ示しているが、それぞれ２つ以上あってもよい。本発明の実施形態に係る混雑状況把握システム４では、複数の混雑状況把握装置１からの情報（後述の混雑状況情報）をサーバ装置２が蓄積し、サーバ装置２が蓄積した情報に基づく情報を各混雑状況把握装置１に配信することを想定している。
【００２２】
混雑状況把握装置１は、身につけて持ち歩くことができるコンピュータであるウェアラブルデバイスの一種、ヘッドマウントディスプレイである。図１に示す通り、混雑状況把握装置１は、本体部１ａと、撮像部１ｂ（撮像手段）と、表示部１ｃ（表示手段）と、音声入力部１ｄとを含んで構成される。また、混雑状況把握装置１は、サーバ装置２と通信するための通信機能を搭載する。
【００２３】
本体部１ａは、コンピュータシステム本体であり、撮像部１ｂ、表示部１ｃ及び音声入力部１ｄの入出力制御を行い、撮像部１ｂ及び音声入力部１ｄからの情報を入力し、入力された情報に基づいて演算を行い、表示部１ｃ及びサーバ装置２へ演算結果や指示等の情報を出力する等、混雑状況把握装置１全体の処理制御を行う。なお、本体部１ａにはスマートフォン向けのＯＳ（Operating  System）が組み込まれていてもよい。
【００２４】
撮像部１ｂは、混雑状況把握装置１を装着しているユーザ（本実施形態では単に「ユーザ」と呼ぶ）の周辺を撮像可能であり、具体的にはカメラである。撮像部１ｂは、ユーザの視線方向の風景を撮像してもよい。
【００２５】
表示部１ｃは、ユーザに情報を表示することが可能であり、具体的にはディスプレイである。表示部１ｃは、眼鏡のレンズのようにユーザの目の近辺の位置に配置される。表示部１ｃは、撮像部１ｂによって撮像された周辺画像を表示する。
【００２６】
音声入力部１ｄは、ユーザが発声した音声を入力することが可能であり、具体的にはマイクである。
【００２７】
なお、混雑状況把握装置１は上記以外の構成、例えばユーザが目のウインクをしたことを検出する検出用カメラ、ユーザに対して音声出力するスピーカなどをさらに備えていてもよい。
【００２８】
サーバ装置２は、一般的なコンピュータ装置である。サーバ装置２は、ネットワーク３を介して混雑状況把握装置１から情報を受信し、サーバ装置２内のデータベース等に蓄積する。そして、サーバ装置２は、蓄積した情報に対して集計処理を適宜行う。そして、サーバ装置２は、蓄積した情報や集計処理の結果を、ネットワーク３を介して混雑状況把握装置１に配信する。
【００２９】
ネットワーク３は、一般的なネットワークであり、具体的にはインターネットである。
【００３０】
図２は、混雑状況把握装置１及びサーバ装置２の機能ブロック図である。図２に示す通り、混雑状況把握装置１は、画像取得部１０、画像認識部１１（画像認識手段）、施設特定部１２（施設特定手段）、混雑状況特定部１３（混雑状況特定手段）、混雑状況情報送信部１４（混雑状況情報送信手段）、位置情報取得部１５（位置情報取得手段）、取得要求送信部１６（取得要求送信手段）、混雑状況情報受信部１７（混雑状況情報受信手段）、及び通知部１８（通知手段）を含んで構成される。また、サーバ装置２は、混雑状況情報受信部２０、混雑状況情報格納部２１（混雑状況情報格納手段）、取得要求受信部２２（取得要求受信手段）、及び混雑状況情報送信部２３を含んで構成される。
【００３１】
混雑状況把握装置１は、ＣＰＵ等のハードウェアから構成されているものである。図３は、混雑状況把握装置１のハードウェア構成の一例を示す図である。図２に示される混雑状況把握装置１は、物理的には、図３に示すように、ＣＰＵ１００、主記憶装置であるＲＡＭ１０１及びＲＯＭ１０２、撮像部１ｂ、表示部１ｃ及び音声入力部１ｄ等の入出力装置１０３、通信モジュール１０４、補助記憶装置１０５、及びＧＰＳ（Global  Positioning  System）１０６等を含むコンピュータシステムとして構成されている。
【００３２】
図２に示す混雑状況把握装置１の各機能ブロックの機能は、図３に示すＣＰＵ１００、ＲＡＭ１０１等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御のもとで入出力装置１０３、通信モジュール１０４、補助記憶装置１０５、及びＧＰＳ１０６を動作させるとともに、ＲＡＭ１０１におけるデータの読み出し及び書き込みを行うことで実現される。
【００３３】
同様に、サーバ装置２は、ＣＰＵ等のハードウェアから構成されているものである。図４は、サーバ装置２のハードウェア構成の一例を示す図である。図２に示されるサーバ装置２は、物理的には、図４に示すように、ＣＰＵ２００、主記憶装置であるＲＡＭ２０１及びＲＯＭ２０２、キーボードやディスプレイ等の入出力装置２０３、通信モジュール２０４、及び補助記憶装置２０５等を含むコンピュータシステムとして構成されている。
【００３４】
図２に示すサーバ装置２の各機能ブロックの機能は、図４に示すＣＰＵ２００、ＲＡＭ２０１等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ２００の制御のもとで入出力装置２０３、通信モジュール２０４、及び補助記憶装置２０５を動作させるとともに、ＲＡＭ２０１におけるデータの読み出し及び書き込みを行うことで実現される。
【００３５】
まず、以下では、図２に示す混雑状況把握装置１の各機能ブロックについて説明する。
【００３６】
画像取得部１０は、撮像部１ｂによって撮像された周辺画像を取得する。画像取得部１０は、混雑状況把握装置１の補助記憶装置１０５に格納された周辺画像を取得してもよいし、他の装置からネットワーク３を介して周辺画像を取得してもよい。画像取得部１０は、取得した周辺画像を、後述の画像認識部１１に出力する。
【００３７】
画像認識部１１は、画像取得部１０から入力された周辺画像、具体的には撮像部１ｂによって撮像された周辺画像を画像認識する。画像認識としては一般的な画像認識技術を採用する。画像認識部１１は、画像認識結果として、例えばＯＣＲ（Optical  Character  Reader）によるテキスト情報や、画像解析による画像オブジェクト情報等を抽出する。画像認識部１１は、抽出した画像認識結果を、後述の施設特定部１２及び混雑状況特定部１３に出力する。
【００３８】
施設特定部１２は、画像認識部１１から入力された画像認識結果に基づいて、ユーザが滞在する施設を特定する。ここで、施設とは、人等の混雑状況を確認する対象となる所定の空間であり、具体的には、店舗、レストランや会場等の建物内の空間や、屋外広場等の屋外空間である。施設特定部１２は、特定した施設に関する情報を後述の混雑状況特定部１３及び混雑状況情報送信部１４に出力する。
【００３９】
図５は、施設特定部１２が、ユーザが滞在する施設を特定している場面を示す図である。図５では、施設特定部１２が、３つの例にてユーザが滞在する施設を特定している。１つ目の例は、レシートＭ１の撮像画像の画像認識結果に基づく施設の特定である。店舗内にて、ユーザが店舗で買い物した際に店舗側によって発行されたレシートＭ１が撮像部１ｂによって撮像されると、画像認識部１１によってレシートＭ１に印字されている店舗名、住所、及び電話番号等のテキスト情報が抽出される。そして、施設特定部１２が、当該テキスト情報に基づいて、ユーザが滞在する施設（店舗）を特定する。施設特定部１２は、施設を特定する際に、画像認識部１１から入力された画像認識結果と共に、混雑状況把握装置１に予め格納された施設に関する施設情報や、他の装置に格納された施設情報を利用して、施設を特定してもよい。
【００４０】
２つ目の例は、ナプキンＭ２の撮像画像の画像認識結果に基づく施設の特定である。レストラン内にて、ユーザが食事している際にユーザが使用しているナプキンＭ２が撮像部１ｂによって撮像されると、画像認識部１１によってナプキンＭ２に印字されているレストラン名及びレストランのロゴマーク等のテキスト情報及び画像オブジェクト情報が抽出される。そして、施設特定部１２が、当該テキスト情報及び画像オブジェクト情報に基づいて、ユーザが滞在する施設（レストラン）を特定する。
【００４１】
３つ目の例は、看板Ｍ３の撮像画像の画像認識結果に基づく施設の特定である。施設外にて、ユーザが施設周辺を眺めている際に施設の看板Ｍ３が撮像部１ｂによって撮像されると、画像認識部１１によって看板Ｍ３に書かれている施設名及び施設のロゴマーク等のテキスト情報及び画像オブジェクト情報が抽出される。そして、施設特定部１２が、当該テキスト情報及び画像オブジェクト情報に基づいて、ユーザが滞在する（予定の）施設を特定する。なお、施設特定部１２が、ユーザが滞在する施設を特定する具体例は上記３つの例に限定されず、その他の施設名が書かれている物品等に基づいてユーザが滞在する施設を特定してもよい。
【００４２】
混雑状況特定部１３は、画像認識部１１による画像認識結果に基づいて、施設特定部１２によって特定された施設の混雑状況を特定する。ここで、混雑状況とは、人等の動物や、車や自転車等の物体の混雑具合のことで、より具体的には「混雑している」、「混雑していない」、「人口密度Ｘ％」、「乗車率Ｘ％」、「満室」、「満車」、「空席あり」、「空」、「残りＸ人」、「待ち時間Ｘ分」、及び「列にＸ人」等が挙げられる。混雑状況特定部１３は、特定した混雑状況に関する情報を後述の混雑状況情報送信部１４に出力する。
【００４３】
図６は、混雑状況特定部１３が、施設の混雑状況を特定している場面を示す図である。図６に示す例では、施設特定部１２から入力された施設に関する情報が示す施設内にて、当該施設内の空間にいる人々が撮像部１ｂによって撮像されると、画像認識部１１によって人々の画像オブジェクト情報が抽出される。そして、混雑状況特定部１３が、当該画像オブジェクト情報に基づいて、施設内の人の密度を算出し（例えば、画像取得部１０によって取得された画像全体に含まれる人の数に基づいて算出）、施設の混雑状況を特定する。混雑状況特定部１３は、図６に示す例に限られず、その他の方法を用いて施設の混雑状況を特定してもよい。
【００４４】
混雑状況情報送信部１４は、施設特定部１２によって特定された施設を識別する施設情報と、混雑状況特定部１３によって特定された混雑状況に関する混雑状況情報とを、サーバ装置２に送信する。より具体的には、混雑状況情報送信部１４は、施設特定部１２から入力された施設に関する情報に基づいて、施設名や施設の位置情報等のテキスト情報である当該施設を識別する施設情報を生成する。また、混雑状況情報送信部１４は、混雑状況特定部１３から入力された混雑状況に関する情報に基づいて、「混雑している」や「混雑していない」等のテキスト情報である混雑状況情報を生成する。そして、混雑状況情報送信部１４は、生成した施設情報と混雑状況情報とを、ネットワーク３を介してサーバ装置２の混雑状況情報受信部２０に送信する。なお、施設情報及び混雑状況情報は、それぞれ施設特定部１２及び混雑状況特定部１３が生成し、混雑状況情報送信部１４に出力し、混雑状況情報送信部１４がそのままサーバ装置２に送信してもよい。
【００４５】
混雑状況情報送信部１４は、混雑状況情報が蓄積され次第、施設情報と混雑状況情報とを、サーバ装置２に送信してもよい。もし、混雑状況把握装置１に混雑情報が蓄積されたときに通信モジュール１０４によるネットワーク通信が不可能な通信エリア外だった場合は、その後にネットワーク通信が可能な通信エリア内に入った時にまとめて施設情報と混雑状況情報とを送信する。
【００４６】
位置情報取得部１５は、特定の位置を示す位置情報を取得する。位置情報の具体例としては、緯度や経度等を含む情報、移動体通信網内の基地局を識別する情報、住所や電話番号を含む情報が挙げられる。位置情報取得部１５は特定の位置を示す位置情報を、ユーザの指示に基づいてユーザから取得してもよいし、混雑状況把握装置１の内部機能から取得してもよいし、他の装置からネットワーク３を介して取得してもよい。また、位置情報取得部１５は、当該混雑状況把握装置１の現在位置を示す位置情報を、ＧＰＳ１０６を介して取得してもよい。位置情報取得部１５は、取得した位置情報を後述の取得要求送信部１６に出力する。
【００４７】
取得要求送信部１６は、混雑状況情報の取得要求をサーバ装置２にネットワーク３を介して送信する。取得要求とは、混雑状況情報の取得を要求する旨の情報である。取得要求送信部１６は、位置情報取得部１５によって取得され、入力された位置情報を含む取得要求であって、混雑状況情報の取得要求をサーバ装置２に送信してもよい。取得要求送信部１６が取得要求を送信するタイミングは、ユーザの指示に基づくものであってもよいし、所定のタイミングであってもよいし、位置情報取得部１５による位置情報取得時であってもよい。
【００４８】
混雑状況情報受信部１７は、混雑状況情報をサーバ装置２からネットワーク３を介して受信する。混雑状況情報受信部１７は、取得要求送信部１６による取得要求のサーバ装置２への送信に応じて、混雑状況情報を当該サーバ装置２から受信してもよい。混雑状況情報受信部１７は、混雑状況情報と共に、当該混雑状況情報が示す混雑状況の対象である施設の施設情報やその他の情報をサーバ装置２から受信してもよい。混雑状況情報受信部１７は、サーバ装置２から受信した混雑状況情報及びその他の情報を後述の通知部１８に出力する。
【００４９】
混雑状況情報受信部１７は、取得要求送信部１６による取得要求のサーバ装置２への送信に応じて、当該サーバ装置２により抽出された、当該取得要求に含まれる位置情報が示す位置から所定の範囲内に位置する施設の混雑状況情報を、当該サーバ装置２から受信してもよい。所定の範囲内の具体例としては、「２００ｍ以内」等の所定の距離以内や、撮像部１ｂが撮像しているエリア内が挙げられる。図７は、ユーザの近隣エリアにおける施設を示す図である。より具体的には、図７は、位置情報取得部１５により当該混雑状況把握装置１の現在位置を示す位置情報が取得され、取得された位置情報が取得要求送信部１６により取得要求に含められてサーバ装置２に送信され、その応答として、混雑状況情報受信部１７により、当該取得要求に含まれる当該位置情報が示す位置から所定の範囲内（近隣エリアＮ）に位置する施設の混雑状況情報を受信した場面を示す。図７において、ユーザの周りには施設Ｓ１〜Ｓ９が位置するが、混雑状況情報受信部１７により受信された混雑状況情報は、ユーザの近隣エリアＮ（例えばユーザから２００ｍ以内）に含まれる施設Ｓ１〜Ｓ４の混雑状況情報のみが含まれる。
【００５０】
通知部１８は、混雑状況情報受信部１７によって受信され、入力された混雑状況情報をユーザに通知する。通知部１８による通知方法の具体例としては、表示部１ｃにテキスト情報又は画像として表示出力、スピーカ等を通した音声出力、バイブレーション機能による振動出力などが挙げられる。
【００５１】
通知部１８は、混雑状況情報受信部１７によって受信された混雑状況情報を、表示部１ｃによって表示された周辺画像に重畳して表示してもよい。図８は、通知部１８が、施設に対して混雑状況情報を重畳して表示している場面を示す図である。図８に示す例では、施設情報「店舗Ａ」及び混雑状況情報「混雑している」の組と、施設情報「店舗Ｂ」及び混雑状況情報「混雑していない」の組とを入力した通知部１８が、表示部１ｃによって表示された周辺画像のうち、「店舗Ａ」を示す画像部分にテキスト情報「混雑している」を重畳して表示し、「店舗Ｂ」を示す画像部分にテキスト情報「混雑していない」を重畳して表示している。
【００５２】
続いて、以下では、図２に示すサーバ装置２の各機能ブロックについて説明する。
【００５３】
混雑状況情報受信部２０は、施設情報と混雑状況情報とを混雑状況把握装置１からネットワーク３を介して受信する。混雑状況情報受信部２０は、受信した施設情報と混雑状況情報とを後述の混雑状況情報格納部２１に出力する。
【００５４】
混雑状況情報格納部２１は、混雑状況情報受信部２０によって受信され、入力された施設情報と混雑状況情報とを対応付けた混雑状況情報テーブルとして、サーバ装置２のデータベース等に格納する。図９は、混雑状況情報テーブルのテーブル例を示す図である。図９に示す通り、混雑状況情報テーブルでは、施設情報と混雑状況情報とが対応付けられて、施設ごとに混雑状況情報が格納されている。混雑状況情報格納部２１は、混雑状況情報テーブルとして、施設情報と混雑状況情報とを送信した混雑状況把握装置１の識別情報や、情報を受信又は格納した日時等、その他の情報をさらに対応付けて格納してもよい。混雑状況情報格納部２１は、一つ以上の混雑状況把握装置１から収集した情報を随時混雑状況情報テーブルに格納し、各施設ごとに最新の混雑状況情報に更新したり、古い情報を削除したりする等の集計・整理処理を行う。
【００５５】
取得要求受信部２２は、取得要求を混雑状況把握装置１からネットワーク３を介して受信する。取得要求受信部２２は、受信した取得要求、又は受信した旨の情報を、後述の混雑状況情報送信部２３に出力する。
【００５６】
混雑状況情報送信部２３は、混雑状況情報格納部２１によって格納された混雑状況情報を混雑状況把握装置１にネットワーク３を介して送信する。混雑状況情報送信部２３は、取得要求受信部２２によって取得要求が受信され、入力された際に、混雑状況情報を送信してもよい。また、混雑状況情報送信部２３は、取得要求受信部２２によって取得要求が受信されると、混雑状況情報格納部２１によって格納された混雑状況情報のうち、当該取得要求に含まれる位置情報が示す位置から所定の範囲内に位置する施設の混雑状況情報を抽出し、抽出した混雑状況情報を混雑状況把握装置１に送信してもよい。混雑状況情報送信部２３は、取得要求に含まれる位置情報が示す位置から所定の範囲内に位置する施設の混雑状況情報を抽出する際に、サーバ装置２に予め格納された施設ごとの位置情報や、他の装置に格納された当該情報を利用して、抽出してもよい。また、混雑状況情報送信部２３は、取得要求受信部２２が受信した取得要求の送信元の混雑状況把握装置１がサーバ装置２に対して送信してきた混雑状況情報以外の混雑状況情報を抽出してもよい。すなわち、取得要求の送信元以外の混雑状況把握装置１が生成及び送信した混雑状況情報を抽出する。その場合、混雑状況情報格納部２１は、混雑状況把握装置１の識別情報も対応付けて格納する。
【００５７】
続いて、図１０に示すフローチャートを用いて、従来技術において混雑状況を把握する際の処理について説明する。
【００５８】
まず、混雑状況に関する混雑情報を提供する施設が、人手を使って生成した混雑情報、又は、自前のシステムを利用して生成した混雑情報をユーザに送信し（ステップＳ０１）、ユーザの携帯電話、スマートフォン又はパーソナルコンピュータ等が混雑情報を受信する（ステップＳ０２）。そして、ユーザが、Ｓ０２にて受信した情報に基づいて混雑状況を確認する（ステップＳ０３）。なお、混雑情報をウェブやメール等で配信していない施設の混雑情報を把握する必要がある場合は、ユーザがその施設へ電話などで直接問い合わせることで混雑状況を把握する。Ｓ０３にて混雑していれば、しばらく間を置いてＳ０２に戻る。Ｓ０３にて混雑していなければ、ユーザが、施設へ行ったり、施設の利用予約等をしたりする（ステップＳ０４）。
【００５９】
次に、図１１及び図１２に示すフローチャートを用いて、本実施形態に係る混雑状況把握装置１で実行される処理（混雑状況把握方法）について説明する。図１１は、混雑状況情報をサーバ装置２にて蓄積するまでの処理を示し、図１２は、混雑状況把握装置１がサーバ装置２から混雑状況情報を受信し、ユーザが行動に移すまでの処理を示す。
【００６０】
図１１において、まず、混雑状況把握装置１を装着したユーザが施設に移動する（ステップＳ１０）。次に、混雑状況把握装置１の画像取得部１０により、施設の周辺画像が取得される（ステップＳ１１）。次に、画像認識部１１により、Ｓ１１にて取得された周辺画像が画像認識される（ステップＳ１２、画像認識ステップ）。次に、施設特定部１２により、Ｓ１２の画像認識結果に基づいて施設が特定される（ステップＳ１３、施設特定ステップ）。次に、混雑状況特定部１３により、Ｓ１２の画像認識結果に基づいて混雑状況が特定される（ステップＳ１４、混雑状況特定ステップ）。次に、混雑状況情報送信部１４により、Ｓ１３にて特定された施設の施設情報と、Ｓ１４にて特定された混雑状況の混雑状況情報とがサーバ装置２に送信される（ステップＳ１５、混雑状況情報送信ステップ）。
【００６１】
次に、サーバ装置２の混雑状況情報受信部２０により、Ｓ１５にて送信された施設情報と混雑状況情報とが受信される（ステップＳ１６、混雑状況情報受信ステップ）。次に、混雑状況情報格納部２１により、Ｓ１６にて受信された施設情報と混雑状況情報とが格納される（ステップＳ１７、混雑状況情報格納ステップ）。
【００６２】
続いて、図１２において、まず、混雑状況把握装置１の位置情報取得部１５により、位置情報が取得される（ステップＳ２０）。次に、取得要求送信部１６により、Ｓ２０にて取得された位置情報を含む取得要求がサーバ装置２に送信される（ステップＳ２１）。次に、サーバ装置２の取得要求受信部２２により、Ｓ２１にて送信された取得要求が受信される（ステップＳ２２）。次に、混雑状況情報送信部２３により、混雑状況情報格納部２１によって格納された混雑状況情報が抽出され（ステップＳ２３）、抽出された混雑状況情報が混雑状況把握装置１に送信される（ステップＳ２４）。
【００６３】
次に、混雑状況把握装置１の混雑状況情報受信部１７により、Ｓ２４にて送信された混雑状況情報が受信される（ステップＳ２５）。次に、通知部１８により、Ｓ２５にて受信された混雑状況情報がユーザに通知される（ステップＳ２６）。次に、ユーザが、Ｓ２５にて通知された混雑状況情報を確認する（ステップＳ２７）。Ｓ２７にて混雑していれば、しばらく間を置いてＳ２６に戻る。Ｓ２７にて混雑していなければ、ユーザが、施設へ行ったり、施設の利用予約等をしたりする（ステップＳ２８）。
【００６４】
次に、本実施形態のように構成された混雑状況把握装置１、サーバ装置２及び混雑状況把握システム４の作用効果について説明する。
【００６５】
本実施形態の混雑状況把握装置１によれば、画像認識結果に基づいて、ユーザが滞在する施設及び当該施設の混雑状況が特定される。つまり、施設側のコストをかけることなく、かつユーザが特別な操作をすることなく、施設の混雑状況が特定される。そして、特定された施設を識別する施設情報と、特定された混雑状況に関する混雑状況情報とがサーバ装置２に送信される。つまり、施設側のコストをかけることなく、施設の混雑状況に関する情報である施設情報と混雑状況情報とがサーバ装置２に蓄積される。
【００６６】
また、本実施形態の混雑状況把握装置１によれば、混雑状況情報がサーバ装置２から受信され、ユーザに通知される。これにより、施設側のコストをかけることなく、かつユーザが特別な操作をすることなく、ユーザが施設の混雑状況を把握することができる。
【００６７】
また、本実施形態の混雑状況把握装置１によれば、取得要求送信部１６を備えることで、自装置が指定したタイミングで混雑状況情報をサーバ装置２から受信することができるため、ユーザの利便性を向上することができる。
【００６８】
また、本実施形態の混雑状況把握装置１によれば、位置情報取得部１５を備えることで、特定の位置から所定の範囲内に位置する施設の混雑状況情報をサーバ装置２から受信することができるため、例えば、ユーザが指定した位置近辺の施設の混雑状況をユーザが把握することができ、ユーザの利便性を向上することができる。
【００６９】
また、本実施形態の混雑状況把握装置１によれば、位置情報取得部１５を備える事で、例えば、ユーザの現在位置近辺の施設の混雑状況をユーザが把握することができ、ユーザの利便性を向上することができる。
【００７０】
また、本実施形態の混雑状況把握装置１によれば、表示部１ｃを備えることで、ユーザに表示された周辺画像に、混雑状況情報が重畳して表示されるため、混雑状況情報がユーザの視界に入りやすく、例えば音や振動でその存在を通知されるよりも確実に気づくことができ、ユーザは施設の混雑状況をより確実に把握することができる。また、例えば、周辺画像に混雑状況情報を重畳して表示する際に、当該情報が示す施設が周辺画像中の実際に存在する場所近辺に重畳して表示することで、ユーザは当該施設が具体的にどの場所にあるかを容易に気づくことができ、ユーザの利便性を向上することができる。
【００７１】
本実施形態の混雑状況把握システム４によれば、混雑状況把握装置１にて、画像認識結果に基づいて、ユーザが滞在する施設及び当該施設の混雑状況が特定される。つまり、施設側のコストをかけることなく、かつユーザが特別な操作をすることなく、施設の混雑状況が特定される。そして、特定された施設を識別する施設情報と、特定された混雑状況に関する混雑状況情報とが混雑状況把握装置１からサーバ装置２に送信され、サーバ装置２にて格納される。つまり、施設側のコストをかけることなく、施設の混雑状況に関する情報である施設情報と混雑状況情報とがサーバ装置２に蓄積される。
【００７２】
ここで、従来技術では、店舗・施設側が自ら混雑状況情報をユーザへ配信しない限りは、ユーザは混雑状況を把握するために店舗・施設へ直接問い合わせる必要がある。また、店舗・施設側が混雑状況情報をユーザへ配信するとしても、混雑状況情報のリアルタイム性を高めれば高めるほど、多くの稼動・コストが店舗・施設側に必要となる。
【００７３】
そこで本実施形態の混雑状況把握システム４では、各ユーザの装着する混雑状況把握装置１が各ユーザの滞在している店舗・施設等を自動特定し、画像認識により混雑状況を把握してサーバ装置２へ自動送信し、別のユーザのヘッドマウントディスプレイに混雑状況を自動表示することで、店舗・施設側への稼働・コストがかからず、ユーザ操作を必要としない、混雑状況の把握が可能となる。
【００７４】
つまり、店舗・施設側が混雑状況情報を配信していなくても、各ユーザの装着する混雑状況把握装置１が自動収集する混雑状況情報に基づいてリアルタイムに混雑状況情報をユーザが把握することができる。さらに、ユーザ操作を伴わず、ユーザが装着する混雑状況把握装置１がユーザの位置を自動特定し、その位置に適した混雑状況情報を表示部１ｃに自動表示することで、ユーザの利便性を向上することができると共に、サーバ装置２の混雑状況情報格納部２１への混雑状況情報の登録増が期待できる。
【００７５】
本実施形態の混雑状況把握装置１は、ヘッドマウントディスプレイだけに限らず、通信モジュール組み込み機器やウェアラブルデバイス等のその他通信機器にも同様に適用可能である。
【符号の説明】
【００７６】
１…混雑状況把握装置、２…サーバ装置、３…ネットワーク、４…混雑状況把握システム、１０…画像取得部、１１…画像認識部、１２…施設特定部、１３…混雑状況特定部、１４…混雑状況情報送信部、１５…位置情報取得部、１６…取得要求送信部、１７…混雑状況情報受信部、１８…通知部、２０…混雑状況情報受信部、２１…混雑状況情報格納部、２２…取得要求受信部、２３…混雑状況情報送信部。
【図１】
2015158866.tif 000003
【図２】
2015158866.tif 000004
【図３】
2015158866.tif 000005
【図４】
2015158866.tif 000006
【図５】
2015158866.tif 000007
【図６】
2015158866.tif 000008
【図７】
2015158866.tif 000009
【図８】
2015158866.tif 000010
【図９】
2015158866.tif 000011
【図１０】
2015158866.tif 000012
【図１１】
2015158866.tif 000013
【図１２】
2015158866.tif 000014