(57)【要約】【課題】施設の営業状態変化推定装置、出力装置、その方法、そのコンピュータプログラム及びそのコンピュータプログラムを記録した記録媒体を提供する。【解決手段】移動体撮像装置により撮影された画像であって、施設の像を含む画像を取得し、該取得した画像において、該施設に対応する領域内の画像データを処理し、該処理の結果に基づいて、該施設の営業の有無を推定する。あるいは、移動体撮像装置により撮影された画像であって、第１の日時に撮影された第１の座標における第１の画像と、該第１の日時と異なる第２の日時に撮影された前記第１の座標における第２の画像とを取得し、該第１の画像に含まれる施設の像を特定し、該第１の画像における該施設に対応する第１の領域内の画像データと、該第２の画像における該第１の領域に対応する第２の領域内の画像データとを比較し、該比較の結果に基づいて、該施設の営業状態の変化を推定する。【選択図】図１
2016125851.tif 000002
【特許請求の範囲】
【請求項１】
移動体撮像装置により撮影された画像であって、施設の像を含む画像を取得する取得部と、
前記取得した画像において、前記施設に対応する領域内の画像データを処理する処理部と、
前記処理の結果に基づいて、前記施設の営業の有無を推定する推定部と、
を備える、施設の営業状態推定装置。
【請求項２】
移動体撮像装置により撮影された画像であって、第１の日時に撮影された第１の座標における第１の画像と、該第１の日時と異なる第２の日時に撮影された前記第１の座標における第２の画像とを取得する取得部と、
前記第１の画像に含まれる施設の像を特定し、該第１の画像における該施設に対応する第１の領域内の画像データと、前記第２の画像における該第１の領域に対応する第２の領域内の画像データとを比較する比較部と、
前記比較の結果に基づいて、前記施設の営業状態の変化を推定する推定部と、
を備える、施設の営業状態推定装置。
【請求項３】
前記取得部は、前記施設の営業状態の推定情報と該施設の位置情報とが関連付けられた営業状態推定情報に基づいて、該位置情報に対応する前記画像を取得する、
請求項１又は２に記載の施設の営業状態推定装置。
【請求項４】
前記営業状態推定情報は、前記施設の検索に関するナビゲーション装置の操作履歴に基づいて生成される、
請求項３に記載の施設の営業状態推定装置。
【請求項５】
プローブカーに備えられた撮像装置により撮影された画像と、該プローブカーに備えられた録音装置により録音された該プローブカーのユーザの音声とを、夫々位置情報及び／又は時間情報と関連付けて取得する取得部と、
前記取得された音声に基づき、前記位置情報及び／又は時間情報と関連付けられた施設の営業状態推定情報を生成する生成部と、
前記取得された画像のうち、前記生成された営業状態推定情報の前記位置情報及び／又は時間情報に対応する画像を抽出する抽出部と、
前記取得された画像を出力する出力部であって、前記抽出された画像を出力する際に該画像と併せて前記営業状態推定情報に対応するガイダンスを出力する出力部と、
を備える、出力装置。
【請求項６】
取得部が、移動体撮像装置により撮影された画像であって、施設の像を含む画像を取得する取得ステップと、
処理部が、前記取得した画像において、前記施設に対応する領域内の画像データを処理する処理ステップと、
推定部が、前記処理の結果に基づいて、前記施設の営業の有無を推定する推定ステップと、
を備える、施設の営業状態推定方法。
【請求項７】
取得部が、移動体撮像装置により撮影された画像であって、第１の日時に撮影された第１の座標における第１の画像と、該第１の日時と異なる第２の日時に撮影された前記第１の座標における第２の画像とを取得する取得ステップと、
比較部が、前記第１の画像に含まれる施設の像を特定し、該第１の画像における該施設に対応する第１の領域内の画像データと、前記第２の画像における該第１の領域に対応する第２の領域内の画像データとを比較する比較ステップと、
推定部が、前記比較の結果に基づいて、前記施設の営業状態の変化を推定する推定ステップと、
を備える、施設の営業状態推定方法。
【請求項８】
前記取得ステップでは、前記施設の営業状態の推定情報と該施設の位置情報とが関連付けられた営業状態推定情報に基づいて、該位置情報に対応する前記画像を取得する、
請求項６又は７に記載の施設の営業状態推定方法。
【請求項９】
前記営業状態推定情報は、前記施設の検索に関するナビゲーション装置の操作履歴に基づいて生成される、
請求項８に記載の施設の営業状態推定方法。
【請求項１０】
取得部が、プローブカーに備えられた撮像装置により撮影された画像と、該プローブカーに備えられた録音装置により録音された該プローブカーのユーザの音声とを、夫々位置情報及び／又は時間情報と関連付けて取得する取得ステップと、
生成部が、前記取得された音声に基づき、前記位置情報及び／又は時間情報と関連付けられた施設の営業状態推定情報を生成する生成ステップと、
抽出部が、前記取得された画像のうち、前記生成された営業状態推定情報の前記位置情報及び／又は時間情報に対応する画像を抽出する抽出ステップと、
出力部が、前記取得された画像を出力する出力ステップであって、前記抽出された画像を出力する際に該画像と併せて前記営業状態推定情報に対応するガイダンスを出力する出力ステップと、
を備える、出力方法。
【請求項１１】
施設の営業状態を推定するコンピュータプログラムにおいて、コンピュータを、
移動体撮像装置により撮影された画像であって、施設の像を含む画像を取得する取得手段と、
前記取得した画像において、前記施設に対応する領域内の画像データを処理する処理手段と、
前記処理の結果に基づいて、前記施設の営業の有無を推定する推定手段として、
機能させる、コンピュータプログラム。
【請求項１２】
施設の営業状態を推定するコンピュータプログラムにおいて、コンピュータを、
移動体撮像装置により撮影された画像であって、第１の日時に撮影された第１の座標における第１の画像と、該第１の日時と異なる第２の日時に撮影された前記第１の座標における第２の画像とを取得する取得手段と、
前記第１の画像に含まれる施設の像を特定し、該第１の画像における該施設に対応する第１の領域内の画像データと、前記第２の画像における該第１の領域に対応する第２の領域内の画像データとを比較する比較手段と、
前記比較の結果に基づいて、前記施設の営業状態の変化を推定する推定手段、
として機能させる、コンピュータプログラム。
【請求項１３】
前記取得手段は、前記施設の営業状態の推定情報と該施設の位置情報とが関連付けられた営業状態推定情報に基づいて、該位置情報に対応する前記画像を取得する、
請求項１１又は１２に記載のコンピュータプログラム。
【請求項１４】
前記営業状態推定情報は、前記施設の検索に関するナビゲーション装置の操作履歴に基づいて生成される、
請求項１３に記載のコンピュータプログラム。
【請求項１５】
プローブカーに備えられた撮像装置により撮影された画像を出力するためのコンピュータプログラムであって、コンピュータを、
前記プローブカーに備えられた撮像装置により撮影された画像と、該プローブカーに備えられた録音装置により録音された該プローブカーのユーザの音声とを、夫々位置情報及び／又は時間情報と関連付けて取得する取得手段と、
前記取得された音声に基づき、前記位置情報及び／又は時間情報と関連付けられた施設の営業状態推定情報を生成する生成手段と、
前記取得された画像のうち、前記生成された営業状態推定情報の前記位置情報及び／又は時間情報に対応する画像を抽出する抽出手段と、
前記取得された画像を出力する出力手段であって、前記抽出された画像を出力する際に該画像と併せて前記営業状態推定情報に対応するガイダンスを出力する出力手段、
として機能させる、コンピュータプログラム。
【請求項１６】
請求項１１〜請求項１５のいずれかに記載のコンピュータプログラムを記録する記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、施設の営業状態変化推定装置、出力装置、その方法、そのコンピュータプログラム及びそのコンピュータプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
近年、ナビゲーション技術やインターネット技術の普及により、車載ナビゲーション装置やスマートフォン等の移動体端末装置を利用した施設の検索が頻繁に行われるようになってきている。施設検索を行う際、施設検索の要である施設データベースの情報が適切に更新されていないと、営業状態が変化した施設、すなわち、閉店廃業や移転等した施設を検索結果として利用者に提供し、案内してしまう等利用者の無駄足となることがある。しかしながら、現地調査等することにより、常に施設の営業状態の変化をチェックすることは、過大な労力を伴い効率的でない。
このような状況において、特許文献１では、端末を携帯した利用者が施設に滞在した時間を用いて、該施設のサービス形態の変化を判定するシステムが開示されている。
本発明に関連する従来技術を開示する特許文献２も参照されたい。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２３８００４号公報
【特許文献２】特開２００４−２３９７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明者は、効率的に施設の営業状態の変化を推定すべく、鋭意検討を重ねてきた。その結果、移動体撮像画像により撮像された画像を利用して、該画像の中に占める施設の領域について処理することにより、該施設の営業状態を自動的に推定することができることに想到した。
【課題を解決するための手段】
【０００５】
この発明は上述の課題に鑑みてなされたものであり、その第１の局面は次のように規定される。即ち、
移動体撮像装置により撮影された画像であって、施設の像を含む画像を取得する取得部と、
前記取得した画像において、前記施設に対応する領域内の画像データを処理する処理部と、
前記処理の結果に基づいて、前記施設の営業の有無を推定する推定部と、
を備える、施設の営業状態推定装置。
【０００６】
このように規定される第１の局面の施設の営業状態推定装置によれば、施設の像を含む画像を取得し、該取得した画像内に占める施設に対応する領域について画像データを処理することにより、該施設の営業の有無を推定する。当該推定の方法としては、例えば、施設領域内をパターンマッチング処理（特に、ＯＣＲ処理（光学式文字読取処理））することが挙げられる。例えば、施設領域内において「閉店」、「ＣＬＯＳＥＤ」、「工事中」、「移転しました」等、施設が営業していないことを示す文字が読み取られた場合、該施設が営業していないと推定される。他の例として、施設領域内の明度等に基づいて、該施設が営業しているか否かを推定しても良い。例えば、周囲の明度が低い環境、即ち、夜間等暗い環境である場合、営業している施設においては、屋内照明や屋外灯により明るい状態であるが、営業していない施設においてはそのような照明がなく暗い状態であることが多いからである。このように、当該装置によれば、画像内の施設が営業しているか否かを自動的に推定することができる。
ここで、移動体としては、撮像装置を携帯可能な移動体であれば良く、例えば、道に沿って移動可能なプローブカーやプローブカー以外の一般車両（四輪、二輪）、自転車、小型飛行機、あるいは、撮像装置を携帯する人間等の動物等が挙げられる。
また、撮像装置としては、静止画、動画を撮像可能な撮像装置であれば良く、カメラやカメラ機能を備えた携帯電話、スマートフォン、ＰＤＡ（Ｐｏｒｔａｂｌｅ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、頭部や腕等に装着可能なウェアラブル機器等が挙げられる。
【０００７】
この発明の第２の局面は次のように規定される。即ち、
移動体撮像装置により撮影された画像であって、第１の日時に撮影された第１の座標における第１の画像と、該第１の日時と異なる第２の日時に撮影された前記第１の座標における第２の画像とを取得する取得部と、
前記第１の画像に含まれる施設の像を特定し、該第１の画像における該施設に対応する第１の領域内の画像データと、前記第２の画像における該第１の領域に対応する第２の領域内の画像データとを比較する比較部と、
前記比較の結果に基づいて、前記施設の営業状態の変化を推定する推定部と、
を備える、施設の営業状態推定装置。
【０００８】
このように規定される第２の局面の施設の営業状態推定装置によれば、異なる日時に同じ座標において撮像された第１の画像と第２の画像とに基づき、該第１の画像内に占める施設の領域と第２の画像内に占める該施設の領域に対応する領域とを比較することにより、該施設の営業状態の変化を推定する。当該推定の方法としては、例えば、上記したＯＣＲ処理を行う方法や、施設領域内の明度等に基づく方法が挙げられる。前者の例として、具体的には、第１の画像において施設領域内から「閉店」等の文字が読み取られず、その後に撮像された第２の画像では施設領域内から「閉店」等の文字が読み取られた場合に、該施設が閉店したと推定できる。また、後者の例として、第１の画像において施設領域内の明度が高く、第２の画像において施設領域内の明度が低い場合に、該施設が閉店したと推定できる。他の例として、第１の画像に位置する施設の像が、その後に撮像された第２の画像内に存在しないこと等により、施設の営業状態の変化を推定しても良い。この場合も、該施設の営業状態として、閉店した旨の推定を行うことができる。このような装置によれば、画像内の施設の営業状態の変化を自動的に推定することが可能となる。
【０００９】
この発明の第３の局面は次のように規定される。即ち、
第１又は第２の局面に規定の装置において、前記取得部は、前記施設の営業状態の推定情報と該施設の位置情報とが関連付けられた営業状態推定情報に基づいて、該位置情報に対応する前記画像を取得する。
このように規定される第３の局面の施設の営業状態推定装置によれば、上記取得部は、施設の営業状態の推定情報が関連付けられた位置情報に対応する画像を取得するため、格納部に格納される全画像を取得することがないため、画像取得処理に係る負荷が軽減される。また、リアルタイムに撮像している場合には、上記施設の営業状態の推定情報が関連付けられた位置情報に連動して画像を撮像することとしても良い。
【００１０】
前記営業状態推定情報は、前記施設の検索に関するナビゲーション装置の操作履歴に基づいて生成される（第４の局面）。例えば、営業状態推定情報は、利用者端末装置の操作履歴であって、該施設を利用しなかった可能性が高いと示唆される操作履歴に基づいて生成することができる。具体的には、利用者が目的地として設定したものの、該施設を利用しなかったと推定可能な操作履歴、すなわち、該設定された施設と同一業種の他の施設を検索若しくは設定した操作履歴や、該設定された施設をデータベースから消去した操作履歴が挙げられる。このような操作履歴に基づけば、該施設が営業していない旨の営業状態を推定可能である。このようにして生成された営業状態推定情報に基づいて取得された画像を用いれば、画像処理に係る負荷を軽減することができるとともに、ダブルチェックの役割も果たすことができるため営業状態推定の精度が向上する。
【００１１】
この発明の第５の局面は次のように規定される。即ち、
プローブカーに備えられた撮像装置により撮影された画像と、該プローブカーに備えられた録音装置により録音された該プローブカーのユーザの音声とを、夫々位置情報及び／又は時間情報と関連付けて取得する取得部と、
前記取得された音声に基づき、前記位置情報及び／又は時間情報と関連付けられた施設の営業状態推定情報を生成する生成部と、
前記取得された画像のうち、前記生成された営業状態推定情報の前記位置情報及び／又は時間情報に対応する画像を抽出する抽出部と、
前記取得された画像を出力する出力部であって、前記抽出された画像を出力する際に該画像と併せて前記営業状態推定情報に対応するガイダンスを出力する出力部と、
を備える、出力装置。
【００１２】
このように規定される第５の局面の出力装置によれば、撮像された画像をユーザの音声とともに、位置情報及び／又は時間情報と関連付けて取得する。そして、該音声に基づいて施設の営業状態推定情報を生成し、該営業状態推定情報が関連付けられた位置情報及び／又は時間情報に対応する画像を抽出し、該画像を上記営業状態推定情報に対応するガイダンスを出力する。このような装置によれば、施設の営業状態をオペレータによる手動あるいは自動で調査する場合において、撮影された画像のうちガイダンスが併せて出力される画像を指標として調査すれば良く、処理負荷の軽減や、オペレータの作業工数を低減することが可能となる。
ここで、上記生成部は、ユーザの音声として、例えば、「閉店」、「廃業」、「閉まっている」等の音声に基づき、施設の営業状態を「閉店」、「廃業」等と推定することができる。
【００１３】
また、この発明の第６の局面は次のように規定される。即ち、
取得部が、移動体撮像装置により撮影された画像であって、施設の像を含む画像を取得する取得ステップと、
処理部が、前記取得した画像において、前記施設に対応する領域内の画像データを処理する処理ステップと、
推定部が、前記処理の結果に基づいて、前記施設の営業の有無を推定する推定ステップと、
を備える、施設の営業状態推定方法。
このように規定される第６の局面の発明によれば、第１の局面と同等の効果を奏する。
【００１４】
この発明の第７の局面は次のように規定される。即ち、
取得部が、移動体撮像装置により撮影された画像であって、第１の日時に撮影された第１の座標における第１の画像と、該第１の日時と異なる第２の日時に撮影された前記第１の座標における第２の画像とを取得する取得ステップと、
比較部が、前記第１の画像に含まれる施設の像を特定し、該第１の画像における該施設に対応する第１の領域内の画像データと、前記第２の画像における該第１の領域に対応する第２の領域内の画像データとを比較する比較ステップと、
推定部が、前記比較の結果に基づいて、前記施設の営業状態の変化を推定する推定ステップと、
を備える、施設の営業状態推定方法。
このように規定される第７の局面の発明によれば、第２の局面と同等の効果を奏する。
【００１５】
この発明の第８の局面は次のように規定される。即ち、
第６又は第７の局面に規定の方法において、前記取得ステップでは、前記施設の営業状態の推定情報と該施設の位置情報とが関連付けられた営業状態推定情報に基づいて、該位置情報に対応する前記画像を取得する。
このように規定される第８の局面の発明によれば、第３の局面と同等の効果を奏する。
【００１６】
この発明の第９の局面は次のように規定される。即ち、
第８の局面に規定の方法において、前記営業状態推定情報は、前記施設の検索に関するナビゲーション装置の操作履歴に基づいて生成される。
このように規定される第９の局面の発明によれば、第４の局面と同等の効果を奏する。
【００１７】
この発明の第１０の局面は次のように規定される。即ち、
取得部が、プローブカーに備えられた撮像装置により撮影された画像と、該プローブカーに備えられた録音装置により録音された該プローブカーのユーザの音声とを、夫々位置情報及び／又は時間情報と関連付けて取得する取得ステップと、
生成部が、前記取得された音声に基づき、前記位置情報及び／又は時間情報と関連付けられた施設の営業状態推定情報を生成する生成ステップと、
抽出部が、前記取得された画像のうち、前記生成された営業状態推定情報の前記位置情報及び／又は時間情報に対応する画像を抽出する抽出ステップと、
出力部が、前記取得された画像を出力する出力ステップであって、前記抽出された画像を出力する際に該画像と併せて前記営業状態推定情報に対応するガイダンスを出力する出力ステップと、
を備える、出力方法。
このように規定される第１０の局面の発明によれば、第５の局面と同等の効果を奏する。
【００１８】
更に、この発明の第１１の局面は次のように規定される。即ち、
施設の営業状態を推定するコンピュータプログラムにおいて、コンピュータを、
移動体撮像装置により撮影された画像であって、施設の像を含む画像を取得する取得手段と、
前記取得した画像において、前記施設に対応する領域内の画像データを処理する処理手段と、
前記処理の結果に基づいて、前記施設の営業の有無を推定する推定手段として、
機能させる、コンピュータプログラム。
このように規定される第１１の局面の発明によれば、第１の局面と同等の効果を奏する。
【００１９】
この発明の第１２の局面は次のように規定される。即ち、
施設の営業状態を推定するコンピュータプログラムにおいて、コンピュータを、
移動体撮像装置により撮影された画像であって、第１の日時に撮影された第１の座標における第１の画像と、該第１の日時と異なる第２の日時に撮影された前記第１の座標における第２の画像とを取得する取得手段と、
前記第１の画像に含まれる施設の像を特定し、該第１の画像における該施設に対応する第１の領域内の画像データと、前記第２の画像における該第１の領域に対応する第２の領域内の画像データとを比較する比較手段と、
前記比較の結果に基づいて、前記施設の営業状態の変化を推定する推定手段、
として機能させる、コンピュータプログラム。
このように規定される第１２の局面の発明によれば、第２の局面と同等の効果を奏する。
【００２０】
この発明の第１３の局面は次のように規定される。即ち、
第１１又は第１２の局面に規定のコンピュータプログラムにおいて、前記取得手段は、前記施設の営業状態の推定情報と該施設の位置情報とが関連付けられた営業状態推定情報に基づいて、該位置情報に対応する前記画像を取得する。
このように規定される第１３の局面の発明によれば、第３の局面と同等の効果を奏する。
【００２１】
この発明の第１４の局面は次のように規定される。即ち、
第１３の局面に規定のコンピュータプログラムにおいて、前記営業状態推定情報は、前記施設の検索に関するナビゲーション装置の操作履歴に基づいて生成される。
このように規定される第１４の局面の発明によれば、第４の局面と同等の効果を奏する。
【００２２】
この発明の第１５の局面は次のように規定される。即ち、
プローブカーに備えられた撮像装置により撮影された画像を出力するためのコンピュータプログラムであって、コンピュータを、
前記プローブカーに備えられた撮像装置により撮影された画像と、該プローブカーに備えられた録音装置により録音された該プローブカーのユーザの音声とを、夫々位置情報及び／又は時間情報と関連付けて取得する取得手段と、
前記取得された音声に基づき、前記位置情報及び／又は時間情報と関連付けられた施設の営業状態推定情報を生成する生成手段と、
前記取得された画像のうち、前記生成された営業状態推定情報の前記位置情報及び／又は時間情報に対応する画像を抽出する抽出手段と、
前記取得された画像を出力する出力手段であって、前記抽出された画像を出力する際に該画像と併せて前記営業状態推定情報に対応するガイダンスを出力する出力手段、
として機能させる、コンピュータプログラム。
このように規定される第１５の局面の発明によれば、第５の局面と同等の効果を奏する。
【００２３】
第１１〜第１５のいずれかの局面に規定されるコンピュータプログラムを記録する記録媒体が第１６の局面として規定される。
【図面の簡単な説明】
【００２４】
【図１】図１は、本発明の実施の形態の装置１の構成を示すブロック図である。
【図２】図２は、本発明の他の実施の形態の装置２１の構成を示すブロック図である。
【図３】図３は、営業状態推定情報を生成するための装置３１の構成を示すブロック図である。
【図４】図４は、装置３１の動作の一例を示すフローチャートである。
【図５】図５は、本発明の他の実施の形態の装置２１の動作の一例を示すフローチャートである。
【図６】図６は、本発明の他の実施の形態の装置４１の構成を示すブロック図である。
【図７】図７は、本発明の他の実施の形態の装置４１の動作の一例を示すフローチャートである。
【図８】図８は、本発明の実施例の装置６１の構成を示すブロック図である。
【発明を実施するための形態】
【００２５】
この発明の実施の形態の施設の営業状態変化推定装置を説明する。
図１に、施設の営業状態変化推定装置１の概略構成を示す。この装置１において、上記移動体はプローブカーであるとして説明するが、上述の通り、これに限られるものではない。
図１に示すように、この営業状態変化推定装置１は、取得部３、処理部５、保存部７及び推定部９を備えている。
【００２６】
取得部３は、プローブカーに備えらえた撮像装置により撮影された画像であって、施設の像を含む画像を取得する。ここで、プローブカーに備えられる撮像装置の設置向きや角度は、走行画像中に外景、特には、道路に面した施設を撮像可能なように設定すれば、特に限定されない。当該撮像装置は、左右両道路面を撮像可能なように複数備えられていても良い。取得部３は、施設の像を含む画像を取得する。施設の像を含む画像としては、定法の画像処理により画像内に施設が写っている旨判定された画像としても良いし、撮像された画像に位置情報が関連付けられている場合には、別に備える施設の位置情報に照らして、施設が位置する地点で撮像された画像としても良い。別の例として、プローブカーに三次元スキャナ装置のような、レーザが物体に反射することにより物体表面の位置や形状を点群データで表現可能な装置を用いて、道路に面した施設の位置を特定し、該施設の位置と画像の撮像位置とに基づき、施設の像が写っている可能性の高い画像を取得することとしても良い。
【００２７】
処理部５は、取得部３で取得した画像において、上記施設に対応する領域内の画像データを処理する。当該処理の方法としては、まず、取得した画像内に占める施設が撮像された領域を特定し、該施設領域についてＯＣＲ処理を行うことができる。他の例としては、当該施設領域について明度や輝度、照度等を演算することとしても良い。また、処理部５は、当該施設領域とともに、該施設領域以外の領域について上記処理を行っても良い。この場合、後述の推定部で、施設領域と施設領域以外の領域との画像データの比較を行うことが可能となる。当該処理の結果は、保存部７に保存される。
【００２８】
推定部９は、処理部５の処理の結果に基づいて、上記施設の営業の有無を推定する。当該推定の方法は、該施設の営業の有無が推定できる方法であれば、特に限定されない。推定部９は、例えば、処理部５においてＯＣＲ処理が行われた場合には、上記施設領域内に「閉店」、「ＣＬＯＳＥＤ」、「工事中」等、施設が営業していないことを示す文字が読み取られたとき、該施設が営業していないと推定することができる。また、処理部５において明度等が演算された場合には、該明度等が所定閾値未満であるとき、該施設が営業していないと推定することができる。明度等を用いて、施設営業の有無を推定する場合には、該画像が撮像された日時に基づき、周囲が暗い日時の画像を用いることが好ましい。また、施設領域外の領域の明度等と比較して、施設領域の明度等が一定値以上低い場合に、該施設が営業していないと推定しても良く、また、当該施設領域以外の施設が占める領域の明度等と比較しても良い。この場合においても、施設領域の明度が該施設以外の施設の領域に比べ一定値以上低い場合に、該施設が営業していないと推定することができる。周囲が暗い中、あるいは他の施設が照明をつけている中、照明をつけていない施設は営業していない可能性が高いからである。この推定部９は、施設の営業曜日、営業時間等に関する情報を参照して、該施設の営業有無を推定することとしても良い。例えば、営業曜日外、営業時間外である場合には、単に閉店していることを示し、営業曜日、営業時間であるにもかかわらず、上記状態である場合には、廃業していることを示している可能性が高いからである。
【００２９】
図２に、他の実施の形態の施設の営業状態推定装置２１を示す。図２において、図１と同一の要素については、その説明を部分的に省略する。
図２に示すのは、同じ座標において異なる日時に撮像された二以上の画像を用いて、施設に対応する領域の画像データの変化に基づき、施設の営業状態の変化を推定可能な施設の営業状態推定装置２１である。すなわち、当該装置２１は、図１に示す装置１において、取得部３、処理部５、保存部７及び推定部９に代えて、夫々取得部２３、比較部２５、保存部２７及び推定部２９を備える。
【００３０】
取得部２３は、プローブカーに備えらえた撮像装置により撮影された画像であって、第１の日時に撮影された第１の座標における第１の画像と、該第１の日時と異なる第２の日時に撮影された前記第１の座標における第２の画像とを取得する。プローブカーに備えられる撮像装置については、取得部３に記載した通りである。また、取得部２３は、二の画像を取得するのに限られず、同一座標において異なる日時に撮影された三以上の画像を取得しても良い。また、取得部２３は、施設の営業状態の推定情報と該施設の位置情報とが関連付けられた営業状態推定情報に基づいて、該位置情報に対応する画像を取得することとしても良い。当該営業状態推定情報は、施設の検索に関するナビゲーション装置の操作履歴等に基づいて生成される。取得部２３は、プローブカーに備えられた撮像装置により撮影された画像が格納された格納部から、該当する画像を取得することができる。
【００３１】
図３に示すのは、施設の検索に関するナビゲーション装置の操作履歴に基づいて営業状態推定情報を生成する装置１０１の概略構成である。
図３に示すように、この営業状態推定情報生成装置１０１は、施設情報保存部１０３、設定部１０５、判定部１０７、取得部１０９、保存部１１１、推定部１１３及び保存部１１５を備えている。
施設情報保存部１０３には、施設の位置及び業種に関する情報が、施設のＩＤあるいは施設の名称と関連付けて保存されている。当該施設としては、特に限定されず、コンビニエンスストア、ガソリンスタンド、飲食店、駐車場等の施設が挙げられる。当該施設の位置としては、該施設の中心地点の位置座標や、該施設に関する領域を表すポリゴンデータ等が挙げられる。また、施設の業種としては、コンビニエンスストア、ガソリンスタンド、飲食店、駐車場等が挙げられる。施設情報保存部１０３には、更に、営業時間、定休日、住所、電話番号等の情報が保存されていても良い。
設定部１０５は、施設情報保存部１０３を参照して、目的地としての施設を設定する。設定部１０５は、例えば、利用者によって入力される検索条件を充足する施設を検索し、目的地として設定することができる。検索条件は、施設の名称、住所、電話番号、業種等、あるいはそれらの組合せにより指定することができる。
【００３２】
判定部１０７は、設定部１０５で設定された目的地への到着を判定する。当該目的地への到着判定は、例えば、施設情報保存部１０３及び後述の現在位置特定部を参照して、利用者端末装置の現在位置が該設定された施設（目的地）の位置と合致、あるいは、該設定された施設の位置から所定範囲内に位置すること等により行うことができる。
取得部１０９は、目的地到着後第１の時間内及び／又は目的地を含む第１の領域内における利用者の操作履歴を取得する。取得部１０９は、後述のインターフェースを介して行われる利用者の操作履歴を取得する。当該操作履歴としては、施設検索操作や施設情報保存部１０３からの施設情報の削除操作等種々の操作履歴が挙げられる。当該操作履歴は、個々の操作が行われた時刻や利用者端末装置の位置と関連付けられていても良い。取得部１０９は、利用者により操作が行われたタイミングで所定の操作履歴を取得しても良いし、操作履歴を蓄積した蓄積部から所定の操作履歴を取得することとしても良い。前者の場合、取得部１０９は、判定部１０７による目的地到着判定を該操作履歴取得開始のトリガとし、該判定後第１の時間経過（例えば、１０分経過）したときを終了のトリガとして、操作履歴を取得することができる。終了トリガの他の例として、利用者端末装置の現在位置が目的地に基づいて形成される第１の領域外（例えば、目的地を中心とする半径５ｋｍ圏外）となったとき、とすることができる。当該第１の領域は、目的地に基づいて形成される他、判定部１０７の判定時の位置情報に基づいて形成することとしても良い。後者の場合、すなわち、操作履歴を蓄積した蓄積部から所定の操作履歴を取得する場合、蓄積された操作履歴に関連付けられた時刻や位置に基づいて、該時刻が第１の時間内あるいは該位置が第１の領域内である操作履歴を取得することができる。当該取得された操作履歴は、設定部１０５で設定された施設の情報と関連付けて保存部１１１に保存される。
【００３３】
推定部１１３は、施設情報保存部１０３を参照して、取得部１０９で取得された操作履歴に、設定部１０５で設定された施設と同一業種の他の施設を検索若しくは設定した操作履歴、又は設定された施設を施設情報保存部１０３から消去した操作履歴が含まれるとき、該操作履歴に基づいて該設定された施設の営業状態の変化を推定する。ここで、施設の営業状態としては、施設の閉店や廃業、営業時間、定休日等が挙げられる。推定部１１３で推定した情報に基づいて、該施設情報にフラグを設定して現地調査の対象としたり、施設情報保存部１０３内の施設の情報に閉店等の情報を関連付ける等することにより活用することができる。また、施設情報保存部１０３に保存された施設情報あるいはインターネットを利用して施設のホームページ等の情報を参照し、当該推定された営業状態をダブルチェックすることとしても良い。例えば、営業状態が推定された根拠となる操作履歴に関連付けられた日時と、ホームページの営業時間、定休日を比較して、操作履歴の日時が営業時間内、定休日外のものであるときには、当該推定に高い信頼度を付与することができる。該推定された営業状態推定情報は、施設の位置情報と関連付けて、保存部４５へ保存される。
【００３４】
図４を用いて、図３に示す装置１０１の動作の一例を説明する。
まず、ステップ１では、設定部１０５は、施設情報保存部１０３を参照して、目的地としての施設Ａを設定する。
ステップ３では、判定部１０７は、施設情報保存部１０３を参照して、ステップ１で設定された施設Ａの位置情報を読み出す。
ステップ５では、判定部１０７は、現在位置特定部を参照して、利用者端末装置の現在位置を読み出す。
ステップ７では、判定部１０７は、ステップ３で読み出された施設Ａの位置情報と、ステップ５で読み出された利用者端末装置の現在位置とに基づき、該利用者端末が施設Ａに到着したか否かを判定する。すなわち、ステップ５の現在位置が、ステップ３の位置情報に基づく所定範囲内に位置するとき（ステップ９：Ｙｅｓ）、利用者端末装置が施設Ａに到着したと判定してステップ１１へ進む。一方、ステップ９において、Ｎｏのとき、ステップ５へ戻る。
【００３５】
ステップ１１では、取得部１０９は、ステップ９でＹｅｓと判定された時刻を到着時刻として、該時刻後１０分間の間の利用者の操作履歴を取得する。
ステップ１３では、推定部１１３は、ステップ１１で取得された操作履歴中に、他施設Ｂの検索操作履歴あるか否かを判定し、該検索操作履歴があるとき（ステップ１３：Ｙｅｓ）、ステップ１５へ進む。
ステップ１５では、推定部１１３は、ステップ１３における他施設Ｂの業種がステップ１で設定された施設Ａの業種と同一であるか否か判定し、両者が同一であるとき（ステップ１５：Ｙｅｓ）、ステップ１７へ進む。
ステップ１７では、推定部１１３は、ステップ１で設定された施設Ａの営業状態を「閉店」と推定する。
【００３６】
図２に戻り、比較部２５は、取得部２３で取得された第１の画像及び第２の画像において、第１の画像に含まれる施設の像を特定し、該第１の画像における該施設に対応する第１の領域内の画像データと、該第２の画像における該第１の領域に対応する第２の領域内の画像データとを比較する。比較部２５は、上記処理部５と同様の処理を行うことにより、両画像データを比較することができる。具体的には、第１の画像における施設に対応する第１の領域を特定し、第２の画像において第１の領域に対応する第２の領域を特定し、特定された第１の領域と第２の領域とを比較する。例えば、第１の領域を占めていた施設の像が第２の領域に存在するか否か等の比較処理を行うことができる。この比較処理は、例えば、両領域の画像データの明度等を比較することにより行っても良い。また、比較部２５は、第１の領域及び第２の領域内の夫々の画像データについてＯＣＲ処理を行い、該ＯＣＲ処理の結果を比較することとしても良い。当該比較の結果は、保存部２７に保存される。
【００３７】
推定部２９は、比較部２５の比較の結果に基づいて、上記施設の営業状態の変化を推定する。推定部２９は、上記推定部９と同様の方法により、施設の営業状態の変化を推定することができる。例えば、比較部２５において第１の領域及び第２の領域の夫々の画像データについてＯＣＲ処理された場合、第１の領域には「閉店」等の文字が読み取られなかったものの、その後に撮像された第２の領域には「閉店」等の文字が読み取られた場合、当該施設は閉店したと推定することができる。また、明度等に基づく処理を行った場合にも、第１の領域に比べて第２の領域の明度等が一定値以上低い場合、当該施設は閉店したと推定することができる。さらに別の例としては、第１の領域を占めていた施設の像が、第２の領域に存在していない場合にも、当該施設は「閉店」や「廃業」等したものと推定することができる。推定部２９は、第１の画像及び第２の画像が撮像された日時や曜日、時間帯等に基づき、曜日ごとにあるいは時間帯ごとに撮像された画像を用いて、営業曜日、営業時間の変更を推定することも可能である。また、同一座標において、継続して画像を撮像することにより、廃業等した施設がいつの時点に廃業したのか、あるいは、いつの時点から営業曜日や営業時間が変更したのかを推定することも可能である。
【００３８】
図５を用いて、図２に示す装置２１の動作の一例を説明する。
まず、ステップ２１では、取得部２３は、施設の営業状態推定情報を参照して、「閉店」等の情報に関連付けられた位置情報を特定する。
ステップ２３では、取得部２３は、ステップ２１で特定された位置情報が関連付けられた第１の画像を取得する。当該第１の画像は、第１の日時、第１の座標において撮像された画像である。
ステップ２５では、取得部２３は、ステップ２３において、第１の画像が取得された際の第１の座標において、第１の日時と異なる日時であって、第１の日時よりも新しい日時である第２の日時に撮像された第２の画像を取得する。
【００３９】
ステップ２７では、比較部２５は、ステップ２３で取得された第１の画像内に占める施設が撮像された領域を第１の領域と特定する。
ステップ２９では、比較部２５は、ステップ２５で取得された第２の画像内において、ステップ２７で特定された第１の領域に対応する領域を第２の領域と特定する。
ステップ３１では、比較部２５は、ステップ２７で特定された第１の領域と、ステップ２９で特定された第２の領域とを比較し、第１の領域に対応する第２の領域に施設が写っていない、すなわち、存在していない場合（ステップ３３：Ｙｅｓ）、ステップ３５へ進む。
ステップ３３では、推定部２９は、ステップ２１において第１の領域に存在する施設について、営業状態を「廃業」したものと推定する。当該推定した結果を、上記施設の営業状態推定情報に反映させることとしても良い。例えば、上記営業状態「閉店」に代えて、あるいは、「閉店」とともに、「廃業」の営業状態を関連付けることとできる。
【００４０】
図６に、この発明の他の実施の形態の出力装置４１を示す。図６において、図１及び図２と同一の要素には同一の符号を付して、その説明を部分的に省略する。
図６に示すのは、プローブカーに備えられた撮像装置により撮像された画像を出力する際に、画像とともに取得されたユーザの音声に基づき生成された施設の営業状態推定情報に対応するガイダンスを出力することにより、取得された画像を調査する場合の特に調査を要する画像の指標とすることが可能な出力装置である。すなわち、当該装置４１は、取得部４３、生成部４５、保存部４７、抽出部４９及び出力部５１を備えている。
取得部４３は、プローブカーに備えられた撮像装置により撮影された画像と、該プローブカーに備えられた録音装置により録音された該プローブカーのユーザの音声とを、夫々位置情報及び／又は時間情報と関連付けて取得する。
【００４１】
生成部４５は、取得部４３で取得された音声に基づき、該音声が録音された際の位置情報及び／又は時間情報に関連付けられた施設の営業状態推定情報を生成する。当該生成の方法は、特に限定されないが、音声中に「閉店」、「お店が閉まってる」、「お店がなくなってる」等の施設が閉店や廃業等したことを示唆するワードが含まれている場合に、営業状態推定情報として、該ワードを録音した位置に位置する施設の営業状態を「閉店」や「廃業」等と推定し、該情報を生成する。当該生成された営業状態推定情報は、位置情報及び／又は時間情報に関連付けて保存部４７に保存される。
抽出部４９は、取得部４３で取得された画像のうち、生成部４５で生成された営業状態推定情報に関連付けられた位置情報及び／又は時間情報に対応する画像を抽出する。例えば、抽出した画像にフラグを設定して、後述の出力部による出力の際のガイダンスを併せて出力する画像の指標としても良い。
【００４２】
出力部５１は、取得部４３で取得された画像を出力する出力部であって、抽出部４９で抽出された画像を出力する際に該画像と併せて営業状態推定情報に対応するガイダンスを出力する。当該営業状態推定情報に対応するガイダンスは、文字であっても良く、音声であっても良い。営業状態推定情報が関連付けられた施設は、閉店等している可能性が高いため、施設の閉店情報を取集する際に、より注力して調査する必要があるためである。具体的に、前者の場合、例えば、出力される画像の隅に「閉店の可能性がある施設が写っています！」や「要チェック！」等、オペレータの注意を引くようなメッセージを表示することができる。また、後者の場合、例えば、画像が出力される際、あるいは画像が出力されている間、「施設の営業状態を確認してください！」や「閉店の可能性がある施設が写っています！」等のメッセージを流すことができる。あるいは、文字や音声の他にも、出力される画像のフレームを黄色等目立つ色で縁取りしたり、該縁取りしたフレームを点滅させたり、フラグのマークを表示させたりしても同様の効果を得ることができる。出力部５１は、取得部４３で取得した画像を連続して出力する際に、該当する画像について上記ガイダンスを添えることができる。また、出力部５１は、抽出部４９で抽出された画像に限定して出力することとしても良い。
【００４３】
図７を用いて、図６に示す装置４１の動作の一例を説明する。
まず、ステップ４１では、取得部４３は、撮影された画像及び該画像と連動して録音されたユーザの音声を、撮像された位置情報と関連付けて取得する。
ステップ４３では、生成部４５は、ステップ４１で取得された音声中に「閉店」等施設の閉店を示唆するワードが含まれているか判定し、該ワードが含まれている場合にステップ４５へ進む（ステップ４３：Ｙｅｓ）。
ステップ４５では、生成部４５は、ステップ４３のワードが抽出された音声の位置に基づき、該位置に関連付けられた施設の営業状態を「閉店」と推定する情報を生成し、保存する。
ステップ４７では、抽出部４９は、ステップ４１で取得された画像から、ステップ４５で生成された営業状態推定情報に対応する音声の位置に基づき、該位置に対応する画像を抽出する。
ステップ４９では、出力部５１は、ステップ４７で抽出された画像を出力する際に、ステップ４５で生成された営業状態推定情報に対応するガイダンスとして「要チェック！」の文字を画像の右上隅に併せて出力する。
【００４４】
図８に、この発明の実施例の営業状態変化推定装置６１を示す。図８において、図１、図２及び図３と同一の要素には同一の符号を付して、その説明を部分的に省略する。
図８に示す装置６１は、制御部６１０、メモリ部６１１、入力部６１２、出力部６１３、インターフェース部６１４、施設情報保存部６１５、取得部２３、比較部２５、保存部２７及び推定部２９を備えている。
制御部６１０はＣＰＵ、バッファメモリその他の装置を備えたコンピュータ装置であり、営業状態変化推定装置６１を構成する他の要素を制御する。
【００４５】
メモリ部６１１にはコンピュータプログラムが保存され、このコンピュータプログラムはコンピュータ装置である制御部６１０に読み込まれて、これを機能させる。このコンピュータプログラムは、営業状態変化推定装置の記憶装置としての内蔵ハードディスク又は内蔵メモリ、営業状態変化推定装置に差し替え可能な記憶媒体としてのＳＤ（登録商標）メモリカード、メモリスティック、スマートメディア、コンパクトフラッシュ（登録商標）、ＤＶＤ等の汎用的な媒体へ保存できる。
入力部６１２は、例えば、ユーザの指令の入力に用いられる。例えば、取得部２３において取得すべき画像を手動にて選択する場合や、比較２５において第１の画像内に占める施設の像が写っている領域を手動で特定する場合等が挙げられる。入力部６１２として、マウス、ライトペン又はディスプレイの表示内容と協働するタッチパネル等のポインティングデバイスやキーボード又はマイクロホン等の音声入力装置を用いることができる。
出力部６１３はディスプレイを含み、取得された画像、推定の結果等を表示する。その他、施設情報保存部６１５に保存される施設の情報等を表示することができる。この出力部６１３は音声発信部を含むこともできる。
【００４６】
インターフェース部６１４は営業状態変化推定装置６１を無線ネットワーク等へ連結させる。
施設情報保存部６１５には施設に関する情報が保存される。当該保存される施設情報は、上述の施設情報保存部３３に保存される内容と同様である。施設情報保存部６１５には、さらに、上記装置３１で推定し、生成された営業状態推定情報が施設情報に関連付けて保存されていても良い。
【００４７】
以上、本発明の実施の形態及び実施例について説明してきたが、これらのうち、２つ以上の実施の形態（実施例）を組み合わせて実施しても構わない。あるいは、これらのうち、１つの実施の形態（実施例）を部分的に実施しても構わない。さらには、これらのうち、２つ以上の実施の形態（実施例）を部分的に組み合わせて実施しても構わない。
【００４８】
この発明は、上記発明の実施の形態及び実施例の説明に何ら限定されるものではない。特許請求の範囲の記載を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。
【符号の説明】
【００４９】
１  ２１  施設の営業状態変化推定装置
３  ２３  ４３  取得部
５  処理部
９  ２９  推定部
２５  比較部
４１  出力装置
４５  生成部
４９  抽出部
５１  出力部
【図１】
2016125851.tif 000003
【図２】
2016125851.tif 000004
【図３】
2016125851.tif 000005
【図４】
2016125851.tif 000006
【図５】
2016125851.tif 000007
【図６】
2016125851.tif 000008
【図７】
2016125851.tif 000009
【図８】
2016125851.tif 000010