(57)【要約】【課題】利用者の席の使用状況を適切に判定すること。【解決手段】顧客がどのタイミングで着席・離席したか、また、一定の時間内に何人の顧客が席を利用したかなどの状況を把握するため、所定値以上の映像変化率となる時刻の前後の時刻において生成される利用状況情報に基づいて、当該所定値以上の映像変化率となる時刻における利用状況情報を決定する。 【選択図】図１
2019117631.tif 000002
【特許請求の範囲】
【請求項１】
複数の判定エリアの利用状況を把握する情報処理システムであって、
所定の周期で撮像された各時刻の映像について、予め設定された基準映像に対する映像変化率を取得する取得手段と、
前記取得手段で取得された映像変化率に基づき、前記映像に含まれる判定エリアごとに利用状況情報を生成する生成手段と、
所定値以上の映像変化率となる時刻の前後の時刻における利用状況情報に基づいて、当該所定値以上の映像変化率となる時刻における利用状況情報を決定する決定手段と
を備えることを特徴とする情報処理システム。
【請求項２】
前記決定手段は、前記所定値以上の映像変化率となる時刻の前後の時刻における前記判定エリアの利用状況情報に基づいて、当該所定値以上の映像変化率となる時刻において、当該判定エリアの利用者の入替があったかを決定することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記生成手段により生成された利用状況情報を表示させるよう制御する表示制御手段
を備えることを特徴とする請求項１または２に記載の情報処理システム。
【請求項４】
前記記憶手段は、前記映像に対して複数のエリアを記憶し、
前記取得手段は、前記複数のエリアごとに前記映像変化率を取得し、
前記決定手段は、前記取得手段で前記所定値以上の前記映像変化率を検出された前記エリアが複数ある場合に、当該エリアをグループとして決定すること
を特徴とする請求項１乃至３に記載の情報処理システム。
【請求項５】
前記記憶手段は、前記複数のエリアの位置情報を記憶し、
前記決定手段は、前記エリアが複数ある場合に、当該エリアの前記位置情報が所定の位置関係を示す場合に、前記エリアをグループとして決定すること
を特徴とする請求項５に記載の情報処理システム。
【請求項６】
前記生成手段で生成された利用状況情報を通知する通知手段を更に備えることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
【請求項７】
複数の判定エリアの利用状況を把握する情報処理装置であって、
所定の周期で撮像された各時刻の映像について、予め設定された基準映像に対する映像変化率を取得する取得手段と、
前記取得手段で取得された映像変化率に基づき、所定値以上の映像変化率となる時刻において、当該判定エリアにおける利用者の入替があったかを判定する判定手段と
を備えることを特徴とする情報処理装置。
【請求項８】
複数の判定エリアの利用状況を把握する情報処理システムの制御方法であって、
所定の周期で撮像された各時刻の映像について、予め設定された基準映像に対する映像変化率を取得する取得ステップと、
前記取得ステップで取得された映像変化率に基づき、前記映像に含まれる判定エリアごとに利用状況情報を生成する生成ステップと
所定値以上の映像変化率となる時刻の前後の時刻における利用状況情報に基づいて、当該所定値以上の映像変化率となる時刻における利用状況情報を決定する決定ステップと
を含むことを特徴とする情報処理システムの制御方法。
【請求項９】
複数の判定エリアの利用状況を把握する情報処理装置であって、
所定の周期で撮像された各時刻の映像について、予め設定された基準映像に対する映像変化率を取得する取得手段と、
前記取得手段で取得された映像変化率に基づき、前記映像に含まれる判定エリアごとに利用状況情報を生成する生成手段と、
所定値以上の映像変化率となる時刻の前後の時刻における利用状況情報に基づいて、当該所定値以上の映像変化率となる時刻における利用状況情報を決定する決定手段と
を備えることを特徴とする情報処理装置。
【請求項１０】
複数の判定エリアの利用状況を把握する情報処理装置の制御方法であって、
所定の周期で撮像された各時刻の映像について、予め設定された基準映像に対する映像変化率を取得する取得ステップと、
前記取得ステップで取得された映像変化率に基づき、前記映像に含まれる判定エリアごとに利用状況情報を生成する生成ステップと、
所定値以上の映像変化率となる時刻の前後の時刻における利用状況情報に基づいて、当該所定値以上の映像変化率となる時刻における利用状況情報を決定する決定ステップと
を含むことを特徴とする情報処理装置の制御方法。
【請求項１１】
複数の判定エリアの利用状況を把握するコンピュータを制御するプログラムであって、
前記コンピュータを、
所定の周期で撮像された各時刻の映像について、予め設定された基準映像に対する映像変化率を取得する取得手段と、
前記取得手段で取得された映像変化率に基づき、前記映像に含まれる判定エリアごとに利用状況情報を生成する生成手段と、
所定値以上の映像変化率となる時刻の前後の時刻における利用状況情報に基づいて、当該所定値以上の映像変化率となる時刻における利用状況情報を決定する決定手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
利用者の入れ替わりと滞在とを適切に判定することのできる情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、レストランなどの飲食店では、店舗内を撮影するカメラを設置して、そのカメラの映像で店舗内の状況を把握するシステムが普及している。例えば下記の特許文献１では、所定値以上の映像変化率の継続を検出して利用者の滞在を判定する仕組みが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−２４４９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の仕組みにより利用者の滞在を判定すると、例えば都心部などの混雑した飲食店であれば、常に利用者が滞在しているという情報を取得することは可能である。しかしながら、飲食店などを運営する運営事業者としては、顧客がどのタイミングで着席・離席したかなど、また、ある一定の時間内に何人の顧客が利用したかなどの状況についても把握したいことがある。特許文献１の仕組みでは、利用者が離席した直後に別の利用者が滞在を始めたようなケースなどではある一定の時間内に何人の顧客が利用したかを判定することはできなかった。
【０００５】
そこで、本発明は、利用者の席の使用状況を適切に判定することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、複数の判定エリアの利用状況を把握する情報処理システムであって、所定の周期で撮像された各時刻の映像について、予め設定された基準映像に対する映像変化率を取得する取得手段と、前記取得手段で取得された映像変化率に基づき、前記映像に含まれる判定エリアごとに利用状況情報を生成する生成手段と、所定値以上の映像変化率となる時刻の前後の時刻における利用状況情報に基づいて、当該所定値以上の映像変化率となる時刻における利用状況情報を決定する決定手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、利用者の席の使用状況を適切に判定することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態における情報処理システムのシステム構成の一例を示す概念図である。
【図２】本実施形態におけるサーバ１００、クライアントＰＣ１０１のハードウェア構成の一例を示す概念図である。
【図３】本実施形態におけるネットワークカメラ１０２のハードウェア構成の一例を示す概念図である。
【図４】本実施形態におけるサーバ１００の機能構成の一例を示す概念図である。
【図５】店舗内のイメージを示すイメージ図である。
【図６】ネットワークカメラ１０２で撮影するように設定された、利用者の滞在を判定するためのエリアである判定エリアを示す図である。
【図７】本発明の第１の実施形態における詳細な処理の流れを説明するフローチャートである。
【図８】本発明の第１の実施形態及び第２に実施形態における詳細な処理の流れを説明するフローチャートである。
【図９】条件テーブル９００のデータテーブルの一例を示す概念図である。
【図１０】映像変化率テーブル１０００のデータテーブルの一例を示す概念図である。
【図１１】状況管理テーブル１１００のデータテーブルの一例を示す概念図である。
【図１２】状況画面１２００の画面例を示す模式図である。
【図１３】条件Ｂテーブル１３００のデータテーブルの一例を示す概念図である。
【図１４】映像変化率Ｂテーブル１４００のデータテーブルの一例を示す概念図である。
【図１５】状況管理Ｂテーブル１５００のデータテーブルの一例を示す概念図である。
【図１６】状況画面Ｂ１６００の画面例を示す模式図である。
【図１７】本発明の第２に実施形態における詳細な処理の流れを説明するフローチャートである。
【図１８】ステータス判定テーブル１８００のデータテーブルの一例を示す概念図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。飲食店を例として説明しているが、オフィスや駅など他の場所でも当然適用可能である。
【００１０】
［第１の実施形態］
まず、図１を用いて、本発明の実施形態におけるモニタリングシステムの全体構成の一例について説明する。
【００１１】
本発明の実施形態におけるモニタリングシステム（情報処理システム）は、サーバ１００、クライアントＰＣ１０１、ネットワークカメラ１０２が、無線（、または有線）ＬＡＮ１２０を介して通信接続可能に接続されている。尚、図１のシステム構成は一例であり、用途や目的に応じて様々な構成例がある。
【００１２】
サーバ１００は、ネットワークカメラ１０２において撮影された画像データを記憶管理する。また、サーバ１００は、当該サーバ１００で記憶管理する画像データを解析し、撮影された利用者の滞在状況・入れ替わり状況を判定する。さらに、サーバ１００は、判定した結果をユーザに対して通知する機能を有する。
【００１３】
本発明の実施形態におけるモニタリングシステムは、ネットワークカメラ１０２を複数含み、また、ＴＣＰ／ＩＰプロトコルで通信を行っており、各ネットワークカメラ１０２には、固定のＩＰアドレスが独自に割り当てられると共に、ネットワーク群毎に割り当てられた外部ポート番号が割り当てられている。
【００１４】
従って、サーバ１００では、受信した画像データが何れのネットワークカメラ１０２から送信されたものなのかを識別することが可能であり、受信した画像データと何れのネットワークカメラ１０２から送信されたものなのかを対応づけて記憶管理することが可能である。
【００１５】
ネットワークカメラ１０２は、例えば、飲食店などの店舗に設けられ、飲食店の店舗内を撮影する。図５を用いて説明する。図５は店舗内のイメージを示すイメージ図である。店舗を運営する事業者は、店舗内に設置された顧客の利用スペース（椅子）の配置を検討する際、時間帯ごとに利用スペースの利用状況を把握する必要がある。また、顧客ごとの入れ替わりのタイミングであったり、回転率などを把握したりしたい。
【００１６】
図５に示すように、複数のネットワークカメラ１０２が設置されており、複数のネットワークカメラ１０２は、顧客の利用スペースを撮影する。
【００１７】
図６は、ネットワークカメラ１０２で撮影するように設定された、利用者の滞在を判定するためのエリアである判定エリアを示す図である。本実施形態では、顧客による店舗の利用状況を確認するために、ネットワークカメラで撮影された映像上に複数の判定エリアが設定される。図６に示すように、１つの判定エリアに１人の人物が対応するように、人物の身体の大きさを基準にして設定すればよい。なお、判定エリアの位置や大きさはユーザが適宜に設定することが可能である。
【００１８】
クライアントＰＣ１０１は、サーバ１００で管理する画像データ（ネットワークカメラ１０２の映像）をユーザが閲覧するために用いられる。ユーザは、クライアントＰＣ１０１を介して、モニタリングシステムにログインすることにより、画像データの閲覧が可能となる。ユーザは画像を閲覧することで、打ち合わせスペースにユーザがいるかを確認することができる。以上で、図１の説明を終了する。
【００１９】
次に、図２を用いて、図１に示したサーバ１００、クライアントＰＣ１０１に適用可能な情報処理装置のハードウェア構成の一例について説明する。
【００２０】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００２１】
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。
【００２２】
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１０等の表示器への表示を制御する。なお、図２では、ディスプレイ２１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。
【００２３】
２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
【００２４】
２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００２５】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００２６】
本発明を実現するための後述する各種プログラムは、外部メモリ２１１（記憶手段に相当する）に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上で、図２の説明を終了する。
【００２７】
次に、図３を用いて、図１に示したネットワークカメラ１０２のハードウェア構成の一例について説明する。図３は、ネットワークカメラ１０２のハードウェアの構成を示す構成図である。
【００２８】
ＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ３０２あるいは外部メモリ３０５には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各種プログラム等が記憶されている。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。
【００２９】
ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＡＭ３０３にロードして、プログラムを実行することで各種動作を実現するものである。
【００３０】
メモリコントローラ（ＭＣ）３０６は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ、画像データ等を記憶するハードディスク（ＨＤ）やＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュメモリやスマートメディア（登録商標）等の外部メモリ３０５へのアクセスを制御する。
【００３１】
カメラ部３０７は、画像処理部３０８と接続されており、監視対象に対して向けられたレンズを透過して得られた光をＣＣＤやＣＭＯＳ等の受光セルによって光電変換を行った後、ＲＧＢ信号や補色信号を画像処理部３０８に対して出力する。
【００３２】
画像処理部３０８は、ＲＧＢ信号や捕色信号に基づいて、ホワイトバランス調整、ガンマ処理、シャープネス処理を行い、更に、ＹＣ信号処理を施して輝度信号Ｙとクロマ信号（以下、ＹＣ信号）を生成し、ＹＣ信号を所定の圧縮形式（例えばＪＰＥＧフォーマット、あるいはＭｏｔｉｏｎＪＰＥＧフォーマット等）で圧縮し、この圧縮されたデータは、画像データとして外部メモリ３０５へ一時保管される。
【００３３】
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）３０９は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行しており、外部メモリ３０５に記憶された画像データは、通信Ｉ／Ｆコントローラ３０９によって外部機器へ送信される。以上で、図３の説明を終了する。
【００３４】
次に、図４を用いて、本発明の実施形態におけるサーバ１００の機能構成の一例を説明する。
【００３５】
サーバ１００は、機能構成として、記憶制御部４０１、映像変化率取得部４０２、判定部４０３を備えている。
【００３６】
記憶制御部４０１は、所定のサンプリング周期をおいた各時刻の映像を記憶するよう制御する機能部である。映像変化率取得部４０２は、各時刻の映像についてあらかじめ設定さえた基準映像に対する映像変化率を取得する機能部である。判定部４０３は、第１の閾値以上の映像変化率が検出された場合には利用者の滞在と判定し、第２の閾値以上の映像変化率が検出された場合には利用者の入れ替わりと判定する機能部である。
【００３７】
以上で、図４に示すサーバ１００の機能構成の一例の説明を終了する。
【００３８】
次に、本発明の第１の実施形態における詳細な処理の流れについて、図７及び図８のフローチャートを用いて説明する。
【００３９】
図７は第１の実施形態における詳細な処理の流れを説明するフローチャートである。
【００４０】
ステップＳ７０１では、サーバ１００のＣＰＵ２０１が、ネットワークカメラ１０２で撮影された映像データを取得する処理を行う。映像データは、ユーザの入力操作に応じて設定された判定エリア６００を少なくとも含むデータである。
【００４１】
ステップＳ７０２とステップＳ７０３は、映像データに設定された複数の判定エリア６００のすべての判定エリア６００の処理が終了するまでループ処理を行う。例えば図６であれば９つの判定エリア６００が存在するまでループ処理を行う。。
【００４２】
ステップＳ７０２では、サーバ１００のＣＰＵ２０１が、ステップＳ７０１で取得された映像データの１フレームに対して、処理の対象となる判定エリア６００を取得する。図６であれば９つの判定エリア６００が存在するうちのいずれか一つを処理の対象として取得する。
【００４３】
ステップＳ７０３では、サーバ１００のＣＰＵ２０１が、ステップＳ７０２で取得された判定エリア６００の映像変化率を算出して取得する（映像変化率取得手段に相当する）。本実施形態では、サンプリング周期をおいた時刻の映像と比較して、その直前の時刻の映像に対する映像変化率を取得する。映像変化率は、判定エリア６００の映像において顕著な変化が現れた画素がどの程度存在するかを表すものである。具体的には、判定エリア６００の映像を画素ごとに比較して、顕著な変化が現れた画素の数の全画素数に対する割合を映像変化率とする。また、映像変化率を算出するに当たっては、画素値の変化量を所定の閾値と比較して、画素数の変化量が閾値を超えた場合に、顕著な変化が現れた画素とすればよい。また、他の実施形態として、あらかじめ記憶された映像に対する映像変化率を計算するようにしてもよい。
【００４４】
ステップＳ７０４では、サーバ１００のＣＰＵ２０１が、映像データに次のフレームが存在するか否かを判定する。次のフレームが存在すると判定された場合には次のフレームの処理を行うべく処理をステップＳ７０２に戻し、次のフレームに対して、ステップＳ７０２、７０３の処理を行う。次のフレームが存在しないと判定された場合には処理をステップＳ７０５に進める。
【００４５】
すべてのフレームに対して、判定エリアごとの映像変化率を算出して得られたデータは、例えば図１０に示す映像変化率テーブル１０００である。図１０に示す映像変化率テーブル１０００では、フレームレートを１０ｆｐｓとして、フレーム番号（フレームＮｏ．）を５０おきのフレームを対象として映像変化率を取得したものである。すなわち、サンプリングの周期は５秒である。これは例であって、他の周期であっても構わない。図１０に示す映像変化率テーブル１０００は映像データすべてのうち、一部（１分間に相当する）の映像データの映像変化率を説明のために示している。席１と図６の「１」に相当する判定エリア６００とは対応関係にある。席１乃至９と図６の「１」乃至「９」はそれぞれ対応関係にある。
【００４６】
ステップＳ７０５〜ステップＳ７１０については、すべての判定エリア６００の処理が終了するまでループ処理を行う。
【００４７】
ステップＳ７０５では、サーバ１００のＣＰＵ２０１が、単位時間（１分間）ごとの映像変化率の平均値１００１を算出する。例えば図１０に示すように席１乃至９の平均値１００１を算出する。
【００４８】
ステップＳ７０６では、サーバ１００のＣＰＵ２０１が、図９の条件テーブル９００を参照する。条件テーブル９００は、映像変化率９０１と、ステータス９０２とが対応付けられたデータテーブルである。図９に示すように、映像変化率９０１が０．０〜０．１の場合にはステータス９０２を「空席」、映像変化率９０１が０．２〜１０（第１の閾値に相当する）の場合（第１の閾値未満）にはステータス９０２を「在席中」、映像変化率９０１が１１〜４０（第２の閾値に相当する）の場合にはステータス９０２を「離席」として管理している。条件テーブル９００は、映像変化率に基づいて、利用者のステータスを決定するためのテーブルである。
【００４９】
ステップＳ７０７では、サーバ１００のＣＰＵ２０１が、ステップＳ７０５で算出された映像変化率の平均値が、ステップＳ７０６で参照した条件テーブル９００のステータス９０２のいずれに該当するかを判定する（判定手段に相当する）。なお、判定の対象の値は、本実施形態では平均値を用いたが、必ずしも平均値である必要はなく、フレームすべてに対してステータスを判定して、得られたステータスに基づいて最終的なステータスを決定するようにしても構わない。平均値とすることで、サーバ１００の処理負荷が低減されるとともに、ノイズの影響を低下させることも可能となる効果がある。
【００５０】
例えば図１０の映像変化率テーブルで説明する。図１０の「席１」は、平均値１００１が「０．３」なので「在席中」であると判定することができる。「席４」は、平均値１００１が「１５．９」なので「離席」であると判定することができる。「席６」は、平均値１００１が「０．０」なので、「空席」であると判定することができる。「在席中」と判定された場合には処理をステップＳ７０８に進め、「離席」と判定された場合には処理をステップＳ７０９に進め、「空席」と判定された場合には処理をステップＳ７１０に進める。
【００５１】
一般的に、映像の中にユーザが居ない場合には映像変化率は０となる。また、ユーザが在席中は、人は一定の揺れや、動作をしていることが多い。全く動かないということはないため、少なくとも人が存在する場合には一定以上の映像変化率を検出することができる。一方で、ユーザが離席をする場合には、在席に比べて非常に大きな動作を行うため、一時的に映像変化率が高い状態となる。したがって、離席の第２の閾値を在席中の第１の閾値より高く設定することにより、適切にユーザの在席の状態を判断することができる。
【００５２】
ステップＳ７０８では、サーバ１００のＣＰＵ２０１が、該当の判定エリアを「在席中」（滞在に相当する）と記憶する。
【００５３】
ステップＳ７０９では、サーバ１００のＣＰＵ２０１が、該当の判定エリアを「離席」（入れ替わりに相当する）と記憶する。
【００５４】
ステップＳ７１０では、サーバ１００のＣＰＵ２０１が、該当の判定エリアを「空席」（不在に相当する）と記憶する。
【００５５】
ステップＳ７０８乃至ステップＳ７１０で単位時間ごとに判定エリア６００すべてについて記憶した例が、図１１の状況管理テーブル１１００である。図１１に示す状況管理テーブル１１００は、単位時間（１分間）ごとのステータスを記憶するデータテーブルの一例を示す図である。このように、判定エリア６００（席１〜９）の単位時間ごとのステータス（在席中であるのか離席をしたのか、空席なのか）を細かく把握することが可能となる。なお、単位時間は任意に設定可能である。
【００５６】
以上で、図７に示すフローチャートの説明を終了する。図７に続いて本実施形態の詳細な処理の流れを、図８のフローチャートを用いて説明する。
【００５７】
図８は図７に続く本発明の第１の実施形態の詳細な処理の流れを説明するフローチャートである。
【００５８】
ステップＳ７１１では、サーバ１００のＣＰＵ２０１が、ステップＳ７０８乃至７１０で記憶された状況管理テーブル１１００を参照し、同一時間帯に「離席」と記憶された判定エリア６００が複数あるか否かを判定する。複数あると判定された場合には処理をステップＳ７１３に進め、そうでない場合には処理をステップＳ７１２に進める。
【００５９】
ステップＳ７１２では、サーバ１００のＣＰＵ２０１が、ステップＳ７１３で複数あると判定された複数の判定エリア６００同士の距離が近いか否か（所定の位置関係にあるか否か）を判定する。距離が近いかどうかは、あらかじめ記憶された判定エリア６００の位置情報に基づいて判定してもよいし、判定エリア６００の「席１」などの番号が近いか否かで判定してもよい。すなわち、近い席で同時に離席をした場合には利用者がグループだったことを特定することができる。近いことを所定の位置関係として説明したが、実施形態として遠い場合でもよいし、円卓などの対応付けられた位置関係にあるか否かで、所定の位置関係にあるか否かを判定するようにしても構わない。
【００６０】
ステップＳ７１３では、サーバ１００のＣＰＵ２０１が、「離席」された利用者を単独利用者として記憶する。
【００６１】
ステップＳ７１４では、サーバ１００のＣＰＵ２０１が、離席された複数の利用者をグループ利用者として記憶する。例えば図１１の状況管理テーブル１１００に示すように「席８」と「席９」の「１２：０６」の離席を、「離席（グループ）」として記憶する。
【００６２】
ステップＳ７１５では、サーバ１００のＣＰＵ２０１が、すべての単位時間に対してステップＳ７１１の判定処理が終了したか否かを判定する。すべての単位時間に対してステップＳ７１１の判定処理が終了したと判定された場合には処理をステップＳ７１６に進め、そうでない場合には処理を図７のステップＳ７０５に戻す。
【００６３】
ステップＳ７１６では、サーバ１００のＣＰＵ２０１が、ユーザから判定エリア６００の利用状況を示す状況画面１２００（図１２）の表示指示を受け付けたか否かを判定する。表示指示を受け付けたと判定された場合には処理をステップＳ７１７に進め、そうでない場合には、指示を受け付けるまで待機する。
【００６４】
ステップＳ７１７では、サーバ１００のＣＰＵ２０１が、図１２に示す状況画面１２００をディスプレイ２１０に表示する。状況画面１２００は、図１１の状況管理テーブル１１００の情報をユーザに対して通知するための画面である。ユーザが一覧でわかりやすいように、「空席」を白色、「在席中」を淡いグレー、「離席」を濃いグレーで表示している。なお、「離席（グループ）」の場合には、グループであることが分かるように「グループ」の表記をしている。なお、上記の表記はあくまでも例であって、それぞれの状況が識別可能となっていれば表示方法は問わない。また、「離席」の数をもとに（例えば離席の時間帯を在席中の時間帯が挟み込んでいる場合には離席の数＋１を利用人数１２０１とする等）、表示されている単位時間における利用人数１２０１を表示することもできる。従来の仕組みでは、在席中か否かしか分からなかったところ、利用者の入れ替わりも検出できるようになったため、該当の時間における利用者の人数も把握することが可能となる効果がある。
【００６５】
以上で図８に示すフローチャートの説明を終了する。
【００６６】
［第２の実施形態］
次に、本発明の第２の実施形態について説明を行う。尚、第２の実施形態は、第１の実施形態と、ほぼ同様な構成及び処理を行うことから、同一の構成及び処理については、同一の符号を用いて説明を行い、詳細な説明は省略する。
【００６７】
本発明の第２の実施形態における詳細な処理の流れについて、図１７及び図８のフローチャートを用いて説明する。
【００６８】
図１７は第２の実施形態における詳細な処理の流れを説明するフローチャートである。
【００６９】
ステップＳ７０１〜Ｓ７０５は、第１の実施形態と同一の処理であるため、説明を省略する。
【００７０】
ステップＳ１７０１では、サーバ１００のＣＰＵ２０１が、図１３の条件Ｂテーブル１３００を参照する。条件Ｂテーブル１３００は、図９の条件テーブルにレコードを追加したものであり、映像変化率９０１と、ステータス９０２とが対応付けられたデータテーブルである。図１３に示すように、映像変化率９０１が０．１未満の場合にはステータス９０２を「空席」、映像変化率９０１が０．１以上１０未満の場合にはステータス９０２を「在席中」、映像変化率９０１が１０以上２０未満の場合にはステータス９０２を「離席または着席」、映像変化率９０１が２０以上の場合にはステータス９０２を「入替」として管理している。条件Ｂテーブル１３００は、映像変化率に基づいて、利用者のステータスを決定するためのテーブルである。
【００７１】
なお、映像変化率９０１が１０以上２０未満の場合にはステータス９０２を「離席または着席」として管理しているが、前後のステータスに基づいて、「離席」か「着席」かを決定することができる。
【００７２】
ステップＳ１７０２では、サーバ１００のＣＰＵ２０１が、ステップＳ７０５で算出された映像変化率の平均値が、ステップＳ１７０１で参照した条件Ｂテーブル１３００のステータス９０２のいずれに該当するかを判定する。なお、判定の対象の値は、本実施形態では平均値を用いたが、必ずしも平均値である必要はなく、フレームすべてに対してステータスを判定して、得られたステータスに基づいて最終的なステータスを決定するようにしても構わない。平均値とすることで、サーバ１００の処理負荷が低減されるとともに、ノイズの影響を低下させることも可能となる効果がある。
【００７３】
例えば図１４の映像変化率Ｂテーブルで説明する。図１４の「席１」は、平均値１００１が「０．０５」なので「空席」であると判定することができる。「席４」は、平均値１００１が「３．０」なので「在席」であると判定することができる。「席７」は、平均値１００１が「１６．４」なので、「離席または着席」であると判定することができる。「席５」は、平均値１００１が「２５．４」なので、「入替」であると判定することができる。
【００７４】
「入替」と判定された場合には処理をステップＳ１７０３に進め、「在席」と判定された場合には処理をステップＳ１７０４に進め、「離席または着席」と判定された場合には処理をステップＳ１７０５に進め、「空席」と判定された場合には処理をステップＳ１７０６に進める。
【００７５】
一般的に、映像の中にユーザが居ない場合には映像変化率は０となる。
【００７６】
また、ユーザが在席中は、人は一定の揺れや、動作をしていることが多い。全く動かないということはないため、少なくとも人が存在する場合には一定以上の映像変化率を検出することができる。
【００７７】
一方で、ユーザが離席（席を離れる動作）をする場合、もしくは、着席（席につく動作）をする場合、在席中に比べると動作が大きくなり、一時的に映像変化率が高い状態となる。
【００７８】
そして、ユーザＡの離席とユーザＢの着席とをほぼ同タイミングで行う場合、すなわちユーザの入替が行われている場合、離席単体もしくは着席単体と比較するとさらに動作が大きくなり、映像変化率がさらに高い状態となる。
【００７９】
ステータス９０２に「入替」を設けることによって、席の利用人数をより適切に把握することができる。
【００８０】
このように、映像変化率に関していくつか閾値を設けることで、席の使用状態（利用状況情報に相当する）を適切に判断することができる。
【００８１】
ステップＳ１７０３では、サーバ１００のＣＰＵ２０１が、該当の判定エリアを「入替」と記憶する。
【００８２】
ステップＳ１７０４では、サーバ１００のＣＰＵ２０１が、該当の判定エリアを「在席」と記憶する。
【００８３】
ステップＳ１７０５では、サーバ１００のＣＰＵ２０１が、該当の判定エリアを「離席または着席」と記憶する。
【００８４】
ステップＳ１７０６では、サーバ１００のＣＰＵ２０１が、該当の判定エリアを「空席」と記憶する。
【００８５】
ステップＳ１７０７では、サーバ１００のＣＰＵ２０１が、該当の判定エリアについて、Ｓ１７０５で記憶したステータスの１つ前段階のステータス、すなわち、該当する判定エリアについて直近で記憶されたステータスが、「在席」、「空席」のいずれに該当するかを判定する。
【００８６】
「在席」と判定された場合には処理をステップＳ１７０８に進め、「空席」と判定された場合には処理をステップＳ１７０９に進め、「在席」とも「空席」とも判定されなかった場合には、次の判定エリアに関して処理を行う。
【００８７】
すなわち、「在席」とも「空席」とも判定されなかった場合には、ステータス９０２は「離席または在席」とする。
【００８８】
ステップＳ１７０８では、サーバ１００のＣＰＵ２０１が、該当の判定エリアを「離席」に変更する。
【００８９】
該当の判定エリアを「離席」に変更するのは、１つ前段階のステータス９０２が在席であれば、１つ前段階ですでにユーザは席についているので、現在のステータスが「着席」ではなく「離席」であると判定できるためである。
【００９０】
例えば、図１５に示す状況管理Ｂテーブル１５００に示すように、席２において、１２：００に「在席」であり１２：０２に「空席」である場合には、１２：０１には「離席」であると判定される。
【００９１】
ステップＳ１７０９では、サーバ１００のＣＰＵ２０１が、該当の判定エリアを「着席」と記憶する。
【００９２】
該当の判定エリアを「着席」に変更するのは、１つ前段階のステータス９０２が空席であれば、１つ前段階でユーザは席にいないので、現在のステータスが「離席」ではなく「着席」であると判定できるためである。
【００９３】
例えば、図１５に示す状況管理Ｂテーブル１５００に示すように、席１において、１２：０３に「空席」であり１２：０５に「在席」である場合には、１２：０４には「着席」であると判定される。
【００９４】
以上で図１７に示すフローチャートの説明を終了する。
【００９５】
図８は図１７に続く本発明の第２の実施形態の詳細な処理の流れを説明するフローチャートである。
【００９６】
ステップＳ７１１〜Ｓ７１６は、第１の実施形態と同一の処理であるため、説明を省略する。
【００９７】
ステップＳ７１７では、サーバ１００のＣＰＵ２０１が、図１６に示す状況画面Ｂ１６００をディスプレイ２１０に表示する（表示制御手段に相当する）。状況画面Ｂ１６００は、図１２に示す状況画面１２００と同様な構成を備え、図１５の状況管理Ｂテーブル１５００の情報をユーザに対して通知するための画面である。ユーザが一覧でわかりやすいように、「空席」を白色とし、「在席」、「着席」または「離席」、「入替」の順で濃いグレー色で表示している。なお、「離席（グループ）」の場合には、グループであることが分かるように「グループ」の表記をしている。なお、上記の表記はあくまでも例であって、それぞれの状況が識別可能となっていれば表示方法は問わない。
【００９８】
［その他の実施形態］
本発明の第１の実施形態及び第２の実施形態では、サーバ１００において映像の変化の度合いを示す映像変化率を用いて席の使用状況を判定したが、例えばネットワークで通信可能に接続された外部の処理装置やクラウドなどに映像の処理を行わせ、映像変化を示す指標（スコア）を生成させ、外部の処理装置やクラウドから、サーバ１００が映像変化を示す指標（スコア）を受信して、その指標に対して閾値を用いて判定することで席の使用状況を判定する手法もとることが可能である。
【００９９】
また、本発明の第２の実施形態では、Ｓ１７０２で判定するステータス９０２は、「空席」、「在席」、「離席または着席」、「入替」であるが、「空席」、「在席」、「離席または着席または入替」とし、離席、着席、入替のいずれであるかの判断は、１つ前段階のステータス９０２と１つ後段階のステータス９０２とに基づいて決定しても良い。
【０１００】
具体的には、図１８のステータス判定テーブル１８００を用いて説明する。
【０１０１】
ステータス判定テーブル１８００は、１つ前段階１８０１、現段階１８０２、及び１つ後段階１８０３で構成されている。
【０１０２】
１つ前段階１８０１が「在席」で、１つ後段階１８０３も「在席」であれば、現段階１８０２は「入替」と判定される。
【０１０３】
１つ前段階１８０１が「空席」で、１つ後段階１８０３が「在席」であれば、現段階１８０２は「着席」と判定される。
【０１０４】
１つ前段階１８０１が「在席」で、１つ後段階１８０３が「空席」であれば、現段階１８０２は「離席」と判定される。
【０１０５】
１つ前段階１８０１がで「空席」、１つ後段階１８０３も「空席」であれば、現段階１８０２は「異常」と判定される。「空席」と「空席」との間に突然大きな映像変化率があったということは、席周辺に置かれているものが即座に盗難されたなども考えられる。
【０１０６】
以上、本発明によれば、利用者の席の使用状況を適切に判定することが可能となる。
【０１０７】
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置の情報処理装置が前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【０１０８】
したがって、本発明の機能処理を情報処理装置で実現するために、前記情報処理装置にインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１０９】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１１０】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【０１１１】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０１１２】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理を情報処理装置で実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１１３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行して情報処理装置にインストールさせて実現することも可能である。
【０１１４】
また、情報処理装置が、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、情報処理装置上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１１５】
さらに、記録媒体から読み出されたプログラムが、情報処理装置に挿入された機能拡張ボードや情報処理装置に接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０１１６】
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１１７】
１００  サーバ
２０１  ＣＰＵ
２０２  ＲＡＭ
２０３  ＲＯＭ
２０４  システムバス
２０５  入力コントローラ
２０６  ビデオコントローラ
２０７  メモリコントローラ
２０８  通信Ｉ／Ｆコントローラ
２０９  キーボード
２１０  ディスプレイ
２１１  外部メモリ
【図１】
2019117631.tif 000003
【図２】
2019117631.tif 000004
【図３】
2019117631.tif 000005
【図４】
2019117631.tif 000006
【図５】
2019117631.tif 000007
【図６】
2019117631.tif 000008
【図７】
2019117631.tif 000009
【図８】
2019117631.tif 000010
【図９】
2019117631.tif 000011
【図１０】
2019117631.tif 000012
【図１１】
2019117631.tif 000013
【図１２】
2019117631.tif 000014
【図１３】
2019117631.tif 000015
【図１４】
2019117631.tif 000016
【図１５】
2019117631.tif 000017
【図１６】
2019117631.tif 000018
【図１７】
2019117631.tif 000019
【図１８】
2019117631.tif 000020