(57)【要約】【課題】  利便性の高い席情報の処理を低コストで実現する。【解決手段】  本発明は、席情報を取得して提供する席情報処理システムに関する。そして、本発明の席情報処理システムは、１又は複数の席が配置された施設内を撮像する撮像手段と、撮像手段が撮像した時系列ごとのフレームに基づいて施設内の席の利用状況を示す席情報を取得する席情報取得手段とを備え、席情報取得手段は、各フレーム間について、ピクセルごとに対応する正規化ピクセルベクトルのフレーム間内積値を取得し、各フレーム間のフレーム間内積値に基づいて、各フレームにおける前景領域を認識し、認識した前景領域に基づいて、各フレームに映っている人オブジェクトを認識し、人オブジェクト認識処理の結果に基づいて、前記施設内で利用されている利用中席数を認識することを特徴とする。【選択図】      図１
2020135323.tif 000002
【特許請求の範囲】
【請求項１】
１又は複数の席が配置された施設内を撮像する撮像手段と、
前記撮像手段が撮像した時系列ごとのフレームに基づいて、少なくとも前記施設内で利用されている利用中席数を認識し、認識した利用中席数に基づいて前記施設内の席の利用状況を示す席情報を取得する席情報取得手段を備え、
前記席情報取得手段は、
各フレームについて、ピクセルごとにピクセル値をベクトル化したピクセルベクトルを取得し、さらに取得した各ピクセルベクトルを正規化した正規化ピクセルベクトルを取得するピクセルベクトル処理手段と、
時系列が隣接するフレーム間で、ピクセルごとに対応する正規化ピクセルベクトルのフレーム間内積値を取得する内積値取得手段と、
内積値取得手段が取得した各フレーム間のフレーム間内積値に基づいて、各フレームにおける前景領域を認識する前景領域認識手段と、
前記前景領域認識手段が認識した前景領域に基づいて、各フレームに映っている人オブジェクトを認識する人オブジェクト認識処理を行い、人オブジェクト認識処理の結果に基づいて、前記施設内で利用されている利用中席数を認識する認識手段とを有する
ことを特徴とする席情報処理システム。
【請求項２】
前記前景領域認識手段は、各フレーム間のフレーム間内積値を所定の閾値に基づいて２値化した結果に基づいて、各フレームにおける前景領域を認識することを特徴とする請求項１に記載の席情報処理システム。
【請求項３】
１又は複数の席が配置された施設内を撮像した時系列ごとのフレームに基づいて、少なくとも前記施設内で利用されている利用中席数を認識し、認識した利用中席数に基づいて前記施設内の席の利用状況を示す席情報を取得する席情報取得手段を有し、
前記席情報取得手段は、
各フレームについて、ピクセルごとにピクセル値をベクトル化したピクセルベクトルを取得し、さらに取得した各ピクセルベクトルを正規化した正規化ピクセルベクトルを取得するピクセルベクトル処理手段と、
時系列が隣接するフレーム間で、ピクセルごとに対応する正規化ピクセルベクトルのフレーム間内積値を取得する内積値取得手段と、
内積値取得手段が取得した各フレーム間のフレーム間内積値に基づいて、各フレームにおける前景領域を認識する前景領域認識手段と、
前記前景領域認識手段が認識した前景領域に基づいて、各フレームに映っている人オブジェクトを認識する人オブジェクト認識処理を行い、人オブジェクト認識処理の結果に基づいて、前記施設内で利用されている利用中席数を認識する認識手段とを有する
ことを特徴とする席情報取得装置。
【請求項４】
コンピュータを、
１又は複数の席が配置された施設内を撮像した時系列ごとのフレームに基づいて、少なくとも前記施設内で利用されている利用中席数を認識し、認識した利用中席数に基づいて前記施設内の席の利用状況を示す席情報を取得する席情報取得手段として機能させ、
前記席情報取得手段は、
各フレームについて、ピクセルごとにピクセル値をベクトル化したピクセルベクトルを取得し、さらに取得した各ピクセルベクトルを正規化した正規化ピクセルベクトルを取得するピクセルベクトル処理手段と、
時系列が隣接するフレーム間で、ピクセルごとに対応する正規化ピクセルベクトルのフレーム間内積値を取得する内積値取得手段と、
内積値取得手段が取得した各フレーム間のフレーム間内積値に基づいて、各フレームにおける前景領域を認識する前景領域認識手段と、
前記前景領域認識手段が認識した前景領域に基づいて、各フレームに映っている人オブジェクトを認識する人オブジェクト認識処理を行い、人オブジェクト認識処理の結果に基づいて、前記施設内で利用されている利用中席数を認識する認識手段とを有する
ことを特徴とする席情報取得プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、席情報処理システム、席情報取得装置及び席情報取得プログラムに関し、例えば、レストランやカフェ等の飲食店や図書館等の席（座席）への着席を伴う施設における席の情報を処理するシステムに適用し得る。
【背景技術】
【０００２】
従来、レストラン等における席の空き状況を認識して空き情報を生成して提供（例えば、インターネット上で提供）する技術が知られている。
【０００３】
従来の空き情報を提供する技術としては、例えば、特許文献１の技術が存在する。
【０００４】
特許文献１では、施設内の利用者が利用可能な場所において利用者が不在の場所を示す情報を空き情報として提供する技術である。特許文献１の記載技術では、予め飲食店等において、各座席の位置情報を登録しておき、人感センサ（温度検出センサを用いた人感センサ）で、それぞれの座席の位置における人（顧客）の有無を認識し、人（顧客）の認識ができない座席を空いている席として空き情報を生成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−１７７７７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の記載技術を始めとする従来の技術では、空き情報を取得する前提として、飲食店の席のレイアウトの詳細に関する情報入力が必要であるため、レイアウト変更の度にレイアウトの詳細情報の入力が必要となるため利便性が低いという問題があった。
【０００７】
また、特許文献１の記載技術では、各席の着席状況を認識するために専用のセンサ（人感センサ）が必要であるため、導入するコストが高くなるという問題があった。
【０００８】
上記のような問題に鑑みて、利便性の高い席情報の処理を低コストで実現する席情報処理システム、席情報取得装置及び席情報取得プログラムが望まれている。
【課題を解決するための手段】
【０００９】
第１の本発明は、（１）１又は複数の席が配置された施設内を撮像する撮像手段と、（２）前記撮像手段が撮像した時系列ごとのフレームに基づいて、少なくとも前記施設内で利用されている利用中席数を認識し、認識した利用中席数に基づいて前記施設内の席の利用状況を示す席情報を取得する席情報取得手段を備え、（３）前記席情報取得手段は、（３−１）各フレームについて、ピクセルごとにピクセル値をベクトル化したピクセルベクトルを取得し、さらに取得した各ピクセルベクトルを正規化した正規化ピクセルベクトルを取得するピクセルベクトル処理手段と、（３−２）時系列が隣接するフレーム間で、ピクセルごとに対応する正規化ピクセルベクトルのフレーム間内積値を取得する内積値取得手段と、（３−３）内積値取得手段が取得した各フレーム間のフレーム間内積値に基づいて、各フレームにおける前景領域を認識する前景領域認識手段と、（３−４）前記前景領域認識手段が認識した前景領域に基づいて、各フレームに映っている人オブジェクトを認識する人オブジェクト認識処理を行い、人オブジェクト認識処理の結果に基づいて、前記施設内で利用されている利用中席数を認識する認識手段とを有することを特徴とする。
【００１０】
第２の本発明は席情報取得装置において、（１）１又は複数の席が配置された施設内を撮像した時系列ごとのフレームに基づいて、少なくとも前記施設内で利用されている利用中席数を認識し、認識した利用中席数に基づいて前記施設内の席の利用状況を示す席情報を取得する席情報取得手段を有し、（２）前記席情報取得手段は、（３−１）各フレームについて、ピクセルごとにピクセル値をベクトル化したピクセルベクトルを取得し、さらに取得した各ピクセルベクトルを正規化した正規化ピクセルベクトルを取得するピクセルベクトル処理手段と、（３−２）時系列が隣接するフレーム間で、ピクセルごとに対応する正規化ピクセルベクトルのフレーム間内積値を取得する内積値取得手段と、（３−３）内積値取得手段が取得した各フレーム間のフレーム間内積値に基づいて、各フレームにおける前景領域を認識する前景領域認識手段と、（３−４）前記前景領域認識手段が認識した前景領域に基づいて、各フレームに映っている人オブジェクトを認識する人オブジェクト認識処理を行い、人オブジェクト認識処理の結果に基づいて、前記施設内で利用されている利用中席数を認識する認識手段とを有することを特徴とする。
【００１１】
第３の本発明の席情報取得プログラムは、コンピュータを、（１）１又は複数の席が配置された施設内を撮像した時系列ごとのフレームに基づいて、少なくとも前記施設内で利用されている利用中席数を認識し、認識した利用中席数に基づいて前記施設内の席の利用状況を示す席情報を取得する席情報取得手段として機能させ、（２）前記席情報取得手段は、（２−１）各フレームについて、ピクセルごとにピクセル値をベクトル化したピクセルベクトルを取得し、さらに取得した各ピクセルベクトルを正規化した正規化ピクセルベクトルを取得するピクセルベクトル処理手段と、（２−２）時系列が隣接するフレーム間で、ピクセルごとに対応する正規化ピクセルベクトルのフレーム間内積値を取得する内積値取得手段と、（２−３）内積値取得手段が取得した各フレーム間のフレーム間内積値に基づいて、各フレームにおける前景領域を認識する前景領域認識手段と、（２−４）前記前景領域認識手段が認識した前景領域に基づいて、各フレームに映っている人オブジェクトを認識する人オブジェクト認識処理を行い、人オブジェクト認識処理の結果に基づいて、前記施設内で利用されている利用中席数を認識する認識手段とを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、利便性の高い席情報の処理を低コストで実現することができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る席情報処理システムの全体構成について示したブロック図である。
【図２】実施形態に係るローカルコンピュータの機能的構成について示したブロック図である。
【図３】実施形態に係るＤＢサーバの機能的構成について示したブロック図である。
【図４】実施形態に係る店舗情報ＤＢの構成例について示した説明図である。
【図５】実施形態に係るＷｅｂアプリサーバの機能的構成について示したブロック図である。
【図６】実施形態に係るクライアント端末の機能的構成について示したブロック図である。
【図７】実施形態に係る店舗内部の平面図である。
【図８】実施形態に係る店舗内部をカメラから見た場合の図（斜視図）である。
【図９】実施形態に係るカメラで撮像された映像の例（その１）である。
【図１０】実施形態に係るカメラで撮像された映像の例（その２）である。
【図１１】実施形態に係るオブジェクト認識部が取得する前景領域画像の例について示した説明図である。
【図１２】実施形態に係るオブジェクト認識部が画像から切り出す外接矩形の例について示した説明図である。
【図１３】実施形態に係るオブジェクト認識部による動体認識処理の流れについて示したフローチャートである。
【図１４】実施形態に係るＷｅｂアプリサーバが提供する店舗選択画面（Ｗｅｂ画面）の構成例について示した説明図である。
【図１５】実施形態に係るＷｅｂアプリサーバが提供する店舗情報提供画面（Ｗｅｂ画面）の構成例について示した説明図である。
【発明を実施するための形態】
【００１４】
（Ａ）主たる実施形態
以下、本発明による席情報処理システム、席情報取得装置及び席情報取得プログラムの一実施形態を、図面を参照しながら詳述する。
【００１５】
（Ａ−１）実施形態の構成
図１は、この実施形態の席情報処理システム１の全体構成を示すブロック図である。
【００１６】
まず、席情報処理システム１の全体の概要について説明する。
【００１７】
席情報処理システム１は、１又は複数の飲食店等の施設の席に係る情報（以下、「席情報」と呼ぶ）を処理するシステムである。
【００１８】
この実施形態では、席情報処理システム１は、Ｎ個（Ｎは任意の整数）の店舗（第１の店舗〜第Ｎの店舗）の席情報を処理するシステムであるものとして説明する。
【００１９】
席情報処理システム１では、それぞれの店舗（第１〜第Ｎの店舗）に、店舗内を撮像するためのカメラ１０（１０−１〜１０−Ｎ）と、店舗内の席情報等を処理するローカルコンピュータ２０（２０−１〜２０−Ｎ）が配置されている。
【００２０】
また、席情報処理システム１では、各店舗のローカルコンピュータ２０（２０−１〜２０−Ｎ）から各店舗の席情報を含む情報を保持し、席情報の被提供者が所持するクライアント端末５０に提供する席情報提供装置として、Ｗｅｂアプリサーバ３０を有している。さらに、席情報処理システム１では、Ｗｅｂアプリサーバ３０で、種々のデータを管理する手段としてＤＢサーバ４０が配置されている。なお、本発明の席情報提供装置を構成する装置（コンピュータ）の数や、装置間の接続構成は限定されないものである。なお、この実施形態では、図１に示すように、Ｗｅｂアプリサーバ３０及びＤＢサーバ４０はデータセンタに設置されているものとして説明する。
【００２１】
クライアント端末５０は、上述の通り店舗の席情報の被提供者の所持する端末であり、被情報提供者の操作に応じて、Ｗｅｂアプリサーバ３０に接続して、各店舗の席情報を取得して表示する処理を行う。
【００２２】
席情報処理システム１内の各装置は、相互に通信が可能となっているものとする。この実施形態の例では、席情報処理システム１内の各装置は、インターネットを介して相互に接続可能な構成となっているものとして説明する。
【００２３】
次に、席情報処理システム１を構成する各装置の構成について説明する。
【００２４】
まず、各店舗内に設置されるカメラ１０（１０−１〜１０−Ｎ）とローカルコンピュータ２０（２０−１〜２０−Ｎ）の構成について説明する。なお、各店舗に設置される装置の詳細構成（例えば、ハードウェア構成）は異なるものとしてもよいが、機能的には図１に示すように同じ構成として示すことができる。
【００２５】
各店舗に設置されるカメラ１０は、設置店舗内部の所定の領域内（席情報の処理対象となる席（例えば、椅子等の座席）を含む領域内）を撮像するカメラである。カメラ１０としては、種々のデジタルカメラを適用することができる。カメラ１０は、店舗内を撮像した画像を、同じ店舗内のローカルコンピュータ２０に供給する。
【００２６】
ローカルコンピュータ２０は、設置された店舗内の席情報の処理を行う装置である。具体的には、ローカルコンピュータ２０は、カメラ１０から供給された画像に基づいて店舗内の席情報を取得し、取得した席情報をＷｅｂアプリサーバ３０に供給する。
【００２７】
この実施形態では、ローカルコンピュータ２０が取得する席情報には、すくなくとも、当該設置店舗で処理対象となる席（以下、「処理対象席」と呼ぶ）のうち利用されずに空いている席（以下、「空席」と呼ぶ）の数（以下、「空席数」と呼ぶ）を認識可能な情報が含まれているものとする。
【００２８】
具体的には、この実施形態の例では、ローカルコンピュータ２０が取得する席情報には、設置店舗で処理対象席の数（以下、「設置席数」とも呼ぶ）と、処理対象席のうち利用者（例えば、店舗の顧客）が利用中（例えば、着席中）の席（以下、「利用中席」とも呼ぶ）の数（以下、「利用中席数」とも呼ぶ）の情報が含まれているものとする。なお、ローカルコンピュータ２０は、席情報として空席数自体を取得するようにしてもよい。また、席情報提供装置（Ｗｅｂアプリサーバ３０及びＤＢサーバ４０）側で各設置店舗の設置席数の情報が保持されている場合には、ローカルコンピュータ２０は単に利用中席数のみを席情報として取得するようにしてもよい。
【００２９】
ローカルコンピュータ２０の内部構成は、機能的には図２のように示すことができる。ローカルコンピュータ２０としては、例えば、メモリ及びプロセッサを有するコンピュータ（例えば、ＰＣ、シングルボードコンピュータ、マイクロコンピュータ等）にプログラム(実施形態に係る「席情報取得プログラム」を含む）をインストールすることにより構築してもよい。
【００３０】
図２に示すように、ローカルコンピュータ２０は、映像取得部２１、オブジェクト認識部２２、席情報処理部２３、及びデータ記録部２４を有している。
【００３１】
データ記録部２４は、ローカルコンピュータ２０内での各処理で利用される各種データを記録するデータ記録手段である。
【００３２】
映像取得部２１は、所定の期間（以下、この期間を「Ｔ１」と表す）ごとに、カメラ１０が撮像した画像（フレーム）を取得して、オブジェクト認識部２２に供給する処理を行う。映像取得部２１は、期間Ｔ１ごとにカメラ１０を制御して撮像させるようにしてもよいし、カメラ１０が連続的に撮像して供給する一連の画像（動画像）から、期間Ｔ１の間隔で画像を取得するようにしてもよい。期間Ｔ１の間隔は限定されないものであるが例えば、０．２〜１秒としてもよい。
【００３３】
オブジェクト認識部２２は、映像取得部２１から供給される時系列ごとの画像（期間Ｔ１ごとの画像）を解析して、設置店舗内（カメラ１０が撮像した領域内）に映りこんでいる人間をオブジェクト（以下、「人オブジェクト」とも呼ぶ）として検出し、検出した人オブジェクトから、さらに処理対象席を利用（例えば、着席）している利用者（以下、「席利用者」と呼ぶ）を検出する処理を行う。なお、この実施形態において、「席」は、必ずしも座席（椅子）が設置されている必要はなく、立ったまま飲食等が可能（施設の利用が可能）な場所（いわゆる「立ち席」）等であってもよい。
【００３４】
オブジェクト認識部２２による、オブジェクト認識処理の具体的手順については後述する。
【００３５】
席情報処理部２３は、オブジェクト認識部２２の認識結果を利用して、設置店舗における席情報を取得する処理を行う。この実施形態では、席情報処理部２３は、席情報として少なくとも設置店舗の設置席数と利用中席数の情報を取得する。
【００３６】
この実施形態の席情報処理部２３は、予めデータ記録部２４に設定されたデータから設置席数のデータを読み取って取得するものとする。ローカルコンピュータ２０において、データ記録部２４に設置席数のデータ入力を受け付ける方法については限定されないものである。例えば、ローカルコンピュータ２０では、図示しない入力手段（例えば、ディスプレイ、キーボード、マウス等のデバイス）により設置席数のデータ入力を受け付けるようにしてもよいし、通信により外部装置からデータ入力を受け付けるようにしてもよい。
【００３７】
席情報処理部２３は、オブジェクト認識部２２が現在認識している席利用者の数に基づいて利用中席数を取得する。すなわち。席情報処理部２３は、オブジェクト認識部２２が現在認識している席利用者数を利用中席数とみなして取得する処理を行う。
【００３８】
そして、席情報処理部２３は、取得した設置席数と利用中席数を含む情報を席情報として取得し、Ｗｅｂアプリサーバ３０に送信する。
【００３９】
席情報処理部２３が、Ｗｅｂアプリサーバ３０に席情報を送信するタイミングは限定しないものである。例えば、席情報処理部２３は、席情報（最新に取得した席情報）を、Ｗｅｂアプリサーバ３０から要求されたタイミングに応じて送信するようにしてもよいし、所定の期間ごとに席情報を送信するようにしてもよいし、席情報が変動する度に送信するようにしてもよい。
【００４０】
次に、席情報提供装置を構成する各装置（Ｗｅｂアプリサーバ３０、ＤＢサーバ４０）の内部構成について説明する。
【００４１】
図３は、ＤＢサーバ４０の内部構成について示したブロック図である。
【００４２】
ＤＢサーバ４０は、Ｗｅｂアプリサーバ３０の処理で必要となる種々のデータを提供する装置である。具体的には、ＤＢサーバ４０は、各店舗に関する情報のデータベース（以下、「店舗情報ＤＢ」と呼ぶ）を保持し、Ｗｅｂアプリサーバ３０の要求に応じてデータ処理（例えば、データの更新や読出しの処理）を行う。
【００４３】
ＤＢサーバ４０は、ＤＢ処理部４１及びデータ記録部４２を有している。
【００４４】
ＤＢサーバ４０の内部構成は、機能的には図３のように示すことができる。ＤＢサーバ４０としては、例えば、メモリ及びプロセッサを有するコンピュータ（例えば、ＰＣやワークステーション等）を用いて構築することができる。
【００４５】
図３に示す通り、ＤＢサーバ４０は、ＤＢ処理部４１、及びデータ記録部４２を有している。
【００４６】
データ記録部４２は、ＤＢサーバ４０内での各処理で利用される各種データを記録するデータ記録手段である。図３に示す通り、データ記録部４２には、少なくとも、店舗情報ＤＢ４２１が記録されているものとする。
【００４７】
ＤＢ処理部４１は、データ記録部４２に記録されたデータベース（店舗情報ＤＢ４２１）のデータ処理を行う。ＤＢ処理部４１は、例えば、ＯＲＡＣＬＥ（登録商標）やＭｙＳＱＬ（登録商標）等のＤＢＭＳ（Ｄａｔａｂａｓｅ  Ｍａｎａｇｅｍｅｎｔ  Ｓｙｓｔｅｍ）を用いて構築することができる。したがって、データ記録部４２に記録する店舗情報ＤＢ４２１は、ＤＢ処理部４１で対応するデータ構造で構成されている必要がある。
【００４８】
次に、店舗情報ＤＢ４２１のデータ構造について図４を用いて説明する。
【００４９】
図４は、店舗情報ＤＢ４２１のデータ構造について示した説明図である。図４では、店舗情報ＤＢ４２１のデータ構造をテーブル形式で図示している。図４では、１行で１店舗の情報を図示している。
【００５０】
図４に示すように、店舗情報ＤＢ４２１には、店舗ごとに、店舗ＩＤ、店舗名、設置席数、利用中席数、アクセス情報、及び店舗情報が登録されている。
【００５１】
「店舗ＩＤ」の項目は、店舗情報ＤＢ４２１において各店舗を識別するキーとして機能する項目である。図４に示すように、この実施形態では、第１の店舗〜第Ｎの店舗に対して、それぞれ１〜ＮのＩＤが付与されているものとする。
【００５２】
「店舗名」の項目は、当該店舗の名称を記録する項目である。図４では、第１の店舗（店舗ＩＤ＝１）の店舗名を「ＡＡＡ」、第２の店舗（店舗ＩＤ＝２）の店舗名を「ＢＢＢ」、第３の店舗（店舗ＩＤ＝３）の店舗名を「ＣＣＣ」、・・・、第Ｎの店舗（店舗ＩＤ＝Ｎ）の店舗名を「ＸＸＸ食堂」としている。
【００５３】
「設置席数」及び「利用中席数」の情報は、各店舗の席情報を記録する項目である。
【００５４】
アクセス情報は、各店舗のローカルコンピュータ２０にアクセスするための情報である。アクセス情報としては、ローカルコンピュータ２０にアクセスするためのＩＰアドレス、ホスト名、ＦＱＤＮ（Ｆｕｌｌｙ  Ｑｕａｌｉｆｉｅｄ  Ｄｏｍａｉｎ  Ｎａｍｅ）等が挙げられる。図４では、各店舗のローカルコンピュータ２０−１〜２０−Ｎにアクセスするためのアクセス情報を、それぞれｈｏｓｔ１〜ｈｏｓｔＮと図示している。
【００５５】
「店舗情報」の項目は、各店舗の情報（例えば、クライアント端末５０を所持する被情報提供者に提示する情報）を表す項目である。図４では、各店舗の店舗情報として、住所、営業時間、及びホームページＵＲＬの情報を記録する例について示している。なお、店舗情報ＤＢ４２１において、店舗情報として記録する情報の項目の数や組み合わせは限定されないものである。
【００５６】
以上のように店舗情報ＤＢ４２１は構成されている。そして、ＤＢ処理部４１は、Ｗｅｂアプリサーバ３０の要求（命令）に応じて、以上のように構成された店舗情報ＤＢ４２１のデータ処理（例えば、データの更新や読出しの処理）を行う。
【００５７】
図５は、Ｗｅｂアプリサーバ３０の内部構成について示したブロック図である。
【００５８】
Ｗｅｂアプリサーバ３０は、Ｗｅｂサービス部３１、サーバアプリ３２、及びデータ記録部３３を有している。
【００５９】
Ｗｅｂアプリサーバ３０の内部構成は、機能的には図５のように示すことができる。Ｗｅｂアプリサーバ３０としては、例えば、メモリ及びプロセッサを有するコンピュータ（例えば、ＰＣやワークステーション等）を用いて構築することができる。
【００６０】
データ記録部３３は、Ｗｅｂアプリサーバ３０内での各処理で利用される各種データを記録するデータ記録手段である。
【００６１】
Ｗｅｂサービス部３１は、クライアント端末５０に対して各店舗の席情報を含む情報をコンテンツ（例えば、Ｗｅｂページ）として提供する。Ｗｅｂサービス部３１は、サーバアプリ３２の制御に応じたコンテンツを、クライアント端末５０に対して提供する。
【００６２】
Ｗｅｂサービス部３１としては、例えば、種々のＷｅｂサーバのミドルウェアを適用することができる。この場合、サーバアプリ３２は、Ｗｅｂサービス部３１としてのミドルウェア上で、外部（例えば、クライアント端末５０）からの要求に応じて、提供するコンテンツの生成処理等を行うアプリケーション（サーバ側プログラム）となる。
【００６３】
サーバアプリ３２は、各店舗のローカルコンピュータ２０から各店舗の席情報（この実施形態では設置席数と利用中席数を含む情報）を取得し、最新に取得した席情報をＤＢサーバ４０の店舗情報ＤＢ４２１に登録する。
【００６４】
また、サーバアプリ３２は、Ｗｅｂサービス部３１がクライアント端末５０から受けた要求（クライアント端末５０で受け付けた操作）に応じて、ＤＢサーバ４０の店舗情報ＤＢ４２１の情報（一部又は全部の店舗に関するデータ）を取得する。そして、サーバアプリ３２は、取得した店舗情報ＤＢ４２１の情報を利用したコンテンツ（Ｗｅｂ画面）を生成し、Ｗｅｂサービス部３１に要求元のクライアント端末５０へ提供させる処理を行う。
【００６５】
Ｗｅｂアプリサーバ３０が提供するコンテンツ（Ｗｅｂ画面）の構成例については後述する。
【００６６】
次に、クライアント端末５０の内部構成について説明する。
【００６７】
図６は、クライアント端末５０の内部構成の例について示した説明図である。
【００６８】
クライアント端末５０は、例えば、スマートホン、ＰＣ、タブレットＰＣ等の種々の端末装置（コンピュータ；ハードウェア）を用いて構築することができる。図６では、クライアント端末５０のハードウェアとしてスマートホンを適用した例について示している。
【００６９】
図６に示すように、クライアント端末５０は、タッチパネルディスプレイ５１及びクライアントアプリ５２を有している。
【００７０】
タッチパネルディスプレイ５１は、クライアント端末５０を所持する被情報提供者への情報出力や、被情報提供者からの入力（例えば、ＧＵＩ画面を用いた入力）を受け付けるデバイス（ユーザインタフェースの機能を担うデバイス）である。この実施形態では、スマートホンを用いてクライアント端末５０を構築する例について示しているが、クライアント端末５０においてユーザインタフェース（被情報提供者からの入力手段及び被情報提供者への出力手段）を担うデバイスの種類は限定されないものである。例えば、ＰＣを用いてクライアント端末５０を構築する場合、ユーザインタフェースとして、ディスプレイ、マウス及びキーボードを用いるようにしてもよい。
【００７１】
クライアントアプリ５２は、タッチパネルディスプレイ５１を用いて被情報提供者からの操作を受け付けると共に、被情報提供者の操作に応じた要求をＷｅｂアプリサーバ３０に送信し、Ｗｅｂアプリサーバ３０から供給されたコンテンツ（１又は複数の店舗の席情報を含む情報）をタッチパネルディスプレイ５１に表示させる処理を行う。
【００７２】
クライアントアプリ５２としては、例えば、種々のＷｅｂブラウザを用いて構築するようにしてもよい。この実施形態では、クライアントアプリ５２は、Ｗｅｂブラウザに接続先（接続先ＵＲＬ）としてＷｅｂアプリサーバ３０上の所定のＵＲＬ（各店舗の席情報を提供するためのＵＲＬ）に設定されているものとして説明する。
【００７３】
なお、クライアントアプリ５２としては、Ｗｅｂブラウザを用いずに、専用のアプリケーションとして構築するようにしてもよい。
【００７４】
（Ａ−２）実施形態の動作
次に、以上のような構成を有する実施形態の席情報処理システムの動作（実施形態に係る席情報処理方法）を説明する。
【００７５】
まず、各店舗内におけるカメラ１０の設置環境について説明する。
【００７６】
図７は、第１の店舗（店舗ＩＤ＝１）の店舗内の平面図の例である。
【００７７】
以下では、この第１の店舗内を例にカメラ１０の設置環境の例について説明する。
【００７８】
図７に示すように、第１の店舗内には、四角形のカウンターテーブルＲ１と、カウンターテーブルＲ１の一辺の側に並べて配置された８つの椅子Ｃ（Ｃ１〜Ｃ８）と、調理台Ｒ２とが配置されている。
【００７９】
そして、第１の店舗では、この８つの椅子Ｃ１〜Ｃ８が処理対象席となっているものとする。
【００８０】
そして、図７に示すように、第１の店舗内の隅（端）には、カメラ１０−１が配置されている。
【００８１】
図８は、第１の店舗（店舗ＩＤ＝１）の店舗内を、当該店舗内に設置されたカメラ１０−１の側から見た場合の図（斜視図）である。
【００８２】
上述の通り第１の店舗では椅子Ｃ１〜Ｃ８が処理対象席であるため、カメラ１０−１は、椅子Ｃ１〜Ｃ８が全て撮像する視野内に収まるような位置、向き（姿勢）、ズーム設定で設置される必要がある。図８では、カメラ１０−１が撮像する視野Ａの枠を一点鎖線で図示している。図８に示すように視野Ａ内には、椅子Ｃ１〜Ｃ８が全て収まっている。
【００８３】
したがって、第１の店舗内で、誰も人がいない状態の場合、カメラ１０−１で撮像される画像は図９のような画像となる。図９に示す画像では、椅子Ｃ１〜Ｃ８が全て写っている。実際には、各椅子Ｃの利用者が着席すると、椅子よりもやや上に利用者の顔が位置することになるため、実際に利用者の顔が位置する領域まで含めて、視野Ａ内に収まるようにカメラ１０−１を設置することが望ましい。
【００８４】
次に、第１の店舗に設置されたローカルコンピュータ２０−１で、設置店舗内の席情報を取得する処理について説明する。
【００８５】
上述の通り、席情報処理部２３は、席情報として少なくとも設置店舗の設置席数と利用中席数の情報を取得する。上述の通り、この実施形態の席情報処理部２３は、予めデータ記録部２４に設定されたデータから設置席数のデータを読み取って取得する。また、席情報処理部２３は、オブジェクト認識部２２が現在認識している席利用者の数を、利用中席数とみなして取得する処理を行う。そして、席情報処理部２３は、取得した設置席数と利用中席数を含む情報を席情報として取得し、Ｗｅｂアプリサーバ３０に送信する。
【００８６】
次に、映像取得部２１及びオブジェクト認識部２２の動作について説明する。
【００８７】
上述の通り、この実施形態では、映像取得部２１は、所定の期間Ｔ１ごとに、カメラ１０が撮像した画像を取得して、オブジェクト認識部２２に供給する処理を行う。第１の店舗内に設置されたカメラ１０−１は、椅子Ｃ１〜Ｃ８を含む視野Ａの領域を撮像したフレーム（画像）を、少なくとも期間Ｔ１ごとにローカルコンピュータ２０−１の映像取得部２１に供給する。
【００８８】
オブジェクト認識部２２は、映像取得部２１から供給される時系列ごとのフレーム（画像）についてオブジェクト認識処理を行う。
【００８９】
この実施形態のオブジェクト認識部２２は、まず、期間Ｔ１ごとのフレーム（画像）を解析して、人オブジェクトを認識する処理（以下、「人オブジェクト認識処理」と呼ぶ）を行う。すなわち、オブジェクト認識部２２は、カメラ１０で撮像された一連のフレーム（画像）から人オブジェクトを認識する処理（人オブジェクト認識処理）を行う。
【００９０】
オブジェクト認識部２２において人オブジェクトを認識する処理方式については種々の方式を適用することができる。ここでは、オブジェクト認識部２２において、いわゆる「背景差分法」を用いた人オブジェクトの検出処理を用いるものとして説明する。
【００９１】
背景差分法とは、検出対象（観測対象）となる画像（以下、「観測画像」と呼ぶ）と事前に取得しておいた画像（以下、「背景画像」と呼ぶ）とを比較した差分に基づいて、背景画像には存在しない物体（動体）を抽出する処理である。
【００９２】
ここでは、オブジェクト認識部２２は、人オブジェクトの検出対象となる観測画像のフレーム（以下、「観測フレーム」と呼ぶ）と観測画像より時系列が前となる背景画像のフレーム（以下、「背景フレーム」と呼ぶ）との差分に基づいて、動きのある物体（以下、「動体」と呼ぶ）を検出する処理（以下、「動体検出処理」と呼ぶ）を行い、動体検出処理の結果を利用して人オブジェクトを検出するものとする。
【００９３】
以下に、オブジェクト認識部２２による動体検出処理について説明する。
【００９４】
［各フレームの前処理に関する概要］
まず、オブジェクト認識部２２は、動体検出処理を行う各フレームに対して、検出精度を向上させるための前処理を行う。以下に、オブジェクト認識部２２による前処理の前提となる概念について説明する。
【００９５】
一般的に、ＲＧＢ色空間を利用した背景差分法による動体検出処理では、前処理を行わない場合、「光の変化の検出」と「人が動いたことによる変化の検出」の区別ができない。例えば、照明の近くを人が通ると、その周辺の明るさが多少変動する。人が通ることで影になった部分は暗くなる。その後その人が通り過ぎた後は、影だった部分が明るくなる。動体検出処理では、ＲＧＢ色空間を利用している場合、このような変化も動体として検出してしまうが、実際には動体ではないので、光の変化は動体検出においてはノイズである。そのため、動体検出処理においてノイズの検出を減らすためには、光の量の変化と物体の変化を区別する必要がある。物体の変化とはおおよそ色の変化である。
【００９６】
そこで、この実施形態のオブジェクト認識部２２では、動体検出処理を行う際に、カラー画像の各ピクセルのＲＧＢ３次元ベクトルを正規化することで明るさを排除するものとする。そして、オブジェクト認識部２２では、最新の画像の各ピクセルの正規化ベクトルと、過去の画像の各ピクセルの正規化ベクトルとの内積を計算することで、色の変化のみを検出することで、物体検出の精度を向上させる。詳細については後述する。
【００９７】
［色と明るさの決定］
次に、オブジェクト認識部２２が動体検出処理を行う場合において、各フレームを構成する各ピクセルに対する色と明るさの決定について説明する。
【００９８】
物体の色は、物体が反射する光の波長で決定する。物体によって反射する光の波長の分布は決まっている。例えばリンゴは長い波長（赤色など）の光は多く反射するが、それ以外の波長はほとんど吸収してしまう。
【００９９】
長い波長の光を人間やカメラが認識すると、それを赤色として判定する。簡潔に述べると、色は反射光の波長の比によって決定する。赤い光に対して、緑と青の光の反射が少ない物体の色は赤色と判定されるし、赤い光と同程度に青い光が反射し、緑の光の反射が少ない物体の色は紫色と判定される。それに対して輝度（明るさ）はＲＧＢの加重平均によって決定する。これも簡潔に述べると、反射した光の量によって明暗が決定する。一般的に輝度（明るさ）を判定する計算式は、例えば、以下の（１）式で示すことができる。
明るさ  ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ    …（１）    
【０１００】
［ＲＧＢ正規化ベクトルの内積］
次に、各フレームを構成する各ピクセルの正規化処理について説明する。
【０１０１】
「色の種類」がＲＧＢの比、「明るさ」がＲＧＢの加重平均によって決定するならば、ＲＧＢという３つのデータのベクトルの方向が色の種類、ベクトルの長さが明るさであると考えることができる。すなわち、明るさのみに変化があるとき、ベクトルの長さのみが変化すると考えられる。ＲＧＢベクトルを正規化することで、明るさの変化を無視し、色の変化のみを検出することが可能である。
【０１０２】
ＲＧＢ正規化ベクトルの方向が色の種類を決定するならば、色の変化は２つの正規化ベクトルの内積値を調べることで検出することが可能となる。もし色に変化がない場合は、ベクトルの方向は一切変化をしない。そのためベクトルの内積値は「１」にかなり近いはずである。しかし色に変化がある場合は、内積値は１から０の方向に近づく。すなわち、内積値が０に近ければ近いほど色の変化が大きいということになる。そのため、フレーム間でＲＧＢ正規化ベクトルの内積をとると、その大小によって色の変化を判別することが可能である。
【０１０３】
［ＲＧＢ正規化ベクトルに基づく動体検出処理］
動画（連続する複数のフレーム（静止画））において動体検出をする場合、時系列が隣合う２つのフレームの同位置ピクセルのＲＧＢ、もしくはＲＧＢの輝度の差分を２値化することで、検出することが一般的である。また時系列が隣り合う２つの静止画ではなく、１枚はカメラから取得した画像、１枚は過去数枚の画像の平均とし、それらの差分を取る場合もある。
【０１０４】
１つのＲＧＢ情報を持つピクセルを、ベクトルとして表現すると、以下の（２）式のように示すことができる。以下では、（２）式に示すように、ＲＧＢ情報で構成される１つのピクセルを示すベクトルを「ピクセルベクトル」と呼ぶものとする。
【０１０５】
ここで、ＲＧＢ情報を持つピクセルが、ｉ行ｊ列（ｉ、ｊはともに１以上の整数）並んだものをベクトルの行列Ａ（以下、「ＲＧＢ画像行列」と呼ぶ）として表現すると以下の（３）式のように示すことができる。この場合、ＲＧＢ画像行列Ａは、ｉ行ｊ列のフレームを構成する各ピクセルをピクセルベクトルの形式で表しているといえる。
【数１】
2020135323.tif 000003
【０１０６】
ここで、１つの輝度情報（輝度＝ｓ）を持つピクセルをスカラーとして表現する。そして、輝度情報を持つピクセルが、ｉ行ｊ列（ｉ、ｊはともに１以上の整数）並んだものをスカラーの行列Ｓ（以下、「輝度画像行列」と呼ぶ）として表現すると以下の（４）式のように示すことができる。この場合輝度画像行列Ｓは、ｉ行ｊ列のフレームを構成する各ピクセルを輝度ｓで表したものと言える。
【数２】
2020135323.tif 000004
【０１０７】
以下では、時間（時系列）をｔｎと表す。ｎは時間（時系列）を表しており、値が小さいほど前の時間（時系列）を表しているものとする。ｎは、０以上の整数で表されるものとする。
【０１０８】
ここで、任意の時間ｔ１のフレームに基づくＲＧＢ画像行列と、時間ｔ０（時間ｔ１と前の時系列で隣り合う時刻）時間ｔ０のフレームに基づくＲＧＢ画像行列との差分（時系列が隣り合うフレーム間における各ピクセルのピクセルベクトル上の差分）をＡｄｉｆｆとした場合、Ａｄｉｆｆは以下の（５）式のように表すことができる。また、時間ｔ１のフレームに基づく輝度画像行列と、時間ｔ０のフレームに基づく輝度画行列との差分（時系列が隣り合うフレーム間における各ピクセルの輝度上の差分）Ｓｄｉｆｆは以下、（６）式のように表すことができる。また、時間ｔ１のフレームに基づく輝度画像行列と時間ｔ１と時系列が隣り合う時間ｔ０のフレームに基づく輝度画像行列との差分Ｓｄｉｆｆは以下、（８）式のように表すことができる。
【０１０９】
また、任意の時間ｔｎ＋１（ｎは１以上の整数）のフレームに基づくＲＧＢ画像行列と、過去ｎ枚のフレームに基づくＲＧＢ画像行列の平均との差分をＡｄｉｆｆとした場合、Ａｄｉｆｆは以下の（７）式のように表すことができる。
【０１１０】
さらに、任意の時間ｔｎ＋１（ｎは１以上の整数）のフレームに基づく輝度画像行列と、過去ｎ枚のフレームに基づく輝度画像行列の平均との差分をＳｄｉｆｆとした場合、Ｓｄｉｆｆは以下の（８）式のように表すことができる。
【数３】
2020135323.tif 000005
【０１１１】
ここで、（６）式及び（８）式において、各ピクセルの輝度（スカラー量）について閾値ｔｈ１との比較に基づく閾値処理を行って２値化することで、観測フレーム（時間ｔ１若しくは時間ｔｎ＋１のフレーム）上で動体の存在する領域である前景領域と、動体の存在しない領域である背景領域とを検出することができる。例えば、以下の（９）式及び（１０式）のように、輝度が閾値ｔｈ１を超えるピクセルについては前景領域であることを示す「１」、輝度が閾値ｔｈ１以下の場合には背景領域であることを示す「０」を設定するようにしてもよい。また、（５）式及び（７）式においても、ＲＧＢ画像行列を構成する各ピクセルベクトルを以下の（１１）式を用いて輝度（スカラー量）に変換した後、同様の（９）式、（１０）式に従って閾値処理することもできる。
【数４】
2020135323.tif 000006
ｓ  ＝  ０．３Ｒ  ＋  ０．６Ｇ  ＋  ０．１Ｂ    …（１１）
【０１１２】
しかし、上述のように、輝度だけに基づいて観測フレームから前景領域を検出する方法だと、明るさの変化と色の変化の区別がつかないという問題がある。画像上で光の変化が起こる場合、ＲＧＢの比率に大きな変化は無いが、ＲＧＢの値の平均値が変化する（つまり、輝度が変化する）。すなわち、上記の（５）〜（８）式に示すように、輝度だけに基づいて観測画像から前景領域を検出する方法だと、光の変化による輝度の変化も前景領域となってしまう。
【０１１３】
そこで、この実施形態のオブジェクト認識部２２では、色の変化のみに着目するため、観測フレームと背景フレームの同位置ピクセルのＲＧＢ正規化ベクトルの内積値を２値化することで、観測フレームから前景領域を検出する処理を行う。つまり、物体が実際に動いているとき、動画上では、時系列が隣り合うフレームの同位置ピクセルに映る物体が変わるはずである。そして、上述の通り、物体によって反射する光の波長のＲＧＢ比が異なるため、色の変化が起こる。
【０１１４】
そのため、この実施形態のオブジェクト認識部２２では、フレーム間（観測フレームと背景フレームとの間）でＲＧＢ正規化ベクトルの内積値を用いることで、ノイズに強い前景領域の検出を行うことができる。
【０１１５】
具体的には、オブジェクト認識部２２は、以下のような計算処理を行うことで、ＲＧＢ正規化ベクトルの内積値に基づく前景領域の検出処理を行うことができる。オブジェクト認識部２２は、各フレームについて、ＲＧＢ画像行列Ａを取得し、取得したＲＧＢ画像行列Ａの全てのピクセル（ピクセルベクトル）に対して、正規化（ピクセルベクトルの正規化）を行うことで、明るさの成分を排除したデータに変換する。
【０１１６】
オブジェクト認識部２２は、例えば、以下の（１２）式に示す計算により、ＲＧＢ画像行列Ａを正規化（各ピクセルのピクセルベクトルを単位ベクトルに変換）することで、正規化したＲＧＢ画像行列を取得することができる。（１２）式では、正規化行列及び正規化ベクトル（正規化したピクセルベクトル）を太字で表現している。以下では、正規化したＲＧＢ画像行列を、「正規化済ＲＧＢ画像行列」と呼ぶものとする。
【０１１７】
オブジェクト認識部２２は、各フレームについて正規化済ＲＧＢ画像行列を取得し、時系列が隣り合うフレーム間で正規化済ＲＧＢ画像行列の各ピクセルベクトル（正規化したピクセルベクトル）の内積値（以下、「フレーム間ベクトル内積値」と呼ぶ）を取得し、取得したフレーム間ベクトル内積値を閾値処理（２値化）することで、観測フレームを前景領域と背景領域に分離する処理を行う。このフレーム間ベクトル内積値は、対応するピクセルにおいて、輝度の変化を捨象した色変化のみの度合いを示すことになる。
【０１１８】
オブジェクト認識部２２は、例えば、以下の（１３）式を用いて、任意の時間ｔｎのフレームに基づいた正規化済ＲＧＢ画像行列と、時間ｔｎ＋１のフレーム（時間ｔｎと時系列が隣り合うフレーム）に基づいた正規化済ＲＧＢ画像行列との間における各ピクセルのフレーム間ベクトル内積値を取得することができる。（１３）式では、ｉ行ｊ列のフレーム間ベクトル内積値の行列を「Ｉ」として示している。以下では、この行列Ｉを「内積値行列」とよぶものとする。
【０１１９】
そして、オブジェクト認識部２２は、内積値行列Ｉを構成する各フレーム間ベクトル内積値（各ピクセルに対応するフレーム間ベクトル内積値）について、閾値ｔｈ２との比較に基づく閾値処理を行って２値化することで、観測フレーム上で動体の存在する領域である前景領域と、動体の存在しない領域である背景領域とを検出することができる。例えば、フレーム間ベクトル内積値が閾値ｔｈ２を超えるピクセルについては前景領域であることを示す「１」、フレーム間ベクトル内積値が閾値ｔｈ２以下の場合には背景領域であることを示す「０」を設定するようにしてもよい。閾値ｔｈ２に設定する具体的な値は限定されないものである。例えば、オブジェクト認識部２２には予め実験等により得られた最適なｔｈ２を設定しておくようにしてもよいし、ユーザの操作により調整可能なパラメータとして構成するようにしてもよい。
【数５】
2020135323.tif 000007
【０１２０】
以上のように、オブジェクト認識部２２は、各フレームについてＲＧＢ画像行列Ａを正規化して正規化済ＲＧＢ画像行列を取得し、さらに時系列が隣り合うフレーム間で正規化済ＲＧＢ画像行列に基づく内積値行列Ｉを取得する。そして、オブジェクト認識部２２は、内積値行列Ｉを構成するフレーム間ベクトル内積値を２値化することで各フレームにおける前景領域を検出することができる。すなわち、オブジェクト認識部２２は、前景領域を１とし背景領域を０とする画像（以下、「前景領域画像」と呼ぶ）を取得することができる。
【０１２１】
ここで、例として、カメラ１０−１で撮像されたフレーム（画像）が、図１０に示すような画像であった場合を想定する。図１０に示すフレーム（画像）では、椅子Ｃ１、Ｃ５、Ｃ６に席利用者が着席した状態となっている。すなわち、図１０に示すフレーム内では、動く物体は椅子Ｃ１、Ｃ５、Ｃ６に着席した席利用者のみであるものとする。
【０１２２】
そうすると、オブジェクト認識部２２は、カメラ１０−１で撮像された一連のフレームについて正規化済ＲＧＢ画像行列を取得し、さらに時系列が隣り合うフレーム間で正規化済ＲＧＢ画像行列に基づく内積値行列Ｉを取得することができる。そして、オブジェクト認識部２２は、時系列が隣り合う各フレーム間の内積値行列Iを２値化することで、図１１に示すように、前景領域と背景領域を区別した画像を得ることができる。図１１では、前景領域を黒色、背景領域を白色として図示している。図１０と図１１を見比べるとわかるように、図１１では、椅子Ｃ１、Ｃ５、Ｃ６に着席した席利用者が写った領域を前景領域（動体が写った領域）とし、それ以外の領域を背景領域として検出されることがわかる。このように、オブジェクト認識部２２は、時系列が隣り合う各フレーム間の内積値行列Iを取得することで、動体が写った領域を検出することができる。
【０１２３】
そして、オブジェクト認識部２２は、図１２に示すように、認識したそれぞれの動体の領域を含む矩形（外接矩形）の領域の画像（以下、「外接矩形画像」と呼ぶ）を切り出して管理する。
【０１２４】
オブジェクト認識部２２は、検出した各動体について全て人オブジェクトであると認識するようにしてもよいし、さらなる認識処理を行って検出した動体から人オブジェクトを検出するようにしてもよい。オブジェクト認識部２２において、検出した動体からさらに人オブジェクトを絞り込む方式については限定されないものであり種々の方式を適用することができる。
【０１２５】
ここでは、オブジェクト認識部２２は、検出した各動体について全て人オブジェクトであると認識するものとする。そうすると、オブジェクト認識部２２は、図１０のようなフレームが取得される場合、椅子Ｃ１、Ｃ５、Ｃ６に着席した席利用者を、それぞれ人オブジェクトＯＢ１０１、ＯＢ１０２、ＯＢ１０３として認識することになる。
【０１２６】
さらに、オブジェクト認識部２２は、検出した人オブジェクトから席利用者を認識するようにしてもよい。オブジェクト認識部２２が検出した人オブジェクトから席利用者を認識する具体的処理については限定されないものである。ここでは、オブジェクト認識部２２は、認識した人オブジェクトを全て席利用者の人オブジェクトと認識するものとして説明する。
【０１２７】
［動体検出処理の全体の流れ］
次に、オブジェクト認識部２２が行う動体検出処理全体の流れについて、図１１のフローチャートを用いて説明する。
【０１２８】
図１３は、オブジェクト認識部２２が時間ｔｎのフレーム（画像データ）を取得した場合に、当該フレームについて動態検出処理を行う動作の例について示したフローチャートである。
【０１２９】
オブジェクト認識部２２は、時間ｔｎのフレームを取得すると、取得したフレームを構成する各ピクセルのＲＧＢ情報をピクセルベクトルとしたＲＧＢ画像行列を保持する（Ｓ１０１）。
【０１３０】
次に、オブジェクト認識部２２は、取得したＲＧＢ画像行列の各ピクセルベクトルを正規化して正規化済ＲＧＢ画像行列を取得する（Ｓ１０２）。
【０１３１】
次に、オブジェクト認識部２２は、取得したＲＧＢ画像行列の各ピクセルに対応するピクセルベクトルを正規化して、正規化済ＲＧＢ画像行列を取得する（Ｓ１０３）。
【０１３２】
次に、オブジェクト認識部２２は、時間ｔｎのフレームに基づいた正規化済ＲＧＢ画像行列と、時間ｔｎ−１のフレーム（時間ｔｎと時系列が隣り合うフレーム）に基づいた正規化済ＲＧＢ画像行列との間における各ピクセルのフレーム間ベクトル内積値（フレーム間ベクトル内積値）を算出し、内積値行列として取得する（Ｓ１０４）。
【０１３３】
次に、オブジェクト認識部２２は、内積値行列を構成するフレーム間ベクトル内積値を２値化することで、時間ｔｎのフレームにおける前景領域画像を取得する（Ｓ１０５）。
【０１３４】
以上のように、オブジェクト認識部２２は、各フレームについて図１１に示すような前景領域画像を取得し、取得した前景領域画像に基づいて人オブジェクト及び席利用者の認識処理を行う。
【０１３５】
次に、Ｗｅｂアプリサーバ３０及びＤＢサーバ４０における席情報の更新動作について説明する。
【０１３６】
ここでは、ＤＢサーバ４０の店舗情報ＤＢ４２１に、初期のマスターデータとして、各店舗の席情報（設置席数、利用中席数）以外の情報は登録されているものとする。
【０１３７】
Ｗｅｂアプリサーバ３０のサーバアプリ３２は、各店舗のローカルコンピュータ２０から席情報（設置席数及び利用中席数）を受信すると、その席情報に基づいて、ＤＢサーバ４０（店舗情報ＤＢ４２１）の情報（受信した店舗に係る席情報（設置席数及び利用中席数））を更新する処理を行う。なお、上述の通り、席情報処理部２３が、Ｗｅｂアプリサーバ３０に席情報を送信するタイミングは限定しないものである。
【０１３８】
以上のように、ＤＢサーバ４０（店舗情報ＤＢ４２１）は、各店舗のローカルコンピュータ２０から受信した席情報により、常に最新の状態（最新の各店舗の席情報を保持した状態）に保たれることになる。
【０１３９】
次に、Ｗｅｂアプリサーバ３０及びＤＢサーバ４０における席情報の提供動作について説明する。
【０１４０】
上述の通り、Ｗｅｂアプリサーバ３０は、クライアント端末５０の要求に応じて、ＤＢサーバ４０で保持された席情報を含むコンテンツを提供する。Ｗｅｂアプリサーバ３０からクライアント端末５０に提供されたコンテンツ（Ｗｅｂ画面のデータ）は、クライアント端末５０のタッチパネルディスプレイ５１に表示されることになる。
【０１４１】
例えば、Ｗｅｂアプリサーバ３０（Ｗｅｂサービス部３１）が、クライアント端末５０から所定のＵＲＬ（席情報を提供するためのホームページのＵＲＬ）でアクセス（例えば、ＨＴＴＰ等のプロトコルでのアクセス）を受け付けた場合、店舗の選択を受け付けることが可能なＷｅｂ画面（以下、「店舗選択画面」と呼ぶ）のコンテンツ（Ｗｅｂ画面のデータ）を生成して、クライアント端末５０に提供する。
【０１４２】
図１４は、店舗選択画面の構成例について示した説明図である。
【０１４３】
図１４の店舗選択画面（Ｗｅｂ画面）は、各店舗の店舗名を付加したボタン（リンク）を表示し、クライアント端末５０を所持するユーザから、席情報を含むコンテンツを提供する店舗の選択（クリック；タッチ）を受け付ける構成となっている。図１４に示す店舗選択画面では、第１の店舗（店舗名：「ＡＡＡカフェ」）の選択を受け付けるためのボタンＢ１０１、第２の店舗（店舗名：「ＢＢＢレストラン」）の選択を受け付けるためのボタンＢ１０２、第３の店舗（店舗名：「ＣＣＣコーヒー」）の選択を受け付けるためのボタンＢ１０２等が表示されている状態について示している。
【０１４４】
このとき、サーバアプリ３２は、ＤＢサーバ４０（店舗情報ＤＢ４２１）から、店舗ごとの店舗名を取得し、Ｗｅｂサービス部３１に図１４に示すような店舗選択画面（Ｗｅｂ画面）を生成させる処理を行う。なお、いずれかの店舗を選択することが可能なＷｅｂ画面であれば、店舗選択画面の具体的な構成は限定されないものである。
【０１４５】
ここでは、図１４に示す店舗選択画面で、クライアント端末５０を所持するユーザにより、第１の店舗（店舗名：「ＡＡＡカフェ」）の選択を受け付けるためのボタンＢ１０１が選択されたものとする。
【０１４６】
店舗選択画面で第１の店舗（店舗名：「ＡＡＡカフェ」）が選択されると、サーバアプリ３２は、ＤＢサーバ４０（店舗情報ＤＢ４２１）から、第１の店舗の席情報（設置席数及び利用中席数）と店舗情報（住所、営業時間、ホームページＵＲＬ）を取得する。そして、サーバアプリ３２は、取得した第１の店舗（店舗名：「ＡＡＡカフェ」）の席情報と店舗情報に基づき、Ｗｅｂサービス部３１に取得した情報（席情報及び店舗情報を含む情報）を提示するためのＷｅｂ画面（以下、「店舗情報提供画面」とも呼ぶ）を生成させ、接続元のクライアント端末５０に提供させる処理を行う。
【０１４７】
図１５は、店舗情報提供画面の構成例について示した説明図である。
【０１４８】
図１５に示す店舗情報提供画面では、席情報を表示するためのフィールドＦ１０１と、第１の店舗に関する情報（店舗名及び店舗情報を含む情報）を表示するためのフィールドＦ１０２が配置されている。
【０１４９】
図１５に示す店舗情報提供画面では、フィールドＦ１０１に、席情報として空席数と着席数（利用中席数）が表示されている。なお、店舗情報提供画面では、席情報として空席数のみを表示するようにしてもよいし、設置席数と着席数（利用中席数）を表示するようにしてもよい。
【０１５０】
（Ａ−３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
【０１５１】
この実施形態の席情報処理システム１では、各店舗の席情報として設置席数の情報のみを登録するだけで、各店舗の空席数を認識できる。これにより、この実施形態の席情報処理システム１では、各店舗の席の位置情報等を入力する必要がないため、導入作業や席のレイアウト変更を容易とし、従来と比較して利便性が向上している。
【０１５２】
また、この実施形態の席情報処理システム１では、各店舗内にカメラ１０を設置して画像処理を行うだけで、利用中席数（着席利用者数）を認識することができる。これにより、この実施形態の席情報処理システム１では、席ごとにセンサを取り付けること等を必要としないため、導入コストを低減することができる。言い換えると、この実施形態の席情報処理システム１では、各席について利用者の有無を認識するわけではなく、人オブジェクト追跡処理と席利用者オブジェクト検出処理により、カメラ１０で撮像した画像に映っている着席利用者をカウントするだけであるため、各席について画像認識処理を行う場合と比較すると、より少ない処理量で着席利用者数を認識することができる。
【０１５３】
さらに、この実施形態の席情報処理システム１では、オブジェクト認識部２２が、各フレームについてＲＧＢ画像行列を正規化し、時系列が隣り合う各フレーム間で内積値行列Ｉを取得する。そして、オブジェクト認識部２２は、内積値行列Ｉを構成するフレーム間ベクトル内積値を２値化することで各フレームにおける前景領域画像を検出し、この前景領域画像に基づいて人オブジェクト検出処理を行っている。これにより、この実施形態の席情報処理システム１では、明るさの変化を無視し、色の変化のみに基づいた動体検出処理（前景領域の検出処理）を行うことができる。すなわち、この実施形態の席情報処理システム１では、内積値行列Ｉ（各ピクセルに対応する内積値）に基づいた動体検出処理（前景領域の検出処理）を行うことで、より精度の高い動体認識処理（人オブジェクト認識処理）を行うことができる。
【０１５４】
（Ｂ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【０１５５】
（Ｂ−１）上記の実施形態において、各ローカルコンピュータ２０が行う処理をサーバ側（Ｗｅｂアプリサーバ３０、又はＷｅｂアプリサーバ３０に付随するサーバ）で処理するようにしてもよい。
【０１５６】
（Ｂ−２）上記の実施形態において、内積値行列Ｉ（各ピクセルに対応する内積値）に基づいた動体検出処理（前景領域の検出処理）を、席情報処理システム１における人オブジェクトの認識処理に適用しているが、内積値行列Ｉに基づいた動体検出処理で検出する対象の動体は人に限定されず、動物や自動車等人以外の動体を検出する処理に適用するようにしてもよいことは当然である。
【符号の説明】
【０１５７】
１…席情報処理システム、１０、１０−１〜１０−Ｎ…カメラ、２０、２０−１〜２０−Ｎ…ローカルコンピュータ、２１…映像取得部、２２…オブジェクト認識部、２３…席情報処理部、２４…データ記録部、３０…Ｗｅｂアプリサーバ、３１…Ｗｅｂサービス部、３２…サーバアプリ、３３…データ記録部、４０…ＤＢサーバ、４１…ＤＢ処理部、４２…データ記録部、４２１…店舗情報ＤＢ、５０…クライアント端末、５１…タッチパネルディスプレイ、５２…クライアントアプリ。
【図１】
2020135323.tif 000008
【図２】
2020135323.tif 000009
【図３】
2020135323.tif 000010
【図４】
2020135323.tif 000011
【図５】
2020135323.tif 000012
【図６】
2020135323.tif 000013
【図７】
2020135323.tif 000014
【図８】
2020135323.tif 000015
【図９】
2020135323.tif 000016
【図１０】
2020135323.tif 000017
【図１１】
2020135323.tif 000018
【図１２】
2020135323.tif 000019
【図１３】
2020135323.tif 000020
【図１４】
2020135323.tif 000021
【図１５】
2020135323.tif 000022
【手続補正書】
【提出日】令和2年7月7日(2020.7.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１又は複数の席が配置された施設内を撮像する撮像手段と、
前記撮像手段が撮像した時系列ごとのフレームに基づいて、少なくとも前記施設内で利用されている利用中席数を認識し、認識した利用中席数に基づいて前記施設内の席の利用状況を示す席情報を取得する席情報取得手段を備え、
前記席情報取得手段は、
各フレームについて、ピクセルごとにピクセル値をＲＧＢ情報で構成されるベクトル値で表されるピクセルベクトルに変換して取得し、さらに取得した各ピクセルベクトルを単位ベクトルに正規化した正規化ピクセルベクトルを取得するピクセルベクトル処理手段と、
時系列が隣接するフレーム間で、ピクセルごとに対応する正規化ピクセルベクトルのフレーム間内積値を取得する内積値取得手段と、
内積値取得手段が取得した各フレーム間のフレーム間内積値に基づいて、各フレームにおける前景領域を認識する前景領域認識手段と、
前記前景領域認識手段が認識した前景領域に基づいて、各フレームに映っている人オブジェクトを認識する人オブジェクト認識処理を行い、人オブジェクト認識処理の結果に基づいて、前記施設内で利用されている利用中席数を認識する認識手段とを有する
ことを特徴とする席情報処理システム。
【請求項２】
前記前景領域認識手段は、各フレーム間のフレーム間内積値を所定の閾値に基づいて２値化した結果に基づいて、各フレームにおける前景領域を認識することを特徴とする請求項１に記載の席情報処理システム。
【請求項３】
１又は複数の席が配置された施設内を撮像した時系列ごとのフレームに基づいて、少なくとも前記施設内で利用されている利用中席数を認識し、認識した利用中席数に基づいて前記施設内の席の利用状況を示す席情報を取得する席情報取得手段を有し、
前記席情報取得手段は、
各フレームについて、ピクセルごとにピクセル値をＲＧＢ情報で構成されるベクトル値で表されるピクセルベクトルに変換して取得し、さらに取得した各ピクセルベクトルを単位ベクトルに正規化した正規化ピクセルベクトルを取得するピクセルベクトル処理手段と、
時系列が隣接するフレーム間で、ピクセルごとに対応する正規化ピクセルベクトルのフレーム間内積値を取得する内積値取得手段と、
内積値取得手段が取得した各フレーム間のフレーム間内積値に基づいて、各フレームにおける前景領域を認識する前景領域認識手段と、
前記前景領域認識手段が認識した前景領域に基づいて、各フレームに映っている人オブジェクトを認識する人オブジェクト認識処理を行い、人オブジェクト認識処理の結果に基づいて、前記施設内で利用されている利用中席数を認識する認識手段とを有する
ことを特徴とする席情報取得装置。
【請求項４】
コンピュータを、
１又は複数の席が配置された施設内を撮像した時系列ごとのフレームに基づいて、少なくとも前記施設内で利用されている利用中席数を認識し、認識した利用中席数に基づいて前記施設内の席の利用状況を示す席情報を取得する席情報取得手段として機能させ、
前記席情報取得手段は、
各フレームについて、ピクセルごとにピクセル値をＲＧＢ情報で構成されるベクトル値で表されるピクセルベクトルに変換して取得し、さらに取得した各ピクセルベクトルを単位ベクトルに正規化した正規化ピクセルベクトルを取得するピクセルベクトル処理手段と、
時系列が隣接するフレーム間で、ピクセルごとに対応する正規化ピクセルベクトルのフレーム間内積値を取得する内積値取得手段と、
内積値取得手段が取得した各フレーム間のフレーム間内積値に基づいて、各フレームにおける前景領域を認識する前景領域認識手段と、
前記前景領域認識手段が認識した前景領域に基づいて、各フレームに映っている人オブジェクトを認識する人オブジェクト認識処理を行い、人オブジェクト認識処理の結果に基づいて、前記施設内で利用されている利用中席数を認識する認識手段とを有する
ことを特徴とする席情報取得プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
第１の本発明は、（１）１又は複数の席が配置された施設内を撮像する撮像手段と、（２）前記撮像手段が撮像した時系列ごとのフレームに基づいて、少なくとも前記施設内で利用されている利用中席数を認識し、認識した利用中席数に基づいて前記施設内の席の利用状況を示す席情報を取得する席情報取得手段を備え、（３）前記席情報取得手段は、（３−１）各フレームについて、ピクセルごとにピクセル値をＲＧＢ情報で構成されるベクトル値で表されるピクセルベクトルに変換して取得し、さらに取得した各ピクセルベクトルを単位ベクトルに正規化した正規化ピクセルベクトルを取得するピクセルベクトル処理手段と、（３−２）時系列が隣接するフレーム間で、ピクセルごとに対応する正規化ピクセルベクトルのフレーム間内積値を取得する内積値取得手段と、（３−３）内積値取得手段が取得した各フレーム間のフレーム間内積値に基づいて、各フレームにおける前景領域を認識する前景領域認識手段と、（３−４）前記前景領域認識手段が認識した前景領域に基づいて、各フレームに映っている人オブジェクトを認識する人オブジェクト認識処理を行い、人オブジェクト認識処理の結果に基づいて、前記施設内で利用されている利用中席数を認識する認識手段とを有することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
第２の本発明は席情報取得装置において、（１）１又は複数の席が配置された施設内を撮像した時系列ごとのフレームに基づいて、少なくとも前記施設内で利用されている利用中席数を認識し、認識した利用中席数に基づいて前記施設内の席の利用状況を示す席情報を取得する席情報取得手段を有し、（２）前記席情報取得手段は、（３−１）各フレームについて、ピクセルごとにピクセル値をＲＧＢ情報で構成されるベクトル値で表されるピクセルベクトルに変換して取得し、さらに取得した各ピクセルベクトルを単位ベクトルに正規化した正規化ピクセルベクトルを取得するピクセルベクトル処理手段と、（３−２）時系列が隣接するフレーム間で、ピクセルごとに対応する正規化ピクセルベクトルのフレーム間内積値を取得する内積値取得手段と、（３−３）内積値取得手段が取得した各フレーム間のフレーム間内積値に基づいて、各フレームにおける前景領域を認識する前景領域認識手段と、（３−４）前記前景領域認識手段が認識した前景領域に基づいて、各フレームに映っている人オブジェクトを認識する人オブジェクト認識処理を行い、人オブジェクト認識処理の結果に基づいて、前記施設内で利用されている利用中席数を認識する認識手段とを有することを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
第３の本発明の席情報取得プログラムは、コンピュータを、（１）１又は複数の席が配置された施設内を撮像した時系列ごとのフレームに基づいて、少なくとも前記施設内で利用されている利用中席数を認識し、認識した利用中席数に基づいて前記施設内の席の利用状況を示す席情報を取得する席情報取得手段として機能させ、（２）前記席情報取得手段は、（２−１）各フレームについて、ピクセルごとにピクセル値をＲＧＢ情報で構成されるベクトル値で表されるピクセルベクトルに変換して取得し、さらに取得した各ピクセルベクトルを単位ベクトルに正規化した正規化ピクセルベクトルを取得するピクセルベクトル処理手段と、（２−２）時系列が隣接するフレーム間で、ピクセルごとに対応する正規化ピクセルベクトルのフレーム間内積値を取得する内積値取得手段と、（２−３）内積値取得手段が取得した各フレーム間のフレーム間内積値に基づいて、各フレームにおける前景領域を認識する前景領域認識手段と、（２−４）前記前景領域認識手段が認識した前景領域に基づいて、各フレームに映っている人オブジェクトを認識する人オブジェクト認識処理を行い、人オブジェクト認識処理の結果に基づいて、前記施設内で利用されている利用中席数を認識する認識手段とを有することを特徴とする。