(57)【要約】【課題】形成されている行列の状態をより適切に把握することにより、より正確に行列の待ち時間を算出する。【解決手段】行列の待ち時間算出システムであって、形成されている行列を含む領域を撮影した静止画像データを取得する静止画像データ取得部と、行列を形成しない集団が形成する領域を特定するための第１標識の画像データを記憶している第１標識情報記憶部と、前記第１標識画像データに基づいて、前記静止画像データに複数の前記第１標識が含まれているか判定し、含まれていると判定した場合、当該複数の第１標識によって特定される領域を前記集団が存在する集団領域として前記静止画像データから削除する集団領域処理部と、人物の画像を特定するための情報に基づいて、前記集団領域が削除された前記静止画像データ内に存在する行列を特定し、各行列の待ち時間を算出して待ち時間データとして出力する待ち時間出力部とを備えている。【選択図】図２
2018106385.tif 000002
【特許請求の範囲】
【請求項１】
複数の人が並んで形成している行列における待ち時間を算出するための待ち時間算出システムであって、
形成されている行列を含む領域を撮影した静止画像データを取得する静止画像データ取得部と、
前記形成されている行列を含む領域に存在する、行列を形成しない集団が形成する領域を特定するための標識である第１標識を識別するための第１標識画像データを記憶している第１標識情報記憶部と、
前記第１標識画像データに基づいて、前記静止画像データに複数の前記第１標識が含まれているか判定し、含まれていると判定した場合、当該複数の第１標識によって特定される領域を前記集団が存在する集団領域として前記静止画像データから削除する集団領域処理部と、
前記静止画像データ内に存在する人物の画像を特定するための情報である人識別情報を記憶している人情報記憶部と、
前記人情報に基づいて、前記集団領域が削除された前記静止画像データ内に存在する行列を特定し、各行列の待ち時間を算出して待ち時間データとして出力する待ち時間出力部と、を備えている
待ち時間算出システム。
【請求項２】
請求項１に記載の待ち時間算出システムであって、
各前記行列が複数列から形成されていることを示す標識である第２標識を識別するための情報である第２標識画像データを記憶している第２標識記憶部と、
前記第２標識画像データに基づいて、前記静止画像データに、相隣接する複数の前記第２標識が含まれるか判定し、相隣接する複数の前記第２標識が含まれると判定した場合、複数の当該第２標識によって特定される行列を複数列が含まれるものと特定する複数列形成判定部と、を備えている待ち行列算出システム。
【請求項３】
請求項１に記載の待ち時間算出システムであって、
行列が占める面積である行列専有面積と当該行列における待ち時間との統計的関係を格納している待ち時間統計情報記憶部を備え、
前記待ち時間出力部が、前記静止画像データから前記各行列についての前記行列専有面積を算出し、前記待ち時間統計情報記憶部の前記行列専有面積と前記待ち時間との統計的関係に基づいて、各行列における待ち時間を算出する、
待ち時間算出システム。
【請求項４】
請求項２に記載の待ち時間算出システムであって、
前記待ち時間出力部が、複数列が形成されている前記行列について、最初に検出された前記第２標識から当該行列の先頭位置に向けてラインを設定するとともに、他の前記第２の標識から前記ラインと平行に他のラインを設定し、各前記ライン上に存在する人を前記人情報に基づいて検出して待ち時間を算出する、
待ち時間算出システム。
【請求項５】
請求項２に記載の待ち時間算出システムであって、
単一の列を有する行列の末尾にも前記第２標識を設置し、当該第２標識から当該行列の先頭位置に向けて前記ラインを設定し、当該ライン上に存在する人を前記人情報に基づいて検出して当該行列についての待ち時間を算出する、
待ち時間算出システム。
【請求項６】
複数の人が並んで形成している行列における待ち時間を算出するための待ち時間算出方
法であって、プロセッサとメモリとを備えるコンピュータに、
形成されている行列を含む領域を撮影した静止画像データを取得する処理と、
前記形成されている行列を含む領域に存在する、行列を形成しない集団が形成する領域を特定するための標識である第１の標識を識別するための第１の標識画像データを記憶する処理と、
前記第１標識画像データに基づいて、前記静止画像データに複数の前記第１標識が含まれているか判定し、含まれていると判定した場合、当該複数の第１標識によって特定される領域を前記集団が存在する集団領域として前記静止画像データから削除する処理と、
前記静止画像データ内に存在する人物の画像を特定するための情報である人識別情報を記憶する処理と、
前記人情報に基づいて、前記集団領域が削除された前記静止画像データ内に存在する行列を特定し、各行列の待ち時間を算出して待ち時間データとして出力する処理と、を実行する
待ち時間算出方法。
【請求項７】
請求項６に記載の待ち時間算出方法であって、
各前記行列が複数列から形成されていることを示す標識である第２標識を識別するための情報である第２標識画像データを記憶する処理と、
前記第２標識画像データに基づいて、前記静止画像データに、相隣接する複数の前記第２標識が含まれるか判定し、相隣接する複数の前記第２標識が含まれると判定した場合、複数の当該第２標識によって特定される行列を複数列が含まれるものと特定する処理と、を実行する待ち時間算出方法。
【請求項８】
請求項６に記載の待ち時間算出方法であって、
行列が占める面積である行列専有面積と当該行列における待ち時間との統計的関係を格納する処理と、
前記静止画像データから前記各行列についての前記行列専有面積を算出し、前記待ち時間統計情報記憶部の前記行列専有面積と前記待ち時間との統計的関係に基づいて、各行列における待ち時間を算出する処理と、を実行する
待ち時間算出方法。
【請求項９】
請求項７に記載の待ち時間算出方法であって、
複数列が形成されている前記行列について、最初に検出された前記第２標識から当該行列の先頭位置に向けてラインを設定するとともに、他の前記第２の標識から前記ラインと平行に他のラインを設定し、各前記ライン上に存在する人を前記人情報に基づいて検出して待ち時間を算出する処理を実行する、
待ち時間算出方法。
【請求項１０】
請求項７に記載の待ち時間算出方法であって、
単一の列を有する行列の末尾にも前記第２標識を設置し、当該第２標識から当該行列の先頭位置に向けて前記ラインを設定し、当該ライン上に存在する人を前記人情報に基づいて検出して当該行列についての待ち時間を算出する処理を実行する、
待ち時間算出方法。
【請求項１１】
請求項１に記載の待ち時間算出システムであって、
各前記行列が複数列から形成されていることを示す標識である第２標識を識別するための情報である第２標識画像データを記憶している第２標識記憶部と、
前記第２標識画像データに基づいて、前記静止画像データに、相隣接する複数の前記第２標識が含まれるか判定し、相隣接する複数の前記第２標識が含まれると判定した場合、複数の当該第２標識によって特定される行列を複数列が含まれるものと特定する複数列形
成判定部と、
行列が占める面積である行列専有面積と当該行列における待ち時間との統計的関係を格納している待ち時間統計情報記憶部を備え、
前記待ち時間出力部が、前記静止画像データから前記各行列についての前記行列専有面積を算出し、前記待ち時間統計情報記憶部の前記行列専有面積と前記待ち時間との統計的関係に基づいて、各行列における待ち時間を算出する、
待ち時間算出システム。
【請求項１２】
複数の人が並んで形成している行列における待ち時間を算出するための待ち時間算出プログラムであって、プロセッサとメモリとを備えるコンピュータに、
形成されている行列を含む領域を撮影した静止画像データを取得する処理と、
前記形成されている行列を含む領域に存在する、行列を形成しない集団が形成する領域を特定するための標識である第１の標識を識別するための第１の標識画像データを記憶する処理と、
前記第１標識画像データに基づいて、前記静止画像データに複数の前記第１標識が含まれているか判定し、含まれていると判定した場合、当該複数の第１標識によって特定される領域を前記集団が存在する集団領域として前記静止画像データから削除する処理と、
前記静止画像データ内に存在する人物の画像を特定するための情報である人識別情報を記憶する処理と、
前記人情報に基づいて、前記集団領域が削除された前記静止画像データ内に存在する行列を特定し、各行列の待ち時間を算出して待ち時間データとして出力する処理と、を実行させる
待ち時間算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、行列の待ち時間算出システム、行列の待ち時間算出方法及びプログラムに関する。
【背景技術】
【０００２】
公共交通機関の駅や空港、テーマパーク、公営競技場等の施設では、施設への入場や施設内の一定区域への入場を待つ人の行列が形成されることがある。このような行列に並んでいる人やこれから並ぼうとする人に対しては、行列での待ち時間を適切に報知することが求められている。施設での待ち時間が施設の利用者やこれから利用しようとする人に適切に伝えられることによって、利用者は施設を安心して利用することができるとともに、施設運営者側には施設内や施設周辺が過度に混雑することによる混乱を避けることができる等のメリットがある。
【０００３】
上記のような施設では、施設に入場したり施設を利用したりするためのチケット購入用券売機・発券機で行列ができやすい他、近年ではセキュリティ上の理由から、施設への入場ゲートにおいて手回り品検査等のために一人あたりの通過時間が増える傾向にあり、長い行列ができやすくなっている。施設によって、どこにどの程度の待ち行列ができるかを予測することは難しいため、特に公共交通機関の利用者は、予期しない長い行列に遭遇した場合、目的の列車やフライトに間に合わないかも知れないという不安、ストレスを抱きがちである。この点でも行列での待ち時間を適切に報知することは必要である。
【０００４】
このような観点から、例えば特許文献１では、空港の保安検査場前等に形成された自然発生型又は誘導路型の行列が複数であっても各行列の総延長又は各行列を形成する人数を正確に測定できるとする構成が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３１７０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
空港の保安検査場前等では、一つの入場ゲート前にできた行列が長くなると、折り返して２列、３列と延びていき、一の行列であっても見かけ上複数の行列が形成されているように見える状態となることがある。また、行列最後尾の近くに団体旅行客の集団が存在するために、行列とこの集団との区別が困難である場合もある。これらの場合、特許文献１では、入場ゲート前に形成されている行列の状態を適確に把握することが困難であるとともに、行列と他の集団との区別も難しいと考えられるため、正確な行列待ち時間を得ることができないおそれがあると考えられる。
【０００７】
本発明は、上記のような課題に鑑みなされたものであり、形成されている行列の状態をより適切に把握することにより、より正確に行列の待ち時間を算出することを可能とする行列の待ち時間算出システム、行列の待ち時間算出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の、及び他の課題を解決するための本発明の一態様は、複数の人が並んで形成している行列における待ち時間を算出するための待ち時間算出システムであって、
形成されている行列を含む領域を撮影した静止画像データを取得する静止画像データ取得部と、
【０００９】
前記形成されている行列を含む領域に存在する、行列を形成しない集団が形成する領域を特定するための標識である第１の標識を識別するための第１の標識画像データを記憶している第１標識情報記憶部と、
【００１０】
前記第１標識画像データに基づいて、前記静止画像データに複数の前記第１標識が含まれているか判定し、含まれていると判定した場合、当該複数の第１標識によって特定される領域を前記集団が存在する集団領域として前記静止画像データから削除する集団領域処理部と、
前記静止画像データ内に存在する人物の画像を特定するための情報である人識別情報を記憶している人情報記憶部と、
【００１１】
前記人情報に基づいて、前記集団領域が削除された前記静止画像データ内に存在する行列を特定し、各行列の待ち時間を算出して待ち時間データとして出力する待ち時間出力部とを備えている。
【発明の効果】
【００１２】
本発明によれば、形成されている行列の状態をより適切に把握することにより、より正確に行列の待ち時間を算出することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の一実施形態による待ち時間算出システムが適用される空港保安検査場ゲート前の状況を例示する模式平面図である。
【図２】図２は、本実施形態による待ち時間算出システム１の全体構成例を示す図である。
【図３】図３は、撮像装置２０のハードウェア構成例を示す図である。
【図４】図４は、待ち時間算出サーバ１０に備えられているＡＰサーバ１００の構成例を示す図である。
【図５】図５は、待ち時間算出サーバ１０に備えられているＤＢサーバ２００の構成例を示す図である。
【図６】図６は、デジタルサイネージ３０のハードウェア構成例を示す図である。
【図７】図７は、ポールＡマスタ記憶部２２１の構成例を示す図である。
【図８】図８は、ポールＢマスタ記憶部２２２の構成例を示す図である。
【図９】図９は、背景マスタ記憶部２２３の構成例を示す図である。
【図１０】図１０は、ゲート入口位置マスタ記憶部２２４の構成例を示す図である。
【図１１】図１１は、人形状マスタ記憶部２２５の構成例を示す図である。
【図１２】図１２は、行列形成領域統計マスタ記憶部２２６の構成例を示す図である。
【図１３】図１３は、待ち時間マスタ記憶部２２７の構成例を示す図である。
【図１４】図１４は、待ち時間算出システム１における待ち時間を出力する流れを模式的に示すシーケンス図である。
【図１５】図１５は、待ち時間算出システム１における全体処理フロー例を示す図である。
【図１６】図１６は、集団領域処理の処理フロー例を示す図である。
【図１７Ａ】図１７Ａは、複数列行列処理の処理フロー例を示す図である。
【図１７Ｂ】図１７Ｂは、複数列行列処理の処理フロー例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明について、その一実施形態に即して、図面を参照しつつ詳細に説明する。＝＝本実施形態が適用される状況の説明＝＝
【００１５】
まず、本発明の一実施形態である待ち時間算出システムが適用される状況について説明する。図１は、空港の保安検査場ゲート前に形成される行列の待ち時間を算出するために、本実施形態の待ち時間算出システムを適用した状況を示す模式平面図である。図１の例ではゲート入口が４箇所（符号Ｇ１〜Ｇ４）あり、それぞれのゲート入口に利用客（人物）Ｐの待ち行列ができている。形成されている行列のうち、左から２番目の行列Ｇ２は、途中で折り返して２列となっている。なお、簡単のため、ゲート入口Ｇ１〜Ｇ４に形成されている行列についても、同一の符号を付すものとしている。
【００１６】
一方、図１の例では、行列Ｇ１〜Ｇ４の後方（図の下方）にはほぼ隣接するように、修学旅行生や団体旅行客がゲート前に集合することによって形成される集団ＧＲが存在する。本実施形態では、入場ゲート前の状況を、図１に例示するように天井方向から後述する撮像装置で撮影して得た画像データについて、行列待ち時間算出のための画像解析を行う。各ゲートの入口の位置、すなわち各行列の開始地点については、ゲート入口位置（行列開始基準位置）としてあらかじめ指定しておく。取得画像はＸ−Ｙ平面として認識するように設定し、図１のＹ軸方向を行列形成方向として認識するようにしている。
【００１７】
本実施形態では、集団ＧＲを矩形として取り囲むように、第１標識としてのポールＡ（ＰＡ）を、集団が存在する領域の四隅に設置する。ポールＡは、例えば図１のように天井方向から撮影した場合に、画像解析により容易に識別可能な大きさ、形状等を有するものとする。ポールＡの設置は、空港職員などが行う。本実施形態の待ち時間算出システムは、ポールＡで囲まれている領域を、行列を形成していない集団の領域であると認識して待ち行列から除外する。
【００１８】
また、本実施形態では、図１のゲート入口Ｇ２に見られるように、一つの行列が折り返して２以上の複数列を形成するようになった場合には、その各列の端部に第２標識としてのポールＢ（ＰＢ）を設置する。ポールＢは、例えば図１にように天井方向から撮影した場合に、画像解析により容易に識別可能な大きさ、形状等を有するとともに、ポールＢと容易に判別可能なものとする。ポールＢの設置は、ポールＡと同様に、空港職員などが行う。本実施形態の待ち時間算出システムは、ポールＢが設置されている行列は複数列であっても一つの行列であると認識して待ち時間を算出する。本実施形態の待ち時間算出システムの構成、それにより実行される待ち時間算出処理については、以下に詳細に説明する。
【００１９】
なお、本実施形態は、一例として空港の保安検査場入口ゲートに適用した場合を示しているが、駅、客船ターミナル等の他の公共交通機関の施設、テーマパーク、スタジアム等のイベント関連施設、スーパーマーケットの会計レーンなど、入場待ちやサービス提供待ちなどの理由で行列が形成される可能性がある環境であれば、本発明は適宜適用することができるものである。
＝＝待ち時間算出システムの構成＝＝
【００２０】
以上を踏まえて、本発明の一実施形態に係る待ち時間算出システムについて説明する。図２は、本発明の一実施形態に係る待ち時間算出システム１の全体構成例を示している。待ち時間算出システム１は、待ち時間算出サーバ１０、撮像装置２０、デジタルサイネージ３０、及びこれらの要素間を互いに通信可能に接続する通信ネットワーク４０とを備える。待ち時間算出サーバ１０は、本発明の待ち時間算出方法の一態様によって待ち時間を算出する機能を有するコンピュータであり、アプリケーションサーバ（ＡＰサーバ）１０
０とデータベースサーバ（ＤＢサーバ）２００とを備えている。撮像装置２０は、待ち時間算出の対象となる行列が形成される区域の画像を取得する機能を有する。デジタルサイネージ３０は、待ち時間算出サーバ１０によって算出された待ち時間データを受信して待ち時間情報として視覚的に表示する機能を有する。通信ネットワーク４０は、待ち時間算出サーバ１０、撮像装置２０、及びデジタルサイネージ３０を相互に通信可能に接続しており、例えばＬＡＮ、ＷＡＮ、インターネット等を含んで構成することができる。
＝＝撮像装置＝＝
【００２１】
次に、撮像装置２０について説明する。図３は、撮像装置２０のハードウェア構成例を示す図である。撮像装置２０は、撮像部２１、画像データ送信部２２、及び通信制御部２３を備えている。撮像部２１はＣＣＤ等の撮像素子を備えており、分析対象となる行列形成区域の動画像を撮影する機能を有する。画像データ送信部２２は、撮像部２１により取得された動画像データを所定のフォーマットで通信ネットワーク４０に送出する機能を有する。通信制御部２３は、画像データ送信部２２からの画像データを通信ネットワーク４０に送出すべく、通信ネットワーク４０との間での通信を制御する機能を有し、例えば通信ネットワーク４０がＬＡＮである場合にはネットワークインタフェースカード（ＮＩＣ）が設けられる。撮像装置２０は、産業用ビデオカメラに限られず、一般的な民生用デジタルビデオカメラにより実現することもできる。また、撮像装置２０は、動画像を取得して送信する形態のほか、一定時間間隔等で静止画を取得して送信するように構成することもできる。なお、行列が形成される領域が広い場合、その領域全体をカバーするために、複数の撮像装置２０を設置して、得られる複数の画像データを合成して利用する形態も可能である。
＝＝ＡＰサーバ＝＝
【００２２】
次に、待ち時間出力サーバ１０に設けられるＡＰサーバ１００について説明する。図４は、ＡＰサーバ１００の構成例を示す図である。ＡＰサーバ１００は、一般的なコンピュータにより実現することができ、後述するプログラムを実行することによりＡＰサーバ１００の機能を実現するＣＰＵ等のプロセッサ１１０、プログラムやデータの一時記憶領域を提供するＲＡＭ、ＮＶＲＡＭ等の記憶デバイスで構成されるメモリ１２０、プログラムやデータを格納しておくためのハードディスクドライブ（ＨＤＤ）、半導体ドライブ（ＳＳＤ）等の記憶デバイスを有する補助記憶装置１３０、通信ネットワーク４０等との通信を制御する通信制御部１４０、及びＡＰサーバ１５０へのデータ入出力デバイスであるキーボード、マウス、タッチパネル、モニタ・ディスプレイ等を備えている入出力装置１５０を有する。これらの構成要素は、内部バス等により接続されている。
【００２３】
補助記憶装置１３０には、ＡＰサーバ１００のコンピュータとしての機能を実現するための基本ソフトウェア（図示略）と、待ち時間算出機能を実現するためのプログラムが少なくとも格納されており、プロセッサ１１０によって適時にメモリ１２０に読み出されて実行される。このプログラムとしては、図４に示すように、撮像装置２０より画像データを受信して蓄積する機能を有する画像データ取得部１２０１、受信した動画像データから静止画像を抽出する機能を有する静止画像データ抽出部１２０２、抽出された静止画像データの画像解析を実行して対象の静止画像データに第１の標識であるポールＡを示す画像が含まれているか検索する機能を有するポールＡ判別部１２０３、ポールＡ判別部１２０３の判別結果から入場ゲート前に集団が存在すると判断した場合、当該入場ゲート前に並ぶ行列と区別すべく当該集団を静止画像データから削除する機能を有する集団領域削除部１２０４、前記静止画像データの画像解析を実行して対象の静止画像データに第２の標識であるポールＢを示す画像が含まれているか検索する機能を有するポールＢ判別部１２０５、前記静止画像データにあらかじめ時間経過に応じて変化しない背景画像として登録した要素が含まれているか判別する機能を有する背景部判別部１２０６、背景部判別部１２０６で背景画像と判別された要素を削除する機能を有する背景部削除部１２０７、前記静
止画像データの中で各行列の開始地点を特定するために使用されるゲート入口位置情報を挿入する機能を有するゲート入口位置情報挿入部１２０８、一つの行列が折り返して複数列となっている場合にその複数列の行列が存在している領域を行列形成領域と判定する機能を有する複数列行列判定部１２０９、前記静止画像データの中で行列形成領域と判定された全ての領域をグルーピングしてそれぞれの面積を算出する機能を有する行列形成領域グルーピング部１２１０、及び算出された各行列形成領域の面積から各領域に対応する待ち時間を算出する機能を有する待ち時間算出部１２１１が格納されている。
【００２４】
なお、各プログラムの具体的なデータ処理動作については後述する。また、ＡＰサーバ１００の所要機能を実現するのであれば、各プログラムは上記したようなモジュールによって構成される必要は必ずしもない。また、ＡＰサーバ１００には上記以外の機能を有する他のプログラムが実装されていても差し支えない。
＝＝ＤＢサーバ＝＝
【００２５】
次に、待ち時間算出サーバ１０に設けられるＤＢサーバ２００について説明する。図５は、ＤＢサーバ２００の構成例を示す図である。ＤＢサーバ２００は、一般的なコンピュータにより実現することができ、ＡＰサーバ１００で実行されるプログラムが利用するデータ等を格納している。図５のＤＢサーバ２００は、ＤＢサーバ２００のデータ入出力等の機能を実現するＣＰＵ等のプロセッサ２１０、プログラムやデータの一時記憶領域を提供するＲＡＭ、ＮＶＲＡＭ等の記憶デバイスで構成されるメモリ２２０、プログラムやデータを格納しておくためのＨＤＤ、ＳＳＤ等の記憶デバイスを有する補助記憶装置２３０、及び通信ネットワーク４０等との通信を制御する通信制御部２４０を有する。これらの構成要素は、内部バス等により接続されている。
【００２６】
補助記憶装置２３０には、ＤＢサーバ２００のコンピュータとしての機能を実現する基本ソフトウェア（図示略）と、ＡＰサーバ１００の待ち時間算出機能を果たすプログラムによって利用されるマスタデータ類が格納されている。マスタデータ類は、ＡＰサーバ１００からの指示入力に応じてプロセッサ２１０によって適時に読み出されて通信制御部２４０からＡＰサーバ１００へ送出される。なお、図５のＤＢサーバ２００へのデータ入出力は、ＡＰサーバ１００の入出力装置１５０を通じて実行する構成としているが、ＤＢ２００に別個の入出力装置を設けることもできる。
【００２７】
本実施形態におけるマスタデータ類は、ポールＡマスタ記憶部２２１（第１標識情報記憶部）、ポールＢマスタ記憶部２２２（第２標識情報記憶部）、背景マスタ記憶部２２３、ゲート入口位置マスタ記憶部２２４、人形状データ記憶部２２５（人情報記憶部）、行列形成領域マスタ記憶部２２６、及び待ち時間マスタ記憶部２２７（待ち時間統計情報記憶部）にそれぞれ格納されており、ＡＰサーバ１００からの指示入力に応じて適時に読み出されて利用される。
【００２８】
図７に、ポールＡマスタ記憶部２２１の構成例を示している。ポールＡマスタ記憶部２２１には、ＡＰサーバ１００が画像データ上でポールＡの存在を判別するために使用する画像データが、ポールＡ#image1、…のようにあらかじめ記録されている。ポールＡの画
像データとしては、撮像装置２０によって取得される画像内で容易に判別可能となるように、例えば設置したポールＡを上方から見た場合の画像データであって、画像解析によりポールＡを判別するのに利用する１又は複数の画像データを格納する。図８に示すポールＢマスタ記憶部２２２についても、ポールＡの場合と同様である。
【００２９】
図９には、背景マスタ記憶部２２３の構成例を示している。背景マスタ記憶部２２３には、撮像装置２０によって取得される画像内で単に背景の画像を構成しているのみの物品、例えば各入口ゲート前に設置された旅客の所持品載置用の机やその所持品を検査するＸ
線検査装置等の物品が、例えば机#imageのようにあらかじめ記録されている。図１０には、ゲート入口位置マスタ記憶部２２４の構成例を示している。ゲート入口位置は、撮像装置２０によって撮影される画像におけるＸ−Ｙ平面内の位置として、例えば「ゲート入口Ｇ１座標（ｘ1，ｙ1）」のようにあらかじめ記録される。図１１には、人形状マスタ記憶部２２５の構成例を示している。人形状マスタ記憶部２２５には、撮像装置２０が撮影した画像内において、ＡＰサーバ１００が、行列を構成している利用客Ｐを識別するために使用する画像データを、例えば「頭部#image」、「胴部#image」のようにあらかじめ記録している。
【００３０】
図１２には、行列形成領域統計マスタ記憶部２２６の構成例を示している。行列形成領域統計マスタ記憶部２２６には、保安検査場入口ゲート前において、過去の統計データ上行列が形成されると推定してよい領域がＸ−Ｙ平面上の４つの点で、行列形成領域１(x1,y1)…(x4,y4)のようにあらかじめ記録される。ＡＰサーバ１００による画像解析の対象となる画像内において、行列形成領域外で検出される利用客Ｐは、行列を形成していない単なる通行人等と判定される。図１３には、待ち時間マスタ記憶部２２７の構成例を示している。待ち時間マスタ記憶部２２７には、ＡＰサーバ１００による画像解析の対象となる画像内において、形成されている行列が占める領域の面積とその行列における待ち時間とを統計的に求めた対応関係があらかじめ記録されている。ＡＰサーバ１００では、画像の解析結果として得られた行列が占める面積から対応する待ち時間を算出することができる。図１３では、行列占有面積（m2）と待ち時間（分）との対応関係を離散的に記録して中間の値については補完することとしているが、これ以外の形式で記録するようにしてもよい。このように、行列専有面積と待ち時間との関係を統計的に記録しておくことにより、行列を構成している個々の人物を正確に特定する必要なく行列の待ち時間を得ることができるので、ＡＰサーバ１００でのデータ処理を簡素化することができる。
＝＝デジタルサイネージ＝＝
【００３１】
次に、デジタルサイネージ３０について説明する。図６は、本実施形態のデジタルサイネージ３０のハードウェア構成例を示す図である。デジタルサイネージ３０は、主に大型の表示デバイスを備えたデジタルディスプレイであるが、民生用のテレビやタブレット等でも実現可能である。
【００３２】
図６に例示するデジタルサイネージ３０は、デジタル表示機能を実現するＣＰＵ等のプロセッサ３１、プログラムやデータの一時記憶領域を提供するＲＡＭ、ＮＶＲＡＭ等の記憶デバイスで構成されるメモリ３２、プログラムやデータを格納しておくためのＨＤＤ、ＳＳＤ等の記憶デバイスを有する補助記憶装置３３、通信ネットワーク４０等との通信を制御する通信制御部３４、及び液晶ディスプレイ、ＬＥＤディスプレイ、有機ＥＬディスプレイ等の適宜の形式の表示デバイスを備える画面表示部３５を具備する。デジタルサイネージ３０は、待ち時間算出サーバ１０から受信する待ち時間データを利用して、各ゲートの待ち時間表示を行う。また、待ち時間データは、モバイルネットワークに送出することで、スマートフォン等のモバイル端末において表示させることが可能である。さらに、デジタルサイネージ３０に音声出力部を設けて、待ち時間情報を音声で出力させることも可能である。
＝＝待ち時間算出システムによるデータ処理＝＝
【００３３】
次に、以上説明した構成を備えている本実施形態の待ち時間算出システム１において実行されるデータ処理について説明する。図１４は、本実施形態の待ち時間算出システム１における全体データ処理フロー例を示している。また図１５は、本実施形態の待ち時間算出システム１によって待ち時間を算出するデータ処理の流れを、システム１を構成する装置に沿って模式的に示すシーケンス図である。ここでは、図１４の全体処理フロー例に沿って、図１５のシーケンス図をあわせて参照しながら待ち時間算出システム１の動作を説
明する。
【００３４】
まず、待ち時間算出システム１が起動されて処理が開始されると（S300）、撮像装置２０は撮像部２１により行列待ち時間算出の対象となる区域（本実施形態では、図１に例示した空港の保安検査場入口ゲート前の区域）の動画データを上方から撮影し、画像送信部２２から待ち時間算出サーバ１０のＡＰサーバ１００へ送信する（S301）。ＡＰサーバ１００では画像データ取得部１２０１が動画データを取得して蓄積する一方、静止画像データ抽出部１２０２が一定時間ごとに、あるいは一定フレームごとに静止画像データを抽出する（S302）。なお、撮像装置２０に関して前記したように、撮像装置２０から静止画像データを受信する場合には、静止画像データ抽出部１２０２は特段設ける必要がない。
【００３５】
次いで、ＡＰサーバ１００のポールＡ判別部１２０３及び集団領域削除部１２０４が、抽出された静止画像データの中からＤＢサーバ２００にあるポールＡマスタ記憶部２２１と一致するポールＡの情報を、ＡＰサーバ１００のポールＡ判別部１２０３で検索する。ポールＡ判別部１２０３がポールＡで囲まれた領域があると判定した場合、その領域は行列に含まれない集団領域として、入口から行列を形成している利用客と認識しないようにその集団領域を削除する（S303）。以下、このようなポールＡに関する処理を「集団領域処理」と、その処理を実行する機能部を「集団領域処理部」とも呼ぶものとする。
【００３６】
そして、ＡＰサーバ１００のポールＢ判別部１２０５、背景部判別部１２０６、背景部削除部１２０７、ゲート入口位置情報挿入部１２０８、及び複数列形成判定部１２０９が、静止画像データの中からＤＢサーバ２００にあるポールＢマスタ記憶部２２２の記録データと一致するポールＢの情報をＡＰサーバ２００のポールＢ判別部１２０５で検索する。さらに、静止画像データの中からＤＢサーバ２００にある背景マスタ記憶部２２３の記録データと一致する箇所を判定し、背景部を削除する。次いで静止画像データに、ＤＢサーバ２００にあるゲート入口位置マスタ記憶部２２４より静止画像中のゲート入口位置情報をＡＰサーバ１００のゲート入口位置情報挿入部１２０８で挿入する。そして、ポールＢに基づいて一の行列に複数列が形成されている領域を判定する（S304）。以下、このようなポールＢに関する処理を「複数列行列処理」とも呼ぶものとする。
【００３７】
次いで、各入口ゲート前で行列を形成している利用客のグループを、ＡＰサーバ１００の行列形成領域グルーピング部１２１０でグルーピングし、各行列形成領域の面積を算出する（S305）。複数列を形成している行列については、上記の複数列行列処理で特定された領域を行列形成領域として、静止画像中で占める画素領域等に基づいて算出することができる。一方、複数列を形成していない通常の一列の行列は、その行列を形成している人物を人形状マスタ記憶部２２５に記録されている人形状画像データにより識別し、互いに隣接する複数の人物と判定された領域を統合した一のグループ（行列形成領域）として特定することができる。より具体的には、このグルーピング処理は、人形状画像データに基づいて識別された静止画像データ中のオブジェクトのうち互いに所定画素数以内に近接する複数のオブジェクトを、人の集団を示す画素グループとし、さらに複数の画素グループが得られた場合に、それらの画素グループのうち互いに所定画素数以内に近接する複数の画素グループを統合することで一の行列形成領域を特定することができる。このグルーピング処理の過程では、後述するような背景画像やノイズの削除、画像の鮮明化等の、公知の画像処理技術を適用することができる。
【００３８】
なお、静止画像からグルーピングされた各行列形成領域は、ＤＢサーバ２００の行列形成領域統計マスタ記憶部２２６に記録されている行列形成領域マスタデータと比較して統計的に過去に行列が形成されていたと判定された領域と比較することにより、行列形成領域が適切に検出されていることを担保することが可能である。
【００３９】
ＡＰサーバ１００の待ち時間算出部１２１１にて算出した行列形成領域の面積と対応する待ち時間情報をＤＢサーバ２００に格納する待ち時間マスタ記憶部２２７に問合わせ、待ち時間を算出し（S306）、算出した待ち時間のデータをデジタルサイネージ３０へ送信して表示させる（S307）。
【００４０】
以上のデータ処理により、待ち時間算出システム１により、保安検査場入口ゲート前の区域に形成されている各行列の待ち時間がより正確に表示されることになる。
＝＝集団領域処理＝＝
【００４１】
次に、図１４に例示する本実施形態の待ち時間算出システム１による全体処理フローのうち、集団領域処理について詳細に説明する。図１６は、集団領域処理の処理フロー例を示すフロー図である。図１４の全体処理フローに関して説明したように、集団領域処理では、ポールＡで囲むことによって指定されている、一定の領域に集合している団体旅行客のような、行列に隣接して存在しながら行列は形成していない集団領域を静止画像データ内で判別し、これを削除する処理である。この処理により、行列と集団領域との間が不明確となり、形成されている行列の特定とそれに基づく待ち時間の算出の精度が低下することが防止される。
【００４２】
ＡＰサーバ１００のポールＡ判別部１２０３は、Ｓ４００で処理を開始後、ＤＢサーバ２００のポールＡマスタ記憶部２２１に記録されているポールＡを画像内で識別するための画像データであるポールＡ画像データを読み出して、ＡＰサーバ１００のメモリ１２０の所定領域に書き込む（S401）。次いでポールＡ判別部１２０３は、静止画像データ抽出部１２０２が抽出した静止画像データを取得する（S402）。
【００４３】
ポールＡ判別部１２０３は、メモリ１２０に書き込んだポールＡ画像データを前記静止画像データと比較して、当該静止画像の中にポールＡが含まれているか判定する（S403）。静止画像にポールＡが含まれていない、あるいは４個未満のポールＡが含まれていると判定した場合（S404, No）、ポールＡ判別部１２０３はそのまま処理を終了して次の複数列判定処理に移行する（S407）。
【００４４】
一方、静止画像に４個のポールＡが含まれていると判定した場合（S404, Yes）、ポー
ルＡ判別部１２０３は、検出された４つのポールＡで囲まれている領域を集団領域と特定する（S405）。次いで、ＡＰサーバ１００の集団領域削除部１２０４が、特定された集団領域の部分を構成する画像データを静止画像から削除して処理を終了する。
【００４５】
このように、行列に隣接ないし近接しながら行列に含まれない集団に関する画像データを削除することで、行列を形成している領域に関する情報をより精度よく求めることが可能となり、行列待ち時間の算出精度も向上する。
【００４６】
なお、一枚の静止画像で撮影されている区域内に、複数の集団領域が形成されている場合もありうる。このような場合、形成されている集団領域の数をｎとすれば、４ｎ個のポールＡが設置されることとなる。この場合、ポールＡ判別部１２０３は、静止画像内の４ｎ個のポールＡを組み合わせてｎ個の集団領域を形成する処理を試行し、互いに重なり合わないｎ個の集団領域が得られるパターンを検出することにより集団領域を特定することができる。
＝＝複数列行列処理＝＝
【００４７】
次に、図１４に例示する本実施形態の待ち時間算出システム１による全体処理フローのうち、複数列行列処理について説明する。図１７Ａ，図１７Ｂは、複数列行列処理の処理フロー例を示すフロー図である。図１４の全体処理フローに関して説明したように、複数
列行列処理では、複数列識別用の、ポールＡとは異なるポールＢを、複数列の各端部に相隣接するように設置することにより、一つの行列でありながら折り返して見かけ上複数列を形成しているように見える状態を識別する。この処理により、複数列を有する行列の待ち時間をより精度よく算出することができる。
【００４８】
ＡＰサーバ１００のポールＢ判別部１２０５は、Ｓ５００で処理を開始後、ＤＢサーバ２００のポールＢマスタ記憶部２２２に記録されている、ポールＢを画像内で識別するための画像データであるポールＢ画像データを読み出して、ＡＰサーバ１００のメモリ１２０の所定領域に書き込む（S501）。次いでポールＢ判別部１２０５は、静止画像データ抽出部１２０２が抽出した静止画像データを取得する（S502）。
【００４９】
ポールＢ判別部１２０５は、メモリ１２０に書き込んだポールＢ画像データを前記静止画像データと比較して、当該静止画像の中にポールＢが含まれているか判定する（S503）。静止画像にポールＢが含まれていないと判定した場合（S504, No）、ポールＢ判別部１２０５はそのまま処理を終了して次の行列形成領域グルーピング処理（図１４のＳ３０５）に移行する（S514）。
【００５０】
一方、静止画像に複数のポールＢが含まれていると判定した場合（S504, Yes）、ＡＰ
サーバ１００の背景部判別部１２０６が、ＤＢサーバ２００の背景マスタ記憶部２２３に記録されている、机、Ｘ線検査装置といった背景に関する画像データを読み出し、ＡＰサーバ１００のメモリ１２０の所定領域に書き込む（S505）。
【００５１】
背景部判別部１２０６は、前記メモリ１２０に書き込んだ背景に関する画像データを、静止画像データと比較し（S506）、静止画像データの背景に関する画像データと一致した部分を、背景部削除部１２０７が削除する（S507）。なお、この際、背景部判別部１２０６は、処理中の静止画像と過去に異なる時点で取得された一又は複数の静止画像とを比較して、一定時間にわたって変化が見られない静止画像中の画素は、静止画像中で動いていない背景画像を構成するものであると判定して、該当画素データを背景部削除部１２０７により削除することもできる。
【００５２】
次いで、ＡＰサーバ１００のゲート入口位置情報挿入部１２０８が、ＤＢサーバ２００のゲート入口位置マスタ記憶部２２４に記録されている各ゲート入口位置に関する情報を読み出して、ＡＰサーバ１００のメモリ１２０の所定領域に書き込む（S508）。次いで、複数列形成判定部１２０９が、メモリ１２０に格納されたゲート入口位置データにより、静止画像内でのゲート入口位置を特定し、入場ゲート入口と当該ゲート入口に最も近いポールＢとの間にライン（図１におけるLineB）を設定し（S509）、ＤＢサーバ２００の人
形状マスタ記憶部２２５に記録されている人形状画像データを読み出してそのライン上に存在する物体から利用客（図１における利用客Ｐ）を認識する（S510）。
【００５３】
このようにして一列目の行列形成領域を求めると、一列目の最後尾に設定されているポールＢの横に、より具体的には、静止画像のＸ−Ｙ平面におけるＸ軸方向に他のポールＢが存在するか判定する（S511）。他のポールＢが存在すると判定した場合（S511, Yes）
、複数列形成判定部１２０９が、検出された他のポールＢから前記一本目のライン（LineB）と平行に二本目のライン（図１のLineB'）を設定する（S512）。そして、LineBに関してと同様に、ＤＢサーバ２００の人形状マスタ記憶部２２５に記録されている人形状画像データを読み出してそのライン上に存在する物体から利用客（図１における利用客Ｐ）を認識する（S513）。複数列形成判定部１２０９は、隣接する他のポールＢが検出されなくなるまで、（ポールＢの数−１）回、Ｓ５１１〜Ｓ５１３の処理を繰り返すループ処理を実行し、ループ処理が終了した場合には、そのまま処理を終了する（S514）。
【００５４】
以上説明した複数列行列処理によれば、一つの長い行列が折り返しにより複数の行列と見かけ上観察される場合であっても、その複数列を一つの行列として認識することができるので、行列の待ち時間算出精度の向上が可能となる。
【００５５】
複数列を含む行列以外の、一列の行列については、行列形成領域グルーピング部１２１０に関して説明したように、静止画像中の各ゲート前に存在している物体を人形状情報データに基づいて判定することにより、行列形成領域として特定することができる。この場合、一列の行列の末尾にもポールＢを設置し、対応するゲート入口位置との間にLineBを
設定することにより、人形状画像データのみで人物を特定するのが困難である場合でも、より精度よく行列形成領域を特定することができる。
【００５６】
なお、本実施形態では、集団領域処理と複数列行列処理との両方の処理を実行する待ち時間算出システムを例示したが、集団領域処理のみを実行するような構成であっても、行列待ち時間の精度向上の目的を達成することができる。
【００５７】
以上説明した本発明の一実施形態による待ち時間算出システムでは、形成されている行列の状態をより適切に把握することにより、より正確に行列の待ち時間を算出することができる。より具体的には、集団領域処理により、一定の領域に集合している団体旅行客のような、行列に隣接して存在しながら行列は形成していない集団領域を静止画像データ内で判別し、これを削除するので、行列と集団領域との間が不明確となり、形成されている行列の特定とそれに基づく待ち時間の算出の精度が低下することが防止される。
【００５８】
また、複数列行列処理を行えば、複数列識別用の標識（ポールＢ）を、複数列の各端部に相隣接するように設置することにより、一つの行列でありながら折り返して見かけ上複数列を形成しているように見える状態を識別するので、複数列を有する行列の待ち時間をより精度よく算出することができる。
【００５９】
なお、本発明の技術的範囲は上記の実施形態に限定されることはなく、他の変形例、応用例等も、特許請求の範囲に記載した事項の範囲内に含まれるものである。
【符号の説明】
【００６０】
１０  待ち時間算出サーバ
２０  撮像装置
３０  デジタルサイネージ
４０  通信ネットワーク
１００  アプリケーションサーバ
１２０１  画像データ取得部
１２０２  静止画像データ抽出部
１２０３  ポールＡ判別部
１２０４  集団領域削除部
１２０５  ポールＢ判別部
１２０６  背景部判別部
１２０７  背景部削除部
１２０８  ゲート入口位置情報挿入部
１２０９  複数列行列判定部
１２１０  行列形成領域グルーピング部
１２１１  待ち時間算出部
２００  データベースサーバ
２２１  ポールＡマスタ記憶部
２２２  ポールＢマスタ記憶部
２２３  背景マスタ記憶部
２２４  ゲート入口位置マスタ記憶部
２２５  人形状データ記憶部
２２６  行列形成領域マスタ記憶部
２２７  待ち時間マスタ記憶部２２７
【図１】
2018106385.tif 000003
【図２】
2018106385.tif 000004
【図３】
2018106385.tif 000005
【図４】
2018106385.tif 000006
【図５】
2018106385.tif 000007
【図６】
2018106385.tif 000008
【図７】
2018106385.tif 000009
【図８】
2018106385.tif 000010
【図９】
2018106385.tif 000011
【図１０】
2018106385.tif 000012
【図１１】
2018106385.tif 000013
【図１２】
2018106385.tif 000014
【図１３】
2018106385.tif 000015
【図１４】
2018106385.tif 000016
【図１５】
2018106385.tif 000017
【図１６】
2018106385.tif 000018
【図１７Ａ】
2018106385.tif 000019
【図１７Ｂ】
2018106385.tif 000020