(57)【要約】【課題】画像から所定の位置を通過した人数を算出する時に、目的に適した人数を算出することが可能な仕組みを提供すること。【解決手段】画像処理システムは、人物が写った複数の画像を取得する取得手段と、前記画像に写った人物であって所定の位置を通過した人物の人数をカウントするカウント手段と、前記画像に写った人物が前記所定の位置を通過した通過方向を示す通過方向情報を取得する通過方向取得手段と、前記通過方向取得手段により取得された前記通過方向情報に基づき、前記所定の位置を通過した人物が、前記カウント手段による人数のカウントから除外するカウント除外対象であるか否かを判定するカウント除外手段と、を備え、前記カウント手段は、前記カウント除外手段により前記カウント除外対象であると判定された場合には、前記カウント除外対象であると判定された人物の人数をカウントから除外する。【選択図】図１
2020102852.tif 000002
【特許請求の範囲】
【請求項１】
所定の位置を通過した人物の人数をカウントすることが可能な画像処理システムであって、
人物が写った複数の画像を取得する取得手段と、
前記画像に写った人物であって前記所定の位置を通過した人物の人数をカウントするカウント手段と、
前記画像に写った人物が前記所定の位置を通過した通過方向を示す通過方向情報を取得する通過方向取得手段と、
前記通過方向取得手段により取得された前記通過方向情報に基づき、前記所定の位置を通過した人物が、前記カウント手段による人数のカウントから除外するカウント除外対象であるか否かを判定するカウント除外手段と、を備え、
前記カウント手段は、前記カウント除外手段により前記カウント除外対象であると判定された場合には、前記カウント除外対象であると判定された人物の人数をカウントから除外する、画像処理システム。
【請求項２】
前記カウント除外手段により前記カウント除外対象であると判定された人物を記憶する記憶手段を備える、請求項１に記載の画像処理システム。
【請求項３】
前記通過方向は、前記所定の位置を区分けする第一領域から第二領域に向かう第一方向と、前記第二領域から前記第一領域に向かう第二方向との何れかであって、
前記カウント除外手段は、前記画像に写った同一の人物が、前記第一方向および前記第二方向の何れかと同じ前記通過方向に前記所定の位置を複数回通過する場合には、当該同一の人物を前記カウント除外対象であると判定する、請求項１又は２に記載の画像処理システム。
【請求項４】
前記通過方向は、前記所定の位置を区分けする第一領域から第二領域に向かう第一方向と、前記第二領域から前記第一領域に向かう第二方向との何れかであって、
前記カウント除外手段は、前記画像に写った同一の人物が、前記第一方向に前記所定の位置を通過した後、所定の時間内に前記第二方向に前記所定の位置を通過した場合には、当該同一の人物を前記カウント除外対象であると判定する、請求項１〜３の何れか一項に記載の画像処理システム。
【請求項５】
前記カウント手段は、前記通過方向取得手段により取得された通過方向情報が示す通過方向毎に、人数をカウントすることを特徴とする請求項１〜４の何れか一項に記載の画像処理システム。
【請求項６】
前記カウント除外手段は、前記所定の位置を通過した人物と、前記通過方向取得手段により取得された通過方向情報が示す通過方向との組み合わせに基づき、前記所定の位置を通過した人物が前記カウント除外対象であるか否かを判定する、請求項１〜５の何れか一項に記載の画像処理システム。
【請求項７】
前記所定の位置を通過した人物の人数を表示制御する表示制御手段を備え、
前記表示制御手段は、前記カウント手段により前記カウント除外対象の人物を除いてカウントされた人数と、前記カウント除外対象の人物の人数と、を表示制御する、請求項１〜６の何れか一項に記載の画像処理システム。
【請求項８】
前記表示制御手段は、前記カウント手段によって前記カウント除外対象を除いて人数がカウントされた人物と、前記カウント除外対象の人物と、を識別可能に表示する、請求項７に記載の画像処理システム。
【請求項９】
前記画像を撮影する撮像装置を更に備え、
前記取得手段は、前記撮像装置によって撮影された画像を取得することを特徴とする請求項１〜８の何れか一項に記載の画像処理システム。
【請求項１０】
所定の位置を通過した人物の人数をカウントする画像処理システムの制御方法であって、
人物が写った複数の画像を取得する取得ステップと、
前記画像に写った人物であって前記所定の位置を通過した人物の人数をカウントするカウントステップと、
前記画像に写った人物が前記所定の位置を通過した通過方向を示す通過方向情報を取得する通過方向取得ステップと、
前記通過方向取得ステップにおいて取得された前記通過方向情報に基づき、前記所定の位置を通過した人物が、前記カウントステップにおける人数のカウントから除外するカウント除外対象であるか否かを判定するカウント除外ステップと、を含み、
前記カウントステップは、前記カウント除外ステップにおいて前記カウント除外対象であると判定された場合には、前記カウント除外対象であると判定された人物の人数をカウントから除外する、画像処理システムの制御方法。
【請求項１１】
所定の位置を通過した人物の人数をカウントする画像処理システムで読み取り可能なプログラムであって、
画像処理システムを、
人物が写った複数の画像を取得する取得手段と、
前記画像に写った人物であって前記所定の位置を通過した人物の人数をカウントするカウント手段と、
前記画像に写った人物が前記所定の位置を通過した通過方向を示す通過方向情報を取得する通過方向取得手段と、
前記通過方向取得手段により取得された前記通過方向情報に基づき、前記所定の位置を通過した人物が、前記カウント手段による人数のカウントから除外するカウント除外対象であるか否かを判定するカウント除外手段として機能させ、
前記カウント手段を、前記カウント除外手段により前記カウント除外対象であると判定された場合には、前記カウント除外対象であると判定された人物の人数をカウントから除外するように機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理システムの制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年ネットワークカメラの映像を用いて人数をカウントするシステムが提案されている。例えば特許文献１には、カメラから出力された撮影画像を取得し、当該撮影画像に対して顔認識を行うことで、当該撮影画像中の顔の数に応じた人数を算出する仕組みが提案されている。
【０００３】
また特許文献２には、特定箇所を撮影し、撮影された映像を画像処理することによって当該特定箇所を通過した人数をカウントする仕組みが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２２１９０６号公報
【特許文献２】特開２００８−２１７２０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１および特許文献２の仕組みを利用してネットワークカメラの画像（映像）を解析することで、画像中に写っている人の人数や、所定の位置を通過した人の人数を算出することができる。
【０００６】
しかしながら、これら特許文献にて提案された技術を利用した場合、例えばイベント会場などで参加した人の人数を数えたい場合に、係員などイベントの参加者ではない人まで数えてしまうことになってしまう。
【０００７】
また、長時間滞在した人や短時間しか滞在していない人も同様に数えてしまうためユーザごとの滞在時間を算出することができないという問題もあった。
【０００８】
また、同じユーザが何度もカウントされてしまうことによって、実人数を数えたい場合などには正しい人数を算出することができないとう問題もあった。
【０００９】
そこで本発明では、これら問題点に鑑み、画像から所定の位置を通過した人数を算出する時に、目的に適した人数を算出することが可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理システムは、所定の位置を通過した人物の人数をカウントすることが可能な画像処理システムであって、人物が写った複数の画像を取得する取得手段と、画像に写った人物であって所定の位置を通過した人物の人数をカウントするカウント手段と、画像に写った人物が所定の位置を通過した通過方向を示す通過方向情報を取得する通過方向取得手段と、通過方向取得手段により取得された通過方向情報に基づき、所定の位置を通過した人物が、カウント手段による人数のカウントから除外するカウント除外対象であるか否かを判定するカウント除外手段と、を備え、カウント手段は、カウント除外手段によりカウント除外対象であると判定された場合には、カウント除外対象であると判定された人物の人数をカウントから除外する。
【００１１】
本発明に係る画像処理システムの制御方法は、所定の位置を通過した人物の人数をカウントする画像処理システムの制御方法であって、人物が写った複数の画像を取得する取得ステップと、画像に写った人物であって所定の位置を通過した人物の人数をカウントするカウントステップと、画像に写った人物が所定の位置を通過した通過方向を示す通過方向情報を取得する通過方向取得ステップと、通過方向取得ステップにおいて取得された通過方向情報に基づき、所定の位置を通過した人物が、カウントステップにおける人数のカウントから除外するカウント除外対象であるか否かを判定するカウント除外ステップと、を含み、カウントステップは、カウント除外ステップにおいてカウント除外対象であると判定された場合には、カウント除外対象であると判定された人物の人数をカウントから除外する。
【００１２】
本発明に係るプログラムは、所定の位置を通過した人物の人数をカウントする画像処理システムで読み取り可能なプログラムであって、画像処理システムを、人物が写った複数の画像を取得する取得手段と、画像に写った人物であって所定の位置を通過した人物の人数をカウントするカウント手段と、画像に写った人物が所定の位置を通過した通過方向を示す通過方向情報を取得する通過方向取得手段と、通過方向取得手段により取得された通過方向情報に基づき、所定の位置を通過した人物が、カウント手段による人数のカウントから除外するカウント除外対象であるか否かを判定するカウント除外手段として機能させ、カウント手段を、カウント除外手段によりカウント除外対象であると判定された場合には、カウント除外対象であると判定された人物の人数をカウントから除外するように機能させるためのプログラムである。
【発明の効果】
【００１３】
本発明によると、画像から所定の位置を通過した人数を算出する時に、目的に適した人数を算出することが可能な仕組みを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態における画像処理システムのシステム構成の一例を示すシステム構成図である。
【図２】本発明の実施形態における画像処理システムのサーバ１００、クライアントＰＣ１０１に適用可能な情報処理装置のハードウェア構成の一例を示す図である。
【図３】本発明の実施形態におけるネットワークカメラ１０２のハードウェアの構成の一例を示す図である。
【図４】本発明の実施形態における画像処理システムの機能構成の一例を示す機能構成図である。
【図５】本発明の実施形態における人数カウントに利用される画像の一例を示す図である。
【図６】本発明の実施形態における通過人数カウントに利用される画像の一例を示す図である。
【図７】本発明の実施形態における画像処理システムの画像保存処理の一例を示すフローチャートである。
【図８】本発明の実施形態における画像処理システムの通過人数カウント処理の一例を示すフローチャートである。
【図９】本発明の実施形態における画像処理システムの人数カウント処理の一例を示すフローチャートである。
【図１０】本発明の実施形態における画像処理システムの顔認識処理の一例を示すフローチャートである。
【図１１】本発明の実施形態における画像処理システムの閲覧処理の一例を示すフローチャートである。
【図１２】本発明の実施形態における画像処理システムの人物ＤＢの一例を示す図である。
【図１３】本発明の実施形態における人数カウントの閲覧画面の一例を示す図である。
【図１４】本発明の実施形態における通過人数カウントの閲覧画面の一例を示す図である。
【図１５】別の実施形態に係る画像処理システムの通過人数カウント処理の一例を示すフローチャートである。
【図１６】人物位置情報ＤＢの一例を示す図である。
【図１７】境界越え情報ＤＢの一例を示す図である。
【図１８】ラインカウンタＤＢの一例を示す図である。
【図１９】別の実施形態に係る画像処理システムにおける画像に写った人数のカウント処理の一例を示すフローチャートである。
【図２０】人数カウントの閲覧画面の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。
【００１６】
図１は、本発明の実施形態における画像処理システムのシステム構成の一例を示すシステム構成図である。
【００１７】
本発明の実施形態における画像処理システム（情報処理システム）は、サーバ１００、クライアントＰＣ１０１、撮像装置であるネットワークカメラ１０２が、無線（または有線）ＬＡＮ１２０を介して通信接続可能に接続されている。尚、図１のシステム構成は一例であり、用途や目的に応じて様々な構成例がある。
【００１８】
サーバ１００は、ネットワークカメラ１０２において撮影された画像データを記憶管理する。また、サーバ１００は、当該サーバ１００で記憶管理する画像データを解析し、画像データに含まれるユーザの人数のカウントや、所定の領域を通過した人数のカウントを行う機能を有する。
【００１９】
本発明の実施形態における画像管理システムは、ネットワークカメラ１０２を複数［ネットワークカメラ１０２（Ａ）や（Ｂ）］含み、また、ＴＣＰ／ＩＰプロトコルで通信を行っており、各ネットワークカメラ１０２には、固定のＩＰアドレスが独自に割り当てられると共に、ネットワーク群毎に割り当てられた外部ポート番号が割り当てられている。
【００２０】
従って、サーバ１００では、受信した画像データが何れのネットワークカメラ１０２から送信されたものなのかを識別することが可能であり、受信した画像データと何れのネットワークカメラ１０２から送信されたものなのかを対応づけて記憶管理することが可能である。
【００２１】
ネットワークカメラ１０２は、例えば、企業の建物のフロアの打ち合わせスペースや催し物会場（以下、「所定の領域」ともいう）ごとに設けられ、例えばネットワークカメラ１０２（Ａ）は所定の領域全体の静止画または動画を撮影し、ネットワークカメラ１０２（Ｂ）はそこで撮影された人物を特定するための静止画または動画の撮影を行ったりする。
【００２２】
所定の領域の例としては、領域の全体を示す領域１０６、領域Ａ１０３、領域Ｂ１０４などである。領域Ａ１０３と領域Ｂ１０４の間に設けられた位置１０５は、当該位置１０５を通過したユーザ（ＵＳＥＲ）の人数をカウントする場合の基準位置である。すなわち、本位置は、領域Ａ１０３と領域Ｂ１０４とを区分けする境界である。本位置は、線状に設定されてもよいし、円状に設定されてもよいし、矩形で設定されてもよい。
【００２３】
クライアントＰＣ１０１は、サーバ１００で管理する画像データ（ネットワークカメラ１０２の映像）をユーザが閲覧するために用いられる。ユーザは、クライアントＰＣ１０１を介して、モニタリングシステムにログインすることにより、画像データの閲覧が可能となる。
【００２４】
次に、図２を用いて、図１に示したサーバ１００、クライアントＰＣ１０１に適用可能な情報処理装置のハードウェア構成の一例について説明する。
【００２５】
図２は、本発明の実施形態における画像処理システムのサーバ１００、クライアントＰＣ１０１に適用可能な情報処理装置のハードウェア構成の一例を示す図である。
【００２６】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００２７】
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。
【００２８】
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１０等の表示器への表示を制御する。なお、図２では、ＣＲＴ２１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。
【００２９】
２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるＣＦメモリ等の外部メモリ２１１へのアクセスを制御する。
【００３０】
２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００３１】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００３２】
本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上で、図２の説明を終了する。
【００３３】
次に、図３を用いて、図１に示したネットワークカメラ１０２のハードウェア構成の一例について説明する。
【００３４】
図３は、本発明の実施形態におけるネットワークカメラ１０２のハードウェアの構成の一例を示す図である。
【００３５】
ＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ３０２あるいは外部メモリ３０５には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、画像処理サーバ１０８の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。
【００３６】
ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＡＭ３０３にロードして、プログラムを実行することで各種動作を実現するものである。
【００３７】
メモリコントローラ（ＭＣ）３０６は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ、画像データ等を記憶するハードディスク（ＨＤ）やＰＣＭＣＩＡカードスロットにアダプタを介して接続されるＣＦメモリやスマートメディア（登録商標）等の外部メモリ３０５へのアクセスを制御する。
【００３８】
カメラ部３０７は、画像処理部３０８と接続されており、監視対象に対して向けられたレンズを透過して得られた光をＣＣＤやＣＭＯＳ等の受光セルによって光電変換を行った後、ＲＧＢ信号や補色信号を画像処理部３０８に対して出力する。
【００３９】
画像処理部３０８は、ＲＧＢ信号や捕色信号に基づいて、ホワイトバランス調整、ガンマ処理、シャープネス処理を行い、更に、ＹＣ信号処理を施して輝度信号Ｙとクロマ信号（以下、ＹＣ信号）を生成し、ＹＣ信号を所定の圧縮形式（例えばＪＰＥＧフォーマット、あるいはＭｏｔｉｏｎＪＰＥＧフォーマット等）で圧縮し、この圧縮されたデータは、画像データとして外部メモリ３０５へ一時保管される。
【００４０】
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）３０９は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行しており、外部メモリ３０５に記憶された画像データは、通信Ｉ／Ｆコントローラ３０９によって外部機器へ送信される。以上で、図３の説明を終了する。
【００４１】
図４は、本発明の実施形態における画像処理システムの機能構成の一例を示す機能構成図である。
【００４２】
本実施形態に係る画像処理システムは、サーバ１００が、画像取得部４１１、人数カウント部４１２、人物認識部４１３、人物除外部４１４、および結果画面表示制御部４１５の各機能を有する。なお、サーバ１００は、図４に図示した機能構成に限られず、例えば、カウント除外対象であると判定された人物を記憶する記憶部、人物が所定の位置を通過した方向を示す通過方向情報を取得する通過方向取得部、人物が所定の領域に滞在している時間を算出する滞在時間算出手段等、その他の種々の機能構成を有していてもよい。
【００４３】
画像取得部４１１は、図７で説明するようにネットワークカメラ１０２で撮影した画像を取得する。画像には静止画および動画が含まれる。実施例では、ネットワークカメラ１０２（Ａ）は、所定の領域を撮影し、ネットワークカメラ１０２（Ｂ）は、識別された人物を認識し（例えば顔認証）、個人の特定を行うために利用する。
【００４４】
人数カウント部４１２は、ネットワークカメラ１０２（Ａ）で撮影された画像を利用して、図９で説明するように所定の領域に写っている人物の人数カウントや、図８で説明するように所定の位置を通過した人物の人数カウントを行う。
【００４５】
人物認識部４１３は、ネットワークカメラ１０２（Ｂ）で撮影された画像を利用して、画像に写っている人物の認証を行う。認証処理の一例については、図１０にて説明する。
【００４６】
人物除外部４１４は、画像取得部４１１により取得された画像に基づき、画像に写った人物が、人数カウント部４１２による人数のカウントから除外するカウント除外対象であるか否かを判定する。人物除外部４１４は、人数カウント部４１２による人数カウントから除外する人物を特定したり、認証された人物を図１２に示す人物テーブルや通過人物テーブルに保存したりする処理を行う。人物除外部４１４は、例えば、画像に写った人物が所定の位置を通過した通過方向を示す通過方向情報に基づき、所定の位置を通過した人物がカウント除外対象であるか否かを判定する。また、人物除外部４１４は、画像に写った人物の所定の領域における滞在時間に基づき、画像に写った人物がカウント除外対象であるか否かを判定する。
【００４７】
結果画面表示制御部４１５は、ユーザの要求に従って、画像処理結果をユーザの端末に表示するよう制御する処理を行う。
【００４８】
図５は、本発明の実施形態における人数カウントに利用される画像の一例を示す図である。
【００４９】
画像Ａ５０１は、ある場所における所定の領域が撮影された画像であり、画像Ｂ５０２は、画像Ａと同じ地点・同じ領域を異なる時刻に撮影された画像である。これらの画像は比較対象となる画像として管理される。
【００５０】
図５では、画像ＡにＡさんからＥさんまでの５名が写っていていて、例えば５分後の画像である画像Ｂには、同じ５名であっても、ＤさんとＥさんがいなくなり、ＦさんとＧさんが写っているという例である。ここで、例えばＡさん、Ｂさん、及びＣさんは、５分前の画像Ｂにも写っていたユーザであるので、人数カウントから除外される。すなわち、人物除外部４１４は、所定の領域５０１における滞在時間が５分以上であるＡさん、Ｂさん、及びＣさんを、カウント除外対象として判定する。そして、人数カウント部４１２は、人物除外部４１４によりカウント除外対象であると判定された人物を除外して人数カウントをおこなう。
【００５１】
また、例えば係員のためＡさんは人数カウントから除外するという設定も可能である。すなわち、人物除外部４１４は、既定の人物であることに基づきＡさんをカウント除外対象であると判定してもよい。なお、人数カウント部４１２は、人物除外部４１４によりカウント除外対象であると判定された人物に限られず、予め管理者等によって設定された人物を除外して人数カウントをおこなってもよい。
【００５２】
本実施形態では、ここで写っている人の変化状況を図１３で示す画面にて表示可能に構成されている。
【００５３】
図６は、本発明の実施形態における通過人数カウントに利用される画像の一例を示す図である。
【００５４】
ある場所における所定の領域が撮影された画像であり、それぞれ画像Ａ６０１→画像Ｂ６０２→画像Ｃ６０２の順に時間が経過したものである。
【００５５】
ここでは、所定の位置６０４を基準に領域Ａから領域Ｂへ移動（またはその逆の領域Ｂから領域Ａへ移動）した人数のカウントを行い、同じ方向に複数回移動する同一人物や既定のユーザをカウントから除外可能にするものである。ここで、同じ方向とは、ある一点からある一点に向かう直線上の全く同じ方向に限られず、例えば第一領域から第二領域に向かう方向として同じ方向であることをいう。便宜的に、領域Ａを基準として、領域Ｂに人物が移動した場合を「ＯＵＴ」、領域Ｂから領域Ａに人物が移動した場合を「ＩＮ」とカウントすることとして説明する。この場合、同じ方向とは、何れも「ＯＵＴ」（又は何れも「ＩＮ」）であることをいう。
【００５６】
画像Ａでは、Ｃさんが、領域Ａから領域Ｂに移動（所定の位置６０４を領域Ａから領域Ｂに移動）している様子を示している（ＯＵＴ）。
【００５７】
画像Ｂでは、Ｃさんが領域Ｂから領域Ａに移動し、Ｄさんが領域Ｂから領域Ａに移動した様子を示している（ＩＮ）。
【００５８】
画像Ｃでは、Ｃさんが再度領域Ａから領域Ｂに移動し、Ａさんが領域Ａから領域Ｂに移動した様子を示している（ＯＵＴ）。ここで、Ｃさんは同じ方向への２度目の移動となるので、人数カウントから除外される。すなわち、人物除外部４１４は、同じ通過方向に所定の位置６０４を複数回通過するＣさんを、カウント除外対象であると判定する。そして、人数カウント部４１２は、人物除外部４１４によりカウント除外対象であると判定された人物を除外して人数カウントをおこなう。
【００５９】
また、Ａさんは予め除外されることが既定されているので、初めての移動であっても除外される。すなわち、人物除外部４１４は、既定の人物であることに基づきＡさんをカウント除外対象であると判定してもよい。なお、人数カウント部４１２は、人物除外部４１４によりカウント除外対象であると判定された人物に限られず、予め管理者等によって設定された人物を除外して人数カウントをおこなってもよい。
【００６０】
図７は、本発明の実施形態における画像処理システムの画像保存処理の一例を示すフローチャートである。
【００６１】
本処理は、ネットワークカメラ１０２によって撮影された画像をサーバ１００に送信して保存する処理である。
【００６２】
ステップＳ７０１では、ネットワークカメラ１０２は、監視エリア（領域１０６）を撮影し、ステップＳ７０２で撮影した画像をサーバに送信する。
【００６３】
ステップＳ７０３でサーバ１００は、ネットワークカメラ１０２から画像を受信し、ステップＳ７０４で、録画ファイルとして受信した画像をサーバの外部メモリ２１１などに保存し処理を終了する。
【００６４】
ここで保存した画像を利用して本画像処理システムは、画像に写っているユーザの人数又は通過人数をカウントする。
【００６５】
図８は、本発明の実施形態における画像処理システムの通過人数カウント処理の一例を示すフローチャートである。
【００６６】
本処理は、所定の領域（例えば６０１）に設定された所定の位置（例えば６０４）を何人のユーザが通過したのかをカウントする処理であって、サーバに保存された画像から所定時間の画像を対象として処理を行う。
【００６７】
ステップＳ８０１では、ユーザや管理者に指定された所定時間繰り返し処理を行う。本実施例では、９：００から９：０５の５分間が指定されたものとして説明する。また、実際には、５分間分を動画にするには多数の画像から構成されるが、本実施例では、便宜的に３枚の画像を利用して説明する。
【００６８】
画像６０１は９：００、画像６０２は９：０３、画像６０３は９：０５に撮影されたものとする。
【００６９】
ステップＳ８０２では、ライン通過検知エリア情報を読み取る。具体的には、所定の位置６０４を通過した人物がいたかどうかの判定を行う。
【００７０】
ステップＳ８０３で、人物が識別（認識）できた場合はステップＳ８０４に進み、識別（認識）できなかった場合ステップＳ８１１に進み、ループの判定（所定時間経過したどうか）を行う。
【００７１】
ステップＳ８０４では、画像解析処理等により、ステップＳ８０２で所定の位置を通過したと判定された人物が、所定の位置を通過した方向を示す通過方向情報を取得する（通過方向取得手段）。通過方向情報とは、領域Ａから領域Ｂへ向かう第一方向と、領域Ｂから領域Ａへ向かう第二方向との何れかを示す情報であって、ここでは、領域Ａから領域Ｂへの移動（第一方向）を「ＯＵＴ」、領域Ｂから領域Ａへの移動（第二方向）を「ＩＮ」とする（逆でも構わない）。
【００７２】
ステップＳ８０５では、ステップＳ８０３において認識した人物を特定する処理を行う。本処理については、図１０にて説明するが、認識した人物を特定する処理である（人物特定手段）。この処理により、識別された人物のうち不要な人物を人数カウントから除外することができるようになる。
【００７３】
ステップＳ８０６は、ステップＳ８０３において認識された人物がカウント除外対象であるか否かを判定する。ステップＳ８０６で対象の人物がカウント除外対象であると判定された場合は、ステップＳ８０８に進み、当該人物の移動をカウント除外対象として記憶し（記憶手段）人数カウントに反映されないようにし、ステップＳ８０９に進む。ステップＳ８０６で対象の人物がカウント除外対象でないと判定された場合は、ステップＳ８０７に進み、ＩＮ／ＯＵＴの移動カウントをインクリメントし、ステップＳ８０９に進む。
【００７４】
ステップＳ８０９では、ステップＳ８０３で認識した人物の全ての処理が終了したかの確認を行い、終了していない場合はステップＳ８０４に戻り次の人物についての処理を行い、全人物に対する処理が完了した場合は、ステップＳ８１０に進む。
【００７５】
ステップＳ８１０では、本フローで処理した内容を結果テーブルに保存し、処理を終了する。なお、本処理は、本ステップでまとめて保存してもよいし、フローチャートの各ステップで都度保存するようにしてもよい。
【００７６】
次に図１２を利用して本フローチャートで保存される結果テーブル（人物テーブル）について説明する。
【００７７】
図１２は、本発明の実施形態における画像処理システムの人物ＤＢの一例を示す図である。人物ＤＢ１２００は、図９で説明する人数カウント処理の結果が保存された結果テーブルである。人物ＤＢ１２００には、画像Ａおよび画像Ｂで認識されたユーザのユーザ名およびそのユーザの種別が保存されている。詳細については後述する。
【００７８】
通過人物ＤＢ１２１０は、図８のライン通過カウント処理にて保存される結果テーブルである、通過人物ＤＢの一例である。
【００７９】
通過人物ＤＢ１２１０には、画像１２１１、その画像の撮影された時刻１２１２、通過方向１２１３、ユーザ１２１４、およびカウンタ１２１５が対応付いて記憶されている。
【００８０】
画像１２１１は、画像名であり、例えば画像のファイル名である。画像Ａ〜画像Ｃは、それぞれ図６の画像Ａ６０１〜画像Ｃ６０３に対応しており、それぞれ、９時０分、９時３分、９時５分に撮影されたものである。
【００８１】
通過方向１２１３は、ステップＳ８０４で検知された方向が記憶されており、ユーザ１２１４は、ステップＳ８０５で特定されたユーザが記憶される。
【００８２】
カウンタ１２１５は、ステップＳ８０７のＩＮ／ＯＵＴカウンタとなっており、ＩＮユーザおよびＯＵＴユーザの人数のカウンタである。例えば、ＯＵＴは２名、ＩＮは１名カウントされたことが分かる。
【００８３】
また、画像ＣのＣさんが除外となっている。これは、「所定時間内の同じ方向への同一ユーザの移動はカウントから除外」する設定による。すなわち、人物除外部４１４によって、所定時間内の同じ方向へ移動する同一ユーザがカウント除外対象であると判定され、その判定結果が結果テーブルに保存されている。
【００８４】
また、画像ＣのＡさんが除外となっている。これは、図６に示すように、「Ａさんは既定で（除外）」する設定による。すなわち、人物除外部４１４によって、既定のユーザがカウント除外対象者であると判定され、その判定結果が結果テーブルに保存される。設定は本設定以外にも予め管理者によって設定することが可能になっている。
【００８５】
図９は、本発明の実施形態における画像処理システムの人数カウント処理の一例を示すフローチャートである。
【００８６】
本処理は、所定の領域（例えば５０１）に何人のユーザが写っているのかをカウントする処理であって、サーバに保存された画像を対象とする。
【００８７】
例えば、画像Ａ５０１にも画像Ｂ５０２にも５名写っているが、２枚の画像を比較して、同じユーザを除外したり、所定のユーザを除外したり、新しいユーザの人数だけを表示したりする処理を行うことができる。すなわち、予め設定された除外対象者に限られず、画像に基づき、当該人物がカウント除外対象であるか否かを判定し、カウント除外対象であると判定された人物を人数カウントから除外する処理を行うことができる。
【００８８】
また、本処理は、画像の比較を行うので、セットされた所定の枚数の人数カウントを行うようになっており、本実施例では、画像Ａと画像Ｂとで２枚が所定の枚数となる。
【００８９】
ステップＳ９０１で、エリア情報を読み取る。エリア情報とは例えば図１の領域１０６のことであり、ネットワークカメラ１０２でプリセットされて撮影された領域の画像に対応する。
【００９０】
ステップＳ９０２で、領域内で人物を識別（認識）したかどうかの判定を行い、識別した場合は、ステップＳ９０３に進み、人物特定処理を行う。人物特定処理は図１０にて説明するが、人物特定処理により、当該認識された人物が除外対象かどうか決定される。
【００９１】
ステップＳ９０４では、ステップＳ９０２で認識された人物が除外対象かどうかの判定を行い、当該人物が除外対象であると判定された場合はステップＳ９０６に進み、当該人物が除外対象でないと判定された場合はステップＳ９０５に進む。
【００９２】
ステップＳ９０６では、除外対象であると判定された人物を人数カウントに反映されないようにし、ステップＳ９０７に進む。ステップＳ９０５では、ステップＳ９０２で認識された人物の人数をカウントし、ステップＳ９０７へ進む。
【００９３】
ステップＳ９０７では、全画像（ここでは２枚）についての処理が完了したかどうかの判定を行い、処理が完了していない場合は、ステップＳ９０３に戻り、処理が完了した場合は、ステップＳ９０８に進み、結果テーブルに処理の内容を保存して処理を終了する。なお、本処理は、本ステップでまとめて保存してもよいし、フローチャートの各ステップで都度保存するようにしてもよい。
【００９４】
本フローチャートで保存される結果テーブルについて、図１２の人物ＤＢ１２００を利用して説明する。画像Ａは９時０分に撮影された画像で、画像Ｂは９時５分に撮影された画像である。
【００９５】
人物ＤＢ１２００は、それぞれの画像について、認識されたユーザの人数と、そのユーザが除外対象なのかどうかと、を管理している。
【００９６】
画像Ａに対応する人物ＤＢ１２００には、ユーザ種別１２０１とユーザ名が記憶されている。当該人物ＤＢ１２００には、ユーザ名１２０２として、図５の画像５０１に基づき認識されたユーザＡ〜Ｅさんの５人の情報が格納されている。また、既定で除外対象とされるユーザＡさんのユーザ種別１２０１が「既定」とされている。。
【００９７】
画像Ｂに対応する人物ＤＢ１２００には、ユーザ名１２０４として、ユーザＡ〜Ｃ、Ｆ、Ｇさの５人の情報が格納されている。画像Ａには存在しないユーザ（新規）であるユーザＦ、Ｇさんのユーザ種別１２０３は空白となっている。
【００９８】
またユーザＡさんのユーザ種別１２０４が「既定」とされている他、画像Ａでも特定されたユーザＡ〜Ｃさんのユーザ種別１２０４は、「特定済」として（特定済・Ａ）として記憶されている。すなわち、人物除外部４１４によって、所定時間経過後も同じフロアに位置する同一ユーザがカウント除外対象であると判定され、その判定結果を結果テーブルに保存する。ここでは、特定済のユーザや既定のユーザを除外対象として扱うものとする。
【００９９】
図１０は、本発明の実施形態における画像処理システムの顔認識処理の一例を示すフローチャートである。
【０１００】
この顔認識処理は、図８のＳ８０５および図９のステップＳ９０３の人物特定処理に対応する。本実施例では、顔認識による人物特定処理について説明するが、人物が特定できれば顔認識処理に限られず何の技術を用いてよい。
【０１０１】
ステップＳ１００１では、画像で認識された人物イメージを受信し、ステップＳ１００２では、当該人物の特徴点を切り出して個人特定を行う。この人物の特徴点を切り出して個人特定を行う処理は、既に提案されている技術を利用するものとする。
【０１０２】
ステップＳ１００３では、特定された人物が結果テーブル（図８の場合は、通過人物ＤＢ１２１０、図９の場合は、人物ＤＢ１２００）に登録されているかどうかを確認し、登録済の場合は、ステップＳ１００６に進み、登録済でない場合は、ステップＳ１００４に進む。
【０１０３】
ステップＳ１００６では、結果テーブルに登録済みの人物を、除外人物（除外対象）として返信する。登録済とは、人物ＤＢ１２００の場合は、ユーザ種別１２０１，１２０３が除外対象として登録されているかどうかによって判定する。具体的には、画像Ａの場合はＡさんが、ユーザ種別が既定なので除外対象となり、画像Ｂの場合は、既定のＡさん、および特定済のＡ〜Ｃさんが除外人物（除外対象）として返信され、処理が終了する。
【０１０４】
また、通過人物ＤＢ１２１０の場合は、既定のＡさん、および、同じ方向に２度目の移動（複数回移動）となる画像ＣのＣさん（ＯＵＴ）が除外人物（除外対象）として返信され、処理が終了する。
【０１０５】
ステップＳ１００４では、ステップＳ１００３で登録済でないと判定された人物を結果テーブルに（除外として）登録する。例えば、人物ＤＢ１２００においては、画像Ａに対応する人物ＤＢ１２００において特定済であることに基づく登録がなされていないＡ〜Ｃさんが、画像Ｂに対応する人物ＤＢ１２００において、画像Ａで特定済であることが登録される。
【０１０６】
また、通過人物ＤＢ１２１０においては、同一ユーザが同一方向への移動である場合で登録されていないケースである画像ＣのＣさん（ＯＵＴ）および、既定ユーザである場合の画像ＣのＡさん（ＯＵＴ・既定）が除外対象として登録される。続いて、ステップＳ１００５では、ステップＳ１００４で登録された人物が非除外人物（非除外対象）として返信され、処理を終了する。
【０１０７】
図１１は、本発明の実施形態における画像処理システムの閲覧処理の一例を示すフローチャートである。
【０１０８】
本処理は、画像処理された結果をユーザからの指示によりユーザの端末へ表示制御する処理である。
【０１０９】
ステップＳ１１０１では、表示するカメラの選択を行う。例えばネットワークカメラ１０２（Ａ）のシリアル番号や名称を選択し、ステップＳ１１０２で選択したカメラで撮影された画像の要求を行う。この画像は、静止画形式であっても動画形式であってもＬＩＶＥ動画であっても構わない。
【０１１０】
ステップＳ１１０３で、要求する画像が、人数カウント（図５）なのかライン通過人数カウント（図６）なのかの判定を行い、人数カウントの場合はステップＳ１１０４に進み、ＬＩＮＥ通過の場合はステップＳ１１０５に進む。
【０１１１】
ステップＳ１１０４では、人数情報として図１３に示す人数カウントの閲覧画面を表示すべく処理をする。ステップＳ１１０５では、図１４に示す通過人数カウントの閲覧画面を表示すべく処理をする。閲覧画面の詳細についは、図１３および図１４を利用して後述する。
【０１１２】
ステップＳ１１０６では、表示すべき項目を閲覧画面に画像合成する処理を行い、ステップＳ１１０７でクライアントの画面に表示すべく画面の表示制御を行い、処理を終了する。
【０１１３】
図１３は、本発明の実施形態における人数カウントの閲覧画面の一例を示す図である。
【０１１４】
人数カウント閲覧画面１３０１および人数カウント閲覧画面１３１０の二つの例について説明する。
【０１１５】
人数カウント閲覧画面１３０１では、現在の画像１３０２、認識した人数（５名）１３０３、既定の除外対象（１名）１３０４、個人特定済の除外対象（３名）１３０５、および当該画面にて新たに認識された人物および人数（２名）１３０６が表示される。
【０１１６】
人数カウント閲覧画面１３１０は、１３０１の別の閲覧画面例であり、１３０１の表示内容を含んで表示することも可能である。
【０１１７】
除外対象者を除いたカウント人数、既定の除外対象人数１３１１および、取得した画像が表示される。
【０１１８】
また、カウントした人物を太枠などの枠線で囲って表示することで視認性を高めてもよく、また、既定の除外対象者であるＡさんを異なる色や線で他のユーザと識別可能に表示してもよい。
【０１１９】
また、人物特定処理において個人特定できたユーザにはユーザ名（例えばＡさんやＢさんなど）を合成して表示し、個人特定できなかったユーザには何も表示しないなど、表示を異ならせることも有効である。
【０１２０】
図１４は、本発明の実施形態における通過人数カウントの閲覧画面の一例を示す図である。
【０１２１】
通過人数カウント閲覧画面１４０１および通過人数カウント閲覧画面１４１０の二つの例について説明する。
【０１２２】
通過人数カウント閲覧画面１４０１では、所定のライン（位置）を通過した人数および方向１４０２、既定の除外対象（１名）１４０３、および２度通過することによる除外者および人数１４０４が表示される。
【０１２３】
通過人数カウント閲覧画面１４１０は、１４０１の別の閲覧画面例であり、１４０１の表示内容を含んで表示することも可能である。
【０１２４】
通過人数／方向／除外数１４１１および、取得した画像が表示される。実施例では、ＩＮ（１名）、ＯＵＴ（２名）、除外数（２名）となっているが、この除外数は、１４０３および１４０４の両方の除外対象を含んだものである。
【０１２５】
画像には、ライン通過によりカウントされた人物を太枠などの枠線で囲って表示することで視認性を高めてもよく、また、既定の除外対象者であるＡさんを異なる色や線で他のユーザと識別可能に表示してもよい。また、ライン通過されなかったユーザ１４１２には枠線などの協調表示をせず（便宜上点線で示しているが、何も表示しなくてもよい）通過した人物と識別可能に表示することも可能である。
【０１２６】
また、人物特定処理において個人特定できたユーザにはユーザ名（例えばＡさんやＢさんなど）を合成して表示し、個人特定できなかったユーザには何も表示しないなど、表示を異ならせることも有効である。
【０１２７】
次に、通過人数カウント処理を行う場合に適用可能な別の実施形態に係る画像処理システムについて説明する。当該別の実施形態では、人物除外部４１４が、境界ラインを越えた人物が、境界ライン上をうろうろする人物、すなわち所定の位置を所定時間（例えば５分程度）内で繰り返し通過する（跨ぐ）人物であるか否かに基づき、カウント除外対象であるか否かを判定する点が、上記実施形態とは異なる。以下、この判定を、「うろうろ除外判定」ともいう。
【０１２８】
以下、図１５を参照して、当該別の実施形態について詳述する。図１５は、別の実施形態に係る画像処理システムの通過人数カウント処理の一例を示すフローチャートである。
【０１２９】
本処理は、所定の領域（例えば画像６０１に写った領域）に設定された所定の境界ライン（例えば位置６０４）を何人のユーザが通過したのかをカウントする通過人数カウント処理において、所定時間内に境界ライン上をうろうろと繰り返し通過する人物を人数カウントから除外する処理である。本処理は、画像処理システムのサーバ１００が行う。
【０１３０】
本処理は、例えば、本処理を開始するための開始指示がユーザによって入力された場合に開始する。また、本処理は、例えば、後述するステップＳ１５０４で全ての人物について解析したと判定された場合、ユーザによる終了指示が入力された場合、又は、予め設定された処理時間が完了した場合等に、終了する。
【０１３１】
まず、ステップＳ１５０１では、境界ライン情報、および、うろうろ見なし間隔時間を取得する。境界ライン情報、および、うろうろ見なし時間間隔は、例えば予めユーザ等によって設定された設定情報から取得される。
【０１３２】
境界ライン情報は、境界ラインの位置情報であって、例えば画像６０１の左上端を基準とするピクセル座標で示される。うろうろ見なし間隔時間は、同一人物が境界ラインを複数回通過するタイミングの間隔を、領域Ａから領域Ｂ（又は領域Ｂから領域Ａ）に移動するために境界ラインを通過しているのではなく単に境界ライン上をうろうろと徘徊しているものと見なす時間であって、例えば５分と設定される。
【０１３３】
続いて、ステップＳ１５０２では、画像取得部４１１が、ネットワークカメラ１０２により撮影された画像を取得する。画像取得部４１１は、例えば所定の時間内で撮影された画像を取得する。
【０１３４】
続いて、ステップＳ１５０３では、人物認識部４１３が、ステップＳ１５０３で取得した画像に写っている全人物とその位置を認識して、全人物とその位置のリストをメモリ上に作成する。
【０１３５】
続いて、ステップＳ１５０４では、ステップＳ１５０３で作成したリスト上に、解析をしていない人物がいるか否かを判定する。ここで、解析とは、後述するステップＳ１５０５以降のステップの処理を行うことをいう。
【０１３６】
解析をしていない人物がいないと判定された場合（ステップＳ１５０４；ＮＯ）、すなわち全ての人物について解析をした場合には、処理を終了する。なお、この場合に、処理を終了せずにステップＳ１５０３の処理に戻り、再度画像を取得してステップＳ１５０４以降の処理を繰り返してもよい。
【０１３７】
解析していない人物がいると判定された場合には（ステップＳ１５０４；ＹＥＳ）、ステップＳ１５０５の処理へ進む。すなわち、全ての人物について解析が完了するまで、ステップＳ１５０５以降の処理を繰り返す。
【０１３８】
続いて、ステップＳ１５０５では、ステップＳ１５０３で作成したリスト上の解析をしていない未処理の人物のうち、次に解析をする人物情報を取得する。
【０１３９】
続いて、ステップＳ１５０６では、人物認識部４１３が、ステップＳ１５０５で取得された次に解析をする人物情報が示す人物と同一の人物を認識する。
【０１４０】
続いて、ステップＳ１５０７では、人物認識部４１３が、ステップＳ１５０６で同一人物と認識した人物の位置情報をキャッシュする。具体的には、図１６に示されるような人物位置情報ＤＢ１６００として保存する。図１６は、人物位置情報ＤＢ１６００の一例を示す図である。
【０１４１】
図１６に示されるように、人物位置情報ＤＢ１６００には、タイムスタンプ１６０１、人物ＩＤ１６０２、カメラＩＤ１６０３、および位置情報１６０４が、互いに対応付けられて格納されている。
【０１４２】
タイムスタンプ１６０１は、人物が認識された画像をネットワークカメラで撮影した日時を示す文字列である。図１６の例では、タイムスタンプ１６０１の日時が時系列で上から順に並ぶように格納されている。例えば、タイムスタンプ１６０１として「2018.07.27 12:00:01:00」の次に、タイムスタンプ１６０１として「2018.07.27 12:00:00:00」が格納されている。すなわち、タイムスタンプ１６０１が「2018.07.27 12:00:00:00」である日時と、タイムスタンプ１６０１が「2018.07.27 12:00:01:00」である日時とは、時系列的に互いに前後関係にある。以下、このような前後関係にある日時のうち、タイムスタンプ１６０１が「2018.07.27 12:00:00:00」である前の時間を単に「前時間」ともいい、タイムスタンプ１６０１が「2018.07.27 12:00:01:00」である後の時間を単に「後時間」ともいう。
【０１４３】
なお、図１６の例では、図示を省略しているが、実際には、図示したタイムスタンプ１６０１の日時よりも前の日時を含む所定時間のタイムスタンプ１６０１に対応付けられたデータが格納されている。
【０１４４】
人物ＩＤ１６０２は、ステップＳ１５０６で認識した人物を示す識別情報である。カメラＩＤ１６０３は、ステップＳ１５０６で認識した人物を撮影したネットワークカメラ１０２を示す識別情報である。位置情報１６０４は、ステップＳ１５０６で認識した人物の位置情報であって、例えば画像６０１の左上端を基準とするピクセル座標で示される。位置情報１６０４ａは、Ｘ座標で示される位置情報であって、位置情報１６０４ｂは、Ｙ座標で示される位置情報である。
【０１４５】
再度図１５を参照し、続くステップＳ１５０８では、ステップＳ１５０６で同一人物と認識した人物について、人物位置情報ＤＢ１６００に基づき、例えば１時間等の所定時間内での移動位置および移動方向を算出する。
【０１４６】
移動位置は、同一人物が所定時間内に移動した位置である。移動位置は、例えば同一の人物ＩＤ１６０２かつ所定時間内のタイムスタンプ１６０１に対応付けられた位置情報１６０４が示す各位置として算出される。
【０１４７】
移動方向は、同一人物が所定時間内に移動した方向である。移動方向は、例えば、算出した各位置に基づき、前時間での位置から後時間での位置に向かう方向を示すベクトルとして算出される。
【０１４８】
続いて、ステップＳ１５０９では、ステップＳ１５０１で取得された境界ライン情報と、ステップＳ１５０８で算出された移動位置および移動方向とに基づき、同一人物が境界ラインを通過したか否かを判定する。
【０１４９】
同一人物が境界ラインを通過していないと判定された場合（ステップＳ１５０９；ＮＯ）、ステップＳ１５０４に戻り、解析をしていない人物がいるか否かの判定が行われる。同一人物が境界ラインを通過したと判定された場合（ステップＳ１５０９；ＹＥＳ）、ステップＳ１５１０に進む。
【０１５０】
ステップＳ１５１０では、ステップＳ１５０９において境界ラインを通過したと判定された人物について、境界ラインの通過情報をキャッシュする。具体的には、境界ラインの通過情報を、図１７に示されるような境界越え情報ＤＢ1７００として保存する。図１７は、境界越え情報ＤＢ１７００の一例を示す図である。
【０１５１】
図１７に示されるように、境界越え情報ＤＢ１７００には、タイムスタンプ１７０１、人物ＩＤ１７０２、カメラＩＤ１７０３、および境界越え方向１７０４が、互いに対応付けられて格納されている。
【０１５２】
タイムスタンプ１７０１は、同一人物が境界ラインを通過したときの時間を示す文字列である。人物ＩＤ１７０２は、ステップＳ１５０９で境界ラインを通過したと判定された人物を示す識別情報である。カメラＩＤ１７０３は、ステップＳ１５０９で境界ラインを通過したと判定された人物を撮影したネットワークカメラ１０２を示す識別情報である。
【０１５３】
境界越え方向１７０４は、ステップＳ１５０９で境界ラインを通過したと判定された人物の境界ラインを越えた方向を示す情報であって、前述した「ＩＮ」又は「ＯＵＴ」で示される。境界越え方向１７０４は、例えば、ステップＳ１５０８で算出された移動位置および移動方向と、ステップＳ１５０１で取得された境界ライン情報とに基づき算出され（通過方向情報取得手段）、記憶される。
【０１５４】
続いて、ステップＳ１５１１では、ステップＳ１５１０で記憶された境界越え情報ＤＢ１７００を参照し、同一人物が、所定の時間（例えば、１時間）内に境界ラインを通過した情報を複数検索する。
【０１５５】
続いて、ステップＳ１５１２では、ステップＳ１５１１で検索された情報に基づき、境界ラインをうろうろ通過しているか否かを判定する。例えば、ステップＳ１５０１で取得したうろうろ見なし間隔時間（例えば、５分）内において、反対方向への移動（「ＩＮ」から「ＯＵＴ」、又は、「ＯＵＴ」から「ＩＮ」への移動）が１回以上あった場合には、境界ラインをうろうろ通過していると判定する。
【０１５６】
ステップＳ１５１２において境界ラインをうろうろ通過していると判定された場合（ステップＳ１５１２；ＹＥＳ）には、ステップＳ１５１３に進む。ステップＳ１５１３では、人物除外部４１４が、境界ラインを通過した人物をカウント除外対象であると判定し、人数カウント部４１２が、カウント除外対象と判定された人物の人数をカウントから除外する。ステップＳ１５１３の後は、ステップＳ１５０４に戻り、解析をしていない人物がいるか否かの判定が再度行われる。
【０１５７】
なお、本明細書において、カウントから除外するとは、人数のカウントをインクリメントしない場合だけでなく、一度インクリメントしたカウントをデクリメントする場合も含む。
【０１５８】
ステップＳ１５１２において境界ラインをうろうろ通過していないと判定された場合（ステップＳ１５１２；ＮＯ）には、ステップＳ１５１４に進み、通常の人数カウント処理と同様の処理を行う。具体的には、まずステップＳ１５１４において、テップＳ１５１１で検索された情報に基づき、同一人物が同じ方向へ複数回移動したか否かを判定する。
【０１５９】
ステップＳ１５１４において同じ方向へ複数回移動したと判定された場合（ステップＳ１５１４；ＹＥＳ）、ステップＳ１５１５へ進み、人物除外部４１４が、境界ラインを通過した人物をカウント除外対象であると判定し、人数カウント部４１２が、カウント除外対象と判定された人物の人数をカウントから除外する。ステップＳ１５１４の後は、ステップＳ１５０４に戻り、解析をしていない人物がいるか否かの判定が再度行われる。
【０１６０】
ステップＳ１５１４において同じ方向へ複数回移動していないと判定された場合（ステップＳ１５１４；ＮＯ）、ステップＳ１５１６へ進み、ＩＮ／ＯＵＴの通過方向毎に、境界ラインを通過した人数のカウントをインクリメントする。ステップＳ１５１６の後は、ステップＳ１５０４に戻り、解析をしていない人物がいるか否かの判定が再度行われる。
【０１６１】
ステップＳ１５１６においてインクリメントされた人数カウントの結果は、例えば図１８に示されるようなラインカウンタＤＢ１８００として保存される。図１８は、ラインカウンタＤＢ１８００の一例を示す図である。
【０１６２】
図１８に示されるように、ラインカウンタＤＢ１８００には、タイムスタンプ１８０１、カメラＩＤ１８０２、およびカウント数１８０３が、互いに対応付けられて格納されている。
【０１６３】
タイムスタンプ１８０１は、人数カウントがインクリメントされた直近の日時を示す文字列である。カメラＩＤ１８０２は、人数カウントがインクリメントされた人物を撮影したネットワークカメラ１０２を示す識別情報である。カウント数１８０３は、カメラＩＤおよび通過方向毎にインクリメントされた人数であって、ある始点からの総加算人数である。カウント数１８０３ａは、「ＩＮ」方向へ通過した人数であり、カウント数１８０３ｂは、「ＯＵＴ」方向へ通過した人数である。
【０１６４】
図１８に示されるように、ステップＳ１５０６においては、カメラＩＤおよび通過方向毎にカウントされた人数が記憶される。
【０１６５】
以上、本実施形態によれば、人物が境界ラインを通過した通過方向に基づき、同一人物が第一方向（例えば「ＩＮ」）に移動した後、所定のうろうろ見なし間隔時間内に、第二方向（例えば「ＯＵＴ」）に移動した場合には、当該同一人物が通過カウントから除外される。よって、領域Ａから領域Ｂ（又は領域Ｂから領域Ａ）に移動するために境界ラインを通過しているのではなく、単に境界ライン上をうろうろと徘徊しているような人物を、通過人数カウントのノイズとして除去することができる。
【０１６６】
次に、画像に写った人数のカウント処理を行う場合に適用可能な別の実施形態に係る画像処理システムについて説明する。当該別の実施形態では、人物除外部４１４が、所定の領域における長時間滞在者および短時間滞在者の少なくとも一方をカウント除外対象と判定する点が、上記実施形態とは異なる。
【０１６７】
以下、図１９を参照して、当該別の実施形態について詳述する。図１９は、別の実施形態に係る画像処理システムにおける画像に写った人数のカウント処理の一例を示すフローチャートである。
【０１６８】
本処理は、画像に含まれる人物の人数をカウントする人数カウント処理において、所定の領域（例えば領域６０１内の一部の領域）における長時間滞在者および短時間滞在者の少なくとも何れかを人数カウントから除外する処理である。本処理は、画像処理システムのサーバ１００が行う。
【０１６９】
本処理は、例えば、本処理を開始するための開始指示がユーザによって入力された場合に開始する。また、本処理は、例えば、後述するステップＳ１９０４で全ての人物について解析したと判定された場合、ユーザによる終了指示が入力された場合、又は、予め設定された処理時間が完了した場合等に、終了する。
【０１７０】
まず、ステップＳ１９０１では、滞在領域の位置情報、および、滞在判定時間を取得する。所定の領域の位置情報、および、滞在判定時間は、例えば予めユーザ等によって設定された設定情報から取得される。
【０１７１】
滞在領域、例えば領域６０１中の一部の所定の領域であって、矩形や円形等の所定の形状を呈するように囲まれた領域である。滞在領域の位置情報は、例えば、領域６０１を写す画像の左上端を基準とするピクセル座標で示される。滞在判定時間は、滞在領域に同一人物が滞在する時間が長時間であるか短時間であるかを判定するための時間である。滞在判定時間は、例えば、長時間であるか否かを判定するための長時間滞在判定時間（例えば１時間）と、短時間であるか否かを判定するための短時間滞在判定時間（例えば１０分）と、を含む。
【０１７２】
続くステップＳ１９０２〜ステップＳ１９０７の処理は、前述した図１５におけるステップＳ１５０２〜ステップＳ１５０７の処理と同様であるため、その説明を省略する。
【０１７３】
ステップＳ１９０７に続くステップＳ１９０８では、ステップＳ１９０１で取得された滞在領域の位置情報と、ステップＳ１９０７でキャッシュされた人物の位置情報とに基づき、ステップＳ１９０６で認識された同一人物が滞在領域に入っているか否かを判定する。
【０１７４】
ステップＳ１９０８において同一人物が滞在領域に入っていないと判定された場合（ステップＳ１９０８；ＮＯ）、ステップＳ１９０４に戻り、解析をしていない人物がいるか否かの判定が行われる。ステップＳ１９０８において同一人物が滞在領域に入っていると判定された場合（ステップＳ１９０８；ＹＥＳ）、ステップＳ１９０９に進む。
【０１７５】
ステップＳ１９０９では、ステップＳ１９０８で滞在領域に入っていると判定された同一人物の滞在時間を算出する。具体的には、ステップＳ１９０７で記憶した人物位置情報ＤＢ１６００に基づき、滞在領域に入っていると判定された同一人物に紐づく最新の時間帯を検索し、当該時間帯の中で最も古い時刻と最も新しい時刻との差分を算出することで、同一人物の滞在時間を算出する。
【０１７６】
続いて、ステップＳ１９１０では、ステップＳ１９０９で算出した滞在時間が、ステップＳ１９０１で取得した長時間滞在判定時間以上であるか否かを判定する。すなわち、認識された同一人物が滞在領域において所定の時間（例えば、１時間）以上滞在している長時間滞在者であるか否かを判定する。
【０１７７】
ステップＳ１９１０において滞在時間が長時間滞在判定時間以上であると判定された場合（ステップＳ１９１０；ＹＥＳ）、ステップＳ１９１１に進む。ステップＳ１９１１では、人物除外部４１４が、長時間滞在者と判定された人物をカウント除外対象であると判定し、人数カウント部４１２が、カウント除外対象と判定された人物の人数をカウントから除外する。ステップＳ１９１１の後は、ステップＳ１９０４に戻り、解析をしていない人物がいるか否かの判定が再度行われる。
【０１７８】
ステップＳ１９１１においてカウント除外された人物は、カウント除外されるタイミングで、長時間滞在によるカウント除外対象として記憶される。また、ステップＳ１９１１においてカウント除外された人数は、カウント除外されるタイミングで、長時間滞在によるカウント除外人数としてインクリメントされる。
【０１７９】
ステップＳ１９１０において滞在時間が長時間滞在判定時間以上でないと判定された場合（ステップＳ１９１０；ＮＯ）、ステップＳ１９１２に進む。ステップＳ１９１２では、ステップＳ１９０９で算出した滞在時間が、ステップＳ１９０１で取得した短時間滞在判定時間以上であるか否かを判定する。すなわち、認識された同一人物が滞在領域において所定の時間（例えば、１０分）未満しか滞在していない短時間滞在者であるか否かを判定する。
【０１８０】
ステップＳ１９１２において滞在時間が短時間滞在判定時間未満であると判定された場合（ステップＳ１９１２；ＹＥＳ）、ステップＳ１９１３に進む。ステップＳ１９１３では、人物除外部４１４が、短時間滞在者と判定された人物をカウント除外対象であると判定し、人数カウント部４１２が、カウント除外対象と判定された人物の人数をカウントから除外する。ステップＳ１９１３の後は、ステップＳ１９０４に戻り、解析をしていない人物がいるか否かの判定が再度行われる。
【０１８１】
ステップＳ１９１３においてカウント除外された人物は、カウント除外されるタイミングで、短時間滞在によるカウント除外対象として記憶される。また、ステップＳ１９１３においてカウント除外された人数は、カウント除外されるタイミングで、短時間滞在によるカウント除外人数としてインクリメントされる。
【０１８２】
ステップＳ１９１２において滞在時間が短時間滞在判定時間未満でないと判定された場合（ステップＳ１９１２；ＮＯ）、ステップＳ１９１４に進み、人数カウンタをインクリメントする。すなわち滞在時間が短時間判定時間以上でかつ長時間判定時間未満の人物だけをカウントすることができる。以下、短時間判定時間以上でかつ長時間判定時間未満の時間を「適正時間」ともいい、滞在時間が適正時間である人物を「適正時間滞在者」ともいう。ステップＳ１９１４の後は、ステップＳ１９０４に戻り、解析をしていない人物がいるか否かの判定が再度行われる。
【０１８３】
本実施形態において、結果画面表示制御部４１５は、人数カウントの結果を閲覧する閲覧画面として例えば図２０で示される画面を表示する。
【０１８４】
図２０は、人数カウントの閲覧画面の一例を示す図である。図２０に示されるように、閲覧画面においては、カウント除外対象を除外してカウントしたカウント人数２００１と、カウント除外対象としてカウント除外された人数２００２と、が表示される。
【０１８５】
また、カウント除外対象としてカウント除外された人数２００２のうち、長時間滞在者としてカウント除外された人数２００３と、短時間滞在者としてカウント除外された人数２００４と、が、それぞれ識別可能に表示される。
【０１８６】
また、一点鎖線で示される滞在領域２００５に滞在している人物のうち、長時間滞在者、短時間滞在者、および適正滞在者が、それぞれ識別可能に表示される。
【０１８７】
例えば、長時間滞在者が実線の矩形枠２００６で囲って表示され、短時間滞在者が破線の矩形枠２００７で囲って表示され、適正滞在者は、何も囲まれない状態で表示される。また、各人物の滞在領域２００５における滞在時間が表示されてもよい。
【０１８８】
以上、本実施形態によれば、滞在領域における長時間滞在者および短時間滞在者がカウントから除外されるので、滞在領域における長時間滞在者でも短時間滞在者でもない適正時間滞在者だけをカウントすることができる。適正時間は、長時間滞在判定時間や短時間判定時間を適宜設定変更することにより、ユーザの所望の時間に設定することができる。よって、ユーザが所望する適正時間だけ滞在している人物をカウントすることができる。
【０１８９】
また、本実施形態によれば、長時間滞在者、短時間滞在者、および適正滞在者とその人数とが、それぞれ識別可能に表示される。よって、滞在領域に滞在している人物が、滞在領域にどの程度滞在し続けている状態なのかを容易に把握することができる。
【０１９０】
なお、本実施形態では、滞在領域における長時間滞在者および短時間滞在者をカウントから除外する例について説明したが、これに限られず、滞在領域における長時間滞在者および短時間滞在者の何れか一方をカウントから除外してもよい。例えば、長時間滞在者だけをカウントから除外する場合は、短時間判定時間を０とすればよい。また、短時間滞在者だけをカウントから除外する場合は、長時間判定時間を非常に大きな値とすればよい。
【０１９１】
以上、実施形態について説明したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【０１９２】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【０１９３】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１９４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１９５】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【０１９６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０１９７】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１９８】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１９９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０２００】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０２０１】
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０２０２】
１００  サーバ
１０１  クライアントＰＣ
１０２  ネットワークカメラ
【図１】
2020102852.tif 000003
【図２】
2020102852.tif 000004
【図３】
2020102852.tif 000005
【図４】
2020102852.tif 000006
【図５】
2020102852.tif 000007
【図６】
2020102852.tif 000008
【図７】
2020102852.tif 000009
【図８】
2020102852.tif 000010
【図９】
2020102852.tif 000011
【図１０】
2020102852.tif 000012
【図１１】
2020102852.tif 000013
【図１２】
2020102852.tif 000014
【図１３】
2020102852.tif 000015
【図１４】
2020102852.tif 000016
【図１５】
2020102852.tif 000017
【図１６】
2020102852.tif 000018
【図１７】
2020102852.tif 000019
【図１８】
2020102852.tif 000020
【図１９】
2020102852.tif 000021
【図２０】
2020102852.tif 000022
【手続補正書】
【提出日】令和2年2月28日(2020.2.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人物が写った撮影画像に基づいて、所定の位置を通過した人物の人数をカウントするカウント手段と、
前記撮影画像に写った同一の人物であって、前記所定の位置を通過した後、当該所定の位置を異なる方向に通過した人物を特定する人物特定手段と、
を備える画像処理システム。
【請求項２】
人物が写った撮影画像に基づいて、所定の位置を通過した人物の人数をカウントするカウント手段と、
前記撮影画像に写った同一の人物であって、前記所定の位置を同じ方向に複数回通過した人物を特定する人物特定手段と、
を備える画像処理システム。
【請求項３】
前記カウント手段は、前記同一の人物が重複してカウントされないように、前記人物特定手段により特定された人物を除外してカウントすることを特徴とする、請求項１又は２に記載の画像処理システム。
【請求項４】
前記人物特定手段により特定された人物を記憶する記憶手段を備える、請求項１〜３の何れか一項に記載の画像処理システム。
【請求項５】
前記人物が前記所定の位置を通過した方向であって、前記所定の位置により区分けされる第一領域から第二領域に向かう第一方向と、前記第二領域から前記第一領域に向かう第二方向との何れかを取得する通過方向取得手段を備えることを特徴とする請求項１〜４の何れか一項に記載の画像処理システム。
【請求項６】
前記カウント手段は、前記通過方向取得手段により取得された通過方向毎に、人数をカウントすることを特徴とする請求項５に記載の画像処理システム。
【請求項７】
前記人物特定手段により特定された人物を識別可能に表示する表示制御手段を備える、請求項１〜６の何れか一項に記載の画像処理システム。
【請求項８】
前記表示制御手段は、前記カウント手段により前記人物特定手段により特定された人物を除いて人数がカウントされた人物と、前記人物特定手段により特定された人物と、を識別可能に表示することを特徴とする請求項７に記載の画像処理システム。
【請求項９】
前記表示制御手段は、前記カウント手段により前記人物特定手段により特定された人物を除いてカウントされた人数と、前記人物特定手段により特定された人物の人数と、を表示制御することを特徴とする請求項７又は８に記載の画像処理システム。
【請求項１０】
人物が写った撮影画像に基づいて、前記所定の位置を通過した人物の人数をカウントするカウントステップと、
前記撮影画像に写った同一の人物であって、前記所定の位置を通過した後、当該所定の位置を異なる方向に通過した人物を特定する人物特定ステップと、
を含む画像処理システムの制御方法。
【請求項１１】
コンピュータを、
人物が写った撮影画像に基づいて、前記所定の位置を通過した人物の人数をカウントするカウント手段と、
前記撮影画像に写った同一の人物であって、前記所定の位置を通過した後、当該所定の位置を異なる方向に通過した人物を特定する人物特定手段として機能させるためのプログラム。
【請求項１２】
人物が写った撮影画像に基づいて、所定の位置を通過した人物の人数をカウントするカウントステップと、
前記撮影画像に写った同一の人物であって、前記所定の位置を同じ方向に複数回通過した人物を特定する人物特定ステップと、
を含む画像処理システムの制御方法。
【請求項１３】
コンピュータを
人物が写った撮影画像に基づいて、所定の位置を通過した人物の人数をカウントするカウント手段と、
前記撮影画像に写った同一の人物であって、前記所定の位置を同じ方向に複数回通過した人物を特定する人物特定手段として機能させるためのプログラム。