(57)【要約】【課題】  撮影装置のズーム倍率および撮影方向を制御しつつ行う人数カウントにおいて、適切なズーム倍率を自動で決定することを目的としている。【解決手段】  本発明は、所定の領域を複数の撮影領域に分けて撮影された画像から人物の数をカウントすることを特徴とし、画像に含まれる人物を検出する検出手段と、検出された人物の数をカウントするカウント手段と、撮影手段の撮影動作を制御する制御手段と、撮影手段のズーム倍率を決定する決定手段と、を有し、カウント手段は、ズーム倍率を段階的に変更することで撮影された、複数の画像の各々について人数をカウントし、決定手段は、カウントされた人数が最大となる画像の撮影時のズーム倍率に基づいて、撮影手段のズーム倍率を決定し、制御手段は、決定されたズーム倍率を用いて、他の撮影領域を撮影するように制御することを特徴とする。【選択図】  図９
2019212090.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段により所定の領域を複数の撮影領域に分けて撮影された画像から人物の数をカウントする画像処理装置であって、
撮影された画像に含まれる人物を検出する検出手段と、
前記検出手段が検出した人物の数をカウントするカウント手段と、
前記撮影手段の撮影動作を制御する制御手段と、
前記撮影手段のズーム倍率を決定する決定手段と、を有し、
前記カウント手段は、ズーム倍率を段階的に変更することで撮影された、複数の画像の各々について人数をカウントし、
前記決定手段は、前記カウント手段によりカウントされた人数が最大となる画像の撮影時のズーム倍率に基づいて、前記撮影手段のズーム倍率を決定し、
前記制御手段は、決定された前記ズーム倍率を用いて、他の撮影領域を撮影するように制御することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記カウント手段によりカウントされた人数が最大となる画像の撮影時のズーム倍率を前記他の撮影領域を撮影するときに用いるズーム倍率として決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記カウント手段によりカウントされた人数が最大となる画像が複数存在する場合、当該複数の画像を撮影したときの複数のズーム倍率において、最もワイド端側のズーム倍率を前記他の撮影領域を撮影するときに用いるズーム倍率として決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記カウント手段によりカウントされた人数が最大となる画像の撮影時のズーム倍率を所定の割合高くしたズーム倍率を前記他の撮影領域を撮影するときに用いるズーム倍率として決定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記決定手段は、前記カウント手段によりカウントされた人数が最大となる画像に含まれる人物のサイズが閾値を上回る人物のうち、画像内の最も上部に位置する人物が撮影領域の上端に位置するようなズーム倍率を前記他の撮影領域を撮影するときに用いるズーム倍率として決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記制御手段は、前記所定の領域における特定の端部から対角線上に位置する端部まで撮影領域をラスター方向に移動させて撮影するように制御することで、前記所定の領域を複数の撮影領域に分けて撮影することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
所定の領域を複数の撮影領域に分けて撮影された画像から人物の数をカウントする撮影装置であって、
画像を撮影する撮影手段と、
前記撮影手段により撮影された画像に含まれる人物を検出する検出手段と、
前記検出手段が検出した人物の数をカウントするカウント手段と、
前記撮影手段の撮影動作を制御する制御手段と、
前記撮影手段のズーム倍率を決定する決定手段と、を有し、
前記カウント手段は、ズーム倍率を段階的に変更することで撮影された、複数の画像の各々について人数をカウントし、
前記決定手段は、前記カウント手段によりカウントされた人数が最大となる画像の撮影時のズーム倍率に基づいて、前記撮影手段のズーム倍率を決定し、
前記制御手段は、決定された前記ズーム倍率を用いて、他の撮影領域を撮影するように制御することを特徴とする撮影装置。
【請求項８】
撮影工程により所定の領域を複数の撮影領域に分けて撮影された画像から人物の数をカウントする画像処理方法であって、
撮影された画像に含まれる人物を検出する検出工程と、
前記検出工程にて検出された人物の数をカウントするカウント工程と、
前記撮影工程の撮影動作を制御する制御工程と、
前記撮影工程のズーム倍率を決定する決定工程と、を有し、
前記カウント工程は、ズーム倍率を段階的に変更することで撮影された、複数の画像の各々について人数をカウントし、
前記決定工程は、前記カウント工程によりカウントされた人数が最大となる画像の撮影時のズーム倍率に基づいて、前記撮影工程のズーム倍率を決定し、
前記制御工程は、決定された前記ズーム倍率を用いて、他の撮影領域を撮影するように制御することを特徴とする画像処理方法。
【請求項９】
前記決定工程は、前記カウント工程によりカウントされた人数が最大となる画像の撮影時のズーム倍率を前記他の撮影領域を撮影するときに用いるズーム倍率として決定することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記決定工程は、前記カウント工程によりカウントされた人数が最大となる画像が複数存在する場合、当該複数の画像を撮影したときの複数のズーム倍率において、最もワイド端側のズーム倍率を前記他の撮影領域を撮影するときに用いるズーム倍率として決定することを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記決定工程は、前記カウント工程によりカウントされた人数が最大となる画像の撮影時のズーム倍率を所定の割合高くしたズーム倍率を前記他の撮影領域を撮影するときに用いるズーム倍率として決定することを特徴とする請求項８に記載の画像処理方法。
【請求項１２】
前記決定工程は、前記カウント工程によりカウントされた人数が最大となる画像に含まれる人物のサイズが閾値を上回る人物のうち、画像内の最も上部に位置する人物が撮影領域の上端に位置するようなズーム倍率を前記他の撮影領域を撮影するときに用いるズーム倍率として決定することを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記制御工程は、前記所定の領域における特定の端部から対角線上に位置する端部まで撮影領域をラスター方向に移動させて撮影するように制御することで、前記所定の領域を複数の撮影領域に分けて撮影することを特徴とする請求項８乃至１２のいずれか一項に記載の画像処理方法。
【請求項１４】
コンピュータを請求項１に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に撮影装置が撮影した画像に含まれる人物をカウントする人数カウントの技術に関する。
【背景技術】
【０００２】
従来から、駅のホームや小売店などで、ある領域に存在する人物の数をカウントしたいというニーズがあった。このようなニーズに対して、撮影装置が撮影した画像を解析することで画像内に映っている人物を検出し、その数をカウントする人数カウント技術がある。
【０００３】
一方、スタジアムやコンサートホールなど、より広い領域に大勢の人物が集まるような場所においても、人物の数をカウントしたいという同様のニーズがある。しかし、できる限り広い領域が画角に収まるように、撮影装置のズーム倍率を低くして撮影した場合、撮影した画像に含まれる人物のサイズ（画素数）が小さくなってしまうことがある。
【０００４】
ここで、一般的な人体検出技術において人体を検出するには、画像に映っている人体が一定のサイズ（画素数）以上である必要がある。しかし、広域での人数カウントを行う場合、撮影装置からみて奥行き方向には、人体検出が可能なサイズよりも小さいサイズで人物が分布する場合が考えられる。
【０００５】
こうした課題に対し、特許文献１ではネットワークカメラのプリセット機能を用いる方法が開示されている。特許文献１では、ネットワークカメラをパン・チルト・ズーム（以下、ＰＴＺと称す）制御して広域を巡回しつつ撮影することで、検出可能な人体サイズを保ちつつ領域全体の人数をカウントしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−２０４８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１では、プリセットの位置となる撮影場所ごとのズーム倍率をユーザーが予め設定しておく必要があり、奥行き方向に変化する人体のサイズを考慮しながら、適切なズーム倍率を設定する作業はユーザーにとって煩雑だった。
【０００８】
以上より、本発明は、撮影装置のズーム倍率および撮影方向を制御しつつ行う人数カウントにおいて、適切なズーム倍率を自動で決定することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、撮影手段により所定の領域を複数の撮影領域に分けて撮影された画像から人物の数をカウントする画像処理装置であって、撮影された画像に含まれる人物を検出する検出手段と、前記検出手段が検出した人物の数をカウントするカウント手段と、前記撮影手段の撮影動作を制御する制御手段と、前記撮影手段のズーム倍率を決定する決定手段と、を有し、前記カウント手段は、ズーム倍率を段階的に変更することで撮影された、複数の画像の各々について人数をカウントし、前記決定手段は、前記カウント手段によりカウントされた人数が最大となる画像の撮影時のズーム倍率に基づいて、前記撮影手段のズーム倍率を決定し、前記制御手段は、決定された前記ズーム倍率を用いて、他の撮影領域を撮影するように制御することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮影装置のズーム倍率および撮影方向を制御しつつ行う人数カウントにおいて、適切なズーム倍率を自動で決定することができる。
【図面の簡単な説明】
【００１１】
【図１】システム構成を示す模式図である。
【図２】画像処理装置および撮影装置のハードウェア構成を示す概略図である。
【図３】撮影装置の外観図である。
【図４】撮影装置の機能ブロック図である。
【図５】画像処理装置の機能ブロック図である。
【図６】ズーム倍率を決定する処理を説明するための模式図である。
【図７】ズーム倍率を決定する処理を説明するための模式図である。
【図８】ズーム倍率を決定する処理を説明するための模式図である。
【図９】ズーム倍率を決定する処理のフローチャートである。
【図１０】人数カウントの処理を説明するための模式図である。
【図１１】人数カウントの処理のフローチャートである。
【図１２】ズーム倍率を決定する処理を説明するための模式図である。
【図１３】ズーム倍率を決定する処理のフローチャートである。
【図１４】画像処理装置の一以上の機能を有する撮影装置およびクライアント装置の機能ブロック図である。
【発明を実施するための形態】
【００１２】
以下に、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。
【００１３】
（実施形態１）
図１は、本実施形態に係るシステム構成を示す模式図である。画像処理装置１００は、後述する画像処理を実行する装置である。なお、画像処理装置１００は、例えば、後述する画像処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータである。
【００１４】
表示装置１０１は、画像処理装置１００に接続され、撮影装置１０２から配信される画像データに基づく画像などを表示するディスプレイ等を含む。
【００１５】
撮影装置１０２は、画像を撮影する装置であり、例えば、ネットワークを介して画像の画像データなどを送信できるネットワークカメラである。なお、本実施形態における撮影装置１０２は、ＰＴＺ（Ｐａｎ  Ｔｉｌｔ  Ｚｏｏｍ）制御が可能である。記録装置１０３は、撮影装置１０２から送信された画像データなどを記録する。
【００１６】
また、画像処理装置１００、撮影装置１０２、および記録装置１０３は、ネットワーク１０４を介して互いに通信を行う。ネットワーク１０４は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態においては画像処理装置１００、撮影装置１０２、記録装置１０３間の通信を行うことができるものであれば、その通信規格、規模、構成を問わない。例えば、ネットワーク１０４はインターネットや有線ＬＡＮ（ＬＯＣＡＬ  ＡＲＥＡ  ＮＥＴＷＯＲＫ）、無線ＬＡＮ（ＷＩＲＥＬＥＳＳ  ＬＡＮ）、ＷＡＮ（ＷＩＤＥ  ＡＲＥＡ  ＮＥＴＷＯＲＫ）等により構成されてもよい。
【００１７】
次に、図２を参照して、画像処理装置１００および撮影装置１０２のハードウェア構成について説明する。図２は、画像処理装置１００および撮影装置１０２のハードウェア構成を示す概略図である。
【００１８】
まず、画像処理装置１００のハードウェア構成について説明する。ＣＰＵ（ＣＥＮＴＲＡＬ  ＰＲＯＣＥＳＳＩＮＧ  ＵＮＩＴ）２００は、画像処理装置１００を制御する。
【００１９】
Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２０１は、ネットワーク１０４を介してＴＣＰ／ＩＰやＨＴＴＰなどに従って、撮影装置１０２との通信を行う。また、Ｉ／Ｆ２０１は、撮影装置１０２が撮影した画像の画像データなどを受信したり、撮影装置１０２を制御するための各種のコマンドなどを送信したりする。
【００２０】
ＲＡＭ（ＲＡＮＤＯＭ  ＡＣＣＥＳＳ  ＭＥＭＯＲＹ）２０２は、ＣＰＵ２００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ２０２は、Ｉ／Ｆ２０１を介して外部から取得したデータ（コマンドや画像データ）などを一時的に記憶する。また、ＲＡＭ２０２は、ＣＰＵ２００が後述する画像処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ２０２は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。
【００２１】
ＣＰＵ２００は、ＲＡＭ２０２に格納されるコンピュータプログラムを実行する。なおＣＰＵ以外にも、ＤＳＰ（ＤＩＧＩＴＡＬ  ＳＩＧＮＡＬ  ＰＲＯＣＥＳＳＯＲ）等のプロセッサを用いてもよい。
【００２２】
ＨＤＤ（ＨＡＲＤ  ＤＩＳＫ  ＤＲＩＶＥ）２０３は、オペレーティングシステムのプログラムや画像データを記憶する。後述する図９、図１１、図１３に示すフローチャートを実行するためのコンピュータプログラムやデータはＨＤＤ２０３に格納されており、ＣＰＵ２００による制御に従って、適宜、ＲＡＭ２０２にロードされ、ＣＰＵ２００によって実行される。なおＨＤＤ以外にもフラッシュメモリ等の他の記憶媒体を用いてもよい。
【００２３】
なお、画像処理装置１００の筐体は表示装置１０１と一体であってもよい。ＵＩ（ＵＳＥＲ  ＩＮＴＥＲＦＡＣＥ）２０４は、キーボードやマウスなどの入力装置である。
【００２４】
なお、以降の説明では、ＣＰＵ２００が画像処理を実行する例について説明するが、ＣＰＵ２００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、表示装置１０１にＧＵＩ（ＧＲＡＰＨＩＣＡＬ  ＵＳＥＲ  ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ  ＰＲＯＣＥＳＳＩＮＧ  ＵＮＩＴ）で実行してもよい。また、ＨＤＤ２０３からプログラムコードを読み出してＲＡＭ２０２に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ  ＭＥＭＯＲＹ  ＡＣＣＥＳＳ）によって実行してもよい。
【００２５】
次に、撮影装置１０２のハードウェア構成について説明する。ＣＰＵ２１０は撮影装置１０２を統括制御する中央処理装置である。
【００２６】
Ｉ／Ｆ２１１は、ネットワーク１０４を介してＴＣＰ／ＩＰやＨＴＴＰなどに従って、画像処理装置１００との通信を行う。Ｉ／Ｆ２１１は、画像処理装置１００へ画像の画像データなどを送信したり、撮影装置１０２を制御するための各種のコマンドなどを画像処理装置１００から受信したりする。
【００２７】
ＲＡＭ２１２は、ＣＰＵ２１０が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ２１２は、Ｉ／Ｆ２１１を介して外部から取得したデータ（コマンドや撮像条件に関するパラメータなど）を一時的に記憶する。また、ＲＡＭ２１２は、ＣＰＵ２１０が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ２１２は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。
【００２８】
ＲＯＭ２１３は、ＣＰＵ２１０が撮影装置１０２を制御するためのプログラムなどを記憶する。なお、ＲＯＭ２１３に加えてＨＤＤ２０３と同等な二次記憶装置を備えるようにしてもよい。
【００２９】
撮影デバイス２１４は、撮影装置１０２に設けられた画像を撮影する撮影ユニットである。なお、撮影デバイス２１４の詳細は図３および図４を参照して後述する。
【００３０】
次に、図３および図４を参照して、本実施形態に係る撮影装置１０２について説明する。図３は、撮影装置１０２の外観図である。また、図４は、撮影装置１０２の撮影デバイス２１４が実行する撮影機能の機能ブロック図である。
【００３１】
レンズ３０２の光軸の向く方向が撮影装置１０２の撮影方向であり、レンズ３０２を通過した光束は、撮影部３０５の撮像素子に結像する。
【００３２】
また、レンズ駆動部３１０は、レンズ３０２を駆動させる駆動系により構成され、レンズ３０２の焦点距離を変更する。レンズ駆動部３１０は、パンチルトズーム制御部３０８により制御される。
【００３３】
パン駆動部３００は、パン動作を行うメカ駆動系及び駆動源のモータにより構成され、撮影装置１０２の撮影方向をパン方向３０３に回転駆動させるための回転駆動を行う。また、パン駆動部３００は、パンチルトズーム制御部３０８により制御される。
【００３４】
チルト駆動部３０１は、チルト動作を行うメカ駆動及び駆動源のモータにより構成され、撮影装置１０２の撮影方向をチルト方向３０４に回転駆動させるための回転駆動を行う。チルト駆動部３０１は、パンチルトズーム制御部３０８により制御される。
【００３５】
撮影部３０５は、ＣＣＤ（ｃｈａｒｇｅ  ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ）センサやＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子（不図示）により構成される。そして、撮影部３０５は、レンズ３０２を通って結像された被写体像を光電変換して電気信号を生成する。
【００３６】
画像処理部３０６は、撮影部３０５において光電変換された電気信号をデジタル信号へ変換する処理や、圧縮符号化処理などを行い、画像データを生成する。
【００３７】
パンチルトズーム制御部３０８は、システム制御部３０７から伝達された指示に基づいて、パン駆動部３００、チルト駆動部３０１及びレンズ駆動部３１０の制御を行う。
【００３８】
通信部３０９は、Ｉ／Ｆ２１１を介して、画像処理装置１００との通信を行う。例えば、通信部３０９は、生成された画像データを画像処理装置１００に送信する。また、通信部３０９は、撮影装置１０２を制御するコマンドを画像処理装置１００から受信し、システム制御部３０７へ伝達する。
【００３９】
システム制御部３０７は、ＣＰＵ２１０が実行する処理に従って、撮影装置１０２の全体を制御し、例えば、次のような処理を行う。すなわち、システム制御部３０７は、通信部３０９から伝達された撮影装置１０２を制御するコマンドを解析し、コマンドに応じた処理を行う。また、システム制御部３０７は、パンチルトズーム制御部３０８に対してパン・チルト・ズーム動作の指示を行う。
【００４０】
また、システム制御部３０７は、画像処理部３０６で生成された画像データを画像処理装置１００に送る際に、該画像データを取得した際の撮影情報も画像データに付与する。なお、本実施形態における撮影情報は、パンチルトズーム制御部３０８等から取得される、撮影装置１０２のパン角度とチルト角度と、撮影装置１０２により画像が撮影されたときの撮影装置１０２のズーム倍率と、を示す情報を含む。
【００４１】
なお、パン角度は、パン駆動部３００の駆動端の一方を０°としたときの、撮影装置１０２のパン方向３０３における撮影方向（光軸）の角度である。また、チルト角度は、チルト駆動部３０１の駆動端の一方を０°としたときの、撮影装置１０２のチルト方向３０４における撮影方向（光軸）の角度である。なお、撮影装置１０２により画像が撮影されるときの撮影装置１０２のズーム倍率は、レンズ３０２の焦点距離から算出する。
【００４２】
次に、図５を参照して、撮影装置１０２によりカウント領域を複数の撮影領域に分けて撮影された画像から人物の数をカウントする処理において、本実施形態に係る画像処理装置１００によるズーム倍率を決定する処理について説明する。なお、カウント領域は、人数をカウントする対象とする領域を表し、撮影領域は、撮影装置１０２が撮影する領域を表す。
【００４３】
図５は、本実施形態に係る画像処理装置１００の機能ブロック図である。図５に示す各機能ブロックは、ハードウェアモジュールとしているが、ソフトウェアモジュールで実現してもよい。また、ソフトウェアモジュールとハードウェアモジュールとを協働させて実現してもよい。なお、以降の説明においては、画像処理装置１００が有する各機能は、画像処理装置１００のＣＰＵ２００により実行されるものとする。
【００４４】
図５に示すように、画像処理装置１００は、通信部５０１と、検出部５０２と、カウント部５０３と、コマンド管理部５０４と、決定部５０５と、表示部５０６と、記憶部５０７と、操作受付部５０８と、を有する。
【００４５】
通信部５０１は、Ｉ／Ｆ２０１を介して、撮影装置１０２により撮影された画像を受信したり、撮影装置１０２を制御するコマンドを送信する。
【００４６】
検出部５０２は、通信部５０１が受信した画像に含まれる人物を検出する。なお、本実施形態における検出部５０２は、照合パターン（辞書）を使用して、画像に含まれる人体を検出するものとする。
【００４７】
このとき、全身の特徴を照合パターンとして辞書化しておく必要はない。例えば、上半身、下半身、頭部、顔、足などの人体の一部について照合パターンを用意し、検出部５０２は、画像から人体の一部を検出した場合に人体を検出したとみなしてもよい。なお、検出部５０２は、画像から人体を検出する機能を有していればよく、既知の動体検出や肌色検出などでもよく、パターンマッチング処理に限定されるものではない。
【００４８】
なお本実施形態における検出部５０２による人物の検出が可能な人物の最小サイズ（画素数）は、便宜的にＳピクセルであるとする。
【００４９】
カウント部５０３は、検出部５０２により検出された人物の数をカウントする。
【００５０】
コマンド管理部５０４は、撮影装置１０２のパン・チルト・ズームなどを制御したり、画像を撮影する制御などの撮影動作を制御するコマンドを生成する。またコマンド管理部５０４は、撮影装置１０２の撮影状態を取得するコマンドを生成する。コマンド管理部５０４で生成されたコマンドは、通信部５０１を介して、撮影装置１０２へ送られる。
【００５１】
決定部５０５は、ズーム倍率を段階的に変更することで撮影装置１０２により撮影された複数の画像の各々について、カウント部５０３が人数をカウントし、人数が最大となる画像の撮影時のズーム倍率に基づいて、撮影装置１０２のズーム倍率を決定する。なお、本実施形態における決定部５０５は、カウント部５０３がカウントした人数が最大となる画像の撮影時のズーム倍率を決定する。なお、決定部５０５が決定するズーム倍率は、撮影装置１０２が撮影する領域である撮影領域のサイズに対応する。
【００５２】
コマンド管理部５０４は、決定部５０５により決定されたズーム倍率に基づいて、撮影装置１０２を制御するコマンドを生成し、カウント部５０３は、カウント領域を複数の撮影領域に分けて撮影された画像から人数カウントを実行する。このときのコマンド管理部５０４および決定部５０５の処理の詳しい説明は後述する。
【００５３】
なお、カウント対象とする領域であるカウント領域は、本実施形態において、操作受付部５０８を介してユーザーにより設定された領域とするが、これに限らない。例えば、カウント領域は、予め設定された領域でもよい。
【００５４】
表示部５０６は、表示装置１０１に表示されるべき画面に対応するデータを生成して表示装置１０１に表示させる。
【００５５】
記憶部５０７は、通信部５０１が受信した画像や、検出部５０２の検出結果などを記憶する。また記憶部５０７は、検出部５０２による処理が行われた画像が撮影されたときの撮影装置１０２の撮影状態などを記憶する。
【００５６】
操作受付部５０８は、ＵＩ２０４を介して、ユーザーが行った操作を受け付ける。例えば、表示部５０６は、撮影装置１０２が撮影可能な範囲に対してパン・チルト・ズームの制御および撮影を繰り返すことで得られるパノラマ画像を表示装置１０１に表示させる。そして、操作受付部５０８は、表示部５０６により表示装置１０１に表示されたパノラマ画像に対してユーザーが設定したカウント領域の位置情報を受け付けるようにしてもよい。
【００５７】
次に、図６〜図７を参照して、本実施形態に係る画像処理装置１００による、ある撮影方向におけるズーム倍率を決定する処理について説明する。
【００５８】
図６（ａ）は、人数カウントの対象であるカウント領域６００に集まっている人物を撮影装置１０２が見下ろしで撮影している様子を示す模式図である。領域６０１は、撮影装置１０２の撮影方向が点６０２を向いて撮影された撮影領域を示している。
【００５９】
図６（ｂ）は、撮影装置１０２の撮影方向が点６０２を向いたうえで、撮影装置１０２のズーム倍率をワイド端からテレ端まで段階的に変更しつつ、撮影装置１０２が異なるズーム倍率で撮影した画像の模式図である。なお、各画像内において斜線で示された人体は、検出部５０２によって検出された人体を示している。
【００６０】
ワイド端画像６０３に映っている人体６０４は、すべて検出部５０２の検出可能な最小サイズであるＳピクセルに満たないため検出されていない。
【００６１】
画像６０３の撮影時のズーム倍率から所定の割合高くしたズーム倍率で撮影した画像６０５では、画像に映る人物のうち２５％の人体６０６がＳピクセルに満たないため検出されていない。一方、画像６０５にて、７５％の人体６０７はＳピクセルを超えるため検出されており、検出人数は１８人である。
【００６２】
テレ端画像６０８では、すべての人体６０９がＳピクセルを超えるため検出されており、検出人数は８人である。
【００６３】
以上説明したように、より広い領域を対象とした人数カウントにおいて、撮影装置のズーム倍率をテレ端側へ極端に高くすると、人体検出の精度は上がるものの画角が狭くなる。この場合、ＰＴＺ制御をしつつカウント領域を撮影する際の撮影枚数が増え、検出部５０２やカウント部５０３による解析処理の回数が増加し、結果的に処理にかかる時間が増大することがある。
【００６４】
一方、ズーム倍率がワイド端側へ低くなりすぎると、画角は大きくなるものの、画像に映る人物のサイズが小さくなって人体検出の精度が下がることから、人数カウントの精度が下がってしまう。
【００６５】
以上より、より広い領域を対象に人数カウントの処理を実施するにあたり、ズーム倍率を高くしすぎず、また、ズーム倍率を低くしすぎない、すなわち、カウント精度低下の抑制と処理時間増大の抑制とを両立するズーム倍率を決定する必要がある。次に、図７を参照して、本実施形態に係る決定部５０５が撮影装置１０２のズーム倍率を決定する処理について説明する。
【００６６】
図７は、撮影装置１０２のズーム倍率をワイド端からテレ端まで段階的に変更したとき、検出部５０２により検出される人体検出数の推移の一例を示す模式図である。図７（ａ）は、撮影装置１０２のズーム倍率をワイド端からテレ端まで段階的に変更したとき、画像における実際に存在する実人数の推移の一例を示す模式図である。図７（ａ）に示されるように、撮影装置１０２のズーム倍率を高くするに従い、撮影される画像に映る実際の人体の数は減少していく。
【００６７】
図７（ｂ）は、撮影装置１０２のズーム倍率をワイド端からテレ端まで段階的に変更したとき、画像における実人数のうち検出部５０２が人体を検出可能なサイズ（Ｓピクセル）を超える人体の割合の推移の一例を示す模式図である。図７（ｂ）に示されるように、ワイド端では全ての人体が検出可能サイズを満たさないが、あるズーム倍率７０１を超えると検出可能サイズを満たす人体が占める比率が増えていく。そして、あるズーム倍率７０２以降は画像に映る全ての人体が検出可能サイズを満たすことになる。
【００６８】
図７（ｃ）は、撮影装置１０２のズーム倍率をワイド端からテレ端まで段階的に変更したとき、検出部５０２が画像において検出した人体検出数の推移の一例を示す模式図である。図７（ｃ）において破線７０３は、図７（ａ）に示した、撮影装置１０２が撮影した画像における実人数を表している。この実人数のうち、検出可能サイズを満たした人体のみが検出部５０２により検出されるため、ズーム倍率をワイド端からテレ端まで移動した際の人体検出数は図７（ｃ）における実線のように表される。本実施形態に係る決定部５０５は、ズーム倍率が段階的に変更された撮影装置１０２が撮影した、撮影時のズーム倍率が異なる複数の画像の各々について、カウント部５０３が人数をカウントし、人数が最大となる画像を撮影したズーム倍率を決定する。
【００６９】
次に、図８および図９を参照して、撮影装置１０２によりカウント領域を複数の撮影領域に分けて撮影された画像から人物の数をカウントする処理において、本実施形態に係る画像処理装置１００によるズーム倍率を決定する処理について説明する。図８は、ズーム倍率を決定する処理を説明するための図である。図９は、撮影装置１０２によりカウント領域を複数の撮影領域に分けて撮影された画像から人物の数をカウントする処理において、本実施形態に係る画像処理装置１００によるズーム倍率を決定する処理のフローチャートである。
【００７０】
なお、図９に示すフローに入る前に、コマンド管理部５０４による制御に従って、撮影装置１０１のズーム倍率は適宜制御され、さらに目的の撮影方向を向いているものとする。ただし、以下の説明においては、撮影装置１０１のズーム倍率はワイド端に制御されているものとする。ここでのコマンド管理部５０４による制御の詳細な説明は、図１０および図１１を参照して後述する。
【００７１】
なお、本実施形態において、図９に示すフローチャートの処理は、画像処理装置１００のＨＤＤ２０３に格納されたコンピュータプログラムをＣＰＵ２００が実行することにより実現される図５の各機能ブロックにより実行されるものとして説明する。ただし、図９に示すフローチャートの処理の一部は、専用のハードウェアによって実行するようにしてもよい。
【００７２】
ステップＳ９０１にて、撮影装置１０２が撮影した画像を通信部５０１は受信し、検出部５０２は、その画像に含まれる人体を検出する。
【００７３】
次に、ステップＳ９０２にて、カウント部５０３は、検出部５０２により検出された人体の数をカウントする。
【００７４】
次に、ステップＳ９０３にて、記憶部５０７は、検出部５０２が処理を行った画像が撮影されたときのズーム倍率と、その画像においてカウント部５０３がカウントした人数とを関連付けて記憶する。
【００７５】
次に、ステップＳ９０４にて、ステップＳ９０３で記憶部５０７が記憶した人数に基き、カウントした人数が前回カウントした人数に比べて減少していない場合は、ステップＳ９０５へ遷移し、減少している場合は、ステップＳ９０７へ遷移する。なお、前回カウントした人数が記憶部５０７にて記憶されていない場合、つまり、本フローチャートにてステップＳ９０４にて行われる処理が一回目の場合、ステップＳ９０５へ遷移するものとする。
【００７６】
ステップＳ９０５にて、コマンド管理部５０４は、撮影装置１０２のズーム倍率を所定の割合だけテレ端側に高くした後に画像を撮影する制御を行うコマンドを生成し、通信部５０１を介して、そのコマンドを撮影装置１０２へ送信する。なお、ズーム倍率を変更する度合である所定の割合は、予め登録された設定でもよいし、ユーザーにより適宜設定されるようにしてもよい。
【００７７】
ステップＳ９０６にて、コマンド管理部５０４は、撮影装置１０２のズーム倍率を所定の割合だけ変更されることにより、変更前の撮影領域と変更後の撮影領域とで生じる位置の相違を無くして、画像を撮影するよう撮影装置１０２を制御するコマンドを生成する。
【００７８】
ここで、ステップＳ９０６の処理について図８を参照して説明する。図８（ａ）において、領域８０１は、撮影装置１０２のズーム倍率をワイド端にした状態でカウント領域６００の左下の端部を撮影する撮影領域である。ステップＳ９０５にて、ズーム倍率が所定の割合だけテレ端側に高くなるよう変更されることで、領域８０１から領域８０２へと撮影装置１０２の撮影領域が変更される。この場合、領域８０１の左下の端点と、領域８０２の左下の端点とで位置の相違が生じる。本実施形態における撮影装置１０２のコマンド管理部５０４は、この位置の相違を無くすように、撮影装置１０２の撮影領域が領域８０２から領域８０３（図８（ｂ）に図示）へ移動し、さらに画像を撮影するよう制御するコマンドを生成する。このとき生成されたコマンドは通信部５０１を介して、撮影装置１０２へ送られる。
【００７９】
このように、ステップＳ９０１〜ステップＳ９０６の処理は、カウント部５０３によりカウントされる人数が減少するまで繰り返される。
【００８０】
ステップＳ９０７にて、決定部５０５は、記憶部５０７に記憶されたズーム倍率と人数とが関連付けられたデータから、人体検出数が最大となるズーム倍率を決定する。なお、ステップＳ９０７にて、人体検出数が最大となるズーム倍率が複数存在する場合は、決定部９０４は、その複数のズーム倍率のうち最もワイド端側のズーム倍率を決定するようにしてもよい。
【００８１】
ステップＳ９０８にて、コマンド管理部５０４は、決定されたズーム倍率になるよう撮影装置１０２のズーム倍率を制御し、さらにズーム倍率を変更することで生じる撮影領域の位置の相違を無くすよう制御するコマンドを生成する。このとき、図８を参照して説明したように、コマンド管理部５０４は、ズーム倍率の変更前における撮影領域の左下の端点と、変更後における撮影領域の左下の端点とで生じる位置の相違を無くすよう撮影装置１０２の撮影方向を制御するコマンドを生成する。このとき生成されたコマンドは、通信部５０１を介して、撮影装置１０２へ送信される。なお、図１０（ａ）における領域１００１は、ステップＳ９０８にて、コマンド管理部５０４により制御された撮影装置１０２の撮影領域を示している。
【００８２】
以上の処理によって、本実施形態に係る画像処理装置１００は、カウント領域を複数の撮影領域に分けて撮影された画像から人物の数をカウントする処理において、人数カウントに適したズーム倍率を決定する。
【００８３】
なお、ステップＳ９０４において、撮影装置１０２のズーム倍率がテレ端まで達していない場合、ステップＳ９０５へ遷移し、ズーム倍率がテレ端まで達した場合は、ステップＳ９０７へ遷移するようにしてもよい。ただし、図７（ｃ）に示すように、人体検出数は最大値へ達したのち減少していくと考えられるため、人体検出数が最大となるズーム倍率を特定するにあたり、上述した本実施形態に係るステップＳ９０４の処理によれば、処理時間をより低減することができる。
【００８４】
次に、図１０および図１１を参照して、実施形態１に係る画像処理装置１００により決定されたズーム倍率に基づいて、カウント領域を複数の撮影領域に分けて撮影された画像から人数カウントを実行する処理について説明する。
【００８５】
図１０は、カウント領域を複数の撮影領域に分けて撮影された画像から人数カウントを行う処理を説明するための模式図である。なお、本実施形態におけるカウント領域６００は、ユーザーにより設定されるものとし、設定されたカウント領域６００の位置情報は記憶部５０７にて記憶される。また、カウント領域６００の位置情報は、カウント領域６００の各頂点におけるパン角度、チルト角度で定められるものとする。
【００８６】
図１０（ａ）に示す領域８０１は、撮影装置１０２のズーム倍率をワイド端にした状態でカウント領域６００の左端の下部を撮影する撮影領域である。このとき、本実施形態に係るコマンド管理部５０４は、カウント領域６００の各頂点における左下の端点と、撮影装置１０２の撮影領域の各頂点における左下の端点とが一致するように、撮影装置１０２の撮影方向を制御するコマンドを生成する。そして、通信部５０１を介して送信されたコマンドに基づいて、撮影装置１０２の撮影方向は領域８０１の中心となる。
【００８７】
撮影領域１００１は、コマンド管理部５０４により制御された撮影装置１０２の撮影方向に対し、図９に示すフローチャートで説明した制御を実行することにより制御された撮影装置１０２の撮影領域である。
【００８８】
次に、コマンド管理部５０４は、撮影装置１０２の撮影方向を撮影領域１００１に対して右方向に移動するようパン角度を制御したのち、画像を撮影する制御を行うコマンドを生成し、通信部５０１を介して撮影装置１０２へ送信する。なおこのとき、コマンド管理部５０４は、すでに人数カウント済みの撮影領域１００１と隣接する撮影領域１００２まで移動するよう制御したのち、画像を撮影する制御を行うコマンドを生成する。そして、撮影領域１００２を撮影して得られた画像に対して、再度人数カウント処理を実施し、その人数を記録する。
【００８９】
撮影装置１０２の撮影方向を右方向へ移動させて撮影した画像における人数をカウントする処理を、撮影装置１０２の撮影領域がカウント領域６００の右端の端部に達するまで繰り返す。なお本実施形態において、撮影領域の各頂点における左下の端点と右下の端点とを結ぶ辺（以下、下部の辺）と、カウント領域６００の各頂点における右上の端点と右下の端点とを結ぶ辺（以下、右端の辺）とで交わる点がある場合、右端に達しているものとする。図１０（ｂ）の場合、撮影装置１０２の撮影領域の下部の辺と、カウント領域６００の右端の辺とで交わる点がある領域１００３になるまで繰り返される。
【００９０】
このように、コマンド管理部５０４は、決定部５０５により決定されたズーム倍率を用いて、他の撮影領域を撮影するように制御するコマンドを生成する。図１０（ｂ）の場合、決定部５０５により決定されたズーム倍率を用いて、領域１００２および領域１００３の撮影領域を撮影するよう制御するコマンドを生成する。
【００９１】
次に図１０（ｃ）に示すように、コマンド管理部５０４は、撮影装置１０２のズーム倍率を変更せず、カウント領域６００における左端、かつ、領域１００１の上部の位置に撮影装置１０２の撮影領域を移動させる制御を行うコマンドを生成する。生成されたコマンドは通信部５０１を介して、撮影装置１０２へ送信される。
【００９２】
このとき、本実施形態に係るコマンド管理部５０４は、撮影領域の各頂点における左下の端点と、カウント領域６００の左端の辺と、領域１００１の上部の辺とが交わるよう、撮影装置１０２の撮影方向を制御するコマンドを生成する。なお、カウント領域６００の左端の辺は、カウント領域６００の各頂点における左上の端点と左下の端点とを結ぶ辺である。また、領域１００１の上部の辺は、領域１００１の各頂点における左上の端点と右上の端点とを結ぶ辺である。このようにして制御された撮影装置１００の撮影領域は、領域１００４となる。
【００９３】
なお、本実施形態におけるコマンド管理部５０４は、撮影装置１０２のズーム倍率を変更しないようにしたが、ズーム倍率をワイド端に制御したうえで、撮影領域を移動するようにしてもよい。しかし、カウント領域の下部、すなわち、もっとも人体が大きく映っていると考えられる領域から撮影領域を制御しているので、それよりも上部、すなわち、奥行き方向における奥側を撮影する場合は、必ずしもズーム倍率をワイド端まで戻す必要はない。そこで、本実施形態におけるコマンド管理部５０４は、撮影装置１０２のズーム倍率を変更せず、撮影領域をカウント領域の右端から左端の上段へ制御するコマンドを生成した。こうすることにより、図９に示すフローチャートで説明した制御を実行するにあたり、人体検出数が最大となる画像を撮影時のズーム倍率を決定する処理の時間を短縮することができる。
【００９４】
また、図１０（ｃ）における領域１００５は、コマンド管理部５０４により制御された撮影装置１０２の撮影方向に対し、図９に示すフローチャートで説明した制御を実行して、制御された撮影装置１０２の撮影領域である。
【００９５】
次に、コマンド管理部５０４は、撮影装置１０２の撮影方向を撮影領域１００５に対して、撮影装置１０２の撮影方向を右方向へ移動し、画像を撮影する制御コマンドを生成する。そして、撮影した画像における人数カウント処理を、カウント領域６００の最下段で行った処理と同様、撮影装置１０２の撮影領域がカウント領域６００の右端に達するまで繰り返す。図１０（ｄ）の場合、撮影装置１０２の撮影領域が領域１００８に達するまで繰り返される。
【００９６】
以上のように、撮影装置１０２の撮影領域をカウント領域６００の左端から右端まで移動させるよう制御しつつ人数カウントを行う処理を、撮影領域がカウント領域６００の上端及び右端に達するまで繰り返すことで、広域の人数カウント処理を実現する。なお、本実施形態において、撮影装置１０２の撮影領域の各頂点における右上の端点と左上の端点とを結ぶ辺の位置が、カウント領域６００の各頂点における右上の端点と左上の端点とを結ぶ辺の位置より上部となっている場合、上端に達しているものとする。
【００９７】
次に図１１のフローチャートを参照して、図１０で説明した本実施形態に係る、カウント領域を複数の撮影領域に分けて撮影された画像から人数カウントを行う処理について説明する。
【００９８】
なお、本実施形態において、図１１に示すフローチャートの処理は、画像処理装置１００のＨＤＤ２０３に格納されたコンピュータプログラムをＣＰＵ２００が実行することにより実現される図５の各機能ブロックにより実行されるものとして説明する。ただし、図１１に示すフローチャートの処理の一部は、専用のハードウェアによって実行するようにしてもよい。
【００９９】
ステップＳ１１０１にて、コマンド管理部５０４は、撮影装置１０１のズーム倍率をワイド端にして、撮影領域がカウント領域の左下の端部に移動するよう、パン・チルトを制御するコマンドを生成する。生成されたコマンドは通信部５０１を介して、撮影装置１０２へ送信される。
【０１００】
次に、ステップＳ１１０２にて、図９に示すフローチャートで説明した制御を実行することで、決定部５０５により決定されたズーム倍率になるよう撮影装置１０２の撮影領域を制御する。
【０１０１】
次に、ステップＳ１１０３にて、コマンド管理部５０４は、カウント済みの領域と撮影領域が隣接するよう、撮影装置１０２の撮影方向を右方向へ移動するよう制御したのち、画像を撮影する制御を行うコマンドを生成する。このとき生成されたコマンドは、通信部５０１を介して撮影装置１０２へ送信される。
【０１０２】
次に、ステップＳ１１０４にて、検出部５０２は、ステップＳ１１０４にて制御された撮影装置１０２が撮影した画像における人体を検出する。
【０１０３】
次に、ステップＳ１１０５にて、カウント部５０３は、検出部５０２により検出された人体の数をカウントする。なおこのとき、記憶部５０７は、カウント部５０３によりカウントされた人体の数を記憶する。
【０１０４】
次に、ステップＳ１１０６にて、現在の撮影装置１０２の撮影領域がカウント領域の右端に達してない場合、ステップＳ１１０３へ遷移し、撮影領域がカウント領域の右端に達している場合、ステップＳ１１０７へ遷移する。
【０１０５】
このようにステップＳ１１０３〜ステップＳ１１０６の処理を、撮影装置１０２の撮影領域がカウント領域の右端に達するまで繰り返される。
【０１０６】
ステップＳ１１０７にて、現在の撮影装置１０２の撮影領域がカウント領域の上端に達していない場合、ステップＳ１１０８に遷移し、撮影装置１０２の撮影領域が上端に達している場合は、ステップＳ１１０９へ遷移する。
【０１０７】
ステップＳ１１０８にて、コマンド管理部５０４は、撮影装置１０２のズーム倍率を変更せずに、カウント済みである領域の上部、かつ、カウント領域における左端に撮影領域が位置するよう、撮影方向を移動させる制御を行うコマンドを生成する。コマンド管理部５０４により生成されたコマンドは通信部５０１を介して、撮影装置１０２へ送信される。
【０１０８】
以上のようにステップＳ１１０２〜ステップＳ１１０８までの処理を、カウント領域の上端に達するまで実行する。
【０１０９】
ステップＳ１１０９にて、カウント部５０３は、撮影した画像においてカウントした人数の合計を算出する。
【０１１０】
なお、本実施形態において、複数の領域を撮影する撮影順序については特定の端部（手前側左端の端部）から対角線上に位置する端部（奥側右端の端部）まで撮影装置１０２の撮影領域をラスター方向に移動させたが、これに限らない。例えば、手前側右端の端部から左方向へ移動し、最終的に奥側左端の端部へと撮影装置１０２の撮影領域を移動させるようにしてもよい。
【０１１１】
また、本実施形態において、撮影装置１０２が画像を撮影する度に、カウント部５０２が人数をカウントするが、複数の撮影方向で撮影した画像を合成し、合成後のパノラマ画像に対して人数カウントをするようにしてもよい。
【０１１２】
以上説明したように、本実施形態によれば、より広い領域を対象とした人数カウントにおいて、適切なズーム倍率を自動で決定することができる。  （実施形態２）
実施形態１に係る画像処理装置１００では、撮影時のズーム倍率が異なる複数の画像の各々について、カウントされた人数が最大となる画像の撮影時のズーム倍率を決定し、決定されたズーム倍率に従って、カウント領域における人数カウントを実行した。しかし、カウントされた人数が最大となる画像の撮影時のズーム倍率であっても、その画像の上部で（奥行き方向における奥側）では人体サイズが小さくなることから、検出部５０２により検出されていない人物がいる可能性がある。
【０１１３】
そこで、実施形態２に係る画像処理装置１００では、図９で示した実施形態１に係る処理に従って人数が最大となるズーム倍率を特定した後に、さらにズーム倍率を所定の割合高くしたズーム倍率を決定する。そして、決定されたズーム倍率に従って、カウント領域を対象に撮影装置１０２の撮影領域を制御することで、検出部５０２による人体検出の精度がより向上し、結果的に人数カウントの精度をより向上させることができる。
【０１１４】
以下、実施形態２に係る画像処理装置１００の処理について説明する。なお、実施形態１と同一または同等の機能構成、処理については同一の符号を付すとともに、重複する説明は適宜省略する。
【０１１５】
以下、実施形態２に係る画像処理装置１００による、ある撮影方向におけるズーム倍率の決定処理について説明する。
【０１１６】
図１２は、実施形態１に係る図９に示すフローチャートの処理によって特定された、人数が最大となったズーム倍率で撮影された画像において、検出部５０２により検出された人物の位置とサイズとを示した模式図である。
【０１１７】
図１２に示すように、広域に対する人数カウントを実施するにあたり、画像下部（奥行き方向に対して手前側）において検出される人物のサイズが大きく、画像上部（奥行き方向に対して奥側）に近づくにつれて検出される人物のサイズが小さくなることがある。このとき検出部５０２の検出可能な人体サイズはＳピクセルであるとすると、画像上部において、人体サイズがＳピクセルを下回っていたために、検出部５０２により検出されなかった人体がいる可能性がある。
【０１１８】
そこで、本実施形態における決定部５０５は、図９に示すフローチャートで説明した制御を実行して、人数が最大となる画像の撮影時のズーム倍率を所定の割合高くしたズーム倍率を決定する。以下、本実施形態に係る処理について説明していく。
【０１１９】
図１２（ａ）の人体１２０１，１２０２，１２０３は、検出部５０２により検出された人体である。なお、検出部５０２により検出された人体１２０１，１２０２，１２０３の人体サイズは、検出可能サイズＳを上回っているが、閾値Ｔ（Ｓ＋ｄ）を下回っている。これらの人体のみが含まれる領域である領域１２０４には、実際は画像に映っているが、検出部５０２の検出可能サイズＳを下回ったため、未検出となってしまった人体が存在する可能性がある。
【０１２０】
なお、本実施形態に係る閾値Ｔは、検出可能サイズであるＳピクセルに所定値ｄピクセルを加えた値である。閾値Ｔは、ユーザーにより適宜設定されてもいいし、予め設定された値でもいい。
【０１２１】
図１２（ｂ）の人体１２０５は、画像上部から順にサイズ比較をした際、はじめて閾値Ｔを上回る人体を示している。
【０１２２】
本実施形態における決定部５０５は、図１２（ｃ）の示すように、画像全体の領域から領域１２０４を除いた領域である領域１２０６の上端と、撮影領域の上端とが重なるようズーム倍率を決定する。図１２（ｃ）において、このとき決定されたズーム倍率で撮影される撮影領域が領域１２０７である。
【０１２３】
このように、画像に含まれる人体のサイズに基づいて、人数が最大の画像を撮影した撮影装置１０２のズーム倍率を所定の割合高くしたズーム倍率を決定する。このとき決定されたズーム倍率に従って撮影装置１０２を制御することで、検出部５０２による人体検出の精度が向上して、結果的に人数カウントの精度を向上させることができる。
【０１２４】
なお、ズーム倍率を所定の割合高くすることで、人体１２０１、１２０２、１２０３など画角から外れる人体が存在することがある。しかし、図１０および図１１で説明したフローチャートの制御を実行して、カウント領域において撮影装置１０２の撮影領域を巡回させることで、結果的に画角から外れた人体も検出することができる。
【０１２５】
次に、図１３のフローチャートを参照して、実施形態２に係る決定部５０５がズーム倍率を決定する処理について説明する。
【０１２６】
なお、実施形態１において図１０および図１１を参照して説明したように、このフローに入る前に、コマンド管理部５０４による制御に従い、撮影装置１０１のズーム倍率は適宜制御され、さらに撮影装置１０１は目的の撮影方向を向いているものとする。
【０１２７】
なお、本実施形態において、図１３に示すフローチャートの処理は、画像処理装置１００のＨＤＤ２０３に格納されたコンピュータプログラムをＣＰＵ２００が実行することにより実現される図５の各機能ブロックにより実行されるものとして説明する。ただし、図１３に示すフローチャートの処理の一部は、専用のハードウェアによって実行するようにしてもよい。
【０１２８】
ステップＳ９０１にて、検出部５０２は、撮影装置１０２が撮影した画像における人体を検出する。なお本実施形態において、記憶部５０７は、検出部５０２が検出した人体の人体サイズと、人体の画像における位置とを記憶する。
【０１２９】
ステップＳ９０２〜ステップＳ９０６までの処理は、実施形態１と同様であるため、説明を省略する。
【０１３０】
次に、ステップＳ１３０１にて、決定部５０５は、カウント部５０３によりカウントされた人数が最大となった画像と、その画像を撮影したときの撮影装置１０２のズーム倍率を決定する。
【０１３１】
次に、ステップＳ１３０２にて、決定部５０５は、ステップＳ１３０１にて決定された画像において、検出部５０２により検出されて記憶部５０７に記憶された人体の位置に基づいて、画像内で最も上部に位置する人体に注目する。
【０１３２】
次に、ステップＳ１３０３にて、決定部５０５は、ステップＳ１３０２にて決定部５０５が注目した人体のサイズと予め設定された閾値とを比較する。
【０１３３】
次に、ステップＳ１３０４にて、注目した人体サイズが閾値以下だった場合、ステップＳ１３０５へ遷移し、注目した人体サイズが閾値を上回った場合、ステップＳ１３０６へ遷移する。
【０１３４】
ステップＳ１３０５では、決定部５０５は、ステップＳ１３０３にて比較対象となった人体以外で、画面の最も上部に位置する人体に注目する。そしてステップＳ１３０３にて再度、決定部５０５は注目した人体サイズと予め設定された閾値とを比較する。
【０１３５】
このようにステップＳ１３０３〜ステップＳ１３０５の処理を繰り返し、決定部５０５は、設定した閾値を上回る人体サイズの人物を特定する。
【０１３６】
ステップＳ１３０６にて、コマンド管理部５０４は、ステップＳ１３０４にて初めて閾値を上回った人体が、撮影装置１０２の撮影領域の上端に位置するズーム倍率を決定する。このとき、決定部５０５は、ステップＳ１３０１にて特定されたズーム倍率から、閾値を上回った人体の位置を示す外接矩形（不図示）の上端と、撮影領域の上端とが重なるような撮影装置１０２のズーム倍率を計算によって導出するものとする。そして、決定部５０５は、導出したズーム倍率を他の撮影領域を撮影するときに用いるズーム倍率として決定するものとする。
【０１３７】
ステップＳ９０８およびステップＳ９０１〜９０３の処理は、実施形態１と同様であるため説明を省略する。
【０１３８】
以上説明したように、本実施形態に係る決定部５０５は、ある撮影方向において、人数が最大の画像における人体のサイズに基づいて、その画像を撮影した撮影装置１０２のズーム倍率を所定の割合高くしたズーム倍率を決定する。
【０１３９】
このとき決定されたズーム倍率に従って、図１０に示すようなカウント領域６００における人数カウントの処理を行うにあたって、図１１に示すフローチャートにおけるステップＳ１１０２にて、本実施形態に係る図１３に示すフローチャートの処理を行う。本実施形態に係る決定部５０５により決定されたズーム倍率に従って撮影装置１０２を制御することにより、検出部５０２による人体検出の精度が向上して、結果的に人数カウントの精度を向上させることができる。
【０１４０】
なお、本実施形態に係る決定部５０５は、人数が最大の画像を撮影したときのズーム倍率から所定の割合高くしたズーム倍率を決定する際、人数が最大の画像における人体のサイズと閾値とを考慮して決定したが、これに限らない。例えば、決定部５０５は、ズーム倍率を変更する度合である所定の割合を、人体のサイズと閾値とを考慮せず、予め設定された割合を用いてもよいし、ユーザーにより適宜設定された割合を用いてもよい。
【０１４１】
（変形例）
上述した実施形態１および実施形態２に係る処理は画像処理装置１００が行うとして説明したが、これに限定されない。実施形態１または実施形態２に係る画像処理装置１００の１以上の機能を、撮影装置１０２が有していてもよい。つまり、実施形態１または実施形態２に係る処理は、画像処理装置１００のＣＰＵ２００により実行されたが、撮影装置１０２のＣＰＵ２１０およびクライアント装置が有するＣＰＵが協働することにより実現されてもよい。
【０１４２】
例えば、図５に示す、検出部５０２と、カウント部５０３と、コマンド管理部５０４と、決定部５０５と、記憶部５０７は撮影装置１０２が有していてもよい。なおこのとき、表示部５０６と、操作受付部５０８は、クライアント装置１４００が有する。クライアント装置１４００は、画像処理装置１００と同等のハードウェア構成を有するパーソナルコンピュータである。この場合について、図１４を参照して更に詳細に説明する。なお、実施形態１および実施形態２と同一または同等の構成要素、処理には、同一の符号を付するものとし、適宜、重複した説明は省略する。
【０１４３】
図１４は、画像処理装置１００の一部の機能を有する撮影装置１０２とクライアント装置１４００の機能ブロック図の一例である。撮影装置１０２とクライアント装置１４００は、ネットワーク１０４を介して通信が行われる。
【０１４４】
撮影部３０５は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子を有し、撮影装置１０２のレンズ３０２を通って結像された被写体像を光電変換して電気信号を生成する。
【０１４５】
画像処理部３０６は、撮影部３０５において生成された電気信号をデジタル信号へ変換する処理や、圧縮符号化処理などを行い、画像データを生成する。
【０１４６】
検出部５０２は、画像処理部３０６にて生成された画像における人物を検出する。
【０１４７】
コマンド管理部５０４は、撮影装置１０２のパン・チルト・ズームなどを制御したり、画像を撮影する制御などの撮影動作を制御するコマンドを生成する。コマンド管理部５０４で生成されたコマンドは、システム制御部３０７で解析され、パンチルトズーム制御部３００により撮影装置１０２を制御する。
【０１４８】
記憶部５０７は、画像処理部３０６にて生成された画像や、検出部５０２の検出結果などを記憶する。また記憶部５０７は、検出部５０２による処理が行われた画像が撮影されたときの撮影装置１０２の撮影状態などを記憶する。
【０１４９】
操作受付部５０８は、ユーザーが行った操作を受け付ける。例えば、コマンド管理部５０４にて生成されたコマンドに基づき、撮影装置１０２が撮影可能な範囲に対してパン・チルト・ズームの制御および撮影を繰り返すよう撮影装置１０２を制御する。そして撮影された画像は通信部３０９と通信部５０１とを介して表示部５０６へ送信され、表示部５０６は、送信された画像に基づき、パノラマ画像を生成して表示装置１０１に表示させる。
【０１５０】
そして操作受付部５０８は、表示部５０６により表示装置１０１に表示されたパノラマ画像に対してユーザーが設定したカウント領域の位置情報を受け付ける。このとき操作受付部５０８が受け付けた情報は通信部５０１と通信部３０９とを介して記憶部５０７へ送られる。
【０１５１】
カウント部５０３および決定部５０５の機能は、実施形態１および実施形態２と同様であるため説明を省略する。
【０１５２】
なお、カウント部５０３によりカウントされたカウント領域における人数のカウント結果は、通信部３０９および通信部５０１を介して表示部５０６へ送られ、表示部５０６はカウント結果を表示装置１０１に表示するようにしてもよい。
【０１５３】
以上のように実施形態１または実施形態２に係る画像処理装置１００の１以上の機能を、撮影装置１０２が有していてもよい。
【０１５４】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１５５】
５０１  通信部
５０２  検出部
５０３  カウント部
５０４  コマンド管理部
５０５  決定部
５０６  表示部
５０７  記憶部
５０８  操作受付部
【図１】
2019212090.tif 000003
【図２】
2019212090.tif 000004
【図３】
2019212090.tif 000005
【図４】
2019212090.tif 000006
【図５】
2019212090.tif 000007
【図６】
2019212090.tif 000008
【図７】
2019212090.tif 000009
【図８】
2019212090.tif 000010
【図９】
2019212090.tif 000011
【図１０】
2019212090.tif 000012
【図１１】
2019212090.tif 000013
【図１２】
2019212090.tif 000014
【図１３】
2019212090.tif 000015
【図１４】
2019212090.tif 000016