(57)【要約】【課題】画像に含まれるオブジェクトを検出するためのパラメータを効率的に設定可能とする。【解決手段】撮像装置による撮像映像において所定の動体を検出するための検出エリア及び検出エリアにおける所定の動体の動体サイズを設定する画像処理装置は、撮像装置から動画像を取得する取得手段と、動画像に含まれる複数の画像それぞれから動体画像を抽出する第１の抽出手段と、第１の抽出手段により抽出された複数の動体画像を重畳表示した重畳画像を生成する生成手段と、重畳画像に基づいて検出エリアを設定する第１の設定手段と、第１の抽出手段により抽出された複数の動体画像のうち検出エリアに含まれる動体画像を抽出する第２の抽出手段と、第２の抽出手段により抽出された動体画像のうち最大サイズ及び最小サイズの動体画像を決定する決定手段と、決定手段により決定された最大サイズ及び最小サイズの動体画像に基づいて、検出エリアにおける動体サイズを設定する第２の設定手段と、を有する。【選択図】図５
2019128791.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置による撮像映像において所定の動体を検出するための検出エリア及び該検出エリアにおける前記所定の動体の動体サイズを設定する画像処理装置であって、
前記撮像装置から動画像を取得する取得手段と、
前記動画像に含まれる複数の画像それぞれから動体画像を抽出する第１の抽出手段と、
前記第１の抽出手段により抽出された複数の動体画像を重畳表示した重畳画像を生成する生成手段と、
前記重畳画像に基づいて前記検出エリアを設定する第１の設定手段と、
前記第１の抽出手段により抽出された複数の動体画像のうち前記検出エリアに含まれる動体画像を抽出する第２の抽出手段と、
前記第２の抽出手段により抽出された動体画像のうち最大サイズ及び最小サイズの動体画像を決定する決定手段と、
前記決定手段により決定された最大サイズ及び最小サイズの動体画像に基づいて、前記検出エリアにおける前記動体サイズを設定する第２の設定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記第１の設定手段は、前記重畳画像を表示し、ユーザーからの前記検出エリアの設定を受け付けるユーザーインタフェース（ＵＩ）を表示する第１の表示手段を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の設定手段は、前記決定手段により決定された最大サイズ及び最小サイズの動体画像を表示し、ユーザーからの前記動体サイズの設定を受け付けるユーザーインタフェース（ＵＩ）を表示する第２の表示手段を有する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第２の表示手段は、前記決定手段により決定された最大サイズ及び最小サイズの動体画像を強調表示する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２の表示手段は、前記決定手段により決定された最大サイズ及び最小サイズの動体画像の透過率を他の動体画像の透過率より相対的に低くすることにより前記強調表示を行う
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記決定手段により決定された最大サイズ及び最小サイズの動体画像が所定の動体を含むか否かを判定する判定手段と、
前記判定手段により前記所定の動体を含まないと判定された動体画像を前記最大サイズ及び最小サイズの動体画像から除外する除外手段と、
を更に有することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記重畳画像における複数の動体画像の重畳数を制御する制御手段を更に有する
ことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記制御手段は、前記動画像における動体の単位時間当たりの移動量に基づいて前記重畳数を制御する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記所定の動体は人体である
ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
撮像装置による撮像映像において所定の動体を検出するための検出エリア及び該検出エリアにおける前記所定の動体の動体サイズを設定する画像処理装置の制御方法であって、
前記撮像装置から動画像を取得する取得工程と、
前記動画像に含まれる複数の画像それぞれから動体画像を抽出する第１の抽出工程と、
前記第１の抽出工程により抽出された複数の動体画像を重畳表示した重畳画像を生成する生成工程と、
前記重畳画像に基づいて前記検出エリアを設定する第１の設定工程と、
前記第１の抽出工程により抽出された複数の動体画像のうち前記検出エリアに含まれる動体画像を抽出する第２の抽出工程と、
前記第２の抽出工程により抽出された動体画像のうち最大サイズ及び最小サイズの動体画像を決定する決定工程と、
前記決定工程により決定された最大サイズ及び最小サイズの動体画像に基づいて、前記検出エリアにおける前記動体サイズを設定する第２の設定工程と、
を含むことを特徴とする画像処理装置の制御方法。
【請求項１１】
コンピュータを、請求項１乃至９の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動体検出に係る画像処理技術に関するものである。
【背景技術】
【０００２】
従来、カメラで撮像した映像を解析して人体などのオブジェクトを検出して計数（カウント）する技術が知られている。人体の検出処理を高速化するためには、映像に対して、検出処理を行う対象領域である検出エリア、および、検出対象となる人体サイズを限定する方法が有効である。そこで、実空間内に人が立っている様子を実際に撮像し、撮像により得られた映像を見ながら、ユーザーが検出エリア及び人体サイズを手動で設定する方法が考えられる。ただし、実空間内に人が立っている様子を実際に撮像するにあたっては、多くの人間を動員する必要があり、手間及びコストがかかるという問題がある。
【０００３】
そこで、人が立っている様子を模倣した映像を作成することが考えられる。特許文献１では、領域内に移動体が入るように制御される撮影手段によって順次得られる複数のフレーム画像で構成される映像上に移動体の軌跡を重畳して出力画像を生成する表示装置が開示されている。また、特許文献２では、ユーザーにより指定された時間帯に動いた移動体の軌跡を強調表示する技術、ユーザーにより指定された移動速度よりも高速で動く移動体や低速で動く移動体を強調表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２５４２８９号公報
【特許文献２】米国特許出願公開２０１２／０１６３６５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の従来技術では、人体サイズを限定するために利用される最大サイズと最小サイズについては、ユーザーが映像を目視で確認し設定する必要がある。特に、人体検出処理を高速化するためには、画像内の検出エリアごとに人体サイズの最小サイズと最大サイズを設定する必要がある。そのため、設定には煩雑な操作が必要となりコスト効率が悪いという問題があった。
【０００６】
本発明はこのような課題を鑑みてなされたものであり、画像に含まれるオブジェクトを検出するためのパラメータを効率的に設定可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、撮像装置による撮像映像において所定の動体を検出するための検出エリア及び該検出エリアにおける前記所定の動体の動体サイズを設定する画像処理装置は、
前記撮像装置から動画像を取得する取得手段と、
前記動画像に含まれる複数の画像それぞれから動体画像を抽出する第１の抽出手段と、
前記第１の抽出手段により抽出された複数の動体画像を重畳表示した重畳画像を生成する生成手段と、
前記重畳画像に基づいて前記検出エリアを設定する第１の設定手段と、
前記第１の抽出手段により抽出された複数の動体画像のうち前記検出エリアに含まれる動体画像を抽出する第２の抽出手段と、
前記第２の抽出手段により抽出された動体画像のうち最大サイズ及び最小サイズの動体画像を決定する決定手段と、
前記決定手段により決定された最大サイズ及び最小サイズの動体画像に基づいて、前記検出エリアにおける前記動体サイズを設定する第２の設定手段と、
を有する。
【発明の効果】
【０００８】
本発明によれば、画像に含まれるオブジェクトを検出するためのパラメータを効率的に設定可能とする技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態における画像処理システムの全体構成を示す図である。
【図２】撮像装置のハードウェア構成及び機能構成を示す図である。
【図３】クライアント装置のハードウェア構成及び機能構成を示す図である。
【図４】撮像画像に対する検出エリア及び人体サイズの設定を説明する図である。
【図５】第１実施形態における画像処理システムの動作を示すフローチャートである。
【図６】動体の動き及び検出エリアの設定を説明する図である。
【図７】最大・最小サイズの取得を説明する図である。
【図８】人体サイズの設定を説明する図である。
【図９】第２実施形態における最大サイズ・最小サイズのフレームの取得処理を示すフローチャートである。
【図１０】候補フレームを表示する各種ＧＵＩを例示的に示す図である。
【図１１】フレーム重畳枚数の調整を説明する図である。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１１】
（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、撮像装置により取得された映像に含まれる動体（人体）を検出する画像処理システムを例に挙げて以下に説明する。特に、映像内の検出エリアにおける人体サイズの設定を効率化する手法について説明する。
【００１２】
＜システム及び各装置の構成＞
図１は、第１実施形態における画像処理システムの全体構成を示す図である。
【００１３】
撮像装置１１０は、撮像を行うネットワークカメラ等の撮像装置である。クライアント装置１２０は、撮像装置１１０の駆動、撮像装置１１０で撮像された撮像画像の表示を行うパーソナルコンピュータ、サーバ装置、タブレット装置等の情報処理装置である。
【００１４】
入力装置１３０は、マウスやキーボード等から構成され、クライアント装置１２０へのユーザー入力を行う。表示装置１４０は、ディスプレイ等から構成され、クライアント装置１２０が出力した画像の表示を行う。
【００１５】
ここでは、クライアント装置１２０と入力装置１３０と表示装置１４０とを各々独立した装置として示している。しかし、例えば、クライアント装置１２０と表示装置１４０とが、一体化されていてもよいし、入力装置１３０と表示装置１４０とが一体化されていてもよい。また、クライアント装置１２０と入力装置１３０と表示装置１４０とが、一体化されていてもよい。
【００１６】
ネットワーク１５０は、撮像装置１１０とクライアント装置１２０とを相互に通信可能に接続する。ネットワーク１５０は、例えばローカルネットワーク等の通信規格を満たす複数のルータ、スイッチ、ケーブル等から構成される。ここでは、撮像装置１１０とクライアント装置１２０との間の通信を行うことができるものであればよく、その通信規格、規模、構成を問わない。例えば、ネットワーク１５０は、インターネットや有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、ＷＡＮ（Wide Area Network）等により構成されても良い。また、クライアント装置１２０に接続される撮像装置１１０の数は１台に限られず、複数台であっても良い。
【００１７】
図２は、撮像装置のハードウェア構成及び機能構成を示す図である。図２（ａ）はハードウェア構成の一例、図２（ｂ）は機能構成の一例をそれぞれ示している。
【００１８】
撮像装置１１０はＣＰＵ２１１、主記憶装置２１２、補助記憶装置２１３、駆動部２１４、撮像部２１５、ネットワークＩ／Ｆ２１６を含む。各要素は、システムバス２１７を介して、相互に通信可能に接続されている。
【００１９】
ＣＰＵ２１１は、撮像装置１１０の動作を制御する中央演算装置である。主記憶装置２１２は、ＣＰＵ２１１のワークエリア、データの一時的な記憶場所として機能するランダムアクセスメモリ（ＲＡＭ）等の記憶装置である。補助記憶装置２１３は、各種プログラム、各種設定データ等を記憶するハードディスクドライブ（ＨＤＤ）、リードオンリーメモリ（ＲＯＭ）、ソリッドステートドライブ（ＳＳＤ）等の記憶装置である。駆動部２１４は、撮像装置１１０を駆動し、撮像装置１１０の姿勢等を変更させ、撮像部２１５の撮影方向及び画角を変更する駆動部である。
【００２０】
撮像部２１５は、被写体の画像を取得するための機能部であり、撮像素子と光学系とを有する。撮像素子には、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＣＣＤ（Charged Coupled Device）等がある。ネットワークＩ／Ｆ２１６は、クライアント装置１２０等の外部の装置とのネットワーク１５０を介した通信に利用されるインターフェースである。
【００２１】
ＣＰＵ２１１が、補助記憶装置２１３に記憶されたプログラムに基づき処理を実行することによって、後述する撮像装置１１０の機能及び処理が実現されることになる。
【００２２】
撮像装置１１０は、機能構成として、撮像制御部２３１、信号処理部２３２、駆動制御部２３３、通信制御部２３４を含む。
【００２３】
撮像制御部２３１は、撮像部２１５を介して周囲の環境を撮影する。信号処理部２３２は、撮像制御部２３１によって撮影された画像の処理を行う。信号処理部２３２は、例えば、撮像制御部２３１によって撮影された画像の符号化を行う。静止画の場合は、信号処理部２３２は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）等の符号化方式を用いて、画像の符号化を行う。また、動画の場合は、信号処理部２３２は、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（以下では、単にＨ．２６４と呼ぶ）、ＨＥＶＣ（High Efficiency Video Coding）等の符号化方式を用いて、画像の符号化を行う。なお、信号処理部２３２は、予め設定された複数の符号化方式の中から、例えば撮像装置１１０の操作部を介してユーザーにより選択された符号化方式を用いて、画像の符号化を行うようにしてもよい。
【００２４】
駆動制御部２３３は、駆動部２１４を介して、撮像制御部２３１の撮影方向及び画角を変更させる制御を行う。ただし、撮像制御部２３１による撮影方向と画角とのうちの何れか１つのみを変更する構成としてもよい。また、撮像制御部２３１の撮影方向及び画角は、固定であってもよい。通信制御部２３４は、撮像制御部２３１により撮影され、信号処理部２３２により処理された画像を、ネットワークＩ／Ｆ２１６を介して、クライアント装置１２０に送信する。また、通信制御部２３４は、ネットワークＩ／Ｆ２１６を介して、クライアント装置１２０から撮像装置１１０に対する制御命令を受信する。
【００２５】
図３は、クライアント装置のハードウェア構成及び機能構成を示す図である。図３（ａ）はハードウェア構成の一例、図３（ｂ）は機能構成の一例をそれぞれ示している。
【００２６】
クライアント装置１２０は、ＣＰＵ２２１、主記憶装置２２２、補助記憶装置２２３、入力Ｉ／Ｆ２２４、出力Ｉ／Ｆ２２５、ネットワークＩ／Ｆ２２６を含む。各要素は、システムバス２２７を介して、相互に通信可能に接続されている。
【００２７】
ＣＰＵ２２１は、クライアント装置１２０の動作を制御する中央演算装置である。主記憶装置２２２は、ＣＰＵ２２１のワークエリア、データの一時的な記憶場所として機能するＲＡＭ等の記憶装置である。補助記憶装置２２３は、各種プログラム、各種設定データ等を記憶するＨＤＤ、ＲＯＭ、ＳＳＤ等の記憶装置である。入力Ｉ／Ｆ２２４は、入力装置１３０等からの入力を受付ける際に利用されるインターフェースである。出力Ｉ／Ｆ２２５は、表示装置１４０等への情報の出力に利用されるインターフェースである。ネットワークＩ／Ｆ２１６は、撮像装置１１０等の外部の装置とのネットワーク１５０を介した通信に利用されるインターフェースである。
【００２８】
ＣＰＵ２２１が、補助記憶装置２２３に記憶されたプログラムに基づき処理を実行することによって、後述するクライアント装置１２０の機能及び処理が実現されることになる。
【００２９】
クライアント装置１２０は、機能構成として、入力情報取得部２４１、通信制御部２４２、画像取得部２４３、検出部２４４、映像録画部２４５、動体取得部２４６、描画部２４７、表示制御部２４８を含む。
【００３０】
入力情報取得部２４１は、入力装置１３０を介したユーザーによる入力を受け付ける。通信制御部２４２は、撮像装置１１０から送信された画像を、ネットワーク１５０を介して受信する。また、通信制御部２４２は、撮像装置１１０への制御命令を、ネットワーク１５０を介して送信する。画像取得部２４３は、通信制御部２４２を介して、撮像装置１１０により撮影された画像を、被写体の検出処理の対象である画像として取得する。また、画像取得部２４３は、補助記憶装置２２３に記憶されている画像を、被写体の検出処理の対象である画像として取得しても良い。なお、ここで画像とは、動画（複数のフレーム画像）であってもよいし静止画であってもよい。
【００３１】
検出部２４４は、画像取得部２４３により取得された画像に対して、画像特徴に基づく被写体の検出処理を行う。映像録画部２４５は、撮像装置１１０により撮影しているリアルタイム映像をユーザーからの入力に応じて録画する。動体取得部２４６は映像録画部で取得された映像から動体を動体差分によって切り出す。しかしこの限りではなく、補助記憶装置２２３内にある事前に録画した映像に対して処理を行ってもよい。
【００３２】
表示画像生成部２４７は、動体取得部２４６で取得された動体のフレーム画像を既定間隔毎に重畳された画像を生成する。また、表示画像生成部２４７は、検出エリア内に含まれるフレームを抽出するとともに、当該フレームの中から最大と最小のフレームを抽出する。そして、取得された最大、最小サイズのフレームを強調して背景画像に重畳した映像を生成する。表示制御部２４８は、ＣＰＵ２２１からの指示に従い、被写体の検出結果や動体のフレームの重畳結果を表示装置１４０へ出力する。
【００３３】
なお、ここでは、クライアント装置１２０が、撮像装置１１０から撮像画像を取得し当該撮像画像に対して処理を行う形態について説明するが、処理を撮像装置１１０内で行うよう構成してもよい。
【００３４】
＜システムの動作＞
上述したように、クライアント装置１２０は、撮像装置１１０から取得した撮像画像に対し人体検出を行う。具体的には、１以上の検出エリアを設定し、設定した検出エリアごとに最大、最小の人体サイズを設定し、設定された人体検出処理を行う。
【００３５】
図４は、撮像画像に対する検出エリア及び人体サイズの設定を説明する図である。具体的には、基準とする撮像画像を取得し、当該撮像画像を参照して検出エリアや人体サイズを設定する。
【００３６】
図４（ａ）は、撮像装置２００が被写体を撮像する様子を示した図である。被写体２１０、２１１、２２０、２２１は、４人の人間を示している。すなわち、図４（ａ）は、撮像装置２００に相対的に近い位置に被写体２１０、２１１が存在し、相対的に遠い位置に被写体２２０、２２１が存在しているシーンを表している。
【００３７】
図４（ｂ）は、図４（ａ）に示す状態で撮像装置２００により撮像されクライアント装置において表示される表示画像を例示的に示す図である。表示画像２３０上のオブジェクト２４０，２４１、２５０、２５１は撮像内に映る人体映像である。オブジェクト２４０は図４（ａ）の被写体２１０の撮像映像であり、同様にオブジェクト２４１は被写体２１１、オブジェクト２５０は被写体２２０の、オブジェクト２５１は被写体２２１の撮像映像である。
【００３８】
ユーザーは、クライアント装置において表示された表示画像２３０を目視して検出エリアを設定する。例えば、人体映像２４０、２４１、２５０、２５１の上半身を含むように検出エリアを枠で囲むように設定する。ここで、上半身映像を含むように設定するのは、人体の検出時に人体の特徴画像を元にしたマッチング処理に都合がよいからである。
【００３９】
図４（ｂ）の矩形領域２６０、２７０はユーザーが設定した検出エリアである。なお、検出エリアの大きさはカウントしたい検出エリアの面積に応じて任意に変更可能である。したがって、検出エリアの大きさに応じて必要となる被写体数が変わる場合もある。さらに、図４（ｂ）では２か所の検出エリアを指定しているが、カウントしたい検出エリアの数に応じて設定を増減できる。
【００４０】
図４（ｃ）は、人体サイズ設定のユーザーインタフェース（ＵＩ）を表した図である。ユーザーは、当該ＵＩを介して、各検出エリアに対して人体サイズの設定を行う。
【００４１】
人体モデル２８０、２８１、２９０、２９１は、人体サイズ設定用のモデルである。ユーザーは人体モデル２８０、２８１、２９０、２９１をマウスで操作することによって人体サイズを設定することができる。
【００４２】
例えば、検出エリア２６０に対しては人体モデル２８０及び２８１を操作して動体サイズ（人体サイズ）を設定することができる。ここでは、人体モデル２８０を操作して最大の人体サイズを、人体モデル２８１を操作して最小の人体サイズを設定することを想定する。同様に、検出エリア２７０に対しては人体モデル２９０及び２９１を操作して最大及び最小の人体サイズを設定することができる。
【００４３】
しかしながら、上述の方法では実空間に人を立たせる必要が生じため人件費によるコストが増加することになる。また、各検出エリアの最大と最小の人体をユーザーが目視で見つけるといった手間が生じることになる。そこで、第１実施形態では、検出エリア設定と人体サイズ設定を効率化するために、検出エリア内における人体の最大サイズ・最小サイズを取得し、強調表示する方法について説明する。
【００４４】
図５は、第１実施形態における画像処理システムの動作を示すフローチャートである。すなわち、人体の最大サイズと最小サイズを抽出して強調表示する処理の流れを示している。
【００４５】
Ｓ３０１では、撮像装置１１０は、移動している人間を撮像し、得られた動画像をクライアント装置１２０内のメモリ２２３内に格納する。
【００４６】
図６は、動体の動き及び検出エリアの設定を説明する図である。図６（ａ）は、撮像装置１１０で撮像された録画映像の一例を示す図である。この映像は被写体である人体５０１が時間と共に空間内を矢印の示す向きに移動している様子を示したものである。
【００４７】
Ｓ３０２では、動体取得部２４６は、Ｓ３０１で取得された録画映像を用いて、動体差分により、動体画像（移動する被写体を含むフレーム）を所定の時間間隔毎に切り出す。そして、表示画像生成部２４７は、背景画像にフレーム５１２を重畳した画像を作成する。
【００４８】
図６（ｂ）は、フレーム５１２を所定の時間間隔毎に取得し、そのすべてをフレーム群５１３として重畳表示した様子を表す図である。なお、複数のフレームを１枚の画像に重畳するのは、検出エリアの設定時に同じ大きさの動体のフレームを１つの検出エリアとして設定する際における、ユーザー側の視認性を高めるためである。最後に、表示制御部２４８は、表示画像生成部２４７によって作成された重畳画像を表示装置１４０に表示する。なお、表示装置１４０には動体のフレーム５１２がその動体を含む最小の矩形として表示される。また、ここでは、各フレームは、図６（ｂ）に示すように時系列順に重畳表示される。そのため、奥から手間に動体が移動する場合、新しいフレームは古いフレームの前方に重なって表示される。各フレームは後で説明する透過率の変更を考慮するため、ＰＮＧ（Portable Network Graphics）画像とする。
【００４９】
Ｓ３０３では、入力情報取得部２４１は、ユーザーの設定した検出エリア情報を取得する。すなわち、ユーザーは、Ｓ３０２により取得された重畳画像を目視しながら手動で検出エリアを設定し、入力情報取得部２４１は、その設定内容を受け付ける。
【００５０】
図６（ｃ）はユーザーが検出エリア６０１を設定した状態を表した図である。検出エリアの設定方法は前述したとおりである。なお、ここでは検出エリアを１つのみ指定しているが複数指定してもよい。すなわち、複数の検出エリアを設定し、検出エリア毎に解析することもできる。さらに、各検出エリアをさらに複数の小領域に分割することもできる。この場合、複数の小領域が点在していても同一の検出エリアであればその検出エリアに適用した設定で解析処理が行われることになる。
【００５１】
Ｓ３０４では、表示画像生成部は、Ｓ３０３でユーザーが設定した検出エリア内に動体（人体）が含まれるフレーム画像を抽出する。抽出は、例えば、検出エリアの範囲内にフレームの上半身が含まれているか判定することで行う。図６（ｄ）は検出エリア６０１内に含まれるフレーム画像を抽出した様子を示す図である。ここでは検出エリア６０１内に存在するフレーム６１１、６１２、６１３を抽出している。これにより検出エリア外のフレーム画像は後の処理の対象外となる。
【００５２】
Ｓ３０５では、表示画像生成部２４７は、検出エリア内から最大・最小サイズのフレームを抽出する。具体的には、検出エリア内の各フレームは矩形として既に切り出されているので、最も大きい矩形のフレームを最大サイズとして、最も小さい矩形のフレームを最小サイズとして抽出する。ここでは、最大サイズのフレームとしてフレーム６１１が、最小サイズのフレームとしてフレーム６１３が抽出される。
【００５３】
Ｓ３０６では、表示画像生成部２４７は、強調されたフレームを背景画像に重畳した画像を生成する。そして、表示制御部２４８は表示画像生成部２４７によって作成された画像を表示装置１４０に表示する。
【００５４】
図７は、最大・最小サイズの取得を説明する図である。検出エリア６０１内に属するフレーム画像のうち、最大サイズのフレーム７０１と最小サイズのフレーム７０２が強調表示された画像を例示的に示している。
【００５５】
ここでは、フレームを強調表示するために最大サイズであるフレーム７０１と最小サイズであるフレーム７０２の透過率を低め、それ以外のフレームの透過率を高めるという手法をとる。なお、透過率に関してはユーザーが最大サイズ・最小サイズのフレームとそれ以外のフレームに対し、任意の値を設定できる。例えば、最大サイズ・最小サイズのフレームのみ注目したい場合は、最大・最小サイズの透過率を”０”とし、それ以外のフレームの透過率を”１００”とするとよい。
【００５６】
なお、フレームを強調表示する手法は上述の透過率の制御以外の手法も使用可能である。例えば、最大サイズとなるフレーム７０１と最小サイズとなるフレーム７０２の輪郭を太くすることで強調することもできる。また、上述のようにフレームは時系列順で重畳されているので、最大・最小サイズのフレームを最前面に表示するよう制御することで強調することも可能である。
【００５７】
Ｓ３０７では、表示画像生成部２４７は、人体サイズ設定用の人体モデルが背景画像に重畳表示された人体サイズ設定画面を生成する。当該処理は、例えば、ユーザーが不図示の人体サイズ設定ボタンを押下することにより実行される。
【００５８】
図８は、人体サイズの設定を説明する図である。すなわち、表示画像生成部２４７が生成した人体サイズ設定画面を例示的に示す図である。人体モデル８０１、８０２は人体の上半身に模したモデルである。上述したように、ユーザーが人体モデル８０１、８０２をマウス操作により拡縮することにより人体サイズを設定することができる。なお人体サイズの設定方法はこの限りでなく、例えば、人体モデルを選択状態にし、キーボード上のｕｐボタン、Ｄｏｗｎボタンを使用することで大小調整してもよい。また、Ｓ３０５で取得された最大・最小フレームから自動で人体サイズを決定し、検出エリアの近辺に重畳することも可能である。ユーザーが人体サイズを設定すると、入力情報取得部２４１はユーザーによって設定された人体サイズの最大サイズと最小サイズを取得する。
【００５９】
Ｓ３０８では、入力情報取得部２４１は、他の検出エリアがあるか否かを判定する。他に検出エリアの設定がなければ処理を終了し、検出エリアの設定が他に存在する場合はＳ３０３に戻って処理を繰り返す。
【００６０】
以上説明したとおり第１実施形態によれば、表示装置１４０に出力される動体のフレームの重畳映像を用いることにより、検出エリアの設定の効率化が可能となる。また、重畳映像における検出エリアに含まれる最大サイズ及び最小サイズのフレームを強調表示することにより、人体サイズの設定の効率化が可能となる。すなわち、人体サイズの設定時に必要であった人手や設定時の手間を大幅に軽減することができる。
【００６１】
（第２実施形態）
第２実施形態では、最大サイズ及び最小サイズのフレームの取得処理（Ｓ３０５）について更に詳細に説明する。具体的には、映像に人体以外のオブジェクトが含まれており、人体以外のオブジェクトが、最大サイズ又は最小サイズのフレームとして取得された場合の処理について説明する。なお、システム及び各装置の構成については第１実施形態（図１〜図３）と同様であるため説明は省略する。
【００６２】
＜システムの動作＞
システムの全体動作については第１実施形態（図５）と同様であるため詳細な説明は省略する。上述の通り、第２実施形態では、最大サイズ・最小サイズのフレームの取得処理（Ｓ３０５）が第１実施形態と異なる。
【００６３】
撮像装置１１０が、移動している人間、および、人体以外の被写体を撮像して録画映像としてクライアント装置１２０内のメモリ２２３内に格納すると、第１実施形態と同様の処理が開始される。Ｓ３０１〜Ｓ３０４は、第１実施形態と同様である。ただし、Ｓ３０４においては、人体以外のオブジェクトが抽出されている点が第１実施形態と異なる。
【００６４】
図１０は、候補フレームを表示する各種ＧＵＩを例示的に示す図である。図１０（ａ）は第２実施形態においてＳ３０４において抽出されたフレームの重畳映像の一例を示す図である。当該映像には、人体６１１〜６１３、および、人体以外の被写体９０１である鳥の画像が含まれている。
【００６５】
図９は、第２実施形態における最大サイズ・最小サイズのフレームの取得処理を示すフローチャートである。
【００６６】
Ｓ４０１では、表示画像生成部２４７は、最小サイズのフレームを最小人体サイズの候補として取得し、最大・最小サイズ確認画面９２０を生成する。そして、表示制御部２４８は、最大・最小サイズ確認画面９２０を表示装置１４０に表示する。ここで、最大・最小サイズ確認画面９２０は、フレームが人体を含んでいるか否かをユーザーに判定させるためのＵＩである。最大・最小サイズ確認画面９２０は、例えば、Ｓ３０４において抽出されたフレームの重畳映像に隣接して表示される。
【００６７】
図１０（ｂ）は、Ｓ３０４において抽出されたフレームの重畳映像と最大・最小サイズ確認画面９２０とが表示されたＵＩの一例を示す図である。最大・最小サイズ確認画面９２０は最小人体サイズ候補枠９２１と最大人体サイズ候補枠９２２によって構成される。
【００６８】
最小人体サイズ候補枠９２１は、取得された最小サイズのフレームが表示され、最大人体サイズ候補枠９２２は、取得された最大サイズのフレームが表示される。ここでは、被写体９０１が最小フレーム候補として最小人体サイズ候補枠９２１にオブジェクト９２３として表示されている。
【００６９】
Ｓ４０２では、表示画像生成部２４７は、人体を含むフレームであるか否かのユーザーの判定結果を取得する。具体的には、ユーザーは、最小人体サイズ候補枠９２１に表示されている画像を目視で確認する。そして、最小人体サイズ候補枠９２１に表示されている画像が人体を含むと判定した場合、ユーザーは確定ボタン（不図示）を押下する。一方、最小人体サイズ候補枠９２１に表示されている画像が人体を含まないと判定した場合、ユーザーは矢印ボタン９２４を押下する。
【００７０】
Ｓ４０３では、表示画像生成部２４７は、Ｓ４０２におけるユーザーの判定結果を解析する。ここでは、ユーザーにより矢印ボタン９２４が押下されたと解析された場合、オブジェクトの誤検出が発生していると判定し、処理はＳ４０４に進む。一方、確定ボタンが押下されたと判定された場合、オブジェクトの誤検出が発生していない判定し、処理はＳ４０５に進む。
【００７１】
Ｓ４０４では、表示画像生成部２４７は、現在選択されている被写体９１１の次に小さな次候補の被写体（ここでは被写体９３１）を表示する。図１０（ｃ）は次候補の被写体が表示された状態を示す図である。ここでは、新たに最小人体サイズの候補９４３が最小人体サイズ候補枠９２１に表示されている。そして、処理はＳ４０２に戻り、ユーザーは人体を含むフレームであるかの判定を行う。この処理により、人体を含まないフレームは最小人体サイズから除外されることになる。
【００７２】
Ｓ４０５では、表示画像生成部２４７は、最大サイズのフレームを最大人体サイズの候補として取得し、最大・最小サイズ確認画面９２０を生成する。Ｓ４０５〜Ｓ４０８に示す最大サイズのフレームの取得処理は、最小サイズのフレームの取得処理（Ｓ４０１〜Ｓ４０４）と同様であるため説明を省略する。
【００７３】
図１０（ｄ）は、Ｓ３０４において抽出されたフレームの重畳映像と最大・最小サイズ確認画面９２０とが表示されたＵＩの一例を示す図である。ここでは、被写体６１１が最大フレーム候補として最大人体サイズ候補枠９２２にオブジェクト９６４として表示されている。
【００７４】
上述の処理により、映像内に人体以外のオブジェクトが含まれている場合においても、人体の最大サイズ及び最小サイズを適切に取得することが出来る。その後、処理はＳ３０６に進む。すなわち、表示画像生成部２４７は、強調されたフレームを背景画像に重畳した画像を生成する。そして、表示制御部２４８は、重畳画像を表示装置１４０に表示する。
【００７５】
以上説明したとおり第２実施形態によれば、映像内に人体以外のオブジェクトが含まれている場合においても、検出エリアの設定及び人体サイズの設定の効率化が可能となる。
【００７６】
（変形例）
上述の説明においては、動体取得部２４６はＳ３０２において、所定の時間間隔の複数のフレームを重畳表示したが、他の表示手法を用いてもよい。例えば、フレームの時間間隔を変更可能とする表示方法でもよい。
【００７７】
図１１は、フレーム重畳枚数（重畳数）の調整を説明する図である。具体的には、単位時間当たりの動体（ここでは人体）の移動量とそれに応じて表示されるフレーム群の関係性を示した図である。なお、単位時間当たりの移動量は一定時間当たりのピクセル移動量から算出される。
【００７８】
フレーム表示映像１００１は、単位時間当たりの動体の移動量が小さい場合のフレーム重畳例である。この場合、重畳枚数が多すぎるため、ユーザーに検出エリア設定時、人体サイズの設定時に煩わしさを与えてしまう。また、フレーム表示部１０２１は、単位時間あたりの動体の移動量が大きい場合のフレーム重畳例である。この場合、人をカウントしたい検出エリアを把握することが難しく、検出エリア設定と人体サイズ設定が困難である。そのため、フレーム表示映像１０１１に示されるように、単位時間あたりの移動量が適当であり、各フレームが視認しやすく配置された映像として表示することが望ましい。
【００７９】
そこで、動体取得部２４６は、動体の移動速度に応じて表示するフレーム数を調整する。ここで、動体の移動速度は、一定時間あたりのピクセル換算による移動量で算出される。例えば、フレーム表示映像１００１に示される状況においては、フレームの枚数が多いため、フレーム数を間引くよう調整する。一方、フレーム表示映像１０２１に示される状況においては、フレームの枚数が少なくフレーム間隔が広がってしまうため、フレーム数を増加させるよう調整する。これらの調整により、ユーザーの視認性を考慮したより好適な重畳表示を提供することが可能となる。
【００８０】
なお、上述の調整を動体取得部２４６が自動で行うよう構成してもよいし、ユーザーからの調整指示を受けつけるよう構成してもよい。例えば、ユーザーが手動でフレームの表示間隔を設定できるように、表示画像生成部２４７は表示間隔設定画面（不図示）を表示するとよい。
【００８１】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８２】
１１０  撮像装置；  １２０  クライアント装置；  １３０  入力装置；  １４０  表示装置；  １５０  ネットワーク
【図１】
2019128791.tif 000003
【図２】
2019128791.tif 000004
【図３】
2019128791.tif 000005
【図４】
2019128791.tif 000006
【図５】
2019128791.tif 000007
【図６】
2019128791.tif 000008
【図７】
2019128791.tif 000009
【図８】
2019128791.tif 000010
【図９】
2019128791.tif 000011
【図１０】
2019128791.tif 000012
【図１１】
2019128791.tif 000013