(57)【要約】【課題】  効率のよい人体検出処理のシミュレーションを行う。【解決手段】  人体検出処理の対象となる映像に対して実際の人の代わりとなる人体モデルの画像を重畳し、人体モデルの画像が重畳された画像に対して検出処理を行うことによって、実際の人を検出対象とせずに処理時間の導出を行う。【選択図】  図１
2019082957.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置から得られた映像に、予め設定された数の人体モデルの画像を重畳する重畳手段と、
前記重畳手段によって人体モデルの画像が重畳された映像から人体を検出する検出手段と、
前記検出手段による検出結果および検出にかかった処理時間を出力する出力手段と、を有することを特徴とする人体を検出するための処理装置。
【請求項２】
前記人体モデルの画像は、実際の人体の画像あるいはコンピュータグラフィックスを用いて人体を模した画像のすくなくともいずれか１つであることを特徴とする請求項１に記載の人体を検出するための処理装置。
【請求項３】
前記人体モデルの画像の数は、設定装置においてあらかじめ設定され、
前記重畳手段は、前記予め設定された数の人体モデルの画像を重畳する位置を、前記設定装置において設定された人体の検出の領域内に予め定められた条件でランダムに決定することを特徴とする請求項１記載の人体を検出するための処理装置。
【請求項４】
前記人体モデルの画像のサイズは、当該人体モデルの画像が配置される奥行き方向の座標の値に応じて決定されることを特徴とする人体を検出するための処理装置。
【請求項５】
前記人体モデルの画像が配置される間隔は、当該画像の幅より長いことを特徴とする請求項４に記載の人体を検出するための処理装置。
【請求項６】
前記重畳手段は、前記人体モデルの画像の奥行き方向の位置に応じて映像上に重畳する順序を決定することを特徴とする請求項１に記載の人体を検出するための処理装置。
【請求項７】
前記重畳手段は、設定装置において設定された床面領域に人体モデルの足元の位置が配置されるように人体モデルの画像を映像上に重畳することを特徴とする請求項１に記載の人体を検出するための処理装置。
【請求項８】
請求項３または請求項７に記載の設定装置。
【請求項９】
撮像装置から得られた映像に、予め設定された数の人体モデルの画像を重畳する重畳ステップと、
前記重畳ステップにおいて人体モデルの画像が重畳された映像から人体を検出する検出ステップと、
前記検出ステップにおける人体の検出結果および検出にかかった処理時間を出力する出力ステップと、を有することを特徴とする人体を検出するための処理方法。
【請求項１０】
請求項９に記載の処理方法をコンピュータに実行させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像内の人体を検出する処理に要する処理時間を効率的に導出する方法に関するものである。
【背景技術】
【０００２】
従来、カメラで撮像した映像を解析して人体を検出してその数を計測（カウント）する技術が知られている。この技術において、人体検出処理を行う検出エリアを映像内で指定する方法が知られている。ところが検出エリアによっては、想定より処理時間がかかってしまうことがあるため、事前に処理時間を計測し、検出エリアなどのパラメータを調整する必要がある。
【０００３】
例えば、この調整のために、ユーザが実空間内に人が立っている様子を撮像した映像を確認しつつ、当該映像の人体検出処理に要する時間を計測することが考えられる。しかしながら、実空間内に人が立っている所を撮像した映像を作成するには、多くの実際の人間を動員する必要があり、とても手間がかかる。
【０００４】
一方、特許文献１では、領域の端点に人体を模した人物モデルを３Ｄモデル内に配置することにより、領域の端点に存在する人物がどのように表示されるかの検証を行う処理が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−０９７２８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
効率のよい人体検出処理のシミュレーションを行うことを目的とする。また、より実空間上により近い人物モデルの配置を用いてより精度の高い人体検出処理のシミュレーションを実現することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の人体を検出するための処理装置は、撮像装置から得られた映像に、予め設定された数の人体モデルの画像を重畳する重畳手段と、前記重畳手段によって人体モデルの画像が重畳された映像から人体を検出する検出手段と、前記検出手段による検出結果および検出にかかった処理時間を出力する出力手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明により、人体検出処理の処理時間を効率的に導出することができる。
【図面の簡単な説明】
【０００９】
【図１】検証システムの構成図及び画像処理装置の構成図
【図２】設定装置の構成図
【図３】設定装置の設定画面
【図４】画像処理装置の処理の一例を示すフローチャート
【図５】人体モデルの画像の重畳パターン及び重畳画像作成方法の一例
【図６】実環境に沿ったサイズの人体モデルの画像を作成するための設定方法の一例
【図７】実環境に沿った重なりで人体モデルの画像を配置するための設定方法の一例
【図８】床面を考慮して人体モデル配置を行うための設定方法の一例
【図９】設定装置および処理装置のハードウエア構成を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１１】
本実施形態では、人体モデルを使用してユーザが設定した想定検出処理時間内に実際の検出処理時間が収まっているかの検証を行う検証システムについて記述する。
【００１２】
以下、図１、図２、図３ないし図４を参照して、本実施形態の検証システムについて説明する。
【００１３】
図１Ａは、本発明の本実施形態にかかる検証システムの構成及び検証システム内の処理装置１００の構成を示すブロック図である。
【００１４】
図１Ｂは、図１Ａ内に示された解析部１３０の内部構成を示すブロック図である。
【００１５】
当該検証システムは、ネットワークカメラであるところの撮像装置１８０によって撮像された映像の解析結果を出力する処理装置１００およびユーザからの要求に従って各種設定を行う設定装置１９０から構成される。なお、処理装置１００の構成は撮像装置１８０に内蔵されてもよいし、処理装置１００および設定装置１９０が一体的に構成されてもよい。
【００１６】
図１に示す処理装置１００は、取得部１１０、重畳部１２０、解析部１３０、記憶部１４０、制御部１５０、圧縮部１６０、Ｉ／Ｆ部１７０から構成される。
【００１７】
取得部１１０は、処理装置１００に接続されたネットワークカメラなどの撮像装置１８０あるいは不図示のビデオレコーダから映像を取り込む。そして取得部１１０は、後述の制御部１５０からの指示による映像データの復号および映像のサイズ変換処理などを行い、重畳部１２０に出力する。
【００１８】
重畳部１２０は、後述の制御部１５０からの指示によって、取得部１１０から出力された映像に人体モデルの画像を重畳する。本形態では人体モデルの画像として予め記憶部１４０に保存されている実際の人体の画像を使用することにするが、コンピュータグラフィックス等を使用して作成した画像を使用してもよい。重畳部１２０は、後述の検出部が検出すべき人体を模した人体モデルの画像を、検出部１３１が検出を行うように設定された領域（以下、人体検出領域）内の映像に重畳する。重畳部１２０で人体モデルの画像が重畳された映像データは解析部１３０と圧縮部１６０に送られる。
【００１９】
圧縮部１６０は後述の制御部１５０からの指示による圧縮方法や圧縮率で映像データを圧縮し、Ｉ／Ｆ部１７０を介して処理装置１００から出力させる。圧縮方式は、例えば、Ｍｏｔｉｏｎ  ＪＰＥＧ、ＭＰＥＧ４、Ｈ．２６４、などの規格に基づく。
【００２０】
解析部１３０は、人体形状の認識処理等の画像処理を用いて画像上の予め設定された人体検出領域内における人体を検出し、検出した人体の数のカウント及び人体検出処理に要した処理時間の算出を行う。検出部１３１は、公知の技術を用いて１画像内の検出領域内の人体を検出し、検出結果を算出部１３２に送る。算出部１３２は検出部１３１から送られた検出結果をもとに、検出領域内の人体の数をカウントし、人体の数を解析結果作成部１３４に送る。計測部１３３は検出部が人体の数の計測の処理に要した検出処理時間の計測を行い、結果を解析結果作成部１３４に送信する。解析結果作成部１３４は算出部１３２及び計測部１３３から送られた結果をもとに、解析結果の作成を行い、解析結果をＩ／Ｆ部１７０に送る。
【００２１】
ここで検出部１３１では、映像内の形状と予め定められた人体の形状とのパターンマッチングを行うことにより人体が検出される。よって、撮影されている環境に実際に人体が存在していなくても、人工的に人体の形状を有する画像を映像に対して重畳すれば、それを人体として検出させることが可能である。
【００２２】
記憶部１４０は取得部１１０、重畳部１２０、解析部１３０、圧縮部１６０の設定を記憶するＲＡＭなどのメモリなどのコンピュータ可読記憶媒体である。
【００２３】
なお、取得部１１０に対する設定は、例えば、取得した映像サイズの変換等の設定を含む。また、重畳部１２０の設定は、例えば、入力画像に重畳する人体モデルの画像の形や大きさ、数、配置方法等についての設定を含む。また、解析部１３０の設定は、人体検出領域の範囲、検出する人体のサイズ等についての設定を含む。さらに、圧縮部１６０の設定は、例えば、画像圧縮部１６０に入力された画像の圧縮方法や圧縮率等についての設定を含む。
【００２４】
制御部１５０は、Ｉ／Ｆ部１７０を介してユーザ端末装置である設定装置１９０からの命令に基づいて、前述の取得部１１０、重畳部１２０、解析部１３０、圧縮部１６０の動作を制御し、映像および映像の解析結果を設定装置１９０に出力する。これらの制御は制御部１５０を動作させるＣＰＵなどのプロセッサ及びメモリによって行われる。具体的にはメモリから読み出されたプログラムに基づいてプロセッサが制御部１５０の動作を実行する。
【００２５】
制御部１５０が受け取る設定装置１９０からの制御命令は、検証開始命令および設定保持命令を含む。
【００２６】
検証開始命令とは、制御部１５０が重畳部１２０及び解析部１３０を使用し、人体モデルを使用した人体検出処理時間の導出を実行させる命令のことをいう。
【００２７】
設定保持命令とは取得部１１０、重畳部１２０、解析部１３０、圧縮部１６０の動作設定を処理装置１００に保持させる命令のことである。設定保持命令を受けた場合、制御部１５０は記憶部１４０に取得部１１０、重畳部１２０、解析部１３０、圧縮部１６０の動作設定を保存する。保存した設定は設定装置１９０からの制御命令がない場合の各部のデフォルト動作用の設定として用いられる。
【００２８】
Ｉ／Ｆ部１７０はネットワークを介して処理装置１００と設定装置１９０との情報の受渡しを行う。設定装置１９０からの制御命令を制御部１５０に伝え、解析部１３０の解析結果、圧縮部１６０からの出力された映像データ、および制御部１５０からの応答を設定装置１９０に出力する。
【００２９】
図２は図１Ａ内に示した設定装置１９０の構成を示すブロック図である。設定装置１９０はＩ／Ｆ部２１０、解析設定制御部２２０、解析変数設定部２３０、重畳設定制御部２４０、検証変数設定部２５０から構成される。
【００３０】
Ｉ／Ｆ部２１０は、ネットワークを介してユーザが設定した内容を処理装置１００に対して送信する。解析変数設定部２３０は、ユーザが解析設定や解析命令を設定するためのユーザインターフェースを生成する。
【００３１】
解析設定制御部２２０は解析変数設定部２３０で設定された解析設定や解析命令を取得し、処理装置１００への指示コマンドに変換を行い、Ｉ／Ｆ部２１０へと出力する。解析設定は、例えば人体を検出する対象である検出領域の座標情報等の設定を含む。
【００３２】
検証変数設定部２５０は、ユーザが人体モデルの画像及び重畳方法に関する設定を行うためのユーザインターフェースを生成する。
【００３３】
重畳設定制御部２４０は、検証変数設定部２５０で設定された重畳モデル設定及び重畳変数設定を取得し、処理装置１００への指示コマンドに変換を行い、Ｉ／Ｆ部２１０へと出力する。重畳モデル設定とは、重畳するモデルの画像の種類や画像のサイズ等の設定等である。重畳変数設定は、重畳する人体モデルの画像の数の設定等の設定を含む。
【００３４】
図３は検証変数設定部２５０によって生成され、ディスプレイ上に表示されるユーザインターフェースの一例を示した図である。
【００３５】
検証変数設定ＧＵＩ３００は、映像表示部３１０、人体モデル数設定部３２０、人体モデルサイズ設定部３３０、想定処理時間設定部３４０、処理時間表示部３５０、処理時間判定結果表示部３６０を有する。さらに、ＧＵＩ３００は、設定保存ボタン３７０、検証開始ボタン３８０、検証終了ボタン３９０を有する。
【００３６】
映像表示部３１０は、処理装置１００から送信された映像及び、不図示の解析変数設定ＧＵＩにより設定された検出領域３１１の表示を行う。検出領域３１１は、映像表示部３１０によって表示される映像上で設定される。
【００３７】
人体モデル数設定部３２０は、検証時に重畳する人体モデルの数をユーザによって指定させるためのものである。人体モデルサイズ設定部３３０は、映像に重畳する人体モデルのサイズの範囲を指定するためのものである。本実施の形態では、高さ方向を用いて人体モデルの範囲を指定可能とするためのものである。想定処理時間設定部３４０は、ユーザが想定する処理時間を指定可能とするためのものである。処理時間表示部３５０は、処理装置１００から送られた人体検出処理にかかった時間の表示を行うためのものである。
【００３８】
処理時間判定部３６０は、想定処理時間設定部３４０で指定された想定処理時間と処理装置１００から送られた人体検出処理時間を比較し、人体検出処理時間が想定処理時間以内に完了しているかの判定結果の表示を行うためのものである。
【００３９】
設定保存ボタン３７０は、検証変数設定ＧＵＩ３００の設定の完了を指示し、処理装置１００へ設定値及び設定保持命令を含む指示コマンドを送ることを指示するためのボタンである。検証開始ボタン３８０は、処理装置１００へ検証開始命令を送ることを指示するためのボタンである。検証終了ボタン３９０は、検証変数設定ＧＵＩの表示を終了するためのボタンである。
【００４０】
図９は、処理装置１００および設定装置１９０のハードウエアの構成を示す図である。図９において、処理装置１００および設定装置１９０は、ＣＰＵ２０１１、一次記憶装置２０１２、二次記憶装置２０１３、ユーザ入力インタフェース２０１５、ユーザ出力インタフェース２０１６、ネットワークインタフェース２０１７を有する。そしてそれらが内部バス２０１４を介して相互に接続されている。一次記憶装置２０１２は、ＲＡＭに代表される書き込み可能な高速の記憶装置で、ＯＳや各種プログラム及び各種データがロードされ、またＯＳや各種プログラムの作業領域としても使用される。
【００４１】
二次記憶装置２０１３は、ＨＤＤ、フラッシュメモリ、ＣＤ−ＲＯＭドライブ等に代表される不揮発性を持った記憶装置で、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。
【００４２】
ユーザ入力インタフェース２０１５にはキーボード、マウス、ジョイスティック等に代表される入力機器２０１８が接続され、ユーザからの入力をＣＰＵ２０１１へ中継する。入力機器２０１８は、スマートフォン、タブレット等のタッチパネルでもよい。
【００４３】
ユーザ出力インタフェース２０１６にはディスプレイ等に代表される表示機器２０１９が接続され、ユーザによる指示結果に関するデータや監視カメラ１０００からの画像データを表示機器２０１９へ中継する。表示機器２０１９は、例えばユーザ出力インタフェース２０１６により渡されたデータに応じた画像を表示する。
【００４４】
ネットワークインタフェース２０１７はネットワーク３０００と接続するためのインタフェースであり、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信媒体を介して撮像装置１８０等との通信を担う。
【００４５】
図４を用いて、本実施形態の検証システムにおける、人体モデルを使用した人体検出処理時間検証の処理を説明する。なお、以下に説明するS４００、S４０１、およびS４１２は設定装置１９０の処理であり、設定装置１９０のＣＰＵ２０１１が二次記憶装置２０１３から読み出されたプログラムに従って制御を実行する。また、Ｓ４０２〜Ｓ４１１は処理装置100の処理であり、処理装置１００のＣＰＵ２０１１が二次記憶装置２０１３から読み出されたプログラムに従って制御を実行する。図４は、ユーザが検証変数設定部２５０を使用し検証変数を行い、検証を開始してから検証結果が検証変数設定部２５０上に表示されるまでの処理を示している。
【００４６】
ユーザにより、検証変数設定部２５０を使用して検証のための各変数が設定され、さらに設定保存ボタン３７０がされると、設定装置１９０は、各変数を処理装置１００に送付する。（Ｓ４００）、次に、ユーザが検証開始ボタン３８０を押下すると、設定装置１９０は、検証開始命令を処理装置１００に対して送信する（Ｓ４０１）。
【００４７】
処理装置１００の制御部１５０は、受信した各変数を記憶部１４０に記憶させる。そして、制御部１５０は、設定装置１９０から検証開始命令を受け取り、重畳部１２０に対して重畳画像作成を指示する（Ｓ４０２）。
【００４８】
重畳部１２０は、重畳処理の開始命令を受け取ると、まず記憶部１４０から検証のための変数を読み出し、読みだした変数に基づいて人体モデルを配置するための重畳パターンの作成を行う（Ｓ４０３）。重畳パターンとは、重畳対象となる検出領域内に人体モデルをどのように配置するかを表したものである。このパターンの作成方法の例を、図５を用いて示す。図５Ａは人体モデルを重畳するパターンの一例を示したものである。図５Ａ中の黒丸５０１、５０２は人体モデルの足元の位置座標をそれぞれ示す。すなわち、設定装置１９０から人体モデル数が「２」という変数に基づいて、重畳部１２０は「２」に対応する足元の位置の座標をランダムに決定する。
【００４９】
次に重畳部１２０は、作成したパターンをもとにして、映像に対して重畳する画像の作成処理を行う（Ｓ４０４）。まず重畳部１２０は記憶部１４０から人体モデル作成用の変数の読み出しを行う。人体モデル作成用の変数とは、例えば実際の人体の画像を人体モデルとして重畳する場合はその画像データ、コンピュータグラフィックスを用いて画像データを作成し重畳する場合はコンピュータグラフィックスに関する設定値のことを指す。重畳画像の作成処理の一例を、図５Ｂを用いて示す。図５Ｂは図５Ａに示した配置パターンに沿って人体モデルを重畳した映像の一例である。図５Ｂ中の５１１、５１２はそれぞれ５０１，５０２に対して配置された人体モデルを示す。
【００５０】
重畳部１２０は、人体モデルサイズ設定部３３０で設定された範囲内のサイズの人体モデルの画像を生成する。そして、Ｓ４０３で作成したパターンの座標５０１、５０２に人体モデルの足元が位置するように人体モデル５１１、５１２を入力映像上に重畳する。
【００５１】
重畳部１２０は、人体モデルの入力映像上への重畳処理が完了すると制御部１５０に対して重畳画像作成完了の通知を送る。
【００５２】
制御部１５０は重畳部１２０から重畳画像作成完了の通知を受け取ると、重畳部１２０に対して重畳開始命令を行う（Ｓ４０５）。重畳開始命令を受け取った重畳部１２０は、重畳終了命令を受け取るまで取得部１１０から入力される映像に対して人体モデルの画像を重畳する。
【００５３】
重畳開始命令を行った後、制御部１５０は解析部１３０に対して人体検出開始命令を行う（Ｓ４０６）。人体検出開始命令を受け取った解析部１３０は、重畳部１２０から入力される重畳済み画像に対して人体検出処理および人体検出の処理時間の計測を開始する（Ｓ４０７）。解析部１３０は、人体検出処理が完了した場合（Ｓ４０８）、制御部１５０に人体検出処理の完了通知を返す。
【００５４】
制御部１５０は人体検出処理の完了通知受け取ると、重畳部１２０に対して重畳終了命令を行い（Ｓ４０９）、さらに、解析部１３０に対して人体検出処理にかかった時間の計測結果を取得するための処理時間送信命令を送信する（Ｓ４１０）。この送信命令を受け取った解析部１３０は、Ｉ／Ｆ部１７０を介して人体検出処理にかかった時間の計測結果である処理時間を設定装置１９０に送信する（Ｓ４１１）。
【００５５】
処理時間を受け取った設定装置１９０はユーザが想定処理時間設定部３４０を使用して設定した想定処理時間と受け取った処理時間との比較を行い、結果を処理時間判定部３６０に表示する（Ｓ４１２）。
【００５６】
本実施形態では処理装置１００と設定装置１９０を独立した装置としたが、これらを１つの装置に一体にしてもよい。
【００５７】
本実施形態では、人体検出処理の検証に使用する配置パターン数を１としたが、ユーザに配置パターン数を指定させ、複数の配置パターンを使用して検証を行ってもよい。
【００５８】
以上、本実施形態により、検証システムはユーザに対して現在の人体検出設定での検出処理時間が想定処理時間内に収まっているかどうかを通知することができる。
【００５９】
人体の大きさが人体検出の処理時間に影響を与えるような人体検出アルゴリズムを使用している場合、実環境に沿ったサイズの人体のモデルを重畳した方が正確な処理時間を求めることができる。本実施形態では、人体のモデルの作成および重畳は以下に説明する条件に基づいて作成される。
【００６０】
そこで本実施形態では、映像内の実環境に沿ったサイズの人体モデルを映像上に重畳するための処理を行う。
【００６１】
図６Ａは検証用変数設定部２５０にモデルのサイズの設定機能を追加したものを示している。すなわち、本実施の形態では、設定されたモデルのサイズを基準とした条件に基づいて人体モデルの作成処理が行われる。
【００６２】
基準人体モデル６０１，６０２は、人体モデルのサイズの基準となる基準人体モデルである。基準人体モデル６０１，６０２は、検証変数設定部２５０のユーザインターフェース３２０を介してユーザによりその高さおよび位置が設定される。
【００６３】
基準人体モデル設定保存ボタン６１０は、基準人体モデル６０１、６０２の基準情報を処理装置１００に送信する命令を指示する。基準人体モデル６０１、６０２の基準情報とは、例えば基準人体モデルの高さ（ｈ１、ｈ２）や、画像内の高さ方向を表すｙ座標系での人体モデルの足元の位置を示す座標（ｙ１、ｙ２）についての情報を指す。なお、人体モデルの幅は人体モデルの高さに比例するものとする。すなわち、人体モデルの高さが決定されると人体モデルのサイズが一意に決定される。例えば人体モデルの高さと幅の比は６：１などに設定される。
【００６４】
検証変数設定部２５０は、ユーザによって基準人体モデル設定保存ボタン６１０が指示されたことを検出すると、基準人体モデルの位置情報及びサイズ情報はＩ／Ｆ部１７０を介して処理装置１００に送られ、記憶部１４０に保存される。
【００６５】
重畳部１２０は、基準人体モデル６０１、６０２の基準情報を使用してＳ４０４における重畳画像の作成処理人体モデル画像を作成する。図６Ｂは画像内の高さ方向を表すｙ座標系の座標値ｙに対応した人体モデルのサイズｈを算出する式を示したものである。重畳部１２０は重畳画像作成処理（Ｓ４０４）で人体モデルの画像を作成する際に、５０１、５０２のｙ座標と図６Ｂの計算式を用いて５１１、５１２のモデルのサイズを算出し、算出した値のサイズの人体モデル画像を作成・重畳する。例えば、人体のモデル数が「５」の場合、重畳部１２０はランダムに人体のモデルの足元の位置座標（ｙ座標）を５つ決定する。そしてそれら位置座標および基準人体モデルの基準情報を参照することにより、各人体モデルのサイズが決定されることになる。
【００６６】
この処理を行うことによって、処理装置１００は映像内の実環境に沿ったサイズのモデルを重畳することが可能となり、より正確な人体検出処理の処理時間を求めることができる。
【００６７】
また、映像上に人体モデル間で重なりが発生するケースがある。実環境により近くするため、人体モデル同士の重なり順序を実環境に合わせて決定した方がよい。
【００６８】
図７Ａは実環境に沿わないモデル同士の重なりの一例である。図７Ａは映像内の奥行方向に対して、本来後方に表示されるべきモデルが前方に配置されてしまった例である。人体モデル７０１は実空間上では後方に存在するべき人物を模した人体モデル、人体モデル７０２は、実空間上では前方に存在する人物を模した人体モデルを示している。
【００６９】
図７Ａにおいて、本来、人体モデル７０１は、撮像装置１８０に対して人体モデル７０２の後方に存在するものとして映像上に重畳されなければならないが、図７Ａでは人体モデル７０１が前方面に配置されてしまっている。すなわち、実空間上で後方に存在する人物が前面に存在する人物よりも前に映っていることになり、実環境に沿わない人体モデルの配置であるといえる。
【００７０】
本実施形態では、映像内の実環境に沿ったサイズのモデルを重畳するための処理を行う。図７Ｂは、Ｓ４０４における重畳画像の作成処理において、人体モデルの画像を入力映像に重畳する際に、異なる奥行座標に存在する複数の人体モデルを使用した重畳画像を作成する際の手順を説明するための図である。映像内の同じ床面上に複数の人物が存在する場合であって、かつ撮像装置が上方から見下ろすように配置されている場合、原点を映像の上にとると、後方に存在する人物の足元の座標の方が前方に存在する人物の足元の座標（高さ座標ｙ）の値が小さくなる。
【００７１】
このことを利用し、重畳部１２０は、異なる奥行座標に複数の人体モデルの画像を配置する際に、人体モデルの足元の位置を示すｙ座標の値が小さい、つまり実空間上では後方に存在するはずの人体モデル（７０１）を先に入力映像上に重畳する。そして、ｙ座標の値が大きい、つまり実空間上では手前に存在するモデル（７０２）を後に重畳する。
【００７２】
この条件に従うことにより、実空間上で後方に存在するはずの人体のモデルが前方に存在する人体モデルよりも前面に重畳されることを防ぐことが可能となる。
【００７３】
図７Ｃは、図７Ａとは異なる実環境に沿わないモデル同士の重なりの一例である。人体モデル７１１、７１２は同じ奥行座標上に存在し、重なり合っているが、実空間上ではありえない。図７Ｄは、Ｓ４０４における重畳画像の作成処理において人体モデルの画像を入力映像に重畳する際に、類似する範囲内の奥行座標に存在する複数の人体モデルを使用した重畳画像を作成する際の手順を示したものである。
【００７４】
重畳部１２０は、Ｓ４０３において、類似する範囲内のｙ座標（奥行座標）に存在する複数の身体モデルを使用したパターンを作成する際には、少なくとも予め設定された人体モデルの幅（ｄ）より長い間隔で、人体モデル同士を横方向に離して重畳する。具体的には、人体モデル数に応じて各人体モデルの座標位置がランダムに決定されるが、そのうち近接する座標があるかどうか確認する。その場合、重畳部１２０は、座標位置に応じて決定される人体モデルの幅分、人体モデルの少なくとも一方を奥行き方向に垂直な横軸方向に移動させる。
【００７５】
これらの方法で重畳することにより、同じ奥行座標のモデル同士の重なりを防ぐことで、実環境に沿わないモデル配置を防止することが可能となる。
【００７６】
また、本実施の形態では、さらに実環境に近づけるため、床面領域を設定する。
【００７７】
図８Ａは人体モデルの足元が床面に接していない状態で入力映像に重畳された場合の一例である。人体モデル８０１は足元が床面に接していない人体モデルを示す。これは、実空間上では人物が宙に浮いてしまっていることを表している。実環境上では人体の足元は床面に接しているはずであり、このようなことは実環境上ではありえないため、これは実環境に沿わないモデル配置であるといえる。以下では、人体モデルを床面に対して正確な位置に配置するための設定方法について述べる。
【００７８】
図８Ｂは検証用の変数設定部３００の映像表示部３１０上に表示される映像上で人体モデルを配置する床面範囲８１０の設定が行われた状態を示している。
【００７９】
ユーザは床面範囲の設定機能を使用して、人体モデルを配置する床面領域８１０の指定を行う。ユーザが設定した重畳モデルの配置範囲の情報はＩ／Ｆ部１７０を介して処理装置１００に送られ、記憶部１４０に保存される。
【００８０】
重畳部１２０は、重畳パターン作成処理（Ｓ４０３）で重畳モデルの配置パターンの作成を行う際に、記憶部１４０から重畳モデルの床面範囲８１０の設定を読み出す。すなわち、読み出された床面範囲内に人体モデルの足元の位置（５０１、５０２）が含まれるように足元の位置の座標を決定する。なお、足元の位置は、例えば表示画面に対して人体モデルの最も下方に位置する。人体モデルを配置する床面範囲８１０内の座標を使用して配置パターンの作成を行う。この手法により、指定した床面上に人体モデルの足元の座標を指定することが可能となる。
【００８１】
このように配置パターンの作成を行うことによって、実環境に沿った位置にモデルを配置することが可能となる。
【００８２】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８３】
１００  画像処理装置
１１０  取得部
１２０  重畳部
１３０  解析部
１４０  記憶部
１５０  制御部
１６０  圧縮部
１７０  Ｉ／Ｆ部
１８０  撮像装置
１９０  設定装置
【図１】
2019082957.tif 000003
【図２】
2019082957.tif 000004
【図３】
2019082957.tif 000005
【図４】
2019082957.tif 000006
【図５】
2019082957.tif 000007
【図６】
2019082957.tif 000008
【図７】
2019082957.tif 000009
【図８】
2019082957.tif 000010
【図９】
2019082957.tif 000011