(57)【要約】【課題】検出パラメータを適切に設定する。【解決手段】画像処理装置は、物体設定部と、検出部と、出力部とを具備する。物体設定部は、撮像部により生成される画像に配置される物体を表す物体画像を設定するものである。検出部は、物体画像と、撮像部により生成された画像とが合成された合成画像に含まれる物体を検出するものである。出力部は、検出部による検出処理に用いられる検出パラメータを設定するための出力情報であって、合成画像およびその検出処理の検出結果が関連付けられている出力情報を出力するものである。【選択図】図１
2015019133.tif 000002
【特許請求の範囲】
【請求項１】
撮像部により生成される画像に配置される物体を表す物体画像を設定する物体設定部と、
前記物体画像と前記撮像部により生成された画像とが合成された合成画像に含まれる前記物体を検出する検出部と、
前記検出部による検出処理に用いられる検出パラメータを設定するための出力情報であって前記合成画像および前記検出処理の検出結果が関連付けられている出力情報を出力する出力部と
を具備する画像処理装置。
【請求項２】
前記検出パラメータは、前記検出処理を行う際の検出ルールを設定するためのパラメータ、および、前記検出処理の検出感度を調整するためのパラメータのうちの少なくとも１つであり、
前記検出部は、設定された前記検出パラメータを用いて前記検出処理を行う
請求項１記載の画像処理装置。
【請求項３】
前記検出パラメータは、前記合成画像に含まれる前記物体が所定の動きをしたことを検出するためのパラメータであり、
前記検出部は、前記合成画像に含まれる前記物体が前記所定の動きをしたか否かを検出する
請求項１記載の画像処理装置。
【請求項４】
前記検出パラメータは、前記撮像部により生成される画像における登録領域を特定するためのパラメータであり、
前記検出部は、前記合成画像に含まれる前記物体が前記登録領域に侵入したか否かを検出する
請求項３記載の画像処理装置。
【請求項５】
前記出力部は、前記登録領域に侵入した前記物体を通知するための通知情報を前記合成画像に重ねて表示する請求項４記載の画像処理装置。
【請求項６】
前記出力部は、前記合成画像から検出された前記物体を通知するための通知情報を前記出力情報に含めて出力する請求項１記載の画像処理装置。
【請求項７】
前記物体設定部は、前記撮像部により生成される画像に配置される前記物体の外観および動きを設定し、
前記検出部は、前記設定された前記物体の外観および動きにより特定される前記物体画像が合成された前記合成画像について前記検出処理を行う
請求項１記載の画像処理装置。
【請求項８】
前記物体設定部は、前記撮像部により生成される画像において前記物体画像を配置する経路を設定し、
前記検出部は、前記経路に前記物体画像が合成された前記合成画像について前記検出処理を行う
請求項７記載の画像処理装置。
【請求項９】
前記物体設定部は、前記経路に前記物体画像を配置するための複数の位置を設定し、
前記検出部は、前記複数の位置のそれぞれに前記物体画像が合成された複数の前記合成画像について前記検出処理を行う
請求項８記載の画像処理装置。
【請求項１０】
前記物体画像は、コンピュータグラフィックスにより生成される請求項１記載の画像処理装置。
【請求項１１】
前記物体画像は、前記物体の輪郭を表す物体輪郭画像とテクスチャ画像との合成により生成される請求項１０記載の画像処理装置。
【請求項１２】
前記物体画像は、前記物体の撮影により生成される請求項１記載の画像処理装置。
【請求項１３】
撮像部により生成される画像に配置される物体を表す物体画像を設定する物体設定部と、
前記物体画像と前記撮像部により生成された画像とが合成された合成画像に含まれる前記物体を検出する検出部と、
前記検出部による検出結果に基づいて前記検出部による検出処理に用いられる検出パラメータを設定する検出パラメータ設定部と
を具備する画像処理装置。
【請求項１４】
撮像部により生成される画像に配置される物体を表す物体画像を設定する物体設定手順と、
前記物体画像と前記撮像部により生成された画像とが合成された合成画像に含まれる前記物体を検出する検出手順と、
前記検出手順での検出処理に用いられる検出パラメータを設定するための出力情報であって前記合成画像および前記検出処理の検出結果が関連付けられている出力情報を出力する出力手順と
を具備する画像処理方法。
【請求項１５】
撮像部により生成される画像に配置される物体を表す物体画像を設定する物体設定手順と、
前記物体画像と前記撮像部により生成された画像とが合成された合成画像に含まれる前記物体を検出する検出手順と、
前記検出手順での検出処理に用いられる検出パラメータを設定するための出力情報であって前記合成画像および前記検出処理の検出結果が関連付けられている出力情報を出力する出力手順と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置に関する。詳しくは、画像を扱う画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、人物等の被写体を撮像して画像（画像データ）を生成する撮像装置等の画像処理装置が普及している。また、そのように生成された画像に含まれる人物や動物体等の物体を検出する被写体認識技術が提案されている。
【０００３】
例えば、輝度や色等の特徴量を用いた画像処理により画像に含まれる人物の顔を検出する画像処理装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１３１４０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術によれば、画像に含まれる人物や動物体等の物体を検出することができる。
【０００６】
ここで、例えば、被写体を撮像する機器（例えば、撮像装置）が屋外に設置され、この機器の監視対象となる撮像範囲が屋外である場合を想定する。このような場合には、昼、夜の違い、天候の違い、成長による植物の違い等により、監視対象となる撮像範囲の状況が日々変化することが想定される。このため、監視対象となる物体を検出するための検出パラメータを適切に設定することが重要となる。
【０００７】
本技術はこのような状況に鑑みて生み出されたものであり、検出パラメータを適切に設定することを目的とする。
【課題を解決するための手段】
【０００８】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、撮像部により生成される画像に配置される物体を表す物体画像を設定する物体設定部と、上記物体画像と上記撮像部により生成された画像とが合成された合成画像に含まれる上記物体を検出する検出部と、上記検出部による検出処理に用いられる検出パラメータを設定するための出力情報であって上記合成画像および上記検出処理の検出結果が関連付けられている出力情報を出力する出力部とを具備する画像処理装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、合成画像に含まれる物体を検出し、その検出処理に用いられる検出パラメータを設定するための出力情報（合成画像およびその検出結果が関連付けられている出力情報）を出力するという作用をもたらす。
【０００９】
また、この第１の側面において、上記検出パラメータは、上記検出処理を行う際の検出ルールを設定するためのパラメータ、および、上記検出処理の検出感度を調整するためのパラメータのうちの少なくとも１つであり、上記検出部は、設定された上記検出パラメータを用いて上記検出処理を行うようにしてもよい。これにより、検出ルールを設定するためのパラメータ、および、検出感度を調整するためのパラメータのうちの少なくとも１つのパラメータが設定され、この設定された検出パラメータを用いて検出処理を行うという作用をもたらす。
【００１０】
また、この第１の側面において、上記検出パラメータは、上記合成画像に含まれる上記物体が所定の動きをしたことを検出するためのパラメータであり、上記検出部は、上記合成画像に含まれる上記物体が上記所定の動きをしたか否かを検出するようにしてもよい。これにより、合成画像に含まれる物体が所定の動きをしたことを検出するためのパラメータが設定され、合成画像に含まれる物体が所定の動きをしたか否かを検出するという作用をもたらす。
【００１１】
また、この第１の側面において、上記検出パラメータは、上記撮像部により生成される画像における登録領域を特定するためのパラメータであり、上記検出部は、上記合成画像に含まれる上記物体が上記登録領域に侵入したか否かを検出するようにしてもよい。これにより、登録領域を特定するためのパラメータが設定され、合成画像に含まれる物体が登録領域に侵入したか否かを検出するという作用をもたらす。
【００１２】
また、この第１の側面において、上記出力部は、上記登録領域に侵入した上記物体を通知するための通知情報を上記合成画像に重ねて表示するようにしてもよい。これにより、登録領域に侵入した上記物体を通知するための通知情報を合成画像に重ねて表示するという作用をもたらす。
【００１３】
また、この第１の側面において、上記出力部は、上記合成画像から検出された上記物体を通知するための通知情報を上記出力情報に含めて出力するようにしてもよい。これにより、合成画像から検出された物体を通知するための通知情報を出力情報に含めて出力するという作用をもたらす。
【００１４】
また、この第１の側面において、上記物体設定部は、上記撮像部により生成される画像に配置される上記物体の外観および動きを設定し、上記検出部は、上記設定された上記物体の外観および動きにより特定される上記物体画像が合成された上記合成画像について上記検出処理を行うようにしてもよい。これにより、撮像部により生成される画像に配置される物体の外観および動きを設定し、その外観および動きにより特定される物体画像が合成された合成画像について検出処理を行うという作用をもたらす。
【００１５】
また、この第１の側面において、上記物体設定部は、上記撮像部により生成される画像において上記物体画像を配置する経路を設定し、上記検出部は、上記経路に上記物体画像が合成された上記合成画像について上記検出処理を行うようにしてもよい。これにより、撮像部により生成される画像において物体画像を配置する経路を設定し、この経路に物体画像が合成された合成画像について検出処理を行うという作用をもたらす。
【００１６】
また、この第１の側面において、上記物体設定部は、上記経路に上記物体画像を配置するための複数の位置を設定し、上記検出部は、上記複数の位置のそれぞれに上記物体画像が合成された複数の上記合成画像について上記検出処理を行うようにしてもよい。これにより、その経路に物体画像を配置するための複数の位置を設定し、これらの複数の位置のそれぞれに物体画像が合成された複数の合成画像について検出処理を行うという作用をもたらす。
【００１７】
また、この第１の側面において、上記物体画像をコンピュータグラフィックスにより生成するようにしてもよい。これにより、物体画像をコンピュータグラフィックスにより生成するという作用をもたらす。
【００１８】
また、この第１の側面において、上記物体画像を、上記物体の輪郭を表す物体輪郭画像とテクスチャ画像との合成により生成するようにしてもよい。これにより、物体画像を、物体の輪郭を表す物体輪郭画像とテクスチャ画像との合成により生成するという作用をもたらす。
【００１９】
また、この第１の側面において、上記物体画像を、上記物体の撮影により生成するようにしてもよい。これにより、物体画像を、物体の撮影により生成するという作用をもたらす。
【００２０】
また、本技術の第２の側面は、撮像部により生成される画像に配置される物体を表す物体画像を設定する物体設定部と、上記物体画像と上記撮像部により生成された画像とが合成された合成画像に含まれる上記物体を検出する検出部と、上記検出部による検出結果に基づいて上記検出部による検出処理に用いられる検出パラメータを設定する検出パラメータ設定部とを具備する画像処理装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、合成画像に含まれる物体を検出し、その検出結果に基づいてその検出処理に用いられる検出パラメータを設定するという作用をもたらす。
【発明の効果】
【００２１】
本技術によれば、検出パラメータを適切に設定することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２２】
【図１】本技術の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。
【図２】本技術の第１の実施の形態における検出パラメータ設定部１６０により設定される検出パラメータと、検出部１７０による検出結果との関係例を示す図である。
【図３】本技術の第１の実施の形態における仮想物体生成部１４０による仮想物体画像の生成に用いられる素材例を示す図である。
【図４】本技術の第１の実施の形態におけるカメラ１１１の取り付け位置および取り付け角度を模式的に示す図である。
【図５】本技術の第１の実施の形態におけるカメラ１１１の画角を模式的に示す図である。
【図６】本技術の第１の実施の形態における仮想物体生成部１４０により生成される仮想物体画像の物体座標系を示す図である。
【図７】本技術の第１の実施の形態における仮想物体生成部１４０により生成される仮想物体画像の物体座標系をワールド座標系に配置した場合の例を示す図である。
【図８】本技術の第１の実施の形態におけるカメラ１１１のカメラ座標系を示す図である。
【図９】本技術の第１の実施の形態におけるカメラ１１１により生成される画像のスクリーン座標系を示す図である。
【図１０】本技術の第１の実施の形態における合成部１５０により合成された合成画像の一例を示す図である。
【図１１】本技術の第１の実施の形態における検出パラメータ設定部１６０による検出パラメータの調整例を示す図である。
【図１２】本技術の第１の実施の形態における画像処理装置１００による検出パラメータ設定処理の処理手順の一例を示すフローチャートである。
【図１３】本技術の第１の実施の形態における画像処理装置１００による検出パラメータ設定処理の処理手順の一例を示すフローチャートである。
【図１４】本技術の第２の実施の形態における合成部１５０による合成に用いられる仮想物体画像の例を示す図である。
【図１５】本技術の第２の実施の形態における仮想物体設定部１３０による開始位置および終了位置の設定例を示す図である。
【図１６】本技術の第２の実施の形態における画像処理装置１００による検出パラメータ設定処理の処理手順の一例を示すフローチャートである。
【図１７】本技術の第３の実施の形態における画像処理装置４００の機能構成例を示すブロック図である。
【図１８】本技術の第４の実施の形態における画像処理システム５００の構成例を示す図である。
【図１９】本技術の第４の実施の形態における画像処理システム６００の構成例を示す図である。
【発明を実施するための形態】
【００２３】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（仮想物体画像を用いた物体検出処理の検出結果に基づいて検出パラメータを設定する例）
２．第２の実施の形態（仮想物体画像とすべき画像を撮像装置により撮像して仮想物体画像を予め生成する例）
３．第３の実施の形態（検出パラメータを自動で設定する例）
４．第４の実施の形態（複数の装置により構成される画像処理システムの例）
【００２４】
＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本技術の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。
【００２５】
画像処理装置１００は、撮像部１１０と、信号処理部１２０と、仮想物体設定部１３０と、仮想物体生成部１４０と、合成部１５０と、検出パラメータ設定部１６０と、検出部１７０と、表示部１８０とを備える。画像処理装置１００は、例えば、登録領域（例えば、侵入禁止領域）への侵入者を監視するための撮像装置（例えば、何らかの監視対象の事象を検出する監視カメラ）や物体検出装置により実現される。また、本技術の第１の実施の形態では、監視対象となる撮像範囲を固定する画像処理装置（例えば、監視対象となる撮像範囲を撮像する撮像部を固定する画像処理装置）を例にして説明する。
【００２６】
撮像部１１０は、監視対象となる撮像範囲に含まれる被写体を撮像して画像（画像データ）を生成するものであり、生成された画像を信号処理部１２０に出力する。撮像部１１０は、例えば、光学系（複数のレンズ）、撮像素子により構成される。また、例えば、画像処理装置１００は、撮像部１１０を設ける代わりに、他の撮像装置により生成された画像を取得するようにしてもよい。なお、本技術の実施の形態では、「画像」と記載した場合には、画像そのものと、その画像を表示するための画像データとの両方の意味を含むものとする。
【００２７】
信号処理部１２０は、撮像部１１０から出力された画像について所定の信号処理（例えば、デモザイク処理）を施すものであり、その信号処理が施された画像を合成部１５０に出力する。
【００２８】
仮想物体設定部１３０は、仮想物体生成部１４０により生成される仮想物体画像（例えば、人物を表す仮想的な画像）に関する設定をユーザ操作に基づいて行うものである。すなわち、仮想物体設定部１３０は、撮像部１１０により生成される画像に配置される仮想物体画像を設定する。この仮想物体画像に関する設定として、例えば、仮想物体の種類（例えば、形状、柄）、サイズ、動き、画像における位置を特定するための仮想物体パラメータが設定される。なお、仮想物体設定部１３０は、特許請求の範囲に記載の物体設定部の一例である。
【００２９】
仮想物体生成部１４０は、仮想物体設定部１３０による設定内容に基づいて、仮想物体画像を生成するものであり、生成された仮想物体画像を合成部１５０に出力する。
【００３０】
合成部１５０は、信号処理部１２０から出力された画像と、仮想物体生成部１４０から出力された仮想物体画像とを合成して合成画像を生成するものであり、生成された合成画像を検出部１７０および表示部１８０に出力する。
【００３１】
検出パラメータ設定部１６０は、検出部１７０による検出処理に用いられる検出パラメータをユーザ操作に基づいて設定するものである。
【００３２】
検出部１７０は、検出パラメータ設定部１６０により設定された検出パラメータに基づいて、合成部１５０から出力された合成画像を解析して、検出対象の事象（例えば、侵入禁止領域への人物の侵入）が生じたか否かを検出するものである。すなわち、検出部１７０は、合成部１５０から出力された合成画像に含まれる特定の物体（例えば、侵入禁止領域に侵入した人物）を検出する。そして、検出部１７０は、その検出結果を表示部１８０に出力する。
【００３３】
ここで、検出パラメータは、例えば、検出部１７０の機能（検出機能）および性能（検出性能）に影響を及ぼすルールの設定や設定値の調整に用いられるものである。例えば、検出パラメータは、検出部１７０が検出処理を行う際のルール（検出ルール）を設定するためのパラメータや、検出部１７０が行う検出処理の検出感度を調整するためのパラメータである。また、これらのパラメータのうちの少なくとも１つを設定可能なパラメータとするようにしてもよい。
【００３４】
ここで、検出ルールとして、例えば、物体の検出方法を規定することができる。この検出ルールとして、例えば、物体が所定の動きをしたことを検出する検出方法を規定することができる。この所定の動きは、例えば、登録領域（例えば、侵入禁止領域）への侵入（または、一定時間以上の滞在）、登録経路（例えば、侵入禁止経路）上の移動（登録経路の通過）、登録物体（例えば、持出禁止物体）の持ち去り、物体の置き去りとすることができる。例えば、所定の動きとして、登録領域への侵入を検出する場合には、その登録領域を特定するためのパラメータ（例えば、その登録領域の頂点座標）を、検出パラメータとして設定することができる。また、例えば、所定の動きとして、登録経路上の移動を検出する場合には、その登録経路を特定するためのパラメータ（例えば、その登録経路に対応する線分座標）を、検出パラメータとして設定することができる。また、例えば、所定の動きとして、登録物体（例えば、持出禁止物体）の持ち去りを検出する場合には、その登録物体の持ち去りを検出するためのパラメータ（例えば、その登録物体の不存在時間）を、検出パラメータとして設定することができる。また、例えば、所定の動きとして、物体の置き去りを検出する場合には、物体の置き去りを検出するためのパラメータ（例えば、物体が存在してからの経過時間）を、検出パラメータとして設定することができる。
【００３５】
また、検出感度を調整する場合には、検出部１７０が検出処理を行う際に用いられる各閾値を、検出パラメータとして設定することができる。例えば、合成部１５０により生成された合成画像と背景画像（検出対象となる物体が含まれていない画像）との輝度の差分値の絶対値が閾値を基準として大きいか否かに基づいて、その合成画像に含まれる物体を検出する検出方法を用いる場合を想定する。この場合には、その閾値を変更することにより検出感度を調整することができる。また、例えば、検出対象となる物体の最小サイズおよび最大サイズのうちの少なくとも１つを、検出パラメータとして設定するようにしてもよい。また、例えば、検出解像度を、検出パラメータとして設定するようにしてもよい。
【００３６】
表示部１８０は、合成部１５０から出力された合成画像と、検出部１７０から出力された検出結果とを表示するものである。例えば、表示部１８０は、合成部１５０から出力された合成画像上に、検出部１７０から出力された検出結果（検出された人物の位置、侵入を示すアラーム等）を重ねて表示する。すなわち、表示部１８０は、検出部１７０による検出処理に用いられる検出パラメータを設定するための出力情報（合成画像および検出部１７０による検出結果が関連付けられている出力情報）を出力する。この場合に、表示部１８０は、合成画像から検出された物体を通知するための通知情報（検出部１７０から出力された検出結果を通知するための通知情報）をその出力情報に含めて出力することができる。例えば、表示部１８０は、登録領域に侵入した物体を通知するための通知情報（例えば、図２のｃに示す枠２１１）を合成画像に重ねて表示する。なお、表示部１８０は、特許請求の範囲に記載の出力部の一例である。また、その検出結果に対応する音声情報を出力する音声出力部を画像処理装置１００に備えるようにしてもよい。
【００３７】
また、検出部１７０は、撮像部１１０により生成された画像の全て（全てのフレーム）について検出処理を行うようにしてもよく、所定間隔毎（例えば、１分毎）に検出処理を行うようにしてもよい。
【００３８】
［検出パラメータと検出結果との関係例］
図２は、本技術の第１の実施の形態における検出パラメータ設定部１６０により設定される検出パラメータと、検出部１７０による検出結果との関係例を示す図である。
【００３９】
図２のａには、撮像部１１０により生成される画像２００を示す。画像２００は、上述したように、画像処理装置１００による監視対象となる撮像範囲に対応する画像であり、侵入した物体（例えば、侵入者）が存在しない画像である。
【００４０】
図２のｂには、撮像部１１０により生成される画像２００と、侵入禁止領域（登録領域）２０１との関係を示す。図２のｂでは、画像２００上において、侵入禁止領域（登録領域）２０１を枠で囲み、その枠内に色を付して示す。ここで、侵入禁止領域（登録領域）は、検出パラメータ設定部１６０により設定される検出パラメータにより特定される領域を意味する。
【００４１】
図２のｃには、撮像部１１０により生成される画像２１０に含まれる人物と、侵入禁止領域２０１との関係を示す。図２のｃでは、画像２１０上において、人物を枠２１１で囲み、その枠内に色を付して示す。
【００４２】
ここで、例えば、撮像部１１０により生成される画像において、侵入禁止領域２０１に何者かが侵入した場合にアラームを出力（例えば、その旨の音声出力、その旨の画像表示）する場合を想定する。例えば、図２のｃでは、画像２１０に含まれる人物（枠２１１内の人物）は、侵入禁止領域２０１内には侵入していないが、画像２１０における侵入禁止領域２０１とは重複している。
【００４３】
このように、侵入禁止領域２０１内には侵入していないが、侵入禁止領域２０１とは重複しているような場合には、検出部１７０により誤検出とされてしまうおそれがある。このため、検出部１７０による検出処理に用いられる検出パラメータを適切に設定することが重要である。
【００４４】
［仮想物体画像の生成例］
図３は、本技術の第１の実施の形態における仮想物体生成部１４０による仮想物体画像の生成に用いられる素材例を示す図である。
【００４５】
図３のａには、各種の物体輪郭画像２２１乃至２２３を示す。物体輪郭画像２２１乃至２２３は、例えば、各種の体型・ポーズの人体の輪郭を示す画像であり、各種の幅Ｗｉおよび高さＨｉを備える画像である。物体輪郭画像２２１乃至２２３として、例えば、被写体の外形を示す２値画像を用いることができる。この２値画像は、例えば、被写体部分を黒とし、被写体以外の部分を白として表される画像である。
【００４６】
図３のｂには、各種の柄のテクスチャ画像２２５乃至２２７を示す。なお、本技術の第１の実施の形態では、物体輪郭画像として３つの物体輪郭画像２２１乃至２２３のみを示し、他の物体輪郭画像の図示を省略する。同様に、本技術の第１の実施の形態では、テクスチャ画像として３つのテクスチャ画像２２５乃至２２７のみを示し、他のテクスチャ画像の図示を省略する。
【００４７】
例えば、仮想物体生成部１４０は、物体輪郭画像２２１乃至２２３およびテクスチャ画像２２５乃至２２７を保持する。そして、仮想物体生成部１４０は、物体輪郭画像２２１乃至２２３のうちの何れかの物体輪郭画像に、テクスチャ画像２２５乃至２２７のうちの何れかのテクスチャ画像を張り付けることにより、仮想物体画像を生成する。この場合に、仮想物体生成部１４０は、仮想物体設定部１３０により設定された仮想物体パラメータに基づいて、物体輪郭画像およびテクスチャ画像の組合せを決定する。また、仮想物体画像は、例えば、コンピュータグラフィックスにより生成される。
【００４８】
また、合成部１５０は、仮想物体生成部１４０により生成された仮想物体画像と、撮像部１１０により生成された画像とを合成して合成画像を生成する。この合成処理により、カメラ位置を考慮して所望の位置に人がいるように見えるように、物体輪郭画像に所望の柄（テクスチャ画像）が張り付けられた仮想物体画像が、撮像部１１０により生成された画像に重畳される。この合成画像の一例を図１０に示す。なお、仮想物体生成部１４０に保持されている物体輪郭画像２２１乃至２２３およびテクスチャ画像２２５乃至２２７を用いて、合成部１５０は、合成画像を直接生成するようにしてもよい。
【００４９】
［カメラ情報の設定例］
次に、カメラ情報の設定例を示す。ここで、カメラ情報は、例えば、カメラの取り付け位置と、カメラの画角と、カメラにより生成される画像サイズ（ｗｉｍｇ，ｈｉｍｇ）とを含む情報である。なお、以下に示すカメラ１１１は、図１に示す撮像部１１０に対応する。
【００５０】
図４は、本技術の第１の実施の形態におけるカメラ１１１の取り付け位置および取り付け角度を模式的に示す図である。なお、図４のａには、カメラ１１１が設置される空間を特定するためのワールド座標系を示す。
【００５１】
図４のａに示すように、本技術の第１の実施の形態では、３次元空間をワールド座標系（ｘｙｚ座標）で示す。具体的には、地面と水平となる平面をｘ軸およびｚ軸（ｘｚ座標）で示す。また、地面と垂直となる垂直方向をｙ軸で示す。
【００５２】
図４のｂには、ｘ軸方向から見た場合におけるカメラ１１１の取り付け位置および取り付け角度を示す。例えば、地面からのカメラ１１１の高さ（カメラ１１１の取り付け位置（地上高））をｈとし、水平面からのカメラ１１１の取り付け角度をαとする。このようにｙ軸上にカメラ１１１が設置されるものとする。
【００５３】
図５は、本技術の第１の実施の形態におけるカメラ１１１の画角を模式的に示す図である。
【００５４】
図５のａには、ｘ軸方向から見た場合におけるカメラ１１１の画角φを示す。この画角は、いわゆる、垂直画角であり、例えば、フレームの上端から下端までの角度に対応する画角である。
【００５５】
図５のｂには、ｙ軸方向から見た場合におけるカメラ１１１の画角θを示す。この画角は、いわゆる、水平画角であり、例えば、フレームの左端から右端までの角度に対応する画角である。
【００５６】
［仮想物体情報の設定例］
次に、仮想物体情報の設定例を示す。ここで、仮想物体情報は、例えば、物体輪郭画像の選択と、物体サイズと、テクスチャの選択と、物体の移動経路情報とを含む情報である。なお、物体サイズは、例えば、図６に示す幅Ｗｏ、高さＨｏである。また、物体の移動経路情報は、例えば、時系列の物体の位置および向きであり、例えば、図７に示す座標（ｘｐ，ｚｐ）と角度βである。
【００５７】
本技術の第１の実施の形態では、仮想物体情報の設定方法を４種類の座標系を用いて説明する。具体的には、図４のａに示すワールド座標系と、図６に示す物体座標系と、図８に示すカメラ座標系と、図９に示すスクリーン座標系との４種類の座標系を用いて説明する。
【００５８】
［物体座標系］
図６は、本技術の第１の実施の形態における仮想物体生成部１４０により生成される仮想物体画像の物体座標系を示す図である。
【００５９】
図６に示すように、物体座標系は、２次元の物体画像２４０の底辺の中心に座標軸を有する座標とする。なお、この物体座標系のＺｏ軸は、奥行方向となる。
【００６０】
図７は、本技術の第１の実施の形態における仮想物体生成部１４０により生成される仮想物体画像の物体座標系をワールド座標系に配置した場合の例を示す図である。図７では、図６に示す物体画像２４０に相当する部分を太線で示す。
【００６１】
図７に示すように、図４のａに示すワールド座標系のＸｗ−Ｚｗ平面と、図６に示す物体座標系のＸｏ−Ｚｏ平面とは、一致する。すなわち、物体画像２４０の底辺が地面に接していることを意味する。
【００６２】
また、図７に示すように、物体座標系は、ワールド座標系のＸｗ−Ｚｗ平面上の座標（ｘｐ，ｚｐ）上でワールド座標から角度βだけ回転したものである。すなわち、ワールド座標系のＸｗ−Ｚｗ平面上の座標（ｘｐ，ｚｐ）と、角度βとにより物体画像２４０の位置が特定される。
【００６３】
［カメラ座標系］
図８は、本技術の第１の実施の形態におけるカメラ１１１のカメラ座標系を示す図である。また、図４のｂには、カメラ座標系およびワールド座標系の関係を示す。
【００６４】
図８に示すように、カメラ座標系のＺｃ軸は、カメラ１１１の光軸と一致する。また、カメラ座標系のＹｃ軸は、カメラ１１１の上下方向と一致し、カメラ座標系のＸｃ軸は、カメラ１１１の横方向（左右方向）と一致する。
【００６５】
また、図４のｂに示すように、カメラ１１１は、地上高ｈの場所に設置される。また、カメラ１１１は、水平から角度αだけ回転した向きを光軸方向とするように設置される。
【００６６】
［スクリーン座標系］
図９は、本技術の第１の実施の形態におけるカメラ１１１により生成される画像のスクリーン座標系を示す図である。すなわち、スクリーン座標系は、カメラ１１１により実際に生成される画像２５０に対応する座標系である。
【００６７】
［仮想物体画像の合成例］
次に、仮想物体画像の合成方法の一例について説明する。
【００６８】
最初に、仮想物体生成部１４０は、仮想物体画像を実際のサイズまで拡大／縮小する倍率（ａ，ｂ）を次の式を用いて計算する。
ａ＝Ｗｏ／Ｗｉ
ｂ＝Ｈｏ／Ｈｉ
【００６９】
続いて、仮想物体生成部１４０は、幾何学的な座標変換により、仮想物体画像における座標（ｘ，ｙ）のカメラ座標系での座標（ｘｃ，ｙｃ，ｚｃ）を次の式を用いて計算する。
【数１】
2015019133.tif 000003
【数２】
2015019133.tif 000004
【数３】
2015019133.tif 000005
【００７０】
続いて、仮想物体生成部１４０は、次の式（透視投影変換の式）を用いてカメラ座標系の座標（ｘｃ，ｙｃ，ｚｃ）を、スクリーン座標系の座標（ｘｓ、ｙｓ）に変換する。
【数４】
2015019133.tif 000006
【００７１】
これにより、元々の物体輪郭画像のピクセル位置とカメラ画像のピクセル位置との対応をとることができる。そこで、仮想物体生成部１４０は、物体輪郭画像中の物体に相当する部分のカメラ画像上でのピクセル位置を計算し、そのピクセル位置を仮想物体画像の貼付け位置と指定する。そして、合成部１５０は、用意してあるテクスチャ画像をその貼付け位置に張り付けることにより合成画像を生成する。
【００７２】
［合成画像例］
図１０は、本技術の第１の実施の形態における合成部１５０により合成された合成画像の一例を示す図である。図１０には、例えば、仮想物体画像２６１が合成された合成画像２６０を示す。
【００７３】
なお、仮想物体画像については、合成画像における奥行方向に応じてそのサイズを自動で変更するようにしてもよい。例えば、仮想物体生成部１４０は、合成画像における奥行方向の奥側に進むに応じてそのサイズを小さくするように設定することができる。
【００７４】
［物体の検出例］
次に、検出部１７０による物体の検出方法を示す。この例では、侵入禁止領域に侵入する物体を検出する場合における検出方法の一例を示す。なお、この例では、説明の容易のため、侵入禁止領域を矩形とする例を示す。
【００７５】
検出部１７０は、検出対象となる物体が含まれていない画像（背景画像）を保持する。ここで、背景画像は、監視対象となる撮像範囲に対応する画像であって、侵入した物体（例えば、侵入者）が存在しない画像を意味する。背景画像は、例えば、図２のａに示す画像２００である。
【００７６】
また、検出パラメータ設定部１６０は、その背景画像において、侵入禁止領域に対応する矩形の左上座標および右下座標を指定する。この指定は、例えば、ユーザ操作により設定される検出パラメータに基づいて行われる。
【００７７】
続いて、検出部１７０は、合成部１５０により生成された合成画像と、保持されている背景画像との輝度の差分値の絶対値を画素毎に算出する。続いて、検出部１７０は、その算出された輝度の差分値の絶対値が閾値を基準として大きい画素（例えば、差分値の絶対値が閾値以上の画素）を抽出する。このように、輝度の差分値の絶対値が閾値を基準として大きい画素は、検出対象となる物体に対応する画素であると判断することができる。
【００７８】
続いて、検出部１７０は、抽出された画素のうち、隣接する画素同士をグループ化し、このグループ化された画素の領域を物体領域とする。続いて、検出部１７０は、物体領域の重心を求める。例えば、検出部１７０は、物体領域中の各画素の座標（ｘ，ｙ）の平均値を算出し、この平均値に対応する座標を物体領域の重心として求めることができる。
【００７９】
続いて、検出部１７０は、物体領域の重心が、侵入禁止領域に対応する矩形に含まれるか否かを判断し、この判断結果に基づいて、物体領域に対応する物体が侵入禁止領域に侵入しているか否かを判断する。例えば、物体領域の重心のｘ座標が、侵入禁止領域に対応する矩形の左端座標および右端座標の間に存在し、かつ、物体領域の重心のｙ座標がその矩形の上端座標および下端座標の間に存在する場合を想定する。この場合には、検出部１７０は、物体が侵入禁止領域に侵入していると判断する。一方、物体領域の重心のｘ座標がその矩形の左端座標および右端座標の間に存在しない場合、または、物体領域の重心のｙ座標がその矩形の上端座標および下端座標の間に存在しない場合を想定する。この場合には、検出部１７０は、物体が侵入禁止領域に侵入していないと判断する。
【００８０】
なお、侵入禁止領域に対応する矩形以外の場合についても同様に物体の検出を行うことができる。例えば、図２のｂに示す侵入禁止領域２０１に侵入する物体を検出する場合には、侵入禁止領域２０１を特定するための座標を指定し、侵入禁止領域２０１に物体領域の重心が含まれるか否かを判断する。そして、その判断結果に基づいて、物体領域に対応する物体が侵入禁止領域２０１に侵入しているか否かを判断することができる。
【００８１】
このように、侵入禁止領域に侵入する物体を検出する検出処理が行われた場合には、その検出結果が表示部１８０に表示される。例えば、侵入禁止領域に侵入する物体が検出された場合には、その物体を特定するための表示情報を表示部１８０に表示する。例えば、図２のｃに示すように、検出された人物に枠（表示情報）２１１を付して表示部１８０に表示することができる。また、その検出結果を音声出力により出力するようにしてもよい。
【００８２】
なお、侵入禁止領域に物体が侵入してから一定時間が経過したこと（すなわち、その物体が侵入禁止領域に一定時間以上滞在したこと）を条件に、侵入禁止領域に物体が侵入したと判断するようにしてもよい。
【００８３】
また、登録経路（例えば、侵入禁止経路）上を移動（登録経路の通過）する物体を検出する場合には、検出部１７０は、物体領域の重心が、登録経路に対応する線分座標に一致（または略一致）するか否かを判断する。そして、検出部１７０は、その判断結果に基づいて、物体領域に対応する物体が登録経路を移動しているか否かを判断することができる。
【００８４】
また、物体の置き去りを検出する場合には、検出部１７０は、物体領域が存在してからの経過時間が閾値以上であるか否かを判断する。そして、検出部１７０は、その判断結果に基づいて、物体の置き去りがあるか否かを判断することができる。
【００８５】
また、登録物体（例えば、持出禁止物体）の持ち去りを検出する場合には、検出部１７０は、その登録物体が登録位置（例えば、その登録物体の設置場所）から存在しなくなった時間が閾値以上であるか否かを判断する。そして、検出部１７０は、その判断結果に基づいて、登録物体が持ち去られたか否かを判断することができる。
【００８６】
［検出パラメータの調整例］
図１１は、本技術の第１の実施の形態における検出パラメータ設定部１６０による検出パラメータの調整例を示す図である。
【００８７】
図１１のａには、図２のｂに示す侵入禁止領域２０１を狭くする調整が行われた後の侵入禁止領域２７１を示す。
【００８８】
図１１のｂには、侵入禁止領域２７１が設定されている場合における画像の一例を示す。
【００８９】
ここで、ユーザが所望する検出結果が得られないことも想定される。例えば、図２のｃに示す状態で、実際には人物が侵入禁止領域２０１に侵入していないにもかかわらず、人物が侵入禁止領域２０１に侵入していると判断されることも想定される。このように、ユーザが所望する検出結果が得られない場合には、その検出結果を参照して、ユーザが検出パラメータの設定をやり直すようにする。
【００９０】
例えば、検出パラメータを調整することにより、侵入禁止領域のサイズを変更することができる。例えば、図１１のａに示すように、図２のｂに示す侵入禁止領域２０１を狭くする調整を行い、侵入禁止領域２７１を設定する。このように、侵入禁止領域２７１を設定することにより、例えば、図１１のｂに示すように、侵入禁止領域２７１に侵入していない人物の誤検出を低減させることができる。すなわち、検出精度を向上させることができる。
【００９１】
また、ユーザが所望する検出結果が得られている場合には、他の仮想物体画像や他のテクスチャ等を用いて全ての処理を繰り返す。これらの処理を各種の仮想物体画像を用いて、正しい検出結果が得られるまで繰り返すことにより、頑健性の高い検出パラメータを設定することができる。
【００９２】
なお、上述した検出方法（合成画像および背景画像の差分値を用いて物体を検出する検出方法）は一例であり、他の検出方法を用いるようにしてもよい。例えば、合成画像および背景画像の他の特徴量を用いて物体を検出する検出方法を用いることができる。例えば、単純画素値の差分ではなくエッジ量等の画素特徴の差分を用いて物体を検出する検出方法、小領域のヒストグラムの類似度を用いて物体を検出する検出方法、エッジ方向の類似度を用いて物体を検出する検出方法を用いることができる。また、合成画像および背景画像の比較結果に基づいて物体を検出する検出方法以外に、予め用意したテンプレート画像（または、テンプレート特徴量）と合成画像との比較結果に基づいて物体を検出する検出方法を用いることができる。
【００９３】
また、他の検出方法を用いて物体（例えば、飛行機、車、人体）を検出するようにしてもよい。例えば、勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）を用いて物体検出を行う検出方法を用いることができる（例えば、特開２０１０−０６７１０２号参照。）。
【００９４】
［画像処理装置の動作例］
図１２は、本技術の第１の実施の形態における画像処理装置１００による検出パラメータ設定処理の処理手順の一例を示すフローチャートである。
【００９５】
最初に、画像処理装置１００においてカメラ情報が設定される（ステップＳ９０１）。例えば、カメラの取り付け位置と、カメラの画角と、カメラにより生成される画像サイズとが設定される（ステップＳ９０１）。続いて、仮想物体設定部１３０は、ユーザ操作に基づいて仮想物体パラメータを設定する（ステップＳ９０２）。なお、ステップＳ９０２は、特許請求の範囲に記載の物体設定手順の一例である。
【００９６】
続いて、検出パラメータ設定部１６０は、ユーザ操作に基づいて、検出部１７０による検出処理に用いられる検出パラメータを設定する（ステップＳ９０３）。例えば、検出パラメータにより侵入禁止領域が設定される。また、その侵入禁止領域に物体が侵入した場合にその旨の検出結果（例えば、アラームの発報）を出力する旨が設定される。
【００９７】
続いて、撮像部１１０は、監視対象となる撮像範囲に含まれる被写体を撮像して画像を生成する（ステップＳ９０４）。続いて、仮想物体生成部１４０は、仮想物体設定部１３０により設定された仮想物体パラメータに基づいて仮想物体画像を生成する（ステップＳ９０５）。
【００９８】
続いて、合成部１５０は、撮像部１１０により生成された画像と、仮想物体生成部１４０により生成された仮想物体画像とを合成して合成画像を生成する（ステップＳ９０６）。続いて、検出部１７０は、検出パラメータ設定部１６０により設定された検出パラメータに基づいて、合成画像について検出処理を行う（ステップＳ９０７）。なお、ステップＳ９０７は、特許請求の範囲に記載の検出手順の一例である。
【００９９】
続いて、表示部１８０は、検出部１７０による検出処理の検出結果を表示する（ステップＳ９０８）。なお、ステップＳ９０８は、特許請求の範囲に記載の出力手順の一例である。
【０１００】
続いて、ユーザが所望する検出結果が得られたか否かが判断される（ステップＳ９０９）。例えば、表示部１８０に表示された検出結果をユーザが目視で確認し、所望する検出結果が得られたか否かを判断する。そして、所望する検出結果が得られなかった旨のユーザ操作が行われた場合には（ステップＳ９０９）、ステップＳ９０３に戻る。
【０１０１】
また、所望する検出結果が得られた旨のユーザ操作が行われた場合には（ステップＳ９０９）、全ての仮想物体画像を使用して検出パラメータの設定が行われたか否かが判断される（ステップＳ９１０）。例えば、ユーザが想定する全ての仮想物体画像を使用して検出パラメータの設定を行ったか否かを判断する。そして、ユーザが想定する全ての仮想物体画像を使用した検出パラメータの設定が行われていない旨のユーザ操作が行われた場合には（ステップＳ９１０）、ステップＳ９０２に戻る。一方、ユーザが想定する全ての仮想物体画像を使用して検出パラメータの設定が行われた旨のユーザ操作が行われた場合には（ステップＳ９１０）、検出パラメータ設定処理の動作を終了する。
【０１０２】
このように、本技術の第１の実施の形態では、２次元の物体輪郭画像を用いて、人体を長方形の板としてモデリングする例を示した。ただし、３次元の人体モデルとモデルへのテクスチャ画像の貼付とを用いて３次元的にモデリングを行うことも可能である。例えば、直方体の胴体と、直方体の手および足と、立方体の頭とのそれぞれをモデリングする。そして、これらの各立体のそれぞれの面毎に上述した方法により画面座標に変換するとともに、同様にテクスチャ画像を貼り付けて合成画像を得ることが可能である。
【０１０３】
＜２．第２の実施の形態＞
本技術の第１の実施の形態では、物体輪郭画像およびテクスチャ画像を用いて仮想物体画像を生成する例を示した。ここで、例えば、仮想物体画像とすべき画像を撮像装置により撮像して仮想物体画像を予め生成するようにしてもよい。
【０１０４】
そこで、本技術の第２の実施の形態では、仮想物体画像とすべき画像を撮像装置により撮像して仮想物体画像を予め生成する例を示す。なお、本技術の第２の実施の形態における画像処理装置は、本技術の第１の実施の形態における画像処理装置１００（図１に示す）と共通する。このため、画像処理装置１００と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
【０１０５】
［仮想物体画像の生成例］
図１３は、本技術の第２の実施の形態における合成部１５０による合成に用いられる仮想物体画像の生成例を示す図である。
【０１０６】
例えば、単一色の背景３０２の前に、仮想物体画像に対応する物体（例えば、人物）３０３を配置する。そして、各種の仮想物体画像に対応するように、物体３０３に動いてもらう。このように動く物体３０３を撮像装置（例えば、デジタルスチルカメラやデジタルビデオカメラ）３０１が動画として撮影する。そして、このように撮影された動画を構成する各フレームからその物体に相当する部分を切り抜き、仮想物体画像（時系列の物体パッチ画像）を生成する。
【０１０７】
例えば、物体として、複数の人物を集め、それぞれの人物に各種の服装をしてもらい、かつ、各種の動き（例えば、経路、歩き／走り）をしてもらいながら、その人物を動画として撮影することが好ましい。このように生成された仮想物体画像の例を図１４に示す。
【０１０８】
［仮想物体画像例］
図１４は、本技術の第２の実施の形態における合成部１５０による合成に用いられる仮想物体画像の例を示す図である。
【０１０９】
図１４には、図１３に示す方法により生成される仮想物体画像３０５乃至３０７を示す。なお、図１４では、仮想物体画像として３つの仮想物体画像３０５乃至３０７のみを示し、他の仮想物体画像の図示を省略する。また、仮想物体画像３０５乃至３０７を仮想物体生成部１４０が保持して用いる。
【０１１０】
［開始位置および終了位置の設定例］
図１５は、本技術の第２の実施の形態における仮想物体設定部１３０による開始位置および終了位置の設定例を示す図である。
【０１１１】
図１５には、画像３１０において、開始位置（開始座標）３１１および終了位置（終了座標）３１２と、開始位置３１１および終了位置３１２により特定される経路３１３とを示す。なお、図１５では、仮想物体画像を移動させるための経路（仮想物体画像を配置するための経路）として、開始位置３１１および終了位置３１２により特定される直線の経路３１３を示す。ただし、仮想物体画像を移動させるための経路については、侵入禁止領域に応じて適宜変更するようにしてもよい。例えば、外周が円状の侵入禁止領域である場合には、その円に沿うように、開始位置および終了位置間を曲線の経路として設定することができる。
【０１１２】
すなわち、仮想物体設定部１３０は、撮像部１１０により生成される画像に配置される物体（例えば、人物）の外観および動きを設定する。そして、検出部１７０は、その設定された物体の外観および動きにより特定される仮想物体画像が合成された複数の合成画像について検出処理を行う。例えば、仮想物体設定部１３０は、撮像部１１０により生成される画像において、仮想物体画像を配置するための経路を設定する。この場合には、検出部１７０は、その経路において仮想物体画像が合成された複数の合成画像について検出処理を行う。
【０１１３】
また、例えば、仮想物体設定部１３０は、撮像部１１０により生成される画像において、仮想物体画像を移動させるための複数の位置を設定するようにしてもよい。この場合には、検出部１７０は、それらの複数の位置のそれぞれに仮想物体画像が合成された複数の合成画像について検出処理を行う。例えば、撮像部１１０により生成される画像について設定された経路において、仮想物体画像を配置するための複数の位置を設定し、それらの複数の位置のそれぞれに仮想物体画像が合成された複数の合成画像について検出処理を行うことができる。
【０１１４】
［画像処理装置の動作例］
図１６は、本技術の第２の実施の形態における画像処理装置１００による検出パラメータ設定処理の処理手順の一例を示すフローチャートである。なお、この処理手順は、図１２に示す処理手順の一部を変形したものである。このため、図１２に示す処理手順と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
【０１１５】
仮想物体設定部１３０は、ユーザ操作に基づいて仮想物体を設定する（ステップＳ９２１）。例えば、仮想物体設定部１３０は、ユーザ操作に基づいて、予め用意した時系列の物体パッチ画像から、物体の属性（例えば、性別、年齢）、動きの種類、服装等を選択する。また、例えば、仮想物体設定部１３０は、実際の画像上で仮想物体画像を動かす位置として、開始位置（開始座標）および終了位置（終了座標）を設定する。この設定例を図１５に示す。また、例えば、仮想物体設定部１３０は、開始位置から終了位置までの移動経路における仮想物体画像の移動速度を設定する。このように設定することにより、複数の動きを連結させてより複雑な動きを構成することが可能である。また、例えば、仮想物体設定部１３０は、仮想物体のサイズ（幅および高さ）についても設定する。また、ここでは、撮像部１１０により生成された画像に仮想物体画像を合成するため、選択された時系列の物体パッチ画像を指定されたサイズにリサイズしておく。
【０１１６】
また、合成部１５０は、撮像部１１０により生成された画像と、仮想物体生成部１４０により選択された仮想物体画像とを合成して合成画像を生成する（ステップＳ９２２）。例えば、合成部１５０は、撮像部１１０により生成された画像において、仮想物体設定部１３０により設定された開始位置に、選択された物体パッチ画像列の最初の画像（仮想物体画像）を重ねる。例えば、合成部１５０は、撮像部１１０により生成された画像に物体パッチ画像が重ねられた部分において、撮像部１１０により生成された画像と物体パッチ画像とのどちらかの画素値を採用することにより合成画像を生成する。例えば、合成部１５０は、物体パッチ画像中の画素の色が、物体パッチ画像の撮影の時に用いた背景の色と同一の画素については、撮像部１１０より生成された画像の画素値を選択し、背景の色と同一でない画素については、物体パッチ画像の画素値を選択する。
【０１１７】
また、合成部１５０は、仮想物体設定部１３０により設定された経路に沿って、設定された速度で移動した場合における位置（次の座標）を設定する。そして、合成部１５０は、撮像部１１０により生成された画像において、その位置（次の座標）に、選択された物体パッチ画像列の２番目の画像（仮想物体画像）を重ねる。また、物体パッチ画像列の３番目以降の画像（仮想物体画像）についても同様に重ねられる。すなわち、これらの各合成処理を終了座標に到達するまで繰り返す。また、経路が複数ある場合には経路数分繰り返す。このように、順次生成される各合成画像について、検出部１７０が検出処理を行う（ステップＳ９０７）。
【０１１８】
＜３．第３の実施の形態＞
本技術の第１および第２の実施の形態では、検出部１７０による検出処理の検出結果をユーザが目視して、ユーザが手動で検出パラメータを設定する例を示した。この検出パラメータの設定については自動的に行うことも可能である。
【０１１９】
そこで、本技術の第３の実施の形態では、検出パラメータの設定を自動で行う例を示す。
【０１２０】
［画像処理装置の構成例］
図１７は、本技術の第３の実施の形態における画像処理装置４００の機能構成例を示すブロック図である。なお、画像処理装置４００は、本技術の第１の実施の形態における画像処理装置１００（図１に示す）の一部を変形したものである。このため、画像処理装置１００と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
【０１２１】
画像処理装置４００は、検出パラメータ設定部４１０を備える。
【０１２２】
検出パラメータ設定部４１０は、検出部１７０による検出処理の検出結果に基づいて、検出パラメータを自動的に計算して設定するものである。
【０１２３】
例えば、あるシーン内に風で揺れる木の枝と検出対象となる物体の両方が写っている状況で、木の枝の揺れを誤検出せずにその物体のみを検出する場合を想定する。例えば、検出処理の感度を低くすれば木の揺れを検出しなくなるが、その感度を低くし過ぎれば検出対象となる物体も検出しなくなってしまうおそれがある。
【０１２４】
ここで、合成画像における仮想物体画像の位置については、座標計算により事前に取得することが可能である。このため、得られた検出結果が仮想物体画像の物体の検出を示すのか、木の枝の揺れの誤検出を示すのかを自動的に判別することが可能である。
【０１２５】
そこで、合成部１５０は、合成画像とともに合成画像における仮想物体画像の位置を検出部１７０に出力する。また、検出部１７０は、その合成画像における仮想物体画像の位置を検出パラメータ設定部４１０に出力して保持させる。
【０１２６】
このように、合成画像における仮想物体画像の位置を保持することにより、検出パラメータ設定部４１０は、その合成画像における仮想物体画像の位置に基づいて、検出部１７０による検出処理の検出結果に誤検出が含まれるか否かを判断する。例えば、検出パラメータ設定部４１０は、検出部１７０による検出処理の検出結果に誤検出が含まれている場合には、検出感度を少し低く設定する。そして、検出部１７０は、その設定内容（検出感度を少し低く設定）に基づいてもう一度検出処理を行う。このように、検出感度の再設定および検出処理を、誤検出がなくなるまで自動的に繰り返すことにより、最終的に最適な検出パラメータを得ることができる。
【０１２７】
なお、仮想物体の選択についても自動的に設定することが可能である。例えば、各種の種類、動き、姿勢の物体を含む物体セットの中の各物体を順番に選択していくことが可能である。また、物体のサイズと物体の動きのみをユーザがセットして、物体のテクスチャのみをランダムに変えていく設定方法も可能である。これらにより、仮想物体をユーザが１つ１つ選択をする必要がなくなり、仮想物体の選択を自動で行うことができる。
【０１２８】
＜４．第４の実施の形態＞
本技術の第１乃至第３の実施の形態では、一体として構成される画像処理装置１００、４００を例にして説明した。ただし、画像処理装置１００、４００における各機能を複数の装置により実現する画像処理システムについても本技術の第１乃至第３の実施の形態を適用することができる。
【０１２９】
そこで、本技術の第４の実施の形態では、複数の装置により構成される画像処理システムの例を示す。なお、本技術の第４の実施の形態における画像処理システムを構成する各部は、図１に示す画像処理装置１００を構成する各部に対応する。このため、画像処理装置１００に対応する部分については、その旨を示してこれらの説明の一部を省略する。また、図１７に示す画像処理装置４００に対応する画像処理システムについては、図示およびその説明を省略するが、同様に適用することができる。
【０１３０】
［画像処理システムの構成例］
図１８は、本技術の第４の実施の形態における画像処理システム５００の構成例を示す図である。
【０１３１】
画像処理システム５００は、撮像装置５１０と、入出力装置５２０と、ネットワーク５３０とを備える。
【０１３２】
ネットワーク５３０は、撮像装置５１０および入出力装置５２０を接続するネットワークである。例えば、ネットワーク５３０は、電話網、インターネット等のネットワーク（例えば、公衆回線網）である。また、例えば、ネットワーク５３０は、有線ネットワーク（例えば、イーサネット（登録商標））や同軸ケーブルとするようにしてもよい。
【０１３３】
撮像装置５１０は、撮像部１１０と、信号処理部１２０と、仮想物体生成部１４０と、合成部１５０と、検出部１７０と、通信部５１１とを備える。
【０１３４】
入出力装置５２０は、仮想物体設定部１３０と、検出パラメータ設定部１６０と、表示部１８０と、通信部５２１とを備える。また、入出力装置５２０は、例えば、撮像装置５１０による検出結果を確認および制御するための端末である。
【０１３５】
通信部５１１は、ネットワーク５３０と接続され、ネットワーク５３０を介して入出力装置５２０との間で通信を行うものである。例えば、通信部５１１は、合成部１５０および検出部１７０から出力された情報をネットワーク５３０を介して入出力装置５２０に送信する。また、通信部５１１は、ネットワーク５３０を介して入出力装置５２０から受信した情報を仮想物体生成部１４０に出力する。
【０１３６】
通信部５２１は、ネットワーク５３０と接続され、ネットワーク５３０を介して撮像装置５１０との間で通信を行うものである。例えば、通信部５２１は、仮想物体設定部１３０および検出パラメータ設定部１６０から出力された情報をネットワーク５３０を介して撮像装置５１０に送信する。また、通信部５２１は、ネットワーク５３０を介して撮像装置５１０から受信した情報を表示部１８０に出力する。
【０１３７】
なお、図１８に示す画像処理システム５００は一例であり、他の構成とするようにしてもよい。例えば、撮像部１１０、表示部１８０、仮想物体設定部１３０、検出パラメータ設定部１６０以外の各部については、撮像装置５１０および入出力装置５２０のうちの何れか一方に配置することができる。
【０１３８】
［画像処理システムの構成例］
図１９は、本技術の第４の実施の形態における画像処理システム６００の構成例を示す図である。
【０１３９】
画像処理システム６００は、撮像装置６１０と、入出力装置６２０と、サーバ６３０と、ネットワーク６４０とを備える。
【０１４０】
なお、ネットワーク６４０は、図１８に示すネットワーク５３０に対応する。
【０１４１】
撮像装置６１０は、撮像部１１０と、信号処理部１２０と、通信部６１１とを備える。なお、通信部６１１は、図１８に示す通信部５１１に対応する。
【０１４２】
入出力装置６２０は、仮想物体設定部１３０と、検出パラメータ設定部１６０と、表示部１８０と、通信部６２１とを備える。なお、入出力装置６２０は、図１８に示す入出力装置５２０に対応する。すなわち、入出力装置６２０は、例えば、サーバ６３０による検出結果を確認および制御するための端末である。
【０１４３】
サーバ６３０は、仮想物体生成部１４０と、合成部１５０と、検出部１７０と、通信部６３１とを備える。また、サーバ６３０は、例えば、撮像装置６１０から出力される画像を取得してその画像を解析することにより所望の事象を検出する画像解析サーバである。
【０１４４】
通信部６３１は、ネットワーク６４０と接続され、ネットワーク６４０を介して撮像装置６１０、入出力装置５２０との間で通信を行うものである。例えば、通信部６３１は、合成部１５０および検出部１７０から出力された情報をネットワーク６４０を介して入出力装置６２０に送信する。また、通信部６３１は、ネットワーク６４０を介して撮像装置６１０から受信した情報を合成部１５０に出力する。また、通信部６３１は、ネットワーク６４０を介して入出力装置６２０から受信した情報を仮想物体生成部１４０に出力する。
【０１４５】
なお、図１９に示す画像処理システム６００は一例であり、他の構成とするようにしてもよい。例えば、例えば、撮像部１１０、表示部１８０、仮想物体設定部１３０、検出パラメータ設定部１６０以外の各部については、撮像装置６１０、入出力装置６２０およびサーバ６３０のうちの何れか１つに配置することができる。
【０１４６】
ここで、例えば、監視カメラにより監視している領域の状況は、昼、夜の違い、天候の違い、草が伸びる等により日々変化するため、監視カメラで検出処理を行うシステムにおいて、検出パラメータを正しく設定することは困難である。このため、従来では、例えば、検出処理が正しく動作するかどうかを、監視カメラが設置されている場所で実際に監視対象となる事象（例えば、侵入禁止領域への人物の侵入）を再現させ、本当に正しく動作しているかどうかを確認することが多かった。すなわち、様々な環境の変化や様々な物体の動きに対して正しく検出されるように検出パラメータを設定しなくてはならない。このため、様々な条件下で何度も現地に出向いて検出パラメータ設定を行わないと、精度よく検出処理を実行させられるような検出パラメータを得ることができなかった。
【０１４７】
また、例えば、近年では、ＩＰ（internet protocol）監視カメラの普及により、監視カメラの設置場所と監視員が実際に監視を行う端末をネットワークで接続することができるようになり、より広域の監視ができるようになった。しかしながら、その分監視員が監視カメラの設置場所へ出向くことにコストがかかるようになっている。また、現地で監視カメラの状態を確認することができるが、カメラの設定自体は端末で行うため、最低２人の人が現地側と端末側に分かれて設定を行う必要があり、非常にコストがかかっていた。
【０１４８】
さらに、従来では、監視カメラでの検出パラメータの設定を行う時に、様々な物体の動きや服装を考慮したうえでの最適な設定を行うには現地で人が様々な動きを行ってみる必要があり、莫大な労力をかけないと精度のよい検出を行うことができなかった。
【０１４９】
また、季節によって日の長さが変わったり草が伸びたりする影響で、検出パラメータの設定を変える必要があるが、１回の設定にかけるコストはなるべく抑えることが好ましい。
【０１５０】
このように、従来は、現地に人が出向いて様々な動きをしてみることで検出パラメータの妥当性を確認していた。
【０１５１】
これに対して、本技術の実施の形態では、人が現地に出向くことなく検出処理に用いる検出パラメータの設定を行うことができる。これにより、高い検出精度を保ちながら、その労力を低減させ、人件費を大幅に削減することができる。また、実際に監視カメラに映った物体の画像を利用せずに、仮想物体画像を仮想的に生成してカメラ画像に合成するため、必要十分な多様性のある動きの物体が写った合成画像に基づいて検出パラメータを適切に調整することができる。また、合成画像を利用した監視カメラの設定を容易にすることができる。
【０１５２】
なお、本技術の実施の形態では、監視対象となる撮像範囲を固定する画像処理装置を例にして説明した。ただし、例えば、監視対象となる撮像範囲を移動することが可能な画像処理装置（例えば、水平方向に首振りを行う首振り式監視カメラ）についても本技術の実施の形態を適用することができる。例えば、首振りの角度（例えば、水平方向における光軸の角度）と、各情報（例えば、背景画像情報、検出パラメータ、仮想物体パラメータ）とを関連付けて記憶しておく。そして、検出処理を行う場合には、検出処理時に対応する首振りの角度に関連付けて記憶されている各情報を用いて検出処理を行うようにする。
【０１５３】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１５４】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１５５】
なお、本技術は以下のような構成もとることができる。
（１）
撮像部により生成される画像に配置される物体を表す物体画像を設定する物体設定部と、
前記物体画像と前記撮像部により生成された画像とが合成された合成画像に含まれる前記物体を検出する検出部と、
前記検出部による検出処理に用いられる検出パラメータを設定するための出力情報であって前記合成画像および前記検出処理の検出結果が関連付けられている出力情報を出力する出力部と
を具備する画像処理装置。
（２）
前記検出パラメータは、前記検出処理を行う際の検出ルールを設定するためのパラメータ、および、前記検出処理の検出感度を調整するためのパラメータのうちの少なくとも１つであり、
前記検出部は、設定された前記検出パラメータを用いて前記検出処理を行う
前記（１）に記載の画像処理装置。
（３）
前記検出パラメータは、前記合成画像に含まれる前記物体が所定の動きをしたことを検出するためのパラメータであり、
前記検出部は、前記合成画像に含まれる前記物体が前記所定の動きをしたか否かを検出する
前記（１）または（２）に記載の画像処理装置。
（４）
前記検出パラメータは、前記撮像部により生成される画像における登録領域を特定するためのパラメータであり、
前記検出部は、前記合成画像に含まれる前記物体が前記登録領域に侵入したか否かを検出する
前記（３）に記載の画像処理装置。
（５）
前記出力部は、前記登録領域に侵入した前記物体を通知するための通知情報を前記合成画像に重ねて表示する前記（４）に記載の画像処理装置。
（６）
前記出力部は、前記合成画像から検出された前記物体を通知するための通知情報を前記出力情報に含めて出力する前記（１）から（５）のいずれかに記載の画像処理装置。
（７）
前記物体設定部は、前記撮像部により生成される画像に配置される前記物体の外観および動きを設定し、
前記検出部は、前記設定された前記物体の外観および動きにより特定される前記物体画像が合成された前記合成画像について前記検出処理を行う
前記（１）から（６）のいずれかに記載の画像処理装置。
（８）
前記物体設定部は、前記撮像部により生成される画像において前記物体画像を配置する経路を設定し、
前記検出部は、前記経路に前記物体画像が合成された前記合成画像について前記検出処理を行う
前記（７）に記載の画像処理装置。
（９）
前記物体設定部は、前記経路に前記物体画像を配置するための複数の位置を設定し、
前記検出部は、前記複数の位置のそれぞれに前記物体画像が合成された複数の前記合成画像について前記検出処理を行う
前記（８）に記載の画像処理装置。
（１０）
前記物体画像は、コンピュータグラフィックスにより生成される前記（１）から（９）のいずれかに記載の画像処理装置。
（１１）
前記物体画像は、前記物体の輪郭を表す物体輪郭画像とテクスチャ画像との合成により生成される前記（１０）に記載の画像処理装置。
（１２）
前記物体画像は、前記物体の撮影により生成される前記（１）から（９）のいずれかに記載の画像処理装置。
（１３）
撮像部により生成される画像に配置される物体を表す物体画像を設定する物体設定部と、
前記物体画像と前記撮像部により生成された画像とが合成された合成画像に含まれる前記物体を検出する検出部と、
前記検出部による検出結果に基づいて前記検出部による検出処理に用いられる検出パラメータを設定する検出パラメータ設定部と
を具備する画像処理装置。
（１４）
撮像部により生成される画像に配置される物体を表す物体画像を設定する物体設定手順と、
前記物体画像と前記撮像部により生成された画像とが合成された合成画像に含まれる前記物体を検出する検出手順と、
前記検出手順での検出処理に用いられる検出パラメータを設定するための出力情報であって前記合成画像および前記検出処理の検出結果が関連付けられている出力情報を出力する出力手順と
を具備する画像処理方法。
（１５）
撮像部により生成される画像に配置される物体を表す物体画像を設定する物体設定手順と、
前記物体画像と前記撮像部により生成された画像とが合成された合成画像に含まれる前記物体を検出する検出手順と、
前記検出手順での検出処理に用いられる検出パラメータを設定するための出力情報であって前記合成画像および前記検出処理の検出結果が関連付けられている出力情報を出力する出力手順と
をコンピュータに実行させるプログラム。
【符号の説明】
【０１５６】
１００  画像処理装置
１１０  撮像部
１１１  カメラ
１２０  信号処理部
１３０  仮想物体設定部
１４０  仮想物体生成部
１５０  合成部
１６０  検出パラメータ設定部
１７０  検出部
１８０  表示部
４００  画像処理装置
４１０  検出パラメータ設定部
５００  画像処理システム
５１０  撮像装置
５１１  通信部
５２０  入出力装置
５２１  通信部
５３０  ネットワーク
６００  画像処理システム
６１０  撮像装置
６１１  通信部
６２０  入出力装置
６３０  サーバ
６３１  通信部
６４０  ネットワーク
【図１】
2015019133.tif 000007
【図２】
2015019133.tif 000008
【図３】
2015019133.tif 000009
【図４】
2015019133.tif 000010
【図５】
2015019133.tif 000011
【図６】
2015019133.tif 000012
【図７】
2015019133.tif 000013
【図８】
2015019133.tif 000014
【図９】
2015019133.tif 000015
【図１０】
2015019133.tif 000016
【図１１】
2015019133.tif 000017
【図１２】
2015019133.tif 000018
【図１３】
2015019133.tif 000019
【図１４】
2015019133.tif 000020
【図１５】
2015019133.tif 000021
【図１６】
2015019133.tif 000022
【図１７】
2015019133.tif 000023
【図１８】
2015019133.tif 000024
【図１９】
2015019133.tif 000025