(57)【要約】【課題】監視装置設定時のユーザ負担を軽減することができる監視装置を提供すること。【解決手段】撮像装置１００において、３Ｄモデル生成部１０７が、世界座標で表された監視指定領域を規定する端点群に人物モデルを配置した３Ｄモデルを生成し、座標変換部１０５が、３Ｄモデルを画像座標系の２Ｄモデルに変換する。こうすることにより、監視指定領域の端部に人物が立ったときにその人物が撮影画像に映し出されるであろう推測画像を表示することができるので、カメラ１０１を好適な設定条件に容易に調整することができる。これにより、撮像装置１００の設定時のユーザ負担を軽減することができる。【選択図】図１
2011097284.tif 000002
【特許請求の範囲】
【請求項１】
世界座標で表された監視指定領域を規定する端点群に人物形状モデルを配置した３Ｄモデルを生成する３Ｄモデル生成手段と、
前記３Ｄモデルを画像座標系の２Ｄモデルに変換する座標変換手段と、
前記２Ｄモデルを、カメラで映された撮像画像に重畳して表示する表示手段と、
を具備する監視装置。
【請求項２】
２Ｄモデルにおける人物形状モデルの全てが収まる第２指定領域を指定し、前記座標変換手段に前記第２指定領域を画像座標からカメラ座標へ変換させる領域指定手段と、
カメラ座標に変換された前記第２指定領域を規定する端点群の座標に基づいて、前記カメラの方向及び画角の調整量を算出する算出手段と、
をさらに具備する請求項１に記載の監視装置。
【請求項３】
画像座標系の平面が分割された複数の部分領域と、各部分領域に対応する人物の特徴点に関するデータを保持する特徴データ保持手段と、
前記部分領域ごとに、前記部分領域に対応する人物の特徴点を用いて人物画像を検出し、前記人物画像が検出された画像座標を出力する検出手段と、
前記検出された画像座標に基づいて人物画像の移動軌跡を算出し、当該移動軌跡で規定される領域を前記監視指定領域に設定する監視領域設定手段と、
をさらに具備する請求項１又は２に記載の監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視装置に関する。
【背景技術】
【０００２】
従来、監視装置においては、視野角が６０度程度の普通のカメラが使用されることが多かったが、広角レンズの低価格化や一つのカメラで広範囲に監視したいというニーズの高まりにより、広角レンズ（視野角９０度程度）を用いることが検討されている。広角レンズを用いた監視装置としては、特許文献１に開示されているものがある。特許文献１に開示された監視装置では、広角カメラで撮影された映像データから画像認識処理により人物の位置を特定する。
【０００３】
監視装置においては、ユーザが監視したい監視対象となる領域である監視指定領域を撮像画像から指定し、カメラの画角やズーム率等を設定する必要がある。従って、ユーザが指定する監視領域を適切に撮影するためには、カメラの画角又はズーム率等が適切に設定される必要がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−６９３４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、広角カメラの場合、カメラからの距離とカメラの光軸に対する角度（水平方向）に応じて、監視対象である人物の撮影画像中における見え方（つまり、撮影画像中での映り方又は大きさ）が大きく変化する。このため、カメラ設置時に画角やズーム率等を設定する際、ユーザが人物の撮影画像中（特に、撮影画像の端部）における見え方を推測することは困難であり、人物が監視領域内に存在してもその人物が撮影画像に上手く収まるか否か判断することができない。従って、現状では、実際に人に監視対象となる領域である監視指定領域に立ってもらった上で、人の画像が撮影画像内に収まるようにカメラの画角やズーム率等を設定する必要があり、ユーザに掛かる負担が大きい問題がある。
【０００６】
本発明の目的は、監視装置設定時のユーザ負担を軽減することができる監視装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明の監視装置は、世界座標で表された監視指定領域を規定する端点群に人物形状モデルを配置した３Ｄモデルを生成する３Ｄモデル生成手段と、前記３Ｄモデルを画像座標系の２Ｄモデルに変換する座標変換手段と、前記２Ｄモデルを、カメラで映された撮像画像に重畳して表示する表示手段と、を具備する構成を採る。
【発明の効果】
【０００８】
本発明によれば、監視装置設定時のユーザ負担を軽減することができる監視装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１に係る撮像装置の構成を示すブロック図
【図２】種々の座標系の説明に供する図
【図３】本発明の実施の形態１に係る撮像装置の動作説明に供するフロー図
【図４】本発明の実施の形態１に係る撮像装置の動作説明に供する図
【図５】本発明の実施の形態２に係る撮像装置の構成を示すブロック図
【図６】本発明の実施の形態２に係る撮像装置の動作説明に供するフロー図
【図７】本発明の実施の形態２に係る撮像装置の動作説明に供する図
【図８】本発明の実施の形態３に係る撮像装置の構成を示すブロック図
【図９】カメラの撮像範囲が分割された複数の部分範囲の説明に供する図
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。
【００１１】
（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置１００の構成を示すブロック図である。図１において、撮像装置１００は、カメラ１０１と、撮影情報取得部１０２と、表示部１０３と、領域指定部１０４と、座標変換部１０５と、パラメータ保持部１０６と、３Ｄモデル生成部１０７とを有する。
【００１２】
撮像装置１００は、カメラ１０１によって撮像画像を得る。撮像装置１００は例えば監視装置であり、その場合、カメラ１０１は監視カメラであり、監視空間の撮影を行う。
【００１３】
カメラ１０１は、撮影画像を、撮影情報取得部１０２を介して表示部１０３に出力する。撮影情報取得部１０２は、例えば撮影画像を記録再生する記録再生部である。また、カメラ１０１は、カメラ１０１の向き（パン・チルト）及び画角（ズーム）を調整可能に構成されている。パン・チルト情報及び画角情報は、パラメータ保持部１０６に保持される。パラメータ保持部１０６の保持情報は、パン・チルト情報及び画角情報が変更される都度、更新される。すなわち、パラメータ保持部１０６には、現在のカメラ１０１の向き及び画角に関する情報が保持される。
【００１４】
座標変換部１０５は、或る座標系で表された入力データを他の座標系に変換する。この座標変換に必要なカメラ内部パラメータ及びカメラ外部パラメータは、パラメータ保持部１０６に保持されている。カメラ内部パラメータとは、焦点距離又はレンズ等によって影響を受けるパラメータであり、カメラ外部パラメータとは、カメラの設置条件に起因する、カメラの高さ、仰角、及び俯角である。
【００１５】
実施の形態１では、座標変換部１０５は、世界座標変換部１０８と画像座標変換部１０９とを有し、世界座標変換部１０８は、領域指定部１０４から受け取る画像座標系の指定領域を世界座標系の指定領域に変換する。また、画像座標変換部１０９は、３Ｄモデル生成部１０７から受け取る世界座標系の３Ｄモデルデータを画像座標系の２Ｄモデルデータに変換する。世界座標系の指定領域は、３Ｄモデル生成部１０７へ出力される一方、画像座標系の２Ｄモデルデータは、表示部１０３へ出力され、実画像に重畳表示される。
【００１６】
ここで、図２に示すように、世界座標系（Ｘ，Ｙ，Ｚ）とは、空間全体を表す３次元座標系を意味し、カメラ座標系（ｘ，ｙ，ｚ）とは、カメラの視点を原点とし、ｚ軸の正方向を視軸とした３次元の座標系を意味し、画像座標系（ｕ，ｖ）とは、撮影されたカメラ画像上にある２次元座標系を意味する。
【００１７】
３Ｄモデル生成部１０７は、人物モデルを生成するとともに、座標変換部１０５から受け取る、世界座標系で表された指定領域と当該指定領域を規定する端点群のそれぞれに配置された人物モデルから成る３Ｄモデルデータを生成する。この３Ｄモデルデータは、座標変換部１０５に出力される。なお、指定領域を規定する端点群としては、指定領域が矩形の場合には、例えば、その矩形の頂点群が選ばれる。
【００１８】
次に、以上の構成を有する撮像装置１００の動作について説明する。図３は、撮像装置１００の動作説明に供するフロー図である。
【００１９】
ステップＳＴ２０１で領域指定部１０４は、ユーザからの指示に従って、撮像画像中に監視指定領域を指定する。ここでは、監視指定領域は矩形であるので、指定領域情報は、指定領域を規定する端点群の座標を含む。図４（ａ）では、画像座標が（ｕ１，ｖ１），（ｕ２，ｖ２），（ｕ３，ｖ３），（ｕ４，ｖ４）の４点を頂点とする矩形が指定領域として指定されているので、この場合には、４つの頂点の座標情報が指定領域情報として領域指定部１０４へ出力される。
【００２０】
ステップＳＴ２０２で座標変換部１０５は、領域指定部１０４で指定された指定領域を画像座標系のデータから世界座標系のデータへ座標変換する。図４（ｂ）には、世界座標が（Ｘ１，Ｙ１，０），（Ｘ２，Ｙ２，０），（Ｘ３，Ｙ３，０），（Ｘ４，Ｙ４，０）の４点を頂点とする、世界座標で表された指定領域が示されている。
【００２１】
ステップＳＴ２０３で３Ｄモデル生成部１０７は、指定領域を規定する４頂点のそれぞれに人物三次元モデルを配置した３Ｄモデルデータを生成する（図４（ｃ）参照）。
【００２２】
ステップＳＴ２０４で座標変換部１０５は、世界座標系の３Ｄモデルデータを画像座標系の２Ｄモデルデータに変換する。
【００２３】
ステップＳＴ２０５で表示部１０３は、撮影情報取得部１０２を介して受け取る実撮影画像に座標変換部１０５で得られた２Ｄモデルを重畳して表示する（図４（ｄ）参照）。こうして表示される２Ｄモデルは、ユーザによって指示された指定領域の端部に人物が立ったときにその人物が撮影画像に映し出されるであろう推測画像である。従って、ユーザが推測画像の態様に応じてカメラ１０１の向き（パン・チルト）及び画角（ズーム）等を調整できるので、カメラ１０１を好適な設定条件に容易に調整することができる。
【００２４】
以上のように本実施の形態によれば、撮像装置１００において、３Ｄモデル生成部１０７が、世界座標で表された監視指定領域を規定する端点群に人物モデルを配置した３Ｄモデルを生成し、座標変換部１０５が、３Ｄモデルを画像座標系の２Ｄモデルに変換する。
【００２５】
こうすることにより、監視指定領域の端部に人物が立ったときにその人物が撮影画像に映し出されるであろう推測画像を表示することができるので、カメラ１０１を好適な設定条件に容易に調整することができる。これにより、撮像装置１００の設定時のユーザ負担を軽減することができる。
【００２６】
また、世界座標で表された監視指定領域の指定は、表示画面を見ながらユーザによって指定された、画像座標系の監視指定領域を世界座標系に変換することにより行われる。
【００２７】
（実施の形態２）
実施の形態２では、２Ｄモデルにおける人物の推測画像が表示画面内に収まるように自動的にカメラの設定条件を調整する。
【００２８】
図５は、本発明の実施の形態２に係る撮像装置３００の構成を示すブロック図である。図５において、撮像装置３００は、領域指定部３０１と、座標変換部３０２と、カメラ調整値算出部３０３とを有する。
【００２９】
領域指定部３０１は、領域指定部１０４と同一の機能を有するとともに、２Ｄモデルにおける人物の推測画像の全てが収まる第２指定領域を指定する。
【００３０】
座標変換部３０２は、世界座標変換部１０８と画像座標変換部１０９との他に、カメラ座標変換部３０４を有する。カメラ座標変換部３０４は、画像座標系の第２指定領域をカメラ座標系の指定領域に変換する。
【００３１】
カメラ調整値算出部３０３は、カメラ座標系に変換された第２指定領域の重心と、カメラ１０１の光軸とが重なるように、カメラ１０１の向き（パン・チルト）及び画角（ズーム）の調整量を算出する。この調整量の算出には、カメラ座標変換部３０４から受け取るカメラ座標系の第２指定領域に関するデータとパラメータ保持部１０６に保持されている現在のカメラ１０１が自身の向き及び画角に関する情報とが用いられる。ここで算出された調整量に基づいてカメラ１０１が自身の向き及び画角を自動調整する。
【００３２】
次に、以上の構成を有する撮像装置３００の動作について説明する。
【００３３】
図６のステップＳＴ４０１で領域指定部３０１は、２Ｄモデルにおける人物の推測画像の全てが収まる第２指定領域を指定する。ここでは、第２指定領域は矩形であるので、第２指定領域情報は、指定領域を規定する端点群の座標を含む。図７（ａ）では、画像座標が（ｕ’１，ｖ’１），（ｕ’２，ｖ’２），（ｕ’３，ｖ’３），（ｕ’４，ｖ’４）の４点を頂点とする矩形が指定領域として指定されているので、この場合には、４つの頂点の座標情報が第２指定領域情報として領域指定部３０１へ出力される。
【００３４】
ステップＳＴ４０２で座標変換部３０２は、領域指定部３０１で指定された第２指定領域を画像座標系のデータからカメラ座標系のデータへ座標変換する。図７（ｂ）には、カメラ座標が（ｘ’１，ｙ’１，ｚ’１），（ｘ’２，ｙ’２，ｚ’２），（ｘ’３，ｙ’３，ｚ’３），（ｘ’４，ｙ’４，ｚ’４）の４点を頂点とする、カメラ座標で表された第２指定領域が示されている。ここでは、図７（ｃ）に示すように、座標変換部３０２は、極座標形式に第２指定領域を変換する。図７（ｃ）には、極座標形式のカメラ座標（ｒ１，θ１，ρ１），（ｒ２，θ２，ρ２），（ｒ３，θ３，ρ３），（ｒ４，θ４，ρ４）を頂点とする、第２指定領域が示されている。
【００３５】
ステップＳＴ４０３でカメラ調整値算出部３０３は、極座標形式のカメラ座標で表された第２指定領域の重心の座標を算出する。この重心の座標は、カメラ向きの調整量となる。具体的には、次の式（１）に基づいて、重心の座標（Ｃａｍ＿ρ，Ｃａｍ＿θ）を算出する。
Ｃａｍ＿ρ＝（Ｍａｘ（ρ）＋Ｍｉｎ（ρ））／２
Ｃａｍ＿θ＝（Ｍａｘ（θ）＋Ｍｉｎ（θ））／２  ・・・（１）
ここで、Ｍａｘ（ρ）及びＭｉｎ（ρ）は、第２指定領域の４頂点の極座標の内での偏角ρの最大値及び最小値であり、Ｍａｘ（θ）及びＭｉｎ（θ）は、第２指定領域の４頂点の極座標の内での偏角θの最大値及び最小値である。
【００３６】
ステップＳＴ４０４でカメラ調整値算出部３０３は、第２指定領域の重心を中心に、第２指定領域全体が収まる画角幅φを算出し、ステップＳＴ４０５で、この画角幅φに合わせて焦点距離の移動量を画角調整量として算出する。
【００３７】
ステップＳＴ４０６でカメラ１０１は、ステップＳＴ４０３及びステップＳＴ４０５で算出されたカメラの向き調整量及び画角調整量に基づいて自身の向き及び画角を自動調整する。
【００３８】
（実施の形態３）
実施の形態３では、実際に監視指定領域の輪郭を移動する人の画像を検出及び追尾することにより、監視対象となる領域を指定する。
【００３９】
図８は、本発明の実施の形態３に係る撮像装置５００の構成を示すブロック図である。図８において、撮像装置５００は、特徴データ保持部５０１と、人物検出部５０２と、領域指定部５０３とを有する。
【００４０】
特徴データ保持部５０１は、画像座標系の平面が分割された複数の部分領域と、各部分領域に対応する人物の特徴点に関するデータを保持する。複数の部分領域は、カメラ１０１の撮像範囲が分割された複数の部分範囲とそれぞれ対応している。部分範囲は、水平方向の視野角を所定角度毎に分割した各角度範囲として定義されても良いし、角度範囲を更にカメラ１０１からの距離を基準に分割した範囲として定義されても良い。図９には、撮像範囲を角度に関して３つに分割し且つ距離に関して２つに分割した、６つの部分範囲が示されている。図９では、所定角度θ及び所定距離ｄによって撮像範囲が部分範囲に分割されている。なお、図９の網掛け部分は、図２の網掛け部分に相当する。
【００４１】
人物検出部５０２は、従来から利用されている人物検出アルゴリズムを用いて画像中の人物を検出し且つトラッキングすると共に、トラッキング中に人物が検出される画像座標を領域指定部５０３へ順次出力する。人物検出及びトラッキングには、特徴データ保持部５０１に保持されている人物モデルの特徴点データが用いられる。人物検出及びトラッキングに使用される人物モデルの特徴点データは、人物画像が検出される部分領域に応じて切り換えられる。
【００４２】
具体的には、人物検出部５０２は、最初に人物を検出するまではどの部分範囲に人物が現れるのかわからないので、特徴データ保持部５０１に保持されている全部分領域の特徴点データを用いて人物検出を試みる。そして、人物検出部５０２は、検出された人物画像をトラッキングして得られる移動軌跡から次の移動先ポイントを推定し、現在の検出ポイントが含まれる部分領域と移動先ポイントが含まれる部分領域とが異なるときに、人物検出及びトラッキングに用いる人物の特徴点を切り換える。このように撮像対象である人物の位置に応じて人物検出に用いる特徴点データを切り換えることにより、カメラと撮像対象との位置関係に応じて撮像対象の映り方が大きく変化しても、精度良く撮像対象を検出することができる。
【００４３】
領域指定部５０３は、人物検出部５０２から受け取る画像座標に基づいて、撮像対象である人物の移動軌跡を算出し、移動軌跡で規定される領域を指定領域として設定する。この指定領域は、座標変換部１０５へ出力される。
【００４４】
以上のように本実施の形態によれば、撮像装置５００において、画像座標系の平面が分割された複数の部分領域と、各部分領域に対応する人物の特徴点に関するデータを保持している。
【００４５】
こうすることで、カメラ１０１と検出対象である人物との位置関係に応じて人物の映り方が大きく変化しても、検出対象の存在位置が含まれる部分範囲に対応する特徴点を用いることができるので、検出対象を精度良く検出することができる。
【００４６】
また、撮像装置５００において、人物の移動軌跡により規定される領域を指定領域とするので、指定領域の設定を簡易に行うことが可能となり、ユーザの利便性を高めることができる。
【００４７】
なお、上記説明では、人物の移動軌跡によって指定領域を設定する指定領域設定方法を実施の形態１の構成に適用する場合について説明したが、実施の形態２の構成に対しても当然に適用することができる。
【００４８】
なお、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
【００４９】
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００５０】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【００５１】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【産業上の利用可能性】
【００５２】
本発明の監視装置は、監視装置設定時のユーザ負担を軽減することができるものとして有用である。
【符号の説明】
【００５３】
１００，３００，５００  撮像装置
１０１  カメラ
１０２  撮影情報取得部
１０３  表示部
１０４，３０１，５０３  領域指定部
１０５，３０２  座標変換部
１０６  パラメータ保持部
１０７  ３Ｄモデル生成部
１０８  世界座標変換部
１０９  画像座標変換部
３０３  カメラ調整値算出部
３０４  カメラ座標変換部
５０１  特徴データ保持部
５０２  人物検出部
【図１】
2011097284.tif 000003
【図２】
2011097284.tif 000004
【図３】
2011097284.tif 000005
【図４】
2011097284.tif 000006
【図５】
2011097284.tif 000007
【図６】
2011097284.tif 000008
【図７】
2011097284.tif 000009
【図８】
2011097284.tif 000010
【図９】
2011097284.tif 000011