(57)【要約】【課題】表示手段の撮像画像表示画面に対するポイント入力により、撮像手段が自動的にズームインし、引き続き、撮像画像に基づいて自動的に人の顔検出、又は人の頭部検出に移行させることができ、さらにオペレータの監視作業の続行の容易化を図ることができる監視システムを提供する。【解決手段】監視システムはパン機構５０と、チルト機構６０を備え、ズーム機構４０，パン機構５０，チルト機構６０を制御する制御装置７０を備える。制御装置７０はペン３５により、区画指定すると、指定領域内の所定画像領域が拡大するようにズーム機構４０をズームイン制御して、撮像画像を拡大する。さらに、制御装置７０は、拡大された撮像画像に基づいて人の顔検出又は人の頭部検出を行う。【選択図】        図１
2005150834.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、前記撮像手段にて撮像した画像を表示する表示手段と、前記表示手段の撮像画像表示画面上を指定するポイント入力手段と、前記撮像手段の撮像画像を拡大縮小するズーム手段と、前記ズーム手段を制御する制御手段とを備えた監視システムにおいて、
前記撮像画像表示画面の画像の中から、人の顔検出又は人の頭部検出を行う検出手段を備え、
前記制御手段は、前記ポイント入力手段にて前記表示手段の撮像画像表示画面上を指定したとき、前記ポイント入力手段が指定したポイント部分を少なくとも含む所定画像領域を拡大するように、前記ズーム手段をズームイン制御し、
前記検出手段は、前記拡大された撮像画像に基づいて人の顔検出又は人の頭部検出を行うことを特徴とする監視システム。
【請求項２】
撮像手段と、前記撮像手段にて撮像した画像を表示する表示手段と、前記表示手段の撮像画像表示画面上を指定するポイント入力手段と、前記撮像手段の撮像画像を拡大縮小するズーム手段と、前記ズーム手段を制御する制御手段とを備えた監視システムにおいて、
前記撮像画像表示画面の画像の中から、人の顔検出又は人の頭部検出を行う検出手段を備え、
前記制御手段は、前記ポイント入力手段にて前記表示手段の撮像画像表示画面上を区画指定したとき、前記ポイント入力手段が区画指定した区画領域を少なくとも含む所定画像領域を拡大するように、前記ズーム手段をズームイン制御し、
前記検出手段は、前記拡大された撮像画像に基づいて人の顔検出又は人の頭部検出を行うことを特徴とする監視システム。
【請求項３】
撮像手段と、前記撮像手段にて撮像した画像を表示する表示手段と、前記表示手段の撮像画像表示画面上を指定するポイント入力手段と、前記撮像手段の撮像画像を拡大縮小するズーム手段と、前記ズーム手段を制御する制御手段とを備えた監視システムにおいて、
前記撮像画像表示画面の画像の中から、人の顔検出又は人の頭部検出を行う検出手段を備え、
前記制御手段は、前記ポイント入力手段が区画指定した区画領域内を少なくとも含む所定画像領域が人の顔検出又は人の頭部検出に不適当な場合は、前記ズーム手段をズームイン制御して、撮像画像を拡大し、
前記検出手段は、前記拡大された撮像画像に基づいて人の顔検出又は人の頭部検出を行うことを特徴とする監視システム。
【請求項４】
前記所定画像領域が人の顔検出又は人の頭部検出に不適当な場合は、前記所定画像領域の画素数が人の顔検出又は人の頭部検出に適さない画素数であることを含むことを特徴とする請求項３に記載の監視システム。
【請求項５】
前記所定画像領域が人の顔検出又は人の頭部検出に不適当な場合は、前記所定画像領域内において人の顔検出又は人の頭部検出を行い、その結果、人の顔検出又は人の頭部検出ができない場合を含むことを特徴とする請求項３に記載の監視システム。
【請求項６】
前記撮像手段の撮影方向を可変する撮影方向可変手段を備え、前記制御手段は、前記撮影方向可変手段と前記ズーム手段を制御するようにされており、
前記ポイント入力手段が撮像画像表示画面上を指定したとき、指定したポイントが撮像画像表示画面中央にないときは、前記制御手段は、その指定したポイントに対応する撮像画像を撮像画像表示画面の中央に位置するように、撮影方向可変手段を制御して撮像手段の撮影方向を可変することを特徴とする請求項１に記載の監視システム。
【請求項７】
前記撮像手段の撮影方向を可変する撮影方向可変手段を備え、前記制御手段は、前記撮影方向可変手段と前記ズーム手段を制御するようにされており、
前記ポイント入力手段が撮像画像表示画面上を区画指定したとき、区画指定した領域が撮像画像表示画面中央にないときは、前記制御手段は、その指定した区画指定した領域に対応する撮像画像を撮像画像表示画面の中央に位置するように、撮影方向可変手段を制御して撮像手段の撮影方向を可変することを特徴とする請求項２又は請求項３に記載の監視システム。
【請求項８】
前記撮像手段の撮影方向を可変する撮影方向可変手段を備え、前記制御手段は、前記撮影方向可変手段と前記ズーム手段を制御するようにされており、
前記検出手段が、顔検出又は頭部検出ができた後、同検出された顔検出又は頭部検出された撮像対象が移動したとき、前記制御手段は、前記撮像手段が前記撮像対象に対して追従するように前記撮影方向可変手段を追跡制御することを特徴とする請求項１乃至請求項７のうちいずれか１項に記載の監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ポイント入力手段のポイント入力により、自動的に撮像手段の制御を行うことができる監視システムに関する。
【背景技術】
【０００２】
従来、パンチルトズームカメラを用いて監視作業を行う際のインタフェースは、多くのボタンやスティック状のコントロールを用いているため、操作が複雑となり、意図通りにカメラを制御することは困難であった。このような作業を簡易化する手法として特許文献１の技術が提案されている。特許文献１では、ポイント入力装置の操作、例えば、マウス操作や、タッチパネルに対するタッチペンによる入力操作により、監視対象の人物を表示装置の撮像画像表示画面に対してポイント入力すると、ポイント入力された画像を撮像画像表示画面の中央に位置するようにカメラをパンチルトし、画像を拡大するようにしている。このように、特許文献１ではカメラのパンチルト制御及びズーム制御を自動的に行うようにしている。
【特許文献１】特許第２９８１４０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、監視対象の人物が移動すると、画面中央から監視対象の人物の撮像画像が外れるため、再び、監視を容易に行うためにはポイント入力装置にて、移動した後の監視対象の人物の撮像画像に対してポイント入力する必要があり、監視続行するための操作が面倒である問題がある。
【０００４】
本発明の目的は、表示手段の撮像画像表示画面に対するポイント入力により、撮像手段が自動的にズームインし、引き続き、撮像画像に基づいて自動的に人の顔検出、又は人の頭部検出に移行させることができ、さらにオペレータの監視作業の続行の容易化を図ることができる監視システムを提供することにある。
【課題を解決するための手段】
【０００５】
上記問題点を解決するために、請求項１の発明は、撮像手段と、前記撮像手段にて撮像した画像を表示する表示手段と、前記表示手段の撮像画像表示画面上を指定するポイント入力手段と、前記撮像手段の撮像画像を拡大縮小するズーム手段と、前記ズーム手段を制御する制御手段とを備えた監視システムにおいて、前記撮像画像表示画面の画像の中から、人の顔検出又は人の頭部検出を行う検出手段を備え、前記制御手段は、前記ポイント入力手段にて前記表示手段の撮像画像表示画面上を指定したとき、前記ポイント入力手段が指定したポイント部分を少なくとも含む所定画像領域を拡大するように、前記ズーム手段をズームイン制御し、前記検出手段は、前記拡大された撮像画像に基づいて人の顔検出又は人の頭部検出を行うことを特徴とする監視システムを要旨とするものである。
【０００６】
請求項２の発明は、撮像手段と、前記撮像手段にて撮像した画像を表示する表示手段と、前記表示手段の撮像画像表示画面上を指定するポイント入力手段と、前記撮像手段の撮像画像を拡大縮小するズーム手段と、前記ズーム手段を制御する制御手段とを備えた監視システムにおいて、前記撮像画像表示画面の画像の中から、人の顔検出又は人の頭部検出を行う検出手段を備え、前記制御手段は、前記ポイント入力手段にて前記表示手段の撮像画像表示画面上を区画指定したとき、前記ポイント入力手段が区画指定した区画領域を少なくとも含む所定画像領域を拡大するように、前記ズーム手段をズームイン制御し、前記検出手段は、前記拡大された撮像画像に基づいて人の顔検出又は人の頭部検出を行うことを特徴とする監視システムを要旨とするものである。
【０００７】
請求項３の発明は、撮像手段と、前記撮像手段にて撮像した画像を表示する表示手段と、前記表示手段の撮像画像表示画面上を指定するポイント入力手段と、前記撮像手段の撮像画像を拡大縮小するズーム手段と、前記ズーム手段を制御する制御手段とを備えた監視システムにおいて、前記撮像画像表示画面の画像の中から、人の顔検出又は人の頭部検出を行う検出手段を備え、前記制御手段は、前記ポイント入力手段が区画指定した区画領域内を少なくとも含む所定画像領域が人の顔検出又は人の頭部検出に不適当な場合は、前記ズーム手段をズームイン制御して、撮像画像を拡大し、前記検出手段は、前記拡大された撮像画像に基づいて人の顔検出又は人の頭部検出を行うことを特徴とする監視システムを要旨とするものである。
【０００８】
請求項４の発明は、請求項３において、前記所定画像領域が人の顔検出又は人の頭部検出に不適当な場合は、前記所定画像領域の画素数が人の顔検出又は人の頭部検出に適さない画素数であることを含むことを特徴とする。
【０００９】
請求項５の発明は、請求項３において、前記所定画像領域が人の顔検出又は人の頭部検出に不適当な場合は、前記所定画像領域内において人の顔検出又は人の頭部検出を行い、その結果、人の顔検出又は人の頭部検出ができない場合を含むことを特徴とする。
【００１０】
請求項６の発明は、請求項１において、前記撮像手段の撮影方向を可変する撮影方向可変手段を備え、前記制御手段は、前記撮影方向可変手段と前記ズーム手段を制御するようにされており、前記ポイント入力手段が撮像画像表示画面上を指定したとき、指定したポイントが撮像画像表示画面中央にないときは、前記制御手段は、その指定したポイントに対応する撮像画像を撮像画像表示画面の中央に位置するように、撮影方向可変手段を制御して撮像手段の撮影方向を可変することを特徴とする。
【００１１】
請求項７の発明は、請求項２又は請求項３において、前記撮像手段の撮影方向を可変する撮影方向可変手段を備え、前記制御手段は、前記撮影方向可変手段と前記ズーム手段を制御するようにされており、前記ポイント入力手段が撮像画像表示画面上を区画指定したとき、区画指定した領域が撮像画像表示画面中央にないときは、前記制御手段は、その指定した区画指定した領域に対応する撮像画像を撮像画像表示画面の中央に位置するように、撮影方向可変手段を制御して撮像手段の撮影方向を可変することを特徴とする。
【００１２】
請求項８の発明は、請求項１乃至請求項７において、前記撮像手段の撮影方向を可変する撮影方向可変手段を備え、前記制御手段は、前記撮影方向可変手段と前記ズーム手段を制御するようにされており、前記検出手段が、顔検出又は頭部検出ができた後、同検出された顔検出又は頭部検出された撮像対象が移動したとき、前記制御手段は、前記撮像手段が前記撮像対象に対して追従するように前記撮影方向可変手段を追跡制御することを特徴とする。
【発明の効果】
【００１３】
請求項１乃至請求項８の発明によれば、表示手段の撮像画像表示画面に対するポイント入力により、撮像手段が自動的にズームインし、引き続き、撮像画像に基づいて自動的に人の顔検出又は人の頭部検出に移行させることができる。このことにより、人の顔検出又は人の頭部検出が行われているため、この情報を使用することにより、さらにオペレータの監視作業の続行の容易化を図ることができる効果を奏する。
【００１４】
請求項３によれば、ポイント入力手段が区画指定した区画領域内を少なくとも含む所定画像領域が、人の顔検出又は頭部検出ができないような不適当な場合には、自動的に撮像画像を拡大して監視を行うことができる。
【００１５】
請求項４の発明によれば、所定画像領域の画素数が人の顔検出又は人の頭部検出に適さない画素数である場合に、請求項３の作用効果を実現できる。
請求項５の発明によれば、所定画像領域内において人の顔検出又は人の頭部検出を行って、検出ができなかった場合に、請求項３の作用効果を実現できる。
【００１６】
請求項６によれば、ポイント入力した部分が見やすい画面中央に自動的に位置させるため、監視したい対象画像を見やすくでき、監視作業を容易にできる。
請求項７によれば、区画指定した領域が見やすい画面中央に自動的に位置させるため、監視したい対象画像を見やすくでき、監視作業を容易にできる。
【００１７】
請求項８の発明によれば、顔検出又は頭部検出ができた場合、移動する撮像対象に対して、撮像手段が自動的に追跡できるため、オペレータが移動する撮像対象を監視するために新たな操作を行う必要がなく、監視作業の続行を容易に行うことができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を具体化した監視システムの一実施形態を図１〜図６を参照して説明する。図１は、監視システムの電気的構成を示すブロック図である。
同図に示すように本発明の実施形態の監視システムは、カメラ１０（撮像手段）と、カメラ１０にて撮像した画像を表示する表示装置２０（表示手段）と、表示装置２０の表示画面上を指定するペン３５、タブレット３０（ポイント入力手段）と、カメラ１０の撮像画像を拡大縮小するズーム機構４０（ズーム手段）を備える。なお、ポイント入力手段は、ペン３５、タブレット３０に限定するものではなく、マウス等の他のデバイスであってもよい。
【００１９】
又、監視システムは、鉛直軸を回転中心とする水平面内でのカメラ１０の回転を行うパン機構５０（撮影方向可変手段）と、水平軸を回転中心とするカメラ１０の回転を行うチルト機構６０（撮影方向可変手段）を備えるとともに、ズーム機構４０，パン機構５０，チルト機構６０を制御する制御装置７０（制御手段）を備えている。パン機構５０及びチルト機構６０の両方、又はいずれか一方を制御装置７０が制御することにより、カメラ１０の撮影方向が可変とされている。前記各機構には、ステップモータや、サーボモータ（図示しない）を備えており、制御装置７０からの制御信号に基づいて、駆動制御可能にされている。又、各機構はステップモータの回転位置を検出するセンサや、サーボモータの回転数を検出するロータリエンコーダ（図示しない）等からの検出信号に基づいて制御装置７０により位置フィードバック制御される。
【００２０】
カメラ１０は，ＣＣＤビデオカメラからなり、画角θの範囲内で監視エリアを撮像し、その撮像して得たフルカラーの画像信号が制御装置７０に出力される。
制御装置７０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、画像メモリ７５、ビデオカードや、各種インタフェイスを備えた、コンピュータからなる。前記ＲＯＭには、ズーム機構４０、パン機構５０、チルト機構６０を制御する制御プログラムや、画像処理を行う画像処理制御プログラムを格納している。制御装置７０は、入力した画像信号を図示しないＡ／Ｄ変換器にてディジタル変換した後、１フレーム毎に撮像画像として画像メモリ７５に格納するとともに、表示装置２０の撮像表示領域２１（撮像画像表示画面）に表示する。なお、画像信号は例えばテレビ信号として使用されるＮＴＳＣ信号である。
【００２１】
タブレット３０は、四角平面状に形成されて表示装置２０の表示画面全体に設けられており、複数の透明電極が、Ｘ軸とＹ軸の行列に配置されている。なお、図１及び図４においては、説明の便宜上、表示装置２０の表示画面全体を覆う意味として、タブレット３０は、正面視表示装置２０と同一の大きさに示している。オペレータがペン３５にてタブレット３０上に当接操作することにより、その当接操作された位置（指定位置）の情報が、Ｘ位置及びＹ位置を示す信号（Ｘ信号，Ｙ信号）として、制御装置７０に入力される。制御装置７０は入力された信号（Ｘ信号，Ｙ信号）は、前記ペン３５の指定位置に対応する表示画面の画像を表示した位置の座標データとして変換して図示しないメモリに記憶する。
【００２２】
表示装置２０の表示画面には、撮像表示領域２１、追跡モード中止指示領域２２及び現状モード表示領域２３を備えている。撮像表示領域２１にはカメラ１０の撮像画像が表示される。撮像表示領域２１は、撮像画像表示画面に相当する。追跡モード中止指示領域２２には「追跡モード中止」が表示される。現状モード表示領域２３には、監視システムの現在のモードが表示され、「モード：監視」又は「モード：追跡」のいずれかが選択表示される。
【００２３】
次に、上記のように構成された監視システムの作用を説明する。
本実施形態では、初期値は、監視モードとされている。監視エリア全体が見渡せる監視位置が予め監視モードの初期値としてＲＯＭに格納されている。そして、制御装置７０の電源がオンとなったとき、制御装置７０のＣＰＵは、ズーム機構４０，パン機構５０及びチルト機構６０が予め設定された位置となるようにＲＯＭに格納された各機構の監視位置データを読込み、この監視位置データに基づいて、制御装置７０が各機構を制御する。この結果、カメラ１０は、各機構の予め決められた位置（監視位置）に移動して、その位置から図示しない監視エリアを撮像し、表示装置２０の撮像表示領域２１に監視エリアの撮像画像を表示する。又、制御装置７０は、現状モード表示領域２３に「モード：監視」を表示制御する。
【００２４】
図２は制御装置７０のＣＰＵが実行するポイント入力手段であるタブレット３０の入力判定制御プログラムのフローチャートであり、タブレット３０に対してペン３５の当接操作による入力があると割り込み実行される。
【００２５】
このフローチャートに入ると、Ｓ１０で入力の解析がされる。
入力の解析は、ペン３５の指定位置に対応する座標が、追跡モード中止指示領域２２内の座標か、撮像表示領域２１内の座標であって、環状を成した線（環状線）を構成しているか、或いは、追跡モード中止指示領域２２内の座標かの解析である。環状線は、円や楕円等を含んだ閉曲線、三角形、四角形を含む多角形の線を意味している。なお、本実施形態では、Ｓ１０の環状線は、環状線が閉じられていることを前提としているが、完全に閉じられていなくてもよく、線の両端間に離間距離があっても、その離間距離が閾値以内であれば、環状線であると解析してもよい。この閾値は、環状線の大きさ（例えば、線の長さ）に応じて、設定されているものとする。
【００２６】
Ｓ２０において、ペン３５の指定位置の座標が、撮像表示領域２１の１点における座標である場合には、ポインティングされたものとして、制御装置７０はパンチルト制御を行い（Ｓ５０）、Ｓ６０に移行して監視モードに移行する。
【００２７】
ここで入力の解析を行ったペン３５の指定位置に対応する撮像表示領域２１（撮像画像表示画面）の画像を表示した位置の座標をＰ１（ｘ１，ｙ１）とする。パンチルト制御では、まず、制御装置７０は前記座標Ｐ１（ｘ１，ｙ１）と、撮像表示領域２１（撮像画像表示画面）中央の座標Ｐｃ（ｘｃ，ｙｃ）とからｘ座標，ｙ座標の差分を演算し、その差分に基づいて、パン機構５０の移動量（移動回転角）と、チルト機構６０の移動量（移動回転角）とを算出する。ｘ座標の差分は、パン機構５０の移動量に関係し、ｙ座標の差分はチルト機構６０の移動量に関係する。算出した各座標の移動量に基づいて、制御装置７０は、パン機構５０とチルト機構６０とを制御する。
【００２８】
本実施形態のパンチルト制御では、（ｘ１−ｘｃ）が、正であれば、ポインティングされた点Ｐ１が、撮像表示領域２１（撮像画像表示画面）中央よりも右にあるとして、制御装置７０はパン機構５０を右（カメラ１０を平面視したときにおいて時計回り方向）に回転する。又、（ｘ１−ｘｃ）が、負であれば、ポインティングされた点Ｐ１が、撮像表示領域２１（撮像画像表示画面）中央よりも左にあるとして、制御装置７０はパン機構５０を左（カメラ１０を平面視したときにおいて反時計回り方向）に回転する。又、（ｙ１−ｙｃ）が、正であれば、ポインティングされた点Ｐ１が、撮像表示領域２１（撮像画像表示画面）中央よりも上にあるとして、制御装置７０はチルト機構６０を上方に回転する。さらに、（ｙ１−ｙｃ）が、負であれば、ポインティングされた点Ｐ１が、撮像表示領域２１（撮像画像表示画面）中央よりも下にあるとして、制御装置７０はチルト機構６０を下方に回転する。なお、座標系における原点は、演算する処理系（コンピュータに依存）によって異なるため、上記とは逆に、（ｘ１−ｘｃ）が正の場合、パン機構５０を左に、負の場合には右に、又、（ｙ１−ｙｃ）の正の場合、チルト機構６０を下方に、負の場合、チルト機構６０を上方に回転制御するようにしてもよい。  さらに、（ｘ１−ｘｃ）の絶対値が、予め設定したｘｓ１閾値以下であれば、ポインティングされた点Ｐ１が、撮像表示領域２１（撮像画像表示画面）の左右方向中央に位置するとして、制御装置７０はパン機構５０を作動させない。さらに、（ｙ１−ｙｃ）の絶対値が、予め設定した閾値ｙｓ１以下であれば、ポインティングされた点Ｐ１が、撮像表示領域２１（撮像画像表示画面）の上下方向中央に位置するとして、制御装置７０はチルト機構６０を作動させない。なお、閾値ｘｓ１及び閾値ｙｓ１は、撮像表示領域２１（撮像画像表示画面）中央の点のｘ座標，ｙ座標にこれらの値を加減算した座標の点が、撮像表示領域２１の略中央に位置するように見えるような大きさに設定されている。  このようにして、制御装置７０は、Ｓ５０においてパンチルト制御を行った後、監視モードに移行する。この監視モードでは、制御装置７０は、現状モード表示領域２３に「モード：監視」を表示制御する。
【００２９】
図４は、表示装置２０の撮像表示領域２１(撮像画像表示画面)に、監視エリアを撮像した撮像画像が表示されている状態を示している。図４において右側の人物に対し、図５（ａ）に示す星印で表す点をポインティングした場合、図２のフローチャートで、Ｓ１０，Ｓ２０、Ｓ５０に移行して、図５（ｂ）に示すように、制御装置７０は右側の人物を監視するものとしてカメラ１０をパンチルト制御する。この結果、図５（ｂ）においては、図５（ａ）においてポインティングした点に対応する人物の画像が撮像表示領域２１の中央に位置する表示が得られる。
【００３０】
次に、Ｓ２０において、入力の解析結果が撮像表示領域２１の座標であって、環状を成した線（以下、環状線という）を構成している場合には、Ｓ３０において、制御装置７０はパンチルトズーム制御を行い、Ｓ４０において、追跡モードに移行する。
【００３１】
図３は、Ｓ３０のパンチルトズーム制御と、Ｓ４０の監視モードのフローチャートである。Ｓ３０はＳ１００，Ｓ１１０，Ｓ１６０にて構成されている。Ｓ４０は、Ｓ１２０〜Ｓ１５０，Ｓ１７０から構成されている。
【００３２】
Ｓ１００では環状線で囲まれた領域（以下、指定領域という）が、撮像表示領域２１（撮像画像表示画面）の中央となるように、パン機構５０とチルト機構６０を制御装置７０は駆動制御する。又、制御装置７０は、現状モード表示領域２３に「モード：追跡」を表示する。なお、指定領域は、本発明の区画領域に相当するとともに、所定画像領域に相当する。
【００３３】
この場合、制御装置７０は、指定領域の重心の座標Ｐ２（ｘ２，ｙ２）を演算する。次に、制御装置７０は前記座標Ｐ２（ｘ２，ｙ２）と、撮像表示領域２１（撮像画像表示画面）中央の座標Ｐｃ（ｘｃ，ｙｃ）とからｘ座標，ｙ座標の差分を演算し、その差分に基づいて、パン機構５０の移動量（移動回転角）と、チルト機構６０の移動量（移動回転角）とを算出する。ｘ座標の差分は、パン機構５０の移動量に関係し、ｙ座標の差分はチルト機構６０の移動量に関係する。算出した各座標の移動量に基づいて、制御装置７０は、パン機構５０とチルト機構６０とを制御する。
【００３４】
本実施形態のパンチルト制御では、（ｘ２−ｘｃ）が、正であれば、指定領域の重心が、撮像表示領域２１（撮像画像表示画面）中央よりも右にあるとして、制御装置７０はパン機構５０を右（カメラ１０を平面視したときにおいて時計回り方向）に回転する。又、（ｘ２−ｘｃ）が、負であれば、指定領域の重心が、撮像表示領域２１（撮像画像表示画面）中央よりも左にあるとして、制御装置７０はパン機構５０を左（カメラ１０を平面視したときにおいて反時計回り方向）に回転する。又、（ｙ２−ｙｃ）が、正であれば、指定領域の重心が、撮像表示領域２１（撮像画像表示画面）中央よりも上にあるとして、制御装置７０はチルト機構６０を上方に回転する。さらに、（ｙ２−ｙｃ）が、負であれば、指定領域の重心が、撮像表示領域２１（撮像画像表示画面）中央よりも左にあるとして、制御装置７０はチルト機構６０を下方に回転する。
【００３５】
さらに、（ｘ２−ｘｃ）の絶対値が、予め設定した閾値ｘｓ２以下であれば、指定領域の重心が、撮像表示領域２１（撮像画像表示画面）の左右方向中央に位置するとして、制御装置７０はパン機構５０を作動させない。又、（ｙ２−ｙｃ）の絶対値が、予め設定した閾値ｙｓ２以下であれば、指定領域の重心が、撮像表示領域２１（撮像画像表示画面）の上下方向中央に位置するとして、制御装置７０はチルト機構６０を作動させない。このようにして、制御装置７０は、Ｓ１００においてパンチルト制御を行った後、Ｓ１１０に移行する。なお、閾値ｘｓ２及び閾値ｙｓ２は、撮像表示領域２１（撮像画像表示画面）中央の点のｘ座標，ｙ座標にこれらの値を加減算した座標の点が、撮像表示領域２１の略中央に位置するように見えるような大きさに設定されている。  Ｓ１１０において、制御装置７０は、指定領域内の画素数は、所定画素数以上か否かを判定する。この所定画素数とは、次のＳ１２０において、頭部（又は顔）検出が可能な画素数のことである。本実施形態では、３６００（６０×６０）画素としている。なお、本発明はこの画素数に限定するものではない。Ｓ１１０で、指定領域内の画素数が、所定画素数未満の場合、Ｓ１６０に移行し、指定領域内の画素数が、所定画素数以上ある場合、Ｓ１２０に移行する。Ｓ１６０では、制御装置７０は、頭部（又は顔）検出が可能な画素数となるように、ズーム機構４０を制御して、指定領域内の画素数に応じてズームインし、Ｓ１２０に移行する。この場合、指定領域内の画素数に応じて拡大するとは、指定領域の画素数が少ないほど、すなわち、面積が小さいほどズーム機構４０による拡大率を大きくなるようにしている。なお、このズームイン時の拡大率は、予め設定された拡大率でもよい。このように本実施形態では、区画指定した指定領域（区画領域）を所定画像領域として、拡大する。なお、本実施形態では、区画領域をそのまま所定画像領域としているが、区画領域の周辺領域も含んだ領域を所定画像領域とし、この所定画像領域を拡大するようにしてもよい。  Ｓ１２０では、制御装置７０は、顔検出又は頭部検出を行う。顔検出は、指定領域及び、その周辺を含めた領域の撮像画像のカラー情報の中から、肌色領域検出を行い、肌色領域検出ができた場合、人の顔検出ができたとする肌色領域を用いる手法や、パターンマッチングによる手法等、公知のアルゴリズムで行われる。又、頭部検出は、指定領域及びその周辺領域から、カラー情報に基づいて画像内の黒部分の最上部が検出されるとともにその最上部を含む連続した黒部分領域のパターンが取得され、このパターンと予め図示しない記憶部に格納された基準パターンとパターンマッチングを行うことにより、行われる。両検出は、いずれか一方のみでもよく、又、両検出をともに行ってもよい。なお、頭部検出は、上記以外にも、楕円形状の検出や、パターンマッチングによる手法等、公知のアルゴリズムがあり、これらを使用してもよい。
【００３６】
Ｓ１３０以下の各ステップは、顔検出、又は頭部検出の結果に基づいて、その顔、又は頭部を、カメラ１０の撮像中心とするようにするための追跡処理である。Ｓ１３０では、制御装置７０は、その時々に取得するシーンと、１つ前に取得したシーンとの比較を行い、顔検出又は頭部検出がされた撮像対象である被監視人物が移動したか否かを判定する。これは、例えば、フレーム間差分方法を用いて行うことができるが、この方法に限定されるものではない。フレーム間差分方法は、連続して入力される画像の対応画素間の差分値を用い、背景領域の差分値は微小であるのに対して、移動したものの領域では一般的に比較的大きい差分値が得られることにより、検出される。
【００３７】
Ｓ１３０で、被監視人物の移動が検出されない場合には「ＮＯ」と判定し、Ｓ１２０に戻る。又、Ｓ１３０で被監視人物の移動が検出された場合、Ｓ１４０に移行する。Ｓ１４０では、被監視人物の顔領域（肌色検出された領域）、又は頭部領域（頭部検出された黒部分領域）を対象物領域とし、この対象物領域を撮像画像表示画面中央となるように、カメラ１０をチルト及び／又はパン制御する。この制御方法は、Ｓ１００と同様である。すなわち、Ｓ１００で説明した文中、「指定領域」を「対象物領域」と読み替えれば、その説明となるため、Ｓ１４０の詳細な説明を省略する。
【００３８】
Ｓ１５０では、対象物領域内の画素数が所定画素数以上か否かを判定する。Ｓ１５０の説明も、Ｓ１１０と同様である。すなわち、Ｓ１１０で説明した文中、「指定領域」を「対象物領域」と読み替えれば、その説明となるため、Ｓ１５０の詳細な説明を省略する。Ｓ１５０において、対象物領域内の画素数が所定画素数以上あれば「ＹＥＳ」と判定し、Ｓ１２０に戻る。Ｓ１５０において、対象物領域内の画素数が所定画素数未満であれば、Ｓ１７０に移行する。Ｓ１７０の処理は、Ｓ１６０と同様の処理を行い、Ｓ１２０に移行する。
【００３９】
図４において右側の人物に対し、図６（ａ）に示す環状線としての円で表す軌跡となるようにペン３５で、タブレット３０を円描画した場合、図２のフローチャートで、Ｓ１０，Ｓ２０、Ｓ３０，Ｓ４０に移行して、図６（ｂ）に示すように、制御装置７０は右側の人物を追跡するものとしてカメラ１０をパンチルトズーム制御する。
【００４０】
この結果、図６（ｂ）においては、図６（ａ）において円描画した指定領域（区画領域）に対応する人物の画像が撮像表示領域２１の中央に位置するとともに、ズームインした拡大表示が得られる。
【００４１】
又、監視システムが追跡モードとなっている場合、Ｓ１０の入力の解析の結果、Ｓ２０で、追跡モード中止指示領域２２内の座標であると判定された場合、Ｓ７０に移行して、他の処理を行う。この場合は、監視モードの初期値を採用した処理を行う。すなわち、制御装置７０の電源がオンとなったときと同様に制御装置７０のＣＰＵは、ズーム機構４０，パン機構５０及びチルト機構６０が予め設定された位置となるようにＲＯＭに格納された各機構の監視位置データを読込み、この監視位置データに基づいて、制御装置７０が各機構を制御する。
【００４２】
本実施形態によれば、下記の効果を奏する。
（１）  本実施形態の監視システムは、カメラ１０（撮像手段）と、カメラ１０にて撮像した画像を表示する表示装置２０（表示手段）と、表示装置２０の表示画面上を指定するペン３５、タブレット３０（ポイント入力手段）と、カメラ１０の撮像画像を拡大縮小するズーム機構４０（ズーム手段）を備える。又、監視システムは、パン機構５０（撮影方向可変手段）と、チルト機構６０（撮影方向可変手段）を備えるとともに、ズーム機構４０，パン機構５０，チルト機構６０を制御する制御装置７０を備えている。そして、制御装置７０（制御手段）は、ペン３５により、区画指定した指定領域（区画領域）内の所定画像領域が人の顔検出又は人の頭部検出に不適当な場合は、ズーム機構４０をズームイン制御して、区画指定された領域をより拡大した撮像画像を取得するようにした。さらに、制御装置７０（検出手段）は、拡大された撮像画像に基づいて人の顔検出又は人の頭部検出を行うようにした。
【００４３】
この結果、ペン３５、タブレット３０にて区画指定した指定領域（区画領域）内である所定画像領域が、人の顔検出又は頭部検出ができないような不適当な場合には、自動的に撮像画像を拡大して監視を行うことができる。
【００４４】
（２）  本実施形態では、指定領域（区画領域：所定画像領域）の画素数が人の顔検出又は人の頭部検出に適さない画素数（所定画素数）の場合、Ｓ１６０で、カメラ１０をズームインした。この結果、上記（１）の効果を奏することができる。
【００４５】
（３）  本実施形態では、ペン３５、タブレット３０にて区画指定した指定領域が撮像表示領域２１中央にないときは、制御装置７０はその指定した区画指定した領域に対応する撮像画像を撮像表示領域２１の中央に位置するようにした。すなわち、パン機構５０（撮影方向可変手段）と、チルト機構６０（撮影方向可変手段）を制御してカメラ１０の撮影方向を可変するようにした。この結果、指定領域（区画領域）を見やすい画面中央に自動的に位置させるため、監視したい対象画像を見やすくでき、監視作業を容易にできる。
【００４６】
（４）  本視実施形態では、制御装置７０（検出手段）が、顔検出又は頭部検出ができた後、同検出された顔検出又は頭部検出された被監視人物（撮像対象）が移動したとき、前記制御手段は、前記撮影方向可変手段を制御して前記撮像手段を前記撮像対象に対して追跡制御するようにした。
【００４７】
この結果、顔検出又は頭部検出ができた場合、移動する被監視人物に対して、カメラ１０が自動的に追跡できるため、オペレータが移動する被監視人物を監視するために新たな操作を行う必要がなく、監視作業の続行を容易に行うことができる。
【００４８】
（５）  本実施形態は、ペン３５、タブレット３０にて撮像表示領域２１（撮像画像表示画面）上を指定したとき、指定した位置（ポイント）が撮像画像表示画面中央にないときは、制御装置７０（制御手段）は、その指定した位置（ポイント）に対応する撮像画像を撮像表示領域２１の中央に位置するようにした。すなわち、その指定した位置に対応する撮像画像を撮像表示領域２１の中央に位置するように、パン機構５０（撮影方向可変手段）と、チルト機構６０（撮影方向可変手段）を制御してカメラ１０の撮影方向を可変するようにした。
【００４９】
この結果、ポイント入力した部分が見やすい画面中央に自動的に位置させるため、監視したい対象画像を見やすくでき、監視作業を容易にできる。
なお、本発明の実施形態は前記実施形態に限定されるものではなく、下記のようにしてもよい。
【００５０】
（１）  前記実施形態では、Ｓ２０でポインティングと判定されると、Ｓ５０，Ｓ６０に移行したが、図７に示すようにＳ５０，Ｓ６０を省略し、Ｓ２０で、ポインティングと判定すると、その指定した点（ポイント部分）、又は、指定した点を含めた周囲の画像領域を所定画像領域として拡大するようにしてもよい。この場合、図８に示すように、Ｓ１００の次に、Ｓ１１５において、Ｓ１６０（図３参照）と同様に、制御装置７０は、頭部（又は顔）検出が可能な画素数となるように、ズーム機構４０を制御して、指定領域内の画素数に応じてズームインし、Ｓ１２０に移行する。
【００５１】
このようにすると、表示装置２０の撮像画像表示画面に対するポイント入力により、カメラ１０が自動的にズームインし、引き続き、撮像画像に基づいて自動的に人の顔検出又は人の頭部検出に移行させることができる。この結果、人の顔検出又は人の頭部検出が行われているため、この情報を使用することにより、さらにオペレータの監視作業の続行の容易化を図ることができる効果を奏する。
【００５２】
（２）  前記図１〜図６の実施形態において、図３のフローチャートの代わりに、図９に示すフローチャートのように、Ｓ１１０の代わりに、Ｓ１００の次にＳ１０５とＳ１１２の処理をするようにしてもよい。Ｓ１０５では、Ｓ１２０と同様に頭部（又は顔）検出を行い、Ｓ１１２では、顔頭部（又は顔）検出できなかったとき、Ｓ１６０に移行し、顔頭部（又は顔）検出できた場合には、Ｓ１３０に移行する。又、Ｓ１３０での判定で、「ＮＯ」の場合と、Ｓ１５０の判定で「ＹＥＳ」の場合、Ｓ１０５に移行する。他は、図１〜図６の実施形態と同様に処理する。
【００５３】
この結果、所定画像領域内において人の顔検出又は人の頭部検出を行って、検出ができなかった場合に、自動的に撮像画像を拡大して監視を行うことができる。
【図面の簡単な説明】
【００５４】
【図１】本発明を具体化した第１実施形態の監視システムの電気的構成を示すブロック図。
【図２】制御装置７０のＣＰＵが実行するポイント入力手段であるタブレット３０の入力判定制御プログラムのフローチャート。
【図３】フローチャート。
【図４】表示装置２０の撮像表示領域２１に、監視エリアを撮像した撮像画像が表示されている状態の説明図。
【図５】（ａ）、（ｂ）は撮像表示領域２１の作用の説明図。
【図６】（ａ）、（ｂ）は撮像表示領域２１の作用の説明図。
【図７】他の実施形態のフローチャート。
【図８】他の実施形態のフローチャート。
【図９】他の実施形態のフローチャート。
【符号の説明】
【００５５】
１０…カメラ（撮像手段）
２０…表示装置（表示手段）
３０…タブレット（ポイント入力手段）
３５…ペン（ポイント入力手段）
４０…ズーム機構（ズーム手段）
５０…パン機構（撮影方向可変手段）
６０…チルト機構（撮影方向可変手段）
７０…制御装置（制御手段、検出手段）
【図１】
2005150834.tif 000003
【図２】
2005150834.tif 000004
【図３】
2005150834.tif 000005
【図４】
2005150834.tif 000006
【図５】
2005150834.tif 000007
【図６】
2005150834.tif 000008
【図７】
2005150834.tif 000009
【図８】
2005150834.tif 000010
【図９】
2005150834.tif 000011