(57)【要約】【課題】少ないカメラ台数で、広い視野を効率よく監視すると共に、侵入者を鮮明な映像で捉え、人物特定を容易にする方法を自動的に実行させる。【解決手段】パンチルトカメラ１と広角カメラ２を近接して設置しておき、広角カメラで撮影した動画像をＡ／Ｄ変換部３によってディジタル動画像データに変換させ、入力した動画像データをフレームバッファ１１、減算器１２、２値化回路１３、集計回路１４、２値化回路１５より成る動き検出部４において区画の集合Ｓ１を出力し、この区画の集合Ｓ１を入力して画像上でのターゲット現在位置を推定し、その二次元座標を出力すると共にターゲット検出信号１０と外接長方形の位置と大きさを出力するターゲット追尾部５からの信号を受け取り、ターゲットを視野内に捉えるようにパンチルトカメラ１を旋回させ、かつ拡大率を設定するカメラ制御部６からのパンチルト制御信号をパンチルトカメラ１に入力させ、パンチルトカメラ１から出力される映像を映像記録装置７に表示させるように構成した。【選択図】　　　　図１
2004015516.tif 000002
【特許請求の範囲】
【請求項１】
視野の方向を変更可能な撮影手段１と、
より広画角の撮影手段２と、
撮影手段１の撮影対象（以下ターゲットと表記）を、撮影手段２の画像上で指定する動画像撮影手段と、
撮影手段２で撮影された動画像上でのターゲットの位置と形状を、該ターゲットが動き続ける条件下で推定し続ける追尾手段と、
ターゲット以外の動く物体が多数存在するか、もしくはターゲットを遮る障害物が存在する領域での追尾手段による誤推定を自動修正する自動修正手段と、
を備え、動く物体を自動的に撮影手段１の視野内に捉え続けて追尾して撮影するようにしたことを特徴とする動画像の自動追尾撮影方法。
【請求項２】
視野の方向を変更可能な撮影手段１と、
撮影手段１より水平画角もしくは垂直画角が大きい撮影手段２と、
撮影手段２で撮影した画像上の座標Ｇに結像した入射光の入射方向を推定する推定手段と、
前記座標Ｇに入射した入射光の推定入射方向と前記撮影手段１の視野中心が互いに平行かつ該視野が入射光が入射してきた側を向くように撮影手段１の方向を変更する制御手段と、
によって構成すると共に、前記撮影手段１と撮影手段２を近接して設置し、ターゲットをより広画角の撮影手段２の画像上で指定する動画像撮影手段を設けたことを特徴とする請求項１に記載の動画像の自動追尾撮影方法。
【請求項３】
入力画像の動きを画像を構成する区画ごとに求め、動きを検知した区画の集合Ｓ１を出力する動き検出手段１と、
前記集合Ｓ１に含まれる連結領域のうち、与えられた集合Ｓ２と共通部分を持つ連結領域の集合Ｗを求める連結領域列挙手段と、
前記連結領域列挙手段が出力した集合Ｗから、下記関数ｄ（Ｈ）の値が最小となる連結領域Ｈを選択して出力する連結領域選択手段と、
ｄ（Ｈ）＝（集合Ｈと集合Ｓ１の共通部分に含まれる区画数）÷（集合Ｈに含まれる区画数）
前記連結領域選択手段が出力した連結領域Ｈを一時的に記憶し、該記憶内容を連結領域列挙手段の要求に応じて集合Ｓ２として出力する記憶手段１と、
連結領域選択手段が出力した連結領域Ｈに含まれる区画の座標の相加平均（重心）Ｇ２を求め、ターゲットの代表位置として出力する演算手段２と、
によって構成し、動画像に映っている動く物体の位置と形状を推定する追尾手段を設けたことを特徴とする請求項１，２のいずれかに記載の動画像の自動追尾撮影方法。
【請求項４】
入力画像を構成する区画のうち、ターゲット以外の動く物体が多数存在するか、もしくはターゲットを遮る障害物が存在する領域を被う区画の集合Ｍを記憶する記憶手段２と、
追尾中のターゲットが入力画像上に占めると推定される領域を表す区画の集合Ｈが前記集合Ｍに含まれるか否かを判定する包含判定手段と、
集合Ｈが集合Ｍに含まれるとき、集合Ｈと共通部分を持つ集合Ｍの連結領域ＭＣ（Ｈ）を出力する連結領域出力手段１と、
集合Ｈが集合Ｍに含まれるとき、連結領域ＭＣ（Ｈ）の周縁上の動きを監視し、動きを検出したときその位置（区画）Ｂを出力する動き検出手段２と、
動き検出手段２が動きを検知したとき、入力画像を構成する区画からＢを含む連結領域Ｓ１Ｃ（Ｂ）を出力する連結領域出力手段２と、
動き検出手段２が動きを検知したとき、集合Ｈの内容を連結領域ＳＣ１（Ｂ）の内容で置き換える修正手段と、
によって構成し、ターゲット以外の動く物体が多数存在するか、もしくはターゲットを遮る障害物が存在する領域でのターゲットの位置および形状の誤推定を自動修正する自動修正手段を設けたことを特徴とする請求項１から３のいずれかに記載の動画像の自動追尾撮影方法。
【請求項５】
制御手段から撮影手段１へ旋回を指令する前に、該指令により前記撮影手段１が向く予定の方向を求める演算手段４と、
制御手段から撮影手段１に実際に旋回を指令するとき、指令する直前の演算手段４の出力を記憶する記憶手段３と、
より成る構成要素を追加し、制御手段から撮影手段１へ旋回を指令するのは、演算手段４が現在出力中の方向と、記憶手段３に記憶されている方向のなす角が下記に示す閾値Ｔ４以上になる条件が成立したときのみとし、撮影手段１の視野の変更に制約を設けて機械系の摩耗を低減し、かつ安定した撮影を実現しつつ、動く物体を前記撮影手段１の視野内に捉え続けて追尾するようにしたことを特徴とする請求項１から４のいずれかに記載の動画像の自動追尾撮影方法。
閾値Ｔ４　＝　ｔａｎ−１（ｔａｎＣ／Ｚ）
ここで、Ｚ　：撮影手段１におけるズーム倍率
Ｃ　：拡大率Ｚ＝１（最大広角時）のときのＴ４の値
Ｔ４：撮影手段１に旋回を指令するのに最低限必要なターゲット移　動角度（閾値）［ｒａｄ］
【請求項６】
制御手段から撮影手段１へ実際に旋回を指令したとき、座標Ｇの値を記憶する記憶手段４よりなる構成要素を追加し、
制御手段から撮影手段１へ旋回を指令するのは、座標Ｇと記憶手段４に記憶されている座標との距離が、下記に示す閾値Ｔ５以上になる条件が成立するときのみとし、撮影手段１の視野の変更に制約を設けて機械系の摩耗を低減し、かつ安定した撮影を実現しつつ、動く物体を前記撮影手段１の視野内に捉え続けて追尾するようにしたことを特徴とする請求項１から４のいずれかに記載の動画像の自動追尾撮影方法。
閾値Ｔ５＝Ｃ／Ｚ
ここで、　Ｔ５：　撮影手段１に旋回を指令するのに最低限必要なターゲット　移動量（閾値）
Ｚ　：撮影手段１におけるズーム倍率
Ｃ　：拡大率Ｚ＝１（最大広角時）のときのＴ５の値
【請求項７】
撮影手段１としてパンとチルトにより視野を変更するカメラを使用し、かつパン平面を（撮影手段２の視野中心と並行にするのでなく）水平になるように設置することにより撮影手段１の映像を傾かせずに、かつ動く物体の中央（重心）より上端側の映像を、前記撮影手段１の視野内に捉え続けて追尾するようにしたことを特徴とする請求項１から６のいずれかに記載の動画像の自動追尾撮影方法。
【請求項８】
近接して設置したパンチルトカメラおよび広角カメラと、広角カメラで撮影した動画像をディジタル動画像データに変換するＡ／Ｄ変換部と、ディジタル画像データを入力して動きを検出した区画の集合Ｓ１を出力する動き検出部と、該区画の集合Ｓ１を入力して画像上でのターゲット現在位置を推定し、その二次元座標Ｇを出力すると共にターゲット検出信号１０および画像上でターゲットに外接する長方形の位置を出力するターゲット追尾部と、前記ターゲット追尾部が出力したターゲットの座標Ｇ、ターゲット検出信号１０および外接長方形の位置と大きさを受け取り、ターゲットを視野内に捉えるようにパンチルトカメラを旋回させると共に拡大率を設定するカメラ制御部と、カメラ制御部から出力されるパンチルト制御信号に入力して動画像を撮影するパンチルトカメラからのターゲット映像を表示する映像記録装置と、
によって構成したことを特徴とする動画像の自動追尾撮影装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、セキュリティ・システムを構成する監視用カメラを利用して、動く物体を自動的に視野内に捉え続けて撮影する自動追尾撮影方法およびその装置に関する。
【０００２】
【従来の技術】
監視用カメラによって監視対象物を撮影して、監視領域への侵入者を監視する方法としては、次のような方法が利用されていた。
▲１▼監視する領域全体を広角カメラで撮影する方法。
▲２▼監視する領域全体を通常画角のカメラ複数台を使用して、監視領域を分割して分担撮影する方法。
▲３▼パン・チルト雲台つきのカメラを予めプログラムした向きに、順番に向けさせて撮影する方法。
▲４▼パン・チルト雲台つきのカメラを人手で操作して撮影する方法。
【０００３】
【発明が解決しようとする課題】
上述した従来技術による撮影方法では、解決すべき多くの課題があった。
▲１▼広角カメラで撮影すると、カメラの台数は少なくて済むが、撮影した映像の鮮明さが損われる。
例えば、侵入者が小さく写るので特定しにくい。
▲２▼監視領域を分割して分担撮影する方法では、多数のカメラを必要とする。
▲３▼プログラムを内蔵したパン・チルト雲台つきのカメラで撮影する方法では、侵入者を効果的に撮影し難い。
即ち、侵入者の顔など、重要な映像を撮り逃すおそれがある。
▲４▼パン・チルト雲台つきカメラを人手で操作するのでは、常に所要の人員を配置しておく必要が生ずる。
【０００４】
【課題を解決するための手段】
本発明は上述した従来技術による欠点を解消しようとするものであって、
視野の方向を変更可能な撮影手段１で捉えるべきターゲットを、より広画角の撮影手段２の画像上で指定する動画像撮影手段と、
動画像上に映っている動く物体の位置と形状を、該物体が動き続ける条件下で推定し続ける追尾アルゴリズムと、
ターゲット以外の動く物体が多数存在するか、もしくはターゲットを遮る障害物が存在する領域でのターゲット誤推定を自動修正する手段と、
によって構成し、動く物体を自動的に撮影手段１の視野内に捉え続けて追尾撮影する方法である。
【０００５】
さらに、動く物体の中央（重心）より、むしろ上端側を撮影手段１の視野内に捉え続ける（追尾する）撮影方法と、前記撮影手段１の映像を傾かせずに、動く物体を視野内に捉え続ける（追尾する）撮影方法と、
前記撮影手段１の視野の変更に制約を設けて機械系の摩耗を低減させ、かつ安定した撮影（前記撮影手段１の視野内の変更が間欠的にしか発生しない）を実現しつつ、動く物体を視野内に捉え続ける（追尾する）撮影方法と、
前記撮影手段１でズーム撮影するときも、機械系の摩耗を低減し、かつ安定した撮影を実現することと、動く物体を視野内に捉え続けることを同時に満足する撮影方法
とによって自動追尾撮影方法を構成した。
【０００６】
【発明の実施の形態】
以下、本発明の実施例を図面を参照しながら説明する。
図１は、本発明に係る動画像の自動追尾撮影装置の構成を示すブロック図である。
【０００７】
パンチルトカメラ１は、パン機能とチルト機能を備えたカメラであって、侵入者（ターゲット）を鮮明に撮影することができる。
パン回転面が水平になるように設置し、パン回転中心とチルト回転中心が一致するように設置するのがよい。
【０００８】
広角カメラ２は、通常の（遠近投影法に従う）レンズか、魚眼レンズ（魚眼投影法に従う）を備えた動画像撮影手段として使用されるカメラであって、監視対象領域の広い範囲（視野角にして９０°等、少なくともパンチルトカメラ１単体の視野よりは広い）を視野内に収めることができる。
なお、パンチルトカメラ１と広角カメラ２とは近接して設置しておき、視野中心線（レンズの光軸）は斜め下４５°程度に向けておく。
【０００９】
Ａ／Ｄ変換部３は、広角カメラ２で撮影した動画像（アナログ映像信号）をディジタル動画像データに変換する回路である。
【００１０】
動き検出部４は、Ａ／Ｄ変換部３が出力したディジタル画像データを受け取り、動きを検出した区画の集合Ｓ１を出力するものであって、その内部構成は図２に示す通りである。
フレームバッファ１１はディジタル動画像データに１フレーム時間の遅延を与えるＦＩＦＯメモリであって、１フレーム分のディジタル動画像データを一時的に記憶する。
減算器１２は、入力されたディジタル動画像データのＹ成分から、フレームバッファ１１に記憶されている１フレーム時間前の動画像データのＹ成分を画素ごとに引き算し、その結果（濃度差分）を出力する回路である。
２値化回路Ａ１３は、濃度差分の値が閾値Ｔ１より大きい画素を１、それ以外の画素を０として出力する回路である。
集計回路１４は、２値化回路Ａ１３により値１となった画素の個数を区画ごとに集計する回路である。
２値化回路Ｂ１５は、集計回路１４による集計値が閾値Ｔ２より大きい区画を１、そうでない区画を０に変換し出力する。
【００１１】
次に、動き検出部４の処理手順を説明する。
▲１▼現在の１フレームと直前（過去）の１フレームのＹ成分の差分を画素ごとに、フレームバッファ１１と減算器１２を使用して取る。
▲２▼２値化回路Ａ１３が、上記差分が定数Ｔ１より大きい画素を１、それ以外の画素を０に変換する。
▲３▼集計回路１４が値１となった画素の個数を区画ごとに集計する。例えば、区画は長方形とし、横３２０ピクセル、縦２４０ラインの画像を横３２列、縦１５行に区切る。
▲４▼２値化回路Ｂ１５が上記集計値が定数Ｔ２より大きい区画を１、そうでない区画を０に変換して集合Ｓ１を出力する。
即ち、本実施例では、「区画の集合」を表現するデータ形式として、１フレーム分の画像を構成する区画の中で、該集合に含まれる区画を１、そうでない区画を０に置き換えたデータ形式を採用しており、図３に示す通りである。
【００１２】
ターゲット追尾部５は、動き検出部４が出力した区画の集合Ｓ１を受け取り、画像上でのターゲット現在位置を推定し、その二次元座標を出力する。
但し、ターゲットが存在しない（広角カメラ２の視野内に動いている物体がない）場合もあるため、ターゲットの検知／未検知も別途ターゲット検出信号１０として出力し、後段に与える。
また、パンチルトカメラ１の拡大率制御のため、ターゲットの画像上での大きさも出力する。
【００１３】
ターゲット追尾部５の内部構成は図４に示す通りである。
ＣＰＵ２１は、ターゲット追尾部５を構成する各ブロックの各種処理を実施する中央制御装置であり、記憶手段１・２２は、ターゲットの現在位置・形状・大きさを、区画の集合として保持するメモリである。
連結領域列挙手段２３は、集合Ｓ１に含まれる連結領域のうち、与えられた集合Ｓ２と共通部分をもつものの集合Ｗを求める演算手段である。
また、連結領域選択手段２４は、連結領域列挙手段２３が出力した集合Ｗから、下記関数ｄ（Ｈ）の値が最小となる集合Ｈを選択して出力する手段である。
ｄ（Ｈ）＝（集合Ｈと集合Ｓ１の共通部分に含まれる区画数）÷（集合Ｈに含まれる区画数）
マスク領域メモリ２５は、ターゲット以外の動きがある領域または障害物（ターゲットとカメラの間を遮る）を被う区画の集合Ｍを記憶するメモリであり、内容は装置起動時に書き込み、追尾実行中は基本的に書き換えない。
包含判定手段２６は、ターゲットの位置と形状の推定結果ＨがＭに含まれるか判定するブロックであり、連結領域出力手段１・２７は、ＨがＭに含まれるとき、Ｈと共通部分をもつＭの連結領域ＭＣ（Ｈ）を出力するブロックである。
また、動き検出手段２・２８は、ＨがＭに含まれるとき、ＭＣ（Ｈ）周縁上で動きを検知したとき、その位置（区画）Ｂを出力する手段であり、連結領域出力手段２・２９は動き検出手段２・２８が出力した区画Ｂを含む連結領域をＳ１から求め、出力する手段である。
セレクタ３０は、包含判定手段２６の結果を受け、記憶手段１・２２に記憶する内容を選択する（Ｈ２として出力）。
外接長方形算出３１は、画像上でターゲットに外接する長方形の位置と大きさを求める。
演算手段２・３２は、集合Ｈに含まれる区画の座標の相加平均（重心）Ｇ２を求め、ターゲットの代表位置として出力する。
【００１４】
ターゲット追尾部５は、「ターゲット未検知」、「ターゲット追尾中」、「待機中」の３つの状態をもっている。
「ターゲット未検知」状態は、広角カメラ２の視野内にターゲットが現われるのを待っている状態を示し、「ターゲット追尾中」状態は、広角カメラ２の視野内をターゲットが動いており、それを追尾している状態を示し、「待機中」状態は、広角カメラ２の視野内でターゲットが停止した状態を示している。
【００１５】
次に、ターゲット追尾部５における「ターゲット未検知」状態の処理は次の通りである。
▲１▼画面上に予め設定した領域（センスエリア）で動きを検知するのを待つ。
即ち、動き検出部４が出力した集合Ｓ１に、図５に示すセンスエリアを構成する区画の集合との間に共通部分が発生するのを待つ。
▲２▼センスエリアで動きを検知したときは、
ａ．その動いた部分を含む連結領域を集合Ｓ１から切り出し、記憶手段１・２２に初期値として与える。
ｂ．「ターゲット追尾中」状態に遷移する。
【００１６】
「ターゲット追尾中」状態の処理は次の通りである。
▲１▼図４に示すように、記憶手段１・２２の内容（区画の集合Ｓ２）を更新する。
▲２▼下記条件が成立したら、「待機中」状態に遷移する。
ａ．更新前Ｓ２⊂更新後Ｓ２
【００１７】
「待機中」状態の処理は次の通りである。
▲１▼画面内の予め設定した領域（センスエリア）で動きを検知したかを判定する。
即ち、動き検出部４が出力した集合Ｓ１に、センスエリアを構成する区画が含まれるか判定する。
動きを検知したときは、「ターゲット未検知」における▲２▼ａ，ｂと同じ処理を行う。
▲２▼上記条件が成立、かつ下記条件のいずれかが成立したときは、「ターゲット追尾中」状態に遷移する。
ａ．Ｈ２　⊂集合Ｓ２でない（Ｈ２がＳ２からはみ出している）
▲３▼上記条件が成立しないままＴＣ秒経過したときは、「ターゲット未検知」状態に遷移する。
【００１８】
ターゲット検出信号１０は、「ターゲット未検知」状態で０、それ以外の状態において１を出力する。
なお、「待機中」状態を設ける理由は次の通りである。
▲１▼ターゲットが移動を停止すると、動き検出部４が殆ど動きを検出しないため、集合Ｓ１に含まれる区画がターゲットが動いている最中に比べて少なくなる。
▲２▼その状態で記憶手段２に記憶されているＳ２の更新を続けると、Ｓ２が空集合になってしまい、以降の追尾に差し支える。
▲３▼従って、ターゲットが停止してから再び動き出すまでの間は、記憶手段２の更新を停止する必要がある。
【００１９】
カメラ制御部６は、ターゲット追尾部５が出力したターゲットの座標Ｇ、ターゲット検出信号１０および外接長方形の位置と大きさを受け取り、ターゲットを視野内に捉えるようにパンチルトカメラ１を旋回させ、かつ拡大率を設定するものであって、次のステップから成る。
▲１▼座標Ｇより、広角カメラ２から見てターゲットがどの方向に存在するのかを推定する。（ターゲット見込み方向推定）
▲２▼推定された方向より、パンチルトカメラ１に与えるパンおよびチルトの角度を算出する。（カメラの旋回角度算出）
▲３▼算出したパンおよびチルトの角度をパンチルトカメラ１に与え、旋回させる。（旋回指令）
▲４▼外接長方形の横サイズが、パンチルトカメラ１で撮影される画像の横サイズの７０％と一致するように、パンチルトカメラ１にズーム指令を与え拡大させる。（ズーム指令）
但し、ターゲット検出信号１０が０（ターゲット未検知）のときは、上記処理は行わず、待機する。
【００２０】
カメラ制御部６には、広角カメラ２で撮影した画像上でのターゲット位置Ｇが入力されており、これをもとに、広角カメラ２の焦点からターゲットに向かうベクトル成分を求める。
ターゲット見込み方向推定には、広角カメラ２で使用するレンズとして、通常の広角レンズ（遠近投影法に従う）と、魚眼レンズ（魚眼投影法に従う）の２種類があり、以下に記載の原理に従って、カメラ焦点からターゲットに向かうベクトル成分を求める。
広角カメラ２のレンズが通常（遠近投影法に従う）である場合におけるターゲット見込み方向の推定を、図６によって説明する。
図６において広角カメラ２の焦点Ｏから、三次元空間中でのターゲット位置Ｐに向かうベクトルが、求めるべきターゲット見込み方向を与える。
ここで、Ｘ軸は水平方向、Ｚ軸は視野中心線（レンズ光軸）に一致するようにとっている。
ベクトル成分の導出を簡単にするために、ＯＰに平行なベクトルＯＧを求める。ここで、Ｇは直線ＯＰと投影面の交点である。
図６において、ＯＧのＸ軸成分をｘ、Ｙ軸成分をｙ，Ｚ軸成分をｚとすると、次式の通りである。
ｘ＝μ
ｙ＝ν
ｚ＝ｄ＝ＨＷ／ｔａｎ（ＨＡ）……（１）
ここで、
μ：座標ＧのＸ成分
ν：座標ＧのＹ成分
ＨＷ：レンズの遠近投影法投影面の全幅の１／２
ＨＡ：レンズの水平視野角の１／２
ｄ：レンズ焦点から投影面までの距離
ｘ：ベクトルＯＧのＸ成分
ｙ：ベクトルＯＧのＹ成分
ｚ：ベクトルＯＧのＺ成分
【００２１】
広角カメラ２のレンズが魚眼レンズ（魚眼投影法に従う）である場合におけるターゲット見込み方向の推定方法を、図７によって説明する。
図７において、広角カメラ２の焦点Ｏから三次元空間中でのターゲット位置Ｐに向かうベクトルが、求めるべきターゲット見込み方向を与える。
ここで、Ｘ軸は水平方向、Ｚ軸は視野中心線（レンズ光軸）に一致するようにとっている。
ベクトル成分の導出を簡単にするために、ＯＰに平行なベクトルＯＧ´を求める。Ｇ´は平面Ｚ＝γ上の点であり、γは魚眼投影面半径を示す。
図７より、　　Ｄ２＝γｓ
Ｒ０＝γＨＡ
従って、
Ｄ１＝γｔａｎｓ＝Ｒ０／ＨＡ・ｔａｎ〔（ＨＡ／Ｒ０）・Ｄ２〕…（２）
ここで、
Ｇ０：平面ｚ＝γ　と　Ｚ軸（レンズ光軸）との交点
γ　：魚眼投影法投影半径
Ｄ１：Ｇ０からＧ´までの距離
Ｄ２：Ｇ０からＧまでの円弧長
ＨＡ：レンズ視野角÷２（一般的な魚眼レンズでは９０°）
Ｓ　：ターゲット見込み方向とＺ軸のなす角
Ｒ０：画像上での視野角ＨＡ円の半径
よって、ＯＧ´のＸ成分ｘ、Ｙ成分ｙ、Ｚ成分ｚは次式で与えられる。
【数１】
2004015516.tif 000003
【００２２】
上述したターゲット見込み方向推定処理において、ターゲット見込み方向ベクトル成分（ｘ，ｙ，ｚ）が得られたので、このベクトルとパンチルトカメラ１の視野中心線（レンズ光軸）が平行になるようなパンおよびチルト角度を図８と図９に従い算出する。
パン角度は、ベクトル（ｘ，ｙ，ｚ）をパン回転面（三次元平面）に射影したベクトルＶ１を求め、パン回転面上にＸ´軸とＺ´軸からなる正規直交座標系をとり、Ｖ１のＸ´成分ｘ´と、Ｚ´成分ｚ´を求めると、パン角度ＰＡは次式によって求められる。
ＰＡ＝ｔａｎ−１（ｘ´／ｚ´）
【００２３】
次に、チルト角度は、パン回転面の法線方向にＹ´軸をとり、ベクトル（ｘ，ｙ，ｚ）をベクトルＶ１とＹ´軸が張る三次元平面に投射したベクトルＶ２を求め、ベクトルＶ２のＹ´成分ｙ´とＶ１成分ｖ´を求めると、次式によってチルト角度ＰＴが得られる。
ＰＴ＝ｔａｎ−１（ｙ´／ｖ´）
実施例では、広角カメラ２のレンズ光軸（Ｚ軸）が４５°斜め下を向いているのに対し、パンチルトカメラ１のパン回転面が水平である。
広角カメラ２のレンズ光軸とパンチルトカメラ１のパン回転面とのなす角をθとすると、Ｘ−Ｙ−Ｚ座標系とＸ´−Ｙ´−Ｚ´座標系は図１０に示すようになる。
【００２４】
前記原理により求めたパン角度ＰＡ、チルト角度ＰＴを与えると、パンチルトカメラ１は三次元空間中でのターゲット位置Ｐから広角カメラ２の焦点Ｏに入射光が入射してきた側を向き、かつ該パンチルトカメラ１の視野中心線と直線ＯＰ（入射光の入射方向）は平行となるように向く。さらに、パンチルトカメラ１と広角カメラ２が近接して設置されているため、該視野中心線と直線ＯＰは互いに近接している。すなわちパンチルトカメラ１の視野中心線は三次元空間中でのターゲット位置Ｐに近接しており、よってＰはパンチルトカメラ１の撮影像の中心付近に撮影されることになる。
【００２５】
上記原理から分かるように、パンチルトカメラ１と広角カメラ２を近接して設置すればするほど、三次元空間中でのターゲット位置Ｐが正確にパンチルトカメラ１の視野中心に撮影される。
したがって、パンチルトカメラ１の映像上でＰをどれだけ正確に視野中心に捉えたいかによってパンチルトカメラ１と広角カメラ２の距離（どれだけ近接させねばならないか）を決めればよい。
【００２６】
実施例では、パンチルトカメラ１としてパン回転中心とチルト回転中心が一致するものを使用しており、パンチルトカメラ１と広角カメラ２の距離の決め方は容易になっている。すなわち、三次元空間中でのターゲット位置Ｐに対しそれを狙うパンチルトカメラ１の視野中心線が距離ｄ以上それてはならないなら、二点Ｏ・Ｏ間の距離がｄ未満になるようパンチルトカメラ１と広角カメラ２を設置せねばならない。
ここで、　　Ｏ　：広角カメラ２の焦点
Ｏ・：パンチルトカメラ１のパンおよびチルトの回転中心
【００２７】
なお、旋回指令とズーム指令は次の通りである。
▲１▼外接長方形の横サイズがパンチルトカメラ１で撮影される画像の横サイズの７０％と一致するようなパンチルトカメラ１の拡大率を算出する。
▲２▼撮影手段１において、ｚ倍ズームで撮影するときの閾値Ｔ５を算出し、動き検出部４から入力されたＧが、前回入力時のＧと比べ、距離Ｔ５以上離れていたときは、パンチルトカメラ１にパン（絶対角度ＰＡ）、チルト（絶対角度ＰＴ）、ズーム（拡大率ｚ）を指令する。
▲３▼現在のＧを記憶し、次のＧの入力を待つ。
【００２８】
ターゲット以外の動く物体が多数存在するか、もしくはターゲットを遮る障害物が存在する領域でのターゲットの位置および形状の誤推定を自動修正する自動修正手段としては、下記の要素を追加している。
▲１▼入力画像を構成する区画のうち、ターゲット以外の動く物体が多数存在するか、もしくはターゲットを遮る障害物が存在する領域を被う区画の集合Ｍを記憶する記憶手段２。
▲２▼追尾中のターゲットが入力画像上に占めると想定される領域を表す区画の集合Ｈが、Ｍに含まれるか否かを判定する包含判定手段２６。
▲３▼ＨがＭに含まれるとき、Ｈと共通部分をもつＭの連結領域ＭＣ（Ｈ）を出力する連結領域出力手段１・２７。
▲４▼ＨがＭに含まれるとき、連結領域ＭＣ（Ｈ）の周縁上の動きを監視し、動きを検出したときその位置（区画）Ｂを出力する動き検出手段２・２８。
▲５▼動き検出手段２・２８が動きを検知（Ｂを出力）したとき、入力画像を構成する区画からＢを含む連結領域Ｓ１Ｃ（Ｂ）を出力する連結領域出力手段２・２９。
▲６▼動き検出手段２が動きを検知したとき、集合Ｈの内容を連結領域ＳＣ１（Ｂ）の内容で置き換える修正手段セレクタ３０。
【００２９】
上記構成要素により、広角カメラ２の画像上でターゲットが映っていると推定される領域Ｈが領域Ｍ内にある（包含されている）間、Ｈをターゲットとして更新するのと並行して連結領域ＭＣ（Ｈ）（Ｈを包含するＭの連結領域）の周縁での動きを監視し、該周縁上の区画Ｂで動きを検知したらＨの更新をやめ、Ｂをターゲットの一部であるとみなして追尾しなおすことにより、領域Ｍの中で永久にターゲット以外のものをターゲットとして誤推定しつづけることを抑止する。
【００３０】
【発明の効果】
以上説明したように、本発明による動画像の自動追尾撮影方法および自動追尾撮影装置は、視野の方向を変更可能な撮影手段１で捉えるべきターゲットをより広角度の撮影手段２の画像上で指定する動画像撮影手段と、同じく撮影手段２の画像上で動く物体の位置と形状を推定し続ける追尾アルゴリズムと、さらに、ターゲット以外の動く物体が多数存在するか、もしくはターゲットを遮る障害物が存在する領域でのターゲット誤推定を自動修正する手段とによって構成しているので、２つのカメラのみによって動く物体を視野内に捉え続けて自動的に追尾撮影することができる極めて高精度のセキュリティ・システムを構築することが可能である。
【図面の簡単な説明】
【図１】本発明による自動追尾撮影装置の構成を示すブロック図。
【図２】動き検出部の構成を示すブロック図。
【図３】区画の集合Ｓ１の例。
【図４】ターゲット追尾部の構成を示すブロック図。
【図５】センスエリアとマスクエリアの例。
【図６】広角カメラのレンズが通常の場合の説明図。
【図７】広角カメラのレンズが魚眼レンズの場合の説明図。
【図８】パン角度算出方法の説明図。
【図９】チルト角度算出方法の説明図。
【図１０】Ｘ−Ｙ−Ｚ座標系とＸ´−Ｙ´−Ｚ´座標系の関係を示す説明図。
【符号の説明】
１　パンチルトカメラ
２　広角カメラ
３　Ａ／Ｄ変換部
４　動き検出部
５　ターゲット追尾部
６　カメラ制御部
７　映像記録装置
１１　フレームバッファ
１２　減算器
１３　２値化回路Ａ
１４　集計回路
１５　２値化回路Ｂ
２０　動き検出手段１
２１　ＣＰＵ
２２　記憶手段１
２３　連結領域列挙手段
２４　連結領域選択手段
２５　マスク領域メモリ
２６　包含判定手段
２７　連結領域出力手段１
２８　動き検出手段２
２９　連結領域出力手段２
３０　セレクタ
３１　外接長方形算出
３２　演算手段２
【図１】
2004015516.tif 000004
【図２】
2004015516.tif 000005
【図３】
2004015516.tif 000006
【図４】
2004015516.tif 000007
【図５】
2004015516.tif 000008
【図６】
2004015516.tif 000009
【図７】
2004015516.tif 000010
【図８】
2004015516.tif 000011
【図９】
2004015516.tif 000012
【図１０】
2004015516.tif 000013