(57)【要約】【課題】遠近方向に移動する人物を安定的に追跡しながら撮影する撮影装置を提供する。【解決手段】顔が抽出されると、顔抽出回路７５による処理は停止する。抽出された顔の大きさに基づいてズームレンズ４１が制御され、顔は画像内で一定の大きさに保たれる。また、顔の動きベクトルに基づいて監視カメラ２１の姿勢が制御され、顔は画像内で追跡されて一定の位置に保たれる。顔を追跡しながらの撮影はフレーム毎に得られる動きベクトルに基づいて逐次行われる。顔の動きベクトルが検出されなくなった場合には、再度、顔抽出回路７５による処理が開始される。【選択図】図６
2008301162.tif 000002
【特許請求の範囲】
【請求項１】
移動する人物を追跡しながら撮影する撮影装置において、
動画撮影して画像を取得する撮影手段と、
前記画像から人物の顔を抽出する処理を間欠的に繰り返す顔抽出手段と、
前記顔抽出手段によって抽出された顔の移動量及び方向を示す動きベクトルを検出する動き検出手段と、
前記動きベクトルに基づいて前記撮影手段の姿勢を制御する姿勢制御手段とを備えたことを特徴とする撮影装置。
【請求項２】
焦点距離を変化させる焦点距離調節手段と、
前記顔抽出手段によって抽出される顔の大きさに基づいて前記焦点距離調節手段の駆動を制御する駆動制御手段とを備えたことを特徴とする請求項１記載の撮影装置。
【請求項３】
前記動きベクトルが検出されなくなると、前記顔抽出手段は、顔の抽出を再度行うことを特徴とする請求項１又は２記載の撮影装置。
【請求項４】
移動する人物を追跡しながら撮影する撮影方法において、
動画撮影によって取得される画像から人物の顔を抽出することを間欠的に繰り返すとともに、抽出された顔の移動量及び方向を示す動きベクトルを検出し、前記動きベクトルに基づいて撮影方向を制御することを特徴とする撮影方法。
【請求項５】
抽出される顔の大きさに基づいて焦点距離を制御することを特徴とする請求項４記載の撮影方法。
【請求項６】
前記動きベクトルが検出されなくなったときに顔の抽出を再度行うことを特徴とする請求項４又は５記載の撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動する人物を追跡しながら撮影する撮影装置、及び撮影方法に関する。
【背景技術】
【０００２】
近年、店舗その他の施設、公共の場などに監視カメラが設置されることが多くなっている。監視カメラとはその周囲を動画撮影する撮影装置のことであり、動画撮影された画像を記録したりモニタで監視したりすることができる。
【０００３】
このような撮影装置には、一定方向を撮影する固定式のもの（例えば、特許文献１参照）、上下左右に旋回して方向可変に撮影する全方位式のもの（例えば、特許文献２参照）、焦点距離を周期的に変化させて撮影する焦点距離可変式のもの（例えば、特許文献３参照）などがある。
【０００４】
また、最近では、移動する人物を追跡しながらの撮影を可能にした撮影装置がある（例えば、特許文献４，５参照）。人物の追跡には、動画撮影された画像から検出される動きベクトルが利用されている。なお、動きベクトルは、フレーム間で画像同士を比較して同一被写体として対応する画素を識別した上で検出される。
【特許文献１】特開２００５−２３９３１３号公報
【特許文献２】特開２００１−０９４８３８号公報
【特許文献３】特開２００６−２６２２２５号公報
【特許文献４】特開２００１−２６８４２５号公報
【特許文献５】特開平０６−３３９０５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献４，５記載の撮影装置では、遠近方向に移動して画像内で拡縮する人物に関し、動きベクトルが検出できず追跡できない虞がある。
【０００６】
本発明は、上記課題を鑑みてなされたものであり、遠近方向に移動する人物を安定的に追跡しながら撮影する撮影装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の撮影装置は、移動する人物を追跡しながら撮影する撮影装置であって、動画撮影して画像を取得する撮影手段と、画像から人物の顔を抽出する処理を間欠的に繰り返す顔抽出手段と、顔抽出手段によって抽出された顔の移動量及び方向を示す動きベクトルを検出する動き検出手段と、動きベクトルに基づいて撮影手段の姿勢を制御する姿勢制御手段とを備えたことを特徴とする。
【０００８】
なお、焦点距離を変化させる焦点距離調節手段と、顔抽出手段によって抽出される顔の大きさに基づいて焦点距離調節手段の駆動を制御する駆動制御手段とを備えていることが好ましい。
【０００９】
また、動きベクトルが検出されなくなると、顔抽出手段は、顔の抽出を再度行うことが好ましい。
【００１０】
本発明の撮影方法は、移動する人物を追跡しながら撮影する撮影方法であって、動画撮影によって取得される画像から人物の顔を抽出することを間欠的に繰り返すとともに、抽出された顔の移動量及び方向を示す動きベクトルを検出し、その動きベクトルに基づいて撮影方向を制御することを特徴とする。
【００１１】
なお、抽出される顔の大きさに基づいて焦点距離を制御することが好ましい。
【００１２】
また、動きベクトルが検出されなくなったときに顔の抽出を再度行うことが好ましい。
【発明の効果】
【００１３】
本発明の撮影装置、及び撮影方法によれば、動画撮影によって取得される画像から人物の顔を抽出することを間欠的に繰り返すとともに、抽出された顔の動きベクトルを検出し、その動きベクトルに基づいて撮影方向を制御するので、人物が遠近方向に移動する場合であっても人物を安定的に追跡しながら撮影することができる。
【００１４】
また、抽出される被写体の大きさに基づいて焦点距離を制御するので、遠近方向に移動する人物を画像内で一定の大きさに保ちつつ追跡することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の監視カメラ（撮影装置）２１について、図面を参照しながら説明する。図１に示すように、監視カメラ２１のハウジング２２前面には、撮影レンズ５１（図２参照）を保護する透明な保護プレート２３が設けられている。ハウジング２２の下面には、取付けアーム２４の先端に設けられた姿勢制御機構２５が接続されている。姿勢制御機構２５は、ハウジング２２を上下方向（Ｕ，Ｄ）及び左右方向（Ｌ，Ｒ）に回動させ、監視カメラ２１の姿勢を制御する。なお、このような姿勢制御機構２５は周知技術であり、具体的な説明は省略する。
【００１６】
図２に示すように、監視カメラ２１には、ズームレンズ４１、絞り４２、フォーカスレンズ４３、及びＣＣＤイメージセンサ４４が設けられている。ズームレンズ（焦点距離調節手段）４１は、変倍用レンズモータ４５の駆動によって変倍する。絞り４２は、アイリスモータ４６の駆動によって口径を変える。フォーカスレンズ４３は、合焦用レンズモータ４７の駆動によってピントを調整する。これらモータ４５〜４７は、ＣＰＵ４８に接続されたモータドライバ４９を介して駆動が制御される。モータドライバ４９には、上記モータ４５〜４７の他、姿勢制御機構２５を駆動する姿勢制御用モータ５０が接続されている。姿勢制御機構２５は、姿勢制御用モータ５０の駆動によって監視カメラ２１の姿勢を制御する。なお、ズームレンズ４１、絞り４２、及びフォーカスレンズ４３によって撮影レンズ５１が構成される。
【００１７】
ＣＣＤイメージセンサ４４には、ＣＰＵ４８によって制御されるタイミングジェネレータ（ＴＧ）５３が接続されている。ＣＣＤイメージセンサ（撮影手段）４４は、タイミングジェネレータ５３から入力されるタイミング信号（クロックパルス）により駆動し、被写体光を結像させて撮像する。
【００１８】
ＣＣＤイメージセンサ４４から得られる撮像信号は、ＣＤＳ（相関二重サンプリング回路）５４、ＡＭＰ（増幅器）５５に入力される。ＣＤＳ５４は、ＣＣＤイメージセンサ４４の各セルの蓄積電荷量に正確に対応したＲ，Ｇ，Ｂの画像データを出力し、ＡＭＰ５５は、画像データを増幅する。増幅された画像データは、Ａ／Ｄ変換器５６でデジタル信号に変換される。
【００１９】
画像入力コントローラ５７は、データバス５８を介してＣＰＵ４８に接続され、ＣＰＵ４８の制御命令に応じてＣＣＤイメージセンサ４４、ＣＤＳ５４、ＡＭＰ５５、及びＡ／Ｄ変換器５６を制御する。Ａ／Ｄ変換器５６から出力される画像データは、所定間隔毎に出力され、ＳＤＲＡＭ５９に一時的に格納される。ＳＤＲＡＭ５９は、作業用メモリである。
【００２０】
画像信号処理回路６０は、ＳＤＲＡＭ５９から画像データを読み出して、階調変換、ホワイトバランス（ＷＢ）補正、γ補正などの各種画像処理を施し、この画像データを再度ＳＤＲＡＭ５９に格納する。ＹＣ変換処理回路６１は、画像信号処理回路６０で各種処理の施された画像データをＳＤＲＡＭ５９から読み出して、輝度信号Ｙと色差信号Ｃｒ，Ｃｂとに変換する。
【００２１】
ＶＲＡＭ６２は、通信Ｉ／Ｆ６３を介して接続される外部機器のモニタ（図示せず）にスルー画像を出力するためのメモリであり、画像信号処理回路６０、ＹＣ変換処理回路６１を経た画像データが格納される。このＶＲＡＭ６２には、画像データの書込みと読出しとを並行して行えるように、２フレーム分のメモリが確保されている。ＶＲＡＭ６２に格納された画像データは、モニタドライバ（図示せず）でアナログのコンポジット信号に変換され、モニタにスルー画像として表示される。
【００２２】
通信Ｉ／Ｆ６３には、電源制御回路６４が接続されている。電源制御回路６４は、例えば、電源ノイズを除去するためのフィルタや過電流を防止するためのリミッタなどから構成され、通信Ｉ／Ｆ６３を介して外部機器から供給されるバスパワーを、ＤＣ／ＤＣコンバータ６５を通して監視カメラ２１の各部に供給する。また、各種画像処理が施された後、ＶＲＡＭ６２に格納された画像データは、通信Ｉ／Ｆ６３に出力され、外部機器に送信される。
【００２３】
圧縮伸長処理回路６６は、ＹＣ変換処理回路６１でＹＣ変換された画像データに対して、所定の圧縮形式（例えば、ＭＰＥＧ形式）で画像圧縮を施す。圧縮された画像データは、通信Ｉ／Ｆ６３を介して接続される外部機器の記録媒体（図示せず）に記録される。なお、圧縮伸長処理回路６６は、動きベクトルを検出する動き検出器６７と、動きベクトルを利用した動き補償処理をする動き補償器６８とを構成に含む。
【００２４】
動き検出器（動き検出手段）６７は、第Ｎフレームの画像に関し、直前の第（Ｎ−１）フレームの画像とパターンマッチングにより比較して動きベクトルを検出する。動きベクトルとは、フレーム間で同一のパターンを有したマクロブロック（例えば、８×８画素）の空間的距離及び方向を表すものである。
【００２５】
例えば、図３（Ａ）に示す第（Ｎ−１）フレームの画像と、図３（Ｂ）に示す第Ｎフレームの画像とに関し、画像フレームの上端からｎ個目、左端からｍ個目の画素をａｎ−１，ｍ−１とすると、第Ｎフレームにおけるａ０，０〜ａ０，７，ａ１，０〜ａ１，７，ａ２，０〜ａ２，７，ａ３，０〜ａ３，７，ａ４，０〜ａ４，７，ａ５，０〜ａ５，７，ａ６，０〜ａ６，７，ａ７，０〜ａ７，７の画素から構成されるマクロブロック１０１は、第（Ｎ−１）フレームにおけるａ３，４〜ａ３，１１，ａ４，４〜ａ４，１１，ａ５，４〜ａ５，１１，ａ６，４〜ａ６，１１，ａ７，４〜ａ７，１１，ａ８，４〜ａ８，１１，ａ９，４〜ａ９，１１，ａ１０，４〜ａ１０，１１の画素から構成されるマクロブロック１０２と同一のパターンを有しており、同一被写体として対応する。つまり、第Ｎフレームにおけるマクロブロック１０１の動きベクトル１０３は、左方向に４画素分、上方向に３画素分の距離及び方向を表す。
【００２６】
動き補償器６８は、第（Ｎ−１）フレームの画像（図３（Ａ）参照）と、動き検出器６７によって検出される第Ｎフレームの動きベクトル１０３（図３（Ｂ）参照）とを受けてフレーム間で空間的に移動する被写体を追従し、第Ｎフレームの画像を予測してフレーム間の差分画像を求める。
【００２７】
ここで、撮影距離に変動を生じさせない方向に移動する被写体が撮影される場合を例に説明する。なお、画像は４×４個のマクロブロックＢＬＫ０〜ＢＬＫ１５に分割されているとする。また、監視カメラ２１は一定の方向を撮影していると仮定する。図４（Ａ）に示す第（Ｎ−１）フレームのマクロブロックＢＬＫ５に映る人物の顔１０４は、マクロブロックＢＬＫ５の動きベクトル１０５（図４（Ｂ）参照）によって追従され、図４（Ｂ）に示す第Ｎフレームの画像が予測されてフレーム間の差分画像が求められる。このようにフレーム間で共通するデータを差し引いてその差分画像を求めることで、高い圧縮効率を得ることができる。
【００２８】
一方、撮影距離に変動を生じさせる方向に移動する被写体が撮影される場合を例に説明する。なお、画像は４×４個のマクロブロックＢＬＫ０〜ＢＬＫ１５に分割されているとする。また、監視カメラ２１は一定の方向を撮影していると仮定する。図５（Ａ）に示す第（Ｎ−１）フレームのマクロブロックＢＬＫ５に映る人物の顔１０４は、図５（Ｂ）に示す第Ｎフレームでは拡大されてマクロブロックＢＬＫ６，ＢＬＫ１０に映る。つまり、動き検出器６７は、パターンマッチングによる画像同士の比較では、被写体の拡縮により人物の顔１０４として対応するマクロブロックを認識することができず、その動きベクトルを検出することもできない。動きベクトルを検出することができないので、動き補償器６８は、第Ｎフレームの画像を予測することができず、フレーム間の差分画像を求めることができない。なお、検出することができない動きベクトルは、詳しくは後述する顔抽出回路７５による処理によって補間される。
【００２９】
ＣＰＵ４８には、モータドライバ４９などの他、ＥＥＰＲＯＭ６９が接続されている。ＥＥＰＲＯＭ６９には、各種制御用プログラムや設定情報などが記録されている。ＣＰＵ４８は、これらの情報をＥＥＰＲＯＭ６９からＳＤＲＡＭ５９に読み出して、各種処理を実行する。
【００３０】
データバス５８には、ズームレンズ４１の合焦位置が適切か否かを検出するＡＦ検出回路７２と、ＣＣＤイメージセンサ４４の撮影感度や、絞り４２の絞り値といった露光条件が撮影に適切か否かを検出するＡＥ検出回路７３と、ホワイトバランス補正が撮影に適切か否かを検出するＡＷＢ検出回路７４とが接続されている。
【００３１】
各検出回路７２〜７４は、データバス５８を介してＣＰＵ４８に検出結果を逐次送信する。ＣＰＵ４８は、各検出回路７２〜７４から送信される検出結果に基づいて、ズームレンズ４１、絞り４２、フォーカスレンズ４３、ＣＣＤイメージセンサ４４などの動作を個別に制御する。
【００３２】
ＡＦ検出回路７２は、コントラスト検出方式によりフォーカス制御を行う。先ず、画像の合焦状態を評価するために予め設定された１つ又は複数の合焦評価領域（ＡＦエリア）に基づいて人物の顔など被写体までの撮影距離を算出し、フォーカスレンズ４３の合焦位置を決定する。
【００３３】
ＡＥ・ＡＷＢ検出回路７３，７４は、所定間隔毎にＶＲＡＭ６２に格納された画像データの輝度情報に基づいて適正な露光値、及びホワイトバランスの補正量を算出し、これらの情報をＣＰＵ４８に送る。ＣＰＵ４８は、得られる情報に基づいて絞り４２や画像処理の制御を連続的に行う。
【００３４】
また、データバス５８には、画像から人物の顔を抽出する顔抽出回路（顔抽出手段）７５が接続されている。顔抽出回路７５は、スルー画像として外部機器のモニタ（図示せず）に表示される画像データをＶＲＡＭ６２から読み出して、人物の両眼を抽出することによって人物の顔を抽出する。
【００３５】
具体的には、人物の両眼を抽出するに際し、画像データを格子状に分割し（例えば、１６×１６）、各分割領域に含まれるＲ，Ｇ，Ｂの各色信号の信号レベルから皮膚と推定される肌色の画素を多く含む分割領域を抽出する。そして、抽出された領域から眼部の白色の画素と瞳と推定される黒色の画素を有する領域を選別し、その領域から画像上の人物の両眼の位置を求め、両眼の位置の中点を代表点として顔の位置と定める。顔抽出回路７５は、顔の位置と定めた周囲の肌色の画素を多く含む領域を顔領域として抽出する。
【００３６】
図５（Ａ）及び図５（Ｂ）に示したように、人物の顔１０４に関して動きベクトルが検出できなくなった場合に、顔抽出回路７５が人物の顔１０４を抽出することで、その動きベクトルを補間することができる。撮影対象を人物の顔に限定することで、その人物の顔が撮影距離に変動を生じさせる方向に移動する場合であっても追従することができる。また、顔抽出回路７５を、所定のフレーム置きに駆動させて人物の顔を抽出させることで、安定的に追従させることができる。
【００３７】
モータドライバ４９は、顔抽出回路７５によって抽出された人物の顔の大きさに基づくＣＰＵ４８の指令を受け、変倍用レンズモータ４５を駆動する。変倍用レンズモータ４５の駆動によってズームレンズ４１は変倍し、遠近方向に移動する人物の顔を画像内で一定の大きさに保つことができる。また、モータドライバ４９は、顔抽出回路７５によって抽出された人物の顔の動きベクトルに基づくＣＰＵ４８の指令を受け、姿勢制御用モータ５０を駆動する。その動きベクトルの分だけ撮影範囲が移動するように監視カメラ２１の姿勢を制御することで、人物の顔を画像内で一定の位置に保つことができる。このようにすることで、監視カメラ２１は、遠近方向に移動する場合であっても人物の顔を追跡しながら撮影することができる。
【００３８】
以下、上記実施形態の監視カメラ２１（図１参照）について図６を参照しながら説明する。撮影が開始されると、顔抽出回路７５が駆動して人物の顔を抽出する処理が開始される。人物の顔が抽出されると、顔抽出回路７５による処理は停止する。抽出された顔の大きさに基づいてズームレンズ４１の変倍が制御され、人物の顔は画像内で一定の大きさに保たれる。また、人物の顔の動きベクトルに基づいて監視カメラ２１の姿勢が制御され、人物の顔は画像内で追跡されて一定の位置（例えば、画像中央）に保たれる。人物の顔を追跡しながらの撮影はフレーム毎に得られる動きベクトルに基づいて逐次行われる。なお、人物の顔の動きベクトルが検出されなくなった場合には、再度、顔抽出回路７５による処理が開始される。
【００３９】
所定のフレーム数（例えば、５フレーム）だけ処理が行われると、人物の顔を追跡しながらの撮影とともに、顔抽出回路７５による処理が開始される。人物の顔が抽出され直すと、新たに抽出された顔の大きさに基づいてズームレンズ４１の変倍が制御され、人物の顔は画像内で一定の大きさに保たれる。そして、新たに抽出された顔の動きベクトルに基づいて監視カメラ２１の姿勢が制御され、人物の顔は画像内で一定の位置に保たれる。撮影が終了するまで上記処理は繰り返される。このように、監視カメラ２１は、人物の顔が撮影距離に変動を生じさせる方向に移動した場合であっても、人物の顔を追跡しながら撮影することができる。
【００４０】
なお、上記実施形態において、フレーム間における画像同士をパターンマッチングにより比較する場合を例に説明したが、動きベクトルが検出することができれば良く、別の方法によって検出するのであっても構わない。
【００４１】
また、上記実施形態において、顔抽出回路７５による顔の抽出は、肌色を抽出して顔領域を抽出する場合を例に説明したが、顔領域が抽出できれば良く、例えば、テンプレートを利用したパターン認識によって顔領域を抽出するのでも構わない。
【００４２】
また、上記実施形態において、マクロブロック単位の動きベクトルを検出する場合を例に説明したが、これに限定されるのではなく、画素単位の動きベクトルを検出するのでも良い。
【図面の簡単な説明】
【００４３】
【図１】監視カメラの外観斜視図である。
【図２】監視カメラの電気的構成を示すブロック図である。
【図３】動きベクトルの検出方法を説明するための図であり、（Ａ）は第（Ｎ−１）フレームの画像を、（Ｂ）は第Ｎフレームの画像をそれぞれ示す。
【図４】動きベクトルが検出される例を示す図であり、（Ａ）は第（Ｎ−１）フレームの画像を、（Ｂ）は第Ｎフレームの画像をそれぞれ示す。
【図５】動きベクトルが検出されない例を示す図であり、（Ａ）は第（Ｎ−１）フレームの画像を、（Ｂ）は第Ｎフレームの画像をそれぞれ示す。
【図６】監視カメラの撮影処理手順を示すフローチャートである。
【符号の説明】
【００４４】
２１  監視カメラ（撮影装置）
２５  姿勢制御機構（姿勢制御手段）
４１  ズームレンズ（焦点距離調節手段）
４４  ＣＣＤイメージセンサ（撮影手段）
４５  変倍用レンズモータ（駆動制御手段）
６７  動き検出器（動き検出手段）
７５  顔抽出回路（顔抽出手段）
【図１】
2008301162.tif 000003
【図２】
2008301162.tif 000004
【図３】
2008301162.tif 000005
【図４】
2008301162.tif 000006
【図５】
2008301162.tif 000007
【図６】
2008301162.tif 000008