(57)【要約】【目的】ターゲットがフレーム・アウトした場合に，検出領域を決定する。【構成】ターゲット52が連続して撮像されている場合に，ターゲット52が被写体像50からフレーム・アウトしたかどうかを判定する。フレーム・アウトした場合には，カメラの動きの大きさおよび方向が検出される。カメラの動きが大きい場合には，ユーザはターゲットを追跡しながら被写体を撮像していたと考えられるので，ターゲット52を再び中心として撮像することが考えられる。ターゲット52を検出する範囲として規定される領域55が撮像範囲の中心に設定される。ターゲット52がフレーム・アウトした場合において，カメラの動きが小さかった場合には，ターゲットが再び撮像範囲内に入ってくるのを待っていると考え，撮像範囲の端部が検出領域に設定される。【選択図】図５
2011004152.tif 000002
【特許請求の範囲】
【請求項１】
連続して被写体を撮像して得られる，被写体像を表す画像データによって表される被写体像の検出領域内において追跡対象のターゲットを検出するターゲット検出手段，
上記ターゲット検出手段によってターゲットが検出されたことに応じて，検出されたターゲットが中心となるように上記検出領域を更新する検出領域更新手段，
上記ターゲット検出手段によってターゲットが検出されなかったことに応じて，ターゲットが検出されなくなった被写体像全体の動きの大きさおよび方向を検出する動き検出手段，
上記動き検出手段によって検出された被写体像全体の動きが所定の大きさ以上であれば被写体像の中央部分に検出領域を設定し，上記動き検出手段によって検出された被写体像全体の動きが所定の大きさ未満であれば上記動き検出手段によって検出された被写体像全体の動きの方向と逆方向の被写体像端部に検出領域を設定する検出領域設定手段，ならびに
上記ターゲットを検出する処理，上記検出領域を更新する処理，上記動きの大きさおよび方向を検出する処理および上記検出領域を設定する処理を繰り返すように上記ターゲット検出手段，上記検出領域更新手段，上記動き検出手段および上記検出領域設定手段を制御する制御手段，
を備えたターゲット追跡装置。
【請求項２】
上記検出領域設定手段は，
上記動き検出手段によって検出された被写体像全体の動きの大きさが大きいほど被写体像の中央部分に近い位置に検出領域を設定し，
上記動き検出手段によって検出された被写体像全体の動きの大きさが小さいほど被写体像全体の動きの方向と逆方向の被写体像端部に近い位置に検出領域を設定するものである，
請求項１に記載のターゲット追跡装置。
【請求項３】
上記動き検出手段は，連続した２駒の被写体像間のずれ量にもとづいて被写体像全体の動きの大きさおよび方向を検出するものである，
請求項１または２に記載のターゲット追跡装置。
【請求項４】
上記ターゲット検出手段は，
ターゲットを表す画像の特徴量をもつ部分またはターゲットを表わすテンプレート画像と同じ画像部分が検出領域に存在することによりターゲットが検出されたものとする，
請求項１から３のうちいずれか一項に記載のターゲット追跡装置。
【請求項５】
ターゲット検出手段が，連続して被写体を撮像して得られる，被写体像を表す画像データによって表される被写体像の検出領域内において追跡対象のターゲットを検出し，
検出領域更新手段が，上記ターゲット検出手段によってターゲットが検出されたことに応じて，検出されたターゲットが中心となるように上記検出領域を更新し，
動き検出手段が，上記ターゲット検出手段によってターゲットが検出されなかったことに応じて，ターゲットが検出されなくなった被写体像全体の動きの大きさおよび方向を検出し，
検出領域設定手段が，上記動き検出手段によって検出された被写体像全体の動きが所定の大きさ以上であれば被写体像の中央部分に検出領域を設定し，上記動き検出手段によって検出された被写体像全体の動きが所定の大きさ未満であれば上記動き検出手段によって検出された被写体像全体の動きの方向と逆方向の被写体像端部に検出領域を設定し，
制御手段が，上記ターゲットを検出する処理，上記検出領域を更新する処理，上記動きの大きさおよび方向を検出する処理および上記検出領域を設定する処理を繰り返すように上記ターゲット検出手段，上記検出領域更新手段，上記動き検出手段および上記検出領域設定手段を制御する，
ターゲット追跡装置の動作制御方法。
【請求項６】
ターゲット追跡装置のコンピュータを制御するプログラムであって，
撮像装置を用いて連続して被写体を撮像して得られる，被写体像を表す画像データによって表される被写体像の検出領域内において追跡対象のターゲットを検出させ，
ターゲットが検出されたことに応じて，検出されたターゲットが中心となるように上記検出領域を更新させ，
ターゲットが検出されたことに応じて，検出されたターゲットが中心となるように上記検出領域を更新させ，
ターゲットが検出されなかったことに応じて被写体像全体の動きの大きさおよび方向を検出させ，
検出された被写体像全体の動きが所定の大きさ以上であれば被写体像の中央部分に検出領域を設定させ，検出された被写体像全体の動きが所定の大きさ未満であれば検出された被写体像全体の動きの方向と逆方向の被写体像端部に検出領域を設定させ，
上記ターゲットを検出する処理，上記検出領域を更新する処理，上記動きの大きさおよび方向を検出する処理および上記検出領域を設定する処理を繰り返させるようにターゲット追跡装置のコンピュータを制御するコンピュータ読み取り可能なプログラム。
【請求項７】
連続して被写体を撮像して得られる，被写体像を表す画像データによって表される被写体像に設定される追跡領域内の画像の特徴量を算出する特徴量算出手段，
上記特徴量算出手段によって特徴量が算出された被写体像の後に撮像された被写体像から，上記特徴量算出手段によって算出された特徴量をもつ画像部分を追跡対象画像として検出する追跡対象画像検出手段，
上記追跡対象画像検出手段によって画像部分が検出されたことに応じて，上記特徴量算出手段によって特徴量が算出された被写体像よりも上記追跡対象画像検出手段によって画像部分が検出された被写体像の方が追跡対象画像の動きが大きくなったかどうかを判定する動き判定手段，
上記動き判定手段によって動きが大きくなったと判定されたことに応じて，上記特徴量算出手段によって算出された特徴量を記憶するように記憶装置を制御する記憶制御手段，
上記動き判定手段によって動きが小さくなったと判定されたことに応じて，上記追跡対象画像検出手段によって画像対象部分が検出された被写体像の中から上記記憶装置に記憶されている特徴量をもつ画像部分を検出するように上記追跡対象画像検出手段を制御する検出制御手段，
上記動き判定手段によって動きが大きくなったと判定された場合には，上記追跡対象画像検出手段によって検出された画像部分の位置を上記特徴量算出手段の追跡領域に設定し，かつ上記動き判定手段によって動きが小さくなったと判定された場合には，上記検出制御手段の制御のもとに上記画像検出手段によって検出された画像部分であって上記記憶装置に記憶されている特徴量をもつ画像部分と，上記画像検出手段によって検出された画像部分であって上記特徴量算出手段によって算出された特徴量をもつ画像部分と，のうち追跡対象画像に近似している画像部分の位置を上記特徴量算出手段の追跡領域に設定する追跡領域設定手段，ならびに
上記特徴量を算出する処理，上記画像部分を追跡対象画像として検出する処理，上記動きが大きくなったかどうかを判定する処理，上記記憶装置を制御する処理，上記追跡対象画像検出手段を制御する処理および上記追跡領域に設定する処理を繰り返すように，上記追跡対象画像検出手段，上記動き判定手段，上記記憶制御手段，上記検出制御手段，および上記追跡領域設定手段を制御する制御手段，
を備えた画像追跡装置。
【請求項８】
上記動き判定手段は，
連続した２駒の被写体像間のずれ量にもとづいて動きを判定するものである，
請求項７に記載の画像追跡装置。
【請求項９】
上記追跡対象画像検出手段は，
追跡対象画像のテンプレート画像の特徴量を表す特徴量から追跡対象画像を検出するものである，
請求項７または８に記載の画像追跡装置。
【請求項１０】
特徴量算出手段が，連続して被写体を撮像して得られる，被写体像を表す画像データによって表される被写体像に設定される追跡領域内の画像の特徴量を算出し，
追跡対象画像検出手段が，上記特徴量算出手段によって特徴量が算出された被写体像の後に撮像された被写体像から，上記特徴量算出手段によって算出された特徴量をもつ画像部分を追跡対象画像として検出し，
動き判定手段が，上記追跡対象画像検出手段によって画像部分が検出されたことに応じて，上記特徴量算出手段によって特徴量が算出された被写体像よりも上記追跡対象画像検出手段によって画像部分が検出された被写体像の方が追跡対象画像の動きが大きくなったかどうかを判定し，
記憶制御手段が，上記動き判定手段によって動きが大きくなったと判定されたことに応じて，上記特徴量算出手段によって算出された特徴量を記憶するように記憶装置を制御し，
検出制御手段が，上記動き判定手段によって動きが小さくなったと判定されたことに応じて，上記追跡対象画像検出手段によって画像対象部分が検出された被写体像の中から上記記憶装置に記憶されている特徴量をもつ画像部分を検出するように上記追跡対象画像検出手段を制御し，
追跡領域設定手段が，上記動き判定手段によって動きが大きくなったと判定された場合には，上記追跡対象画像検出手段によって検出された画像部分の位置を上記特徴量算出手段の追跡領域に設定し，かつ上記動き判定手段によって動きが小さくなったと判定された場合には，上記検出制御手段の制御のもとに上記画像検出手段によって検出された画像部分であって上記記憶装置に記憶されている特徴量をもつ画像部分と，上記画像検出手段によって検出された画像部分であって上記特徴量算出手段によって算出された特徴量をもつ画像部分と，のうち追跡対象画像に近似している画像部分の位置を上記特徴量算出手段の追跡領域に設定し，
制御手段が，上記特徴量を算出する処理，上記画像部分を追跡対象画像として検出する処理，上記動きが大きくなったかどうかを判定する処理，上記記憶装置を制御する処理，上記追跡対象画像検出手段を制御する処理および上記追跡領域に設定する処理を繰り返すように，上記追跡対象画像検出手段，上記動き判定手段，上記記憶制御手段，上記検出制御手段，および上記追跡領域設定手段を制御する，
画像追跡装置の動作制御方法。
【請求項１１】
画像追跡装置のコンピュータを制御するプログラムであって，
連続して被写体を撮像して得られる，被写体像を表す画像データによって表される被写体像に設定される追跡領域内の画像の特徴量を算出させ，
特徴量が算出された被写体像の後に撮像された被写体像から，算出された特徴量をもつ画像部分を追跡対象画像として検出させ，
画像部分が検出されたことに応じて，特徴量が算出された被写体像よりも画像部分が検出された被写体像の方が追跡対象画像の動きが大きくなったかどうかを判定させ，
動きが大きくなったと判定されたことに応じて，算出された特徴量を記憶するように記憶装置を制御させ，
動きが小さくなったと判定されたことに応じて，画像対象部分が検出された被写体像の中から記憶されている特徴量をもつ画像部分を検出させ，
動きが大きくなったと判定された場合には，検出された画像部分の位置を追跡領域に設定し，かつ動きが小さくなったと判定された場合には，検出制御制御処理のもとに検出された画像部分であって記憶されている特徴量をもつ画像部分と，検出された画像部分であって算出された特徴量をもつ画像部分と，のうち追跡対象画像に近似している画像部分の位置を追跡領域に設定させ，
上記特徴量を算出する処理，上記画像部分を追跡対象画像として検出する処理，上記動きが大きくなったかどうかを判定する処理，上記記憶装置を制御する処理，上記追跡対象画像検出手段を制御する処理および上記追跡領域に設定する処理を繰り返すように画像追跡装置を制御するコンピュータ読み取り可能なプログラム。
【請求項１２】
連続して被写体を撮像して，被写体像を表す画像データを順に出力する撮像装置，
上記撮像装置から出力された画像データによって表される被写体像の検出領域内において追跡対象のターゲットを検出するターゲット検出手段，
上記ターゲット検出手段によってターゲットが検出されたことに応じて，検出されたターゲットが中心となるように上記検出領域を更新する検出領域更新手段，
上記ターゲット検出手段によってターゲットが検出されなかったことに応じて撮像装置の動きの大きさおよび方向を検出する動き検出手段，
上記動き検出手段によって検出された撮像装置の動きが所定の大きさ以上であれば被写体像の中央部分に検出領域を設定し，上記動き検出手段によって検出された撮像装置の動きが所定の大きさ未満であれば上記動き検出手段によって検出された撮像装置の動きの方向と同じ方向の被写体像端部に検出領域を設定する検出領域設定手段，ならびに
上記被写体を撮像する処理，上記ターゲットを検出する処理，上記検出領域を更新する処理，上記動きの大きさおよび方向を検出する処理および上記検出領域を設定する処理を繰り返すように上記撮像装置，上記ターゲット検出手段，上記検出領域更新手段，上記動き検出手段および上記検出領域設定手段を制御する制御手段，
を備えたディジタル・カメラ。
【請求項１３】
連続して被写体を撮像し，被写体像を表す画像データを順に出力する撮像装置，
上記撮像装置から出力された画像データによって表される被写体像に設定される追跡領域内の画像の特徴量を算出する特徴量算出手段，
上記特徴量算出手段によって特徴量が算出された被写体像の後に撮像された被写体像から，上記特徴量算出手段によって算出された特徴量をもつ画像部分を追跡対象画像として検出する追跡対象画像検出手段，
上記追跡対象画像検出手段によって画像部分が検出されたことに応じて，上記特徴量算出手段によって特徴量が算出された被写体像の撮像時よりも上記追跡対象画像検出手段によって画像部分が検出された被写体像の撮像時の方が撮像装置または追跡対象画像の動きが大きくなったかどうかを判定する動き判定手段，
上記動き判定手段によって動きが大きくなったと判定されたことに応じて，上記特徴量算出手段によって算出された特徴量を記憶するように記憶装置を制御する記憶制御手段，
上記動き判定手段によって動きが小さくなったと判定されたことに応じて，上記追跡対象画像検出手段によって画像対象部分が検出された被写体像の中から上記記憶装置に記憶されている特徴量をもつ画像部分を検出するように上記追跡対象画像検出手段を制御する検出制御手段，
上記動き判定手段によって動きが大きくなったと判定された場合には，上記追跡対象画像検出手段によって検出された画像部分の位置を上記特徴量算出手段の追跡領域に設定し，かつ上記動き判定手段によって動きが小さくなったと判定された場合には，上記検出制御手段の制御のもとに上記画像検出手段によって検出された画像部分であって上記記憶装置に記憶されている特徴量をもつ画像部分と，上記画像検出手段によって検出された画像部分であって上記特徴量算出手段によって算出された特徴量をもつ画像部分と，のうち追跡対象画像に近似している画像部分の位置を上記特徴量算出手段の追跡領域に設定する追跡領域設定手段，ならびに
上記被写体を撮像する処理，上記特徴量を算出する処理，上記画像部分を追跡対象画像として検出する処理，上記動きが大きくなったかどうかを判定する処理，上記記憶装置を制御する処理，上記追跡対象画像検出手段を制御する処理および上記追跡領域に設定する処理を繰り返すように，上記撮像装置，上記追跡対象画像検出手段，上記動き判定手段，上記記憶制御手段，上記検出制御手段，および上記追跡領域設定手段を制御する制御手段，
を備えたディジタル・カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，ターゲット追跡装置および画像追跡装置ならびにそれらの動作制御方法ならびにディジタル・カメラに関する。
【背景技術】
【０００２】
特定の人物などのターゲットを追跡しながら，連続撮像することがある（特許文献１〜３）。このような撮像では，撮像範囲において追跡対象となるターゲットの周囲に検出領域が設定される。設定された検出領域内においてターゲットが検出される。ターゲットが移動していると，そのターゲットが撮像範囲からはみ出してしまうことがある。ターゲットが撮像範囲からはみ出してしまうと，ターゲットを追跡する場合に，撮像範囲のどの場所に検出領域を設定すればよいか分からなくなる。
【０００３】
また，ターゲットを追跡する場合，所定の特徴量をもつ画像部分をターゲットと見なしていることが多い（特許文献４）。しかしながら，ターゲットが移動している場合には検出されたターゲットがずれてしまうことがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2009-17271号公報
【特許文献２】特開平8-9277号公報
【特許文献３】特開平4-281679号公報
【特許文献４】特開平5-30406号公報
【発明の概要】
【０００５】
この発明は，ターゲット追跡において検出領域を設定できるようにすることを目的とする。また，この発明は，検出すべきターゲットがずれてしまうことを未然に防止することを目的とする。
【０００６】
第１の発明によるターゲット追跡装置は連続して被写体を撮像して得られる被写体像を表す画像データによって表される被写体像の検出領域内において追跡対象のターゲットを検出するターゲット検出手段，上記ターゲット検出手段によってターゲットが検出されたことに応じて，検出されたターゲットが中心となるように上記検出領域を更新する検出領域更新手段，上記ターゲット検出手段によってターゲットが検出されなかったことに応じて，ターゲットが検出されなくなった被写体像全体の動きの大きさおよび方向を検出する動き検出手段，上記動き検出手段によって検出された被写体像全体の動きが所定の大きさ以上であれば被写体像の中央部分に検出領域を設定し，上記動き検出手段によって検出された被写体像全体の動きが所定の大きさ未満であれば上記動き検出手段によって検出された被写体像全体の動きの方向と逆方向の被写体像端部に検出領域を設定する検出領域設定手段，ならびに上記ターゲットを検出する処理，上記検出領域を更新する処理，上記動きの大きさおよび方向を検出する処理および上記検出領域を設定する処理を繰り返すように上記ターゲット検出手段，上記検出領域更新手段，上記動き検出手段および上記検出領域設定手段を制御する制御手段を備えていることを特徴とする。
【０００７】
第１の発明は，上記ターゲット追跡装置に適した動作制御方法も提供している。すなわち，この方法は，ターゲット検出手段が，連続して被写体を撮像して得られる，被写体像を表す画像データによって表される被写体像の検出領域内において追跡対象のターゲットを検出し，検出領域更新手段が，上記ターゲット検出手段によってターゲットが検出されたことに応じて，検出されたターゲットが中心となるように上記検出領域を更新し，動き検出手段が，上記ターゲット検出手段によってターゲットが検出されなかったことに応じて，ターゲットが検出されなくなった被写体像全体の動きの大きさおよび方向を検出し，検出領域設定手段が，上記動き検出手段によって検出された被写体像全体の動きが所定の大きさ以上であれば被写体像の中央部分に検出領域を設定し，上記動き検出手段によって検出された被写体像全体の動きが所定の大きさ未満であれば上記動き検出手段によって検出された被写体像全体の動きの方向と逆方向の被写体像端部に検出領域を設定し，制御手段が，上記ターゲットを検出する処理，上記検出領域を更新する処理，上記動きの大きさおよび方向を検出する処理および上記検出領域を設定する処理を繰り返すように上記ターゲット検出手段，上記検出領域更新手段，上記動き検出手段および上記検出領域設定手段を制御するものである。
【０００８】
第１の発明は，上記ターゲット追跡装置の動作制御方法を実施するためのコンピュータ読み取り可能なプログラムも提供している。そのようなプログラムを格納した記録媒体も提供するようにしてもよい。
【０００９】
第１の発明によると，被写体が連続撮像された被写体像を表す画像データによって表される被写体像の検出領域内において追跡対象のターゲットが検出される。ターゲットが検出されると，そのターゲットが中心となるように検出領域が更新される。ターゲットが検出されないと，ターゲットが検出されなくなった被写体像全体の動きの大きさおよび方向が検出される。検出された大きさが所定の大きさ以上であれば，被写体像（撮像範囲）の中心に検出領域が設定される。検出された大きさが所定の大きさ未満であれば，検出された被写体像の動きの方向と逆方向の被写体像端部（撮像範囲端部）に検出領域が設定される。このような，ターゲット検出処理，検出領域更新処理，動き検出処理および検出領域設定処理が繰り返される。
【００１０】
被写体像全体の動きが大きい場合にターゲットが検出されないと，撮像時においてターゲットをディジタル・カメラのカメラマンが積極的に追っているにもかかわらず撮像範囲からターゲットが外れてしまったと考えられる。撮像時であれば，カメラマンはターゲットを撮像範囲の中心に捉えたいと考えられ，再生時であれば，画像データはターゲットが撮像範囲の中心となるように撮像されたものと考えられるので，検出領域が撮像範囲（被写体像）の中心に設定される。被写体像全体の動きが小さい場合には，撮像時においてディジタル・カメラのカメラマンはターゲットを積極的には追っていないと考えられる。このために，検出領域は被写体像全体の動きの方向と逆方向の撮像範囲端部（被写体像端部）に設定される。撮影者の意志に応じた位置に検出領域を設定できるようになる。
【００１１】
上記検出領域設定手段は，たとえば，上記動き検出手段によって検出された被写体像全体の動きの大きさが大きいほど被写体像の中央部分に近い位置に検出領域を設定し，上記動き検出手段によって検出された被写体像全体の動きの大きさが小さいほど被写体像全体の動きの方向と逆方向の被写体像の端部に近い位置に検出領域を設定するものである。
【００１２】
また，上記動き検出手段は，たとえば，連続した２駒の被写体像間のずれ量にもとづいて被写体像全体の動きの大きさおよび方向を検出するものである。また，加速度センサをディジタル・カメラに設けることによって撮像装置の動きの大きさ，方向を検出するようにしてもよい。
【００１３】
上記ターゲット検出手段は，たとえば，ターゲットを表す画像の特徴量をもつ部分またはターゲットを表わすテンプレート画像と同じ画像部分が検出領域に存在することによりターゲットが検出されたものとする。
【００１４】
第２の発明による画像追跡装置は，連続して被写体を撮像して得られる被写体像を表す画像データによって表される被写体像に設定される追跡領域内の画像の特徴量を算出する特徴量算出手段，上記特徴量算出手段によって特徴量が算出された被写体像の後に撮像された被写体像から，上記特徴量算出手段によって算出された特徴量をもつ画像部分を追跡対象画像として検出する追跡対象画像検出手段，上記追跡対象画像検出手段によって画像部分が検出されたことに応じて，上記特徴量算出手段によって特徴量が算出された被写体像よりも上記追跡対象画像検出手段によって画像部分が検出された被写体像の方が追跡対象画像の動きが大きくなったかどうかを判定する動き判定手段，上記動き判定手段によって動きが大きくなったと判定されたことに応じて，上記特徴量算出手段によって算出された特徴量を記憶するように記憶装置を制御する記憶制御手段，上記動き判定手段によって動きが小さくなったと判定されたことに応じて，上記追跡対象画像検出手段によって画像対象部分が検出された被写体像の中から上記記憶装置に記憶されている特徴量をもつ画像部分を検出するように上記追跡対象画像検出手段を制御する検出制御手段，上記動き判定手段によって動きが大きくなったと判定された場合には，上記追跡対象画像検出手段によって検出された画像部分の位置を上記特徴量算出手段の追跡領域に設定し，かつ上記動き判定手段によって動きが小さくなったと判定された場合には，上記検出制御手段の制御のもとに上記画像検出手段によって検出された画像部分であって上記記憶装置に記憶されている特徴量をもつ画像部分と，上記画像検出手段によって検出された画像部分であって上記特徴量算出手段によって算出された特徴量をもつ画像部分と，のうち追跡対象画像に近似している画像部分の位置を上記特徴量算出手段の追跡領域に設定する追跡領域設定手段，ならびに上記特徴量を算出する処理，上記画像部分を追加対象画像として検出する処理，上記動きが大きくなったかどうかを判定する処理，上記記憶装置を制御する処理，上記追跡対象画像検出手段を制御する処理および上記追跡領域に設定する処理を繰り返すように，上記追跡対象画像検出手段，上記動き判定手段，上記記憶制御手段，上記検出制御手段，および上記追跡領域設定手段を制御する制御手段を備えていることを特徴とする。
【００１５】
第２の発明は，上記画像追跡装置に適した動作制御方法も提供している。すなわち，その方法は，特徴量算出手段が，連続して被写体を撮像して得られる被写体像を表す画像データによって表される被写体像に設定される追跡領域内の画像の特徴量を算出し，追跡対象画像検出手段が，上記特徴量算出手段によって特徴量が算出された被写体像の後に撮像された被写体像から，上記特徴量算出手段によって算出された特徴量をもつ画像部分を追跡対象画像として検出し，動き判定手段が，上記追跡対象画像検出手段によって画像部分が検出されたことに応じて，上記特徴量算出手段によって特徴量が算出された被写体像よりも上記追跡対象画像検出手段によって画像部分が検出された被写体像の方が追跡対象画像の動きが大きくなったかどうかを判定し，記憶制御手段が，上記動き判定手段によって動きが大きくなったと判定されたことに応じて，上記特徴量算出手段によって算出された特徴量を記憶するように記憶装置を制御し，検出制御手段が，上記動き判定手段によって動きが小さくなったと判定されたことに応じて，上記追跡対象画像検出手段によって画像対象部分が検出された被写体像の中から上記記憶装置に記憶されている特徴量をもつ画像部分を検出するように上記追跡対象画像検出手段を制御し，追跡領域設定手段が，上記動き判定手段によって動きが大きくなったと判定された場合には，上記追跡対象画像検出手段によって検出された画像部分の位置を上記特徴量算出手段の追跡領域に設定し，かつ上記動き判定手段によって動きが小さくなったと判定された場合には，上記検出制御手段の制御のもとに上記画像検出手段によって検出された画像部分であって上記記憶装置に記憶されている特徴量をもつ画像部分と，上記画像検出手段によって検出された画像部分であって上記特徴量算出手段によって算出された特徴量をもつ画像部分と，のうち追跡対象画像に近似している画像部分の位置を上記特徴量算出手段の追跡領域に設定し，制御手段が，上記特徴量を算出する処理，上記画像部分を追跡対象画像として検出する処理，上記動きが大きくなったかどうかを判定する処理，上記記憶装置を制御する処理，上記追跡対象画像検出手段を制御する処理および上記追跡領域に設定する処理を繰り返すように，上記追跡対象画像検出手段，上記動き判定手段，上記記憶制御手段，上記検出制御手段，および上記追跡領域設定手段を制御するものである。
【００１６】
第２の発明は，上記ディジタル・カメラの動作制御方法を実施するためのコンピュータ読み取り可能なプログラムも提供している。そのようなプログラムを格納する記録媒体を提供するようにしてもよい。
【００１７】
第２の発明によると，被写体が連続撮像して得られる，被写体像に設定される追跡領域内の画像の特徴量が算出され，特徴量が算出された被写体像の後に撮像された被写体像から，算出された特徴量をもつ画像部分が追跡対象画像として検出される。追跡対象画像が検出されると，被写体像の動きが大きくなったかどうかが判定される。動きが大きくなった場合には算出された特徴量が記憶される。動きが大きくなった場合には検出された追跡対象画像の位置が追跡領域として設定され，次の被写体像の追跡画像検出処理に利用される。動きが小さくなった場合には記憶装置に記憶されている特徴量をもつ画像部分が被写体像から検出される。動きが小さくなった場合には上記検出制御手段の制御のもとに上記画像検出手段によって検出された画像部分であって上記記憶装置に記憶されている特徴量をもつ画像部分と，上記画像検出手段によって検出された画像部分であって上記特徴量算出手段によって算出された特徴量をもつ画像部分と，のうち追跡対象画像に近似している画像部分の位置が次の被写体像の追跡領域に設定される。
【００１８】
動きが小さくなった場合には，前の駒の被写体像の動きが大きかったので，その前の駒の被写体像において設定された追跡領域内の画像部分が正確に追跡対象画像を表していないことがある。記憶装置に記憶されている特徴量を利用して画像部分の検出処理が行われ，より追跡対象画像に近似した画像部分が次の駒の被写体像の追跡領域として設定されるので，より精度の高い画像追跡処理を続けることができる。
【００１９】
上記動き判定手段は，たとえば，上記撮像装置によって連続撮像された２駒の被写体像間のずれ量にもとづいて撮像装置の動きを判定するものである。
【００２０】
上記追跡対象画像検出手段は，たとえば，追跡対象画像のテンプレート画像の特徴量を表す特徴量から追跡対象画像を検出するものである。
【００２１】
第３の発明によるディジタル・カメラ（ディジタル・スチル・カメラ，ムービ・ビデオ・カメラ，ムービ／スチル・ビデオ・カメラ，携帯電話に付加されているディジタル・カメラのいずれも含む）は連続して被写体を撮像して，被写体像を表す画像データを順に出力する撮像装置，上記撮像装置から出力された画像データによって表される被写体像の検出領域内において追跡対象のターゲットを検出するターゲット検出手段，上記ターゲット検出手段によってターゲットが検出されたことに応じて，検出されたターゲットが中心となるように上記検出領域を更新する検出領域更新手段，上記ターゲット検出手段によってターゲットが検出されなかったことに応じて撮像装置の動きの大きさおよび方向を検出する動き検出手段，上記動き検出手段によって検出された撮像装置の動きが所定の大きさ以上であれば被写体像の中央部分に検出領域を設定し，上記動き検出手段によって検出された撮像装置の動きが所定の大きさ未満であれば上記動き検出手段によって検出された撮像装置の動きの方向と同じ方向の被写体像端部に検出領域を設定する検出領域設定手段，ならびに上記被写体を撮像する処理，上記ターゲットを検出する処理，上記検出領域を更新する処理，上記動きの大きさおよび方向を検出する処理および上記検出領域を設定する処理を繰り返すように上記撮像装置，上記ターゲット検出手段，上記検出領域更新手段，上記動き検出手段および上記検出領域設定手段を制御する制御手段を備えていることを特徴とする。
【００２２】
第３の発明によると，被写体が連続撮像され，被写体像を表す画像データが撮像装置から順に出力される。撮像装置から出力された画像データによって表される被写体像の検出領域内において追跡対象のターゲットが検出される。ターゲットが検出されると，そのターゲットが中心となるように検出領域が更新される。ターゲットが検出されないと，撮像装置の動きの大きさおよび方向が検出される。検出された大きさが所定の大きさ以上であれば，被写体像（撮像範囲）の中心に検出領域が設定される。検出された大きさが所定の大きさ未満であれば，検出された撮像装置の動きの方向と同じ方向の被写体像端部（撮像範囲端部）に検出領域が設定される。このような，撮像処理，ターゲット検出処理，検出領域更新処理，動き検出処理および検出領域設定処理が繰り返される。
【００２３】
撮像装置の動きが大きい場合にターゲットが検出されないと，ターゲットをディジタル・カメラのカメラマンが積極的に追っているにもかかわらず撮像範囲からターゲットが外れてしまったと考えられる。カメラマンはターゲットを撮像範囲の中心に捉えたいと考えられるので，検出領域が撮像範囲（被写体像）の中心に設定される。撮像装置の動きが小さい場合には，ディジタル・カメラのカメラマンはターゲットを積極的には追っていないと考えられる。このために，検出領域は撮像装置の動きの方向と同じ方向の撮像範囲端部（被写体像端部）に設定される。撮影者の意志に応じた位置に検出領域を設定できるようになる。
【００２４】
第４の発明によるディジタル・カメラ（ディジタル・スチル・カメラ，ムービ・ビデオ・カメラ，ムービ／スチル・ビデオ・カメラ，携帯電話に付加されているディジタル・カメラのいずれも含む）は，連続して被写体を撮像し，被写体像を表す画像データを順に出力する撮像装置，上記撮像装置から出力された画像データによって表される被写体像に設定される追跡領域内の画像の特徴量を算出する特徴量算出手段，上記特徴量算出手段によって特徴量が算出された被写体像の後に撮像された被写体像から，上記特徴量算出手段によって算出された特徴量をもつ画像部分を追跡対象画像として検出する追跡対象画像検出手段，上記追跡対象画像検出手段によって画像部分が検出されたことに応じて，上記特徴量算出手段によって特徴量が算出された被写体像の撮像時よりも上記追跡対象画像検出手段によって画像部分が検出された被写体像の撮像時の方が撮像装置または追跡対象画像の動きが大きくなったかどうかを判定する動き判定手段，上記動き判定手段によって動きが大きくなったと判定されたことに応じて，上記特徴量算出手段によって算出された特徴量を記憶するように記憶装置を制御する記憶制御手段，上記動き判定手段によって動きが小さくなったと判定されたことに応じて，上記追跡対象画像検出手段によって画像対象部分が検出された被写体像の中から上記記憶装置に記憶されている特徴量をもつ画像部分を検出するように上記追跡対象画像検出手段を制御する検出制御手段，上記動き判定手段によって動きが大きくなったと判定された場合には，上記追跡対象画像検出手段によって検出された画像部分の位置を上記特徴量算出手段の追跡領域に設定し，かつ上記動き判定手段によって動きが小さくなったと判定された場合には，上記検出制御手段の制御のもとに上記画像検出手段によって検出された画像部分であって上記記憶装置に記憶されている特徴量をもつ画像部分と，上記画像検出手段によって検出された画像部分であって上記特徴量算出手段によって算出された特徴量をもつ画像部分と，のうち追跡対象画像に近似している画像部分の位置を上記特徴量算出手段の追跡領域に設定する追跡領域設定手段，ならびに上記被写体を撮像する処理，上記特徴量を算出する処理，上記画像部分を追跡対象画像として検出する処理，上記動きが大きくなったかどうかを判定する処理，上記記憶装置を制御する処理，上記追跡対象画像検出手段を制御する処理および上記追跡領域に設定する処理を繰り返すように，上記撮像装置，上記追跡対象画像検出手段，上記動き判定手段，上記記憶制御手段，上記検出制御手段，および上記追跡領域設定手段を制御する制御手段を備えていることを特徴とする。
【００２５】
第４の発明によると，被写体が連続撮像され，被写体像を表す画像データが撮像装置から順に出力される。被写体像に設定される追跡領域内の画像の特徴量が算出され，特徴量が算出された被写体像の後に撮像された被写体像から，算出された特徴量をもつ画像部分が追跡対象画像として検出される。追跡対象画像が検出されると，被写体像の動きが大きくなったかどうかが判定される。動きが大きくなった場合には算出された特徴量が記憶される。動きが大きくなった場合には検出された追跡対象画像の位置が追跡領域として設定され，次の被写体像の追跡画像検出処理に利用される。動きが小さくなった場合には記憶装置に記憶されている特徴量をもつ画像部分が被写体像から検出される。動きが小さくなった場合には上記検出制御手段の制御のもとに上記画像検出手段によって検出された画像部分であって上記記憶装置に記憶されている特徴量をもつ画像部分と，上記画像検出手段によって検出された画像部分であって上記特徴量算出手段によって算出された特徴量をもつ画像部分と，のうち追跡対象画像に近似している画像部分の位置が次の被写体像の追跡領域に設定される。
【００２６】
動きが小さくなった場合には，前の駒の被写体像の動きが大きかったので，その前の駒の被写体像において設定された追跡領域内の画像部分が正確に追跡対象画像を表していないことがある。記憶装置に記憶されている特徴量を利用して画像部分の検出処理が行われ，より追跡対象画像に近似した画像部分が次の駒の被写体像の追跡領域として設定されるので，より精度の高い画像追跡処理を続けることができる。
【図面の簡単な説明】
【００２７】
【図１】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図２】ディジタル・スチル・カメラの処理手順を示すフローチャートである。
【図３】ディジタル・スチル・カメラの処理手順を示すフローチャートである。
【図４】被写体像の一例である。
【図５】被写体像の一例である。
【図６】被写体像の一例である。
【図７】被写体像の一例である。
【図８】被写体像の一例である。
【図９】被写体像の一例である。
【図１０】被写体像の一例である。
【図１１】フレーム・アウト判定テーブルの一例である。
【図１２】被写体像の一例である。
【図１３】被写体像の一例である。
【図１４】被写体像の一例である。
【図１５】被写体像の一例である。
【図１６】被写体像の一例である。
【図１７】分割領域の動きベクトルを示している。
【図１８】被写体像の動きベクトルを示している。
【図１９】検出領域設定処理手順を示すフローチャートである。
【図２０】他の実施例の概要を示している。
【図２１】ディジタル・スチル・カメラの処理手順を示すフローチャートである。
【図２２】ディジタル・スチル・カメラの処理手順を示すフローチャートである。
【図２３】被写体像の一例である。
【図２４】被写体像の一例である。
【図２５】被写体像の一例である。
【図２６】被写体像の一例である。
【図２７】ＧＭを格納したテーブルの一例である。
【図２８】特徴量を比較したテーブルの一例である。
【図２９】ディジタル・スチル・カメラの処理手順を示すフローチャートである。
【図３０】被写体像の一例である。
【図３１】被写体像の一例である。
【図３２】被写体像の一例である。
【実施例】
【００２８】
図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラ１の電気的構成を示すブロック図である。
【００２９】
ディジタル・スチル・カメラ１の全体の動作は，ＣＰＵ２によって統括される。
【００３０】
ディジタル・スチル・カメラ１には，後述する動作プログラム，その他のデータが格納されているメモリ23が含まれている。動作プログラムは，メモリ・カード28等に書き込まれて，そのようなメモリ・カード28から読み出されてディジタル・スチル・カメラ１にインストールされてもよいし，プレ・インストールされていてもよい。
【００３１】
ディジタル・スチル・カメラ１には，シャッタ・レリーズ・ボタン３およびモード・スイッチ４が含まれている。シャッタ・レリーズ・ボタン３の押し下げを示す信号は，ＣＰＵ２に入力する。モード・スイッチ４は，撮像モードまたは再生モードを選択するもので，スイッチＳ１またはＳ２を選択的にオンすることができる。スイッチＳ１がオンされることにより撮像モードが設定され，スイッチＳ２がオンされることにより再生モードが設定される。
【００３２】
ＣＣＤなどの撮像素子７の前方には，絞り５およびズーム・レンズ６が設けられている。絞り５は，モータ・ドライバ10によって制御されるモータ13によって絞り値が決定される。ズーム・レンズ６は，モータ・ドライバ11によって制御されるモータ14によってズーム位置が決定される。
【００３３】
モード・スイッチ４によって撮像モードが設定されると，絞り５を通過した被写体像を表す光線束は，ズーム・レンズ６によって撮像素子７の受光面上に結像する。タイミング・ジェネレータ12によって，撮像素子７が制御され，一定周期（例えば，１／30秒周期）で被写体が連続撮像される。被写体像を表す映像信号は，一定周期で撮像素子７から出力し，ＣＤＳ（相関二重サンプリング）回路８に入力する。ＣＤＳ８において相関二重サンプリングされた映像信号がアナログ／ディジタル変換回路９においてディジタル画像データに変換される。
【００３４】
ディジタル画像データは，画像入力コントローラ15によって画像信号処理回路16に入力し，ガンマ補正などの所定の信号処理が行われる。ディジタル画像データは，ＶＲＡＭ（ビデオ・ランダム・アクセス・メモリ）24に書き込まれた後に，読み出されて画像表示装置27に与えられることにより，画像表示装置27の表示画面に動画として表示される。ディジタル・スチル・カメラのユーザは，表示画面に表示される画像を見ながらカメラ・アングルを決定することとなる。
【００３５】
この実施例によるディジタル・スチル・カメラ１においては撮像により得られた被写体像に含まれるターゲットを枠で囲みながら追跡できる。このために，ディジタル・スチル・カメラには，ターゲット追跡回路18が含まれている。ターゲットが撮像範囲に入るようにカメラ・アングルを決定できる。
【００３６】
撮像によって得られたディジタル画像データは，ＡＦ（自動合焦）検出回路21に入力する。ＡＦ検出回路21において，被写体像が合焦するように，ズーム・レンズ６のズーム位置が制御される。また，撮像によって得られたディジタル画像データは，ＡＥ（自動露光）／ＡＷＢ（自動白バランス）検出回路22にも入力する。ＡＥ／ＡＷＢ検出回路22において，被写体像が適正な明るさとなるように絞り５の絞り値が決定される。さらに，ＡＥ／ＡＷＢ検出回路22において白バランス調整も行われる。
【００３７】
シャッタ・レリーズ・ボタン３が押されると，撮像によって得られた画像データは圧縮処理回路17に入力する。圧縮処理回路17において所定の圧縮処理が行われた画像データはビデオ・エンコーダ20に入力してエンコーディングされる。エンコーディングされた画像データがメモリ・コントローラ26の制御のもとにメモリ・カード28に記録される。
【００３８】
モード・スイッチ４によって再生モードが設定されると，メモリ・カード28に記録されている画像データが読み取られる。読み取られた画像データによって表される画像が画像表示装置27の表示画面に表示される。
【００３９】
図２および図３は，ディジタル・スチル・カメラ１の処理手順を示すフローチャートである。この処理は，上述したようにディジタル・スチル・カメラ１が撮像モードに設定され，被写体が連続撮像されるときのものである。この処理によりディジタル・スチル・カメラ１のカメラ・アングルが決定される。
【００４０】
この実施例においては，上述したように連続撮像により得られた被写体像のうち，所望のターゲットを追跡できる（ターゲットに枠を表示できる）。ターゲットは，撮像により得られた被写体像全体の中から検出するのではなく，ターゲットが存在するであろう検出領域内において検出される。ある駒の被写体像においてターゲットが検出された場合には，その検出されたターゲットの位置を中心とした検出領域に対応する領域が次の駒の被写体像における検出領域として設定される。ある駒の被写体像においてターゲットが検出されなかった場合には，その次の駒の被写体像においてターゲットが現れると考えられる中央部分または端部に検出領域に対応する領域が次の駒の被写体像における検出領域として設定される。設定された検出領域内において，ターゲット検出が行われる。
【００４１】
被写体が撮像され，撮像により得られた被写体像が表示装置27の表示画面に表示される（図２ステップ31）。表示された被写体像の中から，追跡すべきターゲットを含むターゲット領域がユーザによって設定される（図２ステップ32）。ターゲット領域は，表示装置27の表示画面にタッチ・パネルが形成されている場合には，ターゲット上をタッチすることにより設定してもよいし，多数のターゲット領域を表示装置27の表示画面上に表示し，その多数のターゲット領域の中からタッチ，またはボタン（図示略）などを利用して設定するようにしてもよい。つづいて，追跡フラグがオンに設定される（図２ステップ33）。
【００４２】
図４は，撮像によって得られた被写体像の一例である。
【００４３】
被写体像50には，人物像51が含まれている。人物像51の回りには背景画像54が表示されている。ユーザによって人物像51の顔画像部分52がターゲット領域として設定されたものとする。すると，顔画像部分52の回りにターゲット枠（ターゲット領域）53が表示される。人物以外の動物，物体などをターゲットにしてもよいのはいうまでもない。
【００４４】
図２に戻って，追跡フラグがオンに設定されているかどうかが確認される（図２ステップ34）。追跡フラグがオンに設定されている場合はターゲットを検出しようとする駒の前の駒においてターゲットが検出されたことを意味する。そのために，図５に示すように，ターゲット枠53を中心に検出領域55が設定される（図２ステップ35）。図５においてはわかりやすくするために検出領域55が図示されているが，表示装置27の表示画面には検出領域55は表示されても表示されなくともよい。検出領域55は，たとえば，ターゲット枠53の２倍の辺を各辺にもつ矩形領域である。
【００４５】
被写体が再び撮像されると，図６に示すように，次の駒の被写体像60（背景画像64）が表示装置27の表示画面に表示される。表示された被写体像において，前の駒の被写体像50において設定された検出領域55に対応する領域（検出領域55とする）内においてターゲット検出処理が行われる（図３ステップ37）。ターゲット検出処理は，ターゲット枠53内のターゲットの特徴量（ターゲットとの一致度を示す特徴量であり，たとえば，ターゲットの輝度画像を数値化したもの，ターゲットの形状を特徴点で表し，その特徴点を数値化したもの）を利用し，その特徴量が所定のしきい値以上の画像部分をターゲットとして検出するものである。
【００４６】
図６に示すように，検出領域55内にターゲット52が含まれていると，ターゲット52が検出される（図３ステップ38でＹＥＳ）。また，カウンタがリセットされる（図３ステップ39）。このカウンタは，ターゲットが撮像範囲から外れた場合において所定回数連続して撮像範囲内に入らなかったときにターゲット追跡処理を停止するためのものである。ターゲットが検出されたことにより追跡フラグがオンとされる（図３ステップ40）。図７に示すように，検出されたターゲット52が中心となるように検出領域55が更新され，更新された検出領域65が得られる（図４ステップ41）。その後，ターゲット52の特徴量が抽出される（図３ステップ42）。
【００４７】
次の駒が撮像され，図８に示すように，被写体像70が得られると，その被写体像70（背景画像74）が中心となるように，図９に示すように検出領域75が設定される（図２ステップ35）。設定された検出領域75内において，ターゲット検出が行われる（図３ステップ37）。その後上述したように，ターゲット52が検出されると，検出されたターゲット52が中心となるように検出領域が設定され，その検出領域内において次の駒の被写体像からターゲットが検出される。
【００４８】
図10に示すように，人物像51が被写体像80（背景画像84）から外れ，被写体像80（検出領域）からターゲット52が検出できないと（図３ステップ38でＮＯ），ターゲット52が撮像範囲から外れたか（フレーム・アウトしたか）どうかが判定される（図３ステップ43）。
【００４９】
図11は，フレーム・アウト判定に用いられるテーブルの一例である。
【００５０】
フレーム・アウト・テーブルには，被写体像ごとにターゲット枠座標，ターゲット動きベクトル，推定ターゲット枠座標および追跡状態が格納されている。図11においては，図７に示す被写体像60，図９に示す被写体像70および図10に示す被写体像80についてのデータか格納されている。
【００５１】
ターゲット枠座標は，ターゲット枠の座標位置を，ターゲットの中心座標で表している。ターゲット動きベクトルは，ターゲット52の動きをベクトルで示している。前駒との座標の変化が動きベクトルを表している。推定ターゲット枠座標は，次の駒の被写体像においてターゲット枠が存在すると推定する座標をターゲットの中心座標で表している。追跡状態は，ターゲット追跡の可否を示している。
【００５２】
ターゲット・ベクトルが算出され，算出されたターゲット・ベクトルとターゲット枠座標とから，次の駒のターゲット枠の位置を推定する推定ターゲット枠座標が算出される。推定ターゲット枠座標が撮像範囲から外れ，ターゲットが追跡できなかった場合にフレーム・アウトと判定される。
【００５３】
図３に戻って，ターゲットがフレーム・アウトと判定されると，カウンタがインクレメントされる（図３ステップ44）。カウンタの値がしきい値を越えていると（図３ステップ45でＹＥＳ），ターゲット追跡処理は終了する。カウンタの値がしきい値を越えていなければ（図３ステップ45でＮＯ），追跡フラグはオフとされる（図３ステップ46）。つづいて，カメラの動きの大きさおよび方向（ターゲットが検出されなくなった被写体像全体の動きの大きさおよび方向）が検出される（図３ステップ47）。
【００５４】
カメラの動きの大きさおよび方向を検出するために２駒の被写体像が利用される。図10に示すように，ターゲット52が初めてフレーム・アウトした被写体像80と，図12に示すように，その被写体像80の次に被写体が撮像されることにより得られた被写体像90とが利用される。これらの２駒の被写体像80および90から，カメラの動きの大きさおよび方向が検出される。検出の仕方について具体的には，後述する。
【００５５】
カメラの動きの大きさおよび方向が検出されると，追跡フラグがオンかどうかが確認される（図２ステップ34）。ターゲット52が撮像範囲から外れると，追跡フラグがオフとされるから（図２ステップ34でＮＯ），カメラの動きの大きさ，方向に応じた位置に検出領域が設定される（図２ステップ36）。
【００５６】
カメラの動きの大きさが大きいと，カメラのユーザは，動いているターゲット52を積極的に追っている（ターゲット52が撮像されるようにカメラを動かしている）と考えられる。このために，ターゲット52が撮像範囲から外れるとターゲット52が撮像範囲の中心となるようにカメラを動かすと考えられる。そのために，この実施例では，カメラの動きの大きさが大きい場合にターゲット52が撮像範囲から外れると，図13に示すように検出領域55は撮像範囲の中心となるように設定される。被写体が撮像され，被写体像110が得られると，その被写体像110の中心に設定された検出領域55内においてターゲット52の検出処理が行われる（図２ステップ36）。この場合の検出領域55は，たとえば，ターゲット枠の２倍の辺をもつ矩形の領域とされる。
【００５７】
カメラの動きの大きさが小さいと，カメラのユーザは，動いているターゲット52を積極的には追っていない（ターゲット52が撮像されるようにはカメラを動かしていない）と考えられる。このために，カメラの動きの大きさが小さい場合にターゲット52が撮像範囲から外れると，図14に示すように検出領域55はカメラの動いている方向（被写体像全体の動いている方向と逆方向）の撮像範囲端部に設定される。図14においては，カメラは，ユーザから見て右側に動いていると考えられ，撮像範囲の右側に検出領域55が設定されているが，カメラがユーザから見て左側に動いていると考えられる場合には，撮像範囲の左側に検出領域55が設定されるのはいうまでもない。設定された検出領域55において，ターゲット52の検出処理が行われる（図２ステップ36）。この場合の検出領域55は，たとえば，ターゲット枠の２倍の幅をもち，撮像範囲の上辺から下辺までのすべての領域とされる。
【００５８】
図15から図18は，カメラの動きの大きさおよび方向検出を説明するためのものである。
【００５９】
図15および図16は，ターゲットがフレーム・アウトした時に得られる２駒の被写体像80および90である。
【００６０】
被写体像80において，多数の分割領域81が設定される。同様に，被写体像90においても分割領域81と同じ大きさをもつ多数の分割領域91が設定される。設定された分割領域81ごとに特徴量が検出される。検出された分割領域81についての特徴量と同じ特徴量をもつ分割領域91が多数の分割領域91の中から見つけられる（分割領域追跡）。分割領域81のすべてについて，同じ特徴量をもつ分割領域91を見つける処理が行われる。見つけられた分割領域91に対応する分割領域82が多数の分割領域81の中から残される。残された分割領域82は，分割領域81の追跡に成功したものであり，残された分割領域82から各領域の動きベクトル83が算出される。算出された動きベクトル83のすべての動きベクトル83から図18に示すように平均ベクトル93が算出される。算出された平均ベクトル93がカメラの動きの大きさおよび方向（ターゲットが検出されなくなった被写体像全体の動きの大きさおよび方向）を示すものとなる。
【００６１】
図９は，カメラの動きの大きさ，方向に応じた位置に検出領域を設定する処理（図２ステップ36の処理）を示すフローチャートである。
【００６２】
上述のようにして検出されたカメラの動きの大きさが所定のしきい値以上かどうかが確認される（ステップ101）。
【００６３】
カメラの動きの大きさが所定のしきい値以上であれば（ステップ101でＹＥＳ），上述のようにカメラのユーザはターゲットを追って撮像していると考えられるので，検出領域は撮像範囲の中央に設定される（ステップ102）。カメラの動きの大きさが所定のしきい値未満であれば（ステップ101でＮＯ），カメラのユーザはターゲットを追って撮像していずにターゲットが再び撮像範囲内に入るのを待っていると考えられるので，検出領域はカメラの移動方向の撮像範囲の端部に設定される（ステップ103）。
【００６４】
図20から図32は，他の実施例を示すものである。この実施例も図１に示すブロック図をもつディジタル・スチル・カメラに適用できる。
【００６５】
図20は，この実施例の概要を示している。
【００６６】
上述した実施例と同様に，被写体が撮像され，被写体像110が得られる。被写体像110には，追跡領域111が設定されており，その追跡領域111内のターゲットの特徴量112が抽出される。また，抽出された特徴量112が記憶される。
【００６７】
次の撮像により得られた被写体像120において，抽出された特徴量112をもつ画像部分（追跡対象画像）の領域121が追跡領域121として設定される。さらに，次の撮像により得られた被写体像130において，前駒である被写体像120において検出された追跡領域121内の特徴量121をもつ画像部分の領域131が追跡領域131として設定される。
【００６８】
被写体像120から被写体像130に変わったときに，被写体の動きがより小さくなったものとする。その場合には，被写体像120がぶれているので被写体像120から抽出されたターゲットの特徴量121はターゲットの特徴量を正確に表していないことがある。このために，記憶されている特徴量112（この特徴量は被写体像120よりも動きの少ない被写体像110から得られているものとする）を用いて被写体像130から追跡領域132が設定される。
【００６９】
前駒の被写体像120から抽出された特徴量121を用いて設定された追跡領域131内の画像と，記憶されている特徴量112を用いて設定された追跡領域132内の画像とを比較して，よりターゲットに近い方の画像（追跡対象画像部分に近似している画像部分）を表している追跡領域131または132が被写体像130の追跡領域133として設定される。ターゲットが動いている場合において，前駒の被写体像よりも動きが小さくなる場合には前駒の被写体像から抽出された特徴量を用いてターゲットを検出する処理と，ターゲットの動きが小さいときに被写体像から抽出されて記憶されている特徴量を用いてターゲットを検出する処理とが行われ，よりターゲットに近い画像を表している領域が追跡領域と決定される。
【００７０】
より詳しくは，以下の説明によって明らかとなろう。
【００７１】
図21および図22は，この実施例によるディジタル・スチル・カメラの処理手順を示すフローチャートである。図23から図26は，撮像により得られた被写体像の一例である。
【００７２】
被写体が撮像されることにより，図23に示す被写体像110が得られる。得られた被写体像110が表示装置27の表示画面に表示される（図21ステップ141）。ユーザによってターゲットが設定され，そのターゲットを囲む枠（追跡領域）111が表示される（図21ステップ142）。追跡領域111内の画像の特徴量が算出される（図21ステップ143）。
【００７３】
追跡処理が終了でなければ（図21ステップ144でＮＯ），１回目の追跡処理かどうかが確認される（図21ステップ145）。１回目の追跡処理であれば（図21ステップ145でＹＥＳ），１駒の被写体像しかないので，以前に撮像された被写体像に設定された追跡領域内の画像を利用して追跡処理を行うことができない。このために，次の駒の撮像が行われて追跡処理が行われる（図21ステップ145でＮＯ）。
【００７４】
被写体が再び撮像され，図24に示す被写体像120が得られる（ステップ146）。得られた被写体像120から，前の駒の被写体像110において設定された追跡領域111内の画像の特徴量をもつ画像部分（追跡対象画像）が検出される（図21ステップ146）。画像部分が検出されると（図21ステップ147でＹＥＳ），上述のように被写体像110から被写体像120に変化するときに被写体の動きが大きいものから小さいものになったかどうか確認するためにグローバル・モーション（ＧＭ）と呼ばれる値が算出される（図22ステップ148）。
【００７５】
前駒の被写体像のＧＭをＧＭoldとし，前駒の被写体像の次の駒の被写体像のＧＭをＧＭとすると，｜ＧＭ｜＞｜ＧＭold｜＋ｔｈ１が成立すると，被写体像全体が小さな動きから大きな動きとなったと判定され，｜ＧＭ｜＞｜ＧＭold｜＋ｔｈ１が成立せずに，｜ＧＭ｜＜｜ＧＭold｜＋ｔｈ２が成立すると，被写体像全体が大きな動きから小さな動きとなったと判定される。
【００７６】
｜ＧＭ｜＞｜ＧＭold｜＋ｔｈ１が成立すると（図21ステップ149でＹＥＳ），上述したように，動きが小さかったときの被写体像110の追跡領域111内の画像の特徴量が記憶される（図22ステップ150）。また，ＧＭoldが新たなＧＭに更新される（図21ステップ151）。さらに，検出された画像部分の位置が新たな追跡領域121として更新される（図22ステップ152）。次の駒のターゲット検出に利用するために，更新された追跡領域121内の画像から特徴量が算出される（図21ステップ143）。
【００７７】
次の撮像により，図25に示す被写体像130が得られたものとする。この被写体像130について，更新された追跡領域121内の画像から算出された特徴量をもつ画像部分が検出され，追跡領域131が得られたものとする（図21ステップ146）。被写体像130の動きと，被写体像130の前の駒の被写体像120の動きとの大きさの変化を算出するための上述のようにＧＭが再び算出される（図22ステップ148）。
【００７８】
｜ＧＭ｜＞｜ＧＭold｜＋ｔｈ１が成立せずに，｜ＧＭ｜＜｜ＧＭold｜＋ｔｈ２が成立すると（図22ステップ153でＹＥＳ），上述のように，被写体は大きな動きから小さな動きに変化したものとなる。すると，被写体が小さな動きのときに得られ，かつ記憶されているターゲットの特徴量を用いて，その特徴量をもつ画像部分が検出される（図22ステップ154）。これにより，被写体像130から，図26に示すように検出された画像部分を表す追跡領域132が得られる。
【００７９】
被写体の動きが大きいときに得られた前駒の被写体像120において設定された追跡領域121内の画像から算出された特徴量から得られた追跡領域131（図25）内の画像部分と，被写体の動きが小さいときに得られた被写体像110において設定された追跡領域111内の画像から算出され，かつ記憶されている特徴量から得られた追跡領域132（図26）内の画像部分と，が比較される（図22ステップ155）。比較の結果，より評価値の高い画像部分をターゲットを表しているものとして決定される（図22ステップ156）。比較される画像部分同士の特徴量を算出し，より特徴量の高い画像部分が評価値の高い画像部分として決定されよう。
【００８０】
ターゲット検出する場合に，動きの大きな被写体像から検出された画像部分の特徴量が利用されることとなる場合には，以前に撮像され動きの小さな被写体像から検出された画像部分の特徴量を利用するので，被写体像のぶれによるターゲット検出の低下を未然に防止できる。
【００８１】
図27は，動きの大きさ変化判定テーブルの一例である。
【００８２】
上述したように，ＧＭにもとづいて動きの大きさの変化が決定される。このテーブルにおいて，ターゲット領域は，ターゲット領域の中心座標を表している。｜ＧＭ｜はその被写体像のＧＭである。｜ＧＭold｜，｜ＧＭold｜＋th１および｜ＧＭold｜＋th２は，その被写体像において上述した式に用いられる値をそれぞれ示している。状態は，動きの変化を示している。このテーブルでは，th１＝60，th２＝−60とした場合を示している。
上述した各式に当てはめることにより，被写体像120は動きが小さなものから大きなものに変化し，被写体像130は動きが大きなものから小さなものに変化したことが理解できよう。
【００８３】
図28は，図25に示す被写体像130の追跡領域131内の画像の特徴量と図26に示す被写体像130の追跡領域132内の画像の特徴量とを示すテーブルである。
【００８４】
追跡領域131内の画像部分の特徴量よりも追跡領域132内の画像部分の特徴量の方が大きい。このために，追跡領域として，領域132が選択される。
【００８５】
図29から図32は，変形例を示している。
【００８６】
図29は，ディジタル・スチル・カメラの処理手順の一部を示すフローチャートであり，図21に対応している。この図において，図21に示す処理と同じ処理については同一符号を付して説明を省略する。図30から図32は，被写体像の一例である。
【００８７】
上述した実施例では，被写体像全体の動きの大きさに応じて処理を変えていたが，この変形例では被写体像全体の動きの大きさではなくターゲットの動きの大きさに応じて処理を変えるものである。
【００８８】
図30に示すように，撮像により得られた被写体像160からすでに設定されているターゲットの特徴量の画像部分が検出され，追跡領域161が設定される。設定された追跡領域161内の画像の特徴量が上述と同様に記憶される。
【００８９】
図31に示すように，次に撮像された被写体像170についてターゲット検出処理が行われ，追跡領域171が検出される。追跡領域161内の画像についての動きベクトルＶＭと追跡領域171内の画像についての動きベクトルＶＭとがそれぞれ算出され，｜ＶＭ｜＞｜ＶＭold｜＋th１が成立すれば（ステップ149ＡでＹＥＳ），前駒の被写体像160におけるターゲットの動きよりも次の駒の被写体像170におけるターゲットの動きの法が動きが大きいと判断される。前駒の被写体像160において設定された追跡領域161内の画像の特徴量が記憶される（ステップ150）。
【００９０】
図32に示すように，さらに，次の駒の被写体像180が撮像により得られ，上述したのと同様に，｜ＶＭ｜＜｜ＶＭold｜＋th２が成立すれば（ステップ153ＡでＹＥＳ），前の駒の被写体像170の動きよりも次の駒の被写体像180の動きの方が動きが小さいと考えられる。前の駒の被写体像170において設定された追跡領域171内の画像は，よりぶれていると考えられるので，前の駒の被写体像170において設定された追跡領域171内の画像を用いて設定された追跡領域182内の画像と記憶されている以前の駒の被写体像160の追跡領域161内の画像とのうち，評価値の高い画像部分が決定され，上述のように追跡領域が設定される。
【００９１】
この実施例による発明は，ディジタル・スチル・カメラだけでなく，ディジタル・ムービ・ビデオ・カメラ，ムービ／スチル・ビデオ・カメラ，携帯電話に付加されているディジタル・カメラのいずれにも適用することができる。また，撮像時だけでなく，連続して被写体を撮像して得られた画像データを再生する動画の再生装置にも適用できる。たとえば，動画再生中にターゲット等を追跡して，ターゲット等が適切な構図となるように動画をトリミング，拡大縮小処理する場合においても適用することができる。
【符号の説明】
【００９２】
１  ディジタル・スチル・カメラ
２  ＣＰＵ
７  撮像装置
18  ターゲット追跡回路
【図１】
2011004152.tif 000003
【図２】
2011004152.tif 000004
【図３】
2011004152.tif 000005
【図４】
2011004152.tif 000006
【図５】
2011004152.tif 000007
【図６】
2011004152.tif 000008
【図７】
2011004152.tif 000009
【図８】
2011004152.tif 000010
【図９】
2011004152.tif 000011
【図１０】
2011004152.tif 000012
【図１１】
2011004152.tif 000013
【図１２】
2011004152.tif 000014
【図１３】
2011004152.tif 000015
【図１４】
2011004152.tif 000016
【図１５】
2011004152.tif 000017
【図１６】
2011004152.tif 000018
【図１７】
2011004152.tif 000019
【図１８】
2011004152.tif 000020
【図１９】
2011004152.tif 000021
【図２０】
2011004152.tif 000022
【図２１】
2011004152.tif 000023
【図２２】
2011004152.tif 000024
【図２３】
2011004152.tif 000025
【図２４】
2011004152.tif 000026
【図２５】
2011004152.tif 000027
【図２６】
2011004152.tif 000028
【図２７】
2011004152.tif 000029
【図２８】
2011004152.tif 000030
【図２９】
2011004152.tif 000031
【図３０】
2011004152.tif 000032
【図３１】
2011004152.tif 000033
【図３２】
2011004152.tif 000034