(57)【要約】【課題】精度よく特定の被写体を検出して安定した追跡を行うことができるようにする。【解決手段】メモリ部２５は、標準パターンを保持しており、マッチング処理部２１は、撮影画像から最も標準パターンと合致する領域画像を検出する。撮影画像から領域画像が抽出部２２によって抽出される。領域画像と標準パターンとの対応する画素同士の輝度値の差分絶対値の積算値が一定値以上のときには、上限値以上となる領域画像の各画素の輝度を差分絶対値の上限値となるように補正したものを、新たな標準パターンとしてメモリ部２５に記憶し、標準パターンの更新を行う。【選択図】図１
2009152725.tif 000002
【特許請求の範囲】
【請求項１】
順次に入力される入力画像上で特定の被写体を検出して追跡する自動追跡装置において、
前記特定の被写体の画像を標準パターンとして保持する保持手段と、
入力画像中から前記保持手段に記憶されている標準パターンと最も合致する画像の領域をパターンマッチング処理によって検出するマッチング処理手段と、
前記マッチング処理手段で検出された領域の画像を当該入力画像中から領域画像として抽出する抽出手段と、
前記保持手段に保持されている標準パターンと抽出された前記領域画像との相関性の高低を判定する判定手段と、
前記判定手段によって相関性が低いと判定された場合に、前記標準パターンと領域画像の対応する画素同士の輝度値の差分絶対値が所定の上限値以上である領域画像の各画素について、その差分絶対値を小さくする補正処理を行う補正手段と、
前記判定手段によって相関性が低いと判定されたときには、前記補正手段で補正された領域画像を新たな標準パターンとし、相関性が高いと判定されたときには、前記抽出手段で抽出された領域画像を新たな標準パターンとして前記保持手段に保持する標準パターンを更新する更新制御手段とを備えたことを特徴とする自動追跡装置。
【請求項２】
前記判定手段は、標準パターンと領域画像の対応する画素同士の輝度値の差分絶対値をそれぞれ求め、各画素の差分絶対値を積算した差分積算値が所定のしきい値よりも小さいときに、相関性が高いと判定することを特徴とする請求項１記載の自動追跡装置。
【請求項３】
前記補正手段は、前記補正処理の対象となる領域画像の画素について、その輝度値が対応する標準パターンの画素の輝度値よりも大きい場合には、その標準パターンの画素の輝度値に前記上限値を加算した輝度値に置き換え、対応する標準パターンの画素の輝度値よりも小さい場合には、その標準パターンの画素の輝度値から前記上限値を減算した輝度値に置き換えることを特徴とする請求項１または２記載の自動追跡装置。
【請求項４】
前記補正手段は、前記補正処理の対象となる領域画像の画素について、その輝度を対応する標準パターンの画素の輝度値との平均値に置き換えることを特徴とする請求項１または２記載の自動追跡装置。
【請求項５】
順次に入力される入力画像上で特定の被写体を検出して追跡する自動追跡方法において、
入力画像が入力されるごとに、保持している標準パターンと最も合致する画像の領域をパターンマッチング処理によって検出するマッチングステップと、
前記標準パターンと前記検出された領域の画像との相関性の高低を判定する判定ステップと、
前記判定ステップによって相関性が低いと判定されたときに、前記検出された領域の画像の画素のうち、前記標準パターンの対応する画素との輝度値の差分絶対値が所定の上限値以上である画素に対して前記差分絶対値を小さくする補正ステップと、
前記判定ステップによって相関性が低いと判定されたときに、前記補正ステップによって補正された前記特定された領域の画像を新たな標準パターンとし、相関性が高いと判定されたときに、前記特定された領域の画像を新たな標準パターンとする更新ステップとを有することを特徴とする自動追跡方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オートフォーカスや監視装置等に用いられる被写体の自動追跡装置及び方法に関するものである。
【背景技術】
【０００２】
撮影装置、例えばデジタルカメラでは、その多くがオートフォーカス機能を備えているこのようなデジタルカメラでは、撮影画面上にオートフォーカスエリア（以下、ＡＦエリアと称する）が設定されており、このＡＦエリアに被写体を重ねることによって、その被写体に自動的にピントが合致するように撮影レンズのピント調節が行われる。
【０００３】
また、対象となる被写体（以下、対象被写体という）の移動に対して、ＡＦエリアを追従させて移動させ、常に対象被写体にピントが合致するように対象被写体を追跡する機能を有したデジタルカメラも知られている。このように、ＡＦエリアが対象被写体を追従するには、例えば対象被写体の画像を標準パターンとしてパターンマッチング処理を行い、対象被写体の画像と相関性の高い画像部分を撮影画像中から検出している。
【０００４】
ところで、パターンマッチング処理の際に、初期設定された標準パターンを継続して用いた場合、撮影画面上における対象被写体の大きさや向き、明るさ、向き等の変化が生じると、標準パターンとして保持されている対象被写体の画像と実際の対象被写体の画像との差異が大きくなって対象被写体を検出できなくなってしまう。そこで、検出された領域の画像を新たな標準パターンとするようにして、順次に標準パターンを更新するものもある（例えば、特許文献１を参照）。この特許文献１では、標準パターンと、この標準パターンを用いて検出された領域画像との平均値や線形結合演算を施して得られる画像を新たな標準パターンとしている。
【０００５】
一方、上記のように標準パターンを順次に更新するようにした場合、対象被写体に他の物体が映り込んだり、対象被写体の前面を遮蔽物が通過したりする等したときには、それにより標準パターンが変化し、最終的に標準パターンが遮蔽物の画像に置き換わってしまうことがある。そして、標準パターンが遮蔽物の画像に置き換わると、対象被写体を追跡することができなくなってしまう。そこで、このような問題を解決するために、特許文献２では、異なる時刻に得られた複数の標準パターンを用いたパターンマッチング処理が提案されている。
【０００６】
特許文献２では、過去に用いた標準パターンを含む複数の標準パターンを用いて、パターンマッチング処理を行い、その複数の標準パターンのそれぞれ最大一致度の中で、一番大きな一致度を得る標準パターンに基づいて検出された領域画像の位置を対象被写体の位置とし、その位置の領域画像を新たな標準パターンに加えている。
【特許文献１】特開平６−３０４１７号公報
【特許文献２】特開２００１−６０２６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記特許文献２のように、複数の標準パターンを用いる手法は、遮蔽物の通過などにより標準パターンが遮蔽物の画像となって対象被写体の追跡が困難になることを防止する効果はある。しかしながら、時間的に古い対象被写体の画像からなる標準パターンが最新の標準パターンとともに用いられるため、十分な精度で対象被写体を検出できず、結果として追跡精度が低くなるという問題があった。
【０００８】
本発明は、上記問題を解決するためになされたもので、遮蔽物の通過などによって追跡すべき対象被写体に遮蔽が生じたり、映り込みが生じたりしても、対象被写体を精度よく検出して追跡することができる自動追跡装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記問題を解決するために、本発明の請求項１記載の追跡装置では、特定の被写体の画像を標準パターンとして保持する保持手段と、入力画像中から保持手段に記憶されている標準パターンと最も合致する画像の領域をパターンマッチング処理によって検出するマッチング処理手段と、マッチング処理手段で検出された領域の画像を当該入力画像中から領域画像として抽出する抽出手段と、保持手段に保持されている標準パターンと抽出された領域画像との相関性の高低を判定する判定手段と、判定手段によって相関性が低いと判定された場合に、標準パターンと領域画像の対応する画素同士の輝度値の差分絶対値が所定の上限値以上である領域画像の各画素について、その差分絶対値を小さくする補正処理を行う補正手段と、判定手段によって相関性が低いと判定されたときには、補正手段で補正された領域画像を新たな標準パターンとし、相関性が高いと判定されたときには、抽出手段で抽出された領域画像を新たな標準パターンとして保持手段に保持する標準パターンを更新する更新制御手段とを備えたものである。
【００１０】
請求項２記載の自動追跡装置では、判定手段を、標準パターンと領域画像の対応する画素同士の輝度値の差分絶対値をそれぞれ求め、各画素の差分絶対値を積算した差分積算値が所定のしきい値よりも小さいときに、相関性が高いと判定するようにしたものである。
【００１１】
請求項３記載の自動追跡装置では、補正手段を、補正処理の対象となる領域画像の画素について、その輝度値が対応する標準パターンの画素の輝度値よりも大きい場合には、その標準パターンの画素の輝度値に上限値を加算した輝度値に置き換え、対応する標準パターンの画素の輝度値よりも小さい場合には、その標準パターンの画素の輝度値から上限値を減算した輝度値に置き換えるようにしたものである。
【００１２】
請求項４記載の自動追跡装置では、補正手段を、補正処理の対象となる領域画像の画素について、その輝度を対応する標準パターンの画素の輝度値との平均値に置き換えるようにしたものである。
【００１３】
請求項５記載の自動追跡方法では、入力画像が入力されるごとに、保持している標準パターンと最も合致する画像の領域をパターンマッチング処理によって検出するマッチングステップと、標準パターンと検出された領域の画像との相関性の高低を判定する判定ステップと、判定ステップによって相関性が低いと判定されたときに、検出された領域の画像の画素のうち、標準パターンの対応する画素との輝度値の差分絶対値が所定の上限値以上である画素に対して差分絶対値を小さくする補正ステップと、判定ステップによって相関性が低いと判定されたときに、補正ステップによって補正された特定された領域の画像を新たな標準パターンとし、相関性が高いと判定されたときに、特定された領域の画像を新たな標準パターンとする更新ステップとを有するものである。
【発明の効果】
【００１４】
本発明によれば、標準パターンをパターンマッチング処理によって特定した領域の領域画像で順次更新する際に、標準パターンと検出した領域画像の相関性が低い場合には、標準パターンと領域画像の対応する位置の画素同士の輝度値の差分絶対値が所定値以上である領域画像の各画素について、その差分絶対値を小さくする補正処理を行うようにしたから、遮蔽物の通過や映り込み等によって領域画像に生じる輝度変化に制限がかかり、新たな標準パターンと対象被写体との相関性が著しく低下しないようにしたから、遮蔽物の通過や映り込み等が生じても、対象被写体を精度よく検出して追跡することができる。
【発明を実施するための最良の形態】
【００１５】
図１に本発明を実施したデジタルカメラ２の構成を示す。システムコントローラ３は、操作部４からの各種操作信号に基づいて、デジタルカメラ２の撮影部５、自動追跡部６を制御する。操作部４は、撮影を指示するためのレリーズボタンや、各種設定を行うための操作ボタン，キーなどから構成されている。この操作部４を操作することにより、後述するＡＦエリアの初期設定を行うことができる。
【００１６】
撮影部５には、撮影レンズ１０を設けてあり、この撮影レンズ１０の背後にイメージセンサ１１を配してある。被写体光は、撮影レンズ１０を透過しイメージセンサ１１の受光面に入射する。撮影レンズ１０は、ピントを調節するフォーカス機構１２を備えている。このフォーカス機構１２は、フォーカスレンズ１２ａと、フォーカスレンズ１２ａを光軸方向に移動するモータやモータドライバ等で構成してあり、フォーカスレンズ１２ａの移動によってピントを調節する。
【００１７】
イメージセンサ１１は、被写体を撮影して撮影画像を出力するものであり、その受光面に多数の受光素子を備え、撮影レンズ１０によって結像される被写体像を電気的な画像信号に変換して出力する。なお、イメージセンサ１１としては、ＣＣＤ型やＭＯＳ型等の各種のものを用いることができる。
【００１８】
信号処理部１３は、イメージセンサ１１からの画像信号に対して、各種信号処理を行う。この信号処理部１３は、イメージセンサ１１からの画像信号に対して信号増幅処理，デジタル変換処理，γ補正処理，ホワイトバランス補正処理等の信号処理を行って得られる画像データを出力する。
【００１９】
画像記録部１４は、レリーズボタンの操作で撮影指示がされた際に、その操作に応答して撮影された静止画の撮影画像を記憶するものであり、例えばデジタルカメラ２に着脱自在なメモリカードと、それに対して画像データの読み出し書き込みを行う回路等で構成されている。
【００２０】
表示部１５は、画像を表示するＬＣＤやそれを駆動するドライバ等からなり、信号処理部１３からの画像データが次々に送られることによって、それに基づいてスルー画像を表示する。撮影者は、そのスルー画像を観察することによってフレーミングを行うことができる。また、この表示部１５には、スルー画像に重ねてＡＦエリアを示すＡＦ枠が表示される。撮影者は、表示部１５に表示されるＡＦ枠を参照することで、ＡＦエリアの初期設定を行うことができるとともに、自動的に更新されるＡＦエリアを確認することができる。
【００２１】
ＡＦ制御部１６は、フォーカス機構１２とともにＡＦ手段を構成する。このＡＦ制御部１６は、フォーカス機構１２を作動させて撮影レンズ１０のピントが被写体に合致する位置を検出し、その合致するレンズ位置にフォーカスレンズ１２ａをセットする。ＡＦ制御部１６は、撮影画面上に設定されるＡＦエリア内の被写体にピントが合致するようにフォーカス機構１２を制御する。
【００２２】
ＡＦエリアは、操作部４の操作によって指定される範囲が、自動追跡部６を介してＡＦ制御部１６に初期設定され、初期設定後は自動追跡部６によって、対象となる被写体（以下、対象被写体という）の移動にしたがってＡＦエリアが移動するように自動的に更新・設定される。すなわち、ＡＦエリアが対象被写体を自動的に追跡する。
【００２３】
ＡＦ制御部１６は、いわゆるコントラスト検出方式によって撮影レンズ１０のピントを合致させる。すなわち、信号処理部１３からの画像データに基づいて、撮影画像ごとにＡＦエリア内の画像の高周波成分を積算したＡＦ評価値を求め、このＡＦ評価値が最大となるレンズ位置にフォーカスレンズ１２ａを移動させる。なお、オートフォーカスの手法は、上記のような被写体像のコントラストによるものに限らない。
【００２４】
自動追跡部６は、ＡＦエリアを処理領域とし、特定の被写体である対象被写体を追跡する自動追跡装置となっている。入力部２０は、入力画像として信号処理部１３から画像データ（撮影画像）を取得する。この取得する画像データとしては、例えば画素ごとの輝度信号レベルに相当する輝度値となっている。
【００２５】
入力部２０は、撮影画像の輝度の分散を一定程度に均一化する正規化処理を行う。この正規化処理は、撮影画像に全体に行ってもよいが、後述するパターンマッチングを行う領域ごとに正規化処理を行ってもよい。なお、正規化処理を行わなくてもよい。
【００２６】
マッチング処理部２１は、入力される撮影画像について、その画像データに基づいて標準パターン（テンプレート画像）を用いた周知のパターンマッチング（テンプレートマッチング）処理を行う。このマッチング処理部２１は、例えばｐ×ｑ画素からなる標準パターンと最も合致する、すなわち標準パターンに対して相関値が最も高いｐ×ｑ画素の画像部分（以下、領域画像という）の領域を検出・特定し、その領域を示す領域情報を出力する。
【００２７】
マッチング処理部２１によるパターンマッチング処理では、撮影画像上において標準パターンと最も合致する領域を特定できるようになっており、領域情報には、その領域の中心位置，大きさ、形状等の情報が含まれる。相関値は、例えば正規化相関パターンマッチング処理を用いる場合においては、標準パターンの輝度値をＭ、撮影画像中の領域画像の輝度値をＩとして、それぞれの画素の個数をＮ（＝ｐ×ｑ）個としたときには、次の式（１）によって相関値（相関係数）ｒが求められる。
【００２８】
【数１】
2009152725.tif 000003
【００２９】
抽出部２２は、後述する更新制御部２３の制御の下で、領域情報に示される領域内の画像、すなわち領域画像を撮影画像から抽出してバッファメモリ２４に出力する。また、メモリ部２５は、追跡の対象物の画像を標準パターンとして保持するものであり、バッファメモリ２４から領域画像を取得して、これを標準パターンとして記憶する。
【００３０】
自動追跡の初期設定では、操作部４の操作によって指定されるＡＦ枠に囲まれる領域がＡＦエリアとされる。抽出部２２は、そのＡＦエリア内の画像を領域画像として抽出し、これがバッファメモリ２４を介してメモリ部２５に標準パターンとして記憶される。この初期設定以降では、抽出部２２は、更新制御部２３によって指定される領域の画像を領域画像として抽出し、これがバッファメモリ２４に新たな標準パターンとして書き込まれる。メモリ部２５は、更新制御部２３からの更新信号が入力されることに応答して、バッファメモリ２４から領域画像を標準パターンとして取得することで、標準パターンを更新する。
【００３１】
更新制御部２３は、メモリ部２５の標準パターンの更新を制御するとともに、相関値の高低に基づいてパターンマッチングの可否を判定して、ＡＦエリアの更新を制御する。この更新制御部２３には、マッチング処理部２１からの領域情報と相関値とが入力される。また、更新制御部２３には、相関値と比較してＡＦエリアを更新すべきか否かを判断するための第１しきい値を設定してある。
【００３２】
更新制御部２３は、相関値が第１しきい値以上である場合に、マッチング処理部２１からの領域情報に示される領域を新たなＡＦエリアとするようにＡＦ制御部１６を制御し、また表示部１５にその領域を示すＡＦ枠を表示させる。一方、相関値が第１しきい値よりも小さく、十分な相関性が得られる領域を検出できない場合には、ＡＦエリアの再設定を操作者に要求する。
【００３３】
補正処理部２６は、標準パターンと領域画像の相関性の高低を判定し、相関性が低いときには領域画像を補正する補正処理を行う。相関性の高低を判定は、メモリ部２５の標準パターンと、このメモリ部２５の標準パターンとマッチングするとして抽出されたバッファメモリ２４の領域画像の対応する画素同士の輝度値の差分絶対値を積算した差分積算値が予め設定された第２しきい値以上であるか否かで判定する。第２しきい値よりも小さいときには相関性が高いものとされ、第２しきい値以上である場合の相関性が低いものとされる。なお、第１しきい値を用いた相関性の高低の判定に比べて、第２しきい値を用いた相関性の高低の判定は、相関性が高いと判定される基準が高くされている。
【００３４】
補正処理部２６には、差分絶対値に対する上限値が予め設定されており、標準パターンと抽出された領域画像の対応する画素同士の輝度値の差分絶対値が上限値以上となる領域画像の各画素の輝度を、その差分絶対値が小さくなるように補正処理が行われる。この例では、上限値以上となる領域画像の各画素の輝度が、それに対応する標準パターンの画素との差分絶対値が上限値とする。
【００３５】
したがって、標準パターン内の任意の位置の画素の輝度値をＡｉ、その画素Ａｉに対応する領域画像内の位置の画素の輝度値をＢｉｏｌｄとしたとき、差分積算値Ｇは、次の式（２）によって求める。
Ｇ＝Σ｜Ａｉ−Ｂｉｏｌｄ｜・・・（２）
【００３６】
また、標準パターンと領域画像の各画素の差分絶対値の上限値をＬとしたときに、補正処理後の領域画像の画素の輝度値Ｂｉｎｅｗは、次の式（３）〜（５）によって求められる。
｜Ａｉ−Ｂｉｏｌｄ｜≦Ｌのとき
Ｂｉｎｅｗ＝Ｂｉ    ・・・（３）
｜Ａｉ−Ｂｉｏｌｄ｜＞ＬかつＡｉ＜Ｂｉｏｌｄ
Ｂｉｎｅｗ＝Ａｉ＋Ｌ  ・・・（４）
｜Ａｉ−Ｂｉｏｌｄ｜＞ＬかつＡｉ＞Ｂｉｏｌｄ
Ｂｉｎｅｗ＝Ａｉ−Ｌ  ・・・（５）
【００３７】
補正処理部２６で補正処理が行われる場合には、更新制御部２３が補正処理の完了後にメモリ部２５に対して更新信号を送り、補正処理を行わない場合には、領域画像が抽出されてバッファメモリ２４に書き込まれた直後に更新信号を送る。これにより、領域画像と標準パターンとの相関性が低いと判定されたときには、補正処理された領域画像を新たな標準パターンとし、相関性が高いと判定されたときには、抽出された領域画像をそのまま新たな標準パターンとして更新する。
【００３８】
なお、この例では標準パターンと領域画像との相関性の高低を判定する際に、差分絶対値を積算した差分積算値の大きさに基づいているが、判定の手法はこれに限られるものではない。例えばマッチング処理部２１がパターンマチングを行う際に算出する相関値を用いてもよい。この場合には、例えば上記式（１）で求められる相関値ｒの逆数の大小により、相関性の高低を判定してもよい。
【００３９】
図２に示すように、撮影画像３０内には、操作部４の操作で例えば矩形状にＡＦエリア３１ａが指定され、あるいはパターンマッチング処理によって特定された領域がＡＦエリア３１ａとされる。そして、そのＡＦエリア３１ａの内の領域画像が標準パターンとしてメモリ部２５に記憶・保持される。なお、ＡＦ枠３２は、ＡＦエリア３１ａの外周として指定される。
【００４０】
新たな撮影画像が入力されると、メモリ部２５に記憶・保持される標準パターンを用いてパターンマッチング処理によって最も相関値の高い画像の領域が検出され、相関値が第１しきい値よりも大きいときには、その領域が新たなＡＦエリア３１ｂとされる。このような処理を繰り返すことによって、撮影画像上で対象被写体が移動した場合には、その移動先にＡＦエリア３１ｂが移動するようにして、対象被写体を追跡する。
【００４１】
次に上記構成の作用について説明する。デジタルカメラ２を撮影モードとすると、撮影部５による撮影が開始され、スルー画像が表示部１５に表示される。例えば、この初期状態では、ＡＦエリアが撮影画面中央に設定され、そのＡＦエリア内の被写体にピントが合致するようにフォーカス機構１２がＡＦ制御部１６の制御下で駆動される。また、スルー画像の表示のために１画面分の撮影が行われるごとに、撮影部５から自動追跡部６に画像データが送られ、その画像データが入力部２０を介してマッチング処理部２１と抽出部２２に入力される。
【００４２】
対象被写体にＡＦエリアを追従させる場合には、図３に示すように、撮影者は、表示部１５に表示されるＡＦ枠を参照しながら操作部４を操作して、対象被写体、例えば人物の顔を囲むようにＡＦ枠のサイズや位置を設定し、対象被写体の追跡を指示する。
【００４３】
対象被写体の追跡が指示されると、システムコントローラ３によって、設定されたＡＦ枠のサイズと位置に相当する領域情報が抽出部２２に与えられる。これにより、その領域情報に示される領域内の画像が領域画像として抽出され、その領域画像が標準パターンとしてバッファメモリ２４を介してメモリ部２５に書き込まれる。
【００４４】
上記のようにして、標準パターンをメモリ部２５に保持した後、新たな１画面分の画像データが自動追跡部６に入力されると、その画像データが入力部２０を介してマッチング処理部２１と、抽出部２２とに取り込まれる。そして、マッチング処理部２１によって、メモリ部２５から標準パターンが読み出され、この標準パターンを用いて新たな撮影画像に対してパターンマッチング処理が行われる。このパターンマッチング処理では、最も相関値が高くなる画像の領域が検出され、その領域を示す領域情報と、相関値とが更新制御部２３に出力される。
【００４５】
更新制御部２３によって、相関値と第１しきい値とが比較される。この比較において、例えば相関値が第１しきい値以上である場合には、ＡＦエリアを更新するために、入力された領域情報に示される領域が新たなＡＦエリアとするようにＡＦ制御部１６の設定が変更され、またその領域を示すＡＦ枠を表示させるように表示部１５の設定が変更される。
【００４６】
なお、相関値が第１しきい値より小さい場合には、設定された対象被写体にマッチする領域画像がないものとして、ＡＦエリアの更新は行われず、例えばＡＦエリアの再設定を操作者に促す案内が表示部１５に表示される。
【００４７】
上記のように相関値が第１しきい値以上であった場合には、更新制御部２３からの領域情報に示される領域の画像を抽出するように抽出部２２が作動され、抽出された画像すなわち領域画像がバッファメモリ２４に書き込まれる。
【００４８】
バッファメモリ２４に領域画像が書き込まれると、補正処理部２６が、メモリ部２５に書き込まれている標準パターンの画素の輝度値を読み出すとともに、バッファメモリ２４の領域画像の画素の輝度値を読み出し、それら対応する画素同士の輝度値の差分絶対値を求める。そして、それら各画素の差分絶対値を積算することにより、差分積算値が算出されて、第２しきい値と比較される。
【００４９】
上記比較において、差分積算値が第２しきい値よりも小さい場合には、更新制御部２３を介して直ちにメモリ部２５に対して更新の指示が出され、この指示に応答してメモリ部２５がバッファメモリ２４の領域画像を新たな標準パターンとして取得して記憶する。
【００５０】
一方、差分積算値が第２しきい値以上のときには、補正処理部２６による補正処理が行われる。この補正処理により、差分絶対値がその上限値を超える領域画像の各画素のうち輝度値が対応する標準パターンの画素の輝度値よりも大きいものについては、その標準パターンの画素の輝度値に上限値を加算した輝度値に置き換えられる。また、輝度値が対応する標準パターンの画素の輝度値よりも小さい画素については、その標準パターンの画素の輝度値から上限値を減算した輝度値に置き換えられる。
【００５１】
上記のようにして領域画像に補正処理が行われてから、メモリ部２５に対して更新の指示が出され、この指示に応答してメモリ部２５が補正済みの領域画像を新たな標準パターンとしてバッファメモリ２４から取得して記憶する。
【００５２】
標準パターンの更新後、次の撮影画像の画像データが自動追跡部６に入力されると、上記のように更新された標準パターンを用いてパターンマッチング処理が行われる。以降、同様な手順により、領域画像と標準パターンとの相関値が第１しきい値以上であれば、ＡＦエリアの更新が行われるとともに、標準パターンの更新が行われる。そして、標準パターンの更新の際には、標準パターンと新たに抽出された領域画像との対応する画素同士の差分絶対値の差分積算値が第２しきい値より小さければ、抽出された領域画像がそのまま新たな標準パターンとされ、差分積算値が第２しきい値以上であれば補正処理が施された領域画像が新たな標準パターンとされる。
【００５３】
以上のようにして標準パターンの更新を行うことにより、例えば対象被写体の前面を遮蔽物が通過する等した場合であっても、遮蔽物の通過等による領域画像に生じる輝度変化が上限値までの範囲で制限規される。このため、対象被写体の明るさが変化したり、向きが変化したりした場合はもちろん、遮蔽物が通過する等した場合であっても、更新される新たな標準パターンと対象被写体との相関性が著しく低下しなくなるので、対象被写体を精度よく検出して追跡することができる。
【００５４】
上記実施形態では、差分絶対値が上限値を超える場合の差分絶対値を小さくする手法として、差分絶対値が上限値となるように領域画像の輝度値を補正しているが、それに限るものではない。例えば、差分絶対値が上限値を超える領域画像の画素については、その領域画像の画素とそれに対応する標準パターンの画素の各輝度値の平均値に置き換えるようにしてもよい。
【００５５】
また、上記実施形態では、追跡すべき対象被写体を操作部の操作で指定しているが、特定の対象、例えば人物の顔をデジタルカメラで自動認識させ、その顔を対象被写体とするようにしてもよい。さらに、デジタルカメラの例について説明したが、本発明は、これに限るものではなく、写真フイルムを用いた写真カメラ、ビデオカメラ、携帯電話等の各種機器に内蔵されたデジタルカメラ等の撮影装置に適用できる。
【００５６】
また、ＡＦエリアに限らず、露出制御を行うための被写体輝度を測定するＡＥエリア、ホワイトバランスを調整するための色測定を行うＡＷＢエリア等を対象被写体に追従させて移動させる場合にも利用できる。さらには、ビデオカメラで撮影されて録画された画像を入力画像として用いる場合などにも利用できる。本発明を監視カメラに適用し、撮影方向を被写体の移動に追従させて変化させるようにしてもよい。
【図面の簡単な説明】
【００５７】
【図１】本発明を実施したデジタルカメラの構成を示すブロック図である。
【図２】ＡＦエリアの移動を説明する説明図である。
【図３】対象被写体を追跡するための処理手順を示すフローチャートである。
【符号の説明】
【００５８】
２  デジタルカメラ
４  操作部
５  撮影部
６  自動追跡部
２１  マッチング処理部
２２  抽出部
２３  更新制御部
２５  メモリ部
２６  補正処理部
【図１】
2009152725.tif 000004
【図２】
2009152725.tif 000005
【図３】
2009152725.tif 000006