(57)【要約】【課題】  従来は、撮影時に被写体の動きやカメラの動きがあった場合に、所望の被写体を確実に捉えた画像を撮影または選択することが難しかった。【解決手段】  本発明に係る画像処理装置は、時系列上の連続した複数枚の画像を入力する画像入力部と、前記画像入力部から入力する画像内の特定被写体の位置を検出する被写体位置検出部と、前記画像入力部から入力する画像内の特定領域の動きベクトルを検出する動きベクトル検出部と、前記被写体位置検出部が出力する位置情報と前記動きベクトル検出部が出力する動きベクトル情報とに基づいて、特定被写体の状態を判定する被写体状態判定部と、前記被写体状態判定部が出力する被写体情報に応じて、前記画像入力部から入力した複数枚の画像の中から失敗画像かどうかを判定し、失敗画像であると判定された場合は記録しないようにする制御部とを有することを特徴とする。【選択図】    図１
2010016544.tif 000002
【特許請求の範囲】
【請求項１】
時系列上の連続した複数枚の画像を入力する画像入力部と、
前記画像入力部から入力する画像内の特定被写体の位置を検出する被写体位置検出部と、
前記画像入力部から入力する画像内の特定領域の動きベクトルを検出する動きベクトル検出部と、
前記被写体位置検出部が出力する位置情報と前記動きベクトル検出部が出力する動きベクトル情報とに基づいて、特定被写体の状態を判定する被写体状態判定部と、
前記被写体状態判定部が出力する被写体情報に応じて、前記画像入力部から入力した複数枚の画像の中から失敗画像かどうかを判定し、失敗画像であると判定された場合は記録しないようにする制御部と
を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記動きベクトル検出部は、前記画像入力部から入力する画像の周囲の領域を複数ブロックに分割して、ブロック内の輝度情報から動きがある可能性が高いと判断された複数ブロックに対して直交する一次元方向の動きベクトルを検出する
ことを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記被写体状態判定部は、前記被写体位置検出部が検出した特定被写体位置と前記動きベクトル検出部が動きベクトルを検出したブロック位置とが同じ位置にあった場合のみ、特定被写体が撮影フレーム内にあるか否かの判定処理を実行する
ことを特徴とする画像処理装置。
【請求項４】
時系列上の連続した複数枚の画像を撮影する画像撮影部と、
前記画像撮影部が撮影する画像内の特定被写体の位置を検出する被写体位置検出部と、
前記画像撮影部が撮影する画像内の特定領域の動きベクトルを検出する動きベクトル検出部と、
前記被写体位置検出部が出力する位置情報と前記動きベクトル検出部が出力する動きベクトル情報とに基づいて、特定被写体の状態を判定する被写体状態判定部と、
前記被写体状態判定部が出力する被写体情報に応じて、前記画像撮影部で本画像を撮影する際の撮影条件を可変する制御部と
を有することを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記動きベクトル検出部は、画像撮影部が撮影する画像の周囲の領域を複数ブロックに分割して、ブロック内の輝度情報から動きがある可能性が高いと判断された複数ブロックに対して直交する一次元方向の動きベクトルを検出する
ことを特徴とする撮像装置。
【請求項６】
請求項４または５に記載の撮像装置において、
前記被写体状態判定部は、前記被写体位置検出部が検出した特定被写体位置と前記動きベクトル検出部が動きベクトルを検出したブロック位置とが同じ位置にあった場合のみ、特定被写体が撮影フレーム内にあるか否かの判定処理を実行する
ことを特徴とする撮像装置。
【請求項７】
画像入力部から入力する時系列上の連続した複数枚の画像内の特定被写体の位置を検出する被写体位置検出手順と、
前記画像入力部から入力する画像内の特定領域の動きベクトルを検出する動きベクトル検出手順と、
前記被写体位置検出手順で検出した位置情報と前記動きベクトル検出手順で検出した動きベクトル情報とに基づいて、特定被写体の状態を判定する被写体状態判定手順と、
前記被写体状態判定手順が出力する被写体情報に応じて、前記画像入力部から入力した複数枚の画像の中から失敗画像かどうかを判定し、失敗画像であると判定された画像は選択しないようにする画像選択手順と
を有することを特徴とするコンピュータ上で実行される画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関する。
【背景技術】
【０００２】
従来、デジタルカメラなどの撮像装置で動きのある被写体を撮影する場合、撮影中に被写体が撮影画角から外れてしまい、シャッターチャンスを逃してしまうという問題があった。このような問題を解決するために、時系列に連続した複数枚の画像を撮影し、撮影後に最適な画像を選択する方法が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００７−０３６５８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところが、時系列に連続して複数枚の高画質な画像を撮影できる枚数は限られている。また、仮に複数枚の高画質な画像を撮影できたとしても、最終的に本撮影画像として一枚の画像を選択する作業は、画像シーンの種類が増えると膨大な量の画像を見て判断しなければならず、大変な作業になってしまうという問題がある。
【０００４】
本発明の目的は、撮影時に被写体の動きやカメラの動きがあった場合でも、所望の被写体を確実に捉えた画像を撮影または選択することができる撮像装置および画像処理装置、並びに画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、時系列上の連続した複数枚の画像を入力する画像入力部と、前記画像入力部から入力する画像内の特定被写体の位置を検出する被写体位置検出部と、前記画像入力部から入力する画像内の特定領域の動きベクトルを検出する動きベクトル検出部と、前記被写体位置検出部が出力する位置情報と前記動きベクトル検出部が出力する動きベクトル情報とに基づいて、特定被写体の状態を判定する被写体状態判定部と、前記被写体状態判定部が出力する被写体情報に応じて、前記画像入力部から入力した複数枚の画像の中から失敗画像かどうかを判定し、失敗画像であると判定された場合は記録しないようにする制御部とを有することを特徴とする。
【０００６】
また、好ましくは、前記動きベクトル検出部は、前記画像入力部から入力する画像の周囲の領域を複数ブロックに分割して、ブロック内の輝度情報から動きがある可能性が高いと判断された複数ブロックに対して直交する一次元方向の動きベクトルを検出することを特徴とする。
【０００７】
また、好ましくは、前記被写体状態判定部は、前記被写体位置検出部が検出した特定被写体位置と前記動きベクトル検出部が動きベクトルを検出したブロック位置とが同じ位置にあった場合のみ、特定被写体が撮影フレーム内にあるか否かの判定処理を実行することを特徴とする。
【０００８】
本発明に係る撮像装置は、時系列上の連続した複数枚の画像を撮影する画像撮影部と、前記画像撮影部が撮影する画像内の特定被写体の位置を検出する被写体位置検出部と、前記画像撮影部が撮影する画像内の特定領域の動きベクトルを検出する動きベクトル検出部と、前記被写体位置検出部が出力する位置情報と前記動きベクトル検出部が出力する動きベクトル情報とに基づいて、特定被写体の状態を判定する被写体状態判定部と、前記被写体状態判定部が出力する被写体情報に応じて、前記画像撮影部で本画像を撮影する際の撮影条件を可変する制御部とを有することを特徴とする。
【０００９】
また、好ましくは、前記動きベクトル検出部は、画像撮影部が撮影する画像の周囲の領域を複数ブロックに分割して、ブロック内の輝度情報から動きがある可能性が高いと判断された複数ブロックに対して直交する一次元方向の動きベクトルを検出することを特徴とする。
【００１０】
また、好ましくは、前記被写体状態判定部は、前記被写体位置検出部が検出した特定被写体位置と前記動きベクトル検出部が動きベクトルを検出したブロック位置とが同じ位置にあった場合のみ、特定被写体が撮影フレーム内にあるか否かの判定処理を実行することを特徴とする。
【００１１】
本発明に係る画像処理プログラムは、コンピュータ上で実行され、画像入力部から入力する時系列上の連続した複数枚の画像内の特定被写体の位置を検出する被写体位置検出手順と、前記画像入力部から入力する画像内の特定領域の動きベクトルを検出する動きベクトル検出手順と、前記被写体位置検出手順で検出した位置情報と前記動きベクトル検出手順で検出した動きベクトル情報とに基づいて、特定被写体の状態を判定する被写体状態判定手順と、前記被写体状態判定手順が出力する被写体情報に応じて、前記画像入力部から入力した複数枚の画像の中から失敗画像かどうかを判定し、失敗画像であると判定された画像は選択しないようにする画像選択手順とを有することを特徴とする。
【発明の効果】
【００１２】
本発明に係る撮像装置および画像処理装置、並びに画像処理プログラムは、撮影時にカメラの動きや被写体の動きがあった場合でも、所望の被写体を確実に捉えた画像を撮影または選択することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明に係る撮像装置１０１に関する一の実施形態について図面を用いて詳しく説明する。尚、撮像装置１０１は、本発明に係る画像処理装置および画像処理プログラムを含む。
【００１４】
図１は、第１の実施形態に係る撮像装置１０１のブロック図である。撮像装置１０１は、撮影光学系１０２と、撮像部１０３と、画像処理部１０４と、メモリ１０５と、制御部１０６と、メモリＩＦ１０７と、表示部１０８と、操作部１０９と、ＡＦセンサ１１０と、ＡＥセンサ１１１と、レンズ制御部１１２と、発光部１１３とで構成される。尚、撮像装置１０１は、メモリＩＦ１０７にメモリカード１０７ｂを装着して撮影画像の保存を行う。
【００１５】
撮像装置１０１は、撮影者が操作部１０９の各種操作ボタン（電源ボタン、レリーズボタン、ズームボタン、撮影モード選択ボタン、カーソルボタンなど）を操作して使用する。操作部１０９の操作情報は制御部１０６に入力され、制御部１０６は操作部１０９の操作情報に応じて撮像装置１０１の各部の動作を制御する。例えば、フォーカス制御を行う場合、制御部１０６は、ＡＦセンサ１１０が出力するフォーカス情報を処理して焦点位置を求め、撮影光学系１０２のフォーカスレンズを焦点位置に移動するようレンズ制御部１１２に指令する。或いは、露出制御を行う場合、制御部１０６は、ＡＥセンサ１１１が出力する測光情報を処理して適正露出を求め、撮影光学系１０２の絞り値を制御するようレンズ制御部１１２に指令したり、撮像部１０３のシャッター速度や発光部１１３の発光量などを制御する。尚、撮影光学系１０２から入射する被写体光は、撮像部１０３の受光面に結像されると共に、ＡＦセンサ１１０やＡＥセンサ１１１にも入射される。また、本実施形態では、ＡＦセンサ１１０およびＡＥセンサ１１１を撮像部１０３とは別に設けたが、撮像部１０３で撮影する画像を用いてＡＦ制御やＡＥ制御を行うようにしても構わない。
【００１６】
表示部１０８には、撮像部１０３で撮影される画像だけでなく、制御部１０６が出力するグラフィック情報や文字・記号などのメニュー画像も表示される。
【００１７】
図１において、撮像部１０３は、制御部１０６からの指令に応じて受光面に結像された被写体光を画像データに変換し、画像処理部１０４に出力する。画像処理部１０４は、制御部１０６の指令に応じてホワイトバランス処理や色補間処理などを行い、処理後の画像データをメモリ１０５に一時的に記憶し、表示部１０８に表示する。特に、本実施形態では、メモリ１０５に一時的に記憶された時系列に連続した画像データの中から失敗画像（撮影したい被写体がフレームアウトした画像や手振れ画像など）を除いた画像を本撮影画像としてメモリＩＦ１０７に装着されているメモリカード１０７ｂに保存する。尚、メモリ１０５は、撮像部１０３で撮影された画像データを一時的に記憶するだけでなく、シャッター速度などの撮影条件や制御部１０６が処理する際のパラメータ（後述する追尾被写体情報や位置、閾値αなど）も記憶する。
【００１８】
次に、本実施形態に係る撮像装置１０１における制御部１０６の構成について説明する。図１に示すように、制御部１０６は被写体追尾処理部１５１と、動きベクトル検出処理部１５２と、フレームイン／アウト判定処理部１５３と、撮影条件設定処理部１５４とで構成される。
【００１９】
被写体追尾処理部１５１は、メモリ１０５に一時的に記憶される画像上で追尾対象の被写体（追尾被写体）を選択し特定する。そして、時系列に連続して撮影される画像毎に、特定された追尾被写体が撮影された画像のどの位置にあるのかを検出する被写体追尾処理を実行する。例えば、図２において、撮像装置１０１の表示部１０８に表示された画像の撮影画角２０１内の「熱気球」を追尾対象の被写体（追尾被写体２０２）として特定する。尚、追尾被写体２０２の特定方法は、例えば、ＡＦ制御する際に設定するＡＦセンサ１１０のＡＦエリアと連動させて、ＡＦロック時のＡＦエリア内にある被写体を追尾被写体２０２として特定するようにしても構わない。或いは、専用の追尾被写体設定メニューを設けて追尾対象の被写体を設定するようにしても構わない。この場合は、図２に示すように、表示部１０８に表示される画像の撮影画角２０１内に追尾被写体設定枠２０３を表示し、操作部１０９のカーソルボタンで追尾被写体設定枠２０３を自由に移動させて、設定するようにしても構わない。さらに、被写体追尾処理部１５１は、上記のようにして設定された追尾被写体２０２が、時系列に連続して順次撮影される画像フレーム内のどの位置に移動したかを検出する。
【００２０】
動きベクトル検出処理部１５２は、図２に示すように、撮像装置１０１で撮影する画像の撮影画角２５１内に設けた特定領域２５２における動きベクトルを検出する。ここで、特定領域２５２は、撮影画角２５１の周囲近傍に配置され、ブロックＡ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８，Ａ９・・・・などで示されたような複数のブロックで構成される。尚、図２では、分かり易いように特定領域２５２の左側の縦の列を９つのブロックで構成したが、９つのブロックである必要はない。また、撮影画角２５１の周囲近傍とは、撮影画角２５１の縁に近い部分を意味し、撮影画角２５１の縁から少し離れて位置に配置されるのが好ましい。但し、撮影画角２５１の縁に接する場合を必ずしも排除するものではない。
【００２１】
さらに、図２の特定領域２５２を構成する個々のブロックは複数の画素で構成される。この様子を図３に示す。図３において、例えば、ブロックＡ３は、画素ｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６，ｐ７，ｐ８，ｐ９の９つの画素で構成される。尚、図３では分かり易いように９つの画素でブロックＡ３を構成したが、９つの画素である必要はない。
【００２２】
また、動きベクトル検出処理部１５２は、図２および図３に示した特定領域２５２のブロック毎に動きがあったか否かを検出する。動きがあったか否かの検出は、特定領域２５２の同じブロック毎に、時系列に連続して撮影する現在の画像の輝度値と、過去の複数画像の輝度値の平均値との差分（差の絶対値）を計算し、予め設定した閾値以上か否かで判定する。ここで、判定方法について、図４を用いて説明する。図４は、図３で説明した特定領域２５２のブロックＡ３に対応し、時系列に連続して複数画像を入力した場合の各画素の値を描いた説明図である。図４において、輝度値ＢＡ３（ｎ）は現在の画像（（ｎ）番目の画像）のブロックＡ３の輝度値を示し、輝度値Ｂｐ１（ｎ）からＢｐ９（ｎ）はそれぞれ（ｎ）番目の画像のブロックＡ３の各画素ｐ１からｐ９の輝度値を示している。同様に、輝度値ＢＡ３（ｎ−１）は、（ｎ−１）番目の画像のブロックＡ３の輝度値を示し、輝度値Ｂｐ１（ｎ−１）からＢｐ９（ｎ−１）はそれぞれ（ｎ−１）番目の画像のブロックＡ３の各画素ｐ１からｐ９の輝度値を示している。（ｎ−２）番目の画像および（ｎ−３）番目の画像についても同様である。
【００２３】
ここで、現在の画像（（ｎ）番目の画像）のブロックＡ３における輝度値ＢＡ３（ｎ）は、式１に示すように、ブロックＡ３を構成する９つの画素の輝度値の和で求められる。尚、式１において、ブロックを構成する画素数で除算した平均値を求めるようにしても構わない。
【００２４】
BA3(n)=Bp1(n)+Bp2(n)+Bp3(n)+Bp4(n)+Bp5(n)+Bp6(n)+Bp7(n)+Bp8(n)+Bp9(n)  …  式１
一方、過去の複数画像については、各ブロック毎に輝度値の平均を求める。例えば、過去の３枚の画像を用いる場合は、図４において、（ｎ−１）番目の画像から（ｎ−３）番目の画像を用いて計算する。先ず、（ｎ−１）番目の画像に対して式１と同様にして輝度値ＢＡ３（ｎ−１）を求める。同様に、（ｎ−２）番目および（ｎ−３）番目の画像に対しても式１と同様にして輝度値ＢＡ３（ｎ−２）および輝度値ＢＡ３（ｎ−３）を求める。そして、式２に示すように、過去の３枚の画像の同じブロックＡ３の輝度値の平均（ＡＶＥ＿ＢＡ３（ｎ））を求める。ここで、ＡＶＥ＿ＢＡ３（ｎ）は現在の画像が（ｎ）番目の画像の時に（ｎ−１）番目の画像以前の複数画像の輝度平均値であることを示している。
【００２５】
AVE_BA3(n)=(BA3(n-1)+BA3(n-2)+BA3(n-3))/3  …  式２
尚、式２において、各ブロックの同じ画素位置毎に複数画像での輝度平均値を求めてから、同じブロック内の画素毎の輝度平均値を加算しても構わない。
【００２６】
ここで、動きベクトル検出処理部１５２は、式１で求めた現在の画像（（ｎ）番目の画像）のブロックＡ３の輝度値ＢＡ３（ｎ）と、式２で求めた過去の３つの画像のブロックＡ３の輝度値の平均値（ＡＶＥ＿ＢＡ３（ｎ））との差分（差の絶対値）ＡＢＳ＿ＢＳ３（ｎ）を求める（式３）。
【００２７】
ABS_BA3(n)＝｜BA3(n)−AVE_BA3(n)｜  …  式３
さらに、動きベクトル検出処理部１５２は、式３で求めたＡＢＳ＿ＢＳ３（ｎ）の値が予め設定した閾値α以上か閾値α未満かを判別する。ＡＢＳ＿ＢＳ３（ｎ）値が閾値α以上の場合は、当該ブロックＡ３で動きがあったと判定し、ＡＢＳ＿ＢＳ３（ｎ）値が閾値α未満の場合は、当該ブロックＡ３で動きがなかったと判定する。
【００２８】
ここで、過去の複数画像の使用枚数が多い場合は、微小な動きを判定しにくくなり、使用枚数が少ない場合は、画像中のノイズなどの影響を受けやすくなるので、本実施形態では数枚程度とした。これにより、動きベクトル検出処理部１５２で動きベクトルを検出する際の画像バッファの容量も数枚分あればよいので、メモリ１０５に確保しなければならない画像バッファの容量を抑えることができる。
【００２９】
次に、動きベクトル検出処理部１５２は、動きがあったと判定されたブロックの動きベクトル（方向）の検出を行う。ここで、動きベクトルの検出について図５を用いて説明する。図５（ａ）は過去の画像のブロックＡ３の様子を示し、図５（ｂ）は現在の画像のブロックＡ３の様子を示している。図５（ａ）の過去の画像において、ブロックＡ３を構成する９つの画素の中の画素ｐ６とｐ９の位置（画素位置は図３参照）にあった被写体３０１ａと３０２ａは、図５（ｂ）の現在の画像においては、ブロックＡ３を構成する９つの画素の中の画素ｐ１とｐ４の位置に移動している。この場合の動きベクトルは、図５（ａ）のベクトル３０３で示す左斜め上方向となり、ｘｙ座標上において二次元方向の動きベクトルとなる。これに対して、本実施形態では、図５（ｃ）または図５（ｄ）に示すように、特定領域２５２の各ブロックに対して直交する方向（同図ではｘ軸方向またはｙ軸方向）の一次元方向に分解して、そのいずれかを動きベクトルとして検出する。例えば、図６（ａ）に示すような特定領域２５２のｙ軸方向の特定領域２５２ａおよび２５２ｂにおいては、ｘ軸成分の一次元方向の動きベクトルとして検出し、図６（ｂ）に示すような特定領域２５２のｘ軸方向の特定領域２５２ｃおよび２５２ｄにおいては、ｙ軸成分の一次元方向の動きベクトルとして検出する。尚、図２および図３において、特定領域２５２の角にあるブロックＡ１の場合は、ｘ軸成分の一次元方向の動きベクトルと、ｙ軸成分の一次元方向の動きベクトルとを別々にそれぞれ検出する。或いは、特定領域２５２が図２に示すような矩形状ではなく、楕円形や円形など曲線状に複数のブロックが配置された特定領域の場合でも、ｘ軸成分の一次元方向の動きベクトルとｙ軸成分の一次元方向の動きベクトルとに分けて検出すればよい。これにより、動きベクトルの検出および処理を簡略化することができる。
【００３０】
次に、フレームイン／アウト判定処理部１５３の処理について図７を用いて説明する。図７は、追尾被写体２０２が撮影画角２０１から徐々にフレームアウトする様子を描いた説明図である。尚、図７（ａ）から図７（ｄ）に移行するに従って新しく撮影された画像を示している。また、図７（ａ）から図７（ｄ）に亘って引かれている点線は、図６（ａ）の特定領域２５２ａの位置を示している。
【００３１】
図７（ａ）において、追尾被写体２０２は撮影画角２０１の中央部分にある。次の画像の図７（ｂ）では、追尾被写体２０２は撮影画角２０１ａの左斜め上方向に移動し、追尾被写体２０２の一部分が特定領域２５２ａに掛かっている。さらに、次の画像の図７（ｃ）では、追尾被写体２０２は撮影画角２０１ｂの縁に近い位置に移動し、追尾被写体２０２の一部分が特定領域２５２ａから左上に外れようとしている。また、次の画像の図７（ｄ）では、追尾被写体２０２は撮影画角２０１ｃからフレームアウトしている。
【００３２】
ここで、図７（ｂ）および図７（ｃ）において、追尾被写体２０２が特定領域２５２ａのブロックＡ３付近を横切った場合、ブロックＡ３において図５で説明したように外向きの一次元の動きベクトルが検出されることになる。一方、先に説明した被写体追尾処理部１５１は、図７（ａ）から図７（ｄ）に亘る追尾被写体２０２の動きを追尾し、その位置の検出処理を常に行っている。つまり、フレームイン／アウト判定処理部１５３は、図７（ｂ）および図７（ｃ）において、被写体追尾処理部１５１と動きベクトル検出処理部１５２との両方の処理結果によって、ブロックＡ３で動きベクトルが一次元方向の外向きとして検出され、且つ追尾被写体２０２がブロックＡ３位置にあったことを知ることができる。この結果、フレームイン／アウト判定処理部１５３は、追尾被写体２０２がフレームアウトしたと判断することができる。
【００３３】
また、追尾被写体２０２が一旦フレームアウトした状態から再び撮影画角内にフレームインしてくる場合でも、フレームアウトする前に追尾被写体２０２を追尾するための情報（色情報や輝度情報など）を予めメモリ１０５に登録し、追尾被写体２０２がフレームアウトした後も追尾被写体２０２の登録情報をメモリ１０５に保持しておくことにより、再び追尾被写体２０２が図７（ｄ）の状態から図７（ｃ），図７（ｂ）の状態へと逆に移動して撮影画角内にフレームインしたことを検出することができる。つまり、この場合は、追尾被写体２０２は特定領域２５２ａのブロックＡ３付近を外から内側に横切るので、動きベクトル検出処理部１５２は、内向きの一次元の動きベクトルを検出する。この結果と被写体追尾処理部１５１が検出した追尾被写体２０２の位置情報とを合わせて、フレームイン／アウト判定処理部１５３は、追尾被写体２０２がフレームインしたと判断することができる。
【００３４】
一方、例えば図８に示すように、追尾被写体２０２が特定領域２５２ａに近くない位置にあって、ブロックＡ３が追尾被写体２０２以外の被写体（例えば、樹木の揺らぎなど）によって動きベクトルを検出した場合、フレームイン／アウト判定処理部１５３は、追尾被写体２０２がフレームアウトしたと判断しない。つまり、フレームイン／アウト判定処理部１５３は、追尾被写体２０２があるブロック（或いは近接位置にあるブロック）で動きベクトルを検出した場合のみ、フレームアウト或いはフレームインしたと判断する。
【００３５】
撮影条件設定処理部１５４は、フレームイン／アウト判定処理部１５３の判定結果に応じて、撮像装置１０１で画像を撮影する際の撮影条件などを制御する。例えば、追尾被写体２０２がフレームアウトした場合はその後にレリーズボタンを押下してもシャッターが切れないようにしたり、直近の撮影画像を失敗画像として排除する。或いは、追尾被写体２０２の移動速度に応じてシャッター速度を可変し、追尾被写体２０２の移動速度が速い場合はシャッター速度の設定を速くするなどの撮影条件に応じて撮影部１０３の動作を制御する。
【００３６】
次に、撮像装置１０１で行われる一連の画像処理について、図９のフローチャートを用いて説明する。尚、図９のフローチャートで行われる処理は、図１の制御部１０６に予め記憶されたプログラムに従って実行される。また、この処理は、時系列に連続した画像を撮像部１０３で撮影中に行われる。ここで、図９のフローチャートにおいて、並列して記載する処理ステップは、平行して同時に処理されることを示し、処理ステップに入る矢印は、次の処理ステップに処理結果が引き渡されることを示している。
【００３７】
（ステップＳ１０１）制御部１０６は、画像処理を開始する。
【００３８】
（ステップＳ１０２）制御部１０６は、撮像部１０３および画像処理部１０４に指令して、複数の画像データをメモリ１０５に取り込む。尚、複数の画像データは、時系列に連続して順番にメモリ１０５に取り込まれる。この時、現在（ｎ番目）の画像データはステップＳ１０３に引き渡し、（ｎ−１）番目以前の画像データはステップＳ１０４に引き渡される。
【００３９】
（ステップＳ１０３）ステップＳ１０２で取り込んだ現在（ｎ番目）の画像データをステップＳ１０５とステップＳ１０６とに引き渡す。
【００４０】
（ステップＳ１０４）ステップＳ１０２で取り込んだ過去の複数枚（（ｎ−１）番目以前）の画像データをステップＳ１０７とステップＳ１０９とに引き渡す。
【００４１】
（ステップＳ１０５）制御部１０６は、式１で説明したように、現在（ｎ番目）の画像データの特定領域２５２に配置された各ブロック毎の輝度値を算出する。
【００４２】
（ステップＳ１０６）図２で説明したように、ＡＦエリアや追尾被写体設定枠２０３を利用して、追尾被写体２０２を特定する。尚、追尾被写体２０２の設定は、最初の１回だけ行い、被写体追尾中は最初に特定した追尾被写体情報を用いて被写体追尾を行う。
【００４３】
（ステップＳ１０７）ステップＳ１０６で特定した追尾対象の被写体追尾を行う。尚、被写体追尾の方法として、例えば色情報や輝度情報が類似している領域をサーチする手法を用いる。
【００４４】
（ステップＳ１０８）ステップＳ１０７で検出した追尾被写体２０２の位置を検出する。尚、追尾被写体２０２の位置は、例えば図２に示した特定領域２５２を構成するブロックと同じ大きさの単位で画面全体に亘って位置検出を行っても構わないし、各ブロックを構成する画素単位で位置検出を行っても構わない。但し、本実施形態では、追尾被写体２０２の位置検出は、特定領域２５２の近傍に追尾被写体２０２があるか否かの判断ができればよいので、高い精度で被写体追尾を行う必要はなく、特定領域２５２を構成するブロックと同じ大きさの単位で行うものとする。
【００４５】
（ステップＳ１０９）制御部１０６は、式２で説明したように、過去の複数枚（（ｎ−１）番目以前）の画像データの特定領域２５２に配置された各ブロック毎の輝度値の平均値を算出する。
【００４６】
（ステップＳ１１０）制御部１０６は、式３で説明したように、現在（ｎ番目）の画像データの特定領域２５２の各ブロック毎の輝度値と、過去の複数枚（（ｎ−１）番目以前）の画像データの特定領域２５２の各ブロック毎の輝度値の平均値との差の絶対値を各ブロック毎に算出する。
【００４７】
（ステップＳ１１１）制御部１０６は、ステップＳ１１０で求めた差の絶対値が予めメモリ１０５に設定されている閾値α以上か未満かを各ブロック毎に判別する。差の絶対値が閾値α以上の場合はステップＳ１１２に進み、差の絶対値が閾値α未満の場合はステップＳ１１５に進んで現在の画像における画像処理を終了する。
【００４８】
（ステップＳ１１２）制御部１０６は、ステップＳ１１１でステップＳ１１０で求めた差の絶対値が閾値α以上であった各ブロック毎に、図５で説明したように一次元方向の動きベクトルの検出を行う。
【００４９】
（ステップＳ１１３）ステップＳ１１２で検出した一次元方向の動きベクトルと、ステップＳ１０８で検出した追尾被写体２０２の位置とに応じて、図７で説明したように、追尾被写体２０２がフレームアウトまたはフレームインしたか否かを検出する。
【００５０】
（ステップＳ１１４）ステップＳ１１３での検出結果を被写体情報として出力し、撮像装置１０１で画像を撮影する際の撮影条件などを制御する。撮影条件の制御の一例として、例えば、ステップＳ１１３で追尾被写体２０２がフレームアウトしたことを検出している場合はその後にレリーズボタンを押下してもシャッターが切れないようにしたり、直近の撮影画像を失敗画像として排除する。または、追尾被写体２０２の移動速度に応じてシャッター速度を可変し、追尾被写体２０２の移動速度が速い場合はシャッター速度の設定を速くする。或いは、追尾被写体２０２がフレームアウトした場合に警告の電子音やＬＥＤを点滅させても構わない。また、先に説明したように、一旦フレームアウトした追尾被写体２０２が再びフレームインしたことを検出した場合は、再びシャッターが切れるように制御するようにしても構わない。これにより、スポーツシーンを撮影する場合などで、例えばレリーズボタンを押下し続けるだけで、追尾被写体２０２が撮影フレーム内にある場合だけシャッターを切ることができ、無駄な被写体の撮影をなくすことができる。
【００５１】
（ステップＳ１１５）現在の画像に対する画像処理を終了する。
【００５２】
以上のステップＳ１０１からステップＳ１１５までの一連の処理を新しい画像を入力する度に繰り返される。尚、時系列に連続して撮影される画像の枚数は、先に説明したように、数枚で構わないので、メモリ１０５には常に最近の数枚分の画像を記憶する容量があればよい。この場合は、ステップＳ１１４で失敗画像として排除された画像以外の成功画像のみを順次メモリカード１０７ｂに保存するようにし、メモリ１０５は常に最近の数枚分の画像のみを一時的に記憶する。
【００５３】
また、本実施形態では、時系列に撮影する数枚の画像データを本撮影画像と同じ静止画像としたが、撮影前に得られるスルー画像であっても構わないし、フレーム単位で撮影する動画像であっても構わない。
【００５４】
さらに、本実施形態では、撮像装置１０１で撮影中に処理する場合について説明したが、連写した複数画像をメモリカード１０７ｂなどに記憶して、後でパソコンなどに読み込ませて、図９のフローチャートと同じ処理を行う画像処理プログラムをパソコン上で実行させても構わない。この場合は、図９のフローチャートの処理ステップＳ１１４において、撮影条件の制御を行う代わりに、フレームアウトした画像を失敗画像として削除するようにしても構わない。
【００５５】
或いは、パソコンで行うのではなく、メモリカード１０７ｂを装着可能な専用の画像処理装置（画像プリンタや画像ビューワーなど）であっても構わない。
【００５６】
また、本実施形態では、追尾被写体２０２のフレームアウト／インを検出して、撮影条件の設定や失敗画像の削除などを行うようにしたが、撮像装置１０１の手ブレ検出用のセンサとして利用しても構わない。手振れの場合は、例えば図２において、動きベクトル検出処理部１５２は、特定領域２５２を構成する全ブロックにおいて、同じ方向の動きベクトルを検出する。そこで、制御部１０６は、動きベクトル検出処理部１５２が特定領域２５２を構成する全ブロックにおいて、同じ方向の動きベクトルを検出した場合は、撮像装置１０１に手振れが生じたと判断し、例えば、この時にレリーズボタンが押下されてもシャッターを切らないように処理する。
【００５７】
以上、説明してきたように、本発明に係る撮像装置１０１は、画像処理装置および画像処理プログラムを含み、撮影時に被写体の動きやカメラの動きがあった場合でも、所望の被写体を確実に捉えた画像を撮影または選択することができる。特に、本発明では、被写体追尾処理の精度が低くても構わず、追尾被写体２０２のフレームイン／アウトの判定を撮影画面の周辺近傍にある特定領域だけで行うので、撮影画面全体について画像処理するよりも処理を軽くすることができる。
【図面の簡単な説明】
【００５８】
【図１】撮像装置１０１のブロック図である。
【図２】追尾被写体２０２および特定領域２５２の一例を示す説明図である。
【図３】特定領域２５２の各ブロックを構成する画素の一例を示す説明図である。
【図４】ブロックＡ３の時系列に連続する各画像の様子を示す説明図である。
【図５】動きベクトルの検出方向を説明するための説明図である。
【図６】特定領域２５２と動きベクトルの検出方向の関係を示す説明図である。
【図７】フレームアウトの様子を示す説明図である。
【図８】フレームアウトを検出しない場合の一例を示す説明図である。
【図９】撮像装置１０１の画像処理を示すフローチャートである。
【符号の説明】
【００５９】
１０１・・・撮像装置          １０２・・・撮影光学系
１０３・・・撮像部            １０４・・・画像処理部
１０５・・・メモリ            １０６・・・制御部
１０７・・・メモリＩＦ        １０８・・・表示部
１０９・・・操作部            １１０・・・ＡＦセンサ
１１１・・・ＡＥセンサ        １１２・・・レンズ制御部
１１３・・・発光部            １５１・・・被写体追尾処理部
１５２・・・動きベクトル検出処理部
１５３・・・フレームイン／アウト判定処理部
１５４・・・撮影条件設定処理部
２５２・・・特定領域          ２０２・・・追尾被写体
【図１】
2010016544.tif 000003
【図２】
2010016544.tif 000004
【図３】
2010016544.tif 000005
【図４】
2010016544.tif 000006
【図５】
2010016544.tif 000007
【図６】
2010016544.tif 000008
【図７】
2010016544.tif 000009
【図８】
2010016544.tif 000010
【図９】
2010016544.tif 000011