(57)【要約】【課題】撮影フレームレートを維持しつつ、フレーム間の差に基づく評価値を適切に取得可能な撮像装置およびその制御方法を提供すること。【解決手段】撮像装置は、間引き量に従ってフレームが間引かれた動画の複数のフレームの差異に基づいて予め定められた評価値を生成する。撮像装置は、生成された評価値に基づいて間引き量を制御する。【選択図】図３
2020025172.tif 000002
【特許請求の範囲】
【請求項１】
動画を取得する取得手段と、
前記動画を構成するフレームを間引き量に従って間引いて出力する間引き手段と、
前記間引き手段が出力する複数のフレームの差異に基づいて予め定められた評価値を生成する生成手段と、を有し、
前記間引き手段は、前記生成手段が生成する評価値に基づいて前記間引き量を制御することを特徴とする撮像装置。
【請求項２】
前記評価値が前記複数のフレーム間の差分量であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記間引き手段は、前記差分量が第１閾値未満の場合には前記間引き量を増加させることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記評価値が前記複数のフレーム間の動きベクトルであることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記間引き手段は、大きさが第２閾値を超える動きベクトルの数に基づいて前記間引き量を制御することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記間引き手段は、
大きさが前記第２閾値を超える動きベクトルの数が前回より増加した場合には前記間引き量を前回と同じ方向に変化させ、
大きさが前記第２閾値を超える動きベクトルの数が前回より減少した場合には前記間引き量を前回と逆方向に変化させる
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記間引き手段は、大きさが前記第２閾値を超える動きベクトルの数の変化が第３閾値未満であれば、前記間引き量を維持することを特徴とする請求項５または６に記載の撮像装置。
【請求項８】
前記間引き手段は、大きさが上限値を超える動きベクトルが検出された場合には、前記間引き量を減少させることを特徴とする請求項５から７のいずれか１項に記載の撮像装置。
【請求項９】
前記間引き手段は、大きさが前記第２閾値を超える動きベクトルの数が第４閾値より小さい場合、
連続して閾値未満である回数が所定回数を超えなければ、大きさが前記第２閾値を超える動きベクトルの数に基づいて前記間引き量を制御し、
前記回数が前記所定回数を超えていれば、前記間引き量を初期化する、
ことを特徴とする請求項５から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記間引き手段は、大きさが前記第２閾値を超える動きベクトルの数が前記第４閾値より大きい場合、前記間引き量を維持することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記動画から予め定められた被写体を検出する検出手段をさらに有し、
前記間引き手段は、前記検出手段によって前記被写体が検出されていない場合には、前記評価値に関わらず、前記間引き量を減少させることを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記動画から予め定められた被写体を検出する検出手段をさらに有し、
前記間引き手段は、前記検出手段によって前記被写体が検出されていない場合には、前記評価値に関わらず、前記間引き量を０とすることを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
【請求項１３】
前記動画のフレームレートは前記間引き量に依存しないことを特徴とする請求項１から１２のいずれか１項に記載の撮像装置。
【請求項１４】
取得手段が動画を取得する取得工程と、
間引き手段が、前記動画を構成するフレームを間引き量に従って間引いて出力する間引き工程と、
生成手段が、前記間引き工程によって出力される複数のフレームの差異に基づいて予め定められた評価値を生成する生成工程と、を有し、
前記間引き工程では、前記生成工程で生成される前記評価値に基づいて前記間引き量を制御することを特徴とする撮像装置の制御方法。
【請求項１５】
撮像装置が有するコンピュータを、請求項１から１２のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
撮像素子の性能向上により、一般的な動画のフレームレートである３０ｆｐｓよりも高いフレームレートでの撮影が可能になってきている。例えば、コントラストＡＦの評価値を高速に取得するため、６０ｆｐｓや１２０ｆｐｓといった高フレームレートで動画撮影を行う撮像装置が知られている。
【０００３】
一方で、フレームレートが高くなるとフレーム間の差が小さくなる。そのため、動きベクトルのようなフレーム間の差に基づく評価値を得る場合、評価値を取得するための処理が増加する上に、有意な評価値が得られづらくなるという問題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３１１６９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１には、スルー画像のフレーム間差分に基づいてフレーム間の動きを検出し、動きが小さい場合にはスルー画像の撮影フレームレートを３０ｆｐｓ未満に低下させることで、スルー画像の視認性を保持しつつ消費電力を低減する構成が開示されている。しかしながら、撮影フレームレートを低下させると、上述したコントラストＡＦの評価値の様に、個々のフレームから取得する評価値の取得間隔が延びてしまい、高フレームレート撮影による利点が損なわれてしまう。
【０００６】
本発明は、撮影フレームレートを維持しつつ、フレーム間の差に基づく評価値を適切に取得可能な撮像装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的は、動画を取得する取得手段と、動画を構成するフレームを間引き量に従って間引いて出力する間引き手段と、間引き手段が出力する複数のフレームの差異に基づいて予め定められた評価値を生成する生成手段と、を有し、間引き手段は、生成手段が生成する評価値に基づいて間引き量を制御することを特徴とする撮像装置によって達成される。
【発明の効果】
【０００８】
本発明によれば、撮影フレームレートを維持しつつ、フレーム間の差に基づく評価値を適切に取得可能な撮像装置およびその制御方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態に係るデジタルカメラの機能構成例を示すブロック図
【図２】第１実施形態に係るデジタルカメラの評価値生成動作に関するフローチャート
【図３】第１実施形態における間引き量の制御を示す模式図
【図４】第２実施形態に係るデジタルカメラの機能構成例を示すブロック図
【図５】第２実施形態に係るデジタルカメラの評価値生成動作に関するフローチャート
【図６】第２実施形態における間引き量の制御を示す模式図
【図７】第３実施形態に係るデジタルカメラの機能構成例を示すブロック図
【図８】第３実施形態に係るデジタルカメラの評価値生成動作に関するフローチャート
【図９】第３実施形態における間引き量の制御を示す模式図
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。なお、説明する実施形態は単なる例示であり、本発明の範囲を限定するものではない。例えば、以下では本発明をデジタルカメラに適用した実施形態を説明する。しかし、デジタルカメラは本発明を適用可能な機器の一例にすぎない。本発明は動画を撮影可能な任意の電子機器において実施可能である。このような電子機器には、デジタルカメラやデジタルビデオカメラといった撮像装置はもちろん、パーソナルコンピュータ、タブレット端末、携帯電話機、ゲーム機、ドライブレコーダ、ロボット、ドローンなどが含まれるが、これらに限定されない。
【００１１】
●（第１実施形態）
図１は、第１実施形態に係る撮像装置としてのデジタルカメラ１００の機能構成例を示すブロック図である。レンズ１０１は撮影光学系であり、絞りやフォーカスレンズを含む。レンズ１０１は交換可能であってもよい。撮像素子１０２は２次元配列された多数の画素を有し、レンズ１０１が撮像面に形成する光学像を、それぞれの画素が有する光電変換部で電気信号に変換することにより、アナログ画像信号に変換する。
【００１２】
Ａ／Ｄ変換器１０３は撮像素子１０２が出力するアナログ画像信号をデジタル画像信号（画像データ）１０４に変換する。制御部１１５は１つ以上のプログラマブルプロセッサを有し、例えばＲＯＭ１１８に記憶されているプログラムをＲＡＭ１１７に読み込んで実行し、各機能ブロックを制御することにより、デジタルカメラ１００の機能を実現する。なお、図１では図面を簡単にするために省略しているが、制御部１１５は全ての機能ブロックと接続されている。
【００１３】
ＲＡＭ１１７はプログラムを実行するためのシステムメモリ、ビデオメモリ、バッファメモリなどとして用いられる。
ＲＯＭ１１８は制御部１１５が有するプログラマブルプロセッサが実行可能なプログラム、各種の設定値、デジタルカメラ１００の固有情報、ＧＵＩデータなどを記憶する。ＲＯＭ１１８は電気的に書き換え可能であってよい。
【００１４】
間引き調整部１０５は、Ａ／Ｄ変換器１０３が出力する画像データ１０４の間引き量を制御する。具体的には、撮像素子１０２が所定の撮影フレームレートで動画撮影をしている際、間引き調整部１０５は、必要に応じて一部のフレームを間引き（廃棄し）、残りのフレームを出力する。間引き調整部１０５は、Ａ／Ｄ変換器１０３が出力する画像データ１０４から必要に応じて一部のフレームを抽出して出力する抽出部とも言える。間引き調整部１０５は、メモリ１１６と評価値生成部１０６にフレームを出力する。メモリ１１６は間引き調整部１０５が直近に出力した１フレームの画像データを保持する。
【００１５】
評価値生成部１０６は、間引き調整部１０５から直接受信したフレーム１０９と、メモリ１１６から取得した過去のフレームとの比較に基づいて評価値を生成する。ここでは、間引き調整部１０５の出力する最新フレームを現フレーム、間引き調整部１０５が現フレームの直前に出力したフレームを前フレームとする。評価値生成部１０６は、間引き調整部１０５から現フレームを、メモリ１１６から前フレームをそれぞれ取得し、現フレームと前フレームとの比較に基づいて評価値を生成する。
【００１６】
評価値生成部１０６が生成する評価値は、フレーム間の差異に基づく評価値であれば特に制限はないが、ここではフレーム間の動きベクトルを検出し、評価値とする。フレーム間の差分量など、他の評価値であってもよい。動きベクトルは任意の公知の手法を用いて検出することができるが、本実施形態では一例としてテンプレートマッチングを用いて動きベクトルを検出するものとする。
【００１７】
すなわち、評価値生成部１０６は、前フレームの画像を水平および垂直方向にそれぞれ複数分割して複数の部分画像を生成する。そして、評価値生成部１０６は、各部分画像をテンプレート、現フレームを参照画像としたテンプレートマッチングを実施し、部分画像と類似度が最も高い領域を参照画像内で探索する。評価値生成部１０６は、部分画像の中心点の座標を始点とし、探索により見つかった、部分画像と類似度が最も高い領域の中心点の座標を終点とするベクトルを、部分画像についての動きベクトルとして検出する。フレーム間で部分画像の動きがない場合、検出される動きベクトルの始点と終点は等しくなる。このようにして、評価値生成部１０６は部分画像ごとに動きベクトルを検出する。なお、部分画像の生成方法は一例であり、例えば顔領域のような特徴領域を抽出して部分画像（テンプレート）としてもよい。
【００１８】
評価値生成部１０６は、評価値として、検出した動きベクトルごとの情報（例えば始点および終点座標と、検出信頼度）を生成し、制御部１１５、間引き調整部１０５、および追尾処理部１１４に出力する。なお、検出信頼度は例えばテンプレートマッチングにおける類似度の大きさであってよいが、他の公知の信頼度の指標であってもよい。
【００１９】
制御部１１５は、評価値生成部１０６が生成した評価値に応じて（動きベクトルの大きさに応じて）、何らかの制御を行ってもよい。例えば制御部１１５は、検出された動きベクトルから予め定められた条件にしたがって代表ベクトルを算出する。そして、制御部１１５は、代表ベクトルの大きさが例えば閾値未満である場合に、表示部１１２に表示するスルー画像のフレームレートを通常のフレームレートより下げるように、例えば表示用画像処理部１０８および／または表示部１１２を制御することができる。
【００２０】
間引き調整部１０５は、評価値生成部１０６が生成した評価値に基づいて、画像データ１０４の間引き量を決定（更新）する。間引き量は、出力しないフレームの連続数（隣接する出力フレーム間に存在するフレーム数）であってよい。例えば間引き量３は、連続する３フレームを出力せず（間引き）、４フレーム目を出力することを意味する。間引き調整部１０５の動作の詳細については後述する。
【００２１】
記録用画像処理部１０７は、Ａ／Ｄ変換器１０３が出力する画像データ１０４に対し、記録のための画像処理を適用する。具体的には、記録用画像処理部１０７は画像データ１０４に対し、ホワイトバランス調整、色補間、階調変換といった所謂現像処理に加え、記録方式に応じた処理（符号化処理、データファイル生成処理など）を適用し、画像データファイルを生成する。なお、記録用画像処理部１０７は、追尾処理部１１４から通知される被写体領域の情報を考慮して記録用画像データを生成してもよい。記録用画像処理部１０７は、生成した画像データファイルをＲＡＭ１１７に記憶する。記録部１１１はＲＡＭ１１７から画像データファイルを読み出して例えばメモリカードなどの記録媒体に記録する。
【００２２】
表示用画像処理部１０８は、Ａ／Ｄ変換器１０３が出力する画像データ１０４に対し、表示のための画像処理を適用して表示用画像データを生成する。具体的には、表示用画像処理部１０８は画像データ１０４に対し、ホワイトバランス調整、色補間、階調変換といった所謂現像処理に加え、表示部１１２での表示に応じた処理（スケーリング処理など）を適用し、表示用画像データを生成する。なお、表示用画像処理部１０８は、追尾処理部１１４から通知される被写体領域の情報を考慮して表示用画像データを生成してもよい。表示用画像処理部１０８は、表示用画像データをＲＡＭ１１７のＶＲＡＭ領域に記憶する。表示部１１２は、ＲＡＭ１１７から読み出した表示用画像データをＤ／Ａ変換してＬＣＤ等の表示装置に表示する。
【００２３】
なお、図１では記録用画像処理部１０７と表示用画像処理部１０８とを別個の機能ブロックとして記載したが、１つの画像処理部によって記録用画像データと表示用画像データを生成するように構成してもよい。また、記録用画像処理部１０７と表示用画像処理部１０８とが共通に適用する画像処理については一方の画像処理部で実行し、記録用もしくは表示用画像データの生成に特有な処理を他方の画像処理部で引き続いて処理する様に構成してもよい。
【００２４】
また、記録用画像処理部１０７と表示用画像処理部１０８の少なくとも一方は、自動焦点検出（ＡＦ）に用いるＡＦ評価値や自動露出制御（ＡＥ）に用いるＡＥ評価値を画像データから生成して制御部１１５に出力することができる。ＡＦ評価値は、コントラストＡＦ用の評価値であっても、位相差検出ＡＦ用の評価値であってもよい。制御部１１５はＡＦ評価値を用いてレンズユニット１０１のフォーカスレンズを駆動して焦点調節を行う。また、制御部１１５はＡＥ評価値を用いて露出条件を決定し、撮像素子１０２の駆動タイミングやレンズユニット１０１の絞りの開口量などを制御する。
【００２５】
また、追尾処理部１１４から通知される被写体領域についてＡＦ評価値やＡＥ評価値を生成することにより、制御部１１５は、被写体領域に合焦するように焦点調節したり、被写体領域が適正露出になるように露出条件を決定したりすることができる。
【００２６】
被写体検出部１１３は、記録用画像データから予め定められた被写体の領域を検出する。被写体の領域は、例えば人物の顔のような特徴領域や、ユーザが指定した画像領域であってよい。被写体検出部１１３は、検出された被写体の領域の位置および大きさなどの情報を検出結果として出力する。
【００２７】
追尾処理部１１４は、被写体検出部１１３における検出結果と、評価値生成部１０６が生成する評価値（動きベクトル）とから、被写体検出部１１３が検出した被写体の画像中の位置を推定して記録用画像処理部１０７および表示用画像処理部１０８に通知する。なお、追尾処理部１１４は評価値生成部１０６が生成する評価値を利用する構成の一例であり、評価値は他の任意の処理に利用されてよい。
【００２８】
なお、間引き調整部１０５、評価値生成部１０６、被写体検出部１１３、追尾処理部１１４は、ＦＰＧＡやＡＳＩＣのようなハードウェア回路によって実現することができる。あるいは、プログラマブルプロセッサがＲＯＭに記憶されたプログラムをＲＡＭに読み込んで実行することによって実現されてもよい。実体的には制御部１１５を構成するマイクロプロセッサがこれらのブロックの機能も実現してもよい。
【００２９】
次に、図２に示すフローチャートを用いて、デジタルカメラ１００の動画撮影時の評価値生成動作に関して説明する。動画撮影は例えば撮影スタンバイ時に表示部１１２を電子ビューファインダ（ＥＶＦ）として機能させるためのスルー画像を生成するためのものであってもよいし、動画記録のためのものであってもよい。ここで、動画の撮影フレームレートは例えば６０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓなど、一般的なフレームレートである３０ｆｐｓよりも高いものとする。また、動画の撮影フレームレートは間引き量には依存しない。
【００３０】
なお、動画撮影時に行われる他の動作（レンズユニット１０１および撮像素子１０２の駆動制御、記録用画像処理部１０７および／または表示用画像処理部１０８の動作制御、記録部１１１および／または表示部１１２の動作制御など）の説明は省略する。これらの動作は一般的なデジタルカメラで実施されるものと同様であってよい。また、上述した、制御部１１５における、動きベクトルに基づく表示フレームレートの制御や、記録用の動画撮影時における被写体検出部１１３および追尾処理部１１４による被写体の追尾処理も実行される。
【００３１】
Ｓ２０１で間引き調整部１０５は、Ａ／Ｄ変換器１０３から１フレーム分の動画データ（以下、単にフレームと呼ぶ）を取得する。
【００３２】
Ｓ２０２で間引き調整部１０５は、Ｓ２０１で取得したフレームが間引き対象のフレーム（すなわち、廃棄するフレーム）であるか否かを判定する。判定処理の詳細については後述する。間引き調整部１０５は、Ｓ２０１で取得したフレームが間引き対象のフレームであると判定されれば出力せずに処理をＳ２０１に戻し、次のフレームを取得する。一方、間引き調整部１０５は、Ｓ２０１で取得したフレームが間引き対象のフレームと判定されなければ、Ｓ２０１で取得したフレームを出力して処理をＳ２０３に進める。
【００３３】
Ｓ２０３で評価値生成部１０６は、上述した様に評価値を生成し、出力する。
Ｓ２０４で間引き調整部１０５は、評価値生成部１０６から供給される評価値に基づいて、間引き量もしくは次に出力するフレームを決定（更新）する。Ｓ２０４における間引き調整部１０５の動作の詳細については後述する。
【００３４】
Ｓ２０５で間引き調整部１０５は、動画撮影が完了したか否かを判定し、撮影が完了したと判定されれば処理を終了し、判定されなければ処理をＳ２０１に戻す。
【００３５】
次に、Ｓ２０２およびＳ２０４における間引き調整部１０５の動作について説明する。
間引き調整部１０５は、評価値生成部１０６が生成する評価値（ここでは動きベクトル）に応じてフレームの間引き量を決定し、評価値生成部１０６に供給するフレームレートを調整する。本実施形態では一例として、間引き調整部１０５は、大きさが閾値を超える動きベクトルの数に応じて間引き量を決定する。
【００３６】
具体例として間引き調整部１０５は、以下の様に間引き量を決定する。
・大きさが閾値を超える動きベクトルの数が０の場合には間引き量を増加させる
・大きさが閾値を超える動きベクトルの数が前回より増加した場合には間引き量を前回と同じ方向に変化させる
・大きさが閾値を超える動きベクトルの数が前回より減少した場合には間引き量を前回と逆方向に変化させる
【００３７】
なお、間引き量の１回あたりの変化量は予め定めておく。ここでは１とする。間引き量の増加は評価値生成部１０６への出力フレームレートの低減に相当する。評価値としてフレーム間の差分量を用いる場合、差分量が閾値未満の場合には間引き量を増加させ、それ以外の場合には大きさが閾値を超えるベクトルの数を差分量として同様の制御を行うことができる。
【００３８】
図３に示す模式図を用いて、具体的に説明する。間引き量の初期値は０であり、間引き調整部１０５は、Ａ／Ｄ変換器１０３が出力するフレームを全て出力する。また、ここでは閾値は０とするが、動きの大きさが不十分であることが検出できれば０より大きい閾値であってもよい。
【００３９】
評価値生成部１０６は、間引き調整部１０５から第２フレーム３０２を、メモリ１１６から第１フレーム３０１を取得し、動きベクトルを検出する。そして、評価値生成部１０６は、検出した動きベクトルの情報を出力する。ここでは、第１フレームと第２フレームとから検出された動きベクトルの大きさがいずれも０であったものとする。
【００４０】
間引き調整部１０５は、評価値として供給された動きベクトルの情報から、個々の動きベクトルの大きさを算出する。そして、大きさが閾値（ここでは０）を超える動きベクトルの数が０であるため、間引き調整部１０５は間引き量を１増加させ、１とする。したがって、間引き調整部１０５は、第３フレームを出力せず、第４フレーム３０４を出力する。
【００４１】
評価値生成部１０６は、間引き調整部１０５から第４フレーム３０４を、メモリ１１６から第２フレーム３０２を取得し、動きベクトルを検出する。そして、評価値生成部１０６は、検出した動きベクトルの情報を出力する。
【００４２】
間引き調整部１０５は、評価値として供給された動きベクトルの情報から、個々の動きベクトルの大きさを算出する。その結果、大きさが閾値を超える動きベクトルの数は２０であり、前回より増加しているため、間引き調整部１０５は、間引き量を前回と同じ方向（増加方向）に１変化させ、２とする。したがって、間引き調整部１０５は、第５および第６フレームを出力せず、第７フレーム３０７を出力する。
【００４３】
評価値生成部１０６は、間引き調整部１０５から第７フレーム３０７を、メモリ１１６から第４フレーム３０４を取得し、動きベクトルを検出する。そして、評価値生成部１０６は、検出した動きベクトルの情報を出力する。
【００４４】
間引き調整部１０５は、評価値として供給された動きベクトルの情報から、個々の動きベクトルの大きさを算出する。その結果、大きさが閾値を超える動きベクトルの数は４０であり、前回より増加しているため、間引き調整部１０５は、間引き量を前回と同じ方向（増加方向）に１変化させ、３とする。したがって、間引き調整部１０５は、第８、９、１０フレームを出力せず、第１１フレーム３１１を出力する。
【００４５】
評価値生成部１０６は、間引き調整部１０５から第１１フレーム３１１を、メモリ１１６から第７フレーム３０７を取得し、動きベクトルを検出する。そして、評価値生成部１０６は、検出した動きベクトルの情報を出力する。
【００４６】
間引き調整部１０５は、評価値として供給された動きベクトルの情報から、個々の動きベクトルの大きさを算出する。その結果、大きさが閾値を超える動きベクトルの数は３０であり、前回より減少しているため、間引き調整部１０５は、間引き量を前回と逆の方向（減少方向）に１変化させ、２とする。したがって、間引き調整部１０５は、第１２および１３フレームを出力せず、第１４フレーム３１４を出力する。
【００４７】
評価値生成部１０６は、間引き調整部１０５から第１４フレーム３１４を、メモリ１１６から第１１フレーム３１１を取得し、動きベクトルを検出する。そして、評価値生成部１０６は、検出した動きベクトルの情報を出力する。
【００４８】
間引き調整部１０５は、評価値として供給された動きベクトルの情報から、個々の動きベクトルの大きさを算出する。その結果、大きさが閾値を超える動きベクトルの数は５０であり、前回より増加しているため、間引き調整部１０５は、間引き量を前回と同じ方向（減少方向）に１変化させ、１とする。したがって、間引き調整部１０５は、第１５フレームを出力せず、第１６フレーム３１６を出力する。
【００４９】
間引き調整部１０５は、以降も同様にして間引き量を順次、決定（更新）する。大きさが閾値を超える動きベクトルの数が増加した場合には、動きが適切に検出されていると考えられる。一方で、間引き量を増加させたことで、大きさが閾値を超える動きベクトルの数が減少した場合、動きを検出する２フレーム間の時間に対して被写体の動きが大きく、動きが適切に検出されなくなっていると考えられるため、間引き量を減少させる。また、間引き量を減少させたことで、大きさが閾値を超える動きベクトルの数が減少した場合、動きを検出する２フレーム間の時間差に対して被写体の動きが小さく、動きが適切に検出されなくなっていると考えられるため、間引き量を増加させる。
【００５０】
なお、ここでは評価値が生成される都度、間引き量を変化させる構成としたが、例えば大きさが閾値を超える動きベクトルの数の変化が閾値未満であれば、間引き量を維持するようにしてもよい。また、動きベクトルの大きさに上限値を設け、上限値を超える大きさの動きベクトルが検出された場合には、間引き量を減少させる制御を組み合わせてもよい。
【００５１】
このように、本実施形態では、評価値の生成に用いる画像のフレームレートを、記録や表示に用いる画像のフレームレートとは独立して、かつ評価値に基づいて制御するようにした。そのため、例えばＡＦ評価値およびＡＥ評価値の取得間隔短縮によるＡＦおよびＡＥの性能向上といった、高いフレームレートでの撮影による利点を損なうことなく、フレーム間の差異にもとづく評価値を適切に取得することが可能になる。
【００５２】
●（第２実施形態）
次に、本発明の第２実施形態について説明する。図４は、第２実施形態に係る撮像装置としてのデジタルカメラ１００’の機能構成例を示すブロック図であり、第１実施形態と共通する構成については同じ参照数字を付してある。本実施形態では被写体検出部１１３の検出結果を間引き調整部１０５にも出力し、間引き調整部１０５が被写体検出部１１３の検出結果を考慮して間引き量を決定（更新）する。
【００５３】
以下、第１実施形態と異なる点について説明する。図５は、デジタルカメラ１００’の動画撮影時の評価値生成動作に関するフローチャートであり、第１実施形態と同様の処理には図２と同じ参照数字を付してある。Ｓ２０１〜Ｓ２０３は第１実施形態と同様であるため説明を省略する。
【００５４】
Ｓ５０１で間引き調整部１０５は、被写体検出部１１３の検出結果から、被写体の領域が検出されたか否かを判定する。間引き調整部１０５は、被写体の領域が検出されていると判定されればＳ２０４へ、判定されなければＳ５０２に処理を進める。
【００５５】
Ｓ５０２で間引き調整部１０５は、間引き量を０とする。被写体が検出されないときに間引き量が１以上とした場合、間引き対象のフレームで次に被写体が検出されると、被写体が反映された評価値が得られるまでに遅れが生じる。そのため、被写体が検出されていない場合には、間引き量を０とする。間引き調整部１０５は、処理をＳ２０５に進める。
Ｓ２０４以降の処理は第１実施形態と同様であるため、説明を省略する。
【００５６】
図３と同様の図６を用いて、本実施形態の間引き調整部１０５の動作について具体的に説明する。間引き量の初期値は０であり、間引き調整部１０５は、Ａ／Ｄ変換器１０３が出力するフレームを全て出力する。
【００５７】
第１フレーム６０１から第５フレーム６０２までの間は被写体が検出されず、その結果間引き量は初期値０のまま維持される。この間、評価値生成部１０６で生成される評価値についても、大きさが０を超える動きベクトルが存在しないが、Ｓ２０４ではなくＳ５０２で間引き量が０に設定される。
【００５８】
第６フレーム６０３で被写体が検出され、それを認識すると間引き調整部１０５は、Ｓ２０４で、評価値生成部１０６が第５フレーム６０２と第６フレーム６０３とを用いて生成した評価値に基づいて間引き量を決定（更新）する。ここでは、大きさが閾値（ここでは０）を超える動きベクトルの数が１０であり、増加しているため、間引き調整部１０５は間引き量を１増加させ、１とする。したがって、間引き調整部１０５は、第７フレームを出力せず、第８フレーム６０４を出力する。
【００５９】
その後、第１６フレーム６０５まで継続的に被写体が検出され、第１実施形態と同様の間引き量制御が実行される。そして、第２０フレーム６０６に被写体が検出されなくなると、間引き調整部１０５は再び間引き量を０にする。
【００６０】
本実施形態によれば、被写体が検出されていない場合には間引きを行わない（間引き量を０とする）ようにすることで、第１実施形態の効果に加え、被写体が検出された時点で直ちに被写体を反映した評価値を得ることができる。なお、本実施形態では、被写体が検出されなくなった場合には、間引きを行わないものとしたが、例えば被写体が検出されないごとに間引き量を一定量ずつ削減するなど、間引き量を削減するように制御してもよい。
【００６１】
●（第３実施形態）
次に、本発明の第３実施形態について説明する。図７は、第３実施形態に係る撮像装置としてのデジタルカメラ１００”の機能構成例を示すブロック図であり、第１および第２実施形態と共通する構成については同じ参照数字を付してある。本実施形態のデジタルカメラ１００”は、第２実施形態の構成に対し、閾値設定部７０１が追加された構成を有する。
【００６２】
閾値設定部７０１は、評価値に関する閾値を間引き調整部１０５に設定する。閾値設定部７０１は間引き調整部１０５が参照可能なメモリの領域であってもよい。なお、閾値は制御部１１５が間引き調整部１０５に直接設定してもよく、その場合閾値設定部７０１は不要である。間引き調整部１０５は、評価値生成部１０６で生成された評価値１１０と、設定された閾値とを考慮して間引き量を決定（更新）する。被写体検出部１１３における被写体検出結果については、考慮してもしなくてもよい。
【００６３】
以下、第１および第２実施形態と異なる点について説明する。図８は、デジタルカメラ１００”の動画撮影時の評価値生成動作に関するフローチャートであり、第１および第２実施形態と同様の処理には図２および図５と同じ参照数字を付してある。Ｓ２０１〜Ｓ２０３は第１実施形態と同様であり、Ｓ５０１〜Ｓ５０２は第２実施形態と同様であるため説明を省略する。
【００６４】
Ｓ５０１で被写体が検出されていると判定された場合、間引き調整部１０５は処理をＳ８０１に進める。Ｓ８０１で間引き調整部１０５は、大きさが０を超える動きベクトルの数が閾値未満か否かを判定し、閾値未満と判定されればＳ８０３へ、判定されなければＳ８０２へ処理を進める。
【００６５】
Ｓ８０１の判定は、適切な品質の評価値が生成されているかどうかの判定であり、閾値もその趣旨に従って予め定めておく。大きさが０を超える動きベクトルの数が閾値未満でない（閾値以上である）場合、適切な間引き量（フレーム間隔）が設定されているものと判定し、Ｓ８０２で間引き調整部１０５は、現在の間引き量を維持することを決定する。これは、間引き量を変更することでさらに評価値の質が向上する可能性よりも、評価値の質が低下するリスクを回避することを優先した制御である。
【００６６】
一方、大きさが０を超える動きベクトルの数が閾値未満である場合、Ｓ８０３で間引き調整部１０５は、Ｓ８０１において大きさが０を超える動きベクトルの数が閾値未満であると所定回数（許容連続回数）を超えて連続して判定されたか否かを判定する。間引き調整部１０５は、所定回数を超えて連続して判定されたと判定されればＳ８０４へ、判定されなければＳ２０４へ処理を進める。
【００６７】
Ｓ８０４で間引き調整部１０５は、現在の間引き量が不適切であると判定し、間引き量を初期化する。ここでは初期値が０であるため間引きなしと同等である。なお、Ｓ８０３における所定回数は、２回以上の任意の回数を設定することができる。このように、第１実施形態で説明した評価値に基づく間引き量の調整をある程度継続しても評価値の状態が改善しない場合には、間引き量を初期化し、間引き量の調整を始めからやり直す。
Ｓ２０４以降の処理は第１実施形態と同様であるため、説明を省略する。
【００６８】
図６と同様の図９を用いて、本実施形態の間引き調整部１０５の動作について具体的に説明する。間引き量の初期値は０であり、間引き調整部１０５は、Ａ／Ｄ変換器１０３が出力するフレームを全て出力する。また、Ｓ８０１における閾値は２５、Ｓ８０３における所定回数（許容連続回数）は２回とする。また、ここでは説明および理解を容易にするため、被写体は検出され続けているものとする。
【００６９】
第１フレーム３０１から第７フレーム３０７までは第１実施形態と同様にして間引き量が制御される。第７フレーム３０７と第４フレーム３０４とを用いた評価値の生成により、大きさが０を超える動きベクトルが、閾値を超える数検出されたことにより、間引き調整部１０５は間引き量を２に維持する。
【００７０】
次に、第１０フレーム９０１と第７フレーム３０７とを用いた評価値の生成により、大きさが０を超える動きベクトルの数が減少するものの、依然として閾値を超えているため、間引き調整部１０５は間引き量を２に維持する。
【００７１】
第１３フレーム９０３と第１０フレーム９０１とを用いた評価値の生成により、大きさが０を超える動きベクトルの数がさらに減少し、閾値を下回る。しかし、０を超える動きベクトルの数が閾値を下回ったのが一回目であり、許容連続回数を超えないため、間引き調整部１０５は評価値に基づいて間引き量を決定する。本実施形態では間引き量が維持された状態で０を超える動きベクトルの数が減少した場合には間引き量を増加させ、増加した場合には間引き量を減少させるものとする。そのため、間引き調整部１０５は間引き量を２から３に増加させる。
【００７２】
第１７フレーム９０５と第１３フレーム９０３とを用いた評価値の生成により、大きさが０を超える動きベクトルの数がさらに減少する。閾値を下回る。しかし、０を超える動きベクトルの数が連続して閾値を下回ったのが２回であり、許容連続回数を超えないため、間引き調整部１０５は評価値に基づいて間引き量を決定する。ここでは、前回間引き量を増加させた結果、０を超える動きベクトルの数が減少したので、間引き調整部１０５は間引き量を減少させ、２とする。
【００７３】
第２０フレーム９０７と第１７フレーム９０５とを用いた評価値の生成により、大きさが０を超える動きベクトルの数が増加するが、依然として閾値を下回る。これにより、０を超える動きベクトルの数が連続して閾値を下回ったのが３回となり、許容連続回数を超える。そのため、間引き調整部１０５は間引き量を初期化し、０とする。そして、間引き調整部１０５は、第２１フレーム９０９を出力する。
【００７４】
本実施形態では、適切な品質の評価値が得られている場合には間引き量を維持することで、一定以上の品質の評価値がより安定して得られる。一方で、適切な品質の評価値が得られかった場合には、評価値に基づいて間引き量を変更することで、第１実施形態と同様の効果が得られる。さらに、評価値に基づく間引き量の制御によって状況が改善しない場合には、間引き量を初期化するようにしたので、長時間連続して適切な評価値が得られないといった状況を自動的に回避することができる。
【００７５】
なお、間引き量を初期化する代わりに、間引き量の１回あたりの変化量を増加させるよういしてもよい。また、他の場合の間引き量の１回あたりの変化量についても、評価値に応じて変化させてもよい。例えば、間引き量を１増加させた際に大きさが０を超える動きベクトルの数が増加した場合、次は間引き量を２増加させるようにしてもよい。大きさが０を超える動きベクトルの数が減少した場合も、同様に制御することができる。これらは例示であり、他の基準によって変化量を異ならせてもよい。
【００７６】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７７】
１００、１００’、１００”…デジタルカメラ、１０５…間引き調整部、１０６…評価値生成部、１０７…記録用画像処理部、１０８…表示用画像処理部、１１３…被写体検出部、１１５…制御部
【図１】
2020025172.tif 000003
【図２】
2020025172.tif 000004
【図３】
2020025172.tif 000005
【図４】
2020025172.tif 000006
【図５】
2020025172.tif 000007
【図６】
2020025172.tif 000008
【図７】
2020025172.tif 000009
【図８】
2020025172.tif 000010
【図９】
2020025172.tif 000011