(57)【要約】【構成】イメージセンサ１６は、撮像シーンを表す光学像が照射される撮像面を有し、生画像データを繰り返し出力する。動き検出回路２２に設けられた相関値算出回路は、前フレームの生画像データ上の代表画素と現フレームの生画像データ上の複数の周辺画素の各々との間の輝度差を相関値として算出する。ＣＰＵ２８は、算出された相関値に基づいてフォーカスレンズ１２のステップ幅を“Ｗ＿Ｓ”または“Ｗ＿Ｌ”に設定し、イメージセンサ１６から出力された生画像データに基づいてフォーカスレンズ１２の位置を“Ｗ＿Ｓ”または“Ｗ＿Ｌ”ずつ変更する。【効果】光軸に直交する方向における撮像面の動きを考慮した適応的なフォーカス制御が実現される。【選択図】図２
2014145974.tif 000002
【特許請求の範囲】
【請求項１】
フォーカスレンズを通してシーンを捉える撮像面を有し、前記撮像面で生成された電子画像を繰り返し出力する撮像手段、
前記撮像手段から先行して出力された電子画像上の代表画素と前記撮像手段から遅れて出力された電子画像上の複数の周辺画素の各々との間の輝度差を算出する算出手段、
前記撮像手段から出力された電子画像に基づいて前記フォーカスレンズから前記撮像面までの距離を既定量ずつ変更する変更手段、および
前記算出手段によって算出された輝度差に基づいて前記既定量の大きさを調整する調整手段を備える、撮像機器。
【請求項２】
前記代表画素を各々が有する複数の画素ブロックを前記撮像面に割り当てる第１割り当て手段をさらに備え、
前記算出手段は前記第１割り当て手段によって割り当てられた画素ブロック毎に前記輝度差を算出する、請求項１記載の撮像機器。
【請求項３】
複数の大画素ブロックを前記撮像面に割り当てる第２割り当て手段をさらに備え、
前記複数の画素ブロックは前記第２割り当て手段によって割り当てられた複数の大画素ブロックの各々を形成する、請求項２記載の撮像機器。
【請求項４】
前記調整手段は、前記算出手段によって注目された２つの電子画像の相関性を前記輝度差に基づいて特定する特性手段、前記特定手段によって特定された相関性が高いとき前記既定量を低減させる低減手段、および前記特定手段によって特定された相関性が低いとき前記既定量を増大させる増大手段を含む、請求項１ないし３のいずれかに記載の撮像機器。
【請求項５】
前記撮像手段から出力された電子画像のうち抽出エリアに属する一部の電子画像を抽出する抽出手段、
光軸に直交する方向における前記撮像面の動きが補償されるように前記抽出エリアの位置を変更する変更手段、および
前記増大手段の処理に関連して前記変更手段の処理を制限する制限手段をさらに備える、請求項４記載の撮像機器。
【請求項６】
前記変更手段は、前記撮像手段から出力された電子画像に基づいて前記撮像面の動きを示す動きベクトルを作成する作成手段、および前記作成手段によって作成された動きベクトルが補償されるように前記抽出エリアの配置を調整する配置調整手段を含む、請求項５記載の撮像機器。
【請求項７】
フォーカスレンズを通してシーンを捉える撮像面を有し、前記撮像面で生成された電子画像を繰り返し出力する撮像手段、および
前記撮像手段から先行して出力された電子画像上の代表画素と前記撮像手段から遅れて出力された電子画像上の複数の周辺画素の各々との間の輝度差を算出する算出手段を備える撮像機器のプロセッサに、
前記撮像手段から出力された電子画像に基づいて前記フォーカスレンズから前記撮像面までの距離を既定量ずつ変更する変更ステップ、および
前記算出手段によって算出された輝度差に基づいて前記既定量の大きさを調整する調整ステップを実行させるための、撮像制御プログラム。
【請求項８】
フォーカスレンズを通してシーンを捉える撮像面を有し、前記撮像面で生成された電子画像を繰り返し出力する撮像手段、および
前記撮像手段から先行して出力された電子画像上の代表画素と前記撮像手段から遅れて出力された電子画像上の複数の周辺画素の各々との間の輝度差を算出する算出手段を備える撮像機器によって実行される撮像制御方法であって、
前記撮像手段から出力された電子画像に基づいて前記フォーカスレンズから前記撮像面までの距離を既定量ずつ変更する変更ステップ、および
前記算出手段によって算出された輝度差に基づいて前記既定量の大きさを調整する調整ステップを備える、撮像制御方法。
【請求項９】
フォーカスレンズを通してシーンを捉える撮像面を有し、前記撮像面で生成された電子画像を繰り返し出力する撮像手段、
前記撮像手段から先行して出力された電子画像上の代表画素と前記撮像手段から遅れて出力された電子画像上の複数の周辺画素の各々との間の輝度差を算出する算出手段、および
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える撮像機器に供給される外部制御プログラムであって、
前記撮像手段から出力された電子画像に基づいて前記フォーカスレンズから前記撮像面までの距離を既定量ずつ変更する変更ステップ、および
前記算出手段によって算出された輝度差に基づいて前記既定量の大きさを調整する調整ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項１０】
フォーカスレンズを通してシーンを捉える撮像面を有し、前記撮像面で生成された電子画像を繰り返し出力する撮像手段、
前記撮像手段から先行して出力された電子画像上の代表画素と前記撮像手段から遅れて出力された電子画像上の複数の周辺画素の各々との間の輝度差を算出する算出手段、
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える撮像機器であって、
前記撮像手段から出力された電子画像に基づいて前記フォーカスレンズから前記撮像面までの距離を既定量ずつ変更する変更ステップ、および
前記算出手段によって算出された輝度差に基づいて前記既定量の大きさを調整する調整ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、撮像機器。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像機器に関し、特に、撮像装置から出力された電子画像の動きを検出する機能を有する、撮像機器に関する。
【背景技術】
【０００２】
この種の撮像機器の一例が、特許文献１に開示されている。この背景技術によれば、光軸に直交する方向における撮像面の動きを示す動きベクトルが、撮像装置から出力された電子画像に基づいて作成される。撮像面の動きがパン／チルト動作に起因するものであるか否かは作成された動きベクトルに基づいて判別され、手振れ補正処理の起動／停止はこの判別結果に基づいて制御される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２３９４２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、光軸に直交する方向における撮像面の動き量がＡＦ処理に反映されることはない。このため、背景技術では、ＡＦ性能に限界がある。
【０００５】
それゆえに、この発明の主たる目的は、光軸に直交する方向における撮像面の動きを考慮した適応的なフォーカス制御を実現できる、撮像機器を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う撮像機器(10：実施例で相当する参照符号。以下同じ)は、フォーカスレンズ(12)を通してシーンを捉える撮像面を有し、撮像面で生成された電子画像を繰り返し出力する撮像手段(16)、撮像手段から先行して出力された電子画像上の代表画素と撮像手段から遅れて出力された電子画像上の複数の周辺画素の各々との間の輝度差を算出する算出手段(62)、撮像手段から出力された電子画像に基づいてフォーカスレンズから撮像面までの距離を既定量ずつ変更する変更手段(S11)、および算出手段によって算出された輝度差に基づいて既定量の大きさを調整する調整手段(S35~S43, S5~S9)を備える。
【０００７】
好ましくは、代表画素を各々が有する複数の画素ブロック(SBK, SBK, …)を撮像面に割り当てる第１割り当て手段(60)がさらに備えられ、算出手段は第１割り当て手段によって割り当てられた画素ブロック毎に輝度差を算出する。
【０００８】
さらに好ましくは、複数の大画素ブロックを撮像面に割り当てる第２割り当て手段(48)がさらに備えられ、複数の画素ブロックは第２割り当て手段によって割り当てられた複数の大画素ブロックの各々を形成する。
【０００９】
好ましくは、調整手段は、算出手段によって注目された２つの電子画像の相関性を輝度差に基づいて特定する特性手段(S35~S37)、特定手段によって特定された相関性が高いとき既定量を低減させる低減手段(S39, S43, S5~S7)、および特定手段によって特定された相関性が低いとき既定量を増大させる増大手段(S39~S41, S5, S9)を含む。
【００１０】
さらに好ましくは、撮像手段から出力された電子画像のうち抽出エリア(EX)に属する一部の電子画像を抽出する抽出手段(36)、光軸に直交する方向における撮像面の動きが補償されるように抽出エリアの位置を変更する変更手段(S21~S25, S29)、および増大手段の処理に関連して変更手段の処理を制限する制限手段(S27)がさらに備えられる。
【００１１】
より好ましくは、変更手段は、撮像手段から出力された電子画像に基づいて撮像面の動きを示す動きベクトルを作成する作成手段(S23~S25)、および作成手段によって作成された動きベクトルが補償されるように抽出エリアの配置を調整する配置調整手段(S29)を含む。
【００１２】
この発明に従う撮像制御プログラムは、フォーカスレンズ(12)を通してシーンを捉える撮像面を有し、撮像面で生成された電子画像を繰り返し出力する撮像手段(16)、および撮像手段から先行して出力された電子画像上の代表画素と撮像手段から遅れて出力された電子画像上の複数の周辺画素の各々との間の輝度差を算出する算出手段(62)を備える撮像機器(10)のプロセッサ(28)に、撮像手段から出力された電子画像に基づいてフォーカスレンズから撮像面までの距離を既定量ずつ変更する変更ステップ(S11)、および算出手段によって算出された輝度差に基づいて既定量の大きさを調整する調整ステップ(S35~S43, S5~S9)を実行させるための、撮像制御プログラムである。
【００１３】
この発明に従う撮像制御方法は、フォーカスレンズ(12)を通してシーンを捉える撮像面を有し、撮像面で生成された電子画像を繰り返し出力する撮像手段(16)、および撮像手段から先行して出力された電子画像上の代表画素と撮像手段から遅れて出力された電子画像上の複数の周辺画素の各々との間の輝度差を算出する算出手段(62)を備える撮像機器(10)によって実行される撮像制御方法であって、撮像手段から出力された電子画像に基づいてフォーカスレンズから撮像面までの距離を既定量ずつ変更する変更ステップ(S11)、および算出手段によって算出された輝度差に基づいて既定量の大きさを調整する調整ステップ(S35~S43, S5~S9)を備える。
【００１４】
この発明に従う外部制御プログラムは、フォーカスレンズ(12)を通してシーンを捉える撮像面を有し、撮像面で生成された電子画像を繰り返し出力する撮像手段(16)、撮像手段から先行して出力された電子画像上の代表画素と撮像手段から遅れて出力された電子画像上の複数の周辺画素の各々との間の輝度差を算出する算出手段(62)、およびメモリ(46)に保存された内部制御プログラムに従う処理を実行するプロセッサ(28)を備える撮像機器(10)に供給される外部制御プログラムであって、撮像手段から出力された電子画像に基づいてフォーカスレンズから撮像面までの距離を既定量ずつ変更する変更ステップ(S11)、および算出手段によって算出された輝度差に基づいて既定量の大きさを調整する調整ステップ(S35~S43, S5~S9)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１５】
この発明に従う撮像機器(10)は、フォーカスレンズ(12)を通してシーンを捉える撮像面を有し、撮像面で生成された電子画像を繰り返し出力する撮像手段(16)、撮像手段から先行して出力された電子画像上の代表画素と撮像手段から遅れて出力された電子画像上の複数の周辺画素の各々との間の輝度差を算出する算出手段(62)、外部制御プログラムを取り込む取り込み手段(68)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(46)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(28)を備える撮像機器であって、撮像手段から出力された電子画像に基づいてフォーカスレンズから撮像面までの距離を既定量ずつ変更する変更ステップ(S11)、および算出手段によって算出された輝度差に基づいて既定量の大きさを調整する調整ステップ(S35~S43, S5~S9)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１６】
フォーカスレンズから撮像面までの距離は撮像手段から出力された電子画像に基づいて既定量ずつ変更されるところ、既定量の大きさは先行する電子画像上の代表画素と後続する電子画像上の複数の周辺画素の各々との間の輝度差に基づいて調整される。これによって、光軸に直交する方向における撮像面の動きを考慮した適応的なフォーカス制御が実現される。
【００１７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】複数の動き検出ブロックおよび単一の抽出エリアを撮像面に割り当てた状態の一例を示す図解図である。
【図４】手振れ補正動作の一例を示す図解図である。
【図５】図２実施例に適用される動き検出回路の構成の一例を示すブロック図である。
【図６】図５実施例に適用される動き情報作成回路の構成の一例を示すブロック図である。
【図７】（Ａ）は動き検出ブロックの構成の一例を示す図解図であり、（Ｂ）は微小ブロックの構成の一例を示す図解図である。
【図８】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図９】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１０】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１１】この発明の他の一実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２０】
図１を参照して、この実施例の撮像機器は、基本的に次のように構成される。撮像手段１は、フォーカスレンズ５を通してシーンを捉える撮像面を有し、撮像面で生成された電子画像を繰り返し出力する。算出手段２は、撮像手段１から先行して出力された電子画像上の代表画素と撮像手段１から遅れて出力された電子画像上の複数の周辺画素の各々との間の輝度差を算出する。変更手段３は、撮像手段１から出力された電子画像に基づいてフォーカスレンズ５から撮像面までの距離を既定量ずつ変更する。調整手段４は、算出手段２によって算出された輝度差に基づいて既定量の大きさを調整する。
【００２１】
フォーカスレンズ５から撮像面までの距離は撮像手段１から出力された電子画像に基づいて既定量ずつ変更されるところ、既定量の大きさは先行する電子画像上の代表画素と後続する電子画像上の複数の周辺画素の各々との間の輝度差に基づいて調整される。これによって、光軸に直交する方向における撮像面の動きを考慮した適応的なフォーカス制御が実現される。
［実施例］
【００２２】
図２を参照して、この実施例のディジタルビデオカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。撮像シーンを表す光学像は、これらの部材を通してイメージセンサ１６の撮像面に照射される。撮像面は、原色ベイヤ配列の色フィルタ（図示せず）によって覆われる。したがって、各画素では、Ｒ（Red），Ｇ（Green）およびＢ（Blue）のいずれか１つの色情報を有する電荷が光電変換によって生成される。
【００２３】
電源が投入されると、ＣＰＵ２８は、動画取り込み処理を実行するべくドライバ１８ｃを起動する。ドライバ１８ｃは、１／６０秒毎に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ１６からは、撮像シーンを表す生画像データが６０ｆｐｓのフレームレートで出力される。
【００２４】
前処理回路２０は、イメージセンサ１６からの生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これによって生成された生画像データは、メモリ制御回路３２を通してＳＤＲＡＭ３４の生画像エリア３４ａに書き込まれる。
【００２５】
撮像面には、図３に示す要領で抽出エリアＥＸが割り当てられる。後処理回路３６は、生画像エリア３４ａに格納された生画像データのうち抽出エリアＥＸに属する一部の生画像データをメモリ制御回路３２を通して１／６０秒毎に読み出し、読み出された生画像データに色分離，白バランス調整，ＹＵＶ変換などの処理を施す。この結果、ＹＵＶ形式に対応する画像データが１／６０秒毎に作成される。作成された画像データは、メモリ制御回路３２を通してＳＤＲＡＭ３４のＹＵＶ画像エリア３４ｂに書き込まれる。
【００２６】
ＬＣＤドライバ３８は、ＹＵＶ画像エリア３４ｂに格納された画像データを繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ４０を駆動する。この結果、撮像シーンを表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２７】
前処理回路２０は、上述の処理に加えて簡易Ｙ生成処理を実行し、生画像データを簡易的にＹデータに変換する。変換されたＹデータは、動き検出回路２２，ＡＥ評価回路２４およびＡＦ評価回路２６に与えられる。
【００２８】
図３を参照して、撮像面には５つの動き検出ブロックＭＤ＿１〜ＭＤ＿５が割り当てられる。動き検出ブロックＭＤ＿１およびＭＤ＿２は撮像面の上段に水平方向に並ぶように配置され、動き検出ブロックＭＤ＿３は撮像面の中央に配置され、そして動き検出ブロックＭＤ＿４およびＭＤ＿５は撮像面の下段に水平方向に並ぶように配置される。
【００２９】
動き検出回路２２は、動き検出ブロックＭＤ＿１〜ＭＤ＿５の各々における撮像シーンの動きを前処理回路２０から与えられたＹデータに基づいて１／６０秒毎に検出し、検出された動きを示す動き情報をＣＰＵ２８に与える。ＣＰＵ２８は、与えられた動き情報に基づいて全体動きベクトルを作成し、作成された全体動きベクトルに沿って抽出エリアＥＸを移動させる。抽出エリアＥＸの位置は、手振れに起因する撮像面の動きが補償（相殺）されるように変更される。撮像面に手振れが生じたとき、抽出エリアＥＸは図４に示す要領で撮像面上を移動し、これによって手振れが抑制される。
【００３０】
なお、このような手振れ補正処理は、光軸に直交する方向における撮像面の動きが手振れに相当するときに許可される一方、光軸に直交する方向における撮像面の動きがパン／チルト動作に相当するときに制限される。撮像面の動きの原因を以下に判別するかについては、後述する。
【００３１】
図２に戻って、ＡＥ評価回路２４は、前処理回路２０から出力されたＹデータのうち評価エリアに属する一部のＹデータを１／６０秒毎に積分し、積分値つまり輝度評価値を出力する。ＣＰＵ２８は、ＡＥ評価回路２４から出力された輝度評価値に基づいて適正ＥＶ値を算出し、算出された適正ＥＶ値を定義する絞り量および露光時間をドライバ１８ｂおよび１８ｃに設定する。この結果、ＬＣＤモニタ４０から出力される動画像の明るさが適度に調整される。
【００３２】
ＡＦ評価回路２６は、前処理回路２０から出力されたＹデータのうち評価エリア（図示せず）に属する一部のＹデータの高周波成分を１／６０秒毎に積分し、積分値つまりフォーカス評価値をＣＰＵ２８に与える。ＣＰＵ２８は、与えられたフォーカス評価値に基づいてＡＦ処理（コンティニュアスＡＦ処理）を実行し、合焦点が存在する方向にフォーカスレンズ１２を移動させる。フォーカスレンズ１２は、ドライバ１８ａによって段階的に移動される。この結果、ＬＣＤモニタ４０から出力される動画像の鮮鋭度が継続的に維持される。
【００３３】
なお、フォーカスレンズ１２の１回の移動幅つまりステップ幅は、パン／チルト動作が行われる期間以外の期間に“Ｗ＿Ｓ”に設定される一方、パン／チルト動作が行われる期間に“Ｗ＿Ｌ”に設定される。ここで、ステップ幅Ｗ＿Ｌは、ステップ幅Ｗ＿Ｓよりも大きい。光軸に直交する方向における撮像面の動きを考慮した適応的なフォーカス制御が実現される。
【００３４】
キー入力装置３０に設けられたムービボタン３０ｍｖが操作されると、ＣＰＵ２８は、記録処理を開始するべくメモリＩ／Ｆ４２を起動する。メモリＩ／Ｆ４２は、ＹＵＶ画像エリア３４ｂに格納された画像データを１／６０秒毎に読み出し、読み出された画像データを記録媒体４４内の動画ファイルに書き込む。メモリＩ／Ｆ４２は、ムービボタン３０ｍｖが再度操作されたときにＣＰＵ２８によって停止される。この結果、画像データの記録処理が終了される。
【００３５】
動き検出回路２２は、図５に示すように構成される。生画像データはラスタ走査態様でイメージセンサ１６から出力されるため、Ｙデータもまたラスタ走査態様で動き検出回路２２に入力される。分配器４８は、動き検出ブロックＭＤ＿１およびＭＤ＿４の各々に属するＹデータを動き情報作成回路５０に与え、動き検出ブロックＭＤ＿３に属するＹデータを動き情報作成回路５２に与え、そして動き検出ブロックＭＤ＿２およびＭＤ＿５に属するＹデータを動き情報作成回路５４に与える。
【００３６】
動き情報作成回路５０は、動き検出ブロックＭＤ＿１およびＭＤ＿４の各々で捉えられた撮像シーンの動きに注目し、部分動きベクトルＶＣ＿１および最小相関値ＭＩＮ＿１を動き検出ブロックＭＤ＿１の動き情報として出力するとともに、部分動きベクトルＶＣ＿４および最小相関値ＭＩＮ＿４を動き検出ブロックＭＤ＿４の動き情報として出力する。
【００３７】
動き情報作成回路５２は、動き検出ブロックＭＤ＿３で捉えられた撮像シーンの動きに注目し、部分動きベクトルＶＣ＿３および最小相関値ＭＩＮ＿３を動き検出ブロックＭＤ＿３の動き情報として出力する。
【００３８】
動き情報作成回路５４は、動き検出ブロックＭＤ＿２およびＭＤ＿５の各々で捉えられた撮像シーンの動きに注目し、部分動きベクトルＶＣ＿２および最小相関値ＭＩＮ＿２を動き検出ブロックＭＤ＿２の動き情報として出力するとともに、部分動きベクトルＶＣ＿５および最小相関値ＭＩＮ＿５を動き検出ブロックＭＤ＿５の動き情報として出力する。
【００３９】
全体動きベクトルは、動き情報作成回路５０〜５４から出力された動き情報のうち、部分動きベクトルＶＣ＿１〜ＶＣ＿５に基づいて作成される。具体的には、全体動きベクトルは、部分動きベクトルＶＣ＿１〜ＶＣ＿５を合成することで作成される。手振れ補正処理は、こうして作成された全体動きベクトルを参照して実行される。
【００４０】
また、光軸に直交する方向における撮像面の動きの原因は、動き情報を形成する最小相関値ＭＩＮ＿１〜ＭＩＮ＿５に基づいて判別される。具体的には、最小相関値ＭＩＮ＿１〜ＭＩＮ＿５の平均値が平均相関値ＡＶとして算出され、算出された平均相関値ＡＶが基準値ＲＥＦと比較され、比較結果に応じて撮像面の動きの原因が判別される。
【００４１】
後述するように、最小相関値ＭＩＮ＿１〜ＭＩＮ＿５および平均相関値ＡＶは、光軸に直交する方向における撮像面の動き量が大きいほど増大する。したがって、平均相関値ＡＶが基準値ＲＥＦ以上であれば撮像面の動きの原因はパン／チルト動作であると判別され、平均相関値ＡＶが基準値ＲＥＦ未満であれば撮像面の動きの原因は手振れであると判別される。
【００４２】
動き情報作成回路５０〜５４の各々は、図６に示すように構成される。Ｙデータは、ＬＰＦ５６でノイズ除去処理を施された後、代表点メモリ５８および相関値算出回路６２に与えられる。図７（Ａ）を参照して、動き検出ブロックＭＤ＿１〜ＭＤ＿５の各々は、Ｐ×Ｑ個の微小ブロックＳＢＫ，ＳＢＫ，…によって形成される。また、図７（Ｂ）を参照して、各々の微小ブロックＳＢＫは、ｐ×ｑ個の画素によって形成される。
【００４３】
なお、微小ブロックＳＢＫ，ＳＢＫ，…の配置は、レジスタ６０に登録される。また、“Ｐ”，“Ｑ”，“ｐ”および“ｑ”はいずれも２以上の整数に相当する。以下では、各微小ブロックＳＢＫの中央に存在する画素つまり図７（Ａ）および図７（Ｂ）に黒丸で示す画素を“代表画素”と定義する。
【００４４】
図６に戻って、代表点メモリ５８は、動き検出ブロックＭＤ＿Ｎ（Ｎ：１〜５のいずれか）に属するＹデータからＰ×Ｑ個の代表画素のＹデータを抽出し、抽出されたＹデータを記憶する。相関値算出回路６２は、動き検出ブロックＭＤ＿Ｎに属するＰ×Ｑ個の微小ブロックＳＢＫ，ＳＢＫ，…の各々に対応して、代表点メモリ５８に記憶された前フレームの代表画素のＹデータ値とＬＰＦ５６から与えられた現フレームの各画素のＹデータ値との差分を相関値として算出する。この結果、Ｐ×Ｑ×ｐ×ｑ個の相関値が、動き検出ブロックＭＤ＿Ｎに対応して相関値算出回路６０から出力される。なお、出力されたＰ×Ｑ×ｐ×ｑ個の相関値の各々は、相関値の算出の基礎となった２つの画素の位置を示す画素位置情報を伴う。
【００４５】
最小値算出回路６４は、Ｐ×Ｑ×ｐ×ｑ個の相関値の中から最小値を抽出し、抽出した最小値を最小相関値ＭＩＮ＿Ｎとして出力する。最小相関値ＭＩＮ＿Ｎは、動き検出ブロックＭＤ＿Ｎに動きが生じたときに増大する。したがって、最小相関値ＭＩＮ＿Ｎに注目することで、撮像シーンに動きが生じたか否かを判別することができる。
【００４６】
部分動きベクトル作成回路６６は、最小相関値ＭＩＮ＿Ｎに付随する画素位置情報に基づいて部分動きベクトルＶＣ＿Ｎを作成する。作成された部分動きベクトルＶＣ＿Ｎは、画素位置情報が示す２つの画素のうち前フレームの画素を起点とし、現フレームの画素を終点とするベクトルである。現フレームの画素が図７（Ｂ）にハッチングで示す画素である場合、部分動きベクトルＶＣ＿Ｎは図７（Ｂ）に矢印で示す方向および大きさを示す。
【００４７】
ＣＰＵ２８は、図８に示す動画撮像タスク，図９に示す手振れ補正タスクおよび図１０に示すパン／チルト判別タスクを含む複数のタスクを並列的に処理する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４６に記憶される。
【００４８】
図８を参照して、ステップＳ１では動画取り込み処理を実行し、ステップＳ３ではＡＥ処理を実行する。ステップＳ１の処理の結果、スルー画像がＬＣＤモニタ４０に表示される。また、ステップＳ３の処理の結果、スルー画像の明るさが適度に調整される。
【００４９】
ステップＳ５では、フラグＦＬＧｐｔが“０”を示すか否かを判別する。判別結果がＹＥＳであれば、パン／チルト動作は発生していないとみなし、ステップＳ７でステップ幅を“Ｗ＿Ｓ”に設定する。これに対して、判別結果がＮＯであれば、パン／チルト動作が発生しているとみなし、ステップＳ９でステップ幅を“Ｗ＿Ｌ”に設定する。
【００５０】
ステップ幅の設定が完了すると、ステップＳ１１でＡＦ処理（コンティニュアスＡＦ処理）を実行する。ステップＳ１１の処理の結果、フォーカスレンズ１２は合焦点が存在する方向に１ステップだけ移動する。移動幅は、ステップＳ７またはＳ９で設定されたステップ幅に相当する。これによって、スルー画像の鮮鋭度が向上する。
【００５１】
ステップＳ１３ではムービボタン３０ｍｖが操作されたか否かを判別し、判別結果がＮＯであればステップＳ３に戻る一方、判別結果がＹＥＳであればステップＳ１５に進む。ステップＳ１５では記録処理が実行中であるか否かを判別し、判別結果がＮＯであればステップＳ１７で記録処理の開始をメモリＩ／Ｆ４２に命令する一方、判別結果がＹＥＳであればステップＳ１９で記録処理の停止をメモリＩ／Ｆ４２に命令する。ステップＳ１７またはＳ１９の処理が完了すると、ステップＳ３に戻る。
【００５２】
図９を参照して、ステップＳ２１では垂直同期信号Ｖｓｙｎｃが発生したか否かを繰り返し判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ２３に進み、動き検出回路２２から部分動きベクトルＶＣ＿１〜ＶＣ＿５を取り込む。ステップＳ２５では、取り込まれた部分動きベクトルＶＣ＿１〜ＶＣ＿５に基づいて全体動きベクトルを作成する。
【００５３】
ステップＳ２７では、フラグＦＬＧｐｔが“０”であるか否かを判別する。判別結果がＮＯであれば、パン／チルト動作が発生しているとみなし、ステップＳ２１に戻る。これに対して、判別結果がＹＥＳであれば、パン／チルト動作は発生していないとみなし、ステップＳ２９に進む。ステップＳ２９では、ステップＳ２５で作成された全体動きベクトルに沿って抽出エリアＥＸを移動させる。ステップＳ２９の処理が完了すると、ステップＳ２１に戻る。
【００５４】
図１０を参照して、ステップＳ３１ではフラグＦＬＧｐｔを“０”に設定し、ステップＳ３３では垂直同期信号Ｖｓｙｎｃが発生したか否かを繰り返し判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ３５に進み、動き検出回路２２から最小相関値ＭＩＮ＿１〜ＭＩＮ＿５を取り込む。
【００５５】
ステップＳ３７では取り込まれた最小相関値ＭＩＮ＿１〜ＭＩＮ＿５を平均して平均相関値ＡＶを算出し、ステップＳ３９では算出された平均相関値ＡＶが基準値ＲＥＦ以上であるか否かを判別する。判別結果がＹＥＳであれば、パン／チルト動作が発生したとみなし、ステップＳ４１でフラグＦＬＧｐｔを“１”に設定する。これに対して、判別結果がＮＯであれば、パン／チルト動作は発生していないとみなし、ステップＳ４３でフラグＦＬＧｐｔを“０”に設定する。ステップＳ４１またはＳ４３の処理が完了すると、ステップＳ３３に戻る。
【００５６】
以上の説明から分かるように、イメージセンサ１６は、撮像シーンを表す光学像が照射される撮像面を有し、生画像データを繰り返し出力する。動き検出回路２２に設けられた相関値算出回路６２は、前フレームの生画像データ上の代表画素と現フレームの生画像データ上の複数の周辺画素の各々との間の輝度差を相関値として算出する。ＣＰＵ２８は、算出された相関値に基づいてフォーカスレンズ１２のステップ幅を“Ｗ＿Ｓ”または“Ｗ＿Ｌ”に設定し(S35~S43, S5~S9)、イメージセンサ１６から出力された生画像データに基づいてフォーカスレンズ１２の位置を“Ｗ＿Ｓ”または“Ｗ＿Ｌ”ずつ変更する(S11)。
【００５７】
フォーカスレンズ１２から撮像面までの距離はイメージセンサ１６から出力された生画像データに基づいて段階的に変更されるところ、ステップ幅の大きさは前フレームの生画像データ上の代表画素と現フレームの生画像データ上の複数の周辺画素の各々との間の輝度差に基づいて調整される。これによって、光軸に直交する方向における撮像面の動きを考慮した適応的なフォーカス制御が実現される。
【００５８】
なお、この実施例では、フラグＦＬＧｐｔが“０”を示すときにステップ幅を“Ｗ＿Ｓ”に設定し、フラグＦＬＧｐｔが“１”を示すときにステップ幅を“Ｗ＿Ｌ”に設定するようにしている。しかし、フラグＦＬＧｐｔが“０”を示すときにステップ幅を“Ｗ＿Ｌ”に設定し、フラグＦＬＧｐｔが“１”を示すときにステップ幅を“Ｗ＿Ｓ”に設定するようにしてもよい。
【００５９】
また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４６に予め記憶される。しかし、図１１に示すように通信Ｉ／Ｆ６８をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４６に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００６０】
さらに、この実施例では、ＣＰＵ２８によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【符号の説明】
【００６１】
１０  …ディジタルビデオカメラ
１６  …イメージセンサ
２０  …前処理回路
２２  …動き検出回路
２８  …ＣＰＵ
３４  …ＳＤＲＡＭ
３６  …後処理回路
４６  …フラッシュメモリ
【図１】
2014145974.tif 000003
【図２】
2014145974.tif 000004
【図３】
2014145974.tif 000005
【図４】
2014145974.tif 000006
【図５】
2014145974.tif 000007
【図６】
2014145974.tif 000008
【図７】
2014145974.tif 000009
【図８】
2014145974.tif 000010
【図９】
2014145974.tif 000011
【図１０】
2014145974.tif 000012
【図１１】
2014145974.tif 000013