(57)【要約】【課題】撮影画像、撮影状況の少なくとも一方に適した動き量を検出可能とし、正確な防振動作を実現可能とした撮像装置、制御方法、及びプログラムを提供する。【解決手段】撮像装置は、絞り１Ａ、フォーカスレンズ２Ａ、撮像素子６、動きベクトル検出回路９、ＡＦ前処理回路１１、主マイコン１５等を備える。主マイコン１５は、撮影画像が合焦している場合、帯域通過フィルタ９０１、９０２のうちフィルタ係数群Ｋ０を設定すると決定した方の帯域通過フィルタの通過域中心周波数を上昇させ、フィルタ係数群Ｋ０を送り周波数特性を設定する。主マイコン１５は、撮影画像が非合焦の場合、帯域通過フィルタ９０１、９０２のうちフィルタ係数群Ｋ０を設定すると決定した方の帯域通過フィルタの通過域中心周波数を低下させ、フィルタ係数群Ｋを送り周波数特性を設定する。【選択図】図１
2007180606.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、
前記撮像手段の撮像に基づき得られる時間差を有する少なくとも２つの画像信号の特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により前記各画像信号から抽出された特徴に基づき、撮影に伴うブレを示す動き量を検出する動き量検出手段と、
前記撮像手段の撮像に基づく画像信号が合焦しているか否かを示す合焦情報から算出した第１の評価値と撮影時に入力光が透過するレンズの絞りを示す絞り値に応じた第２の評価値の少なくとも一方に基づき、前記特徴抽出手段を制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記特徴抽出手段は、前記撮像手段の撮像に基づく画像信号から所定周波数成分を抽出する帯域通過濾波器を備え、
前記制御手段は、前記第１の評価値と前記第２の評価値の少なくとも一方に基づき、前記帯域通過濾波器の周波数特性を制御することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記制御手段は、前記撮像手段の撮像に基づく画像信号の合焦度が高い場合は、前記帯域通過濾波器の通過域中心周波数を上昇させ、前記撮像手段の撮像に基づく画像信号の合焦度が低い場合は、前記帯域通過濾波器の通過域中心周波数を低下させることを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記制御手段は、前記撮像手段の撮像に基づく画像信号の合焦度が高い場合は、前記絞り値に応じて前記帯域通過濾波器の通過域中心周波数を上昇させる割合を制御し、前記撮像手段の撮像に基づく画像信号の合焦度が低い場合は、前記絞り値に応じて前記帯域通過濾波器の通過域中心周波数を低下させる割合を制御することを特徴とする請求項１又は２記載の撮像装置。
【請求項５】
前記制御手段は、前記絞り値から、前記撮像手段の撮像に基づく画像信号の被写界深度が深いと判断した場合は、前記帯域通過濾波器の通過域中心周波数を上昇させ、前記撮像手段の撮像に基づく画像信号の被写界深度が浅いと判断した場合は、前記帯域通過濾波器の通過域中心周波数を低下させることを特徴とする請求項１又は２記載の撮像装置。
【請求項６】
被写体を撮像する撮像手段を備えた撮像装置の制御方法であって、
前記撮像手段の撮像に基づき得られる時間差を有する少なくとも２つの画像信号の特徴を抽出する特徴抽出ステップと、
前記特徴抽出ステップにより前記各画像信号から抽出された特徴に基づき、撮影に伴うブレを示す動き量を検出する動き量検出ステップと、
前記撮像手段の撮像に基づく画像信号が合焦しているか否かを示す合焦情報から算出した第１の評価値と撮影時に入力光が透過するレンズの絞りを示す絞り値に応じた第２の評価値の少なくとも一方に基づき、前記特徴抽出ステップを制御する制御ステップと、
を備えることを特徴とする制御方法。
【請求項７】
被写体を撮像する撮像手段を備えた撮像装置の制御方法をコンピュータに実行させるプログラムであって、
前記撮像手段の撮像に基づき得られる時間差を有する少なくとも２つの画像信号の特徴を抽出する特徴抽出モジュールと、
前記特徴抽出モジュールにより前記各画像信号から抽出された特徴に基づき、撮影に伴うブレを示す動き量を検出する動き量検出モジュールと、
前記撮像手段の撮像に基づく画像信号が合焦しているか否かを示す合焦情報から算出した第１の評価値と撮影時に入力光が透過するレンズの絞りを示す絞り値に応じた第２の評価値の少なくとも一方に基づき、前記特徴抽出ステップを制御する制御モジュールと、
を備えることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサ等の撮像素子を用いて撮像を行う撮像装置、制御方法、及びプログラムに関する。
【背景技術】
【０００２】
近年の撮像装置では、手持ち撮影時のブレを抑える防振機能が求められている。このため、撮像装置では、動きベクトル（撮影時のブレの量や被写体の動きの量）を検出し、その検出結果に基づきレンズの制御や画像信号を格納するメモリの制御等を行うことで防振を実現している。撮像装置における正確な防振機能の実現のためには、精度の高い動きベクトル検出を行う必要がある。
【０００３】
従来、防振という観点から、撮像装置における高精度な動きベクトルを検出する例が提案されている（例えば、特許文献１参照）。特許文献１では、二次元帯域通過フィルタ（ＢＰＦ：Band Pass Filter）により入力画像から所定の空間周波数成分を抽出し、ゼロクロス検出回路により２値化する。更に、メモリにより２値化信号を１フィールド期間遅延し、シフトレジスタにより現フィールドの画像を画面（信号処理領域）内で上下左右にシフトする。更に、排他的オア回路により時刻の異なる２値画像の差を算出して、所定のブロック内で積算する。最後に、最小値検出回路により排他的オア回路の出力が最小になるシフト量を、動きベクトルとして出力する。
【特許文献１】特開平０５−２３６３３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来例（特許文献１）では、二次元ＢＰＦを用いてデータを２値化している。そのため、２値化パターンは、特許文献１記載の図４に示されるように二次元ＢＰＦの通過域特性に依存し、動きベクトルの検出精度（分解能）もこの２値化パターンで決まる。
【０００５】
ところが、撮像装置に搭載されるフォーカスレンズの状況により、被写体にピントが合っていないときは、画像の高周波成分が失われる。その結果、二次元ＢＰＦの通過域中心周波数が高域に寄っていると、特許文献１記載の図４から得られるような２値化パターンを生成できない。２値化パターンを生成できない場合、動きベクトルを求めることができなくなってしまうという問題がある。
【０００６】
本発明の目的は、撮影画像、撮影状況の少なくとも一方に適した動き量を検出可能とし、正確な防振動作を実現可能とした撮像装置、制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上述の目的を達成するために、本発明の撮像装置は、被写体を撮像する撮像手段と、前記撮像手段の撮像に基づき得られる時間差を有する少なくとも２つの画像信号の特徴を抽出する特徴抽出手段と、前記特徴抽出手段により前記各画像信号から抽出された特徴に基づき、撮影に伴うブレを示す動き量を検出する動き量検出手段と、前記撮像手段の撮像に基づく画像信号から算出した第１の評価値と撮影時に入力光が透過するレンズの絞りを示す絞り値に応じた第２の評価値の少なくとも一方に基づき、前記特徴抽出手段を制御する制御手段と、を備えることを特徴とする。
【０００８】
上述の目的を達成するために、本発明の制御方法は、被写体を撮像する撮像手段を備えた撮像装置の制御方法であって、前記撮像手段の撮像に基づき得られる時間差を有する少なくとも２つの画像信号の特徴を抽出する特徴抽出ステップと、前記特徴抽出ステップにより前記各画像信号から抽出された特徴に基づき、撮影に伴うブレを示す動き量を検出する動き量検出ステップと、前記撮像手段の撮像に基づく画像信号から算出した第１の評価値と撮影時に入力光が透過するレンズの絞りを示す絞り値に応じた第２の評価値の少なくとも一方に基づき、前記特徴抽出ステップを制御する制御ステップと、を備えることを特徴とする。
【０００９】
上述の目的を達成するために、本発明のプログラムは、被写体を撮像する撮像手段を備えた撮像装置の制御方法をコンピュータに実行させるプログラムであって、前記撮像手段の撮像に基づき得られる時間差を有する少なくとも２つの画像信号の特徴を抽出する特徴抽出モジュールと、前記特徴抽出モジュールにより前記各画像信号から抽出された特徴に基づき、撮影に伴うブレを示す動き量を検出する動き量検出モジュールと、前記撮像手段の撮像に基づく画像信号から算出した第１の評価値と撮影時に入力光が透過するレンズの絞りを示す絞り値に応じた第２の評価値の少なくとも一方に基づき、前記特徴抽出ステップを制御する制御モジュールと、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、画像信号から算出した第１の評価値と撮影時に入力光が透過するレンズの絞りを示す絞り値に応じた第２の評価値の少なくとも一方に基づき、動き量検出手段による検出動作に関わる特徴抽出手段を制御する。そのため、撮影画像、撮影状況の少なくとも一方に適した動き量を検出できる。これにより、正確な防振動作を実現することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態を図面を参照して説明する。
【００１２】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。
【００１３】
図１において、撮像装置は、絞り１Ａ、アイリス駆動メータ１Ｂ、アイリス駆動ドライバ１Ｃ、アイリスエンコーダ１Ｄ、フォーカスレンズ２Ａ、フォーカスモータ２Ｂ、モータドライバ２Ｃ、フォーカスエンコーダ２Ｄを備えている。更に、撮像装置は、レンズマイクロコンピュータ３、撮像素子６、カメラ信号処理回路８、動きベクトル検出回路９、ＡＥ（Auto Exposure）前処理回路１０、ＡＦ（Auto Focus）前処理回路１１、モニタ１３、主マイクロコンピュータ１５等を備えている。
【００１４】
レンズマイクロコンピュータ（以下レンズマイコン）３は、アイリス駆動メータ１Ｂ、アイリス駆動ドライバ１Ｃ、アイリスエンコーダ１Ｄ、フォーカスモータ２Ｂ、モータドライバ２Ｃ、フォーカスエンコーダ２Ｄの制御を司る。絞り１Ａは、レンズマイコン３の命令に基づいて、アイリス駆動メータ１Ｂ及びアイリス駆動ドライバ１Ｃにより駆動される。フォーカスレンズ２Ａは、レンズマイコン３の命令に基づいて、フォーカスモータ２Ｂ及びモータドライバ２Ｃにより駆動される。アイリスエンコーダ１Ｄは、絞り１Ａの位置を示す位置情報を検出し、レンズマイコン３へ供給する。フォーカスエンコーダ２Ｄは、フォーカスレンズ２Ａの位置を示す位置情報を検出し、レンズマイコン３へ供給する。
【００１５】
同期信号発生器（ＳＳＧ：Synchronous Signal Generator）４は、発生した同期信号に基づきタイミング発生器（ＴＧ：Timing Generator）５を駆動する。ＴＧ５は、撮像素子６における信号読み出しタイミングの制御、撮像装置のシャッタスピードの制御を行う。撮像素子６は、光を電気信号に光電変換する電荷結合素子（ＣＣＤ：Charge Coupled Device）から構成されている。撮像装置により撮影された被写体の光学像は、絞り１Ａ及びフォーカスレンズ２Ａを透過した後、撮像素子６に結像され、撮像素子６により電気信号（入力信号）に光電変換される。
【００１６】
入力信号は、アナログフロントエンド （ＡＦＥ：Analog Front End） 回路７によりリセットノイズ除去、利得調整、アナログ−デジタル（Ａ／Ｄ）変換等が行われ、ＡＦＥ７からデジタル撮像信号として出力される。デジタル撮像信号は、カメラ信号処理回路８に入力された後、アパーチャ補正、ガンマ補正、ホワイトバランス処理等の撮像系のカメラ信号処理が施される。カメラ信号処理回路８で撮像系のカメラ信号処理が施されたデジタル信号は、デジタルアナログ （Ｄ／Ａ）変換器１２によりアナログ信号に変換された後、モニタ１３に表示される。
【００１７】
他方、カメラ信号処理回路８は、輝度信号を、動きベクトル検出回路９、ＡＥ前処理回路１０、ＡＦ前処理回路１１に送る。ＡＦ前処理回路１１は、入力した輝度信号を複数のブロックに分け、所定の方法（例えば特開０６-２６８８９６号公報に示す方法）でブロック毎に自動焦点調節（ＡＦ）制御に必要なＡＦ評価値を生成し、主マイクロコンピュータ（以下主マイコン）１５に送る。主マイコン１５は、取得したＡＦ評価値に基づき各ブロックの合焦状態を判別し、判別結果をレンズマイコン３に送る。レンズマイコン３は、モータドライバ２Ｃによりフォーカスモータ２Ｂを駆動し、フォーカスレンズ２Ａによるフォーカシングを行う。
【００１８】
ＡＥ前処理回路１０は、入力した輝度信号を複数のブロックに分け、所定の方法（例えば特開０６-０８６１４７号公報に示す方法）でブロック毎に自動露出（ＡＥ）制御に必要なＡＥ評価値を生成し、主マイクロコンピュータ１５に送る。主マイコン１５は、取得したＡＥ評価値をレンズマイコン３に送る。レンズマイコン３は、アイリス駆動ドライバ１Ｃによりアイリス駆動メータ１Ｂを駆動することで絞り１Ａを動かす。また、主マイコン１５は、プログラムに基づき、図７及び図８（第１の実施の形態）、図９及び図１０（第２の実施の形態）、図１１及び図１２（第３の実施の形態）の各フローチャートに示す処理を実行する。入力キー１６は、各種設定に用いる。
【００１９】
図２は、撮像装置の動きベクトル検出回路９の構成を示すブロック図である。
【００２０】
図２において、動きベクトル検出回路９は、帯域通過フィルタ９０１〜９０３、零クロス検出回路９０４〜９０６、サーチメモリ９０７、９０８、テンプレートメモリ９０９を備えている。更に、動きベクトル検出回路９は、セレクタ９１０、シフトレジスタ９１１、９１２、エクスクルーシブノア（ＥＸＮＯＲ）積算回路９１３、最大値検出回路９１４を備えている。
【００２１】
図３（ａ）は、サーチ領域（前フィールドの画像）を示す図、図３（ｂ）は、テンプレート領域（現フィールドの画像）を示す図である。
【００２２】
図４は、マッチングブロックとして分割したテンプレート領域をサーチ領域内でシフトさせる様子を示す図である。
【００２３】
図２乃至図４において、動きベクトル検出回路９の各部の機能を動きベクトルの算出動作と共に説明する。動きベクトルは、映像信号における時間的に連続する２つのフィールド（或いはフレーム）から算出する。図３（ａ）に示す前フィールドの画像をサーチ領域と呼び、図３（ｂ）に示す現フィールドの画像をテンプレート領域と呼ぶ。テンプレート領域はサーチ領域よりも狭い領域を持ち、これを所定の数だけ分割する。図３（ｂ）では、テンプレート領域を横方向に５個に分割すると共に縦方向に４個に分割している例を表している。
【００２４】
図４に示すように、マッチングブロックとして分割した各テンプレート領域を、分割した各サーチ領域内で後述するようにシフトさせ、テンプレート領域とサーチ領域の相関値が最大となるときのシフト量を動きベクトルとする。テンプレート領域をサーチ領域内で矢印で示すようにあらゆる方向にシフトする処理をマッチング演算と称する。
【００２５】
帯域通過フィルタ９０１〜９０３は、それぞれ、カメラ信号処理回路８から出力される輝度信号から所定周波数成分の抽出（特徴の抽出）を行う。零クロス検出回路９０４〜９０６は、それぞれ、帯域通過フィルタ９０１〜９０３の出力信号の零クロス点を検出し、各出力信号の特徴の抽出、即ち２値化を行う。サーチメモリ９０７、９０８は、それぞれ、零クロス検出回路９０４、９０５の出力である２値化信号のうちサーチ領域を１フィールド分遅延させる。
【００２６】
テンプレートメモリ９０９は、零クロス検出回路９０６の出力である２値化信号の現フィールドの信号をテープレート領域分だけ格納する。セレクタ９１０は、サーチメモリ９０４、９０５の出力を切り換える。シフトレジスタ９１１、９１２は、それぞれ、セレクタ９１０、テンプレートメモリ９０９の出力信号を一時記憶し、画面（信号処理領域）内の上下左右にシフトさせる。
【００２７】
ＥＸＮＯＲ積算回路９１３は、シフトレジスタ９１１、９１２の出力を排他的論理和演算し、その演算結果の反転値を所定ブロック単位で積算する。最大値検出回路９１４は、シフトレジスタ９１１、９１２の各シフト量に対するＥＸＮＯＲ積算回路９１３の出力を記憶すると共に、両出力を相互に比較し、最大値を検出する。最大値検出回路９１４は、ＥＸＮＯＲ積算回路９１３の出力の総和が最大になるときの垂直方向及び水平方向のシフト量を、動きベクトルとして出力する。
【００２８】
上述したように、帯域通過フィルタ９０１〜９０３はカメラ信号処理回路８から出力される輝度信号から所定周波数成分を抽出し、零クロス検出回路９０４〜９０６は当該所定周波数成分を２値化する。この動作を図５及び図６を用いて説明する。
【００２９】
図５（ａ）は、帯域通過フィルタ９０１〜９０３の出力波形を示す図、図５（ｂ）は、帯域通過フィルタ９０１〜９０３の通過域中心周波数を（ａ）よりも高くした場合の帯域通過フィルタ９０１〜９０３の出力波形を示す図である。
【００３０】
図６（ａ）は、図５（ａ）の場合に対応する２値化信号のパターンを示す図、図６（ｂ）は、図５（ｂ）の場合に対応する２値化信号のパターンを示す図である。
【００３１】
図５において、横軸は画面（信号処理領域）上の座標位置、縦軸は信号レベルであり、二次元空間の一断面を示している。図５（ａ）に示す符号６１、６２、６３は、撮像装置によりそれぞれ異なった照明条件の下で同じ被写体を撮影した場合の帯域通過フィルタ９０１、９０２、９０３の出力波形を示す。動きベクトル検出回路９では、帯域通過フィルタ９０１〜９０３により直流成分を除去し特定の周波数成分を抽出するので、照明条件の変化に依存しない２値化パターンを得ることができる。
【００３２】
つまり、帯域通過フィルタ９０１、９０２、９０３のそれぞれの出力波形６１、６２、６３では、出力波形と横軸が交差する零クロス点は照明条件に関わらず一定である。この零クロス点は、被写体が動けばそれに応じて移動するので、零クロス点により動きベクトルを検出することができる。零クロス検出回路９０４〜９０６により、それぞれ帯域通過フィルタ９０１〜９０３の出力信号の零クロス点を検出し、零レベルを閾値として帯域通過フィルタ９０１〜９０３の出力を２値化する。図５（ｂ）では、図５（ａ）と比べて２値化パターンが細かくなるので、高精度な動きベクトルの検出が可能である。
【００３３】
帯域通過フィルタ９０１〜９０３では、二次元フィルタまたは垂直方向フィルタ・水平方向フィルタの組み合わせにより、垂直方向と水平方向の双方に対して２値化パターンを抽出する。帯域通過フィルタ９０１〜９０３から例えば図５（ａ）に示す出力が得られるときに、垂直方向と水平方向の双方に対して抽出した２値化パターンが図６（ａ）に示す場合を考える。帯域通過フィルタ９０１〜９０３の通過域中心周波数を垂直方向及び水平方向ともに図５（ｂ）に示すように上げた場合の２値化パターンは、図６（ｂ）に示すようになり、図６（ａ）よりも細かくなる。
【００３４】
尚、図５及び図６は、それぞれの（ａ）、（ｂ）での通過域中心周波数の変化を定性的に表しているに過ぎず、ここでの２値化パターンの縞模様の幅の変化は、帯域通過フィルタ９０１〜９０３の通過域中心周波数の変化に正確に対応しているものではない。
【００３５】
上述したサーチメモリ９０７、９０８、テンプレートメモリ９０９、シフトレジスタ９１１、９１２、ＥＸＮＯＲ積算回路９１３、及び、最大値検出回路９１４は、マッチング回路を構成している。
【００３６】
シフトレジスタ９１１、９１２は、それぞれ、１フィールド（或いは１フレーム）の時間差を持つサーチメモリ９０４、９０５の出力、テンプレートメモリ９０９の出力を一時記憶し、これを図４に示すような画面（信号処理領域）内で上下左右にシフトした信号を出力する。ＥＸＮＯＲ積算回路９１３は、シフトレジスタ９１１、９１２の出力の排他的論理和を反転したものを出力し、図４に示すような画面内の所定ブロック単位でその総和を算出する。ＥＸＮＯＲ積算回路９１３の出力値は、各シフト量に対応する所定ブロック内の相関値に相当する。
【００３７】
最大値検出回路９１４は、画面を分割するマッチングブロック毎に、シフトレジスタ９１１、９１２の各シフト量に対するＥＸＮＯＲ積算回路９１３の出力、即ち相関値を相互に比較する。更に、最大値検出回路９１４は、前記比較に基づきＥＸＮＯＲ積算回路９１３の出力が最大になるときのシフト量を動きベクトルとして出力する。このようにして、画面を分割するマッチングブロック毎に動きベクトルが検出される。
【００３８】
以上の動作により、図３（ｂ）に示すように１フィールド内の各マッチングブロックについて、動きベクトル（矢印）を検出することができる。主マイコン１５は、これらのマッチングブロック毎の動きベクトルから平均をとる等の演算を行い、最終的なフィールド（フレーム）間の動きベクトルを求める。
【００３９】
次に、上記構成を有する本実施の形態の撮像装置の動作を図１乃至図８を参照しながら詳細に説明する。
【００４０】
図７及び図８は、撮像装置の動きベクトル検出等の処理を示すフローチャートである。
【００４１】
図７及び図８において、主マイコン１５は、本処理を開始すると（ステップＳ７０１）、動きベクトル検出回路９を制御することにより、ある周波数特性をもつ帯域通過フィルタ９０３のフィルタ係数群Ｋ０をメモリ（不図示）上にロードする（ステップＳ７０２）。次に、主マイコン１５は、帯域通過フィルタ９０３にフィルタ係数群Ｋ０を設定する（ステップＳ７０３）。次に、主マイコン１５は、上述したように最大値検出回路９１４によりマッチングブロック毎の動きベクトルの検出を行う（ステップＳ７０４）。次に、主マイコン１５は、映像信号のフィールド内の全てのマッチングブロックにおいて動きベクトルの検出が完了したか否かを判断する（ステップＳ７０５）。
【００４２】
フィールド内の全てのマッチングブロックにおいて動きベクトルの検出が完了していない場合、主マイコン１５は、ステップＳ７０４に戻り、動きベクトルの検出を継続する。フィールド内の全てのマッチングブロックにおいて動きベクトルの検出が完了している場合、主マイコン１５は、ＡＦ前処理回路１１からデータバス１４経由でＡＦ評価値を読み出す（ステップＳ７０６）。
【００４３】
次に、主マイコン１５は、ＳＳＧ４から映像信号のフィールド（偶フィールド／奇フィールド）判別を行うためのフィールドインデックス信号を取得し（ステップＳ７０７）、映像信号のフィールドが偶フィールドか奇フィールドかを判別する（ステップＳ７０８）。映像信号のフィールドが例えば奇フィールドであると判別した場合、主マイコン１５は、帯域通過フィルタ９０１のフィルタ係数群Ｋ０を設定することを決定する（ステップＳ７０９）。映像信号のフィールドが例えば偶フィールドであると判別した場合、主マイコン１５は、帯域通過フィルタ９０２のフィルタ係数群Ｋ０を設定することを決定する（ステップＳ７１０）。
【００４４】
上記フィルタ係数群Ｋ０を設定（セット）する理由は以下の通りである。映像信号のあるフィールドで、帯域通過フィルタ９０１のフィルタ係数群Ｋ０をセットした場合、映像信号の次のフィールドで、帯域通過フィルタ９０３に同じフィルタ係数群Ｋ０をセットするようにする。これにより、同じ周波数特性を持つ帯域通過フィルタにより２値化したデータ同士においてフィールド間のマッチング演算を行うことができ、正確な動きベクトルを検出できるからである。
【００４５】
フィルタ係数群Ｋ０が設定された帯域通過フィルタ９０１を通過したサーチメモリ９０７の出力を、セレクタ９１０により選択する。同じくフィルタ係数群Ｋ０が設定された帯域通過フィルタ９０３を通過したテンプレートメモリ９０９の出力と、前記サーチメモリ９０７の出力とをマッチング演算している間、帯域通過フィルタ９０２にフィルタ係数群Ｋ１を設定する。これにより得られた２値化データをサーチメモリ９０８に蓄積しておく。
【００４６】
映像信号のその次のフィールドでは、帯域通過フィルタ９０２にフィルタ係数群Ｋ１を設定して得られた２値化データをサーチメモリ９０８から読み出し、セレクタ９１０により選択する。このフィールドで帯域通過フィルタ９０３にフィルタ係数群Ｋ１を設定して得られた現フィールドの信号（テンプレートメモリ９０９の出力）と、前記サーチメモリ９０７の出力とをマッチング演算する。
【００４７】
これにより、常に、同じ周波数特性を持つ帯域通過フィルタにより２値化したデータ同士において映像信号のフィールド間のマッチング演算を行うことができる。
【００４８】
次に、主マイコン１５は、上記ステップＳ７０６で取得したＡＦ前処理回路１１のＡＦ評価値に基づき、撮影画像が合焦しているかどうかを判別する（ステップＳ７１１）。少なくとも１個のＡＦブロックに合焦している被写体がある場合、主マイコン１５は、帯域通過フィルタ９０１、９０２のうち上記ステップＳ７０９で判断してフィルタ係数群Ｋ０を設定すると決定した方の帯域通過フィルタの通過域中心周波数を上昇させる。更に、主マイコン１５は、その帯域通過フィルタにフィルタ係数群Ｋ０を送って周波数特性を設定する（ステップＳ７１２）。
【００４９】
ここでは、例えば、図６（ａ）の粗い２値化パターンだったものを図６（ｂ）の細かい２値化パターンを生成するようにフィルタ係数群を変更する。細かい２値化パターンデータでマッチング演算をすることにより、検出する動きベクトルの分解能（動きベクトルの検出精度）を上げることができる。
【００５０】
他方、上記撮影画像が合焦しているかどうかの判別において何れのＡＦブロックでも非合焦である場合、主マイコン１５は、帯域通過フィルタ９０１、９０２のうち上記ステップＳ７０９で判断してフィルタ係数群Ｋ０を設定すると決定した方の帯域通過フィルタの通過域中心周波数を低下させる。更に、主マイコン１５は、その帯域通過フィルタにフィルタ係数群Ｋ０を送って周波数特性を設定する（ステップＳ７１３）。
【００５１】
ここでは、例えば、図６（ｂ）の細かい２値化パターンだったものを図６（ａ）の粗い２値化パターンを生成するようにフィルタ係数群を変更する。撮影画像が非合焦で画像信号の高域成分が欠落している場合は、次のようなことが起きる。即ち、帯域通過フィルタ９０１〜９０３の通過域中心周波数をナイキスト周波数（サンプリング周波数の半分の周波数）付近の高域に設定すると、図６のような２値化パターンデータが生成できず動きベクトルを検出できなくなる。
【００５２】
しかし、帯域通過フィルタ９０１、９０２、９０３の通過域中心周波数を低下させて、粗い２値化パターンデータでマッチング演算を行う。これにより、撮影画像が非合焦で画像信号の高域成分が欠落している場合でも、２値化パターンデータを確実に生成することができ、動きベクトルを検出することができる。
【００５３】
次に、主マイコン１５は、上記ステップＳ７１２または上記ステップＳ７１３で設定したフィルタ係数群Ｋ０を主マイコン１５内部に記憶し、上述したように映像信号の次のフィールドで帯域通過フィルタ９０３を設定する準備をしておく（ステップＳ７１４）。次に、主マイコン１５は、映像信号の次のフィールドについて動作終了かどうかを判断する（ステップＳ７１５）。動作終了と判断した場合、主マイコン１５は、本処理を終了する（ステップＳ７１６）。
【００５４】
映像信号の次のフィールドについても動作継続と判断した場合、主マイコン１５は、ステップＳ７０２に戻り、フィルタ係数群Ｋ０をロードし、データバス１４経由で帯域通過フィルタ９０３に送る。更に、主マイコン１５は、帯域通過フィルタ９０３の周波数特性を設定する（ステップＳ７０３）。これにより、上述のように映像信号のフィールド間のマッチング演算を、同じ周波数特性の帯域通過フィルタを通したデータ同士で行うことができるので、正確に動きベクトルを検出することができる。
【００５５】
以上説明したように、本実施の形態によれば、動きベクトル検出回路９の帯域通過フィルタ９０１〜９０３の周波数特性を撮影画像の合焦状態に基づき制御する。即ち、撮影画像が合焦している場合は、帯域通過フィルタの通過域中心周波数を上昇させ、撮影画像が非合焦の場合は、帯域通過フィルタの通過域中心周波数を低下させる制御を行う。
【００５６】
これにより、被写体のピントが合っている場合には、帯域通過フィルタの通過域中心周波数を高くして細かい２値化パターンを生成することで、求める動きベクトルの分解能を上げることができ、正確な防振動作を実現することが可能となる。また、被写体のピントが合っていない場合には、帯域通過フィルタの通過域中心周波数を低くして確実に２値化パターンを生成することで、動きベクトル検出動作の破綻を回避することができる。
【００５７】
尚、本実施の形態では、ＳＳＧ４から取得したフィールドインデックス信号に基づき映像信号のフィールドが偶フィールドか奇フィールドかを判別し、判別に基づきフィルタ係数群を設定すべき帯域通過フィルタを帯域通過フィルタ９０１、９０２から選択する例を説明した。帯域通過フィルタの選択方法は、これに限定されるものではない。ＳＳＧ４から垂直同期信号（ＶＤ）を取得し、ＶＤ計数用のカウンタ（不図示）をインクリメントしてカウンタの出力に基づきフィルタ係数群を設定すべき帯域通過フィルタを帯域通過フィルタ９０１、９０２から選択してもよい。
【００５８】
また、図８のステップＳ７０９、Ｓ７１０で、映像信号のフィールドが奇フィールドの場合は帯域通過フィルタ９０１のフィルタ係数群を設定し、映像信号のフィールドが偶フィールドの場合は帯域通過フィルタ９０２のフィルタ係数群を設定する例を説明した。帯域通過フィルタの設定方法は、これに限定されるものではない。これと逆の設定をしても構わない。
【００５９】
また、図８のステップＳ７１１で、撮影画像が合焦しているか非合焦かという２値化した形で判断することで、帯域通過フィルタ９０１〜９０３の周波数特性を設定する例を説明した。周波数特性の設定方法は、これに限定されるものではない。どの程度ピントが合っているか（即ち、合焦度が高いか低いか）を多段階で判断し、判断結果に応じて段階的に帯域通過フィルタの周波数特性を設定してもよい。
【００６０】
［第２の実施の形態］
本発明の第２の実施の形態は、上述した第１の実施の形態に対して、下記の点において相違する。本実施の形態のその他の要素は、上述した第１の実施の形態（図１、図２）の対応するものと同一なので、説明を省略する。
【００６１】
上述した第１の実施の形態では、図７及び図８のフローチャートで説明したように、ＡＦ前処理回路１１から得られるＡＦ評価値のみで帯域通過フィルタ９０１〜９０３の周波数特性を制御する例を説明した。
【００６２】
これに対し、本実施の形態は、ＡＦ評価値に加え、アイリスエンコーダ１Ｄから得られる絞り値（Ｆ値）も用いて帯域通過フィルタ９０１〜９０３の周波数特性を制御する点で第１の実施の形態と相違する。本実施の形態の動作を表すフローチャートを図９及び図１０に示し、第１の実施の形態と共通する処理（ステップ）の説明は省略し、第１の実施の形態と相違する点についてのみ説明する。
【００６３】
図９及び図１０は、撮像装置の動きベクトル検出等の処理を示すフローチャートである。
【００６４】
図９及び図１０において、主マイコン１５は、ＡＦ前処理回路１１からＡＦ評価値を読み出した後（ステップＳ８０６）、アイリスエンコーダ１Ｄから絞り値（Ｆ値）を読み出す（ステップＳ８０７）。主マイコン１５は、上記ステップＳ８０６で読み出したＡＦ評価値に基づき撮影画像が合焦しているかどうかを判別する（ステップＳ８１２）。撮影画像が合焦している場合、主マイコン１５は、更に、上記ステップＳ８０７で読み出したＦ値が予め設定された閾値以上かどうかを判断する（ステップＳ８１３）。
【００６５】
Ｆ値が閾値以上のときは被写界深度が深く、撮影画像の多くの部分にピントが合っているので、帯域通過フィルタ９０１〜９０３の通過域中心周波数を大きく上げても、図６に示す２値化パターンを確実に生成することができる。そこで、主マイコン１５は、帯域通過フィルタ９０１、９０２のうち設定すべき方の帯域通過フィルタのフィルタ係数群を変えて通過域中心周波数を大きく上昇させる（ステップＳ８１５）。
【００６６】
Ｆ値が閾値以下のときは被写界深度が浅く、ピントが合っている主被写体画像以外の部分はややボケ気味である。そこで、主マイコン１５は、帯域通過フィルタ９０１または９０２の通過域中心周波数を少しだけ上昇させて、求める動きベクトルの分解能を上げながらも、主被写体以外の部分の２値化パターンの生成が破綻しないようにする（ステップＳ８１６）。
【００６７】
一方、撮影画像が非合焦の場合、主マイコン１５は、Ｆ値が閾値以上かどうかを判断する（ステップＳ８１４）。Ｆ値が閾値以上のときは被写界深度が深く、画像の多くの部分が同程度ボケている。そこで、主マイコン１５は、帯域通過フィルタ９０１または９０２の通過域中心周波数を少しだけ低下させて、求める動きベクトルの分解能の低下を最小限に抑えつつ、画面全体で２値化パターンを確実に生成できるようにする（ステップＳ８１７）。
【００６８】
Ｆ値が閾値以下のときは被写界深度が浅く、従来ピントが合っていた主被写体画像はややボケ気味で、それ以外の部分は大ボケしている。そこで、主マイコン１５は、これらの大ボケ部分でも２値化パターンを確実に生成させるために、帯域通過フィルタ９０１または９０２の通過域中心周波数を大きく低下させて、動きベクトル検出動作が破綻しないようにする（ステップＳ８１８）。
【００６９】
以上説明したように、本実施の形態によれば、動きベクトル検出回路９の帯域通過フィルタ９０１〜９０３の周波数特性を撮影画像の合焦状態とレンズの絞り値に基づき制御する。即ち、撮影画像が合焦している場合は、Ｆ値が閾値以上か否かに応じて帯域通過フィルタの通過域中心周波数を上昇させる割合を制御し、撮影画像が非合焦の場合は、Ｆ値が閾値以上か否かに応じて帯域通過フィルタの通過域中心周波数を低下させる割合を制御する。
【００７０】
これにより、ピントが合っている主被写体画像とそれ以外の部分の合焦度の差異に適した２値化パターンを生成でき、求める動きベクトルの分解能向上と、動きベクトル検出動作の破綻回避を両立した動きベクトル検出動作を実現することができる。
【００７１】
尚、図１０のステップＳ８１３、ステップＳ８１４では、Ｆ値を閾値と比較して被写界深度が浅いか深いかを２値化した形で判断することで、帯域通過フィルタ９０１〜９０３の周波数特性を設定する例を説明した。周波数特性の設定方法は、これに限定されるものではない。被写界深度が浅いか深いかの程度を多段階で判断して、それに応じて段階的に帯域通過フィルタの周波数特性を設定してもよい。
【００７２】
［第３の実施の形態］
本発明の第３の実施の形態は、上述した第１の実施の形態に対して、下記の点において相違する。本実施の形態のその他の要素は、上述した第１の実施の形態（図１、図２）の対応するものと同一なので、説明を省略する。
【００７３】
上述した第１の実施の形態では、図７及び図８のフローチャートで説明したように、ＡＦ前処理回路１１から得られるＡＦ評価値のみで帯域通過フィルタ９０１〜９０３の周波数特性を制御する例を説明した。
【００７４】
これに対し、本実施の形態は、アイリスエンコーダ１Ｄから得られる絞り値（Ｆ値）のみを用いて帯域通過フィルタ９０１〜９０３の周波数特性を制御する点で第１の実施の形態と相違する。本実施の形態の動作を表すフローチャートを図１１及び図１２に示し、第１の実施の形態と共通する処理（ステップ）の説明は省略し、第１の実施の形態と相違する点についてのみ説明する。
【００７５】
図１１及び図１２は、撮像装置の動きベクトル検出等の処理を示すフローチャートである。
【００７６】
図１１及び図１２において、主マイコン１５は、アイリスエンコーダ１Ｄから絞り値（Ｆ値）を読み出す（ステップＳ９０６）。主マイコン１５は、被写界深度が浅いかどうかを判断する（ステップＳ９１１）。主マイコン１５は、上記ステップＳ９０６で読み出したＦ値が閾値以下の場合は、被写界深度が浅いと判断し、帯域通過フィルタ９０１、９０２のうちステップＳ９０８で決定した方の帯域通過フィルタの通過域中心周波数を低下させる（ステップＳ９１３）。
【００７７】
撮像装置における手持ち撮影時のブレを抑える防振動作では、ピントが合っている主被写体ではなく、背景の動きを止める必要がある。従って、ややボケている背景から２値化パターンを確実に生成する必要がある。そのために、帯域通過フィルタ９０１、９０２の通過域中心周波数を低下させるのである。
【００７８】
他方、Ｆ値が閾値以上の場合は、被写界深度が深く、撮影画像の多くの部分にピントが合っている。そのため、帯域通過フィルタ９０１〜９０３の通過域中心周波数を上昇させた場合でも、背景からも２値化パターンを生成することができる。
【００７９】
以上説明したように、本実施の形態によれば、動きベクトル検出回路９の帯域通過フィルタ９０１〜９０３の周波数特性をレンズの絞り値に基づき制御する。即ち、Ｆ値が閾値以上で被写界深度が深いと判断した場合は、帯域通過フィルタの通過域中心周波数を上昇させ、Ｆ値が閾値以下で被写界深度が浅いと判断した場合は、帯域通過フィルタの通過域中心周波数を低下させる制御を行う。
【００８０】
これにより、撮像装置の防振動作時に動きを止めたい背景部分から確実に２値化パターンを生成して動きベクトルを検出し、被写界深度に適した防振動作を実現することができる。
【００８１】
尚、図１２のステップＳ９１１では、Ｆ値を閾値と比較して被写界深度が浅いか深いかを２値化した形で判断することで、帯域通過フィルタ９０１〜９０３の周波数特性を設定する例を説明した。周波数特性の設定方法は、これに限定されるものではない。被写界深度が浅いか深いかの程度を多段階で判断して、それに応じて段階的に帯域通過フィルタの周波数特性を設定してもよい。
【００８２】
［他の実施の形態］
また、本発明の目的は、前述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出し実行することによりも達成される。
【００８３】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した各実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８４】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等の光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【００８５】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯステップＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理により前述した各実施の形態の機能が実現される場合も含まれる。
【００８６】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、次のプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理により前述した各実施の形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００８７】
【図１】本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。
【図２】撮像装置の動きベクトル検出回路の構成を示すブロック図である。
【図３】（ａ）は、サーチ領域（前フィールドの画像）を示す図、（ｂ）は、テンプレート領域（現フィールドの画像）を示す図である。
【図４】マッチングブロックとして分割したテンプレート領域をサーチ領域内でシフトさせる様子を示す図である。
【図５】（ａ）は、各帯域通過フィルタの出力波形を示す図、（ｂ）は、各帯域通過フィルタの通過域中心周波数を（ａ）よりも高くした場合の各帯域通過フィルタの出力波形を示す図である。
【図６】（ａ）は、図５（ａ）の場合に対応する２値化信号のパターンを示す図、（ｂ）は、図５（ｂ）の場合に対応する２値化信号のパターンを示す図である。
【図７】撮像装置の動きベクトル検出等の処理を示すフローチャートである。
【図８】図７のフローチャートの続きである。
【図９】本発明の第２の実施の形態に係る撮像装置の動きベクトル検出等の処理を示すフローチャートである。
【図１０】図９のフローチャートの続きである。
【図１１】本発明の第３の実施の形態に係る撮像装置の動きベクトル検出等の処理を示すフローチャートである。
【図１２】図１１のフローチャートの続きである。
【符号の説明】
【００８８】
１Ａ  絞り（撮像手段）
２Ａ  フォーカスレンズ（撮像手段）
６  撮像素子（撮像手段）
９  動きベクトル検出回路
１１  ＡＦ前処理回路
１５  主マイコン（制御手段）
９０１〜９０３  帯域通過フィルタ（特徴抽出手段）
９０４〜９０６  零クロス検出回路（特徴抽出手段）
９０７、９０８  サーチメモリ
９０９  テンプレートメモリ
９１１、９１２  シフトレジスタ
９１４  最大値検出回路（動き量検出手段）
【図１】
2007180606.tif 000003
【図２】
2007180606.tif 000004
【図３】
2007180606.tif 000005
【図４】
2007180606.tif 000006
【図５】
2007180606.tif 000007
【図６】
2007180606.tif 000008
【図７】
2007180606.tif 000009
【図８】
2007180606.tif 000010
【図９】
2007180606.tif 000011
【図１０】
2007180606.tif 000012
【図１１】
2007180606.tif 000013
【図１２】
2007180606.tif 000014