(57)【要約】【課題】補正したいフレーム間の平均輝度レベルが近似している場合にも誤ったＡＥ補正を行うことのない動きベクトル検出装置を提供することである。【解決手段】動きベクトル検出装置に於いて、上記撮像素子からの各々の画像データに対応した平均輝度が平均輝度演算部４３ａで求められ、近接判断部４３ｂにてこの平均輝度演算部４３ａで求められた２つの平均輝度が比較される。そして、２つの輝度の差が所定値より大きいと判断された場合は、各々のフレーム毎にフリッカ補正係数が、そして上記平均輝度の差が所定値以下であれば各々のフレームのフリッカ補正係数が同じ値に、評価領域フリッカ補正部４７及び参照領域フリッカ補正部４８に於いて設定される。【選択図】      図２
2006121585.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から得られた２フレーム分の画像データから各々の画像データのフリッカ補正係数を求め、このフリッカ補正係数に基づいて各々の画像に対してフリッカ補正を実施し、該補正後の２つの画像データを比較して動きベクトルを求める動きベクトル検出装置に於いて、
上記撮像素子からの各々の画像データに対応した平均輝度を求める平均輝度演算手段と、
上記平均輝度演算手段で求められた２つの平均輝度を比較して、２つの輝度の差が所定値より大きい場合は、各々のフレーム毎にフリッカ補正係数を設定する近接判断手段と、
上記平均輝度の差が所定値以下であれば各々のフレームのフリッカ補正係数を同じ値に設定するフリッカ補正手段と、
を具備することを特徴とする動きベクトル検出装置。
【請求項２】
撮像素子から得られた２フレーム分の画像データを第１領域と第２領域とに記憶するバッファメモリと、
各々の画像データの平均輝度と標準輝度に基づいてフリッカ補正係数を求める係数演算部と、
上記第１領域に評価領域を設定し、この評価領域の画像データを出力する評価領域設定部と、
上記第２領域に参照領域を設定し、この参照領域の画像データを出力する参照領域設定部と、
各々の領域設定部からの画像データにフリッカ補正係数に基づきフリッカ補正を行うフリッカ補正部と、
上記フリッカ補正部からの画像データに基づいて動きベクトルを求めるベクトル演算部と、
を具備し、
上記係数演算部は、２つのフレームの平均輝度を比較し、該平均輝度の差が所定値より大きい場合は各々のフレーム毎にフリッカ補正係数を計算して設定し、上記平均輝度の差が上記所定値以下である場合は各々のフレームのフリッカ補正係数を同じ値に設定することを特徴とする動きベクトル検出装置。
【請求項３】
上記フリッカ補正部は、上記評価領域設定部と上記参照領域設定部とにそれぞれ対応して設けられていることを特徴とする請求項２に記載の動きベクトル検出装置。
【請求項４】
上記バッファメモリは、電子スチルカメラの処理ユニットが共通で使用可能なメモリであって、各処理ユニットを結ぶ共通バス上に配置されたＳＤＲＡＭで構成されることを特徴とする請求項２に記載の動きベクトル検出装置。
【請求項５】
上記所定値は、フリッカ補正係数の量子化エッジに応じた値であることを特徴とする請求項１若しくは２に記載の動きベクトル検出装置。
【請求項６】
撮像素子から得られた２フレーム分の画像データから各々の画像データのフリッカ補正係数を求め、このフリッカ補正係数に基づいて各々の画像に対してフリッカ補正を実施し、該補正後の２つの画像データを比較して動きベクトルを求める動きベクトル検出装置に於いて、
撮像素子からの各々の画像データに対応した平均輝度を求める平均輝度演算手段と、
上記平均輝度演算手段で求められた２つの平均輝度を所定値と比較する比較手段と、
上記比較手段で比較された結果、上記平均輝度の差が上記所定値より大きい場合は各々のフレーム毎にフリッカ補正係数を設定し、上記平均輝度の差が所定値以下の場合は各々のフレームのフリッカ補正係数を同じ値に設定する設定手段と、
を具備することを特徴とする動きベクトル検出装置。
【請求項７】
上記所定値は、フリッカ補正係数の量子化エッジに応じた値であることを特徴とする請求項６に記載の動きベクトル検出装置。
【請求項８】
撮像素子から得られた２フレーム分の画像データを第１領域と第２領域とに記憶するバッファメモリと、
上記２フレームの画像データの平均輝度を所定値と比較する比較手段と、
上記平均輝度の差が上記所定値より大きい場合は各々のフレーム毎にフリッカ補正係数を計算して設定し、上記平均輝度の差が上記所定値以下である場合は各々のフレームのフリッカ補正係数を同じ値に設定する設定手段と、
上記第１領域に評価領域を設定し、この評価領域の画像データを出力する評価領域設定手段と、
上記第２領域に参照領域を設定し、この参照領域の画像データを出力する参照領域設定手段と、
上記評価領域設定手段及び上記参照領域設定手段から出力された画像データに、上記設定手段で設定されたフリッカ補正係数に基づいてフリッカ補正を行うフリッカ補正手段と、
上記フリッカ補正手段からの画像データに基づいて動きベクトルを求めるベクトル演算手段と、
を具備することを特徴とする動きベクトル検出装置。
【請求項９】
上記フリッカ補正手段は、上記評価領域設定手段と上記参照領域設定手段とにそれぞれ対応して設けられていることを特徴とする請求項８に記載の動きベクトル検出装置。
【請求項１０】
上記バッファメモリは、電子スチルカメラの処理ユニットが共通で使用可能なメモリであって、各処理ユニットを結ぶ共通バス上に配置されたＳＤＲＡＭで構成されることを特徴とする請求項９に記載の動きベクトル検出装置。
【請求項１１】
上記所定値は、フリッカ補正係数の量子化エッジに応じた値であることを特徴とする請求項８に記載の動きベクトル検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手振れ補正を行うために画像マッチングにより動きベクトルを検出する動きベクトル検出装置に関するものである。
【背景技術】
【０００２】
従来より、画像の符号化装置や画像振れ補正装置に必要な動きベクトル検出法として、相関演算に基づく相関法やブロックマッチング方法が知られている。
【０００３】
そして、画像マッチングによる電子手ブレ補正に於いて、蛍光灯等の光源によるフリッカの影響を受けてフレーム間の輝度レベルが変化する場合、正常にマッチングを行うことができず、誤った補正をすることがある。これを解決するため、従来は各フレームに於いて、平均輝度レベルを求め、各フレームでの平均輝度レベルが一致するようにＡＥ補正をかけて画像マッチングを演算するようにしている。
【０００４】
また、映像信号のフリッカ成分を減衰させるフリッカ補正回路と、このフリッカ補正回路の出力を相対比較して動きベクトルを得る動きベクトル検出回路とを備えて、正確な動きを得る技術が知られている（例えば、特許文献１参照）。
【特許文献１】特許第２６８７６７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の技術や上述した画像マッチングによる電子手ブレ補正では、ＡＥ補正値の分解能を高めておかないと、近似した平均輝度レベルのフレームでは、誤ったＡＥ補正を行ってしまうことがある。
【０００６】
したがって本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、補正したいフレーム間の平均輝度レベルが近似している場合にも誤ったＡＥ補正を行うことのない動きベクトル検出装置を提供することである。
【課題を解決するための手段】
【０００７】
すなわち、請求項１に記載の発明は、撮像素子から得られた２フレーム分の画像データから各々の画像データのフリッカ補正係数を求め、このフリッカ補正係数に基づいて各々の画像に対してフリッカ補正を実施し、該補正後の２つの画像データを比較して動きベクトルを求める動きベクトル検出装置に於いて、上記撮像素子からの各々の画像データに対応した平均輝度を求める平均輝度演算手段と、上記平均輝度演算手段で求められた２つの平均輝度を比較して、２つの輝度の差が所定値より大きい場合は、各々のフレーム毎にフリッカ補正係数を設定する近接判断手段と、上記平均輝度の差が所定値以下であれば各々のフレームのフリッカ補正係数を同じ値に設定するフリッカ補正手段と、を具備することを特徴とする。
【０００８】
請求項２に記載の発明は、撮像素子から得られた２フレーム分の画像データを第１領域と第２領域とに記憶するバッファメモリと、各々の画像データの平均輝度と標準輝度に基づいてフリッカ補正係数を求める係数演算部と、上記第１領域に評価領域を設定し、この評価領域の画像データを出力する評価領域設定部と、上記第２領域に参照領域を設定し、この参照領域の画像データを出力する参照領域設定部と、各々の領域設定部からの画像データにフリッカ補正係数に基づきフリッカ補正を行うフリッカ補正部と、上記フリッカ補正部からの画像データに基づいて動きベクトルを求めるベクトル演算部と、を具備し、上記係数演算部は、２つのフレームの平均輝度を比較し、該平均輝度の差が所定値より大きい場合は各々のフレーム毎にフリッカ補正係数を計算して設定し、上記平均輝度の差が上記所定値以下である場合は各々のフレームのフリッカ補正係数を同じ値に設定することを特徴とする。
【０００９】
請求項３に記載の発明は、請求項２に記載の発明に於いて、上記フリッカ補正部は、上記評価領域設定部と上記参照領域設定部とにそれぞれ対応して設けられていることを特徴とする。
【００１０】
請求項４に記載の発明は、請求項２に記載の発明に於いて、上記バッファメモリは、電子スチルカメラの処理ユニットが共通で使用可能なメモリであって、各処理ユニットを結ぶ共通バス上に配置されたＳＤＲＡＭで構成されることを特徴とする。
【００１１】
請求項５に記載の発明は、請求項１若しくは２に記載の発明に於いて、上記所定値は、フリッカ補正係数の量子化エッジに応じた値であることを特徴とする。
【００１２】
請求項６に記載の発明は、撮像素子から得られた２フレーム分の画像データから各々の画像データのフリッカ補正係数を求め、このフリッカ補正係数に基づいて各々の画像に対してフリッカ補正を実施し、該補正後の２つの画像データを比較して動きベクトルを求める動きベクトル検出装置に於いて、撮像素子からの各々の画像データに対応した平均輝度を求める平均輝度演算手段と、上記平均輝度演算手段で求められた２つの平均輝度を所定値と比較する比較手段と、上記比較手段で比較された結果、上記平均輝度の差が上記所定値より大きい場合は各々のフレーム毎にフリッカ補正係数を設定し、上記平均輝度の差が所定値以下の場合は各々のフレームのフリッカ補正係数を同じ値に設定する設定手段と、を具備することを特徴とする。
【００１３】
請求項７に記載の発明は、請求項６に記載の発明に於いて、上記所定値は、フリッカ補正係数の量子化エッジに応じた値であることを特徴とする。
【００１４】
請求項８に記載の発明は、撮像素子から得られた２フレーム分の画像データを第１領域と第２領域とに記憶するバッファメモリと、上記２フレームの画像データの平均輝度を所定値と比較する比較手段と、上記平均輝度の差が上記所定値より大きい場合は各々のフレーム毎にフリッカ補正係数を計算して設定し、上記平均輝度の差が上記所定値以下である場合は各々のフレームのフリッカ補正係数を同じ値に設定する設定手段と、上記第１領域に評価領域を設定し、この評価領域の画像データを出力する評価領域設定手段と、上記第２領域に参照領域を設定し、この参照領域の画像データを出力する参照領域設定手段と、上記評価領域設定手段及び上記参照領域設定手段から出力された画像データに、上記設定手段で設定されたフリッカ補正係数に基づいてフリッカ補正を行うフリッカ補正手段と、上記フリッカ補正手段からの画像データに基づいて動きベクトルを求めるベクトル演算手段と、を具備することを特徴とする。
【００１５】
請求項９に記載の発明は、請求項８に記載の発明に於いて、上記フリッカ補正手段は、上記評価領域設定手段と上記参照領域設定手段とにそれぞれ対応して設けられていることを特徴とする。
【００１６】
請求項１０に記載の発明は、請求項９に記載の発明に於いて、上記バッファメモリは、電子スチルカメラの処理ユニットが共通で使用可能なメモリであって、各処理ユニットを結ぶ共通バス上に配置されたＳＤＲＡＭで構成されることを特徴とする。
【００１７】
請求項１１に記載の発明は、請求項８に記載の発明に於いて、上記所定値は、フリッカ補正係数の量子化エッジに応じた値であることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、補正したいフレーム間の平均輝度レベルが近似している場合にも誤ったＡＥ補正を行うことのない動きベクトル検出装置を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して、本発明の実施形態を説明する。
【００２０】
図１は、本発明の一実施形態を示すもので、動きベクトル検出装置が適用されたカメラの電気系の概略構成を示すブロック図である。
【００２１】
図示されない被写体からの撮影光束は、撮影レンズ１１ａ、絞り１１ｂで構成される撮影レンズ系１１を介して撮像素子１２に入射される。この撮像素子１２に入射された撮影光束は、ここで光電変換された後、撮像回路１３を経て動きベクトル検出回路２３に至る。そして、この動きベクトル検出回路２３からの出力は画像処理回路２４へ供給される。尚、上記動きベクトル検出回路２３の詳細は後述する。
【００２２】
上記撮像回路１３は、撮影レンズ１１ａを光軸方向に移動させるためのレンズ駆動部１７、ストロボ発光部１８、例えば、レリーズパワーオン、各種のモード設定、電池表示選択等を行うためのスイッチや釦で構成される操作部１９と共に、このカメラ全体の動作を制御するシステムコントローラ１５に電気的に接続されている。
【００２３】
このシステムコントローラは、また、共通バス２１を介して、動きベクトル検出回路２３と、画像処理回路２４と、バッファメモリ２５と、ビデオメモリ２６と、インターフェース（Ｉ／Ｆ）２７と、外部インターフェース（Ｉ／Ｆ）２８とが電気的に接続されている。
【００２４】
上記画像処理回路２４では、画像信号のγ補正、ホワイトバランス補正、自動露出調整等のデジタル信号処理が施される。また、例えばＪＰＥＧ規格に基いて画像圧縮／伸長が行われる。こうして圧縮／伸長された画像データは、ビデオメモリ２６に転送されて記憶された後、ビデオ出力回路３３を介して画像表示ＬＣＤ３５に表示可能であると共に、ビデオ入出力端子３６より外部機器に入出力可能である。
【００２５】
また、上記画像データは、Ｉ／Ｆ２７からカードスロット３０を介して、当該カメラに着脱自在な着脱メモリ３１に記録することができる。更に、画像データは、外部Ｉ／Ｆ２８を介して、ビデオ出力端子３７より出力が可能である。
【００２６】
尚、電源部３９は、電源としてのカメラ電池の電圧を、当該カメラの各カメラ回路が必要とする電圧に変換して供給するために設けられている。
【００２７】
図２は、上述した動きベクトル検出回路２３の詳細を示すブロック構成図である。
【００２８】
図２に於いて、上述した撮像回路１３内の撮像データ取得部１３ａから出力されたデータが、動きベクトル検出回路２３に供給される。この動きベクトル検出回路２３は、Ｙ／Ｃ分離部４１と、評価フレーム４２ａ及び参照フレーム４２ｂを有するバッファメモリ４２と、平均輝度演算部４３ａ及び近接判断部４３ｂを有する係数演算部（係数演算手段）４３と、評価領域フリッカ補正部４７と、参照領域フリッカ補正部４８と、相関演算部５０ａ及び動きベクトル演算部５０ｂとを有するベクトル演算部５０と、を有して構成される。
【００２９】
上記撮像データ取得部１３ａは、所定時点で撮像された評価フレーム（Ｎ）４２ａと、上記所定時点よりも所定時間前に撮像された参照フレーム（Ｎ−１）４２ｂを取得するために、入力される画像に対する撮像データを取得するための手段である。この撮像データ取得部１３ａから出力されたデータに対して、Ｙ／Ｃ分離部４１にて輝度成分が抽出される。
【００３０】
平均輝度演算手段である平均輝度演算部４３ａでは、上記Ｙ／Ｃ分離部４１で抽出された各々の画像データの平均輝度が算出され、この標準輝度に基づいてフリッカ補正係数が求められる。また、比較手段としての近接判断部４３ｂでは、評価フレームと参照フレームの平均輝度の差が所定値と比較される。その結果、該平均輝度の差が所定値より大きい場合は各々のフレーム毎にフリッカ補正係数が設定される。一方、上記平均輝度の差が上記所定値以下である場合は、各々のフレームのフリッカ補正係数を同じ値に設定される。
【００３１】
評価領域設定手段である評価領域設定部４５では、撮像データ取得部１３ａから得られた評価フレーム４２ａの所定領域を評価領域として設定される。同様に、参照領域設定手段である参照領域設定部４６では、上記撮像データ取得部から得られた参照フレーム４２ｂに於いて、上記評価領域に対応した参照領域が設定される。
【００３２】
そして、設定手段とフリッカ補正手段を構成する評価領域フリッカ補正部４７及び参照領域フリッカ補正部４８では、各々の領域設定部からの画像データに対し、上記平均輝度演算部ａで求められたフリッカ補正係数に基づいて、各々の領域についてのフリッカ補正が行われる。
【００３３】
相関演算部５０ａでは、上記評価領域フリッカ補正部４７及び参照領域フリッカ補正部４８にて補正された評価領域と参照領域との相対的な位置関係がシフトされながら、各々の位置関係に於いて、上記評価領域と上記参照領域の間の相関係数が算出される。
【００３４】
ここで、相関係数は、上記評価領域と上記参照領域の対応する各画素データの差分の絶対値を領域内で積分演算を行った結果である。この相関係数が相対的に小さい場合には、相対的に相関度が高いとする相関係数となる。そして、この相関演算部５０ａからの演算結果に基づいて、動きベクトル演算部５０ｂにて動きベクトルが求められる。
【００３５】
次に、図３のフローチャートを参照して、動きベクトルの検出動作について説明する。
【００３６】
本ルーチンが開始されると、先ず、ステップＳ１にて、垂直同期信号の有無が判定される。ここで、垂直同期信号が検出された場合は、続くステップＳ２にて、参照フレーム４２ｂについての平均輝度演算が行われる。更に、ステップＳ３では、上記ステップＳ２で求められた平均輝度ＥＶN-1 より、参照フレームの補正値ＣN-1 が求められる。この補正値ＣN-1 は、基準値ＥＶSTD ／平均輝度ＥＶN-1 より求められる。
【００３７】
そして、ステップＳ４に於いては、再び垂直同期信号の有無が判定される。ここで、垂直同期信号が検出された場合は、続くステップＳ５にて、評価フレーム４２ａについての平均輝度演算が行われる。更に、ステップＳ６では、上記ステップＳ５で求められた平均輝度ＥＶN より、評価フレームの補正値ＣN が求められる。この補正値ＣN は、基準値ＥＶSTD ／平均輝度ＥＶN より求められる。
【００３８】
ここで、例えば、図４（ａ）に示されるように、評価フレーム及び参照フレームの平均輝度値が、それぞれＥＶN 、ＥＶN-1 であるとする。この場合、理想的な補正係数は図示ａの如く直線となる。この理想的な補正係数を得るためには、上述した輝度値ＥＶN 、ＥＶN-1 の逆数である補正値ＣN 、ＣN-1 を掛け合わせればよい。
【００３９】
以上のステップＳ１〜Ｓ６の処理は、平均輝度演算部４３ａにより実行される。
【００４０】
次いで、ステップＳ７に於いて、上記ステップＳ２及びステップＳ５で算出された２つのフレームの平均輝度との差（ＥＶN −ＥＶN-1 ）が、所定値（ＥＶTH）と比較される。その結果、近接処理でない、すなわち上記平均輝度の差が上記所定値より大きい（ＥＶN −ＥＶN-1 ＞ＥＶTH）と判断された場合は、フリッカキャンセル処理としてステップＳ７へ移行する。
【００４１】
図４（ｂ）は、近接処理されない場合の補正係数の例を示した図である。この場合、理想的な補正係数は図示ａの如くであるが、ビット精度を考慮した実際の補正係数は、量子化ステップ値に応じて、図示ｂの如く階段状となる。この量子化ステップ値は、精度を高くすればより細かいものとなって理想的な補正係数ａに近付くが、その一方で回路規模が大きくなる等の問題が生じる。したがって、ある程度細かくした量子化ステップ値を所定値として、近接処理を行うか否か判断するようにしている。
【００４２】
ステップＳ７では、評価フレーム、参照フレームの各々のフレーム毎に補正値が掛けられてフリッカ補正係数が設定される。このようにして、フリッカキャンセル処理が行われる。
【００４３】
一方、上記ステップＳ７に於いて、上記平均輝度の差が上記所定値以下（ＥＶN −ＥＶN-1 ≦ＥＶTH）である場合は、近接処理であるとしてステップＳ６へ移行する。
【００４４】
図４（ｃ）は、上記平均輝度の差が上記所定値以下、すなわち近接している場合の補正係数の例を示した図である。この場合、理想的な補正係数は図示ａの如くであるが、ビット精度を考慮した実際の補正係数は図示ｂの如く階段状となる。
【００４５】
ここで、上記平均輝度の差が上記所定値以下の場合、補正係数が図示ａの如くであれば問題はないが、ビット精度を考慮した実際の補正係数は図示ｂの如く階段状となる。これは、評価フレームの平均輝度ＥＶN と参照フレームの平均輝度ＥＶN-1 の値によっては、本来の補正値とは異なる値で演算してしまい、誤った補正を行ってしまうことがある。
【００４６】
このため、上記ステップＳ７にて近接していると判断された場合は、ステップＳ８にて各々のフレームの補正値が同じ値（ＣN ＝１．０、ＣN-1 ＝１．０）に設定される。そして、ステップＳ９へ移行して、同じ補正値を使用したフリッカ補正処理が行われる。つまり、上記ステップＳ８にて近接処理が行われているので、評価フレーム４２ａの出力、参照フレーム４２ｂの出力が、そのまま評価領域フリッカ補正部４７の出力と参照領域フリッカ補正部４８の出力となる。
【００４７】
以上のステップＳ７〜Ｓ９の処理は、近接判断部４３ｂにより実行される。
【００４８】
このように、評価フレームと参照フレームのフレーム間の平均輝度レベルが近似している場合には同じ値のフリッカ補正係数を設定するようにしたので、誤ったＡＥ補正を行うことを防止することができる。
【００４９】
以上、この発明の実施形態について説明したが、この発明の主旨を逸脱しない範囲で変形可能であることは勿論である。
【図面の簡単な説明】
【００５０】
【図１】本発明の一実施形態を示すもので、動きベクトル検出装置が適用されたカメラの電気系の概略構成を示すブロック図である。
【図２】図１の動きベクトル検出回路２３の詳細を示すブロック構成図である。
【図３】動きベクトルの検出動作について説明するフローチャートである。
【図４】平均輝度と補正値との関係を示すグラフである。
【符号の説明】
【００５１】
１１…撮影レンズ系、１２…撮像素子、１３…撮像回路、１３ａ…撮像データ取得部、１５…システムコントローラ、２３…動きベクトル検出回路、２４…画像処理回路、２５…バッファメモリ、２６…ビデオメモリ、２７…インターフェース（Ｉ／Ｆ）、２８…外部インターフェース（Ｉ／Ｆ）、４１…Ｙ／Ｃ分離部、４２バッファメモリ、４２ａ…評価フレーム、４２ｂ…参照フレーム、４３…係数演算部、４３ａ…平均輝度演算部、４３ｂ…近接判断部、４５…評価領域設定部、４６…参照領域設定部、４７…評価領域フリッカ補正部、４８…参照領域フリッカ補正部、５０…ベクトル演算部、５０ａ…相関演算部、５０ｂ…動きベクトル演算部。
【図１】
2006121585.tif 000003
【図２】
2006121585.tif 000004
【図３】
2006121585.tif 000005
【図４】
2006121585.tif 000006