(57)【要約】【課題】モニタリング画像上でフォーカス確認のためのフォーカス情報が適切に表示されるようにする。【解決手段】対象とする画像データについて合焦度合いを示すフォーカス評価値を生成し、この生成されたフォーカス評価値の安定化処理を行う。そして安定化処理が施されたフォーカス評価値を用いて、画像データにフォーカス情報を付加した表示データを生成する。【選択図】図１
2015034869.tif 000002
【特許請求の範囲】
【請求項１】
対象とする画像データについて合焦度合いを示すフォーカス評価値を生成する評価値生成部と、
前記評価値生成部で生成されたフォーカス評価値に対して安定化処理を行う評価値安定化部と、
前記評価値安定化部で安定化処理が施されたフォーカス評価値を用いて、画像データにフォーカス情報を付加した表示データを生成する表示データ生成部と、を備えた
画像処理装置。
【請求項２】
前記評価値安定化部における安定化処理の処理パラメータを可変設定する安定化パラメータ設定部を更に備えた、
請求項１に記載の画像処理装置。
【請求項３】
前記評価値生成部は、対象とする１フレームの画像データについて、領域分割した複数のブロック毎にフォーカス評価値を生成する
請求項１に記載の画像処理装置。
【請求項４】
前記評価値安定化部は、前記安定化処理として、対象とする１フレームの画像データのフォーカス評価値が、前フレームの画像データのフォーカス評価値との差が所定値以内となるようにするリミッタ処理を行う
請求項１に記載の画像処理装置。
【請求項５】
前記評価値生成部は、対象とする１フレームの画像データについて、領域分割した複数のブロック毎にフォーカス評価値を生成し、
前記評価値安定化部は、前記安定化処理として、各ブロックのフォーカス評価値が、前フレームの画像データの対応するブロックのフォーカス評価値との差が所定値以内となるようにするリミッタ処理を行う
請求項１に記載の画像処理装置。
【請求項６】
前記評価値安定化部は、前記安定化処理として、対象とする１フレームの画像データについてのフォーカス評価値を、過去の１又は複数フレームの画像データのフォーカス評価値を用いて平滑化する時間フィルタ処理を行う
請求項１に記載の画像処理装置。
【請求項７】
前記評価値生成部は、対象とする１フレームの画像データについて、領域分割した複数のブロック毎にフォーカス評価値を生成し、
前記評価値安定化部は、前記安定化処理として、対象とする１フレームの画像データについての各ブロックのフォーカス評価値を、過去の１又は複数フレームの画像データの対応するブロックのフォーカス評価値を用いて平滑化する時間フィルタ処理を行う
請求項１に記載の画像処理装置。
【請求項８】
前記評価値生成部は、対象とする１フレームの画像データについて、領域分割した複数のブロック毎にフォーカス評価値を生成し、
前記評価値安定化部は、前記安定化処理として、対象とする１フレームの画像データについての各ブロックのフォーカス評価値を、隣接する１又は複数のブロックのフォーカス評価値を用いて平滑化する空間フィルタ処理を行う
請求項１に記載の画像処理装置。
【請求項９】
前記安定化パラメータ設定部は、画像データに含まれるノイズ成分量に応じて、前記安定化処理の処理パラメータを可変設定する
請求項２に記載の画像処理装置。
【請求項１０】
前記安定化パラメータ設定部は、画像データを生成する撮像装置の操作情報に応じて、前記安定化処理の処理パラメータを可変設定する
請求項２に記載の画像処理装置。
【請求項１１】
前記安定化パラメータ設定部は、複数フレームの画像データから検出される画像内容の動き情報に応じて、前記安定化処理の処理パラメータを可変設定する
請求項２に記載の画像処理装置。
【請求項１２】
前記表示データ生成部は、前記フォーカス情報として合焦位置を示す画像を付加した表示データを生成する
請求項１に記載の画像処理装置。
【請求項１３】
前記評価値生成部がフォーカス評価値を生成する対象とする画像データは、前記表示データを構成する各フレームの画像データであるとともに、
前記表示データ生成部は、前記フォーカス情報を、そのフォーカス情報の元となるフォーカス評価値を生成したフレームとは同期合わせをせずに、前記表示データを構成する各フレームの画像データに対して付加して表示データを生成する
請求項１に記載の画像処理装置。
【請求項１４】
対象とする画像データについて合焦度合いを示すフォーカス評価値を生成し、
生成されたフォーカス評価値の安定化処理を行い、
安定化処理が施されたフォーカス評価値を用いて、画像データにフォーカス情報を付加した表示データを生成する、
画像処理方法。
【請求項１５】
対象とする画像データについて合焦度合いを示すフォーカス評価値を生成する処理と、
生成されたフォーカス評価値を安定化する処理と、
安定化する処理が施されたフォーカス評価値を用いて、画像データにフォーカス情報を付加した表示データを生成する処理と、
を演算処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像上の合焦部分を強調表示する画像処理装置、画像処理方法、及びプログラムについての技術分野に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特許第３５３０９０７号公報
【特許文献２】特開２０１０−１１４５５６号公報
【特許文献３】特開２００３−４６８４４号公報
【背景技術】
【０００３】
デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置では、ピント合わせやピント確認のために、撮像モニタリング画像（スルー画）上で、撮像画像上の合焦エリアを強調表示してユーザに提示する機能が知られている。
特許文献１には、ピントの外れている領域にボカシ処理や輝度変調などの画質劣化処理を施してピンボケを気づきやすくさせる手法が開示されている。
特許文献２には、いわゆるピーキングとして、被写体の輪郭（エッジ部分）を強調して表示させる技術が開示されている。
特許文献３には、焦点が合っている部分の識別を容易にするために、画像の領域毎に焦点が合っているか否かを検出し、焦点が合っている領域のエッジを強調表示することが開示されている。
これらの各特許文献の機能では、評価をしたい部分の画像データを解析してフォーカス評価値を算出し、その値に応じてピーキング、ボカシ、エッジ強調などのフォーカス情報表示を制御している。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
フォーカス評価値を計算するときに、入力画像データにノイズが含まれていると評価値に大きな誤差が乗ることがある。これは、評価値の計算に用いられる画像の微分処理が、Ｓ／Ｎ比を低下させる性質を持っているためである。なお微分処理としては、２階微分（ラプラシアン（laplasian）フィルタ）や、１階微分（ソベル（sobel）フィルタ）が良く用いられる。
誤差の乗ったフォーカス評価値を使ってモニタリング画面上にフォーカス情報を表示すると、ピーキングの場合にはマーカー線が震えたり途切れるように見えたり、不規則に点滅したり、ピントの合っていない箇所に細かなマーカー線が現れてしまう。
また、特許文献１の手法の場合には、ボカシ処理や輝度変調のかかり方がフレームごとに不規則に変化してしまい、フォーカス状態が確認しにくくなる。
【０００５】
そこで本技術では、フォーカス評価値を安定化することで、画像ノイズによる評価値の乱れを抑制し、安定したフォーカス情報表示を可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
第１に、本技術に係る画像処理装置は、対象とする画像データについて合焦度合いを示すフォーカス評価値を生成する評価値生成部と、前記評価値生成部で生成されたフォーカス評価値に対して安定化処理を行う評価値安定化部と、前記評価値安定化部で安定化処理が施されたフォーカス評価値を用いて、画像データにフォーカス情報を付加した表示データを生成する表示データ生成部と、を備えたものである。
即ちフォーカス評価値をそのまま用いずに、例えばリミッタ処理や平滑化処理などの安定化処理を施す。このように安定化したフォーカス評価値を用いてフォーカス情報表示を行う。
【０００７】
第２に、上記した本技術に係る画像処理装置においては、前記評価値安定化部における安定化処理の処理パラメータを可変設定する安定化パラメータ設定部を更に備えることが望ましい。
安定化処理については、その安定化の適切な程度や、安定化をすべき場合と安定化をしない方がよい場合などの状況が想定されることがある。そこで常に一律の安定化処理をおこなうものではなく、状況に応じて安定化処理をバイパスさせたり、あるいは安定化の程度を増減する。
【０００８】
第３に、上記した本技術に係る画像処理装置においては、前記評価値生成部は、対象とする１フレームの画像データについて、領域分割した複数のブロック毎にフォーカス評価値を生成することが望ましい。
つまり１フレームの画像データについて領域（ブロック）毎にフォーカス評価値を求め、これらについて安定化処理を行った上で、ブロック毎のフォーカス情報が表示できるようにする。
【０００９】
第４に、上記した本技術に係る画像処理装置においては、前記評価値安定化部は、前記安定化処理として、対象とする１フレームの画像データのフォーカス評価値が、前フレームの画像データのフォーカス評価値との差が所定値以内となるようにするリミッタ処理を行うことが望ましい。
リミッタ処理によりフォーカス評価値がノイズ等の影響で急激に変動することが生じないようにする。
第５に、上記した本技術に係る画像処理装置においては、前記評価値生成部は、対象とする１フレームの画像データについて、領域分割した複数のブロック毎にフォーカス評価値を生成し、前記評価値安定化部は、前記安定化処理として、各ブロックのフォーカス評価値が、前フレームの画像データの対応するブロックのフォーカス評価値との差が所定値以内となるようにするリミッタ処理を行うことが望ましい。
ブロック毎のリミッタ処理により、各ブロックのフォーカス評価値がノイズ等の影響で急激に変動することが生じないようにする。
【００１０】
第６に、上記した本技術に係る画像処理装置においては、前記評価値安定化部は、前記安定化処理として、対象とする１フレームの画像データについてのフォーカス評価値を、過去の１又は複数フレームの画像データのフォーカス評価値を用いて平滑化する時間フィルタ処理を行うことが望ましい。
時間フィルタ処理により、フレーム方向にフォーカス評価値を平滑化することでノイズ等の影響を除去又は低減してフォーカス評価値を適正化する。
第７に、上記した本技術に係る画像処理装置においては、前記評価値生成部は、対象とする１フレームの画像データについて、領域分割した複数のブロック毎にフォーカス評価値を生成し、前記評価値安定化部は、前記安定化処理として、対象とする１フレームの画像データについての各ブロックのフォーカス評価値を、過去の１又は複数フレームの画像データの対応するブロックのフォーカス評価値を用いて平滑化する時間フィルタ処理を行うことが望ましい。
ブロック毎の時間フィルタ処理により、フレーム方向にフォーカス評価値を平滑化することでノイズ等の影響を除去又は低減して、各ブロックのフォーカス評価値を適正化する。
【００１１】
第８に、上記した本技術に係る画像処理装置においては、前記評価値生成部は、対象とする１フレームの画像データについて、領域分割した複数のブロック毎にフォーカス評価値を生成し、前記評価値安定化部は、前記安定化処理として、対象とする１フレームの画像データについての各ブロックのフォーカス評価値を、隣接する１又は複数のブロックのフォーカス評価値を用いて平滑化する空間フィルタ処理を行うことが望ましい。
空間フィルタ処理により、画面内でのノイズ等による極端なフォーカス評価値の変化を抑制して、各ブロックのフォーカス評価値を適正化する。
【００１２】
第９に、上記した本技術に係る画像処理装置においては、前記安定化パラメータ設定部は、画像データに含まれるノイズ成分量に応じて、前記安定化処理の処理パラメータを可変設定することが望ましい。
ノイズ成分の量によって適切な安定化処理の度合いが異なると考えられることから、安定化処理の処理パラメータを可変設定する。
第１０に、上記した本技術に係る画像処理装置においては、前記安定化パラメータ設定部は、画像データを生成する撮像装置の操作情報に応じて、前記安定化処理の処理パラメータを可変設定することが望ましい。
安定化処理により表示されるフォーカス情報には、画像内容に対して若干の遅れが生ずるが、撮像装置の操作、例えばズーム操作、パン／チルト操作などが行われた場合、画像上の被写体の位置と、ピーキング等のフォーカス情報の位置の関係がずれることがある。またフォーカス操作が行われると、急激にフォーカス評価値が変動する。これらのことから安定化度合いを緩めたり、或いはバイパスする方がよい場合もある。そこで操作情報に応じて安定化処理の処理パラメータを可変設定する。
第１１に、上記した本技術に係る画像処理装置においては、前記安定化パラメータ設定部は、複数フレームの画像データから検出される画像内容の動き情報に応じて、前記安定化処理の処理パラメータを可変設定することが望ましい。
被写体の動きが大きい場合、画像上の被写体の位置と、ピーキング等のフォーカス情報の位置の関係がずれることがあり、このことから安定化度合いを緩めたり、或いはバイパスする方がよい場合もある。そこで動き情報に応じて安定化処理の処理パラメータを可変設定する。
【００１３】
第１２に、上記した本技術に係る画像処理装置においては、前記表示データ生成部は、前記フォーカス情報として合焦位置を示す画像を付加した表示データを生成することが望ましい。
つまり合焦位置を表す画像としてピーキング表示、合焦部分以外のボカシ画像などを表示させることで、ユーザにフォーカス状況を提示できる。
第１３に、上記した本技術に係る画像処理装置においては、前記評価値生成部がフォーカス評価値を生成する対象とする画像データは、前記表示データを構成する各フレームの画像データであるとともに、前記表示データ生成部は、前記フォーカス情報を、そのフォーカス情報の元となるフォーカス評価値を生成したフレームとは同期合わせをせずに、前記表示データを構成する各フレームの画像データに対して付加して表示データを生成することが望ましい。
安定化処理はフォーカス評価値に対して行うもので、処理のための遅れが生ずるが、あくまでも表示データ（例えば被写体モニタリング画像）には、フォーカス評価値の安定化処理による遅延の影響を及ぼさないようにする。
【００１４】
本技術に係る画像処理方法は、対象とする画像データについて合焦度合いを示すフォーカス評価値を生成し、生成されたフォーカス評価値の安定化処理を行い、安定化処理が施されたフォーカス評価値を用いて、画像データにフォーカス情報を付加した表示データを生成する画像処理方法である。これによりノイズの影響を除去又は低減したフォーカス情報表示を実行する。
本技術に係るプログラムは、対象とする画像データについて合焦度合いを示すフォーカス評価値を生成する処理と、生成されたフォーカス評価値を安定化する処理と、安定化する処理が施されたフォーカス評価値を用いて、画像データにフォーカス情報を付加した表示データを生成する処理とを演算処理装置に実行させるプログラムである。
このプログラムにより、上述の画像処理装置、画像処理方法を演算処理装置を用いて実現する。
【発明の効果】
【００１５】
本技術によれば、安定化処理によってフォーカス評価値のノイズが抑圧されることにより、信頼度の高いフォーカス情報表示が可能になる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１６】
【図１】本技術の実施の形態の画像処理装置のブロック図である。
【図２】実施の形態の強調表示の説明図である。
【図３】実施の形態の画像処理方法のフローチャートである。
【図４】実施の形態の撮像装置のブロック図である。
【図５】実施の形態のフォーカス評価値に関する処理ブロック図である。
【図６】実施の形態の画像データのブロック及び空間フィルタ係数の説明図である。
【図７】実施の形態と比較例によるピーキング表示例の説明図である。
【図８】実施の形態の撮像装置のフォーカス情報表示処理Ｉのフローチャートである。
【図９】実施の形態の撮像装置のフォーカス情報表示処理IIのフローチャートである。
【図１０】実施の形態の空間フィルタ係数の説明図である。
【図１１】実施の形態のフィルタモード設定処理（例１）のフローチャートである。
【図１２】実施の形態のフィルタモード設定処理（例２）のフローチャートである。
【図１３】実施の形態のフィルタモード設定処理（例３）のフローチャートである。
【図１４】実施の形態のコンピュータ装置のブロック図である。
【発明を実施するための形態】
【００１７】
以下、実施の形態を次の順序で説明する。
＜１．実施の形態の画像処理装置の構成及び処理例＞
＜２．撮像装置の構成＞
＜３．フォーカス情報表示処理Ｉ＞
＜４．フォーカス情報表示処理II＞
＜５．プログラム及びコンピュータ装置への適用＞
＜６．変形例＞
【００１８】
＜１．実施の形態の画像処理装置の構成及び処理例＞
図１に実施の形態の画像処理装置１の構成例を示す。
画像処理装置１は、評価値生成部２、評価値安定化部３、表示データ生成部４を有する。
この画像処理装置１は、入力された画像データD_inについて、フォーカス情報を付加した表示データD_outを生成して出力する。フォーカス情報とは、合焦度合いを提示する情報であり、例えばピーキングなどと呼ばれる強調表示として実現されたり、非合焦部分のボカシなどで実現される。以下では強調表示（ピーキング）の例で説明する。
【００１９】
強調表示とは、画像内の合焦部分のエッジを強調表示させるもので、例えば図２Ａのような撮像画像としての画像データD_inから、図２Ｂのようなエッジが強調表示された画像としての表示データD_outを生成する。表示データD_outが図示しない表示装置に供給され、図２Ｂのような画像が表示されることで、ユーザは、画像データD_inについての合焦部分を容易に確認できるものとなる。なお図２Ｂでは強調表示部分を太線で示しているが、実際には、合焦部分のエッジの輝度を高く（もしくは全体が高輝度の画像であれば輝度を低く）したり、エッジの色を黄色や赤色などに変換したり、エッジとなる線を太くしたりするなどの手法で強調表示を行う。
【００２０】
図１の画像処理装置１において、評価値生成部２は、対象とする画像データD_inについて合焦度合いを示すフォーカス評価値を生成する。画像データD_inは、例えばデジタルスチルカメラ等の撮像装置でイメージャにより光電変換され、所定の処理を経て得られた撮像画像データである。フォーカス評価値とは、合焦度合いを示す値である。
この評価値生成部２は、この画像データD_inとしての各フレームについて、例えば全体としてのフォーカス評価値を生成したり、或いは図６Ａで後述するように１フレーム内を領域分割した各ブロックＢＫ毎にフォーカス評価値を生成する処理を行う。
【００２１】
評価値安定化部３は、評価値生成部２で生成されたフォーカス評価値に対して安定化処理を行う。安定化処理とは、例えばリミッタ処理、時間フィルタ処理、空間フィルタ処理のいずれか、又はこれらの組み合わせである。
【００２２】
表示データ生成部４は、評価値安定化部３で安定化されたフォーカス評価値を用いて画像データD_in内での強調表示部分を選択し、選択された部分を強調表示させる表示データD_outを生成する。例えばフォーカス評価値が所定閾値を超える部分の画素の輝度を高くしたり、或いは色情報を変更するなどの手法で、強調表示が行われるようにする。このように表示データD_outを生成して、図示しない表示装置に出力する。これにより図２Ａの画像について、図２Ｂのような表示が行われる。
【００２３】
もちろんフォーカス情報の表示の態様としては、合焦部分の強調表示（ピーキング）や非合焦部分のボカシなどのように画像の部分毎に行うものでもよいが、例えば１画面全体としてのフォーカス評価値を求めるようにして（つまり１フレームで１つのフォーカス評価値）、そのフォーカス評価値を安定化した上で、表示上で合焦度合いを提示するようなフォーカス情報としてもよい。
【００２４】
図３Ａ、図３Ｂは画像処理装置１による処理手順の例を示している。
図３Ａの処理は、まずステップＦ１として画像データD_inの１フレームが画像処理装置１に入力される。
ステップＦ２で評価値生成部２が１フレームの画像データにおいて例えば各ブロックＢＫ毎に合焦度合いを示すフォーカス評価値、もしくは当該フレーム全体についての１つのフォーカス評価値を生成する。
ステップＦ３で評価値安定化部３が、評価値生成部２が出力したフォーカス評価値に対して安定化処理を行う。
安定化処理の例としては、対象とする１フレームの画像データのフォーカス評価値が、前フレームの画像データのフォーカス評価値との差が所定値以内となるようにするリミッタ処理がある。
またブロック毎にフォーカス評価値を生成する場合、安定化処理としては、各ブロックのフォーカス評価値が、前フレームの画像データの対応するブロックのフォーカス評価値との差が所定値以内となるようにするリミッタ処理が想定される。
また安定化処理の例として、対象とする１フレームの画像データについてのフォーカス評価値を、過去の１又は複数フレームの画像データのフォーカス評価値を用いて平滑化する時間フィルタ処理が考えられる。
またブロック毎にフォーカス評価値を生成する場合、安定化処理としては、対象とする１フレームの画像データについての各ブロックのフォーカス評価値を、過去の１又は複数フレームの画像データの対応するブロックのフォーカス評価値を用いて平滑化する時間フィルタ処理が想定される。
また安定化処理の例として、対象とする１フレームの画像データについての各ブロックのフォーカス評価値を、隣接する１又は複数のブロックのフォーカス評価値を用いて平滑化する空間フィルタ処理が考えられる。
【００２５】
ステップＦ４では、表示データ生成部４が、安定化されたフォーカス評価値を用いて、フォーカス情報を画像データD_inに付加する。例えば強調表示としての輪郭線を付加する。これにより表示データD_outを生成する。そしてステップＦ５で表示データ生成部５は、生成した表示データD_outを出力する。
【００２６】
図３Ｂは、図３ＡのステップＦ２，Ｆ３の間にステップＦ１０を加えた例である。ステップＦ１０では、評価値安定化部３は、安定化処理のフィルタモードを設定する。これは安定化処理の処理パラメータを可変設定する例である。
例えば画像データに含まれるノイズ成分量に応じて安定化処理パラメータを可変設定したり、画像データを生成する撮像装置の操作情報に応じて安定化処理パラメータを可変設定したり、複数フレームの画像データから検出される画像内容の動き情報に応じて安定化処理パラメータを可変設定する。
ステップＦ３では、このステップＦ１０で設定した安定化処理パラメータを用いてリミッタ処理、空間フィルタ処理、時間フィルタ処理の全部又は一部を行う。
【００２７】
以上のように画像処理装置１で図３Ａ又は図３Ｂの処理として、評価値生成部２から出力されるフォーカス評価値に対して、評価値安定化部３で、過去のフレームからの値の急激な変化を抑制するリミッタ処理をおこなったり、時間フィルタ処理、空間フィルタ処理でフレーム方向や空間方向の平滑化を行うことで安定化した評価値を得る。そして安定化された評価値に対して、フィルタ処理で空間方向，フレーム方向の平滑化をかけてさらに安定化された評価値を使って、表示データ（例えば撮像のモニタリング画像）へのフォーカス情報の重畳を行う。
このようにすると、リミッタ処理、平滑化処理によってフォーカス評価値に含まれるノイズの影響が抑制されるため、フォーカス情報について好ましい表示が行える。
また、リミッタ処理と時間・空間方向の平滑化処理を併用するようにすれば、少ない評価値のフレーム遅れで、安定性の高いノイズ対策が可能になる。
これは、平滑化処理だけで抑制しようとするとフィルタのタップが長くなるところ、評価値が急激に変化するケースがリミッタにより抑制され、さらに、リミッタ処理を通過する評価値の細かな変動が、平滑化処理で抑制されるためである。
【００２８】
また図３Ｂの処理を行うようにすれば、状況に応じて安定化処理をバイパスさせたり、あるいは安定化の程度を増減することができる。安定化処理については、その安定化の適切な程度や、安定化をすべき場合と安定化をしない方がよい場合などの状況が想定されることがあるためである。
【００２９】
以上により、画像処理装置１によれば、表示装置において見やすく、かつノイズの影響を除去又は低減したフォーカス情報を行うことができる。
なお、図１の構成において、評価値生成部２、評価値安定化部３、表示データ生成部４を有する画像処理装置１は、演算処理装置としてのＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などで実現できる。また各部を例えば複数のＣＰＵや、ＣＰＵと画像処理用ＤＳＰ等に分散して実現し、それらの演算処理装置の連携処理として、画像処理装置１を機能を実現することも考えられる。
【００３０】
＜２．撮像装置の構成＞
以下では、上記のような画像処理装置１を内蔵した撮像装置１０を例に挙げ、構成及び動作（合焦部分の強調表示）について詳しく説明する。
実施の形態の撮像装置１０の構成例を図４に示す。
この撮像装置１０はいわゆるデジタルスチルカメラ或いはデジタルビデオカメラとされ、静止画や動画の撮像／記録を行う機器であり、請求項でいう画像処理装置を内蔵するものである。この撮像装置１０は、いわゆるスルー画（被写体モニタリング画像）としての動画表示において、合焦部分の強調表示を実行するものとする。
【００３１】
図４に示すように撮像装置１０は、光学系１１、イメージャ１２、光学系駆動部１３、センサ部１４、記録部１５、通信部１６、デジタル信号処理部２０、制御部３０、表示部３４、操作部３５を有する。
【００３２】
光学系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。この光学系１１により、被写体からの光がイメージャ（光電変換部）１２に集光される。
イメージャ１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal OxideSemiconductor）型など、光電変換画素がマトリクス状に配置されて形成された撮像素子を有する。
このイメージャ１２では、撮像素子での光電変換で得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像画像信号（以下、撮像画像データ）を、後段のデジタル信号処理部２０に出力する。
【００３３】
光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１における絞り機構を駆動し、露光調整を実行する。さらに光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるズームレンズを駆動し、ズーム動作を実行する。
なおフォーカスレンズは、撮像画像の合焦状態検出に応じて制御部３０が光学系駆動部１３の動作を制御するオートフォーカスとしての駆動が行われる他、ユーザのフォーカス操作子の操作に応じて制御部３０が光学系駆動部１３の動作を制御するマニュアルフォーカスとしての駆動も行われる。
【００３４】
デジタル信号処理部２０は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。このデジタル信号処理部２０は、イメージャ１２からのデジタル信号（撮像画像データ）に対して、各種の信号処理を施す。
例えばデジタル信号処理部２０は、前処理部２１、同時化部２２、ＹＣ生成部２３、解像度変換部２４、コーデック部２５、表示データ生成部２６、フォーカス評価処理部２７、動き検出部２８を備えている。
【００３５】
前処理部２１は、イメージャ１２からの撮像画像データに対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。
同時化部２２は、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにするデモザイク処理を施す。
ＹＣ生成部２３は、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換部２４は、各種の信号処理が施された画像データに対して、必要な解像度変換処理、例えば記録用や通信出力用の解像度変換を実行する。
コーデック部２５は、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。
【００３６】
表示データ生成部２６は、制御部３０の制御に従って、表示部３４に出力する例えばスルー画としての表示データを生成する。
表示データ生成部２６は、例えばスルー画としての表示データを、解像度変換部２４で記録用に解像度変換された画像データについて更に表示用に解像度変換することで得る。なお、表示部３４での表示サイズに合わせたリサイズ（拡大・縮小）を行う場合もある。
例えば静止画撮像記録のためにユーザが被写体を探しているときや、動画記録のスタンバイ中などにおいて、表示データ生成部２６は撮像画像データに基づくスルー画表示のための表示データを生成する。そして表示データを表示部３４に供給し、スルー画表示を実行させる。
【００３７】
また表示データ生成部２６は、フォーカス情報表示としての合焦部分の強調表示（ピーキング）のための処理も行う。例えばスルー画としての画像データ上で、フォーカス評価値の高い部分を選択し、当該部分に含まれる画素が表示部３４において強調してユーザに提示されるような画像処理を行う。例えば図２Ａのような撮像画像データに対して合焦部分を検出し、図２Ｂのように合焦部分と検出された画素について輝度を高くしたり、或いは色情報を変更するなどの手法で、強調表示が行われるようにする。このような強調表示を伴った表示データを生成して表示部３４で表示させることで、ユーザが、ピント確認（合焦部分、合焦状態の確認）を容易かつ正確にできるようになる。例えばユーザは強調表示を見ながらマニュアルフォーカスやオートフォーカス機能によりフォーカスを調整し、意図した被写体部分のエッジが強調されれば、合焦していると判断して静止画撮像記録を行ったり動画記録を開始することができる。
【００３８】
フォーカス評価処理部２７は、上述のピーキング等のフォーカス情報表示のためのフォーカス評価値を生成する。特に本例の場合、フォーカス評価処理部は、画像データの各フレームについてフォーカス評価値を生成するだけでなく、そのフォーカス制御値の安定化処理も行う。そして安定化されたフォーカス評価値を表示データ生成部２６に供給することで、表示データ生成部２６で、安定化されたフォーカス評価値に基づいたフォーカス情報表示のための処理が実行されるようにする。
【００３９】
動き検出部２８は、撮像画像データに現れる被写体の動き状況を検出する。例えば各フレームの画像の差分から被写体画像の動きの大きさを検出する。
この動きベクトル検出部２８は、例えばＹＣ生成部２３で得られる撮像画像信号（輝度信号／色信号）を対象として、各フレーム単位での画像解析処理を行い、画面を複数に分割した各エリアの動きベクトル（ローカルベクトル）を求める。またローカルベクトルから、画像全体のベクトル（グローバルベクトル）を求める場合もある。
動き検出部２８は、検出したローカルベクトル又はグローバルベクトルを動き情報として制御部３０に受け渡す。
【００４０】
なお、この図４の例では表示データ生成部２６、フォーカス評価処理部２７、動き検出部２８をデジタル信号処理部２０で実行される機能構成としているが、これは一例であり、制御部３０において、これらの各部の処理を実行する例も考えられる。
【００４１】
制御部３０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１０全体を統括的に制御する。
ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。本例においては特に、イメージャ１２の解像度モード切替のための処理を実行するためのプログラムも記憶される。
【００４２】
このような制御部３０は、デジタル信号処理部２０における各種信号処理のパラメータ制御、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。
【００４３】
また本実施の形態の場合、制御部３０は、上述のフォーカス評価処理部２７におけるフォーカス評価値の安定化処理に関連して、安定化パラメータ設定部３０ａとしての機能を備える。
安定化パラメータ設定部３０ａは、撮像装置１０に対するユーザの操作状況や、画像のノイズ状況、画像の動き情報を検出・認識する。そしてその結果に応じて、フォーカス評価処理部に対して安定化係数の設定指示を行う。
なお、安定化パラメータ設定部３０ａはデジタル信号処理部２０の機能として実現してもよい。
【００４４】
表示部３４はユーザ（撮像者等）に対して各種表示を行う表示部であり、例えば撮像装置１０の筐体上に形成されるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されてもよい。
この表示部３４は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、制御部３０の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、表示データ生成部２６からの表示データに応じて、レリーズ（シャッタ操作）待機中に撮像される各フレームの撮像画像データによる動画としてのスルー画をディスプレイデバイスの画面上に表示させる。スルー画上での強調表示も行う。また各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。
【００４５】
操作部３５は、ユーザの操作を入力する入力機能を有し、入力された操作に応じた信号を制御部３０へ送る。
この操作部３５としては、例えば撮像装置１０の筐体上に設けられた各種操作子や、表示部３４に形成されたタッチパネルなどとして実現される。
筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン（レリーズボタン）、マニュアルフォーカスのための操作子としてのフォーカスリング等が設けられる。
またタッチパネルと表示部３４に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
【００４６】
記録部１５は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル（コンテンツファイル）や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。
画像ファイルは、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式で記憶される。
記録部１５の実際の形態は多様に考えられる。例えば記録部１５は、撮像装置１０に内蔵されるフラッシュメモリでもよいし、撮像装置１０に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１０に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
また、本例において後述するフォーカス評価処理部２７及び表示データ生成部２６の処理や、安定化パラメータ設定部３０ａの処理をデジタル信号処理部２０や制御部３０に実行させるためのプログラムは、記録部１５に記憶されてもよい。
【００４７】
通信部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ（静止画ファイルや動画ファイル）の通信を行う。また、ネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
例えば通信部１６によりスルー画や再生画としての表示データを外部の表示装置に送信して表示させることもできる。つまり表示部３４での各種の表示を外部表示装置で実行するようにしてもよい。
【００４８】
センサ部１４は各種センサを包括的に示している。例えば手ぶれ、或いは撮像装置１０の姿勢や移動（パン移動、チルト移動等）等、撮像装置１０の全体の動きを検出するためのジャイロセンサ（角速度センサ）、加速度センサ等が設けられる。
また露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。
またセンサ部１４として、光学系１１におけるズームレンズの位置を検出するズームレンズ位置センサ、フォーカスレンズの位置を検出するフォーカスレンズ位置センサが設けられる場合もある。
またセンサ部１４として、メカアイリス（絞り機構）の開口量を検出するセンサが設けられる場合もある。
センサ部１４の各種センサは、それぞれ検出した情報を制御部３０に伝達する。制御部３０は、センサ部１４で検出された情報を用いて各種制御を行うことができる。
【００４９】
このような撮像装置１０において、フォーカス評価値に関する処理の流れについて図５のブロック図で説明する。
図５ではデジタル信号処理部２０内の解像度変換部２４、コーデック部２５、表示データ生成部２６、フォーカス評価処理部２７を示すと共に、記録部１５，表示部３４、及び制御部２０における安定化パラメータ設定部３０ａを示している。
【００５０】
あるフレームについて静止画記録が行われる場合、或いは動画記録が行われている期間は、解像度変換部２４で例えば記録用に解像度変換された画像データが、コーデック部２５で符号化されて記録部１５に記録される。
一方、静止画記録に至る期間（シャッタ操作が行われるまでの期間）や動画記録期間には、スルー画表示が行われる。スルー画表示が行われている期間は、解像度変換部２４から出力される画像データは、表示データ生成部２６に供給されて表示データに変換される。具体的には、表示データ生成部２６にはフォーカス情報付加部５１及び表示用解像度変換部５２としての処理機能が設けられている。解像度変換部２４からの画像データはフォーカス情報付加部５１でピーキングとしてのエッジ画像などのフォーカス情報付加処理が行われた上で、表示用解像度変換部５２で表示部３４の表示領域に合わせた解像度変換が行われて表示データとされ、表示部３４に供給される。
【００５１】
ここで、解像度変換部２４からの画像データは、フォーカス評価処理部２７にも供給される。
フォーカス評価処理部２７としては、図示のように評価値生成部６１、評価値安定化部６２を備える。評価値安定化部６２にはリミッタ部６５、バッファー６３、平滑化部６４が設けられる。
【００５２】
評価値生成部６１は、解像度変換部２４から順次入力されてくる各フレームの画像データを対象として、合焦度合いを示すフォーカス評価値を生成する。
特に評価値生成部６１は、各フレームの画像データについて、図６Ａのように１フレームの画像内を多数に領域分割したブロックＢＫ毎にフォーカス評価値を生成する処理を行う。従って１フレームにつき、ブロックＢＫの数に相当するフォーカス評価値が生成され、リミッタ部６５に供給される。ブロックＢＫは、それぞれ隣接する複数画素のグループであるとしている。
【００５３】
フォーカス評価値の生成手法は各種考えられるが、一例として次のような処理がある。
例えばブロックＢＫを構成する各画素データについて、簡易的にＹ信号を生成する。そして生成したＹ信号についてＨＰＦ（ハイパスフィルタ）で高域抽出を行い、さらに絶対値化する。即ち高域成分を絶対値として抽出する。そして高域成分ノイズ除去等を行った後、積分処理を行う。つまり、各ブロックＢＫについて、そのブロックＢＫを構成する画素データの高域成分を積算していき、その結果としてフォーカス評価値を得る。
合焦領域ではエッジ成分が顕著に表れることで高域成分の積算値が高い値となる。従ってこの積算値をフォーカス評価値とすれば、フォーカス評価値は、ブロックＢＫについての合焦度合いを示す値となる。
【００５４】
評価値安定化部６２では、まずリミッタ部６５でリミッタ処理を行う。
リミッタ処理の出力としての各ブロックＢＫのフォーカス評価値はバッファー６３に格納され、１フレーム後にリミッタ部６５に供給される構成を採る。これによりリミッタ部６５では、評価値生成部６１からの各ブロックＢＫのフォーカス評価値と、１フレーム前の画像データについて得られたリミッタ処理後の各ブロックＢＫのフォーカス評価値とが、比較可能な構成とされている。
【００５５】
リミッタ処理は、例えば次のように行う。
生のフォーカス評価値（評価値生成部６１で求めた状態のフォーカス評価値）を“V_raw”、前フレームのフォーカス評価値を“V_previous”、現フレームのフォーカス評価値を“V_current”、リミット幅を“Ｅ”とした場合に、
・V_current＞V_previous＋Ｅのときは、V_current＝V_previous＋Ｅ
・V_current＜V_previous＋Ｅのときは、V_current＝V_previous−Ｅ
・他のときは、V_current＝V_raw
とする。
なお、本例のようにブロックＢＫ毎のリミット処理である場合、各ブロックの座標位置を“ｐ”として、上記各式は、“V_raw（ｐ）”“V_previous（ｐ）”“V_current（ｐ）”を使って表される。
【００５６】
即ちこのリミッタ処理は、各ブロックＢＫについての現フレームのフォーカス評価値は、前フレームの対応するブロックのリミット処理後のフォーカス評価値からの差分が、所定値としてのリミット幅Ｅ以内に制限されるようにするものである。差分がリミット幅Ｅ以内であれば生のフォーカス評価値V_raw（ｐ）がそのまま現フレームのフォーカス評価値V_current（ｐ）とされる。
【００５７】
リミッタ部６５でリミッタ処理された各ブロックＢＫのフォーカス評価値V_current（ｐ）は、平滑化部６４に供給されるとともに、次のフレームの画像データに対する前フレームのフォーカス評価値V_previous（ｐ）としてバッファー６３に格納される。
【００５８】
平滑化部６４では、空間フィルタ６４ａと時間フィルタ６４ｂが設けられている。
空間フィルタ６４ａでは、安定化処理として、対象とする１フレームの画像データについての各ブロックＢＫのフォーカス評価値（V_current（ｐ））を、隣接する１又は複数のブロックのフォーカス評価値を用いて平滑化する。いわゆる空間方向のローパスフィルタ処理ともいえる。
例えば各ブロックＢＫのフォーカス評価値を、それぞれの画像の水平方向の隣接ブロックや、垂直方向の隣接ブロック、或いは周囲のブロックなどの、近隣の１又は複数のブロックのフォーカス評価値を用いて平滑化する。
【００５９】
具体例を示す。空間フィルタ６４ａへの入力される各ブロックのフォーカス評価値を“V_in”、空間フィルタ６４ａから出力される各ブロックのフォーカス評価値を“V_out”、フィルタ係数行列を“ａ”としたときに、
V_out＝ａ＊V_in
とする演算を行う。ここで、“＊”は畳込み演算を示す。そしてフィルタ係数行列ａは、例えば図６Ｂのように設定する。
図６Ｂでは、対象とするブロックＢＫに斜線を付しており、そのブロックＢＫを含め周囲の２５個のブロックＢＫについての係数を例えば（１／２５）とした例である。
つまり、入力される各ブロックＢＫのフォーカス評価値V_inは、自己を含め周囲の２５ブロックのフォーカス評価値V_inのそれぞれの１／２５の値が反映されて平滑化され、空間フィルタ６４ａの出力としてのフォーカス評価値V_outとされる。
【００６０】
次に平滑化部６４における時間フィルタ６４ｂでは、安定化処理として、対象とする１フレームの画像データについてのフォーカス評価値を、過去の１又は複数フレームの画像データのフォーカス評価値を用いて平滑化する。本例のようにブロックＢＫ単位の処理の場合、時間フィルタ６４ｂは、対象とする１フレームの画像データについての各ブロックのフォーカス評価値を、過去の１又は複数フレームの画像データの対応するブロックのフォーカス評価値を用いて平滑化することになる。
時間フィルタ６４ｂは、具体的には次のようにＦＩＲ（Finite Impulse Response）フィルタ又はＩＩＲ（Infinite Impulse Response）フィルタとしてのローパスフィルタで実現できる。
【００６１】
まずＦＩＲフィルタの場合を説明する。
現在のフレーム番号を“ｎ”、第Ｎフレームのフォーカス評価値を“Ｖ（Ｎ）”、時間フィルタ６４ｂで安定化されて出力されるフォーカス評価値を“V_out”、平滑化係数をＣｏｅｆｆ＝［ｃ０  ｃ１  ｃ２］（数字は過去のフレームを表す）とする。この場合に、
V_out＝ｃ０×Ｖ（ｎ）＋ｃ１×Ｖ（ｎ−１）＋ｃ２×Ｖ（ｎ−２）
とする。
例えば、ｃ０＝ｃ１＝ｃ２＝１／３とすれば、過去３フレームを用いて平滑化したフォーカス評価値V_outが得られる。
なおｃ０＝ｃ１＝ｃ２＝１／３の場合には、フォーカス評価値の位相は１フレーム遅れる。（０フレーム遅れ×０．３３＋１フレーム遅れ×０．３３＋２フレーム遅れ×０．３３＝１フレーム遅れ）。
仮にｃ０＝１、ｃ１＝ｃ２＝０とすると、フォーカス評価値の位相に遅れは発生しない（０フレーム遅れ×１＋１フレーム遅れ×０＋２フレーム遅れ×０＝０）。これはフィルタをバイパスする意味となる。
【００６２】
次にＩＩＲフィルタの場合を説明する。
現在のフレーム番号を“ｎ”、第Ｎフレームのフォーカス評価値を“Ｖ（ｎ）”、時間フィルタ６４ｂで安定化されて出力されるフォーカス評価値を“V_out（ｎ）”、平滑化係数（帰還率）をＣｏｅｆｆ＝［ｃｒ］  （但しｃｒ＜１．０）とする。
この場合に、
V_out（ｎ）＝ｃｒ×V_out（ｎ−１）＋（１．０−ｃｒ）×Ｖ（ｎ）
とする。
“ｃｒ”が１に近くなるほど、時定数が大きくなり、安定化の度合が高まるため、適切な“ｃｒ”を設定する。
なお“ｃｒ”が１に近く、安定化度合を高めるほど、変化に対する反応が遅くなる。仮に“ｃｒ”を０とすると、出力される評価値には遅れは生じない（入力＝出力）が、これはフィルタをバイパスする意味となる。
【００６３】
例えば以上のように平滑化部６４で空間フィルタ６４ａによる安定化処理や、時間フィルタ６４ｂによる安定化処理が行われる。そしてこの平滑化部６４で安定化された各ブロックＢＫのフォーカス評価値が表示データ生成部２６におけるフォーカス情報付加部５１に供給される。
フォーカス情報付加部５１では、入力された各ブロックＢＫのフォーカス評価値に基づいて、モニタリング画像としての画像データに対して、フォーカス情報を付加する。
【００６４】
なお、平滑化部６４における空間フィルタ６４ａのフィルタ係数（フィルタ係数行列ａ）や時間フィルタ６４ｂのフィルタ係数（平滑化係数Ｃｏｅｆｆ）、さらにはリミッタ部６５のリミット幅Ｅは、安定化パラメータ設定部３０ａからの指示ＳＳにより可変されるようにすることができる。この点については後述する。
【００６５】
＜３．フォーカス情報表示処理Ｉ＞
本実施の形態の撮像装置１０では、図５のようなフォーカス評価処理部２７として、評価値生成部６１と評価値安定化部６２を備え、これによって得られたフォーカス評価値に基づいて表示データ生成部２６がスルー画（モニタリング画像）としての画像データにフォーカス情報を付加している。
まず、図５のような構成を採る意味を図７で説明する。
【００６６】
例えば本例の撮像装置１０では、ピーキング（強調表示）機能として、撮像画像データからフォーカスの合焦度合いを推定し、モニタリング画像上に領域ごとのフォーカス情報を重畳表示することで、ユーザがフォーカスの合い具合を確認できるようにしている。
このような場合に、撮像画像データに含まれるノイズによってフォーカス評価値が乱されることがある。
そこで本実施の形態では、上述の時間フィルタ６４ｂやリミッタ部６５により、複数のフレームのフォーカス評価値を使って、フォーカス評価値自体を平滑化することや、空間フィルタ６４ａでフレーム内で空間的に平滑化を行うことで、ノイズの影響を減らし、フォーカス情報表示の乱れを防ぐものである。
【００６７】
図７Ａが元の撮像画像データによる画像であり、これがフォーカス評価値の生成のためのフォーカス評価処理部２７への入力画像であるとする。
この場合、評価値生成部６１で得られる高周波成分検出によるブロックＢＫ毎の生のフォーカス評価値は図７Ｂのようになる。
この図７Ｂにおいて、１つの方形が１つのブロックＢＫである。そして白が合焦（フォーカス評価値が高い）、黒が非合焦（フォーカス評価値が低い）である。各ブロックＢＫは、白に近くなるほど合焦度合が高いということである。
ただ、この図７Ｂをみるとわかるように、生のフォーカス評価値は隣接するブロックＢＫでも極端に変動する部分が多く、暴れたスコアであるといえる。
仮にこのような生のフォーカス評価値に基づいてピーキング表示を行うと、図７Ｃのようになる。即ち合焦部分のマーカー線（太線で示す）が震えたり途切れるように見えたり、不規則に点滅したり、ピントの合っていない箇所に細かなマーカー線が現れてしまう。  
【００６８】
一方、評価値生成部６１で得られたフォーカス評価値を評価値安定化部６２で安定化したものが図７Ｄに示される。空間方向及び時間方向の安定化により、スコアの暴れがなくなっている。
このような安定化されたフォーカス評価値に基づいてピーキング表示を行うと、図７Ｅのように、的確に合焦部分についてマーカー線が表示されるようになる。このような表示により、ユーザはピントが合っている被写体を明確に認識できる。
【００６９】
本実施の形態では、このように的確なフォーカス情報表示を行うため、評価値安定化部６２の処理を加える。
デジタル信号処理部２０で実行されるフォーカス情報表示処理Ｉを図８に示す。この処理は、デジタル信号処理部２０において図５で説明した構成により実行される。
なお、このフォーカス情報表示処理Ｉは、安定化処理パラメータを固定としている例である。安定化処理パラメータとは、例えば上述のリミット幅Ｅ、フィルタ係数行列ａ、平滑化係数Ｃｏｅｆｆなどの、各安定化処理に用いられるフィルタ係数などのパラメータの総称としている。このように安定化処理パラメータを固定とする場合、制御部３０における安定化パラメータ設定部３０ａは不要となる。安定化処理パラメータを変更する例はフォーカス情報表示処理IIとして後述する。
【００７０】
図８のフォーカス情報表示処理Ｉとしては、まずステップＦ１０１でデジタル信号処理部２０の処理は、フォーカス情報表示の実行中か否かにより処理を分岐する。フォーカス情報表示の実行／不実行は制御部３０により指示される。不実行であればステップＦ１０１〜Ｆ１０７の処理はバイパスされる。
例えばピーキング表示としてフォーカス情報表示の実行中は、デジタル信号処理部２０はステップＦ１０２〜Ｆ１０７の処理が繰り返し実行される。
まずステップＦ１０２として、フォーカス評価処理部２７及び表示データ生成部２６が、解像度変換部２４からの１フレームのモニタリング画像を取得する。
【００７１】
ステップＦ１０３では、フォーカス評価処理部２７が評価値生成部６１により当該フレームの各ブロックＢＫについてのフォーカス評価値を生成する。
そしてステップＦ１０４では、各ブロックＢＫのフォーカス評価値に対して、評価値安定化部６２がリミッタ部６５による上述のリミッタ処理を施す。
ステップＦ１０５では、次のフレームでのリミッタ処理のため、リミッタ処理出力のフォーカス評価値がバッファー６３に取り込まれる。
ステップＦ１０６では、リミッタ処理された各ブロックＢＫのフォーカス評価値について、さらに平滑化部６４での平滑化処理が行われる。例えば空間フィルタ６４ａの処理と時間フィルタ６４ｂの処理の両方が行われる。
【００７２】
このようにフォーカス評価値は、生成された後にリミッタ処理、空間フィルタ処理、時間フィルタ処理として安定化が行われる。そしてステップＦ１０７で表示データ生成部２６に供給される。表示データ生成部２７では、フォーカス情報付加部５１が、供給されてきたフォーカス評価値に基づいて、その時点で入力されているモニタリング画像データにフォーカス情報を付加する。例えばピーキングとしてのマーカー線をモニタリング画像データに重畳させる処理を行う。
【００７３】
なお、評価値生成や安定化のための処理の遅延が生ずることで、フォーカス情報付加部５１では、あるフレームＦ（ｘ）について生成及び安定化された評価値を用いて、より後のフレームＦ（ｙ）に対してフォーカス情報付加を行うことになる。
さらには、時間フィルタ６４ｂやリミッタ部６５の処理は、あるフレームＦ（ｘ）について過去のフレームＦ（ｘ−１）、Ｆ（ｘ−２）・・・のフォーカス評価値を反映させて安定化を行うため、フレームＦ（ｙ）に対しては、フレームＦ（ｘ）、Ｆ（ｘ−１）、Ｆ（ｘ−２）・・・から得られたフォーカス情報が付加される。
本実施の形態では、このようにフォーカス評価値生成とフォーカス情報付加には同期はとられていない。これは、表示データ生成部２７側で同期のためにモニタリング画像データに遅延を与えると、表示部３４に表示されるモニタリング画像自体が、実際の被写体状況からの遅れを大きくしてしまい、撮像装置のユーザに違和感を与えたり、シャッターチャンスを確認しづらいモニタリング画像としてしまうためである。
【００７４】
以上のようにフォーカス情報表示処理Ｉを行う実施の形態では、以下の効果が得られる。
実施の形態の撮像装置１０は、対象とする画像データについて合焦度合いを示すフォーカス評価値を生成する評価値生成部６１と、評価値生成部６１で生成されたフォーカス評価値に対して安定化処理を行う評価値安定化部６２と、評価値安定化部６２で安定化処理が施されたフォーカス評価値を用いて、画像データにフォーカス情報を付加した表示データを生成する表示データ生成部２６とを備えている。
このような構成で、安定化したフォーカス評価値を用いてフォーカス情報表示を行うことで、ユーザにより的確なフォーカス情報表示を実現できる。例えばピーキング表示としてマーカー線の途切れや、ノイズ的な表示のない図７Ｅのような表示が実現できる。
このように信頼度の高いフォーカス情報表示が可能になることで、ユーザによるフォーカス合わせ操作やフォーカス確認操作が容易になる。
【００７５】
また実施の形態の撮像装置１０では、評価値生成部６１は、対象とする１フレームの画像データについて、領域分割した複数のブロックＢＫ毎にフォーカス評価値を生成している。これにより１フレームの画像データについて領域（ブロック）毎にフォーカス評価値を求め、これらについて安定化処理を行った上で、ブロック毎のフォーカス情報が表示できる。例えばピーキングのように、部分部分の合焦度合を提示するためのフォーカス評価値生成という観点では、このようにブロックＢＫ毎の処理が好ましいことになる。
なお、ブロックＢＫは、ある複数の画素の集合としていたが、１画素＝１ブロックとしてもかまわない。
【００７６】
また実施の形態の撮像装置１０では、安定化処理として、対象とする１フレームの画像データのブロックＢＫ毎のフォーカス評価値が、前フレームの画像データの対応するブロックＢＫのフォーカス評価値との差が所定値以内となるようにするリミッタ処理を行う。このリミッタ処理によりブロックＢＫ毎のフォーカス評価値がノイズ等の影響で急激に変動することが生じないようにすることができる。
また実施の形態の撮像装置１０では、安定化処理として、対象とする１フレームの画像データについてのブロックＢＫ毎のフォーカス評価値を、過去の１又は複数フレームの画像データの対応するブロックＢＫのフォーカス評価値を用いて平滑化する時間フィルタ処理を行う。時間フィルタ処理により、フレーム方向にフォーカス評価値を平滑化することでノイズ等の影響を除去又は低減して各ブロックＢＫのフォーカス評価値を適正化できる。特に時間フィルタ処理は、ノイズ抑制効果が高い。
また実施の形態の撮像装置１０では、安定化処理として、対象とする１フレームの画像データについての各ブロックのフォーカス評価値を、隣接する１又は複数のブロックのフォーカス評価値を用いて平滑化する空間フィルタ処理を行う。空間フィルタ処理により、画面内でのノイズ等による極端なフォーカス評価値の変化を抑制して、各ブロックＢＫのフォーカス評価値を適正化できる。
【００７７】
特に本実施の形態では図５，図８を参照して述べたように、ブロックＢＫごとのフォーカス評価値に対して、過去のフレームからの値の急激な変化を抑制するリミッタ処理をおこなって評価値を概ね安定化し（処理ａ）、概ね安定化された評価値に対して、フィルタ処理で空間方向、フレーム方向の平滑化をかけてさらに安定化された評価値を得て（処理ｂ）、安定化された評価値を使って、モニタリング画像へのフォーカス情報の重畳を制御する（処理ｃ）ようにしている。
このようにリミッタ処理、平滑化処理の両方でフォーカス評価値に含まれるノイズの影響を抑制して好ましい表示を実現する。
リミッタ処理と方向の平滑化処理を併用することで、フォーカス評価値の少ないフレーム遅れで、安定性の高いノイズ対策が可能になる。これは、フォーカス評価値の急激な変化がリミッタにより抑制され、さらにリミッタ処理を通過するフォーカス評価値の細かな変動が、平滑化処理で抑制されるようにできるためである。
仮に平滑化処理だけで同等の抑制効果を得ようとすると、時間フィルタ６４ｂのタップ数を大幅に増やすことが必要である。
【００７８】
なお、上記（処理ｂ）としての平滑化処理としては、ローパスフィルタの変わりにメディアンフィルタやイプシロンフィルタのような非線形フィルタを用いても良い。
また上記（処理ｃ）としては、表示データ生成部２６は、フォーカス情報として合焦位置を示す画像を付加した表示データを生成する。具体的にはピーキングのマーカー線を画像に重畳する例を述べたが、例えば非合焦部分にボカシ処理をかけるといったような他の態様のフォーカス情報表示が行われるようにしてもよい。
【００７９】
また実施の形態の場合、表示データ生成部２６は、フォーカス情報を、そのフォーカス情報の元となるフォーカス評価値を生成したフレームとは同期合わせをせずに、表示データを構成する各フレームの画像データに対して付加して表示データを生成する。
つまり上述のように安定化されたフォーカス評価値はモニタリング画像に比べて時間（フレーム）遅れを持つが、この遅れは受容して同期合わせのためにモニタリング画像を遅らせることはしないようにしている。
これは、モニタリング画像の遅れは撮像装置の操作性（特にフレーミング操作やシャッター操作）を悪化させるためである。フォーカス合わせの操作に対しては、遅れが操作性に与える影響が、フレーミング操作やシャッター操作よりも少ないため、フォーカス情報表示に関してのみある程度の遅れを許しつつ、強い安定化をかけるようにしている。換言すれば、安定化による遅れの影響を、モニタリング画像自体に及ぼさないようにしている。
【００８０】
＜４．フォーカス情報表示処理II＞
続いてフォーカス情報表示処理IIとして、安定化処理パラメータを可変する例を説明する。
安定化処理パラメータによってリミッタ部６５、空間フィルタ６４ａ、時間フィルタ６４ｂのモードが設定される。安定化処理パラメータを変更することをフィルタモードの変更と呼ぶこととする。
【００８１】
図９にフィルタモードの変更処理を行うフォーカス情報表示処理IIを示す。ステップＦ１０１〜Ｆ１０７は上述の図８と同様であるため、重複説明を避けるが、この場合、ステップＦ１０３とＦ１０４の間に、ステップＦ１１０としてフィルタモード設定の処理が加えられている。
フィルタモード設定とは、空間フィルタ６４ａのフィルタ係数（フィルタ係数行列ａ）や、時間フィルタ６４ｂのフィルタ係数（平滑化係数Ｃｏｅｆｆ）、リミッタ部６５のリミット幅Ｅの全部又は一部を可変設定する処理である。
この可変設定は、制御部３０の安定化パラメータ設定部３０ａとしての機能によりデジタル信号処理部２０に指示される。
【００８２】
まず安定化パラメータの可変設定の具体例を説明する。
例えばリミッタ部６５のリミット幅Ｅについては、そのリミット幅Ｅ自体を変化させることであるが、リミット幅Ｅが大きいほど、リミッタ効果は小さくなる。ある程度大きな値とすることで、実質的にリミッタ処理をバイパスさせる状態にもなる。逆にリミット幅Ｅが０に近いほど、リミッタ効果は大きくなる。
そのため目的の範囲としてリミット幅Ｅ１〜Ｅ２を設定し、このリミット幅Ｅ１、Ｅ２の２段階で切り替えたり、リミット幅Ｅ１〜Ｅ２間を多段階で切り替えるようにすることが考えられる。例えばリミッタ部６５による安定化の有効／無効を切り替えたり、リミッタ部６５による安定化効果を大／中／小／無効の４段階に切り替えることなどが可能である。
【００８３】
空間フィルタ６４ａについてはフィルタ係数行列ａの有効係数範囲や係数値を変換させる。
例えば図１０Ａ、図１０Ｂ、図１０Ｃのように、３種類のフィルタ行列係数ａ＿ｌｏｗ、ａ＿ｍｉｄ，ａ＿ｈｉｇｈを用意する。
図１０Ｃのフィルタ行列係数ａ＿ｈｉｇｈは、図６Ｂに示した例と同様としているが、周囲２５ブロックについてフォーカス評価値を１／２５づつ反映させる空間ローパスフィルタを実現するパラメータである。
図１０Ｂのフィルタ行列係数ａ＿ｍｉｄは、自己ブロックを含め周囲９ブロックを用いて平滑化する空間ローパスフィルタを実現するパラメータである。即ち自己ブロックのフォーカス評価値について１／４、上下左右の隣接ブロックのフォーカス評価値について１／８、斜め方向の隣接ブロックのフォーカス評価値について１／１６を反映させて平滑化を行う。
図１０Ａのフィルタ行列係数ａ＿ｌｏｗは、自己ブロックを含め周囲５ブロックを用いて平滑化する空間ローパスフィルタを実現するパラメータである。即ち自己ブロックのフォーカス評価値について１／２、上下左右の隣接ブロックのフォーカス評価値について１／８を反映させて平滑化を行う。
【００８４】
各例はいずれも一例に過ぎないが、例えばこの図１０の場合、フィルタ行列係数ａ＿ｌｏｗは安定化効果は弱く、フィルタ行列係数ａ＿ｈｉｇｈは安定化効果が強いものとなる。
なお、図示していないが、もちろん自己ブロックのフォーカス評価値に対する係数を１とし、周囲の係数を０とすれば、空間フィルタ６４ａをバイパスする状態になる。
このように空間フィルタ６４ａについても、安定化効果の度合を可変設定したり、或いは安定化効果有効／無効を切り替えることができる。
【００８５】
時間フィルタ６４ｂについては平滑化係数Ｃｏｅｆｆを可変する。
上述のＦＩＲフィルタの例で述べれば、
Ｃｏｅｆｆ＝［ｃ０  ｃ１  ｃ２］（数字は過去のフレームを表す）のｃ０、ｃ１、ｃ２の可変設定となる。
例えばｃ０＝ｃ１＝ｃ２＝１／３とする状態は安定化処理有効、ｃ０＝１、ｃ１＝ｃ２＝０とすることで安定化処理無効とすることができる。
【００８６】
またもちろんこの２つのパラメータ間をより多段階に設定することもできる。
例えば、仮にｃ０＝ｃ１＝ｃ２＝１／３とする状態を「有効Ｃｏｅｆｆ」、ｃ０＝１、ｃ１＝ｃ２＝０とする状態を「無効Ｃｏｅｆｆ」とし、
平滑化係数Ｃｏｅｆｆ＝ｓ×無効Ｃｏｅｆｆ＋（１−ｓ）×有効Ｃｏｅｆｆ
とする。“ｓ”はパラメータ制御の割合を示す。
このようにすると、時間フィルタを有効の状態から無効の状態まで多段階に設定できる。
なお有効状態のパラメータはｃ０＝ｃ１＝ｃ２＝１／３とする例に限定されない。例えばｃ０＜ｃ１＜ｃ２とすれば、非常に時定数が長く安定度合の大きいローパスフィルタとされるし、逆にｃ０＞ｃ１＞ｃ２とすれば、比較的効果の緩やかなフィルタとなる。これらは実際の機器に応じて設定されれば良い。もちろんタップ数も限定されないし、さらにはタップ数を可変設定可能とすることで安定化度合を変化させるということも考えられる。
なお、ＦＩＲフィルタの例で説明したが、ＩＩＲフィルタの場合は、上述のｃｒ値の設定により、安定化度合を可変設定できる。
【００８７】
以上のように安定化処理パラメータを変化させることで、安定化処理の度合を状況に合わせて調整できるものとなる。上記図９のステップＦ１１０は、フィルタモード設定として、上記各例のように安定化処理パラメータを変更するものである。
以下では、画像データに含まれるノイズ成分量に応じて安定化パラメータを可変設定する例と、撮像装置１０に対する操作や被写体の動きに応じて安定化パラメータを可変設定する例をそれぞれ述べる。
【００８８】
まず画像データに含まれるノイズ成分量に応じて安定化パラメータを可変設定する例を説明する。
本実施の形態では、ノイズの影響を抑えるために、デジタルフィルタ等による安定化処理を導入している。この安定化処理はローパスフィルタとして働く。そのためフォーカス評価値のノイズを抑制するという好ましい側面と、フォーカス評価値の微細な特徴をつぶしてしまうという負の側面をもっており、安定化を強くかけるほど、どちらの性質も顕著に表れる。
ここで、フォーカス評価値のノイズの量は、対象とする画像データのノイズの量と相関がある。つまり、ノイズの多い画像データの時ほど、フォーカス評価値の誤差が大きくなる。
そこで、画像データのノイズの量に応じて安定化の強さを変えるようにすると、フォーカス評価値の誤差の特性に合わせた安定化をすることができるようになる。
【００８９】
より具体的には、画像データのノイズの量はカメラシステムの感度（例えばイメージャの光電変換信号に対するＡＧＣゲインの大きさ）と相関があることを利用し、感度に応じて安定化フィルタを切り替えて、感度が高いときほど強い安定化が掛かるようにする。
そこで制御部３０が安定化パラメータ設定部３０ａとしての機能により図１１のフィルタモード設定処理（例１）を実行するようにする。
【００９０】
ステップＦ２０１で制御部３０は、カメラ感度がＩＳＯ４００未満であるか否かを確認する。またステップＦ２０２ではカメラ感度がＩＳＯ１６００未満であるか否かを確認する。
カメラ感度がＩＳＯ４００未満である場合、制御部３０はステップＦ２０５に進んで、低感度用の安定化パラメータ設定をフォーカス評価処理部２７に指示する
カメラ感度がＩＳＯ４００以上でＩＳＯ１６００未満である場合、制御部３０はステップＦ２０４に進んで、中感度用の安定化パラメータ設定をフォーカス評価処理部２７に指示する
カメラ感度がＩＳＯ１６００以上である場合、制御部３０はステップＦ２０３に進んで、高感度用の安定化パラメータ設定をフォーカス評価処理部２７に指示する
このようにステップＦ２０３，Ｆ２０４，Ｆ２０５のいずれかで安定化パラメータ設定が指示される（図５の指示ＳＳ）。
【００９１】
上記図９のステップＦ１１０では、この指示ＳＳに応じてリミッタ部６５，空間フィルタ６４ａ、時間フィルタ６４ｂの全部又は一部で、フィルタモードの可変設定が行われる。
例えば空間フィルタ６４ａの場合、ステップＦ２０３で高感度用の安定化パラメータ設定が指示されたら、図１０Ｃの高感度用のフィルタ行列係数ａ＿ｈｉｇｈの設定を行う。
またステップＦ２０４で中感度用の安定化パラメータ設定が指示されたら、図１０Ｂの中感度用のフィルタ行列係数ａ＿ｍｉｄの設定を行う。
またステップＦ２０５で低感度用の安定化パラメータ設定が指示されたら、図１０Ａの低感度用のフィルタ行列係数ａ＿ｌｏｗの設定を行う。
【００９２】
時間フィルタ６４ｂについても、ステップＦ２０３，Ｆ２０４，Ｆ２０５での指示ＳＳに応じて、平滑化係数Ｃｏｅｆｆを高感度、中感度、低感度に応じた設定に切り替えれば良い。
リミッタ部６５も同様で、ステップＦ２０３，Ｆ２０４，Ｆ２０５での指示ＳＳに応じて、リミット幅Ｅを高感度、中感度、低感度に応じた設定に切り替えれば良い。
【００９３】
制御部３０は、例えばデジタル信号処理部２０で撮像画像データの輝度値等から生成した露光制御値に基づいて、露光調整機能として、絞り機構の制御、イメージャ１２でのシャッタスピード制御や、ＡＧＣゲイン制御を行っている。
このうちで撮像画像データにおけるノイズに影響を与えるのはＡＧＣゲインとなる。制御部３０は、デジタル信号処理部２０からの露光制御値等の情報に認識したカメラ感度に応じてＡＧＣゲイン制御を行うため、カメラ感度に応じて撮像画像データ上のノイズ状況が把握できる。
即ちＡＧＣゲインを高めて高感度状態としているときは、ノイズの多い画像データとなるため、例えば高感度用のフィルタ行列係数ａ＿ｈｉｇｈを用いて安定化効果を高くする。逆にＡＧＣゲインを低くして低感度状態としているときは、ノイズの少ない画像データとなるため、安定化効果をさほど高めなくてよいため、例えば低感度用のフィルタ行列係数ａ＿ｌｏｗを用いて安定化効果を低くする。
【００９４】
このようにすることで画像データのノイズの量に応じて安定化の強さを変え、フォーカス評価値の誤差の特性に合わせた安定化を行うことができる。
また特に時間フィルタ６４ｂについて考えると、安定化効果を弱めるということは、モニタリング画像に対するフォーカス評価値（ひいてはフォーカス情報表示）の遅延を少なくすることにもなる。そこで、ノイズの少ない状況では、時間フィルタ６４ｂにおいて平滑化係数Ｃｏｅｆｆを低感度用に切り替えることで、なるべくフォーカス情報表示の遅れを少なくできる。
【００９５】
続いて撮像装置１０に対するユーザ操作や被写体の動きに応じて安定化パラメータを可変設定する例として、フィルタモード設定処理（例２）を説明する。
上記図８のフォーカス情報表示処理Ｉによりフォーカス評価値を安定化した時に、撮像装置１０のパン／チルト操作、ズーム操作が行われたり、被写体に動きがあると、フォーカス評価値の安定化の遅れにより、画面上の被写体の位置とフォーカス情報との関係がずれることがある。
また、急激なフォーカス操作をしたときに、リミッタ処理や平滑化処理によるフォーカス評価値の追従の遅れが気になることがある。
【００９６】
そこで、カメラ操作（パン操作、チルト操作、ズーム操作、フォーカス操作を総称してカメラ操作ということとする）や被写体の動きにより画像に変化がおこった場合には、リミッタ処理や平滑化処理の内容を変更して、時間遅れを減らすようにする。
この変更として、安定化処理の有効化とバイパス（無効化）の切換を行う例が図１２のフィルタモード設定処理（例２）である。
【００９７】
図１２のステップＦ２２１として制御部３０（安定化パラメータ設定部３０ａ）は、カメラ操作についての操作情報を取得する。
制御部３０は、ズーム操作やフォーカス操作の操作情報については操作部３５からの入力として検知できる。またパン／チルト操作は、撮像装置１０自体の姿勢変化や移動に応じたものとなるが、制御部３０はこれをセンサ部１４（ジャイロセンサ等）の検知情報として認識できる。
【００９８】
ステップＦ２２１で制御部３０は、撮像されている画像（被写体）の動きの情報を取得する。具体的には制御部３０は、動き検出部２８からの動き情報を取得する。
【００９９】
ステップＦ２２３で制御部３０は、カメラ操作量が或る閾値以上であるか否かを確認する。例えばズーム操作量を閾値ｔｈｚと比較する。またフォーカス操作量を閾値ｔｈｆと比較する。またパン移動量を閾値ｔｈｐと比較する。またチルト移動量を閾値ｔｈｔと比較する。このうちで１つでも閾値以上となっていたら、カメラ操作量が閾値以上であると判定する。
ステップＦ２２４で制御部３０は、画像の変化量を確認する。即ち動き情報の量（例えばローカルベクトルやグローバルベクトルのスカラー）が所定以上であるか否かを確認する。
【０１００】
ステップＦ２２３でカメラ操作量が閾値以上であると判定した場合、又はステップＦ２２４で画像の変化が大であると判定した場合は、制御部３０はステップＦ２２６に進み、図５の指示ＳＳとして無効安定化処理パラメータの設定を指示する。
またステップＦ２２３でカメラ操作量が閾値以上ではないと判定し、さらにステップＦ２２４で画像の変化が大ではないと判定した場合は、制御部３０はステップＦ２２５に進み、指示ＳＳとして有効安定化処理パラメータの設定を指示する。
【０１０１】
例えば時間フィルタ６４ｂについて、ステップＦ２２５で有効安定化処理パラメータを指示する場合は、Ｃｏｅｆｆ＝［ｃ０  ｃ１  ｃ２］について例えばｃ０＝ｃ１＝ｃ２＝１／３とする設定を指示する。
またステップＦ２２６で無効安定化処理パラメータを指示する場合は、ｃ０＝１、ｃ１＝ｃ２＝０とする設定を指示する。
また空間フィルタ６４ａについて、ステップＦ２２５で有効安定化処理パラメータを指示する場合は、図６Ｂのフィルタ行列係数ａを指示し、ステップＦ２２６で無効安定化処理パラメータを指示する場合は、バイパス設定としてのフィルタ行列係数を指示する。
またリミッタ部６５について、ステップＦ２２５で有効安定化処理パラメータを指示する場合は、ある所定のリミット幅Ｅｘを指示し、ステップＦ２２６で無効安定化処理パラメータを指示する場合は、実質的にリミッタ処理自体が無効化されるリミット幅Ｅｙを指示する。
デジタル信号処理部２０（フォーカス評価処理部２７）側ではこのような指示ＳＳに応じて、図９のステップＦ１１０のフィルタモード設定を行う。
【０１０２】
以上の処理は次の考え方に基づく。即ち、フォーカス評価値の安定性と遅れ量の最小化は相反関係にあって両立できないため、動きがある部分に対しては時間遅れの最小化を重視し、動きのない部分に対しては安定性を重視するようにバランスを取るという考え方である。このような処理により安定化処理自体を最適化できる。
【０１０３】
続いて、同じく撮像装置１０に対するユーザ操作や被写体の動きに応じて安定化パラメータを可変設定する例として、フィルタモード設定処理（例３）を説明する。
この処理例は、安定化について有効と無効（バイパス）を切り替えるのではなく、安定処理の度合（安定化処理の強さ）を変化させる例である。
【０１０４】
図１３に制御部３０（安定化パラメータ設定部３０ａ）の処理を示す。ステップＦ２２１，Ｆ２２２は図１２と同様である。
ステップＦ２３０として制御部３０は、カメラ操作の操作量や、動き情報に応じて、画像の変化割合を推定し、パラメータ制御係数ｓを設定する。
そしてステップＦ２３１で制御部３０は、指示ＳＳとしてパラメータ制御係数ｓをフォーカス評価処理部２７に与える。
デジタル信号処理部２０（フォーカス評価処理部２７）側ではこのような指示ＳＳに応じて、図９のステップＦ１１０のフィルタモード設定を行う。
【０１０５】
ステップＦ２３０で設定するパラメータ制御係数ｓは０≦ｓ≦１とする。カメラ操作量が小さく、また画像の動きが小さいほど、パラメータ制御係数ｓは０に近い値とする。逆にカメラ操作量が大きく、また画像の動きが大きいほど、パラメータ制御係数ｓは１に近い値とする。
なお、実際にどのようにパラメータ制御係数ｓを求めるかは多様に考えられる。
カメラ操作に関しては、パン操作、チルト操作、ズーム操作、フォーカス操作のうちの各操作量として、それぞれを多段階の閾値で比較し、最も大きな操作量と評価されたものをパラメータ制御係数ｓに反映させることが考えられる。
また動き情報については、画像データのグローバルベクトルのスカラー値をパラメータ制御係数ｓに反映させても良いし、ブロックＢＫ毎のローカルベクトルの各スカラー値の平均値や最大値をパラメータ制御係数ｓに反映させてもよい。
さらには、ブロックＢＫ毎のローカルベクトルの各スカラー値を用いて、ブロックＢＫ毎にパラメータ制御係数ｓを求めるようにしてもよい。
カメラ操作の量の情報と動き情報を双方を反映させる手法も、反映割合を１／２づつとしたり、レベルの大きい方を用いるということなどが考えられる。
【０１０６】
パラメータ制御係数ｓに基づくフィルタモードの設定は、具体的には次のようにする。
例えばリミッタ部６５においてはリミット幅Ｅを、
Ｅ＝（１＋ｋ×ｓ）×Ｅ０
として設定しているとする。ここでＥ０はリミット幅Ｅの初期値（画像に変化がない場合に通常使用する設定値）であり、ｋはリミット幅Ｅの拡げ方を調整する係数である。
つまりパラメータ制御係数ｓ＝０であればリミット幅Ｅ＝Ｅ０であり、最もリミッタ効果が高い。パラメータ制御係数ｓ＝１であればリミット幅Ｅ＝（１＋ｋ）×Ｅ０となり、最もリミット幅が大きくなり、リミッタ効果が小さくなる。パラメータ制御係数ｓ＝０．５では、それらの中間的な状態となる。
【０１０７】
また例えば時間フィルタ６４ｂについては、上述の、
平滑化係数Ｃｏｅｆｆ＝ｓ×無効Ｃｏｅｆｆ＋（１−ｓ）×有効Ｃｏｅｆｆ
を採用する。
パラメータ制御係数ｓ＝０であれば平滑化係数Ｃｏｅｆｆ＝有効Ｃｏｅｆｆとなり、最も安定化効果が高い。パラメータ制御係数ｓ＝１であれば平滑化係数Ｃｏｅｆｆ＝有効Ｃｏｅｆｆとなり、最も安定化効果が小さくなる。パラメータ制御係数ｓ＝０．５では、それらの中間的な状態となる。
【０１０８】
以上の例のように、カメラ操作の状況や画像の動き情報に応じて安定化度合を切り替えることで、状況に適したフォーカス情報表示が実現される。
空間フィルタ６４ａについて、パラメータ制御係数ｓに応じてフィルタ行列係数を変更することも当然に想定される。
【０１０９】
以上のようにフォーカス情報表示処理IIとしてフィルタモード設定を行う実施の形態では、撮像装置１０は、評価値安定化部６２における安定化処理の処理パラメータを可変設定する安定化パラメータ設定部３０ａを備えている。このような実施の形態では、上述のフォーカス情報表示処理Ｉの場合の効果に加えて、以下の効果が得られる。
【０１１０】
安定化処理については、その安定化の適切な程度や、安定化をすべき場合と安定化をしない方がよい場合などの状況が想定されることがある。そこで常に一律の安定化処理をおこなうものではなく、状況に応じて安定化処理をバイパスさせたり、あるいは安定化の程度を増減することで、状況に応じた適切な安定化処理が実行される。
【０１１１】
例えば安定化パラメータ設定部３０ａが画像データに含まれるノイズ成分量に応じて、安定化処理パラメータを可変設定させることで、フォーカス評価値の誤差の特性に合わせた安定化をすることができるようになる。
また安定化パラメータ設定部３０ａが、画像データを生成する撮像装置１０のカメラ操作の操作情報や、画像（被写体）の動きに応じて、安定化処理パラメータを可変設定させることで、画像の動きに適した安定化処理が行われる。例えば被写体の動きが速い場合は安定化処理をバイパスさせたり、安定化度合を低下させることで、ピーキング表示等の遅れを少なくし、画像上での被写体の動きがない場合は、十分な安定化を施すといったことが可能となる。
【０１１２】
＜５．プログラム及びコンピュータ装置への適用＞
以上、画像処理装置１、撮像装置１０の実施の形態を説明してきたが、上述したフォーカス評価値に関する処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。
【０１１３】
実施の形態のプログラムは、上述の実施の形態で示した処理を、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等の演算処理装置に実行させるプログラムである。
即ち実施の形態のプログラムは、対象とする画像データについて合焦度合いを示すフォーカス評価値を生成する処理と、生成されたフォーカス評価値を安定化する処理と、安定化する処理が施されたフォーカス評価値を用いて、画像データにフォーカス情報を付加した表示データを生成する処理とを演算処理装置に実行させるプログラムである。
具体的には、実施の形態のプログラムは、図３Ａ、図３Ｂ、図８又は図９の処理を演算処理装置に実行させるプログラムとすればよい。
このようなプログラムにより、上述したフォーカス情報表示を実行する装置を、演算処理装置を用いて実現できる。
【０１１４】
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【０１１５】
またこのようなプログラムによれば、実施の形態の画像処理装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の画像処理装置とすることができる。
例えば、図１４に示されるようなコンピュータ装置において、上述の画像処理装置１、撮像装置１０におけるフォーカス情報表示のための処理と同様の処理が実行されるようにすることもできる。
【０１１６】
図１４において、コンピュータ装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７８からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インターフェース７５も接続されている。
【０１１７】
入出力インターフェース７５には、キーボード、マウスなどよりなる入力部７６、ＣＲＴ（Cathode Ray Tube）やＬＣＤ、或いは有機ＥＬパネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、モデムなどより構成される通信部７９が接続されている。通信部７９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１１８】
入出力インターフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。
上述した顕著化表示の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１１９】
この記録媒体は、例えば図１４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ブルーレイディスク、ＣＤ−ＲＯＭ、ＤＶＤを含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア８１により構成される。或いは、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７２や、記憶部７８に含まれるハードディスクなどでも構成される。
【０１２０】
このようなコンピュータ装置７０は、通信部７９による受信動作や、或いはドライブ８０（リムーバブルメディア８１）もしくは記録部７８での再生動作等により、動画データを入力した際に、ＣＰＵ７１がプログラムに基づいて、上述の図３Ａ又は図３Ｂのような処理を実行することで、入力された画像データについてフォーカス評価値を求め、安定化し、それに応じたフォーカス情報表示を実行することができる。例えば撮像装置で撮像している画像データを入力することで、ユーザは、撮像装置側での合焦状態を、コンピュータ装置７０のディスプレイ（出力部７７）で確認できる。
【０１２１】
＜６．変形例＞
上述の実施の形態は、各種の変形例が考えられる。
フォーカス情報表示の例としてピーキング（強調表示）の例を述べたが、ピーキングの手法としては、輝度を高くする、色を変えるなどとする他、多様な手法が想定される。また輝度を変化させる場合、輝度を下げることで強調表示を実現することもある。例えば顔面全体が非常に高輝度の画像の場合、逆に強調表示部分のみ輝度を下げることで、ユーザに合焦部分を認識させやすくすることができる。
また、強調表示する画素は、エッジだけでなく、例えば合焦状態の被写体全体（例えば合焦状態の人物の顔画像部分）を強調表示するようにしてもよい。
またフォーカス情報表示としてはピーキングに限られず、上述した非合焦部分のボカシ処理など、いかなる手法であっても、画面上での合焦部分を提示するものであればよい。
【０１２２】
またフォーカス評価値の生成処理は、必ずしも毎フレームで行うものではなく、例えば１フレームおき、２フレームなど間欠的なフレームごとに実行するものとしてもよい。これによりフォーカス評価値生成及び安定化のための処理負担が軽減される。
【０１２３】
撮像装置１０として表示部３４を備える例を述べたが、本技術におけるモニタリング画像（スルー画）の表示は、撮像装置１０の外部の表示装置を用いてもよい。従って表示部３４を有さない撮像装置１０であっても、本技術は適用できる。
【０１２４】
図１１，図１２，図１３で制御部３０による安定化パラメータ設定指示の処理例を述べたが、例えば図１１の感度に応じた設定と、図１２，図１３のカメラ操作量や画像動きに応じた設定を組み合わせることも可能である。
また図１２では、フィルタ有効／フィルタバイパスが選択され、図１３では安定化度合が設定される例を述べたが、この図１２の処理と図１３の処理のいずれを実行するかをユーザが選択可能としてもよい。
【０１２５】
またフォーカス情報表示としては画面上の合焦部分の提示ではなく、画面全体としてのフォーカス度合を画像、輝度、色合い等で表現したり、数値で表すなどとしてもよい。
特に画面全体についてのフォーカス情報表示を行う場合は、ブロックＢＫ毎のフォーカス評価値を生成することは必ずしも必要ではない。例えば各フレームで画面全体を対象とする１つのフォーカス評価値を生成するようにすればよい。この場合、そのフォーカス評価値についてはリミッタ部６５の処理と時間フィルタ６４ｂの処理で安定化することが考えられる。
【０１２６】
また、上述のコンピュータ装置７０などとして、撮像装置１０として用いない装置に本技術を適用する場合は、モニタリング画像の遅れが問題とならないことがある。
上述の撮像装置１０では、モニタリング画像が遅れることでユーザの操作性（フレーミングやシャッタタイミング待機）を悪化させることがないように、フォーカス評価値に基づくフォーカス情報表示を、モニタリング画像に対して非同期で行っていた。しかし、そのような操作性悪化の懸念は、例えばコンピュータ装置７０で再生画像を表示させていながらフォーカス情報を確認しているような場合には発生しない。
そこで、フレームＦ（ｘ）、Ｆ（ｘ−１）、Ｆ（ｘ−２）・・・から得られたフォーカス評価値に基づいたフォーカス情報が、フレームＦ（ｘ）の画像データに付加されるように同期をとるようにしてもよい。
【０１２７】
また本開示のフォーカス評価値の安定化技術は、オートフォーカス制御その他、フォーカス状態の評価が必要な場合にも利用可能である。
【０１２８】
以上、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【０１２９】
なお本技術は以下のような構成も採ることができる。
（１）対象とする画像データについて合焦度合いを示すフォーカス評価値を生成する評価値生成部と、
前記評価値生成部で生成されたフォーカス評価値に対して安定化処理を行う評価値安定化部と、
前記評価値安定化部で安定化処理が施されたフォーカス評価値を用いて、画像データにフォーカス情報を付加した表示データを生成する表示データ生成部と、を備えた
画像処理装置。
（２）前記評価値安定化部における安定化処理の処理パラメータを可変設定する安定化パラメータ設定部を更に備えた、
上記（１）に記載の画像処理装置。
（３）前記評価値生成部は、対象とする１フレームの画像データについて、領域分割した複数のブロック毎にフォーカス評価値を生成する
上記（１）又は（２）に記載の画像処理装置。
（４）前記評価値安定化部は、前記安定化処理として、対象とする１フレームの画像データのフォーカス評価値が、前フレームの画像データのフォーカス評価値との差が所定値以内となるようにするリミッタ処理を行う
上記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）前記評価値生成部は、対象とする１フレームの画像データについて、領域分割した複数のブロック毎にフォーカス評価値を生成し、
前記評価値安定化部は、前記安定化処理として、各ブロックのフォーカス評価値が、前フレームの画像データの対応するブロックのフォーカス評価値との差が所定値以内となるようにするリミッタ処理を行う
上記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）前記評価値安定化部は、前記安定化処理として、対象とする１フレームの画像データについてのフォーカス評価値を、過去の１又は複数フレームの画像データのフォーカス評価値を用いて平滑化する時間フィルタ処理を行う
上記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）前記評価値生成部は、対象とする１フレームの画像データについて、領域分割した複数のブロック毎にフォーカス評価値を生成し、
前記評価値安定化部は、前記安定化処理として、対象とする１フレームの画像データについての各ブロックのフォーカス評価値を、過去の１又は複数フレームの画像データの対応するブロックのフォーカス評価値を用いて平滑化する時間フィルタ処理を行う
上記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）前記評価値生成部は、対象とする１フレームの画像データについて、領域分割した複数のブロック毎にフォーカス評価値を生成し、
前記評価値安定化部は、前記安定化処理として、対象とする１フレームの画像データについての各ブロックのフォーカス評価値を、隣接する１又は複数のブロックのフォーカス評価値を用いて平滑化する空間フィルタ処理を行う
上記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）前記安定化パラメータ設定部は、画像データに含まれるノイズ成分量に応じて、前記安定化処理の処理パラメータを可変設定する
上記（２）に記載の画像処理装置。
（１０）前記安定化パラメータ設定部は、画像データを生成する撮像装置の操作情報に応じて、前記安定化処理の処理パラメータを可変設定する
上記（２）又は（９）に記載の画像処理装置。
（１１）前記安定化パラメータ設定部は、複数フレームの画像データから検出される画像内容の動き情報に応じて、前記安定化処理の処理パラメータを可変設定する
上記（２）、（９）又は（１０）に記載の画像処理装置。
（１２）前記表示データ生成部は、前記フォーカス情報として合焦位置を示す画像を付加した表示データを生成する
上記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）前記評価値生成部がフォーカス評価値を生成する対象とする画像データは、前記表示データを構成する各フレームの画像データであるとともに、
前記表示データ生成部は、前記フォーカス情報を、そのフォーカス情報の元となるフォーカス評価値を生成したフレームとは同期合わせをせずに、前記表示データを構成する各フレームの画像データに対して付加して表示データを生成する
上記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）対象とする画像データについて合焦度合いを示すフォーカス評価値を生成し、
生成されたフォーカス評価値の安定化処理を行い、
安定化処理が施されたフォーカス評価値を用いて、画像データにフォーカス情報を付加した表示データを生成する、
画像処理方法。
（１５）対象とする画像データについて合焦度合いを示すフォーカス評価値を生成する処理と、
生成されたフォーカス評価値を安定化する処理と、
安定化する処理が施されたフォーカス評価値を用いて、画像データにフォーカス情報を付加した表示データを生成する処理と、
を演算処理装置に実行させるプログラム。
【符号の説明】
【０１３０】
１…画像処理装置、２…評価値生成部、３…評価値安定化部、４…表示データ生成部、１０…撮像装置、１１…光学系、１２…イメージャ、１３…光学系駆動部、１４…センサ部、１５…記録部、１６…通信部、２０…デジタル信号処理部、２１…前処理部、２２…同時化部、２３…ＹＣ生成部、２４…解像度変換部、２５…コーデック部、２６…表示データ生成部、２７…フォーカス評価処理部、２８…動き検出部、３０…制御部、３０ａ…安定化パラメータ設定部、３４…表示部、３５…操作部、６１…評価値生成部、６２…評価値安定化部
【図１】
2015034869.tif 000003
【図２】
2015034869.tif 000004
【図３】
2015034869.tif 000005
【図４】
2015034869.tif 000006
【図５】
2015034869.tif 000007
【図６】
2015034869.tif 000008
【図７】
2015034869.tif 000009
【図８】
2015034869.tif 000010
【図９】
2015034869.tif 000011
【図１０】
2015034869.tif 000012
【図１１】
2015034869.tif 000013
【図１２】
2015034869.tif 000014
【図１３】
2015034869.tif 000015
【図１４】
2015034869.tif 000016