(57)【要約】  画像処理装置は、画像に含まれる被写体の合焦度合いに対応した強調表示を、所定の感度に基づき表示するとともに、感度を所定の条件に応じて決定するように制御する表示制御部を備える。図２
2016203685.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる被写体の合焦度合いに対応した強調表示を、所定の感度に基づき表示するとともに、前記感度を所定の条件に応じて決定するように制御する表示制御部を備える
画像処理装置。
【請求項２】
前記表示制御部は、合焦度合いの変化に応じて前記感度を変更するように制御する
請求項１に記載の画像処理装置。
【請求項３】
前記表示制御部は、合焦度合いの上昇に伴って前記感度を下げ、合焦度合いの減少に伴って感度を保持または上げるように制御する
請求項２に記載の画像処理装置。
【請求項４】
前記表示制御部は、前記画像の像倍率の変化に応じて前記感度を決定するように制御する
請求項１に記載の画像処理装置。
【請求項５】
前記表示制御部は、撮影条件に応じて前記感度を決定するように制御する
請求項１に記載の画像処理装置。
【請求項６】
前記表示制御部は、ユーザによる設定操作に応じて前記感度を決定するように制御する
請求項１に記載の画像処理装置。
【請求項７】
画像に含まれる被写体の合焦度合いに対応した強調表示を、所定の感度に基づき表示するとともに、前記感度を所定の条件に応じて決定するように制御する
画像処理方法。
【請求項８】
画像に含まれる被写体の合焦度合いに対応した強調表示を、合焦度合いが上昇する場合と合焦度合いが減少する場合とで、異なるようにして表示部に表示させる表示制御部を備える
表示制御装置。
【請求項９】
前記合焦度合いは、前記画像に含まれる高周波数成分に基づく評価値に応じて判別される
請求項８に記載の表示制御装置。
【請求項１０】
前記合焦度合いは、前記被写体までの距離に基づいて判別される
請求項８に記載の表示制御装置。
【請求項１１】
画像に含まれる被写体の合焦度合いに対応した強調表示を、合焦度合いが上昇する場合と合焦度合いが減少する場合とで、異なるようにして表示部に表示させる
表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、表示制御装置および表示制御方法に関する。
【背景技術】
【０００２】
デジタルカメラのマニュアルフォーカスでは、撮影者がレンズのフォーカス位置を動かしてモニタリング画像上で被写体が最もシャープになるフォーカス位置（合焦位置）を探すことで、ピント合わせ作業を行なう。このピント合わせの精度を上げるため、ピーキングと呼ばれるアシスト機能が提案されている（例えば、特許文献１参照）。ピーキング機能は、入力画像中で高周波成分のエネルギーが閾値を超えた箇所をピントが合っていると判定し、ピントが合っていると判定されたピクセルにマーカーを描画する等して強調表示する機能である。撮影者が、ピントを合わせたい被写体上に、マーカーが最も多く描画されるようにフォーカス位置を調整することで、ピント合わせが達成される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５２７７８７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、モニタリング画像の高周波成分のエネルギーの大きさは、ピントの合い具合のみならず、被写体自体が持つ周波数特性による影響を受ける。例えば、コントラストが強く、エッジの立ったテクスチャを持った被写体では、高周波エネルギーが高くなりやすい。逆に、コントラストが低く、なめらかなテクスチャを持った被写体では、高周波エネルギーは低くなりがちである。前者では、ピントが合いきる前にピーキングのマーカー表示が飽和してしまい、合焦位置の前後でマーカー量が変化しなくなってしまう。後者では、ピントが合ってもマーカーが表示されなくなってしまう。どちらの場合もマーカーが適切に表示されないため、ピーキング機能がフォーカス操作をアシストできなくなるという問題がある。【０００５】
本技術はこのような問題点に鑑みなされたものであり、適切なピーキングを行うことができる画像処理装置、画像処理方法、表示制御装置および表示制御方法を提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するために、本技術は、例えば、
画像に含まれる被写体の合焦度合いに対応した強調表示を、所定の感度に基づき表示するとともに、前記感度を所定の条件に応じて決定するように制御する表示制御部を備える
画像処理装置である。【０００７】
本技術は、例えば、
画像に含まれる被写体の合焦度合いに対応した強調表示を、所定の感度に基づき表示するとともに、前記感度を所定の条件に応じて決定するように制御する
画像処理方法である。【０００８】
本技術は、例えば、
画像に含まれる被写体の合焦度合いに対応した強調表示を、合焦度合いが上昇する場合と合焦度合いが減少する場合とで、異なるようにして表示部に表示させる表示制御部を備える
表示制御装置である。【０００９】
本技術は、例えば、
画像に含まれる被写体の合焦度合いに対応した強調表示を、合焦度合いが上昇する場合と合焦度合いが減少する場合とで、異なるようにして表示部に表示させる
表示制御方法である。
【発明の効果】
【００１０】
本技術の少なくとも一の実施形態によれば、適切なピーキングを行うことができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本技術中に記載されたいずれの効果であってもよい。また、例示された効果により本技術の内容が限定して解釈されるものではない。
【図面の簡単な説明】
【００１１】
【図１】図１は、撮像装置の構成例を示すブロック図である。
【図２】図２は、撮像装置が有する機能の一例を説明するための機能ブロック図である。
【図３】図３は、高周波成分抽出部のフィルタ係数の一例と、比較処理部の閾値の一例とを説明するための図である。
【図４】図４は、パラメータの変調例を説明するための図である。
【図５】図５は、パラメータの変調例を説明するための図である。
【図６】図６は、パラメータの変調例を説明するための図である。
【図７】図７は、パラメータの変調例を説明するための図である。
【図８】図８は、パラメータの変調例を説明するための図である。
【図９】図９は、感度を決定する方法の一例を説明するための図である。
【図１０】図１０は、感度を決定する方法の他の例を説明するための図である。
【図１１】図１１は、撮影条件に応じて感度を決定する方法を説明するための図である。
【図１２】図１２は、処理の流れの一例を説明するためのフローチャートである。
【図１３】図１３は、変形例における処理の流れの一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本技術の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．一実施形態＞
＜２．変形例＞
以下に説明する実施形態等は本技術の好適な具体例であり、本技術の内容がこれらの実施形態等に限定されるものではない。
【００１３】
＜１．一実施形態＞
「画像処理装置の構成例について」
図１は、一実施形態に係る画像処理装置を適用した撮像装置の構成を示すブロック図である。図１において、実線は画像データを表し、破線は制御信号やデータの流れを表している。
【００１４】
撮像装置１００は、例えば、光学撮像系１０１、レンズ駆動ドライバ１０２、撮像素子１０３、デジタル信号処理部１０４、記憶部１０５、表示部１０６、ピーキング処理部１０７、制御部１０８、入力部１０９および手ぶれセンサ１１０を備えている。
【００１５】
光学撮像系１０１は、被写体からの光を撮像素子に集光するためのレンズ１０１ａ、レンズから入射した光を撮像素子および位相差センサに導くハーフミラー１０１ｂ、位相差検出方式によるＡＦ（Auto Focus）用センサである位相差センサ１０１ｃを備えている。さらに、光学撮像系１０１は、撮影レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構なども備えている（これらの図示は省略している）。レンズ１０１ａは、被写体からの光を撮像素子１０３に集光するためのレンズである。レンズ１０１ａを介して得られた被写体の光画像は、ハーフミラー１０１ｂにより撮像素子方向に導かれて、撮像素子１０３上に結像される。
【００１６】
レンズ駆動ドライバ１０２は、例えばマイクロコンピュータ等により構成され、制御部１０８の制御に従い、光学撮像系１０１の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間（シャッタースピード）の調整、絞り値（Ｆ値）などの調整がなされる。
【００１７】
撮像素子１０３は、被写体からの入射光を光電変換して電荷量に変換し、アナログ撮像信号として出力する。撮像素子１０３から出力されるアナログ撮像信号はデジタル信号処理部１０４に出力される。撮像素子１０３としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。なお、撮像素子１０３の一部に位相差センサとして機能する画素が配置された構成（所謂、像面位相差方式）でもよい。
【００１８】
デジタル信号処理部１０４は、例えば、前処理部１０４ａ、信号処理部１０４ｂおよびコーデック部１０４ｃを備えている。前処理部１０４ａは、撮像素子１０３から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドなどを行う。さらに、ＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像信号を出力する。
【００１９】
信号処理部１０４ｂは、ＣＤＳ（Correlated Double Sampling）処理、ＡＧＣ（Auto Gain Control）処理、デモザイク処理、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理、解像度変換処理などの所定の信号処理を画像信号に対して施す。
【００２０】
コーデック部１０４ｃは、解像度変換などの所定の処理が施された画像信号について、例えば記録用や通信用の符号化処理を行う。
【００２１】
記憶部１０５は、例えば、ハードディスク、フラッシュメモリなどの大容量記憶媒体（それらに対する記憶／再生処理を行うドライバを含む）である。画像は例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。動画は、例えば、ＭＰＥＧ２（Moving Picture Experts Group2）、ＭＰＥＧ４などの形式で保存される。なお、記憶部１０５は、撮像装置１００に内蔵されてもよく、着脱自在とされてもよい。また、記憶部１０５は複数の記憶装置（例えば、撮像装置１００に内蔵されているメモリおよび撮像装置１００に着脱自在とされるメモリ）により構成されてもよい。
【００２２】
表示部１０６は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示部１０６には、撮像装置１００のユーザインターフェース、メニュー画面、撮像中のスルー画、記憶部１０５に記録された撮影済み画像、撮影済み画像、外部機器から有線または無線により伝送される画像、ピーキング処理がなされた画像などが表示される。なお、画像は、動画でもよく静止画でもよい。
【００２３】
ピーキング処理部１０７は、画像に含まれる被写体の合焦度合いに応じた強調表示を、所定の感度に基づき表示する。ここで、合焦度合いとは、例えば、焦点（ピント）が合っている程度を意味しており、合焦度合いが上昇するとは、焦点（ピント）が合っている程度が上がることを意味し、合焦度合いが減少するとは、焦点（ピント）が合っている程度が下がることを意味する。例えば、ピーキング処理部１０７は、画像中の高周波成分のエネルギーが高い（エッジの立った）画素を強調表示するためのピーキング処理を行う。なお、ピーキング処理の対象となる画素を、以下の説明において、適宜、特定画素と称する。
【００２４】
制御部１０８は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行して制御コマンドの発行を行うことによって撮像装置１００全体の制御を行う。なお、制御部１０８は、ピーキング処理部１０７との間で画像データ等の各種データや制御信号のやり取りが可能なように構成されている。
【００２５】
入力部１０９は、例えば、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、表示部１０６と一体に構成されたタッチスクリーンなどからなる。入力部１０９は、撮像装置１００を遠隔操作可能なリモートコントロール装置でもよい。入力部１０９に対して入力がなされると、その入力に応じた制御信号が生成されて制御部１０８に出力される。そして、制御部１０８はその制御信号に対応した演算処理や制御を行う。
【００２６】
手ぶれセンサ１１０は、例えば２軸方向に対する加速度センサあるいは角度速度センサなどにより撮影時の手ぶれを検出して、手ぶれ情報を制御部１０８に供給する。制御部１０８は、手ぶれセンサ１１０からの手ぶれ情報に基づいて、手ぶれ補正制御を行う。
【００２７】
「機能ブロックについて」
次に、図２を参照して、ピーキング処理部１０７および制御部１０８が有する機能ブロックについて説明する。なお、実施形態では、ピーキング処理部１０７および制御部１０８が有する機能により表示制御部が構成されている。ピーキング処理部１０７は、機能ブロックとして、高周波成分抽出部１０７ａ、比較処理部１０７ｂおよびピーキング描画部１０７ｃを有している。また、制御部１０８は、機能ブロックとして、感度決定部１０８ａを有している。
【００２８】
ピーキング処理部１０７には、デジタル信号処理部１０４から画像信号が入力される。具体的には、デジタル信号処理部１０４の信号処理部１０４ｂによるＹ／Ｃ変換処理により、輝度信号（Ｙ）と色差信号（Ｃｒ、Ｃｂ）とをもつ色空間に変換された後の輝度信号が高周波成分抽出部１０７ａに入力され、輝度・色差信号がピーキング描画部１０７ｃに入力される。
【００２９】
高周波成分抽出部１０７ａは、輝度信号に対してハイパスフィルタを使用したフィルタ演算を行うことにより、画素毎の評価値を取得する。この評価値は、各画素位置において、画像に高周波成分がどの程度含まれているかを示す値である。
【００３０】
比較処理部１０７ｂは、特定画素を判断するための閾値を取得する。そして、比較処理部１０７ｂは、画素毎の評価値と取得した閾値とを比較することにより評価値が閾値を上回る画素を特定画素と判断し、処理結果である特定画素の位置情報をピーキング描画部１０７ｃに供給する。
【００３１】
ピーキング描画部１０７ｃは、位置情報に対応する画素である特定画素を強調表示するピーキング処理を行う。特定画素の強調表示は、例えば、特定画素を所定の色のマーカーで描画したり、特定画素の輝度や色調を変えたり、特定画素に強調表示用の信号を重畳したりすることでなされる。なお、ピーキング処理は、特定画素に対する処理ではなく、特定画素以外の画素に対する処理を行うことでなされてもよい。例えば、特定画素以外の画素の輝度や色調を相対的に落として特定画素以外の画素をぼかして表示するようにしてもよい。このように、特定画素を他の画素を区別できるのであれば、ピーキング処理の内容が特定のものに限定されるものではない。ピーキング描画部１０７ｃによるピーキング処理が施された画像データが表示部１０６に供給されて表示される。
【００３２】
高周波成分抽出部１０７ａ、比較処理部１０７ｂおよびピーキング描画部１０７ｃのそれぞれには、処理を実行するためのパラメータが設定されている。高周波成分抽出部１０７ａに設定されるパラメータとしては、ハイパスフィルタの通過帯域、ハイパスフィルタの最大利得（ゲイン）およびハイパスフィルタのフィルタ係数を例示することができる。比較処理部１０７ｂに設定されるパラメータとしては、特定画素を判断するための閾値を例示することができる。ピーキング描画部１０７ｃのパラメータとしては、表示色、輝度レベル、色調等を例示することができる。
【００３３】
感度決定部１０８ａは、所定の条件に基づいて、感度を決定する。感度決定部１０８ａに決定される感度は、ピーキングの反応のしやすさを規定するものであり、例えば、高周波成分抽出部１０７ａおよび比較処理部１０７ｂの少なくとも一方におけるパラメータを変調するための係数である。なお、感度決定部１０８ａにより決定される感度の具体例については後述する。感度決定部１０８ａにより決定される感度が、例えば高周波成分抽出部１０７ａに供給される。高周波成分抽出部１０７ａは、感度に応じて少なくとも一のパラメータを変調する。比較処理部１０７ｂについても同様である。なお、ピーキング処理部１０７および制御部１０８には、機能に応じて構成が適宜、追加、削除されてもよい。
【００３４】
「感度に応じたパラメータの変調例」
図３は、高周波成分抽出部１０７ａおよび比較処理部１０７ｂのパラメータの一例を示している。高周波成分抽出部１０７ａのハイパスフィルタのフィルタ係数として、例えば［０，−１，２，−１，０］が設定されている。比較処理部１０７ｂにおける特定画素を判断するための閾値（以下、閾値Th_fと適宜称する）として５０が設定されている。もちろん、フィルタ係数および閾値Th_fは説明の便宜上、設定した値であり本技術の内容がこれに限定されるものではない。
【００３５】
次に、感度に応じてパラメータを変調する例について説明する。図４は、感度に応じてパラメータを変調する例（第１の変調例）を示したものである。第１の変調例は、感度決定部１０８ａにより決定された感度（以下、感度ａと適宜称する）に基づいて、比較処理部１０７ｂのパラメータの一つである、閾値Th_fを変調する例である。感度ａが感度決定部１０８ａから比較処理部１０７ｂに供給される。比較処理部１０７ｂでは、閾値Th_fを感度ａで割ることにより閾値Th_fを変調する。感度ａを上げる場合、例えば、感度を２倍（ａ＝２）にする場合は、閾値Th_fが１／２である２５に減少する。反対に、感度ａを下げる場合、例えば、感度を１／２倍（ａ＝１／２）にする場合は、閾値Th_fが２倍である１００に増加する。
【００３６】
感度ａを上げることにより閾値Th_fが減少するので、感度ａを上げることはピーキングの反応を増加させる処理となる。反対に、感度ａを下げることにより閾値Th_fが増加するので、感度ａを下げることはピーキングの反応を減少させる処理となる。
【００３７】
図５は、感度に応じてパラメータを変調する例（第２の変調例）を示したものである。第２の変調例は、感度決定部１０８ａにより決定された感度ａに基づいて、高周波成分抽出部１０７ａのフィルタ係数を変調する例である。感度ａを上げる場合、例えば、感度を２倍（ａ＝２）にする場合は、フィルタ係数の各係数に対して２が乗じられる。すなわち、フィルタ係数が［０，−２，４，−２，０］に変更される。反対に、感度ａを下げる場合、例えば、感度を１／２倍（ａ＝１／２）にする場合は、フィルタ係数の各係数に対して１／２が乗じられる。すなわち、フィルタ係数が［０，−１／２，１，−１／２，０］に変更される。
【００３８】
感度ａを上げることによりハイパスフィルタを通過する信号が増強されることになり、結果として、ピーキングの反応を増加させる処理となる。反対に、感度ａを下げることはピーキングの反応を減少させる処理となる。
【００３９】
図６は、感度に応じてパラメータを変調する例（第３の変調例）を示したものである。第３の変調例は、感度決定部１０８ａにより決定された感度ａに基づいて、高周波成分抽出部１０７ａを通過する信号のゲイン（利得）を変調する例である。感度ａを上げる場合、例えば、感度を２倍（ａ＝２）にする場合は、ゲインを２倍にする処理が追加的に行われる。反対に、感度ａを下げる場合、例えば、感度を１／２倍（ａ＝１／２）にする場合は、ゲインを１／２倍にする処理が追加的に行われる。具体例を示せば、感度ａを２倍にすることで高周波成分抽出部１０７ａにおける高周波成分の抽出の最大利得が０ｄＢ（デシベル）から６ｄＢに変更される。
【００４０】
なお、ゲインの変調と閾値の変調とは、等価な意味の処理として実行することができる。すなわち、例えばゲインを２倍にすることは閾値を１／２にすることと処理的には等価な意味である。
【００４１】
感度ａを上げることによりゲインが上がるので、感度ａを上げることはピーキングの反応を増加させる処理となる。感度ａを下げることによりゲインが下がるので、感度ａを下げることはピーキングの反応を減少させる処理となる。
【００４２】
図７は、感度に応じてパラメータを変調する例（第４の変調例）を示したものである。第４の変調例は、感度決定部１０８ａにより決定された感度ａに基づいてフィルタ係数を生成し、生成したフィルタ係数を高周波成分抽出部１０７ａのフィルタ係数として設定する例である。なお、第４の変調例の場合は、制御部１０８の機能ブロックとして、感度ａに基づいてフィルタ係数を生成するフィルタ係数生成部１０８ｂが追加されている。フィルタ係数生成部１０８ｂは、感度ａに対応したフィルタ係数［ｃ０，ｃ１，ｃ２，ｃ３，ｃ４］を例えばテーブルとして保持している。なお、この例における感度ａは、高周波成分抽出部１０７ａにおけるハイパスフィルタを切り替えるための制御値であり、０〜１．０の範囲内で設定される値である。
【００４３】
感度ａが感度決定部１０８ａからフィルタ係数生成部１０８ｂに供給される。フィルタ係数生成部１０８ｂは、テーブルを参照して感度ａに対応するフィルタ係数を判断する。フィルタ係数生成部１０８ｂにより判断されたフィルタ係数が高周波成分抽出部１０７ａに供給される。高周波成分抽出部１０７ａは、フィルタ係数生成部１０８ｂから供給されたフィルタ係数［ｃ０，ｃ１，ｃ２，ｃ３，ｃ４］をハイパスフィルタのフィルタ係数として設定する。フィルタ係数を変更することでハイパスフィルタの通過帯域を変更することができる。具体的には、感度ａを上げたときにはハイパスフィルタの通過帯域を拡げるフィルタ係数が設定され、感度ａを下げたときにはハイパスフィルタの通過帯域を狭めるフィルタ係数が設定される。例えば、感度ａが２．２５倍に変更された場合にはハイパスフィルタの通過帯域が1/4fs〜1/2fsから1/8fs〜1/2fsに変更される。
【００４４】
感度ａを上げることによりハイパスフィルタの通過帯域が拡がるので、感度ａを上げることはピーキングの反応を増加させる処理となる。感度ａを下げることによりハイパスフィルタの通過帯域が狭まるので、感度ａを下げることはピーキングの反応を減少させる処理となる。
【００４５】
図８は、感度に応じてパラメータを変調する例（第５の変調例）を示したものである。第５の変調例は、感度決定部１０８ａにより決定された感度ａ、乃至、感度ａの変化に基づいて応答係数を生成し、比較処理部１０７ｂが応答係数を使用して、閾値Th_fを決定する例である。なお、第５の変調例の場合は、制御部１０８の機能ブロックとして、感度ａに基づいて応答係数ｐを生成する応答係数生成部１０８ｃが追加されている。応答係数生成部１０８ｃは、感度ａに対応した応答係数ｐを例えばテーブルとして保持している。
【００４６】
感度ａが感度決定部１０８ａから応答係数生成部１０８ｃに供給される。応答係数生成部１０８ｃは、テーブルを参照して感度ａに対応する応答係数ｐを判断する。応答係数生成部１０８ｃにより判断された応答係数ｐが比較処理部１０７ｂに供給される。比較処理部１０７ｂは、応答係数ｐを使用して、特定画素を判断するための閾値を時間方向に平滑化して、現フレームにおける特定画素を判断するための閾値Th_fを決定する。なお、時間方向に平滑化するとは、合焦の度合いの変化、例えば、画像の高周波エネルギーの変化に対して、特定画素を判断するための閾値を時間的な遅れを持たせて追従するように変化させることを意味する。
【００４７】
比較処理部１０７ｂは、下記の式（１）に基づいて、平滑化処理を実行する。
【００４８】
Ｔｈ＿ｆ＝（１−ｐ）×Ｔｈ＿ｐ＋ｐ×Ｔｈ＿ｒ  ・・・（１）
【００４９】
上記の式（１）における各要素の内容は、次の通りである。
Ｔｈ＿ｒ：入力画像の現フレームから得られる閾値
Ｔｈ＿ｆ：現フレームのピーキング処理に用いる閾値（特定画素を判断するための閾値）
Ｔｈ＿ｐ：前フレームのピーキング処理に用いた閾値
ｐ：応答係数（更新の重み）（但し、０＜ｐ≦１．０）
なお、現フレームのピーキング処理に用いる閾値Ｔｈ＿ｆは、第１の変調例で説明した内容と同様にして決定することができる。
【００５０】
応答係数ｐを変更することで、平滑化処理における平滑化の度合い（強度）を調整することができる。例えば、応答係数ｐを小さくすると平滑化が強くかかる。具体的には、現フレームのピーキング処理に用いる閾値Th_fは、前フレームのピーキング処理に用いた閾値Th_ｐに近づくことになり更新の程度としては弱くなる。反対に、例えば、応答係数ｐを大きくすると平滑化の効果が弱くなる。具体的には、前フレームのピーキング処理に用いた閾値Th_ｐが現フレームのピーキング処理に用いる閾値Th_fに反映されづらくなるため、更新の程度としては強くなる。すなわち、応答係数ｐは、更新の重みを規定する応答係数ということができる。
【００５１】
例えば、感度ａが増加しているときは応答係数ｐを小さくして閾値Th_fの更新の程度を弱くする。閾値Th_fの更新の程度が弱くなるので、ピーキングの反応の変化が目立つようになる。感度ａが減少しているときは応答係数ｐを大きくして閾値Th_fの更新の程度を強くする。閾値Th_fの更新の程度を強くなるので、シーンの変化等の状況変化への適応速度（応答性）を速くすることができる。
【００５２】
以上説明した変調例は、組み合わせてもよい。例えば、感度ａに基づいて、高周波成分抽出部１０７ａおよび比較処理部１０７ｂの両方のパラメータを変調してもよい。
【００５３】
「感度を決定する条件について」
次に、感度ａを決定する条件について、複数の条件を例示して説明する。以下に例示する条件に応じて決定された感度ａに基づいて、上述したようにしてパラメータが変調される。なお、感度ａを決定するとは、一度、決定した感度ａを変更しないこと、および、一度、決定した感度ａを条件の変化に応じて変更させることのいずれを意味してもよい。
【００５４】
「第１の条件について」
第１の条件は、合焦度合いであり、ここでの合焦度合いとは、画像に含まれる高周波エネルギーに基づいて判別される焦点（ピント）が合っている程度である。画像に含まれる高周波エネルギーが高いほど合焦度合いが高くなり、画像に含まれる高周波エネルギーが低いほど合焦度合いが低くなる。合焦度合いに応じて感度ａが決定され、さらに、合焦度合いの変化（上昇または下降）に応じて感度ａが変更される。感度ａを変更することには、感度ａの値を大きくして感度ａを上げるように変更すること、感度ａの値を小さくして感度ａを下げるように変更すること、感度ａの値を変化させずに感度ａを保持することを含む。
【００５５】
図９Ａは、画像に含まれる高周波エネルギーＥの変化を模式的に示した図である。例えば、マニュアルフォーカス操作により焦点の位置（フォーカスレンズの位置）が変化し、それに伴って画像に含まれる高周波エネルギーＥが変化する。
【００５６】
マニュアルフォーカス操作により徐々にピントが合っていき、時刻ｔ０のタイミングで合焦し、その後、ピントが外れていったと仮定する。ピントが合うにつれて図９Ａに示すように、画像に含まれる高周波エネルギーＥが増加していき時刻ｔ０で最大値となる。その後、高周波エネルギーＥは減少する。
【００５７】
図９Ｂに模式的に示すように、ピントが合う間、換言すれば、高周波エネルギーＥが増加する場合には、感度ａを連続的に減少させていく。これにより、図９Ｃに模式的に示すようにピーキングの反応の急激な増加を防ぎ、飽和の発生を避けることができる。時刻ｔ０のタイミング以降、すなわち、高周波エネルギーＥが最大値（ピーク値）から減少し、合焦度合いが最大化してから減少した場合には、感度ａを固定（または徐々に増加させていもよい）する。時刻ｔ０のタイミング以降は、画像に含まれる高周波エネルギーＥは減少するので、図９Ｃに模式的に示すように、感度ａを固定した場合にはピーキングの反応が減少する。この時、ピーキングの反応の増加に比べ、反応の減少では急激に変化する。すなわち、ユーザは、ピーキングの反応の変化によりピントが合うタイミングを認識できる。特に、ピントが外れつつあることに気付きやすくなる効果があるため、動画などで被写体を追い続ける撮影がやりやすくなる効果がある。
【００５８】
なお、高周波エネルギーＥの変化に応じた感度ａの変化特性（図９Ｂに例示する特性）は感度決定部１０８ａが保持している。高周波エネルギーＥの変化は、高周波成分抽出部１０７ａから供給される高周波エネルギーＥに基づいて感度決定部１０８ａが判断でき、高周波エネルギーＥの変化に応じて、感度決定部１０８ａは感度ａを適切に決定することができる。
【００５９】
合焦度合いが最大であるか否かは、高周波成分の検出により判断してもよく、位相差センサ１０１ｃにより被写体までの距離を測定して奥行マップ（いわゆる、デプスマップ（Depth Map））を生成し、奥行きマップに基づいて判断してもよく、その他、公知の方法を適用することができる。
【００６０】
上述した例では、合焦度合いが最大化してから減少した場合に感度ａを保持したが、必ずしも最大化である必要はなく合焦度合いが上昇から減少に転じた時点で、感度ａを保持または上げてもよい。
【００６１】
なお、上述した例において、ピーキングの反応が増加する場合と減少する場合とで、ピーキングの表示色を変化させてもよい。また、ピーキングの反応が増加する場合または減少する場合に、ピーキングの表示を点滅させてもよい。ピーキングの反応が増加する場合または減少する場合に、ピーキングの表示を所定割合太くなるように表示し、ユーザがより反応の変化を認識しやすくしてもよい。ピーキングの反応が増加または減少していることを示す矢印やバー等の補助表示を表示させてもよい。
【００６２】
「第２の条件について」
第２の条件は、像倍率に応じて感度ａを決定する例である。ここで、像倍率とは、撮像装置１００の撮像素子１０３に結像された像の大きさと、被写体の実際の大きさとの比率を意味する。
【００６３】
図１０Ａおよび図１０Ｂは、像倍率の変化に伴う入力画像の周波数変化を模式的に示した図である。図１０Ａは、撮影された画像および当該画像が持つ周波数特性を示した図である。ここで、ズームアウト操作がなされ被写体像が縮小したとする。図１０Ｂは、ズームアウト操作により縮小した被写体の画像および当該画像が持つ周波数特性を示した図である。図１０Ｂに示すように、縮小により画像が持つエネルギーが高周波側にシフトする。例えば、図１０Ａの画像のうち周波数ｆ１に相当する成分は、図１０Ｂのケースでは像倍率の縮小により周波数ｆ２の成分となる（なお、図１０Ｂの点線は、高周波側にシフトした被写体像のエネルギーを示す。実線は、さらに撮像装置１００の能力（分解能等）を考慮した場合のエネルギーを示す。）。このような画像が持つ周波数特性の変化（像倍率の変化）に応じて適切に感度ａを決定する。
【００６４】
図１０Ａおよび図１０Ｂに示すように、像倍率が減少した場合には、感度ａを下げて、例えば高周波成分抽出部１０７ａにおけるハイパスフィルタの通過帯域を狭める。反対に、像倍率が拡大した場合には、感度ａを上げて、例えば高周波成分抽出部１０７ａにおけるハイパスフィルタの通過帯域を拡げる。なお、像倍率と感度ａとが対応づけられて例えばテーブルとして保持されており、感度決定部１０８ａは、像倍率に応じて感度ａを決定することができる。これにより、像倍率が変化した場合でも高周波エネルギーＥを略一定とすることができ、ピーキングの反応を安定化することができる。換言すれば、ピーキングの反応が極端に増加または減少することを防止することができる。
【００６５】
像倍率に応じて決定された感度ａに応じて、ハイパスフィルタのカットオフ周波数を変更してもよい。例えば、像倍率が拡大し感度ａを上げた場合にカットオフ周波数を下げてもよい。具体的には、感度ａが２倍になったときにカットオフ周波数を１／２の位置にしてもよい。反対に、像倍率が減少し感度ａを下げた場合にカットオフ周波数を上げてもよい。
【００６６】
画像の周波数特性の変化に応じて、比較処理部１０７ｂのパラメータを変更してもよい。例えば、高周波エネルギーＥが２倍になるような像倍率の変化があった場合には、感度ａを下げて閾値Th_fを２倍としてピーキングの反応を安定化させるようにしてもよい。
【００６７】
なお、像倍率の変化は、レンズ駆動ドライバ１０２から供給されるズームレンズの位置の変化で判断してもよく、フレーム間の画像の比較により判断してもよく、その他、公知の方法を適用することができる。
【００６８】
「その他の条件について」
撮影条件に応じて、感度ａを決定するようにしてもよい。撮影条件とは、撮像装置１００が有する性能や制御部１０８が実行しているアプリケーションなどに応じて決定されるパラメータであり、撮像装置１００に設定可能なモード（撮影モード）や、レンズ１０１ａの位置や絞り、フレームレート、シャッタースピード、ホワイトバランス、画角、手ぶれセンサ１１０により得られる撮像装置１００の振動等を例示することができる。撮影条件は、ユーザにより設定されたものでよく、撮像装置１００により自動的に認識されたものでもよい。図１１は、撮影条件と、撮影条件に対応する感度ａとの一例を示した図である。この例では、撮影条件として、撮像装置１００の振動と撮影モードとを例示している。
【００６９】
撮像装置１００の振動が大きい場合や、撮影モードがスポーツモードの場合は、動画を撮影していることが想定される。動画撮影のようなシーンの変化が激しい場合には、感度ａを下げる。一方、撮像装置１００の振動が小さい場合や、撮影モードが風景モードや夜景モードの場合は、静止画を撮影していることが想定される。静止画撮影のようなシーンの変化が少ない場合には、感度ａを上げる。このように、撮影条件に応じて、感度ａを決定するようにしてもよい。
【００７０】
被写体の特性（合焦時の空間周波数特性の予測値）に基づいて、感度ａを決定するようにしてもよい。例えば、被写体のコントラストが低い場合（ローコントランスト）には、感度ａを上げ、ゲイン等をあげるようにしてもよい。
【００７１】
ユーザによる入力部１０９への入力操作（設定操作）に応じて、感度ａを決定するようにしてもよい。感度ａは、表示部１０６に表示されるピーキングの反応を見つつ感度ａを上げたり下げたりして調整できるようにしてもよく、予め感度ａを設定できるようにしてもよい。
【００７２】
「処理の流れについて」
撮像装置１００における処理の流れについて、図１２のフローチャートを参照して説明する。ステップＳＴ１０１では、感度決定部１０８ａが所定の条件に基づいて感度ａを決定する。そして、処理がステップＳＴ１０２に進む。
【００７３】
ステップＳＴ１０２では、ステップＳＴ１０１で決定された感度ａに基づいて、制御部１０８における機能ブロック（高周波成分抽出部１０７ａ等）のパラメータが変調される。変調後のパラメータに基づいて各機能ブロックにおける処理が行われ、処理の結果、特定画素を判断するための閾値Th_fが取得される。そして、処理がステップＳＴ１０３に進む。
【００７４】
ステップＳＴ１０３では、比較処理部１０７ｂがステップＳＴ１０２で取得された閾値Th_fと各画素の評価値とを比較する。そして、評価値が閾値より大きい画素を特定画素と判断し、特定画素と判断した画素の位置情報をピーキング描画部１０７ｃに出力する。そして、処理がステップＳＴ１０４に進む。
【００７５】
ステップＳＴ１０４では、ピーキング描画部１０７ｃが位置情報に対応する位置の画素を強調表示するピーキング処理を実行する。そして、特定画素が強調表示された画像が表示部１０６に表示される。
【００７６】
＜２．変形例＞
なお、本技術は、以下のような構成も取ることができる。
【００７７】
（１）
画像に含まれる被写体の合焦度合いに対応した強調表示を、所定の感度に基づき表示するとともに、前記感度を所定の条件に応じて決定するように制御する表示制御部を備える
画像処理装置。
（２）
前記表示制御部は、合焦度合いの変化に応じて前記感度を変更するように制御する
(１)に記載の画像処理装置。
（３）
前記表示制御部は、合焦度合いの上昇に伴って前記感度を下げ、合焦度合いの減少に伴って感度を保持または上げるように制御する
(２)に記載の画像処理装置。
（４）
前記表示制御部は、前記画像の像倍率の変化に応じて前記感度を決定するように制御する
(１)に記載の画像処理装置。
（５）
前記表示制御部は、撮影条件に応じて前記感度を決定するように制御する
(１)に記載の画像処理装置。
（６）
前記表示制御部は、ユーザによる設定操作に応じて前記感度を決定するように制御する
(１)に記載の画像処理装置。
（７）
画像に含まれる被写体の合焦度合いに対応した強調表示を、所定の感度に基づき表示するとともに、前記感度を所定の条件に応じて決定するように制御する
画像処理方法。
（８）
画像に含まれる被写体の合焦度合いに対応した強調表示を、合焦度合いが上昇する場合と合焦度合いが減少する場合とで、異なるようにして表示部に表示させる表示制御部を備える
表示制御装置。
（９）
前記合焦度合いは、前記画像に含まれる高周波数成分に基づく評価値に応じて判別される
(８)に記載の表示制御装置。
（１０）
前記合焦度合いは、前記被写体までの距離に基づいて判別される
(８)に記載の表示制御装置。
（１１）
画像に含まれる被写体の合焦度合いに対応した強調表示を、合焦度合いが上昇する場合と合焦度合いが減少する場合とで、異なるようにして表示部に表示させる
表示制御方法。
【００７８】
以上、本技術の実施形態について具体的に説明したが、上述の各実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。例えば、上述の実施形態において挙げた構成、方法、工程、形状、材料および数値などはあくまでも例に過ぎず、必要に応じてこれと異なる構成、方法、工程、形状、材料および数値などを用いてもよい。
【００７９】
画像を複数の領域に分割して、領域毎に感度ａを決定して、当該感度ａに基づいてパラメータを変調するようにしてもよい。例えば、図１３のフローチャートに示すように、ステップＳＴ２０１において、画像（１フレーム）を複数の領域に分割する。領域の大きさは適宜、設定することができる。そして、図１２を用いて説明した処理が領域毎に行われる。概略的に説明すれば、ステップＳＴ２０２では、所定の条件に基づいて感度ａが領域毎に決定され、ステップＳＴ２０３では、閾値Th_fが領域毎に取得される。そして、ステップＳＴ２０４では、領域毎に取得された閾値Th_fに基づいて、領域毎の特定画素の位置情報が出力され、ステップＳＴ２０５では、領域毎にピーキング処理が行われるようにしてもよい。
【００８０】
閾値Th_fに下限値を設けて、閾値Th_fが下限値を下回らないようにするリミット処理がなされてもよい。このリミット処理を行うことにより、画像においてどの箇所にもピントが合ってない場合に、不要なピーキングが表示されることを防止できる。また、閾値Th_fの値が下がりすぎて、ノイズが特定画素と判断され、ノイズにピーキング処理がなされてしまうことを防止できる。
【００８１】
閾値Th_fとして、複数の閾値が設定されてもよい。ある画素の評価値が各閾値を上回る毎に当該画素を異なる色で着色等してピーキングがなされてもよい。また、ある画素の評価値が第１の閾値を上回る場合に当該画素を着色し、第１の閾値より大きい第２の閾値を上回る場合には当該画素および周囲の画素を着色して、ピーキングの表示が段階的に太くなるようにしてもよい。変化の態様は、ステップ状に限らず連続的でもよい。
【００８２】
高周波成分抽出部１０７ａのハイパスフィルタのカットオフ周波数を調整する場合に、リミット処理がなされてもよい。具体的には、カットオフ周波数が、撮像装置１００の持つナイキスト周波数を超えないようにしたり、撮像装置１００のレンズの能力を超えた周波数まで上がらないようにする処理がなされてもよい。
【００８３】
ピーキング処理の対象となる特定画素は、画素に含まれる高周波成分により判断するのではなく、フォーカスの合っている被写体の輪郭を構成する画素を特定画素として判断してもよい。
【００８４】
上述した実施形態において、位相差センサ１０１ｃを使用して位相差検出方式により合焦度合いを求め、合焦度合いが一定以上となった場合にピーキング表示がなされるようにしてもよい。
【００８５】
本技術は、制御部１０８を備える画像処理装置として実現することも可能であり、必ずしも、撮影機能や表示機能を有する装置でなくてもよい。
【００８６】
感度ａを変更する場合、感度ａを連続的には切り替えてもよく、ステップ状に切り替えてもよい。
【００８７】
また、上述の実施形態の構成、方法、工程、形状、材料および数値などは、本技術の主旨を逸脱しない限り、互いに組み合わせることが可能である。また、本技術は、装置、素ステムに限らず、方法等により実現することができる。
【符号の説明】
【００８８】
１００・・・撮像装置
１０１ｃ・・・位相差センサ
１０６・・・表示部
１０７・・・ピーキング処理部
１０７ａ・・・高周波成分抽出部
１０７ｂ・・・比較処理部
１０８・・・制御部
１０８ａ・・・感度決定部
【図１】
2016203685.tif 000003
【図２】
2016203685.tif 000004
【図３】
2016203685.tif 000005
【図４】
2016203685.tif 000006
【図５】
2016203685.tif 000007
【図６】
2016203685.tif 000008
【図７】
2016203685.tif 000009
【図８】
2016203685.tif 000010
【図９】
2016203685.tif 000011
【図１０】
2016203685.tif 000012
【図１１】
2016203685.tif 000013
【図１２】
2016203685.tif 000014
【図１３】
2016203685.tif 000015
【国際調査報告】
2016203685.tif 000016
2016203685.tif 000017
2016203685.tif 000018
2016203685.tif 000019
2016203685.tif 000020
2016203685.tif 000021
2016203685.tif 000022
2016203685.tif 000023