(57)【要約】【課題】高速に合焦状態を通知可能な画像処理装置を提供する。【解決手段】画像処理装置は、互いに異なる時刻に取得された複数のフレーム画像の少なくとも一部の領域（３００、８００）の類似度を算出する算出手段（１０８）と、複数のフレーム画像のそれぞれに含まれる所定の領域（３００）に関して焦点検出を行う焦点検出手段（１０９）と、類似度に応じて、焦点検出手段により所定の領域に関する焦点検出を行うか否かを決定する制御手段（１１２）とを有する。【選択図】図１
2017142318.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる時刻に取得された複数のフレーム画像の少なくとも一部の領域の類似度を算出する算出手段と、
前記複数のフレーム画像のそれぞれに含まれる所定の領域に関して焦点検出を行う焦点検出手段と、
前記類似度に応じて、前記焦点検出手段により前記所定の領域に関する前記焦点検出を行うか否かを決定する制御手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記制御手段は、
前記類似度が所定の閾値よりも大きい場合、前記所定の領域に関する前記焦点検出を行い、
前記類似度が前記所定の閾値よりも小さい場合、前記所定の領域に関する前記焦点検出を行わない、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記焦点検出手段による前記焦点検出に基づいて、前記所定の領域が合焦領域であるか否かの判定を行う判定手段を更に有し、
前記制御手段は、
前記合焦領域に関する情報を撮影画像に重畳して表示手段に表示し、
前記類似度が前記所定の閾値よりも小さい場合、前記所定の領域に関する前記焦点検出および前記判定を行うことなく、前回の判定結果を利用することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記所定の領域は、前記複数のフレーム画像のそれぞれに含まれる複数のＡＦ領域であり、
前記算出手段は、前記複数のＡＦ領域のそれぞれに関して前記類似度を算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記所定の領域は、前記複数のフレーム画像のそれぞれに含まれる複数のＡＦ領域であり、
前記算出手段は、前記複数のＡＦ領域のうち少なくとも２つ以上のＡＦ領域を含むＡＦグループに関して、前記類似度を算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記算出手段は、前記複数のフレーム画像の相関に関する評価値を、前記類似度として算出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記算出手段は、前記複数のフレーム画像のそれぞれの対応する位置における信号の差の絶対値和を算出することにより、前記類似度を算出することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記算出手段は、前記複数のフレーム画像のそれぞれの対応する位置における信号の差の二乗の絶対値和を算出することにより、前記類似度を算出することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項９】
撮像光学系を介して形成された光学像を光電変換する撮像素子と、
前記撮像素子を用いて互いに異なる時刻に取得された複数のフレーム画像の少なくとも一部の領域の類似度を算出する算出手段と、
前記複数のフレーム画像のそれぞれに含まれる所定の領域に関して焦点検出を行う焦点検出手段と、
前記類似度に応じて、前記焦点検出手段により前記所定の領域に関する前記焦点検出を行うか否かを決定する制御手段と、を有することを特徴とする撮像装置。
【請求項１０】
前記撮像素子は、前記撮像光学系の瞳領域のうち互いに異なる複数の瞳部分領域を通過した複数の光束をそれぞれ受光可能な複数の画素を二次元状に配列して構成されていることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記撮像素子は、１つのマイクロレンズに対して複数の光電変換部を有し、該マイクロレンズが二次元状に配列されていることを特徴とする請求項９に記載の撮像装置。
【請求項１２】
前記撮像素子は、複数の撮像用画素の配列の一部に、焦点検出用画素を含むことを特徴とする請求項９または１０に記載の撮像装置。
【請求項１３】
撮影画像を表示する表示手段と、
前記焦点検出手段による前記焦点検出に基づいて、前記所定の領域が合焦領域であるか否かの判定を行う判定手段と、を更に有し、
前記制御手段は、前記所定の領域が前記合焦領域であると判定された場合、前記合焦領域に関する情報を前記撮影画像に重畳して前記表示手段に表示することを特徴とする請求項９乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
互いに異なる時刻に取得された複数のフレーム画像の少なくとも一部の領域の類似度を算出するステップと、
前記類似度に応じて、前記複数のフレーム画像のそれぞれに含まれる所定の領域に関する焦点検出を行うか否かを決定するステップと、を有することを特徴とする画像処理方法。
【請求項１５】
互いに異なる時刻に取得された複数のフレーム画像の少なくとも一部の領域の類似度を算出するステップと、
前記類似度に応じて、前記複数のフレーム画像のそれぞれに含まれる所定の領域に関する焦点検出を行うか否かを決定するステップと、をコンピュータに実行させることを特徴とするプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合焦状態を通知可能な画像処理装置に関する。
【背景技術】
【０００２】
ユーザが被写体にピントが合っているか否かを視認しやすくするため、ライブビュー表示画像などに被写体の合焦状態を重畳表示する撮像装置が広く知られている。近年、複数のオートフォーカスエリアを有し、複数のオートフォーカスエリアのそれぞれについて被写体の合焦状態を検出することにより、高分解能に合焦状態を認識することが可能な撮像装置も登場している。
【０００３】
ところで、被写体の合焦状態を判定するには、各オートフォーカスエリアに対して焦点検出を行い、焦点検出結果（演算結果）に基づいて各フォーカスエリアの合焦判定を行う必要がある。焦点検出の一つの方式である位相差検出方式の焦点検出は、撮像光学系の互いに異なる射出瞳領域を通過した一対の光束（瞳分割像）を取得し、瞳分割像の位置ずれ量を検出する。
【０００４】
特許文献１には、１つのマイクロレンズに対して複数の受光部を設け、複数の受光部が撮像光学系の互いに異なる射出瞳領域を通過した光束（瞳分割像）をそれぞれ受光する撮像素子を用いて、撮像用信号と瞳分割像信号とを取得可能な撮像装置が開示されている。特許文献２には、所定の射出瞳領域を通過した光束のみを受光可能な焦点検出用画素を離散的に配置した撮像素子を用いて、撮像用信号と瞳分割信号とを取得可能な撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−８３４０７号公報
【特許文献２】特開２０００−１５６８２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１や特許文献２の撮像装置を用いてオートフォーカスエリアの焦点検出を行うと、オートフォーカスエリアの数に比例して焦点検出の演算量も増大するため、ユーザへの合焦状態の通知応答性が低くなる（合焦状態の通知が遅くなる）。
【０００７】
そこで本発明は、高速に合焦状態を通知可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての画像処理装置は、互いに異なる時刻に取得された複数のフレーム画像の少なくとも一部の領域の類似度を算出する算出手段と、前記複数のフレーム画像のそれぞれに含まれる所定の領域に関して焦点検出を行う焦点検出手段と、前記類似度に応じて、前記焦点検出手段により前記所定の領域に関する前記焦点検出を行うか否かを決定する制御手段とを有する。
【０００９】
本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換する撮像素子と、前記画像処理装置とを有する。
【００１０】
本発明の他の側面としての画像処理方法は、互いに異なる時刻に取得された複数のフレーム画像の少なくとも一部の領域の類似度を算出するステップと、前記類似度に応じて、前記複数のフレーム画像のそれぞれに含まれる所定の領域に関する前記焦点検出を行うか否かを決定するステップとを有する。
【００１１】
本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。
【００１２】
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
【００１３】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１４】
本発明によれば、高速に合焦状態を通知可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】実施例１、２における撮像装置のブロック図である。
【図２】実施例１、２における撮像素子の画素構造図である。
【図３】各実施例におけるオートフォーカスエリアの説明図である。
【図４】各実施例における差分算出部のブロック図である。
【図５】焦点状態の説明図である。
【図６】各実施例における撮影処理を示すフローチャートである。
【図７】実施例１における焦点検出処理を示すフローチャートである。
【図８】実施例２における差分算出部の処理の説明図である。
【図９】実施例２における焦点検出処理を示すフローチャートである。
【図１０】実施例３における撮像装置のブロック図である。
【図１１】実施例３における撮像素子の平面図である。
【図１２】実施例３における撮像素子の画素構造図である。
【図１３】各実施例における表示部に表示される画像（合焦表示）の例である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。
【実施例１】
【００１７】
まず、図１を参照して、本発明の実施例１における撮像装置の構成について説明する。図１は、本実施例における撮像装置１００のブロック図である。
【００１８】
撮像光学系１０１は、複数のレンズを有するレンズユニットである。撮像光学系１０１は、フォーカス位置を調整するためのフォーカシングレンズおよびフォーカシングレンズを駆動するためのアクチュエータなどを備えて構成される。撮像素子１０２は、ＣＭＯＳセンサやＣＣＤセンサを有し、撮像光学系１０１を介して入射した光束（撮像光学系１０１を介して形成された光学像）を光電変換し、画像データ（アナログ信号）を出力する。
【００１９】
ここで、図２を参照して、撮像素子１０２の画素構造について説明する。図２は撮像素子１０２の画素構造図であり、図２（а）は撮像素子１０２の画素２００の平面図、図２（ｂ）は画素２００の断面図（図２（ａ）中のＡ−Ａ断面）をそれぞれ示している。
【００２０】
画素２００は、マイクロレンズ２０１、カラーフィルタ２０２、配線層２０３、受光部２０４、２０５（光電変換部または副画素）を有する。マイクロレンズ２０１は、画素２００に入射する光束を集光し、受光部２０４、２０５へ導く。カラーフィルタ２０２は、入射光束のうち、特定の波長の光束を通過させる。撮像素子１０２には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長を通過させる分光感度特性を有するカラーフィルタがベイヤー状に配列されている。受光部２０４、２０５は、入射光束を光電変換してアナログ信号を生成し、後段のＡ／Ｄ変換部１０３へ出力する。また、受光部２０４、２０５は、撮像光学系１０１の射出瞳のうち互いに異なる領域（瞳部分領域）を通過した光束（瞳分割像）をそれぞれ受光可能であるように設計されている。これにより、撮像装置１００は、位相差検出方式によるフォーカス制御（撮像面位相差ＡＦ）を行うことができる。
【００２１】
このように本実施例において、撮像素子１０２は、撮像光学系１０１の瞳領域のうち互いに異なる複数の瞳部分領域を通過した複数の光束をそれぞれ受光可能な複数の光電変換部（受光部２０４、２０５）を二次元状に配列して構成されている。また撮像素子１０２は、１つのマイクロレンズ２０１に対して（１つのマイクロレンズ２０１を共有する）複数の受光部２０４、２０５（複数の光電変換部）を有し、複数のマイクロレンズ２０１が二次元状に配列されている。なお本実施例において、２つの受光部２０４、２０５が１つのマイクロレンズ２０１を共有するが、これに限定されるものではなく、３つ以上の受光部が１つのマイクロレンズを共有するように構成してもよい。
【００２２】
撮像素子１０２により光電変換されて出力されたアナログ信号は、瞳分割像信号として、Ａ／Ｄ変換部１０３へ出力される。Ａ／Ｄ変換部１０３は、撮像素子１０２から出力されたアナログ信号をデジタル信号へ変換し、画素加算部１０４および焦点検出部１０９へ出力する。画素加算部１０４は、マイクロレンズ２０１を共有する一対の受光部２０４、２０５（一対の副画素）からの信号（一対の瞳分割像信号または副画素信号）を加算し、撮像信号を生成する。画素加算部１０４により生成された撮像信号（画像データ）は、画像処理部１０５および差分算出部１０８へ出力される。差分算出部１０８は、後述のように、２つのフレーム間の相関値（評価値）の差分を検出する。
【００２３】
画像処理部１０５は、画素加算部１０４により生成された撮像信号が入力されると、その撮像信号に対して欠陥画素補正、ホワイトバランス調整、デモザイク処理などの各種の画像処理を施し、記録用画像信号および表示用画像信号を生成する。記録用画像信号は、記録部１０６へ出力される。表示用画像信号は、表示部１０７へ出力される。記録部１０６は、ＳＤカードなどの記憶媒体（不揮発性メモリ）であり、画像処理部１０５により生成された記録用画像信号を記録する。表示部１０７（表示手段）は、液晶ディスプレイなどの表示デバイスであり、ライブビュー画像の表示、撮影の設定画面、および、再生画像の表示などを行う。また表示部１０７は、ライブビュー撮影の際に、画像処理部１０５により生成された表示用画像信号（撮影画像）を表示し続ける。
【００２４】
焦点検出部１０９（焦点検出手段）は、Ａ／Ｄ変換部１０３から、一対の受光部２０４、２０５（一対の副画素）からの信号（一対の瞳分割像信号または副画素信号）に基づいて、焦点検出を行う。そして焦点検出部１０９は、焦点検出結果を合焦判定部１１０へ出力すると共に、合焦制御のための制御信号をレンズ駆動制御部１１１へ出力する。合焦判定部１１０（判定手段）は、焦点検出結果に基づいて合焦判定を行い、合焦判定結果（合焦状態）を画像処理部１０５へ通知する。レンズ駆動制御部１１１は、撮像光学系１０１（フォーカシングレンズ）を光軸方向に移動させることにより、合焦制御を行う。ＣＰＵ１１２（制御手段）は、撮像装置１００の各部を制御する。
【００２５】
画像処理部１０５は、レリーズボタン（不図示）が半押し状態になると、１フレーム分の各オートフォーカスエリア（ＡＦ領域）の合焦判定結果を受け取る。そして画像処理部１０５は、合焦状態であるオートフォーカスエリアを視認可能となるための効果（合焦状態の通知）を表示用画像信号に重畳して表示するスーパーインポーズ機能を有する。
【００２６】
ここで、図３を参照して、撮像素子１０２とオートフォーカスエリアとの関係について説明する。図３は、オートフォーカスエリアの説明図であり、撮像素子１０２と、撮像装置１００に予め設定されているオートフォーカスエリア３００との関係を示している。
【００２７】
図３に示されるように、撮像素子１０２上には、予め点線矩形で示される複数のオートフォーカスエリア３００が、水平９エリア、垂直６エリアの計５４エリアとして設定されている。なお、図３に示されるオートフォーカスエリア３００の設定例は一例に過ぎず、オートフォーカスエリアのサイズ、数、および、配置は、これに限定されるものではない。オートフォーカスエリアは、撮像素子１０２がとり得る画素座標の範囲内で任意に設定可能である。
【００２８】
差分算出部１０８（算出手段）は、互いに異なる時刻に撮影された２フレーム画像間（第１の時刻に撮影された第１のフレーム画像と第２の時刻に撮影された第２のフレーム画像との間）の差分値を所定の演算で算出し、２フレーム画像間の差分状態を判定する。
【００２９】
ここで、図４を参照して、差分算出部１０８の動作について詳述する。図４は、差分算出部１０８のブロック図である。差分算出部１０８には、画素加算部１０４により生成された撮像信号（一対の副画素からの信号の和）が入力される。ＢＰＦ４０１（バンドパスフィルタ部）は、入力された撮像信号から所定の被写体成分のみを抽出するため、撮像信号に対して所定の係数のバンドパスフィルタを適用してバンドパスフィルタ処理を行う。バンドパスフィルタ処理が施された撮像信号は、ＡＦ領域抽出部４０２（オートフォーカスエリア抽出部）に入力される。ＡＦ領域抽出部４０２は、対象となるオートフォーカスエリアの画素（画素信号）を切り出し（抽出し）、抽出した画素信号を後段のフレームバッファ４０３および相関演算部４０４へ出力する。例えば、図３を参照して説明したオートフォーカスエリア３００の範囲内の画素信号が切り出される。
【００３０】
フレームバッファ４０３は、入力されたオートフォーカスエリアの信号を１フレーム分だけ蓄積し、次フレームのオートフォーカスエリア信号が入力された場合に同座標位置の信号を同期して出力するためのバッファである。フレームバッファ４０３により同期された２フレーム分（第１のフレーム画像と第２のフレーム画像）のオートフォーカスエリア信号は、相関演算部４０４へ入力される。相関演算部４０４は、例えば以下の式（１）で表されるような演算を行うことにより、相関値ＦＲＡＭＥＣＯＲ（評価値）を算出する。
【００３１】
【数１】
2017142318.tif 000003
【００３２】
式（１）で表される相関値ＦＲＡＭＥＣＯＲは、相関演算部４０４により、あるオートフォーカスエリアに関する評価値である。式（１）において、ＶＳはオートフォーカスエリアの垂直開始位置、ＶＥはオートフォーカスエリアの垂直終了位置、ＨＳはオートフォーカスエリアの水平開始位置、ＨＥはオートフォーカスエリアの水平終了位置をそれぞれ示す。また、ｉは垂直の画素座標、ｊは水平の画素座標をそれぞれ示す。また、Ｆｒａｍｅ１はフレームバッファ５０３を介して入力される遅延したオートフォーカスエリア信号、Ｆｒａｍｅ２は現在のフレームのオートフォーカスエリア信号をそれぞれ示す。
【００３３】
すなわち、ＦｒａｍｅＮの信号から同Ｆｒａｍｅのオートフォーカスエリアの平均値を減算して正規化することにより、相関値ＦＲＡＭＥＣＯＲが算出される。式（１）を用いると、相関値ＦＲＡＭＥＣＯＲは、−１．０から１．０の範囲で算出され、１．０に近いほど相関が高いことを意味する。このような演算手法は、ＺＮＣＣ法（Ｚｅｒｏ−ｍｅａｎ  Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）と呼ばれる技術であり、被写体の明るさに起因する相関値（評価値）のばらつきを低減可能な演算手法として周知である。
【００３４】
相関演算部４０４により算出された相関値ＦＲＡＭＥＣＯＲは、差分判定部４０５へ出力される。差分判定部４０５は、相関値ＦＲＡＭＥＣＯＲと、予め設定されている差分判定閾値ＦＲＡＭＥ＿ＴＨ（フレーム間の差分判定閾値）とを比較し、フレーム間の差分（差分が大きいか否か）を判定する。
【００３５】
ＦＲＡＭＥＣＯＲ＜ＦＲＡＭＥ＿ＴＨの場合、差分判定部４０５は、相関が高い、すなわち差分が小さいと判定し、フレーム間の差分判定結果ＦＲＡＭＥ＿Ｄ＿ＦＬＧに０を代入してＣＰＵ１１２へ出力する。一方、ＦＲＡＭＥＣＯＲ≧ＦＲＡＭＥ＿ＴＨの場合、差分判定部４０５は、相関が低い、すなわち差分が大きいと判定し、フレーム間の差分判定結果ＦＲＡＭＥ＿Ｄ＿ＦＬＧに１を代入してＣＰＵ１１２へ出力する。
【００３６】
なお、ここでは一例としてＺＮＣＣ法を用いて説明しているが、演算手法はこれに限定されるものではない。例えば、更に演算量の低減を図るため、複数のフレームのそれぞれの対応する位置における信号の差の絶対値和を算出するＳＡＤ法（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を用いてもよい。または、複数のフレームのそれぞれの対応する位置における信号の差の二乗の絶対値和を算出するＳＳＤ法（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）法を用いてもよい。また、正規化を行わない演算を用いる場合、被写体の反射率や明るさに応じて評価値がばらつくことが想定されるため、差分判定部４０５で比較判定に用いる閾値を、被写体の状態に応じて動的に切り替えるように構成してもよい。
【００３７】
ＣＰＵ１１２は、差分判定結果ＦＲＡＭＥ＿Ｄ＿ＦＬＧに基づいて、焦点検出部１０９による焦点検出処理を行うか否かを決定し、その決定に応じて焦点検出部１０９を制御する。
【００３８】
焦点検出部１０９は、瞳分割像信号（一対の副画素からの信号）の相対的なずれ量を相関演算によって算出する。ここで、図５を参照して、焦点検出方法の原理について説明する。図５は、焦点状態の説明図であり、撮像素子１０２により取得された信号（瞳分割像信号）と焦点状態との関係を示している。図５（а）において、５００は撮像光学系１０１の射出瞳を図示したものである。
【００３９】
撮像光学系１０１へ入射した光束は、撮像光学系１０１の射出瞳５００の第１の領域５０１および第２の領域５０２（瞳部分領域）を介して、受光部２０４、２０５へそれぞれ導かれる。受光部２０４により取得される信号群により形成される像と、受光部２０５により取得される信号群により形成される像は、一対の瞳分割像として扱うことができる。以降、受光部２０４、２０５をそれぞれＡ像用画素およびＢ像用画素といい、複数の受光部２０４、２０５をそれぞれＡ像用画素群およびＢ像用画素群という。
【００４０】
図５（а）は、合焦状態における、Ａ像用画素群およびＢ像用画素群の瞳分割像信号を示している。合焦状態において、Ａ像用画素群およびＢ像用画素群の瞳分割像信号の形状は略一致する。図５（ｂ）は、前ピン状態における、Ａ像用画素群およびＢ像用画素群の瞳分割像信号を示している。前ピン状態において、Ａ像用画素群およびＢ像用画素群の瞳分割像信号は、相対的にずれた状態となっている。図５（ｃ）は、後ピン状態における、Ａ像用画素群およびＢ像用画素群の瞳分割像信号を示している。後ピン状態において、Ａ像用画素群およびＢ像用画素群の瞳分割像信号は、相対的なずれを持って出力される。なお、後ピン状態における相対的なずれの方向は、図５（ｂ）に示される前ピン状態の場合とは逆である。
【００４１】
次に、焦点検出部１０９について詳述する。焦点検出部１０９は、Ａ像用画素群およびＢ像用画素群からの信号に基づいて、ＳＡＤ法を用いた相関演算処理を行う。焦点検出部１０９は、Ａ像用画素群およびＢ像用画素群の画素ごとの差の絶対値を算出してその和を求めることにより、以下の式（２）で表されるように、Ａ像用画素群とＢ像用画素群との間の相関値ＡＦＣＯＲ（評価値）を算出する。
【００４２】
【数２】
2017142318.tif 000004
【００４３】
式（２）は、あるオートフォーカスエリアの１ラインについてＳｆｔ画素分の相対位置をずらした状態における相関値ＡＦＣＯＲ（Ｓｆｔ）示したものである。式（２）において、ＨＳはオートフォーカスエリアの水平開始位置、ＨＥはオートフォーカスエリアの水平終了位置、ｉは水平の画素座標をそれぞれ示している。また、Ａ、Ｂは、Ａ像用画素、Ｂ像用画素をそれぞれ示している。すなわち式（２）は、Ａ像用画素群に対してＢ像用画素群の相対位置をＳｆｔ数分だけずらした状態での各画素の差の絶対値の和を算出することを意味している。
【００４４】
式（２）を、Ａ像用画素群とＢ像用画素群との相対位置を変えて並列に（あるいは繰り返し）実行することにより、各相対位置における相関値ＡＦＣＯＲを取得し、瞳分割像の相対的なずれ量ＡＦＤＥＦを算出することが可能である。また、瞳分割像の相対的なずれ量ＡＦＤＥＦに対して所定の係数を掛けることにより、レンズ駆動量ＬＥＮＳＤＥＦに変換することができる。
【００４５】
なお本実施例において、１ライン分の演算方法について説明したが、オートフォーカスエリア内に複数のラインが含まれる場合も想定される。この場合、それぞれのラインについて同様に評価値を求め、複数の評価値に基づいて複合的にオートフォーカスエリア全体の瞳分割像の相対的なずれ量ＡＦＤＥＦを求めるように構成してもよい。なお、本実施例で説明した相関値の算出方法は一例に過ぎず、ＳＳＤ法（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）などの他の公知の技術を用いてもよい。
【００４６】
焦点検出部１０９により算出された瞳分割像の相対的なずれ量ＡＦＤＥＦは、合焦判定部１１０へ出力される。また、レンズ駆動量ＬＥＮＳＤＥＦは、レンズ駆動制御部１１１へ出力される。合焦判定部１１０は、焦点検出部１０９により算出された瞳分割像の相対的なずれ量ＡＦＤＥＦを受け取り、オートフォーカスエリアの合焦判定を行う。合焦判定部１１０は、焦点検出部１０９から瞳分割像の相対的なずれ量ＡＦＤＥＦと、予め設定されている閾値ＦＯＣＵＳ＿ＴＨとを比較する。
【００４７】
ＡＦＤＥＦ＜ＦＯＣＵＳ＿ＴＨの場合、合焦判定部１１０は、焦点状態が合焦状態であると判定し、合焦判定結果ＦＯＣＵＳ＿ＦＬＧに１を代入してＣＰＵ１１２へ出力する。一方、ＡＦＤＥＦ≧ＦＯＣＵＳ＿ＴＨの場合、合焦判定部１１０は、焦点状態が非合焦状態であると判定し、合焦判定結果ＦＯＣＵＳ＿ＦＬＧに０を代入してＣＰＵ１１２へ出力する。全てのオートフォーカスエリアについて合焦判定が実施されると、ＣＰＵ１１２は、表示部１０７に対して、１フレーム分の合焦判定結果を出力する。レンズ駆動制御部１１１は、焦点検出部１０９からレンズ駆動量ＬＥＮＳＤＥＦを受け取り、撮像光学系１０１に構成されるフォーカシングレンズを駆動することで、オートフォーカス機能を実現する。
【００４８】
次に、図６を参照して、撮像装置１００のＣＰＵ１１２により制御される撮影処理（焦点検出から表示までの一連の流れ）について説明する。図６は、撮影処理を示すフローチャートである。図６の各ステップは、ＣＰＵ１１２の指令に基づいて、撮像装置１００の各部により実行される。
【００４９】
まずステップＳ６０１において、ＣＰＵ１１２は、撮像装置１００の電源がＯＮであるか否かを判定する。電源がＯＮになると、ＣＰＵ１１２は撮影処理を開始する。ＣＰＵ１１２は、電源がＯＦＦになるまで、一連の動作（ステップＳ６０１〜Ｓ６０５）を繰り返し実行する。
【００５０】
ステップＳ６０１にて電源がＯＮの場合、ステップＳ６０２において、ＣＰＵ１１２は、操作部（不図示）としてのレリーズボタンが半押し状態であるか否かを判定する。レリーズボタンが半押し状態でない場合、ステップＳ６０５へ移行する。ステップＳ６０５において、ＣＰＵ１１２は、画像処理部１０５により生成される表示用画像を表示部１０７に表示する。図１３（ａ）は、このとき表示部１０７に表示される画像（被写体１３０１を含む撮影画像）の例である。そしてステップＳ６０１へ戻り、一連の動作を繰り返す。
【００５１】
一方、ステップＳ６０２にてレリーズボタンが半押し状態である場合、ステップＳ６０３へ移行する。ステップＳ６０３において、ＣＰＵ１１２は焦点検出処理を行うように焦点検出部１０９を制御する。焦点検出処理が完了すると、ステップＳ６０４へ進む。なお、焦点検出処理の一連の流れについては後述する。
【００５２】
ステップＳ６０４において、ＣＰＵ１１２は、ステップＳ６０３の焦点検出処理による１フレーム分の各オートフォーカスエリアの合焦判定結果および画像処理部１０５により生成された表示用画像を表示部１０７へ出力する。このときＣＰＵ１１２は、合焦判定結果に基づいてオートフォーカスエリア枠（合焦エリア）を重畳するスーパーインポーズ処理（合焦エリア重畳）を実行し、最終的な表示用画像を生成する。続いてステップＳ６０５において、ＣＰＵ１１２は、ステップＳ６０４にて生成された最終的な表示用画像を表示部１０７に表示する。図１３（ｂ）は、このとき表示部１０７に表示される画像（撮影画像）の例である。図１３（ｂ）に示されるように、被写体１３０１に合焦している状態で（合焦状態と判定された場合）、被写体１３０１に合焦していることを示す合焦エリア１３０２（合焦領域に関する情報）が表示されている。ステップＳ６０５の画像表示が完了すると、ステップＳ６０１へ戻る。
【００５３】
次に、図７を参照して、焦点検出処理（ステップＳ６０３）の一連の流れについて説明する。図７は、焦点検出処理を示すフローチャートである。図７の各ステップは、ＣＰＵ１１２の指令に基づいて、主に、差分算出部１０８、焦点検出部１０９、および、合焦判定部１１０により実行される。
【００５４】
焦点検出処理が開始すると、まずステップＳ７０１において、ＣＰＵ１１２は、最初のフレーム（第１のフレーム）であるか否かを判定する。最初のフレームである場合、ステップＳ７０２に進む。一方、２フレーム目以降のフレーム（第２のフレーム）である場合、ステップＳ７０４に進む。ステップＳ７０４において、差分算出部１０８は、フレーム間の差分値算出処理およびフレーム間の差分判定処理を行い、フレーム間の差分判定結果ＦＲＡＭＥ＿Ｄ＿ＦＬＧをＣＰＵ１１２へ出力する。そしてステップＳ７０５において、ＣＰＵ１１２は、フレーム間の差分判定結果ＦＲＡＭＥ＿Ｄ＿ＦＬＧに基づいて、フレーム間の差分（の有無）を判定する。
【００５５】
フレーム間の差分判定結果ＦＲＡＭＥ＿Ｄ＿ＦＬＧが０の場合、ＣＰＵ１１２は、フレーム間の差分がないと判定する。このとき、ＣＰＵ１１２は、焦点検出部１０９による相関演算処理および合焦判定部１１０による合焦判定処理を行わないように、焦点検出部１０９および合焦判定部１１０を制御する。すなわち、ステップＳ７０２の相関演算処理およびステップＳ７０３の合焦判定処理を行うことなく、ステップＳ７０６に進む。この場合、処理中のオートフォーカスエリアの合焦判定結果としては、前回の合焦判定結果が更新されないため、前回の合焦判定結果と同一の判定結果が適用される。
【００５６】
一方、ステップＳ７０５にてフレーム間の差分判定結果ＦＲＡＭＥ＿Ｄ＿ＦＬＧが１の場合、ＣＰＵ１１２はフレーム間の差分があると判定し、ステップＳ７０２に進む。ステップＳ７０２において、焦点検出部１０９は、焦点検出処理を行い、瞳分割像の相対的なずれ量ＡＦＤＥＦを算出する。続いてステップＳ７０３において、合焦判定部１１０は、ステップＳ７０２にて算出された瞳分割像の相対的なずれ量ＡＦＤＥＦに基づいて合焦判定を行い、合焦判定結果ＦＯＣＵＳ＿ＦＬＧを出力する。
【００５７】
続いてステップＳ７０６において、ＣＰＵ１１２は、全オートフォーカスエリアに対して一連の処理が実行されたか否かを判定する。全オートフォーカスエリアに対する焦点検出処理が完了していない場合、ステップＳ７０７に進む。ステップＳ７０７において、ＣＰＵ１１２は、焦点検出処理の対象を次のオートフォーカスエリアに変更し、ステップＳ７０１に戻る。一方、全オートフォーカスエリアに対する焦点検出処理が完了した場合、焦点検出処理を終了する。
【００５８】
このように、演算領域（相関演算対象のＡＦ領域、すなわち合焦判定対象のＡＦ領域）を適切に判定して演算量を削減することにより、高速に合焦状態を通知することが可能となる。なお本実施例において、差分判定部４０５のフレーム間の差分判定用閾値ＦＲＡＭＥ＿ＴＨを固定値として判定する例を説明したが、フレーム間の差分判定用閾値を動的に変更するようにしてもよい。例えば、前フレームの瞳分割像のずれ量に基づいて、差分判定用閾値を動的に変更するように制御することができる。また前フレームの瞳分割像のずれ量が小さい場合、すなわち合焦近傍であるエリアに関しては、小さい差分量であっても再度焦点検出を行うように、フレーム間の差分判定用閾値ＦＲＡＭＥ＿ＴＨを合焦近傍ではないエリアよりも低くなるように設定してもよい。
【００５９】
なお本実施例は、予め取得された瞳分割画像データを入力データとして扱う画像処理装置にも適用可能である。このような画像処理装置は、例えば、差分算出部１０８、焦点検出部１０９、および、ＣＰＵ１１２を備えて構成される。また画像処理装置は、画素加算部１０４、画像処理部１０５、記録部１０６、表示部１０７、および、合焦判定部１１０などを含む場合がある。
【実施例２】
【００６０】
次に、本発明の実施例２における撮像装置について説明する。実施例１では、オートフォーカスエリアごとにフレーム間における評価値の差分を算出し、焦点検出用の相関演算処理を実行する例について説明した。一方、本実施例では、複数のオートフォーカスエリアを１つのＡＦグループとして扱い、グループごとにフレーム間における評価値の差分を算出し、焦点検出用の相関演算処理を実行する例について説明する。なお本実施例において、実施例１と同様の説明については省略する。
【００６１】
図８を参照して、本実施例における差分算出部１０８の処理について説明する。図８は、差分算出部１０８の処理の説明図である。撮像素子１０２には、実施例１と同様に、複数のオートフォーカスエリアが水平９エリア、垂直６エリアの計５４エリアとして設定されている。本実施例では、差分算出部１０８のＡＦ領域抽出部４０２による抽出範囲を、複数のオートフォーカスエリア８０１、８０２、８０３を内包する領域８００（１つのＡＦグループ）に設定する。
【００６２】
次に、図９を参照して、本実施例における焦点検出処理（ステップＳ６０３）の一連の流れについて説明する。図９は、焦点検出処理を示すフローチャートである。図９の各ステップは、ＣＰＵ１１２の指令に基づいて、主に、差分算出部１０８、焦点検出部１０９、および、合焦判定部１１０により実行される。
【００６３】
焦点検出処理が開始すると、まずステップＳ９０１において、ＣＰＵ１１２は、最初のフレーム（第１のフレーム）であるか否かを判定する。最初のフレームである場合、ステップＳ９０２に進む。一方、２フレーム目以降のフレーム（第２のフレーム）である場合、ステップＳ９０４に進む。ステップＳ９０４において、差分算出部１０８は、フレーム間の差分値算出処理およびフレーム間の差分判定処理を行い、領域８００ごとのフレーム間の差分判定結果ＦＲＡＭＥ＿Ｄ＿ＦＬＧをＣＰＵ１１２へ出力する。そしてステップＳ９０５において、ＣＰＵ１１２は、領域８００ごとのフレーム間の差分判定結果ＦＲＡＭＥ＿Ｄ＿ＦＬＧに基づいて、フレーム間の差分（の有無）を判定する。
【００６４】
領域８００ごとのフレーム間の差分判定結果ＦＲＡＭＥ＿Ｄ＿ＦＬＧが０の場合、ＣＰＵ１１２は、フレーム間の差分がないと判定し、ステップＳ９０６に進む。この場合、処理中の領域８００に内包される複数のオートフォーカスエリアの合焦判定結果としては、前回の合焦判定結果が更新されないため、前回の合焦判定結果と同一の判定結果が適用される。
【００６５】
一方、ステップＳ９０５にてフレーム間の差分判定結果ＦＲＡＭＥ＿Ｄ＿ＦＬＧが１の場合、ＣＰＵ１１２はフレーム間の差分があると判定し、ステップＳ９０２に進む。ステップＳ９０２において、焦点検出部１０９は、焦点検出処理を行い、瞳分割像の相対的なずれ量ＡＦＤＥＦを算出する。続いてステップＳ９０３において、合焦判定部１１０は、ステップＳ９０２にて算出された瞳分割像の相対的なずれ量ＡＦＤＥＦに基づいて合焦判定を行い、合焦判定結果ＦＯＣＵＳ＿ＦＬＧを出力する。
【００６６】
続いてステップＳ９０６において、ＣＰＵ１１２は、領域８００内の全てのオートフォーカスエリアに対してステップＳ９０２の相関演算処理およびステップＳ９０３の合焦判定処理が実行されたか否かを判定する。領域８００内の全てのオートフォーカスエリアに対する焦点検出処理が完了していない場合、ステップＳ９０７に進む。ステップＳ９０７において、ＣＰＵ１１２は、焦点検出処理の対象を領域８００に含まれる次のオートフォーカスエリアに変更し、ステップＳ９０２に戻る。一方、領域８００内の全てのオートフォーカスエリアに対する焦点検出処理が完了した場合、ステップＳ９０８に進む。
【００６７】
続いてステップＳ９０８において、ＣＰＵ１１２は、全ての領域８００（全てのＡＦグループ）に対して一連の処理が実行されたか否かを判定する。全ての領域８００に対する焦点検出処理が完了していない場合、ステップＳ９０９に進む。ステップＳ９０９において、ＣＰＵ１１２は、焦点検出処理の対象を次の領域８００（次のＡＦグループ）に変更し、ステップＳ９０１に戻る。一方、全ての領域８００に対する焦点検出処理が完了した場合、焦点検出処理を終了する。
【００６８】
本実施例において、差分算出部１０８によるフレーム間の差分判定結果ＦＲＡＭＥ＿Ｄ＿ＦＬＧは、領域８００（ＡＦグループ）ごとに出力される。差分があると判定された場合、焦点検出部１０９は、領域８００に含まれるオートフォーカスエリア８０１、８０２、８０３に対して焦点検出処理を実行する。このように、演算領域（相関演算対象のＡＦグループ、すなわち合焦判定対象のＡＦグループ）を適切に判定して演算量を削減することにより、高速に合焦状態を通知することが可能となる。
【００６９】
なお本実施例では、領域８００（１つのＡＦグループ）は３つのオートフォーカスエリア８０１、８０２、８０３を含むように設定されているが、これに限定されるものではない。撮像素子内の座標に収まる範囲内で、複数のオートフォーカスエリアを含む任意の領域（サイズ）をＡＦグループとして設定可能である。または、差分算出部１０８は、ＡＦ領域抽出部４０２により撮像素子の全域としてのフレーム全体を抽出し、フレーム全体に対する評価値の差分を算出して焦点検出処理を行ってもよい。また、演算量を削減するため、メッシュ状にＡＦ領域（ＡＦグループ）を設定し、メッシュ状のフレーム間の差分検出結果の分布に応じて、各オートフォーカスエリアの焦点検出処理を実行するように構成してもよい。
【実施例３】
【００７０】
次に、本発明の実施例３における撮像装置について説明する。実施例１、２では、図２に示される構造を有する撮像素子１０２を備えた撮像装置１００について説明した。一方、本実施例の撮像装置１０００は、撮像素子１００２を備えている。
【００７１】
まず、図１０を参照して、本実施例における撮像装置１０００の構成について説明する。図１０は、撮像装置１０００のブロック図である。本実施例の撮像装置１０００は、撮像素子１０２に代えて撮像素子１００２を有する点、画素加算部１０４に代えて画素補間部１００４を有する点、および、画素抽出部１００５を有する点で、実施例１、２の撮像装置１００とは異なる。撮像装置１０００の他の構成は、撮像装置１００と同一であるため、それらの説明は省略する。
【００７２】
次に、図１１を参照して、撮像素子１００２の画素構造について説明する。図１１は、撮像素子１００２の平面図である。撮像素子１００２には、撮像用信号を出力する画素１１００（撮像用画素）がベイヤー状に配列されており、配列の一部に、焦点検出用信号を出力する画素１１０１、１１０２（焦点検出用画素Ｓ１、Ｓ２）が離散的に配置されている。すなわち撮像素子１００２は、複数の撮像用画素（画素１１００）の配列の一部に、焦点検出用画素（画素１１０１、１１０２）を含む。図１１中のＲ（赤）、Ｇ（緑）、Ｂ（青）は、画素１１００のカラーフィルタの分光感度特性を示している。
【００７３】
次に、図１２を参照して、画素１１００（撮像用画素）および画素１１０１、１１０２（焦点検出用画素）の構造について説明する。図１２は、撮像素子１００２の画素構造図である。図１２（ａ）は画素１１００の断面図、図１２（ｂ）は画素１１０１の断面図、図１２（ｃ）は画素１１０２の断面図をそれぞれ示している。
【００７４】
図１２（ａ）に示されるように、画素１１００（撮像用画素）は、従来から一般的に利用されている画素構造を有し、マイクロレンズ１２０１、カラーフィルタ１２０２、配線層１２０３、および、光電変換部１２０４（受光部）を備えて構成される。図１２（ｂ）に示されるように、画素１１０１（焦点検出用画素）は、画素１１００からカラーフィルタ１２０２が除去され、配線層１２０３の一部に遮光層１２０５が形成されている。図１２（ｃ）に示されるように、画素１１０２（焦点検出用画素）は、画素１１００からカラーフィルタ１２０２が除去され、配線層１２０３の一部に遮光層１２０６が形成されている。画素１１０１、１１０２（焦点検出用画素）は、遮光層の形成位置に応じて、入射光束の一部を制限し、それぞれが異なる射出瞳領域を通過した光束を受光可能に設計されており、焦点検出に必要な瞳分割像を取得することができる。
【００７５】
画素補間部１００４は、画素１１０１、１１０２（焦点検出用画素）が配置されている座標について、周囲の画素１１００（撮像用画素）を用いた補間処理（画素補間処理）を行う。例えば、焦点検出用画素の座標に対応するカラーフィルタを有する周囲の撮像用画素群の信号の平均値を用いて補間処理を行う。画素抽出部１００５は、画素１１０１、１１０２（焦点検出用画素）からの信号のみを抽出して焦点検出部１０９へ出力する。このような構成においても、演算領域を適切に判定して演算量を削減することにより、高速に合焦状態を通知することが可能となる。
【００７６】
このように各実施例において、画像処理装置は、算出手段（差分算出部１０８）、焦点検出手段（焦点検出部１０９）、および、制御手段（ＣＰＵ１１２）を有する。算出手段は、互いに異なる時刻に取得された複数のフレーム画像の少なくとも一部の領域の類似度を算出する。焦点検出手段は、複数のフレーム画像のそれぞれに含まれる所定の領域（ＡＦ領域）に関して焦点検出を行う。制御手段は、類似度に応じて、焦点検出手段により所定の領域に関する焦点検出を行うか否かを決定する。
【００７７】
好ましくは、制御手段は、類似度が所定の閾値よりも大きい場合、所定の領域に関する焦点検出を行い、類似度が所定の閾値よりも小さい場合、所定の領域に関する焦点検出を行わない。より好ましくは、画像処理装置は、焦点検出手段による焦点検出に基づいて、所定の領域が合焦領域であるか否かの判定（合焦判定）を行う判定手段（合焦判定部１１０）を有する。そして制御手段は、合焦領域に関する情報を撮影画像に重畳して表示手段（表示部１０７）に表示する。また制御手段は、類似度が所定の閾値よりも小さい場合、所定の領域に関する焦点検出および合焦判定を行うことなく、前回の合焦判定結果を利用する。
【００７８】
好ましくは、実施例１のように、所定の領域は、複数のフレーム画像のそれぞれに含まれる複数のＡＦ領域である。そして算出手段は、複数のＡＦ領域のそれぞれに関して類似度を算出する。また好ましくは、実施例２のように、所定の領域は、複数のフレーム画像のそれぞれに含まれる複数のＡＦ領域である。そして算出手段は、複数のＡＦ領域のうち少なくとも２つ以上のＡＦ領域を含むＡＦグループに関して、類似度を算出する。また好ましくは、算出手段は、複数のフレーム画像の相関に関する評価値（相関値）を、類似度として算出する。
【００７９】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００８０】
各実施例によれば、高速に合焦状態を通知可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。
【００８１】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００８２】
例えば、各実施例は、位相差検出方式によるフォーカス制御（撮像面位相差ＡＦ）を行う撮像装置だけでなく、コントラスト検出方式により（画像のコントラスト情報に基づいて）フォーカス制御を行う撮像装置にも適用可能である。
【符号の説明】
【００８３】
１０８  差分算出部（算出手段）
１０９  焦点検出部（焦点検出手段）
１１２  ＣＰＵ（制御手段）
【図１】
2017142318.tif 000005
【図２】
2017142318.tif 000006
【図３】
2017142318.tif 000007
【図４】
2017142318.tif 000008
【図５】
2017142318.tif 000009
【図６】
2017142318.tif 000010
【図７】
2017142318.tif 000011
【図８】
2017142318.tif 000012
【図９】
2017142318.tif 000013
【図１０】
2017142318.tif 000014
【図１１】
2017142318.tif 000015
【図１２】
2017142318.tif 000016
【図１３】
2017142318.tif 000017