(57)【要約】【課題】画像処理装置において、焦点検出用画素補正の性能の向上を図ること。【解決手段】画像信号を形成する為の信号を出力する撮像用画素と画像信号を形成する為以外の信号を出力する機能画素が平面上に配列された固体撮像素子と、前記撮像用画素を用いて前記機能画素を補正する補正値を算出する第１の算出手段と、前記複数の撮像用画素を用いて前記機能画素を補正する補正値を算出する第２の算出手段と、前記機能画素を基準に設定した基準領域との第１の相関を求め、求めた第１の相関に基づいて除外領域を特定し、該特定した除外領域を除き、基準領域との第２の相関を求め、求めた第１の相関と第２の相関に応じて、前記第１の算出手段により算出された補正値と前記第２の算出手段により算出された補正値を選択する選択手段と、前記選択手段により選択された補正値で前記機能画素を補正する補正値代入手段と、を有することを特徴とする。【選択図】図１
2019022034.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を形成する為の信号を出力する撮像用画素と画像信号を形成する為以外の信号を出力する機能画素が平面上に配列された固体撮像素子と、前記撮像用画素を用いて前記機能画素を補正する補正値を算出する第１の算出手段と、前記複数の撮像用画素を用いて前記機能画素を補正する補正値を算出する第２の算出手段と、前記機能画素を基準に設定した基準領域との第１の相関を求め、求めた第１の相関に基づいて除外領域を特定し、該特定した除外領域を除き、基準領域との第２の相関を求め、求めた第１の相関と第２の相関に応じて、前記第１の算出手段により算出された補正値と前記第２の算出手段により算出された補正値を選択する選択手段と、前記選択手段により選択された補正値で前記機能画素を補正する補正値代入手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記第１の算出手段は前記機能画素を除いた３ｘ３の領域の８画素の領域で差分絶対値和を複数取得し、前記差分絶対値和が最小となる位置の画素を補正値とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の算出手段は前記機能画素に対して縦方向、横方向、４５度方向、１３５度方向に位置する１組の画素の差分絶対値和を取得し、前記差分絶対値和が最小となる方向にある同色画素を平均した値を補正値とすることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記選択手段は前記機能画素を除いた３ｘ３の領域の８画素の領域で差分絶対値和を基準に設定した基準領域とすることを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
【請求項５】
前記選択手段の第１の相関もしくは第２の相関は前記基準領域の差分絶対値和が最小になる位置であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記選択手段の除外領域は前記第１の相関により求めた第１の相関の位置を中心とした周囲５ｘ５の領域の画素であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記選択手段の求めた第２の相関と第１の相関の差が閾値を超える場合、前記第１の算出手段の補正値の再現性が低いと判断し、前記第２の算出手段により算出された補正値を選択し、それ以外の場合、前記第１の算出手段の補正値の再現性が高いと判断し、前記第２の算出手段により算出された補正値を選択することを特徴とする請求項６に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、更に詳しくは焦点検出用画素を有する撮像素子の画素補正に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラなどの撮像装置では、撮影レンズの一部の領域を通過した光束のみを受光するように設計された焦点検出用画素をＣＣＤやＣＭＯＳ等の固体撮像素子上に離散的に配置することにより、位相差焦点検出を実現する技術が知られている。
【０００３】
特許文献１には、通常画素の間に焦点検出用画素が埋め込まれた撮像素子を用いて、瞳分割位相差方式の焦点検出を行う方法が開示されている。この場合、焦点検出用画素が欠落することになるので、周囲の通常画素から補間して画素値を生成することになる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４７９７６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、焦点検出用画素が多い場合は周囲の通常画素が不足するため、特に高周波の被写体の場合に焦点検出用画素補正で誤補正が発生することがあった。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明に係る画像処理装置は、
画像信号を形成する為の信号を出力する撮像用画素と画像信号を形成する為以外の信号を出力する機能画素が平面上に配列された固体撮像素子と、前記撮像用画素を用いて前記機能画素を補正する補正値を算出する第１の算出手段と、前記複数の撮像用画素を用いて前記機能画素を補正する補正値を算出する第２の算出手段と、前記機能画素を基準に設定した基準領域との第１の相関を求め、求めた第１の相関に基づいて除外領域を特定し、該特定した除外領域を除き、基準領域との第２の相関を求め、求めた第１の相関と第２の相関に応じて、前記第１の算出手段により算出された補正値と前記第２の算出手段により算出された補正値を選択する選択手段と、前記選択手段により選択された補正値で前記機能画素を補正する補正値代入手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明に係る画像処理装置によれば、補正値の再現性を判断することで、上記の問題点を解決する為のものであり、撮像素子の焦点検出用画素の補正性能を向上できる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例の構成を説明するための図
【図２】本発明の実施例を説明するための図
【図３】本発明の実施例を説明するための図
【図４】本発明の実施例を説明するための図
【図５】本発明の実施例を説明するための図
【図６】本発明の実施例を説明するためのフローチャート
【図７】本発明の実施例を説明するためのフローチャート
【図８】本発明の実施例を説明するためのフローチャート
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【実施例１】
【００１０】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００１１】
図１は、撮像装置の全体を示す構成図である。
【００１２】
図１において、撮像部１０１は撮像素子１１０と図示しない撮影レンズ、及びその駆動回路からなり、撮影レンズにより結像する光学像を撮像素子１１０によりアナログ信号に変換する。撮像素子１１０はＣＣＤやＣＭＯＳセンサで２次元に構成されており、配列の一部に焦点検出用画素を備えている。撮像素子１１０についての説明は後述する。
【００１３】
撮像部１０１から出力されるアナログ信号は、Ａ／Ｄ変換回路１０２によってデジタル信号に変換される。Ａ／Ｄ変換回路１０２によってデジタル信号に変換された画像信号は、第一の焦点検出用画素補正値算出回路１０３と第二の焦点検出用画素補正値算出回路１０４、補正値選択回路１０５、補正値代入回路１０６に入力される。第一の焦点検出用画素補正値算出回路１０３は、詳細は後述するが、画像信号内の焦点検出用画素の補正値を算出する。第一の焦点検出用画素補正値算出回路１０３によって出力された焦点検出用画素の補正値は、補正値代入回路１０６に入力される。第二の焦点検出用画素補正値算出回路１０４は、詳細は後述するが、第一の焦点検出用画素補正値算出回路１０３と異なる方法で画像信号内の焦点検出用画素の補正値を算出する。第二の焦点検出用画素補正値算出回路１０４によって出力された焦点検出用画素の補正値は、補正値代入回路１０６に入力される。
【００１４】
補正値選択回路１０５は、詳細は後述するが画像信号を評価して焦点検出用画素を、第一の焦点検出用画素補正値算出回路１０３と、第二の焦点検出用画素補正値算出回路１０４のどちらで補正するか選択する。補正値選択回路１０５により選択された結果は、補正値代入回路１０６に入力される。補正値代入回路１０６は、補正値選択回路１０５により選択された結果に基づいて、画像信号内の焦点検出用画素に補正値を代入し、焦点検出用画素補正後の画像信号を出力する。補正値代入回路１０６によって出力された焦点検出用画素補正後の画像信号は、信号処理回路１０７に送られ、公知のホワイトバランス回路、色補間回路、ノイズリダクション処理、ガンマ処理、マトリックス処理等の信号処理が行われる。
【００１５】
次に図２、図３を用いて、撮像素子１１０の構成について説明する。
【００１６】
図２は撮像用画素の断面図である。
【００１７】
２０１はマイクロレンズであり、入射された光束を光電変換部２０３へと集光する。２０２はカラーフィルター層であり、赤、緑、青のいずれかの波長の光のみを透過するような分光感度特性を持つカラーフィルターが配置されている。２０３は受光した光束を光電変換する光電変換部である。以降、赤、緑、青の波長の光を透過するカラーフィルターを構成した撮像用画素をそれぞれＲ画素、Ｇ画素、Ｂ画素と呼ぶ。
【００１８】
図３は焦点検出用画素の断面図である。
【００１９】
３０１はマイクロレンズであり、入射された光束を光電変換部３０４へと集光する。焦点検出用画素のマイクロレンズ３０１は撮像用画素のマイクロレンズ２０１に比べ曲率が大きくなるように設計されている。３０２はカラーフィルター層であり、透明なカラーフィルターを構成している。３０３は遮光層であり、マイクロレンズ３０１から入射した光束の一部を遮光するように形成される。３０４は受光した光束を光電変換する光電変換部である。なお、図３では透明なカラーフィルターを構成する構成を示したが、カラーフィルター層を設けない構成でも良い。
【００２０】
次に、図４を用いて、本実施例における焦点検出用画素補正処理に用いる画像信号を説明する。
【００２１】
図４は画像信号の一例を示し、Ｒ画素、Ｇ画素、Ｂ画素、焦点検出用画素Ｓ画素で構成されている。以降、補正値算出を行う着目画素はＳ３５で、さらにＳ３１、Ｓ３５、Ｓ３９のように水平４画素おきに焦点検出用画素がある場合の焦点検出用画素補正方法について説明を行う。
【００２２】
次に図６のフローチャートと図４の画像信号を使用して、第一の焦点検出用画素補正値算出回路１０３の具体的な処理の一例を説明する。
【００２３】
第一の焦点検出用画素補正値算出回路１０３の補正方法は、高周波を再現するため最も相関の高い同色画素を補正値とする。ステップＳ１０１でＳＡＤ値（ＳＡＤ１１、ＳＡＤ１３、ＳＡＤ１５、ＳＡＤ１７、ＳＡＤ１９、ＳＡＤ３３、ＳＡＤ３７、ＳＡＤ５１、ＳＡＤ５３、ＳＡＤ５５、ＳＡＤ５７、ＳＡＤ５９）を取得する。ここでＳＡＤ値の算出方法としては図５に示すような中心画素を除いた３ｘ３の領域の８画素の領域で差分絶対値和（以下ＳＡＤ）を取得する。例えば、着目画素を中心とする３ｘ３領域とＧ１１の位置を中心とする３ｘ３領域とのＳＡＤ１１は、下記の式で表される。
【００２４】
ＳＡＤ１１＝ＡＢＳ（Ｇ００−Ｇ２４）＋ＡＢＳ（Ｒ０１−Ｒ２５）＋ＡＢＳ（Ｇ０２−Ｇ２６）＋ＡＢＳ（Ｂ１０−Ｂ３４）＋ＡＢＳ（Ｂ１２−Ｂ３６）＋ＡＢＳ（Ｇ２０−Ｇ４４）＋ＡＢＳ（Ｒ２１−Ｒ４５）＋ＡＢＳ（Ｇ２２−Ｇ４６）  （式１）
次にステップＳ１０２に進み、ＳＡＤ最小値ＳＡＤｍｉｎ１とＳＡＤ最小値を取る位置でのＧ画素Ｇｍｉｎ１を取得する。最後にＳ１０３に進み、最も相関が高い画素であると判断したＧ画素Ｇｍｉｎ１を、焦点検出用画素Ｓ３５の補正値Ｐｉｘとして出力する。
【００２５】
なお、本実施例では、相関を求める方法として、３ｘ３の画素範囲でのＳＡＤ値が最小の値となるものを最も相関が高いとしたが、方法はこれに限るものではない。
【００２６】
次に図７のフローチャートと図４の画像信号を使用して、第二の焦点検出用画素補正値算出回路１０４の具体的な処理の一例を説明する。
【００２７】
第二の焦点検出用画素補正値算出回路１０４の補正方法は、複数の同色画素を用いて補正値とする。
【００２８】
ステップＳ２０１で焦点検出用画素Ｓ３５の周辺画素（Ｇ２４，Ｒ２５，Ｇ２６，Ｂ３４，Ｂ３６，Ｇ４４，Ｒ４５，Ｇ４６）のうち、焦点検出用画素Ｓ３５に対して縦方向、横方向、４５度方向、１３５度方向に位置する１組の画素の出力値のＳＡＤを取得する。具体的には、横方向のＳＡＤをＨ＿ＤＩＶ、縦方向のＳＡＤをＶ＿ＤＩＶ、４５度方向のＳＡＤをＤ４５＿ＤＩＶ、１３５度方向のＳＡＤをＤ１３５＿ＤＩＶとすると下記の式で表される。
【００２９】
【数１】
2019022034.tif 000003
【００３０】
次にステップＳ２０２に進み、ＳＡＤ値（Ｈ＿ＤＩＶ、Ｖ＿ＤＩＶ、Ｄ４５＿ＤＩＶ、Ｄ１３５＿ＤＩＶ）を比較して、Ｈ＿ＤＩＶが最小値か否か判断する。Ｈ＿ＤＩＶが最小値の場合（ステップＳ２０２：ＹＥＳ）、ステップＳ２０３に進み、着目画素と横方向に相関の高い画素が存在すると判断し、焦点検出用画素Ｓ３５の補正値Ｐｉｘを出力する。具体的には、横方向のＧ画素Ｇ３３、Ｇ３７を用いて下記の式で表わされる。
Ｐｉｘ＝（Ｇ３３＋Ｇ３７）／２                   式（３）
次に、Ｈ＿ＤＩＶが最小値ではない場合（ステップＳ２０２：ＮＯ）、ステップＳ２０４に進み、Ｖ＿ＤＩＶが最小値か否か判断する。Ｖ＿ＤＩＶが最小値の場合（ステップＳ２０４：ＹＥＳ）、ステップＳ２０５に進み、着目画素と縦方向に相関の高い画素が存在すると判断し、焦点検出用画素Ｓ３５の補正値Ｐｉｘを出力する。具体的には、縦方向のＧ画素Ｇ１５、Ｇ５５を用いて下記の式で表わされる。
Ｐｉｘ＝（Ｇ１５＋Ｇ５５）／２                   式（４）
次に、Ｖ＿ＤＩＶが最小値ではない場合（ステップＳ２０４：ＮＯ）、ステップＳ２０６に進み、Ｄ４５＿ＤＩＶが最小値か否か判断する。Ｄ４５＿ＤＩＶが最小値の場合（ステップＳ２０６：ＹＥＳ）、ステップＳ２０７に進み、着目画素と４５度方向に相関の高い画素が存在すると判断し、焦点検出用画素Ｓ３５の補正値Ｐｉｘを出力する。具体的には、４５度方向のＧ画素Ｇ２４、Ｇ４６を用いて下記の式で表わされる。
Ｐｉｘ＝（Ｇ２４＋Ｇ４６）／２                   式（５）
次に、Ｄ４５＿ＤＩＶが最小値ではない場合（ステップＳ２０６：ＮＯ）、ステップＳ２０８に進み、着目画素と１３５度方向に相関の高い画素が存在すると判断し、焦点検出用画素Ｓ３５の補正値Ｐｉｘを出力する。具体的には、１３５度方向のＧ画素Ｇ２６、Ｇ４４を用いて下記の式で表わされる。
Ｐｉｘ＝（Ｇ２６＋Ｇ４４）／２                   式（６）
なお、本実施例では、相関値を求める方法として焦点検出用画素Ｓ３５の周辺画素（Ｇ２４，Ｒ２５，Ｇ２６，Ｂ３４，Ｂ３６，Ｇ４４，Ｒ４５，Ｇ４６）を基にＳＡＤを算出したが、これに限るのではない。また、本実施例では、同色２画素を用いて補正値を算出しているが、これに限るものではない。例えば、複数の同色画素を用いて加重加算により補正値を算出しても良い。
【００３１】
次に図８のフローチャートと図４の画像信号を使用して、補正値選択回路１０５の具体的な処理の一例を説明する。
【００３２】
ステップＳ３０１でＳＡＤ値（ＳＡＤ１１、ＳＡＤ１３、ＳＡＤ１５、ＳＡＤ１７、ＳＡＤ１９、ＳＡＤ３３、ＳＡＤ３７、ＳＡＤ５１、ＳＡＤ５３、ＳＡＤ５５、ＳＡＤ５７、ＳＡＤ５９）を取得する。
【００３３】
次にステップＳ３０２に進み、ＳＡＤ最小値ＳＡＤｍｉｎ１とＳＡＤ最小値を取る位置ＰＯＳｍｉｎ１を取得する。
【００３４】
次にステップＳ３０３に進み、ＳＡＤ最小値を取る位置ＰＯＳｍｉｎ１の周辺画素を除いた画素の相関を評価するため、領域ＲＥＧｍｉｎ１を取得する。例えばＳＡＤ最小値を取る位置ＰＯＳｍｉｎ１がＧ１１の場合、領域ＲＥＧｍｉｎ１はＧ１１を中心とした周囲５ｘ５の領域（Ｇ１１、Ｇ１３、Ｇ１５、Ｇ３３、Ｇ５１）を取得する。
【００３５】
次にステップＳ３０４に進み、領域ＲＥＧｍｉｎ１を除いたＳＡＤ値（ＳＡＤ１７、ＳＡＤ１９、ＳＡＤ３７、ＳＡＤ５３、ＳＡＤ５５、ＳＡＤ５７、ＳＡＤ５９）を取得する。
【００３６】
次にステップＳ３０５に進み、ＳＡＤ最小値ＳＡＤｍｉｎ２を取得する。
【００３７】
次にステップＳ３０６に進み、ＳＡＤｍｉｎ２とＳＡＤｍｉｎ１の差分が、閾値を超えるか否かを判断する。閾値を超える場合（ステップＳ３０６：ＹＥＳ）、画像信号内の異なる領域間の相関ないため、第一の焦点検出用画素補正値算出回路１０３の補正値の再現性が低いと判断し、ステップＳ３０７に進み、第二の焦点検出用画素補正値算出回路１０４の補正値を選択する。
【００３８】
一方、閾値を超えない場合（ステップＳ３０６：ＮＯ）、画像信号内の異なる領域間の相関あるので、第一の焦点検出用画素補正値算出回路１０３の補正値の再現性が高いと判断し、ステップＳ３０８に進み、第一の焦点検出用画素補正値算出回路１０３の補正値を選択する。
【００３９】
なお、本実施例では、領域ＲＥＧｍｉｎ１を取得する際にＳＡＦ最小値を取る位置ＰＯＳｍｉｎ１を含む周囲５ｘ５の領域として説明したが、方法はこれに限るものではない。
【００４０】
また、本実施例では、焦点検出用画素がベイヤー配列おいてＧ画素の位置として説明したが、焦点検出用画素がＲ画素、Ｂ画素でも同様の処理のため、説明を省略する。
【符号の説明】
【００４１】
１０１  撮像部、１０２  Ａ／Ｄ変換回路、
１０３  第一の焦点検出用画素補正値算出回路、
１０４  第二の焦点検出用画素補正値算出回路、１０５  補正値選択回路、
１０６  補正値代入回路、１０７  信号処理回路、１１０  撮像素子、
２０１  マイクロレンズ、２０２，３０２  カラーフィルター、
２０３，３０４  光電変換部、３０１  焦点検出用画素のマイクロレンズ
【図１】
2019022034.tif 000004
【図２】
2019022034.tif 000005
【図３】
2019022034.tif 000006
【図４】
2019022034.tif 000007
【図５】
2019022034.tif 000008
【図６】
2019022034.tif 000009
【図７】
2019022034.tif 000010
【図８】
2019022034.tif 000011