(57)【要約】      （修正有）【課題】焦点検出画素を有する撮像素子の傷補正性能を向上する画像処理装置を提供する。【解決手段】撮像部１０１の撮像素子は、光電変換部の露光面の重心位置が中心からシフトした焦点検出用画素と、画像データを生成するための撮像用画素を有し、焦点検出用画素が所定方向に複数並んで配置されている。周辺画素補正１０４は、第１の焦点検出用画素の位置における画像データとしての信号レベルを、周囲に配置された撮像用画素の信号レベルを用いて補間する。半開口補正１０５は、第１の焦点検出用画素の位置における画像データとしての信号レベルを、第１の焦点検出用画素に隣接する複数の焦点検出用画素の信号レベルを用いて補間する。ＭＩＸ回路１０７は、周辺画素補正１０４の出力と半開口補正１０５の出力とを合成し、第１の焦点検出用画素の位置において、合焦度合いによって、周辺画素補正１０４と半開口補正１０５の重み付けを変える。【選択図】図１
2019022033.tif 000002
【特許請求の範囲】
【請求項１】
光電変換部の露光面の重心位置が中心からシフトした焦点検出用画素と、画像データを生成するための撮像用画素を含み、前記焦点検出用画素が所定方向に複数並んで配置されている撮像素子と、
前記複数の焦点検出用画素のうちの、第１の焦点検出用画素の位置における画像データとしての信号レベルを、前記第１の焦点検出用画素の周囲に配置された前記撮像用画素の信号レベルを用いて補間する第１の補間処理と、前記第１の焦点検出用画素に隣接する複数の焦点検出用画素の信号レベルを用いて補間する第２の補間処理との出力を合成する補間手段を有し、
前記複数の焦点検出用画素は、光電変換部の露光面の重心位置が画素の中心位置からシフトしており、かつ、隣接する焦点検出用画素間で、前記シフト方向が逆方向であって、
前記焦点検出用画素値の相関処理から撮像画像に対して領域ごとの合焦度合を生成する手段と、
前記補間手段は、前記第１の焦点検出用画素の位置において、前記合焦度合によって、前記第１の補間処理と第２の補間処理の重み付けを変えることを特徴とする画像処理装置。
【請求項２】
前記合焦度合を生成する際に合焦度合の信頼度を付加する手段と、前記合焦度合の信頼度に基づいて前記第１の補間処理と第２の補間処理の重み付けを変えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の補間処理の重みは、前記周囲画素の輝度値または、前記撮像素子の駆動状態により異なることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第２の補間処理の重みは、第一の補間処理時に参照する撮像用画素の信号レベルが飽和しているか否かに応じて異なることを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、更に詳しくは、焦点検出画素を有する撮像素子の画素補正に関する。
【背景技術】
【０００２】
従来、撮像素子の画素に遮光層を設けて焦点検出用画素として利用する撮像素子がある。特許文献１には、通常画素の間に焦点検出画素が埋め込まれた撮像素子を用いて、周囲の撮像画像から補間した画素値と焦点検出画素の画素値を取得して、エッジ度合いに応じて焦点検出画素位置の画像データを取得する方法が開示されている。
【０００３】
また、特許文献２には、焦点検出用画素の信号を撮像信号として用いる技術が開示されている。焦点検出用画素は撮像レンズの通過光束の一部を遮光して瞳分割像を得ているため、遮光されている部分に相当する信号を周囲の焦点検出画素の遮光部分と開口部が逆になっている画素から補間して撮像信号用画素としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４８５７８７７号公報
【特許文献２】特許第５２７８１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上述の特許文献１に開示された従来技術では、周囲の画素を用いて補間した画素値では、焦点検出用画素と同じ方向の被写体で補正痕が目立つという問題点がある。また、焦点検出用画素値は、半開口分の画素値しか存在しないため、デフォーカス領域の画素値が正しく再現できないという問題点がある。
【０００６】
上述の特許文献２では、遮光されている部分に相当する信号を周囲の焦点検出画素の遮光部分と開口部が逆になっている画素から補完して撮像信号用画素としているが、高周波成分の繰り返し模様を持った被写体を撮影すると、正しい補正が行われず、補正痕が残るという問題がある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明に係る画像処理装置は、
光電変換部の露光面の重心位置が中心からシフトした焦点検出用画素と、画像データを生成するための撮像用画素を含み、前記焦点検出用画素が所定方向に複数並んで配置されている撮像素子と、
前記複数の焦点検出用画素のうちの、第１の焦点検出用画素の位置における画像データとしての信号レベルを、前記第１の焦点検出用画素の周囲に配置された前記撮像用画素の信号レベルを用いて補間する第１の補間処理と、前記第１の焦点検出用画素に隣接する複数の焦点検出用画素の信号レベルを用いて補間する第２の補間処理との出力を合成する補間手段を有し、
前記複数の焦点検出用画素は、光電変換部の露光面の重心位置が画素の中心位置からシフトしており、かつ、隣接する焦点検出用画素間で、前記シフト方向が逆方向であって、
前記焦点検出用画素値の相関処理から撮像画像に対して領域ごとの合焦度合いを生成する手段と、
前記補間手段は、前記第１の焦点検出用画素の位置において、前記合焦度合いによって、前記第１の補間処理と第２の補間処理の重み付けを変えることを特徴とする。
【発明の効果】
【０００８】
本発明に係る画像処理装置によれば、焦点検出画素を有する撮像素子の画素補正性能を向上できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例の構成を説明するための図
【図２】本発明の実施例を説明するための図
【図３】本発明の実施例を説明するための図
【図４】本発明の実施例を説明するためのフローチャート
【図５】本発明の実施例を説明するための図
【図６】本発明の実施例を説明するための図
【図７】本発明の実施例を説明するための図
【図８】本発明の実施例を説明するための図
【図９】本発明の実施例を説明するための図
【図１０】本発明の実施例を説明するための図
【図１１】本発明の実施例を説明するための図
【図１２】本発明の実施例を説明するための図
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【実施例１】
【００１１】
図１は、撮像装置の全体を示す構成図である。
【００１２】
図１において、撮像部１０１は図示しない撮影レンズ、撮像素子及びその駆動回路からなり、撮影レンズにより結像する光学像を撮像素子により電気信号に変換する。この撮像素子はＣＣＤやＣＭＯＳセンサで構成されており、図１０に示すベイヤー配列の画素の集合で構成されているものとする。撮像部１０１から出力されるアナログ信号は、Ａ／Ｄ変換回路１０２によってデジタル信号に変換される。Ａ／Ｄ変換回路１０２によってデジタル信号に変換された画像信号は、欠陥画素補正回路１０３に入力される。
【００１３】
欠陥画素補正回路１０３は、詳細は後述するが、欠陥画素と判定された画素の信号値を補正して、欠陥補正後のＲＡＷ信号を出力する。欠陥画素補正回路１０３は、周辺画素補正１０４、半開口補正１０５、デフォーカス量生成１０９、ＭＩＸ比算出回路１０６、ＭＩＸ回路１０７で構成され、詳細は後述するが、Ａ／Ｄ変換回路１０２から出力された画像信号は周辺画素補正１０４、半開口補正１０５、デフォーカス量生成１０９、およびＭＩＸ比算出回路１０６に接続される。
【００１４】
周辺画素補正１０４の出力はＭＩＸ回路１０７に接続されている。半開口補正１０５の出力は、ＭＩＸ回路１０７およびＭＩＸ比算出回路１０６に接続されている。デフォーカス量生成１０９の出力は、ＭＩＸ比算出回路１０６に接続されている。ＭＩＸ比算出回路１０６から出力される合成比にしたがって、ＭＩＸ回路１０７では周辺画素補正１０４と半開口補正１０５の出力を合成する。なお、請求項１記載の第一の補間処理は周辺画素補正１０４に該当し、請求項１記載の第２の補間処理は半開口補正１０５に該当する。欠陥画素補正回路１０３から出力された欠陥画素補正後のＲＡＷ信号は、信号処理回路１０４に送られ、公知のホワイトバランス回路、色補間回路、ノイズリダクション処理、ガンマ処理、マトリックス処理等の信号処理が行われる。
【００１５】
ここで図６を用いて、本実施例で用いる撮像素子の構成について説明を行う。図６は本発明の実施例で使用する撮像素子の撮像用画素と焦点検出用画素の画素構造を示す断面図である。６０１はマイクロレンズ、６０２はカラーフィルター、６０３は配線層、６０４は配線層を延長して形成された遮光部、６０５および６０６は光電変換部である。
【００１６】
光電変換部６０６は通常の撮像用画素であり、マイクロレンズ６０１から入射する光がカラーフィルター６０２により所定の波長の光のみ透過したものを受光して電気信号に変換する。
【００１７】
光電変換部６０５は焦点検出用画素の構造を示している。光電変換部６０５にはマイクロレンズ６０１から入射した光がカラーフィルター６０２により所定の波長の光のみ透過した後、遮光部６０４によって一部遮られる。遮光部６０４によってさえぎられなかった光のみ光電変換部６０５で電気信号に変換される。このような構造により、撮像レンズの通過光束の一部のみを受光する焦点検出画素が構成される。光電変換部６０５の遮光部と開口部が逆になった画素を用意することで瞳を２分割することができる。
【００１８】
デフォーカス量生成１０９では、図６で示したような焦点検出用画素で開口部が逆に瞳分割された１組または複数組の焦点検出用画素値から相関処理に基づいて、焦点検出用画素位置のデフォーカス量が求まる。また被写体と背景の境界など相関処理が苦手な領域の場合、その画像位置においてのデフォーカス量の信頼度を低くするなど、デフォーカス量の信頼度を出力する。デフォーカス量、およびデフォーカス量の信頼度の生成方法の詳細に対しては、本発明の請求の範囲とは無関係のため詳細な説明は省略する。
【００１９】
ここで図２を用いて、半開口補正１０５の具体的な動作の一例を説明する。ここでは、欠陥画素補正を行う着目画素はＧａ３４でＧａ３４を含む横１列のラインが焦点検出用画素で構成されている。
【００２０】
Ｇａ３０、Ｇａ３２、Ｇａ３４、Ｇａ３６、Ｇａ３８の位置は、右側が開口部で左側が遮光部となる。逆に、Ｇｂ３１、Ｇｂ３３、Ｇｂ３５、Ｇｂ３７の位置は、左側が開口部で右側が遮光部となる。また、焦点検出用画素のカラーフィルタは同一のカラーフィルタとなっており、この例ではＧとしている。Ｇａ３４の位置での半開口補正は、中心の半開口画素に対して同じ重心の逆半開口画素を左右から補間して加算を行う。具体的にはＧａ３４でのＧ画素値Ｇｐｏｓ＿１は、
【００２１】
【数１】
2019022033.tif 000003
【００２２】
となる。しかしながら、半開口補正１０５はGb33、Ga34、Gb35という水平３画素分を使って補間を行うので、高周波の縦線に関しては、正しい補正ができないという問題点がある。
【００２３】
図２を用いて、周辺画素補正１０４の具体的な動作の一例を説明する。ここでは、欠陥画素補正を行う着目画素はＧａ３４である場合の補正方法について説明を行う。ここでは一例として、図９に示すような中心画素を含む水平３画素を除いた３ｘ３の領域の６画素の領域で差分絶対値和（以下ＳＡＤ）を取得し、差分絶対値和が小さい場所が最も相関が高い領域であるという判定条件で補正を行う例を示す。具体的には、着目画素を中心とする３ｘ３領域とＧ１２の位置を中心とする３ｘ３領域とのＳＡＤ１２は、下記の式で表される。
【００２４】
【数２】
2019022033.tif 000004
【００２５】
以下、実施例中のＳＡＤを取得する領域は３ｘ３領域であるとして記載を行う。同様に、着目画素を中心とする領域とＧ１４の位置を中心とする領域とのＳＡＤ１４を、着目画素を中心とする領域とＧ１６の位置を中心とする領域とのＳＡＤ１６を取得する。同様に、着目画素を中心とする領域とＧ５２の位置を中心とする領域とのＳＡＤ５２を、着目画素を中心とする領域とＧ５４の位置を中心とする領域とのＳＡＤ５４を、着目画素を中心とする領域とＧ５６の位置を中心とする領域とのＳＡＤ５６を取得する。
【００２６】
続いて、取得したＳＡＤ値からＳＡＤの最小値をとる位置でのＧ画素値Ｇｐｏｓ＿２を取得する。ＳＡＤ最小値がＳＡＤ１２の場合はＧｐｏｓ＿２はＧ１２となり、ＳＡＤ最小値がＳＡＤ１４の場合はＧｐｏｓ＿２はＧ１４となり、ＳＡＤ最小値がＳＡＤ１６の場合はＧｐｏｓ＿２はＧ１６となり、ＳＡＤ最小値がＳＡＤ５２の場合はＧｐｏｓ＿２はＧ５２となり、ＳＡＤ最小値がＳＡＤ５４の場合はＧｐｏｓ＿２はＧ５４となり、ＳＡＤ最小値がＳＡＤ５６の場合はＧｐｏｓ＿２はＧ５６となる。
【００２７】
ここで、図３のような焦点検出用画素と同じ方向（この場合は横線）の被写体を考える。具体的には、領域３００(図中グレーの領域）が周囲に比べて輝度が低い場合を考える。Ｇｐｏｓ＿２の出力はＧ１２，Ｇ１４、Ｇ１６、Ｇ５２，Ｇ５４、Ｇ５６のいずれかの値を取るが、このどの値を取得しても、本来の被写体の値には近づかず、正しい補正を行うことができない。つまり、周辺画素補正１０４は、高周波の横線に対して正しい補正を行うことができないという問題点がある。
【００２８】
図４のフローチャートを用いて、ＭＩＸ比算出回路１０６の動作を説明する。ここでは、周辺画素補正１０４が正しい補正を行うことのできない横線に対して補正を行うことができるような周波数帯域の検出を行う。ステップＳ４０１でＧ以外の画素に０を挿入し、０挿入Ｇを作成する。
【００２９】
ここで図５を用いて、０挿入Ｇの動作について説明を行う。図５（ａ）は図２と同様のため詳細な説明は省略する。図５（ｂ）はＧ３２、Ｇ３４、Ｇ３６の位置で前述の半開口補正を行ったあとの出力値を示す。図５（ｃ）は０挿入Ｇの出力値を示し、図５（ｂ）の出力に対して、Ｒ画素とＢ画素の位置および半開口補正を行わなかったＧｂ３３とＧｂ３５の位置に対して、０を挿入する。
【００３０】
再び図４のフローチャートに戻るが、ステップＳ４０２では、ステップＳ４０１で作成した０挿入Ｇに対してＨ方向にＬＰＦをかけて、Ｇ＿ＬＰＦを作成し、ステップＳ４０３へ進む。ステップＳ４０３ではＧ＿ＬＰＦに対して、Ｖ方向にＢＰＦをかけて、Ｇ＿ＢＰＦを作成する。
【００３１】
次に図７を用いて、Ｇ＿ＢＰＦの検出帯域の説明を行う。図７（ａ）はＣＺＰ（CircularZonePlate)であるが、７０１の位置がＤＣ、７０２、７０３、７０４の位置がそれぞれナイキスト周波数を示している。図７（ｂ）において、７０１、７０２、７０３、７０４は図７（ａ）と同じ周波数帯域を示し、７１０の領域がＧ＿ＢＰＦが出力される帯域となるように、水平方向にＬＰＦをかけて、垂直方向にＢＰＦをかける。この帯域は周辺画素補正１０４が正しい補正を行うことができない領域で、かつ半開口補正１０５が正しい補正を行うことが可能な領域となる。
【００３２】
再び、図４のフローチャートに戻るが、ステップＳ４０４において、閾値Thres2と比較してＧ＿ＢＰＦが大きい場合は、ステップＳ４０８に進み、半開口補正１０５の出力を使うように合成比MIX1を０とする。一方、ステップＳ４０４において、閾値Thres2と比較してＧ＿ＢＰＦが小さい場合は、ステップＳ４０５に進み、閾値Thres1と比較する。閾値Thres1と比較してＧ＿ＢＰＦが小さい場合は、ステップＳ４０７に進み、周辺補正１０４の出力を使うように合成比MIX1を１とする。閾値Thres1と比較して、Ｇ＿ＢＰＦが大きい場合は、閾値Thres1と閾値Thres2の間を線形補間する（ステップＳ４０６）。図８に上記処理におけるＧ＿ＢＰＦと閾値Thres1とThres2と合成比MIX1との関係を図示する。図４において、Ｇ＿ＢＰＦがThres1より小さい場合は合成比MIX1は１とし、Ｇ＿ＢＰＦがThres2より大きい場合は合成比MIX1は0とし、Ｇ＿ＢＰＦが閾値Thres1と閾値Thres2との間の場合は
【００３３】
【数３】
2019022033.tif 000005
【００３４】
となる。
【００３５】
なお、閾値Thres1と閾値Thres2は、周囲の輝度値やＧの値に応じて、可変としてもよい。通常、周囲の輝度値が大きい場合は、大きめの閾値を設定する。周囲画素の輝度値の求め方は、周辺画素にＬＰＦをかける等の公知の方法を用いればよいので詳細な説明は省略する。
【００３６】
なお、閾値Thres1と閾値Thres2は、高感度時や長秒露光時など撮像素子で発生するノイズ量に応じて可変としてもよい。通常、高感度時や長秒露光時は、周囲画素補正１０４からの補正がより優先されるように、大きめの閾値を設定する。
【００３７】
なお、閾値Thres1と閾値Thres2は、周辺画素補正１０４で着目画素を中心とする３ｘ３領域とＳＡＤを取得した３ｘ３領域に飽和画素が含まれるか否かに応じて、可変としてもよい。通常、３ｘ３の領域に飽和画素が含まれる場合は、半開口補正１０５がより優先されるように、小さめの閾値を設定する。
【００３８】
次に図４のステップＳ４０９に進む。ここでは図１の１０９デフォーカス量生成より、欠陥画素補正を行う着目画素の位置のデフォーカス量（ＤＥＦ量）とＤＥＦ量の信頼度Ｑを取得する。
【００３９】
次にステップＳ４１０において、閾値Thres4と比較してＤＥＦ量が大きい場合は、ステップＳ４１４に進み、周辺画素補正１０４の出力を使うように合成比MIX2を１にする。一方、ステップＳ４１４において、閾値Thres4と比較してＤＥＦ量が小さい場合は、ステップＳ４１３に進み、閾値Thres3と比較する。閾値Thres3と比較してＤＥＦ量が小さい場合は、ステップＳ４１３に進み、半開口補正１０５の出力を使うように合成比MIX2を０にする。閾値Thres3と比較して、ＤＥＦ量が大きい場合は、閾値Thres3と閾値Thres4の間を線形補間する（ステップＳ４１２）。図１２に上記処理におけるＤＥＦ量と閾値Thres3とThres4と合成比MIX2との関係を図示する。図４において、ＤＥＦ量がThres3より小さい場合は合成比MIX2は０を出力し、ＤＥＦ量がThres4より大きい場合は合成比MIX2は１を出力し、ＤＥＦ量が閾値Thres3と閾値Thres4との間の場合は
【００４０】
【数４】
2019022033.tif 000006
【００４１】
となる。
【００４２】
なお、閾値Thres3と閾値Thres4は、周囲の輝度値やＧの値に応じて、可変としてもよい。通常、周囲の輝度値が大きい場合は、小さめの閾値を設定する。周囲画素の輝度値の求め方は、周辺画素にＬＰＦをかける等の公知の方法を用いればよいので詳細な説明は省略する。
【００４３】
次にステップＳ４１５では、ＤＥＦ量の信頼度Ｑに基づいてMIX1に対するMIX2の重み付けαを決定する。下記にその算出例を示す。ここでｋは正規化のための係数である。
【００４４】
【数５】
2019022033.tif 000007
【００４５】
次にステップＳ４１６では、ステップ４１５で求めたα、MIX1、MIX2とから最終的な合成比MIXを求める。下記にその算出例を示す。
【００４６】
【数６】
2019022033.tif 000008
【００４７】
以上により周辺画素補正と半開口補正の合成比MIXを算出することができる。
【００４８】
再び図１に戻るが、ＭＩＸ比算出回路１０６の出力である合成比ＭＩＸの値に応じて、周辺画素補正１０４の出力Ｇｐｏｓ＿１、半開口補正１０５の出力Ｇｐｏｓ＿２の画素値をＭＩＸ回路１０７で合成する。
【００４９】
【数７】
2019022033.tif 000009
【００５０】
なお、焦点検出用画素でべイヤー上でカラーフィルタがＢの位置となる補正に関しては、公知の周囲画素からの補間によって求めることができるため、ここでは詳細な説明は省略する。
【００５１】
上記説明したとおり、周辺画素補正１０４と半開口補正１０５の２つの補正を行い、焦点検出画素位置における合焦度合と照らし合わせ合焦している場合は半開口補正１０５の重みを重くした合成処理を行う。このような補正を行うことで、合焦領域、非合焦領域に適したより正確な画素補正を行うことが可能となる。
【００５２】
なお、本実施例では、焦点検出画素を水平方向としたが、これに限るものでなく、図１１（ａ）のように焦点検出用画素を垂直方向、図１１（ｂ）のように焦点検出用画素をななめ４５度方向、図１１（ｃ）のように焦点検出用画素をななめ１３５度方向としてもよい。詳細なアルゴリズムに関しては、本実施例で説明したものと方向が異なるのみで同一なため、詳細な説明は省略する。
【００５３】
なお、本実施例では、周辺画素補正１０４での周辺画素との相関を求める方法として、３ｘ３の画素範囲でのＳＡＤ値が最小の値となるものを最も相関が高いとしたが、方法はこれにかぎるものではない。
【００５４】
また、本実施例では、最も相関が高い画素範囲の中心画素で着目画素を置き換える処理を行ったが、方法はこれに限るものではない。例えば周囲の画素も使い、３ｘ３の領域のＧ画素5画素の平均値が同じ値になるように、着目画素を補正するような処理を行ってもよい。
【符号の説明】
【００５５】
１０１  撮像部、１０２  Ａ／Ｄ変換回路、１０３  欠陥画素補正回路、
１０４  周辺画素補正、１０５  半開口補正、１０６  ＭＩＸ比算出回路、
１０７  ＭＩＸ回路、１０８  信号処理回路、１０９  デフォーカス量生成
【図１】
2019022033.tif 000010
【図２】
2019022033.tif 000011
【図３】
2019022033.tif 000012
【図４】
2019022033.tif 000013
【図５】
2019022033.tif 000014
【図６】
2019022033.tif 000015
【図７】
2019022033.tif 000016
【図８】
2019022033.tif 000017
【図９】
2019022033.tif 000018
【図１０】
2019022033.tif 000019
【図１１】
2019022033.tif 000020
【図１２】
2019022033.tif 000021