(57)【要約】【課題】瞳分割像に対する光電変換部の飽和の影響を補正することが可能な画像処理装置を提供する。【解決手段】本発明に係る撮像装置は、撮像光学系の異なる瞳領域を通過する光束を、単位画素を構成する複数の光電変換部のそれぞれで受光して生成された画像信号であって、撮像面に入射した光束の角度と強度の情報を含む画像信号を入力する入力手段と、単位画素を構成する複数の光電変換部で受光した信号の組み合わせを、入射した光束の角度と強度の情報を用いて組み替えることにより、特定の被写体に合焦させる場合に、信号の組み合わせを決定する組み合わせ決定手段と、決定した信号の組み合わせに基づいて、撮像時に単位画素を構成する複数の光電変換部のいずれかが飽和したことにより複数の光電変換部が受ける飽和の影響を補正する補正手段と、を有する。【選択図】図１
2017022528.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系の異なる瞳領域を通過する光束を、単位画素を構成する複数の光電変換部のそれぞれで受光して生成された画像信号であって、撮像面に入射した光束の角度と強度の情報を含む画像信号を入力する入力手段と、
前記単位画素を構成する複数の光電変換部で受光した信号の組み合わせを、前記入射した光束の角度と強度の情報を用いて組み替えることにより、特定の被写体に合焦させる場合に、前記信号の組み合わせを決定する組み合わせ決定手段と、
前記決定した信号の組み合わせに基づいて、撮像時に前記単位画素を構成する複数の光電変換部のいずれかが飽和したことにより前記複数の光電変換部が受ける飽和の影響を補正する補正手段と、を有する
ことを特徴とする画像処理装置。
【請求項２】
前記補正手段は、前記決定した信号の組み合わせにおいて、前記単位画素から所定の範囲内にある単位画素を構成する複数の光電変換部で受光する信号の組み合わせを用いて、前記複数の光電変換部が受ける飽和の影響を補正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正手段は、前記決定した信号の組み合わせにおいて、前記単位画素を構成する複数の光電変換部で受光する信号の組み合わせと、前記単位画素から所定の範囲内にある単位画素を構成する複数の光電変換部で受光する信号の組み合わせとが、それぞれ同等の出力の割合になるように、前記複数の光電変換部が受ける飽和の影響を補正する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記組み合わせ決定手段は、前記単位画素を構成する複数の光電変換部で受光する信号にそれぞれに対応する、瞳分割像の相関に基づいて、前記特定の被写体に合焦させる場合において前記単位画素を構成する複数の光電変換部で受光する信号の組み合わせを決定する
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記補正手段は、前記単位画素を構成する所定の光電変換部で受光した信号に対する補正量を用いて、前記単位画素を構成する他の光電変換部で受光した信号を補正する
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記補正手段は、前記単位画素を構成する所定の光電変換部が飽和したことにより当該所定の光電変換部から漏れ出した電荷量を特定し、前記特定した電荷量に基づいて、当該所定の光電変換部で受光した信号と前記単位画素を構成する他の光電変換部で受光した信号とを補正する
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像処理装置は、前記組み合わせ決定手段による信号の組み合わせの決定と、前記補正手段による前記単位画素を構成する光電変換部のそれぞれで受光した信号の補正と、を繰り返す
ことを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記画像処理装置は、前記組み合わせ決定手段による信号の組み合わせの決定と、前記補正手段による前記単位画素を構成する光電変換部のそれぞれで受光した信号の補正と、を前記補正量が収束するまで繰り返す
ことを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記補正手段によって補正された、前記単位画素を構成する複数の光電変換部のそれぞれで受光した信号を用いて、所定の被写体に合焦させたリフォーカス画像を生成するリフォーカス画像生成手段をさらに有する
ことを特徴とする請求項５から８のいずれか１項に記載の画像処理装置。
【請求項１０】
撮像光学系の異なる瞳領域を通過する光束を、単位画素を構成する複数の光電変換部のそれぞれで受光して生成された画像信号であって、撮像面に入射した光束の角度と強度の情報を含む画像信号を入力する入力手段と、
前記単位画素を構成する複数の光電変換部で受光した信号の組み合わせを、前記入射した光束の角度と強度の情報を用いて組み替えることにより、特定の被写体に合焦させる場合に、前記信号の組み合わせを決定する組み合わせ決定手段と、
前記決定した信号の組み合わせに基づいて、撮像時に前記単位画素を構成する所定の光電変換部が飽和したことによって当該所定の光電変換部から漏れ出した電荷量を特定し、前記漏れ出した電荷量に基づいて当該所定の光電変換部で受光した信号と前記単位画素を構成する他の光電変換部で受光した信号とを補正する補正手段と、を有する
ことを特徴とする画像処理装置。
【請求項１１】
複数の光電変換部で構成する単位画素を２次元状に配列した撮像手段であって、前記画像信号を生成して出力する撮像手段と、
請求項１から１０のいずれか１項に記載の画像処理装置と、を有し、
前記単位画素を構成する複数の光電変換部は、所定の光電変換部で予め定めた光量を超える光束が受光された場合に、当該光束に基づいて出力される電荷の一部が当該単位画素の他の光電変換部に流れ込むように構成される、
ことを特徴とする撮像装置。
【請求項１２】
入力手段が、撮像光学系の異なる瞳領域を通過する光束を、単位画素を構成する複数の光電変換部のそれぞれで受光して生成された画像信号であって、撮像面に入射した光束の角度と強度の情報を含む画像信号を入力する入力工程と、
決定手段が、前記単位画素を構成する複数の光電変換部で受光した信号の組み合わせを、前記入射した光束の角度と強度の情報を用いて組み替えることにより、特定の被写体に合焦させる場合に、前記信号の組み合わせを決定する組み合わせ決定工程と、
補正手段が、前記決定した信号の組み合わせに基づいて、撮像時に前記単位画素を構成する複数の光電変換部のいずれかが飽和したことにより前記複数の光電変換部が受ける飽和の影響を補正する補正工程と、を有する
ことを特徴とする画像処理装置の制御方法。
【請求項１３】
入力手段が、撮像光学系の異なる瞳領域を通過する光束を、単位画素を構成する複数の光電変換部のそれぞれで受光して生成された画像信号であって、撮像面に入射した光束の角度と強度の情報を含む画像信号を入力する入力工程と、
決定手段が、前記単位画素を構成する複数の光電変換部で受光した信号の組み合わせを、前記入射した光束の角度と強度の情報を用いて組み替えることにより、特定の被写体に合焦させる場合に、前記信号の組み合わせを決定する組み合わせ決定工程と、
補正手段が、前記決定した信号の組み合わせに基づいて、撮像時に前記単位画素を構成する所定の光電変換部が飽和したことによって当該所定の光電変換部から漏れ出した電荷量を特定し、前記漏れ出した電荷量に基づいて当該所定の光電変換部で受光した信号と前記単位画素を構成する他の光電変換部で受光した信号とを補正する補正工程と、を有する
ことを特徴とする画像処理装置の制御方法。
【請求項１４】
コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法、プログラムならびに撮像装置に関する。
【背景技術】
【０００２】
従来、１つのマイクロレンズに対して複数の光電変換部を配置した撮像素子を利用して瞳分割像(視差画像ともいう)を取得する技術が知られている。１つのマイクロレンズに対して光電変換部を複数配置する場合、各光電変換部で変換できる容量が小さくなって各光電変換部の信号が飽和し易くなることがある。
【０００３】
このような撮像素子から出力される画像信号を処理する場合、同一のマイクロレンズに対応する光電変換部の出力を加算すれば、視差のない表示用画像が得られることが知られている。しかし、複数配置された光電変換部の１つが飽和に達すると、加算結果が線形に増加しないため画質の劣化が生じる。このような課題に対して、特許文献１では、ある光電変換部が飽和に達した場合に、同一マイクロレンズに対応する別の光電変換部に電荷が漏れ出す画素構造を提案している。提案された画素構造によれば、画素が飽和した場合であっても失われる電荷の量が低減するため、各光電変換部の出力を加算した場合に画像の許容飽和レベルが改善する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−８４７４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、光電変換部自体の許容飽和レベルは変化しないため、飽和している光電変換部と対になっている光電変換両部に電荷が漏れこめば、瞳分割像では本来の光の強度とは異なる強度になる。従って、それぞれの瞳分割像に対して信号処理を行う場合、飽和の影響により所望の結果を得られないことがある。
【０００６】
本発明は、上述の従来技術の問題点に鑑みてなされたものであり、瞳分割像に対する光電変換部の飽和の影響を補正することが可能な画像処理装置及びその制御方法、プログラムならびに撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、撮像光学系の異なる瞳領域を通過する光束を、単位画素を構成する複数の光電変換部のそれぞれで受光して生成された画像信号であって、撮像面に入射した光束の角度と強度の情報を含む画像信号を入力する入力手段と、単位画素を構成する複数の光電変換部で受光した信号の組み合わせを、入射した光束の角度と強度の情報を用いて組み替えることにより、特定の被写体に合焦させる場合に、信号の組み合わせを決定する組み合わせ決定手段と、決定した信号の組み合わせに基づいて、撮像時に単位画素を構成する複数の光電変換部のいずれかが飽和したことにより複数の光電変換部が受ける飽和の影響を補正する補正手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、瞳分割像に対する光電変換部の飽和の影響を補正することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図
【図２】本実施形態に係る撮像素子の構成及び画素の構成を説明する図
【図３】本実施形態に係るリフォーカス処理を説明する図
【図４】分割画素の飽和特性の一例を説明する図
【図５】像崩れの一例を説明する図
【図６】ケラレの一例を説明する図
【図７】本実施形態に係る画素補正処理を説明する図
【図８】実施形態１に係るリフォーカス処理の一連の動作を示すフローチャート
【図９】実施形態１に係る飽和補正処理の一連の動作を示すフローチャート
【図１０】実施形態１に係る画素補正処理の一連の動作を示すフローチャート
【図１１】実施形態２に係るデジタルカメラの機能構成例を示すブロック図
【図１２】実施形態２に係る補正処理の一連の動作を示すフローチャート
【図１３】実施形態２に係る補正終了判定処理の一連の動作を示すフローチャート
【発明を実施するための形態】
【００１０】
（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、１つのマイクロレンズに複数の光電変換部を対応させた撮像素子からの出力を取得可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、１つのマイクロレンズに複数の光電変換部を対応させた撮像素子からの出力を取得可能な任意の電子機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、パーソナルコンピュータ等の電子機器、時計型や眼鏡型の情報端末、車載機器や医療機器などが含まれてよい。
【００１１】
（デジタルカメラ１００の構成）
図１は、本実施形態の画像処理装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
【００１２】
撮像光学系１０１は、フォーカスレンズやズームレンズ等の光学系を含み、被写体から入射する光束を撮像素子１０２の撮像面上に結像させて被写体光学像を形成させる。
【００１３】
撮像素子１０２は、光電変換素子を有する画素が複数、２次元状に配列された構成を有すると共に各画素は複数の光電変換部を有する。撮像素子１０２は、撮像光学系１０１の異なる瞳領域を通過する光束を複数の光電変換部で分離して受光することにより、入射した光束の強度と角度の情報（光線空間情報ともいわれる）を含んだ信号を出力することができる。撮像素子１０２は、光電変換部の出力をＡ／Ｄ変換回路によってアナログ・デジタル変換して、光電変換部ごとのデジタル信号（画像信号）を出力する。各画素は、Ｒ(赤)Ｇ(緑)Ｂ(青)のいずれかのカラーフィルタを備え、ベイヤー状に配置されている。撮像素子１０２は、これらの色成分ごとに分離したＲＧＢ形式で画像信号を出力する。撮像素子１０２及び画素の詳細については後述する。
【００１４】
制御部１０３は、例えばＣＰＵあるいはＭＰＵを含み、不図示のＲＯＭに格納されたプログラムを不図示のＲＡＭの作業エリアに展開し、実行することにより、デジタルカメラ１００の内部状態に応じて例えば撮影や記録などの動作を制御する。
【００１５】
飽和検出部１０４は、検出回路又は機能ブロックを含み、撮像素子１０２から出力される画像信号に基づいて画像信号中の飽和した光電変換部（飽和画素ともいう）の位置を検出する。なお、飽和検出部１０４の動作の詳細については後述する。
【００１６】
補正量算出部１０５は、演算回路又は機能ブロックを含み、後述する画素補正処理によって補正処理に用いる補正値を算出する。なお、補正量算出部１０５の動作の詳細については後述する。
【００１７】
飽和補正部１０６は、演算回路又は機能ブロックを含み、補正量算出部１０５において算出された補正値に基づいて画像信号を補正する。なお、飽和補正部１０６の詳細な動作については後述する。
【００１８】
組み合わせ決定部１０７は、演算回路又は機能ブロックを含み、所定の被写体に合焦する分割画素の組み合わせを決定する。なお、組み合わせ決定部１０７の動作の詳細については後述する。
【００１９】
リフォーカス画像生成部１０８は、演算回路又は機能ブロックを含み、分割画素の並べ替え及び加算処理によって任意の焦点面で取得される画像データを再構成（リフォーカスともいう）する。なお、リフォーカス画像生成部１０８の動作の詳細については後述する。
【００２０】
（撮像素子１０２の構成）
次に、本実施形態に係る撮像素子１０２の構成について、図２及び図３を参照して説明する。
【００２１】
まず、撮像素子１０２の画素配列の一部を図２（ａ）に示している。上述したように、撮像素子１０２は、ＲＧＢのいずれかのカラーフィルタを有する画素がベイヤー状に配置されている。また、撮像素子１０２上の各画素の構成を図２（ｂ）及び図２（ｃ）に示している。図２（ｂ）は、撮像素子１０２上のある１画素を正面（図２（ａ）と同一の方向）から観察した構成を示している。マイクロレンズ２０１は、画素の前面に配置されたレンズであり、撮像光学系１０１を通過した光束を集光する。光電変換部２０２及び光電変換部２０３は、それぞれ光電変換領域を含み、受光した光束をそれぞれ光電変換して、個別に信号を出力することができる。また、図２（ｃ）は、図２（ｂ）に示す線分Ｐ−Ｐ´における画素の断面を示している。カラーフィルタ２０４は、マイクロレンズ２０１を通過した光束のうち、Ｒ、Ｇ、Ｂのうちの特定の波長の光を透過させる。
【００２２】
上述した撮像素子１０２の構成において画素とは、撮像素子１０２上の１つのマイクロレンズ下に構成される２０１〜２０４の各要素の集合単位であり、単位画素ともいう場合がある。また、画素中の光電変換部２０２の位置に対応する光電変換部を分割画素Ａ、光電変換部２０３の位置に対応する光電変換部を分割画素Ｂと呼ぶ場合がある。
【００２３】
分割画素Ａのみの画素を集めて構成した画像と分割画素Ｂのみの画素を集めて構成した画像（瞳分割像ともいう）では、射出瞳上の異なる領域を通過した光束をそれぞれ独立して受光しているため、視差が生じる。瞳分割像は、視差を有するため、焦点検出処理、ステレオマッチング処理又はリフォーカス処理などに利用することができる。また、分割画素Ａと分割画素Ｂの出力（画素値）を加算すれば、瞳分割を行わない構成の画素で得られる画素値と同一になる。このため、分割画素Ａと分割画素Ｂの出力を加算して得られた画素値に対して通常の信号処理を行うことができ、通常の表示用画像を得ることができる。なお、図２では１つの画素に対して２つの分割画素を有する形態を例示したが、１つの画素に対する分割画素の数はこれに限定されない。１つの画素に対する複数の光電変換部が、射出瞳上の異なる領域を通過した光束をそれぞれ独立して受光可能な構成であればよい。また、本実施形態ではＲＧＢのベイヤー配列による構成を例示したが、光電変換部を積層して光の波長ごとにＲＧＢを出力する等の構成であってもよい。
【００２４】
（リフォーカス処理）
次に、リフォーカス画像生成部１０８によって行われるリフォーカス処理について、図３を参照して説明する。
【００２５】
図３（ａ）は、撮像素子１０２の所定の領域における入射光と撮像時における焦点面の関係を示している。図３（ａ）では、焦点面がマイクロレンズ２０１の位置にある場合に光束が各分割画素３０１〜３１０に入射する様子を表している。この場合に異なるマイクロレンズに入射する光束は実線、１点鎖線、点線等の異なる種類の線で示されており、マイクロレンズに対応する２つの分割画素に入射する光束のそれぞれは同一の種類の線で示されている。この場合、撮像時の撮像素子の撮像面には、合焦した像が形成される。
【００２６】
図３（ｂ）は、図３（ａ）においてそれぞれの分割画素が受光する光束を模式的に示している。１つのマイクロレンズの位置を単位とした場合に、位置が揃っている分割画素Ａと分割画素Ｂを上下に並べている。即ち、焦点面がマイクロレンズ２０１の位置にある場合、例えば分割画素３０１及び分割画素３０２、分割画素３０３及び分割画素３０４、分割画素３０５及び分割画素３０６等の位置がそれぞれ同一のマイクロレンズの位置に揃っている。この場合に各分割画素Ａと分割画素Ｂの信号をそれぞれ加算することにより同一の種類の線で示す光束が結像した画像（即ち合焦した画像）を得ることができる。
【００２７】
図３（ｃ）は、仮定的に焦点面の位置を変更した場合の、焦点面(仮想焦点面１とする)における入射光と分割画素との対応を示している。なお、分割画素３０１〜３１０のそれぞれは実際には図３（ａ）で示した状態で光束を受光して光線情報を取得する。図３（ｄ）は、図３（ａ）で受光した信号の位置をシフトして加算することにより、仮想焦点面１において入射する光束の状態を再構成して、仮想焦点面１におけるリフォーカス画像を生成する例を示している。この例では、図３（ａ）で得られた一方の瞳分割像（例えば分割画素３０１、３０３、３０５、・・から構成される画像）の各画素の位置を紙面左方向にシフトし、他方の瞳分割像（分割画素３０２、３０４、・・から構成される画像）と加算する。これにより、異なる種類の線の光束が結像した画像データを得ることができる。これは、図３（ｃ）に示す仮想焦点面１で取得できる画像データと等価なリフォーカス画像となる。
【００２８】
図３（ｅ）及び図３（ｆ）は、図３（ｃ）及び図３（ｄ）と異なる方向に信号の位置をシフトして加算を行った例を示している。この焦点面(仮想焦点面２とする)における入射光と分割画素の関係を示している。このように信号の位置をシフトさせることにより、仮想焦点面２において入射する光束の状態を再構成している。従って、信号の位置をシフトする量を制御してシフト後の信号を加算することにより、任意の被写体領域に合焦させたリフォーカス画像を生成することができる。換言すれば、特定の被写体に対して最も相関像の一致度が高くなるようにシフト量を制御すれば、特定の被写体に合焦させた画像を生成することができる。
【００２９】
（飽和画素に対する補正処理）
次に、本実施形態に係る飽和画素に対する補正処理について説明する。そのために、撮像素子１０２の画素構造における画素の飽和について図４を参照して説明する。図４は入射光と出力の関係を示している。横軸はマイクロレンズに入射する光量を示し、縦軸は画素から出力される画素値を示す。出力特性４０１は、画素を分割しない場合の出力特性を示し、この例では飽和レベルに達するまで出力が線形に増加する。マイクロレンズを通過した光束がそれぞれの分割画素に均等に入射する場合、分割画素の出力を加算するとその出力特性は４０１のようになる。
【００３０】
しかし、マイクロレンズの位置が像高中心であり且つ焦点が合っている状態を除き、マイクロレンズを通過した光束はそれぞれの分割画素に均等に入射しない。画面の周辺（即ち像高の大きい）の画素では、光束はマイクロレンズの光軸に対して傾いて入射するため、一方の分割画素（例えば分割画素Ｂ）のほとんどに光束が入射せず、他方の分割画素（分割画素Ａ）には光束が入射することになる。このため、より光束の入射する分割画素（分割画素Ａ）が先に飽和に達してしまう。分割画素についての出力特性を示すと、例えば分割画素Ａの出力特性４０３及び分割画素Ｂの出力特性４０４のようになる。出力特性４０３と出力特性４０４とを比較すると、分割画素Ａが先に飽和レベルに達する。このため分割画素Ａと分割画素Ｂを加算した画素の特性は、出力特性４０２のようになり、出力特性４０１と比較して早く飽和の影響が出る。このような飽和の影響を低減するため、上述した特許文献１に示した公知の画素構造を採用することができる。即ち、分割画素Ａで飽和に達した電荷が分割画素Ｂに漏れこむ構造にすれば、分割画素Ａと分割画素Ｂの出力の総和は変化しないため、それぞれの分割画素の出力を加算した出力特性は、出力特性４０１のようになる。なお、分割画素Ａから電荷が漏れこむ分割画素Ｂの特性は、図４（ｂ）の出力特性４０５のようになる。
【００３１】
上述した飽和は、例えば瞳分割像の間で相関を算出する場合に影響する。図５（ａ）〜図５（ｃ）には、横軸を画素の位置とした場合の、各分割画素から出力された画像信号の波形を示している。図中の５０１は分割画素Ａによる画像を、５０２は分割画素Ｂによる画像信号をそれぞれ表す。
【００３２】
図５（ａ）は、飽和が発生しない場合の理想的な画像信号を示しており、５０１及び５０２はそれぞれ飽和レベルを超えた出力を行う画素がある。図５（ｂ）は、飽和が発生する場合を示しており、飽和して漏れた電荷によって各分割画素の出力が変化し、それぞれの像が変形している（像くずれを起こしている）様子を示している。図５（ｃ）は、図５（ｂ）に示した両方の像を重ね合わせた場合の分割画像Ａと分割画像Ｂによる像の差異を示している。即ち、図５（ｃ）の丸で囲んだ部分は、像くずれによって画像信号の波形が変形した部分であり、分割画像Ａと分割画像Ｂによる像を重ね合わせて相関演算を行う際に誤差として現れる。このため、相関演算を行うリフォーカス処理やステレオ処理によって生成される画像データの画質劣化の原因となりうる。
【００３３】
次に図６〜図７を参照して、本実施形態に係る飽和画素に対する補正処理について説明する。分割画素Ａ及び分割画素Ｂによる像の重ね合わせを行う場合、原理的には、合焦した状態になれば分割画素Ａ及び分割画素Ｂによる像の間には視差がなくなり、分割画素Ａ及び分割画素Ｂの加算画像とも一致する。
【００３４】
しかし、画素の位置が像高中心でない場合、光束の入射角の違いとケラレによって分割画素Ａと分割画素Ｂに入射する光束のバランスが均等ではなくなり、一方の分割画素に飽和が生じる場合がある。そして、画素の位置が像高中心が離れるほどケラレの影響が大きくなる。なお、ケラレとは絞りを開放付近にしたときに撮像光学系の被写体側や本体側の縁によって光束が制限される現象であり、口径食ともいわれる。
【００３５】
上述したように、画素に対する入射角及びケラレは像高の高さに応じて変化する。しかし、本実施形態では、画素に対する入射角及びケラレが像高中心から像高が高くなるにつれてなだらかに変化する点に着目している。即ち、ある像高の画素についてみると、その近傍の画素同士は同様に入射角やケラレの影響を受けるため、ほぼ同じ特性を示すことを利用する。換言すれば、合焦状態にある領域における分割画素Ａ及び分割画素Ｂの光量比率（出力の割合）は、近傍の画素の分割画素Ａ及び分割画素Ｂであれば、その光量比率は同等になる。例えば、図６（ｂ）に示すように、図６（ａ）に示す撮像素子１０２上の近傍の画素は、それぞれの画素においてケラレの影響が同等となる。このような特徴を利用すれば、合焦状態にある領域における飽和画素の補正処理では、補正対象となる画素の分割画素Ａ及び分割画素Ｂの光量比率を、近傍の飽和の発生していない画素の光量比率と同等になるように補正すればよい。
【００３６】
飽和画素に対する補正処理について、より具体的に説明する。図７（ａ）は、合焦状態にある領域に対する補正処理を示している。この例では、分割画素７０４が飽和して、分割画素７０３に電荷が漏れていることを図中の矢印で表している。分割画素７０３と分割画素７０４の光量比率が、分割画素７０１と分割画素７０２の光量比率と同等になることを利用すれば、分割画素７０４から分割画素７０３に漏れ出た（或いは移動した）電荷量を推定することができる。
７０４＋α：７０３−α  ＝  ７０２：７０１        （１）
このように、式１を満たすような補正量αを求めて、分割画素７０３及び分割画素７０４の出力を補正することができる。
【００３７】
一方、合焦していない領域では、対となっている分割画素が同じ被写体を参照していない。そこで、上述したリフォーカス処理の原理を用いて、分割画素同士の組み合わせを変更することによって、合焦している状態の分割画素の組み合わせに組み替える。
【００３８】
図７（ｂ）は、分割画素Ｂから出力された画像信号を、紙面右方向に３画素分シフトさせて分割画素の組み合わせを組み替えた場合の位置関係を示している。飽和画素とその影響を受けた画素について、合焦した状態が得られる場合の位置関係を示している。図７（ｂ）の例では、物理的な分割画素の組み合わせである、飽和画素（例えば分割画素７０４）とその影響を受けた画素（例えば分割画素７０３）とは、論理上シフト数分だけずれた位置に離れて存在する。従って、以下の式を満たすような補正量αを求めることにより、分割画素７０４及び分割画素７０３を補正することができる。
７０４＋α  ：７０６  ＝  ７０２：７０５            （２）
このように、分割画素をシフトさせて（即ち、分割画素の組み合わせを組み替えて）合焦状態を作ることにより、瞳分割像における飽和の影響を、各分割画素の出力ごとに補正することができる。
【００３９】
（飽和画素に対する補正処理に係る一連の動作）
次に、図８〜図１０を参照して、飽和画素に対する補正処理の一連の動作について説明する。なお、本処理は、例えばユーザが不図示のシャッタボタンを押下したことを、制御部が検出した場合に開始される。また、本処理は、制御部１０３が不図示の記録部に記憶されたプログラムを不図示の記憶部の作業用領域に展開し、実行することにより実現される。
【００４０】
Ｓ８０１において、制御部１０３は、撮影処理を開始して、撮像素子１０２から出力された画像信号を取得する。制御部１０３は、ユーザによる設定又は自動で撮像光学系１０１を所定の撮影条件に設定し、撮像光学系１０１を通過して撮像素子１０２に結像した被写体光学像を撮像する。制御部１０３は、撮像素子１０２から出力された画像信号を入力して、後述する各部に当該画像信号を出力する。或いは、制御部１０３は、入力した画像信号を不図示の記憶部に一時的に格納し、後述する各部が当該記憶部から画像信号を入力してもよい。
【００４１】
次に、Ｓ８０２において、制御部１０３は、飽和検出部１０４等の複数の機能ブロックを制御して、補正処理を実行する。なお、補正処理に係る一連の動作については後述する。
【００４２】
Ｓ８０３において、制御部１０３は、リフォーカス画像生成部１０８を用いてリフォーカス画像を生成する。具体的には、リフォーカス画像生成部１０８は、Ｓ８０２において補正処理の施された画像信号を入力して上述したリフォーカス処理を行い、特定の被写体に合焦させた画像、即ちリフォーカス画像を生成する。リフォーカス画像生成部１０８は、リフォーカス処理を実行する際に、特定の被写体を指定するユーザ操作を入力したうえでリフォーカス処理を行ってもよい。制御部１０３は、リフォーカス画像生成部１０８からリフォーカス画像が出力されると、出力されたリフォーカス画像を不図示の表示部に表示させて、本一連の処理を終了する。
【００４３】
（補正処理に係る一連の動作）
次に、上述したＳ８０２における補正処理の一連の流れについて、図９を参照して説明する。
【００４４】
Ｓ９０１において、制御部１０３は、飽和検出部１０４を用いて、入力した画像信号に対する飽和位置検出処理を実行する。より具体的には、制御部１０３は、注目している画素位置を示す座標と、この注目画素の位置における分割画素Ａの画素値及び分割画素Ｂの画素値を、飽和検出部１０４に入力する。飽和検出部１０４は、分割画素Ａの画素値及び分割画素Ｂの画素値を、それぞれ予め定められた飽和判定用の閾値Ｈ＿ＬＩＭＩＴと比較する。
Ｈ＿ＬＩＭＩＴ＜分割画素Ａの画素値          （３）
Ｈ＿ＬＩＭＩＴ＜分割画素Ｂの画素値          （４）
飽和検出部１０４は、式３、式４のいずれか一方または両方を満たす場合、注目している画素が飽和画素であると判定する。そして、対応する分割画素Ａ及び分割画素Ｂのそれぞれに飽和判定用のフラグ情報を付与し、飽和している画素位置を制御部１０３の記憶部に記憶する。
【００４５】
Ｓ９０２において、制御部１０３は、画素補正処理の繰り返し回数を示すカウンタiを初期化する。そして、Ｓ９０３において、制御部１０３は、補正量算出部１０５、飽和補正部１０６及び組み合わせ決定部１０７の其々を用いて、画素補正処理を実行する。本ステップに係る画素補正処理については、図１０に示すフローチャートを参照して後述する。
【００４６】
Ｓ９０４において、制御部１０３は、Ｓ９０３における画素補正処理が終了すると、画素補正処理の繰り返し回数を示すカウンタiをインクリメント（カウンタを１つ増加させる）。
【００４７】
Ｓ９０５において、制御部１０３は、カウンタiが予め定められた繰り返し回数を示す定数（例えば２）よりも小さいかを判定する。制御部１０３は、カウンタiが２に満たない場合、Ｓ９０３に処理を戻して再びＳ９０３において画素補正処理を実行する。一方、カウンタiが２以上である場合、制御部１０３は補正処理を終了して、処理を呼出し元に戻す。
【００４８】
なお、Ｓ９０３〜Ｓ９０５に示したように、画素補正処理を繰り返すようにした。このようにすれば、繰り返し回数を重ねるごとに像崩れの影響が低減された画像信号を用いて画素補正処理を行うことになり、補正処理の精度が向上させることができる。なお、繰り返し回数は、本実施形態において例示した２回に限定されず、より多くの回数を繰り返してもよい。
【００４９】
（画素補正処理に係る一連の動作）
さらに、画素補正処理に係る一連の動作について、図１０に示すフローチャートを参照して説明する。
【００５０】
Ｓ１００１において、制御部１０３は補正対象となる飽和画素を決定する。制御部１０３は、Ｓ９０１において制御部１０３の記憶部に記憶された座標に基づいて、補正対象となる飽和画素を選択し、さらにＳ１００２において、制御部１０３は、補正対象となる飽和画素を中心とした近傍の領域の画像信号を読み出す。
【００５１】
Ｓ１００３にいて、制御部１０３は、組み合わせ決定部１０７に対して、Ｓ１００２で読み出した画像信号を用いて画像信号領域が合焦する分割画素の組み合わせを決定させる。より具体的には、組み合わせ決定部１０７は、分割画素Ａ及び分割画素Ｂの画像信号の所定の領域を（ここではそれぞれ像信号Ａ、Ｂという）入力して両画像信号の相関量ＣＯＲを算出する。例えば、像信号Ａを１画素ずつシフトさせてゆき、シフトした像信号Ａと像信号Ｂの差の絶対値の和を算出する。ここで、シフト量をｉで表す。また、ｘは画像信号領域の開始座標、ｙは画像信号領域の終了座標である。これらを用いて、相関量ＣＯＲは以下の式によって算出することができる。
【００５２】
【数１】
2017022528.tif 000003
【００５３】
式５においては相関量ＣＯＲが小さいほど像信号Ａと像信号Ｂの一致度が高くなる（即ち、相関が高くなる）。従って、相関量ＣＯＲが最も低くなるシフト量で対応付けられた分割画素Ａ及び分割画素Ｂを加算した場合に、最もコントラストは高くなる。換言すれば、算出されたシフト量（像ずれ量ともいう）における分割画素同士の組み合わせは、合焦状態に最も近い組み合わせとして扱うことができる。
【００５４】
制御部１０３は、組み合わせ決定部１０７により算出された、最も相関の高くなるシフト量を記憶部に一時的に格納する。
【００５５】
なお、相関量を算出することにより分割画素の組み合わせを決定したが、相関量以外の方法を用いることもできる。例えば、予め不図示の外測センサ等により得られる被写界の距離情報を用いてシフト量を決定し、分割画素の組み合わせを決定してもよい。
【００５６】
Ｓ１００４において、制御部１０３は、補正量算出部１０５を用いて補正量を算出する。より具体的には、補正量算出部１０５は、分割画素Ａ及び分割画素Ｂの画像信号と、Ｓ１００３で求めたシフト量を入力する。そして、補正量算出部１０５は、当該シフト量だけ分割画素Ａの画像信号と、分割画素Ｂの画像信号をずらし、最も相関の高くなる対応関係において一対の像信号を生成する。この一対の像信号を加算して得られる画像は、上述したように、被写体に合焦している状態として扱うことができるから、近傍（所定の範囲内）の分割画素Ａと分割画素Ｂの光量比率はケラレと入射角の影響が支配的となっている。
【００５７】
そこで、補正量算出部１０５は、注目している飽和画素の近傍に位置する分割画素Ａ(ＮＥＩ＿Ａ)と分割画素Ｂ（ＮＥＩ＿Ｂ）の光量比率に基づいて、飽和によって漏れ出た電荷の量、あるいは漏れ込んだ電荷の量αを推定する。即ち、注目している飽和画素（ＳＡＴ＿Ａ）と、飽和画素の対になっている分割画素（ＳＡＴ＿Ｂ）の光量比率を用いると、式６を満たすαを求めることができる。
ＮＥＩ＿Ａ：ＮＥＩ＿Ｂ  ＝  ＳＡＴ＿Ａ＋α:ＳＡＴ＿Ｂ        （６）
なお、算出されたαは、本来の信号強度との差分量であるため、本実施形態では、このαを飽和に対する補正量とする。
【００５８】
Ｓ１００５において、制御部１０３は、飽和補正部１０６に対して、補正量算出処理により算出された補正量αを用いて、注目している飽和画素を補正させる。飽和補正部１０６は、注目している分割画素Ａの画素値に対して補正量αを加算するとともに、対応する分割画素Ｂの画素値から補正量αを減算する。
飽和分割画素Ａ＋α        （７）
飽和分割画素Ｂ‐α        （８）
このようにすれば、飽和による像崩れの影響を補正することができる。
【００５９】
Ｓ１００６において、制御部１０３は全飽和画素に対する補正処理が終了したか否かを判定する。制御部１０３は、補正処理を行っていない飽和画素が存在する場合、処理を再びＳ１００１に戻して次の飽和画素の補正処理を実行する。一方、制御部１０３は、全飽和画素の補正が終了している場合、画素補正処理の一連の動作を終了して、処理を呼び出し元に戻す。上述したように、制御部１０３は、Ｓ９０５において繰り返し処理を終了している場合、補正処理に係る一連の動作を終了する。
【００６０】
なお、本一連の処理では、ユーザがシャッタボタンを押下して撮影指示を行った場合に処理を開始するようにしたが、例えばユーザが記録済みのデータを特定して再生指示を行った場合に上述した一連の処理を行うようにしてもよい。このようにすれば、すでに撮影された画像を不図示の表示部に表示させる際に飽和画素に対する補正処理を適用することができる。
【００６１】
また、本実施形態では、補正した画像信号をリフォーカス処理に用いる例を示したが、ステレオ画像として距離情報の算出処理に用いる場合や焦点検出に用いる場合に本補正方法を適用してもよい。
【００６２】
以上説明したように、本実施形態では、１つのマイクロレンズに対応する複数の光電変換部を有する画素構成であって、飽和が起こる際に電荷が隣接する光電変換部に漏れ出す画素構成において取得した画像信号に対して、飽和画素に対する補正処理を行う。本実施形態に係る補正処理では、分割画素の出力を合焦状態になるように組み替えて、組み替えた後の光電変換部の組における光量比率に基づいて飽和画素に対する補正量を算出するようにした。このようにすることにより、瞳分割像に対する光電変換部の飽和の影響を補正することが可能になる。さらに、当該補正量の算出を複数回行うことにより、像くずれの影響を低減し、分割画素ごとに良好な画像信号を得ることができる。
【００６３】
（実施形態２）
次に実施形態２について説明する。実施形態１では、補正処理を予め定められた回数繰り返す例について説明したが、実施形態２では、補正処理の繰り返し回数を動的に制御する。このため、本実施形態のデジタルカメラ１１００は、実施形態１と異なり飽和補正終了判定部１１０９を有する構成であり、その他の構成は実施形態１と同一である。このため、本実施形態の説明について参照する図面において、実施形態１と同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
【００６４】
（デジタルカメラ１１００の構成）
図１１は、実施形態２に係るデジタルカメラ１１００の機能構成例を示している。上述したように、実施形態１で示したデジタルカメラ１００に対して、飽和補正終了判定部１１０９を更に備える。
【００６５】
飽和補正終了判定部１１０９は、演算回路又は機能ブロックを含み、所定の条件に基づいて、補正処理が終了しているか否かを判定する。飽和補正終了判定部１１０９の詳細な動作は後述する。
【００６６】
（飽和画素に対する補正処理に係る一連の動作）
図１２、図１３を参照して、本実施形態に係る、飽和画素に対する補正処理について説明する。なお、図８に示した動作（Ｓ８０１〜Ｓ８０３）、及び図１０に示した画素補正処理（Ｓ１００１〜Ｓ１００６）は共通であるため、以下では補正処理について説明する。
【００６７】
図１２は、本実施形態に係る補正処理の一連の動作を示している。まず、制御部１０３は、実施形態１と同様にＳ９０１及びＳ９０３の処理を行って、画素補正処理を行う。制御部１０３は、画素補正処理が終了するとＳ１２０１に処理を進める。
【００６８】
Ｓ１２０１において、制御部１０３は、飽和補正終了判定部１１０９を用いて、補正終了判定処理を実行する。飽和補正終了判定部１１０９による補正終了判定処理の一連の動作については、図１３を参照して後述する。飽和補正終了判定部１１０９は、補正処理を終了させる程度にシフト量が収束している場合には判定フラグの値を０に設定し、補正処理を終了させずに更に繰り返す場合には判定フラグを０以外の値に設定する。
【００６９】
Ｓ１２０２において、制御部１０３は、補正終了判定処理においてカウントされた判定用カウントの値が０であるか否かを判定する。制御部１０３は、判定用カウントの値が０である場合、補正処理を完了する。一方、判定用カウントが０ではない場合は処理をＳ９０３に戻して、再度、補正後の結果を用いて画素補正処理を実行する。
【００７０】
次に、飽和補正終了判定部１１０９による補正終了判定処理の一連の動作を、図１３を参照して説明する。
【００７１】
Ｓ１３０１において、飽和補正終了判定部１１０９は、制御部１０３がＳ１２０２において補正処理の終了を判定するための、判定用のカウントを０に初期化する。
【００７２】
Ｓ１３０２において、飽和補正終了判定部１１０９は、前回の画素補正処理においてＳ１００３で算出された、飽和画素のシフト量を不図示の記憶部から読み出す。なお、初回の画素補正処理では１度しか実行されていないため、読み出したシフト量として０を設定する。
【００７３】
Ｓ１３０３において、飽和補正終了判定部１１０９は、今回の画素補正処理においてＳ１００３で算出された、飽和画素のシフト量を記憶部から読み出す。なお、Ｓ１３０２及びＳ１３０３で読み出されるシフト量は、それぞれ同一の座標に位置する飽和画素に対するシフト量である。
【００７４】
Ｓ１３０４において、飽和補正終了判定部１１０９は、読み出した２つのシフト量を比較し、両者が一致するか否かを判定する。シフト量が一致する場合、即ちＮ−１回目とＮ回目の画素補正処理におけるシフト量が同一となる場合、補正による像くずれの影響が収束したと判定することができる。従って、飽和補正終了判定部１１０９は、判定用カウントの値をそのままにして処理をＳ１３０６に進める。
【００７５】
一方、シフト量が一致しない場合、Ｓ１３０５において判定用カウントに１を加え、処理をＳ１３０６に進める。
【００７６】
Ｓ１３０６において、飽和補正終了判定部１１０９は、全ての飽和画素位置に対してシフト量の比較判定が終了したか否かを判定する。全ての飽和画素位置に対して判定が終了していない場合は処理をＳ１３０２に戻して次の座標のシフト量を読み出す。一方、飽和補正終了判定部１１０９は、全ての飽和画素位置に対して判定が終了している場合、補正終了判定処理を終了して呼出し元に処理を戻す。
【００７７】
このように補正処理によって算出されるシフト量が収束するか否かを判定するようにすれば、補正の繰り返し回数を動的に制御可能となる。なお、本実施形態では、シフト量の変動を利用して補正処理の終了判定を行う例を説明したが、シフト量以外にも補正された画素値の変動（即ち補正量の変動）を用いて補正処理の終了判定を行ってもよい。このようにすれば、補正量が安定したことを利用して繰り返し処理を終了することができ、信頼性の高い補正量を算出することが可能になる。
【００７８】
以上説明したように本実施形態では、補正処理を繰り返し実行するあたり、繰り返しの前後において補正処理の結果が収束するまで繰り返し処理を実行するようにした。このようにすることにより、補正処理の繰り返し回数を動的に制御することができると共に、補正処理の信頼性を向上させることができる。
【００７９】
（その他の実施形態）
本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８０】
１０１…撮像光学系、１０２…撮像素子、１０４…飽和検出部、１０５…補正量算出部、１０６…飽和補正部、１０７…組み合わせ決定部、１１０９…飽和補正終了判定部
【図１】
2017022528.tif 000004
【図２】
2017022528.tif 000005
【図３】
2017022528.tif 000006
【図４】
2017022528.tif 000007
【図５】
2017022528.tif 000008
【図６】
2017022528.tif 000009
【図７】
2017022528.tif 000010
【図８】
2017022528.tif 000011
【図９】
2017022528.tif 000012
【図１０】
2017022528.tif 000013
【図１１】
2017022528.tif 000014
【図１２】
2017022528.tif 000015
【図１３】
2017022528.tif 000016