(57)【要約】【課題】  撮像画像に含まれる不要成分を好適に低減可能な画像処理装置を提供する。【解決手段】  複数の視点画像を取得する画像取得手段と、  複数の前記視点画像の差分をとる相対差分情報に基づいて、該複数の視点画像に対応する第一不要成分を検出する検出手段と、  複数の前記視点画像に対応するノイズ情報を取得するノイズ情報取得手段と、  前記第１不要成分及び前記ノイズ情報に基づいて、前記第１不要成分からノイズが低減された第２不要成分を算出する算出手段と、  複数の前記視点画像に基づく画像から、前記第２不要成分を低減する低減手段と、を有することを特徴とする。【選択図】  図１
2018014644.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点画像を取得する第１の取得手段と、
複数の前記視点画像の差分をとる相対差分情報に基づいて、該複数の視点画像に対応する第一不要成分を検出する検出手段と、
複数の前記視点画像に対応するノイズ情報を取得する第２の取得手段と、
前記第１不要成分及び前記ノイズ情報に基づいて、前記第１不要成分からノイズが低減された第２不要成分を算出する算出手段と、
複数の前記視点画像に基づく画像から、前記第２不要成分を低減する低減手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記低減手段は、複数の前記視点画像を合成した画像から前記第２不要成分を低減することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、複数の前記視点画像それぞれに対応する前記第１不要成分を検出し、前記複数の前記視点画像のそれぞれの前記第一不要成分の合成値を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記ノイズ情報は、予め計測しておいた、複数の前記視点画像を撮像した撮像素子の不要成分に基づいて算出されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記低減手段により処理された画像にノイズを低減するノイズリダクション処理を施す画像処理手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像処理手段は、前記ノイズリダクション処理に加えて、デモザイキング処理を含む画像処理を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記ノイズ情報は、前記視点画像を複数の領域に分割し、前記領域の標準偏差に基づいて算出することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記ノイズ情報は、予め計測しておいた、複数の前記視点画像を撮像した撮像素子の不要成分による標準偏差に基づいて算出することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
複数の視点画像を取得する取得手段と、
複数の前記視点画像からそれぞれノイズ成分を低減する低減手段と、
前記複数の視点画像の相対差分情報に基づいて、該複数の視点画像に対応する不要成分を検出する検出手段と、
複数の前記視点画像に基づく画像から、前記不要成分を低減する低減手段と、を有することを特徴とする画像処理装置。
【請求項１０】
前記低減手段は、複数の前記視点画像を合成した画像から前記不要成分を低減することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記検出手段は、複数の前記視点画像それぞれに対応する前記不要成分を検出し、前記複数の前記視点画像のそれぞれの前記不要成分の合成値を算出することを特徴とする請求項９または１０に記載の画像処理装置。
【請求項１２】
前記低減手段により処理された画像にノイズを低減するノイズリダクション処理を施す画像処理手段を有することを特徴とする請求項９乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記画像処理手段は、前記ノイズリダクション処理に加えて、デモザイキング処理を含む画像処理を行うことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
複数の視点画像を取得する第１の取得ステップと、
複数の前記視点画像の差分をとる相対差分情報に基づいて、該複数の視点画像に対応する第一不要成分を検出する検出ステップと、
複数の前記視点画像に対応するノイズ情報を取得する第２の取得ステップと、
前記第１不要成分及び前記ノイズ情報に基づいて、前記第１不要成分からノイズが低減された第２不要成分を算出する算出ステップと、
複数の前記視点画像に基づく画像から、前記第２不要成分を低減する低減ステップと、を有することを特徴とする画像処理装置の制御方法。
【請求項１５】
複数の視点画像を取得する取得ステップと、
複数の前記視点画像からそれぞれノイズ成分を低減する低減ステップと、
複数の前記視点画像の相対差分情報に基づいて、該複数の視点画像に対応する不要成分を検出する検出ステップと、
複数の前記視点画像に基づく画像から、前記不要成分を低減する低減ステップと、を有することを特徴とする画像処理装置の制御方法。
【請求項１６】
請求項１４または１５に記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１７】
コンピュータに、請求項１４または１５に記載の画像処理装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像の画質を向上させる画像処理方法に関する。
【背景技術】
【０００２】
カメラなどの撮像装置により撮像を行うと、光学系に入射した光の一部がレンズの界面やレンズを保持する部材により反射し、撮像面に不要光として到達する場合がある。撮像面に到達した不要光は、ゴーストやフレアなどの不要成分として撮像画像中に現れる。特許文献１には、複数の視点画像を比較することでゴーストを検出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２０５５３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の方法では、視点画像間の差分を求めることによりゴーストを検出するため、各視点画像にノイズが多く含まれる場合にゴースト検出の精度が低下してしまう。
【０００５】
上記課題に鑑み、本発明は、撮像画像に含まれるノイズ成分を抑制し、より精度よく不要成分を低減可能な画像処理装置、及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、複数の視点画像を取得する画像取得手段と、複数の前記視点画像の差分をとる相対差分情報に基づいて、該複数の視点画像に対応する第一不要成分を検出する検出手段と、複数の前記視点画像に対応するノイズ情報を取得するノイズ情報取得手段と、前記第１不要成分及び前記ノイズ情報に基づいて、前記第１不要成分からノイズが低減された第２不要成分を算出する算出手段と、複数の前記視点画像に基づく画像から、前記第２不要成分を低減する低減手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮像画像に含まれるノイズ成分を抑制し、より精度よく不要成分を低減することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態における画像処理装置のブロック図。
【図２】第１の実施形態の撮像系において、撮像素子と光学系の瞳との関係図。
【図３】第１の実施形態の撮像系における光学系の構成及びそこに発生する不要光の説明図。
【図４】第１の実施形態におけるゴースト低減処理の各手順における画像のイメージ図。
【図５】第１の実施形態におけるゴースト低減処理の対象画像の処理前後のイメージ図。
【図６】第１の実施形態における画像処理のフローチャート図。
【図７】第１の実施形態におけるノイズ成分を除去する処理のフローチャート図。
【図８】第２の実施形態における画像処理部のブロック図。
【図９】第２の実施形態における画像処理方法を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１０】
（第１の実施形態）
本実施形態で用いられる複数の視点画像を生成可能な撮像装置は、光学系の瞳のうち互いに異なる領域を通過した複数の光束を撮像素子における互いに異なる受光部（画素）に導いて光電変換を行わせる撮像系を有する。
【００１１】
図１（ａ）は、本実施形態における画像処理装置に係る撮像装置１００の構成を示すブロック図である。光学系１０１は、不図示の被写体からの光束を撮像素子１０２上に結像（集光）させる。撮像素子１０２は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの光電変換素子で構成される。本実施形態では、光学系の互いに異なる射出瞳（瞳領域）からの光束を、各領域に対応する画素にてそれぞれ受光する。このように、撮像素子１０２は、被写体像（光学像）を光電変換し、複数の視点画像である画像信号（アナログ電気信号）を出力する。Ａ／Ｄコンバータ１０３は、撮像素子１０２から出力されたアナログ電気信号をデジタル信号に変換し、デジタル信号を画像処理部１０４に出力する。
【００１２】
画像処理部１０４は、入力された画像データに対して画像処理全般を行う。たとえば画像処理部１０４は、デモザイキング処理、撮像素子１０２固有の欠陥補正処理やシェーディング補正処理、黒レベル等の補正処理、ホワイトバランス処理、ガンマ補正処理、色変換処理等を行う。また、画像処理部１０４は、ノイズリダクション処理、圧縮・符号化処理なども行う。また、本実施形態では、後述するように画像に写り込むゴーストの影響を抑制するために複数の視点画像間の差分に基づいてゴーストを検出し、ゴーストの影響を低減するよう画像データに補正処理を施す。
【００１３】
画像処理部１０４で処理された出力画像（画像データ）は、半導体メモリや光ディスクなどの画像記録媒体１０７に保存される。また、画像処理部１０４からの出力画像を表示部１０５に表示することもできる。記憶部１０６は、画像処理部１０４による画像処理に必要な画像処理プログラムや各種情報などを記憶している。
【００１４】
ＣＰＵ１０８（制御手段）は、撮像素子１０２の駆動制御、画像処理部１０４での処理、および、光学系１０１の駆動制御などの各種制御を行う。なお本実施形態において、光学系１０１は、撮像素子１０２を備えた撮像装置１００の一部として（撮像装置１００と一体的に）構成されているが、これに限定されるものではない。一眼レフカメラのように、交換式の光学系（交換レンズ）を撮像装置本体に着脱可能に構成された撮像システムであってもよい。
【００１５】
図１（ｂ）は、本実施形態における画像処理部１０４の構成を示すブロック図である。図１（ｂ）に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
【００１６】
画像処理部１０４は、デジタル信号に対して、一般的に行われる画像処理を行うとともに、不要光の決定処理および不要光を低減または除去する補正処理を行う。また画像処理部１０４は、不要成分検出部１０４ａ、不要成分合成部１０４ｂ、ノイズ成分除去部１０４ｃ、視点画像合成部１０４ｄ、および、不要成分低減部１０４ｅを有する。
【００１７】
不要成分検出部１０４ａは、視点画像を生成（取得）し、その視点画像から不要成分（第一不要成分）を検出（決定）する。不要成分合成部１０４ｂは、不要成分検出部１０４ａにより検出された不要成分の合成値を算出する。ノイズ成分除去部１０４ｃは、不要成分合成部１０４ｂにより算出された不要成分の合成値からノイズ成分を除去した不要成分の合成値を算出する。視点画像合成部１０４ｄは、不要成分検出部１０４ａにより生成された視点画像を合成する。不要成分低減部１０４ｅは、ノイズ成分除去部１０４ｃにより算出されたノイズ成分を除去した不要成分の合成値に基づいて、視点画像合成部１０４ｄにより合成された視点画像から不要成分（第二不要成分）を低減させる。本実施形態において、第二不要成分は、第一不要成分の合成値そのもの、または、第一不要成分の合成値に基づいて得られた値である。
【００１８】
図２（ａ）は、本実施形態の撮像系における撮像素子の受光部と光学系の瞳との関係を示す図である。マイクロレンズ２０１は複数配列され、各マイクロレンズは、カラーフィルタ２０２を備えた撮像素子１０２の各光電変換素子に光束を導く。本実施形態では、撮像素子１０２の各画素は、Ｂａｙｅｒ配列で配列されているが、画素配列としてはこれに限らない。射出瞳２０３光学系１０１の射出瞳（瞳）は、複数の瞳領域２０４、２０５に分けられる。
【００１９】
撮像素子１０２には、画素２０６と画素２０７の対（画素対）が複数配列されている。対の画素２０６と画素２０７は、共通の（すなわち、画素対ごとに１つずつ設けられた）マイクロレンズ２０１を介して、射出瞳２０３と共役な関係を有する。各実施形態において、撮像素子に配列された複数の画素２０６、画素２０７を、それぞれまとめて画素群２０６、２０７という場合がある。
【００２０】
図２（ｂ）は、本実施形態における撮像系の模式図であり、図３に示されるマイクロレンズ２０１の代わりに、射出瞳２０３の位置に薄肉レンズが設けられていると仮定した場合の撮像系を示している。画素２０６は、射出瞳２０３のうち領域Ｐ１を通過した光束を受光する。画素２０７は、射出瞳２０３のうち領域Ｐ２を通過した光束を受光する。物点２０８には、必ずしも物体が存在している必要はない。物点２０８を通った光束は、その光束が通過する瞳（射出瞳２０３）内での位置（本実施形態では領域２０４または領域２０５）に応じて、画素２０６または画素２０７のいずれかの画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点２０８からの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズ２０１に対して設けられた画素２０６、２０７のうち、画素２０６からの出力信号を用いて生成された画像と、画素２０７からの出力信号を用いて生成された画像とが、視点が異なる複数（ここでは一対）の視点画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを、瞳分割という場合がある。また、図３および図４に示される射出瞳２０３の位置ずれなどにより、前述の共役関係が完全でなくなる場合や、領域２０４、２０５が部分的に互いに重複（オーバーラップ）する場合も考えられる。この場合も、以下の各実施形態において、得られた複数の画像を視点画像として扱う。
【００２１】
図３は、光学系１０１の構成および光学系１０１にて発生する不要光の説明図である。図３（ａ）は、光学系１０１の具体的な構成例を示す。図３（ａ）において、３０２は絞り、３０１は撮像面である。撮像面３０１の位置には、図１に示される撮像素子１０２が配置される。図３（ｂ）は、光学系１０１に高輝度物体の例としての太陽ＳＵＮから強い光が入射し、光学系１０１を構成するレンズの界面で反射した光が不要光（ゴーストやフレア）として撮像面３０１に到達する様子を示している。
【００２２】
図３は、絞り３０２のうち、図４に示される画素２０６、２０７に入射する光束が通過する領域Ｐ１、Ｐ２（瞳領域または瞳分割領域）を示している。なお、絞り３０２は、光学系１０１の射出瞳２０３に相当するものとして考えることができるが、実際には絞り３０２と射出瞳２０３は互いに異なることが多い。高輝度物体（太陽ＳＵＮ）からの光束は、絞り３０２のほぼ全域を通過するが、画素２０６、２０７に入射する光束が通過する領域は、領域２０４、２０５（瞳領域）に分割される。
【００２３】
続いて、図４および図５を参照して、撮像装置１００により生成される撮像画像において、不要光が光電変換されることで現れる画像成分である不要成分を決定する方法について説明する。
【００２４】
図４は、本実施形態における画像処理方法の手順を示す図である。図５は、本実施形態における画像処理方法による出力画像の一例である。
【００２５】
図５（ａ）は、瞳分割による撮像により生成された複数の視点画像を合成した撮像画像を示している。この撮像画像には、ビルなどの建物とその周辺に存在する樹木とが被写体として写っている。図５（ａ）の撮像画像中に黒い四角部分として示されるＧＳＴは、不要光（ゴースト）の画像成分である不要成分（ゴースト成分）である。なお、図５（ａ）では不要成分ＧＳＴを黒く塗りつぶして示しているが、実際には、被写体がある程度透けている。また、不要成分は撮像被写体に不要光がかぶった状態であるため、撮像被写体よりも高輝度化する部分である。
【００２６】
図４（ａ）および図４（ｃ）は、それぞれ、領域ｐ１、ｐ２（瞳領域）を通過した光束を画素群２０６、２０７にて光電変換した結果として得られた一対の視点画像を示している。一対の視点画像には、近距離被写体の場合、画像成分に視差に対応する差（被写体視差成分）が存在する。しかしながら、図４に示されるような風景撮像による遠距離被写体の場合、被写体視差成分は微少量である。また、一対の視点画像にも黒い四角として模式的に示される不要成分ｇｓｔが含まれているが、その位置は視点画像間で互いに異なる。ここでは、不要成分ｇｓｔが互いにオーバーラップすることなく分離された状態の例を示しているが、オーバーラップしていて輝度差がある状態でもよい。すなわち、黒い四角の不要成分ｇｓｔの位置や輝度が互いに異なった状態であればよい。
【００２７】
図４（ｂ）は、一対の視点画像に対して、図４（ａ）を基準画像として図４（ｃ）の画像を差し引いた状態の画像（相対差分画像）を示す。図４（ｂ）の画像（相対差分画像）には、一対の視点画像が有する差分（相対差分情報）として、被写体の視差成分および前述の不要成分が含まれている。しかしながら、図１に示されるような風景撮像による遠距離被写体の場合、被写体視差成分は微少量であるため、その影響はほぼ無視することができる。また、前記の差分計算により図４（ｃ）に含まれる不要成分は負の値として算出されるが、後述の不要成分低減処理の簡易化のため、図４（ｂ）では負の値を切り捨てている。そのため、図４（ｂ）の画像（相対差分画像）は、図４（ａ）に含まれる不要成分のみを示していることとなる。
【００２８】
同様に、図４（ｄ）は、一対の視点画像に対して、図４（Ｅ）を基準画像として図４（ａ）の画像を差し引いた状態の画像を示す。また、図４（ｂ）の画像と同様に、前記の差分計算により図４（ａ）に含まれる不要成分が負の値として算出されるが、後述の不要成分低減処理の簡易化のため、図４（ｄ）の画像では負の値を切り捨てている。そのため、図４（ｄ）の画像（相対差分画像）は、図４（ｅ）に含まれる不要成分のみを示していることとなる。このように本実施形態の画像処理方法では、相対差分画像における不要成分のみを残存させる（換言すると、不要成分を分離または抽出する）処理を行うことで、不要成分を決定することができる。
【００２９】
ここで出力画像として、図５（ａ）に示されるような、瞳分割による撮像で生成された複数の視点画像を合算（合成）した撮像画像を出力することを考える。このとき、前述のように視点画像ごとに不要成分が抽出されているため、１つの方法として、各視点画像からそれぞれ抽出された不要成分を差し引いて不要成分を低減することが考えられる。しかしながら、画像として視点画像を合算した１枚の画像を出力するのに対して、不要成分の低減処理を視点画像の枚数分だけ実行する必要があり、低減処理工程が複雑になる。
【００３０】
そこで本実施形態では、出力画像の視点画像の合成処理に合わせて、同様の処理で各視点画像の不要成分の合成処理を行う。本実施形態では、最終出力画像として各視点画像を合算（合成）した画像を出力するため、各視点画像の不要成分を合算（合成）する。図４（ｅ）は、合算（合成）された不要成分を示す。出力画像を各視点画像の合算値（合成値）として出力する場合、出力画像に含まれる不要成分は、各視点画像に含まれる不要成分の合算値（合成値）と一致する。
【００３１】
次に、図６を参照して、本実施形態における不要成分（ゴースト成分）の決定処理（画像処理）の手順について説明する。図６は、本実施形態における画像処理方法（不要成分の決定方法）を示すフローチャートである。図６の各ステップは、主に、ＣＰＵ１０８または画像処理部１０４により、コンピュータプログラムとしての画像処理プログラムに従って実行あるいは実行の指示が各部に出力される。本フローは、例えば、撮像素子１０２によって画像が撮像されたとき（例えば順次撮像されデジタル信号が出力されるモード時や撮像直後の記録時）や、メモリから画像データを画像処理部１０４内の一時記憶領域に読み出したときにフローを開始する。
【００３２】
まずステップＳ６０１において、ＣＰＵ１０８は、光学系１０１および撮像素子１０２、Ａ／Ｄコンバータ１０３により構成される撮像部（撮像系）を制御して被写体の撮像を行い、入力画像（撮像画像）を取得する。あるいは、あらかじめ撮像され、画像記録媒体１０７に記録された画像データを画像処理部１０４内の一時記憶領域に読み出すことで入力画像を取得する。本実施形態では、入力画像として、撮像素子１０２内で光学系１０１の異なる瞳領域を通過した光束に対応する複数の視点画像をあらかじめ合成した合成画像と、合成される前の一部の瞳領域に対応する視点画像とを入力画像として画像取得する。入力画像としてはこれに限らず、複数の視点画像をそれぞれ取得してもよい。
【００３３】
ステップＳ６０２において、ＣＰＵ１０８は、画像処理部１０４を制御し、合成画像と視点画像から一対の視点画像を生成させる。具体的には差分をとることで複数の視点画像を算出することができる。ここで、画像処理部１０４は、視点画像の生成にあたって、前述したような各種画像処理の一部を実施してもよい。ステップＳ６０１にて複数の視点画像の形で入力画像を取得している場合は、本ステップでは各種画像処理の一部を行うのみでもよい。
【００３４】
続いてステップＳ６０３において、画像処理部１０４の不要成分検出部１０４ａは、一対の視点画像の相対差分情報を求める。すなわち不要成分検出部１０４Ａは、図４（ａ）の画像を基準画像とした相対差分画像（図４（ｂ）の画像）、および、図４（ｃ）の画像を基準画像とした相対差分画像（図４（ｄ）の画像）を生成する。撮像面に到達した不要光が光学系１０１の瞳（射出瞳）のうち互いに異なる瞳領域を通過する場合、図４（ａ）および図４（ｃ）に示されるように、視点画像ごとに不要成分の発生位置が互いに異なる。このため、単純な相対差分画像では、不要成分の差分値は正および負の値をとる。例えば本実施形態では、相対差分画像（図４（ｂ）の画像）を生成する際の基準画像である図４（ａ）の画像から、図４（ｃ）の画像を差し引いた場合、図４（ａ）の画像に含まれる不要成分は正の値となる。一方、図４（ｃ）の画像に含まれる不要成分は負の値となる。
【００３５】
ここで本実施形態において、不要成分検出部１０４ａは、後述の不要成分低減処理の簡易化のため、前記負の値を切り捨てて０値とする処理を実施する。このため、図４（ｂ）の画像に関しては、図４（ａ）に含まれる不要成分のみが正の値として検出される。不要成分検出部１０４ａは、相対差分画像（図４（ｄ）の画像）についても同様の処理を実施する。これにより、図４（ｄ）の画像に関しては、図４（ｃ）の画像に含まれる不要成分のみが正の値として検出される。
【００３６】
また、不要成分検出部１０４ａは、近距離被写体を含む画像において相対差分情報を求める際に被写体視差成分を除去するため、一対の視点画像の位置合わせを行う処理を実施してもよい。具体的には、不要成分検出部１０４ａは、一対の視点画像のうち一方の画像に対して他方の画像の位置を相対的にシフトしながら画像間の相関が最大となるシフト位置を決定することにより、画像の位置合わせを行うことができる。また不要成分検出部１０４ａは、視点画像間の差分の２乗和が最小化するシフト位置を決定することで画像の位置合わせを行ってもよい。また不要成分検出部１０４ａは、視点画像中の合焦領域を位置合わせのためのシフト位置の決定の対象としてもよい。
【００３７】
また不要成分検出部１０４ａは、予めそれぞれの視点画像においてエッジ検出を行い、検出されたエッジを示す画像を用いて位置合わせのためのシフト位置を決定してもよい。この方法によれば、合焦領域についてはコントラストの高いエッジが検出され、背景などの非合焦領域についてはコントラストが低く、エッジとして検出されにくい。このため、必然的に合焦領域が重視されたシフト位置の決定が行われる。また、不要成分検出部１０４ａは、相対差分画像を生成する際に、ノイズなどの影響を除去するために閾値処理などのステップを加えても構わない。
【００３８】
続いてステップＳ６０４において、不要成分検出部１０４ａは、ステップＳ６０３にて生成された相対差分画像中に残存した成分を不要成分として決定する。
【００３９】
続いてステップＳ６０５において、画像処理部１０４の不要成分合成部１０４ｂは、ステップＳ６０４にて決定された各視点画像の不要成分を合算処理する（不要成分の合成値を算出する）。具体的には、不要成分合成部１０４ｂは、図４（ｂ）の相対差分画像と図４（ｄ）の相対差分画像とを足し合わせる処理を実行する（相対差分画像の合成値を算出する）。この結果、図４（ｅ）に示されるように、合算処理（合成）された不要成分が生成される。
【００４０】
続いてステップＳ６０６において、画像処理部１０４のノイズ成分除去部１０４ｃは、不要成分からノイズ成分を低減または除去する補正処理を行う。具体的には、ノイズ成分除去部１０４ｃは、ステップＳ６０５にて算出された不要成分の合成値から各視点画像の不要成分に含まれるノイズを減算する処理を実行する。
【００４１】
ここで、図７を参照して、本実施形態におけるノイズ成分を低減または除去する補正処理の手順について説明する。
【００４２】
まずステップＳ６０６ａにおいて、ノイズ成分除去部１０４ｃは、記憶部１０６に記憶される、予め計測しておいた撮像素子１０２のノイズ成分（ノイズ情報）による標準偏差に基づいてノイズ成分を算出する。ここで、ノイズ成分の予測値は、撮像素子１０２によって、予め均一な輝度の被写体を撮像した結果から計測され、ノイズに影響の大きいＩＳＯ感度ごとに得られ、テーブル化されている。ここで、複数の視点画像ごとに本計測を行うと手間がかかってしまう上に、視点画像ごとのシェーディングの影響を受けてしまう。そこで、本実施形態では、光学系の異なる瞳領域からの光束に対応する複数の視点画像を合成した上記合成画像にて計測されたデータからノイズ成分を決定する。また、ノイズ成分としては計測値に基づいてＩＳＯごとに全画素一律のノイズ成分を持っていてもよいし、像高ごと、画素ごとに一律に持っていてもよい。そしてステップＳ６０６ｂにおいて、ステップＳ６０５にて算出された不要成分の合成値から、ステップＳ６０６ａで算出されたノイズ成分を減算する。このとき、各視点画像の不要成分に含まれるノイズ成分は、ステップＳ６０５にて算出された不要成分の合算処理毎に上乗せされるため、ノイズ成分を減算する処理を視点画像の枚数−１回分を行う必要がある。ノイズ成分の引き方としてはこれに限らず、例えば各視点画像のノイズ成分による標準偏差を画像から算出してもよい。このとき、具体的には画像を１０×１０の局所領域に分割し、各領域内の画素値の標準偏差を算出し、各領域でノイズ成分を減算する処理を行う。
【００４３】
続いてステップＳ６０７において、画像処理部１０４の不要成分低減部１０４ｅは、出力すべき画像から不要成分を低減または除去する補正処理を行う。具体的には、不要成分低減部１０４ｅは、ステップＳ６０１で取得した図５（ａ）に示すような合成画像から、ステップＳ６０５で算出された図４（ｅ）も示すような不要成分を差し引く。ここで、ステップＳ６０１において複数の視点画像のみを取得して合成画像を取得していない実施形態である場合には、複数の視点画像を合成して生成した合成画像からステップＳ６０５で算出した不要成分を差し引いて補正画像を生成する。ステップＳ６０８では、補正画像に画像処理部１０４によって施される通常の処理を施し、画像記録媒体１０７や表示部１０５に出力されるような出力画像を生成する。このとき、通常のホワイトバランス処理やガンマ補正などの現像処理に加えて、補正画像に対して公知のノイズリダクション処理も行う。この処理で、補正画像そのものに乗ったノイズを低減させる。
【００４４】
最後に、ステップＳ６０９において、ＣＰＵ１０８は、図５（ｂ）に示すような、不要成分が除去または低減された出力画像を、画像記録媒体１０７に記録する。または、あるいは併せて出力画像を表示部１０５に表示して処理を終了する。
【００４５】
以上の通り、本実施形態によれば、複数の視点画像に基づく画像から不要光などに起因する不要成分を低減する画像処理装置において、不要成分からノイズ成分を低減または除去することで、画像からの良好な不要成分の低減処理を実現する。
【００４６】
本実施形態では、ゴースト低減処理の対象画像を複数の視点画像に基づく画像として、撮像センサからの出力時にすでにセンサ内でアナログ合成されている合成画像や複数の視点画像を合成して得られる合成画像を例示した。しかし処理の対象画像としてはこれに限らず、例えばいずれかの視点画像などから対応する不要成分を算出し、低減処理を行ってもよい。
【００４７】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態が複数の視点画像から算出された不要成分に対してノイズ成分を低減していたのに対して、本実施形態では、不要成分を算出するための複数の視点画像のノイズ成分を低減し、ノイズ成分が低減あるいは除去された不要成分を算出する。
【００４８】
本実施形態における撮像装置の基本構成は、図１（ａ）を参照して説明した第１の実施形態の撮像装置１００と同様であるため、その説明は省略する。
【００４９】
図８は、本実施形態における画像処理部１０４の構成を示すブロック図である。画像処理部１０４が行うブロック図にない処理部および処理については、図１（ｂ）を参照して説明した第１の実施形態の画像処理部１０４と同様である。本実施形態において、画像処理部１０４は、色補間処理部１０４ｆ、ノイズ平滑化処理部１０４ｇ、不要成分検出部１０４ａ、不要成分合成部１０４ｂ、視点画像合成部１０４ｄ、および、不要成分低減部１０４ｅを有する。
【００５０】
色補間処理部１０４ｆは、上述したように通常の画像にも行うデモザイキング処理を行う処理部である。本実施形態では、撮像素子１０２はベイヤー配列のカラーフィルタが配列されたセンサである。各画素において欠落している３原色の内の２色のカラーモザイク画像データを補間することによって、全ての画素においてＲ，Ｇ，Ｂのカラー画像データが揃ったカラーのデモザイキング画像を生成する。
【００５１】
ノイズ平滑化処理部１０４ｇは、色補間処理部１０４ｆから生成されたデモザイキング画像を取得し、そのデモザイキング画像からノイズを低減（平滑化）する。
【００５２】
次に、図９を参照して、本実施形態における不要成分（ゴースト成分）の決定処理（画像処理）の手順について説明する。図９は、本実施形態における画像処理方法を示すフローチャートである。図１１の各ステップは、主に、ＣＰＵ１０８または画像処理部１０４により、コンピュータプログラムとしての画像処理プログラムに従って実行あるいは実行の指示が各部に出力される。本フローは、例えば、撮像素子１０２によって画像が撮像されたとき（例えば順次撮像されデジタル信号が出力されるモード時や撮像直後の記録時）や、メモリから画像データを画像処理部１０４内の一時記憶領域に読み出したときにフローを開始する。
【００５３】
まずステップＳ９０１において、ＣＰＵ１０８は、光学系１０１および撮像素子１０２、Ａ／Ｄコンバータ１０３により構成される撮像部（撮像系）を制御して被写体の撮像を行い、入力画像（撮像画像）を取得する。あるいは、あらかじめ撮像され、画像記録媒体１０７に記録された画像データを画像処理部１０４内の一時記憶領域に読み出すことで入力画像を取得する。本実施形態では、入力画像として、撮像素子１０２内で光学系１０１の異なる瞳領域を通過した光束に対応する複数の視点画像をあらかじめ合成した合成画像と、合成される前の一部の瞳領域に対応する視点画像とを入力画像として取得する。入力画像としてはこれに限らず、複数の視点画像をそれぞれ取得してもよい。
【００５４】
ステップＳ９０２において、ＣＰＵ１０８は、画像処理部１０４を制御し、合成画像と視点画像から一対の視点画像を生成させる。具体的には差分をとることで複数の視点画像を算出することができる。ここで、画像処理部１０４は、視点画像の生成にあたって、前述したような各種画像処理の一部を実施してもよい。ステップＳ９０１にて複数の視点画像の形で入力画像を取得している場合は、本ステップでは各種画像処理の一部を行うのみでもよい。また、ステップＳ９０２において、ＣＰＵ１０８は、画像処理部１０４を制御し、前述したデモザイキング画像を生成する。画像処理部１０４の色補間処理部１０４ｆは、モザイク画像データを補間することによって、Ｒ，Ｇ，Ｂのカラー画像データが揃ったデモザイキング画像を生成する。
【００５５】
続いてステップＳ９０３において、ノイズ平滑化処理部１０４ｇは、ステップＳ９０２にて生成された複数の視点画像のノイズ成分を平滑または低減する補正処理を行う。具体的には、フィルター処理を少なくともゴースト低減処理の処理対象領域の画素に対して行う。例えば５×５のメディアンフィルターを用いて、各画素の値を周辺画素の中央値に置き換える処理を行う。
【００５６】
続いてステップＳ９０４において、画像処理部１０４の不要成分検出部１０４ａは、ステップＳ９０３にて生成されたノイズ低減処理後の一対の視点画像の相対差分情報を求める。すなわち不要成分検出部１０４ａは、図４（ａ）の画像を基準画像とした相対差分画像（図４（ｂ）の画像）、および、図４（ｃ）の画像を基準画像とした相対差分画像（図４（ｄ）の画像）を生成する。撮像面に到達した不要光が光学系１０１の瞳（射出瞳）のうち互いに異なる瞳領域を通過する場合、図４（ａ）および図４（ｃ）に示されるように、視点画像ごとに不要成分の発生位置が互いに異なる。このため、単純な相対差分画像では、不要成分の差分値は正および負の値をとる。例えば本実施形態では、相対差分画像（図４（ｂ）の画像）を生成する際の基準画像である図４（ａ）の画像から、図４（ｃ）の画像を差し引いた場合、図４（ａ）の画像に含まれる不要成分は正の値となる。一方、図４（ｃ）の画像に含まれる不要成分は負の値となる。
【００５７】
続いてステップＳ９０５において、不要成分検出部１０４ａは、ステップＳ９０４にて生成された相対差分画像中に残存した成分を不要成分として決定する。
【００５８】
ステップＳ９０６において、画像処理部１０４の不要成分合成部１０４ｂは、ステップＳ９０５にて決定された各視点画像の不要成分を合算処理する（不要成分の合成値を算出する）。具体的には、不要成分合成部１０４ｂは、図４（ｂ）の相対差分画像と図４（ｄ）の相対差分画像とを足し合わせる処理を実行する（相対差分画像の合成値を算出する）。この結果、図４（ｃ）に示されるように、合算処理（合成）された不要成分が生成される。
【００５９】
続いてステップＳ９０７において、画像処理部１０４の不要成分低減部１０４ｅは、出力すべき画像から不要成分を低減または除去する補正処理を行う。具体的には、不要成分低減部１０４ｅは、ステップＳ９０１で取得した図５（ａ）に示すような合成画像から、ステップＳ９０５で算出された図４（ｅ）も示すような不要成分を差し引く。ここで、ステップＳ９０１において複数の視点画像のみを取得して合成画像を取得していない実施形態である場合には、複数の視点画像を合成して生成した合成画像からステップＳ９０５で算出した不要成分を差し引いて補正画像を生成する。
【００６０】
ステップＳ９０８では、補正画像に画像処理部１０４によって施される通常の処理を施し、画像記録媒体１０７や表示部１０５に出力されるような出力画像を生成する。このとき、通常のホワイトバランス処理やガンマ補正などの現像処理に加えて、補正画像に対して公知のノイズリダクション処理も行う。この処理で、補正画像そのものに乗ったノイズを低減させる。
【００６１】
最後に、ステップＳ９０９において、ＣＰＵ１０８は、図５（ｂ）に示すような、不要成分が除去または低減された出力画像を、画像記録媒体１０７に記録する。または、あるいは併せて出力画像を表示部１０５に表示して処理を終了する。
【００６２】
本実施形態によれば、複数の視点画像に基づく画像から不要光などに起因する不要成分を低減する画像処理装置において、不要成分からノイズ成分を低減または除去することで、画像からの良好な不要成分の低減処理を実現する。
【００６３】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００６４】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００６５】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００６６】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００６７】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【００６８】
また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。
【符号の説明】
【００６９】
１０４  画像処理部
１０４ａ  不要成分検出部
１０４ｂ  不要成分合成部
１０４ｃ  ノイズ成分除去部
１０４ｄ  視点画像合成部
１０４ｅ  不要成分低減部
１０４ｆ  色補間処理部
１０４ｇ  ノイズ平滑化処理部
１０８  ＣＰＵ
【図１】
2018014644.tif 000003
【図２】
2018014644.tif 000004
【図３】
2018014644.tif 000005
【図４】
2018014644.tif 000006
【図５】
2018014644.tif 000007
【図６】
2018014644.tif 000008
【図７】
2018014644.tif 000009
【図８】
2018014644.tif 000010
【図９】
2018014644.tif 000011