(57)【特許請求の範囲】
【請求項１】
複数の視差画像の差分情報に基づいて第１不要成分を決定する第１決定手段と、
前記第１不要成分から視差成分を低減して第２不要成分を決定する第２決定手段と、を有し、
前記第２決定手段は、前記第１不要成分と、該第１不要成分に基づいて作成されたマスクとに基づいて、前記第２不要成分を決定することを特徴とする画像処理装置。
【請求項２】
前記第２決定手段は、
前記第１不要成分の輝度値を変更して前記マスクを作成し、
前記第１不要成分に対して前記マスクを用いたマスキング処理を行うことにより、前記第２不要成分を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２決定手段は、前記第１不要成分に対して平滑化処理、コントラスト変更処理、および、閾値処理の少なくとも一つを行うことにより、前記輝度値を変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２決定手段は、前記平滑化処理、前記コントラスト変更処理、および、前記閾値処理の少なくとも一つを行った後の前記第１不要成分に対して２値化処理を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２決定手段は、２値化処理後の前記第１不要成分に対して拡大処理を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第２決定手段は、拡大処理後の前記第１不要成分に基づいて前記マスクを作成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第２決定手段は、
前記視差画像と前記第１不要成分とに基づいて不要成分低減画像を生成し、
前記不要成分低減画像にボケを付加したボケ画像と該不要成分低減画像との差分に基づいてエッジ成分を決定し、
前記第１不要成分から前記エッジ成分を低減することを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記第２決定手段は、
前記第１不要成分に基づいて第１不要成分画像を生成し、
前記第１不要成分画像にボケを付加したボケ画像と該第１不要成分画像との差分に基づいてエッジ成分を決定し、
前記第１不要成分から前記エッジ成分を低減することを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
【請求項９】
前記複数の視差画像に基づく画像から前記第２不要成分を低減する低減手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記複数の視差画像に基づく画像は、該複数の視差画像を合成した視差合成画像であることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
光学系を介して形成された光学像を光電変換して複数の視差画像を出力する撮像手段と、
前記複数の視差画像の差分情報に基づいて第１不要成分を決定する第１決定手段と、
前記第１不要成分から視差成分を低減して第２不要成分を決定する第２決定手段と、を有し、
前記第２決定手段は、前記第１不要成分と、該第１不要成分に基づいて作成されたマスクとに基づいて、前記第２不要成分を決定することを特徴とする撮像装置。
【請求項１２】
前記マスクに関する情報を表示する表示手段を更に有することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記複数の視差画像は、前記光学系の瞳のうち互いに異なる領域を通過した光束に基づいて生成された複数の画像であり、
前記撮像手段は、一つのマイクロレンズを共有する複数の画素を有し、
前記複数の画素は、前記光学系の瞳のうち互いに異なる領域を通過した光束を受光するように構成されていることを特徴とする請求項１１または１２に記載の撮像装置。
【請求項１４】
前記複数の視差画像は、前記光学系の瞳のうち互いに異なる領域を通過した光束を、前記撮像手段における互いに異なる画素に導いて生成された複数の画像であることを特徴とする請求項１１または１２に記載の撮像装置。
【請求項１５】
複数の視差画像の差分情報に基づいて第１不要成分を決定するステップと、
前記第１不要成分から視差成分を低減して第２不要成分を決定するステップと、を有し、
前記第２不要成分は、前記第１不要成分と、該第１不要成分に基づいて作成されたマスクとに基づいて決定されることを特徴とする画像処理方法。
【請求項１６】
請求項１５に記載の画像処理方法をコンピュータに実行させるように構成されていることを特徴とする画像処理プログラム。
【請求項１７】
請求項１６に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像の画質を向上させる画像処理方法に関する。
【背景技術】
【０００２】
カメラなどの撮像装置により撮像を行うと、光学系に入射した光の一部がレンズの界面やレンズを保持する部材により反射し、撮像面に不要光として到達する場合がある。撮像面に到達した不要光は、ゴーストやフレアなどの不要成分として撮影画像中に現れる。また、望遠レンズにおいて、軸上色収差や倍率色収差の補正のために回折光学素子を用いると、撮像画角外に存在する太陽などの高強度物体からの光が回折光学素子に当たることで、画像全体に渡って不要光が現れる場合がある。このような不要光も、不要成分として撮影画像中に現れる。そこで従来から、不要成分をデジタル画像処理により除去する方法が知られている。
【０００３】
特許文献１および特許文献２には、単眼立体撮像による複数の視点画像を比較することでゴーストを検出する方法が開示されている。特許文献１および特許文献２の方法によれば、１回の撮像で複数の視差画像を得られるため、動きのある被写体の静止画撮像や動画撮像にも対応可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２０５５３１号公報
【特許文献２】特開２０１４−１７１２３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の方法は、視差成分が予め補正されていることを前提としており、視差成分が残存している場合にゴーストを正確に検出することはできない。
【０００６】
一方、特許文献２には、視差成分が残存している場合にゴーストを検出する方法が開示されている。風景写真などの遠景で比較的視差成分量が少ない場合、視差画像にローパスフィルタを適用することにより視差成分を除去することができる。しかしながら、近距離の被写体にピントを合わせた場合などで視差成分量が多いと、視差成分を除去するにはローパスフィルタを適用するだけでは不十分である。一方、ローパスフィルタを強く適用すると、検出対象のゴーストも減少し、ゴーストを適切に検出することは困難である。
【０００７】
そこで本実施例は、複数の撮像を行うことなく撮影画像の第１不要成分を決定し、第１不要成分から被写体視差成分を低減させた第２不要成分を決定可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての画像処理装置は、複数の視差画像の差分情報に基づいて第１不要成分を決定する第１決定手段と、前記第１不要成分から視差成分を低減して第２不要成分を決定する第２決定手段とを有し、前記第２決定手段は、前記第１不要成分と、該第１不要成分に基づいて作成されたマスクとに基づいて、前記第２不要成分を決定する。
【０００９】
本発明の他の側面としての撮像装置は、光学系を介して形成された光学像を光電変換して複数の視差画像を出力する撮像手段と、前記複数の視差画像の差分情報に基づいて第１不要成分を決定する第１決定手段と、前記第１不要成分から視差成分を低減して第２不要成分を決定する第２決定手段とを有し、前記第２決定手段は、前記第１不要成分と、該第１不要成分に基づいて作成されたマスクとに基づいて、前記第２不要成分を決定する。
【００１０】
本発明の他の側面としての画像処理方法は、複数の視差画像の差分情報に基づいて第１不要成分を決定するステップと、前記第１不要成分から視差成分を低減して第２不要成分を決定するステップとを有し、前記第２不要成分は、前記第１不要成分と、該第１不要成分に基づいて作成されたマスクとに基づいて決定される。
【００１１】
本発明の他の側面としての画像処理プログラムは、前記画像処理方法をコンピュータに実行させるように構成されている。
【００１２】
本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。
【００１３】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１４】
本発明によれば、複数の撮像を行うことなく撮影画像の第１不要成分を決定し、第１不要成分から被写体視差成分を低減させた第２不要成分を決定可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】実施例１における画像処理方法の手順を示す図である。
【図２】実施例１における画像処理方法による出力画像の一例である。
【図３】実施例１〜４の撮像系において、撮像素子の受光部と光学系の瞳との関係図である。
【図４】実施例１〜４における撮像系の模式図である。
【図５】各実施例における撮像装置のブロック図である。
【図６】各実施例における光学系の構成および光学系にて発生する不要光の説明図である。
【図７】実施例１〜４における光学系の絞りを透過する不要光の説明図である。
【図８】実施例１における画像処理方法を示すフローチャートである。
【図９】実施例２における画像処理方法を示すフローチャートである。
【図１０】実施例２における画像処理方法の手順を示す図である。
【図１１】実施例２における画像処理方法の手順を示す図である。
【図１２】実施例２における画像処理方法の手順を示す図である。
【図１３】実施例３における画像処理方法を示すフローチャートである。
【図１４】実施例３における画像処理方法の手順を示す図である。
【図１５】実施例３における画像処理方法の手順を示す図である。
【図１６】実施例４における画像処理方法を示すフローチャートである。
【図１７】実施例４における画像処理方法による出力画像の一例である。
【図１８】実施例５における撮像素子を示す図である。
【図１９】実施例５における光学系の絞りを透過する不要光の説明図である。
【図２０】実施例５における画像処理方法の手順を示す図である。
【図２１】実施例５における画像処理方法の手順を示す図である。
【図２２】実施例６における撮像系を示す図である。
【図２３】実施例６における撮像系を示す図である。
【図２４】実施例６における撮像系を示す図である。
【図２５】従来の撮像素子を示す図である。
【図２６】図２２の撮像系により得られた画像を示す図である。
【図２７】図２３および図２４の撮像系により得られた画像を示す図である。
【図２８】実施例６における撮像装置の例を示す図である。
【図２９】実施例６における撮像装置の例を示す図である。
【図３０】実施例７における撮像システムの構成図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。
【００１７】
各実施例において、複数の視差画像を生成可能な撮像装置は、光学系（撮像光学系）の瞳のうち互いに異なる領域を通過した複数の光束を、撮像素子における互いに異なる受光部（画素）に導いて光電変換を行わせる撮像系を有する。
【実施例１】
【００１８】
まず、本発明の実施例１について説明する。図３は、本実施例の撮像系における撮像素子の受光部と光学系の瞳との関係を示す図である。図３において、ＭＬはマイクロレンズであり、ＣＦはカラーフィルタである。ＥＸＰは光学系の射出瞳（瞳）であり、Ｐ１、Ｐ２は射出瞳ＥＸＰの領域である。Ｇ１、Ｇ２は画素（受光部）であり、１つの画素Ｇ１と１つの画素Ｇ２とが互いに対をなしている（画素Ｇ１、Ｇ２は１つのマイクロレンズＭＬを共有するように設けられている）。撮像素子には、画素Ｇ１と画素Ｇ２の対（画素対）が複数配列されている。対の画素Ｇ１と画素Ｇ２は、共通の（すなわち、画素対ごとに１つずつ設けられた）マイクロレンズＭＬを介して、射出瞳ＥＸＰと共役な関係を有する。各実施例において、撮像素子に配列された複数の画素Ｇ１、Ｇ２を、それぞれまとめて画素群Ｇ１、Ｇ２という場合がある。
【００１９】
図４は、本実施例における撮像系の模式図であり、撮像している物点ＯＳＰ、射出瞳ＥＸＰ、および、撮像素子の結像関係を示している。画素Ｇ１は、射出瞳ＥＸＰのうち領域Ｐ１を通過した光束を受光する。画素Ｇ２は、射出瞳ＥＸＰのうち領域Ｐ２を通過した光束を受光する。ＯＳＰは、撮像している物点である。物点ＯＳＰには、必ずしも物体が存在している必要はない。物点ＯＳＰを通った光束は、その光束が通過する瞳（射出瞳ＥＸＰ）内での位置（本実施例では領域Ｐ１または領域Ｐ２）に応じて、画素Ｇ１または画素Ｇ２のいずれかの画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられた画素Ｇ１、Ｇ２のうち、画素Ｇ１からの出力信号を用いて生成された画像と、画素Ｇ２からの出力信号を用いて生成された画像とが、互いに視差を有する複数（ここでは一対）の視差画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを、瞳分割という場合がある。
【００２０】
また、図３および図４に示される射出瞳ＥＸＰの位置ずれなどにより、前述の共役関係が完全でなくなる場合や、領域Ｐ１、Ｐ２が部分的に互いに重複（オーバーラップ）する場合でも、各実施例において、得られた複数の画像を視差画像として扱う。また、画像を構成する最小要素を画素（ピクセル）と呼び（以降、撮像素子上の画素と区別するためにピクセルと呼ぶ）、各ピクセルは、数値によって光の強さや色を表す。各ピクセルの値を画素値という。画素値はモノクロ画像であれば画素値＝輝度値とし、本発明の各実施例では簡単に説明するためにモノクロ画像として説明する。よってここでは画素値と輝度値は同じ意味を示す。ＲＧＢカラー画像の場合は各色の画素値について色ごとに同様の計算を行えばよい。以下の各実施例についても同様である。
【００２１】
次に、図５を参照して、本実施例における画像処理方法を実行する撮像装置について説明する。図５は、本実施例における撮像装置２００の構成を示すブロック図である。光学系２０１（撮像光学系）は、絞り２０１ａおよびフォーカスレンズ２０１ｂを含み、不図示の被写体からの光を撮像素子２０２上に結像（集光）させる。撮像素子２０２（撮像手段）は、ＣＣＤセンサやＣＭＯＳセンサなどの光電変換素子により構成され、図３および図４を参照して説明した瞳内の互いに異なる領域を通過した光束を、各領域に対応する画素（受光部）にて受光する（瞳分割を行う）。このように撮像素子２０２は、光学系２０１を介して形成された被写体像（光学像）を光電変換し、複数の視差画像である画像信号（アナログ電気信号）を出力する。Ａ／Ｄコンバータ２０３は、撮像素子２０２から出力されたアナログ電気信号をデジタル信号に変換し、デジタル信号を画像処理部２０４に出力する。
【００２２】
画像処理部２０４は、デジタル信号に対して、一般的に行われる画像処理を行うとともに、不要光（不要成分）の決定処理および不要光を低減または除去する補正処理を行う。また画像処理部２０４は、不要成分領域の抽出処理を行う。本実施例において、画像処理部２０４は、撮像装置２００に搭載された画像処理装置に相当する。また画像処理部２０４は、不要成分検出部２０４ａ（第１決定手段）、抽出処理部２０４ｂ（第２決定手段）、および、不要成分低減部２０４ｃ（低減手段）を有する。
【００２３】
不要成分検出部２０４ａは、視差画像を生成（取得）し、その視差画像から不要成分を検出（決定）する。抽出処理部２０４ｂは、検出された不要成分から視差成分を低減し、ゴーストなどの不要成分領域を抽出する。不要成分低減部２０４ｃは、各視差画像から不要成分を低減させる。なお本実施例において、視差画像の生成方法として、「画素群Ｇ１のみからなる画像」と「画素群Ｇ２のみからなる画像」のように最初から２つに分離した形で出力して生成することができる。または、「画素群Ｇ１のみからなる画像」と「画素群Ｇ１と画素群Ｇ２との合成画像」を最初に出力し、合成画像から画素群Ｇ１のみからなる画像を差し引くことにより画素群Ｇ２のみからなる画像に相当する画像を演算で求めてもよい。
【００２４】
画像処理部２０４で処理された出力画像（画像データ）は、半導体メモリや光ディスクなどの画像記録媒体２０９に保存される。また、画像処理部２０４からの出力画像を表示部２０５に表示することもできる。記憶部２０８は、画像処理部２０４による画像処理に必要な画像処理プログラムや各種情報などを記憶している。
【００２５】
システムコントローラ２１０（制御手段）は、撮像素子２０２の動作、画像処理部２０４での処理、および、光学系２０１（絞り２０１ａおよびフォーカスレンズ２０１ｂ）の制御を行う。光学系制御部２０６は、システムコントローラ２１０からの制御指示に応じて、光学系２０１の絞り２０１ａおよびフォーカスレンズ２０１ｂの機械的な駆動を行う。絞り２０１ａは、設定された絞り値（Ｆナンバー）に応じて、その開口径が制御される。フォーカスレンズ２０１ｂは、被写体距離に応じてピント調整（フォーカス制御）を行うために、不図示のオートフォーカス（ＡＦ）システムやマニュアルフォーカス機構によってその位置が制御される。状態検知部２０７は、システムコントローラ２１０の制御指示に応じて、現在の撮影条件情報を取得する。なお本実施例において、光学系２０１は、撮像素子２０２を備えた撮像装置２００の一部として（撮像装置２００と一体的に）構成されているが、これに限定されるものではない。本実施例は、一眼レフカメラのように、交換式の光学系（交換レンズ）を撮像装置本体に着脱可能に構成された撮像装置にも適用可能である。
【００２６】
図６は、光学系２０１の構成および光学系２０１にて発生する不要光の説明図である。図６（Ａ）は、光学系２０１の具体的な構成例を示す。図６（Ａ）において、ＳＴＰは絞り（絞り２０１ａに相当）、ＩＭＧは撮像面である。撮像面ＩＭＧの位置には、図５に示される撮像素子２０２が配置される。図６（Ｂ）は、光学系２０１に高輝度物体の例としての太陽ＳＵＮから強い光が入射し、光学系２０１を構成するレンズの界面で反射した光が不要成分Ａ（ゴーストやフレアなどの不要光）として撮像面ＩＭＧに到達する様子を示している。図６（Ｃ）は、図６（Ｂ）と同様に強い光が入射し、不要光Ａとは異なるレンズの界面で反射した光が不要成分Ｂ（ゴーストやフレアなどの不要光）として撮像面ＩＭＧに到達する様子を示している。
【００２７】
図７は、絞りＳＴＰのうち、図４に示される画素Ｇ１、Ｇ２に入射する光束が通過する領域Ｐ１、Ｐ２（瞳領域または瞳分割領域）を示している。なお、絞りＳＴＰは、光学系２０１の射出瞳ＥＸＰ（光学系２０１の像面位置から見た虚像）に相当するものとして考えることができるが、実際には絞りＳＴＰと射出瞳ＥＸＰは互いに異なる。高輝度物体（太陽ＳＵＮ）からの光束は、絞りＳＴＰのほぼ全域を通過するが、画素Ｇ１、Ｇ２に入射する光束が通過する領域は、領域Ｐ１、Ｐ２（瞳領域）に分割される。図６（Ｂ）、（Ｃ）に示される例では、高輝度物体からの光束は絞りＳＴＰの略下半分の領域を通過しており、図４を参照すると、領域Ｐ１に一部の光束が通過し、領域Ｐ２に残りの全ての光束が通過している。領域Ｐ１を通過した光束は画素Ｇ１に入射し、領域Ｐ２を通過した光束は画素Ｇ２に入射する。
【００２８】
続いて、図１および図２を参照して、撮像装置２００により生成される撮影画像において、不要光が光電変換されることで現れる画像成分である不要成分を決定する方法について説明する。図１は、本実施例における画像処理方法の手順を示す図である。図２は、本実施例における画像処理方法による出力画像の一例である。なお、図６（Ａ）の光学系２０１で撮像すると、図６（Ｂ）の光路で発生する不要成分Ａと図６（Ｃ）の光路で発生する不要成分Ｂとが互いに重なり合って撮像される。このため図１および図２においては、不要成分Ａと不要成分Ｂとを重ねて描いている。ただし、複数の不要成分が重なっていても分離していても、本実施例の趣旨や基本的な考え方は変わらず、後述する不要成分の決定方法も変わらない。
【００２９】
図２は、「瞳分割を行わない撮像」により生成された撮影画像を示し、簡単のために細かい被写体は省略されている。この撮影画像には、背景のグレー部分、ピントが合っている三角の被写体Ａ、被写体Ａよりも奥に位置してピントがぼけている被写体Ｂ、および、ゴーストを意味する二つの四角（被写体や背景よりも輝度が高く、互いに重なっている不要成分Ａ、Ｂ）が写っている。実際には、これらの不要成分の背景には、被写体がある程度透けている。また、不要成分は、撮影被写体に不要光が被った状態であるため、撮影被写体よりも高輝度化する部分である。このため、背景のグレー部分よりも輝度を高くして示している。この点は、後述する他の実施例における図でも同様である。
【００３０】
図１（Ａ−１）、（Ｂ−１）は、それぞれ、領域Ｐ１、Ｐ２（瞳領域）を通過した光束を画素群Ｇ１、Ｇ２にて光電変換した結果として得られた一対の視差画像を示す。一対の視差画像には、画像成分の視差に応じた差（被写体視差成分）が存在する。このため、図１（Ａ−１）、（Ｂ−１）の被写体Ｂは、互いに左右にずれている（視差ずれしている）。また、一対の視差画像にも均一な輝度のグレーの四角として模式的に示す不要成分Ａと不要成分Ｂが含まれているが、その輝度は視差画像間で互いに異なる。ここでは、前述のように不要成分Ａと不要成分Ｂとが互いに重なり合っている状態の例を示しているが、これらが重なり合うことなく分離された状態であってもよい。すなわち、不要成分の位置や輝度が視差画像間で互いに異なった状態であればよい。
【００３１】
図１（Ａ−２）、（Ｂ−２）は、図１（Ａ−１）、（Ｂ−１）中の破線部に沿った一対の視差画像の輝度断面をそれぞれ示す。図１（Ａ−２）、（Ｂ−２）のグラフ内の数値は、不要成分の輝度値Ｙである。例えば図１（Ａ−２）において、背景輝度値は５０、視差ずれを有する被写体Ｂの輝度値は１００である。図１（Ｃ−１）は、図１（Ａ−１）と図１（Ｂ−１）を加算合成した画像（視差合成画像）を示す。図１（Ｃ−２）は、図１（Ｃ−１）中の破線部に沿った視差合成画像の輝度断面を示す。この視差合成画像は、「瞳分割を行わない撮像」により生成された撮影画像（図２）と等価である。本実施例では、一対の視差画像を加算合成することにより、「瞳分割を行わない撮像」により生成された撮影画像と同等の明るさになる。一対の視差画像を加算平均することにより、「瞳分割を行わない撮像」により生成された撮影画像と同等の明るさになるような撮像装置を用いても構わない。その場合に関しては、実施例５にて後述する。
【００３２】
図１（Ｄ−１）は、一対の視差画像に関し、図１（Ａ−１）から図１（Ｂ−１）の画像を差し引いた状態の画像と、図１（Ｂ−１）から図１（Ａ−１）の画像を差し引いた状態の画像とを加算合成した画像（差分合成画像、第１不要成分画像）を示す。図１（Ｄ−２）は、図１（Ｄ−１）中の破線部に沿った輝度断面を示す。このように、図１（Ｄ−１）の差分合成画像は、図１（Ｃ−１）から被写体や背景が取り除かれた画像であり、図１（Ｃ−１）に含まれる不要成分および被写体視差成分のみを含む。
【００３３】
本実施例は、図１（Ｄ−１）を算出するため、前述のように２回差分を取ってから加算合成を行っているが、以下の式（１）のように、差分の絶対値を得る演算を行っても等価である。
【００３４】
Ｆｉｇ１Ｄ１（ｘ，ｙ）＝│Ｆｉｇ１Ａ１（ｘ，ｙ）−Ｆｉｇ１Ｂ１（ｘ，ｙ）│  …  （１）
式（１）において、Ｆｉｇ１Ｄ１（ｘ，ｙ）、Ｆｉｇ１Ａ１（ｘ，ｙ）、Ｆｉｇ１Ｂ１（ｘ，ｙ）は、それぞれ、図１（Ｄ−１）、図１（Ａ−１）、図１（Ｂ−１）の各座標での輝度値を表す。この結果、１度の演算で図１（Ｄ−１）の結果が得られる。これにより、第１不要成分が決定され、図１（Ｄ−１）は第１不要成分を画像化した第１不要成分画像である。
【００３５】
このように、各視差画像について差分計算を行うことにより、不要成分のみを残存させ（換言すると、分離または抽出し）、第１不要成分（第１不要成分画像）を決定することができる。ただし、本実施例のように被写体視差成分が存在する場合、第１不要成分画像には不要成分と被写体視差成分とが混在している。このため、不要成分を高精度に決定するには、被写体視差成分を低減または除去する必要がある。そこで本実施例では、第１不要成分から被写体視差成分を低減する。なお本実施例では、第１不要成分に基づいて後述の各処理を行うが、後で表示してユーザが確認できるような、いわゆる「画像」として第１不要成分画像を保存する必要はない。第１不要成分画像は、処理フローの中において、数値データとして利用できればよい。
【００３６】
次に、前述のようにして決定された第１不要成分から被写体視差成分を除去または低減する方法について説明する。被写体視差成分は、複数の視差画像間の差分に関する成分である。このため被写体視差成分は、エッジのような線状の成分であるか、または、ある程度広い面であっても輝度値が小さい成分であることが多い。一方、ゴーストなどの撮影画像から本来低減させたい不要成分は、ある程度広い面であって、かつ輝度値が比較的大きい成分であることが多い。このため、被写体視差成分を低減するには、エッジのような線状の成分はぼかすことにより輝度値を小さくし、輝度値の小さい部分に関してはコントラストを高める処理を行うことにより、被写体視差成分をゼロへ近づける（低減する）ことができる。また、最後に残存したノイズ成分については、ある程度の閾値処理を行うことにより低減可能である。そして、これらの処理を行った後に残存した成分が不要成分であると決定することができる。しかし、線状の成分をぼかし、または、輝度値の小さい部分のコントラストを高める処理を行うことにより、不要成分も若干減少してしまう場合がある。そこで本実施例では、最後まで残存した領域について、領域拡大処理を行う（以降、これらの処理をまとめて抽出処理という）。これにより、不要成分領域（第１不要成分領域）を自動的に決定することができる。本実施例は、第１不要成分に対して抽出処理を行うことにより、被写体視差成分を低減する。
【００３７】
次に、図８を参照して、本実施例における画像処理方法（被写体視差成分の低減処理）について説明する。図８は、画像処理方法を示すフローチャートである。図８の各ステップは、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。
【００３８】
まずステップＳ１０１において、システムコントローラ２１０は、光学系２０１および撮像素子２０２により構成される撮像部を制御して被写体を撮像する。画像処理部２０４は、撮影画像を入力画像として取得する。
【００３９】
続いてステップＳ１０２において、画像処理部２０４は、撮像素子２０２（画素群Ｇ１、Ｇ２）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号を用いて、一対の視差画像を生成する。ここで画像処理部２０４では、視差画像を生成するため、通常の現像処理や各種の画像補正処理を実施してもよい。
【００４０】
続いてステップＳ１０３において、画像処理部２０４（不要成分検出部２０４ａ）は、一対の視差画像の差分情報を求める。すなわち画像処理部２０４は、図１（Ａ−１）から図１（Ｂ−１）を差し引いた差分画像と、図１（Ｂ−１）から図１（Ａ−１）を差し引いた差分画像とを加算合成して、図１（Ｄ−１）の差分合成画像を生成する。このように単純な差分計算では、不要成分の差分値は正および負の値をとる。例えば本実施例では、図１（Ｄ−１）の差分合成画像を生成するために図１（Ａ−１）から図１（Ｂ−１）を差し引いた場合、図１（Ａ−１）に含まれる不要成分の輝度値のほうが図１（Ｂ−１）に含まれる不要成分の輝度値よりも大きい。このため、差分値は正値となる。同様に、図１（Ｂ−１）から図１（Ａ−１）を差し引いた場合、その差分値は負の値となる。ここで本実施例では、後段で説明する不要成分低減処理の簡易化のため、前記の負の値を切り捨ててゼロ値とする処理を行う。
【００４１】
続いてステップＳ１０４において、画像処理部２０４（不要成分検出部２０４ａ）は、ステップＳ１０３にて得られた差分画像（差分合成画像）中に残存した成分を第１不要成分と決定する。ここで、第１不要成分を画像化したものが第１不要成分画像である。具体的には、図１（Ａ−１）と図１（Ｂ−１）に含まれる不要成分の差分値のみが正値として検出される。不要成分検出部２０４ａは、これを第１不要成分と決定し、第１不要成分画像（図１（Ｄ−１））を生成する。ただし、ユーザが確認できるようないわゆる「画像データ」として、第１不要成分画像を生成または保存する必要はなく、処理の計算上で利用可能にしておけばよい。前述の式（１）のように、差分画像を差分の絶対値で計算すれば、１回の差分計算でよい。また、更なる処理速度向上のため、差分画像を第１不要成分と扱うことにより、ステップ１０４をスキップし、ステップＳ１０３に続いてステップＳ１０５へ進んでもよい。
【００４２】
続いてステップＳ１０５において、画像処理部２０４は、視差画像を加算合成処理することにより、１枚の「瞳分割を行わない撮像」により生成された撮影画像と等価の画像（視差合成画像）を生成する。例えば、ステップＳ１０２にて生成された図１（Ａ−１）の視差画像と、図１（Ｂ−１）の視差画像とを足し合わせる処理を実行することにより、図１（Ｃ−１）に示される加算合成処理された視差合成画像が生成される。または、ステップＳ１０５は、視差画像を生成するステップ（Ｓ１０２）を経ずに、撮像素子２０２（画素群Ｇ１、Ｇ２）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号を加算することで生成してもよい。また、ステップＳ１０５は、必ずしもこの位置で実行される必要はなく、後段のステップＳ１０７で視差合成画像が使用できるようにステップＳ１０７よりも前に実行されていれば、このステップの実行位置は特に限定されるものではない。
【００４３】
続くステップＳ１０８（Ｓ１２０〜Ｓ１２５）は、ステップＳ１０４にて決定された第１不要成分に基づいて不要成分領域（マスクとしての第１不要成分領域）を決定するステップ（抽出処理ステップ）である。ステップＳ１０８は、画像処理部２０４（抽出処理部２０４ｂ）により実行される。まずステップＳ１２０において、画像処理部２０４（抽出処理部２０４ｂ）は、第１不要成分について平滑化処理を行う。図１（Ｅ−１）は、平滑化処理を行った画像を示す。図１（Ｅ−２）は、図１４（Ｅ−１）中の破線部に沿った輝度断面を示す。これにより、被写体視差成分のエッジ部分をぼかすことができ、被写体視差成分の全体的な輝度値を小さくすることが可能となる。具体的には、平滑化処理として、移動平均処理やガウシアンフィルタ処理などを行う。
【００４４】
続いてステップＳ１２１において、画像処理部２０４（抽出処理部２０４ｂ）は、ステップＳ１２０の平滑化処理でぼかした画像に対して、コントラストを高める処理（コントラストアップ処理）を行う。図１（Ｆ−１）は、コントラストを高めた画像を示す。図１（Ｆ−２）は、図１（Ｆ−１）中の破線部に沿った輝度断面を示す。これにより、ぼけた部分の輝度値はより小さくなり、不要成分のような輝度値が比較的高い部分の輝度値はより高くなる。
【００４５】
続いてステップＳ１２２において、画像処理部２０４（抽出処理部２０４ｂ）は、閾値処理を行う。具体的には、例えば輝度値が３０以下の領域における輝度値を全てゼロにする処理を行う。本実施例では説明を簡単にするため、輝度値が３０という比較的大きな輝度値が残っている。ただし実際には、平滑化処理をより積極的に行い、閾値処理により（８ビット画像において）２〜１０程度の輝度値をゼロにすることが好ましい。これにより、本来残したい不要成分をこのステップ（ステップＳ１２２）で誤って除去することを回避することができる。その結果、被写体視差成分やノイズ成分を効果的に除去することができ、最終的に不要成分のみを残すことが可能となる。図１（Ｇ−１）は、不要成分のみが残存した画像を示す。図１（Ｇ−２）は、図１（Ｇ−１）中の破線部に沿った輝度断面を示す。
【００４６】
ステップＳ１２２の閾値処理後、まだ多くの被写体視差成分が残存している場合、ステップＳ１２０に戻り、ステップＳ１２０、Ｓ１２１を繰り返してもよい。これにより、被写体視差成分を段階的に低減させることができる。
【００４７】
続いてステップＳ１２３において、画像処理部２０４（抽出処理部２０４ｂ）は、残存する不要成分に対して２値化処理を行う。２値化処理とは、輝度値がゼロの領域については輝度値をゼロのままにし、輝度値が１以上（または、所定の閾値以上）の領域については輝度値を全て１に（または、８ビットグレースケール画像であれば２５５に）する処理である。これにより、残存する不要成分を「領域（不要成分が存在する領域）」として捉えることができる。図１（Ｈ−１）は、２値化処理後の画像を示す。図１（Ｈ−２）は、図１（Ｈ−１）中の破線部に沿った輝度断面を示す。
【００４８】
続いてステップＳ１２４において、画像処理部２０４（抽出処理部２０４ｂ）は、ステップＳ１２３にて２値化した「不要成分が存在する領域」を拡大する処理（領域拡大処理）を行う。図１（Ｉ−１）は、領域拡大処理後の画像を示す。図１（Ｉ−２）は、図１（Ｉ−１）中の破線部に沿った輝度断面を示す。ステップＳ１２０の平滑化処理、ステップＳ１２１のコントラストアップ処理、および、ステップ１２２の閾値処理を行うことにより、被写体視差成分を除去または低減することができる。ただし同時に、不要成分もある程度減少してしまう。この場合、２値化して最終的に残存する「不要成分が存在する領域」が、実際に不要成分を含む領域の全てをカバーできていない可能性がある。そこでステップＳ１２４では、実際に不要成分を含む領域の全てをカバーするように、平滑化処理などで減少した不要成分が存在する領域を拡大する。なお、ゴーストのような不要成分は、エッジがはっきりしているものもあればボケているものもあり、実際に輪郭を定義しにくい不要成分も多い。このため、不要成分の輪郭を厳密に抽出するのではなく、本実施例のように実際の不要成分よりもある程度広い不要成分領域を設定したほうが後段の不要成分低減処理を行う場合に自然な画像が得られる。従って、不要成分の周辺部が少し多めに抽出されていても構わない。
【００４９】
続いてステップＳ１２５において、画像処理部２０４（抽出処理部２０４ｂ）は、ステップＳ１２４の結果に基づいて不要成分領域（第１不要成分領域）を決定する。第１不要成分領域は、第１不要成分に含まれる視差成分を低減または除去するためのマスクとして利用される。
【００５０】
次に、ステップＳ１０６において、画像処理部２０４（抽出処理部２０４ｂ）は、ステップＳ１０４にて決定された第１不要成分と、ステップＳ１２５にて決定された第１不要成分領域（マスク）とに基づいて、第２不要成分を決定する。具体的には、抽出処理部２０４ｂは、第１不要成分に対して第１不要成分領域（マスク）を用いたマスキング処理を行い、第１不要成分からゴーストなどの不要成分が含まれる領域のみを第２不要成分として抽出する。例えば、図１（Ｉ−１）の輝度値が２５５の領域に関しては、図１（Ｄ−１）の同じ領域の輝度値を維持する。一方、図１（Ｉ−１）の輝度値がゼロの領域に関しては、図１（Ｄ−１）の同じ領域の輝度値をゼロに置き換える。これにより、図１（Ｄ−１）の第１不要成分画像から被写体視差成分を低減した図１（Ｊ−１）の画像が得られる。
【００５１】
このように、第１不要成分（第１不要成分画像）から被写体視差成分を低減または除去した成分を第２不要成分といい、第２不要成分を画像化したものを第２不要成分画像（図１（Ｊ−１））という。本実施例では、図１（Ｉ−１）に示されるようにはっきりと領域が分かれたマスクを作成しているが、図１（Ｉ−１）の輝度値がゼロと２５５の境界部分をぼかしてグラデーションマスクとしてもよい。この場合、グラデーション部分を重み係数として、図１（Ｄ−１）に対してマスキング処理を行う。
【００５２】
最後に、ステップＳ１０７において、画像処理部２０４（不要成分低減部２０４ｄ）は、ステップＳ１０６にて決定された第２不要成分とステップＳ１０５にて生成された視差合成画像とに基づいて、不要成分低減処理を行う。具体的には、不要成分低減部２０４ｄは、図１（Ｃ−１）の視差合成画像から図１（Ｊ−１）の第２不要成分（第２不要成分画像）を差し引く。これにより、図１（Ｋ−１）に示される不要成分低減画像が生成される。
【００５３】
本実施例において、平滑化処理における平滑化量（ぼかし量）、コントラストアップ処理におけるコントラスト変更量、閾値処理における閾値、および、領域拡大処理における拡大量は、それぞれ適宜変更可能である。また本実施例において、平滑化処理、コントラストアップ処理、および、閾値処理は、これらに限定されるものではなく、同様の効果を有する処理であれば他の処理を用いてもよい。なお本実施例では、説明簡略化のため、グレースケール画像の例を示しているが、カラー画像でも同様に適用可能である。この場合、各色チャンネルで独立して前述の処理を行い、最終的に各色を合成して１枚の画像にすればよい。
【００５４】
本実施例によれば、被写体視差成分を含む第１不要成分から、被写体視差成分を低減させた第２不要成分を決定することができる。また本実施例によれば、視差合成画像から第２不要成分を低減させた不要成分低減画像を生成することができる。
【実施例２】
【００５５】
次に、本発明の実施例２について説明する。本実施例は、抽出処理の方法に関して実施例１と異なる。本実施例において、撮像装置の基本構成は、図５を参照して説明した実施例１の撮像装置２００と同様であるため、その説明は省略する。また本実施例の画像処理方法は、実施例１と処理フローや算出方法が異なるだけであり、その結果は同様である。
【００５６】
本実施例は、実施例１の抽出処理の前半において、第１不要成分中のエッジ成分を抽出して低減する処理を加えている。実施例１にて説明したように、被写体視差成分は視差ずれ量であり、そのずれ量はピントが合っている被写体からの距離に応じて決定される。ピントが合っている被写体から近い場合、視差ずれ量は小さく、第１不要成分中に現れる被写体視差成分は線状になる。一方、ピントが合っている被写体から遠い場合、視差ずれ量は大きく、第１不要成分中に現れる被写体視差成分は少し幅を有する面状になる。
【００５７】
それに対して、ゴーストなどの不要成分は大きな面状であることが多いため、被写体視差成分と不要成分とは、その形状に特徴的な相違を有することが多い。このため、実施例１にて図８を参照して説明したステップＳ１２０の平滑化処理などを行う前に、線状の被写体視差成分などのエッジ成分を低減させると、後段の平滑化処理などの負荷を軽減することができるため、好ましい。そこで本実施例は、第１不要成分中のエッジ成分を抽出して低減する処理を加えている。
【００５８】
図１０乃至図１２を参照して、撮像装置２００により生成される撮影画像において、不要光が光電変換されることで現れる画像成分である不要成分を決定する方法について説明する。図１０乃至図１２は、画像処理方法の手順を示す図である。
【００５９】
本実施例において、被写体視差成分は、ボケている被写体Ｂに存在している。図１０（Ａ−１）、（Ｂ−１）の視差画像間において、被写体Ｂは左右に視差ずれしている。図１０（Ａ−２）、（Ｂ−２）は、図１０（Ａ−１）、（Ｂ−１）中の破線部に沿った一対の視差画像の輝度断面をそれぞれ示す。図１０（Ａ−２）、（Ｂ−２）のグラフ内の数値は、不要成分の輝度値Ｙである。例えば図１０（Ａ−２）において、背景輝度値は５０、視差ずれを有する被写体Ｂの輝度値は１００である。図１０（Ａ−３）、（Ｂ−３）は、図１０（Ａ−１）、（Ｂ−１）中の一点鎖線部に沿った一対の視差画像の輝度断面をそれぞれ示す。図１０（Ａ−３）、（Ｂ−３）のグラフ内の数値は、不要成分の輝度値Ｙである。例えば図１０（Ａ−３）において、被写体Ａの輝度値は１００、不要成分Ａの輝度値は１６０、不要成分Ｂの輝度値は１３０である。
【００６０】
図１０（Ｃ−１）は、図１０（Ａ−１）と図１０（Ｂ−１）を加算合成した画像（視差合成画像）を示す。図１０（Ｃ−２）、（Ｃ−３）は、図１０（Ｃ−１）中の破線部および一点鎖線部に沿った視差合成画像の輝度断面をそれぞれ示す。この視差合成画像は、「瞳分割を行わない撮像」により生成された撮影画像と等価である。本実施例では、一対の視差画像を加算合成することにより、「瞳分割を行わない撮像」により生成された撮影画像と同等の明るさになる。一対の視差画像を加算平均することにより、「瞳分割を行わない撮像」により生成された撮影画像と同等の明るさになるような撮像装置を用いても構わない。その場合に関しては、実施例５にて後述する。
【００６１】
図１０（Ｄ−１）は、一対の視差画像に関し、図１０（Ａ−１）から図１０（Ｂ−１）の画像を差し引いた状態の画像と、図１０（Ｂ−１）から図１０（Ａ−１）の画像を差し引いた状態の画像とを加算合成した画像（差分合成画像、第１不要成分画像）を示す。図１０（Ｄ−２）、（Ｄ−３）は、図１０（Ｄ−１）中の破線部および一点鎖線部のそれぞれに沿った輝度断面を示す。このように、図１０（Ｄ−１）の差分合成画像は、図１０（Ｃ−１）から被写体や背景が取り除かれた画像であり、図１０（Ｃ−１）に含まれる不要成分および被写体視差成分のみを含む。
【００６２】
このように、各視差画像について差分計算を行うことにより、不要成分のみを残存させ（換言すると、分離または抽出し）、第１不要成分（第１不要成分画像）を決定することができる。ただし、本実施例のように被写体視差成分が存在する場合、第１不要成分画像には不要成分と被写体視差成分とが混在している。このため、不要成分を高精度に決定するには、被写体視差成分を低減または除去する必要がある。そこで本実施例では、第１不要成分から被写体視差成分を低減する。
【００６３】
次に、図９を参照して、本実施例における画像処理方法（被写体視差成分の低減処理）について説明する。図９は、画像処理方法を示すフローチャートである。図９の各ステップは、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。
【００６４】
図９のステップＳ２０１〜Ｓ２０７は、図８を参照して説明した実施例１のステップＳ１０１〜Ｓ１０７とそれぞれ同様である。また、図９のステップＳ２０８（Ｓ２２０〜Ｓ２２５）は、図８を参照して説明した実施例１のステップＳ１０８（Ｓ１２０〜Ｓ１２５）とそれぞれ同様である。このため、これらのステップに関する説明は省略する。本実施例は、ステップＳ２０４とステップＳ２２０との間にステップＳ２１０〜Ｓ２１３が挿入されている（実施例１の抽出処理にステップＳ２１０〜Ｓ２１３が付加されている）点で、実施例１とは異なる。
【００６５】
ステップＳ２１０において、画像処理部２０４（抽出処理部２０４ｂ）は、視差合成画像から不要成分を低減または除去する補正処理を行い、不要成分低減画像（第１不要成分低減画像）を生成する。図１０（Ｅ−１）は、第１不要成分低減画像を示す。図１０（Ｅ−２）、（Ｅ−３）は、図１０（Ｅ−１）中の破線部および一点鎖線部のそれぞれに沿った輝度断面を示す。具体的には、抽出処理部２０４ｂは、図１０（Ｃ−１）の画像から図１０（Ｄ−１）の画像を差し引くことにより、第１不要成分を低減または除去することができる。この処理を行うと、被写体視差成分についても除去されてしまうため、視差ずれを有する丸い被写体Ｂの形が変化する（この例では、被写体Ｂは視差ずれ分だけ小さくなる）。
【００６６】
続いてステップＳ２１１において、画像処理部２０４（抽出処理部２０４ｂ）は、第１不要成分低減画像にボケを付加し、ボケ画像を生成する。図１０（Ｆ−１）は、ボケ画像を示す。図１０（Ｆ−２）、（Ｆ−３）は、図１０（Ｆ−１）中の破線部および一点鎖線部のそれぞれに沿った輝度断面を示す。具体的には、抽出処理部２０４ｂは、第１不要成分低減画像に対してぼかし効果のあるフィルタによるフィルタ処理を実行する。本実施例では、例えば、ぼかし量を調整可能なガウシアンフィルタが用いられる。被写体Ｂのボケ量が既知の場合、ぼかし量としてのフィルタ係数にガウス分布の標準偏差を被写体視差成分に対して十分大きくなるように設定してもよい。一方、状態検知部２０７から得られる光学系２０１の焦点距離や絞り値Ｆｎｏなどの撮影条件を参照することにより、ぼかし量を決定することもできる。ぼかし量とは、ガウス分布の標準偏差量などのボケの強さを制御するパラメータやフィルタサイズによるボケの範囲を制御するパラメータに応じて決定される量である。光学系２０１の焦点距離や絞り値Ｆｎｏに応じて被写体の視差ずれ量（被写体視差成分の領域サイズに対応）が異なるため、撮影条件を参照することにより適切なぼかし量を決定することができ、フィルタサイズを削減することが可能となる。
【００６７】
本実施例では、画面全体に対して同一のぼかし量を設定しているが、被写体距離情報が既知であれば、被写体ごとに距離に応じてぼかし量を変更してもよい。被写体距離に応じて被写体の視差ずれ量が異なるため、被写体ごとに距離に応じてぼかし量を変更することにより、各被写体に適切なぼかし量を決定することができ、フィルタサイズを削減することが可能となる。フィルタサイズを削減することにより、ボケ付加処理の処理負荷を低減することができる。ここで、被写体距離情報に関しては、例えば一対の視差画像に対して一般的に知られているブロックマッチング法で被写体の対応点を抽出し、視差画像間の対応点画素の画素位置差分として視差量を算出することができる。そして、算出された視差量と既知の情報である撮像系の焦点距離と瞳分割による基線長データとに基づいて、撮影被写体に対する距離情報（被写体距離情報）を算出することができる。本実施例において、このような被写体距離情報算出ステップを追加しても構わない。なお本実施例では、被写体Ｂのボケ量（視差ずれ量）は未知であるとし、ぼかし量としてのフィルタ係数にガウス分布の標準偏差を被写体視差成分に対して少なくなるように設定している。
【００６８】
続いてステップＳ２１２において、画像処理部２０４（抽出処理部２０４ｂ）は、ステップＳ２１１にて生成されたボケ画像と、ステップＳ２１０にて生成された第１不要成分低減画像との差分を求め、ボケ差分画像を生成する。図１０（Ｇ−１）は、ボケ差分画像を示す。図１０（Ｇ−２）、（Ｇ−３）は、図１０（Ｇ−１）中の破線部および一点鎖線部のそれぞれに沿った輝度断面を示す。これにより、第１不要成分低減画像のエッジ部分を抽出することができる。続いてステップＳ２１３において、画像処理部２０４（抽出処理部２０４ｂ）は、ステップＳ２０４にて決定された第１不要成分画像と、ステップＳ２１２にて生成されたボケ差分画像との差分により、エッジ低減画像を生成する。
【００６９】
ここで、図１２を参照して、第１不要成分低減画像にボケを付加してボケ画像を生成し、かつ、ボケ画像と第１不要成分低減画像との差分を求めることにより、エッジを抽出することができる理由について説明する。図１２（Ａ−１）〜（Ｈ−１）は、視差ずれを有する被写体Ｂに着目した図であり、各図中に不要成分は描かれていない。また、図１２（Ａ−２）〜（Ｈ−２）は、不要成分Ｂに着目した図であり、各図中に被写体視差成分は描かれていない。図１２は画像の輝度断面図に相当し、縦軸は輝度、横軸は座標をそれぞれ示す。
【００７０】
図１２（Ａ−１）、（Ｂ−１）、および、図１２（Ａ−２）、（Ｂ−２）は、それぞれ、一対の視差画像（第１視差画像、第２視差画像）を示す。特に、図１２（Ａ−１）、（Ｂ−１）は、被写体Ｂが視差ずれしている様子を示している。図１２（Ｃ−１）、（Ｃ−２）は、図１０（Ｃ−１）の視差合成画像を示す。図１２（Ｄ−１）は、図９のステップＳ２０４にて決定された第１不要成分画像（第１不要成分）を示す。図１２（Ｅ−１）は、ステップＳ２１０にて生成された第１不要成分低減画像を示す。図１２（Ｅ−１）は、図１２（Ｃ−１）と図１２（Ｄ−１）との差分に相当する。図１２（Ｆ−１）は、ステップＳ２１１にて生成されたボケ画像を示す。ここでは理解を容易にするため、図１０（Ｆ−１）の状態とは異なる量のボケ量を与えて描かれている。図１２（Ｇ−１）は、ステップＳ２１２にて生成されたボケ差分画像を示す。図１２（Ｇ−１）は、図１２（Ｆ−１）と図１２（Ｅ−１）との差分に相当する。なお、差分を求めた際の負値はゼロ値に置き換えられており、以下も同様である。図１２（Ｈ−１）は、ステップＳ２１３にて生成されたエッジ低減画像を示す。図１２（Ｈ−１）は、図１２（Ｄ−１）と図１２（Ｇ−１）との差分に相当する。これにより、第１不要成分画像の被写体視差成分の輝度値を小さくすることできる。図１２（Ｄ−２）〜（Ｈ−２）は、前述の図１２（Ｄ−１）〜（Ｈ−１）と同様の処理を不要成分Ｂに対して行った結果をそれぞれ示す。
【００７１】
図１０（Ｈ−１）は、このようなエッジ低減処理の結果を示す。図１０（Ｈ−２）、（Ｈ−３）は、図１０（Ｈ−１）中の破線部および一点鎖線部のそれぞれに沿った輝度断面を示す。
【００７２】
本実施例では、ボケ差分画像を用いてエッジ低減画像を生成しているが、ボケ差分画像に対して実施例１で説明したような２値化処理を行い、２値化したボケ差分画像に基づいて第１不要成分画像に対するマスキング処理を行ってもよい。本実施例によれば、抽出処理としてステップＳ２１０〜Ｓ２１３を付加することにより、第１不要成分の輝度に実質的な影響を与えることなく被写体視差成分の輝度を低下させることができる。
【００７３】
続くステップＳ２２０〜Ｓ２２５は、図８を参照して説明した実施例１のステップＳ１２０〜Ｓ１２５とそれぞれ同様であるため、それらの詳細な説明は省略する。図１０（Ｉ−１）〜（Ｌ−１）、図１１（Ａ−１）は、ステップＳ２２０〜Ｓ２２５の各処理で得られた図にそれぞれ対応する。図１０（Ｉ−２）、（Ｉ−３）は、図１０（Ｉ−１）中の破線部および一点鎖線部のそれぞれに沿った輝度断面を示す。図１０（Ｊ−２）、（Ｊ−３）は、図１０（Ｊ−１）中の破線部および一点鎖線部のそれぞれに沿った輝度断面を示す。図１０（Ｋ−２）、（Ｋ−３）は、図１０（Ｋ−１）中の破線部および一点鎖線部のそれぞれに沿った輝度断面を示す。図１０（Ｌ−２）、（Ｌ−３）は、図１０（Ｌ−１）中の破線部および一点鎖線部のそれぞれに沿った輝度断面を示す。図１１（Ａ−２）、（Ａ−３）は、図１１（Ａ−１）中の破線部および一点鎖線部のそれぞれに沿った輝度断面を示す。
【００７４】
次に、ステップＳ２０６において、第１不要成分と第１不要成分領域に基づいて、第２不要成分を決定する。具体的には第１不要成分に対して第１不要成分領域をマスキング処理し、ゴーストなどの不要成分が含まれる部分のみを第２不要成分として抽出する。図１１（Ｂ−１）は、第２不要成分（第２不要成分画像）を示す。図１１（Ｂ−２）、（Ｂ−３）は、図１１（Ｂ−１）中の破線部および一点鎖線部のそれぞれに沿った輝度断面を示す。
【００７５】
最後に、ステップＳ２０７において、画像処理部２０４（不要成分低減部２０４ｄ）は、ステップＳ２０６にて決定された第２不要成分とステップＳ２０５にて生成された視差合成画像とに基づいて、不要成分低減処理を行う。具体的には、不要成分低減部２０４ｄは、図１０（Ｃ−１）の視差合成画像から図１１（Ｂ−１）の第２不要成分（第２不要成分画像）を差し引く。これにより、不要成分低減画像（第２不要成分低減画像）が生成される。図１１（Ｃ−１）は、第２不要成分低減画像を示す。図１１（Ｃ−２）、（Ｃ−３）は、図１１（Ｃ−１）中の破線部および一点鎖線部のそれぞれに沿った輝度断面を示す。
【００７６】
本実施例によれば、被写体視差成分を含む第１不要成分から、被写体視差成分を低減させた第２不要成分を決定することができる。また本実施例によれば、視差合成画像から第２不要成分を低減させた不要成分低減画像（第２不要成分低減画像）を生成することができる。
【００７７】
本実施例において、ノイズ成分やオフセット成分を低減させるため、ステップＳ２１２のエッジ抽出結果の各座標の輝度値に対して係数を掛け、または、エッジの幅を拡張し、エッジを更に強調させてからステップＳ２１３のエッジ低減画像を生成してもよい。
【実施例３】
【００７８】
次に、本発明の実施例３について説明する。本実施例は、抽出処理の方法に関して実施例１、２と異なる。本実施例において、撮像装置の基本構成は、図５を参照して説明した実施例１の撮像装置２００と同様であるため、その説明は省略する。また本実施例の画像処理方法は、実施例１と処理フローや算出方法が異なるだけであり、その結果は同様である。
【００７９】
図１３乃至図１５を参照して、本実施例における画像処理方法（被写体視差成分の低減処理）について説明する。図１３は、画像処理方法を示すフローチャートである。図１３の各ステップは、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。図１４および図１５は、画像処理方法の手順を示す図である。
【００８０】
図１３のステップＳ３０１〜Ｓ３０７は、図９を参照して説明した実施例２のステップＳ２０１〜Ｓ２０７とそれぞれ同様である。また、図１３のステップＳ３１１〜Ｓ３２５は、図９を参照して説明した実施例２のステップＳ２１１〜Ｓ２２５とそれぞれ同様である。このため、これらのステップに関する説明は省略する。本実施例は、ステップＳ２１０に対応するステップがなく、第１不要成分（第１不要成分画像）に直接ボケを付加してボケ差分画像を生成する点で、実施例２とは異なる。本実施例では、ステップＳ２１０に対応するステップがないため、実施例２のように第１不要成分低減画像を生成しない。しかし、実施例２との比較を容易にするため、最後のステップＳ３０７にて生成される不要成分低減画像を「第２不要成分低減画像」とする。図１４（Ａ−１）〜（Ｄ−１）は、実施例２の図１０（Ａ−１）〜（Ｄ−１）にそれぞれ対応している。
【００８１】
図１５を参照して、実施例２のステップＳ２１０に対応するステップをなくし、第１不要成分（第１不要成分画像）に直接ボケを付加してボケ差分画像を生成することにより、被写体視差成分を低減できる理由について説明する。図１５（Ａ）〜（Ｄ）は、実施例２の図１２（Ａ−１）〜（Ｄ−１）にそれぞれ対応している。実施例２では、図１２（Ｅ−１）に示されるように、第１不要成分低減画像を生成するが、本実施例では、図１５（Ｄ）の第１不要成分画像にボケを付加し、図１５（Ｅ）のボケ画像を生成する。本実施例のボケ付加方法は、実施例２のようにガウシアンフィルタ処理を用いるが、他のボケ付加方法を用いてもよい。
【００８２】
本実施例は、ボケ差分画像を生成する方法が実施例２とは異なる。本実施例では、ステップＳ３０４にて決定された第１不要成分画像からステップＳ３１１にて生成されたボケ画像を差し引くことにより、ボケ差分画像を生成する。このとき、差分をとる方向は、実施例２とは逆となる。具体的には、図１５（Ｄ）の第１不要成分画像から図１５（Ｅ）のボケ画像を差し引く。その結果、図１５（Ｆ）に示されるようなボケ差分画像が得られる。また、第１不要成分画像からボケ差分画像を差し引くことにより、エッジ低減画像が得られる。具体的には、図１５（Ｄ）の第１不要成分画像から図１５（Ｆ）のボケ差分画像を差し引く。その結果、図１５（Ｇ）に示されるようなエッジ低減画像が得られる。これにより、第１不要成分画像のエッジ部分を低減することが可能となる。
【００８３】
図１４（Ｅ−１）、（Ｆ−１）、（Ｇ−１）は、図１５（Ｅ）、（Ｆ）、（Ｇ）にそれぞれ対応し、図１３のステップＳ３１１、Ｓ３１２、Ｓ３１３の処理でそれぞれ得られた画像である。図１４（Ｅ−２）、（Ｅ−３）は、図１４（Ｅ−１）中の破線部および一点鎖線部のそれぞれに沿った輝度断面である。図１４（Ｆ−２）、（Ｆ−３）は、図１４（Ｆ−１）中の破線部および一点鎖線部のそれぞれに沿った輝度断面である。図１４（Ｇ−２）、（Ｇ−３）は、図１４（Ｇ−１）中の破線部および一点鎖線部のそれぞれに沿った輝度断面である。
【００８４】
続くステップＳ３０８（Ｓ３２０〜Ｓ３２５）は、図９を参照して説明した実施例２のステップＳ２０８（Ｓ２２０〜Ｓ２２５）とそれぞれ同様であるため、それらの詳細な説明は省略する。図１４（Ｈ−１）〜（Ｍ−１）は、ステップＳ３２０〜Ｓ３２５の処理によりそれぞれ得られた画像である。図１４（Ｈ−２）、（Ｈ−３）は、図１４（Ｈ−１）中の破線部および一点鎖線部のそれぞれに沿った輝度断面である。図１４（Ｉ−２）、（Ｉ−３）、図１４（Ｊ−１）、（Ｊ−２）、図１４（Ｋ−１）、（Ｋ−２）、図１４（Ｌ−２）、（Ｌ−３）についても、同様に、図１４（Ｉ−１）〜（Ｌ−１）のそれぞれに対応する輝度断面である。
【００８５】
次に、ステップＳ３０６において、第１不要成分と第１不要成分領域に基づいて、第２不要成分を決定する。具体的には第１不要成分に対して第１不要成分領域をマスキング処理し、ゴーストなどの不要成分が含まれる部分のみを第２不要成分として抽出する。
【００８６】
最後に、ステップＳ３０７において、画像処理部２０４（不要成分低減部２０４ｄ）は、ステップＳ３０６にて決定された第２不要成分とステップＳ３０５にて生成された視差合成画像とに基づいて、不要成分低減処理を行う。具体的には、不要成分低減部２０４ｄは、図１４（Ｃ−１）の視差合成画像から図１４（Ｍ−１）の第２不要成分（第２不要成分画像）を差し引く。これにより、図１４（Ｎ−１）に示されるような不要成分低減画像（第２不要成分低減画像）が生成される。
【００８７】
本実施例によれば、被写体視差成分を含む第１不要成分から、被写体視差成分を低減させた第２不要成分を決定することができる。また本実施例によれば、視差合成画像から第２不要成分を低減させた不要成分低減画像（第２不要成分低減画像）を生成することができる。
【実施例４】
【００８８】
次に、本発明の実施例４について説明する。本実施例は、抽出処理の結果を表示部２０５（表示手段）に表示させる点で、実施例１〜３と異なる。本実施例において、撮像装置の基本構成は、図５を参照して説明した実施例１の撮像装置２００と同様であるため、その説明は省略する。また、本実施例の画像処理方法のうち抽出処理としては、実施例１〜３と同様の抽出処理が適用可能である。
【００８９】
図１６および図１７を参照して、本実施例における画像処理方法（被写体視差成分の低減処理および不要成分抽出結果の表示処理）について説明する。図１６は、画像処理方法を示すフローチャートである。図１６の各ステップは、システムコントローラ２１０、画像処理部２０４、または、表示部２０５により、コンピュータプログラムとしての画像処理プログラムに従って実行される。図１７は、画像処理方法による出力画像の一例である。
【００９０】
図１６のステップＳ４０１〜Ｓ４０５は、実施例１のステップＳ１０１〜Ｓ１０５とそれぞれ同様である。また、抽出処理のステップＳ４０８として、実施例１のステップＳ１０８（Ｓ１２０〜Ｓ１２５）を適用可能である。これに代えて、実施例２のステップＳ２０８（Ｓ２１０〜Ｓ２２５）、または、実施例３のステップＳ３０８（Ｓ３１１〜Ｓ３２５）を適用してもよい。本実施例は、第１不要成分領域を決定した後にステップＳ４５０において第２不要成分領域を決定する点、および、ステップＳ４５１において表示部２０５は視差合成画像と共に第２不要成分領域を表示する点で、実施例１〜３と異なる。
【００９１】
ステップＳ４５０において、画像処理部２０４（抽出処理部２０４ｂ）は、ステップＳ４０８にて決定された第１不要成分領域に基づいて、第２不要成分領域（表示部２０５に表示される不要成分領域）を決定する。第２不要成分領域を決定する一番単純な方法は、第１不要成分領域をそのまま第２不要成分領域とすることである。具体的には、例えば実施例１〜３のそれぞれの図１（Ｉ−１）、図１１（Ａ−１）、図１４（Ｌ−１）の輝度値が２５５である領域を、第２不要成分領域とする。これにより、容易に第２不要成分領域を決定することができる。または、第１不要成分領域を拡張または縮小するなどにより、後段のステップで表示部２０５に表示した際にユーザが判別しやすいように第１不要成分領域を加工した結果を、第２不要成分領域として決定してもよい。
【００９２】
続いてステップＳ４５１において、システムコントローラ２１０および画像処理部２０４は、ステップＳ４５０にて決定された第２不要成分領域を、ステップＳ４０５にて生成された視差合成画像と共に表示部２０５に表示する。具体的には、図１７（Ａ）に示されるように、視差合成画像の上に第２不要成分領域を合成して表示部２０５に表示する。第２不要成分領域の表示方法は、ユーザにわかりやすいように、例えば領域内を着色、点滅させる、または、背景の視差合成画像を透かして表示させるなどにより行うことができる。例えば図１７（Ｂ）に示されるように、撮影直後に、撮像装置２００の背面ディスプレイ２０（表示手段）に表示させてユーザが確認できるようにしてもよい。
【００９３】
本実施例によれば、視差合成画像と共に不要成分領域（第２不要成分領域）を表示手段に表示することにより、ユーザにゴーストなどの不要成分が発生していることを認識させることが可能である。なお本実施例は、第２不要成分領域を表示させるように構成されていれば十分であり、第１不要成分から被写体視差成分を低減させた第２不要成分を決定することを必須とするものではない。
【実施例５】
【００９４】
次に、本発明の実施例５（複数の瞳分割）について説明する。本実施例は、視差の数が前述の実施例１〜４とは異なる。また、本実施例の画像処理方法は、視差画像を生成して第１不要成分を決定するステップまでの処理ステップは前述の各実施例とは異なるが、その後の処理ステップは各実施例と同様であるため、その説明は省略する。また本実施例において、撮像装置の基本構成は、図５を参照して説明した実施例１の撮像装置２００と同様であるため、その説明は省略する。
【００９５】
図１８は、本実施例における撮像素子（受光部）を示す図である。図１８において、ＭＬはマイクロレンズ、Ｇ１、Ｇ２、Ｇ３、Ｇ４は受光部（画素）であり、各画素は互いに組をなしている。撮像素子には、画素組Ｇ１、Ｇ２、Ｇ３、Ｇ４が複数配列されている。画素組は、共通の（すなわち、画素組ごとに１つずつ設けられた）マイクロレンズＭＬを介して射出瞳ＥＸＰと共役な関係を有する。本実施例では、「瞳分割を行わない撮像」により生成された撮影画像と等価な画像を出力する際には、４つの画素組Ｇ１、Ｇ２、Ｇ３、Ｇ４から得られた信号を加算平均処理することにより、１つの信号値を生成する。なお本実施例において、光学系の具体的な構成例は、図６を参照して説明した実施例１の光学系２０１と同様であるため、その説明は省略する。
【００９６】
図１９は、絞りＳＴＰのうち、図１８に示される画素Ｇ１、Ｇ２、Ｇ３、Ｇ４に入射する光束が通過する領域Ｐ１、Ｐ２、Ｐ３、Ｐ４（瞳領域または瞳分割領域）を示している。なお、絞りＳＴＰは、光学系２０１の射出瞳ＥＸＰ（光学系２０１の像面位置から見た虚像）に相当するものとして考えることができるが、実際には絞りＳＴＰと射出瞳ＥＸＰは互いに異なる。高輝度物体（太陽ＳＵＮ）からの光束は、絞りＳＴＰを通過して各画素に入射する場合、領域Ｐ１、Ｐ２、Ｐ３、Ｐ４（瞳領域）に分割される。
【００９７】
続いて、図２０および図２１を参照して、撮像装置２００により生成される撮影画像において、不要光が光電変換されることで現れる画像成分である不要成分を決定する方法について説明する。図２０および図２１は、本実施例における画像処理方法の手順を示す図である。
【００９８】
図２０（Ａ−１）、（Ｂ−１）、（Ｃ−１）、（Ｄ−１）は、それぞれ、領域Ｐ１、Ｐ２、Ｐ３、Ｐ４を通過した光束を画素群Ｇ１、Ｇ２、Ｇ３、Ｇ４にて光電変換した結果として得られた一組の視差画像を示す。また、一組の視差画像には、三角の被写体Ａ、丸の被写体Ｂ、四角として模式的に示される不要成分Ａおよび不要成分Ｂが含まれている。これらの視差画像において、被写体Ａにピントが合っており、被写体Ｂは被写体Ａの奥にあるため、所定の視差量だけずれて写っている。視差画像間での各不要成分は、図２０（Ａ−１）、（Ｂ−１）、（Ｃ−１）、（Ｄ−１）において、互いに同じ位置に存在し、それらの輝度は互いに異なっている。
【００９９】
図２０（Ｅ−１）は、図２０（Ａ−１）、（Ｂ−１）、（Ｃ−１）、（Ｄ−１）に示される視差画像に対して加算平均処理を行って合成した画像である。具体的には、図２０（Ａ−１）、（Ｂ−１）、（Ｃ−１）、（Ｄ−１）の各座標の輝度値を足して４で割ることにより、図２０（Ｅ−１）の各座標の輝度値を算出する。図２０（Ｅ−１）の画像は、本実施例の撮像装置において、「瞳分割を行わない撮像」により生成された撮影画像と等価である。また、図２０（Ｅ−１）の画像は、ユーザが撮影画像を確認するために表示部２０５に表示する表示画像である。
【０１００】
図２１（Ａ−１）、（Ｂ−１）、（Ｃ−１）は、一組の視差画像に対して、図２０（Ａ−１）を基準画像として図２０（Ｂ−１）、（Ｃ−１）、（Ｄ−１）の画像を差し引いた差分画像である。これらの差分画像には、実施例１と同様に、差分情報として不要成分が含まれている。また、実施例１と同様に、差分計算により、図２１（Ａ−１）、（Ｂ−１）、（Ｃ−１）に含まれる不要成分が負値として算出される部分があるが、ここでも後段の不要成分低減処理の簡易化のため、負値を切り捨てて０に置き換えている。これは、他の全ての差分画像についても同様である。図２１（Ｄ−１）は、２次元データとして取得されている差分情報である図２１（Ａ−１）、（Ｂ−１）、（Ｃ−１）の差分画像内の各画素位置における差分情報間の最大値を抽出した情報（差分最大値情報または差分最大値画像）である。
【０１０１】
図２１（Ａ−２）、（Ｂ−２）、（Ｃ−２）は、一組の視差画像に対して、図２０（Ｂ−１）を基準画像として図２０（Ａ−１）、（Ｃ−１）、（Ｄ−１）の画像を差し引いた差分画像である。図２１（Ｄ−２）は、２次元データとして取得されている差分情報である図２１（Ａ−２）、（Ｂ−２）、（Ｃ−２）の差分画像内の各画素位置における差分情報間の差分最大値情報である。
【０１０２】
図２１（Ａ−３）、（Ｂ−３）、（Ｃ−３）は、一組の視差画像に対して、図２０（Ｃ−１）を基準画像として図２０（Ａ−１）、（Ｂ−１）、（Ｄ−１）の画像を差し引いた差分画像である。図２１（Ｄ−３）は、２次元データとして取得されている差分情報である図２１（Ａ−３）、（Ｂ−３）、（Ｃ−３）の差分画像内の各画素位置における差分情報間の差分最大値情報である。
【０１０３】
図２１（Ａ−４）、（Ｂ−４）、（Ｃ−４）は、一組の視差画像に対して、図２０（Ｄ−１）を基準画像として図２０（Ａ−１）、（Ｂ−１）、（Ｃ−１）の画像を差し引いた差分画像である。図２１（Ｄ−４）は、２次元データとして取得されている差分情報である図２１（Ａ−４）、（Ｂ−４）、（Ｃ−４）の差分画像内の各画素位置における差分情報間の差分最大値情報である。これらの差分最大値情報は、各視差画像から不要成分を抽出した結果である。
【０１０４】
ここで、実施例１〜４にて説明したように、第１不要成分（第１不要成分を画像化したものが第１不要成分画像）を決定する場合について考える。このとき、前述のように、差分最大値情報として視差画像ごとに不要成分が抽出されているため、一つの手法として各差分最大値情報が各々第１不要成分画像に対応すると考えられる。しかしながら、画像として以降の処理を視差画像枚数分だけ実行する必要があり、処理工程の複雑さを招く。そこで本実施例では、各差分最大値情報を１つに合成することにより、以降の処理を簡略化する。具体的には、図２１（Ｄ−１）、（Ｄ−２）、（Ｄ−３）、（Ｄ−４）に対して加算平均処理を行い、これらの画像を合成する。図２１（Ｆ−１）はその合成結果である。
【０１０５】
また本実施例において、差分画像内の各画素位置における差分情報間の差分最小値情報を抽出してもよい。図２１（Ｅ−１）は、２次元データとして取得されている差分情報である図２１（Ａ−１）、（Ｂ−１）、（Ｃ−１）の差分画像内の各画素位置における差分情報間の最小値を抽出した情報（差分最小値情報または差分最小値画像）である。図２１（Ｅ−２）は、２次元データとして取得されている差分情報である図２１（Ａ−２）、（Ｂ−２）、（Ｃ−２）の差分画像内の各画素位置における差分情報間の差分最小値情報である。図２１（Ｅ−３）は、２次元データとして取得されている差分情報である図２１（Ａ−３）、（Ｂ−３）、（Ｃ−３）の差分画像内の各画素位置における差分情報間の差分最小値情報である。図２１（Ｅ−４）は、２次元データとして取得されている差分情報である図２１（Ａ−４）、（Ｂ−４）、（Ｃ−４）の差分画像内の各画素位置における差分情報間の差分最小値情報である。図２１（Ｇ−１）は、以降の処理を簡略化するために、図２１（Ｅ−１）、（Ｅ−２）、（Ｅ−３）、（Ｅ−４）に対して加算平均処理を行い、各差分最小値情報を１つに合成した結果である。
【０１０６】
これらの差分最小値情報は、各視差画像から不要成分を抽出した結果である。差分最小値情報に基づいて低減処理を行うと、差分最大値情報を用いる場合と比べて、不要成分の低減量は減少するが、被写体視差成分の影響も少なくなる。このため、実施例１〜４の各処理フローを適用することにより、簡単に被写体視差成分を低減することができる。以降の処理フローは、実施例１〜４の各フローを適用可能であるため、ここでの説明は省略する。このように、視差数が増えた場合でも、「視差合成画像」および「第１不要成分画像」を算出することができる。以降の処理フローや基本的な取り扱い方は実施例１〜４と同様であるため、それらの詳細は省略する。
【０１０７】
本実施例によれば、１回の撮像で得られた複数の視差画像に基づく差分画像から不要光（ゴーストやフレア）により形成された不要成分を決定することができる。すなわち、複数回の撮像を行うことなく撮影画像に含まれる不要成分を決定することが可能である。また本実施例によれば、視差合成画像から不要成分を低減させた不要成分低減画像を得ることができる。なお本実施例では、説明簡略化のため、グレースケール画像の例を示しているが、カラー画像でも同様に適用可能である。この場合、各色チャンネルで独立して前述の処理を行い、最終的に各色を合成して１枚の画像にすればよい。
【実施例６】
【０１０８】
次に、本発明の実施例６について説明する。Ｒｅｎ．Ｎｇ等の「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ａ  Ｈａｎｄ−ｈｅｌｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」（Ｓｔａｎｆｏｒｄ  Ｔｅｃｈ  Ｒｅｐｏｒｔ  ＣＴＳＲ  ２００５−２）において、「Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」が提案されている。「Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」において「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ」という手法を用いることで、物体側からの光線の位置と角度の情報を取り込むことができる。
【０１０９】
図２２は、本実施例における撮像装置の撮像系を示す図であり、「Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」の撮像系の構成を示している。光学系３０１は、主レンズ（撮影レンズ）３０１ｂと開口絞り３０１ａとを備えて構成される。光学系３０１の結像位置には、マイクロレンズアレイ３０１ｃが配置されており、さらにその後方（像側）に撮像素子３０２が配置されている。マイクロレンズアレイ３０１ｃは、例えば点Ａのような被写体空間のある一点を通る光線群と、点Ａの近傍の点を通る光線とが撮像素子３０２上で混ざらないようにセパレータ（分離手段）としての機能を有する。図２２から分かるように、点Ａからの上線、主光線および下線は、それぞれ異なる画素によって受光される。このため、点Ａを通る光線群を光線の角度ごとに分離して取得することができる。
【０１１０】
また、Ｔｏｄｏｒ  Ｇｅｏｒｇｉｖｅ等による「Ｆｕｌｌ  Ｒｅｓｏｌｕｔｉｏｎ  Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｒｅｎｄｅｒｉｎｇ」（Ａｄｏｂｅ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  Ｊａｎｕａｒｙ  ２００８）が知られている。この文献では、光線の位置と角度の情報（Ｌｉｇｈｔ  Ｆｉｅｌｄ）を取得する方法として、図２３および図２４に示される撮像系を提案している。
【０１１１】
図２３に示される撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも後方（像側）に配置し、点Ａを通る光線群を撮像素子３０２上に再結像させることで、光線群を光線の角度ごとに分離して取得することができる。また、図２４に示される撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも前方（物体側）に配置し、点Ａを通る光線群を撮像素子３０２上に結像させることで、光線群を光線の角度ごとに分離して取得することができる。いずれの構成も、光学系３０１の瞳を通過する光束を瞳内での通過領域（通過位置）に応じて分割する点は同じである。そして、これらの構成では、撮像素子３０２は、図２５に示されるように、１つのマイクロレンズＭＬ（マイクロレンズアレイ３０１ｃとは異なる）と１つの受光部Ｇ１とがカラーフィルタＣＦを介して対になっている従来の撮像素子を用いることができる。
【０１１２】
図２２に示される光学系３０１を用いると、図２６（ａ）に示されるような画像が得られる。図２６（ｂ）は、図２６（ａ）中に多数並んだ円のうち１つを拡大して示している。１つの円は絞りＳＴＰに相当し、その内側は複数の画素Ｐｊ（ｊ＝１、２、３、…）により分割されている。これにより、１つの円内で瞳の強度分布が得られる。また、図２３および図２４に示される光学系３０１を用いると、図２７に示されるような視差画像が得られる。図２６（ａ）に示される画像において、各円（絞りＳＴＰ）内の複数の画素Ｐｊを並べて再構成することによっても、図２７に示すような複数の視差画像が得られる。
【０１１３】
実施例１〜５で説明したように、ゴーストなどの不要光は、瞳内で偏りを持って瞳を通過する。このため、本実施例のように瞳を分割して撮像する撮像装置において実施例１〜５にて説明した画像処理方法を使用することにより、不要成分を決定することができる。
【０１１４】
また、別の例として、図２８に示されるような複数のカメラを用いて同一被写体を撮像する場合でも、視差画像が得られる。このため、このような複数のカメラにおいても、実施例１〜５にて説明した画像処理方法を用いることができる。Ｃ１、Ｃ２、Ｃ３は、実際には別々の撮像装置であるが、大きな瞳を３つに分割して撮像する一体の撮像装置と見なすことができる。また、図２９に示されるように、１つの撮像装置に複数の光学系ＯＳｊ（ｊ＝１、２、３、…）を設けることで瞳分割を行うことも可能である。本実施例の撮像装置においても、第１不要成分から被写体視差成分を除去または低減させた第２不要成分を決定することができる。また、視差合成画像から第２不要成分を低減させた不要成分低減画像を得ることができる。
【０１１５】
上記各実施例では、画像処理方法を実行する撮像装置について説明したが、各実施例で説明した画像処理方法は、コンピュータ機器（画像処理装置）にインストールされる画像処理プログラムによっても実行可能である。この場合については、撮像システムとして後述の実施例７にて説明する。
【実施例７】
【０１１６】
次に、図３０を参照して、本発明の実施例７における撮像システムについて説明する。図３０は、本実施例における撮像システム７００の構成図である。図３０に示されるように、撮像システム７００は、撮像装置７０１、画像処理装置７０２、および、表示装置７０３を備えて構成される。
【０１１７】
撮像装置７０１は、前述の各実施例の撮像装置２００に相当する。画像処理装置７０２は、各実施例の画像処理方法を実行するコンピュータ機器である。画像処理装置７０２は、不図示の通信部を有する。通信部は、撮像装置７０１から撮影画像（視差画像）を受信する。通信部を介した画像処理装置７０２と撮像装置７０１との接続は、有線または無線のいずれの接続方法を用いてもよい。
【０１１８】
画像処理装置７０２により視差画像に基づいて算出された表示画像、または、視差画像にマスク画像の一部を付加した表示画像は、画像処理装置７０２に設けられた記憶部（不図示）に保存されるか、または、表示装置７０３に表示される。表示装置７０３は、例えば液晶ディスプレイやプロジェクタなどである。ユーザは、表示装置７０３を介して、画像処理途中の画像を確認しながら作業を行うことができる。ユーザは、この作業中に、第１不要成分領域や第２不要成分領域を指定してもよい。これによりユーザは、撮影画像中に不要成分が含まれるか否かに関する情報を、表示装置７０３を介して確認することができる。
【０１１９】
このように各実施例において、画像処理装置（画像処理部２０４）は、第１決定手段（不要成分検出部２０４ａ）および第２決定手段（抽出処理部２０４ｂ）を有する。第１決定手段は、複数の視差画像の差分情報（例えば、差分画像または差分合成画像）に基づいて第１不要成分を決定する。第２決定手段は、第１不要成分から視差成分（被写体視差成分）を低減して第２不要成分を決定する。
【０１２０】
好ましくは、第２決定手段は、第１不要成分と、第１不要成分に基づいて作成されたマスク（第１不要成分領域）とに基づいて、第２不要成分を決定する。より好ましくは、第２決定手段は、第１不要成分の輝度値を変更してマスクを作成し、第１不要成分に対してマスクを用いたマスキング処理を行うことにより、第２不要成分を決定する。より好ましくは、第２決定手段は、第１不要成分に対して平滑化処理、コントラスト変更処理（コントラストアップ処理）、および、閾値処理の少なくとも一つを行うことにより、輝度値を変更する（Ｓ１２０、Ｓ１２１、Ｓ１２２）。より好ましくは、第２決定手段は、平滑化処理、コントラスト変更処理、および、閾値処理の少なくとも一つを行った後の第１不要成分に対して２値化処理を行う（Ｓ１２３）。より好ましくは、第２決定手段は、２値化処理後の第１不要成分に対して拡大処理を行う（Ｓ１２４）。より好ましくは、第２決定手段は、拡大処理後の第１不要成分に基づいてマスクを作成する（Ｓ１２５）。
【０１２１】
好ましくは、第２決定手段は、視差画像と第１不要成分とに基づいて不要成分低減画像（第１不要成分低減画像）を生成する（Ｓ２１０）。また第２決定手段は、不要成分低減画像にボケを付加したボケ画像と不要成分低減画像との差分に基づいてエッジ成分を決定する（Ｓ２１１、Ｓ２１２）。そして第２決定手段は、第１不要成分からエッジ成分を低減する（Ｓ２１３）。
【０１２２】
好ましくは、第２決定手段は、第１不要成分に基づいて第１不要成分画像を生成する（Ｓ３０４）。また第２決定手段は、第１不要成分画像にボケを付加したボケ画像と第１不要成分画像との差分に基づいてエッジ成分を決定する（Ｓ３１１、Ｓ３１２）。そして第２決定手段は、第１不要成分からエッジ成分を低減する（Ｓ３１３）。
【０１２３】
好ましくは、画像処理装置は、複数の視差画像に基づく画像から第２不要成分を低減する低減手段（不要成分低減部２０４ｃ）を有する。より好ましくは、複数の視差画像に基づく画像は、複数の視差画像を合成した視差合成画像である。
【０１２４】
好ましくは、撮像装置は、第２不要成分を決定するために第１不要成分に基づいて作成されたマスクに関する情報を表示する表示手段（表示部２０５、背面ディスプレイ２０）を有する。
【０１２５】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１２６】
各実施例によれば、複数の撮像を行うことなく撮影画像の第１不要成分を決定し、第１不要成分から被写体視差成分を低減させた第２不要成分を決定可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【０１２７】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１２８】
２０４    画像処理部（画像処理装置）
２０４ａ  不要成分検出部（第１決定手段）
２０４ｂ  抽出処理部（第２決定手段）
【図１】
0006497977.tif 000002
【図２】
0006497977.tif 000003
【図３】
0006497977.tif 000004
【図４】
0006497977.tif 000005
【図５】
0006497977.tif 000006
【図６】
0006497977.tif 000007
【図７】
0006497977.tif 000008
【図８】
0006497977.tif 000009
【図９】
0006497977.tif 000010
【図１０】
0006497977.tif 000011
【図１１】
0006497977.tif 000012
【図１２】
0006497977.tif 000013
【図１３】
0006497977.tif 000014
【図１４】
0006497977.tif 000015
【図１５】
0006497977.tif 000016
【図１６】
0006497977.tif 000017
【図１７】
0006497977.tif 000018
【図１８】
0006497977.tif 000019
【図１９】
0006497977.tif 000020
【図２０】
0006497977.tif 000021
【図２１】
0006497977.tif 000022
【図２２】
0006497977.tif 000023
【図２３】
0006497977.tif 000024
【図２４】
0006497977.tif 000025
【図２５】
0006497977.tif 000026
【図２６】
0006497977.tif 000027
【図２７】
0006497977.tif 000028
【図２８】
0006497977.tif 000029
【図２９】
0006497977.tif 000030
【図３０】
0006497977.tif 000031