(57)【特許請求の範囲】
【請求項１】
複数の視差画像を取得する取得手段と、
前記複数の視差画像における位置関係および大きさが同一である領域を決定する決定手段と、
前記領域を比較することで、画像類似度値を算出する算出手段と、
前記画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出手段と、を有し、
前記決定手段は、前記複数の視差画像における位置関係および大きさが同一である第１の領域と、前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域の少なくとも一部を含む第２の領域を決定し、
前記算出手段は、前記第１の領域を比較することで第１の画像類似度値を算出し、前記第２の領域を比較することで第２の画像類似度値を算出し、前記第１および第２の画像類似度値に基づいて前記画像類似度値を算出することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記第１の領域をシフトさせることで、前記第２の領域を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記複数の視差画像間の視差量に基づいて、前記第１の領域のシフト量を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記視差画像を等間隔に分割することで、前記領域を決定していることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
複数の視差画像を生成する撮像系と、
前記撮像系から前記複数の視差画像を取得する取得手段と、
前記複数の視差画像における位置関係および大きさが同一である領域を決定する決定手段と、
前記領域を比較することで、画像類似度値を算出する算出手段と、
前記画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出手段と、を有し、
前記決定手段は、前記複数の視差画像における位置関係および大きさが同一である第１の領域と、前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域の少なくとも一部を含む第２の領域を決定し、
前記算出手段は、前記第１の領域を比較することで第１の画像類似度値を算出し、前記第２の領域を比較することで第２の画像類似度値を算出し、前記第１および第２の画像類似度値に基づいて前記画像類似度値を算出することを特徴とする撮像装置。
【請求項６】
複数の視差画像を生成する撮像系を備えた撮像装置と、
前記撮像装置から前記複数の視差画像を取得する取得手段と、
前記複数の視差画像における位置関係および大きさが同一である領域を決定する決定手段と、
前記領域を比較することで、画像類似度値を算出する算出手段と、
前記画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出手段と、を有し、
前記決定手段は、前記複数の視差画像における位置関係および大きさが同一である第１の領域と、前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域の少なくとも一部を含む第２の領域を決定し、
前記算出手段は、前記第１の領域を比較することで第１の画像類似度値を算出し、前記第２の領域を比較することで第２の画像類似度値を算出し、前記第１および第２の画像類似度値に基づいて前記画像類似度値を算出することを特徴とする画像処理システム。
【請求項７】
複数の視差画像を取得する取得ステップと、
前記複数の視差画像における位置関係および大きさが同一である第１の領域を決定する第１の決定ステップと、
前記第１の領域を比較することで、第１の画像類似度値を算出する第１の算出ステップと、
前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域とは異なる第２の領域を決定する第２の決定ステップと、
前記第２の領域を比較することで、第２の画像類似度値を算出する第２の算出ステップと、
前記第１および第２の画像類似度値に基づいて、第３の画像類似度値を算出するステップと、
前記第３の画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出ステップと、を有することを特徴とする画像処理方法。
【請求項８】
前記検出ステップの後、前記不要成分領域内における位置関係および大きさが同一である第３の領域を決定する第３の決定ステップと、
前記第３の領域を比較することで算出された画像類似度値に基づいて、前記不要成分領域に含まれ、前記不要成分領域よりも小さい不要成分領域を検出する検出ステップと、を更に有することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
複数の視差画像を取得する取得ステップと、
前記複数の視差画像における位置関係および大きさが同一である第１の領域を決定する第１の決定ステップと、
前記第１の領域を比較することで、第１の画像類似度値を算出する第１の算出ステップと、
前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域とは異なる第２の領域を決定する第２の決定ステップと、
前記第２の領域を比較することで、第２の画像類似度値を算出する第２の算出ステップと、
前記第１および第２の画像類似度値に基づいて、第３の画像類似度値を算出するステップと、
前記第３の画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出ステップと、をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理システム、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
カメラ等の撮像装置により撮影を行うと、撮像光学系に入射した光の一部がレンズの界面やレンズを保持する部材により反射して、撮像面に不要光として到達する場合がある。撮像面に到達した不要光は、密度の高いスポット像を形成したり被写体像の広範囲に被ったりしてゴーストやフレアとなる。ゴーストやフレアは、不要成分として撮影画像中に現れる。
【０００３】
また、望遠レンズにおいて、軸上色収差や倍率色収差の補正のために最も物体側のレンズに回折光学素子を用いると、撮像画角外に存在する太陽等の高輝度物体からの光が回折光学素子に当たることで、画像全体にぼんやりとした不要光が現れる場合がある。この場合の不要光も不要成分として撮影画像中に現れる。
【０００４】
従来、不要光を光学的に低減する方法や、不要成分をデジタル画像処理によって除去する方法が提案されている。特許文献１に開示されているゴースト検出装置は、被写体に対して撮像光学系が合焦状態にあるときの画像（合焦画像）と撮像光学系が非合焦状態にあるときの画像（デフォーカス画像）との差分を示す差分画像からゴースト像を検出する。また、特許文献２に開示されているゴースト像処理装置は、単眼立体撮像による複数の視点画像を比較することでゴーストを検出する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−５４２０６号公報
【特許文献２】特許５２８４３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のゴースト検出装置は、合焦状態と非合焦状態のそれぞれでの撮影、すなわち複数回の撮影を必要とするため、動きのある被写体の静止画撮影や動画撮影には適さない。また、特許文献２のゴースト像処理装置では、ゴースト像を検出するために主画像と副画像の２画像間での差分をとるのみであり、３視点以上の視点画像がある場合にはゴースト検出効果が低減してしまう。また、特許文献２のゴースト像処理装置では、不要成分を決定するために事前に視差成分を補正しなければならないため、処理負荷が多くなってしまう。
【０００７】
このような課題を鑑みて、本発明は、複数回の撮像を行うことなく撮影画像に含まれる不要成分領域をより効果的に検出可能な画像処理装置、撮像装置、画像処理システム、画像処理方法、および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一側面としての画像処理装置は、複数の視差画像を取得する取得手段と、前記複数の視差画像における位置関係および大きさが同一である領域を決定する決定手段と、前記領域を比較することで、画像類似度値を算出する算出手段と、前記画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出手段と、を有し、
前記決定手段は、前記複数の視差画像における位置関係および大きさが同一である第１の領域と、前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域の少なくとも一部を含む第２の領域を決定し、
前記算出手段は、前記第１の領域を比較することで第１の画像類似度値を算出し、前記第２の領域を比較することで第２の画像類似度値を算出し、前記第１および第２の画像類似度値に基づいて前記画像類似度値を算出することを特徴とする。
【０００９】
また、本発明の他の側面としての撮像装置は、複数の視差画像を生成する撮像系と、前記撮像系から前記複数の視差画像を取得する取得手段と、前記複数の視差画像における位置関係および大きさが同一である領域を決定する決定手段と、前記領域を比較することで、画像類似度値を算出する算出手段と、前記画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出手段と、を有し、前記決定手段は、前記複数の視差画像における位置関係および大きさが同一である第１の領域と、前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域の少なくとも一部を含む第２の領域を決定し、前記算出手段は、前記第１の領域を比較することで第１の画像類似度値を算出し、前記第２の領域を比較することで第２の画像類似度値を算出し、前記第１および第２の画像類似度値に基づいて前記画像類似度値を算出することを特徴とする。
【００１０】
また、本発明の他の側面としての画像処理システムは、複数の視差画像を生成する撮像系を備えた撮像装置と、前記撮像装置から前記複数の視差画像を取得する取得手段と、前記複数の視差画像における位置関係および大きさが同一である領域を決定する決定手段と、前記領域を比較することで、画像類似度値を算出する算出手段と、前記画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出手段と、を有し、前記決定手段は、前記複数の視差画像における位置関係および大きさが同一である第１の領域と、前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域の少なくとも一部を含む第２の領域を決定し、前記算出手段は、前記第１の領域を比較することで第１の画像類似度値を算出し、前記第２の領域を比較することで第２の画像類似度値を算出し、前記第１および第２の画像類似度値に基づいて前記画像類似度値を算出することを特徴とする。
【００１２】
また、本発明の他の側面としての画像処理方法は、複数の視差画像を取得する取得ステップと、前記複数の視差画像における位置関係および大きさが同一である第１の領域を決定する第１の決定ステップと、前記第１の領域を比較することで、第１の画像類似度値を算出する第１の算出ステップと、前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域とは異なる第２の領域を決定する第２の決定ステップと、前記第２の領域を比較することで、第２の画像類似度値を算出する第２の算出ステップと、前記第１および第２の画像類似度値に基づいて、第３の画像類似度値を算出するステップと、前記第３の画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出ステップと、を有することを特徴とする。
【００１４】
また、本発明の他の側面としての画像処理プログラムは、複数の視差画像を取得する取得ステップと、前記複数の視差画像における位置関係および大きさが同一である第１の領域を決定する第１の決定ステップと、前記第１の領域を比較することで、第１の画像類似度値を算出する第１の算出ステップと、前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域とは異なる第２の領域を決定する第２の決定ステップと、前記第２の領域を比較することで、第２の画像類似度値を算出する第２の算出ステップと、前記第１および第２の画像類似度値に基づいて、第３の画像類似度値を算出するステップと、前記第３の画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、複数回の撮像を行うことなく撮影画像に含まれる不要成分領域をより効果的に検出可能な画像処理装置、撮像装置、画像処理システム、画像処理方法、および画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１６】
【図１】実施例１の画像処理方法の手順を示す図である。
【図２】実施例１の画像処理方法の出力画像の一例を示す図である。
【図３】撮像系における撮像素子の受光部と撮像光学系の瞳との関係図である。
【図４】撮像系の模式図である。
【図５】本発明の実施形態に係る撮像装置のブロック図である。
【図６】撮像光学系と不要光の説明図である。
【図７】撮像光学系の絞りを透過する不要光の説明図である。
【図８】実施例１の画像処理方法のフローチャートである。
【図９】実施例１の画像処理方法の手順を示す図である。
【図１０】実施例２の画像処理方法の手順を示す図である。
【図１１】実施例２の画像処理方法の出力画像の一例を示す図である。
【図１２】実施例２の画像処理方法のフローチャートである。
【図１３】撮像系における撮像素子の受光部と撮像光学系の瞳との関係図である。
【図１４】撮像系の模式図である。
【図１５】撮像光学系の絞りを透過する不要光の説明図である。
【図１６】実施例３の画像処理方法の手順を示す図である。
【図１７】実施例３の画像処理方法の手順を示す図である。
【図１８】実施例３の画像処理方法の手順を示す図である。
【図１９】実施例３の画像処理方法の手順を示す図である。
【図２０】実施例３の画像処理方法の手順を示す図である。
【図２１】実施例３画像処理方法の出力画像の一例を示す図である。
【図２２】実施例４の撮像装置の撮像系を示す図である。
【図２３】実施例４の別の撮像装置の撮像系を示す図である。
【図２４】図２２の撮像系により得られた画像を示す図である。
【図２５】図２３の撮像系により得られた画像を示す図である。
【図２６】実施例４の他の撮像の例を示す図である。
【図２７】実施例４の他の撮像装置を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。  本発明の各実施例で用いる複数の視差画像を生成可能な撮像装置は、撮像光学系の瞳のうちそれぞれ異なる領域を通過した複数の光束を撮像素子における互いに異なる受光部（画素）に導いて光電変換を行わせる撮像系を有する。
【００１８】
図３は、撮像系における撮像素子の受光部と撮像光学系の瞳との関係図である。撮像素子には、受光部Ｇ１，Ｇ２（以下、それぞれＧ１画素およびＧ２画素という）の対（画素対）が複数配列されている。Ｇ１，Ｇ２画素の上には、カラーフィルタＣＦが形成されている。Ｇ１，Ｇ２画素は、画素対ごとに１つずつ設けられたマイクロレンズＭＬを介して撮像光学系の射出瞳ＥＸＰと共役な関係を有する。撮像素子に配列された複数のＧ１画素をまとめてＧ１画素群といい、同様に撮像素子に配列された複数のＧ２画素をまとめてＧ２画素群という。
【００１９】
図４は、撮像系の模式図であり、物点ＯＳＰ、射出瞳ＥＸＰ、および撮像素子の結像関係を表している。物点ＯＳＰには必ずしも物体が存在している必要はなく、物点ＯＳＰを通った光束はそれが通過する瞳内での領域（位置）に応じてＧ１画素またはＧ２画素に入射する。Ｇ１画素は射出瞳ＥＸＰのうちＰ１領域を通過した光束を受光し、Ｇ２画素は射出瞳ＥＸＰのうちＰ２領域を通過した光束を受光する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、Ｇ１，Ｇ２画素からの出力信号を用いて生成された画像は、互いに視差を有する複数（ここでは一対）の視差画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを瞳分割という。
【００２０】
図３，４において、射出瞳ＥＸＰの位置がずれることで上述した共役関係が完全ではなくなったり、Ｐ１領域とＰ２領域とが部分的にオーバーラップしたりしても、得られた複数の画像は各実施例において視差画像として扱う。
【００２１】
また、各実施例において、画像を構成する最小要素のことを画素と呼び（以降は撮像素子上の画素と区別するためにピクセルと呼ぶ）、各ピクセルは光の強度や色を表す画素値を持つ。画像は、画素値の容量や性質によって、カラー画像、グレースケール画像、２値画像などの種類に分かれる。
【実施例１】
【００２２】
図５（ａ）は、実施例１の撮像装置のブロック図である。絞り２０１ａおよびフォーカスレンズ２０１ｂを含む撮像光学系２０１は、被写体（不図示）からの光を撮像素子２０２上に結像させる。ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成される撮像素子２０２は、図３および図４にて説明した瞳内の互いに異なる領域を通過した光束を各領域に対応する画素（受光部）にて受光する瞳分割を行う。
【００２３】
撮像素子２０２での光電変換により生成されたアナログ電気信号は、Ａ／Ｄコンバータ２０３でデジタル信号に変換されて画像処理部２０４に入力される。画像処理部２０４は、デジタル信号に対して一般に行われる画像処理と併せて、不要成分の検出処理を行う。なお、画像処理部２０４は、撮像装置に搭載された画像処理装置に相当する。また、画像処理部２０４は、視差画像を生成（取得）し、その視差画像から不要成分を検出する不要成分領域検出部２０４ａと不要成分検出部２０４ｂ、そして検出された不要成分を各視差画像から低減させる不要成分低減部２０４ｃを有する。不要成分領域検出部２０４ａは、図５（ｂ）に示すように、取得手段２０４ａ−１、決定手段２０４ａ−２、算出手段２０４ａ−３、および検出手段２０４ａ−４を有する。
【００２４】
画像処理部２０４で処理された出力画像は、半導体メモリや光ディスク等の画像記録媒体２０９に保存される。出力画像は、表示部２０５に表示してもよい。
【００２５】
撮像素子２０２の動作、画像処理部２０４での処理および撮像光学系２０１（絞り２０１ａおよびフォーカスレンズ２０１ｂ）の制御はシステムコントローラ２１０が行う。撮像光学系２０１における絞り２０１ａおよびフォーカスレンズ２０１ｂの機械的な駆動は、システムコントローラ２１０からの制御指示に応じて撮像光学系制御部２０６が行う。絞り２０１ａは、設定された絞り値（Ｆナンバー）に応じてその開口径が制御される。フォーカスレンズ２０１ｂは、被写体距離に応じてピント調整を行うためにオートフォーカス（ＡＦ）システム（不図示）やマニュアルフォーカス機構によってその位置が制御される。状態検知部２０７は、システムコントローラ２１０の制御指示に応じて現在の撮影条件情報を取得する。なお、撮像光学系２０１は、図５では撮像装置の一部として構成されているが、一眼レフカメラのように交換式の撮像光学系であってもよい。
【００２６】
なお、本実施例は、撮像装置をデータベースやコンピュータに接続した画像処理システムにも適用可能である。この場合、撮像装置で生成された視差画像を画像処理装置に相当する処理部を有するデータベースやコンピュータに送信し、データベースやコンピュータが画像処理を行うようにすればよい。
【００２７】
図６は撮像光学系２０１と不要光の説明図、図７は撮像光学系２０１の絞りＳＴＰを透過する不要光の説明図である。
【００２８】
図６（ａ）には、撮像光学系２０１の具体的な構成例を示す。撮像面ＩＭＧには、撮像素子２０２が配置される。図６（ｂ）には、撮像光学系に高輝度物体の例としての太陽ＳＵＮからの強い光が入射し、撮像光学系を構成するレンズの界面で反射した光が不要光（ゴーストやフレア）として撮像面ＩＭＧに到達する様子を示している。また、図７には、絞りＳＴＰ（つまりは撮像光学系の射出瞳（実際には絞りと射出瞳は異なる））のうち、図４に示したＧ１画素とＧ２画素に入射する光束が通過する領域（以下、瞳領域という）Ｐ１，Ｐ２を示している。図６（ｂ）に示す例では高輝度物体からの光束は絞りＳＴＰのほぼ上半分の領域を通過しており、これを図４に照らし合わせると瞳領域Ｐ１を通過している状況となる。高輝度物体からの光束は、瞳領域Ｐ１を通過した後、Ｇ１画素に入射する。
【００２９】
次に、撮影画像において、不要光（ゴースト）が光電変換されることで現れる不要成分が存在する領域（すなわち不要成分領域）を検出する方法について、図１，２を用いて説明する。
【００３０】
図２（ａ）は、瞳分割を行わない撮像により生成された撮影画像である。この撮影画像には、ビル等の建物とその周辺に存在する樹木とが被写体として映っている。また、不要成分ＧＳＴが撮影画像中に黒い四角部分として示されている。不要成分ＧＳＴが存在する画像上の領域を不要成分領域とする。なお、図２（ａ）では不要成分ＧＳＴを黒く塗りつぶして示しているが、実際には被写体がある程度透けている。また、不要成分ＧＳＴは、被写体に不要光がかぶった状態であるため、被写体よりも高輝度化する。
【００３１】
図１において、視差画像（１Ａ−１），（１Ｂ−１）はそれぞれ、瞳領域Ｐ１，Ｐ２を通過した光束をＧ１，Ｇ２画素群にて光電変換した結果として得られた一対の視差画像である。これら一対の視差画像には、ピント位置が近距離被写体の場合、画像成分に視差量に対応した差（以下、被写体視差成分という）が存在する。しかしながら、図１に示すような風景撮影による遠距離被写体の場合には、被写体視差成分は非常に微少量となる。視差画像（１Ａ−１）には、黒い四角として模式的に示す不要成分ＧＳＴが含まれている。なお、本実施例では、不要成分ＧＳＴが１つの状態の例を示しているが、不要成分ＧＳＴが複数存在し、さらにそれぞれが互いに重なり合っていて明るさに差がある状態でもよい。すなわち、黒い四角の不要成分ＧＳＴの位置や明るさが視差画像ごとに互いに異なった状態であればよい。
【００３２】
視差画像（１Ａ−１），（１Ｂ−１）は、不要成分ＧＳＴを含むかどうかの差はあるが全体的には似ている。そこで、画像内の不要成分ＧＳＴの位置を検出するために類似画像分析を行って「画像類似度値」を求める。「画像類似度値」とは、２つの画像（部分画像でもよい）を比較した際に、どれだけその２枚の画像が似ているかを表した数値（評価値）のことである。簡単のために、最も似ている場合を５段階評価において「画像類似度値＝５」とし、最も似ていな場合を「画像類似度値＝１」とする。さらに簡単のために、視差画像（１Ａ−１），（１Ｂ−１）において縦横同じピッチで領域を分割して、同じ位置範囲の領域を比較する。
【００３３】
視差画像（１Ａ−１），（１Ｂ−１）をそれぞれ領域１１ａ〜４６ａ，１１ｂ〜４６ｂで分割した結果が視差画像（１Ａ−２），（１Ｂ−２）である。「同じ位置範囲の領域」とは、視差画像（１Ａ−２）の領域１１ａと視差画像（１Ｂ−２）の領域１１ｂのような位置関係にあるものを指す。なお、領域１１ａ〜４６ａ，１１ｂ〜４６ｂの全ての領域で縦と横の長さが同じ網目状となるように分割しなくてもよい。左から順に領域を等ピッチで分割し、右端では半端な長さになっても構わない。画像類似度値は２つの視差画像間で比較するため、２つの視差画像間において同じ位置範囲で領域が決まっていればよい。
【００３４】
画像類似度値を算出する方法の一つとして、例えばヒストグラムを利用して画像類似度値を計算する方法がある。最もシンプルな計算方法は、領域分割した視差画像を白黒の２値画像（グレースケールで、かつ画素値が０と２５５の２つのみで構成された画像）にし、白（画素値＝２５５）であるピクセル数を数える方法である。なお、カラー画像から２値画像を得るための手法は公知の技術が種々あるためここでは省略し、特にその手法にも限定しない。例えば縦横２０×２０ピクセルの領域があったとして、ピクセルの総数は４００個となる。そのうち白のピクセルが２６０個あったとしたら、その領域内のヒストグラムは（白，黒）＝（２６０，１４０）となる。このようにして、視差画像（１Ａ−２）画像の領域１１ａ〜４６ａと、視差画像（１Ｂ−２）の領域１１ｂ〜４６ｂでヒストグラムを計算する。
【００３５】
そして、視差画像（１Ａ−２），（１Ｂ−２）の同じ位置範囲の各領域（例えば、領域１１ａ，１１ｂ）のヒストグラムを比較する。ヒストグラムが同じであれば画像類似度値を５とし、比較する２つの領域同士のヒストグラムの乖離が大きくなればなるほど画像類似度値を低くする。視差画像（１Ａ−２）の各領域の白のピクセル数の総和から視差画像（１Ｂ−２）の各領域の白のピクセル数の総和を引いた差分の絶対値をとる。例えば、領域３１ａ内の白のピクセル数が１００、領域３１ｂ内の白のピクセル数が８５だとすると、差分の絶対値は１５となる。このとき、差分の絶対値がゼロ以上であり視差画像（１Ａ−２）の各領域の白のピクセル数の総和の１０％以下であれば、画像類似度値は５とする。差分の絶対値が視差画像（１Ａ−２）の各領域の白のピクセル数の総和の１０％の値よりも大きく、２０％の値以下であれば画像類似度値を４とする。前述の例では領域３１ａ内の白のピクセル数が１００、その１０％の値は１０であり、２０％は２０である。差分の絶対値は１５なので、１００±２０の範囲内に入っているため、このときの画像類似度値は４となる。
【００３６】
同様に、差分の絶対値が視差画像（１Ａ−２）の各領域の白のピクセル数の総和の２０％の値よりも大きく、３０％の値以下であれば画像類似度値を３とする。差分の絶対値が視差画像（１Ａ−２）の各領域の白のピクセル数の総和の３０％の値よりも大きく、４０％の値以下であれば画像類似度値を２とし、４０％よりも大きい場合は画像類似度値を１とする。このようにすると画像類似度値マップ（１Ｃ−１）のように各領域での画像類似度値のマップを作ることができる。このように画像類似度値を算出すると実画像においては画像類似度値が５や１となることは少ない。これは視差画像間の誤差や視差成分による微妙なずれが生じているためである。よって、単純に画像類似度値が１の部分を不要成分領域と決定するのではなく、閾値によってある程度許容幅を設けるとさらに好ましい。本実施例では、画像（１Ｃ−２）に示すように、画像類似度値が２以下であれば不要成分領域であると判定している。
【００３７】
このようにして、視差画像（１Ａ−３），（１Ｂ−３）に示すように、視差画像中における不要成分領域を検出することができる。なお、画像類似度値の計算方法は公知の技術に種々あり、上述した方法に限定するものではない。
【００３８】
そして、出力すべき画像において、検出された不要成分領域内の不要成分を除去または低減する補正処理を行う。これにより、不要成分が概ね除去された視差画像（１Ａ−４），（１Ｂ−４）を得ることができる。不要成分を低減させた各視差画像を合成することで、図２（ｂ）に示す不要成分の低減された瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成することができる。
【００３９】
図８は、本実施例の不要成分領域の検出処理（画像処理）のフローチャートである。この処理は、システムコントローラ２１０および画像処理部２０４がコンピュータプログラムとしての画像処理プログラムにしたがって実行する。
【００４０】
ステップＳ１１では、撮像光学系２０１および撮像素子２０２により構成される撮像部は、システムコントローラ２１０によって制御され、被写体の撮影を行う。
【００４１】
ステップＳ１２では、取得手段２０４ａ−１は、撮像素子２０２（Ｇ１，Ｇ２画素群）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号を用いて入力画像としての一対の視差画像を生成させる。なお、画像処理部２０４において、視差画像生成のために、通常の現像処理や各種の画像補正処理を行ってもよい。
【００４２】
ステップＳ１３では、決定手段２０４ａ−２は、画像類似度値を算出するための領域を決定する。領域は、元の画像のサイズよりも小さいサイズの領域同士で画像類似度値が比較できればよく、視差画像（１Ａ−２），（１Ｂ−２）のように所定のピッチで分割してもよいし、不規則に分割してもよい。分割数も限定しない。
【００４３】
ステップＳ１４では、算出手段２０４ａ−３は、ステップＳ１３で決定した領域において、画像類似度値を各視差画像から算出する。画像類似度値とは比較する２つの画像が似ているかどうかを示す数値であり、似ている度合いを数値化できる手法であればこれに限定しない。画像類似度値を算出する最もシンプルな手法の一つとしては、上述した白黒の２値画像を用いたヒストグラムの比較である。
【００４４】
ステップＳ１５では、検出手段２０４ａ−４は、ステップＳ１４で算出した画像類似度値に基づいて不要成分領域を検出する。上述したように、撮像装置から得られる視差画像は、その視差画像同士を比較すると、不要成分ＧＳＴの有無はあるものの大まかには似ている。似ていない部分は不要成分ＧＳＴが存在する領域である可能性が高いため、ステップＳ１４で算出した画像類似度値のうち一番類似度が低い（似ていない）領域に不要成分ＧＳＴが存在するはずである。しかしながら、画像類似度値を算出する精度や誤差の影響も少なからずあるため、最も画像類似度値の低いものを選ぶだけでなく、所定の閾値を設定してその閾値以下の画像類似度値であれば不要成分領域であるとしてもよい。
【００４５】
以上のステップにより視差画像中における不要成分領域を検出することができる。
【００４６】
次に、検出した不要成分領域内の不要成分を低減するステップの説明をする。
【００４７】
ステップＳ１６に進む前に事前準備としてステップＳ１０１，Ｓ１０２を行う。ステップＳ１０１，Ｓ１０２は、ステップＳ１２の後、実行される。
【００４８】
ステップＳ１０１では、画像処理部２０４は、一対の視差画像の相対差分画像を生成する。すなわち、基準画像（９Ａ−１），（９Ｂ−１）を用いて、相対差分画像（９Ａ−２），（９Ｂ−２）を生成する。なお、基準画像（９Ａ−１），（９Ｂ−１）は、それぞれ視差画像（１Ａ−１），（１Ｂ−１）と同一である。
【００４９】
撮像面に到達した不要光が撮像光学系の異なる瞳領域を通過する場合、基準画像（９Ａ−１），（９Ｂ−１）に示すように視差画像ごとに不要成分ＧＳＴの発生の有無（もしくは発生の位置）が異なる。そのため、単純な相対差分画像では、不要成分の差分値は正、負の値をとる。例えば本実施例では、相対差分画像（９Ａ−２）を生成するために基準画像（９Ａ−１）から基準画像（９Ｂ−１）を差し引いた場合、基準画像（９Ａ−１）に含まれる不要成分は画素値が大きいため正値となる。そのため、相対差分画像（９Ａ−２）には、基準画像（９Ａ−１）に含まれる不要成分のみが正値として検出される。相対差分画像（９Ｂ−２）についても同様の処理を行うと、基準画像（９Ｂ−１）の領域のうち、基準画像（９Ａ−１）で不要成分ＧＳＴが含まれる領域と同じ領域で負の値となる。本実施例では、後段で説明する不要成分低減処理の簡易化のために、負の値を切り捨てて０値とする処理を実施している。そのため、相対差分画像（９Ｂ−２）では、不要成分ＧＳＴが検出されない。
【００５０】
上述したように、本実施例では、片方の視差画像を基準とした１対の相対差分画像を生成している。しかし、本実施例のように２つの視差画像の場合は相対差分ではなく差分の絶対値として計算しても等価となる。視差画像Ａを単にＡ、視差画像Ｂを単にＢと表記して式で示すと下記のようになる。
【００５１】
（Ａ−Ｂ）０＋（Ｂ−Ａ）０  ＝  │Ａ−Ｂ│
（）０とはカッコ内の式を計算した結果について、もし負の値があれば負の値は切り捨てて０値とすることを意味する。以降では説明の簡略化のために相対差分での計算で統一して説明するが、差分の絶対値として計算を進めてもよい。
【００５２】
ステップＳ１０２では、不要成分検出部２０４ｂは、視差画像（１Ａ−３）で検出した不要成分領域内において、ステップＳ１０１にて得られた相対差分画像中に残存した成分を不要成分と決定する。
【００５３】
ステップＳ１６では、不要成分低減部２０４ｃは、出力すべき画像から不要成分領域と不要成分に基づいて、不要成分を低減（または除去）する処理を行う。ここでは、出力すべき画像として、視差画像（１Ａ−４），（１Ｂ−４）のＧ１画素、Ｇ２画素をそれぞれ１画素とすることで得られる各視差画像を生成する。この場合、ステップＳ１０１において負の値を切り捨てて０値としているので、各視差画像に含まれる不要成分のみが正値として検出されているため、単純に各視差画像からそれぞれの相対差分画像を差し引くことで不要成分を除去することができる。本実施例では、視差画像（１Ａ−３）の不要成分領域内において、基準画像（９Ａ−１）から相対差分画像（９Ａ−２）を差し引き、基準画像（９Ｂ−１）から相対差分画像（９Ｂ−２）を差し引くことに相当する。
【００５４】
ステップＳ１７では、システムコントローラ２１０は、不要成分領域から不要成分が除去（低減）された出力画像（９Ａ−３），（９Ｂ−３）を画像記録媒体２０９に保存したり、表示部２０５に表示したりする。そして、不要成分を除去（低減）した各視差画像を合成することで、図２（ｂ）に示す不要成分の低減された瞳分割を行わない撮像により生成された撮影画像と同等の画像を出力することもできる。
【００５５】
ステップＳ１８で、本実施例の画像処理を終了する。
【００５６】
以上説明したように、本実施例では、１回の撮影で得られた複数の視差画像に基づく画像類似度値の比較から不要光（ゴースト）により形成された不要成分領域を検出することができる。つまり、複数回の撮像を行うことなく撮影画像に含まれる不要成分領域を検出することができる。さらに、視差画像間の相対差分画像を用いることで、不要成分領域内の不要成分を良好に除去または低減した高画質の撮影画像を得ることができる。
【００５７】
なお、本実施例では説明を簡単にするために等ピッチで画像の領域分割を行ったが、等ピッチには限定しない。また、比較画像間で類似部分と非類似部分とが分けることが可能であれば、あらかじめ画像の領域を分割せずに画像内の類似部分（もしくは非類似部分）を特定できるような手法を用いてもよい。
【００５８】
また、本実施例では、画像類似度値を５段階評価の値として扱い、画像類似度値が２以下の領域は不要成分領域であると判定したが、必ずしも画像類似度を離散的な値に置き換える必要はない。ヒストグラムのずれを％で表した値そのものを画像類似度値とし、画像類似度マップをより緻密なグラデーションマップとして示してもよい。その場合は不要成分領域を画像内のある範囲に特定するのではなく、不要成分領域が存在する確率分布のようなものが検出されることになる。よって、低減処理を行うときは、グラデーションマップを重み付けの係数として使い、不要成分が存在する確率が高い領域に関しては積極的に低減処理を行い、確率が低い領域は低減処理をほとんど行わないようにすればよい。他の実施例でも説明の簡略化のために５段階の画像類似度値で説明しているが、全ての実施例で画像類似度マップをグラデーションマップとして処理を進めても構わない。
【実施例２】
【００５９】
本実施例が実施例１と異なる部分は、撮影対象である被写体が近距離被写体であるために、視差画像間で背景の被写体に大きな視差が付いてしまうことである。本実施例の撮像装置の基本構成は図５を用いて説明した実施例１の構成と同様であり、重複する部分の説明は省略する。撮像光学系の構成や高輝度物体からの光によって発生する不要光の様子も図６の構成と同様である。
【００６０】
まず、撮影画像において、不要光が光電変換されることで現れる不要成分領域を検出する方法について、図１０，１１を用いて説明する。
【００６１】
図１１（ａ）は、瞳分割を行わない撮像により生成された撮影画像である。この撮影画像は、花にピントが合っている状態であり、背景としてビル等の建物とその周辺に存在する樹木とが映っている（実際は花よりもボケていることになるが、図面上は簡単のためにぼかしていない）。また、不要成分ＧＳＴが撮影画像中に黒い四角部分として示されている。不要成分ＧＳＴが存在する画像上の領域を不要成分領域とする。なお、図１１（ａ）中には不要成分ＧＳＴを黒く塗りつぶして示しているが、実際には被写体がある程度透けている。また、不要成分ＧＳＴは、背景に不要光がかぶった状態であるため、被写体よりも高輝度化する。
【００６２】
図１０において、視差画像（１０Ａ−１），（１０Ｂ−１）はそれぞれ、瞳領域Ｐ１，Ｐ２を通過した光束をＧ１，Ｇ２画素群にて光電変換した結果として得られた一対の視差画像である。これら一対の視差画像には、ピント位置が近距離被写体の場合、被写体視差成分が存在する。図１０では近距離被写体である花にピントが合っている状況であるから、視差画像（１０Ａ−１），（１０Ｂ−１）において、花の位置はどちらも変わらない。また、不要成分ＧＳＴの位置も変わらない。しかしながら、花よりも後ろに位置するビルや樹木は視差があるために位置が異なってくる。視差画像（１０Ｂ−１）は、視差画像（１０Ａ−１）と比べて、背景のビルや樹木が右方向へシフトしている。なお、本実施例では、不要成分ＧＳＴが１つの状態の例を示しているが、不要成分ＧＳＴが複数存在し、さらにそれぞれが互いに重なり合っていて明るさに差がある状態でもよい。すなわち、黒い四角の不要成分ＧＳＴの位置や明るさが視差画像ごとに互いに異なった状態であればよい。
【００６３】
本実施例では、実施例１と同様に、視差画像（１０Ａ−１），（１０Ｂ−１）から画像類似度を算出して比較する。簡単のために、実施例１と同様に２つの画像同士が最も似ている場合を５段評価において「画像類似度値＝５」とし、最も似ていない場合を「画像類似度値＝１」とする。さらに簡単のために、視差画像（１０Ａ−１），（１０Ｂ−１）において縦横同じピッチで領域を分割して、同じ位置範囲の領域を比較する。視差画像（１０Ａ−１），（１０Ｂ−１）をそれぞれ領域１１ａ〜４６ａ，１１ｂ〜４６ｂで分割した結果が視差画像（１０Ａ−２），（１０Ｂ−２）である。
【００６４】
本実施例では、実施例１と同様に、領域分割した視差画像を白黒の２値画像にし、白（画素値＝２５５）であるピクセル数を数える。この方法により、画像類似度値マップ（１０Ｃ−１）のように各領域での（画像類似度値１）を算出することができる。
【００６５】
しかしながら、実施例１と異なり、本実施例では被写体視差成分が大きいため、視差によって背景がシフト（本実施例では視差画像（１０Ｂ−１）が視差画像（１０Ａ−１）よりも右方向へシフト）している。このため、同じ領域について（画像類似度値１）を算出するだけでは、実施例１のような被写体視差成分の影響が少ない場合に比べて精度が下がってしまう。
【００６６】
そこで、本実施例では、（画像類似度値１）を算出した後、視差画像（１０Ａ−３），（１０Ｂ−３）に示すように、領域を所定量だけシフトさせて、「画像類似度値２」を算出する。視差画像（１０Ａ−３），（１０Ｂ−３）では、領域を右方向へシフトさせている。このとき、被写体が有する視差量または領域の周辺での被写体が有する視差量と同じかそれ以上に領域をシフトさせることが好ましい。また、シフト量は、もとの領域分割と同じピッチでシフトさせてもシフト前後で領域の範囲は変わらないため、領域分割のピッチよりも小さいシフト量が好ましい。そうすることで、視差による被写体シフトも考慮して（画像類似度値２）を算出することができる。そのため、領域の数が視差画像（１０Ａ−２），（１０Ｂ−２）とは変化しているが、同じ位置同士を比較するため、視差画像（１０Ａ−２），（１０Ｂ−２）のときと領域の数が変わっても構わない。
【００６７】
画像類似度値マップ（１０Ｃ−２）は、視差画像（１０Ａ−３），（１０Ｂ−３）の各領域を比較して（画像類似度値２）を算出した結果である。画像類似度値マップ（１０Ｃ−１）と比較すると、被写体視差成分の影響により、画像類似度値が変化している部分が存在する。
【００６８】
次に、（画像類似度値１）と（画像類似度値２）に基づいて、（画像類似度値３）を計算する。画像類似度値１，２は各領域で比較して求めているが、画像類似度値３は各領域ではなく各ピクセルで比較して求める。具体的には、各ピクセルが属する画像類似度値マップ（１０Ｃ−１）上での領域の（画像類似度値１）と、各ピクセルが属する画像類似度値マップ（１０Ｃ−２）上での領域の（画像類似度値２）と、を比較する。画像類似度値に差があれば、より画像類似度値が大きいほう（画像が似ているほうの数値）に合わせる処理を行う。そうして決定した各ピクセルの画像類似度値を（画像類似度値３）とする。このように本実施例では、最初に算出した（画像類似度値１）を（画像類似度値２）に基づいて部分的に更新させて、その結果を（画像類似度値３）としている。
【００６９】
例えば、画像類似度値マップ（１０Ｃ−１）〜（１０Ｃ−３）上の任意の座標点（ｘ，ｙ）の画素の（画像類似度値１）の値がｓｖ１（ｘ，ｙ）＝４であったとする。そして、（画像類似度値２）を算出した結果、同じ座標点が属する領域内での（画像類似度値２）の値がｓｖ２（ｘ，ｙ）＝３であったとする。このとき、（画像類似度値３）は、以下の式（１）で算出される。
【００７０】
ｓｖ３（ｘ，ｙ）＝ｍａｘ（ｓｖ１（ｘ，ｙ）,ｓｖ２（ｘ，ｙ））     （１）
「ｍａｘ（ｓｖ１（ｘ，ｙ），ｓｖ２（ｘ，ｙ））」とは、ｓｖ１（ｘ，ｙ）とｓｖ２（ｘ，ｙ）のうちどちらか大きいほうをｓｖ３（ｘ，ｙ）として採用するという意味である。この例では、画像類似度値が大きいほど「似ている画像」と定義しているため、大きい数値を（画像類似度値３）として採用している。画像類似度値の定義が逆であれば、小さい数値を（画像類似度値３）として採用すればよい。
【００７１】
このように各ピクセルで（画像類似度値１）と（画像類似度値２）を比較するため、最終的な（画像類似度値３）のマップは（画像類似度値１）を算出した領域分割の結果と、（画像類似度値２）を算出した領域分割の結果を混合したマップとなる。こうすることで、被写体視差成分を考慮してより検出精度を高める（被写体視差成分の影響による不要成分領域の誤検出を避ける）だけでなく、より細かい領域として画像類似度値を求めることができる。
【００７２】
なお、画像類似度値の計算方法は公知の技術に種々あり、上述した方法に限定するものではない。そして、視差画像（１０Ａ−３），（１０Ｂ−３）での領域シフトの方向も一方向に限らず、上下左右斜め等ありとあらゆる方向へシフトさせることで（画像類似度値３）を求めてもよい。瞳分割の分割数が多くなるほど、シフト方向を増やすことで不要成分領域の検出精度を上げることが可能となる。
【００７３】
このようにすることで、視差画像（１０Ａ−４），（１０Ｂ−４）のように、視差画像中における不要成分領域を検出することができる。
【００７４】
そして、出力すべき画像において、検出された不要成分領域内の不要成分を除去または低減する補正処理を行う。これにより、不要成分が概ね除去された視差画像（１０Ａ−５），（１０Ｂ−５）を得ることができる。不要成分を低減させた各視差画像を合成することで、図１１（ｂ）に示す不要成分の低減された瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成することができる。
【００７５】
図１２は、本実施例の不要成分領域の検出処理（画像処理）のフローチャートである。この処理は、システムコントローラ２１０および画像処理部２０４がコンピュータプログラムとしての画像処理プログラムにしたがって実行する。
【００７６】
ステップＳ２１〜Ｓ２４までの処理は、実施例１のステップＳ１１〜Ｓ１４までの処理と同様であるため詳細は省略する。
【００７７】
ステップＳ２５では、決定手段２０４ａ−２は、（画像類似度値２）を算出／比較するための領域２を決定する。領域は、元の画像のサイズよりも小さいサイズの領域同士で画像類似度値が比較できればよく、視差画像（１０Ａ−２），（１０Ｂ−２）のように所定のピッチで分割してもよいし、不規則に分割してもよい。分割数も限定しない。
【００７８】
ステップＳ２６では、算出手段２０４ａ−３は、ステップＳ２５で決定した領域２において、（画像類似度値２）を各視差画像から算出する。
【００７９】
ステップＳ２７では、算出手段２０４ａ−３は、ステップＳ２４で算出した（画像類似度値１）とステップＳ２６で算出した（画像類似度値２）に基づいて、（画像類似度値３）を算出する。
【００８０】
ステップＳ２８では、検出手段２０４ａ−４は、ステップＳ２７で算出した（画像類似度値３）に基づいて不要成分領域を検出する。上述のように、撮像装置から得られる視差画像は、その視差画像同士を比較すると、不要成分ＧＳＴの有無はあるものの大まかには似ている。似ていない部分は不要成分ＧＳＴが存在する領域である可能性が高いため、ステップＳ２７で算出した（画像類似度値３）のうち一番類似度が低い（似ていない）領域に不要成分ＧＳＴが存在するはずである。しかしながら、（画像類似度値３）を算出する精度や誤差の影響も少なからずあるため、最も画像類似度値の低いものを選ぶだけでなく、所定の閾値を設けてその閾値以下の画像類似度値であれば不要成分領域であるとしてもよい。
【００８１】
以上のステップにより視差画像中における不要成分領域を検出することができる。
【００８２】
次に、検出した不要成分領域内の不要成分を低減するステップの説明をする。
【００８３】
ステップＳ２９に進む前に事前準備としてステップＳ２０１，Ｓ２０２を行う。ステップＳ２０１，Ｓ２０２の処理はそれぞれ、実施例１のステップＳ１０１，Ｓ１０２の処理と同様である。また、ステップＳ２９からステップＳ３１までの処理は、実施例１のステップＳ１６〜Ｓ１８までの処理と同様であるため説明は省略する。
【００８４】
以上説明したように、本実施例では、近距離物体にピントが合っている場合であっても、１回の撮像で得られた複数の視差画像に基づく画像類似度値の比較から不要光（ゴースト）により形成された不要成分領域を検出することができる。つまり、複数回の撮像を行うことなく撮影画像に含まれる不要成分領域を検出することができる。さらに、視差画像間の相対差分画像を用いることで、不要成分領域内の不要成分を良好に除去または低減した高画質の撮影画像を得ることができる。
【００８５】
なお、本実施例では説明を簡単にするために等ピッチで画像の領域分割を行ったが、等ピッチには限定しない。また、比較画像間で類似部分と非類似部分とが分けることが可能であれば、あらかじめ画像の領域を分割せずに画像内の類似部分（もしくは非類似部分）を特定できるような手法を用いてもよい。
【００８６】
なお、実施例１，２では、２値画像を用いて不要成分領域の検出を行っている。しかし、ゴースト光に代表される不要成分は色が付いていることが多い。色によって不要成分の位置も異なる（不要成分領域も異なる）ので、色（例えばＲＧＢの３チャンネル）ごとに同様のことを行い不要成分領域の検出することで色の付いた不要成分にも対応可能となる。
【実施例３】
【００８７】
図１３は、撮像系における撮像素子の受光部と撮像光学系の瞳との関係図である。撮像素子には、受光部Ｇ１，Ｇ２，Ｇ３，Ｇ４（以下、それぞれ、Ｇ１画素、Ｇ２画素、Ｇ３画素、Ｇ４画素という）の組（画素組）が複数配列されている。Ｇ１，Ｇ２画素のそれぞれ紙面奥側に、Ｇ３，Ｇ４画素が２次元的に配置されている。Ｇ１〜Ｇ４画素の上には、カラーフィルタＣＦが形成されている。Ｇ１〜Ｇ４画素は、画素組ごとに１つずつ設けられたマイクロレンズＭＬを介して射出瞳ＥＸＰと共役な関係を有する。撮像素子に配列された複数のＧ１画素をまとめてＧ１画素群といい、同様に撮像素子に配列された複数のＧ２画素をまとめてＧ２画素群という（Ｇ３，Ｇ４画素も同様）。
【００８８】
図１４は、撮像系の模式図であり、物点ＯＳＰ、射出瞳ＥＸＰ、および撮像素子の結像関係を表している。Ｇ１画素は射出瞳ＥＸＰのうちＰ１領域を通過した光束を受光し、Ｇ２画素は射出瞳ＥＸＰのうちＰ２領域を通過した光束を受光する。Ｐ１，Ｐ２領域のそれぞれ紙面方向の奥側に、Ｐ３，Ｐ４領域が２次元的に存在する。図１５は、射出瞳ＥＸＰをマイクロレンズＭＬ側から見た図である。物点ＯＳＰには必ずしも物体が存在している必要はなく、物点ＯＳＰを通った光束はそれが通過する瞳内での領域（位置）に応じてＧ１〜Ｇ４画素のいずれかに入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、Ｇ１〜Ｇ４画素からの出力信号を用いて生成された４つの画像は互いに視差を有する複数の視差画像となる。
【００８９】
図１３，１４において、射出瞳ＥＸＰの位置がずれることで上述した共役関係が完全ではなくなったり、Ｐ１領域とＰ２領域とが部分的にオーバーラップしたりしても、得られた複数の画像は各実施例において視差画像として扱う。
【００９０】
本実施例の撮像装置の基本構成や撮像光学系は、図５，６を用いて説明した実施例１と同様であるため説明は省略する。
【００９１】
撮影画像において、不要光が光電変換されることで現れる不要成分領域を検出する方法について、図１６〜図２１を用いて説明する。
【００９２】
図２１（ａ）は、瞳分割を行わない撮像により生成された撮影画像を示す。この撮影画像には、実施例２と同様にピント位置に花、背景としてビル等の建物とその周辺に存在する樹木とが映っている（実際は花よりもボケていることになるが、図面上は簡単のためにぼかしていない）。不要成分ＧＳＴは撮影画像中に黒い四角部分として示されているが、実際には被写体がある程度透けている。
【００９３】
図１６において、視差画像（１６Ａ−１）〜（１６Ｄ−１）はそれぞれ、瞳領域Ｐ１〜Ｐ４を通過した光束をＧ１〜Ｇ４画像群にて光電変換した結果として得られた画像である。これらの視差画像には、実施例２と同様に、ピント位置が近距離被写体の場合、それぞれの視差画像間で視差成分が存在する。また、視差画像にも黒い四角として模式的に示す不要成分ＧＳＴ（ゴースト）が含まれている。なお、本実施例では、不要成分ＧＳＴが１つの状態の例を示しているが、不要成分ＧＳＴが複数存在し、さらにそれぞれが互いに重なり合っていて明るさに差がある状態でもよい。すなわち、黒い四角の不要成分ＧＳＴの位置や明るさが視差画像ごとに互いに異なった状態であればよい。
【００９４】
本実施例では、実施例１，２と同様に視差画像（１６Ａ−１）〜（１６Ｄ−１）から画像類似度値を算出して比較する。後述する計算の都合上、２つの画像同士が最も似ている場合を「画像類似度値＝１」とし、最も似ていないと判定されたときは「画像類似度値＝０」とする。また、簡単のために視差画像（１６Ａ−１）〜（１６Ｄ−１）において縦横同じピッチで領域を分割して、同じ位置範囲の領域を比較する。視差画像（１６Ａ−１）〜（１６Ｄ−１）をそれぞれ領域１１ａ〜４６ａ，１１ｂ〜４６ｂ，１１ｃ〜４６ｃ，１１ｄ〜４６ｄで分割した結果が視差画像（１６Ａ−２）〜（１６Ｄ−２）である。
【００９５】
実施例１，２では白黒の２値画像に対して画像類似度値を算出したが、本実施例ではカラー画像に対して画像類似度値を算出する。よって、図１６は、本来カラー画像であるが、図の表記上白黒画像にしている。カラー画像に対して画像類似度値を算出することで不要成分ＧＳＴが含まれる領域をより精度高く検出できる。また、処理の負荷を軽減するためにも、画像類似度値を算出する前に、色数の減少などの前処理を行うとさらに好ましい。例えば、元の画像のＲＧＢ各色の階調数が８ｂｉｔ（２５６階調）の画像から階調数２ｂｉｔ（４階調）で、全６４色まで色数を低減させるとする。このとき、図１９（Ａ）に示すように、ＲＧＢ各色の２５６段階の画素値をカラーＮｏ．０〜３までの４段階に振り分け、式（２）で計算することで全６４色を６４次元のベクトルに変換することができる。
【００９６】
ＢｉｎＮｏ＝１６×ＲＮｏ＋４×ＧＮｏ＋ＢＮｏ        （２）
ＢｉｎＮｏは、６４次元のベクトルの各要素番号に対応する。
【００９７】
このようにすることで、ＲＧＢの各カラーＮｏ．が（Ｒ，Ｇ，Ｂ）＝（０，０，０）の時はＢｉｎＮｏ=０となり、（Ｒ，Ｇ，Ｂ）＝（３，３，３）の時はＢｉｎＮｏ＝６３となる。これをピクセルごとに計算することで、各ピクセルの色がどのＢｉｎＮｏに属するかがわかり、任意の領域内で積算することで図１９（Ｂ）に示すようなカラーヒストグラムを計算することができる。
【００９８】
次に、カラーヒストグラムから画像類似度値を算出する方法について説明する。
【００９９】
比較する２つのヒストグラムのＢｉｎＮｏをｉとして、その時のヒストグラムの値をそれぞれＨ１［ｉ］，Ｈ２［ｉ］とする。このとき、式（３）を計算することで、０〜１までの画像類似度値Ｓｉｍｉｌａｒｈｉｓｔを得ることができる。
【０１００】
【数１】
0006448324.tif 000002
【０１０１】
「ｍｉｎ（Ｈ１［ｉ］，Ｈ２［ｉ］）」は、Ｈ１［ｉ］とＨ２［ｉ］のうち、どちらか小さい方を採用し、Σに対応する積算処理をするという意味である。分母は、Ｈ１の画像の総ピクセル数（画像サイズに相当）で正規化することで、画像サイズに依存せずに画像類似度値を算出できるようにするために存在する。今回の例では画像の部分領域を比較するため、分母はＨ１の領域内の総ピクセル数（＝Ｈ２の領域内の総ピクセル数）に対応する。
【０１０２】
以上のような計算を行うことで、カラー画像に対しても有限な領域内同士で画像類似度値を計算可能である。また、本実施例のやり方に限定せず、カラー画像における他の比較法を用いてもよい。
【０１０３】
次に、（画像類似度値１）を各領域内で算出する。（画像類似度値１）は、視差画像（１６Ａ−１）〜（１６Ｄ−１）の各領域（１１ａ〜３３ａ）〜（１１ｄ〜３３ｄ）においてカラーヒストグラムを算出し、式（２）を用いて（画像類似度値１）を算出する。その結果の例を画像類似度値マップ（１７Ａ−０）〜（１７Ｄ−０）に示している。画像類似度値マップ（１７Ａ−０）は、視差画像（１６Ａ−１）同士を比較した例であるため、（画像類似度値１）が全て１となっている。画像類似度値マップ（１７Ｂ−０）は、視差画像（１６Ａ−１），（１６Ｂ−１）を比較した例であるため、（画像類似度値１）は０から１の間の数値が各領域に入っている。同様に、画像類似度値マップ（１７Ｃ−０）は視差画像（１６Ａ−１），（１６Ｃ−１）を比較した例、画像類似度値マップ（１７Ｄ−０）は視差画像（１６Ａ−１），（１６Ｄ−１）を比較した例である。
【０１０４】
しかしながら、本実施例では、実施例２と同様に被写体視差成分が大きいため、視差によって背景がシフトしている。このため、同じ領域について（画像類似度値１）を算出するだけでは、実施例１のような被写体視差成分の影響が少ない場合に比べて精度が下がってしまう。
【０１０５】
そこで、本実施例では、（画像類似度値１）を算出した後、図１８で示すように、領域を所定量だけシフトさせて、（画像類似度値２）を算出する。図１８では、領域を上下左右斜め合計８方向へシフトさせている。説明を簡略化するために、図１８では領域を所定量だけシフトさせたときの領域図だけを示している（本来は各領域内に対応する画像類似度値が入る）。
【０１０６】
図１８（ａ）〜（ｈ）はそれぞれ、領域を上方向、右上方向、右方向、右下方向、下方向、左下方向、左方向、左上方向へシフトさせた例である。（画像類似度値２−１）〜（画像類似度値２−８）は、各領域内で算出される。
【０１０７】
図２０は、画像類似度値マップ（１７Ｂ−０）と画像類似度値マップ（１８Ｂ−１）〜（１８Ｂ−８）を抽出したものである。（画像類似度値２−１）〜（画像類似度値２−８）を算出した結果、任意のピクセル座標（ｘ，ｙ）上の画素が属する領域内の（画像類似度値１）の値が画像類似度値マップ（２０Ｂ−０）のｓｖｂ０（ｘ，ｙ）であったとする。また、領域シフト後の同じピクセル座標（ｘ，ｙ）上の画素が属する領域内の（画像類似度値２−１）〜（画像類似度値２−８）の算出結果をｓｖｂ１（ｘ，ｙ）〜ｓｖｂ８（ｘ，ｙ）とする。このとき、式（４）が成立する場合は、領域シフト前後の画像類似度値変化（（画像類似度値１）との差）は視差成分によるものと判断して、各ピクセルのｓｖｂ（ｘ，ｙ）（（画像類似度値３）に相当）をｓｖｂ（ｘ，ｙ）＝１とする。一方、式（４）が成立しない場合は、ｓｖｂ（ｘ，ｙ）＝ｓｖｂ０（ｘ，ｙ）とする。
【０１０８】
│ｓｖｂ０（ｘ，ｙ）−ａｖｅ＿ｓｕｂ（ｘ，ｙ）│＞ｂｏｒｄｅｒＶ  （４）
ａｖｅ＿ｓｕｂ（ｘ，ｙ）はｓｖｂ０（ｘ，ｙ）〜ｓｖｂ８（ｘ，ｙ）までの平均値、ｂｏｒｄｅｒＶは所定の閾値パラメータである。
【０１０９】
ここでは、画像類似度値マップ（１７Ｂ−０），（１８Ｂ−１）〜（１８Ｂ−８）を例にしているが、他の画像類似度値マップについても同様のことを行い、それぞれの（画像類似度値３）について平均をとったものを最終的な（画像類似度値３）とする。そうすることで、全ての視差画像を考慮した（画像類似度値３）を算出することができる。
【０１１０】
このように、（画像類似度値１）と（画像類似度値２）（本実施例では、（画像類似度値２−１）〜（画像類似度値２−８））に基づいて（画像類似度値３）を算出することで、精度を上げた不要成分領域の検出が可能である。また、検出された不要成分領域内について、さらに細かく領域を分割して画像類似度値を算出し、不要成分領域をさらに精密に検出してもよい。このように最初は粗いピッチで領域分割して不要成分領域のあたりを付けて、徐々に細かいピッチで領域分割して追い込むことで、ノイズの影響が少なくなり更に精度アップを見込むこともできる。
【０１１１】
そして、出力すべき画像において、検出された不要成分領域内の不要成分を除去または低減する補正処理を行う。不要成分を低減させた各視差画像を合成することで、図２１（ｂ）に示す不要成分の低減された瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成することができる。
【０１１２】
本実施例の画像処理は、図１２で示した実施例２の画像処理と同様である。
【０１１３】
ステップＳ２１〜Ｓ２４までの処理は、実施例１のステップＳ１１〜Ｓ１４からステップＳ１４までの処理と同様であるため詳細は省略する。
【０１１４】
ステップＳ２５では、不要成分領域検出部２０４ａは、（画像類似度値２）を算出／比較するための領域２を決定する。領域は、元の画像のサイズよりも小さいサイズの領域同士で画像類似度値が比較できればよく、図１８のように所定のピッチで分割してもよいし、不規則な分割してもよい。分割数も限定しない。また、８方向に領域をシフトさせてそれぞれのシフト方向において（画像類似度値２）を計算する場合には、ステップＳ２６において（画像類似度値２）が複数算出されることになる。その場合は平均をとるなどしてひとつの数値にまとめるのもよい。
【０１１５】
ステップＳ２６では、不要成分領域検出部２０４ａは、ステップＳ２５で決定した領域２において、（画像類似度値２）を各視差画像で算出する。
【０１１６】
以降のステップは、実施例２と同様であるため説明は省略する。
【０１１７】
以上説明したように、本実施例では、近距離物体にピントが合っている場合であっても、１回の撮像で得られた複数の視差画像に基づく画像類似度値の比較から不要光（ゴースト）により形成された不要成分領域を検出することができる。つまり、複数回の撮像を行うことなく撮影画像に含まれる不要成分領域を検出することができる。さらに、視差画像間の相対差分画像を用いることで、不要成分領域内の不要成分を良好に除去または低減した高画質の撮影画像を得ることができる。
【０１１８】
なお、本実施例では説明を簡単にするために等ピッチで画像の領域分割を行ったが、等ピッチには限定しない。また、比較画像間で類似部分と非類似部分とが分けることが可能であれば、あらかじめ画像の領域を分割せずに画像内の類似部分（もしくは非類似部分）を特定できるような手法を用いてもよい。
【実施例４】
【０１１９】
Ｒｅｎ.Ｎｇ等の「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ａ  Ｈａｎｄ−ｈｅｌｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」（Ｓｔａｎｆｏｒｄ  Ｔｅｃｈ  Ｒｅｐｏｒｔ  ＣＴＳＲ２００５−２）では、「Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」が提案されている。「Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」において「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ」という手法を用いることで、物体側からの光線の位置と角度の情報を取り込むことができる。
【０１２０】
図２２は、「Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」の撮像系の構成を示す図である。メインレンズ（撮影レンズ）３０１ｂと開口絞り３０１ａとで構成される撮像光学系３０１の結像位置にマイクロレンズアレイ３０１ｃが配置され、さらにその後方に撮像素子３０２が配置されている。マイクロレンズアレイ３０１ｃは、例えば点Ａのような被写体空間のある一点を通る光線群と、点Ａの近傍の点を通る光線とが撮像素子３０２上で混ざらないようにセパレータの役割をしている。図２２に示すように、点Ａからの上線、主光線および下線はそれぞれ異なる画素によって受光されるため、点Ａを通る光線群は光線の角度ごとに分離して取得される。
【０１２１】
次に、図２３を用いて本実施例の別の撮像装置の撮像系について説明する。Ｔｏｄｏｒ  Ｇｅｏｒｇｉｖｅ等の「Ｆｕｌｌ  Ｒｅｓｏｌｕｔｉｏｎ  Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｒｅｎｄｅｒｉｎｇ」（Ａｄｏｂｅ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  Ｊａｎｕａｒｙ  ２００８）は、光線の位置と角度の情報を取得する方法を開示している。
【０１２２】
図２３（ａ）の撮像系の構成では、マイクロレンズアレイ３０１ｃをメインレンズ３０１ｂの結像位置よりも後方に配置し、点Ａを通る光線群を撮像素子３０２上に再結像させることで、光線群を光線の角度ごとに分離して取得することができる。また、図２３（ｂ）に示す撮像系の構成では、マイクロレンズアレイ３０１ｃをメインレンズ３０１ｂの結像位置よりも前方に配置し、点Ａを通る光線群を撮像素子３０２上に結像させることで、光線群を光線の角度ごとに分離して取得することができる。いずれの構成も、撮像光学系３０１の瞳を通過する光束を瞳内での通過領域（通過位置）に応じて分割する点は同じである。
【０１２３】
図２２の撮像光学系３０１を用いると、図２４（ａ）に示すような画像が得られる。図２４（ｂ）には、図２４（ａ）中に多数並んだ円のうち１つを拡大して示している。１つの円は絞りＳＴＰに相当し、その内側は複数の画素Ｐｊ（ｊ＝１，２，３，…）により分割されている。これにより、１つの円内で瞳の強度分布が得られる。また、図２３の撮像光学系３０１を用いると、図２５に示すような視差画像が得られる。図２４（ａ）に示した画像において各円（絞りＳＴＰ）内の複数の画素Ｐｊを並べて再構成することによっても、図２５に示すような複数の視差画像が得られる。
【０１２４】
実施例１〜３で説明したように、ゴーストなどの不要光は瞳内で偏りを持って瞳を通過する。このため、本実施例のように瞳を分割して撮像する撮像装置において実施例１〜３で説明した画像処理方法を使用することで、不要成分領域を検出することができる。
【０１２５】
さらに別の例として、図２６に示すような複数のカメラを用いて同一被写体を撮像する場合も視差画像が得られるため、実施例１〜３にて説明した画像処理方法を用いることができる。撮像装置Ｃ１〜Ｃ３は、実際には別々の撮像装置であるが、大きな瞳を３つに分割して撮像する一体の撮像装置と見なすことができる。また、図２７に示すように、１つの撮像装置に複数の撮像光学系ＯＳｊ（ｊ＝１，２，３，…）を設けることで瞳分割を行うこともできる。
【０１２６】
実施例１〜３では、レンズ界面での面反射によって撮像素子に到達した不要成分について説明した。しかしながら、回折光学素子から発生する回折光のうち、撮像面に到達し、かつ撮像に不要な回折光（回折光学素子由来の不要成分）についても同様に不要成分領域の検出や不要成分の低減が可能である。
【０１２７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１２８】
２０４        画像処理部
２０４ａ−１  取得手段
２０４ａ−２  決定手段
２０４ａ−３  算出手段
２０４ａ−４  検出手段
【図１】
0006448324.tif 000003
【図２】
0006448324.tif 000004
【図３】
0006448324.tif 000005
【図４】
0006448324.tif 000006
【図５】
0006448324.tif 000007
【図６】
0006448324.tif 000008
【図７】
0006448324.tif 000009
【図８】
0006448324.tif 000010
【図９】
0006448324.tif 000011
【図１０】
0006448324.tif 000012
【図１１】
0006448324.tif 000013
【図１２】
0006448324.tif 000014
【図１３】
0006448324.tif 000015
【図１４】
0006448324.tif 000016
【図１５】
0006448324.tif 000017
【図１６】
0006448324.tif 000018
【図１７】
0006448324.tif 000019
【図１８】
0006448324.tif 000020
【図１９】
0006448324.tif 000021
【図２０】
0006448324.tif 000022
【図２１】
0006448324.tif 000023
【図２２】
0006448324.tif 000024
【図２３】
0006448324.tif 000025
【図２４】
0006448324.tif 000026
【図２５】
0006448324.tif 000027
【図２６】
0006448324.tif 000028
【図２７】
0006448324.tif 000029