(57)【要約】【課題】偏光状態の異なる複数の画像を用いてゴースト像が低減された画像を取得すること。【解決手段】偏光方向の異なる複数の画像を取得する取得手段（１１）と、前記複数の画像から偏光情報を算出する算出手段（１２）と、前記偏光情報に基づいて、ゴースト像が低減された画像を出力する出力手段（１４）と、を有することを特徴とする。【選択図】  図１
2017212678.tif 000002
【特許請求の範囲】
【請求項１】
偏光方向の異なる複数の画像を取得する取得手段と、
前記複数の画像から偏光情報を算出する算出手段と、
前記偏光情報に基づいて、ゴースト像が低減された画像を出力する出力手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記算出手段は、前記複数の偏光方向の画像の各画素の輝度値に基づいて、前記各画素の偏光方向に応じた輝度値を算出し、前記各画素の最大輝度値となる偏光方向を前記偏光情報として算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記偏光情報からゴースト像の出現している画像領域を推定する推定手段を有し、
前記出力手段は、前記画像領域においてゴースト像が低減された画像を出力することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記推定手段は、前記画像の各画素の最大輝度値となる前記偏光方向に基づいて、前記画像領域を推定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記推定手段は、前記偏光方向による各画素の色の変動が所定値より大きい領域を前記画像領域と推定することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記推定手段は、前記画像の各画素の色と高輝度光源の色の差が所定値より大きい領域を前記画像領域と推定することを特徴とする請求項３ないし５のいずれか１項に記載の画像処理装置。
【請求項７】
前記取得手段は、ＧＰＳセンサによる位置情報および時刻情報と、傾きセンサによる傾き情報と、を取得し、
前記推定手段は、前記位置情報と、前記時刻情報と、前記傾き情報と、に基づいて、高輝度光源の位置を推定し、前記高輝度光源の位置に基づいて、前記画像領域を推定することを特徴とする請求項３ないし６のいずれか１項に記載の画像処理装置。
【請求項８】
前記推定手段は、前記画像のうち所定値より大きい輝度値を有する領域に基づいて高輝度光源の位置を推定し、該高輝度光源の位置に基づいて、前記画像領域を推定することを特徴とする請求項３ないし７のいずれか１項に記載の画像処理装置。
【請求項９】
前記推定手段は、前記画像の背景領域を推定し、前記画像の輝度値から前記背景領域に応じた輝度値を減算した輝度値を算出し、該減算した輝度値に基づいて、前記画像の各画素の最大輝度値となる偏光方向を算出し、該偏光方向に基づいて、前記画像領域を推定することを特徴とする請求項３ないし８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記出力手段は、前記画像の各画素において最大輝度値となる偏光方向と直交する偏光方向の画像を前記複数の画像から選択して出力することを特徴とする請求項１ないし９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記出力手段は、前記画像の各画素において最大輝度値となる偏光方向と直交する偏光方向の画像を生成し、該生成した画像を出力することを特徴とする請求項１ないし１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記出力手段は、前記偏光情報と前記画像を形成する光学系の光学情報により推定されるゴースト光強度に基づいて、前記ゴースト像が低減された画像を生成し、該生成した画像を出力することを特徴とする請求項１ないし１１のいずれか１項に記載の画像処理装置。
【請求項１３】
撮像素子と、
請求項１ないし１２のいずれか１項に記載の画像処理装置と、を備えた撮像装置。
【請求項１４】
前記撮像素子に被写体像を形成する撮像レンズと、
入射する光の偏光状態を変更する偏光光学素子と、を有し、
前記偏光光学素子は、前記撮像レンズと前記撮像素子の間に配置されることを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記撮像素子は、画素領域ごとに異なる偏光透過軸を有する偏光子が配置されていることを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
偏光方向の異なる複数の画像を取得する取得ステップと、
前記複数の画像から偏光情報を算出する算出ステップと、
前記偏光情報に基づいて、ゴースト像が低減された画像を出力する出力ステップと、
を有することを特徴とする画像処理方法。
【請求項１７】
請求項１６に記載の画像処理方法の各ステップが記述されたコンピュータで実行可能なプログラム。
【請求項１８】
コンピュータに、請求項１６に記載の画像処理方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に偏光情報を含む画像を対象とした画像処理装置に関する。
【背景技術】
【０００２】
撮像装置により被写体を撮像する際に、被写体に太陽等の明るい光源が含まれている場合、その光源からの光が撮像光学系内で複数回反射し、意図しない反射光（ゴースト光）が撮像素子に入射してしまい、撮影画像内にゴースト像が生じることがある。特許文献１には、１回の立体撮像で得られた複数の視点画像を処理することで、ゴースト像を低減することができる立体撮像装置およびゴースト像処理方法が開示されている。
【０００３】
また、被写体からの光の偏光状態を観察することによって、被写体の所定の特徴を強調して検出できることが知られている。例えば、撮像装置における撮像光学系の物体側に偏光フィルタを配置し、透過光の偏光方向を変えながら被写体を複数回撮像する方法が知られている。この方法で得られた複数の画像を処理することで、被写体の色やコントラスト等の質感を際立たせる効果や、水面等の被写体への反射光の写りこみを強調または軽減する効果を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２０５５３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、１回の単眼立体撮像を行ってゴースト像低減処理を行うことを前提としているため、１つ（１種類）の偏光フィルタを使っても１回の単眼立体撮像で偏光状態の異なる複数の画像を取得することができない。
【０００６】
また、偏光状態の異なる複数の画像を処理する際にも、ゴースト像が処理に影響を与えたり、処理後にもゴースト像が残ってしまうなど、良好な画像が得られなくなってしまうといった課題があった。
【０００７】
そこで、本発明の目的は、偏光状態の異なる複数の画像を用いてゴースト像が低減された画像を取得することである。
【課題を解決するための手段】
【０００８】
本発明の一側面としての画像処理装置は、偏光方向の異なる複数の画像を取得する取得手段と、前記複数の画像から偏光情報を算出する算出手段と、前記偏光情報に基づいて、ゴースト像が低減された画像を出力する出力手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、偏光状態の異なる複数の画像を用いてゴースト像が低減された画像を取得することが出来る。
【図面の簡単な説明】
【００１０】
【図１】本発明の撮像装置の概略ブロック図である。
【図２】本発明の画像処理装置の概略ブロック図である。
【図３】本発明の撮像部の概略ブロック図である。
【図４】本発明の推定画素における角度θの定義を説明する図である。
【図５】本発明のゴースト像発生予想範囲を説明する図である。
【図６】本発明の方位角度φと光強度Ｉ（φ）の一例を示す図である。
【図７】本発明の実施例１の撮像装置の概略構成図である。
【図８】本発明の実施例１における方位角度φと光強度Ｉ（φ）の関係を示す図である。
【図９】本発明の実施例１の動作フローチャートである。
【図１０】本発明の実施例２の動作フローチャートである。
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１２】
図１は、本発明の画像処理装置を備える撮像装置１０００の構成を示した概略ブロック図である。
【００１３】
図１において、光学系１は、被写体像を光学的に撮像素子２上に結像させる。撮像素子２（撮影手段）は、ＣＣＤやＣＭＯＳセンサー等の光電変換素子で、光学系１を通過した被写体像を電気信号に変換して画像信号を生成する。Ａ／Ｄ変換部３は、撮像素子２が出力する画像信号をデジタルの画像信号に変換する。
【００１４】
光学系駆動部４は、後述のシステム制御部５によって制御され、光学系１を駆動し、変倍動作や合焦動作などを行う。さらに、光学系１の駆動情報をシステム制御部５に出力することができる。
【００１５】
システム制御部５は、装置全体の動作を制御、統括する制御機能部である。
【００１６】
表示部６は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイで構成され、撮像素子２で生成された画像や、メモリ部７から読み出した画像を用いて、画像を表示する。メモリ部７は、画像を記録する機能を有し、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよく、この情報記録媒体を着脱可能にしてもよい。
【００１７】
バス８は、Ａ／Ｄ変換部３、光学系駆動部４、システム制御部５、表示部６、メモリ部７、および画像処理部１０の間で情報をやり取りするために用いられる。
【００１８】
画像処理部（画像処理装置）１０は、撮像素子２により生成された画像信号を処理し、例えば、画像データに対して最適なサイズへの縮小・拡大処理を行う。また、後述するようにゴースト像を低減するための画像処理を行う。
【００１９】
以下、画像処理部１０の具体的な構成について説明する。
【００２０】
図２は、本発明の画像処理方法を実行可能な画像処理装置１０の構成を示す図である。画像処理装置１０は、画像取得手段１１と、偏光情報取得手段１２と、ゴースト像出現領域推定手段１３と、ゴースト像補正手段１４と、からなる。画像取得手段１１は、撮像素子２により生成された画像を取得可能な取得部として構成され、後述する画像処理のため、偏光状態（偏光方向）の異なる複数の画像を取得する。以下、画像取得手段１１により取得した複数の画像を単に取得画像ともいう。偏光情報取得手段１２（算出手段）は、画像取得手段１１で得られた取得画像から、画像の偏光情報を取得（算出）する。ゴースト像出現領域推定手段１３は、偏光情報取得手段１２で得られた偏光情報からゴースト像の出現している画像領域を推定する。ゴースト像補正手段１４（出力手段）は、画像取得手段１１で得られた画像のうちのいづれかを基準画像として、ゴースト像出現領域推定手段１３で得られたゴースト像出現領域（画像領域）の推定情報を基にゴースト像の補正を行う。そして、ゴースト像出現領域（画像領域）においてゴースト像が低減された画像を出力する。
【００２１】
以下、各手段の構成と機能について、詳細に示す。
【００２２】
まず、画像取得手段１１について説明する。図３は、図１に示す撮像装置の光学系１および撮像素子２からなる撮像部１００の構成を示す概略ブロック図である。以下の説明では、図３に示すように光軸方向をｚ軸、ｚ軸に垂直な２方向をそれぞれｘ軸、ｙ軸とする。
【００２３】
図３に示すように、撮像部１００は、撮像素子２に被写体像を形成する撮像レンズ１０１と、入射する光（透過光）の偏光状態を変更する偏光光学素子１０２と、偏光光学素子を通過した光を受光する撮像素子２と、を有する。偏光光学素子１０２は、図３に示すように撮像レンズ１０１と撮像素子２の間に配置される。本発明の光学系１は、フォーカスレンズ、ズームレンズ、絞り等を備える撮像レンズ１０１に加え、偏光光学素子１０２を有する。撮像部１００は、偏光光学素子１０２で透過する光の偏光方向を制御することができる。そのため、撮像素子２は、偏光光学素子１０２によって偏光状態が変えられた光を光電変換することで、偏光状態の異なる複数の画像を取得することができる。撮像素子２は、少なくとも偏光状態（偏光方向）の異なる２枚以上の画像を取得することができる。ここで、撮像素子２は、画像が取得可能なイメージセンサアレイであり、イメージセンサはＣＣＤセンサやＣＭＯＳセンサ等の固体撮像素子（光電変換素子）である。
【００２４】
なお、図３において偏光光学素子１０２と撮像素子２は異なる構成要素として描かれているが、取得方式により一体となっているものでもよい。例えば、画素領域ごとに異なる偏光透過軸を有する偏光子が周期的に配置される偏光画像センサである。
【００２５】
また、偏光光学素子１０２が透過偏光状態を変更可能である場合、透過偏光方向を変化させながら複数枚撮影することにより複数の偏光状態の異なる画像を撮像してもよい。つまり、複数の偏光状態の異なる画像は、センサ直近に偏光子アレイを有する場合のように一回の撮像で取得しても良いし、偏光光学素子を駆動させながら撮像する場合のように複数回の撮像により取得しても良い。
【００２６】
偏光光学素子１０２が、カメラに取り付けるアダプタに入っている場合などにおいては、直線偏光状態で出射するとＡＦに影響を与えることが懸念される。そのため、偏光光学素子１０２は出射時に円偏光となる構成であることが望ましい。ここで、円偏光とは、略円偏光を含む概念である。また、「略（実質的に）」とは、許容範囲内での誤差を含む概念である。例えば、偏光光学素子に偏光子を用いる場合においては、偏光子よりも撮像素子側（出射側）に１／４波長板を偏光子の透過軸方位と４５度傾けて配置することにより、出射時に円偏光とすることができる。
【００２７】
このような構成により、画像取得手段１１は、上述した撮像素子２から出力される画像を取得することで、複数の偏光状態（偏光方向）の異なる画像を取得することができる。
【００２８】
つぎに、偏光情報取得手段１２について説明する。
【００２９】
偏光情報取得手段１２は、画像取得手段１１で得られた複数の偏光状態（偏光方向）の異なる画像（撮影画像）から偏光情報を取得する。偏光情報の取得方法を図６を用いて示す。図６の○は、画像取得手段１１で得られた偏光方向が０度、４５度、９０度の撮影画像に対して、ある１画素の輝度Ｉ（０）、Ｉ（４５）、Ｉ（９０）を偏光方向に対してプロットしたものである。また、実線のカーブは３つの測定値から偏光角度φに対する輝度値Ｉの変化をフィッティングにより算出したものである。ここで、算出した輝度Ｉにおいて最大輝度値ＩＭＡＸ、最小輝度値Ｉｍｉｎ、および最大輝度値の偏光角度αとすると、偏光角度φに対する輝度値Ｉ（φ）は、次式（１）のように表わされる。
【００３０】
Ｉ（φ）＝（ＩＭＡＸ−Ｉｍｉｎ）・ｃｏｓ２（φ−α）＋Ｉｍｉｎ ・・・（１）
そのため、上記のように３つの輝度値を測定することで、各画素に対してＩＭＡＸ、Ｉｍｉｎ、αを算出し、偏光角度φに対する輝度の変化を求めることができる。このように、偏光情報取得手段１２は、複数の偏光状態（偏光方向）の画像の各画素の輝度値に基づいて、各画素の偏光方向に応じた輝度値を算出し、各画素の最大輝度値となる偏光方向（偏光情報）を算出することができる。このように、取得手段１２は、複数の画像から各画素毎に算出される１つの偏光情報（偏光方向、偏光角度）を取得する。
【００３１】
なお、図６では、３つの輝度値（３つの取得画像）から偏光情報を取得したが、本発明はこれに限定されるものではなく、４つ以上の輝度値（取得画像）に対して式（１）をフィッティングすることで偏光情報を算出してもよい。その際には、例えば最小二乗法等を使用することができる。
【００３２】
また、上述のようなフィッティングはできないものの、２枚以下の画像から偏光情報を推定してもよい。例えば、偏光方向が０度、９０度の二つの偏光状態の画像を取得する場合には、１画素の輝度Ｉ（０）、Ｉ（９０）の内、輝度の大きい方の角度を最大輝度値の偏光角度αとすることができる。
【００３３】
つぎに、ゴースト像出現領域推定手段１３について説明する。
【００３４】
ゴースト像出現領域推定手段１３は、偏光情報取得手段で得られた画素毎の最大輝度値の偏光角度αを用いてゴースト像の出現領域を推定する。まず、ゴースト像の出現領域推定に用いる、ゴースト光の性質について説明する。
【００３５】
ゴースト光の中でも、本提案ではレンズゴーストと呼ばれる結像レンズ中の複数のレンズ表面における反射を繰り返した後に撮像素子に到達するゴースト光を対象としている。反射率を考える際には、入射面内に平行な方向の偏光方位を有するＰ偏光と、入射面と直交する方向の偏光方位を有するＳ偏光の二つの成分に分けて考える。以下ではゴースト光の性質を導くため、三つの項目について説明する。
【００３６】
第一に、Ｐ偏光の反射率とＳ偏光の反射率は任意の入射角において、Ｐ偏光の反射率≦Ｓ偏光の反射率であることが知られている。そのため、複数回反射を繰り返した後に撮像素子に入射するレンズゴースト光は、Ｓ偏光の強度成分がＰ偏光の強度成分に比べ高くなる。
【００３７】
第二に、撮像レンズを構成する各単レンズの光軸が一致しているような一般の光学系においては、撮像レンズに入射した光は、複数回の透過・反射を繰り返しても入射面は同一である。ここで、入射面とは、光軸と入射点を含む平面である。そのため、ゴースト光が複数回の反射を繰り返す場合においても、Ｐ偏光成分とＳ偏光成分はレンズ入射時から撮像素子に到達するまで変化しない。
【００３８】
第三に、Ｓ偏光成分の偏光方位は、光軸と直交する平面内（以下、平面Ａ）で考えた際の入射光線と平面Ａの交点および光軸と平面Ａの交点を結んだ直線の方向に応じて決まり、該直線と直交する方向である。
【００３９】
以上の三つの性質からレンズゴースト光においては、Ｓ偏光成分の強度がＰ偏光の成分に比べ高く、Ｓ偏光成分の偏光方位は入射時から撮像素子到達時まで変わる事は無く、Ｓ偏光方位は平面Ａ内での光軸と光線とがなす方位に応じて決定されることがわかる。本提案では、上記特性を用いることによりゴースト像の出現領域を推定する。
【００４０】
以下では、光学系１における光軸と撮像素子２がなす平面との交点を中心点とする。一般の光学系においては、中心点は撮像素子の略中心となるように設計されているため、撮像素子の中心と一致する。
【００４１】
中心点と推定画素を結んだ直線と、偏光角度αを撮像素子のなす平面内で考えた場合の方向がなす角度をθとする。図４では、角度θの定義を示している。両矢印は推定画素における偏光角度αがなす方向を示しており、図内点線部は中心点と推定画素を結んだ直線を示している。θは、図４に示しているように、反時計周り方向で定義され０度以上１８０度未満の範囲を満たす。
【００４２】
この時、θが以下の範囲を満たす場合には推定画素をゴースト像出現領域であると推定する。撮影された画像のうち、全画素を下記式（２）に基づいてゴースト像が出ているか否かを判定することにより、ゴースト像出現領域を推定することが可能である。
【００４３】
９０−γ≦θ≦９０＋γ  ［度］              ・・・（２）
ここで、上記γはゴースト像判定における判定範囲を決めるパラメータである。γは０度以上９０度未満であり、撮影条件等により変更可能である。γが小さい場合には、ゴーストと判定される範囲が狭くなるため、偏光角度αが高精度に取得できる場合などに好適である。また、γが大きい場合には、ゴースト像と判定される範囲が大きくなるため、偏光角度αの取得精度があまり望めない場合や、事前情報によりゴースト像でないと思われる部分を推定を行う領域から外しておくといった処理を入れる場合に好適である。このように、ゴースト像出現領域推定手段１３は、画像における各画素の最大輝度値となる偏光方向に基づいて、ゴースト像の出現領域（画像領域）を推定することができる。
【００４４】
以下では、上記ゴースト像出現領域の推定の前に行う事前処理の例を三つ紹介する。事前処理は、ゴースト像出現領域の推定を行う領域を狭めるために行うため、ないし推定の高精度化を目指したものである。
【００４５】
（事前処理１）色情報の利用
撮像素子にカラーフィルタを備え、ＲＧＢのような複数の色に対応する輝度情報を取得する場合、以下に述べる推定手段をゴースト像出現領域推定手段の前段で設けることにより、より高精度なゴースト推定をおこなうことができる。下記の方法は、ＲＧＢの三色の色情報を取得する場合に限定されず、二色以上の任意の波長に対応する情報を取得している場合に適用可能である。
【００４６】
第一の処理としては、各画素の色情報を計算し、光源色と異なるかどうかを算出することにより、ゴースト像の推定実施範囲かどうか決定する。
【００４７】
一般に、結像レンズ内の反射を繰り返す場合においては、各レンズ表面の反射率特性によりレンズゴースト光は特定の波長成分が強くなる。それに対して、光源から出た光の直反射光を撮像している際には、概ね光源の色味と等しいと考えられる。したがって、ゴースト像と光源色の色の差を評価指標として用いて、評価指標がある閾値以上である部分をゴーストの候補領域と判定し、ゴースト像の推定実施範囲とすることが考えられる。このように、第一の処理では、画像の各画素の色と高輝度光源の色の差が所定値より大きい領域をゴースト像の出現領域（画像領域）と推定する。
【００４８】
上記の推定方法に置いて、評価指標を計算する際の色の情報としては、例えばカラー画像から計算される色度を用いることが考えられる。この場合には色度座標におけるユークリッド距離を色の差の指標として用いることができる。
【００４９】
光源色については、一般の光源の場合においては白色であるとの仮定の下、評価指標を計算してもよい。他の方法としては、画像撮影時のホワイトバランスの設定値により、基準となる光源色を計算して求める方法や、画像中に光源が存在する場合においては、高輝度部分の色を光源色情報として用いる方法が考えられる。
【００５０】
第二の処理としては、各画素の偏光方位による色の変化により推定実施範囲にするかを決定する。
【００５１】
ゴースト像が存在している画素においては、偏光方向が変化することによりゴースト強度が変化することによって、色の変化が起こることが予想される。これは、ゴースト像の色が出現領域における色と異なる場合、ゴースト光強度が偏光方向により変化するためにゴースト像出現領域においては色が偏光方向により変化すると考えられるためである。そのため、偏光方向による各画素の色変化量を計算することにより、ゴースト像が出ている可能性のある領域かを判定することが可能である。このように、第二の処理では、偏光方向による各画素の色の変動が所定値より大きい領域をゴースト像の出現領域（画像領域）と推定する。
【００５２】
色変化量については、各色の偏光方位による変動量の和や二乗和などを用いても良いし、色度座標における距離やＨＳＶ色空間といった他の色空間に変換した後の値により算出してもよい。
【００５３】
（事前処理２）高輝度光源情報の利用
高輝度光源位置の事前情報を基に、ゴースト像の推定実施範囲決定をしても良い。ゴーストの出現領域を事前に予想した場合においては、ゴースト像出現領域の推定処理を行う領域は事前に予想された領域のみとすることができるため、計算負荷の低下および誤検知を抑制することが可能である。
【００５４】
高輝度光源位置が既知の場合には、その光源が撮像される際の撮像面内位置と光軸を結んだ直線を中心とした幅のある帯状領域内に発生する。これは、光源位置からの光がゴーストを発生させるため光線を考えた時に、反射を繰り返した後も入射面は変化しないためである。ここで、光源の撮像面内位置は光源が撮像されたと仮定した場合の撮像素子がなす平面内での仮想的な位置であり、撮像素子が実際に配置されていなくてもよい。つまり、高輝度光源が撮影画像内に含まれていなくてもよい。
【００５５】
図５には、ゴーストが発生されると予想される領域を示している。図は撮像面内を示しており、四角枠内に撮像素子が配置されている。図中の×印は画像の光学系の光軸と撮像素子が交差する点である、中心点を示している。ゴースト出現予想領域の幅ｗ（帯の太さ）については、ゴースト補正時に設定してもよいし、規定の値を用いても良い。
【００５６】
高輝度光源位置の推定方法には、例えば以下の二つの方法が考えられる。第一には、屋外での撮影における高輝度光源として太陽を想定し、太陽位置の推定情報を用いる方法である。太陽位置の推定には、ＧＰＳおよび時刻情報を用いることが考えられ、撮影場所の位置および時刻情報より太陽の存在方位を推定する。ＧＰＳおよび時刻情報はカメラ内部の情報を用いても良いし、カメラと他の機器との通信により推定情報を入手してもよい。
【００５７】
カメラの撮影範囲がどの方位と対応するかについては、カメラ内部のセンサによりカメラの傾き情報を取得することが考えられる。これにより、上記光源位置の推定情報と組み合わせることにより光源の撮像面内での推定位置がわかり、ゴースト像出現予想領域を決定することができる。このように、例えば、画像取得手段１１は、偏光状態の異なる画像のみならず、ＧＰＳセンサによる位置情報および時刻情報と、傾きセンサによる傾き情報と、を取得するように構成されてもよい。それにより、第一の方法では、該位置情報、時刻情報、傾き情報に基づいて、高輝度光源の位置を推定し、該高輝度光源の位置に基づいて、ゴースト像の出現領域（画像領域）を推定することができる。
【００５８】
第二に、撮影画像内に高輝度光源がある場合を想定し、取得画像の輝度情報を基に高輝度光源位置を取得する方法である。この方法は、例えば輝度がある閾値以上の領域を抽出した後に、領域の重心位置の計算から重心位置を光源位置と推定することなどが考えられる。輝度の閾値については、予め設定された値を用いても良いし、画像の平均輝度や輝度の分散値などから決定しても良い。このように、第二の方法では、画像のうち所定値より大きい輝度値を有する領域に基づいて高輝度光源の位置を推定し、該高輝度光源の位置に基づいて、ゴースト像の出現領域（画像領域）を推定することができる。
【００５９】
上記の方法以外にも、画像補正時にユーザーが高輝度光源位置を指定し、上記のゴースト像出現予想領域推定方法を用いることもできる。ゴースト像出現予想領域の推定結果をゴースト像出現推定実施範囲とすることにより、前述のようにゴースト推定実施範囲を狭めることが可能である。
【００６０】
（事前処理３）背景成分との分離
空の写真に太陽光といった高輝度光源起因のゴースト像が存在する場合や水面部分にゴースト像が出ている場合のように、ゴースト像の出現領域には、背景の偏光成分とともにゴースト像の二つの偏光成分が足しあわされた形の偏光情報が取得される。
【００６１】
こういった場合においては、まず最大の輝度となる偏光角度αを全画素で算出した後に、最頻値やαの値が等しい領域のうち最も大きい領域のαを背景の偏光成分であると推定する。ここで、背景成分かどうかの判定に色情報や画像中のエッジ情報等を利用してもよく、背景部分を事前に推定した場合においては、以下の背景部分の輝度変化の見積もりには背景と推定された部分のみを用いる。
【００６２】
次に、背景の偏光成分αと略一致している部分の輝度変化の平均値を算出することにより、背景部分の偏光方位による輝度変化量Ｉｂ（φ）の見積もりを行う。
【００６３】
背景成分を上記手順で推定することにより、ゴースト像の推定においては、元々の輝度値情報から背景成分を除いて考えた成分を下記式（３）で求めることができる。ここで、Ｉｂ（φ）は背景部分で一定であると仮定して算出するため、推定画素によらず同じＩｂ（φ）を用いて以下の処理を行う。
【００６４】
Ｉｇ（φ）＝Ｉ（φ）−Ｉｂ（φ）                ・・・（３）
式（３）で背景成分を除いて作られた、ゴースト成分が含まれている輝度変化値Ｉｇ（φ）の値を改めて式（１）における輝度値として用いることで、ゴースト成分の偏光角度αｇを推定する。このαｇをゴースト出現領域の推定に用いることで、背景の偏光情報の影響を除いた上でゴースト像の推定を行うことが可能となる。このように、画像に空などの背景が存在する場合は、画像の背景領域を推定し、画像の輝度値から背景領域に応じた輝度値を減算した輝度値を算出する。そして、該減算した輝度値に基づいて、画像の各画素の最大輝度値となる偏光方向を算出することで、該偏光方向に基づいて、ゴースト像の出現領域（画像領域）を推定することができる。
【００６５】
色情報やエッジ情報などから、背景部分が予め推定されている場合においては、背景部分内のみにおいて式（３）に示した背景分離処理を行い、背景部分以外については、元々の取得輝度変化Ｉ（φ）をゴースト像推定に用いるものとする。
【００６６】
上記ゴースト像と背景成分の分離の前処理は、補正時に行うかを決定してもよいし、例えば既存のシーン判別処理から空を撮っていることを推定し、推定結果に応じて前処理を行うかどうかを決定してもよい。
【００６７】
以上の三つの事前処理については、必要に応じて行うかを決定してもよいし、画像処理結果から事前処理を行うか決定してもよい。また、複数の事前処理を行う場合には、処理負荷等を踏まえて任意の順序で実施してよい。
【００６８】
つぎに、ゴースト像補正手段１４について説明する。
【００６９】
ゴースト像補正手段１４は、ゴースト像出現領域推定手段の推定結果に基づいてゴースト像の補正を行う。ゴースト像の補正手段について、以下に二つの例を示す。なお、ゴースト像の補正手段については、公知の画像補正技術と組み合わせたものを用いても良い。
【００７０】
一つ目の補正手段の例としては、偏光方位がゴーストの強度が最も下がると考えられるＰ偏光に対応する偏光方位にすることで、ゴースト強度が小さい画像を生成することである。最も簡単な場合として、ゴーストの要因となる高輝度光源が一つの場合について述べる。この方法では、Ｐ偏光に対応する偏光方位の画像を生成するため、ゴースト像を完全に消すことは難しいと考えられるが、取得する偏光方位の内、最もゴーストが低減した画像を取得していたかに関わらず生成することが可能である。また、ゴースト像出現領域の補正によって、当該領域が不自然な見えになってしまうといった弊害がないため弊害の発生を抑えたい場合に有用である。
【００７１】
ゴースト像出現領域推定手段の項目で前述したように、光源の位置と光軸の方位に応じてＰ偏光方位およびＳ偏光方位は決定する。そのため、光源位置に応じて決まるゴースト像が最も低くなると考えられる偏光方位に対応する偏光方位の画像を、偏光情報を用いて生成する。
【００７２】
例えば、ゴースト像のＰ偏光方位が４５度方向である場合、４５度偏光の画像を取得している場合には、４５度偏光の画像をゴースト低減画像として出力する。このように、一つ目の補正手段によれば、ゴースト像の出現領域（画像領域）において各画素の最大輝度値となる偏光方向と直交する偏光方向の画像を取得した複数の画像から選択して出力する。４５度偏光を取得していない場合においても、複数の偏光状態の輝度から式（１）中のＩＭＡＸ、Ｉｍｉｎ、αの三つの値の算出結果からＩ（４５）を計算することが可能である。そのため、ゴースト光強度が最も低くなると考えられる偏光方位の画像を取得していない場合にも、ゴースト低減効果が最も見込める偏光方位に対応する画像を生成可能である。換言すれば、ゴースト像の出現領域（画像領域）において各画素の最大輝度値となる偏光方向と直交する偏光方向の画像を生成し、該生成した画像をゴースト低減画像として出力することができる。
【００７３】
上記のように、画像全体で同一の偏光方位とすることもできるが、例えばゴーストと推定された領域が複数あり、互いにＳ偏光方位が異なる方位である場合においては、領域毎にゴーストの低減が見込まれるＰ偏光方位の画像を生成することも考えられる。
【００７４】
次に、二つ目の補正手段の例について説明する。この方法では、ゴースト像の出現領域情報を用いて、ゴースト像の除去を行うことを目的とし、上記Ｐ偏光方位の画像においてもゴーストの影響が見られる場合などに好適である。ゴースト像の低減だけでなく、除去を目指す場合においてはゴースト像が偏光方位により輝度変化する際の最小値においても残存しているゴースト強度を推定する必要がある。
【００７５】
例えば、光学系の情報を補正時に用いる場合においてはゴーストの色味情報によりゴーストに寄与している反射面を推定し、反射面のＰＳ偏光反射率情報や透過率情報よりゴースト像の偏光方位による輝度変化を推定する。取得した偏光情報からＰ偏光時の輝度およびＳ偏光時の輝度は推定可能であるため、上記輝度推定情報とレンズ情報から推定されるＰＳ偏光の強度を用いて、Ｐ偏光時におけるゴースト光強度を推定する。これにより、上記Ｐ偏光画像の生成の後に、更にＰ偏光時のゴースト光強度分を引く処理をすることにより、ゴースト強度を含まない画像を生成することができる。このように、二つ目の補正手段によれば、取得した偏光情報と画像を形成する光学系の光学情報により推定されるゴースト光強度に基づいて、ゴースト像が低減された画像を生成し、該生成した画像をゴースト低減画像として出力することができる。
【００７６】
上記のように厳密なレンズ情報を用いない場合においても、例えばゴースト像出現領域における輝度変化の推定値（Ｉｍａｘ−Ｉｍｉｎ）を用いることにより擬似的にゴースト像の除去を狙った補正を行うことができる。例えば、ゴースト像出現領域におけるＰ偏光画像を生成した後に、（Ｉｍａｘ−Ｉｍｉｎ）の定数倍を引くといったことが考えられる。この場合には、定数の決定方法に応じて過補正となってしまう可能性もあるものの、ユーザーが補正画像を見ながら定数を調整することも可能である。
【００７７】
上記の補正手方法以外にも、ゴースト像補正手段については、公知の画像処理技術を用いてもよい。
【実施例１】
【００７８】
本発明の実施例１にかかる撮像装置を図７に示す。本発明の実施例１にかかる撮像装置１０００は、撮像レンズ１０１を備える交換レンズ１００１と、偏光光学素子１０２を備えるアダプタ１００２と、撮像素子２を備えるデジタルカメラボディ１００３と、からなる。このように、本実施例のアダプタ１００２は、偏光光学素子（偏光変調手段）１００２を備えている。また、デジタルカメラボディ１００３は、画素上にカラーフィルタが配列された固体撮像素子を持ち、カラー画像を取得する。
【００７９】
なお、実施例１ではアダプタ１００２は交換レンズ１００１とデジタルカメラボディ１００３の間に設置しているが、偏光変調手段が交換レンズ１００１より撮像素子側に設置されればよい。そのため、偏光変調手段はデジタルカメラボディ１００３内に設置してもよい。
【００８０】
ただし、アダプタ１００２が、交換レンズ１００１やデジタルカメラボディ１００３に着脱可能なマウントを備えることで、撮影条件や被写体に応じて異なる交換レンズ、デジタルカメラボディで画像の取得が可能となる。また、アダプタ１００２内の偏光変調手段はデジタルカメラ内のＡＦ（オートフォーカス）機能を阻害しないために円偏光で出射する構成となっている。これは、直線偏光子ないし同等の効果を有する偏光光学素子と１／４波長板を組み合わせることにより実現可能である。
【００８１】
ここで、偏光情報を取得するためには、画像取得装置１１は複数枚の画像を取得する必要がある。偏光変調手段が偏光子駆動や、液晶の状態変化を用いるものといった場合においては、連続して複数毎の撮像を行う必要がある。また、偏光変調手段が偏光子アレイといったものの場合においては、一枚の撮影画像から複数の偏光方位に対応する画像を生成する必要がある。
【００８２】
本実施例では、Φ＝０、４５、９０、１３５（ｄｅｇ）の４値で画像取得を行い、４つの画像から偏光情報を取得した。ここで、上記の通り取得した４つの画像は、画素毎に輝度情報を持つ。また、被写体からの反射光（すなわち、取得画像の各画素毎の輝度）は、透過偏光軸角度φの関数として、上述の式（１）で表わされる。そこで、各画像の輝度を画像取得時の透過偏光軸角度φに対してプロットし、ＩＭＡＸ、Ｉｍｉｎ、αを求めた。以下、その詳細について述べる。
【００８３】
本実施例の画像取得装置は、Ｒ、Ｇ、Ｂのカラーフィルタを備えるため、取得された画像は各画素に対してＲ、Ｇ、Ｂの輝度情報を持つ。そのため、Ｒ、Ｇ、Ｂに対してそれぞれ透過軸角度φ（Ｒ）、φ（Ｇ）、φ（Ｂ）を求めた。
【００８４】
次に各画素のφ（Ｒ）、φ（Ｇ）、φ（Ｂ）を用いてＲ、Ｇ、Ｂに対してＩＭＡＸ、Ｉｍｉｎ、αを算出した。図８はある画素の光強度を透過偏光角度φに対してプロットしたものである。また、図８の○は測定強度を示し、実線の曲線は推定された３つの係数（ＩＭＡＸ、Ｉｍｉｎ、α）をもとに算出した輝度を表す。
【００８５】
図９に、本実施例のゴースト像出現領域推定手段およびゴースト像補正手段の処理フローを示す。
【００８６】
ステップＳ１０１では、撮影された複数のカラー画像の内一枚を用いてシーン判別を行う。色情報や画像のエッジ情報などから撮影画像中に空を含んでいるかを判定する。ステップＳ１０１は、事前処理３と対応する処理を行うかどうかを判定している。
【００８７】
ステップＳ１０２では、複数の偏光方位で撮影された画像の全ての画像において、輝度が一定の閾値以上である領域が存在するかを算出することにより、画像中に高輝度光源が含まれているかを判定する。高輝度光源が含まれている場合には、ステップＳ１０３Ｂにより、画像中の高輝度光源位置からゴースト像が発生すると考えられる候補領域を抽出する。また、画像中に空を含み、高輝度光源が画像中にないと判定された場合には、ステップＳ１０３Ａにおいて、ＧＰＳ情報・時刻情報およびカメラの傾き情報を用いた太陽位置推定情報よりゴースト像が発生すると考えられる候補領域を抽出する。ステップＳ１０２、およびステップＳ１０３Ａ・Ｓ１０３Ｂは事前処理２と対応する処理である。
【００８８】
ステップＳ１０４では、ステップＳ１０１の判定結果を受けて背景である空が略一様な偏光方位を有するものと仮定し、候補領域以外の空と考えられる領域の輝度平均値を用いて背景成分の偏光方位による強度変化成分Ｉｂ（φ）を算出する。続いて、ステップＳ１０５Ａでは、ステップＳ１０３ＡまたはＳ１０３Ｂにより候補領域と判定された領域において、式（３）に基づいて背景成分を除いた強度変化成分を計算する。ステップＳ１０４およびステップＳ１０５Ａは、事前処理３と対応する処理である。
【００８９】
ステップＳ１０５Ｂでは、候補領域において輝度変化Ｉ（φ）および最大強度に対応する偏光方位角度αを算出し、ゴースト像推定処理に用いる。
【００９０】
ステップＳ１０６では、偏光方位による色変化が一定の閾値以上であるかどうかの判定により、ゴーストの可能性がある領域か否かを推定する。ステップＳ１０６は事前処理１と対応する処理である。
【００９１】
ステップＳ１０７では、ステップＳ１０６までの処理でゴーストの可能性があると判定されている領域内全画素のαｇないしαが式（２）を満たすか否かを判定することによって、各画素にゴースト像が出現しているか否かを推定する。ステップＳ１０８では、ステップＳ１０７の判定でゴーストが出現していると判定された画素においてゴーストの補正を実行する。
【００９２】
本実施例によれば、偏光状態の異なる複数の画像から取得した偏光情報を利用することにより、ゴースト像の発生領域を高精度に推定し、適切な補正をすることができる。
【実施例２】
【００９３】
第二の実施例は、光源との色の差異を見ることにより、ゴースト像出現領域の推定の高精度化を狙った処理方法を含むものである。装置の構成や大まかな処理の流れは実施例１と同一であるため、省略する。本実施例のゴースト像出現領域推定方法は、光源と色の異なるゴーストに対して特に有効なものであり、撮影画像において目立つ色味のあるゴーストを低減・除去するのに好適である。
【００９４】
図１０に、第二の実施例のゴースト像出現領域推定手段の処理フローを示す。まず第一に、ステップＳ２０１で画像内の高輝度部分の判定によって、高輝度光源が画像中に含まれるか否かの判定を行う。画像中に高輝度光源が含まれる場合には、ステップＳ２０２でゴースト像の出現領域の候補領域を高輝度光源位置から推定し、以後の処理は候補領域のみに行う。ステップＳ２０１およびステップＳ２０２は事前処理２と対応する処理である。
【００９５】
ステップＳ２０４では、候補領域以外の画素（候補領域がない場合は全画素）において、各画素の色と光源の色との差異を算出し、ある閾値以上の差異がある場合にはゴースト像の判定を行う。光源色は、高輝度光源が画像中に存在すると判定された場合においては、高輝度部の平均や中心位置の色とする。高輝度光源がない場合においては、光源色は白色と仮定する。ここでホワイトバランスを画像補正時に設定する場合においては、設定されたホワイトバランスにおける白色を光源色としてもよい。この場合には、ホワイトバランス設定後の白色は、取得画像においては色味を持つことも想定される。
【００９６】
光源色と推定画素の色の差異算出においては、４つの偏光方位の各ＲＧＢ輝度値の平均値を算出した後に、ＲＧＢ情報をＨＳＶ色空間に変換し、Ｈ成分の差異を見ることによって判定する。これにより、明るさには影響されない色成分の差異を検出可能である。
【００９７】
上記処理により光源と色味の異なる部分をゴースト像の出現している可能性のある領域であるとして、ゴースト像判定であるステップＳ２０５を行うかを決定する。ステップＳ２０４は、事前処理１と対応する処理である。
【００９８】
ステップＳ２０５では、各画素において式（２）を満たすかの判定によりゴースト像が出現しているか否かを判定し、結果に基づいてステップＳ２０６でゴースト像の補正を実行する。
【００９９】
ステップＳ２０６においては、ゴースト像の補正において交換レンズ１００１の光学情報から推定される、ゴースト像の偏光方位による強度変化情報を用いる。これにより、ゴースト像の低減だけでなく、除去を目指した高精度なゴースト像補正を行うことが可能である。
【０１００】
本実施例によれば、偏光状態の異なる複数の画像から取得した偏光情報を利用することにより、ゴースト像の発生領域を高精度に推定し、適切な補正をすることができる。
【０１０１】
以上、本発明に好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【０１０２】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【０１０３】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するための手順が記述されたコンピュータプログラム自体も本発明に含まれる。
【０１０４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【０１０５】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【産業上の利用可能性】
【０１０６】
本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。
【符号の説明】
【０１０７】
１１：画像取得手段
１２：偏光情報取得手段
１３：ゴースト像出現領域推定手段
１４：ゴースト像補正手段
【図１】
2017212678.tif 000003
【図２】
2017212678.tif 000004
【図３】
2017212678.tif 000005
【図４】
2017212678.tif 000006
【図５】
2017212678.tif 000007
【図６】
2017212678.tif 000008
【図７】
2017212678.tif 000009
【図８】
2017212678.tif 000010
【図９】
2017212678.tif 000011
【図１０】
2017212678.tif 000012