(57)【要約】  被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理装置である。光源から発せられた光を被写体に投光する投光部１０１と、被写体のカラー偏光画像を取得するカラー偏光取得部１０２と、カラー偏光画像を構成する単位画素のそれぞれについて、偏光主軸の方向が３以上の偏光子を透過した光の輝度と偏光主軸の方向との対応関係に基づいてカラー偏光情報を生成する偏光情報処理部１０４と、光源の色情報を取得する光源色情報取得部１０５と、偏光情報と光源の色情報に基づいてカラー画像の成分分離を行う画像成分分離部１０６とを備える。
2010004677.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理装置であって、
光源から発せられた直線偏光光を前記被写体に投光する投光部と、
前記被写体のカラー偏光画像を取得するカラー偏光取得部と、
前記カラー偏光画像を構成する単位画素のそれぞれについて、偏光主軸の方向が３以上の偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、
前記光源の色情報を取得する光源色情報取得部と、
前記カラー偏光情報と前記光源の色情報とに基づいて、前記画像の成分分離を行う画像成分分離部と、
を備える画像処理装置。
【請求項２】
前記カラー偏光画像からカラー画像を生成するカラー情報処理部を備え、
前記画像成分分離部は、前記カラー画像の成分分離を行う、請求項１に記載の画像処理装置。
【請求項３】
前記カラー偏光取得部は、
偏光主軸の方向が異なる３方向以上の偏光子と、
前記偏光子に対向する位置に配置されたカラーフィルタと、
前記偏光子およびカラーフィルタを透過してきた光を受ける撮像素子とを備える、請求項１に記載の画像処理装置。
【請求項４】
前記偏光情報処理部は、前記カラー偏光情報として、偏光最小カラー成分、偏光振幅カラー成分の少なくとも１つを生成する請求項３に記載の画像処理装置。
【請求項５】
前記画像成分分離部は、前記被写体の画像を構成する各画素の色ベクトルを、拡散反射成分および鏡面反射成分に分離する請求項４に記載の画像処理装置。
【請求項６】
前記画像成分分離部は、前記被写体の画像を構成する各画素の色ベクトルを、拡散反射非偏光成分、拡散反射偏光成分および鏡面反射偏光成分に分離する請求項４に記載の画像処理装置。
【請求項７】
前記画像成分分離部は、前記被写体の画像の少なくとも一部を陰影領域に分離する請求項５または６に記載の画像処理装置。
【請求項８】
前記画像成分分離部は、前記カラー偏光情報を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する請求項５または６に記載の画像処理装置。
【請求項９】
前記画像成分分離部は、前記偏光振幅カラー成分を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する請求項８に記載の画像処理装置。
【請求項１０】
前記画像成分分離部は、前記カラー画像を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する請求項５または６に記載の画像処理装置。
【請求項１１】
前記カラー偏光取得部は、前記投光部と同期処理を行う請求項１に記載の画像処理装置。
【請求項１２】
前記投光部は、カラー偏光取得部から離して配置することを特徴とする請求項３に記載の画像処理装置。
【請求項１３】
投光装置と画像処理装置とを備え、被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理システムであって、
前記投光装置は、
光源から発せられた直線偏光光を前記被写体に投光する投光部を有し、
前記画像処理装置は、
偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部と、
前記カラー偏光画像からカラー画像を生成するカラー情報処理部と、
前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、
前記光源の色情報を取得する光源色情報取得部と、
前記カラー偏光情報と前記光源色情報に基づいて、前記カラー画像の成分分離を行う画像成分分離部と、を有する画像処理システム。
【請求項１４】
投光装置と画像処理装置とを備え、被写体を撮像することによって前記被写体の画像の成分分離を行う画像分離システムであって、
前記投光装置は、
光源から発せられた直線偏光光を前記被写体に投光する投光部と、
投光を知らせる信号を前記画像処理装置へ送信する通信部を有し、
前記画像処理装置は、
前記投光を知らせる信号を前記投光装置から受信する通信部と、
偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部と、
前記カラー偏光画像からカラー画像を生成するカラー情報処理部と、
前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、
光源の色情報を取得する光源色情報取得部と、
前記光源の色情報を取得する光源色情報取得部と、
前記カラー偏光情報と前記光源の色情報に基づいて、前記カラー画像の成分分離を行う画像成分分離部と、を有する画像処理システム。
【請求項１５】
前記通信部は、投光を知らせる信号に加え、前記光源の色情報を送受信し、前記光源色情報取得部は、前記通信部から前記光源の色情報を取得する請求項１４に記載の画像処理システム。
【請求項１６】
被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理方法であって、
光源から発せられた直線偏光光を前記被写体に投光する投光ステップと、
偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得ステップと、
前記カラー偏光画像からカラー画像を生成するカラー情報処理ステップと、
前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係を用いて、受光した偏光に関するカラー情報であるカラー偏光情報を生成する偏光情報処理ステップと、
光源の色情報を取得する光源色情報取得ステップと、
前記カラー偏光情報と前記光源の色情報を利用して、前記カラー画像の成分分離を行う画像成分分離ステップとを含む画像処理方法。
【請求項１７】
被写体を撮像することによって前記被写体の画像を成分分離する画像処理装置のためのプログラムであって、
請求項１６に記載の画像処理方法に含まれるステップをコンピュータに実行させるプログラム。
【請求項１８】
パラメータ推定装置と画像合成装置とを備え、画像を合成するモデルベース画像合成装置であって、
前記パラメータ推定装置は、
被写体を撮像する画像撮像部と、
請求項１６に記載の画像処理方法によって、前記画像撮像部によって撮像された画像の成分分離を行う画像分離部と、
被写体に照射する光源の方向や位置、輝度、色、スペクトル情報の少なくとも１つを含む光源情報を推定する光源情報推定部と、
被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部と、
撮像された被写体から、前記画像分離部で分割された成分ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部と、
前記パラメータ推定部において推定された反射パラメータを保持するパラメータＤＢと、を有し、
前記画像合成装置は、
合成する画像の視点や光源情報を取得する視点・光源情報取得部と、
前記パラメータＤＢに保持されている反射パラメータを利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリング部と
を有するモデルベース画像合成装置。
【請求項１９】
パラメータ推定ステップと画像合成ステップとを備え、画像を合成するモデルベース画像合成方法であって、
前記パラメータ推定ステップは、
被写体を撮像する画像撮像ステップと、
請求項１６に記載の画像処理方法によって、前記画像撮像部によって撮像された画像の成分分離を行う画像分離ステップと、
光源の情報を推定する光源情報推定ステップと、
被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得ステップと、
撮像された被写体から、前記画像分離部で分割された成分ごとに反射モデルパラメータを推定するパラメータ推定ステップと
を含み、
前記画像合成ステップは、
合成する画像の視点や光源情報を取得する視点・光源情報取得ステップと、
前記形状情報取得ステップによって推定された反射パラメータを利用して、前記視点・光源情報取得ステップで取得された視点や光源情報に則した画像を合成するレンダリングステップと
を含むモデルベース画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に被写体の形状情報取得や画像合成の際に必要な画像分割の精度を向上するための技術に関する。
【背景技術】
【０００２】
物体の「見え」は、被写体の表面で反射した入射光が「てかり」として観測される鏡面反射成分や、物体の内部でスキャッタリングを繰り返すことによって観測される拡散反射成分など、複数の成分によって構成されていることが知られている。つまり、通常、われわれが観測している被写体の像は、被写体から複数の異なる過程によって目まで届いている種々の光成分の総和によって形成される。このような成分は、例えば「鏡面反射成分」や「拡散反射成分」である。被写体の画像を構成する各画素について、輝度を例えば「鏡面反射成分」および「拡散反射成分」に分離することができる。この場合、鏡面反射成分が支配的な画素は「鏡面反射領域」を構成する画素として取り扱われ、拡散反射成分が支配的な画素は「拡散反射領域」を構成する画素として取り扱われる。【０００３】
近年、デジタルアーカイブを目的とした情報圧縮や被写体の形状・表面材質を取得するために、画像をこのような各成分に分離する画像の成分分離手法（画像分離手法）が広く行われている（例えば、非特許文献１、非特許文献２、非特許文献３）。これは、分離した成分ごとに処理を行うことで、より高精度な処理が可能なためである。例えば、被写体の表面での反射による影響を調べたい場合、被写体内部から透過している光と、被写体表面で反射している光を分離することは、非常に重要である。画像において、画素ごとに、各成分の割合を推定し、分離する技術が画像の成分分離手法（画像分離手法）である。【０００４】
こうした画像分離を利用した技術として、特に、分離した画像を個別のモデルで表現するモデルベース画像処理という技術が広く知られている。【０００５】
モデルベースの画像合成とは、ＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）の分野で広く利用されている技術である。これは、物体の見えを、視点位置や光源位置、および被写体の法線方向の関数としてモデル化することにより、撮影時とは異なる視点位置の画像（視点変換画像）や、撮影時とは異なる光源位置の画像（光源環境変化画像）などを得るための多様な画像処理が可能である。また、モデルパラメータのみで画像を表現できるため、効率的なデータ圧縮も可能である。その一例として、画像を鏡面反射成分と拡散反射成分に分離し、鏡面反射成分はＣｏｏｋ−Ｔｏｒｒａｎｃｅモデル、拡散反射成分はＬａｍｂｅｒｔｉａｎモデルで画像をモデル化する手法が知られている。【０００６】
このように画像を鏡面反射成分と拡散反射成分に分離する手法として、さまざまな手法が知られている。特に偏光情報を利用した手法や色情報を利用した手法は、簡単な装置で鏡面反射と拡散反射を分離可能なため、広く研究されている。【０００７】
偏光情報を利用した分離手法では、直線偏光した光を被写体に投光し、カメラと被写体との間に設置した偏光フィルタを光軸に垂直な面内で回転させることにより、被写体で反射された光を鏡面反射成分と拡散反射成分とに分離する（例えば、特許文献１）。【０００８】
直線偏光フィルタの回転角度（偏光主軸角度：偏光主軸方向を規定する角度）をΦとすると、観測される各画素での輝度は、回転角度Φに対してｓｉｎ関数状に変化することが知られている。このｓｉｎ関数の振幅成分を「鏡面反射成分」、バイアス成分を「拡散反射成分」とすることで、画像の分離を行うことができる。すなわち、画像を構成する複数の画素の各々について、鏡面反射成分および拡散反射成分を定量的に求めることができる。【０００９】
しかし、この手法は、後述するように、出射角が十分に大きい（遮蔽エッジ近傍）領域では、本来存在しないはずの鏡面反射成分が検出されるという問題がある。そのため、偏光情報を利用した拡散反射成分・鏡面反射成分分離手法は十分な精度が達成できない。【００１０】
一方、色情報を利用した手法は、２色性反射モデルとして広く知られている（例えば、非特許文献４）。これは、鏡面反射成分の色ベクトルは光源色ベクトルとして観測される一方、拡散反射成分の色ベクトルは物体色ベクトルとなることを利用して、鏡面反射成分と拡散反射成分を分離するものである。一般に、光源色ベクトルは白色であることや、別の手法で観測が可能であるため、既知である。しかし、この手法は、被写体の物体色ベクトルが既知でない限り、鏡面反射成分と拡散反射成分を一意に分離することはできない。そのため、正確な鏡面反射成分と拡散反射成分の分離に利用することはできなかった。【００１１】
このような鏡面反射成分と拡散反射成分の分離精度の不十分さは、デジタルアーカイブや拡張現実の分野で用いられているモデルベースの画像合成を行う際に、大きな問題となることが知られている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平１１−４１５１４号公報
【非特許文献】
【００１３】
【非特許文献１】Ｙ. Ｓａｔｏ, Ｍ. Ｄ. Ｗｈｅｅｌｅｒ, ａｎｄ Ｋ. Ｉｋｅｕｃｈｉ, “Ｏｂｊｅｃｔ ｓｈａｐｅ ａｎｄ ｒｅｆｌｅｃｔａｎｃｅ ｍｏｄｅｌｉｎｇ ｆｒｏｍ ｏｂｓｅｒｖａｔｉｏｎ”, ＳＩＧＧＲＡＰＨ ９７, ｐｐ.３７９−３８７, １９９７
【非特許文献２】宮崎大輔，柴田卓司，池内克史，“Ｗａｖｅｌｅｔ−Ｔｅｘｔｕｒｅ法：Ｄａｕｂｅｃｈｉｅｓウェーブレットとパラメトリック反射モデルと円偏光板によるＢＴＦ圧縮，電子情報通信学会論文誌，Ｖｏｌ.Ｊ９０−Ｄ  Ｎｏ.８，ｐｐ.２０８１−２０９３，２００７
【非特許文献３】Ｔ.Ｓｈｉｂａｔａ, Ｔ.Ｔａｋａｈａｓｈｉ, Ｄ.Ｍｉｙａｚａｋｉ, Ｙ.Ｓａｔｏ, Ｋ.Ｉｋｅｕｃｈｉ, “Ｃｒｅａｔｉｎｇ Ｐｈｏｔｏｒｅａｌｉｓｔｉｃ Ｖｉｒｔｕａｌ Ｍｏｄｅｌ ｗｉｔｈ Ｐｏｌａｒｉｚａｔｉｏｎ Ｂａｓｅｄ Ｖｉｓｉｏｎ Ｓｙｓｔｅｍ”, ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ (Ｐｏｌａｒｉｚａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ ＩＩ, Ｐａｒｔ ｏｆ ＳＰＩＥ’ｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ ２００５）, Ｖｏｌ.５８８８, ｐｐ.２５−３５, ２００５
【非特許文献４】Ｓ. Ｋ. Ｎａｙａｒ, Ｘ. Ｓ. Ｆａｎｇ, ａｎｄ Ｔ. Ｂｏｕｌｔ, "Ｓｅｐａｒａｔｉｏｎ ｏｆ Ｒｅｆｌｅｃｔｉｏｎ Ｃｏｍｐｏｎｅｎｔｓ Ｕｓｉｎｇ Ｃｏｌｏｒ ａｎｄ Ｐｏｌａｒｉｚａｔｉｏｎ", Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ, Ｖｏｌ.２１, Ｉｓｓ.３, ｐｐ.１６３−１８６, １９９７
【発明の概要】
【発明が解決しようとする課題】
【００１４】
例えば、特許文献１に記載の偏光情報を用いた手法では、本来、鏡面反射成分が観測されるはずのない遮蔽エッジ近傍に鏡面反射成分が観測されるという課題があった。また、非特許文献４に記載の色情報を用いた手法では、そもそも物体色ベクトルが未知であるため、後述するように、２色性反射モデルから鏡面反射成分と拡散反射成分を一意に分離することはできなかった。【００１５】
このような問題は、近年のカメラの高ダイナミックレンジ化により、今後、さらに重要性を増してゆく。従来のカメラでは輝度のダイナミックレンジが十分に広くないため、拡散反射の偏光度が観測されることは少なかった。しかし、近年、カメラの高ダイナミックレンジ化が進んでいるため、前述のような分離精度の劣化が生じている。【００１６】
本発明は、上記課題を解決するためになされたものであり、拡散反射成分の偏光成分が存在することをも考慮に入れ、光源の色情報を利用することより精度の高い成分分離を実行する画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の画像処理装置は、被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理装置であって、光源から発せられた直線偏光光を前記被写体に投光する投光部と、前記被写体のカラー偏光画像を取得するカラー偏光取得部と、前記カラー偏光画像を構成する単位画素のそれぞれについて、偏光主軸の方向が３以上の偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、前記光源の色情報を取得する光源色情報取得部と、前記カラー偏光情報と前記光源の色情報とに基づいて、前記画像の成分分離を行う画像成分分離部とを備える。【００１８】
好ましい実施形態において、前記カラー偏光画像からカラー画像を生成するカラー情報処理部を備え、前記画像成分分離部は、前記カラー画像の成分分離を行う。【００１９】
好ましい実施形態において、前記カラー偏光取得部は、偏光主軸の方向が異なる３方向以上の偏光子と、前記偏光子に対向する位置に配置されたカラーフィルタと、前記偏光子およびカラーフィルタを透過してきた光を受ける撮像素子とを備える。【００２０】
好ましい実施形態において、前記偏光情報処理部は、前記カラー偏光情報として、偏光最小カラー成分、偏光振幅カラー成分の少なくとも１つを生成する。【００２１】
好ましい実施形態において、前記画像成分分離部は、前記被写体の画像を構成する各画素の色ベクトルを、拡散反射成分および鏡面反射成分に分離する。【００２２】
好ましい実施形態において、前記画像成分分離部は、前記被写体の画像を構成する各画素の色ベクトルを、拡散反射非偏光成分、拡散反射偏光成分および鏡面反射偏光成分に分離する。【００２３】
好ましい実施形態において、前記画像成分分離部は、前記被写体の画像の少なくとも一部を陰影領域に分離する。【００２４】
好ましい実施形態において、前記画像成分分離部は、前記カラー偏光情報を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する。【００２５】
好ましい実施形態において、前記画像成分分離部は、前記偏光振幅カラー成分を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する。【００２６】
好ましい実施形態において、前記画像成分分離部は、前記カラー画像を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する。【００２７】
好ましい実施形態において、前記カラー偏光取得部は、前記投光部と同期処理を行う。【００２８】
好ましい実施形態において、投光部は、カラー偏光取得部から離して配置することを特徴とする。【００２９】
本発明の画像処理システムは、投光装置と画像処理装置とを備え、被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理システムであって、前記投光装置は、光源から発せられた直線偏光光を前記被写体に投光する投光部を有し、前記画像処理装置は、偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部と、前記カラー偏光画像からカラー画像を生成するカラー情報処理部と、前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、前記光源の色情報を取得する光源色情報取得部と、前記カラー偏光情報と前記光源色情報に基づいて、前記カラー画像の成分分離を行う画像成分分離部とを有する。【００３０】
本発明の画像分離システムは、投光装置と画像処理装置とを備え、被写体を撮像することによって前記被写体の画像の成分分離を行う画像分離システムであって、前記投光装置は、光源から発せられた直線偏光光を前記被写体に投光する投光部と、投光を知らせる信号を前記画像処理装置へ送信する通信部を有し、前記画像処理装置は、前記投光を知らせる信号を前記投光装置から受信する通信部と、偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部と、前記カラー偏光画像からカラー画像を生成するカラー情報処理部と、前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、光源の色情報を取得する光源色情報取得部と、前記光源の色情報を取得する光源色情報取得部と、前記カラー偏光情報と前記光源の色情報に基づいて、前記カラー画像の成分分離を行う画像成分分離部とを有する。【００３１】
好ましい実施形態において、前記通信部は、投光を知らせる信号に加え、前記光源の色情報を送受信し、前記光源色情報取得部は、前記通信部から前記光源の色情報を取得する。【００３２】
本発明の画像処理方法は、被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理方法であって、光源から発せられた直線偏光光を前記被写体に投光する投光ステップと、偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得ステップと、前記カラー偏光画像からカラー画像を生成するカラー情報処理ステップと、前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係を用いて、受光した偏光に関するカラー情報であるカラー偏光情報を生成する偏光情報処理ステップと、光源の色情報を取得する光源色情報取得ステップと、前記カラー偏光情報と前記光源の色情報を利用して、前記カラー画像の成分分離を行う画像成分分離ステップとを含む。【００３３】
本発明のプログラムは、被写体を撮像することによって前記被写体の画像を成分分離する画像処理装置のためのプログラムであって、上記の画像処理方法に含まれるステップをコンピュータに実行させる。【００３４】
本発明のモデルベース画像合成装置は、パラメータ推定装置と画像合成装置とを備え、画像を合成するモデルベース画像合成装置であって、前記パラメータ推定装置は、被写体を撮像する画像撮像部と、上記の画像処理方法によって、前記画像撮像部によって撮像された画像の成分分離を行う画像分離部と、被写体に照射する光源の方向や位置、輝度、色、スペクトル情報の少なくとも１つを含む光源情報を推定する光源情報推定部と、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部と、撮像された被写体から、前記画像分離部で分割された成分ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部と、前記パラメータ推定部において推定された反射パラメータを保持するパラメータＤＢと、を有し、前記画像合成装置は、合成する画像の視点や光源情報を取得する視点・光源情報取得部と、前記パラメータＤＢに保持されている反射パラメータを利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリング部とを有する。【００３５】
本発明のモデルベース画像合成方法は、パラメータ推定ステップと画像合成ステップとを備え、画像を合成するモデルベース画像合成方法であって、前記パラメータ推定ステップは、被写体を撮像する画像撮像ステップと、請求項１６に記載の画像処理方法によって、前記画像撮像部によって撮像された画像の成分分離を画像分離ステップと、光源の情報を推定する光源情報推定ステップと、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得ステップと、撮像された被写体から、前記画像分離部で分割された成分ごとに反射モデルパラメータを推定するパラメータ推定ステップとを含み、前記画像合成ステップは、合成する画像の視点や光源情報を取得する視点・光源情報取得ステップと、前記形状情報取得ステップによって推定された反射パラメータを利用して、前記視点・光源情報取得ステップで取得された視点や光源情報に則した画像を合成するレンダリングステップとを含む。
【発明の効果】
【００３６】
本発明の画像処理によれば、偏光情報と色情報という二つの情報を利用することにより、各画素について鏡面反射成分と拡散反射成分を正確に分離して求めることが可能である。また、偏光情報と色情報という二つの情報を利用した画像の成分分離をモデルベースの画像合成手法のパラメータ推定に利用することにより、被写体に忠実な、画像を合成することが可能である。
【図面の簡単な説明】
【００３７】
【図１】本発明の第１の実施形態に係る画像処理装置におけるブロック図である。
【図２】本発明の第１の実施形態に係る画像分離方法の処理の流れを示すフローチャートである。
【図３】本発明の第１の実施形態に係る画像処理装置が搭載されたカメラの構成例である。
【図４】本発明の第１の実施形態に係るカラー偏光取得部、カラー情報処理部および偏光情報処理部Ｚの構成を示すブロック図である。
【図５】本発明のカラー偏光取得部の基本的な構成を示す模式図である。
【図６】本発明におけるカラー偏光取得部における画素配列の例を示す模式図である。
【図７】本発明におけるカラー偏光取得部における画素配列の他の例を示す模式図である。
【図８】本発明におけるＢ、Ｇ、Ｒ偏光画素の波長特性を模式的に示す模式図である。
【図９】Ｇのカラーフィルタの透過域と、偏光特性によって定まる偏光分離域との間で波長がずれている場合を示す模式図である。
【図１０】本発明における、方向が異なる偏光主軸を有する４種類の偏光子を透過した光の輝度を説明するための模式図である。
【図１１】本発明の第１の実施形態に係る画像分離方法によって画像成分分離が行なわれた結果を示す図である。
【図１２】本発明の第１の実施形態に係る画像分離方法によって画像成分分離が行なわれた結果を示す模式図である。
【図１３】図１１の画像を輝度の高低に応じて複数の領域に分けた図である。
【図１４】本発明におけるカラー情報処理部１０３および偏光情報処理部１０４の処理の流れを示すフローチャートである。
【図１５】鏡面球を利用した光源推定方法を説明するための模式図である。
【図１６】被写体の屈折率ｎ＝１．１，ｎ＝１．３，ｎ＝１．５，ｎ＝２．０の場合における鏡面反射成分の入射角に対する偏光度を示したグラフである。
【図１７】被写体の屈折率ｎ＝１．１，ｎ＝１．３，ｎ＝１．５，ｎ＝２．０の場合における拡散反射成分の出射角に対する偏光度を示したグラフである。
【図１８】特定画素における色ベクトルＩ（ｘ，ｙ）の数値例を示す図である。
【図１９】本発明の第１の本実施形態に係る画像成分分離部における成分分離基準を示した図である。
【図２０】本発明の第１の本実施形態に係る画像成分分離部における別の成分分離基準を示した図である。
【図２１】本発明の第１の実施形態に係る画像分離方法の処理の流れを示す別のフローチャートである。
【図２２】本発明の第１の本実施形態に係る画像成分分離部における別の成分分離基準を示した図である。
【図２３】本発明の第１の実施形態に係る画像分離方法の処理の流れを示す別のフローチャートである。
【図２４】本発明の第１の本実施形態に係る画像成分分離部における別の成分分離基準を示した図である。
【図２５】本発明の第１の実施形態に係る画像分離方法の処理の流れを示す別のフローチャートである。
【図２６】本発明の第１の実施形態に係る画像処理装置における別のブロック図である。
【図２７】本発明の第１の実施形態に係る画像分離方法の処理の流れを示す別のフローチャートである。
【図２８】本実施形態に係る画像処理装置が搭載されたカメラの構成例である。
【図２９】本発明の第２の実施形態に係る画像処理装置におけるブロック図である。
【図３０】本発明の第２の実施形態に係る画像分離方法の処理の流れを示すフローチャートである。
【図３１】本発明の第２の実施形態に係る画像処理装置が搭載されたカメラの構成例を示す図である。
【図３２】本発明の第２の実施形態に係る画像処理装置における別のブロック図である。
【図３３】本発明の第２の実施形態に係る画像分離方法の処理の流れを示す別のフローチャートである。
【図３４】本発明の第２の実施形態に係る画像処理装置が搭載されたカメラの別の構成例である。
【図３５】本発明に係る画像合成装置の構成例を示すブロック図である。
【図３６】本発明に係る画像合成方法におけるパラメータ推定方法の処理の流れの例を示すフローチャートである。
【図３７】本発明に係る画像合成方法における画像合成推定方法の処理の流れの例を示すフローチャートである。
【図３８】本発明の画像合成装置が搭載されたカメラの構成例を示す図である。
【図３９】法線方向ベクトル、視線ベクトル、光源方向ベクトルの関係を説明するための模式図である。
【図４０】拡散反射成分と鏡面反射成分の輝度の違いを表現するための定数Ｓｒを説明するための模式図である。
【図４１】本発明の一実施形態に係る画像合成処理における鏡面反射画像のパラメータ推定処理の流れを示す図である。
【図４２】入射照度を表す式の各パラメータを説明するための概念図である。
【図４３】シンプレックス法によるパラメータ推定処理の流れを示すフローチャートである。
【図４４】シンプレックス法におけるパラメータ更新処理の流れを示したフローチャートである。
【図４５】（ａ）は、本発明の第１の実施形態に係る画像処理装置を利用して求めた鏡面反射成分の輝度Ｉｓと中間ベクトルβの関係を示すグラフであり、（ｂ）は、被写体の画像を示す図である。
【図４６】従来手法の問題点を説明するために、従来の画像処理装置を利用して鏡面反射成分の輝度Ｉｓと中間ベクトルβの関係を求めた模式図である。
【図４７】従来の偏光情報を利用した画像分離手法を利用して作成した合成画像である。
【図４８】本発明の一実施形態に係る画像合成処理におけるパラメータＤＢに保持されているモデルパラメータを示す模式図である。
【発明を実施するための形態】
【００３８】
以下、図面を参照しながら本発明の実施形態を説明する。
【００３９】
（第１の実施形態）
まず、本発明の第１の実施形態における画像処理装置の概要について説明する。
【００４０】
図１は、本実施形態に係る画像処理装置におけるブロック図を示している。この画像処理装置は、被写体を撮像することによって前記被写体の画像の成分分離を行う装置であり、直線偏光光を前記被写体に投光する投光部１０１と、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部１０２と、カラー偏光取得部１０２で取得した画像からカラー画像を生成するカラー情報処理部１０３と、カラー偏光取得部１０２で取得した画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関するカラー情報であるカラー偏光情報を生成する偏光情報処理部１０４と、被写体を投光している光源の色情報を取得する光源色情報取得部１０５と、偏光情報処理部１０４によって生成された偏光情報と光源色情報取得部１０５によって取得された光源色情報を利用して、カラー情報処理部１０３で取得したカラー画像の成分分離を行う画像成分分離部１０６と、画像分離部１０６で生成された信号を出力する出力部とを備える。
【００４１】
本明細書において、「偏光画像」とは、特定の偏光主軸角度を有する偏光フィルタ（偏光子）を透過してきた光によって形成される画像である。複数の偏光主軸角度の各々について、異なる「偏光画像」を得ることが可能である。また、「カラー偏光画像」とは、特定の偏光主軸角度を有する偏光フィルタ（偏光子）を透過してきた光のうち、主波長が異なる複数の色の光によって形成される画像である。ある偏光主軸角度を有する偏光フィルタ（偏光子）を透過してきた光に基づいて、典型的には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラー偏光画像が得られる。カラー偏光画像が得られると、単位画素ごとにＲ、Ｇ、Ｂの輝度からなる色ベクトルが定まる。同様に、偏光フィルタを透過しない光によって形成されるカラー画像が得られると、そのカラー画像の色ベクトルも定まる。本明細書における「成分分離」とは、１つの色ベクトルを複数の色ベクトル（成分）の和として表することに対応する。
【００４２】
次に、本実施形態における画像処理の動作を説明する。図２は本実施形態に係る画像処理の動作を示すフローチャートである。図２のステップＳ１０１において、投光部１０１は、偏光光を被写体へ投光する。ステップＳ１０２において、カラー偏光取得部１０２は、パターン化偏光子およびカラーフィルタを通して被写体を撮像素子で受光することで、カラー偏光情報を含んだカラー偏光画像を取得する。パターン化偏光子は、後述するように３方向以上の偏光主軸角度（偏光透過軸の回転角度）をもつ。
【００４３】
ステップＳ１０３において、カラー情報処理部１０３は、カラー偏光取得部１０２から出力される情報を用いて、カラー画像情報を取得する。偏光情報処理部１０４は、カラー偏光取得部１０２から出力される情報を用いて、偏光情報として、後述する偏光最小カラー成分Ｉminと偏光振幅カラー成分Ｉampとを生成する（ステップＳ１０４）。また、光源色情報取得部１０５は、被写体を照射している光源の色ベクトルＩLightを取得する（ステップＳ１０５）。ステップＳ１０３、ステップＳ１０４、ステップＳ１０５の順序は任意であり、並列的に実行してもよいし、順次実行しても良い。
【００４４】
ステップＳ１０６において、画像成分分離部１０６は、偏光情報処理部１０４によって生成された偏光振幅カラー成分Ｉampを、偏光振幅光源色ベクトル成分Ｉamp1と偏光振幅偏光最小カラーベクトル成分Ｉamp2へ分離する。さらに、ステップＳ１０７において、画像成分分離部１０６は、偏光情報処理部１０４で生成された偏光振幅偏光最小カラー成分Ｉminを拡散反射非偏光成分として、偏光振幅偏光最小カラーベクトル成分Ｉamp2を拡散反射偏光成分として、偏光振幅光源色ベクトル成分Ｉamp1を鏡面反射偏光成分として成分分離を行う。
【００４５】
ここでは、カラー偏光取得部１０２、カラー情報処理部１０３、偏光情報処理部１０４、光源色情報取得部１０５および画像成分分離部１０６は、図３に示すＣＰＵ２０５がプログラムを実行することによって、実現されるものとする。ただし、これらの機能の全部または一部を、ハードウエアによって実現しても良い。また、図３に示すメモリ２０４はカラー偏光取得部１０２によって取得された情報、カラー情報処理部１０３によって取得されたカラー画像情報、偏光情報処理部１０４によって取得された偏光情報および光源色情報取得部１０５によって取得された光源色ベクトル情報を格納する。
【００４６】
次に、図３を参照しながら、本実施形態に係る画像処理装置が搭載されたカメラの構成と動作を説明する。図３は、このようなカメラの構成例を示すブロック図である。図３のカメラは、パターン化偏光子２０１、カラー撮像装置２０８、メモリ２０４、ＣＰＵ２０５、発光装置２０６、および偏光子２０７を備えている。カラー撮像装置２０８は、カラーフィルタ２０２および撮像装置２０３を備えている。
【００４７】
投光部１０１は、発光装置２０６と偏光子２０７を利用し、偏光光を被写体へ投光する。これは、例えばカメラのフラッシュを発光装置２０６として利用する場合、フラッシュの前方に偏光フィルタ（偏光子２０７）を設置することで実現できる。偏光光を利用する手段として、液晶偏光子などを利用しても良い。
【００４８】
カラー偏光取得部１０２は、パターン化偏光子２０１およびカラーフィルタ２０２を通して被写体を撮像素子で受光することで、カラー偏光情報を含んだカラー画像であるカラー偏光画像を取得する。また、カラー情報処理部１０３は、カラー偏光取得部１０２から出力される情報を用いて、カラー画像情報を計算する。さらに、偏光情報処理部１０４は、カラー偏光取得部１０２から出力される情報を用いて、偏光情報を計算する。この処理を詳述する。
【００４９】
図４は、カラー偏光取得部１０２、カラー情報処理部１０３および偏光情報処理部１０４の構成を示すブロック図である。被写体からリアルタイムにカラー画像情報と偏光画像情報を取得し、偏光情報として、非偏光成分である偏光最小カラー情報を出力する。レンズ２２０および絞り２２１を通った入射光は、カラー偏光取得部１０２に入射する。この入射光から、カラー偏光取得部１０２はカラー画像情報および偏光画像情報の両方をリアルタイムに取得することができる。カラー偏光取得部１０２からは、カラー画像情報および偏光情報を示す信号が出力され、それぞれ、カラー情報処理部１０３および偏光情報処理部１０４に与えられる。カラー情報処理部１０３および偏光情報処理部１０４は、上記信号に対して各種の処理を施し、カラー画像ｌｍ、偏光最小カラー情報Ｉminを出力する。
【００５０】
図５は、カラー偏光取得部１０２の基本的な構成を示す模式図である。図示されている例では、カラーフィルタ２０２およびパターン化偏光子２０１が、撮像素子画素２０３の前面に重ねて設置されている。またカラーフィルタとパターン化偏光子の設置の順番は任意である。入射光は、カラーフィルタ２０２およびパターン化偏光子２０１を透過して撮像素子に到達し、撮像素子画素２０３によって輝度が観測される。このように本実施形態によれば、カラーモザイク型の単板カラー撮像素子を用いてカラー情報および偏光情報の両方を取得することができる。
【００５１】
図６（ａ）は、カラー偏光取得部１０２における撮像面の一部を光軸方向の真上から見た図である。図６（ａ）には、簡単のため、撮像面のうち、１６個の画素（４×４）のみが図示されている。図示されている４つの矩形領域３０１〜３０４は、それぞれ、４個の画素セル上に設置されたベイヤ型カラーモザイクフィルタの対応部分を示している。矩形領域３０１は、Ｂ（Ｂｌｕｅ：青色）フィルタ領域であり、画素セルＢ１〜Ｂ４をカバーしている。画素セルＢ１〜Ｂ４には、それぞれ異なる偏光主軸を有するＢ用パターン化偏光子が密着している。ここで、「偏光主軸」とは、偏光子を透過する光の偏波面（透過偏波面）に平行な軸である。本実施形態では、同一色の画素内において異なる角度の透過偏波面を有する偏光子単位（微小偏光板）が隣接して配置されている。より詳細には、透過偏波面の方向が相互に異なる４種類の偏光子単位がＲ、Ｇ、Ｂの各同一色の画素内に配置されている。１つの偏光子単位は、１つ微細な偏光画素に対応している。図６（ａ）では、個々の偏光画素に対して、Ｇ１などの符号が与えられている。
【００５２】
図６（ｂ）は、Ｂ用パターン化偏光子が密着する４つの微細偏光画素に割り当てられる偏光主軸を示している。図６（ｂ）において、各微細偏光画素に記載された直線は、微小偏光板の偏光主軸方向を模式的に示している。図６（ｂ）の例では、４つの微細偏光画素が、それぞれ、角度Φｉ＝０°、４５°、９０°、１３５°の偏光主軸を有している。
【００５３】
矩形領域３０２、３０４の画素には、それぞれ、４個のＧ（Ｇｒｅｅｎ：緑色）用パターン化偏光子が密着し、矩形領域３０３の画素には、４個のＲ（Ｒｅｄ：赤色）用パターン化偏光子が密着している。図中、参照符号「３０５」で示される位置は、本撮像系における４画素を一括した仮想的な画素位置を示している。各矩形領域３０２〜３０４のパターン化偏光子も、図６（ｂ）に示すように異なる４つの偏光主軸を有する部分に分割されている。
【００５４】
図７（ａ）は、カラー偏光取得部１０２における画素配列の他の例を示す図である。この例では、４５°傾いた３×３ブロック内にＧ画素が十文字型に配置されており、Ｇ画素の周囲の４画素にＲ、Ｂが交互に配置される。図７（ｂ）は、各カラー画素の微細構造を示しており、各カラー画素は、４種類の微細偏光画素から構成されている。
【００５５】
このように本実施形態では、各カラー画素に対して、異なる偏光主軸を有する複数の微細偏光画素が包含される点に特徴を有しており、カラーモザイク配列自体は任意である。以下の説明では、個々の微細偏光画素を「偏光画素」と称することとする。
【００５６】
図８（ａ）から図８（ｃ）は、それぞれ、Ｂ、Ｇ、Ｒ偏光画素の波長特性を模式的に示すグラフである。各グラフの縦軸は透過光の強度、横軸は波長である。Ｂ、Ｇ、Ｒ用の偏光画素は、Ｂ、Ｇ、Ｒの各波長帯域においてＴＭ（Ｔｒａｎｓｖｅｒｓｅ Ｍａｇｎｅｔｉｃ Ｗａｖｅ）波を透過し、ＴＥ（Ｔｒａｎｓｖｅｒｓｅ Ｅｌｅｃｔｒｉｃ Ｗａｖｅ）波を反射（透過せず）する偏光特性を有している。ＴＭ波は、磁場成分が入射面に対して横向きの波であり、ＴＥ波は、電場成分が入射面に対して横向きの波である。
【００５７】
図８（ａ）には、Ｂ偏光画像の偏光特性４０２、４０３と、Ｂ用カラーフィルタの透過特性４０１とが示されている。偏光特性４０２、４０３は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。
【００５８】
図８（ｂ）には、Ｇ偏光画像の偏光特性４０５、４０６と、Ｇ用カラーフィルタの透過特性４０４とが示されている。偏光特性４０５、４０６は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。
【００５９】
図８（ｃ）には、Ｒ偏光画像の偏光特性４０８、４０９と、Ｒ用カラーフィルタの透過特性４０７とが示されている。偏光特性４０８、４０９は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。
【００６０】
図８（ａ）から図８（ｃ）に示すような特性は、例えば「川嶋，佐藤，川上，長嶋，太田，青木，“パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発”，電子情報通信学会２００６年総合全国大会，Ｎｏ.Ｄ−１１−５２，Ｐ５２，２００６」に記載されたフォトニック結晶を用いて実現することができる。フォトニック結晶の場合、その表面に形成された溝に平行な電場ベクトル振動面を持つ光がＴＥ波、垂直な電場ベクトル振動面を持つ光がＴＭ波となる。
【００６１】
本実施形態で重要な点は、図８（ａ）から図８（ｃ）に示すように、Ｂ、Ｇ、Ｒの透過波長帯域の各々において偏光分離特性を示すパターン化偏光子を用いることにある。
【００６２】
図９は、Ｇのカラーフィルタの透過域と、偏光特性４１０、４１１によって定まる偏光分離域との間で波長がずれている場合を示している。このような特性を示す偏光子によれば、本発明の目的とする動作を行うことはできない。
【００６３】
モノクロ輝度と偏光フィルタとを使用する場合には、偏光分離特性を示す波長域の最適化は不要であったが、カラーの画素ごとに偏光情報を取得する場合は、カラーの分離特性と偏光の分離特性と整合させる必要がある。
【００６４】
本明細書では、偏光画素における偏光主軸の方位を表示する４つの数字「１、２、３、４」と、カラーを区別するため３つの符号「Ｒ、Ｇ、Ｂ」の組み合わせ（例えば「Ｒ１」や「Ｇ１」など）を用いて、偏光画素の特性を示すこととする。偏光画素Ｒ１および偏光画素Ｇ１は、数字が同じであるため、偏光主軸の方向は一致しているが、ＲＧＢ符号が異なるため、透過する光の波長帯域が異なる偏光画素に相当している。本実施形態では、このような偏光画素の配列を、図５に示すカラーフィルタ２０２およびパターン化偏光子２０１の組み合わせによって実現している。
【００６５】
被写体の特に明るい鏡面反射部分に含まれる偏光成分や、被写体の影領域に含まれる偏光成分などを確実に取得するため、撮像素子の輝度ダイナミックレンジとビット数はなるべく大きいこと（例えば１６ｂｉｔ）が望ましい。
【００６６】
また、カラー偏光取得部１０２は投光制御部１０１と同期処理を行うことが望ましい。これは、例えば、カメラのフラッシュなどを投光部１０１として利用する場合、投光部１０１の発光タイミングの直後にカラー偏光取得部１０２は撮像を行うようにすればよい。
【００６７】
図５に示す構成によって偏光画素ごとに取得された輝度の情報は、図４の偏光情報処理部１０４で処理される。以下、この処理を説明する。
【００６８】
図１０は、方向が異なる偏光主軸（Φｉ＝０°、４５°、９０°、１３５°）を有する４種類の偏光子を透過した光の輝度５０１〜５０４を示している。ここで、偏光主軸の回転角ΦがΦｉのときにおける観測輝度をＩ（Φｉ）とする。ただし、「ｉ」は、１以上Ｎ以下の整数、「Ｎ」はサンプル数とする、図１０に示す例では、Ｎ＝４であるため、ｉ＝１、２、３、４となる。図１０には、４画素のサンプル（Φｉ，Ｉｉ（Φｉ））に対応する輝度５０１〜５０４が示されている。
【００６９】
偏光主軸の角度Φｉと輝度５０１〜５０４との関係は、正弦関数カーブによって表現される。図１０では、輝度５０１〜５０４の４点が１本の正弦関数カーブ上に位置するように記載されているが、より多くの観測輝度に基づいて正弦関数カーブを決定した場合、観測輝度の一部が正弦関数カーブ上から僅かに外れる場合もあり得る。
【００７０】
なお、本明細書における「偏光情報」とは、輝度の偏光主軸角度に対する依存性を示す正弦関数カーブにおける振幅変調度および位相情報を意味するものとする。
【００７１】
実際の処理では、図６（ａ）に示す同一カラー領域３０１〜３０４ごとに内部の４個の画素輝度をサンプルとして、パターン化偏光子の主軸角Φに対する反射光輝度Ｉを以下のように近似する。
【数１】
2010004677.tif 000003
【００７２】
ここで図８に示すようにＡ、Ｂ、Ｃは定数であり、それぞれ、偏光輝度の変動カーブの振幅、位相、平均値を表現している。（式１）は、以下のように展開できる。
【数２】
2010004677.tif 000004
【００７３】
ただし、ＡおよびＢは、それぞれ、以下の（式３）および（式４）で示される。
【数３】
2010004677.tif 000005
【数４】
2010004677.tif 000006
【００７４】
以下の（式５）を最小にするＡ、Ｂ、Ｃを求めれば、輝度Ｉと偏光主軸角Φとの関係を（式１）の正弦関数によって近似できる。
【数５】
2010004677.tif 000007
【００７５】
以上の処理で１つのカラーについて正弦関数近似のＡ、Ｂ、Ｃの３パラメータが確定する。
【００７６】
こうして、非偏光成分である偏光最小輝度Ｉminおよび偏光成分である偏光振幅輝度Ｉampを以下の式６および式７より求める。
・偏光最小輝度Ｉmin
【数６】
2010004677.tif 000008
・偏光振幅輝度Ｉamp
【数７】
2010004677.tif 000009
【００７７】
なお、本実施形態の画像処理装置は、偏光最小輝度Ｉminおよび偏光振幅輝度Ｉampを出力としているが、出力する偏光情報は、図１０の正弦関数から得られる情報であれば、他の情報の組であってもよい。例えば、偏光度画像ρ、偏光位相画像Φmax、偏光推定誤差Ｅ、正弦関数の最高輝度Ｉmaxの値と、それぞれの組み合わせを偏光情報として出力してもよい。
・偏光度ρ
【数８】
2010004677.tif 000010
・偏光位相φmax（０≦φmax≦π[ｒａｄ]）
【数９】
2010004677.tif 000011
・偏光推定誤差Ｅ
【数１０】
2010004677.tif 000012
・偏光最大輝度Ｉmax
【数１１】
2010004677.tif 000013
【００７８】
ここで、偏光度ρは、該当画素の光が偏光している程度を表し、偏光位相Φmaxは、該当画素の光の部分偏光の主軸角度を表している。また、偏光推定誤差とは、４画素のサンプルについて観測された輝度と近似によって得られた上述の正弦関数から定まる輝度との差の合計である。なお、偏光の主軸角度は０と１８０°（π）は同一である。
【００７９】
カラー情報処理部１０３は、カラー偏光取得部１０２から出力される情報を用いて、カラー輝度を計算する。偏光子を透過した光の輝度は、偏光子に入射する前の光が有する本来の輝度とは異なる。非偏光照明の場合、理論的には、偏光のすべての偏光主軸における観測輝度を平均化した値が偏光子に入射する前の光が有する本来の輝度に相当する。偏光画素Ｒ１における観測輝度をＩR1と表現すると、以下の式１２に基づいて、カラー輝度を算出することができる。
【数１２】
2010004677.tif 000014
【００８０】
以後、このようなカラー輝度を有する単位画素の集合からなる画像をカラー画像Ｉと表現する。
【００８１】
各偏光画素における輝度を得ることにより、通常のカラーモザイク画像を生成できる。モザイク画像に基づいて各画素でＲＧＢ画素値を有するカラー画像へ変換することにより、カラー画像Ｉが生成される。このような変換は、例えばベイヤーモザイク補間方法などの公知の補間技術を用いて実現される。
【００８２】
この手法を用いることにより、偏光情報である偏光最小輝度Ｉminおよび偏光振幅輝度Ｉampとは別に、ＲＧＢの３つの輝度からなる色ベクトルによって表現される「カラー情報」として、偏光最小カラー成分Ｉminおよび偏光振幅カラー成分Ｉampを取得することができる。また、このとき、カラー画像Ｉとカラー情報との間には、以下の関係が成立する。
【数１３】
2010004677.tif 000015
【００８３】
図１１（ａ）は、グレープフルーツ（被写体）のカラー画像Ｉ(ｘ，ｙ）の輝度のみを示す図である。図１１（ｂ）および図１１（ｃ）は、それぞれ、図１１（ａ）の被写体に関する偏光最小輝度Ｉmin（ｘ、ｙ）および偏光振幅輝度Ｉamp（ｘ，ｙ）の画像の例を示している。本来、これらの画像はカラー画像であるが、モノクロ化されている。また、図１２は、図１１の各図を模式的に示した図（濃淡を明瞭化した図）である。この図において、各領域（Ａ０１〜Ｂ０６）は、図１３における各領域に対応する。
【００８４】
カラー画像Ｉ(ｘ，ｙ）や、各画素の輝度および偏光情報は、図６（ｂ）に示す４つの偏光画素を用いて得られるため、個々の輝度および偏光情報は、図６（ｂ）に示す４つの偏光画素の中心に位置する仮想画素点３０５における値を示していると考えることができる。したがって、カラー画像および偏光画像の解像度は、いずれも、撮像素子の解像度の縦１／２×横１／２に低下する。
【００８５】
しかしながら、本実施形態では、図６や図７に示すように、１色のカラーモザイク画素内に複数の微細な偏光子が存在するため、微細画像にて４分割しないカラーモザイク画素を用いる場合の解像度と比較した場合には同等の解像度である。
【００８６】
次に、図１４を参照しながら、図１におけるカラー情報処理部１０３および偏光情報処理部１０４の動作を説明する。
【００８７】
まず、最初にカラー偏光取得部１０２にてカラー画像と偏光情報画像をリアルタイムに取得する。ステップＳ２０１〜Ｓ２０３において、カラー画像のＲ、Ｇ、Ｂの各画素における複数の偏光輝度の観測値を取得する。ステップＳ２０１〜Ｓ２０３の順序は任意であり、並列的に実行されてもよい。具体的には、Ｒ、Ｇ、Ｂのカラーモザイク画素内で４種類の偏光輝度を取得する。偏光輝度を示す信号は、偏光情報処理部１０４に送られ、ステップＳ２０４〜Ｓ２０８において、以下のように処理される。
【００８８】
すなわち、ステップＳ２０４〜Ｓ２０６の各々において、Ｒ画素、Ｇ画素、Ｂ画素の各々から得られる変動輝度に基づいて、正弦関数パラメータを算出する。正弦関数パラメータは、前述の式１におけるＡ、Ｂ、Ｃで規定される。ステップＳ２０４〜Ｓ２０６の処理も、互いに独立しているため、任意の順序で行うことができ、並列的に実行されてもよい。つぎに、ステップＳ２０７において、偏光情報処理部１０４は、正弦関数の最小輝度と振幅成分を求めることにより、非偏光成分である偏光最小輝度Ｉminおよび偏光成分である偏光振幅輝度Ｉampを生成する。
【００８９】
その後、カラー情報処理部１０３により、ステップＳ２０８の処理が実行される。具体的には、前述の式１２を用いて、Ｒ、Ｇ、Ｂの平均輝度が求められ、カラー輝度画像Ｉ（ｘ，ｙ）が生成される。
【００９０】
なお、本実施形態では、パターン化偏光子にフォトニック結晶を用いているが、偏光素子は、フィルム型の偏光素子、ワイヤーグリッド型、その他の原理による偏光素子であってもよい。
【００９１】
カラー画像を取得するために、カラーフィルタを利用するのではなく、フォビオン素子などを利用しても良い。この場合、図３の本実施形態に係る画像処理装置が搭載されたカメラの構成例は、カラーフィルタ２０２および撮像装置２０３をカラー撮像装置２０８とする構成となる。
【００９２】
光源色情報取得部１０５は、被写体を照射している光源の色情報を取得する。被写体を照射している光源が、投光部１０１による発光装置２０６のみである場合、光源の色情報は既知である。これは、発光装置２０６の色情報を、画像処理装置のメモリ２０４に保持しておき、光源色情報取得部１０５は、メモリ２０４から光源色情報を呼び出すようにすればよい。また、投光部１０１による発光装置２０６以外の光源が被写体を照射している場合、光源色情報取得部１０５は、例えば、被写体近傍に光源情報を推定するための形状・表面反射率既知のターゲットを配置し、カラー撮像装置２０８によって撮像したその画像から色情報を推定すればよい（例えば、「神原誠之，横矢直和，"光源環境の実時間推定による光学的整合性を考慮したビジョンベース拡張現実感"，電子情報通信学会技術研究報告，パターン認識・メディア理解，ＰＲＭＵ２００２−１９０，ｐｐ. ７−１２，２００３」）。この処理について詳述する。
【００９３】
光源色情報の取得は、例えば図１５に示した鏡面とみなせる球６０１を利用して行う。鏡面球６０１を被写体近傍に設置し、その位置や法線方向は既知とする。この鏡面球６０１をカラー偏光取得部１０２によって撮像し、カラー情報処理部１０３でカラー画像を取得する。このとき、鏡面球６０１には、撮影環境が映り込んでいる。光源は輝度が高いことを考慮すると、撮影された鏡面球の画像から、高輝度の画素を鏡面反射画素として検出する。鏡面の反射率も既知であるため、鏡面反射画素の色情報を検出することにより、光源の色ベクトル情報を取得できる。
【００９４】
このようなターゲットを常に撮影するのではなく、以前に撮影して求めた光源色情報を使うようにしても良い。これは、屋内の監視カメラのように光源環境が変わらない場合に有効である。このような場合、カメラを設置した際にターゲットを撮影し、光源情報を取得するようにすればよい。光源は白色であると仮定して、処理を行うようにしても良い。これは、蛍光灯照明下で撮像する場合や、昼間、屋外で撮影する場合に有効である。
【００９５】
画像成分分離部１０６は、偏光情報処理部１０４によって生成された偏光情報と光源色情報取得部１０５によって取得された光源色ベクトル情報を利用して、カラー情報処理部１０３によって取得されたカラー画像に対して成分分離を行う。
【００９６】
まず、従来の偏光情報を利用した偏光情報を利用した分離手法（例えば、特許文献１）とその問題点について説明する。この手法は、偏光情報処理部１０４で取得された偏光最小輝度Ｉminを拡散反射成分、偏光振幅輝度Ｉampを鏡面反射成分と分離するものである。
【００９７】
この手法は、以下の通り、鏡面反射と拡散反射の偏光特性の違いに依存している。
・鏡面反射成分は表面反射によって生じるため、入射光の偏光特性が保持されている。そのため、カメラで観測された輝度の偏光成分として観測される。
・拡散反射はスキャッタリングを繰り返しているため、入射光の偏光特性が失われている。そのため、カメラで観測された輝度の非偏光成分として観測される。
これらの偏光特性は、以下の２条件を前提としている。
（条件１）直線偏光光が投光されている場合、鏡面反射成分は偏光成分として観測される。
（条件２）直線偏光光が投光されている場合、拡散反射成分は非偏光成分として観測される。
【００９８】
従来の成分分離法によれば、図１１（ｂ）の画像が拡散反射成分を示すものとして扱われ、図１１（ｃ）の画像が鏡面反射成分を示すものとして扱われる。しかし、図１１（ｃ）に示されるように、出射角が十分に大きい（遮蔽エッジ近傍）領域では、本来存在しないはずの鏡面反射成分が検出されている。このことから、偏光情報を利用した拡散反射成分・鏡面反射成分分離手法は十分な精度が達成できないと判断できる。
【００９９】
このような問題は、拡散反射成分の一部が偏光し、（条件２）が満たされないために生じる。以下、このことについて、詳述する。
【０１００】
図１６、図１７は被写体の屈折率ｎ＝１．１、ｎ＝１．３、ｎ＝１．５、ｎ＝２．０の場合における鏡面反射成分と拡散反射成分の偏光度を示したグラフである（例えば、Ｌ. Ｂ. Ｗｏｌｆｆ ａｎｄ Ｔ. Ｅ. Ｂｏｕｌｔ， “Ｃｏｎｓｔｒａｉｎｉｎｇ ｏｂｊｅｃｔ ｆｅａｔｕｒｅｓ ｕｓｉｎｇ ａ ｐｏｌａｒｉｚａｔｉｏｎ ｒｅｆｌｅｃｔａｎｃｅ ｍｏｄｅｌ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ.１３，Ｎｏ.７，ｐｐ.６３５−６５７，１９９１参照）。
【０１０１】
ここで、図１６の横軸は入射角、縦軸は鏡面反射成分偏光度、また、図１７の横軸は出射角、縦軸は拡散反射成分偏光度を示している。この図は、被写体表面へ非偏光光を投光した場合、出射光や反射光はどの程度、偏光するかを示している。つまり、偏光度が０に近いほど出射光（反射光）は非偏光となり、偏光度が１に近いほど直線偏光に近づく。この図から、以下のことがわかる。
・出射角が十分に大きい領域以外では、拡散反射成分の偏光度は十分小さい。
・出射角が十分に大きい領域では、拡散反射成分の偏光度は、鏡面反射成分の偏光度に比べて十分に大きい。
【０１０２】
ここで、（条件２）に着目する。（条件２）が成立するためには、少なくとも、非偏光光が投光されている場合には、出射光が非偏光とならなければいけない。すなわち、偏光度は十分小さくなければいけない。このことを考慮すると、以下のことが推測される。
・出射角が十分に大きい領域（遮蔽エッジ近傍）では、（条件２）が成立しない。
【０１０３】
これが、図１１（ｂ）および図１１（ｃ）において、鏡面反射成分と拡散反射成分の分離が正確に作用しなかった大きな原因である。
【０１０４】
本実施形態における画像成分分離部１０６は、色情報を利用することにより、上記問題を解決する。以下、本実施形態における画像成分分離部１０６について詳述する。
【０１０５】
まず、色情報による鏡面反射成分と拡散反射成分を分離で広く使われている、２色性反射モデルについて説明する。
【０１０６】
２色性反射モデルでは、画素（ｘ，ｙ）で観測されるカラー画像における被写体の色ベクトルＩ（ｘ，ｙ）は、次式のように分解できる。
【数１４】
2010004677.tif 000016
【０１０７】
ここで、ＩLightは光源の色ベクトル、ＩObject（ｘ，ｙ）は画素（ｘ，ｙ）での物体色ベクトルを示している。色ベクトルとは、Ｒ、Ｇ、Ｂ各色の輝度をベクトルとして表現した、３次元ベクトルである。また、Ｃ’１（ｘ，ｙ）およびＣ’２（ｘ，ｙ）は光源色ベクトルと物体色ベクトルの重みを示している。この式から、画素（ｘ，ｙ）での鏡面反射成分Ｉs（ｘ，ｙ）および拡散反射成分Ｉd（ｘ，ｙ）は、次式のように分離できることがわかる。
【数１５】
2010004677.tif 000017
【数１６】
2010004677.tif 000018
【０１０８】
しかし、従来の色情報による鏡面反射成分・拡散反射成分分離手法では、物体色ベクトルが未知であるため、式１４のような成分分離を行うことができなかった。そこで、本実施形態における画像成分分離部１０６では、物体色ベクトルとして、偏光情報処理部１０４から求めた偏光最小カラー情報Ｉminを利用することで、この問題を解決する。
【０１０９】
前述のように、偏光情報による鏡面反射成分・拡散反射成分分離手法では、直線偏光光が投光されている場合であっても、遮蔽エッジ近傍では、拡散反射成分は非偏光成分としてのみ観測されるだけではなく、偏光成分としても観測される。しかし、非偏光成分は拡散反射成分であると考えられるため、式６によって求められた偏光最小カラー情報Ｉminは物体色ベクトルに等しいと考えられる。そこで、本実施形態における画像成分分離部１０６は、以下の式を利用することで、鏡面反射成分と拡散反射成分を分離する。
【数１７】
2010004677.tif 000019
【０１１０】
ここで、カラー画像Ｉ（ｘ，ｙ）は、２倍された偏光振幅カラー成分Ｉampと偏光最小カラー情報Ｉminとの和であることを利用している。つまり、画像成分分離部１０６は、偏光振幅カラー成分Ｉampを光源色ベクトル成分と偏光最小カラーベクトル成分に分離する。この処理を行うことにより、画像成分分離部１０６は、カラー画像Ｉ（ｘ，ｙ）を、式１７にしたがい、以下のように偏光振幅光源色ベクトル成分Ｉamp1（ｘ，ｙ）および偏光振幅偏光最小カラーベクトル成分Ｉamp2（ｘ，ｙ）および偏光最小カラー成分Ｉmin（ｘ，ｙ）へ分離する。
【数１８】
2010004677.tif 000020
【０１１１】
図１８（ａ）は、被写体の位置（ｘ，ｙ）＝（５１４，４３２）、（７８０，３３０）、（５２８，３９４）における画素の色ベクトルＩ（ｘ，ｙ）の数値例を示している。図１８（ａ）に示すように、位置（ｘ，ｙ）＝（５１４，４３２）、（７８０，３３０）における画素の色ベクトルＩ（ｘ，ｙ）は、Ｉamp1（ｘ，ｙ）＋Ｉamp2（ｘ，ｙ）＋Ｉmin（ｘ，ｙ）で表されている。
【０１１２】
一方、鏡面反射領域内の位置（ｘ，ｙ）＝（５２８，３９４）における色ベクトルＩ（ｘ，ｙ）は、画像内で最も輝度が高い。そのため、後述するように、（ｘ，ｙ）＝（５２８，３９４）の色ベクトルを光源の色ベクトルＩLightとして推定する。
【０１１３】
後述する方法によって画像の成分分離を行うと、画素ごとにＩ（ｘ，ｙ）をＩamp1（ｘ，ｙ）、Ｉamp2（ｘ，ｙ）、およびＩmin（ｘ，ｙ）に分離することができる。図１８（ｂ）に例として示す位置（ｘ，ｙ）＝（５１４，４３２）の画素におけるＩamp1（ｘ，ｙ）、Ｉamp2（ｘ，ｙ）、およびＩmin（ｘ，ｙ）は、それぞれ、［７２６９，７１３２，６５０５］、［４１５１，１７０５，８２１］、および［１１８４５，４８６５，２３４５］である。なお、［］内の３つの数値は、前述したように、Ｒ、Ｇ、Ｂ各色の輝度である。同様に、位置（ｘ，ｙ）＝（７８０，３３０）の画素におけるＩamp1（ｘ，ｙ）、Ｉamp2（ｘ，ｙ）、およびＩmin（ｘ，ｙ）は、それぞれ、［３７，３７，３３］、［１４５５，５３０，２４４］、および［４２０７，１５３２，７０６］である。
【０１１４】
ここで、色ベクトルはＲＧＢの３次元ベクトルであることに着目すると、偏光振幅カラー成分Ｉamp(ｘ，ｙ）は以下のように表現される。
【数１９】
2010004677.tif 000021
【０１１５】
ただし、Ｒamp(ｘ，ｙ）、Ｇamp (ｘ，ｙ）、Ｂamp (ｘ，ｙ）は、偏光振幅カラー成分Ｉamp（ｘ，ｙ）のＲ成分、Ｇ成分、Ｂ成分であり、ＲLight、ＧLight、ＢLightは、光源色ベクトルＩLightのＲ成分、Ｇ成分、Ｂ成分である。また、Ｒmin(ｘ，ｙ）、Ｇmin (ｘ，ｙ）、Ｂmin (ｘ，ｙ）は、偏光最小カラー成分Ｉmin（ｘ，ｙ）のＲ成分、Ｇ成分、Ｂ成分である。
【０１１６】
式１９において、被写体の色ベクトルＩ（ｘ，ｙ）はカラー画像処理部１０３から求まっている。光源色ベクトルＩLightは、光源色情報取得部１０５より既に求まっている。また、偏光最小カラー情報Ｉmin（ｘ，ｙ）は、偏光情報処理部１０４より既に求まっている。したがって、式１９において、方程式の数は３であるのに対し、未知数はＣ１（ｘ，ｙ）およびＣ２（ｘ，ｙ）の２つである。そのため、式２０は最小自乗法を利用することにより、次式よりＣ１（ｘ，ｙ）およびＣ２（ｘ，ｙ）を求めることができる。
【数２０】
2010004677.tif 000022
【０１１７】
画像成分分離部１０６は、偏光情報処理部１０４および画像成分分離部１０６によって分離された各成分を、さらに、図１９の成分分離基準に従い、各成分の成分分離を行う。
【０１１８】
本実施形態における画像分離方法によって分離された「拡散反射非偏光成分」、「拡散反射偏光成分」、および「鏡面反射偏光成分」は、それぞれ、図１１（ｂ）、図１１（ｄ）、および図１１（ｅ）に示される通りである。すなわち、図１１（ｂ）は「拡散反射非偏光成分」である偏光最小カラー画像Ｉmin(ｘ，ｙ）、図１１（ｄ）は「拡散反射偏光成分」である偏光振幅偏光最小カラーベクトル成分Ｉamp2（ｘ，ｙ）、図１１（ｅ）は「鏡面反射偏光成分」である偏光振幅光源色ベクトル成分Ｉamp1（ｘ，ｙ）を示している。
【０１１９】
従来の偏光情報を利用した鏡面反射成分・拡散反射成分分離方法では、図１１（ｃ）のＩamp（ｘ，ｙ）を「鏡面反射成分」、図１１（ｂ）のＩmin(ｘ，ｙ）を「拡散反射成分」として分離してしまう。そのため、前述のように、出射角が十分に大きい（遮蔽エッジ近傍）領域では、本来存在しないはずの鏡面反射成分が検出されるという問題が生じるが、本実施形態の画像分離方法では、そのような問題は生じない。
【０１２０】
なお、光源色情報取得部１０５は、カラー情報処理部１０３および偏光情報処理部１０４が取得した被写体の情報を利用して、光源の色情報を取得するようにしても良い。前述のように、２色性反射モデルでは、被写体の色ベクトルＩ（ｘ，ｙ）は、光源の色ベクトルに等しい鏡面反射成分と、物体色ベクトルを有する拡散反射成分に分離される。
【０１２１】
鏡面反射成分が非常に大きくなる正反射領域では、拡散反射成分が無視できると考えられる。また、画像中で最も輝度の高い画素は、正反射領域と仮定すると、この画素の色ベクトルは光源の色ベクトルに等しいと考えられる。そこで、光源色情報取得部１０５は、カラー情報処理部１０３が取得したカラー画像情報において、最も輝度の高い画素の検出し、その画素の色ベクトルを光源の色ベクトルとして推定する。例えば図１８（ａ）に示す例では、位置（ｘ，ｙ）＝（５２８，３９４）が最も輝度の高い画素である。そのため、この画素のＩ（ｘ，ｙ）を光源色ベクトルとして推定することが可能である。
【０１２２】
光源色情報取得部１０５は、カラー情報処理部１０３および偏光情報処理部１０４が取得した、偏光最小輝度Ｉmin、または、偏光振幅輝度Ｉampにおいて、最も輝度の高い画素の検出し、その画素の偏光最小輝度Ｉminまたは、偏光振幅輝度Ｉampの色ベクトルを光源の色ベクトルとして推定するようにしてもよい。
【０１２３】
画像成分分離部１０６は、カラー画像を拡散反射非偏光成分、拡散反射偏光成分、および鏡面反射偏光成分に分離するのではなく、例えば、拡散反射成分および鏡面反射成分に分離するようにしても良い。これは、式１７を以下のように変形すればよい。
【数２１】
2010004677.tif 000023
【０１２４】
これは、式１８で求めた偏光振幅偏光最小カラーベクトル成分Ｉamp2（ｘ，ｙ）と偏光最小カラー成分Ｉmin（ｘ，ｙ）を統合すればよい。
【０１２５】
図２０は、この場合の成分分離基準を示した図である。また、図２１は本実施形態に係る画像分離方法の処理の流れを示すフローチャートである。図２１において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。なお、図２１に示す例では、最も輝度の高い画素の検出し、その画素の色ベクトルを光源の色ベクトルとして推定する。
【０１２６】
この例において、画像成分分離部１０６は、偏光情報処理部１０４で生成された偏光最小カラー成分Ｉminを拡散反射非偏光成分、および、偏光最小カラー成分Ｉminによって生成された偏光振幅偏光最小カラーベクトル成分Ｉamp2を拡散反射成分、偏光振幅光源色ベクトル成分Ｉamp1を鏡面反射成分として成分分離を行う（ステップＳ１０８）。
【０１２７】
本実施形態の画像成分分離方法によれば、図１１（ｅ）が「鏡面反射成分」、図１１（ｆ）が「拡散反射成分」を示している。画像成分分離部１０６は、偏光振幅カラー成分Ｉampを光源色ベクトル成分と偏光最小カラーベクトル成分に分離するのではなく、カラー偏光取得部１０２で取得したカラー画像を、光源色ベクトル成分と偏光最小カラーベクトル成分に分離しても良い。図２２は、この場合の成分分離基準を示した図である。また、図２３は本実施形態に係る画像分離方法の処理の流れを示すフローチャートである。図２３において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１２８】
図２３において、偏光情報処理部１０４は、カラー偏光取得部１０２から出力される情報を用いて、偏光情報として、偏光最小カラー成分Ｉminを生成する（ステップＳ１１３）。ここで、ステップＳ１０３とステップＳ１１３の順序は任意であり、並列的に実行してもよいし、順次実行しても良い。光源色情報取得部１０５は、被写体を照射している光源の色ベクトルＩLightを取得する（ステップＳ１０５）。光源の色ベクトルは、前述した種々の方法を用いて取得することができる。
【０１２９】
画像成分分離部１０６は、カラー情報処理部１０３によって取得されたカラー画像Ｉを、カラー画像光源色ベクトル成分Ｉ１とカラー画像偏光最小カラーベクトル成分Ｉ２へ分離する（ステップＳ１１４）。さらに、画像成分分離部１０６は、カラー画像偏光最小カラーベクトル成分Ｉ２を拡散反射非偏光成分、カラー画像光源色ベクトル成分Ｉ１を鏡面反射成分として成分分離を行う（ステップＳ１１５）。
【０１３０】
画像成分分離部１０６は、陰影を考慮した画像分離を行っても構わない。これは、陰影では、多重反射などの影響により、光線が複雑になり、偏光情報の信頼性が失われるため、陰影領域では画像分離精度が劣化すると考えられるためである。
【０１３１】
図２４は、この場合の成分分離基準を示した図である。また、図２５は本実施形態に係る画像分離方法の処理の流れを示すフローチャートである。図２５において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１３２】
画像成分分離部１０６は、まず、画素が陰影であるかどうかを推定するため、画素の輝度が閾値以下か否かを判定する（ステップＳ１０９）。陰影領域は輝度が低いため、カラー情報処理部１０３で求めたカラー画像の輝度が閾値以下の画素を陰影と判断することができる。閾値の大きさは実験的に決定すればよく、例えば、１６ビットモノクロ画像に対しては、２５６を設定すればよい。また、陰影を検出するための輝度としては、偏光情報処理部１０４で取得した、偏光最大輝度Ｉmaxや偏光最小輝度Ｉmin、または偏光最大輝度Ｉmaxと偏光最小輝度Ｉminの平均値や重み付け和（例えば、Ｉmax＋Ｉmin やＩmax＋２・Ｉmin）などを利用するようにしても良い。特に、Ｉmax＋Ｉminは、直線偏光光源下において、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、Ｉmax＋Ｉminを利用して画像処理を行うことで、通常の偏光を利用しない場合と同様の処理を行うことができる。また、偏光最小輝度Ｉminを利用した場合、輝度が非常に高くなり、白とびが生じる可能性の高い鏡面反射成分の影響を小さくすることができるため、非常に有効である。画素の輝度が閾値より小さかった場合（ステップＳ０１０９でＹｅｓ）、画素は陰影成分であると判断し（ステップＳ１１０）、処理を終了する。
【０１３３】
一方、画素の輝度が閾値以上であった場合（ステップＳ１０９でＮｏ）、画素は陰影ではないと判断し、画像成分分離部１０６は、前述の通り、偏光振幅カラー成分Ｉampを偏光振幅光源色ベクトル成分Ｉamp1と偏光振幅偏光最小カラーベクトル成分Ｉamp2に成分分離を行い（ステップＳ１０６）、偏光情報処理部１０４で生成された偏光最小カラー成分Ｉminを拡散反射非偏光成分、偏光振幅偏光最小カラーベクトル成分Ｉamp2を拡散反射偏光成分、偏光振幅光源色ベクトル成分Ｉamp1を鏡面反射偏光成分として成分分離を行う（ステップＳ１０７）。
【０１３４】
発光装置２０６は、撮像装置２０３からできる限り離して配置することが望ましい。発光装置２０６が撮像装置２０３の近傍に存在する場合、鏡面反射成分が観測される領域は、入射角が０度近傍の領域となる。これは、鏡面反射成分は、正反射領域近傍で観測されるためである。しかし、入射角が０度近傍の領域では、図１６より、鏡面反射成分がほとんど偏光しない。そのため、偏光最小輝度Ｉmin(ｘ，ｙ）には多くの鏡面反射成分が含まれることになり、画像生成分離部１０６による画像成分分離精度が低下してしまうためである。
【０１３５】
図２６は、本実施形態に係る画像処理装置の他の構成例を示すブロック図である。これは、カラー情報処理部１０３および偏光情報処理部１０４が取得した被写体の情報を利用して、光源色情報取得部１０５が光源の色情報を取得する処理に対するブロック図である。図２６において、図１と共通の構成要素には、図１と共通の符号を付しており、ここではその詳細な説明は省略する。また、図２７は、本実施形態に係る画像分離方法の処理の流れを示すフローチャートである。図２７において、図２と共通のステップには、図２と共通の符号を付しており、ここではその詳細な説明は省略する。図２との違いは、図２では、ステップＳ１０３とステップＳ１０４とステップＳ１０５の順序が任意であったが、図２７では、ステップＳ１０３とステップＳ１０４のみ順序が任意であることである。ステップＳ１０３とステップＳ１０４は、並列的に実行してもよいし、順次実行しても良い。
【０１３６】
なお、本実施形態では、パターン化偏光子２０１にフォトニック結晶を用いているが、パターン化偏光子を利用せず、撮像装置のレンズ前に装着した偏光板を回転させながら撮影することで、時系列的に偏光主軸の異なる輝度を取得するようにしても良い。この方法は、例えば、特開平１１−２１１４３３号公報に開示されている。この場合、動く被写体やカメラが運動している際には、画像処理で広く行なわれている、被写体のトラッキング技術を利用すればよい（例えば、Ｊｉａｎｂｏ Ｓｈｉ ａｎｄ Ｃａｒｌｏ Ｔｏｍａｓｉ，“Ｇｏｏｄ Ｆｅａｔｕｒｅｓ ｔｏ Ｔｒａｃｋ”， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ, ｐａｇｅｓ ５９３−６００, １９９４）。
【０１３７】
カラー偏光取得部１０２はカラー画像情報と偏光情報を同一の撮像装置２０３で取得するのではなく、個別の撮像装置で取得するようにしても良い。図２８は、カラー画像情報と偏光情報を別々の撮像素子２０３および２０３−２によってカラー偏光取得部１０２を構成した場合の本実施形態に係る画像処理装置画像処理装置が搭載されたカメラの構成例を示している。この場合、ビームスプリッタなどを利用して、２つの撮像装置２０３および２０３−２の光軸が等しくなるようにすることが望ましい。
【０１３８】
以上のように、本発明の画像分離方法を利用することで、偏光情報と色情報を利用した画像分離を行うことができる。このような画像分離は、拡散反射成分の偏光成分も考慮にいれた鏡面反射成分と拡散反射成分の分離を行うこともできる。
【０１３９】
（第２の実施形態）
図２９は、本実施形態に係る画像分離システムにおけるブロック図を示している。図２９において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。第１の実施形態との違いは、投光装置１０７と画像処理装置１０８を分離させたことである。また、図３０は本実施形態に係る画像処理装置における、画像分離方法の処理の流れを示すフローチャートである。図３０において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。さらに、図３１は、本実施形態に係る画像処理装置１０８が搭載されたカメラと投光装置１０７の構成例を示している。図３１において、図３と共通の構成要素には図３と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１４０】
本実施形態の画像分離システムは、投光装置１０７と画像処理装置１０８からなり、被写体を撮像することによって前記被写体の画像の成分分離を行う画像分離システムであって、投光装置１０７は、直線偏光光を前記被写体に投光する投光部１０１を有する。また、画像処理装置１０８は、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部１０２と、カラー偏光取得部１０２で取得した画像から、カラー画像を生成するカラー情報処理部１０３と、カラー偏光取得部１０２で取得した画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関するカラー情報であるカラー偏光情報を生成する偏光情報処理部１０４と、被写体を投光している光源の色情報を取得する光源色情報取得部１０５と、偏光情報処理部１０４によって生成された偏光情報と光源色情報取得部１０５によって取得された光源色情報を利用して、カラー情報処理部１０３で取得したカラー画像の成分分離を行う画像成分分離部１０６を備える。
【０１４１】
投光装置１０７と画像処理装置１０８は同期処理を行ない、画像処理装置１０８は投光装置１０７からの同期信号により撮像を行うようにしても良い。この処理について説明する。
【０１４２】
図３２は、本実施形態に係る画像分離システムにおけるブロック図を示している。図３２において、図２９と共通の構成要素には図２９と同一の符号を付しており、ここではその詳細な説明は省略する。図２９との違いは、投光装置１０７、画像処理装置１０８ともに通信部１０９、１１０を有する点である。また、図３３は本実施形態に係る投光装置１０７および画像処理装置１０８における画像分離方法の処理の流れを示すフローチャートである。図３３において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。さらに、図３４は、本実施形態に係る画像処理装置が搭載されたカメラと投光装置の構成例を示している。図３４において、図３１と共通の構成要素には図３１と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１４３】
前述のように、ステップＳ１０１において、投光装置１０７は、投光部１０１によって、偏光光を被写体へ投光する。その後、投光装置１０７は通信装置２０９によって、投光を知らせる信号を画像処理装置１０８へ送信する（ステップＳ１１１）。画像処理装置１０８は前記投光を知らせる信号を通信装置２１０で受信すると（ステップＳ１１２）、前述のように、カラー偏光取得部１０２は、パターン化偏光子２０１およびカラーフィルタ２０２を通して被写体を撮像素子で受光することで、カラー偏光情報を含んだカラー画像であるカラー偏光画像を取得する（ステップＳ１０２）。前述のように、ステップＳ１０３〜Ｓ１０７によって、偏光情報、カラー画像および光源色ベクトルを取得し、最終的に画像成分分離を実施する。
【０１４４】
通信部１０９は、投光を知らせる信号を画像処理装置１０８へ送信するだけではなく、光源の色ベクトル情報も画像処理装置１０８へ送信するようにしても良い。この場合、光源色情報処理部１０５は、通信部１１０によって受信した信号から、光源色ベクトル情報を取得すればよい。
【０１４５】
本実施形態における画像分離システムは、投光装置１０７と画像処理装置１０８を分離させ、通信により投光と撮像の同期をとることにより、より小型の画像処理装置１０８でありながら、高精度な画像成分分離を実現することが可能である。
【０１４６】
（画像分離を利用したモデルベースの画像合成）
本発明の画像成分分離は、デジタルアーカイブなどに使われているモデルベースの画像合成処理に特に有効である。モデルベースの画像合成は、撮像した画像の光源方向や視線方向を任意に変化させることができるため、撮像データのインタラクティブな提示方法として重要である。また、臨場感を与えるためにも非常に有効である。そのため、モデルベースの画像合成処理は、バーチャルミュージアムやＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）などの応用に利用できる。本来、このようなモデルベースの画像合成では撮像画像を鏡面反射成分と拡散反射成分に領域分離を行ない、それぞれの成分ごとに異なったモデルを利用してきたが、前述のように、鏡面反射成分と拡散反射成分の分離が不十分であったため、画質が劣化するという問題があった。この問題は、以下のことが原因である。それぞれのモデルにおけるパラメータ推定の際、実際とは異なった鏡面反射成分と拡散反射成分を利用しているため、実際とは異なるパラメータを推定してしまう。このように実際とは異なったパラメータを利用して画像を合成した場合、前述のように、視点変換画像や光源変化画像を作成した際に出力される画像に大きな誤差が生じてしまう。
【０１４７】
本発明の画像成分分離方法を利用することで、画質劣化の少ない、モデルベースの画像合成を実現することができる。この手法を説明する。
【０１４８】
まず、この処理の概念を説明する。本発明の画像合成処理は、パラメータ推定装置８００と画像合成装置８０１からなる。以下の５つの入力情報を利用する。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・色・照度
○合成画像における視点・光源情報
【０１４９】
図３５は本発明の一実施形態に係るパラメータ推定装置８００と画像合成装置８０１の構成を示すブロック図である。図３５のパラメータ推定装置８００は、撮像装置を利用し、撮像を行う画像撮像部８０２と、上述した画像分離方法によって、画像を鏡面反射成分と拡散反射成分に分離する画像分離部８０３と、被写体に照射する光源の方向や位置、輝度、色、スペクトル情報などの光源情報を推定する光源情報推定部８０４と、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部８０５と、撮像された被写体から、画像分離部８０３で分離された成分ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部８０６と、パラメータ推定部８０６において推定された反射パラメータを保持するパラメータＤＢ（データベース）８０７とを備えている。さらに、画像合成装置８０１は、合成する画像の視点や光源情報を取得する視点・光源情報取得部８０８と、パラメータＤＢ８０７に保持されているモデルパラメータ情報を利用して、視点・光源情報取得部８０８で取得された視点や光源情報に則した画像を合成するレンダリング部８０９とを備えている。
【０１５０】
また、図３６、図３７は本実施形態に係る画像合成方法における、パラメータ推定方法と画像合成方法の処理の流れを示すフローチャートである。
【０１５１】
まず、パラメータ推定方法の処理の流れについて説明する。図３６において、画像撮像部８０２は、前述のカラー情報処理部１０３を利用して、カラー輝度を計算する（ステップＳ３０１）。偏光情報処理部１０４を利用して、偏光最大輝度Ｉmaxと偏光最小輝度Ｉminの重み付け和（Ｉmax＋Ｉminや Ｉmax＋２・Ｉmin）を取得するようにしても良い。画像分離部８０３は、前述の画像分離方法により、画像撮像部８０２によって撮像された画像を、拡散反射成分と鏡面反射成分とに成分分離する（ステップＳ３０２）。光源情報推定部８０４は、光源情報として、光源の方向、さらには色情報や照度情報を取得する（ステップＳ３０３）。形状情報取得部８０５は、被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する（ステップＳ３０４）。パラメータ推定部８０６は、画像分離部８０３によって成分分離された拡散反射画像と鏡面反射画像に対して、前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報を利用することで、それぞれの反射パラメータを、別々の方法で推定する（ステップＳ３０５）。パラメータＤＢ８０７は、パラメータ推定部８０６で求まった拡散反射成分の反射パラメータと鏡面反射成分の反射パラメータ、および形状情報取得部Ｓ３０５で取得した形状情報をモデルパラメータとして保持する（ステップＳ３０６）。
【０１５２】
次に、画像合成推定方法の処理の流れについて説明する。図３７において、まず、レンダリング部８０９は、パラメータＤＢ８０７に保持されているモデルパラメータ情報を呼び出す（ステップＳ３０７）。視点・光源情報取得部８０８は、合成する画像の視点や光源の方向、さらには色情報や照度情報を取得する（ステップＳ３０８）。レンダリング部８０９は、パラメータＤＢ８０７に保持されているモデルパラメータ情報を利用して、視点・光源情報取得部８０８で取得された視点や光源情報に則した画像を合成する（ステップＳ３０９）。
【０１５３】
さらに、図３８は、本実施形態に係る画像合成装置が搭載されたカメラの構成例を示している。なお、ここでは、画像分離部８０３、光源情報推定部８０４、形状情報取得部８０５、パラメータ推定部８０６およびレンダリング部８０９は、ＣＰＵ２０５によってプログラムを実行することによって、実現されるものとする。ただし、これらの機能の全部または一部を、ハードウエアによって実現しても良い。また、視点・光源情報取得部８０８はユーザインターフェイス部２１２によって実行される。また、メモリ２０４は画像撮像部８０２によって撮像された偏光画像と、画像分離部８０３によって取得された鏡面反射成分および拡散反射成分画像、光源情報推定部によって推定された光源情報、形状情報取得部８０５によって取得された形状情報、パラメータ推定部８０７によって推定された反射パラメータ情報、および、視点・光源情報取得部で取得された視点・光源情報をモデルパラメータとして格納する。
【０１５４】
以下、それぞれの処理について説明する。
【０１５５】
まず、パラメータ推定装置８００について説明する。
【０１５６】
画像撮像部８０２はＣＣＤやＣＭＯＳなどの撮像装置を利用して、カラー偏光取得部１０２およびカラー情報処理部１０３によって、被写体のカラー画像を取得する。こうして撮像された画像は、輝度が非常に高くなる鏡面反射成分と拡散反射成分とが同時に、飽和することなく、十分な輝度分解能で記録されることが望ましい。このため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。このような画像撮像部は、前述の、偏光情報処理部１０３によって取得された偏光最大輝度Ｉmaxと偏光最小輝度Ｉminの重み付け和（Ｉmax＋Ｉminや Ｉmax＋２・Ｉmin）であっても良い。特に、Ｉmax＋Ｉminは、直線偏光光源下において、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、Ｉmax＋Ｉminを利用して画像処理を行うことで、通常の偏光を利用しない場合と同様の処理を行うことができる。
【０１５７】
画像分離部８０３は、前述の画像分離方法により、画像撮像部８０２によって撮像された画像を、拡散反射成分と鏡面反射成分とに成分分離する。
【０１５８】
光源情報推定部８０４は、光源情報として、光源の方向、さらには色情報や照度情報を取得する。これは例えば、被写体近傍に光源情報を推定するための形状既知の鏡面などを配置し、画像撮像部８０２によって撮像したその鏡面の画像から推定すればよい（例えば、「神原誠之，横矢直和，"光源環境の実時間推定による光学的整合性を考慮したビジョンベース拡張現実感"，電子情報通信学会技術研究報告，パターン認識・メディア理解，ＰＲＭＵ２００２−１９０，ｐｐ. ７−１２，２００３」）。この処理について詳述する。
【０１５９】
光源情報推定部８０４は、図１５に示した鏡面とみなせる球６０１を利用して行う。鏡面球６０１を被写体近傍に設置し、その位置や法線方向は既知とする。この鏡面球６０１を画像撮像部８０２によって撮像する。このとき、鏡面球６０１には、撮影環境が映り込んでいる。映り込みが生じる位置は、その鏡面球上の法線方向に対して、視線方向と映り込む対象への方向が正反射の関係となる位置である。そのため、鏡面球の位置とその法線方向が既知であれば、鏡面上の映り込んだ画像から映り込み対象の方向を検出できる。また、光源は輝度が高いことを考慮すると、撮影された鏡面球の画像から、高輝度の画素を検出することにより、光源の方向を取得できる。さらに、鏡面の反射率が既知であれば、前述の通り、光源の色情報や放射輝度などの光源照度情報も取得できる。
【０１６０】
光源情報として、光源の方向だけではなく、あるいは光源の方向に代えて、光源の位置情報を取得するようにしても良い。これは、例えば前述の鏡面球を２つ利用したり、または撮像装置の位置を変化させて撮像した複数の画像を使用して、画像処理分野で広く知られているステレオ画像処理の技術を利用すればよい。
【０１６１】
このような鏡面球を常に撮影するのではなく、以前に撮影して求めた光源情報を使うようにしても良い。これは、屋内の監視カメラのように光源環境が変わらない場合に有効である。このような場合、カメラを設置した際に鏡面球を撮影し、光源情報を取得するようにすればよい。
【０１６２】
光源情報推定部８０４は、鏡面とみなせる球６０１のような参照物体を利用するのではなく、被写体を利用して光源方向を推定するようにしても良い。この方法を説明する。まず、被写体を撮像した画像領域において、最も輝度の高い画素を選択する。後述するように、形状情報取得部８０５によって、被写体の形状情報である表面の法線情報は推定されているため、最も輝度の高い画素の法線方向は既知である。ここで、最も輝度の高い画素は、正反射方向の光源が映り込んでいると仮定すると、前述の参照物体を利用する方法と同様に、法線方向から光源の方向を取得できる。
【０１６３】
また、撮像装置７０１に、照度計２１１を設置することにより、光源情報として入射照度を測定するようにしても良い。入射照度情報の利用方法については後述する。
【０１６４】
形状情報取得部８０５は、被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。被写体の形状情報を取得する手段としては、例えば、スリット光投影法、パターン光投影法、レーザレーダ法などの既存の手法を用いればよい。
【０１６５】
形状情報の取得はこれらの手法に限られるものでない。例えば、複数のカメラを利用するステレオ視、カメラの動きを利用するモーションステレオ法、光源の位置を変化させながら撮像した画像を利用する照度差ステレオ法、ミリ波や超音波を利用して被写体との距離を測定する方法、さらには反射光の偏光特性を利用した方法（例えば、ＵＳＰ５，０２８，１３８号や「宮崎大輔，池内克史，"偏光レイトレーシング法による透明物体の表面形状の推定手法"，電子情報通信学会論文誌，ｖｏｌ. Ｊ８８−Ｄ−ＩＩ， Ｎｏ.８，ｐｐ. １４３２−１４３９，２００５」）を用いても良い。ここでは、照度差ステレオ法と偏光特性を利用した方法について説明する。
【０１６６】
照度差ステレオ法は、光源方向が異なる３枚以上の画像を利用して、被写体の法線方向と反射率を推定する手法である。例えば、「Ｈ. Ｈａｙａｋａｗａ, ”Ｐｈｏｔｏｍｅｔｒｉｃ Ｓｔｅｒｅｏ ｕｎｄｅｒ ａ ｌｉｇｈｔ ｓｏｕｒｃｅ ｗｉｔｈ ａｒｂｉｔｒａｒｙ ｍｏｔｉｏｎ”, Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ, ｖｏｌ.１１, ｐｐ.３０７９−８９, １９９４」は、画像上で６点以上の反射率が等しい点を既知情報として取得し、拘束条件として利用することによって、光源の位置情報も未知としながらも、以下のパラメータを推定する手法である。
・被写体情報：画像上の各点の法線方向と反射率
・光源情報：被写体の観察点における光源方向と照度
ここでは、前述の拡散反射・鏡面反射分離手法によって分離された拡散反射画像のみを利用した照度差ステレオ法を行う。本来、この手法は被写体が完全拡散反射をしていることを仮定しているため、鏡面反射が存在する被写体では大きな誤差が生じてしまう。しかし、分離した拡散反射成分のみを利用することで、鏡面反射成分の存在による推定誤差を無くすことができる。
【０１６７】
光源方向が異なる拡散反射画像を以下のように輝度行列Ｉdで表現する。
【数２２】
2010004677.tif 000024
【０１６８】
ただし、ｉdf(p)は光源方向ｆの拡散反射画像の画素ｐにおける輝度を示している。また、画像の画素数はＰ画素、異なった光源方向で撮像した画像枚数はＦ枚である。ところで、Ｌａｍｂｅｒｔｉａｎモデルより、拡散反射画像の輝度は以下のように表現できる。
【数２３】
2010004677.tif 000025
【０１６９】
ただし、ρdpは画素ｐの反射率（アルベド）、ｎpは画素ｐの法線方向ベクトル、ｔfは光源ｆの入射照度、Ｌfは光源ｆの方向ベクトルを示している。
【０１７０】
式２２、式２３より以下の式が導かれる。
【数２４】
2010004677.tif 000026
【０１７１】
ただし、
【数２５】
2010004677.tif 000027
【数２６】
2010004677.tif 000028
【数２７】
2010004677.tif 000029
【数２８】
2010004677.tif 000030
【数２９】
2010004677.tif 000031
【数３０】
2010004677.tif 000032
【０１７２】
ここで、Ｒは表面反射行列、Ｎは表面法線行列、Ｌは光源方向行列、Ｔは光源強度行列、Ｓは表面行列、Ｍは光源行列と呼ぶ。
【０１７３】
ここで、特異値分解を利用すると、式２４は以下のように展開できる。
【数３１】
2010004677.tif 000033
【数３２】
2010004677.tif 000034
ただし、
【数３３】
2010004677.tif 000035
であり、Ｅは単位行列を示している。また、Ｕ’はＰ×３行列、Ｕ”はＰ×（Ｆ−３）行列、Σ’は３×３行列、Σ”は(Ｆ−３）×(Ｆ−３）行列、Ｖ’は３×Ｆ行列、Ｖ”は（Ｆ−３）×Ｆ行列である。ここで、Ｕ”、 Ｖ”は信号成分であるＵ’、 Ｖ’の直交基底、すなわち、ノイズ成分であると考えられる。ここで、特異値分解を利用すると、式２６は以下のように変形できる。
【数３４】
2010004677.tif 000036
【数３５】
2010004677.tif 000037
【０１７４】
すなわち、式２７を解くことにより、形状情報と光源情報を同時に取得することができるが、以下の３×３行列Ａの不定性が残る。
【数３６】
2010004677.tif 000038
【数３７】
2010004677.tif 000039
【０１７５】
ここで、Ａは任意の３×３行列である。形状情報と光源情報を取得するためには、この行列Ａを求める必要がある。これは、例えば、画面上の６点以上で反射率が等しいことが既知であればよい。例えば、任意の６点ｋ１〜ｋ６の反射率が等しいとすると、
【数３８】
2010004677.tif 000040
式２５、式２８および、式３０より、
【数３９】
2010004677.tif 000041
さらに、
【数４０】
2010004677.tif 000042
とおくと、式３１は以下のようになる。
【数４１】
2010004677.tif 000043
【０１７６】
ここで、式３２より行列Ｂは対称行列であるため、行列Ｂの未知数は６である。すなわち、画面上の６点以上で反射率が等しいことが既知であれば、式３３は解くことができる。
【０１７７】
また、行列Ｂが既知となれば、式３２に特異値分解を利用することにより、行列Ａは解くことができる。
【０１７８】
さらに、式２８および、式２９より、形状情報と光源情報を取得する。
【０１７９】
以上のことより、反射率が等しい６点以上の画素が既知な被写体において、光源方向を変更しながら３枚以上の画像を取得することにより、以下の情報を得ることができる。
・被写体情報：画像上の各点の法線方向ベクトルと反射率
・光源情報：被写体の観察点における光源方向ベクトルと放射輝度
【０１８０】
ただし、上記の処理で求まる被写体の反射率と光源の放射輝度は相対的なものであり、絶対値を求めるためには、画面上の６点以上で反射率が既知であるなど、上記とは異なる既知情報が必要となる。
【０１８１】
以上のように、照度差ステレオ法と偏光特性を利用した方法では、表面の法線情報を取得する。一方、スリット光投影法やステレオ視などの手法では、被写体の３次元位置情報を取得する。被写体表面の法線情報とは、被写体の３次元位置情報の微小空間での傾き情報であり、どちらも被写体の形状情報である。
【０１８２】
以上の処理により、形状情報取得部８０５は被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。
【０１８３】
以上の処理により、以下の情報を取得する。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・照度
【０１８４】
次に、パラメータ推定部８０６は、画像分離部８０３によって成分分離された拡散反射成分と鏡面反射成分に対して、それぞれの反射パラメータを、別々の方法で推定する。まず、拡散反射成分の処理について説明する。
【０１８５】
パラメータ推定部８０６は、画像分離部８０３によって成分分離された拡散反射成分を利用し、被写体のアルベドを推定する。アルベドは光源情報に影響を受けないため、アルベド画像を利用して処理を行うことによって、光源変動にロバストな処理が実現できる。
この処理を説明する。まず、物体の反射特性について説明する。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として以下の式で表現される。
【数４２】
2010004677.tif 000044
【０１８６】
ここで、Ｉは撮像装置が撮像した被写体の輝度、Ｉaは環境光成分、Ｉdは拡散反射成分、Ｉsは鏡面反射成分である。ここで、環境光成分とは、光源の光が物体などによって散乱された間接光のことである。これは空間の至る所に散乱され、直接光がとどかない影の部分にもわずかに明るさを与える。そのため、通常はノイズとして取り扱われることが多い。
【０１８７】
環境光成分は十分に小さく、ノイズとして無視できると考えると、画像は拡散反射成分と鏡面反射成分とに分離できる。
【０１８８】
式２３より、拡散反射成分では、以下の関係が成り立つ。
【数４３】
2010004677.tif 000045
【０１８９】
ただし、θiは被写体の法線方向ベクトルと光源方向ベクトルのなす角度を示す。ここで、光源情報推定部８０４および形状情報取得部８０５により、角度θiは既知である。また、後述するように、光源の入射照度ｔfも推定可能なため、被写体のアルベドρdpは式３５から求められる。
【０１９０】
被写体のアルベドを求めるのではなく、次式によりアルベドに光源の放射輝度を乗算した擬似アルベドを求め、これを利用しても良い。
【数４４】
2010004677.tif 000046
【０１９１】
次に、鏡面反射成分の反射パラメータ推定について説明する。
【０１９２】
パラメータ推定部８０６は、形状情報取得部８０５によって取得された被写体の法線情報、画像分離部８０３によって分離された拡散反射画像と鏡面反射画像を利用して、その被写体を表現するパラメータを推定する。ここでは、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く使われているＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを利用する方法を説明する。
【０１９３】
Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルでは、鏡面反射画像を次式のようにモデル化する。
【数４５】
2010004677.tif 000047
【数４６】
2010004677.tif 000048
【数４７】
2010004677.tif 000049
【数４８】
2010004677.tif 000050
【数４９】
2010004677.tif 000051
【数５０】
2010004677.tif 000052
【数５１】
2010004677.tif 000053
【数５２】
2010004677.tif 000054
【数５３】
2010004677.tif 000055
【０１９４】
ここで、Ｅiは入射照度、ρs,λは波長λにおける鏡面反射成分の双方向反射率、ｎは被写体の法線方向ベクトル、Ｖは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルｎの角度を表す（図３９参照）。また、Ｆλはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎλは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉjは入射光の放射輝度である。また、ｋsは鏡面反射成分の係数である。
【０１９５】
さらに、式２３のＬａｍｂｅｒｔｉａｎモデルを利用すると、式３４は以下のように展開される。
【数５４】
2010004677.tif 000056
ただし、
【数５５】
2010004677.tif 000057
【数５６】
2010004677.tif 000058
【０１９６】
ここで、ρdは拡散反射成分の反射率（アルベド）、ｄｐｘ、ｄｐｙは撮像装置の１画素のｘ方向、ｙ方向の長さ、ｒは撮像装置の観察点Ｏからの距離を示している。また、ｋdは以下の関係式を満たす係数である。
【数５７】
2010004677.tif 000059
【０１９７】
Ｓｒは拡散反射成分と鏡面反射成分の輝度の違いを表現するための定数であり、拡散反射成分が被写体からすべての方向へエネルギーを反射することを示している。図４０はこの定数Ｓｒを説明するための模式図である。図４０において、観察点Ｏで反射された拡散反射成分エネルギーは、半球状に広がっていく。ここで、撮像装置７０１が観察点Ｏからｒだけ離れているので、撮像装置の１撮像素子に届くエネルギーと、観察点Ｏで反射した総エネルギーの比Ｓrは、式４７で表される。
【０１９８】
以上のことから、パラメータ推定部８０６は、式３６〜式４７より、鏡面反射成分の反射パラメータを推定する。
【０１９９】
以上の関係式をまとめると、パラメータ推定を行うための既知パラメータと、推定すべきパラメータは以下のようになる。
（既知パラメータ）
○環境光成分Ｉa
○拡散反射成分Ｉd
○鏡面反射成分Ｉs
○被写体の法線方向ベクトルｎ
○光源方向ベクトルＬ
○視線ベクトルＶ
○中間ベクトルＨ
○中間ベクトルＨと法線方向ベクトルｎの角度β
○撮像装置７０１の１画素のｘ方向、ｙ方向の長さｄｐｘ, ｄｐｙ
○撮像装置７０１と観察点Ｏとの距離ｒ
（推定すべきパラメータ）
○入射照度Ｅi
○鏡面反射成分の係数ｋs
○被写体表面の粗さｍ
○被写体の屈折率ηλ
【０２００】
ここで、拡散反射成分の係数ｋd、および拡散反射成分の反射率（アルベド）ρdも未知パラメータであるが、鏡面反射成分のパラメータのみを推定するため、ここでは推定処理を行わない。
【０２０１】
図４１はパラメータ推定部８０６の処理の流れを示す図である。処理は、以下の２段階からなる。
【０２０２】
まず、光源情報を使用して、入射照度Ｅiを求める（ステップＳ４０１）。ここでは、光源情報推定部８０４によって取得した光源の位置情報、形状情報取得部８０５で求めた撮像装置と被写体との距離情報、さらには光源情報推定部８０４で求めた光源照度を用いる。これは、次式から求まる。
【数５８】
2010004677.tif 000060
【０２０３】
撮像装置７０１には前述のように、照度計２１１が設置されているとする。ここで、Ｉiは照度計２１１によって測定された光源７０２の入射照度、Ｒ1は撮像装置７０１と光源７０２との距離、Ｒ2は光源７０２と観察点Ｏとの距離、θ1は観察点Ｏにおける法線方向ベクトルｎと光源方向ベクトルＬＣとのなす角度、θ2は撮像装置７０１における光軸方向と光源方向ベクトルＬＡとのなす角度を示している（図４２参照）。ここで、被写体の大きさが、光源７０２と観察点Ｏとの距離Ｒ2に比べ十分に小さいと考えられる場合、距離Ｒ2は被写体上の全ての観察点Ｏで等しくなる。そのため、式４９において、（Ｒ1／Ｒ2）は定数となり、実際に計測する必要はなくなる。またθ1は既知である。これは、形状情報取得部８０５によって観察点Ｏにおける法線方向ベクトルｎが既知であり、光源情報推定部８０４によって光源方向ベクトルＬＣが既知であるためである。さらにθ2は、光源情報推定部８０４によって光源の位置が推定されている場合、既知である。そのため、式４９の右辺はすべて既知となる。
【０２０４】
次に、シンプレックス法を利用して、未知パラメータｍ、ηλ、ｋsを推定する（ステップＳ４０２）。シンプレックス法は、シンプレックスと呼ぶ図形の頂点に変数を割り付け、シンプレックスの大きさと形を変えて関数の最適化を行う方法である（大田登，“色再現光学の基礎”，ｐｐ.９０−９２，コロナ社）。シンプレックスは、ｎ次元空間の（ｎ＋１）個の点の集合である。ただし、ｎは推定する未知数の数であり、ここでは「３」である。そのため、シンプレックスは四面体である。シンプレックスの頂点をベクトルｘiで表し、新しいベクトルを次のように定める。
【数５９】
2010004677.tif 000061
【数６０】
2010004677.tif 000062
【数６１】
2010004677.tif 000063
【数６２】
2010004677.tif 000064
【０２０５】
ただし、
【数６３】
2010004677.tif 000065
【数６４】
2010004677.tif 000066
はそれぞれ関数ｆ(ｘi）を最大、最小にするｘiを示している。
さらに、この方法で用いる３種類の操作を以下のように定める。
１．鏡像：
【数６５】
2010004677.tif 000067
２．拡張：
【数６６】
2010004677.tif 000068
３．収縮：
【数６７】
2010004677.tif 000069
ここで、α（＞０）、β（＞１）、γ（１＞γ＞０）は係数である。
【０２０６】
シンプレックス法は、シンプレックスの頂点の中で関数値の最も大きなものを選ぶことで、その鏡像における関数値は小さくなるという期待に基づいている。この期待が正しければ、同じプロセスの繰り返しで関数の最小値が求められる。つまり、初期値で与えたパラメータを３種類の操作で更新しながら、評価関数が示すターゲットとの誤差が閾値未満になるまでパラメータの更新を繰り返す。ここでは、パラメータとしてｍ、ηλ、ｋs、評価関数として式５５で表される、式３６から算出される鏡面反射成分画像と画像分離部８０３で求められた鏡面反射成分画像との差ΔＩsを利用した。
【数６８】
2010004677.tif 000070
【０２０７】
ただし、ｉs(i,j)’, ｉs(i,j)はそれぞれ、計算された鏡面反射画像の推定値Ｉs’と画像分離部８０３で求められた鏡面反射成分画像Ｉsの画素(ｉ,ｊ）の輝度、Ｍs(i,j)は、画素(ｉ,ｊ）が鏡面反射成分を持つ場合に１、そうでない場合０をとる関数である。
【０２０８】
この処理について詳しく説明する。図４３はこの処理の流れを説明するためのフローチャートである。
【０２０９】
まず、繰り返し演算の更新回数を記憶するカウンターｎとｋに０を代入し、初期化する（ステップＳ４１１）。ここで、カウンターｎは初期値を何回変更したかを記憶するカウンターであり、ｋはある初期値に対してシンプレックスによる候補パラメータの更新を何回行ったかを記憶するカウンターである。
【０２１０】
次に、乱数を利用し、推定パラメータの候補パラメータｍ’、ηλ’、ｋs’の初期値を決定する（ステップＳ４１２）。このとき、各パラメータの物理的な拘束条件から、初期値の発生範囲は以下のように決定した。
【数６９】
2010004677.tif 000071
【０２１１】
次に、こうして求めた候補パラメータを式３６へ代入し、鏡面反射画像の推定値Ｉs’を求める（ステップＳ４１３）。さらに、計算された鏡面反射画像の推定値Ｉs’と画像分離部８０３で求められた鏡面反射成分画像との差ΔＩsを式５５より求め、これをシンプレックス法の評価関数とする（ステップＳ４１４）。こうして求めたΔＩsが十分小さい場合（ステップＳ４１５でＹｅｓ）、パラメータ推定は成功したとして、推定パラメータｍ、ηλ、ｋsとして候補パラメータｍ’、ηλ’、ｋs’を選択し、処理を終了する。一方、ΔＩsが大きい場合（ステップＳ４１５でＮｏ）、シンプレックス法により候補パラメータの更新を行う。
【０２１２】
候補パラメータの更新を行う前に、更新回数の評価を行う。まず、更新回数を記憶しているカウンターｋに１を足し（ステップＳ４１６）、カウンターｋの大きさを判断する（ステップＳ４１７）。カウンターｋが十分に大きい場合（ステップＳ４１７でＮｏ）、繰り返し演算は十分に行なわれているが、ローカルミニマムに落ちているため、このまま更新を繰り返しても最適値には達しないと判断し、初期値を変更して、ローカルミニマムからの脱却を図る。そのため、カウンターｎに１を足し、カウンターｋに０を入れる（ステップＳ４２１）。ここで、カウンターｎの値が閾値より高いかどうかを判定し、処理をこのまま続けるか、処理不能として処理を終了させるかを決定する（ステップＳ４２２）。ここで、ｎが閾値より大きい場合（ステップＳ４２２でＮｏ）、この画像は推定不能として処理を終了する。一方、ｎが閾値より小さい場合（ステップＳ４２２でＹｅｓ）、再度、初期値を式５６の範囲内で乱数から選択しなおし（ステップＳ４１２）、処理を繰り返す。このようなｋに対する閾値は、例えば、１００などを選択すればよい。
【０２１３】
一方、ステップＳ４１７において、カウンターｋが閾値以下の場合（ステップＳ４１７でＹｅｓ）、候補パラメータを式５２〜式５４を利用して変更する（ステップＳ４１８）。この処理については後述する。
【０２１４】
次に、こうして変形された候補パラメータが、解として意味のあるものであるかを判定する（ステップＳ４１９）。すなわち、シンプレックス法を繰り返すことで、変形されたパラメータが物理的に意味のない値（例えば、粗さパラメータｍが負の値など。）におちいる可能性があるため、これを除去する。これは、例えば、以下のような条件を与え、この条件を満たす場合には意味のあるパラメータ、満たさない場合には意味のないパラメータと判定すればよい。
【数７０】
2010004677.tif 000072
【０２１５】
これらの値は、被写体より求めることができる。例えば、屈折率ηλであれば、被写体の材質によって決定される値である。例えば、プラスチックであれば１．５〜１．７、ガラスであれば１．５〜１．９であることが知られているため、これらの値を利用すればよい。つまり、被写体がプラスチックである場合、屈折率ηλは１．５〜１．７とすればよい。
【０２１６】
変形したパラメータが式５７を満たす場合（ステップＳ４１９でＹｅｓ）、その候補パラメータは意味のある値であると考えられるため、新しい候補パラメータとして設定し（ステップＳ４２０）、更新処理を繰り返す（ステップＳ４１３）。一方、変形したパラメータが式５７を満たさない場合（ステップＳ４１９でＮｏ）、その初期値に対する更新処理を打ち切り、新しい初期値により更新を行う（ステップＳ４２１）。
【０２１７】
ここで、ステップＳ４１８の変形処理について詳述する。図４４はこの処理の流れを示したフローチャートである。ここでは、候補パラメータｍ’、ηλ’、ｋs’をベクトル表現し、これをパラメータｘとする。すなわち、
【数７１】
2010004677.tif 000073
【０２１８】
まず、式５０〜式５２を利用して、鏡像操作を行ったパラメータｘrを計算し、式５５によってｘrでの鏡面反射成分画像との差ΔＩs(ｘr）を計算する（ステップＳ４３１）。次に、こうして求められたΔＩs(ｘr）と、２番目に評価関数が悪かったΔＩs(ｘs）を比較する（ステップＳ４３２）。ここでΔＩs(ｘr）がΔＩs(ｘs）より小さかった場合（ステップＳ４３２でＹｅｓ）、鏡像操作を行った評価値ΔＩs(ｘr）と現在、最も評価値のよいΔＩs(ｘl）を比較する（ステップＳ４３３）。ここで、ΔＩs(ｘr） がΔＩs(ｘl）以上であった場合（ステップＳ４３３でＮｏ）、最も評価値の低かったｘhをｘrへ変更し（ステップＳ４３４）、処理を終了する。
【０２１９】
一方、ΔＩs(ｘr）がΔＩs(ｘl）より小さかった場合（ステップＳ４３３でＹｅｓ）、式５４を利用して拡張処理を行ない、パラメータｘeと、ｘeでの鏡面反射成分画像との差ΔＩs(ｘe）を計算する（ステップＳ４３５）。次に、こうして求められたΔＩs(ｘe）と、鏡像操作によるΔＩs(ｘr）を比較する（ステップＳ４３６）。ここでΔＩs(ｘe）がΔＩs(ｘr）より小さかった場合（ステップＳ４３６でＹｅｓ）、最も評価値の悪かったｘhをｘeへ変更し（ステップＳ４３７）、処理を終了する。
【０２２０】
一方、ΔＩs(ｘe）がΔＩs(ｘr）以上であった場合（ステップＳ４３６でＮｏ）、最も評価値の悪かったｘhをｘrへ変更し（ステップＳ４３４）、処理を終了する。
【０２２１】
また、ステップＳ４３２において、ΔＩs(ｘr）がΔＩs(ｘs）より大きかった場合（ステップＳ４３２でＮｏ）、鏡像操作を行った評価値ΔＩs(ｘr）と現在、最も評価値の悪いΔＩs(ｘh）を比較する（ステップＳ４３８）。ここでΔＩs(ｘr）がΔＩs(ｘh）より小さかった場合（ステップＳ４３８でＹｅｓ）、最も評価値の悪かったｘhをｘrへ変更し（ステップＳ４３９）、式５３を利用して、収縮操作を行ったパラメータｘcと、ｘcでの鏡面反射成分画像との差ΔＩs(ｘc）を計算する（ステップＳ４４０）。一方、ΔＩs(ｘr）がΔＩs(ｘh）以上であった場合（ステップＳ４３８でＮｏ）、ｘhを変更することなく、収縮操作を行ったパラメータｘcと、ｘcでの鏡面反射成分画像との差ΔＩs(ｘc）を計算する（ステップＳ４４０）。
【０２２２】
次に、こうして求められたΔＩs(ｘc）と、最も評価値の悪いΔＩs(ｘh）を比較する（ステップＳ４４１）。ここでΔＩs(ｘc）がΔＩs(ｘh）より小さかった場合（ステップＳ４４１でＹｅｓ）、最も評価値の悪かったｘhをｘcへ変更し（ステップＳ４４２）、処理を終了する。
【０２２３】
一方、ΔＩs(ｘc）がΔＩs(ｘh） 以上であった場合（ステップＳ４４１でＮｏ）、すべての候補パラメータｘi(ｉ=１,２,３,４）を以下の式により変更し、処理を終了する。
【数７２】
2010004677.tif 000074
【０２２４】
以上の処理を繰り返すことにより、鏡面反射画像における未知パラメータであるｍ、ηλ、ｋsを推定する。
【０２２５】
以上の処理により、すべての未知パラメータを推定することができる。
【０２２６】
図４５（ａ）は、図４５（ｂ）の領域Ａに関して、横軸に中間ベクトルβ、縦軸に鏡面反射成分の輝度Ｉｓをグラフ化したものである。この図において、白色○は領域Ａに関して観測された輝度Ｉｓをプロットしたものである。また、黒色■はＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルの各パラメータを推定し、プロットしたものである。図４６は、従来の偏光情報を利用した画像分離手法を利用したグラフである。図４７は、従来の偏光情報を利用した画像分離手法を利用して作成した合成画像を示している。このように、パラメータ推定に失敗した場合、合成画像の質感が実物とは大きくかけ離れたものとなってしまう。これらの図より、従来の画像分離手法では、鏡面反射成分と拡散反射成分の分離精度の劣化に伴い、反射パラメータ推定に失敗していることがわかる。そのため、合成された画像は、実際の画像とは大きく質感が異なるものとなってしまう。一方、本特許における画像分離手法では、このような問題が生じていない。
【０２２７】
なお、パラメータ推定に用いるモデルは、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルである必要はなく、例えば、Ｔｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＰｈｏｎｇモデル、簡易Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデル（例えば、「Ｋ. Ｉｋｅｕｃｈｉ ａｎｄ Ｋ. Ｓａｔｏ, “Ｄｅｔｅｒｍｉｎｉｎｇ ｒｅｆｌｅｃｔａｎｃｅ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ａｎ ｏｂｊｅｃｔ ｕｓｉｎｇ ｒａｎｇｅ ａｎｄ ｂｒｉｇｈｔｎｅｓｓ ｉｍａｇｅｓ”, ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ, ｖｏｌ.１３, ｎｏ.１１, ｐｐ.１１３９−１１５３, １９９１」）であっても良い。
【０２２８】
また、パラメータ推定方法は、シンプレックス法である必要はなく、例えば、勾配法や最小自乗法などのような一般的なパラメータ推定手法を利用しても良い。
【０２２９】
また、以上の処理は、画素ごとに行っても良いし、画像分離を行ない、領域ごとに等しいパラメータ組を推定するようにしても良い。画素ごとに処理を行う場合、光源や撮像装置、または被写体を動かすことにより、被写体の法線方向ベクトルｎや光源方向ベクトルＬ、または視線ベクトルＶといった既知パラメータが変動したサンプルを取得するようにすることが望ましい。また、処理を領域ごとに行う場合、領域ごとに求まったパラメータのばらつきが小さくなるように画像分離を変更することで、最適なパラメータ推定を行うようにすることが望ましい。
【０２３０】
パラメータＤＢ８０７は、パラメータ推定部８０６で求まった拡散反射成分の反射パラメータと鏡面反射成分の反射パラメータ、および形状情報取得部８０５で取得した形状情報をモデルパラメータとして保持する。図４８は、パラメータＤＢ３０７に保持されているモデルパラメータを示す模式図である。
【０２３１】
以上の処理により、パラメータ推定装置８００は拡散反射成分のパラメータと鏡面反射成分のパラメータを推定し、推定したパラメータ情報をパラメータＤＢ８０７へ保持する。
【０２３２】
次に、図３５の画像合成装置８０１について説明する。
【０２３３】
視点・光源情報取得部８０８は、合成する画像の視点や光源情報を取得する。これは、ユーザが視点位置や光源位置・光源照度、さらに環境光成分情報を入力するようにすればよい。また、拡張現実感のような、実世界にＣＧ画像をレンダリングするような場合、光源情報推定部８０４を利用して光源情報を推定するようにしても良い。
【０２３４】
レンダリング部８０９は、パラメータＤＢ８０７に保持されているモデルパラメータ情報を利用して、視点・光源情報取得部８０８で取得された視点や光源情報に則した画像を合成する。レンダリング部８０９は、拡散反射成分と鏡面反射成分、それぞれ別々にレンダリングを行ない、レンダリングされた拡散反射成分、鏡面反射成分および環境光成分情報を合成することにより、画像を合成する。
【０２３５】
まず、拡散反射成分に関して説明する。前述のように、アルベド画像は、拡散成分画像を光源ベクトルと被写体の法線方向ベクトルの内積で除算したものである。そのため、パラメータＤＢに保持されているアルベド画像（パラメータ推定部８０６で推定）および形状情報（形状情報取得部８０５で取得）に、視点・光源情報取得部８０８によって取得された光源方向ベクトル情報を利用することにより、拡散反射成分を合成することができる。具体的には、視点・光源情報取得部８０８によって取得された光源方向ベクトルと被写体の法線方向ベクトルとの内積を求め、さらにアルベド画像を乗算することによって、拡散成分画像を合成する。視点・光源情報取得部８０８により、複数の光源が入力された場合、それぞれの光源に対して拡散反射成分画像をおのおの合成し、その画像を足し合わせることで、一枚の拡散反射成分画像を合成する。
【０２３６】
次に、鏡面反射成分に関して説明する。鏡面反射成分は、パラメータＤＢに保持されている鏡面反射パラメータ（パラメータ推定部８０６で推定）および形状情報（形状情報取得部８０５で取得）に、視点・光源情報取得部８０８によって取得された光源方向ベクトル情報を利用することにより、合成することができる。具体的には、式３６〜式４４に推定されたパラメータを代入することによって、鏡面反射成分画像を合成する。
【０２３７】
こうして求めた拡散反射成分画像、鏡面反射成分画像および視点・光源情報取得部８０８において取得した環境光成分情報を合成することにより、レンダリング部８０９は、視点・光源情報取得部８０８で取得された視点や光源情報に則した画像を合成する。
【０２３８】
以上のように、本発明の画像処理技術を利用することによって、デジタルアーカイブなどに使われているモデルベースの画像合成を高精度に行うことができる。
【産業上の利用可能性】
【０２３９】
本発明に係る画像処理によれば、偏光情報と色情報という二つの情報を利用することにより、鏡面反射成分と拡散反射成分をより正確に分離することが可能である。スナップショットを撮影するように撮影された画像から画像分離処理を実現できるため、各種デジタルスチルカメラ、デジタルムービーカメラ、監視カメラなどに有用である。
【符号の説明】
【０２４０】
１０１  投光部
１０２  カラー偏光取得部
１０３  カラー情報処理部
１０４  偏光情報処理部
１０５  光源色情報取得部
１０６  画像成分分離部
１０７  投光装置
１０８  画像処理装置
１０９  通信部
１１０  通信部
【図１】
2010004677.tif 000075
【図２】
2010004677.tif 000076
【図３】
2010004677.tif 000077
【図４】
2010004677.tif 000078
【図５】
2010004677.tif 000079
【図６】
2010004677.tif 000080
【図７】
2010004677.tif 000081
【図８】
2010004677.tif 000082
【図９】
2010004677.tif 000083
【図１０】
2010004677.tif 000084
【図１１】
2010004677.tif 000085
【図１２】
2010004677.tif 000086
【図１３】
2010004677.tif 000087
【図１４】
2010004677.tif 000088
【図１５】
2010004677.tif 000089
【図１６】
2010004677.tif 000090
【図１７】
2010004677.tif 000091
【図１８】
2010004677.tif 000092
【図１９】
2010004677.tif 000093
【図２０】
2010004677.tif 000094
【図２１】
2010004677.tif 000095
【図２２】
2010004677.tif 000096
【図２３】
2010004677.tif 000097
【図２４】
2010004677.tif 000098
【図２５】
2010004677.tif 000099
【図２６】
2010004677.tif 000100
【図２７】
2010004677.tif 000101
【図２８】
2010004677.tif 000102
【図２９】
2010004677.tif 000103
【図３０】
2010004677.tif 000104
【図３１】
2010004677.tif 000105
【図３２】
2010004677.tif 000106
【図３３】
2010004677.tif 000107
【図３４】
2010004677.tif 000108
【図３５】
2010004677.tif 000109
【図３６】
2010004677.tif 000110
【図３７】
2010004677.tif 000111
【図３８】
2010004677.tif 000112
【図３９】
2010004677.tif 000113
【図４０】
2010004677.tif 000114
【図４１】
2010004677.tif 000115
【図４２】
2010004677.tif 000116
【図４３】
2010004677.tif 000117
【図４４】
2010004677.tif 000118
【図４５】
2010004677.tif 000119
【図４６】
2010004677.tif 000120
【図４７】
2010004677.tif 000121
【図４８】
2010004677.tif 000122
【手続補正書】
【提出日】平成21年11月19日(2009.11.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に被写体の形状情報取得や画像合成の際に必要な画像分割の精度を向上するための技術に関する。
【背景技術】
【０００２】
物体の「見え」は、被写体の表面で反射した入射光が「てかり」として観測される鏡面反射成分や、物体の内部でスキャッタリングを繰り返すことによって観測される拡散反射成分など、複数の成分によって構成されていることが知られている。つまり、通常、われわれが観測している被写体の像は、被写体から複数の異なる過程によって目まで届いている種々の光成分の総和によって形成される。このような成分は、例えば「鏡面反射成分」や「拡散反射成分」である。被写体の画像を構成する各画素について、輝度を例えば「鏡面反射成分」および「拡散反射成分」に分離することができる。この場合、鏡面反射成分が支配的な画素は「鏡面反射領域」を構成する画素として取り扱われ、拡散反射成分が支配的な画素は「拡散反射領域」を構成する画素として取り扱われる。
【０００３】
近年、デジタルアーカイブを目的とした情報圧縮や被写体の形状・表面材質を取得するために、画像をこのような各成分に分離する画像の成分分離手法（画像分離手法）が広く行われている（例えば、非特許文献１、非特許文献２、非特許文献３）。これは、分離した成分ごとに処理を行うことで、より高精度な処理が可能なためである。例えば、被写体の表面での反射による影響を調べたい場合、被写体内部から透過している光と、被写体表面で反射している光を分離することは、非常に重要である。画像において、画素ごとに、各成分の割合を推定し、分離する技術が画像の成分分離手法（画像分離手法）である。
【０００４】
こうした画像分離を利用した技術として、特に、分離した画像を個別のモデルで表現するモデルベース画像処理という技術が広く知られている。
【０００５】
モデルベースの画像合成とは、ＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）の分野で広く利用されている技術である。これは、物体の見えを、視点位置や光源位置、および被写体の法線方向の関数としてモデル化することにより、撮影時とは異なる視点位置の画像（視点変換画像）や、撮影時とは異なる光源位置の画像（光源環境変化画像）などを得るための多様な画像処理が可能である。また、モデルパラメータのみで画像を表現できるため、効率的なデータ圧縮も可能である。その一例として、画像を鏡面反射成分と拡散反射成分に分離し、鏡面反射成分はＣｏｏｋ−Ｔｏｒｒａｎｃｅモデル、拡散反射成分はＬａｍｂｅｒｔｉａｎモデルで画像をモデル化する手法が知られている。
【０００６】
このように画像を鏡面反射成分と拡散反射成分に分離する手法として、さまざまな手法が知られている。特に偏光情報を利用した手法や色情報を利用した手法は、簡単な装置で鏡面反射と拡散反射を分離可能なため、広く研究されている。
【０００７】
偏光情報を利用した分離手法では、直線偏光した光を被写体に投光し、カメラと被写体との間に設置した偏光フィルタを光軸に垂直な面内で回転させることにより、被写体で反射された光を鏡面反射成分と拡散反射成分とに分離する（例えば、特許文献１）。
【０００８】
直線偏光フィルタの回転角度（偏光主軸角度：偏光主軸方向を規定する角度）をΦとすると、観測される各画素での輝度は、回転角度Φに対してｓｉｎ関数状に変化することが知られている。このｓｉｎ関数の振幅成分を「鏡面反射成分」、バイアス成分を「拡散反射成分」とすることで、画像の分離を行うことができる。すなわち、画像を構成する複数の画素の各々について、鏡面反射成分および拡散反射成分を定量的に求めることができる。
【０００９】
しかし、この手法は、後述するように、出射角が十分に大きい（遮蔽エッジ近傍）領域では、本来存在しないはずの鏡面反射成分が検出されるという問題がある。そのため、偏光情報を利用した拡散反射成分・鏡面反射成分分離手法は十分な精度が達成できない。
【００１０】
一方、色情報を利用した手法は、２色性反射モデルとして広く知られている（例えば、非特許文献４）。これは、鏡面反射成分の色ベクトルは光源色ベクトルとして観測される一方、拡散反射成分の色ベクトルは物体色ベクトルとなることを利用して、鏡面反射成分と拡散反射成分を分離するものである。一般に、光源色ベクトルは白色であることや、別の手法で観測が可能であるため、既知である。しかし、この手法は、被写体の物体色ベクトルが既知でない限り、鏡面反射成分と拡散反射成分を一意に分離することはできない。そのため、正確な鏡面反射成分と拡散反射成分の分離に利用することはできなかった。
【００１１】
このような鏡面反射成分と拡散反射成分の分離精度の不十分さは、デジタルアーカイブや拡張現実の分野で用いられているモデルベースの画像合成を行う際に、大きな問題となることが知られている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平１１−４１５１４号公報
【非特許文献】
【００１３】
【非特許文献１】Ｙ. Ｓａｔｏ, Ｍ. Ｄ. Ｗｈｅｅｌｅｒ, ａｎｄ Ｋ. Ｉｋｅｕｃｈｉ, “Ｏｂｊｅｃｔ ｓｈａｐｅ ａｎｄ ｒｅｆｌｅｃｔａｎｃｅ ｍｏｄｅｌｉｎｇ ｆｒｏｍ ｏｂｓｅｒｖａｔｉｏｎ”, ＳＩＧＧＲＡＰＨ ９７, ｐｐ.３７９−３８７, １９９７
【非特許文献２】宮崎大輔，柴田卓司，池内克史，“Ｗａｖｅｌｅｔ−Ｔｅｘｔｕｒｅ法：Ｄａｕｂｅｃｈｉｅｓウェーブレットとパラメトリック反射モデルと円偏光板によるＢＴＦ圧縮，電子情報通信学会論文誌，Ｖｏｌ.Ｊ９０−Ｄ  Ｎｏ.８，ｐｐ.２０８１−２０９３，２００７
【非特許文献３】Ｔ.Ｓｈｉｂａｔａ, Ｔ.Ｔａｋａｈａｓｈｉ, Ｄ.Ｍｉｙａｚａｋｉ, Ｙ.Ｓａｔｏ, Ｋ.Ｉｋｅｕｃｈｉ, “Ｃｒｅａｔｉｎｇ Ｐｈｏｔｏｒｅａｌｉｓｔｉｃ Ｖｉｒｔｕａｌ Ｍｏｄｅｌ ｗｉｔｈ Ｐｏｌａｒｉｚａｔｉｏｎ Ｂａｓｅｄ Ｖｉｓｉｏｎ Ｓｙｓｔｅｍ”, ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ (Ｐｏｌａｒｉｚａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ ＩＩ, Ｐａｒｔ ｏｆ ＳＰＩＥ’ｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ ２００５）, Ｖｏｌ.５８８８, ｐｐ.２５−３５, ２００５
【非特許文献４】Ｓ. Ｋ. Ｎａｙａｒ, Ｘ. Ｓ. Ｆａｎｇ, ａｎｄ Ｔ. Ｂｏｕｌｔ, "Ｓｅｐａｒａｔｉｏｎ ｏｆ Ｒｅｆｌｅｃｔｉｏｎ Ｃｏｍｐｏｎｅｎｔｓ Ｕｓｉｎｇ Ｃｏｌｏｒ ａｎｄ Ｐｏｌａｒｉｚａｔｉｏｎ", Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ, Ｖｏｌ.２１, Ｉｓｓ.３, ｐｐ.１６３−１８６, １９９７
【発明の概要】
【発明が解決しようとする課題】
【００１４】
例えば、特許文献１に記載の偏光情報を用いた手法では、本来、鏡面反射成分が観測されるはずのない遮蔽エッジ近傍に鏡面反射成分が観測されるという課題があった。また、非特許文献４に記載の色情報を用いた手法では、そもそも物体色ベクトルが未知であるため、後述するように、２色性反射モデルから鏡面反射成分と拡散反射成分を一意に分離することはできなかった。
【００１５】
このような問題は、近年のカメラの高ダイナミックレンジ化により、今後、さらに重要性を増してゆく。従来のカメラでは輝度のダイナミックレンジが十分に広くないため、拡散反射の偏光度が観測されることは少なかった。しかし、近年、カメラの高ダイナミックレンジ化が進んでいるため、前述のような分離精度の劣化が生じている。
【００１６】
本発明は、上記課題を解決するためになされたものであり、拡散反射成分の偏光成分が存在することをも考慮に入れ、光源の色情報を利用することより精度の高い成分分離を実行する画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の画像処理装置は、被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理装置であって、光源から発せられた直線偏光光を前記被写体に投光する投光部と、前記被写体のカラー偏光画像を取得するカラー偏光取得部と、前記カラー偏光画像を構成する単位画素のそれぞれについて、偏光主軸の方向が３以上の偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、前記光源の色情報を取得する光源色情報取得部と、前記カラー偏光情報と前記光源の色情報とに基づいて、前記画像の成分分離を行う画像成分分離部とを備える。
【００１８】
好ましい実施形態において、前記カラー偏光画像からカラー画像を生成するカラー情報処理部を備え、前記画像成分分離部は、前記カラー画像の成分分離を行う。
【００１９】
好ましい実施形態において、前記カラー偏光取得部は、偏光主軸の方向が異なる３方向以上の偏光子と、前記偏光子に対向する位置に配置されたカラーフィルタと、前記偏光子およびカラーフィルタを透過してきた光を受ける撮像素子とを備える。
【００２０】
好ましい実施形態において、前記偏光情報処理部は、前記カラー偏光情報として、偏光最小カラー成分、偏光振幅カラー成分の少なくとも１つを生成する。
【００２１】
好ましい実施形態において、前記画像成分分離部は、前記被写体の画像を構成する各画素の色ベクトルを、拡散反射成分および鏡面反射成分に分離する。
【００２２】
好ましい実施形態において、前記画像成分分離部は、前記被写体の画像を構成する各画素の色ベクトルを、拡散反射非偏光成分、拡散反射偏光成分および鏡面反射偏光成分に分離する。
【００２３】
好ましい実施形態において、前記画像成分分離部は、前記被写体の画像の少なくとも一部を陰影領域に分離する。
【００２４】
好ましい実施形態において、前記画像成分分離部は、前記カラー偏光情報を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する。
【００２５】
好ましい実施形態において、前記画像成分分離部は、前記偏光振幅カラー成分を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する。
【００２６】
好ましい実施形態において、前記画像成分分離部は、前記カラー画像を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する。
【００２７】
好ましい実施形態において、前記カラー偏光取得部は、前記投光部と同期処理を行う。
【００２８】
好ましい実施形態において、投光部は、カラー偏光取得部から離して配置することを特徴とする。
【００２９】
本発明の画像処理システムは、投光装置と画像処理装置とを備え、被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理システムであって、前記投光装置は、光源から発せられた直線偏光光を前記被写体に投光する投光部を有し、前記画像処理装置は、偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部と、前記カラー偏光画像からカラー画像を生成するカラー情報処理部と、前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、前記光源の色情報を取得する光源色情報取得部と、前記カラー偏光情報と前記光源色情報に基づいて、前記カラー画像の成分分離を行う画像成分分離部とを有する。
【００３０】
本発明の画像分離システムは、投光装置と画像処理装置とを備え、被写体を撮像することによって前記被写体の画像の成分分離を行う画像分離システムであって、前記投光装置は、光源から発せられた直線偏光光を前記被写体に投光する投光部と、投光を知らせる信号を前記画像処理装置へ送信する通信部を有し、前記画像処理装置は、前記投光を知らせる信号を前記投光装置から受信する通信部と、偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部と、前記カラー偏光画像からカラー画像を生成するカラー情報処理部と、前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、前記光源の色情報を取得する光源色情報取得部と、前記カラー偏光情報と前記光源の色情報に基づいて、前記カラー画像の成分分離を行う画像成分分離部とを有する。
【００３１】
好ましい実施形態において、前記通信部は、投光を知らせる信号に加え、前記光源の色情報を送受信し、前記光源色情報取得部は、前記通信部から前記光源の色情報を取得する。
【００３２】
本発明の画像処理方法は、被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理方法であって、光源から発せられた直線偏光光を前記被写体に投光する投光ステップと、偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得ステップと、前記カラー偏光画像からカラー画像を生成するカラー情報処理ステップと、前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係を用いて、受光した偏光に関するカラー情報であるカラー偏光情報を生成する偏光情報処理ステップと、光源の色情報を取得する光源色情報取得ステップと、前記カラー偏光情報と前記光源の色情報を利用して、前記カラー画像の成分分離を行う画像成分分離ステップとを含む。
【００３３】
本発明のプログラムは、被写体を撮像することによって前記被写体の画像を成分分離する画像処理装置のためのプログラムであって、上記の画像処理方法に含まれるステップをコンピュータに実行させる。
【００３４】
本発明のモデルベース画像合成装置は、パラメータ推定装置と画像合成装置とを備え、画像を合成するモデルベース画像合成装置であって、前記パラメータ推定装置は、被写体を撮像する画像撮像部と、上記の画像処理方法によって、前記画像撮像部によって撮像された画像の成分分離を行う画像分離部と、被写体に照射する光源の方向や位置、輝度、色、スペクトル情報の少なくとも１つを含む光源情報を推定する光源情報推定部と、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部と、撮像された被写体から、前記画像分離部で分割された成分ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部と、前記パラメータ推定部において推定された反射パラメータを保持するパラメータＤＢと、を有し、前記画像合成装置は、合成する画像の視点や光源情報を取得する視点・光源情報取得部と、前記パラメータＤＢに保持されている反射パラメータを利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリング部とを有する。
【００３５】
本発明のモデルベース画像合成方法は、パラメータ推定ステップと画像合成ステップとを備え、画像を合成するモデルベース画像合成方法であって、前記パラメータ推定ステップは、被写体を撮像する画像撮像ステップと、請求項１６に記載の画像処理方法によって、前記画像撮像部によって撮像された画像の成分分離を画像分離ステップと、光源の情報を推定する光源情報推定ステップと、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得ステップと、撮像された被写体から、前記画像分離部で分割された成分ごとに反射モデルパラメータを推定するパラメータ推定ステップとを含み、前記画像合成ステップは、合成する画像の視点や光源情報を取得する視点・光源情報取得ステップと、前記形状情報取得ステップによって推定された反射パラメータを利用して、前記視点・光源情報取得ステップで取得された視点や光源情報に則した画像を合成するレンダリングステップとを含む。
【発明の効果】
【００３６】
本発明の画像処理によれば、偏光情報と色情報という二つの情報を利用することにより、各画素について鏡面反射成分と拡散反射成分を正確に分離して求めることが可能である。また、偏光情報と色情報という二つの情報を利用した画像の成分分離をモデルベースの画像合成手法のパラメータ推定に利用することにより、被写体に忠実な、画像を合成することが可能である。
【図面の簡単な説明】
【００３７】
【図１】本発明の第１の実施形態に係る画像処理装置におけるブロック図である。
【図２】本発明の第１の実施形態に係る画像分離方法の処理の流れを示すフローチャートである。
【図３】本発明の第１の実施形態に係る画像処理装置が搭載されたカメラの構成例である。
【図４】本発明の第１の実施形態に係るカラー偏光取得部、カラー情報処理部および偏光情報処理部Ｚの構成を示すブロック図である。
【図５】本発明のカラー偏光取得部の基本的な構成を示す模式図である。
【図６】本発明におけるカラー偏光取得部における画素配列の例を示す模式図である。
【図７】本発明におけるカラー偏光取得部における画素配列の他の例を示す模式図である。
【図８】本発明におけるＢ、Ｇ、Ｒ偏光画素の波長特性を模式的に示す模式図である。
【図９】Ｇのカラーフィルタの透過域と、偏光特性によって定まる偏光分離域との間で波長がずれている場合を示す模式図である。
【図１０】本発明における、方向が異なる偏光主軸を有する４種類の偏光子を透過した光の輝度を説明するための模式図である。
【図１１】本発明の第１の実施形態に係る画像分離方法によって画像成分分離が行なわれた結果を示す図である。
【図１２】本発明の第１の実施形態に係る画像分離方法によって画像成分分離が行なわれた結果を示す模式図である。
【図１３】図１１の画像を輝度の高低に応じて複数の領域に分けた図である。
【図１４】本発明におけるカラー情報処理部１０３および偏光情報処理部１０４の処理の流れを示すフローチャートである。
【図１５】鏡面球を利用した光源推定方法を説明するための模式図である。
【図１６】被写体の屈折率ｎ＝１．１，ｎ＝１．３，ｎ＝１．５，ｎ＝２．０の場合における鏡面反射成分の入射角に対する偏光度を示したグラフである。
【図１７】被写体の屈折率ｎ＝１．１，ｎ＝１．３，ｎ＝１．５，ｎ＝２．０の場合における拡散反射成分の出射角に対する偏光度を示したグラフである。
【図１８】特定画素における色ベクトルＩ（ｘ，ｙ）の数値例を示す図である。
【図１９】本発明の第１の本実施形態に係る画像成分分離部における成分分離基準を示した図である。
【図２０】本発明の第１の本実施形態に係る画像成分分離部における別の成分分離基準を示した図である。
【図２１】本発明の第１の実施形態に係る画像分離方法の処理の流れを示す別のフローチャートである。
【図２２】本発明の第１の本実施形態に係る画像成分分離部における別の成分分離基準を示した図である。
【図２３】本発明の第１の実施形態に係る画像分離方法の処理の流れを示す別のフローチャートである。
【図２４】本発明の第１の本実施形態に係る画像成分分離部における別の成分分離基準を示した図である。
【図２５】本発明の第１の実施形態に係る画像分離方法の処理の流れを示す別のフローチャートである。
【図２６】本発明の第１の実施形態に係る画像処理装置における別のブロック図である。
【図２７】本発明の第１の実施形態に係る画像分離方法の処理の流れを示す別のフローチャートである。
【図２８】本実施形態に係る画像処理装置が搭載されたカメラの構成例である。
【図２９】本発明の第２の実施形態に係る画像処理装置におけるブロック図である。
【図３０】本発明の第２の実施形態に係る画像分離方法の処理の流れを示すフローチャートである。
【図３１】本発明の第２の実施形態に係る画像処理装置が搭載されたカメラの構成例を示す図である。
【図３２】本発明の第２の実施形態に係る画像処理装置における別のブロック図である。
【図３３】本発明の第２の実施形態に係る画像分離方法の処理の流れを示す別のフローチャートである。
【図３４】本発明の第２の実施形態に係る画像処理装置が搭載されたカメラの別の構成例である。
【図３５】本発明に係る画像合成装置の構成例を示すブロック図である。
【図３６】本発明に係る画像合成方法におけるパラメータ推定方法の処理の流れの例を示すフローチャートである。
【図３７】本発明に係る画像合成方法における画像合成推定方法の処理の流れの例を示すフローチャートである。
【図３８】本発明の画像合成装置が搭載されたカメラの構成例を示す図である。
【図３９】法線方向ベクトル、視線ベクトル、光源方向ベクトルの関係を説明するための模式図である。
【図４０】拡散反射成分と鏡面反射成分の輝度の違いを表現するための定数Ｓｒを説明するための模式図である。
【図４１】本発明の一実施形態に係る画像合成処理における鏡面反射画像のパラメータ推定処理の流れを示す図である。
【図４２】入射照度を表す式の各パラメータを説明するための概念図である。
【図４３】シンプレックス法によるパラメータ推定処理の流れを示すフローチャートである。
【図４４】シンプレックス法におけるパラメータ更新処理の流れを示したフローチャートである。
【図４５】（ａ）は、本発明の第１の実施形態に係る画像処理装置を利用して求めた鏡面反射成分の輝度Ｉｓと中間ベクトルβの関係を示すグラフであり、（ｂ）は、被写体の画像を示す図である。
【図４６】従来手法の問題点を説明するために、従来の画像処理装置を利用して鏡面反射成分の輝度Ｉｓと中間ベクトルβの関係を求めた模式図である。
【図４７】従来の偏光情報を利用した画像分離手法を利用して作成した合成画像である。
【図４８】本発明の一実施形態に係る画像合成処理におけるパラメータＤＢに保持されているモデルパラメータを示す模式図である。
【発明を実施するための形態】
【００３８】
以下、図面を参照しながら本発明の実施形態を説明する。
【００３９】
（第１の実施形態）
まず、本発明の第１の実施形態における画像処理装置の概要について説明する。
【００４０】
図１は、本実施形態に係る画像処理装置におけるブロック図を示している。この画像処理装置は、被写体を撮像することによって前記被写体の画像の成分分離を行う装置であり、直線偏光光を前記被写体に投光する投光部１０１と、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部１０２と、カラー偏光取得部１０２で取得した画像からカラー画像を生成するカラー情報処理部１０３と、カラー偏光取得部１０２で取得した画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関するカラー情報であるカラー偏光情報を生成する偏光情報処理部１０４と、被写体を投光している光源の色情報を取得する光源色情報取得部１０５と、偏光情報処理部１０４によって生成された偏光情報と光源色情報取得部１０５によって取得された光源色情報を利用して、カラー情報処理部１０３で取得したカラー画像の成分分離を行う画像成分分離部１０６と、画像分離部１０６で生成された信号を出力する出力部とを備える。
【００４１】
本明細書において、「偏光画像」とは、特定の偏光主軸角度を有する偏光フィルタ（偏光子）を透過してきた光によって形成される画像である。複数の偏光主軸角度の各々について、異なる「偏光画像」を得ることが可能である。また、「カラー偏光画像」とは、特定の偏光主軸角度を有する偏光フィルタ（偏光子）を透過してきた光のうち、主波長が異なる複数の色の光によって形成される画像である。ある偏光主軸角度を有する偏光フィルタ（偏光子）を透過してきた光に基づいて、典型的には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラー偏光画像が得られる。カラー偏光画像が得られると、単位画素ごとにＲ、Ｇ、Ｂの輝度からなる色ベクトルが定まる。同様に、偏光フィルタを透過しない光によって形成されるカラー画像が得られると、そのカラー画像の色ベクトルも定まる。本明細書における「成分分離」とは、１つの色ベクトルを複数の色ベクトル（成分）の和として表することに対応する。
【００４２】
次に、本実施形態における画像処理の動作を説明する。図２は本実施形態に係る画像処理の動作を示すフローチャートである。図２のステップＳ１０１において、投光部１０１は、偏光光を被写体へ投光する。ステップＳ１０２において、カラー偏光取得部１０２は、パターン化偏光子およびカラーフィルタを通して被写体を撮像素子で受光することで、カラー偏光情報を含んだカラー偏光画像を取得する。パターン化偏光子は、後述するように３方向以上の偏光主軸角度（偏光透過軸の回転角度）をもつ。
【００４３】
ステップＳ１０３において、カラー情報処理部１０３は、カラー偏光取得部１０２から出力される情報を用いて、カラー画像情報を取得する。偏光情報処理部１０４は、カラー偏光取得部１０２から出力される情報を用いて、偏光情報として、後述する偏光最小カラー成分Ｉminと偏光振幅カラー成分Ｉampとを生成する（ステップＳ１０４）。また、光源色情報取得部１０５は、被写体を照射している光源の色ベクトルＩLightを取得する（ステップＳ１０５）。ステップＳ１０３、ステップＳ１０４、ステップＳ１０５の順序は任意であり、並列的に実行してもよいし、順次実行しても良い。
【００４４】
ステップＳ１０６において、画像成分分離部１０６は、偏光情報処理部１０４によって生成された偏光振幅カラー成分Ｉampを、偏光振幅光源色ベクトル成分Ｉamp1と偏光振幅偏光最小カラーベクトル成分Ｉamp2へ分離する。さらに、ステップＳ１０７において、画像成分分離部１０６は、偏光情報処理部１０４で生成された偏光振幅偏光最小カラー成分Ｉminを拡散反射非偏光成分として、偏光振幅偏光最小カラーベクトル成分Ｉamp2を拡散反射偏光成分として、偏光振幅光源色ベクトル成分Ｉamp1を鏡面反射偏光成分として成分分離を行う。
【００４５】
ここでは、カラー偏光取得部１０２、カラー情報処理部１０３、偏光情報処理部１０４、光源色情報取得部１０５および画像成分分離部１０６は、図３に示すＣＰＵ２０５がプログラムを実行することによって、実現されるものとする。ただし、これらの機能の全部または一部を、ハードウエアによって実現しても良い。また、図３に示すメモリ２０４はカラー偏光取得部１０２によって取得された情報、カラー情報処理部１０３によって取得されたカラー画像情報、偏光情報処理部１０４によって取得された偏光情報および光源色情報取得部１０５によって取得された光源色ベクトル情報を格納する。
【００４６】
次に、図３を参照しながら、本実施形態に係る画像処理装置が搭載されたカメラの構成と動作を説明する。図３は、このようなカメラの構成例を示すブロック図である。図３のカメラは、パターン化偏光子２０１、カラー撮像装置２０８、メモリ２０４、ＣＰＵ２０５、発光装置２０６、および偏光子２０７を備えている。カラー撮像装置２０８は、カラーフィルタ２０２および撮像装置２０３を備えている。
【００４７】
投光部１０１は、発光装置２０６と偏光子２０７を利用し、偏光光を被写体へ投光する。これは、例えばカメラのフラッシュを発光装置２０６として利用する場合、フラッシュの前方に偏光フィルタ（偏光子２０７）を設置することで実現できる。偏光光を利用する手段として、液晶偏光子などを利用しても良い。
【００４８】
カラー偏光取得部１０２は、パターン化偏光子２０１およびカラーフィルタ２０２を通して被写体を撮像素子で受光することで、カラー偏光情報を含んだカラー画像であるカラー偏光画像を取得する。また、カラー情報処理部１０３は、カラー偏光取得部１０２から出力される情報を用いて、カラー画像情報を計算する。さらに、偏光情報処理部１０４は、カラー偏光取得部１０２から出力される情報を用いて、偏光情報を計算する。この処理を詳述する。
【００４９】
図４は、カラー偏光取得部１０２、カラー情報処理部１０３および偏光情報処理部１０４の構成を示すブロック図である。被写体からリアルタイムにカラー画像情報と偏光画像情報を取得し、偏光情報として、非偏光成分である偏光最小カラー情報を出力する。レンズ２２０および絞り２２１を通った入射光は、カラー偏光取得部１０２に入射する。この入射光から、カラー偏光取得部１０２はカラー画像情報および偏光画像情報の両方をリアルタイムに取得することができる。カラー偏光取得部１０２からは、カラー画像情報および偏光情報を示す信号が出力され、それぞれ、カラー情報処理部１０３および偏光情報処理部１０４に与えられる。カラー情報処理部１０３および偏光情報処理部１０４は、上記信号に対して各種の処理を施し、カラー画像ｌｍ、偏光最小カラー情報Ｉminを出力する。
【００５０】
図５は、カラー偏光取得部１０２の基本的な構成を示す模式図である。図示されている例では、カラーフィルタ２０２およびパターン化偏光子２０１が、撮像素子画素２０３の前面に重ねて設置されている。またカラーフィルタとパターン化偏光子の設置の順番は任意である。入射光は、カラーフィルタ２０２およびパターン化偏光子２０１を透過して撮像素子に到達し、撮像素子画素２０３によって輝度が観測される。このように本実施形態によれば、カラーモザイク型の単板カラー撮像素子を用いてカラー情報および偏光情報の両方を取得することができる。
【００５１】
図６（ａ）は、カラー偏光取得部１０２における撮像面の一部を光軸方向の真上から見た図である。図６（ａ）には、簡単のため、撮像面のうち、１６個の画素（４×４）のみが図示されている。図示されている４つの矩形領域３０１〜３０４は、それぞれ、４個の画素セル上に設置されたベイヤ型カラーモザイクフィルタの対応部分を示している。矩形領域３０１は、Ｂ（Ｂｌｕｅ：青色）フィルタ領域であり、画素セルＢ１〜Ｂ４をカバーしている。画素セルＢ１〜Ｂ４には、それぞれ異なる偏光主軸を有するＢ用パターン化偏光子が密着している。ここで、「偏光主軸」とは、偏光子を透過する光の偏波面（透過偏波面）に平行な軸である。本実施形態では、同一色の画素内において異なる角度の透過偏波面を有する偏光子単位（微小偏光板）が隣接して配置されている。より詳細には、透過偏波面の方向が相互に異なる４種類の偏光子単位がＲ、Ｇ、Ｂの各同一色の画素内に配置されている。１つの偏光子単位は、１つ微細な偏光画素に対応している。図６（ａ）では、個々の偏光画素に対して、Ｇ１などの符号が与えられている。
【００５２】
図６（ｂ）は、Ｂ用パターン化偏光子が密着する４つの微細偏光画素に割り当てられる偏光主軸を示している。図６（ｂ）において、各微細偏光画素に記載された直線は、微小偏光板の偏光主軸方向を模式的に示している。図６（ｂ）の例では、４つの微細偏光画素が、それぞれ、角度Φｉ＝０°、４５°、９０°、１３５°の偏光主軸を有している。
【００５３】
矩形領域３０２、３０４の画素には、それぞれ、４個のＧ（Ｇｒｅｅｎ：緑色）用パターン化偏光子が密着し、矩形領域３０３の画素には、４個のＲ（Ｒｅｄ：赤色）用パターン化偏光子が密着している。図中、参照符号「３０５」で示される位置は、本撮像系における４画素を一括した仮想的な画素位置を示している。各矩形領域３０２〜３０４のパターン化偏光子も、図６（ｂ）に示すように異なる４つの偏光主軸を有する部分に分割されている。
【００５４】
図７（ａ）は、カラー偏光取得部１０２における画素配列の他の例を示す図である。この例では、４５°傾いた３×３ブロック内にＧ画素が十文字型に配置されており、Ｇ画素の周囲の４画素にＲ、Ｂが交互に配置される。図７（ｂ）は、各カラー画素の微細構造を示しており、各カラー画素は、４種類の微細偏光画素から構成されている。
【００５５】
このように本実施形態では、各カラー画素に対して、異なる偏光主軸を有する複数の微細偏光画素が包含される点に特徴を有しており、カラーモザイク配列自体は任意である。以下の説明では、個々の微細偏光画素を「偏光画素」と称することとする。
【００５６】
図８（ａ）から図８（ｃ）は、それぞれ、Ｂ、Ｇ、Ｒ偏光画素の波長特性を模式的に示すグラフである。各グラフの縦軸は透過光の強度、横軸は波長である。Ｂ、Ｇ、Ｒ用の偏光画素は、Ｂ、Ｇ、Ｒの各波長帯域においてＴＭ（Ｔｒａｎｓｖｅｒｓｅ Ｍａｇｎｅｔｉｃ Ｗａｖｅ）波を透過し、ＴＥ（Ｔｒａｎｓｖｅｒｓｅ Ｅｌｅｃｔｒｉｃ Ｗａｖｅ）波を反射（透過せず）する偏光特性を有している。ＴＭ波は、磁場成分が入射面に対して横向きの波であり、ＴＥ波は、電場成分が入射面に対して横向きの波である。
【００５７】
図８（ａ）には、Ｂ偏光画像の偏光特性４０２、４０３と、Ｂ用カラーフィルタの透過特性４０１とが示されている。偏光特性４０２、４０３は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。
【００５８】
図８（ｂ）には、Ｇ偏光画像の偏光特性４０５、４０６と、Ｇ用カラーフィルタの透過特性４０４とが示されている。偏光特性４０５、４０６は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。
【００５９】
図８（ｃ）には、Ｒ偏光画像の偏光特性４０８、４０９と、Ｒ用カラーフィルタの透過特性４０７とが示されている。偏光特性４０８、４０９は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。
【００６０】
図８（ａ）から図８（ｃ）に示すような特性は、例えば「川嶋，佐藤，川上，長嶋，太田，青木，“パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発”，電子情報通信学会２００６年総合全国大会，Ｎｏ.Ｄ−１１−５２，Ｐ５２，２００６」に記載されたフォトニック結晶を用いて実現することができる。フォトニック結晶の場合、その表面に形成された溝に平行な電場ベクトル振動面を持つ光がＴＥ波、垂直な電場ベクトル振動面を持つ光がＴＭ波となる。
【００６１】
本実施形態で重要な点は、図８（ａ）から図８（ｃ）に示すように、Ｂ、Ｇ、Ｒの透過波長帯域の各々において偏光分離特性を示すパターン化偏光子を用いることにある。
【００６２】
図９は、Ｇのカラーフィルタの透過域と、偏光特性４１０、４１１によって定まる偏光分離域との間で波長がずれている場合を示している。このような特性を示す偏光子によれば、本発明の目的とする動作を行うことはできない。
【００６３】
モノクロ輝度と偏光フィルタとを使用する場合には、偏光分離特性を示す波長域の最適化は不要であったが、カラーの画素ごとに偏光情報を取得する場合は、カラーの分離特性と偏光の分離特性と整合させる必要がある。
【００６４】
本明細書では、偏光画素における偏光主軸の方位を表示する４つの数字「１、２、３、４」と、カラーを区別するため３つの符号「Ｒ、Ｇ、Ｂ」の組み合わせ（例えば「Ｒ１」や「Ｇ１」など）を用いて、偏光画素の特性を示すこととする。偏光画素Ｒ１および偏光画素Ｇ１は、数字が同じであるため、偏光主軸の方向は一致しているが、ＲＧＢ符号が異なるため、透過する光の波長帯域が異なる偏光画素に相当している。本実施形態では、このような偏光画素の配列を、図５に示すカラーフィルタ２０２およびパターン化偏光子２０１の組み合わせによって実現している。
【００６５】
被写体の特に明るい鏡面反射部分に含まれる偏光成分や、被写体の影領域に含まれる偏光成分などを確実に取得するため、撮像素子の輝度ダイナミックレンジとビット数はなるべく大きいこと（例えば１６ｂｉｔ）が望ましい。
【００６６】
また、カラー偏光取得部１０２は投光制御部１０１と同期処理を行うことが望ましい。これは、例えば、カメラのフラッシュなどを投光部１０１として利用する場合、投光部１０１の発光タイミングの直後にカラー偏光取得部１０２は撮像を行うようにすればよい。
【００６７】
図５に示す構成によって偏光画素ごとに取得された輝度の情報は、図４の偏光情報処理部１０４で処理される。以下、この処理を説明する。
【００６８】
図１０は、方向が異なる偏光主軸（Φｉ＝０°、４５°、９０°、１３５°）を有する４種類の偏光子を透過した光の輝度５０１〜５０４を示している。ここで、偏光主軸の回転角ΦがΦｉのときにおける観測輝度をＩ（Φｉ）とする。ただし、「ｉ」は、１以上Ｎ以下の整数、「Ｎ」はサンプル数とする、図１０に示す例では、Ｎ＝４であるため、ｉ＝１、２、３、４となる。図１０には、４画素のサンプル（Φｉ，Ｉｉ（Φｉ））に対応する輝度５０１〜５０４が示されている。
【００６９】
偏光主軸の角度Φｉと輝度５０１〜５０４との関係は、正弦関数カーブによって表現される。図１０では、輝度５０１〜５０４の４点が１本の正弦関数カーブ上に位置するように記載されているが、より多くの観測輝度に基づいて正弦関数カーブを決定した場合、観測輝度の一部が正弦関数カーブ上から僅かに外れる場合もあり得る。
【００７０】
なお、本明細書における「偏光情報」とは、輝度の偏光主軸角度に対する依存性を示す正弦関数カーブにおける振幅変調度および位相情報を意味するものとする。
【００７１】
実際の処理では、図６（ａ）に示す同一カラー領域３０１〜３０４ごとに内部の４個の画素輝度をサンプルとして、パターン化偏光子の主軸角Φに対する反射光輝度Ｉを以下のように近似する。
【数１】
2010004677.tif 000123
【００７２】
ここで図８に示すようにＡ、Ｂ、Ｃは定数であり、それぞれ、偏光輝度の変動カーブの振幅、位相、平均値を表現している。（式１）は、以下のように展開できる。
【数２】
2010004677.tif 000124
【００７３】
ただし、ＡおよびＢは、それぞれ、以下の（式３）および（式４）で示される。
【数３】
2010004677.tif 000125
【数４】
2010004677.tif 000126
【００７４】
以下の（式５）を最小にするＡ、Ｂ、Ｃを求めれば、輝度Ｉと偏光主軸角Φとの関係を（式１）の正弦関数によって近似できる。
【数５】
2010004677.tif 000127
【００７５】
以上の処理で１つのカラーについて正弦関数近似のＡ、Ｂ、Ｃの３パラメータが確定する。
【００７６】
こうして、非偏光成分である偏光最小輝度Ｉminおよび偏光成分である偏光振幅輝度Ｉampを以下の式６および式７より求める。
・偏光最小輝度Ｉmin
【数６】
2010004677.tif 000128
・偏光振幅輝度Ｉamp
【数７】
2010004677.tif 000129
【００７７】
なお、本実施形態の画像処理装置は、偏光最小輝度Ｉminおよび偏光振幅輝度Ｉampを出力としているが、出力する偏光情報は、図１０の正弦関数から得られる情報であれば、他の情報の組であってもよい。例えば、偏光度画像ρ、偏光位相画像Φmax、偏光推定誤差Ｅ、正弦関数の最高輝度Ｉmaxの値と、それぞれの組み合わせを偏光情報として出力してもよい。
・偏光度ρ
【数８】
2010004677.tif 000130
・偏光位相φmax（０≦φmax≦π[ｒａｄ]）
【数９】
2010004677.tif 000131
・偏光推定誤差Ｅ
【数１０】
2010004677.tif 000132
・偏光最大輝度Ｉmax
【数１１】
2010004677.tif 000133
【００７８】
ここで、偏光度ρは、該当画素の光が偏光している程度を表し、偏光位相Φmaxは、該当画素の光の部分偏光の主軸角度を表している。また、偏光推定誤差とは、４画素のサンプルについて観測された輝度と近似によって得られた上述の正弦関数から定まる輝度との差の合計である。なお、偏光の主軸角度は０と１８０°（π）は同一である。
【００７９】
カラー情報処理部１０３は、カラー偏光取得部１０２から出力される情報を用いて、カラー輝度を計算する。偏光子を透過した光の輝度は、偏光子に入射する前の光が有する本来の輝度とは異なる。非偏光照明の場合、理論的には、偏光のすべての偏光主軸における観測輝度を平均化した値が偏光子に入射する前の光が有する本来の輝度に相当する。偏光画素Ｒ１における観測輝度をＩR1と表現すると、以下の式１２に基づいて、カラー輝度を算出することができる。
【数１２】
2010004677.tif 000134
【００８０】
以後、このようなカラー輝度を有する単位画素の集合からなる画像をカラー画像Ｉと表現する。
【００８１】
各偏光画素における輝度を得ることにより、通常のカラーモザイク画像を生成できる。モザイク画像に基づいて各画素でＲＧＢ画素値を有するカラー画像へ変換することにより、カラー画像Ｉが生成される。このような変換は、例えばベイヤーモザイク補間方法などの公知の補間技術を用いて実現される。
【００８２】
この手法を用いることにより、偏光情報である偏光最小輝度Ｉminおよび偏光振幅輝度Ｉampとは別に、ＲＧＢの３つの輝度からなる色ベクトルによって表現される「カラー情報」として、偏光最小カラー成分Ｉminおよび偏光振幅カラー成分Ｉampを取得することができる。また、このとき、カラー画像Ｉとカラー情報との間には、以下の関係が成立する。
【数１３】
2010004677.tif 000135
【００８３】
図１１（ａ）は、グレープフルーツ（被写体）のカラー画像Ｉ(ｘ，ｙ）の輝度のみを示す図である。図１１（ｂ）および図１１（ｃ）は、それぞれ、図１１（ａ）の被写体に関する偏光最小輝度Ｉmin（ｘ、ｙ）および偏光振幅輝度Ｉamp（ｘ，ｙ）の画像の例を示している。本来、これらの画像はカラー画像であるが、モノクロ化されている。また、図１２は、図１１の各図を模式的に示した図（濃淡を明瞭化した図）である。この図において、各領域（Ａ０１〜Ｂ０６）は、図１３における各領域に対応する。
【００８４】
カラー画像Ｉ(ｘ，ｙ）や、各画素の輝度および偏光情報は、図６（ｂ）に示す４つの偏光画素を用いて得られるため、個々の輝度および偏光情報は、図６（ｂ）に示す４つの偏光画素の中心に位置する仮想画素点３０５における値を示していると考えることができる。したがって、カラー画像および偏光画像の解像度は、いずれも、撮像素子の解像度の縦１／２×横１／２に低下する。
【００８５】
しかしながら、本実施形態では、図６や図７に示すように、１色のカラーモザイク画素内に複数の微細な偏光子が存在するため、微細画像にて４分割しないカラーモザイク画素を用いる場合の解像度と比較した場合には同等の解像度である。
【００８６】
次に、図１４を参照しながら、図１におけるカラー情報処理部１０３および偏光情報処理部１０４の動作を説明する。
【００８７】
まず、最初にカラー偏光取得部１０２にてカラー画像と偏光情報画像をリアルタイムに取得する。ステップＳ２０１〜Ｓ２０３において、カラー画像のＲ、Ｇ、Ｂの各画素における複数の偏光輝度の観測値を取得する。ステップＳ２０１〜Ｓ２０３の順序は任意であり、並列的に実行されてもよい。具体的には、Ｒ、Ｇ、Ｂのカラーモザイク画素内で４種類の偏光輝度を取得する。偏光輝度を示す信号は、偏光情報処理部１０４に送られ、ステップＳ２０４〜Ｓ２０８において、以下のように処理される。
【００８８】
すなわち、ステップＳ２０４〜Ｓ２０６の各々において、Ｒ画素、Ｇ画素、Ｂ画素の各々から得られる変動輝度に基づいて、正弦関数パラメータを算出する。正弦関数パラメータは、前述の式１におけるＡ、Ｂ、Ｃで規定される。ステップＳ２０４〜Ｓ２０６の処理も、互いに独立しているため、任意の順序で行うことができ、並列的に実行されてもよい。つぎに、ステップＳ２０７において、偏光情報処理部１０４は、正弦関数の最小輝度と振幅成分を求めることにより、非偏光成分である偏光最小輝度Ｉminおよび偏光成分である偏光振幅輝度Ｉampを生成する。
【００８９】
その後、カラー情報処理部１０３により、ステップＳ２０８の処理が実行される。具体的には、前述の式１２を用いて、Ｒ、Ｇ、Ｂの平均輝度が求められ、カラー輝度画像Ｉ（ｘ，ｙ）が生成される。
【００９０】
なお、本実施形態では、パターン化偏光子にフォトニック結晶を用いているが、偏光素子は、フィルム型の偏光素子、ワイヤーグリッド型、その他の原理による偏光素子であってもよい。
【００９１】
カラー画像を取得するために、カラーフィルタを利用するのではなく、フォビオン素子などを利用しても良い。この場合、図３の本実施形態に係る画像処理装置が搭載されたカメラの構成例は、カラーフィルタ２０２および撮像装置２０３をカラー撮像装置２０８とする構成となる。
【００９２】
光源色情報取得部１０５は、被写体を照射している光源の色情報を取得する。被写体を照射している光源が、投光部１０１による発光装置２０６のみである場合、光源の色情報は既知である。これは、発光装置２０６の色情報を、画像処理装置のメモリ２０４に保持しておき、光源色情報取得部１０５は、メモリ２０４から光源色情報を呼び出すようにすればよい。また、投光部１０１による発光装置２０６以外の光源が被写体を照射している場合、光源色情報取得部１０５は、例えば、被写体近傍に光源情報を推定するための形状・表面反射率既知のターゲットを配置し、カラー撮像装置２０８によって撮像したその画像から色情報を推定すればよい（例えば、「神原誠之，横矢直和，"光源環境の実時間推定による光学的整合性を考慮したビジョンベース拡張現実感"，電子情報通信学会技術研究報告，パターン認識・メディア理解，ＰＲＭＵ２００２−１９０，ｐｐ. ７−１２，２００３」）。この処理について詳述する。
【００９３】
光源色情報の取得は、例えば図１５に示した鏡面とみなせる球６０１を利用して行う。鏡面球６０１を被写体近傍に設置し、その位置や法線方向は既知とする。この鏡面球６０１をカラー偏光取得部１０２によって撮像し、カラー情報処理部１０３でカラー画像を取得する。このとき、鏡面球６０１には、撮影環境が映り込んでいる。光源は輝度が高いことを考慮すると、撮影された鏡面球の画像から、高輝度の画素を鏡面反射画素として検出する。鏡面の反射率も既知であるため、鏡面反射画素の色情報を検出することにより、光源の色ベクトル情報を取得できる。
【００９４】
このようなターゲットを常に撮影するのではなく、以前に撮影して求めた光源色情報を使うようにしても良い。これは、屋内の監視カメラのように光源環境が変わらない場合に有効である。このような場合、カメラを設置した際にターゲットを撮影し、光源情報を取得するようにすればよい。光源は白色であると仮定して、処理を行うようにしても良い。これは、蛍光灯照明下で撮像する場合や、昼間、屋外で撮影する場合に有効である。
【００９５】
画像成分分離部１０６は、偏光情報処理部１０４によって生成された偏光情報と光源色情報取得部１０５によって取得された光源色ベクトル情報を利用して、カラー情報処理部１０３によって取得されたカラー画像に対して成分分離を行う。
【００９６】
まず、従来の偏光情報を利用した偏光情報を利用した分離手法（例えば、特許文献１）とその問題点について説明する。この手法は、偏光情報処理部１０４で取得された偏光最小輝度Ｉminを拡散反射成分、偏光振幅輝度Ｉampを鏡面反射成分と分離するものである。
【００９７】
この手法は、以下の通り、鏡面反射と拡散反射の偏光特性の違いに依存している。
・鏡面反射成分は表面反射によって生じるため、入射光の偏光特性が保持されている。そのため、カメラで観測された輝度の偏光成分として観測される。
・拡散反射はスキャッタリングを繰り返しているため、入射光の偏光特性が失われている。そのため、カメラで観測された輝度の非偏光成分として観測される。これらの偏光特性は、以下の２条件を前提としている。
（条件１）直線偏光光が投光されている場合、鏡面反射成分は偏光成分として観測される。
（条件２）直線偏光光が投光されている場合、拡散反射成分は非偏光成分として観測される。
【００９８】
従来の成分分離法によれば、図１１（ｂ）の画像が拡散反射成分を示すものとして扱われ、図１１（ｃ）の画像が鏡面反射成分を示すものとして扱われる。しかし、図１１（ｃ）に示されるように、出射角が十分に大きい（遮蔽エッジ近傍）領域では、本来存在しないはずの鏡面反射成分が検出されている。このことから、偏光情報を利用した拡散反射成分・鏡面反射成分分離手法は十分な精度が達成できないと判断できる。
【００９９】
このような問題は、拡散反射成分の一部が偏光し、（条件２）が満たされないために生じる。以下、このことについて、詳述する。
【０１００】
図１６、図１７は被写体の屈折率ｎ＝１．１、ｎ＝１．３、ｎ＝１．５、ｎ＝２．０の場合における鏡面反射成分と拡散反射成分の偏光度を示したグラフである（例えば、Ｌ. Ｂ. Ｗｏｌｆｆ ａｎｄ Ｔ. Ｅ. Ｂｏｕｌｔ， “Ｃｏｎｓｔｒａｉｎｉｎｇ ｏｂｊｅｃｔ ｆｅａｔｕｒｅｓ ｕｓｉｎｇ ａ ｐｏｌａｒｉｚａｔｉｏｎ ｒｅｆｌｅｃｔａｎｃｅ ｍｏｄｅｌ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ.１３，Ｎｏ.７，ｐｐ.６３５−６５７，１９９１参照）。
【０１０１】
ここで、図１６の横軸は入射角、縦軸は鏡面反射成分偏光度、また、図１７の横軸は出射角、縦軸は拡散反射成分偏光度を示している。この図は、被写体表面へ非偏光光を投光した場合、出射光や反射光はどの程度、偏光するかを示している。つまり、偏光度が０に近いほど出射光（反射光）は非偏光となり、偏光度が１に近いほど直線偏光に近づく。この図から、以下のことがわかる。
・出射角が十分に大きい領域以外では、拡散反射成分の偏光度は十分小さい。
・出射角が十分に大きい領域では、拡散反射成分の偏光度は、鏡面反射成分の偏光度に比べて十分に大きい。
【０１０２】
ここで、（条件２）に着目する。（条件２）が成立するためには、少なくとも、非偏光光が投光されている場合には、出射光が非偏光とならなければいけない。すなわち、偏光度は十分小さくなければいけない。このことを考慮すると、以下のことが推測される。
・出射角が十分に大きい領域（遮蔽エッジ近傍）では、（条件２）が成立しない。
【０１０３】
これが、図１１（ｂ）および図１１（ｃ）において、鏡面反射成分と拡散反射成分の分離が正確に作用しなかった大きな原因である。
【０１０４】
本実施形態における画像成分分離部１０６は、色情報を利用することにより、上記問題を解決する。以下、本実施形態における画像成分分離部１０６について詳述する。
【０１０５】
まず、色情報による鏡面反射成分と拡散反射成分を分離で広く使われている、２色性反射モデルについて説明する。
【０１０６】
２色性反射モデルでは、画素（ｘ，ｙ）で観測されるカラー画像における被写体の色ベクトルＩ（ｘ，ｙ）は、次式のように分解できる。
【数１４】
2010004677.tif 000136
【０１０７】
ここで、ＩLightは光源の色ベクトル、ＩObject（ｘ，ｙ）は画素（ｘ，ｙ）での物体色ベクトルを示している。色ベクトルとは、Ｒ、Ｇ、Ｂ各色の輝度をベクトルとして表現した、３次元ベクトルである。また、Ｃ’１（ｘ，ｙ）およびＣ’２（ｘ，ｙ）は光源色ベクトルと物体色ベクトルの重みを示している。この式から、画素（ｘ，ｙ）での鏡面反射成分Ｉs（ｘ，ｙ）および拡散反射成分Ｉd（ｘ，ｙ）は、次式のように分離できることがわかる。
【数１５】
2010004677.tif 000137
【数１６】
2010004677.tif 000138
【０１０８】
しかし、従来の色情報による鏡面反射成分・拡散反射成分分離手法では、物体色ベクトルが未知であるため、式１４のような成分分離を行うことができなかった。そこで、本実施形態における画像成分分離部１０６では、物体色ベクトルとして、偏光情報処理部１０４から求めた偏光最小カラー情報Ｉminを利用することで、この問題を解決する。
【０１０９】
前述のように、偏光情報による鏡面反射成分・拡散反射成分分離手法では、直線偏光光が投光されている場合であっても、遮蔽エッジ近傍では、拡散反射成分は非偏光成分としてのみ観測されるだけではなく、偏光成分としても観測される。しかし、非偏光成分は拡散反射成分であると考えられるため、式６によって求められた偏光最小カラー情報Ｉminは物体色ベクトルに等しいと考えられる。そこで、本実施形態における画像成分分離部１０６は、以下の式を利用することで、鏡面反射成分と拡散反射成分を分離する。
【数１７】
2010004677.tif 000139
【０１１０】
ここで、カラー画像Ｉ（ｘ，ｙ）は、２倍された偏光振幅カラー成分Ｉampと偏光最小カラー情報Ｉminとの和であることを利用している。つまり、画像成分分離部１０６は、偏光振幅カラー成分Ｉampを光源色ベクトル成分と偏光最小カラーベクトル成分に分離する。この処理を行うことにより、画像成分分離部１０６は、カラー画像Ｉ（ｘ，ｙ）を、式１７にしたがい、以下のように偏光振幅光源色ベクトル成分Ｉamp1（ｘ，ｙ）および偏光振幅偏光最小カラーベクトル成分Ｉamp2（ｘ，ｙ）および偏光最小カラー成分Ｉmin（ｘ，ｙ）へ分離する。
【数１８】
2010004677.tif 000140
【０１１１】
図１８（ａ）は、被写体の位置（ｘ，ｙ）＝（５１４，４３２）、（７８０，３３０）、（５２８，３９４）における画素の色ベクトルＩ（ｘ，ｙ）の数値例を示している。図１８（ａ）に示すように、位置（ｘ，ｙ）＝（５１４，４３２）、（７８０，３３０）における画素の色ベクトルＩ（ｘ，ｙ）は、Ｉamp1（ｘ，ｙ）＋Ｉamp2（ｘ，ｙ）＋Ｉmin（ｘ，ｙ）で表されている。
【０１１２】
一方、鏡面反射領域内の位置（ｘ，ｙ）＝（５２８，３９４）における色ベクトルＩ（ｘ，ｙ）は、画像内で最も輝度が高い。そのため、後述するように、（ｘ，ｙ）＝（５２８，３９４）の色ベクトルを光源の色ベクトルＩLightとして推定する。
【０１１３】
後述する方法によって画像の成分分離を行うと、画素ごとにＩ（ｘ，ｙ）をＩamp1（ｘ，ｙ）、Ｉamp2（ｘ，ｙ）、およびＩmin（ｘ，ｙ）に分離することができる。図１８（ｂ）に例として示す位置（ｘ，ｙ）＝（５１４，４３２）の画素におけるＩamp1（ｘ，ｙ）、Ｉamp2（ｘ，ｙ）、およびＩmin（ｘ，ｙ）は、それぞれ、［７２６９，７１３２，６５０５］、［４１５１，１７０５，８２１］、および［１１８４５，４８６５，２３４５］である。なお、［］内の３つの数値は、前述したように、Ｒ、Ｇ、Ｂ各色の輝度である。同様に、位置（ｘ，ｙ）＝（７８０，３３０）の画素におけるＩamp1（ｘ，ｙ）、Ｉamp2（ｘ，ｙ）、およびＩmin（ｘ，ｙ）は、それぞれ、［３７，３７，３３］、［１４５５，５３０，２４４］、および［４２０７，１５３２，７０６］である。
【０１１４】
ここで、色ベクトルはＲＧＢの３次元ベクトルであることに着目すると、偏光振幅カラー成分Ｉamp(ｘ，ｙ）は以下のように表現される。
【数１９】
2010004677.tif 000141
【０１１５】
ただし、Ｒamp(ｘ，ｙ）、Ｇamp (ｘ，ｙ）、Ｂamp (ｘ，ｙ）は、偏光振幅カラー成分Ｉamp（ｘ，ｙ）のＲ成分、Ｇ成分、Ｂ成分であり、ＲLight、ＧLight、ＢLightは、光源色ベクトルＩLightのＲ成分、Ｇ成分、Ｂ成分である。また、Ｒmin(ｘ，ｙ）、Ｇmin (ｘ，ｙ）、Ｂmin (ｘ，ｙ）は、偏光最小カラー成分Ｉmin（ｘ，ｙ）のＲ成分、Ｇ成分、Ｂ成分である。
【０１１６】
式１９において、被写体の色ベクトルＩ（ｘ，ｙ）はカラー画像処理部１０３から求まっている。光源色ベクトルＩLightは、光源色情報取得部１０５より既に求まっている。また、偏光最小カラー情報Ｉmin（ｘ，ｙ）は、偏光情報処理部１０４より既に求まっている。したがって、式１９において、方程式の数は３であるのに対し、未知数はＣ１（ｘ，ｙ）およびＣ２（ｘ，ｙ）の２つである。そのため、式２０は最小自乗法を利用することにより、次式よりＣ１（ｘ，ｙ）およびＣ２（ｘ，ｙ）を求めることができる。
【数２０】
2010004677.tif 000142
【０１１７】
画像成分分離部１０６は、偏光情報処理部１０４および画像成分分離部１０６によって分離された各成分を、さらに、図１９の成分分離基準に従い、各成分の成分分離を行う。
【０１１８】
本実施形態における画像分離方法によって分離された「拡散反射非偏光成分」、「拡散反射偏光成分」、および「鏡面反射偏光成分」は、それぞれ、図１１（ｂ）、図１１（ｄ）、および図１１（ｅ）に示される通りである。すなわち、図１１（ｂ）は「拡散反射非偏光成分」である偏光最小カラー画像Ｉmin(ｘ，ｙ）、図１１（ｄ）は「拡散反射偏光成分」である偏光振幅偏光最小カラーベクトル成分Ｉamp2（ｘ，ｙ）、図１１（ｅ）は「鏡面反射偏光成分」である偏光振幅光源色ベクトル成分Ｉamp1（ｘ，ｙ）を示している。
【０１１９】
従来の偏光情報を利用した鏡面反射成分・拡散反射成分分離方法では、図１１（ｃ）のＩamp（ｘ，ｙ）を「鏡面反射成分」、図１１（ｂ）のＩmin(ｘ，ｙ）を「拡散反射成分」として分離してしまう。そのため、前述のように、出射角が十分に大きい（遮蔽エッジ近傍）領域では、本来存在しないはずの鏡面反射成分が検出されるという問題が生じるが、本実施形態の画像分離方法では、そのような問題は生じない。
【０１２０】
なお、光源色情報取得部１０５は、カラー情報処理部１０３および偏光情報処理部１０４が取得した被写体の情報を利用して、光源の色情報を取得するようにしても良い。前述のように、２色性反射モデルでは、被写体の色ベクトルＩ（ｘ，ｙ）は、光源の色ベクトルに等しい鏡面反射成分と、物体色ベクトルを有する拡散反射成分に分離される。
【０１２１】
鏡面反射成分が非常に大きくなる正反射領域では、拡散反射成分が無視できると考えられる。また、画像中で最も輝度の高い画素は、正反射領域と仮定すると、この画素の色ベクトルは光源の色ベクトルに等しいと考えられる。そこで、光源色情報取得部１０５は、カラー情報処理部１０３が取得したカラー画像情報において、最も輝度の高い画素の検出し、その画素の色ベクトルを光源の色ベクトルとして推定する。例えば図１８（ａ）に示す例では、位置（ｘ，ｙ）＝（５２８，３９４）が最も輝度の高い画素である。そのため、この画素のＩ（ｘ，ｙ）を光源色ベクトルとして推定することが可能である。
【０１２２】
光源色情報取得部１０５は、カラー情報処理部１０３および偏光情報処理部１０４が取得した、偏光最小輝度Ｉmin、または、偏光振幅輝度Ｉampにおいて、最も輝度の高い画素の検出し、その画素の偏光最小輝度Ｉminまたは、偏光振幅輝度Ｉampの色ベクトルを光源の色ベクトルとして推定するようにしてもよい。
【０１２３】
画像成分分離部１０６は、カラー画像を拡散反射非偏光成分、拡散反射偏光成分、および鏡面反射偏光成分に分離するのではなく、例えば、拡散反射成分および鏡面反射成分に分離するようにしても良い。これは、式１７を以下のように変形すればよい。
【数２１】
2010004677.tif 000143
【０１２４】
これは、式１８で求めた偏光振幅偏光最小カラーベクトル成分Ｉamp2（ｘ，ｙ）と偏光最小カラー成分Ｉmin（ｘ，ｙ）を統合すればよい。
【０１２５】
図２０は、この場合の成分分離基準を示した図である。また、図２１は本実施形態に係る画像分離方法の処理の流れを示すフローチャートである。図２１において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。なお、図２１に示す例では、最も輝度の高い画素の検出し、その画素の色ベクトルを光源の色ベクトルとして推定する。
【０１２６】
この例において、画像成分分離部１０６は、偏光情報処理部１０４で生成された偏光最小カラー成分Ｉminを拡散反射非偏光成分、および、偏光最小カラー成分Ｉminによって生成された偏光振幅偏光最小カラーベクトル成分Ｉamp2を拡散反射成分、偏光振幅光源色ベクトル成分Ｉamp1を鏡面反射成分として成分分離を行う（ステップＳ１０８）。
【０１２７】
本実施形態の画像成分分離方法によれば、図１１（ｅ）が「鏡面反射成分」、図１１（ｆ）が「拡散反射成分」を示している。画像成分分離部１０６は、偏光振幅カラー成分Ｉampを光源色ベクトル成分と偏光最小カラーベクトル成分に分離するのではなく、カラー偏光取得部１０２で取得したカラー画像を、光源色ベクトル成分と偏光最小カラーベクトル成分に分離しても良い。図２２は、この場合の成分分離基準を示した図である。また、図２３は本実施形態に係る画像分離方法の処理の流れを示すフローチャートである。図２３において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１２８】
図２３において、偏光情報処理部１０４は、カラー偏光取得部１０２から出力される情報を用いて、偏光情報として、偏光最小カラー成分Ｉminを生成する（ステップＳ１１３）。ここで、ステップＳ１０３とステップＳ１１３の順序は任意であり、並列的に実行してもよいし、順次実行しても良い。光源色情報取得部１０５は、被写体を照射している光源の色ベクトルＩLightを取得する（ステップＳ１０５）。光源の色ベクトルは、前述した種々の方法を用いて取得することができる。
【０１２９】
画像成分分離部１０６は、カラー情報処理部１０３によって取得されたカラー画像Ｉを、カラー画像光源色ベクトル成分Ｉ１とカラー画像偏光最小カラーベクトル成分Ｉ２へ分離する（ステップＳ１１４）。さらに、画像成分分離部１０６は、カラー画像偏光最小カラーベクトル成分Ｉ２を拡散反射非偏光成分、カラー画像光源色ベクトル成分Ｉ１を鏡面反射成分として成分分離を行う（ステップＳ１１５）。
【０１３０】
画像成分分離部１０６は、陰影を考慮した画像分離を行っても構わない。これは、陰影では、多重反射などの影響により、光線が複雑になり、偏光情報の信頼性が失われるため、陰影領域では画像分離精度が劣化すると考えられるためである。
【０１３１】
図２４は、この場合の成分分離基準を示した図である。また、図２５は本実施形態に係る画像分離方法の処理の流れを示すフローチャートである。図２５において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１３２】
画像成分分離部１０６は、まず、画素が陰影であるかどうかを推定するため、画素の輝度が閾値以下か否かを判定する（ステップＳ１０９）。陰影領域は輝度が低いため、カラー情報処理部１０３で求めたカラー画像の輝度が閾値以下の画素を陰影と判断することができる。閾値の大きさは実験的に決定すればよく、例えば、１６ビットモノクロ画像に対しては、２５６を設定すればよい。また、陰影を検出するための輝度としては、偏光情報処理部１０４で取得した、偏光最大輝度Ｉmaxや偏光最小輝度Ｉmin、または偏光最大輝度Ｉmaxと偏光最小輝度Ｉminの平均値や重み付け和（例えば、Ｉmax＋Ｉmin やＩmax＋２・Ｉmin）などを利用するようにしても良い。特に、Ｉmax＋Ｉminは、直線偏光光源下において、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、Ｉmax＋Ｉminを利用して画像処理を行うことで、通常の偏光を利用しない場合と同様の処理を行うことができる。また、偏光最小輝度Ｉminを利用した場合、輝度が非常に高くなり、白とびが生じる可能性の高い鏡面反射成分の影響を小さくすることができるため、非常に有効である。画素の輝度が閾値より小さかった場合（ステップＳ０１０９でＹｅｓ）、画素は陰影成分であると判断し（ステップＳ１１０）、処理を終了する。
【０１３３】
一方、画素の輝度が閾値以上であった場合（ステップＳ１０９でＮｏ）、画素は陰影ではないと判断し、画像成分分離部１０６は、前述の通り、偏光振幅カラー成分Ｉampを偏光振幅光源色ベクトル成分Ｉamp1と偏光振幅偏光最小カラーベクトル成分Ｉamp2に成分分離を行い（ステップＳ１０６）、偏光情報処理部１０４で生成された偏光最小カラー成分Ｉminを拡散反射非偏光成分、偏光振幅偏光最小カラーベクトル成分Ｉamp2を拡散反射偏光成分、偏光振幅光源色ベクトル成分Ｉamp1を鏡面反射偏光成分として成分分離を行う（ステップＳ１０７）。
【０１３４】
発光装置２０６は、撮像装置２０３からできる限り離して配置することが望ましい。発光装置２０６が撮像装置２０３の近傍に存在する場合、鏡面反射成分が観測される領域は、入射角が０度近傍の領域となる。これは、鏡面反射成分は、正反射領域近傍で観測されるためである。しかし、入射角が０度近傍の領域では、図１６より、鏡面反射成分がほとんど偏光しない。そのため、偏光最小輝度Ｉmin(ｘ，ｙ）には多くの鏡面反射成分が含まれることになり、画像生成分離部１０６による画像成分分離精度が低下してしまうためである。
【０１３５】
図２６は、本実施形態に係る画像処理装置の他の構成例を示すブロック図である。これは、カラー情報処理部１０３および偏光情報処理部１０４が取得した被写体の情報を利用して、光源色情報取得部１０５が光源の色情報を取得する処理に対するブロック図である。図２６において、図１と共通の構成要素には、図１と共通の符号を付しており、ここではその詳細な説明は省略する。また、図２７は、本実施形態に係る画像分離方法の処理の流れを示すフローチャートである。図２７において、図２と共通のステップには、図２と共通の符号を付しており、ここではその詳細な説明は省略する。図２との違いは、図２では、ステップＳ１０３とステップＳ１０４とステップＳ１０５の順序が任意であったが、図２７では、ステップＳ１０３とステップＳ１０４のみ順序が任意であることである。ステップＳ１０３とステップＳ１０４は、並列的に実行してもよいし、順次実行しても良い。
【０１３６】
なお、本実施形態では、パターン化偏光子２０１にフォトニック結晶を用いているが、パターン化偏光子を利用せず、撮像装置のレンズ前に装着した偏光板を回転させながら撮影することで、時系列的に偏光主軸の異なる輝度を取得するようにしても良い。この方法は、例えば、特開平１１−２１１４３３号公報に開示されている。この場合、動く被写体やカメラが運動している際には、画像処理で広く行なわれている、被写体のトラッキング技術を利用すればよい（例えば、Ｊｉａｎｂｏ Ｓｈｉ ａｎｄ Ｃａｒｌｏ Ｔｏｍａｓｉ，“Ｇｏｏｄ Ｆｅａｔｕｒｅｓ ｔｏ Ｔｒａｃｋ”， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ, ｐａｇｅｓ ５９３−６００, １９９４）。
【０１３７】
カラー偏光取得部１０２はカラー画像情報と偏光情報を同一の撮像装置２０３で取得するのではなく、個別の撮像装置で取得するようにしても良い。図２８は、カラー画像情報と偏光情報を別々の撮像素子２０３および２０３−２によってカラー偏光取得部１０２を構成した場合の本実施形態に係る画像処理装置画像処理装置が搭載されたカメラの構成例を示している。この場合、ビームスプリッタなどを利用して、２つの撮像装置２０３および２０３−２の光軸が等しくなるようにすることが望ましい。
【０１３８】
以上のように、本発明の画像分離方法を利用することで、偏光情報と色情報を利用した画像分離を行うことができる。このような画像分離は、拡散反射成分の偏光成分も考慮にいれた鏡面反射成分と拡散反射成分の分離を行うこともできる。
【０１３９】
（第２の実施形態）
図２９は、本実施形態に係る画像分離システムにおけるブロック図を示している。図２９において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。第１の実施形態との違いは、投光装置１０７と画像処理装置１０８を分離させたことである。また、図３０は本実施形態に係る画像処理装置における、画像分離方法の処理の流れを示すフローチャートである。図３０において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。さらに、図３１は、本実施形態に係る画像処理装置１０８が搭載されたカメラと投光装置１０７の構成例を示している。図３１において、図３と共通の構成要素には図３と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１４０】
本実施形態の画像分離システムは、投光装置１０７と画像処理装置１０８からなり、被写体を撮像することによって前記被写体の画像の成分分離を行う画像分離システムであって、投光装置１０７は、直線偏光光を前記被写体に投光する投光部１０１を有する。また、画像処理装置１０８は、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部１０２と、カラー偏光取得部１０２で取得した画像から、カラー画像を生成するカラー情報処理部１０３と、カラー偏光取得部１０２で取得した画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関するカラー情報であるカラー偏光情報を生成する偏光情報処理部１０４と、被写体を投光している光源の色情報を取得する光源色情報取得部１０５と、偏光情報処理部１０４によって生成された偏光情報と光源色情報取得部１０５によって取得された光源色情報を利用して、カラー情報処理部１０３で取得したカラー画像の成分分離を行う画像成分分離部１０６を備える。
【０１４１】
投光装置１０７と画像処理装置１０８は同期処理を行ない、画像処理装置１０８は投光装置１０７からの同期信号により撮像を行うようにしても良い。この処理について説明する。
【０１４２】
図３２は、本実施形態に係る画像分離システムにおけるブロック図を示している。図３２において、図２９と共通の構成要素には図２９と同一の符号を付しており、ここではその詳細な説明は省略する。図２９との違いは、投光装置１０７、画像処理装置１０８ともに通信部１０９、１１０を有する点である。また、図３３は本実施形態に係る投光装置１０７および画像処理装置１０８における画像分離方法の処理の流れを示すフローチャートである。図３３において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。さらに、図３４は、本実施形態に係る画像処理装置が搭載されたカメラと投光装置の構成例を示している。図３４において、図３１と共通の構成要素には図３１と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１４３】
前述のように、ステップＳ１０１において、投光装置１０７は、投光部１０１によって、偏光光を被写体へ投光する。その後、投光装置１０７は通信装置２０９によって、投光を知らせる信号を画像処理装置１０８へ送信する（ステップＳ１１１）。画像処理装置１０８は前記投光を知らせる信号を通信装置２１０で受信すると（ステップＳ１１２）、前述のように、カラー偏光取得部１０２は、パターン化偏光子２０１およびカラーフィルタ２０２を通して被写体を撮像素子で受光することで、カラー偏光情報を含んだカラー画像であるカラー偏光画像を取得する（ステップＳ１０２）。前述のように、ステップＳ１０３〜Ｓ１０７によって、偏光情報、カラー画像および光源色ベクトルを取得し、最終的に画像成分分離を実施する。
【０１４４】
通信部１０９は、投光を知らせる信号を画像処理装置１０８へ送信するだけではなく、光源の色ベクトル情報も画像処理装置１０８へ送信するようにしても良い。この場合、光源色情報処理部１０５は、通信部１１０によって受信した信号から、光源色ベクトル情報を取得すればよい。
【０１４５】
本実施形態における画像分離システムは、投光装置１０７と画像処理装置１０８を分離させ、通信により投光と撮像の同期をとることにより、より小型の画像処理装置１０８でありながら、高精度な画像成分分離を実現することが可能である。
【０１４６】
（画像分離を利用したモデルベースの画像合成）
本発明の画像成分分離は、デジタルアーカイブなどに使われているモデルベースの画像合成処理に特に有効である。モデルベースの画像合成は、撮像した画像の光源方向や視線方向を任意に変化させることができるため、撮像データのインタラクティブな提示方法として重要である。また、臨場感を与えるためにも非常に有効である。そのため、モデルベースの画像合成処理は、バーチャルミュージアムやＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）などの応用に利用できる。本来、このようなモデルベースの画像合成では撮像画像を鏡面反射成分と拡散反射成分に領域分離を行ない、それぞれの成分ごとに異なったモデルを利用してきたが、前述のように、鏡面反射成分と拡散反射成分の分離が不十分であったため、画質が劣化するという問題があった。この問題は、以下のことが原因である。それぞれのモデルにおけるパラメータ推定の際、実際とは異なった鏡面反射成分と拡散反射成分を利用しているため、実際とは異なるパラメータを推定してしまう。このように実際とは異なったパラメータを利用して画像を合成した場合、前述のように、視点変換画像や光源変化画像を作成した際に出力される画像に大きな誤差が生じてしまう。
【０１４７】
本発明の画像成分分離方法を利用することで、画質劣化の少ない、モデルベースの画像合成を実現することができる。この手法を説明する。
【０１４８】
まず、この処理の概念を説明する。本発明の画像合成処理は、パラメータ推定装置８００と画像合成装置８０１からなる。以下の５つの入力情報を利用する。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・色・照度
○合成画像における視点・光源情報
【０１４９】
図３５は本発明の一実施形態に係るパラメータ推定装置８００と画像合成装置８０１の構成を示すブロック図である。図３５のパラメータ推定装置８００は、撮像装置を利用し、撮像を行う画像撮像部８０２と、上述した画像分離方法によって、画像を鏡面反射成分と拡散反射成分に分離する画像分離部８０３と、被写体に照射する光源の方向や位置、輝度、色、スペクトル情報などの光源情報を推定する光源情報推定部８０４と、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部８０５と、撮像された被写体から、画像分離部８０３で分離された成分ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部８０６と、パラメータ推定部８０６において推定された反射パラメータを保持するパラメータＤＢ（データベース）８０７とを備えている。さらに、画像合成装置８０１は、合成する画像の視点や光源情報を取得する視点・光源情報取得部８０８と、パラメータＤＢ８０７に保持されているモデルパラメータ情報を利用して、視点・光源情報取得部８０８で取得された視点や光源情報に則した画像を合成するレンダリング部８０９とを備えている。
【０１５０】
また、図３６、図３７は本実施形態に係る画像合成方法における、パラメータ推定方法と画像合成方法の処理の流れを示すフローチャートである。
【０１５１】
まず、パラメータ推定方法の処理の流れについて説明する。図３６において、画像撮像部８０２は、前述のカラー情報処理部１０３を利用して、カラー輝度を計算する（ステップＳ３０１）。偏光情報処理部１０４を利用して、偏光最大輝度Ｉmaxと偏光最小輝度Ｉminの重み付け和（Ｉmax＋Ｉminや Ｉmax＋２・Ｉmin）を取得するようにしても良い。画像分離部８０３は、前述の画像分離方法により、画像撮像部８０２によって撮像された画像を、拡散反射成分と鏡面反射成分とに成分分離する（ステップＳ３０２）。光源情報推定部８０４は、光源情報として、光源の方向、さらには色情報や照度情報を取得する（ステップＳ３０３）。形状情報取得部８０５は、被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する（ステップＳ３０４）。パラメータ推定部８０６は、画像分離部８０３によって成分分離された拡散反射画像と鏡面反射画像に対して、前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報を利用することで、それぞれの反射パラメータを、別々の方法で推定する（ステップＳ３０５）。パラメータＤＢ８０７は、パラメータ推定部８０６で求まった拡散反射成分の反射パラメータと鏡面反射成分の反射パラメータ、および形状情報取得部Ｓ３０５で取得した形状情報をモデルパラメータとして保持する（ステップＳ３０６）。
【０１５２】
次に、画像合成推定方法の処理の流れについて説明する。図３７において、まず、レンダリング部８０９は、パラメータＤＢ８０７に保持されているモデルパラメータ情報を呼び出す（ステップＳ３０７）。視点・光源情報取得部８０８は、合成する画像の視点や光源の方向、さらには色情報や照度情報を取得する（ステップＳ３０８）。レンダリング部８０９は、パラメータＤＢ８０７に保持されているモデルパラメータ情報を利用して、視点・光源情報取得部８０８で取得された視点や光源情報に則した画像を合成する（ステップＳ３０９）。
【０１５３】
さらに、図３８は、本実施形態に係る画像合成装置が搭載されたカメラの構成例を示している。なお、ここでは、画像分離部８０３、光源情報推定部８０４、形状情報取得部８０５、パラメータ推定部８０６およびレンダリング部８０９は、ＣＰＵ２０５によってプログラムを実行することによって、実現されるものとする。ただし、これらの機能の全部または一部を、ハードウエアによって実現しても良い。また、視点・光源情報取得部８０８はユーザインターフェイス部２１２によって実行される。また、メモリ２０４は画像撮像部８０２によって撮像された偏光画像と、画像分離部８０３によって取得された鏡面反射成分および拡散反射成分画像、光源情報推定部によって推定された光源情報、形状情報取得部８０５によって取得された形状情報、パラメータ推定部８０７によって推定された反射パラメータ情報、および、視点・光源情報取得部で取得された視点・光源情報をモデルパラメータとして格納する。
【０１５４】
以下、それぞれの処理について説明する。
【０１５５】
まず、パラメータ推定装置８００について説明する。
【０１５６】
画像撮像部８０２はＣＣＤやＣＭＯＳなどの撮像装置を利用して、カラー偏光取得部１０２およびカラー情報処理部１０３によって、被写体のカラー画像を取得する。こうして撮像された画像は、輝度が非常に高くなる鏡面反射成分と拡散反射成分とが同時に、飽和することなく、十分な輝度分解能で記録されることが望ましい。このため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。このような画像撮像部は、前述の、偏光情報処理部１０３によって取得された偏光最大輝度Ｉmaxと偏光最小輝度Ｉminの重み付け和（Ｉmax＋Ｉminや Ｉmax＋２・Ｉmin）であっても良い。特に、Ｉmax＋Ｉminは、直線偏光光源下において、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、Ｉmax＋Ｉminを利用して画像処理を行うことで、通常の偏光を利用しない場合と同様の処理を行うことができる。
【０１５７】
画像分離部８０３は、前述の画像分離方法により、画像撮像部８０２によって撮像された画像を、拡散反射成分と鏡面反射成分とに成分分離する。
【０１５８】
光源情報推定部８０４は、光源情報として、光源の方向、さらには色情報や照度情報を取得する。これは例えば、被写体近傍に光源情報を推定するための形状既知の鏡面などを配置し、画像撮像部８０２によって撮像したその鏡面の画像から推定すればよい（例えば、「神原誠之，横矢直和，"光源環境の実時間推定による光学的整合性を考慮したビジョンベース拡張現実感"，電子情報通信学会技術研究報告，パターン認識・メディア理解，ＰＲＭＵ２００２−１９０，ｐｐ. ７−１２，２００３」）。この処理について詳述する。
【０１５９】
光源情報推定部８０４は、図１５に示した鏡面とみなせる球６０１を利用して行う。鏡面球６０１を被写体近傍に設置し、その位置や法線方向は既知とする。この鏡面球６０１を画像撮像部８０２によって撮像する。このとき、鏡面球６０１には、撮影環境が映り込んでいる。映り込みが生じる位置は、その鏡面球上の法線方向に対して、視線方向と映り込む対象への方向が正反射の関係となる位置である。そのため、鏡面球の位置とその法線方向が既知であれば、鏡面上の映り込んだ画像から映り込み対象の方向を検出できる。また、光源は輝度が高いことを考慮すると、撮影された鏡面球の画像から、高輝度の画素を検出することにより、光源の方向を取得できる。さらに、鏡面の反射率が既知であれば、前述の通り、光源の色情報や放射輝度などの光源照度情報も取得できる。
【０１６０】
光源情報として、光源の方向だけではなく、あるいは光源の方向に代えて、光源の位置情報を取得するようにしても良い。これは、例えば前述の鏡面球を２つ利用したり、または撮像装置の位置を変化させて撮像した複数の画像を使用して、画像処理分野で広く知られているステレオ画像処理の技術を利用すればよい。
【０１６１】
このような鏡面球を常に撮影するのではなく、以前に撮影して求めた光源情報を使うようにしても良い。これは、屋内の監視カメラのように光源環境が変わらない場合に有効である。このような場合、カメラを設置した際に鏡面球を撮影し、光源情報を取得するようにすればよい。
【０１６２】
光源情報推定部８０４は、鏡面とみなせる球６０１のような参照物体を利用するのではなく、被写体を利用して光源方向を推定するようにしても良い。この方法を説明する。まず、被写体を撮像した画像領域において、最も輝度の高い画素を選択する。後述するように、形状情報取得部８０５によって、被写体の形状情報である表面の法線情報は推定されているため、最も輝度の高い画素の法線方向は既知である。ここで、最も輝度の高い画素は、正反射方向の光源が映り込んでいると仮定すると、前述の参照物体を利用する方法と同様に、法線方向から光源の方向を取得できる。
【０１６３】
また、撮像装置７０１に、照度計２１１を設置することにより、光源情報として入射照度を測定するようにしても良い。入射照度情報の利用方法については後述する。
【０１６４】
形状情報取得部８０５は、被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。被写体の形状情報を取得する手段としては、例えば、スリット光投影法、パターン光投影法、レーザレーダ法などの既存の手法を用いればよい。
【０１６５】
形状情報の取得はこれらの手法に限られるものでない。例えば、複数のカメラを利用するステレオ視、カメラの動きを利用するモーションステレオ法、光源の位置を変化させながら撮像した画像を利用する照度差ステレオ法、ミリ波や超音波を利用して被写体との距離を測定する方法、さらには反射光の偏光特性を利用した方法（例えば、ＵＳＰ５，０２８，１３８号や「宮崎大輔，池内克史，"偏光レイトレーシング法による透明物体の表面形状の推定手法"，電子情報通信学会論文誌，ｖｏｌ. Ｊ８８−Ｄ−ＩＩ， Ｎｏ.８，ｐｐ. １４３２−１４３９，２００５」）を用いても良い。ここでは、照度差ステレオ法と偏光特性を利用した方法について説明する。
【０１６６】
照度差ステレオ法は、光源方向が異なる３枚以上の画像を利用して、被写体の法線方向と反射率を推定する手法である。例えば、「Ｈ. Ｈａｙａｋａｗａ, “Ｐｈｏｔｏｍｅｔｒｉｃ Ｓｔｅｒｅｏ ｕｎｄｅｒ ａ ｌｉｇｈｔ ｓｏｕｒｃｅ ｗｉｔｈ ａｒｂｉｔｒａｒｙ ｍｏｔｉｏｎ”, Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ, ｖｏｌ.１１, ｐｐ.３０７９−８９, １９９４」は、画像上で６点以上の反射率が等しい点を既知情報として取得し、拘束条件として利用することによって、光源の位置情報も未知としながらも、以下のパラメータを推定する手法である。
・被写体情報：画像上の各点の法線方向と反射率
・光源情報：被写体の観察点における光源方向と照度
ここでは、前述の拡散反射・鏡面反射分離手法によって分離された拡散反射画像のみを利用した照度差ステレオ法を行う。本来、この手法は被写体が完全拡散反射をしていることを仮定しているため、鏡面反射が存在する被写体では大きな誤差が生じてしまう。しかし、分離した拡散反射成分のみを利用することで、鏡面反射成分の存在による推定誤差を無くすことができる。
【０１６７】
光源方向が異なる拡散反射画像を以下のように輝度行列Ｉdで表現する。
【数２２】
2010004677.tif 000144
【０１６８】
ただし、ｉdf(p)は光源方向ｆの拡散反射画像の画素ｐにおける輝度を示している。また、画像の画素数はＰ画素、異なった光源方向で撮像した画像枚数はＦ枚である。ところで、Ｌａｍｂｅｒｔｉａｎモデルより、拡散反射画像の輝度は以下のように表現できる。
【数２３】
2010004677.tif 000145
【０１６９】
ただし、ρdpは画素ｐの反射率（アルベド）、ｎpは画素ｐの法線方向ベクトル、ｔfは光源ｆの入射照度、Ｌfは光源ｆの方向ベクトルを示している。
【０１７０】
式２２、式２３より以下の式が導かれる。
【数２４】
2010004677.tif 000146
【０１７１】
ただし、
【数２５】
2010004677.tif 000147
【数２６】
2010004677.tif 000148
【数２７】
2010004677.tif 000149
【数２８】
2010004677.tif 000150
【数２９】
2010004677.tif 000151
【数３０】
2010004677.tif 000152
【０１７２】
ここで、Ｒは表面反射行列、Ｎは表面法線行列、Ｌは光源方向行列、Ｔは光源強度行列、Ｓは表面行列、Ｍは光源行列と呼ぶ。
【０１７３】
ここで、特異値分解を利用すると、式２４は以下のように展開できる。
【数３１】
2010004677.tif 000153
【数３２】
2010004677.tif 000154
ただし、
【数３３】
2010004677.tif 000155
であり、Ｅは単位行列を示している。また、Ｕ’はＰ×３行列、Ｕ”はＰ×（Ｆ−３）行列、Σ’は３×３行列、Σ”は(Ｆ−３）×(Ｆ−３）行列、Ｖ’は３×Ｆ行列、Ｖ”は（Ｆ−３）×Ｆ行列である。ここで、Ｕ”、 Ｖ”は信号成分であるＵ’、 Ｖ’の直交基底、すなわち、ノイズ成分であると考えられる。ここで、特異値分解を利用すると、式２６は以下のように変形できる。
【数３４】
2010004677.tif 000156
【数３５】
2010004677.tif 000157
【０１７４】
すなわち、式２７を解くことにより、形状情報と光源情報を同時に取得することができるが、以下の３×３行列Ａの不定性が残る。
【数３６】
2010004677.tif 000158
【数３７】
2010004677.tif 000159
【０１７５】
ここで、Ａは任意の３×３行列である。形状情報と光源情報を取得するためには、この行列Ａを求める必要がある。これは、例えば、画面上の６点以上で反射率が等しいことが既知であればよい。例えば、任意の６点ｋ１〜ｋ６の反射率が等しいとすると、
【数３８】
2010004677.tif 000160
式２５、式２８および、式３０より、
【数３９】
2010004677.tif 000161
さらに、
【数４０】
2010004677.tif 000162
とおくと、式３１は以下のようになる。
【数４１】
2010004677.tif 000163
【０１７６】
ここで、式３２より行列Ｂは対称行列であるため、行列Ｂの未知数は６である。すなわち、画面上の６点以上で反射率が等しいことが既知であれば、式３３は解くことができる。
【０１７７】
また、行列Ｂが既知となれば、式３２に特異値分解を利用することにより、行列Ａは解くことができる。
【０１７８】
さらに、式２８および、式２９より、形状情報と光源情報を取得する。
【０１７９】
以上のことより、反射率が等しい６点以上の画素が既知な被写体において、光源方向を変更しながら３枚以上の画像を取得することにより、以下の情報を得ることができる。
・被写体情報：画像上の各点の法線方向ベクトルと反射率
・光源情報：被写体の観察点における光源方向ベクトルと放射輝度
【０１８０】
ただし、上記の処理で求まる被写体の反射率と光源の放射輝度は相対的なものであり、絶対値を求めるためには、画面上の６点以上で反射率が既知であるなど、上記とは異なる既知情報が必要となる。
【０１８１】
以上のように、照度差ステレオ法と偏光特性を利用した方法では、表面の法線情報を取得する。一方、スリット光投影法やステレオ視などの手法では、被写体の３次元位置情報を取得する。被写体表面の法線情報とは、被写体の３次元位置情報の微小空間での傾き情報であり、どちらも被写体の形状情報である。
【０１８２】
以上の処理により、形状情報取得部８０５は被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。
【０１８３】
以上の処理により、以下の情報を取得する。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・照度
【０１８４】
次に、パラメータ推定部８０６は、画像分離部８０３によって成分分離された拡散反射成分と鏡面反射成分に対して、それぞれの反射パラメータを、別々の方法で推定する。まず、拡散反射成分の処理について説明する。
【０１８５】
パラメータ推定部８０６は、画像分離部８０３によって成分分離された拡散反射成分を利用し、被写体のアルベドを推定する。アルベドは光源情報に影響を受けないため、アルベド画像を利用して処理を行うことによって、光源変動にロバストな処理が実現できる。
この処理を説明する。まず、物体の反射特性について説明する。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として以下の式で表現される。
【数４２】
2010004677.tif 000164
【０１８６】
ここで、Ｉは撮像装置が撮像した被写体の輝度、Ｉaは環境光成分、Ｉdは拡散反射成分、Ｉsは鏡面反射成分である。ここで、環境光成分とは、光源の光が物体などによって散乱された間接光のことである。これは空間の至る所に散乱され、直接光がとどかない影の部分にもわずかに明るさを与える。そのため、通常はノイズとして取り扱われることが多い。
【０１８７】
環境光成分は十分に小さく、ノイズとして無視できると考えると、画像は拡散反射成分と鏡面反射成分とに分離できる。
【０１８８】
式２３より、拡散反射成分では、以下の関係が成り立つ。
【数４３】
2010004677.tif 000165
【０１８９】
ただし、θiは被写体の法線方向ベクトルと光源方向ベクトルのなす角度を示す。ここで、光源情報推定部８０４および形状情報取得部８０５により、角度θiは既知である。また、後述するように、光源の入射照度ｔfも推定可能なため、被写体のアルベドρdpは式３５から求められる。
【０１９０】
被写体のアルベドを求めるのではなく、次式によりアルベドに光源の放射輝度を乗算した擬似アルベドを求め、これを利用しても良い。
【数４４】
2010004677.tif 000166
【０１９１】
次に、鏡面反射成分の反射パラメータ推定について説明する。
【０１９２】
パラメータ推定部８０６は、形状情報取得部８０５によって取得された被写体の法線情報、画像分離部８０３によって分離された拡散反射画像と鏡面反射画像を利用して、その被写体を表現するパラメータを推定する。ここでは、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く使われているＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを利用する方法を説明する。
【０１９３】
Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルでは、鏡面反射画像を次式のようにモデル化する。
【数４５】
2010004677.tif 000167
【数４６】
2010004677.tif 000168
【数４７】
2010004677.tif 000169
【数４８】
2010004677.tif 000170
【数４９】
2010004677.tif 000171
【数５０】
2010004677.tif 000172
【数５１】
2010004677.tif 000173
【数５２】
2010004677.tif 000174
【数５３】
2010004677.tif 000175
【０１９４】
ここで、Ｅiは入射照度、ρs,λは波長λにおける鏡面反射成分の双方向反射率、ｎは被写体の法線方向ベクトル、Ｖは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルｎの角度を表す（図３９参照）。また、Ｆλはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎλは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉjは入射光の放射輝度である。また、ｋsは鏡面反射成分の係数である。
【０１９５】
さらに、式２３のＬａｍｂｅｒｔｉａｎモデルを利用すると、式３４は以下のように展開される。
【数５４】
2010004677.tif 000176
ただし、
【数５５】
2010004677.tif 000177
【数５６】
2010004677.tif 000178
【０１９６】
ここで、ρdは拡散反射成分の反射率（アルベド）、ｄｐｘ、ｄｐｙは撮像装置の１画素のｘ方向、ｙ方向の長さ、ｒは撮像装置の観察点Ｏからの距離を示している。また、ｋdは以下の関係式を満たす係数である。
【数５７】
2010004677.tif 000179
【０１９７】
Ｓｒは拡散反射成分と鏡面反射成分の輝度の違いを表現するための定数であり、拡散反射成分が被写体からすべての方向へエネルギーを反射することを示している。図４０はこの定数Ｓｒを説明するための模式図である。図４０において、観察点Ｏで反射された拡散反射成分エネルギーは、半球状に広がっていく。ここで、撮像装置７０１が観察点Ｏからｒだけ離れているので、撮像装置の１撮像素子に届くエネルギーと、観察点Ｏで反射した総エネルギーの比Ｓrは、式４７で表される。
【０１９８】
以上のことから、パラメータ推定部８０６は、式３６〜式４７より、鏡面反射成分の反射パラメータを推定する。
【０１９９】
以上の関係式をまとめると、パラメータ推定を行うための既知パラメータと、推定すべきパラメータは以下のようになる。
（既知パラメータ）
○環境光成分Ｉa
○拡散反射成分Ｉd
○鏡面反射成分Ｉs
○被写体の法線方向ベクトルｎ
○光源方向ベクトルＬ
○視線ベクトルＶ
○中間ベクトルＨ
○中間ベクトルＨと法線方向ベクトルｎの角度β
○撮像装置７０１の１画素のｘ方向、ｙ方向の長さｄｐｘ, ｄｐｙ
○撮像装置７０１と観察点Ｏとの距離ｒ
（推定すべきパラメータ）
○入射照度Ｅi
○鏡面反射成分の係数ｋs
○被写体表面の粗さｍ
○被写体の屈折率ηλ
【０２００】
ここで、拡散反射成分の係数ｋd、および拡散反射成分の反射率（アルベド）ρdも未知パラメータであるが、鏡面反射成分のパラメータのみを推定するため、ここでは推定処理を行わない。
【０２０１】
図４１はパラメータ推定部８０６の処理の流れを示す図である。処理は、以下の２段階からなる。
【０２０２】
まず、光源情報を使用して、入射照度Ｅiを求める（ステップＳ４０１）。ここでは、光源情報推定部８０４によって取得した光源の位置情報、形状情報取得部８０５で求めた撮像装置と被写体との距離情報、さらには光源情報推定部８０４で求めた光源照度を用いる。これは、次式から求まる。
【数５８】
2010004677.tif 000180
【０２０３】
撮像装置７０１には前述のように、照度計２１１が設置されているとする。ここで、Ｉiは照度計２１１によって測定された光源７０２の入射照度、Ｒ1は撮像装置７０１と光源７０２との距離、Ｒ2は光源７０２と観察点Ｏとの距離、θ1は観察点Ｏにおける法線方向ベクトルｎと光源方向ベクトルＬＣとのなす角度、θ2は撮像装置７０１における光軸方向と光源方向ベクトルＬＡとのなす角度を示している（図４２参照）。ここで、被写体の大きさが、光源７０２と観察点Ｏとの距離Ｒ2に比べ十分に小さいと考えられる場合、距離Ｒ2は被写体上の全ての観察点Ｏで等しくなる。そのため、式４９において、（Ｒ1／Ｒ2）は定数となり、実際に計測する必要はなくなる。またθ1は既知である。これは、形状情報取得部８０５によって観察点Ｏにおける法線方向ベクトルｎが既知であり、光源情報推定部８０４によって光源方向ベクトルＬＣが既知であるためである。さらにθ2は、光源情報推定部８０４によって光源の位置が推定されている場合、既知である。そのため、式４９の右辺はすべて既知となる。
【０２０４】
次に、シンプレックス法を利用して、未知パラメータｍ、ηλ、ｋsを推定する（ステップＳ４０２）。シンプレックス法は、シンプレックスと呼ぶ図形の頂点に変数を割り付け、シンプレックスの大きさと形を変えて関数の最適化を行う方法である（大田登，“色再現光学の基礎”，ｐｐ.９０−９２，コロナ社）。シンプレックスは、ｎ次元空間の（ｎ＋１）個の点の集合である。ただし、ｎは推定する未知数の数であり、ここでは「３」である。そのため、シンプレックスは四面体である。シンプレックスの頂点をベクトルｘiで表し、新しいベクトルを次のように定める。
【数５９】
2010004677.tif 000181
【数６０】
2010004677.tif 000182
【数６１】
2010004677.tif 000183
【数６２】
2010004677.tif 000184
【０２０５】
ただし、
【数６３】
2010004677.tif 000185
【数６４】
2010004677.tif 000186
はそれぞれ関数ｆ(ｘi）を最大、最小にするｘiを示している。
さらに、この方法で用いる３種類の操作を以下のように定める。
１．鏡像：
【数６５】
2010004677.tif 000187
２．拡張：
【数６６】
2010004677.tif 000188
３．収縮：
【数６７】
2010004677.tif 000189
ここで、α（＞０）、β（＞１）、γ（１＞γ＞０）は係数である。
【０２０６】
シンプレックス法は、シンプレックスの頂点の中で関数値の最も大きなものを選ぶことで、その鏡像における関数値は小さくなるという期待に基づいている。この期待が正しければ、同じプロセスの繰り返しで関数の最小値が求められる。つまり、初期値で与えたパラメータを３種類の操作で更新しながら、評価関数が示すターゲットとの誤差が閾値未満になるまでパラメータの更新を繰り返す。ここでは、パラメータとしてｍ、ηλ、ｋs、評価関数として式５５で表される、式３６から算出される鏡面反射成分画像と画像分離部８０３で求められた鏡面反射成分画像との差ΔＩsを利用した。
【数６８】
2010004677.tif 000190
【０２０７】
ただし、ｉs(i,j)’, ｉs(i,j)はそれぞれ、計算された鏡面反射画像の推定値Ｉs’と画像分離部８０３で求められた鏡面反射成分画像Ｉsの画素(ｉ,ｊ）の輝度、Ｍs(i,j)は、画素(ｉ,ｊ）が鏡面反射成分を持つ場合に１、そうでない場合０をとる関数である。
【０２０８】
この処理について詳しく説明する。図４３はこの処理の流れを説明するためのフローチャートである。
【０２０９】
まず、繰り返し演算の更新回数を記憶するカウンターｎとｋに０を代入し、初期化する（ステップＳ４１１）。ここで、カウンターｎは初期値を何回変更したかを記憶するカウンターであり、ｋはある初期値に対してシンプレックスによる候補パラメータの更新を何回行ったかを記憶するカウンターである。
【０２１０】
次に、乱数を利用し、推定パラメータの候補パラメータｍ’、ηλ’、ｋs’の初期値を決定する（ステップＳ４１２）。このとき、各パラメータの物理的な拘束条件から、初期値の発生範囲は以下のように決定した。
【数６９】
2010004677.tif 000191
【０２１１】
次に、こうして求めた候補パラメータを式３６へ代入し、鏡面反射画像の推定値Ｉs’を求める（ステップＳ４１３）。さらに、計算された鏡面反射画像の推定値Ｉs’と画像分離部８０３で求められた鏡面反射成分画像との差ΔＩsを式５５より求め、これをシンプレックス法の評価関数とする（ステップＳ４１４）。こうして求めたΔＩsが十分小さい場合（ステップＳ４１５でＹｅｓ）、パラメータ推定は成功したとして、推定パラメータｍ、ηλ、ｋsとして候補パラメータｍ’、ηλ’、ｋs’を選択し、処理を終了する。一方、ΔＩsが大きい場合（ステップＳ４１５でＮｏ）、シンプレックス法により候補パラメータの更新を行う。
【０２１２】
候補パラメータの更新を行う前に、更新回数の評価を行う。まず、更新回数を記憶しているカウンターｋに１を足し（ステップＳ４１６）、カウンターｋの大きさを判断する（ステップＳ４１７）。カウンターｋが十分に大きい場合（ステップＳ４１７でＮｏ）、繰り返し演算は十分に行なわれているが、ローカルミニマムに落ちているため、このまま更新を繰り返しても最適値には達しないと判断し、初期値を変更して、ローカルミニマムからの脱却を図る。そのため、カウンターｎに１を足し、カウンターｋに０を入れる（ステップＳ４２１）。ここで、カウンターｎの値が閾値より高いかどうかを判定し、処理をこのまま続けるか、処理不能として処理を終了させるかを決定する（ステップＳ４２２）。ここで、ｎが閾値より大きい場合（ステップＳ４２２でＮｏ）、この画像は推定不能として処理を終了する。一方、ｎが閾値より小さい場合（ステップＳ４２２でＹｅｓ）、再度、初期値を式５６の範囲内で乱数から選択しなおし（ステップＳ４１２）、処理を繰り返す。このようなｋに対する閾値は、例えば、１００などを選択すればよい。
【０２１３】
一方、ステップＳ４１７において、カウンターｋが閾値以下の場合（ステップＳ４１７でＹｅｓ）、候補パラメータを式５２〜式５４を利用して変更する（ステップＳ４１８）。この処理については後述する。
【０２１４】
次に、こうして変形された候補パラメータが、解として意味のあるものであるかを判定する（ステップＳ４１９）。すなわち、シンプレックス法を繰り返すことで、変形されたパラメータが物理的に意味のない値（例えば、粗さパラメータｍが負の値など。）におちいる可能性があるため、これを除去する。これは、例えば、以下のような条件を与え、この条件を満たす場合には意味のあるパラメータ、満たさない場合には意味のないパラメータと判定すればよい。
【数７０】
2010004677.tif 000192
【０２１５】
これらの値は、被写体より求めることができる。例えば、屈折率ηλであれば、被写体の材質によって決定される値である。例えば、プラスチックであれば１．５〜１．７、ガラスであれば１．５〜１．９であることが知られているため、これらの値を利用すればよい。つまり、被写体がプラスチックである場合、屈折率ηλは１．５〜１．７とすればよい。
【０２１６】
変形したパラメータが式５７を満たす場合（ステップＳ４１９でＹｅｓ）、その候補パラメータは意味のある値であると考えられるため、新しい候補パラメータとして設定し（ステップＳ４２０）、更新処理を繰り返す（ステップＳ４１３）。一方、変形したパラメータが式５７を満たさない場合（ステップＳ４１９でＮｏ）、その初期値に対する更新処理を打ち切り、新しい初期値により更新を行う（ステップＳ４２１）。
【０２１７】
ここで、ステップＳ４１８の変形処理について詳述する。図４４はこの処理の流れを示したフローチャートである。ここでは、候補パラメータｍ’、ηλ’、ｋs’をベクトル表現し、これをパラメータｘとする。すなわち、
【数７１】
2010004677.tif 000193
【０２１８】
まず、式５０〜式５２を利用して、鏡像操作を行ったパラメータｘrを計算し、式５５によってｘrでの鏡面反射成分画像との差ΔＩs(ｘr）を計算する（ステップＳ４３１）。次に、こうして求められたΔＩs(ｘr）と、２番目に評価関数が悪かったΔＩs(ｘs）を比較する（ステップＳ４３２）。ここでΔＩs(ｘr）がΔＩs(ｘs）より小さかった場合（ステップＳ４３２でＹｅｓ）、鏡像操作を行った評価値ΔＩs(ｘr）と現在、最も評価値のよいΔＩs(ｘl）を比較する（ステップＳ４３３）。ここで、ΔＩs(ｘr） がΔＩs(ｘl）以上であった場合（ステップＳ４３３でＮｏ）、最も評価値の低かったｘhをｘrへ変更し（ステップＳ４３４）、処理を終了する。
【０２１９】
一方、ΔＩs(ｘr）がΔＩs(ｘl）より小さかった場合（ステップＳ４３３でＹｅｓ）、式５４を利用して拡張処理を行ない、パラメータｘeと、ｘeでの鏡面反射成分画像との差ΔＩs(ｘe）を計算する（ステップＳ４３５）。次に、こうして求められたΔＩs(ｘe）と、鏡像操作によるΔＩs(ｘr）を比較する（ステップＳ４３６）。ここでΔＩs(ｘe）がΔＩs(ｘr）より小さかった場合（ステップＳ４３６でＹｅｓ）、最も評価値の悪かったｘhをｘeへ変更し（ステップＳ４３７）、処理を終了する。
【０２２０】
一方、ΔＩs(ｘe）がΔＩs(ｘr）以上であった場合（ステップＳ４３６でＮｏ）、最も評価値の悪かったｘhをｘrへ変更し（ステップＳ４３４）、処理を終了する。
【０２２１】
また、ステップＳ４３２において、ΔＩs(ｘr）がΔＩs(ｘs）より大きかった場合（ステップＳ４３２でＮｏ）、鏡像操作を行った評価値ΔＩs(ｘr）と現在、最も評価値の悪いΔＩs(ｘh）を比較する（ステップＳ４３８）。ここでΔＩs(ｘr）がΔＩs(ｘh）より小さかった場合（ステップＳ４３８でＹｅｓ）、最も評価値の悪かったｘhをｘrへ変更し（ステップＳ４３９）、式５３を利用して、収縮操作を行ったパラメータｘcと、ｘcでの鏡面反射成分画像との差ΔＩs(ｘc）を計算する（ステップＳ４４０）。一方、ΔＩs(ｘr）がΔＩs(ｘh）以上であった場合（ステップＳ４３８でＮｏ）、ｘhを変更することなく、収縮操作を行ったパラメータｘcと、ｘcでの鏡面反射成分画像との差ΔＩs(ｘc）を計算する（ステップＳ４４０）。
【０２２２】
次に、こうして求められたΔＩs(ｘc）と、最も評価値の悪いΔＩs(ｘh）を比較する（ステップＳ４４１）。ここでΔＩs(ｘc）がΔＩs(ｘh）より小さかった場合（ステップＳ４４１でＹｅｓ）、最も評価値の悪かったｘhをｘcへ変更し（ステップＳ４４２）、処理を終了する。
【０２２３】
一方、ΔＩs(ｘc）がΔＩs(ｘh） 以上であった場合（ステップＳ４４１でＮｏ）、すべての候補パラメータｘi(ｉ=１,２,３,４）を以下の式により変更し、処理を終了する。
【数７２】
2010004677.tif 000194
【０２２４】
以上の処理を繰り返すことにより、鏡面反射画像における未知パラメータであるｍ、ηλ、ｋsを推定する。
【０２２５】
以上の処理により、すべての未知パラメータを推定することができる。
【０２２６】
図４５（ａ）は、図４５（ｂ）の領域Ａに関して、横軸に中間ベクトルβ、縦軸に鏡面反射成分の輝度Ｉｓをグラフ化したものである。この図において、白色○は領域Ａに関して観測された輝度Ｉｓをプロットしたものである。また、黒色■はＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルの各パラメータを推定し、プロットしたものである。図４６は、従来の偏光情報を利用した画像分離手法を利用したグラフである。図４７は、従来の偏光情報を利用した画像分離手法を利用して作成した合成画像を示している。このように、パラメータ推定に失敗した場合、合成画像の質感が実物とは大きくかけ離れたものとなってしまう。これらの図より、従来の画像分離手法では、鏡面反射成分と拡散反射成分の分離精度の劣化に伴い、反射パラメータ推定に失敗していることがわかる。そのため、合成された画像は、実際の画像とは大きく質感が異なるものとなってしまう。一方、本特許における画像分離手法では、このような問題が生じていない。
【０２２７】
なお、パラメータ推定に用いるモデルは、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルである必要はなく、例えば、Ｔｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＰｈｏｎｇモデル、簡易Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデル（例えば、「Ｋ. Ｉｋｅｕｃｈｉ ａｎｄ Ｋ. Ｓａｔｏ, “Ｄｅｔｅｒｍｉｎｉｎｇ ｒｅｆｌｅｃｔａｎｃｅ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ａｎ ｏｂｊｅｃｔ ｕｓｉｎｇ ｒａｎｇｅ ａｎｄ ｂｒｉｇｈｔｎｅｓｓ ｉｍａｇｅｓ”, ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ, ｖｏｌ.１３, ｎｏ.１１, ｐｐ.１１３９−１１５３, １９９１」）であっても良い。
【０２２８】
また、パラメータ推定方法は、シンプレックス法である必要はなく、例えば、勾配法や最小自乗法などのような一般的なパラメータ推定手法を利用しても良い。
【０２２９】
また、以上の処理は、画素ごとに行っても良いし、画像分離を行ない、領域ごとに等しいパラメータ組を推定するようにしても良い。画素ごとに処理を行う場合、光源や撮像装置、または被写体を動かすことにより、被写体の法線方向ベクトルｎや光源方向ベクトルＬ、または視線ベクトルＶといった既知パラメータが変動したサンプルを取得するようにすることが望ましい。また、処理を領域ごとに行う場合、領域ごとに求まったパラメータのばらつきが小さくなるように画像分離を変更することで、最適なパラメータ推定を行うようにすることが望ましい。
【０２３０】
パラメータＤＢ８０７は、パラメータ推定部８０６で求まった拡散反射成分の反射パラメータと鏡面反射成分の反射パラメータ、および形状情報取得部８０５で取得した形状情報をモデルパラメータとして保持する。図４８は、パラメータＤＢ３０７に保持されているモデルパラメータを示す模式図である。
【０２３１】
以上の処理により、パラメータ推定装置８００は拡散反射成分のパラメータと鏡面反射成分のパラメータを推定し、推定したパラメータ情報をパラメータＤＢ８０７へ保持する。
【０２３２】
次に、図３５の画像合成装置８０１について説明する。
【０２３３】
視点・光源情報取得部８０８は、合成する画像の視点や光源情報を取得する。これは、ユーザが視点位置や光源位置・光源照度、さらに環境光成分情報を入力するようにすればよい。また、拡張現実感のような、実世界にＣＧ画像をレンダリングするような場合、光源情報推定部８０４を利用して光源情報を推定するようにしても良い。
【０２３４】
レンダリング部８０９は、パラメータＤＢ８０７に保持されているモデルパラメータ情報を利用して、視点・光源情報取得部８０８で取得された視点や光源情報に則した画像を合成する。レンダリング部８０９は、拡散反射成分と鏡面反射成分、それぞれ別々にレンダリングを行ない、レンダリングされた拡散反射成分、鏡面反射成分および環境光成分情報を合成することにより、画像を合成する。
【０２３５】
まず、拡散反射成分に関して説明する。前述のように、アルベド画像は、拡散成分画像を光源ベクトルと被写体の法線方向ベクトルの内積で除算したものである。そのため、パラメータＤＢに保持されているアルベド画像（パラメータ推定部８０６で推定）および形状情報（形状情報取得部８０５で取得）に、視点・光源情報取得部８０８によって取得された光源方向ベクトル情報を利用することにより、拡散反射成分を合成することができる。具体的には、視点・光源情報取得部８０８によって取得された光源方向ベクトルと被写体の法線方向ベクトルとの内積を求め、さらにアルベド画像を乗算することによって、拡散成分画像を合成する。視点・光源情報取得部８０８により、複数の光源が入力された場合、それぞれの光源に対して拡散反射成分画像をおのおの合成し、その画像を足し合わせることで、一枚の拡散反射成分画像を合成する。
【０２３６】
次に、鏡面反射成分に関して説明する。鏡面反射成分は、パラメータＤＢに保持されている鏡面反射パラメータ（パラメータ推定部８０６で推定）および形状情報（形状情報取得部８０５で取得）に、視点・光源情報取得部８０８によって取得された光源方向ベクトル情報を利用することにより、合成することができる。具体的には、式３６〜式４４に推定されたパラメータを代入することによって、鏡面反射成分画像を合成する。
【０２３７】
こうして求めた拡散反射成分画像、鏡面反射成分画像および視点・光源情報取得部８０８において取得した環境光成分情報を合成することにより、レンダリング部８０９は、視点・光源情報取得部８０８で取得された視点や光源情報に則した画像を合成する。
【０２３８】
以上のように、本発明の画像処理技術を利用することによって、デジタルアーカイブなどに使われているモデルベースの画像合成を高精度に行うことができる。
【産業上の利用可能性】
【０２３９】
本発明に係る画像処理によれば、偏光情報と色情報という二つの情報を利用することにより、鏡面反射成分と拡散反射成分をより正確に分離することが可能である。スナップショットを撮影するように撮影された画像から画像分離処理を実現できるため、各種デジタルスチルカメラ、デジタルムービーカメラ、監視カメラなどに有用である。
【符号の説明】
【０２４０】
１０１  投光部
１０２  カラー偏光取得部
１０３  カラー情報処理部
１０４  偏光情報処理部
１０５  光源色情報取得部
１０６  画像成分分離部
１０７  投光装置
１０８  画像処理装置
１０９  通信部
１１０  通信部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理装置であって、
光源から発せられた直線偏光光を前記被写体に投光する投光部と、
前記被写体のカラー偏光画像を取得するカラー偏光取得部と、
前記カラー偏光画像を構成する単位画素のそれぞれについて、偏光主軸の方向が３以上の偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、
前記光源の色情報を取得する光源色情報取得部と、
前記カラー偏光情報と前記光源の色情報とに基づいて、前記画像の成分分離を行う画像成分分離部と、
を備える画像処理装置。
【請求項２】
前記カラー偏光画像からカラー画像を生成するカラー情報処理部を備え、
前記画像成分分離部は、前記カラー画像の成分分離を行う、請求項１に記載の画像処理装置。
【請求項３】
前記カラー偏光取得部は、
偏光主軸の方向が異なる３方向以上の偏光子と、
前記偏光子に対向する位置に配置されたカラーフィルタと、
前記偏光子およびカラーフィルタを透過してきた光を受ける撮像素子と
を備える、請求項１に記載の画像処理装置。
【請求項４】
前記偏光情報処理部は、前記カラー偏光情報として、偏光最小カラー成分、偏光振幅カラー成分の少なくとも１つを生成する請求項３に記載の画像処理装置。
【請求項５】
前記画像成分分離部は、前記被写体の画像を構成する各画素の色ベクトルを、拡散反射成分および鏡面反射成分に分離する請求項４に記載の画像処理装置。
【請求項６】
前記画像成分分離部は、前記被写体の画像を構成する各画素の色ベクトルを、拡散反射非偏光成分、拡散反射偏光成分および鏡面反射偏光成分に分離する請求項４に記載の画像処理装置。
【請求項７】
前記画像成分分離部は、前記被写体の画像の少なくとも一部を陰影領域に分離する請求項５または６に記載の画像処理装置。
【請求項８】
前記画像成分分離部は、前記カラー偏光情報を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する請求項５または６に記載の画像処理装置。
【請求項９】
前記画像成分分離部は、前記偏光振幅カラー成分を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する請求項８に記載の画像処理装置。
【請求項１０】
前記画像成分分離部は、前記カラー画像を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する請求項５または６に記載の画像処理装置。
【請求項１１】
前記カラー偏光取得部は、前記投光部と同期処理を行う請求項１に記載の画像処理装置。
【請求項１２】
前記投光部は、カラー偏光取得部から離して配置することを特徴とする請求項３に記載の画像処理装置。
【請求項１３】
投光装置と画像処理装置とを備え、被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理システムであって、
前記投光装置は、
光源から発せられた直線偏光光を前記被写体に投光する投光部を有し、
前記画像処理装置は、
偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部と、
前記カラー偏光画像からカラー画像を生成するカラー情報処理部と、
前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、
前記光源の色情報を取得する光源色情報取得部と、
前記カラー偏光情報と前記光源色情報に基づいて、前記カラー画像の成分分離を行う画像成分分離部と、を有する画像処理システム。
【請求項１４】
投光装置と画像処理装置とを備え、被写体を撮像することによって前記被写体の画像の成分分離を行う画像分離システムであって、
前記投光装置は、
光源から発せられた直線偏光光を前記被写体に投光する投光部と、
投光を知らせる信号を前記画像処理装置へ送信する通信部を有し、
前記画像処理装置は、
前記投光を知らせる信号を前記投光装置から受信する通信部と、
偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部と、
前記カラー偏光画像からカラー画像を生成するカラー情報処理部と、
前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、
前記光源の色情報を取得する光源色情報取得部と、
前記カラー偏光情報と前記光源の色情報に基づいて、前記カラー画像の成分分離を行う画像成分分離部と、を有する画像処理システム。
【請求項１５】
前記通信部は、投光を知らせる信号に加え、前記光源の色情報を送受信し、前記光源色情報取得部は、前記通信部から前記光源の色情報を取得する請求項１４に記載の画像処理システム。
【請求項１６】
被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理方法であって、
光源から発せられた直線偏光光を前記被写体に投光する投光ステップと、
偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得ステップと、
前記カラー偏光画像からカラー画像を生成するカラー情報処理ステップと、
前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係を用いて、受光した偏光に関するカラー情報であるカラー偏光情報を生成する偏光情報処理ステップと、
光源の色情報を取得する光源色情報取得ステップと、
前記カラー偏光情報と前記光源の色情報を利用して、前記カラー画像の成分分離を行う画像成分分離ステップとを含む画像処理方法。
【請求項１７】
被写体を撮像することによって前記被写体の画像を成分分離する画像処理装置のためのプログラムであって、
請求項１６に記載の画像処理方法に含まれるステップをコンピュータに実行させるプログラム。
【請求項１８】
パラメータ推定装置と画像合成装置とを備え、画像を合成するモデルベース画像合成装置であって、
前記パラメータ推定装置は、
被写体を撮像する画像撮像部と、
請求項１６に記載の画像処理方法によって、前記画像撮像部によって撮像された画像の成分分離を行う画像分離部と、
被写体に照射する光源の方向や位置、輝度、色、スペクトル情報の少なくとも１つを含む光源情報を推定する光源情報推定部と、
被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部と、
撮像された被写体から、前記画像分離部で分割された成分ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部と、
前記パラメータ推定部において推定された反射パラメータを保持するパラメータＤＢと、を有し、
前記画像合成装置は、
合成する画像の視点や光源情報を取得する視点・光源情報取得部と、
前記パラメータＤＢに保持されている反射パラメータを利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリング部と
を有するモデルベース画像合成装置。
【請求項１９】
パラメータ推定ステップと画像合成ステップとを備え、画像を合成するモデルベース画像合成方法であって、
前記パラメータ推定ステップは、
被写体を撮像する画像撮像ステップと、
請求項１６に記載の画像処理方法によって、前記画像撮像部によって撮像された画像の成分分離を行う画像分離ステップと、
光源の情報を推定する光源情報推定ステップと、
被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得ステップと、
撮像された被写体から、前記画像分離部で分割された成分ごとに反射モデルパラメータを推定するパラメータ推定ステップと
を含み、
前記画像合成ステップは、
合成する画像の視点や光源情報を取得する視点・光源情報取得ステップと、
前記形状情報取得ステップによって推定された反射パラメータを利用して、前記視点・光源情報取得ステップで取得された視点や光源情報に則した画像を合成するレンダリングステップと
を含むモデルベース画像合成方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010004677.tif 000195
【図２】
2010004677.tif 000196
【図３】
2010004677.tif 000197
【図４】
2010004677.tif 000198
【図５】
2010004677.tif 000199
【図６】
2010004677.tif 000200
【図７】
2010004677.tif 000201
【図８】
2010004677.tif 000202
【図９】
2010004677.tif 000203
【図１０】
2010004677.tif 000204
【図１１】
2010004677.tif 000205
【図１２】
2010004677.tif 000206
【図１３】
2010004677.tif 000207
【図１４】
2010004677.tif 000208
【図１５】
2010004677.tif 000209
【図１６】
2010004677.tif 000210
【図１７】
2010004677.tif 000211
【図１８】
2010004677.tif 000212
【図１９】
2010004677.tif 000213
【図２０】
2010004677.tif 000214
【図２１】
2010004677.tif 000215
【図２２】
2010004677.tif 000216
【図２３】
2010004677.tif 000217
【図２４】
2010004677.tif 000218
【図２５】
2010004677.tif 000219
【図２６】
2010004677.tif 000220
【図２７】
2010004677.tif 000221
【図２８】
2010004677.tif 000222
【図２９】
2010004677.tif 000223
【図３０】
2010004677.tif 000224
【図３１】
2010004677.tif 000225
【図３２】
2010004677.tif 000226
【図３３】
2010004677.tif 000227
【図３４】
2010004677.tif 000228
【図３５】
2010004677.tif 000229
【図３６】
2010004677.tif 000230
【図３７】
2010004677.tif 000231
【図３８】
2010004677.tif 000232
【図３９】
2010004677.tif 000233
【図４０】
2010004677.tif 000234
【図４１】
2010004677.tif 000235
【図４２】
2010004677.tif 000236
【図４３】
2010004677.tif 000237
【図４４】
2010004677.tif 000238
【図４５】
2010004677.tif 000239
【図４６】
2010004677.tif 000240
【図４７】
2010004677.tif 000241
【図４８】
2010004677.tif 000242
【国際調査報告】
2010004677.tif 000243
2010004677.tif 000244
2010004677.tif 000245
2010004677.tif 000246