(57)【要約】  偏光画像撮像部１０３は偏光情報を含んだ第１の偏光画像を取得する。偏光情報取得部１０４は、第１の偏光画像から第１の偏光情報を取得する。投光制御部１０２は投光部１０１を変化させ、再度、偏光画像撮像部１０３によって第２の偏光画像を取得する。偏光情報取得部１０４は、第２の偏光画像から第２の偏光情報を取得する。光源依存度推定部１０５は、第１、第２の偏光画像から求めた第１、第２の偏光情報から、光源依存度を取得する。領域分割部１０６は、偏光情報と光源依存度情報を利用して、領域分割を行う。
2009157129.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う画像処理装置であって、
偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することにより、被写体の偏光画像を取得する偏光画像撮像部を有し、
前記被写体の表面における偏光状態と、光源から放射される光の偏光状態および光源位置の少なくとも一方を変化させた場合の前記被写体の表面における偏光状態の変化の程度を示す光源依存度とに基づいて領域分割を行う画像処理装置。
【請求項２】
前記光源を備え、前記光源から放射された光の偏光状態および光源位置の少なくとも一方を変化させることができる投光ユニットと、
前記投光ユニットによる前記光源から放射された光の偏光状態および光源位置の少なくとも一方の変化と、前記偏光画像撮像部による撮像との同期処理を行う制御部と、
を有する請求項１に記載の画像処理装置。
【請求項３】
前記光源から放射される光の偏光状態を変化させる投光制御部と、
取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、
前記投光制御部によって前記光源から放射された光の偏光状態が変化した際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、
前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報に基づいて領域分割を行う領域分割部と、
を有する請求項２に記載の画像処理装置。
【請求項４】
前記偏光情報取得部は、偏光情報として、偏光度、偏光位相、偏光推定誤差、偏光最大輝度値、および偏光最小輝度値の少なくとも１つを生成する請求項３に記載の画像処理装置。
【請求項５】
前記領域分割部は、前記被写体の表面が拡散反射領域および鏡面反射領域のいずれかに分割されることとなるように、前記領域分割を行う請求項４に記載の領域分割装置。
【請求項６】
前記領域分割部は、前記被写体の表面が拡散反射非偏光領域、拡散反射偏光領域および鏡面反射偏光領域のいずれかに分割されることとなるように、前記領域分割を行う請求項４に記載の画像処理装置。
【請求項７】
前記領域分割部は、前記被写体の表面が光源依存偏光領域、光源依存非偏光領域、光源非依存偏光領域および光源非依存非偏光領域のいずれかに分割されることとなるように、前記領域分割を行う請求項４に記載の画像処理装置。
【請求項８】
前記光源の位置を変化させる投光位置変化部と、
取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、
前記投光制御部によって前記光源の位置が変化した際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、
前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報に基づいて領域分割を行う領域分割部と、
を有する請求項２に記載の画像処理装置。
【請求項９】
光源位置の異なる、複数の投光部を有し、
前記投光位置変化部は、前記複数の投光部を切り替えることで、投光部の位置を変化させる請求項８に記載の画像処理装置。
【請求項１０】
前記投光位置変化部は、投光部を移動させることで光源位置を変化させる請求項８に記載の画像処理装置。
【請求項１１】
前記領域分割部は、前記被写体の表面が拡散反射領域および鏡面反射領域のいずれかに分割されることとなるように、前記領域分割を行う請求項８に記載の画像処理装置。
【請求項１２】
前記領域分割部は、前記被写体の表面が鏡面反射領域、拡散反射領域および陰影領域のいずれかに分割されることとなるように、前記領域分割を行う請求項８に記載の画像処理装置。
【請求項１３】
投光装置と領域分割装置を有し、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う画像処理システムであって、
前記投光装置は、
直線偏光光を前記被写体に投光する投光部と、
前記投光部の直線偏光光の偏光状態を変化させる投光制御部を有し、
前記領域分割装置は、
偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、前記被写体の偏光画像を取得する偏光画像撮像部と、
前記偏光画像撮像部によって過去に撮像された偏光画像と現在撮像された偏光画像とを比較し、撮像した偏光状態が十分に変化しているかどうかを判断する撮像判定部と、
取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、
前記投光制御部によって前記投光部の偏光状態が変化したと、前記撮像判定部により判定された際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、
前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報を利用して、領域分割を行う領域分割部とを有する画像処理システム。
【請求項１４】
投光装置と領域分割装置とを有し、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う画像処理システムであって、
前記投光装置は、
直線偏光光を前記被写体に投光する投光部と、
前記投光部の直線偏光光の偏光状態を変化させる投光制御部と、
投光を知らせる信号を前記領域分割装置へ送信し、撮像完了を知らせる信号を前記領域分割装置から受信する通信部とを有し、
前記領域分割装置は、
投光を知らせる信号を前記投光装置から受信し、撮像完了を知らせる信号を前記投光装置へ送信する通信部と、
偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像部と、
前記偏光画像撮像部によって過去に撮像された偏光画像と現在、撮像された偏光画像とを比較し、撮像した偏光状態が十分に変化しているかどうかを判断する撮像判定部と、
取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、
前記投光制御部によって前記投光部の偏光状態が変化したと、前記撮像判定部により判定された際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、
前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報を利用して、領域分割を行う領域分割部とを有する画像処理システム。
【請求項１５】
被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う領域分割方法であって、
直線偏光光を前記被写体に投光する投光ステップと、
前記投光部の直線偏光光の偏光状態を変化させる投光制御ステップと、
偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像ステップと、
取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得ステップと、
前記投光制御ステップと前記偏光画像撮像ステップの同期処理を行う制御ステップと、
前記投光制御ステップによって前記投光ステップの偏光状態が変化した際の、前記偏光情報取得ステップで生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定ステップと、
前記偏光情報取得ステップによって生成された偏光情報と前記光源依存度推定ステップによって推定された光源変動情報を利用して、領域分割を行う領域分割ステップと、
を含む領域分割方法。
【請求項１６】
被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う領域分割装置のためのプログラムであって、
請求項１５に記載の領域分割方法に含まれるステップをコンピュータに実行させるプログラム。
【請求項１７】
パラメータ推定装置と画像合成装置とを有し、反射モデルを利用して画像を合成するモデルベース画像合成装置であって、
前記パラメータ推定装置は、
被写体を撮像する画像撮像部と、
請求項１５に記載の領域分割方法によって、前記画像撮像部によって撮像された画像に対する光学的な領域分割を行う領域分割部と、
被写体に照射する光源に関する光源情報を推定する光源情報推定部と、
被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部と、
撮像された被写体から、前記領域分割部で分割された領域ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部と、
前記パラメータ推定部において推定された反射パラメータを保持するパラメータデータベースとを有し、
前記画像合成装置は、
合成する画像の視点や光源情報を取得する視点・光源情報取得部と、
前記パラメータデータベースに保持されている反射パラメータ情報を利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリング部を有するモデルベース画像合成装置。
【請求項１８】
パラメータ推定ステップと画像合成方法ステップとを含み、反射モデルを利用して画像を合成するモデルベース画像合成方法であって、
前記パラメータ推定ステップは、
被写体を撮像する画像撮像ステップと、
請求項１５に記載の領域分割方法によって、前記画像撮像部によって撮像された画像に対する光学的な領域分割を行う領域分割ステップと、
被写体に照射する光源に関する光源情報を推定する光源情報推定ステップと、
被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得ステップと、
撮像された被写体から、前記領域分割部で分割された領域ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定ステップとを含み、
画像合成ステップは、
合成する画像の視点や光源情報を取得する視点・光源情報取得ステップと、
前記形状情報取得ステップによって推定された反射パラメータ情報を利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリングステップと、
を含むモデルベース画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に被写体の形状情報取得や画像合成の際に問題になる画像分割の精度を向上するための技術に関する。
【背景技術】
【０００２】
物体の見えは、被写体の表面で反射した入射光が「てかり」として観測される鏡面反射成分や、物体の内部でスキャッタリングを繰り返すことによって観測される拡散反射成分など、複数の成分によって構成されていることが知られている。【０００３】
近年、デジタルアーカイブを目的とした情報圧縮や被写体の形状・表面材質を取得するために、画像をこのような各成分ごとに分離する手法が広く行われている（例えば、非特許文献１、非特許文献２、非特許文献３）。これは、分離した成分ごとに処理を行うことで、より高精度な処理が可能なためである。【０００４】
このように画像を各成分に分離する手法として、鏡面反射成分と拡散反射成分に分離する手法が広く行われている。特に偏光情報を利用した手法は、簡単な装置で鏡面反射と拡散反射を分離可能なため、広く研究されている。この手法は、直線偏光した光源を被写体に投光し、カメラと被写体の間に設置した直線偏光フィルタを光軸周りに回転させることにより、鏡面反射成分と拡散反射成分を分離するものである。【０００５】
直線偏光フィルタの回転角度（偏光主軸角度）をΦとすると、観測される各画素での輝度値は、回転角度Φに対してｓｉｎ関数状に変化することが知られている。このｓｉｎ関数の振幅成分を「鏡面反射成分」、バイアス成分を「拡散反射成分」とすることで、画像の分離を行うことができる。すなわち、画像を構成する複数の画素の各々について、鏡面反射成分および拡散反射成分のいずれが支配的かに応じて、その画素を「鏡面反射領域」および「拡散反射領域」の一方に割り当てることができる。言い換えると、鏡面反射成分が支配的な画素によって「鏡面反射領域」が構成され、拡散反射成分が支配的な画素によって「鏡面反射領域」が構成される。【０００６】
このようにして被写体の表面に対する領域分割を行う手法は、以下の通り、鏡面反射と拡散反射の偏光特性の違いに依存して実行することが可能になる。
・鏡面反射成分は表面反射によって生じるため、入射光の偏光特性が保持されている。そのため、カメラで観測された輝度の偏光成分として観測される。
・拡散反射はスキャッタリングを繰り返しているため、入射光の偏光特性が失われている。そのため、カメラで観測された輝度の非偏光成分として観測される。【０００７】
これらの偏光特性は、以下の２条件を前提としている。
（条件１）直線偏光光が投光されている場合、鏡面反射成分は偏光成分として観測される。
（条件２）直線偏光光が投光されている場合、拡散反射成分は非偏光成分として観測される。【０００８】
図７４（ａ）から（ｃ）を参照して、従来の領域分割を説明する。【０００９】
図７４（ｂ）および（ｃ）は、それぞれ、図７４（ａ）の画像を従来の領域分割によって分割された鏡面反射領域および拡散反射領域を示している。すなわち、図７４（ｂ）において白色画素によって示される領域は「鏡面反射領域」として分割された領域であるのに対し、図７４（ｃ）において白色画素によって示される領域は「拡散反射領域」として分割された領域である。【００１０】
これらの画像を見ると、遮蔽エッジ近傍である球の周辺部（図７４（ｂ）の領域Ａ）が「鏡面反射領域」として分割されている。しかし、鏡面反射は正反射領域およびその近傍に生じるものである。このような遮蔽エッジ領域に鏡面反射成分が推定されるということは、分離精度が十分ではないことを示している。【００１１】
このような問題は、拡散反射成分の一部が偏光するために、（条件２）が満たされないために生じる。以下図７２および図７３を参照しながら、このような問題が生じる原因を考察する。【００１２】
図７２および図７３は、それぞれ、被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における鏡面反射成分の偏光度を示すグラフおよび拡散反射成分の偏光度を示したグラフである（例えば、Ｌ． Ｂ． Ｗｏｌｆｆ ａｎｄ Ｔ． Ｅ． Ｂｏｕｌｔ， “Ｃｏｎｓｔｒａｉｎｉｎｇ ｏｂｊｅｃｔ ｆｅａｔｕｒｅｓ ｕｓｉｎｇ ａ ｐｏｌａｒｉｚａｔｉｏｎ ｒｅｆｌｅｃｔａｎｃｅ ｍｏｄｅｌ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．１３，Ｎｏ．７，ｐｐ．６３５-６５７，１９９１参照）。ここで、図７２のグラフの横軸は入射角、縦軸は偏光度、また、図７３のグラフの横軸は出射角、縦軸は偏光度を示している。この図から、以下のことがわかる。
・出射角が十分に大きい領域以外では、拡散反射成分の偏光度は十分小さい。
・出射角が十分に大きい領域では、拡散反射成分の偏光度は、鏡面反射成分の偏光度に比べて十分に大きい。【００１３】
すなわち、以下のことがわかる。
・出射角が十分に大きい領域以外では、（条件２）が成立する。
・出射角が十分に大きい領域では、（条件２）が成立しない。【００１４】
これが、図７４に示す従来の領域分割において、鏡面反射成分と拡散反射成分の分離が正確に作用しなかった大きな原因である。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】Ｙ． Ｓａｔｏ, Ｍ． Ｄ． Ｗｈｅｅｌｅｒ, ａｎｄ Ｋ． Ｉｋｅｕｃｈｉ, “Ｏｂｊｅｃｔ ｓｈａｐｅ ａｎｄ ｒｅｆｌｅｃｔａｎｃｅ ｍｏｄｅｌｉｎｇ ｆｒｏｍ ｏｂｓｅｒｖａｔｉｏｎ”, ＳＩＧＧＲＡＰＨ ９７, ｐｐ．３７９-３８７, １９９７
【非特許文献２】宮崎大輔、柴田卓司、池内克史、“Ｗａｖｅｌｅｔ-Ｔｅｘｔｕｒｅ法：Ｄａｕｂｅｃｈｉｅｓウェーブレットとパラメトリック反射モデルと円偏光板によるＢＴＦ圧縮、電子情報通信学会論文誌、Ｖｏｌ．Ｊ９０-Ｄ  Ｎｏ．８，ｐｐ．２０８１-２０９３，２００７
【非特許文献３】Ｔ．Ｓｈｉｂａｔａ, Ｔ．Ｔａｋａｈａｓｈｉ, Ｄ．Ｍｉｙａｚａｋｉ, Ｙ．Ｓａｔｏ, Ｋ．Ｉｋｅｕｃｈｉ, “Ｃｒｅａｔｉｎｇ Ｐｈｏｔｏｒｅａｌｉｓｔｉｃ Ｖｉｒｔｕａｌ Ｍｏｄｅｌ ｗｉｔｈ Ｐｏｌａｒｉｚａｔｉｏｎ Ｂａｓｅｄ Ｖｉｓｉｏｎ Ｓｙｓｔｅｍ”, ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ (Ｐｏｌａｒｉｚａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ ＩＩ, Ｐａｒｔ ｏｆ ＳＰＩＥ’ｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ ２００５）, Ｖｏｌ．５８８８, ｐｐ．２５-３５, ２００５
【発明の概要】
【発明が解決しようとする課題】
【００１６】
このような問題は、近年のカメラの高ダイナミックレンジ化により、今後、さらに重要性を増してゆく。従来のカメラでは、輝度のダイナミックレンジが十分に広くないため、拡散反射の偏光度が観測されることは少ない。しかし、近年、カメラの高ダイナミックレンジ化が進んでいるため、前述のような分離精度の劣化が大きな問題となる。【００１７】
このような鏡面反射成分と拡散反射成分の分離精度劣化は、デジタルアーカイブや拡張現実の分野で用いられているモデルベースの画像合成を行う際に、質感が大きく異なる画像を合成してしまうという大きな問題となる。モデルベースの画像合成とは、ＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）の分野で広く利用されている技術である。視点変換や光源環境変化などの多様な画像処理が可能であるため、デジタルアーカイブやインタラクティブな画像提示方法として非常に有効である。また、効率的なデータ圧縮も可能である。その一例として、画像を鏡面反射成分と拡散反射成分に分離し、鏡面反射成分はＣｏｏｋ−Ｔｏｒｒａｎｃｅモデル、拡散反射成分はＬａｍｂｅｒｔｉａｎモデルで画像をモデル化する手法が知られている。【００１８】
図７５（ａ）に示す像を被写体の領域Ｃに関して、図７５（ｂ）のグラフに示すデータを取得した。図７５（ｂ）は、図７５（ａ）の領域Ｃに関して、横軸に視線ベクトルと照明方向ベクトルの中間ベクトルβ、縦軸に鏡面反射成分の輝度値Ｉｓをグラフ化したグラフである。図７５（ｂ）のグラフにおいて、白色○は領域Ｃに関して観測された輝度値Ｉｓをプロットしたものである。また、黒色■はＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルの各反射パラメータを推定し、プロットしたものである。この図より、モデルフィッティングがうまく働いていないことがわかる。【００１９】
図７６は、従来の領域分割手法を利用して作成した合成画像を示している。このように、推定に失敗したパラメータを利用して画像合成を行った場合、合成画像の質感が実物とは大きくかけ離れたものとなってしまう。このような推定失敗の原因は、前述の鏡面反射成分と拡散反射成分の分離精度の劣化に伴い、特に中間ベクトルβが大きな領域において、輝度値Ｉｓが実際より大きな値として推定されてしまっていることである。鏡面反射成分と拡散反射成分の分離精度の不十分さは、それぞれのモデルにおけるパラメータ推定の際に、実際とは異なった鏡面反射成分と拡散反射成分を利用することになる。そのため、実際とは異なるモデルパラメータを推定してしまう。以上のように、画像の正確な領域分割は、モデルベースの画像合成において、非常に重要である。
【課題を解決するための手段】
【００２０】
本発明の画像処理装置被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う画像処理装置であって、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することにより、被写体の偏光画像を取得する偏光画像撮像部を有し、前記被写体の表面における偏光状態と、光源から放射される光の偏光状態および光源位置の少なくとも一方を変化させた場合の前記被写体の表面における偏光状態の変化の程度を示す光源依存度とに基づいて領域分割を行う。【００２１】
好ましい実施形態において、前記光源を備え、前記光源から放射された光の偏光状態および光源位置の少なくとも一方を変化させることができる投光ユニットと、前記投光ユニットによる前記光源から放射された光の偏光状態および光源位置の少なくとも一方の変化と、前記偏光画像撮像部による撮像との同期処理を行う制御部とを有する。【００２２】
好ましい実施形態において、前記光源から放射される直線偏光光の偏光状態を変化させる投光制御部と、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、前記投光制御部によって前記光源から放射された光の偏光状態が変化した際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報に基づいて領域分割を行う領域分割部とを有する。【００２３】
好ましい実施形態において、前記偏光情報取得部は、偏光情報として、偏光度、偏光位相、偏光推定誤差、偏光最大輝度値、および偏光最小輝度値の少なくとも１つを生成する。【００２４】
好ましい実施形態において、前記領域分割部は、前記被写体の表面が拡散反射領域および鏡面反射領域のいずれかに分割されることとなるように、前記領域分割を行う。【００２５】
好ましい実施形態において、前記領域分割部は、前記被写体の表面が拡散反射非偏光領域、拡散反射偏光領域および鏡面反射偏光領域のいずれかに分割されることとなるように、前記領域分割を行う。【００２６】
好ましい実施形態において、前記領域分割部は、前記被写体の表面が光源依存偏光領域、光源依存非偏光領域、光源非依存偏光領域および光源非依存非偏光領域のいずれかに分割されることとなるように、前記領域分割を行う。【００２７】
好ましい実施形態において、前記領域分割部は、前記被写体の表面がさらに陰影領域に分割されることとなるように、前記領域分割を行う。【００２８】
好ましい実施形態において、前記投光制御部は、直線偏光光の主軸方向を変化させる。【００２９】
好ましい実施形態において、前記投光制御部は、直線偏光光の主軸方向を９０度変化させる。【００３０】
好ましい実施形態において、偏光状態の異なる、複数の投光部を有し、前記投光制御部は、複数の投光部を切り替えることで、偏光状態を変化させる。【００３１】
好ましい実施形態において、投光部は、偏光画像撮像部の近傍に存在する。【００３２】
好ましい実施形態において、光源依存度推定部は、偏光位相および偏光度の少なくとも一方の変化値を偏光依存度として推定する。【００３３】
好ましい実施形態において、前記光源の位置を変化させる投光位置変化部と、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、前記投光制御部によって前記光源の位置が変化した際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報に基づいて領域分割を行う領域分割部と、を有する。【００３４】
好ましい実施形態において、光源位置の異なる、複数の投光部を有し、前記投光位置変化部は、複数の投光部を切り替えることで、投光部の位置を変化させる。【００３５】
好ましい実施形態において、前記投光位置変化部は、投光部を移動させることで光源位置を変化させる。【００３６】
好ましい実施形態において、前記領域分割部は、前記被写体の表面が拡散反射領域および鏡面反射領域のいずれかに分割されることとなるように、前記領域分割を行う。【００３７】
好ましい実施形態において、前記領域分割部は、前記被写体の表面が鏡面反射領域、拡散反射領域および陰影領域のいずれかに分割されることとなるように、前記領域分割を行う。【００３８】
好ましい実施形態において、前記領域分割部は、鏡面反射領域、拡散反射領域、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗ領域およびｃａｓｔ  ｓｈａｄｏｗ領域のいずれかに分割されることとなるように、前記領域分割を行う。【００３９】
本発明の画像処理システムは、投光装置と領域分割装置を有し、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う画像処理システムであって、前記投光装置は、直線偏光光を前記被写体に投光する投光部と、前記投光部の直線偏光光の偏光状態を変化させる投光制御部を有し、前記領域分割装置は、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像部と、前記偏光画像撮像部によって過去に撮像された偏光画像と現在、撮像された偏光画像を比較し、撮像した偏光状態が十分に変化しているかどうかを判断する撮像判定部と、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、前記投光制御部によって前記投光部の本稿状態が変化したと、前記撮像判定部により判定された際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報を利用して、領域分割を行う領域分割部を有する。【００４０】
本発明による他の画像処理システムは、投光装置と領域分割装置とを有し、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う領域分割システムであって、前記投光装置は、直線偏光光を前記被写体に投光する投光部と、前記投光部の直線偏光光の偏光状態を変化させる投光制御部と、投光を知らせる信号を前記領域分割装置へ送信し、撮像完了を知らせる信号を前記領域分割装置から受信する通信部を有し、前記領域分割装置は、投光を知らせる信号を前記投光装置から受信し、撮像完了を知らせる信号を前記投光装置へ送信する通信部と、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像部と、前記偏光画像撮像部によって過去に撮像された偏光画像と現在、撮像された偏光画像とを比較し、撮像した偏光状態が十分に変化しているかどうかを判断する撮像判定部と、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、前記投光制御部によって前記投光部の偏光状態が変化したと、前記撮像判定部により判定された際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報を利用して、領域分割を行う領域分割部を有する。【００４１】
本発明の領域分割方法は、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う領域分割方法であって、直線偏光光を前記被写体に投光する投光ステップと、前記投光部の直線偏光光の偏光状態を変化させる投光制御ステップと、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像ステップと、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得ステップと、前記投光制御ステップと前記偏光画像撮像ステップの同期処理を行う制御ステップと、前記投光制御ステップによって前記投光ステップの偏光状態が変化した際の、前記偏光情報取得ステップで生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定ステップと、前記偏光情報取得ステップによって生成された偏光情報と前記光源依存度推定ステップによって推定された光源変動情報を利用して、領域分割を行う領域分割ステップとを含む。【００４２】
本発明のプログラムは、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う領域分割装置のためのプログラムであって、上記の領域分割方法に含まれるステップをコンピュータに実行させる。【００４３】
本発明のモデルベース画像合成装置は、パラメータ推定装置と画像合成装置を有し、反射モデルを利用して画像を合成するモデルベース画像合成装置であって、前記パラメータ推定装置は、被写体を撮像する画像撮像部と、上記の領域分割方法によって、前記画像撮像部によって撮像された画像に対する光学的な領域分割を行う領域分割部と、被写体に照射する光源に関する光源情報を推定する光源情報推定部と、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部と、撮像された被写体から、前記領域分割部で分割された領域ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部と、前記パラメータ推定部において推定された反射パラメータを保持するパラメータデータベースを有し、前記画像合成装置は、合成する画像の視点や光源情報を取得する視点・光源情報取得部と、前記パラメータデータベースに保持されている反射パラメータ情報を利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリング部を有する。【００４４】
本発明のモデルベース画像合成方法は、パラメータ推定ステップと画像合成方法ステップとを含み、反射モデルを利用して画像を合成するモデルベース画像合成方法であって、前記パラメータ推定ステップは、被写体を撮像する画像撮像ステップと、上記の領域分割方法によって、前記画像撮像部によって撮像された画像に対する光学的な領域分割を行う領域分割ステップと、被写体に照射する光源に関する光源情報を推定する光源情報推定ステップと、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得ステップと、撮像された被写体から、前記領域分割部で分割された領域ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定ステップとを含み、画像合成ステップは、合成する画像の視点や光源情報を取得する視点・光源情報取得ステップと、前記形状情報取得ステップによって推定された反射パラメータ情報を利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリングステップとを含む。
【発明の効果】
【００４５】
本発明画像処理によれば、光源状態の依存度と偏光情報という二つの情報を利用することにより、鏡面反射領域と拡散反射領域を正確に分割することが可能である。また、光源状態の依存度と偏光情報という２つの情報に基づく領域分割を、モデルベースの画像合成手法のパラメータ推定に利用することにより、被写体に忠実な画像を合成することが可能である。
【図面の簡単な説明】
【００４６】
【図１】本発明の第１の本実施形態に係る領域分割装置におけるブロック図である。
【図２】本発明の第１の本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。
【図３】本発明の第１の本実施形態に係る領域分割装置が搭載されたカメラの構成例を示す図である。
【図４】本発明におけるパターン偏光子と撮像装置における撮像素子の関係を示した模式図である。
【図５】本発明におけるパターン偏光子の配列状態を説明するための模式図である。
【図６】本発明における正弦関数輝度変化と観測輝度点を説明するための模式図である。
【図７】球体である地球儀の被写体を撮像した画像と、その画像から求めた偏光度ρ１と偏光位相φｍａｘ１、偏光推定誤差Ｅ１の図である。
【図８】球体である地球儀の被写体を撮像した画像と、その画像から求めた偏光度ρ１と偏光位相φｍａｘ１、偏光推定誤差Ｅ１の模式図である。
【図９】図７の画像を輝度の高低に応じて複数の領域に分けた図である。
【図１０】発泡スチロール製の頭部模型の被写体を撮像した画像と、その画像から求めた偏光度ρ１と偏光位相φｍａｘ１、偏光推定誤差Ｅ１の図である。
【図１１】図７とは光源の偏光状態が異なった状態で、球体である地球儀の被写体を撮像した画像と、その画像から求めた偏光度ρ２と偏光位相φｍａｘ２、偏光推定誤差Ｅ２の図である。
【図１２】図７とは光源の偏光状態が異なった状態で、球体である地球儀の被写体を撮像した画像と、その画像から求めた偏光度ρ２と偏光位相φｍａｘ２、偏光推定誤差Ｅ２の模式図である。
【図１３】図１１の画像を輝度の高低に応じて複数の領域に分けた図である。
【図１４】本発明の第１の本実施形態に係る光源依存度推定部によって求めた偏光位相の差分値を画像化した模式図である。
【図１５】偏光位相差を説明するための模式図である。
【図１６】本発明の第１の本実施形態に係る領域分割部における領域分割基準を示した図である。
【図１７】本発明の第１の本実施形態に係る領域分割部の処理の流れを示すフローチャートである。
【図１８】本発明の第１の本実施形態に係る領域分割部の別の処理の流れを示すフローチャートである。
【図１９】本発明の第１の本実施形態に係る領域分割部の別の処理の流れを示すフローチャートである。
【図２０】被写体であるビリヤードボールを撮像した画像と、その模式図である。
【図２１】本発明の第１の実施形態にかかる領域分割装置による撮像条件を示したシステム図である。
【図２２】本発明の第１の本実施形態に係る領域分割方法の処理の途中結果を示す図である。
【図２３】図２２の画像を輝度の高低に応じて複数の領域に分けた図である。
【図２４】本発明の第１の本実施形態に係る領域分割方法の処理の途中結果を示す模式図である。
【図２５】本発明の第１の本実施形態に係る領域分割方法の処理結果を示す図である。
【図２６】本発明の第１の本実施形態に係る領域分割方法の別の処理結果を示す図である。
【図２７】本発明の第１の実施形態にかかる領域分割装置による撮像条件を示した別のシステム図である。
【図２８】本発明の第１の本実施形態に係る領域分割装置が搭載されたカメラの別の構成例を示す図である。
【図２９】本発明の第１の本実施形態に係る領域分割部における別の領域分割基準を示した図である。
【図３０】本発明の第１の本実施形態に係る領域分割部の別の処理の流れを示すフローチャートである。
【図３１】本発明の第２の本実施形態に係る領域分割装置におけるブロック図である。
【図３２】本発明の第２の本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。
【図３３】本発明の第２の本実施形態に係る領域分割装置が搭載されたカメラの構成例を示す図である。
【図３４】本発明の第２の本実施形態に係る領域分割装置が搭載されたカメラの構成例を示す図である。
【図３５】本発明の第２の実施形態にかかる領域分割装置による撮像条件を示したシステム図である。
【図３６】本発明の第２の実施形態にかかる領域分割装置による撮像条件を示した別のシステム図である。
【図３７】本発明の第２の本実施形態に係る領域分割方法の処理の途中結果を示す図である。
【図３８】本発明の第２の本実施形態に係る領域分割方法の処理の途中結果を示す模式図である。
【図３９】図３７の画像を輝度の高低に応じて複数の領域に分けた図である。
【図４０】本発明の第２の実施形態にかかる領域分割装置による各発光装置と撮像装置の位置関係を示した模式図である。
【図４１】本発明の第２の本実施形態に係る領域分割方法の処理結果を示す図である。
【図４２】本発明の第２の本実施形態に係る領域分割方法の別の処理結果を示す図である。
【図４３】本発明の第２の本実施形態に係る領域分割部における陰影領域を含めた領域分割基準を示した図である。
【図４４】本発明の第２の本実施形態に係る陰影領域も領域分割する領域分割部の処理の流れを示すフローチャートである。
【図４５】ａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗによる陰影の分類を説明するための模式図である。
【図４６】ａｔｔａｃｈｅｄ  ｓｈａｄｏｗ領域における多重反射光の入射を説明するための模式図である。
【図４７】ｃａｓｔ  ｓｈａｄｏｗ領域における多重反射光の入射を説明するための模式図である。
【図４８】本発明の第２の本実施形態に係る領域分割部におけるａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗを含めた領域分割基準を示した図である。
【図４９】本発明の第２の本実施形態に係るａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗも領域分割する領域分割部の処理の流れを示すフローチャートである。
【図５０】本発明の第２の本実施形態に係る領域分割部におけるａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗを含めた別の領域分割基準を示した図である。
【図５１】本発明の第２の本実施形態に係るａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗも領域分割する領域分割部の別の処理の流れを示すフローチャートである。
【図５２】本発明の第３の本実施形態に係る領域分割システムにおけるブロック図である。
【図５３】本発明の第３の本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。
【図５４】本発明の第３の本実施形態に係る領域分割装置が搭載されたカメラと発光装置の構成例を示す図である。
【図５５】本発明の第３の本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。
【図５６】本発明の第３の本実施形態に係る領域分割システムにおける別のブロック図である。
【図５７】本発明の第３の本実施形態に係る領域分割方法の別の処理の流れを示すフローチャートである。
【図５８】本発明の第３の本実施形態に係る領域分割装置が搭載されたカメラと発光装置の別の構成例を示す図である。
【図５９】本発明の一実施形態に係る画像合成装置の構成を示すブロック図である。
【図６０】本発明の一実施形態に係る画像合成方法におけるパラメータ推定方法の処理の流れを示すフローチャートである。
【図６１】本発明の一実施形態に係る画像合成方法における画像合成推定方法の処理の流れを示すフローチャートである。
【図６２】本発明の画像合成装置が搭載されたカメラの構成例を示す図である。
【図６３】鏡面球を利用した光源推定方法を説明するための模式図である。
【図６４】法線方向ベクトル、視線ベクトル、光源方向ベクトルの関係を説明するための模式図である。
【図６５】拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数Ｓｒを説明するための模式図である。
【図６６】本発明の一実施形態に係る画像合成処理における鏡面反射画像のパラメータ推定処理の流れを示す図である。
【図６７】入射照度を表す式の各パラメータを説明するための概念図である。
【図６８】シンプレックス法によるパラメータ推定処理の流れを示すフローチャートである。
【図６９】シンプレックス法におけるパラメータ更新処理の流れを示したフローチャートである。
【図７０】本発明の第１の実施形態にかかる領域分割装置を利用して、ＢＲＤＦを求めた模式図である。
【図７１】本発明の一実施形態に係る画像合成処理におけるパラメータＤＢに保持されているモデルパラメータを示す模式図である。
【図７２】被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における鏡面反射成分の入射角に対する偏光度を示したグラフである。
【図７３】被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における拡散反射成分の出射角に対する偏光度を示したグラフである。
【図７４】従来の領域分割によって分割された鏡面反射領域および拡散反射領域を示す図である。
【図７５】従来手法の問題点を説明するために、ＢＲＤＦを求めた模式図である。
【図７６】従来の領域分割手法を利用して作成した合成画像である。
【発明を実施するための形態】
【００４７】
以下、図面を参照しながら本発明の実施形態を説明する。
【００４８】
（第１の実施形態）
まず、本発明の第１の実施形態における画像処理装置の概要について説明する。本実施形態の画像処理装置は、投光部（光源）の偏光状態を変化させることにより、光源依存度を算出する。偏光情報と偏光状態の変化に伴う光源依存度とを利用することにより、被写体の領域分割を行う。
【００４９】
図１は、本実施形態に係る画像処理装置におけるブロック図である。この画像処理装置は、被写体を撮像することにより、被写体の表面を光学的に性質の異なる複数の領域に分割する（領域分割を行う）装置である。
【００５０】
この画像処理装置は、偏光状態を変化させて直線偏光光を被写体に投光する投光ユニット１２１と、被写体の偏光情報を取得する偏光情報取得部１２２と、投光ユニット１２１および偏光情報取得部１２２の同期処理を行う制御部１２０と、投光ユニット１２１によって偏光状態（本実施形態では、直線偏光光の偏光主軸方向）が変化した際に偏光情報取得部１２２で生成される各偏光情報を比較することによって光源依存度情報を推定する光源依存度推定部１０５と、偏光情報取得部１２２によって生成された偏光情報と依存度推定部１０５によって推定された光源変動情報を利用して、領域分割を行う領域分割部１０６を備える。
【００５１】
投光ユニット１２１は、直線偏光光を前記被写体に投光する投光部１０１と、投光部１０１の直線偏光光の偏光状態を変化させる投光制御部１０２とを有している。偏光情報取得部１２２は、被写体の偏光画像を取得する偏光画像撮像部１０３と、受光した偏光に関する情報である偏光情報を生成する偏光情報取得部１０４とを有している。偏光画像撮像部１０３は、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することにより、被写体の偏光画像を取得する。偏光情報取得部１０４は、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
【００５２】
図２は本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。図２のステップＳ１０１において、投光部１０１は、投光制御部１０２によって指示された主軸方向に偏光した偏光光を被写体へ投光する。ステップＳ１０２において、偏光画像撮像部１０３は、後述するパターン偏光子を通して被写体を撮像素子で受光することにより、偏光情報を含んだ画像である第１の偏光画像を取得する。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２とが同期処理を行うことによって実現される。
【００５３】
パターン偏光子は、後述するように３方向以上の偏光主軸角度をもつ。ステップＳ１０３において、偏光情報取得部１０４は、撮像された前記第１の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
【００５４】
ステップＳ１０４において、投光制御部１０２は、投光部１０１の直線偏光光の主軸方向が変化するように投光部１０１を制御し、投光部１０１はステップＳ１０１とは異なった偏光状態の偏光光を被写体へ投光する。ステップＳ１０５において、偏光画像撮像部１０３は再度、パターン偏光子２０１を通して被写体を撮像素子で受光することで、第２の偏光画像を取得する。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２とが同期処理を行うことによって実現される。
【００５５】
第１の偏光画像と第２の偏光画像は、投光部１０１の直線偏光光の主軸方向が変化した偏光画像である。ステップＳ１０６において、偏光情報取得部１０４は、再度、撮像された前記第２の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
【００５６】
ステップＳ１０７において、光源依存度推定部１０５は、第１の偏光画像および第２の偏光画像から前記偏光情報取得部１０４によって取得された偏光情報を比較することで、光源依存度を推定する。ステップＳ１０８において、領域分割部１０６は、前記偏光情報取得部１０４によって生成された偏光情報と前記光源依存度推定部１０５によって推定された光源依存度情報を利用して、領域分割を行う。
【００５７】
ここでは、投光制御部１０２、偏光画像撮像部１０３、偏光情報取得部１０４、光源依存度推定部１０５、領域分割部１０６および制御部１２０は、ＣＰＵ２０４がプログラムを実行することによって実現されるものとする。ただし、これらの機能の全部または一部を、ハードウエアによって実現してもかまわない。メモリ２０３は、偏光画像撮像部１０３によって撮像された偏光画像と、偏光情報取得部１０４によって取得された偏光情報と、光源依存度推定部１０５によって推定された光源依存度情報とを格納する。
【００５８】
次に、図３を参照しながら、本実施形態に係る画像処理装置が搭載されたカメラの構成と動作を説明する。図３は、このようなカメラの構成例を示すブロック図である。図３のカメラは、パターン偏光子２０１、撮像装置２０２、メモリ２０３、ＣＰＵ２０４、投光制御装置２０８、発光装置２０７、回転機構２０６、および偏光子２０５を備えている。
【００５９】
ステップＳ１０１において、図３のカメラから偏光光が被写体に投光させる。フラッシュを発光装置２０７として利用する場合、フラッシュの前方に偏光フィルタ（偏光子２０５）を設置しているため、偏光光を被写体に投光することができる。偏光光を利用する手段として、液晶偏光子などを利用してもかまわない。
【００６０】
偏光子２０５は、回転機構２０６によって回転する。投光制御部１０２は、回転機構２０６を制御することで、偏光光の主軸方向を変化させる。偏光子として偏光フィルタではなく、液晶偏光子を利用する場合、投光制御部１０２は液晶偏光子に印加する電圧を変化させることで、偏光光の主軸方向を変化させる。
【００６１】
以下、図３に示す構成を有するカメラの動作を詳述する。
【００６２】
まず、図２に示すステップＳ１０１において、図１の投光部１０１は、発光装置２０７と偏光子２０５を利用し、投光制御部１０２によって指示された主軸方向に偏光した偏光光を被写体へ投光する。これは、例えばカメラのフラッシュを発光装置２０７として利用する場合、フラッシュの前方に偏光フィルタ（偏光子２０５）を設置することで実現できる。偏光光を利用する手段として、液晶偏光子などを利用してもかまわない。
【００６３】
偏光子２０５は、回転機構２０６によって回転させられる。投光制御部１０２は、回転機構２０６を制御することにより、偏光光の主軸方向を変化させる。偏光子として偏光フィルタではなく、液晶偏光子を利用する場合、投光制御部１０２は液晶偏光子に印加する電圧を変化させることで、偏光光の主軸方向を変化させるようにしても構わない。
【００６４】
ステップＳ１０２において、偏光画像撮像部１０３は、パターン偏光子２０１を通して被写体を撮像装置２０２で受光することにより、偏光情報を含んだ画像である第１の偏光画像を取得する。これは、ＣＰＵ１２０が、発光装置２０７による発光、回転機構２０６による偏光子２０５の回転、および撮像装置２０２による撮像を同期させることにより実行される。
【００６５】
図４は、図１に示す偏光画像撮像部１０３に含まれるパターン偏光子２０１と撮像装置２０２との関係を示した模式図である。本実施形態において、撮像装置２０２にはパターン偏光子２０１が重ねて設置されている。パターン偏光子２０１は、撮像装置２０２の撮像面に平行に設置されることが望ましい。入射光はパターン偏光子２０１を透過して撮像素子２０２に到達して輝度が観測されるため、偏光画像撮像部１０３は偏光情報を取得できる。
【００６６】
図５は、この４種類のパターン偏光子を示しており、各画素内の直線は各画素上に設置された微小偏光板の偏光主軸方向を示している。すなわち、この撮像装置は偏光軸の回転角（Φｉ＝０°、４５°、９０°、１３５°）によって規定される４種類の偏光方向を有する画素を持つ。パターン偏光子は、ＴＭ波が透過、ＴＥ波が反射（透過せず）という偏光特性を示す。
【００６７】
このような特性は例えば、『川嶋、佐藤、川上、長嶋、太田、青木、“パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発”、電子情報通信学会２００６年総合全国大会、Ｎｏ．Ｄ-１１-５２，Ｐ５２，２００６』に記載されたフォトニック結晶を用いて作成することができる。フォトニック結晶の場合表面に形成された溝に平行な振動面を持つ光がＴＥ波、垂直な振動面を持つ光がＴＭ波となる。この偏光情報の取得に際しては輝度のダイナミックレンジとビット数はなるべく大きいこと（例えば１６ビット）が望ましい。
【００６８】
図２のステップＳ１０３において、偏光情報取得部１０４は、第１の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。この処理を詳述する。
【００６９】
偏光子を透過した光（偏光主軸方向に偏光した直線偏光光）の輝度は、偏光子の偏光主軸角によって変化することが知られている。図６は、異なる偏光主軸角度Φｉ＝０°、４５°、９０°、１３５°の４種類の偏光子を透過した輝度４０１から４０４が１本の正弦関数カーブを形成する様子を示す。この正弦関数カーブは、図５の点５０１における偏光特性を示している。ここで、図５は図４の４種類の偏光子２０１と撮像素子２０２を入射光方向から眺めた模式図である。
【００７０】
なお、偏光主軸角度は０°と１８０°（π）は同一である。また、この正弦関数カーブを求める際、撮影ガンマ＝１となるカメラを用いるか、リニアリティ補正により撮影ガンマ＝１となるように補正することが望ましい。この４点は１本の正弦関数カーブ上にちょうど乗るように描かれているが実際には多数の観測点から１８０度周期の正弦関数が最適値として１本決定されることになる。
【００７１】
偏光情報取得部１０４は、偏光情報として、このカーブの振幅と位相情報を取得する。具体的には、パターン偏光子の主軸角φに対する反射光輝度Ｉを以下のように近似する。
【数１】
2009157129.tif 000003
【００７２】
ここで図６に示すようにＡ、Ｂ、Ｃは定数でありそれぞれ、偏光子による輝度の変動カーブの振幅、位相、平均値を表現している。ところで、式１は以下のように展開できる。
【数２】
2009157129.tif 000004
ただし、
【数３】
2009157129.tif 000005
【数４】
2009157129.tif 000006
【００７３】
つまり、４画素のサンプル（φi Ｉi）において以下の式５を最小にするＡ、Ｂ、Ｃを求めることで、正弦関数である式１の近似ができる。ただし、Ｉiは、偏光板回転角φi時の観測輝度を示している。またＮはサンプル数であり、ここでは、４である。
【数５】
2009157129.tif 000007
【００７４】
以上の処理で正弦関数近似のＡ、Ｂ、Ｃの３パラメータが確定する。こうして求めたパラメータを利用して、偏光情報取得部１０４は、偏光情報として、以下の偏光度ρ、偏光位相φｍａｘ、偏光推定誤差Ｅ、偏光最大輝度値Ｉｍａｘ、偏光最小輝度値Ｉｍｉｎの少なくとも１つを取得する。
・偏光度ρ
【数６】
2009157129.tif 000008
・偏光位相φｍａｘ（０≦φｍａｘ≦π[ｒａｄ]）
【数７】
2009157129.tif 000009
・偏光推定誤差Ｅ
【数８】
2009157129.tif 000010
・偏光最大輝度値Ｉｍａｘ
【数９】
2009157129.tif 000011
・偏光最小輝度値Ｉｍｉｎ
【数１０】
2009157129.tif 000012
【００７５】
ここで、偏光度とは、光がどれだけ偏光しているかを表す指標であり、偏光位相とは、偏光主軸角度に依存して変化する輝度が最大となる角度である。また、偏光推定誤差とは、４画素のサンプルについて観測された輝度と近似によって得られた上述の正弦関数から定まる輝度との差の合計である。また、偏光最大輝度値はパターン偏光子の主軸角φを変化させた際にとりうる最大輝度値、偏光最小輝度値はパターン偏光子の主軸角φを変化させた際にとりうる最小輝度値であり、非偏光成分輝度値である。
【００７６】
図７は、球体である地球儀に対して、第１の偏光画像から求めた、偏光度ρ１、偏光位相φｍａｘ１および偏光推定誤差Ｅ１を画像として表示した図である。この図において、図７(ａ）は被写体である地球儀の画像、図７(ｂ）は図７(ａ）の被写体に対する偏光度ρ１、図７(ｃ）は図７(ａ）の被写体に対する偏光位相φｍａｘ１（０°が黒、１８０°が白）、図７(ｄ）は図７(ａ）の被写体に対する偏光推定誤差Ｅ１を示している。また、図８は、図７の各画像を模式的に示した図（濃淡を明瞭化した図）である。この図において、各領域（Ａ０１〜Ｄ０４）は、図９における各領域に対応する。図９は、図７の画像を輝度の高低に応じて複数の領域に分けた図である。いずれも輝度が高い（白い）ほど、値が大きいことを意味している。
【００７７】
図１０は、同様の処理を発泡スチロール製の頭部模型に対して行った結果を示している。これらの画像から、遮蔽エッジ付近で偏光度が大きいこと、被写体の陰影に覆われていない領域では偏光位相が１８０°周期で球体の周囲を時計回りに単調増加していることがわかる。これらの偏光情報画像は被写体の表面法線の向きと深く関連しており、形状を推定する手がかりとなる。
【００７８】
図７（ｂ）〜図７（ｄ）において、背景領域（Ｂａ０１〜Ｂａ０４）のデータが乱れている。これは、背景領域は非常に暗かったため、輝度分解能が低くなってしまったためである。そのため、偏光情報の信頼性が低くなり、データが乱れている。露光時間を長くするなどして、背景領域の輝度を上げることで、背景領域でも十分な精度の偏光情報を取得することができる。背景領域はマスク処理を行うことで、領域分割処理を行わないようにしても構わない。
【００７９】
ステップＳ１０４において、投光制御部１０２は、前記第１の偏光画像を取得した際とは異なった偏光状態の偏光光を被写体へ投光するように、投光部１０１を制御する。投光部１０１は、投光制御部１０２によって指示された主軸方向に偏光した偏光光を被写体へ再度、投光する。
【００８０】
このときの偏光状態の変化とは、例えば偏光主軸の方向を変えることである。投光制御部１０２は、偏光主軸方向を例えば、９０度回転させるようにすればよい。
【００８１】
ステップＳ１０５において、偏光画像撮像部１０３は、前述の通り、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第２の偏光画像を取得する。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２が同期処理を行うことによって実現される。これは、例えば、制御部１２０により、偏光情報を変化させた偏光光を０．２秒の間隔で投光する場合、制御部１２０によって、偏光画像撮像部１０３をステップＳ１０２での撮像を偏光光投光時と同期させ、さらにステップＳ１０２からステップＳ１０５の撮像までの間隔を０．２秒とするようにすればよい。このようにすることで、ユーザは１度の撮像操作で第１の偏光画像と第２の偏光画像の２枚の画像を取得することができる。
【００８２】
ステップＳ１０６において、偏光情報取得部１０４は、撮像された前記第２の偏光画像を構成する単位画素のそれぞれについて、前述の通り、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
【００８３】
図１１は、第２の偏光画像から求めた、偏光度ρ２、偏光位相φｍａｘ２、偏光推定誤差Ｅ２を画像として表示したものである。この図において、図１１(ａ）は被写体である地球儀の画像、図１１(ｂ）は図１１(ａ）の被写体に対する偏光度ρ２、図１１(ｃ）は図１１(ａ）の被写体に対する偏光位相φｍａｘ２（０°が黒、１８０°が白）、図１１(ｄ）は図１１(ａ）の被写体に対する偏光推定誤差Ｅ２を示している。また、図１２は図１１の各画像を模式的に示したものである。この図において、各領域（Ａ１１〜Ｄ１４）は、図１３における各領域（Ａ１１〜Ｄ１４）に対応する。図１３は、図１１の画像を輝度の高低に応じて複数の領域に分けた図である。いずれも輝度が高い（白い）ほど値が大きいことを示している。
【００８４】
図２のステップＳ１０７において、光源依存度推定部１０５は、第１の偏光画像および第２の偏光画像から偏光情報取得部１０４によって取得された偏光情報を比較することで、光源依存度を推定する。この処理について詳述する。
【００８５】
前述のように、鏡面反射領域と拡散反射領域では光源依存度が異なる。ここでは、光源依存度を調べるために、本実施形態では、投光光の偏光軸方向を変化させる。前述のように、投光制御部１０２により、偏光軸方向が９０度異なった直線偏光光を投光することで、第１の偏光画像および第２の偏光画像を得た。これらの画像から求めた偏光位相情報を比較することにより、光源の依存度を推定する。なお、図７と図１１とを比較すると明らかなように、偏光度ρ１および偏光度ρ２は、領域Ｂ１２において略同じ大きさ（同じ輝度）を有している。これは、被写体に投光される偏光光の偏光主軸角度が異なっていても、鏡面反射領域で反射される偏光光の輝度が偶然ほぼ等しくなったことに起因すると考えられる。
【００８６】
図１４は、第１の偏光画像から求めた偏光位相φｍａｘ１と第２の偏光画像から求めた偏光位相φｍａｘ２の差分値を画像化したものを示している。この図において、輝度が高い（白い）画素が差分値の大きな画素を示している。
【００８７】
前述のように、鏡面反射領域は表面反射によって生じるため、入射光の偏光特性が保持されている。すなわち、鏡面反射領域は光源依存度が高いと考えられる。一方、拡散反射領域はスキャッタリングを繰り返しているため、入射光の偏光特性が失われている。すなわち、入射光には影響されず、拡散反射領域は光源依存度が低いと考えられる。
【００８８】
そこで、光源依存度推定部１０５は、第１の偏光画像と第２の偏光画像に対する画素の偏光位相差を利用して、次式に従い、光源依存度として第１の光源依存度ＬＤφを推定する。
【数１１】
2009157129.tif 000013
【００８９】
ただし、は次式で表現される、偏光位相φｍａｘ１[ｒａｄ]とφｍａｘ２[ｒａｄ]の周期πを考慮した差分値である。また、その値域は[０,π／２]である。
【数１２】
2009157129.tif 000014
【００９０】
図１５はφｍａｘ１、φｍａｘ２との関係を示した図である。第１の光源依存度ＬＤφは、第１の偏光画像と第２の偏光画像の偏光位相が等しい場合に０、偏光位相差が大きくなるほど値が大きくなり、偏光位相差が最大（π／２）の場合に１となる。つまり、光源の偏光状態の変化に依存して偏光位相が変化する場合、第１の光源依存度ＬＤφは大きくなり、光源の偏光状態の変化に偏光位相が影響されない場合、第１の光源依存度ＬＤφは小さくなる。
【００９１】
光源依存度は第１の偏光画像と第２の偏光画像に対する画素の偏光位相差である必要はなく、例えば、第１の偏光画像と第２の偏光画像に対する偏光度の差である第２の光源依存度ＬＤρあっても構わない。この場合、第２の光源依存度ＬＤρは次式で表現される。
【数１３】
2009157129.tif 000015
【００９２】
第２の光源依存度ＬＤρは、第１の光源依存度ＬＤφ同様、第１の偏光画像と第２の偏光画像の偏光度が等しい場合に１、偏光度の差が大きくなるほど値が大きくなり、偏光度の差が最大（１．０）の場合に０となる。つまり、光源の偏光状態の変化に依存して偏光度が変化する場合、第２の光源依存度ＬＤρは大きくなり、光源の偏光状態の変化に偏光度が影響されない場合、第２の光源依存度ＬＤρは小さくなる。なお、前述のように、被写体に投光する偏光光の偏光主軸角度が異なっていても、鏡面反射領域で反射される光の輝度が偶然等しくなる場合がある。そのような場合に生じる誤判低を避けるためには、偏光軸方向が３種類以上異なる偏光光を用いて異なる３つ以上の偏光画像を取得し、それらの偏光画像に基づいて偏光度の差分を評価してもよい。
【００９３】
図２のステップＳ１０８において、領域分割部１０６は、偏光情報取得部１０４によって生成された偏光情報と光源依存度推定部１０５によって推定された光源依存度情報とに基づいて、領域分割を行う。以下、この処理を詳述する。
【００９４】
図１６は、領域分割部１０６の画像分割基準を示している。また、図１７は、領域分割部１０６の処理の流れを示したフローチャートである。以下、この処理の流れを説明する。
【００９５】
まず、図１７のステップＳ２０１において、領域分割部１０６は、画素が非偏光領域偏光領域のいずれに属するかを決定するため、画素の偏光度ρ１の大きさと閾値Ｔｈρとを比較し、偏光度ρが閾値Ｔｈρ以上かＴｈρよりも小さいかを判定する。画素の偏光度ρ１が閾値Ｔｈρより小さかった場合（ステップＳ２０１でＮｏ）、その画素は拡散反射非偏光領域に含まれると判断し（ステップＳ２０２）、処理を終了する。一方、画素の偏光度ρ１が閾値Ｔｈρ以上であった場合（ステップＳ２０１でＹｅｓ）、光源依存度推定部１０５が推定した第１の光源依存度ＬＤφが閾値Ｔｈφより大きいかどうかを決定する（ステップＳ２０３）。第１の光源依存度ＬＤφが閾値Ｔｈφ以上であった場合（ステップＳ２０３でＹｅｓ）、画素は鏡面反射偏光領域であると判断し（ステップＳ２０４）、処理を終了する。一方、第１の光源依存度ＬＤφが閾値Ｔｈφより小さかった場合（ステップＳ２０３でＮｏ）、画素は拡散反射偏光領域に含まれると判断し（ステップＳ２０５）、処理を終了する。
【００９６】
偏光度の閾値Ｔｈρは、被写体の屈折率や被写体の法線方向、光源方向、視線方向などから設定するようにしても構わない。図７２、図７３に示したように、被写体の鏡面反射成分や拡散反射成分の偏光度は屈折率と入射角、出射角が求まれば一意に決定できる。そのため、図７２、図７３で求まる鏡面反射成分や拡散反射成分の偏光度をＴｈρとして利用すればよい。例えば、被写体の屈折率が１．３、入射角が３０度である場合、図７３より、拡散反射成分の偏光度は、必ず０．０５以下になると考えられるので、閾値Ｔｈρとして、０．０５を設定すればよい。
【００９７】
また、被写体の屈折率や被写体の法線方向、光源方向、視線方向などの情報が得られない場合、拡散反射成分の偏光度がとりうる最大値をもとに閾値Ｔｈρとして決定しても構わない。例えば、屈折率２．０以上の被写体は存在しないと仮定すると、図７３より拡散反射成分の偏光度の最大値は０．６程度と考えられるので、閾値Ｔｈρとして、０．８程度を設定すればよい。
【００９８】
第１の光源依存度ＬＤφの閾値Ｔｈφは実験的に決定すればよく、例えば、０．５を設定すればよい。偏光度の閾値Ｔｈρも実験的に決定するようにしても構わない。
【００９９】
ステップＳ２０１において、第１の偏光画像から求めた偏光度ρ１を用いて比較を行うのではなく、第２の偏光画像から求めた偏光度ρ２を用いて比較を行ってもよい。この場合も、閾値Ｔｈρとの比較を行えばよい。また、第１の偏光画像から求めた偏光度ρ１と第２の偏光画像から求めた偏光度ρ２の平均値を用いても良い。例えば、光源の直線偏光光の主軸を９０度変化させる場合、偏光度ρ１と偏光度ρ２の平均値を求めることで、非偏光成分の光源が照射される場合とほぼ等価の偏光度を取得することができる。そのため、より正確な領域分割が可能である。この場合も、閾値Ｔｈρとの比較を行えばよい。
【０１００】
ステップＳ２０１において、第１の偏光画像から求めた偏光推定誤差Ｅ１を用いて比較を行っても良い。この処理は、光源の安定性が低いなど、輝度値の誤差が大きくなる場合に有効である。図１８は、この場合の領域分割部１０６における処理の流れを示すフローチャートである。図１８において、図１７と共通のステップには図１７と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１０１】
図１８のステップＳ２０６において、領域分割部１０６は偏光推定誤差Ｅ１の大きさが閾値ＴｈＥ以上か未満かを判定する。画素の偏光推定誤差Ｅ１が閾値ＴｈＥ以上である場合（ステップＳ２０６でＮｏ）、画素は拡散反射非偏光領域であると判断し（ステップＳ２０２）、処理を終了する。一方、偏光推定誤差Ｅ１が閾値ＴｈＥ未満であった場合（ステップＳ２０６でＹｅｓ）、光源依存度推定部１０５が推定した第１の光源依存度ＬＤφが閾値Ｔｈφより大きいかどうかを比較する（ステップＳ２０３）。
【０１０２】
ステップＳ２０３において、前述の第１の偏光画像と第２の偏光画像に対する偏光度の差である第２の光源依存度ＬＤρを用いても良い。偏光度は多重反射などの影響を強く受けるため、多重反射の影響を受けにくい被写体では、偏光度の差である第２の光源依存度ＬＤρを用いることも有効である。多重反射の影響を受けにくい被写体とは、具体的には、被写体の形状が凸形状の被写体である。第１の光源依存度ＬＤφと第２の光源依存度ＬＤρを組み合わせて使うようにしても構わない。この場合、式１１と式１３の重み付け平均を求めるようにすればよい。２つの偏光情報を組み合わせて利用することで、ロバストな領域分割が可能である。
【０１０３】
図１９は、この場合の領域分割部１０６における処理の流れを示すフローチャートである。図１９において、図１７と共通のステップには図１７と同一の符号を付しており、ここではその詳細な説明は省略する。ステップＳ２０７において、第２の光源依存度ＬＤρが閾値Ｔｈρ以上であった場合（ステップＳ２０７でＹｅｓ）、画素は鏡面反射偏光領域であると判断し（ステップＳ２０４）、処理を終了する。一方、第２の光源依存度ＬＤρが閾値Ｔｈρより小さかった場合（ステップＳ２０７でＮｏ）、画素は拡散反射偏光領域であると判断し（ステップＳ２０５）、処理を終了する。
【０１０４】
第２の光源依存度ＬＤρの閾値Ｔｈρは実験的に決定すればよく、例えば、０．２に設定すればよい。
【０１０５】
図２０、図２２〜図２６は、本実施形態による領域分割を実施した結果を示している。また、図２１は、本実施形態による領域分割を実施した撮像条件を示した図である。
【０１０６】
図２１に示すように、発光装置２０７は、撮像装置２０２の近傍に設置され、回転機構２０６によって偏光子の主軸方向が９０度変化する。図２０（ａ）は、被写体であるビリヤードボールを示している。図２０（ｂ）は、図２０（ａ）に示されるビリヤードボールの表面を示す画像のうち、白い画素からなる領域に符号「Ｂ２１」を付し、他の領域に符号「Ａ２１」を付した図である。また、図２０（ｃ）は、図２０（ｂ）を模式的に示した図（濃淡を明瞭化した図）である。この図において、各領域Ａ２１、Ｂ２１は、図２０（ｂ）における各領域Ａ２１、Ｂ２１に対応する。
【０１０７】
図２２は、図２０（ａ）で示したビリヤードボールを被写体とし、投光制御部１０２により、偏光光の主軸方向を水平方向と垂直方向に変化した場合に偏光情報取得部１０４により取得された偏光情報を示している。図２２（ａ）は偏光光の主軸方向を水平方向として撮像した第１の偏光画像から求めた偏光度ρ１、図２２（ｂ）は第１の偏光画像から求めた偏光位相φｍａｘ１、図２２（ｃ）は偏光光の主軸方向を垂直方向として撮像した第２の偏光画像から求めた偏光度ρ２、図２２（ｄ）は第２の偏光画像から求めた偏光位相φｍａｘ２、図２２（ｅ）は偏光位相φｍａｘ１とφｍａｘ２から求めた第１の光源依存度ＬＤφを示している。
【０１０８】
図２２（ａ）から（ｄ）において、それぞれ、明度の高い画素ほど、偏光度ρ１、偏光位相φｍａｘ１、偏光度ρ２、偏光位相φｍａｘ２の値が大きい。なお、図２２（ｅ）において、第１の光源依存度ＬＤφの値が１の場合は白、０の場合は黒で表現されている。
【０１０９】
図２３は、図２２の画像を輝度の高低に応じて複数の領域に分けた図である。図２４は、図２２の各画像を模式的に示した図（濃淡を明瞭化した図）である。この図において、各領域（Ａ３１〜Ｄ３５）は、図２３における各領域に対応する。また、図２５は、図２２の偏光情報を利用して、本実施形態による領域分割を実施した結果を示している。図２５（ａ）はステップＳ２０１において、第１の偏光画像に対する偏光度ρ１が閾値Ｔｈρ以上の画素を示している。また、図２５（ｂ）、（ｃ）、および（ｄ）は、それぞれ、本実施形態において分割された、「拡散反射非偏光領域」、「鏡面反射偏光領域」、および「拡散反射偏光領域」を示している。また、図２５（ｅ）は拡散反射非偏光領域と拡散反射偏光領域の和集合である「拡散反射領域」を示している。図２５において、白色画素によって構成される領域が、他の領域（黒い画素によって構成される領域）から分割された領域を示している。
【０１１０】
従来の偏光度のみに基づいて領域分割を行う方法では、図２５（ａ）に示される白い画素の領域を「鏡面反射領域」、図２５（ｂ）に示される白い画素の領域を「拡散反射領域」に割り当ててしまうため、前述のように遮蔽エッジ近傍である領域Ａ（図２５（ａ）を誤って鏡面反射領域に含めてしまい、分割された各領域の範囲に大きな誤差が生じてしまう。
【０１１１】
一方、本実施形態における領域分割方法では、偏光情報に加え、光源依存度を利用しているため、図２５（ｃ）に示される白い画素の領域を「鏡面反射領域」、図２５（ｅ）に示される白い画素の領域を「拡散反射領域」に分割する。そのため、従来法に比べ、正確な領域分割が可能である。
【０１１２】
図２６は、ステップＳ２０１において、第１の偏光画像から求めた偏光度ρ１を利用して比較を行うのではなく、第２の偏光画像から求めた偏光度ρ２を利用した結果を示している。図２６（ａ）はステップＳ２０１において、第２の偏光画像に対する偏光度ρ２が閾値Ｔｈρ以上の画素を示している。また、図２６（ｂ）、（ｃ）、および（ｄ）は、それぞれ、本実施形態の領域分割において分割された、「拡散反射非偏光領域」、「鏡面反射偏光領域」、および「拡散反射偏光領域」を示している。また、図２６（ｅ）は、拡散反射非偏光領域と拡散反射偏光領域の和集合である「拡散反射領域」を示している。図２６において、白色画素によって構成される領域が、他の領域（黒い画素によって構成される領域）から分割された領域を示している。
【０１１３】
図２５を参照して説明した領域分割方法と同様に、第２の偏光画像に対する偏光度ρ２を用いても、偏光情報および光源依存度の両方を利用しているため、従来法に比べ、正確な領域分割が可能である。
【０１１４】
図２５、図２６を比較すると、図２６（ｃ）では、白い画素からなる領域Ｂが観察されるが、図２５（ｃ）には、そのような領域Ｂは表れていない。物体の表面に入射して反射される光の偏光状態は、入射する直線方向の偏光方向と入射角または出射角との関係に影響され、ある物体の表面に入射した直線偏光光の反射光の偏光度が偏光方向によって高くなる場合がある。このような場合、そのように偏光度の高い反射光を発する画素について「鏡面反射領域」の一部を誤って判断する可能性がある。このような誤判断を確実に防ぐためには、図１９のステップＳ２０１において、第１の偏光画像から求めた偏光度ρ１と、第２の偏光画像から求めた偏光度ρ２の重み付け和を利用して比較処理を行ってもよい。
【０１１５】
また、図２７に示すように、複数の発光装置２０７および発光装置２０７−２から構成された発光部１０１を用い、発光装置２０７、２０７−２の各々から異なった偏光状態の偏光光を投光するようにしても構わない。この場合、複数の発光装置２０７、２０７−２は近傍に設置されることが望ましい。図２７は、本実施形態による領域分割を実施したときの発光装置２０７、２０７−２、撮像装置２０２、被写体などの配置関係を模式的に示す図である。図２７において、図２１と共通の構成要素には同一の符号を付しており、ここではその詳細な説明は省略する。
【０１１６】
図２８は、本実施形態に係る画像処理装置が搭載されたカメラの構成例を示している。図２８において、図３と共通の構成要素には図３と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１１７】
図２８に示す投光制御部１０２は、光源として機能する発光装置２０７および発光装置２０７−２を切り替えることで、偏光光の主軸方向を変化させる。具体的には発光装置２０７に対する偏光子２０５の偏光主軸方向と、発光装置２０７−２に対する偏光子２０５−２の偏光主軸方向とが互いに直交する関係にある。そのため、図３に示す装置と異なり、回転機構２０６が不要となるため、カメラの小型化が可能である。
【０１１８】
なお、本実施形態では、パターン偏光子２０１にフォトニック結晶を用いているが、偏光素子であればフィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子を使っても構わない。また、パターン偏光子を利用せず、撮像装置のレンズ前に装着した偏光板を回転させながら撮像することで、時系列的に偏光主軸の異なる輝度を取得するようにしても構わない。この方法は、例えば、特開平１１−２１１４３３号公報に開示されている。
【０１１９】
なお、発光装置２０７は撮像装置２０２の近傍に設置することが望ましい。このような配置を採用することにより、発光装置２０７からの投光によって被写体に生じる陰影の領域が小さくなるためである。陰影に関しては、本実施形態の領域分割方法では考慮していないため、陰影が生じると領域分割が困難である。陰影領域では、多重反射などの影響により、光線が複雑になり、偏光情報の信頼性が失われる。このため、陰影領域では領域分割精度が劣化する。陰影を生じにくくすることは、領域分割の精度を向上させるために重要である。
【０１２０】
領域分割部１０６は、画像を「鏡面反射領域」と「拡散反射領域」とに分割する代わりに、画像を「光源依存偏光領域」、「光源依存非偏光領域」、「光源非依存偏光領域」、および「光源非依存非偏光領域」の４つの領域に分割するようにしても構わない。この処理について詳述する。
【０１２１】
図２９は、本実施形態に係る領域分割部１０６の画像分割基準を示している。図３０は、本実施形態に係る領域分割部１０６の処理の流れを示すフローチャートである。図３０において、図１７と共通のステップには図１７と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１２２】
まず、領域分割部１０６は、各画素が非偏光領域および偏光領域のいずれに属するかを判定し、画像を非偏光領域と偏光領域とに分ける領域分割を行うため、画素の偏光度ρ１の大きさと閾値Ｔｈρとを比較し、偏光度ρが閾値Ｔｈρ以上か閾値Ｔｈρよりも小さいかを判定する（ステップＳ２０１）。画素の偏光度ρ１が閾値Ｔｈρ以上であった場合（ステップＳ２０１でＹｅｓ）、その画素は偏光領域に含まれると判断し、光源依存度推定部１０５が推定した第１の光源依存度ＬＤφが閾値Ｔｈφ以上かどうかを判断する（ステップＳ２０３）。第１の光源依存度ＬＤφが閾値Ｔｈφ以上であった場合（ステップＳ２０３でＹｅｓ）、画素は光源依存偏光領域に含まれると判断し（ステップＳ２０８）、処理を終了する。
【０１２３】
一方、第１の光源依存度ＬＤφが閾値Ｔｈφより小さかった場合（ステップＳ２０３でＮｏ）、画素は光源非依存偏光領域に含まれると判断し（ステップＳ２０９）、処理を終了する。
【０１２４】
なお、画素の偏光度ρ１が閾値Ｔｈρより小さかった場合（ステップＳ２０１でＮｏ）、画素は非偏光領域に含まれると判断し、光源依存度推定部１０５が推定した第１の光源依存度ＬＤφが閾値Ｔｈφ２以上かどうかを比較する（ステップＳ２１０）。第１の光源依存度ＬＤφが閾値Ｔｈφ２以上であった場合（ステップＳ２１０でＹｅｓ）、その画素は光源依存非偏光領域に含まれると判断し（ステップＳ２１１）、処理を終了する。一方、第１の光源依存度ＬＤφが閾値Ｔｈφ２より小さかった場合（ステップＳ２１０でＮｏ）、画素は光源非依存非偏光領域に含まれると判断し（ステップＳ２１２）、処理を終了する。
【０１２５】
ステップＳ２１０における光源依存度の閾値Ｔｈφ２は、ステップＳ２０３の閾値Ｔｈφと等しくすればよい。また、偏光度の閾値Ｔｈρや第１の光源依存度ＬＤφの閾値Ｔｈφは前述のように設定すればよい。さらに、ステップＳ２０３とステップＳ２１０において、同一の閾値Ｔｈφを用いるのではなく、異なった閾値を利用するようにしても構わない。この場合、非偏光領域では、輝度分解能が偏光領域に比べ、小さいと考えられるため、Ｔｈφ２の値をＴｈφより小さくすることが望ましい。
【０１２６】
なお、陰影領域の問題を解決するために、後述するように、領域分割部１０６は、分割される領域に「陰影領域」を加えても構わない。
【０１２７】
以上のように、本発明の領域分割方法を利用することで、偏光情報と光源依存度を利用した領域分割を行うことができる。このような領域分割は、拡散反射成分の偏光成分も考慮にいれた鏡面反射領域と拡散反射領域の分割を行うこともできる。
【０１２８】
（第２の実施形態）
次に、本発明の第２の実施形態における画像処理装置の概要について説明する。本実施形態の画像処理装置は、投光部の位置（光源位置）を変化させることにより、光源依存度を算出する。偏光情報と光源位置の変化に伴う光源依存度を利用することで、被写体の領域分割を行う。
【０１２９】
図３１は、本実施形態に係る画像処理装置のブロック図である。図３１において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。第１の実施形態との違いは、投光制御部１０２に代わり、投光位置変化部１１２を有することである。本実施形態の画像処理装置は、投光制御部１０２によって偏光の主軸方向を変化させるのではなく、投光位置変化部１１２によって発光装置２０７の位置を変化させる。
【０１３０】
非偏光を被写体へ投光した場合の偏光位相は、被写体の法線情報に依存している。しかし、その関係は鏡面反射成分と拡散反射成分により異なる。
【０１３１】
まず、鏡面反射成分について考える。被写体の表面法線は２つの自由度を有する。ここでは光の入射光線と入射点（観測点）の法線ベクトルを包含する入射面と、入射面内での入射角という２つの角度を求めることにより決定する。鏡面反射成分の入射面は偏光画像から求められる図６において、輝度が最小となる角度と等しいことが知られている（例えば、Ｏｎｄｆｅｊ Ｄｒｂｏｈｌａｖ ａｎｄ Ｓａｒａ Ｒａｄｉｍ，“Ｕｓｉｎｇ ｐｏｌａｒｉｚａｔｉｏｎ ｔｏ ｄｅｔｅｒｍｉｎｅ ｉｎｔｒｉｎｓｉｃ ｓｕｒｆａｃｅ ｐｒｏｐｅｒｔｉｅｓ”，Ｐｒｏｃ． ＳＰＩＥ Ｖｏｌ．３８２６，ｐｐ．２５３-２６３，１９９９）。
【０１３２】
次に、拡散反射成分について考える。前述の通り、被写体の表面法線は２つの自由度を有する。ここでは光がスキャッタリングを繰り返し、被写体表面から出射した出射光の光線と出射点（観測点）の法線ベクトルを包含する出射面と、出射面内での出射角という２つの角度を求めることにより決定する。拡散反射成分の出射面は偏光画像から求められる図６において、輝度が最大となる角度と等しいことが知られている（例えば、ＵＳＰ５，０２８，１３８号公報）。すなわち、偏光位相情報は、鏡面反射成分では入射角に依存するが、拡散反射成分では入射角に依存しない。カメラ位置を固定したまま光源位置を変化させた場合、入射角のみが変化する。そのため、鏡面反射成分ではその偏光特性が変化するが、拡散反射成分ではその偏光特性が変わらない。
【０１３３】
このことは、鏡面反射成分が被写体のうち、正反射近傍の一部の領域にのみ生じるため、鏡面反射領域であった領域が光源位置を変化させることで拡散反射領域になることも関係している。いずれにせよ、カメラ位置を固定したまま光源位置を変化させた場合、多くの鏡面反射成分では、その偏光特性が変化するが、ほとんどの拡散反射成分では、その偏光特性が変わらない。本実施形態の領域分割方法は、この特性を利用して領域分割を行う。
【０１３４】
図３２は本実施形態における領域分割方法の処理の流れを示すフローチャートである。図３２において、図２と共通のステップおよび対応するステップには、図２と同一の符号を付しており、ここではその詳細な説明は省略する。さらに、図３３は、本実施形態に係る領域分割装置が搭載されたカメラの構成例を示している。図３３において、図３と共通の構成要素および対応する構成要素には、図３と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１３５】
本実施形態における投光位置変化部１１２（図３１）は、例えば図３３に示す投光位置変化装置２１３によって実現される。投光位置変化装置２１３は、発光装置２０７の位置を変化させるものであり、モータなどを用いて実現される。また、発光装置２０７をロボットのアームなどの稼動部に取り付けるようにしてもかまわない。画像処理装置は、複数の発光装置２０７、２０７−２を有しても構わない。図３４は複数の発光装置２０７、２０７−２を有する本実施形態に係る領域分割装置が搭載されたカメラの構成例を示している。この場合、投光位置変化装置２１３は、発光装置２０７、２０７−２を切り替えることで、発光装置の位置（光源位置）を変化させることができる。
【０１３６】
図３２において、投光部１０１は、制御部１２０によって指示された光源位置の発光装置２０７から非偏光光を投光する（ステップＳ３０１）。偏光画像撮像部１０３は、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第３の偏光画像を取得する（ステップＳ１０２）。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２が同期処理を行うことによって実現される。このとき、パターン偏光子は、前述するように３方向以上の偏光主軸角度をもつ。偏光情報取得部１０４は、前述の通り、受光した偏光に関する情報である偏光情報を生成する（ステップＳ１０３）。投光位置変化部１１２は、ステップＳ１０１とは位置が異なる発光装置２０７が発光するように投光部１０１を移動し、投光部１０１はステップＳ３０１と異なった位置から被写体へ非偏光光を投光する（ステップＳ３０２）。
【０１３７】
偏光画像撮像部１０３は再度、パターン偏光子２０１を通して被写体を撮像素子で受光することで、第４の偏光画像を取得する（ステップＳ１０５）。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２が同期処理を行うことによって実現される。第３の偏光画像と第４の偏光画像は、前記投光部１０１の光源（発光装置２０７）位置が変化した偏光画像である。偏光情報取得部１０４は、再度、撮像された前記第４の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する（ステップＳ１０６）。光源依存度推定部１０５は、第３の偏光画像および第４の偏光画像から前記偏光情報取得部によって取得された偏光情報を比較することで、光源依存度を推定する（ステップＳ１０７）。領域分割部１０６は、前記偏光情報取得部１０４によって生成された偏光情報と前記光源依存度推定部１０５によって推定された光源依存度情報を利用して、領域分割を行う（ステップＳ１０８）。
【０１３８】
以下、図を用いてこの処理を詳述する。
【０１３９】
ステップＳ３０１において、投光部１０１は、制御部１２０によって指示された光源位置の発光装置２０７から非偏光光を投光する。これは、投光部１０１を複数の発光装置２０７から構成し、投光位置変化部１１２によって、は投光する発光装置２０７、２０７−２を切り替えることで、光源位置を変化させるようにすればよい。図３５は、本実施形態による領域分割を実施した撮像条件を示したシステム図である。図３５において、図２１と共通の構成要素には図３と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１４０】
投光位置変化部１１２は投光位置変化装置２１３によって、発光装置２０７を移動させることで光源位置を変化させるようにしても構わない。投光位置変化装置２１３は、モータなどによって実現される。ロボットの稼動部に発光装置２０７を設置するようにしてもかまわない。図３６は、本実施形態による領域分割を実施した撮像条件を示したシステム図である。図３６において、図３５と共通の構成要素には図３５と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１４１】
ステップＳ１０２において、前述の通り、偏光画像撮像部１０３は、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第３の偏光画像を取得する。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２が同期処理を行うことによって実現される。
【０１４２】
ステップＳ１０３において、前述の通り、偏光情報取得部１０４は、撮像された前記第３の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
【０１４３】
ステップＳ３０２において、投光位置変化部１１２は、ステップＳ３０１とは位置が異なる発光装置２０７−２が発光するように投光部１０１を制御することで、投光部１０１はステップＳ３０１と異なった位置から被写体へ投光する。これは、前述のように、投光部１０１を複数の発光装置２０７、２０７−２から構成する、または、発光装置２０７を移動させることで光源位置を変化させるようにすればよい。
【０１４４】
ステップＳ１０５において、偏光画像撮像部１０３は、前述の通り、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第４の偏光画像を再度、撮像する。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２が同期処理を行うことによって実現される。第４の偏光画像は、第３の偏光画像に比べ、被写体は同じであるが、投光光の偏光状態のみが異なった画像である。
【０１４５】
ステップＳ１０６において、前述の通り、偏光情報取得部１０４は、撮像された前記第４の偏光画像を構成する単位画素のそれぞれについて、前述の通り、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
【０１４６】
ステップＳ１０７において、前述の通り、光源依存度推定部１０５は、第３の偏光画像および第４の偏光画像から前記偏光情報取得部によって取得された偏光情報を比較することで、光源依存度を推定する。ここでは、偏光情報として、偏光位相情報を比較することで、光源依存度を推定する。
【０１４７】
ステップＳ１０８において、前述の通り、領域分割部１０６は、前記偏光情報取得部１０４によって生成された偏光情報と前記光源依存度推定部１０５によって推定された光源依存度情報を利用して、領域分割を行う。また、領域分割部１０６の画像分割基準は図１６と同様であり、領域分割部１０６の処理の流れを示したフローチャートも図１７と同様である。
【０１４８】
図３７〜図４２は、本実施形態による領域分割を実施した結果を示している。図３７は、地球儀を被写体とし、投光位置変化部１１２により、発光装置２０７の位置を変化した場合に偏光情報取得部１０４により取得された偏光情報を示している。この図において、図３７（ａ）は発光装置２０７を画像向かって右側に配置して撮像した第３の偏光画像から求めた偏光度ρ３、図３７（ｂ）は第３の偏光画像から求めた偏光位相φｍａｘ３、図３７（ｃ）は発光装置２０７−２をカメラ上方に配置して撮像した第４の偏光画像から求めた偏光度ρ４、図３７（ｄ）は第４の偏光画像から求めた偏光位相φｍａｘ４、図３７（ｅ）は偏光位相φｍａｘ３とφｍａｘ４から求めた第１の光源依存度ＬＤφを示している。図３７（ｅ）において、第１の光源依存度ＬＤφの値が１の場合は白、０の場合は黒で表現されている。また、図３８は、図３７の各画像を模式的に示した図（濃淡を明瞭化した図）である。この図において、各領域（Ａ４１〜Ｅ４５）は、図３９における各領域に対応する。図３９は、図７の画像を輝度の高低に応じて複数の領域に分けた図である。
【０１４９】
図４０は、このときの発光装置２０７、２０７−２と撮像装置２０２の位置関係を示した模式図である。また、図４１は、図３７の偏光情報を利用して、本実施形態による領域分割を実施した結果を示している。この図において、図４１（ａ）はステップＳ２０１において、第３の偏光画像に対する偏光度ρ３が閾値Ｔｈρ以上の画素を示している。また、図４１（ｂ）（ｃ）（ｄ）はそれぞれ、本実施形態の領域分割において分割された、拡散反射非偏光領域、鏡面反射偏光領域、拡散反射偏光領域を示している。また、図４１（ｅ）は拡散反射非偏光領域と拡散反射偏光領域の和集合を求めた、拡散反射領域を示している。図４１において、白色画素がそれぞれ、分割された領域を示している。従来の偏光度のみを利用した方法では、図４１（ａ）を鏡面反射領域、図４１（ｂ）を拡散反射領域と分割してしまうため、前述のように遮蔽エッジ近傍に大きな誤差が生じてしまう。一方、本実施形態における領域分割方法では、偏光情報に加え、光源依存度を利用しているため、図４１（ｃ）を鏡面反射領域、図４１（ｅ）を拡散反射領域と分割する。そのため、従来法に比べ、正確な領域分割が可能である。
【０１５０】
また、図４２は、ステップＳ２０１において、第３の偏光画像から求めた偏光度ρ３を利用して比較を行うのではなく、第４の偏光画像から求めた偏光度ρ４を利用した結果を示している。この図において、図４２（ａ）はステップＳ２０１において、第４の偏光画像に対する偏光度ρ４が閾値Ｔｈρ以上の画素を示している。また、図４２（ｂ）（ｃ）（ｄ）はそれぞれ、本実施形態の領域分割において分割された、拡散反射非偏光領域、鏡面反射偏光領域、拡散反射偏光領域を示している。また、図４２（ｅ）は拡散反射非偏光領域と拡散反射偏光領域の和集合を求めた、拡散反射領域を示している。図４２において、白色画素がそれぞれ、分割された領域を示している。図４１同様、いずれの入力画像を用いた場合であっても、本実施形態における領域分割方法では、偏光情報に加え、光源依存度を利用しているため、従来法に比べ、正確な領域分割が可能である。しかし、図４１および図４２において、背景領域ではデータが乱れている。これは、前述の通り、背景領域は非常に暗かったため、輝度分解能が低くなってしまったためである。そのため、偏光情報の信頼性が低くなり、データが乱れている。露光時間を長くするなどして、背景領域の輝度を上げることで、背景領域でも十分な精度の偏光情報を取得することができる。背景領域はマスク処理を行うことで、領域分割処理を行わないようにしても構わない。また、陰影領域に関しても領域分割に失敗している。これは、陰影に関しては、前述の通り、本実施形態の領域分割方法は陰影を考慮していないためである。
【０１５１】
領域分割部１０６は、陰影領域を考慮した領域分割を行っても構わない。この場合、偏光情報、光源依存度情報に加え、画像の輝度情報を利用することが望ましい。図４３は、この処理における領域分割部１０６の画像分割基準を示している。また、図４４は陰影領域も領域分割する本実施形態に係る領域分割部１０６の処理の流れを示すフローチャートである。図４４において、図１７と共通のステップには図１７と同一の符号を付しており、ここではその詳細な説明は省略する。この処理について詳述する。
【０１５２】
領域分割部１０６は、まず、画素が陰影領域であるかどうかを推定するため、設定された閾値と輝度値を比較し、輝度値が閾値以下か否かを判定する（ステップＳ４０１）。これは、前述のように、陰影領域の輝度値が低いことを利用し、輝度値が閾値以下の画素を陰影領域と推定するものである。このように陰影領域を推定するための閾値は実験的に決定すればよく、例えば、１６ビットモノクロ画像に対しては、２５６を設定すればよい。また、陰影領域を検出するための輝度値としては、偏光情報取得部１０４で取得した、偏光最大輝度値Ｉｍａｘや偏光最小輝度値Ｉｍｉｎ、または偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの平均値や重み付け平均値（例えば、Ｉｍａｘ＋２・Ｉｍｉｎ）などを利用するようにしても構わない。特に、偏光最小輝度値Ｉｍｉｎを利用した場合、輝度値が非常に高くなり、白とびが生じる可能性の高い鏡面反射成分の影響を小さくすることができるため、非常に有効である。また、平均値であるＩｍａｘ＋Ｉｍｉｎは、非偏光の光源下において、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、この平均値を利用して画像処理を行うことで、通常の偏光を利用しない場合と同様の処理を行うことができる。
【０１５３】
画素の輝度値が閾値以下であった場合（ステップＳ４０１でＹｅｓ）、画素は陰影領域であると判断し（ステップＳ４０２）、処理を終了する。一方、画素の輝度値が閾値以上であった場合（ステップＳ４０１でＮｏ）、画素は陰影領域ではないと判断し、図１７のステップＳ２０１へ進み、前述の領域分割処理を行う。
【０１５４】
また、偏光情報を利用することで、陰影領域をさらにａｔｔａｃｈｅｄ  ｓｈａｄｏｗ領域とｃａｓｔ  ｓｈａｄｏｗ領域に分割するようにしても構わない。この処理について詳述する。
【０１５５】
まず、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗについて説明する。図４５はａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗという陰影の分類を説明するための模式図である。ここで、ある面６０５におかれた被写体６０４が、光源６０２に照らされている。この図において、６０６と６０７はどちらも陰影を示している。６０６は被写体６０４の法線が光源６０２を向いていないために生じるａｔｔａｃｈｅｄ  ｓｈａｄｏｗである。また、６０７は６０５において、遮蔽物である被写体６０４によって光が遮蔽されることによって生じるｃａｓｔ  ｓｈａｄｏｗである。
【０１５６】
次に、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗの偏光特性の違いについて説明する。まず、地上で撮像されるほとんどの撮像シーンでは成り立つ、以下の条件３が満たされた撮像シーンにおいて、撮像が行なわれると想定する。
【０１５７】
条件３：「被写体が存在する撮像シーンには、近傍に広い面を有する物体が存在し、ある広い面から被写体に関して反対方向には光源が存在する」
これは、例えば以下のような撮像シーンでは成り立つ。
１．屋内シーンにおいて、被写体であるボールが机の上に置かれている。また、このボールは天井に設置された蛍光灯で照らされている。
２．屋内シーンにおいて、被写体である人物が、床面に置かれた椅子に座っている。また、この人物は、窓から差し込んでくる太陽光で照らされている。
３．屋外シーンにおいて、被写体である自動車が、道路上を走行している。この被写体は、太陽光で照らされている。
【０１５８】
また、壁や建物も広い面を有するため、地上で撮像されるほとんどの撮像シーンではこの条件が成り立つ。
【０１５９】
この条件３が成り立つ場合に、まずａｔｔａｃｈｅｄ  ｓｈａｄｏｗを考える。図４５で示したように、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗは被写体の法線が光源と反対方向を向いているために生じる陰影である。ここで、条件３より、光源と反対方向には広い面が存在していることと、陰影領域には実際には多数の回り込み光（多重反射光）が存在していることを考慮すると、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗには、さまざまな方向から多重反射光が入射していると考えられる。つまり、カメラとａｔｔａｃｈｅｄ  ｓｈａｄｏｗが生じている画素の法線に対して、正反射となる多重反射光が存在すると考えられる。図４６はこの様子を示した模式図である。この図において、本実施形態に係る領域分割装置が搭載された撮像装置６０１が示されている。
【０１６０】
被写体表面の反射特性は、前述のように、てかりである鏡面反射成分と、マットな反射成分である拡散反射成分の和として表現されることが知られている。拡散反射成分は、被写体に投光する光源がいずれの方向に存在しても観測されるが、鏡面反射成分は、被写体の法線方向と視線方向に対し、ほぼ正反射方向に光源が存在する場合にのみ観測される、方向依存性の強い成分である。これは、偏光特性に関しても成り立つ。
【０１６１】
被写体がてかりである鏡面反射を生じる物体の場合、すべての方向から光が投光された場合、被写体は正反射成分である鏡面反射による影響を強く受けることが知られている（例えば、透明物体に関しては、斉藤めぐみ、佐藤洋一、池内克史、柏木寛、"ハイライトの偏光解析にもとづく透明物体の表面形状測定"、電子情報通信学会論文誌 Ｄ-ＩＩ，Ｖｏｌ． Ｊ８２-Ｄ-ＩＩ，Ｎｏ．９，ｐｐ．１３８３-１３９０，１９９９）。そのため、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗは鏡面反射の偏光特性を持つ。
【０１６２】
鏡面反射成分と拡散反射成分の偏光度を示した、前述の図７２、図７３から、すべての方向から光が入射された場合、拡散反射成分に比べ鏡面反射成分の偏光度が高くなることがわかる。このことから、偏光特性としても鏡面反射成分が支配的になると推測される。
【０１６３】
また、出射角が９０°に近い、遮蔽エッジなどを除外した場合、図７２、図７３からわかるように、鏡面反射成分の偏光度は拡散反射成分に比べて高い。そのため、鏡面反射成分の反射特性を示すａｔｔａｃｈｅｄ  ｓｈａｄｏｗは、相対的に偏光度が高くなる。
【０１６４】
次に、ｃａｓｔ  ｓｈａｄｏｗについて考える。図４５で示したように、ｃａｓｔ  ｓｈａｄｏｗは何らかの遮蔽物によって光が遮蔽されることによって生じる陰影である。ここで、条件３を考慮すると、ｃａｓｔ  ｓｈａｄｏｗは、広い面と近い法線方向を持った面に生じやすくなる。そのため、多重反射光はａｔｔａｃｈｅｄ  ｓｈａｄｏｗに比べて限られた方向からしか入射しない。このことから、正反射方向に光源が存在する可能性は低いと考えられる。図４７はこの様子を示した模式図である。
【０１６５】
さらに、図７３で示したように、拡散反射成分の偏光度は相対的に低い。このことから、ｃａｓｔ  ｓｈａｄｏｗの偏光成分は比較的小さくなることがわかる。陰影の領域では、輝度そのものが小さくなるため、小さな偏光成分を推定することは非常に困難である。そのため、ｃａｓｔ  ｓｈａｄｏｗの偏光推定誤差は非常に大きくなる。
【０１６６】
以上のことをまとめると、陰影領域の偏光特性は、以下のように分類される。
○ａｔｔａｃｈｅｄ  ｓｈａｄｏｗ
・偏光度が高く、偏光推定誤差が小さい。
・多くの場合、鏡面反射特性を示す。
○ｃａｓｔ  ｓｈａｄｏｗ
・偏光度が低く、偏光推定誤差が大きい。
・多くの場合、拡散反射特性を示す。
【０１６７】
この分類基準を利用することで、陰影をａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗに分割する。
【０１６８】
図４８は、この処理における領域分割部１０６の画像分割基準を示している。また、図４９はａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗも含めた領域分割する本実施形態に係る領域分割部１０６の処理の流れを示すフローチャートである。図４９において、図４４と共通のステップには図４４と同一の符号を付しており、ここではその詳細な説明は省略する。この処理について詳述する。
【０１６９】
領域分割部１０６は、まず、画素が陰影領域であるかどうかを推定するため、設定された閾値と輝度値を比較し、輝度値が閾値以下か否かを判定する（ステップＳ４０１）。これは、前述のように、陰影領域は輝度値が低いことを利用し、輝度値が閾値以下の画素を陰影領域と推定するものである。画素の輝度値が閾値より大きかった場合、画素は陰影領域ではないと判断し（ステップＳ４０１でＮｏ）、図１７のステップＳ２０１へ進み、前述の領域分割処理を行う。一方、画素の輝度値が閾値以下であった場合、画素は陰影領域であると判断し（ステップＳ４０１でＹｅｓ）、偏光情報取得部１０４で取得した偏光推定誤差Ｅが閾値Ｔｈ＿Ｅｒｒより大きいかどうかを判断する（ステップＳ４０３）。偏光推定誤差Ｅが閾値Ｔｈ＿Ｅｒｒ以下であった場合（ステップＳ４０３でＮｏ）、画素はａｔｔａｃｈｅｄ  ｓｈａｄｏｗであると判断し（ステップＳ４０４）、処理を終了する。一方、偏光推定誤差Ｅが閾値Ｔｈ＿Ｅｒｒより大きかった場合（ステップＳ４０３でＹｅｓ）、画素はｃａｓｔ  ｓｈａｄｏｗであると判断し（ステップＳ４０５）、処理を終了する。
【０１７０】
このときの閾値Ｔｈ＿Ｅｒｒは撮像画像の輝度値や式１の振幅成分Ａ、バイアス成分Ｃを基準に決定すればよい。例えば、振幅成分Ａを基準に閾値Ｔｈ＿Ｅｒｒを決定する場合、以下のように決定すればよい。
【数１４】
2009157129.tif 000016
【０１７１】
この式は、偏光推定誤差Ｅが振幅成分Ａに対してどの程度、異なっているかを示している。ここで、Ｔｈ＿Ｅは適当な正の定数であり、実験的に決定すればよく、例えば、０．３を設定すればよい。また、Ｎは前述のサンプル数である。
【０１７２】
陰影をａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗに分割する基準は、偏光推定誤差情報に限ったものではなく、例えば、偏光度情報であっても構わない。この処理を詳述する。
【０１７３】
図５０は、この処理における領域分割部１０６の画像分割基準を示している。また、図５１は陰影領域を領域分割する本実施形態に係る領域分割部１０６の処理の流れを示すフローチャートである。図５１において、図４９と共通のステップには図４９と同一の符号を付しており、ここではその詳細な説明は省略する。この処理について詳述する。
【０１７４】
領域分割部１０６は、前述の通り、画素が陰影領域であるかどうかを推定するため、設定された閾値と輝度値を比較し、輝度値が閾値以下か否かを判定する（ステップＳ４０１）。輝度が閾値を超えていた場合（ステップＳ４０１でＮｏ）、図１７のステップＳ２０１へ進み、前述の領域分割処理を行う。一方、輝度が閾値以下であった場合（ステップＳ４０１でＹｅｓ）、画素は陰影領域であると判断し、偏光情報取得部１０４で取得した偏光度ρが閾値Ｔｈρ３より大きいかどうかを判断する（ステップＳ４０６）。偏光度ρが閾値Ｔｈρ３以上であった場合（ステップＳ４０６でＮｏ）、画素はａｔｔａｃｈｅｄ  ｓｈａｄｏｗであると判断し（ステップＳ４０４）、処理を終了する。一方、偏光推定誤差Ｅが閾値Ｔｈρ３より小さかった場合（ステップＳ４０６でＹｅｓ）、画素はｃａｓｔ  ｓｈａｄｏｗであると判断し（ステップＳ４０５）、処理を終了する。
【０１７５】
このとき、ステップＳ４０６における偏光度の閾値Ｔｈρ３はステップＳ２０３の閾値Ｔｈρと等しくすればよい。ステップＳ２０３とステップＳ４０６において、同一の閾値Ｔｈρを用いるのではなく、異なった閾値を利用するようにしても構わない。この場合、陰影領域では、輝度分解能が偏光成分に比べ、小さいと考えられるため、Ｔｈρ３の値をＴｈρより小さくすることが望ましい。
【０１７６】
以上のように、本発明の領域分割方法を利用することで、偏光情報と光源依存度を利用した領域分割を行うことができる。このような領域分割は、拡散反射成分の偏光も考慮にいれた鏡面反射成分と拡散反射成分の分割を行うこともできる。また、偏光情報と光源依存度に加え、輝度情報も利用した領域分割を行うことも可能である。このような領域分割は、陰影領域も考慮にいれた鏡面反射領域と拡散反射領域の分割、さらにはａｔｔａｃｈｅｄ  ｓｈａｄｏｗやｃａｓｔ  ｓｈａｄｏｗの分割を行うこともできる。
【０１７７】
（第３の実施形態）
図５２は、本実施形態に係る領域分割システムにおけるブロック図を示している。図５２において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１７８】
第１の実施形態との違いは、投光装置１０８と領域分割装置１０９を分離させ、領域分割装置１０９は撮像判定部１０７を有することである。また、図５３は本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。図５３において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。さらに、図５４は、本実施形態に係る領域分割装置が搭載されたカメラと投光装置の構成例を示している。図５４において、図３と共通の構成要素には図３と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１７９】
本実施形態の領域分割システムは、投光装置１０８と領域分割装置１０９を有し、被写体を撮像することによって被写体の表面を光学的に領域分割を行う領域分割システムであって、投光装置１０８は、直線偏光光を前記被写体に投光する投光部１０１と、投光部１０１の直線偏光光の偏光状態を変化させる投光制御部１０２を有し、主軸方向の異なった偏光光を時系列的に被写体へ投光する。また、領域分割装置１０９は、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像部１０３と、偏光画像撮像部１０３によって過去に撮像された偏光画像と現在、撮像された偏光画像を比較し、撮像した偏光状態が十分に変化しているかどうかを判断する撮像判定部１０７と、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する偏光情報取得部１０４と、投光制御部１０２によって投光部１０１の偏光状態が変化した際の、偏光情報取得部１０４で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部１０５と、偏光情報取得部１０４によって生成された偏光情報と光源依存度推定部１０５によって推定された光源変動情報を利用して、領域分割を行う領域分割部１０６を備える。
【０１８０】
次に、本実施形態の領域分割装置１０９について詳述する。
【０１８１】
まず、ステップＳ１０２において、前述の通り、偏光画像撮像部１０３は、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第１の偏光画像を取得する。
【０１８２】
ステップＳ１０３において、前述の通り、偏光情報取得部１０４は、撮像された前記第１の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
【０１８３】
ステップＳ１０５において、偏光画像撮像部１０３は、前述の通り、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第２の偏光画像を再度、撮像する。
【０１８４】
ステップＳ５０１において、撮像判定部１０７は、前記第１の偏光画像と前記第２の偏光画像を比較し、撮像した偏光状態が十分に変化しているかどうかを判断する。これは、撮像した偏光画像の輝度値を比較すればよい。具体的には、撮像された第２の偏光画像と第１の偏光画像の差分画像を作成し、その差分値の最大値が閾値以上の場合、撮像した偏光状態が十分に変化していると判断すればよい。このときの閾値は、実験的に決定すればよく、例えば、１６ビットモノクロ画像に対しては、１０００を設定すればよい。
【０１８５】
本実施形態の領域分割方法では、投光装置１０８と領域分割装置１０９は別構成となっており、投光装置１０８は領域分割装置１０９と同期が取られていない。そのため、領域分割装置１０９は、撮像した画像の偏光状態が変化しているかどうかを領域判定部１０７にて判断する。
【０１８６】
撮像判定部１０７が、十分に偏光状態が変化していると判断した場合（ステップＳ５０１でＹｅｓ）、ステップＳ１０６において、前述の通り、偏光情報取得部１０４は、撮像された前記第２の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。一方、撮像判定部１０７が、十分に偏光状態が変化していないと判断した場合（ステップＳ５０１でＮｏ）、領域分割装置１０９は再度、前述の通り、偏光情報を含んだ画像である第２の偏光画像を取得する。ステップＳ１０６以降の処理は第１の実施形態と同様なため、詳細な説明は省略する。
【０１８７】
撮像した偏光状態が十分に変化しているかどうかを判断するために、偏光画像ではなく、偏光情報を取得するようにしても構わない。この場合、第２の偏光情報と第１の偏光情報の差分を作成し、その差分の最大値が閾値以上の場合、撮像した偏光状態が十分に変化していると判断すればよい。このときの閾値は、実験的に決定すればよく、例えば、偏光情報として偏光位相の差分を計算する場合、閾値は９０度とすればよく、また、偏光情報として偏光度の差分を計算する場合、閾値は０．１とすればよい。
【０１８８】
図５５は本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。図５５において、図５３と共通のステップには図５３と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１８９】
本実施形態における領域分割システムは、投光装置１０８と領域分割装置１０９を分離させることにより、より小型の領域分割装置１０９を実現することが可能である。
【０１９０】
投光装置１０８と領域分割装置１０９は同期処理を行ない、領域分割装置１０９は投光装置１０８からの同期信号により撮像を行うようにしても構わない。この処理について説明する。
【０１９１】
図５６は、本実施形態に係る画像処理システムにおけるブロック図を示している。図５６において、図５２と共通の構成要素には図５２と同一の符号を付しており、ここではその詳細な説明は省略する。図５２に示す構成との違いは、投光装置１０８、領域分割装置１０９ともに通信部１１０、１１１を有し、さらに、領域分割装置１０９には撮像判定部１０７が存在しない点である。図５７は本実施形態における領域分割方法の処理の流れを示すフローチャートである。図５７において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。図５８は、本実施形態に係る領域分割装置が搭載されたカメラと投光装置の構成例を示している。図５８において、図５４と共通の構成要素には図５４と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１９２】
前述のように、ステップＳ１０１によって投光部１０１は、投光制御部１０２によって指示された主軸方向に偏光した偏光光を投光する。その後、投光装置１０８は通信装置２０９によって、投光を知らせる信号を領域分割装置１０９へ送信する（ステップＳ５０２）。領域分割装置１０９は前記投光を知らせる信号を通信装置２１０で受信すると（ステップＳ５０３）、前述のように、偏光画像撮像部１０３は、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第１の偏光画像を取得する（ステップＳ１０２）。このとき、パターン偏光子は、前述するように３方向以上の偏光主軸角度をもつ。偏光情報取得部１０４は、前述の通り、受光した偏光に関する情報である偏光情報を生成し（ステップＳ１０３）、領域分割装置１０９は通信装置２１０によって、第１の偏光画像の撮像完了を知らせる信号を投光装置１０８へ送信する（ステップＳ５０４）。投光装置１０８は前記撮像完了を知らせる信号を通信装置２０９で受信すると（ステップＳ５０５）、前述のように投光制御部１０２は、前記第１の偏光画像を取得した際とは異なった偏光状態の偏光光を被写体へ投光するように、投光部１０１を制御する。そして、投光部１０１は、投光制御部１０２によって指示された主軸方向に偏光した偏光光を被写体へ再度、投光する（ステップＳ１０４）。その後、投光装置１０８は再度、通信装置２０９によって、投光を知らせる信号を領域分割装置１０９へ送信する（ステップＳ５０６）。領域分割装置１０９は前記投光を知らせる信号を通信装置２１０で受信すると（ステップＳ５０７）、前述のように、ステップＳ１０５〜Ｓ１０８によって、第２の偏光画像を取得し、最終的に領域分割を実施する。
【０１９３】
投光装置１０８は投光制御部１０２を有するのではなく投光位置変化部１１２を有し、前述の通り、光源の位置を変化させるようにしても構わない。
本実施形態における領域分割システムは、投光装置１０８と領域分割装置１０９を分離させ、通信により投光と撮像の同期をとることにより、より小型の領域分割装置１０９でありながら、効率的な領域分割を実現することが可能である。
【０１９４】
（領域分割を利用したモデルベースの画像合成）
本発明の領域分割は、デジタルアーカイブなどに使われているモデルベースの画像合成処理に特に有効である。モデルベースの画像合成は、撮像した画像の光源方向や視線方向を任意に変化させることができるため、撮像データのインタラクティブな提示方法として重要である。また、臨場感を与えるためにも非常に有効である。そのため、モデルベースの画像合成処理は、バーチャルミュージアムやＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）などの応用に利用できる。本来、このようなモデルベースの画像合成では撮像画像を鏡面反射成分と拡散反射成分に領域分離を行ない、それぞれの成分ごとに異なったモデルを利用してきたが、前述のように、鏡面反射成分と拡散反射成分の分離が不十分であったため、画質が劣化するという問題があった。この問題は、以下のことが原因である。それぞれのモデルにおけるパラメータ推定の際、実際とは異なった鏡面反射成分と拡散反射成分を利用しているため、実際とは異なるパラメータを推定してしまう。このように実際とは異なったパラメータを利用して画像を合成した場合、前述のように、視点変換画像や光源変化画像を作成した際に出力される画像に大きな誤差が生じてしまう。
【０１９５】
本発明の領域分割方法を利用することで、画質劣化の少ない、モデルベースの画像合成を実現することができる。この手法を説明する。
【０１９６】
まず、この処理の概念を説明する。本発明の画像合成処理は、パラメータ推定装置３００と画像合成装置３０１からなる。以下の５つの入力情報を利用する。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・色・照度
○合成画像における視点・光源情報
【０１９７】
（パラメータ推定装置、画像合成装置の実施形態）
図５９は本発明の一実施形態に係るパラメータ推定装置３００と画像合成装置３０１の構成を示すブロック図である。
【０１９８】
図５９のパラメータ推定装置３００は、撮像装置を利用し、撮像を行う画像撮像部３０２と、上述した領域分割方法によって画像を鏡面反射領域と拡散反射領域に分割する領域分割部３０３と、被写体に照射する光源の方向や位置、輝度、色、スペクトル情報などの光源情報を推定する光源情報推定部３０４と、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部３０５と、撮像された被写体から、前記領域分割部３０３で分割された領域ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部３０６と、前記パラメータ推定部３０６において推定された反射パラメータを保持するパラメータＤＢ（データベース）３０７とを備えている。
【０１９９】
さらに、画像合成装置３０１は、合成する画像の視点や光源情報を取得する視点・光源情報取得部３０８と、パラメータＤＢ３０７に保持されているモデルパラメータ情報を利用して、前記視点・光源情報取得部３０８で取得された視点や光源情報に則した画像を合成するレンダリング部３０９とを備えている。
【０２００】
まず、図６０、図６１を参照しながら、本実施形態におけるパラメータ推定方法の処理の流れを説明する。図６０、図６１は本実施形態に係る画像合成方法における、パラメータ推定方法と画像合成方法の処理の流れを示すフローチャートである。
【０２０１】
図６０のステップＳ６０１において、画像撮像部３０２は、前述の偏光画像撮像部１０３および偏光情報取得部１０４によって被写体を撮像し、偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの重み付け平均値Ｉｍａｘ＋２・Ｉｍｉｎを取得する。ステップＳ６０２において、領域分割部３０３は、前述の領域分割方法により、画像撮像部３０２によって撮像された画像を、拡散反射領域と鏡面反射領域とに分割する。
【０２０２】
ステップＳ６０３において、光源情報推定部３０４は、光源情報として、光源の方向、さらには色情報や照度情報を取得する。ステップＳ６０４において、形状情報取得部３０５は、被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。
【０２０３】
ステップＳ６０５において、パラメータ推定部３０６は、領域分割部３０３によって分割された拡散反射画像と鏡面反射画像に対して、前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報を利用することで、それぞれの反射パラメータを、別々の方法で推定する。ステップＳ６０６において、パラメータＤＢ３０７は、パラメータ推定部３０６で求まった拡散反射成分の反射パラメータと鏡面反射成分の反射パラメータ、および形状情報取得部３０５で取得した形状情報をモデルパラメータとして保持する。
【０２０４】
次に、図６１を参照しながら、画像合成推定方法の処理の流れについて説明する。
【０２０５】
まず、ステップＳ６０７において、レンダリング部３０９は、前記パラメータＤＢ３０７に保持されているモデルパラメータ情報を呼び出す。ステップＳ６０８において、視点・光源情報取得部３０８は、合成する画像の視点や光源の方向、さらには色情報や照度情報を取得する。ステップＳ６０９において、レンダリング部３０９は、前記パラメータＤＢ３０７に保持されているモデルパラメータ情報を利用して、前記視点・光源情報取得部３０８で取得された視点や光源情報に則した画像を合成する。
【０２０６】
図６２は、本実施形態に係る画像合成装置が搭載されたカメラの構成例を示している。
【０２０７】
図５９に示されている領域分割部３０３、光源情報推定部３０４、形状情報取得部３０５、パラメータ推定部３０６およびレンダリング部３０９は、図６１のＣＰＵ２０４がプログラムを実行することによって実現されるものとする。ただし、これらの機能の全部または一部を、ハードウエアによって実現してもかまわない。
【０２０８】
図５９の視点・光源情報取得部３０８は図６１のユーザインターフェイス部２１２によって実行される。メモリ２０３は画像撮像部３０２によって撮像された偏光画像と、領域分割部３０３によって取得された鏡面反射成分および拡散反射成分画像、光源情報推定部によって推定された光源情報、形状情報取得部３０５によって取得された形状情報、パラメータ推定部３０６によって推定された反射パラメータ情報、および、視点・光源情報取得部で取得された視点・光源情報をモデルパラメータとして格納する。
【０２０９】
以下、それぞれの処理について説明する。
【０２１０】
まず、図５９のパラメータ推定装置３００について説明する。
【０２１１】
画像撮像部３０２はＣＣＤやＣＭＯＳなどの撮像装置を利用して、被写体を撮像する。こうして撮像された画像は、輝度が非常に高くなる鏡面反射成分と拡散反射成分とが同時に、飽和することなく、十分な輝度分解能で記録されることが望ましい。このため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。このような画像撮像部は、前述の、偏光情報取得部１０４によって取得された偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの重み付け平均値Ｉｍａｘ＋２・Ｉｍｉｎであっても構わない。特に、重み付け平均値であるＩｍａｘ＋２・Ｉｍｉｎは、直線偏光光源下において、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、この重み付け平均値を利用して画像処理を行うことで、通常の偏光を利用しない場合と同様の処理を行うことができる。
【０２１２】
図５９の領域分割部３０３は、前述の領域分割方法により、画像撮像部３０２によって撮像された画像を、拡散反射領域と鏡面反射領域とに分割する。
【０２１３】
光源情報推定部３０４は、光源情報として、光源の方向、さらには色情報や照度情報を取得する。これは例えば、被写体近傍に光源情報を推定するための形状既知の鏡面などを配置し、画像撮像部３０２によって撮像したその鏡面の画像から推定すればよい（例えば、「神原誠之、横矢直和、"光源環境の実時間推定による光学的整合性を考慮したビジョンベース拡張現実感"、電子情報通信学会技術研究報告、パターン認識・メディア理解、ＰＲＭＵ２００２-１９０，ｐｐ． ７-１２，２００３」）。この処理について詳述する。
【０２１４】
光源情報推定部３０４の処理は、図６３に示した鏡面とみなせる球４０１を利用して行う。鏡面球４０１を被写体近傍に設置し、その位置や法線方向は既知とする。この鏡面球４０１を画像撮像部３０２によって撮像する。このとき、鏡面球４０１には、撮像環境が映り込んでいる。映り込みが生じる位置は、その鏡面球上の法線方向に対して、視線方向と映り込む対象への方向が正反射の関係となる位置である。そのため、鏡面球の位置とその法線方向が既知であれば、鏡面上の映り込んだ画像から映り込み対象の方向を検出できる。また、光源は輝度値が高いことを考慮すると、撮像された鏡面球の画像から、高輝度の画素を検出することにより、光源の方向を取得できる。さらに、鏡面の反射率が既知であれば、光源の色情報や放射輝度などの光源照度情報も取得できる。
【０２１５】
光源情報として、光源の方向だけではなく、あるいは光源の方向に代えて、光源の位置情報を取得するようにしても構わない。これは、例えば前述の鏡面球を２つ利用したり、または撮像装置の位置を変化させて撮像した複数の画像を使用して、画像処理分野で広く知られているステレオ画像処理の技術を利用すればよい。
【０２１６】
このような鏡面球を常に撮像するのではなく、以前に撮像して求めた光源情報を使うようにしても構わない。これは、屋内の監視カメラのように光源環境が変わらない場合に有効である。このような場合、カメラを設置した際に鏡面球を撮像し、光源情報を取得するようにすればよい。
【０２１７】
光源情報推定部３０４は、鏡面とみなせる球４０１のような参照物体を利用するのではなく、被写体を利用して光源方向を推定するようにしても構わない。この方法を説明する。まず、被写体を撮像した画像領域において、最も輝度値の高い画素を選択する。後述するように、形状情報取得部３０５によって、被写体の形状情報である表面の法線情報は推定されているため、最も輝度値の高い画素の法線方向は既知である。ここで、最も輝度値の高い画素は、正反射方向の光源が映りこんでいると仮定すると、前述の参照物体を利用する方法と同様に、法線方向から光源の方向を取得できる。
【０２１８】
また、撮像装置６０１に、照度計２１１を設置することにより、光源情報として入射照度を測定するようにしても構わない。入射照度情報の利用方法については後述する。
【０２１９】
形状情報取得部３０５は、被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。被写体の形状情報を取得する手段としては、例えば、スリット光投影法、パターン光投影法、レーザレーダ法などの既存の手法を用いればよい。
【０２２０】
形状情報の取得はこれらの手法に限られるものでない。例えば、複数のカメラを利用するステレオ視、カメラの動きを利用するモーションステレオ法、光源の位置を変化させながら撮像した画像を利用する照度差ステレオ法、ミリ波や超音波を利用して被写体との距離を測定する方法、さらには反射光の偏光特性を利用した方法（例えば、ＵＳＰ５，０２８，１３８号や「宮崎大輔、池内克史、"偏光レイトレーシング法による透明物体の表面形状の推定手法"、電子情報通信学会論文誌、ｖｏｌ． Ｊ８８-Ｄ-ＩＩ， Ｎｏ．８，ｐｐ． １４３２-１４３９，２００５」）を用いてもかまわない。ここでは、照度差ステレオ法と偏光特性を利用した方法について説明する。
【０２２１】
照度差ステレオ法は、光源方向が異なる３枚以上の画像を利用して、被写体の法線方向と反射率を推定する手法である。例えば、「Ｈ． Ｈａｙａｋａｗａ, ”Ｐｈｏｔｏｍｅｔｒｉｃ Ｓｔｅｒｅｏ ｕｎｄｅｒ ａ ｌｉｇｈｔ ｓｏｕｒｃｅ ｗｉｔｈ ａｒｂｉｔｒａｒｙ ｍｏｔｉｏｎ”, Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ, ｖｏｌ．１１, ｐｐ．３０７９-８９, １９９４」は、画像上で６点以上の反射率が等しい点を既知情報として取得し、拘束条件として利用することによって、光源の位置情報も未知としながらも、以下のパラメータを推定する手法である。
・被写体情報：画像上の各点の法線方向と反射率
・光源情報：被写体の観察点における光源方向と照度
【０２２２】
ここでは、前述の拡散反射・鏡面反射分離手法によって分離された拡散反射画像のみを利用した照度差ステレオ法を行う。本来、この手法は被写体が完全拡散反射をしていることを仮定しているため、鏡面反射が存在する被写体では大きな誤差が生じてしまう。しかし、分割した拡散反射領域のみを利用することで、鏡面反射成分の存在による推定誤差を無くすことができる。
【０２２３】
光源方向が異なる拡散反射画像を以下のように輝度行列Ｉdで表現する。
【数１５】
2009157129.tif 000017
【０２２４】
ただし、ｉdf(p)は光源方向ｆの拡散反射画像の画素ｐにおける輝度値を示している。また、画像の画素数はＰ画素、異なった光源方向で撮像した画像枚数はＦ枚である。ところで、Ｌａｍｂｅｒｔｉａｎモデルより、拡散反射画像の輝度値は以下のように表現できる。
【数１６】
2009157129.tif 000018
【０２２５】
ただし、ρdpは画素ｐの反射率（アルベド）、ｎpは画素ｐの法線方向ベクトル、ｔfは光源ｆの入射照度、Ｌfは光源ｆの方向ベクトルを示している。
【０２２６】
式１５、式１６より以下の式が導かれる。
【数１７】
2009157129.tif 000019
ただし、
【数１８】
2009157129.tif 000020
【数１９】
2009157129.tif 000021
【数２０】
2009157129.tif 000022
【数２１】
2009157129.tif 000023
【数２２】
2009157129.tif 000024
【数２３】
2009157129.tif 000025
【０２２７】
ここで、Ｒは表面反射行列、Ｎは表面法線行列、Ｌは光源方向行列、Ｔは光源強度行列、Ｓは表面行列、Ｍは光源行列と呼ぶ。
【０２２８】
特異値分解を利用すると、式１７は以下のように展開できる。
【数２４】
2009157129.tif 000026
【数２５】
2009157129.tif 000027
【０２２９】
ただし、
【数２６】
2009157129.tif 000028
であり、Ｅは単位行列を示している。また、Ｕ’はＰ×３行列、Ｕ”はＰ×（Ｆ−３）行列、Σ’は３×３行列、Σ”は(Ｆ−３）×(Ｆ−３）行列、Ｖ’は３×Ｆ行列、Ｖ”は（Ｆ−３）×Ｆ行列である。ここで、Ｕ”、 Ｖ”は信号成分であるＵ’、 Ｖ’の直交基底、すなわち、ノイズ成分であると考えられる。ここで、特異値分解を利用すると、式１９は以下のように変形できる。
【数２７】
2009157129.tif 000029
【数２８】
2009157129.tif 000030
【０２３０】
すなわち、式２０を解くことにより、形状情報と光源情報を同時に取得することができるが、以下の３×３行列Ａの不定性が残る。
【数２９】
2009157129.tif 000031
【数３０】
2009157129.tif 000032
【０２３１】
ここで、Ａは任意の３×３行列である。形状情報と光源情報を取得するためには、この行列Ａを求める必要がある。これは、例えば、画面上の６点以上で反射率が等しいことが既知であればよい。例えば、任意の６点ｋ１〜ｋ６の反射率が等しいとすると、
【数３１】
2009157129.tif 000033
【０２３２】
式１８、式２１および式２３より、
【数３２】
2009157129.tif 000034
さらに、
【数３３】
2009157129.tif 000035
とおくと、式２４は以下のようになる。
【数３４】
2009157129.tif 000036
【０２３３】
ここで、式２５より行列Ｂは対称行列であるため、行列Ｂの未知数は６である。すなわち、画面上の６点以上で反射率が等しいことが既知であれば、式２６は解くことができる。
【０２３４】
また、行列Ｂが既知となれば、式２５に特異値分解を利用することにより、行列Ａは解くことができる。さらに、式２１および式２２より、形状情報と光源情報を取得する。
【０２３５】
以上のことより、反射率が等しい６点以上の画素が既知な被写体において、光源方向を変更しながら３枚以上の画像を取得することにより、以下の情報を得ることができる。
・被写体情報：画像上の各点の法線方向ベクトルと反射率
・光源情報：被写体の観察点における光源方向ベクトルと放射輝度
【０２３６】
ただし、上記の処理で求まる被写体の反射率と光源の放射輝度は相対的なものであり、絶対値を求めるためには、画面上の６点以上で反射率が既知であるなど、上記とは異なる既知情報が必要となる。
【０２３７】
以上のように、照度差ステレオ法と偏光特性を利用した方法では、表面の法線情報を取得する。一方、スリット光投影法やステレオ視などの手法では、被写体の３次元位置情報を取得する。被写体表面の法線情報とは、被写体の３次元位置情報の微小空間での傾き情報であり、どちらも被写体の形状情報である。
【０２３８】
以上の処理により、形状情報取得部３０５は被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。
【０２３９】
以上の処理により、以下の情報を取得する。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・照度
【０２４０】
次に、パラメータ推定部３０６は、領域分割部３０３によって分割された拡散反射成分と鏡面反射成分に対して、それぞれの反射パラメータを、別々の方法で推定する。まず、拡散反射成分の処理について説明する。
【０２４１】
パラメータ推定部３０６は、領域分割部３０３によって分割された拡散反射領域を利用し、被写体のアルベドを推定する。アルベドは光源情報に影響を受けないため、アルベド画像を利用して処理を行うことによって、光源変動にロバストな処理が実現できる。
【０２４２】
この処理を説明する。まず、物体の反射特性について説明する。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として以下の式で表現される。
【数３５】
2009157129.tif 000037
【０２４３】
ここで、Ｉは撮像装置が撮像した被写体の輝度値、Ｉaは環境光成分、Ｉdは拡散反射成分、Ｉsは鏡面反射成分である。ここで、環境光成分とは、光源の光が物体などによって散乱された間接光のことである。これは空間の至る所に散乱され、直接光がとどかない影の部分にもわずかに明るさを与える。そのため、通常はノイズとして取り扱われることが多い。
【０２４４】
環境光成分は十分に小さく、ノイズとして無視できると考えると、画像は拡散反射成分と鏡面反射成分とに分離できる。
【０２４５】
式１６より、拡散反射成分では、以下の関係が成り立つ。
【数３６】
2009157129.tif 000038
【０２４６】
ただし、θiは被写体の法線方向ベクトルと光源方向ベクトルのなす角度を示す。ここで、光源情報推定部３０４および形状情報取得部３０５により、角度θiは既知である。また、後述するように、光源の入射照度ｔfも推定可能なため、被写体のアルベドρdpは式２８から求められる。
【０２４７】
被写体のアルベドを求めるのではなく、次式によりアルベドに光源の放射輝度を乗算した擬似アルベドを求め、これを利用しても構わない。
【数３７】
2009157129.tif 000039
【０２４８】
次に、鏡面反射成分の反射パラメータ推定について説明する。
パラメータ推定部３０６は、形状情報取得部３０５によって取得された被写体の法線情報、領域分割部３０３によって分離された拡散反射画像と鏡面反射画像を利用して、その被写体を表現するパラメータを推定する。ここでは、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く使われているＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを利用する方法を説明する。
【０２４９】
Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルでは、鏡面反射画像を次式のようにモデル化する。
【数３８】
2009157129.tif 000040
【数３９】
2009157129.tif 000041
【数４０】
2009157129.tif 000042
【数４１】
2009157129.tif 000043
【数４２】
2009157129.tif 000044
【数４３】
2009157129.tif 000045
【数４４】
2009157129.tif 000046
【数４５】
2009157129.tif 000047
【数４６】
2009157129.tif 000048
【０２５０】
ここで、Ｅiは入射照度、ρs,λは波長λにおける鏡面反射成分の双方向反射率、ｎは被写体の法線方向ベクトル、Ｖは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルｎの角度を表す（図６４参照）。また、Ｆλはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎλは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉjは入射光の放射輝度である。また、ｋsは鏡面反射成分の係数である。
【０２５１】
さらに、式１６のＬａｍｂｅｒｔｉａｎモデルを利用すると、式２７は以下のように展開される。
【数４７】
2009157129.tif 000049
ただし、
【数４８】
2009157129.tif 000050
【数４９】
2009157129.tif 000051
【０２５２】
ここで、ρdは拡散反射成分の反射率（アルベド）、ｄｐｘ、ｄｐｙは撮像装置の１画素のｘ方向、ｙ方向の長さ、ｒは撮像装置の観察点Ｏからの距離を示している。また、ｋdは以下の関係式を満たす係数である。
【数５０】
2009157129.tif 000052
【０２５３】
Ｓｒは拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数であり、拡散反射成分が被写体からすべての方向へエネルギーを反射することを示している。図６５はこの定数Ｓｒを説明するための模式図である。図６５において、観察点Ｏで反射された拡散反射成分エネルギーは、半球状に広がっていく。ここで、撮像装置６０１が観察点Ｏからｒだけ離れているので、撮像装置の１撮像素子に届くエネルギーと、観察点Ｏで反射した総エネルギーの比Ｓrは、式４０で表される。
【０２５４】
以上のことから、パラメータ推定部３０６は、式２９〜式４０より、鏡面反射成分の反射パラメータを推定する。
【０２５５】
以上の関係式をまとめると、パラメータ推定を行うための既知パラメータと、推定すべきパラメータは以下のようになる。
（既知パラメータ）
○環境光成分Ｉa
○拡散反射成分Ｉd
○鏡面反射成分Ｉs
○被写体の法線方向ベクトルｎ
○光源方向ベクトルＬ
○視線ベクトルＶ
○中間ベクトルＨ
○中間ベクトルＨと法線方向ベクトルｎの角度β
○撮像装置６０１の１画素のｘ方向、ｙ方向の長さｄｐｘ, ｄｐｙ
○撮像装置６０１と観察点Ｏとの距離ｒ
（推定すべきパラメータ）
○入射照度Ｅi
○鏡面反射成分の係数ｋs
○被写体表面の粗さｍ
○被写体の屈折率ηλ
【０２５６】
ここで、拡散反射成分の係数ｋd、および拡散反射成分の反射率（アルベド）ρdも未知パラメータであるが、鏡面反射成分のパラメータのみを推定するため、ここでは推定処理を行なわない。
【０２５７】
図６６はパラメータ推定部３０６の処理の流れを示す図である。処理は、以下の２段階からなる。
【０２５８】
まず、光源情報を使用して、入射照度Ｅiを求める（ステップＳ７０１）。ここでは、光源情報推定部３０４によって取得した光源の位置情報、形状情報取得部３０５で求めた撮像装置と被写体との距離情報、さらには光源情報取得部３０４で求めた光源照度を用いる。これは、次式から求まる。
【数５１】
2009157129.tif 000053
【０２５９】
撮像装置６０１には前述のように、照度計２１１が設置されているとする。ここで、Ｉiは照度計２１１によって測定された光源６０２の入射照度、Ｒ1は撮像装置６０１と光源６０２との距離、Ｒ2は光源６０２と観察点Ｏとの距離、θ1は観察点Ｏにおける法線方向ベクトルｎと光源方向ベクトルＬＣとのなす角度、θ2は撮像装置６０１における光軸方向と光源方向ベクトルＬＡとのなす角度を示している（図６７参照）。ここで、被写体の大きさが、光源６０２と観察点Ｏとの距離Ｒ2に比べ十分に小さいと考えられる場合、距離Ｒ2は被写体上の全ての観察点Ｏで等しくなる。そのため、式４２において、（Ｒ1／Ｒ2）は定数となり、実際に計測する必要はなくなる。またθ1は既知である。これは、形状情報取得部によって観察点Ｏにおける法線方向ベクトルｎが既知であり、光源情報推定部３０４によって光源方向ベクトルＬＣが既知であるためである。さらにθ2は、光源情報推定部３０４によって光源の位置が推定されている場合、既知である。そのため、式４２の右辺はすべて既知となる。
【０２６０】
次に、シンプレックス法を利用して、未知パラメータｍ、ηλ、ｋsを推定する（ステップＳ７０２）。シンプレックス法は、シンプレックスと呼ぶ図形の頂点に変数を割り付け、シンプレックスの大きさと形を変えて関数の最適化を行う方法である（大田登、“色再現光学の基礎”、ｐｐ．９０-９２，コロナ社）。シンプレックスは、ｎ次元空間の（ｎ＋１）個の点の集合である。ただし、ｎは推定する未知数の数であり、ここでは「３」である。そのため、シンプレックスは四面体である。シンプレックスの頂点をベクトルｘiで表し、新しいベクトルを次のように定める。
【数５２】
2009157129.tif 000054
【数５３】
2009157129.tif 000055
【数５４】
2009157129.tif 000056
【数５５】
2009157129.tif 000057
ただし、
【数５６】
2009157129.tif 000058
【数５７】
2009157129.tif 000059
は、それぞれ関数ｆ(ｘi）を最大、最小にするｘiを示している。
【０２６１】
さらに、この方法で用いる３種類の操作を以下のように定める。
１．鏡像：
【数５８】
2009157129.tif 000060
２．拡張：
【数５９】
2009157129.tif 000061
３．収縮：
【数６０】
2009157129.tif 000062
【０２６２】
ここで、α（＞０）、β（＞１）、γ（１＞γ＞０）は係数である。
【０２６３】
シンプレックス法は、シンプレックスの頂点の中で関数値の最も大きなものを選ぶことで、その鏡像における関数値は小さくなるという期待に基づいている。この期待が正しければ、同じプロセスの繰り返しで関数の最小値が求められる。つまり、初期値で与えたパラメータを３種類の操作で更新しながら、評価関数が示すターゲットとの誤差が閾値未満になるまでパラメータの更新を繰り返す。ここでは、パラメータとしてｍ、ηλ、ｋs、評価関数として式４８で表される、式２９から算出される鏡面反射成分画像と領域分割部３０３で求められた鏡面反射成分画像との差ΔＩsを利用した。
【数６１】
2009157129.tif 000063
【０２６４】
ただし、ｉs(i,j)’, ｉs(i,j)はそれぞれ、計算された鏡面反射画像の推定値Ｉs’と領域分割部３０３で求められた鏡面反射成分画像Ｉsの画素(ｉ,ｊ）の輝度値、Ｍs(i,j)は、画素(ｉ,ｊ）が鏡面反射成分を持つ場合に１、そうでない場合０をとる関数である。
【０２６５】
この処理について詳しく説明する。図６８はこの処理の流れを説明するためのフローチャートである。
【０２６６】
まず、繰り返し演算の更新回数を記憶するカウンターｎとｋに０を代入し、初期化する（ステップＳ７１１）。ここで、カウンターｎは初期値を何回変更したかを記憶するカウンターであり、ｋはある初期値に対してシンプレックスによる候補パラメータの更新を何回行ったかを記憶するカウンターである。
【０２６７】
次に、乱数を利用し、推定パラメータの候補パラメータｍ’、ηλ’、ｋs’の初期値を決定する（ステップＳ７１２）。このとき、各パラメータの物理的な拘束条件から、初期値の発生範囲は以下のように決定した。
【数６２】
2009157129.tif 000064
【０２６８】
次に、こうして求めた候補パラメータを式２９へ代入し、鏡面反射画像の推定値Ｉs’を求める（ステップＳ７１３）。さらに、計算された鏡面反射画像の推定値Ｉs’と領域分割部３０３で求められた鏡面反射成分画像との差ΔＩsを式４８より求め、これをシンプレックス法の評価関数とする（ステップＳ７１４）。こうして求めたΔＩsが十分小さい場合（ステップＳ７１５でＹｅｓ）、パラメータ推定は成功したとして、推定パラメータｍ、ηλ、ｋsとして候補パラメータｍ’、ηλ’、ｋs’を選択し、処理を終了する。一方、ΔＩsが大きい場合（ステップＳ７１５でＮｏ）、シンプレックス法により候補パラメータの更新を行う。
【０２６９】
候補パラメータの更新を行う前に、更新回数の評価を行う。まず、更新回数を記憶しているカウンターｋに１を足し（ステップＳ７１６）、カウンターｋの大きさを判断する（ステップＳ７１７）。カウンターｋが十分に大きい場合（ステップＳ７１７でＮｏ）、繰り返し演算は十分に行なわれているが、ローカルミニマムに落ちているため、このまま更新を繰り返しても最適値には達しないと判断し、初期値を変更して、ローカルミニマムからの脱却を図る。そのため、カウンターｎに１を足し、カウンターｋに０を入れる（ステップＳ７２１）。ここで、カウンターｎの値が閾値より高いかどうかを判定し、処理をこのまま続けるか、処理不能として処理を終了させるかを決定する（ステップＳ７２２）。ここで、ｎが閾値より大きい場合（ステップＳ７２２でＮｏ）、この画像は推定不能として処理を終了する。一方、ｎが閾値より小さい場合（ステップＳ７２２でＹｅｓ）、再度、初期値を式４９の範囲内で乱数から選択しなおし（ステップＳ７１２）、処理を繰り返す。このようなｋに対する閾値は、例えば、１００などを選択すればよい。
一方、ステップＳ７１７において、カウンターｋが閾値以下の場合（ステップＳ７１７でＹｅｓ）、候補パラメータを式４５〜式４７を利用して変更する（ステップＳ７１８）。この処理については後述する。
【０２７０】
次に、こうして変形された候補パラメータが、解として意味のあるものであるかを判定する（ステップＳ７１９）。すなわち、シンプレックス法を繰り返すことで、変形されたパラメータが物理的に意味のない値（例えば、粗さパラメータｍが負の値など）におちいる可能性があるため、これを除去する。これは、例えば、以下のような条件を与え、この条件を満たす場合には意味のあるパラメータ、満たさない場合には意味のないパラメータと判定すればよい。
【数６３】
2009157129.tif 000065
【０２７１】
これらの値は、被写体より求めることができる。例えば、屈折率ηλであれば、被写体の材質によって決定される値である。例えば、プラスチックであれば１．５〜１．７、ガラスであれば１．５〜１．９であることが知られているため、これらの値を利用すればよい。つまり、被写体がプラスチックである場合、屈折率ηλは１．５〜１．７とすればよい。
【０２７２】
変形したパラメータが式５０を満たす場合（ステップＳ７１９でＹｅｓ）、その候補パラメータは意味のある値であると考えられるため、新しい候補パラメータとして設定し（ステップＳ７２０）、更新処理を繰り返す（ステップＳ７１３）。一方、変形したパラメータが式５０を満たさない場合（ステップＳ７１９でＮｏ）、その初期値に対する更新処理を打ち切り、新しい初期値により更新を行う（ステップＳ７２１）。
【０２７３】
ここで、ステップＳ７１８の変形処理について詳述する。図６９はこの処理の流れを示したフローチャートである。ここでは、候補パラメータｍ’、ηλ’、ｋs’をベクトル表現し、これをパラメータｘとする。すなわち、
【数６４】
2009157129.tif 000066
【０２７４】
まず、式４３、式４４および式４５を利用して、鏡像操作を行ったパラメータｘrを計算し、式４８によってｘrでの鏡面反射成分画像との差ΔＩs(ｘr）を計算する（ステップＳ７３１）。次に、こうして求められたΔＩs(ｘr）と、２番目に評価関数が悪かったΔＩs(ｘs）を比較する（ステップＳ７３２）。ここでΔＩs(ｘr）がΔＩs(ｘs）より小さかった場合（ステップＳ７３２でＹｅｓ）、鏡像操作を行った評価値ΔＩs(ｘr）と現在、最も評価値のよいΔＩs(ｘl）を比較する（ステップＳ７３３）。ここで、ΔＩs(ｘr）がΔＩs(ｘl）以上であった場合（ステップＳ７３３でＮｏ）、最も評価値の低かったｘhをｘrへ変更し（ステップＳ７３４）、処理を終了する。
【０２７５】
一方、ΔＩs(ｘr）がΔＩs(ｘl）より小さかった場合（ステップＳ７３３でＹｅｓ）、式４６を利用して拡張処理を行ない、パラメータｘeと、ｘeでの鏡面反射成分画像との差ΔＩs(ｘe）を計算する（ステップＳ７３５）。次に、こうして求められたΔＩs(ｘe）と、鏡像操作によるΔＩs(ｘr）を比較する（ステップＳ７３６）。ここでΔＩs(ｘe）がΔＩs(ｘr）より小さかった場合（ステップＳ７３６でＹｅｓ）、最も評価値の悪かったｘhをｘeへ変更し（ステップＳ７３７）、処理を終了する。
【０２７６】
一方、ΔＩs(ｘe）がΔＩs(ｘr） 以上であった場合（ステップＳ７３６でＮｏ）、最も評価値の悪かったｘhをｘrへ変更し（ステップＳ７３４）、処理を終了する。
【０２７７】
また、ステップＳ７３２において、ΔＩs(ｘr）がΔＩs(ｘs）より大きかった場合（ステップＳ７３２でＮｏ）、鏡像操作を行った評価値ΔＩs(ｘr）と現在、最も評価値の悪いΔＩs(ｘh）を比較する（ステップＳ７３８）。ここでΔＩs(ｘr）がΔＩs(ｘh）より小さかった場合（ステップＳ７３８でＹｅｓ）、最も評価値の悪かったｘhをｘrへ変更し（ステップＳ７３９）、式４６を利用して、収縮操作を行ったパラメータｘcと、ｘcでの鏡面反射成分画像との差ΔＩs(ｘc）を計算する（ステップＳ７４０）。一方、ΔＩs(ｘr）がΔＩs(ｘh）以上であった場合（ステップＳ７３８でＮｏ）、ｘhを変更することなく、収縮操作を行ったパラメータｘcと、ｘcでの鏡面反射成分画像との差ΔＩs(ｘc）を計算する（ステップＳ７４０）。
【０２７８】
次に、こうして求められたΔＩs(ｘc）と、最も評価値の悪いΔＩs(ｘh）を比較する（ステップＳ７４１）。ここでΔＩs(ｘc）がΔＩs(ｘh）より小さかった場合（ステップＳ７４１でＹｅｓ）、最も評価値の悪かったｘhをｘcへ変更し（ステップＳ７４２）、処理を終了する。
【０２７９】
一方、ΔＩs(ｘc）がΔＩs(ｘh） 以上であった場合（ステップＳ７４１でＮｏ）、すべての候補パラメータｘi(ｉ=１,２,３,４）を以下の式により変更し、処理を終了する。
【数６５】
2009157129.tif 000067
【０２８０】
以上の処理を繰り返すことにより、鏡面反射画像における未知パラメータであるｍ、ηλ、ｋsを推定する。
【０２８１】
以上の処理により、すべての未知パラメータを推定することができる。
【０２８２】
図７０は、図７５（ａ）の領域Ｃに関して、横軸に中間ベクトルβ、縦軸に鏡面反射成分の輝度値Ｉｓをグラフ化したものである。この図において、白色○は領域Ｃに関して観測された輝度値Ｉｓをプロットしたものである。また、黒色■はＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルの各パラメータを推定し、プロットしたものである。
【０２８３】
なお、前述したように、図７５（ｂ）は、従来の領域分割手法を利用したグラフである。図７６は、従来の領域分割手法を利用して作成した合成画像を示している。このように、パラメータ推定に失敗した場合、合成画像の質感が実物とは大きくかけ離れたものとなってしまう。
【０２８４】
これらの図より、従来の領域分割手法では、鏡面反射成分と拡散反射成分の分離精度が低いため、反射パラメータ推定に失敗していることがわかる。そのため、合成された画像は、図７６に示すように実際の画像とは大きく質感が異なるものとなってしまう。一方、本特許における領域分割手法では、このような問題が生じていない。
【０２８５】
パラメータ推定に用いるモデルは、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルである必要はなく、例えば、Ｔｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＰｈｏｎｇモデル、簡易Ｔｏｒｒａｎｃｅ-Ｓｐａｒｒｏｗモデル（例えば、「Ｋ． Ｉｋｅｕｃｈｉ ａｎｄ Ｋ． Ｓａｔｏ, “Ｄｅｔｅｒｍｉｎｉｎｇ ｒｅｆｌｅｃｔａｎｃｅ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ａｎ ｏｂｊｅｃｔ ｕｓｉｎｇ ｒａｎｇｅ ａｎｄ ｂｒｉｇｈｔｎｅｓｓ ｉｍａｇｅｓ”, ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ, ｖｏｌ．１３, ｎｏ．１１, ｐｐ．１１３９-１１５３, １９９１」）であっても構わない。
【０２８６】
パラメータ推定方法は、シンプレックス法である必要はなく、例えば、勾配法や最小自乗法などのような一般的なパラメータ推定手法を利用しても構わない。
【０２８７】
以上の処理は、画素毎に行ってもかまわないし、領域分割を行ない、領域ごとに等しいパラメータ組を推定するようにしてもかまわない。画素毎に処理を行う場合、光源や撮像装置、または被写体を動かすことにより、被写体の法線方向ベクトルｎや光源方向ベクトルＬ、または視線ベクトルＶといった既知パラメータが変動したサンプルを取得するようにすることが望ましい。また、処理を領域ごとに行う場合、領域ごとに求まったパラメータのばらつきが小さくなるように領域分割を変更することで、最適なパラメータ推定を行うようにすることが望ましい。
【０２８８】
パラメータＤＢ３０７は、パラメータ推定部３０６で求まった拡散反射成分の反射パラメータと鏡面反射成分の反射パラメータ、および形状情報取得部３０５で取得した形状情報をモデルパラメータとして保持する。図７１は、パラメータＤＢ３０７に保持されているモデルパラメータを示す模式図である。
【０２８９】
以上の処理により、パラメータ推定装置３００は拡散反射成分のパラメータと鏡面反射成分のパラメータを推定し、推定したパラメータ情報をパラメータＤＢ３０７へ保持する。
【０２９０】
次に、画像合成装置３０１について説明する。
【０２９１】
視点・光源情報取得部３０８は、合成する画像の視点や光源情報を取得する。これは、ユーザが視点位置や光源位置・光源照度、さらに環境光成分情報を入力するようにすればよい。また、拡張現実感のような、実世界にＣＧ画像をレンダリングするような場合、前記光源情報推定部３０４を利用して光源情報を推定するようにしても構わない。
【０２９２】
レンダリング部３０９は、前記パラメータＤＢ３０７に保持されているモデルパラメータ情報を利用して、前記視点・光源情報取得部３０８で取得された視点や光源情報に則した画像を合成する。レンダリング部３０９は、拡散反射成分と鏡面反射成分、それぞれ別々にレンダリングを行ない、レンダリングされた拡散反射成分、鏡面反射成分および環境光成分情報を合成することにより、画像を合成する。
【０２９３】
まず、拡散反射成分に関して説明する。前述のように、アルベド画像は、拡散成分画像を光源ベクトルと被写体の法線方向ベクトルの内積で除算したものである。そのため、パラメータＤＢに保持されているアルベド画像（パラメータ推定部３０６で推定）および形状情報（形状情報取得部３０５で取得）に、視点・光源情報取得部３０８によって取得された光源方向ベクトル情報を利用することにより、拡散反射成分を合成することができる。具体的には、視点・光源情報取得部３０８によって取得された光源方向ベクトルと被写体の法線方向ベクトルとの内積を求め、さらにアルベド画像を乗算することによって、拡散成分画像を合成する。視点・光源情報取得部３０８により、複数の光源が入力された場合、それぞれの光源に対して拡散反射成分画像をおのおの合成し、その画像を足し合わせることで、一枚の拡散反射成分画像を合成する。
【０２９４】
次に、鏡面反射成分に関して説明する。鏡面反射成分は、パラメータＤＢに保持されている鏡面反射パラメータ（パラメータ推定部３０６で推定）および形状情報（形状情報取得部３０５で取得）に、視点・光源情報取得部３０８によって取得された光源方向ベクトル情報を利用することにより、合成することができる。具体的には、式２９〜式３７に推定されたパラメータを代入することによって、鏡面反射成分画像を合成する。
【０２９５】
こうして求めた拡散反射成分画像、鏡面反射成分画像および視点・光源情報取得部３０８において取得した環境光成分情報を合成することにより、レンダリング部３０９は、前記視点・光源情報取得部３０８で取得された視点や光源情報に則した画像を合成する。
【０２９６】
以上のように、本発明の領域分割方法を利用することによって、デジタルアーカイブなどに使われているモデルベースの画像合成を高精度に行うことができる。
【産業上の利用可能性】
【０２９７】
本発明に係る画像処理によれば、光源状態の依存度と偏光情報という二つの情報を利用することにより、鏡面反射領域と拡散反射領域をより正確に分割することが可能である。そのため、スナップショットを撮像するように撮像された画像から領域分割処理を実現できるため、各種デジタルスチルカメラ、デジタルムービーカメラ、監視カメラなどに有用である。
【符号の説明】
【０２９８】
１０１  投光部
１０２  投光制御部
１０３  偏光画像撮像部
１０４  偏光情報取得部
１０５  光源依存度推定部
１０６  領域分割部
１０７  撮像判定部
１０８  投光装置
１０９  領域分割装置
１１０  通信部
１１１  通信部
１１２  投光位置変化部
１２０  制御部
１２１  投光ユニット
１２２  偏光情報取得部
【図１】
2009157129.tif 000068
【図２】
2009157129.tif 000069
【図３】
2009157129.tif 000070
【図４】
2009157129.tif 000071
【図５】
2009157129.tif 000072
【図６】
2009157129.tif 000073
【図７】
2009157129.tif 000074
【図８】
2009157129.tif 000075
【図９】
2009157129.tif 000076
【図１０】
2009157129.tif 000077
【図１１】
2009157129.tif 000078
【図１２】
2009157129.tif 000079
【図１３】
2009157129.tif 000080
【図１４】
2009157129.tif 000081
【図１５】
2009157129.tif 000082
【図１６】
2009157129.tif 000083
【図１７】
2009157129.tif 000084
【図１８】
2009157129.tif 000085
【図１９】
2009157129.tif 000086
【図２０】
2009157129.tif 000087
【図２１】
2009157129.tif 000088
【図２２】
2009157129.tif 000089
【図２３】
2009157129.tif 000090
【図２４】
2009157129.tif 000091
【図２５】
2009157129.tif 000092
【図２６】
2009157129.tif 000093
【図２７】
2009157129.tif 000094
【図２８】
2009157129.tif 000095
【図２９】
2009157129.tif 000096
【図３０】
2009157129.tif 000097
【図３１】
2009157129.tif 000098
【図３２】
2009157129.tif 000099
【図３３】
2009157129.tif 000100
【図３４】
2009157129.tif 000101
【図３５】
2009157129.tif 000102
【図３６】
2009157129.tif 000103
【図３７】
2009157129.tif 000104
【図３８】
2009157129.tif 000105
【図３９】
2009157129.tif 000106
【図４０】
2009157129.tif 000107
【図４１】
2009157129.tif 000108
【図４２】
2009157129.tif 000109
【図４３】
2009157129.tif 000110
【図４４】
2009157129.tif 000111
【図４５】
2009157129.tif 000112
【図４６】
2009157129.tif 000113
【図４７】
2009157129.tif 000114
【図４８】
2009157129.tif 000115
【図４９】
2009157129.tif 000116
【図５０】
2009157129.tif 000117
【図５１】
2009157129.tif 000118
【図５２】
2009157129.tif 000119
【図５３】
2009157129.tif 000120
【図５４】
2009157129.tif 000121
【図５５】
2009157129.tif 000122
【図５６】
2009157129.tif 000123
【図５７】
2009157129.tif 000124
【図５８】
2009157129.tif 000125
【図５９】
2009157129.tif 000126
【図６０】
2009157129.tif 000127
【図６１】
2009157129.tif 000128
【図６２】
2009157129.tif 000129
【図６３】
2009157129.tif 000130
【図６４】
2009157129.tif 000131
【図６５】
2009157129.tif 000132
【図６６】
2009157129.tif 000133
【図６７】
2009157129.tif 000134
【図６８】
2009157129.tif 000135
【図６９】
2009157129.tif 000136
【図７０】
2009157129.tif 000137
【図７１】
2009157129.tif 000138
【図７２】
2009157129.tif 000139
【図７３】
2009157129.tif 000140
【図７４】
2009157129.tif 000141
【図７５】
2009157129.tif 000142
【図７６】
2009157129.tif 000143
【手続補正書】
【提出日】平成21年9月29日(2009.9.29)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に被写体の形状情報取得や画像合成の際に問題になる画像分割の精度を向上するための技術に関する。
【背景技術】
【０００２】
物体の見えは、被写体の表面で反射した入射光が「てかり」として観測される鏡面反射成分や、物体の内部でスキャッタリングを繰り返すことによって観測される拡散反射成分など、複数の成分によって構成されていることが知られている。
【０００３】
近年、デジタルアーカイブを目的とした情報圧縮や被写体の形状・表面材質を取得するために、画像をこのような各成分ごとに分離する手法が広く行われている（例えば、非特許文献１、非特許文献２、非特許文献３）。これは、分離した成分ごとに処理を行うことで、より高精度な処理が可能なためである。
【０００４】
このように画像を各成分に分離する手法として、鏡面反射成分と拡散反射成分に分離する手法が広く行われている。特に偏光情報を利用した手法は、簡単な装置で鏡面反射と拡散反射を分離可能なため、広く研究されている。この手法は、直線偏光した光源を被写体に投光し、カメラと被写体の間に設置した直線偏光フィルタを光軸周りに回転させることにより、鏡面反射成分と拡散反射成分を分離するものである。
【０００５】
直線偏光フィルタの回転角度（偏光主軸角度）をΦとすると、観測される各画素での輝度値は、回転角度Φに対してｓｉｎ関数状に変化することが知られている。このｓｉｎ関数の振幅成分を「鏡面反射成分」、バイアス成分を「拡散反射成分」とすることで、画像の分離を行うことができる。すなわち、画像を構成する複数の画素の各々について、鏡面反射成分および拡散反射成分のいずれが支配的かに応じて、その画素を「鏡面反射領域」および「拡散反射領域」の一方に割り当てることができる。言い換えると、鏡面反射成分が支配的な画素によって「鏡面反射領域」が構成され、拡散反射成分が支配的な画素によって「鏡面反射領域」が構成される。
【０００６】
このようにして被写体の表面に対する領域分割を行う手法は、以下の通り、鏡面反射と拡散反射の偏光特性の違いに依存して実行することが可能になる。
・鏡面反射成分は表面反射によって生じるため、入射光の偏光特性が保持されている。そのため、カメラで観測された輝度の偏光成分として観測される。
・拡散反射はスキャッタリングを繰り返しているため、入射光の偏光特性が失われている。そのため、カメラで観測された輝度の非偏光成分として観測される。
【０００７】
これらの偏光特性は、以下の２条件を前提としている。
（条件１）直線偏光光が投光されている場合、鏡面反射成分は偏光成分として観測される。
（条件２）直線偏光光が投光されている場合、拡散反射成分は非偏光成分として観測される。
【０００８】
図７４（ａ）から（ｃ）を参照して、従来の領域分割を説明する。
【０００９】
図７４（ｂ）および（ｃ）は、それぞれ、図７４（ａ）の画像を従来の領域分割によって分割された鏡面反射領域および拡散反射領域を示している。すなわち、図７４（ｂ）において白色画素によって示される領域は「鏡面反射領域」として分割された領域であるのに対し、図７４（ｃ）において白色画素によって示される領域は「拡散反射領域」として分割された領域である。
【００１０】
これらの画像を見ると、遮蔽エッジ近傍である球の周辺部（図７４（ｂ）の領域Ａ）が「鏡面反射領域」として分割されている。しかし、鏡面反射は正反射領域およびその近傍に生じるものである。このような遮蔽エッジ領域に鏡面反射成分が推定されるということは、分離精度が十分ではないことを示している。
【００１１】
このような問題は、拡散反射成分の一部が偏光するために、（条件２）が満たされないために生じる。以下図７２および図７３を参照しながら、このような問題が生じる原因を考察する。
【００１２】
図７２および図７３は、それぞれ、被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における鏡面反射成分の偏光度を示すグラフおよび拡散反射成分の偏光度を示したグラフである（例えば、Ｌ． Ｂ． Ｗｏｌｆｆ ａｎｄ Ｔ． Ｅ． Ｂｏｕｌｔ， “Ｃｏｎｓｔｒａｉｎｉｎｇ ｏｂｊｅｃｔ ｆｅａｔｕｒｅｓ ｕｓｉｎｇ ａ ｐｏｌａｒｉｚａｔｉｏｎ ｒｅｆｌｅｃｔａｎｃｅ ｍｏｄｅｌ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．１３，Ｎｏ．７，ｐｐ．６３５-６５７，１９９１参照）。ここで、図７２のグラフの横軸は入射角、縦軸は偏光度、また、図７３のグラフの横軸は出射角、縦軸は偏光度を示している。この図から、以下のことがわかる。
・出射角が十分に大きい領域以外では、拡散反射成分の偏光度は十分小さい。
・出射角が十分に大きい領域では、拡散反射成分の偏光度は、鏡面反射成分の偏光度に比べて十分に大きい。
【００１３】
すなわち、以下のことがわかる。
・出射角が十分に大きい領域以外では、（条件２）が成立する。
・出射角が十分に大きい領域では、（条件２）が成立しない。
【００１４】
これが、図７４に示す従来の領域分割において、鏡面反射成分と拡散反射成分の分離が正確に作用しなかった大きな原因である。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】Ｙ． Ｓａｔｏ, Ｍ． Ｄ． Ｗｈｅｅｌｅｒ, ａｎｄ Ｋ． Ｉｋｅｕｃｈｉ, “Ｏｂｊｅｃｔ ｓｈａｐｅ ａｎｄ ｒｅｆｌｅｃｔａｎｃｅ ｍｏｄｅｌｉｎｇ ｆｒｏｍ ｏｂｓｅｒｖａｔｉｏｎ”, ＳＩＧＧＲＡＰＨ ９７, ｐｐ．３７９-３８７, １９９７
【非特許文献２】宮崎大輔、柴田卓司、池内克史、“Ｗａｖｅｌｅｔ-Ｔｅｘｔｕｒｅ法：Ｄａｕｂｅｃｈｉｅｓウェーブレットとパラメトリック反射モデルと円偏光板によるＢＴＦ圧縮、電子情報通信学会論文誌、Ｖｏｌ．Ｊ９０-Ｄ  Ｎｏ．８，ｐｐ．２０８１-２０９３，２００７
【非特許文献３】Ｔ．Ｓｈｉｂａｔａ, Ｔ．Ｔａｋａｈａｓｈｉ, Ｄ．Ｍｉｙａｚａｋｉ, Ｙ．Ｓａｔｏ, Ｋ．Ｉｋｅｕｃｈｉ, “Ｃｒｅａｔｉｎｇ Ｐｈｏｔｏｒｅａｌｉｓｔｉｃ Ｖｉｒｔｕａｌ Ｍｏｄｅｌ ｗｉｔｈ Ｐｏｌａｒｉｚａｔｉｏｎ Ｂａｓｅｄ Ｖｉｓｉｏｎ Ｓｙｓｔｅｍ”, ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ (Ｐｏｌａｒｉｚａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ ＩＩ, Ｐａｒｔ ｏｆ ＳＰＩＥ’ｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ ２００５）, Ｖｏｌ．５８８８, ｐｐ．２５-３５, ２００５
【発明の概要】
【発明が解決しようとする課題】
【００１６】
このような問題は、近年のカメラの高ダイナミックレンジ化により、今後、さらに重要性を増してゆく。従来のカメラでは、輝度のダイナミックレンジが十分に広くないため、拡散反射の偏光度が観測されることは少ない。しかし、近年、カメラの高ダイナミックレンジ化が進んでいるため、前述のような分離精度の劣化が大きな問題となる。
【００１７】
このような鏡面反射成分と拡散反射成分の分離精度劣化は、デジタルアーカイブや拡張現実の分野で用いられているモデルベースの画像合成を行う際に、質感が大きく異なる画像を合成してしまうという大きな問題となる。モデルベースの画像合成とは、ＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）の分野で広く利用されている技術である。視点変換や光源環境変化などの多様な画像処理が可能であるため、デジタルアーカイブやインタラクティブな画像提示方法として非常に有効である。また、効率的なデータ圧縮も可能である。その一例として、画像を鏡面反射成分と拡散反射成分に分離し、鏡面反射成分はＣｏｏｋ−Ｔｏｒｒａｎｃｅモデル、拡散反射成分はＬａｍｂｅｒｔｉａｎモデルで画像をモデル化する手法が知られている。
【００１８】
図７５（ａ）に示す像を被写体の領域Ｃに関して、図７５（ｂ）のグラフに示すデータを取得した。図７５（ｂ）は、図７５（ａ）の領域Ｃに関して、横軸に視線ベクトルと照明方向ベクトルの中間ベクトルβ、縦軸に鏡面反射成分の輝度値Ｉｓをグラフ化したグラフである。図７５（ｂ）のグラフにおいて、白色○は領域Ｃに関して観測された輝度値Ｉｓをプロットしたものである。また、黒色■はＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルの各反射パラメータを推定し、プロットしたものである。この図より、モデルフィッティングがうまく働いていないことがわかる。
【００１９】
図７６は、従来の領域分割手法を利用して作成した合成画像を示している。このように、推定に失敗したパラメータを利用して画像合成を行った場合、合成画像の質感が実物とは大きくかけ離れたものとなってしまう。このような推定失敗の原因は、前述の鏡面反射成分と拡散反射成分の分離精度の劣化に伴い、特に中間ベクトルβが大きな領域において、輝度値Ｉｓが実際より大きな値として推定されてしまっていることである。鏡面反射成分と拡散反射成分の分離精度の不十分さは、それぞれのモデルにおけるパラメータ推定の際に、実際とは異なった鏡面反射成分と拡散反射成分を利用することになる。そのため、実際とは異なるモデルパラメータを推定してしまう。以上のように、画像の正確な領域分割は、モデルベースの画像合成において、非常に重要である。
【課題を解決するための手段】
【００２０】
本発明の画像処理装置被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う画像処理装置であって、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することにより、被写体の偏光画像を取得する偏光画像撮像部を有し、前記被写体の表面における偏光状態と、光源から放射される光の偏光状態および光源位置の少なくとも一方を変化させた場合の前記被写体の表面における偏光状態の変化の程度を示す光源依存度とに基づいて領域分割を行う。
【００２１】
好ましい実施形態において、前記光源を備え、前記光源から放射された光の偏光状態および光源位置の少なくとも一方を変化させることができる投光ユニットと、前記投光ユニットによる前記光源から放射された光の偏光状態および光源位置の少なくとも一方の変化と、前記偏光画像撮像部による撮像との同期処理を行う制御部とを有する。
【００２２】
好ましい実施形態において、前記光源から放射される直線偏光光の偏光状態を変化させる投光制御部と、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、前記投光制御部によって前記光源から放射された光の偏光状態が変化した際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報に基づいて領域分割を行う領域分割部とを有する。
【００２３】
好ましい実施形態において、前記偏光情報取得部は、偏光情報として、偏光度、偏光位相、偏光推定誤差、偏光最大輝度値、および偏光最小輝度値の少なくとも１つを生成する。
【００２４】
好ましい実施形態において、前記領域分割部は、前記被写体の表面が拡散反射領域および鏡面反射領域のいずれかに分割されることとなるように、前記領域分割を行う。
【００２５】
好ましい実施形態において、前記領域分割部は、前記被写体の表面が拡散反射非偏光領域、拡散反射偏光領域および鏡面反射偏光領域のいずれかに分割されることとなるように、前記領域分割を行う。
【００２６】
好ましい実施形態において、前記領域分割部は、前記被写体の表面が光源依存偏光領域、光源依存非偏光領域、光源非依存偏光領域および光源非依存非偏光領域のいずれかに分割されることとなるように、前記領域分割を行う。
【００２７】
好ましい実施形態において、前記領域分割部は、前記被写体の表面がさらに陰影領域に分割されることとなるように、前記領域分割を行う。
【００２８】
好ましい実施形態において、前記投光制御部は、直線偏光光の主軸方向を変化させる。
【００２９】
好ましい実施形態において、前記投光制御部は、直線偏光光の主軸方向を９０度変化させる。
【００３０】
好ましい実施形態において、偏光状態の異なる、複数の投光部を有し、前記投光制御部は、複数の投光部を切り替えることで、偏光状態を変化させる。
【００３１】
好ましい実施形態において、投光部は、偏光画像撮像部の近傍に存在する。
【００３２】
好ましい実施形態において、光源依存度推定部は、偏光位相および偏光度の少なくとも一方の変化値を偏光依存度として推定する。
【００３３】
好ましい実施形態において、前記光源の位置を変化させる投光位置変化部と、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、前記投光制御部によって前記光源の位置が変化した際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報に基づいて領域分割を行う領域分割部と、を有する。
【００３４】
好ましい実施形態において、光源位置の異なる、複数の投光部を有し、前記投光位置変化部は、複数の投光部を切り替えることで、投光部の位置を変化させる。
【００３５】
好ましい実施形態において、前記投光位置変化部は、投光部を移動させることで光源位置を変化させる。
【００３６】
好ましい実施形態において、前記領域分割部は、前記被写体の表面が拡散反射領域および鏡面反射領域のいずれかに分割されることとなるように、前記領域分割を行う。
【００３７】
好ましい実施形態において、前記領域分割部は、前記被写体の表面が鏡面反射領域、拡散反射領域および陰影領域のいずれかに分割されることとなるように、前記領域分割を行う。
【００３８】
好ましい実施形態において、前記領域分割部は、鏡面反射領域、拡散反射領域、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗ領域およびｃａｓｔ  ｓｈａｄｏｗ領域のいずれかに分割されることとなるように、前記領域分割を行う。
【００３９】
本発明の画像処理システムは、投光装置と領域分割装置を有し、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う画像処理システムであって、前記投光装置は、直線偏光光を前記被写体に投光する投光部と、前記投光部の直線偏光光の偏光状態を変化させる投光制御部を有し、前記領域分割装置は、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像部と、前記偏光画像撮像部によって過去に撮像された偏光画像と現在、撮像された偏光画像を比較し、撮像した偏光状態が十分に変化しているかどうかを判断する撮像判定部と、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、前記投光制御部によって前記投光部の本稿状態が変化したと、前記撮像判定部により判定された際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報を利用して、領域分割を行う領域分割部を有する。
【００４０】
本発明による他の画像処理システムは、投光装置と領域分割装置とを有し、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う領域分割システムであって、前記投光装置は、直線偏光光を前記被写体に投光する投光部と、前記投光部の直線偏光光の偏光状態を変化させる投光制御部と、投光を知らせる信号を前記領域分割装置へ送信し、撮像完了を知らせる信号を前記領域分割装置から受信する通信部を有し、前記領域分割装置は、投光を知らせる信号を前記投光装置から受信し、撮像完了を知らせる信号を前記投光装置へ送信する通信部と、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像部と、前記偏光画像撮像部によって過去に撮像された偏光画像と現在、撮像された偏光画像とを比較し、撮像した偏光状態が十分に変化しているかどうかを判断する撮像判定部と、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、前記投光制御部によって前記投光部の偏光状態が変化したと、前記撮像判定部により判定された際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報を利用して、領域分割を行う領域分割部を有する。
【００４１】
本発明の領域分割方法は、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う領域分割方法であって、直線偏光光を前記被写体に投光する投光ステップと、前記投光部の直線偏光光の偏光状態を変化させる投光制御ステップと、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像ステップと、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得ステップと、前記投光制御ステップと前記偏光画像撮像ステップの同期処理を行う制御ステップと、前記投光制御ステップによって前記投光ステップの偏光状態が変化した際の、前記偏光情報取得ステップで生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定ステップと、前記偏光情報取得ステップによって生成された偏光情報と前記光源依存度推定ステップによって推定された光源変動情報を利用して、領域分割を行う領域分割ステップとを含む。
【００４２】
本発明のプログラムは、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う領域分割装置のためのプログラムであって、上記の領域分割方法に含まれるステップをコンピュータに実行させる。
【００４３】
本発明のモデルベース画像合成装置は、パラメータ推定装置と画像合成装置を有し、反射モデルを利用して画像を合成するモデルベース画像合成装置であって、前記パラメータ推定装置は、被写体を撮像する画像撮像部と、上記の領域分割方法によって、前記画像撮像部によって撮像された画像に対する光学的な領域分割を行う領域分割部と、被写体に照射する光源に関する光源情報を推定する光源情報推定部と、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部と、撮像された被写体から、前記領域分割部で分割された領域ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部と、前記パラメータ推定部において推定された反射パラメータを保持するパラメータデータベースを有し、前記画像合成装置は、合成する画像の視点や光源情報を取得する視点・光源情報取得部と、前記パラメータデータベースに保持されている反射パラメータ情報を利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリング部を有する。
【００４４】
本発明のモデルベース画像合成方法は、パラメータ推定ステップと画像合成方法ステップとを含み、反射モデルを利用して画像を合成するモデルベース画像合成方法であって、前記パラメータ推定ステップは、被写体を撮像する画像撮像ステップと、上記の領域分割方法によって、前記画像撮像部によって撮像された画像に対する光学的な領域分割を行う領域分割ステップと、被写体に照射する光源に関する光源情報を推定する光源情報推定ステップと、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得ステップと、撮像された被写体から、前記領域分割部で分割された領域ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定ステップとを含み、画像合成ステップは、合成する画像の視点や光源情報を取得する視点・光源情報取得ステップと、前記形状情報取得ステップによって推定された反射パラメータ情報を利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリングステップとを含む。
【発明の効果】
【００４５】
本発明画像処理によれば、光源状態の依存度と偏光情報という二つの情報を利用することにより、鏡面反射領域と拡散反射領域を正確に分割することが可能である。また、光源状態の依存度と偏光情報という２つの情報に基づく領域分割を、モデルベースの画像合成手法のパラメータ推定に利用することにより、被写体に忠実な画像を合成することが可能である。
【図面の簡単な説明】
【００４６】
【図１】本発明の第１の本実施形態に係る領域分割装置におけるブロック図である。
【図２】本発明の第１の本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。
【図３】本発明の第１の本実施形態に係る領域分割装置が搭載されたカメラの構成例を示す図である。
【図４】本発明におけるパターン偏光子と撮像装置における撮像素子の関係を示した模式図である。
【図５】本発明におけるパターン偏光子の配列状態を説明するための模式図である。
【図６】本発明における正弦関数輝度変化と観測輝度点を説明するための模式図である。
【図７】球体である地球儀の被写体を撮像した画像と、その画像から求めた偏光度ρ１と偏光位相φｍａｘ１、偏光推定誤差Ｅ１の図である。
【図８】球体である地球儀の被写体を撮像した画像と、その画像から求めた偏光度ρ１と偏光位相φｍａｘ１、偏光推定誤差Ｅ１の模式図である。
【図９】図７の画像を輝度の高低に応じて複数の領域に分けた図である。
【図１０】発泡スチロール製の頭部模型の被写体を撮像した画像と、その画像から求めた偏光度ρ１と偏光位相φｍａｘ１、偏光推定誤差Ｅ１の図である。
【図１１】図７とは光源の偏光状態が異なった状態で、球体である地球儀の被写体を撮像した画像と、その画像から求めた偏光度ρ２と偏光位相φｍａｘ２、偏光推定誤差Ｅ２の図である。
【図１２】図７とは光源の偏光状態が異なった状態で、球体である地球儀の被写体を撮像した画像と、その画像から求めた偏光度ρ２と偏光位相φｍａｘ２、偏光推定誤差Ｅ２の模式図である。
【図１３】図１１の画像を輝度の高低に応じて複数の領域に分けた図である。
【図１４】本発明の第１の本実施形態に係る光源依存度推定部によって求めた偏光位相の差分値を画像化した模式図である。
【図１５】偏光位相差を説明するための模式図である。
【図１６】本発明の第１の本実施形態に係る領域分割部における領域分割基準を示した図である。
【図１７】本発明の第１の本実施形態に係る領域分割部の処理の流れを示すフローチャートである。
【図１８】本発明の第１の本実施形態に係る領域分割部の別の処理の流れを示すフローチャートである。
【図１９】本発明の第１の本実施形態に係る領域分割部の別の処理の流れを示すフローチャートである。
【図２０】被写体であるビリヤードボールを撮像した画像と、その模式図である。
【図２１】本発明の第１の実施形態にかかる領域分割装置による撮像条件を示したシステム図である。
【図２２】本発明の第１の本実施形態に係る領域分割方法の処理の途中結果を示す図である。
【図２３】図２２の画像を輝度の高低に応じて複数の領域に分けた図である。
【図２４】本発明の第１の本実施形態に係る領域分割方法の処理の途中結果を示す模式図である。
【図２５】本発明の第１の本実施形態に係る領域分割方法の処理結果を示す図である。
【図２６】本発明の第１の本実施形態に係る領域分割方法の別の処理結果を示す図である。
【図２７】本発明の第１の実施形態にかかる領域分割装置による撮像条件を示した別のシステム図である。
【図２８】本発明の第１の本実施形態に係る領域分割装置が搭載されたカメラの別の構成例を示す図である。
【図２９】本発明の第１の本実施形態に係る領域分割部における別の領域分割基準を示した図である。
【図３０】本発明の第１の本実施形態に係る領域分割部の別の処理の流れを示すフローチャートである。
【図３１】本発明の第２の本実施形態に係る領域分割装置におけるブロック図である。
【図３２】本発明の第２の本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。
【図３３】本発明の第２の本実施形態に係る領域分割装置が搭載されたカメラの構成例を示す図である。
【図３４】本発明の第２の本実施形態に係る領域分割装置が搭載されたカメラの構成例を示す図である。
【図３５】本発明の第２の実施形態にかかる領域分割装置による撮像条件を示したシステム図である。
【図３６】本発明の第２の実施形態にかかる領域分割装置による撮像条件を示した別のシステム図である。
【図３７】本発明の第２の本実施形態に係る領域分割方法の処理の途中結果を示す図である。
【図３８】本発明の第２の本実施形態に係る領域分割方法の処理の途中結果を示す模式図である。
【図３９】図３７の画像を輝度の高低に応じて複数の領域に分けた図である。
【図４０】本発明の第２の実施形態にかかる領域分割装置による各発光装置と撮像装置の位置関係を示した模式図である。
【図４１】本発明の第２の本実施形態に係る領域分割方法の処理結果を示す図である。
【図４２】本発明の第２の本実施形態に係る領域分割方法の別の処理結果を示す図である。
【図４３】本発明の第２の本実施形態に係る領域分割部における陰影領域を含めた領域分割基準を示した図である。
【図４４】本発明の第２の本実施形態に係る陰影領域も領域分割する領域分割部の処理の流れを示すフローチャートである。
【図４５】ａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗによる陰影の分類を説明するための模式図である。
【図４６】ａｔｔａｃｈｅｄ  ｓｈａｄｏｗ領域における多重反射光の入射を説明するための模式図である。
【図４７】ｃａｓｔ  ｓｈａｄｏｗ領域における多重反射光の入射を説明するための模式図である。
【図４８】本発明の第２の本実施形態に係る領域分割部におけるａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗを含めた領域分割基準を示した図である。
【図４９】本発明の第２の本実施形態に係るａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗも領域分割する領域分割部の処理の流れを示すフローチャートである。
【図５０】本発明の第２の本実施形態に係る領域分割部におけるａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗを含めた別の領域分割基準を示した図である。
【図５１】本発明の第２の本実施形態に係るａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗも領域分割する領域分割部の別の処理の流れを示すフローチャートである。
【図５２】本発明の第３の本実施形態に係る領域分割システムにおけるブロック図である。
【図５３】本発明の第３の本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。
【図５４】本発明の第３の本実施形態に係る領域分割装置が搭載されたカメラと発光装置の構成例を示す図である。
【図５５】本発明の第３の本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。
【図５６】本発明の第３の本実施形態に係る領域分割システムにおける別のブロック図である。
【図５７】本発明の第３の本実施形態に係る領域分割方法の別の処理の流れを示すフローチャートである。
【図５８】本発明の第３の本実施形態に係る領域分割装置が搭載されたカメラと発光装置の別の構成例を示す図である。
【図５９】本発明の一実施形態に係る画像合成装置の構成を示すブロック図である。
【図６０】本発明の一実施形態に係る画像合成方法におけるパラメータ推定方法の処理の流れを示すフローチャートである。
【図６１】本発明の一実施形態に係る画像合成方法における画像合成推定方法の処理の流れを示すフローチャートである。
【図６２】本発明の画像合成装置が搭載されたカメラの構成例を示す図である。
【図６３】鏡面球を利用した光源推定方法を説明するための模式図である。
【図６４】法線方向ベクトル、視線ベクトル、光源方向ベクトルの関係を説明するための模式図である。
【図６５】拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数Ｓｒを説明するための模式図である。
【図６６】本発明の一実施形態に係る画像合成処理における鏡面反射画像のパラメータ推定処理の流れを示す図である。
【図６７】入射照度を表す式の各パラメータを説明するための概念図である。
【図６８】シンプレックス法によるパラメータ推定処理の流れを示すフローチャートである。
【図６９】シンプレックス法におけるパラメータ更新処理の流れを示したフローチャートである。
【図７０】本発明の第１の実施形態にかかる領域分割装置を利用して、ＢＲＤＦを求めた模式図である。
【図７１】本発明の一実施形態に係る画像合成処理におけるパラメータＤＢに保持されているモデルパラメータを示す模式図である。
【図７２】被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における鏡面反射成分の入射角に対する偏光度を示したグラフである。
【図７３】被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における拡散反射成分の出射角に対する偏光度を示したグラフである。
【図７４】従来の領域分割によって分割された鏡面反射領域および拡散反射領域を示す図である。
【図７５】従来手法の問題点を説明するために、ＢＲＤＦを求めた模式図である。
【図７６】従来の領域分割手法を利用して作成した合成画像である。
【発明を実施するための形態】
【００４７】
以下、図面を参照しながら本発明の実施形態を説明する。
【００４８】
（第１の実施形態）
まず、本発明の第１の実施形態における画像処理装置の概要について説明する。本実施形態の画像処理装置は、投光部（光源）の偏光状態を変化させることにより、光源依存度を算出する。偏光情報と偏光状態の変化に伴う光源依存度とを利用することにより、被写体の領域分割を行う。
【００４９】
図１は、本実施形態に係る画像処理装置におけるブロック図である。この画像処理装置は、被写体を撮像することにより、被写体の表面を光学的に性質の異なる複数の領域に分割する（領域分割を行う）装置である。
【００５０】
この画像処理装置は、偏光状態を変化させて直線偏光光を被写体に投光する投光ユニット１２１と、被写体の偏光情報を取得する偏光情報取得部１２２と、投光ユニット１２１および偏光情報取得部１２２の同期処理を行う制御部１２０と、投光ユニット１２１によって偏光状態（本実施形態では、直線偏光光の偏光主軸方向）が変化した際に偏光情報取得部１２２で生成される各偏光情報を比較することによって光源依存度情報を推定する光源依存度推定部１０５と、偏光情報取得部１２２によって生成された偏光情報と依存度推定部１０５によって推定された光源変動情報を利用して、領域分割を行う領域分割部１０６を備える。
【００５１】
投光ユニット１２１は、直線偏光光を前記被写体に投光する投光部１０１と、投光部１０１の直線偏光光の偏光状態を変化させる投光制御部１０２とを有している。偏光情報取得部１２２は、被写体の偏光画像を取得する偏光画像撮像部１０３と、受光した偏光に関する情報である偏光情報を生成する偏光情報取得部１０４とを有している。偏光画像撮像部１０３は、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することにより、被写体の偏光画像を取得する。偏光情報取得部１０４は、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
【００５２】
図２は本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。図２のステップＳ１０１において、投光部１０１は、投光制御部１０２によって指示された主軸方向に偏光した偏光光を被写体へ投光する。ステップＳ１０２において、偏光画像撮像部１０３は、後述するパターン偏光子を通して被写体を撮像素子で受光することにより、偏光情報を含んだ画像である第１の偏光画像を取得する。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２とが同期処理を行うことによって実現される。
【００５３】
パターン偏光子は、後述するように３方向以上の偏光主軸角度をもつ。ステップＳ１０３において、偏光情報取得部１０４は、撮像された前記第１の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
【００５４】
ステップＳ１０４において、投光制御部１０２は、投光部１０１の直線偏光光の主軸方向が変化するように投光部１０１を制御し、投光部１０１はステップＳ１０１とは異なった偏光状態の偏光光を被写体へ投光する。ステップＳ１０５において、偏光画像撮像部１０３は再度、パターン偏光子２０１を通して被写体を撮像素子で受光することで、第２の偏光画像を取得する。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２とが同期処理を行うことによって実現される。
【００５５】
第１の偏光画像と第２の偏光画像は、投光部１０１の直線偏光光の主軸方向が変化した偏光画像である。ステップＳ１０６において、偏光情報取得部１０４は、再度、撮像された前記第２の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
【００５６】
ステップＳ１０７において、光源依存度推定部１０５は、第１の偏光画像および第２の偏光画像から前記偏光情報取得部１０４によって取得された偏光情報を比較することで、光源依存度を推定する。ステップＳ１０８において、領域分割部１０６は、前記偏光情報取得部１０４によって生成された偏光情報と前記光源依存度推定部１０５によって推定された光源依存度情報を利用して、領域分割を行う。
【００５７】
ここでは、投光制御部１０２、偏光画像撮像部１０３、偏光情報取得部１０４、光源依存度推定部１０５、領域分割部１０６および制御部１２０は、ＣＰＵ２０４がプログラムを実行することによって実現されるものとする。ただし、これらの機能の全部または一部を、ハードウエアによって実現してもかまわない。メモリ２０３は、偏光画像撮像部１０３によって撮像された偏光画像と、偏光情報取得部１０４によって取得された偏光情報と、光源依存度推定部１０５によって推定された光源依存度情報とを格納する。
【００５８】
次に、図３を参照しながら、本実施形態に係る画像処理装置が搭載されたカメラの構成と動作を説明する。図３は、このようなカメラの構成例を示すブロック図である。図３のカメラは、パターン偏光子２０１、撮像装置２０２、メモリ２０３、ＣＰＵ２０４、投光制御装置２０８、発光装置２０７、回転機構２０６、および偏光子２０５を備えている。
【００５９】
ステップＳ１０１において、図３のカメラから偏光光が被写体に投光させる。フラッシュを発光装置２０７として利用する場合、フラッシュの前方に偏光フィルタ（偏光子２０５）を設置しているため、偏光光を被写体に投光することができる。偏光光を利用する手段として、液晶偏光子などを利用してもかまわない。
【００６０】
偏光子２０５は、回転機構２０６によって回転する。投光制御部１０２は、回転機構２０６を制御することで、偏光光の主軸方向を変化させる。偏光子として偏光フィルタではなく、液晶偏光子を利用する場合、投光制御部１０２は液晶偏光子に印加する電圧を変化させることで、偏光光の主軸方向を変化させる。
【００６１】
以下、図３に示す構成を有するカメラの動作を詳述する。
【００６２】
まず、図２に示すステップＳ１０１において、図１の投光部１０１は、発光装置２０７と偏光子２０５を利用し、投光制御部１０２によって指示された主軸方向に偏光した偏光光を被写体へ投光する。これは、例えばカメラのフラッシュを発光装置２０７として利用する場合、フラッシュの前方に偏光フィルタ（偏光子２０５）を設置することで実現できる。偏光光を利用する手段として、液晶偏光子などを利用してもかまわない。
【００６３】
偏光子２０５は、回転機構２０６によって回転させられる。投光制御部１０２は、回転機構２０６を制御することにより、偏光光の主軸方向を変化させる。偏光子として偏光フィルタではなく、液晶偏光子を利用する場合、投光制御部１０２は液晶偏光子に印加する電圧を変化させることで、偏光光の主軸方向を変化させるようにしても構わない。
【００６４】
ステップＳ１０２において、偏光画像撮像部１０３は、パターン偏光子２０１を通して被写体を撮像装置２０２で受光することにより、偏光情報を含んだ画像である第１の偏光画像を取得する。これは、ＣＰＵ１２０が、発光装置２０７による発光、回転機構２０６による偏光子２０５の回転、および撮像装置２０２による撮像を同期させることにより実行される。
【００６５】
図４は、図１に示す偏光画像撮像部１０３に含まれるパターン偏光子２０１と撮像装置２０２との関係を示した模式図である。本実施形態において、撮像装置２０２にはパターン偏光子２０１が重ねて設置されている。パターン偏光子２０１は、撮像装置２０２の撮像面に平行に設置されることが望ましい。入射光はパターン偏光子２０１を透過して撮像素子２０２に到達して輝度が観測されるため、偏光画像撮像部１０３は偏光情報を取得できる。
【００６６】
図５は、この４種類のパターン偏光子を示しており、各画素内の直線は各画素上に設置された微小偏光板の偏光主軸方向を示している。すなわち、この撮像装置は偏光軸の回転角（Φｉ＝０°、４５°、９０°、１３５°）によって規定される４種類の偏光方向を有する画素を持つ。パターン偏光子は、ＴＭ波が透過、ＴＥ波が反射（透過せず）という偏光特性を示す。
【００６７】
このような特性は例えば、『川嶋、佐藤、川上、長嶋、太田、青木、“パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発”、電子情報通信学会２００６年総合全国大会、Ｎｏ．Ｄ-１１-５２，Ｐ５２，２００６』に記載されたフォトニック結晶を用いて作成することができる。フォトニック結晶の場合表面に形成された溝に平行な振動面を持つ光がＴＥ波、垂直な振動面を持つ光がＴＭ波となる。この偏光情報の取得に際しては輝度のダイナミックレンジとビット数はなるべく大きいこと（例えば１６ビット）が望ましい。
【００６８】
図２のステップＳ１０３において、偏光情報取得部１０４は、第１の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。この処理を詳述する。
【００６９】
偏光子を透過した光（偏光主軸方向に偏光した直線偏光光）の輝度は、偏光子の偏光主軸角によって変化することが知られている。図６は、異なる偏光主軸角度Φｉ＝０°、４５°、９０°、１３５°の４種類の偏光子を透過した輝度４０１から４０４が１本の正弦関数カーブを形成する様子を示す。この正弦関数カーブは、図５の点５０１における偏光特性を示している。ここで、図５は図４の４種類の偏光子２０１と撮像素子２０２を入射光方向から眺めた模式図である。
【００７０】
なお、偏光主軸角度は０°と１８０°（π）は同一である。また、この正弦関数カーブを求める際、撮影ガンマ＝１となるカメラを用いるか、リニアリティ補正により撮影ガンマ＝１となるように補正することが望ましい。この４点は１本の正弦関数カーブ上にちょうど乗るように描かれているが実際には多数の観測点から１８０度周期の正弦関数が最適値として１本決定されることになる。
【００７１】
偏光情報取得部１０４は、偏光情報として、このカーブの振幅と位相情報を取得する。具体的には、パターン偏光子の主軸角φに対する反射光輝度Ｉを以下のように近似する。
【数１】
2009157129.tif 000144
【００７２】
ここで図６に示すようにＡ、Ｂ、Ｃは定数でありそれぞれ、偏光子による輝度の変動カーブの振幅、位相、平均値を表現している。ところで、式１は以下のように展開できる。
【数２】
2009157129.tif 000145
ただし、
【数３】
2009157129.tif 000146
【数４】
2009157129.tif 000147
【００７３】
つまり、４画素のサンプル（φi Ｉi）において以下の式５を最小にするＡ、Ｂ、Ｃを求めることで、正弦関数である式１の近似ができる。ただし、Ｉiは、偏光板回転角φi時の観測輝度を示している。またＮはサンプル数であり、ここでは、４である。
【数５】
2009157129.tif 000148
【００７４】
以上の処理で正弦関数近似のＡ、Ｂ、Ｃの３パラメータが確定する。こうして求めたパラメータを利用して、偏光情報取得部１０４は、偏光情報として、以下の偏光度ρ、偏光位相φｍａｘ、偏光推定誤差Ｅ、偏光最大輝度値Ｉｍａｘ、偏光最小輝度値Ｉｍｉｎの少なくとも１つを取得する。
・偏光度ρ
【数６】
2009157129.tif 000149
・偏光位相φｍａｘ（０≦φｍａｘ≦π[ｒａｄ]）
【数７】
2009157129.tif 000150
・偏光推定誤差Ｅ
【数８】
2009157129.tif 000151
・偏光最大輝度値Ｉｍａｘ
【数９】
2009157129.tif 000152
・偏光最小輝度値Ｉｍｉｎ
【数１０】
2009157129.tif 000153
【００７５】
ここで、偏光度とは、光がどれだけ偏光しているかを表す指標であり、偏光位相とは、偏光主軸角度に依存して変化する輝度が最大となる角度である。また、偏光推定誤差とは、４画素のサンプルについて観測された輝度と近似によって得られた上述の正弦関数から定まる輝度との差の合計である。また、偏光最大輝度値はパターン偏光子の主軸角φを変化させた際にとりうる最大輝度値、偏光最小輝度値はパターン偏光子の主軸角φを変化させた際にとりうる最小輝度値であり、非偏光成分輝度値である。
【００７６】
図７は、球体である地球儀に対して、第１の偏光画像から求めた、偏光度ρ１、偏光位相φｍａｘ１および偏光推定誤差Ｅ１を画像として表示した図である。この図において、図７(ａ）は被写体である地球儀の画像、図７(ｂ）は図７(ａ）の被写体に対する偏光度ρ１、図７(ｃ）は図７(ａ）の被写体に対する偏光位相φｍａｘ１（０°が黒、１８０°が白）、図７(ｄ）は図７(ａ）の被写体に対する偏光推定誤差Ｅ１を示している。また、図８は、図７の各画像を模式的に示した図（濃淡を明瞭化した図）である。この図において、各領域（Ａ０１〜Ｄ０４）は、図９における各領域に対応する。図９は、図７の画像を輝度の高低に応じて複数の領域に分けた図である。いずれも輝度が高い（白い）ほど、値が大きいことを意味している。
【００７７】
図１０は、同様の処理を発泡スチロール製の頭部模型に対して行った結果を示している。これらの画像から、遮蔽エッジ付近で偏光度が大きいこと、被写体の陰影に覆われていない領域では偏光位相が１８０°周期で球体の周囲を時計回りに単調増加していることがわかる。これらの偏光情報画像は被写体の表面法線の向きと深く関連しており、形状を推定する手がかりとなる。
【００７８】
図７（ｂ）〜図７（ｄ）において、背景領域（Ｂａ０１〜Ｂａ０４）のデータが乱れている。これは、背景領域は非常に暗かったため、輝度分解能が低くなってしまったためである。そのため、偏光情報の信頼性が低くなり、データが乱れている。露光時間を長くするなどして、背景領域の輝度を上げることで、背景領域でも十分な精度の偏光情報を取得することができる。背景領域はマスク処理を行うことで、領域分割処理を行わないようにしても構わない。
【００７９】
ステップＳ１０４において、投光制御部１０２は、前記第１の偏光画像を取得した際とは異なった偏光状態の偏光光を被写体へ投光するように、投光部１０１を制御する。投光部１０１は、投光制御部１０２によって指示された主軸方向に偏光した偏光光を被写体へ再度、投光する。
【００８０】
このときの偏光状態の変化とは、例えば偏光主軸の方向を変えることである。投光制御部１０２は、偏光主軸方向を例えば、９０度回転させるようにすればよい。
【００８１】
ステップＳ１０５において、偏光画像撮像部１０３は、前述の通り、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第２の偏光画像を取得する。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２が同期処理を行うことによって実現される。これは、例えば、制御部１２０により、偏光情報を変化させた偏光光を０．２秒の間隔で投光する場合、制御部１２０によって、偏光画像撮像部１０３をステップＳ１０２での撮像を偏光光投光時と同期させ、さらにステップＳ１０２からステップＳ１０５の撮像までの間隔を０．２秒とするようにすればよい。このようにすることで、ユーザは１度の撮像操作で第１の偏光画像と第２の偏光画像の２枚の画像を取得することができる。
【００８２】
ステップＳ１０６において、偏光情報取得部１０４は、撮像された前記第２の偏光画像を構成する単位画素のそれぞれについて、前述の通り、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
【００８３】
図１１は、第２の偏光画像から求めた、偏光度ρ２、偏光位相φｍａｘ２、偏光推定誤差Ｅ２を画像として表示したものである。この図において、図１１(ａ）は被写体である地球儀の画像、図１１(ｂ）は図１１(ａ）の被写体に対する偏光度ρ２、図１１(ｃ）は図１１(ａ）の被写体に対する偏光位相φｍａｘ２（０°が黒、１８０°が白）、図１１(ｄ）は図１１(ａ）の被写体に対する偏光推定誤差Ｅ２を示している。また、図１２は図１１の各画像を模式的に示したものである。この図において、各領域（Ａ１１〜Ｄ１４）は、図１３における各領域（Ａ１１〜Ｄ１４）に対応する。図１３は、図１１の画像を輝度の高低に応じて複数の領域に分けた図である。いずれも輝度が高い（白い）ほど値が大きいことを示している。
【００８４】
図２のステップＳ１０７において、光源依存度推定部１０５は、第１の偏光画像および第２の偏光画像から偏光情報取得部１０４によって取得された偏光情報を比較することで、光源依存度を推定する。この処理について詳述する。
【００８５】
前述のように、鏡面反射領域と拡散反射領域では光源依存度が異なる。ここでは、光源依存度を調べるために、本実施形態では、投光光の偏光軸方向を変化させる。前述のように、投光制御部１０２により、偏光軸方向が９０度異なった直線偏光光を投光することで、第１の偏光画像および第２の偏光画像を得た。これらの画像から求めた偏光位相情報を比較することにより、光源の依存度を推定する。なお、図７と図１１とを比較すると明らかなように、偏光度ρ１および偏光度ρ２は、領域Ｂ１２において略同じ大きさ（同じ輝度）を有している。これは、被写体に投光される偏光光の偏光主軸角度が異なっていても、鏡面反射領域で反射される偏光光の輝度が偶然ほぼ等しくなったことに起因すると考えられる。
【００８６】
図１４は、第１の偏光画像から求めた偏光位相φｍａｘ１と第２の偏光画像から求めた偏光位相φｍａｘ２の差分値を画像化したものを示している。この図において、輝度が高い（白い）画素が差分値の大きな画素を示している。
【００８７】
前述のように、鏡面反射領域は表面反射によって生じるため、入射光の偏光特性が保持されている。すなわち、鏡面反射領域は光源依存度が高いと考えられる。一方、拡散反射領域はスキャッタリングを繰り返しているため、入射光の偏光特性が失われている。すなわち、入射光には影響されず、拡散反射領域は光源依存度が低いと考えられる。
【００８８】
そこで、光源依存度推定部１０５は、第１の偏光画像と第２の偏光画像に対する画素の偏光位相差を利用して、次式に従い、光源依存度として第１の光源依存度ＬＤφを推定する。
【数１１】
2009157129.tif 000154
【００８９】
ただし、
2009157129.tif 000155
は次式で表現される、偏光位相φｍａｘ１[ｒａｄ]とφｍａｘ２[ｒａｄ]の周期πを考慮した差分値である。また、その値域は[０,π／２]である。
【数１２】
2009157129.tif 000156
【００９０】
図１５はφｍａｘ１、φｍａｘ２と
2009157129.tif 000157
の関係を示した図である。第１の光源依存度ＬＤφは、第１の偏光画像と第２の偏光画像の偏光位相が等しい場合に０、偏光位相差が大きくなるほど値が大きくなり、偏光位相差が最大（π／２）の場合に１となる。つまり、光源の偏光状態の変化に依存して偏光位相が変化する場合、第１の光源依存度ＬＤφは大きくなり、光源の偏光状態の変化に偏光位相が影響されない場合、第１の光源依存度ＬＤφは小さくなる。
【００９１】
光源依存度は第１の偏光画像と第２の偏光画像に対する画素の偏光位相差である必要はなく、例えば、第１の偏光画像と第２の偏光画像に対する偏光度の差である第２の光源依存度ＬＤρあっても構わない。この場合、第２の光源依存度ＬＤρは次式で表現される。
【数１３】
2009157129.tif 000158
【００９２】
第２の光源依存度ＬＤρは、第１の光源依存度ＬＤφ同様、第１の偏光画像と第２の偏光画像の偏光度が等しい場合に１、偏光度の差が大きくなるほど値が大きくなり、偏光度の差が最大（１．０）の場合に０となる。つまり、光源の偏光状態の変化に依存して偏光度が変化する場合、第２の光源依存度ＬＤρは大きくなり、光源の偏光状態の変化に偏光度が影響されない場合、第２の光源依存度ＬＤρは小さくなる。なお、前述のように、被写体に投光する偏光光の偏光主軸角度が異なっていても、鏡面反射領域で反射される光の輝度が偶然等しくなる場合がある。そのような場合に生じる誤判低を避けるためには、偏光軸方向が３種類以上異なる偏光光を用いて異なる３つ以上の偏光画像を取得し、それらの偏光画像に基づいて偏光度の差分を評価してもよい。
【００９３】
図２のステップＳ１０８において、領域分割部１０６は、偏光情報取得部１０４によって生成された偏光情報と光源依存度推定部１０５によって推定された光源依存度情報とに基づいて、領域分割を行う。以下、この処理を詳述する。
【００９４】
図１６は、領域分割部１０６の画像分割基準を示している。また、図１７は、領域分割部１０６の処理の流れを示したフローチャートである。以下、この処理の流れを説明する。
【００９５】
まず、図１７のステップＳ２０１において、領域分割部１０６は、画素が非偏光領域偏光領域のいずれに属するかを決定するため、画素の偏光度ρ１の大きさと閾値Ｔｈρとを比較し、偏光度ρが閾値Ｔｈρ以上かＴｈρよりも小さいかを判定する。画素の偏光度ρ１が閾値Ｔｈρより小さかった場合（ステップＳ２０１でＮｏ）、その画素は拡散反射非偏光領域に含まれると判断し（ステップＳ２０２）、処理を終了する。一方、画素の偏光度ρ１が閾値Ｔｈρ以上であった場合（ステップＳ２０１でＹｅｓ）、光源依存度推定部１０５が推定した第１の光源依存度ＬＤφが閾値Ｔｈφより大きいかどうかを決定する（ステップＳ２０３）。第１の光源依存度ＬＤφが閾値Ｔｈφ以上であった場合（ステップＳ２０３でＹｅｓ）、画素は鏡面反射偏光領域であると判断し（ステップＳ２０４）、処理を終了する。一方、第１の光源依存度ＬＤφが閾値Ｔｈφより小さかった場合（ステップＳ２０３でＮｏ）、画素は拡散反射偏光領域に含まれると判断し（ステップＳ２０５）、処理を終了する。
【００９６】
偏光度の閾値Ｔｈρは、被写体の屈折率や被写体の法線方向、光源方向、視線方向などから設定するようにしても構わない。図７２、図７３に示したように、被写体の鏡面反射成分や拡散反射成分の偏光度は屈折率と入射角、出射角が求まれば一意に決定できる。そのため、図７２、図７３で求まる鏡面反射成分や拡散反射成分の偏光度をＴｈρとして利用すればよい。例えば、被写体の屈折率が１．３、入射角が３０度である場合、図７３より、拡散反射成分の偏光度は、必ず０．０５以下になると考えられるので、閾値Ｔｈρとして、０．０５を設定すればよい。
【００９７】
また、被写体の屈折率や被写体の法線方向、光源方向、視線方向などの情報が得られない場合、拡散反射成分の偏光度がとりうる最大値をもとに閾値Ｔｈρとして決定しても構わない。例えば、屈折率２．０以上の被写体は存在しないと仮定すると、図７３より拡散反射成分の偏光度の最大値は０．６程度と考えられるので、閾値Ｔｈρとして、０．８程度を設定すればよい。
【００９８】
第１の光源依存度ＬＤφの閾値Ｔｈφは実験的に決定すればよく、例えば、０．５を設定すればよい。偏光度の閾値Ｔｈρも実験的に決定するようにしても構わない。
【００９９】
ステップＳ２０１において、第１の偏光画像から求めた偏光度ρ１を用いて比較を行うのではなく、第２の偏光画像から求めた偏光度ρ２を用いて比較を行ってもよい。この場合も、閾値Ｔｈρとの比較を行えばよい。また、第１の偏光画像から求めた偏光度ρ１と第２の偏光画像から求めた偏光度ρ２の平均値を用いても良い。例えば、光源の直線偏光光の主軸を９０度変化させる場合、偏光度ρ１と偏光度ρ２の平均値を求めることで、非偏光成分の光源が照射される場合とほぼ等価の偏光度を取得することができる。そのため、より正確な領域分割が可能である。この場合も、閾値Ｔｈρとの比較を行えばよい。
【０１００】
ステップＳ２０１において、第１の偏光画像から求めた偏光推定誤差Ｅ１を用いて比較を行っても良い。この処理は、光源の安定性が低いなど、輝度値の誤差が大きくなる場合に有効である。図１８は、この場合の領域分割部１０６における処理の流れを示すフローチャートである。図１８において、図１７と共通のステップには図１７と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１０１】
図１８のステップＳ２０６において、領域分割部１０６は偏光推定誤差Ｅ１の大きさが閾値ＴｈＥ以上か未満かを判定する。画素の偏光推定誤差Ｅ１が閾値ＴｈＥ以上である場合（ステップＳ２０６でＮｏ）、画素は拡散反射非偏光領域であると判断し（ステップＳ２０２）、処理を終了する。一方、偏光推定誤差Ｅ１が閾値ＴｈＥ未満であった場合（ステップＳ２０６でＹｅｓ）、光源依存度推定部１０５が推定した第１の光源依存度ＬＤφが閾値Ｔｈφより大きいかどうかを比較する（ステップＳ２０３）。
【０１０２】
ステップＳ２０３において、前述の第１の偏光画像と第２の偏光画像に対する偏光度の差である第２の光源依存度ＬＤρを用いても良い。偏光度は多重反射などの影響を強く受けるため、多重反射の影響を受けにくい被写体では、偏光度の差である第２の光源依存度ＬＤρを用いることも有効である。多重反射の影響を受けにくい被写体とは、具体的には、被写体の形状が凸形状の被写体である。第１の光源依存度ＬＤφと第２の光源依存度ＬＤρを組み合わせて使うようにしても構わない。この場合、式１１と式１３の重み付け平均を求めるようにすればよい。２つの偏光情報を組み合わせて利用することで、ロバストな領域分割が可能である。
【０１０３】
図１９は、この場合の領域分割部１０６における処理の流れを示すフローチャートである。図１９において、図１７と共通のステップには図１７と同一の符号を付しており、ここではその詳細な説明は省略する。ステップＳ２０７において、第２の光源依存度ＬＤρが閾値Ｔｈρ以上であった場合（ステップＳ２０７でＹｅｓ）、画素は鏡面反射偏光領域であると判断し（ステップＳ２０４）、処理を終了する。一方、第２の光源依存度ＬＤρが閾値Ｔｈρより小さかった場合（ステップＳ２０７でＮｏ）、画素は拡散反射偏光領域であると判断し（ステップＳ２０５）、処理を終了する。
【０１０４】
第２の光源依存度ＬＤρの閾値Ｔｈρは実験的に決定すればよく、例えば、０．２に設定すればよい。
【０１０５】
図２０、図２２〜図２６は、本実施形態による領域分割を実施した結果を示している。また、図２１は、本実施形態による領域分割を実施した撮像条件を示した図である。
【０１０６】
図２１に示すように、発光装置２０７は、撮像装置２０２の近傍に設置され、回転機構２０６によって偏光子の主軸方向が９０度変化する。図２０（ａ）は、被写体であるビリヤードボールを示している。図２０（ｂ）は、図２０（ａ）に示されるビリヤードボールの表面を示す画像のうち、白い画素からなる領域に符号「Ｂ２１」を付し、他の領域に符号「Ａ２１」を付した図である。また、図２０（ｃ）は、図２０（ｂ）を模式的に示した図（濃淡を明瞭化した図）である。この図において、各領域Ａ２１、Ｂ２１は、図２０（ｂ）における各領域Ａ２１、Ｂ２１に対応する。
【０１０７】
図２２は、図２０（ａ）で示したビリヤードボールを被写体とし、投光制御部１０２により、偏光光の主軸方向を水平方向と垂直方向に変化した場合に偏光情報取得部１０４により取得された偏光情報を示している。図２２（ａ）は偏光光の主軸方向を水平方向として撮像した第１の偏光画像から求めた偏光度ρ１、図２２（ｂ）は第１の偏光画像から求めた偏光位相φｍａｘ１、図２２（ｃ）は偏光光の主軸方向を垂直方向として撮像した第２の偏光画像から求めた偏光度ρ２、図２２（ｄ）は第２の偏光画像から求めた偏光位相φｍａｘ２、図２２（ｅ）は偏光位相φｍａｘ１とφｍａｘ２から求めた第１の光源依存度ＬＤφを示している。
【０１０８】
図２２（ａ）から（ｄ）において、それぞれ、明度の高い画素ほど、偏光度ρ１、偏光位相φｍａｘ１、偏光度ρ２、偏光位相φｍａｘ２の値が大きい。なお、図２２（ｅ）において、第１の光源依存度ＬＤφの値が１の場合は白、０の場合は黒で表現されている。
【０１０９】
図２３は、図２２の画像を輝度の高低に応じて複数の領域に分けた図である。図２４は、図２２の各画像を模式的に示した図（濃淡を明瞭化した図）である。この図において、各領域（Ａ３１〜Ｄ３５）は、図２３における各領域に対応する。また、図２５は、図２２の偏光情報を利用して、本実施形態による領域分割を実施した結果を示している。図２５（ａ）はステップＳ２０１において、第１の偏光画像に対する偏光度ρ１が閾値Ｔｈρ以上の画素を示している。また、図２５（ｂ）、（ｃ）、および（ｄ）は、それぞれ、本実施形態において分割された、「拡散反射非偏光領域」、「鏡面反射偏光領域」、および「拡散反射偏光領域」を示している。また、図２５（ｅ）は拡散反射非偏光領域と拡散反射偏光領域の和集合である「拡散反射領域」を示している。図２５において、白色画素によって構成される領域が、他の領域（黒い画素によって構成される領域）から分割された領域を示している。
【０１１０】
従来の偏光度のみに基づいて領域分割を行う方法では、図２５（ａ）に示される白い画素の領域を「鏡面反射領域」、図２５（ｂ）に示される白い画素の領域を「拡散反射領域」に割り当ててしまうため、前述のように遮蔽エッジ近傍である領域Ａ（図２５（ａ）を誤って鏡面反射領域に含めてしまい、分割された各領域の範囲に大きな誤差が生じてしまう。
【０１１１】
一方、本実施形態における領域分割方法では、偏光情報に加え、光源依存度を利用しているため、図２５（ｃ）に示される白い画素の領域を「鏡面反射領域」、図２５（ｅ）に示される白い画素の領域を「拡散反射領域」に分割する。そのため、従来法に比べ、正確な領域分割が可能である。
【０１１２】
図２６は、ステップＳ２０１において、第１の偏光画像から求めた偏光度ρ１を利用して比較を行うのではなく、第２の偏光画像から求めた偏光度ρ２を利用した結果を示している。図２６（ａ）はステップＳ２０１において、第２の偏光画像に対する偏光度ρ２が閾値Ｔｈρ以上の画素を示している。また、図２６（ｂ）、（ｃ）、および（ｄ）は、それぞれ、本実施形態の領域分割において分割された、「拡散反射非偏光領域」、「鏡面反射偏光領域」、および「拡散反射偏光領域」を示している。また、図２６（ｅ）は、拡散反射非偏光領域と拡散反射偏光領域の和集合である「拡散反射領域」を示している。図２６において、白色画素によって構成される領域が、他の領域（黒い画素によって構成される領域）から分割された領域を示している。
【０１１３】
図２５を参照して説明した領域分割方法と同様に、第２の偏光画像に対する偏光度ρ２を用いても、偏光情報および光源依存度の両方を利用しているため、従来法に比べ、正確な領域分割が可能である。
【０１１４】
図２５、図２６を比較すると、図２６（ｃ）では、白い画素からなる領域Ｂが観察されるが、図２５（ｃ）には、そのような領域Ｂは表れていない。物体の表面に入射して反射される光の偏光状態は、入射する直線方向の偏光方向と入射角または出射角との関係に影響され、ある物体の表面に入射した直線偏光光の反射光の偏光度が偏光方向によって高くなる場合がある。このような場合、そのように偏光度の高い反射光を発する画素について「鏡面反射領域」の一部を誤って判断する可能性がある。このような誤判断を確実に防ぐためには、図１９のステップＳ２０１において、第１の偏光画像から求めた偏光度ρ１と、第２の偏光画像から求めた偏光度ρ２の重み付け和を利用して比較処理を行ってもよい。
【０１１５】
また、図２７に示すように、複数の発光装置２０７および発光装置２０７−２から構成された発光部１０１を用い、発光装置２０７、２０７−２の各々から異なった偏光状態の偏光光を投光するようにしても構わない。この場合、複数の発光装置２０７、２０７−２は近傍に設置されることが望ましい。図２７は、本実施形態による領域分割を実施したときの発光装置２０７、２０７−２、撮像装置２０２、被写体などの配置関係を模式的に示す図である。図２７において、図２１と共通の構成要素には同一の符号を付しており、ここではその詳細な説明は省略する。
【０１１６】
図２８は、本実施形態に係る画像処理装置が搭載されたカメラの構成例を示している。図２８において、図３と共通の構成要素には図３と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１１７】
図２８に示す投光制御部１０２は、光源として機能する発光装置２０７および発光装置２０７−２を切り替えることで、偏光光の主軸方向を変化させる。具体的には発光装置２０７に対する偏光子２０５の偏光主軸方向と、発光装置２０７−２に対する偏光子２０５−２の偏光主軸方向とが互いに直交する関係にある。そのため、図３に示す装置と異なり、回転機構２０６が不要となるため、カメラの小型化が可能である。
【０１１８】
なお、本実施形態では、パターン偏光子２０１にフォトニック結晶を用いているが、偏光素子であればフィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子を使っても構わない。また、パターン偏光子を利用せず、撮像装置のレンズ前に装着した偏光板を回転させながら撮像することで、時系列的に偏光主軸の異なる輝度を取得するようにしても構わない。この方法は、例えば、特開平１１−２１１４３３号公報に開示されている。
【０１１９】
なお、発光装置２０７は撮像装置２０２の近傍に設置することが望ましい。このような配置を採用することにより、発光装置２０７からの投光によって被写体に生じる陰影の領域が小さくなるためである。陰影に関しては、本実施形態の領域分割方法では考慮していないため、陰影が生じると領域分割が困難である。陰影領域では、多重反射などの影響により、光線が複雑になり、偏光情報の信頼性が失われる。このため、陰影領域では領域分割精度が劣化する。陰影を生じにくくすることは、領域分割の精度を向上させるために重要である。
【０１２０】
領域分割部１０６は、画像を「鏡面反射領域」と「拡散反射領域」とに分割する代わりに、画像を「光源依存偏光領域」、「光源依存非偏光領域」、「光源非依存偏光領域」、および「光源非依存非偏光領域」の４つの領域に分割するようにしても構わない。この処理について詳述する。
【０１２１】
図２９は、本実施形態に係る領域分割部１０６の画像分割基準を示している。図３０は、本実施形態に係る領域分割部１０６の処理の流れを示すフローチャートである。図３０において、図１７と共通のステップには図１７と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１２２】
まず、領域分割部１０６は、各画素が非偏光領域および偏光領域のいずれに属するかを判定し、画像を非偏光領域と偏光領域とに分ける領域分割を行うため、画素の偏光度ρ１の大きさと閾値Ｔｈρとを比較し、偏光度ρが閾値Ｔｈρ以上か閾値Ｔｈρよりも小さいかを判定する（ステップＳ２０１）。画素の偏光度ρ１が閾値Ｔｈρ以上であった場合（ステップＳ２０１でＹｅｓ）、その画素は偏光領域に含まれると判断し、光源依存度推定部１０５が推定した第１の光源依存度ＬＤφが閾値Ｔｈφ以上かどうかを判断する（ステップＳ２０３）。第１の光源依存度ＬＤφが閾値Ｔｈφ以上であった場合（ステップＳ２０３でＹｅｓ）、画素は光源依存偏光領域に含まれると判断し（ステップＳ２０８）、処理を終了する。
【０１２３】
一方、第１の光源依存度ＬＤφが閾値Ｔｈφより小さかった場合（ステップＳ２０３でＮｏ）、画素は光源非依存偏光領域に含まれると判断し（ステップＳ２０９）、処理を終了する。
【０１２４】
なお、画素の偏光度ρ１が閾値Ｔｈρより小さかった場合（ステップＳ２０１でＮｏ）、画素は非偏光領域に含まれると判断し、光源依存度推定部１０５が推定した第１の光源依存度ＬＤφが閾値Ｔｈφ２以上かどうかを比較する（ステップＳ２１０）。第１の光源依存度ＬＤφが閾値Ｔｈφ２以上であった場合（ステップＳ２１０でＹｅｓ）、その画素は光源依存非偏光領域に含まれると判断し（ステップＳ２１１）、処理を終了する。一方、第１の光源依存度ＬＤφが閾値Ｔｈφ２より小さかった場合（ステップＳ２１０でＮｏ）、画素は光源非依存非偏光領域に含まれると判断し（ステップＳ２１２）、処理を終了する。
【０１２５】
ステップＳ２１０における光源依存度の閾値Ｔｈφ２は、ステップＳ２０３の閾値Ｔｈφと等しくすればよい。また、偏光度の閾値Ｔｈρや第１の光源依存度ＬＤφの閾値Ｔｈφは前述のように設定すればよい。さらに、ステップＳ２０３とステップＳ２１０において、同一の閾値Ｔｈφを用いるのではなく、異なった閾値を利用するようにしても構わない。この場合、非偏光領域では、輝度分解能が偏光領域に比べ、小さいと考えられるため、Ｔｈφ２の値をＴｈφより小さくすることが望ましい。
【０１２６】
なお、陰影領域の問題を解決するために、後述するように、領域分割部１０６は、分割される領域に「陰影領域」を加えても構わない。
【０１２７】
以上のように、本発明の領域分割方法を利用することで、偏光情報と光源依存度を利用した領域分割を行うことができる。このような領域分割は、拡散反射成分の偏光成分も考慮にいれた鏡面反射領域と拡散反射領域の分割を行うこともできる。
【０１２８】
（第２の実施形態）
次に、本発明の第２の実施形態における画像処理装置の概要について説明する。本実施形態の画像処理装置は、投光部の位置（光源位置）を変化させることにより、光源依存度を算出する。偏光情報と光源位置の変化に伴う光源依存度を利用することで、被写体の領域分割を行う。
【０１２９】
図３１は、本実施形態に係る画像処理装置のブロック図である。図３１において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。第１の実施形態との違いは、投光制御部１０２に代わり、投光位置変化部１１２を有することである。本実施形態の画像処理装置は、投光制御部１０２によって偏光の主軸方向を変化させるのではなく、投光位置変化部１１２によって発光装置２０７の位置を変化させる。
【０１３０】
非偏光を被写体へ投光した場合の偏光位相は、被写体の法線情報に依存している。しかし、その関係は鏡面反射成分と拡散反射成分により異なる。
【０１３１】
まず、鏡面反射成分について考える。被写体の表面法線は２つの自由度を有する。ここでは光の入射光線と入射点（観測点）の法線ベクトルを包含する入射面と、入射面内での入射角という２つの角度を求めることにより決定する。鏡面反射成分の入射面は偏光画像から求められる図６において、輝度が最小となる角度と等しいことが知られている（例えば、Ｏｎｄｆｅｊ Ｄｒｂｏｈｌａｖ ａｎｄ Ｓａｒａ Ｒａｄｉｍ，“Ｕｓｉｎｇ ｐｏｌａｒｉｚａｔｉｏｎ ｔｏ ｄｅｔｅｒｍｉｎｅ ｉｎｔｒｉｎｓｉｃ ｓｕｒｆａｃｅ ｐｒｏｐｅｒｔｉｅｓ”，Ｐｒｏｃ． ＳＰＩＥ Ｖｏｌ．３８２６，ｐｐ．２５３-２６３，１９９９）。
【０１３２】
次に、拡散反射成分について考える。前述の通り、被写体の表面法線は２つの自由度を有する。ここでは光がスキャッタリングを繰り返し、被写体表面から出射した出射光の光線と出射点（観測点）の法線ベクトルを包含する出射面と、出射面内での出射角という２つの角度を求めることにより決定する。拡散反射成分の出射面は偏光画像から求められる図６において、輝度が最大となる角度と等しいことが知られている（例えば、ＵＳＰ５，０２８，１３８号公報）。すなわち、偏光位相情報は、鏡面反射成分では入射角に依存するが、拡散反射成分では入射角に依存しない。カメラ位置を固定したまま光源位置を変化させた場合、入射角のみが変化する。そのため、鏡面反射成分ではその偏光特性が変化するが、拡散反射成分ではその偏光特性が変わらない。
【０１３３】
このことは、鏡面反射成分が被写体のうち、正反射近傍の一部の領域にのみ生じるため、鏡面反射領域であった領域が光源位置を変化させることで拡散反射領域になることも関係している。いずれにせよ、カメラ位置を固定したまま光源位置を変化させた場合、多くの鏡面反射成分では、その偏光特性が変化するが、ほとんどの拡散反射成分では、その偏光特性が変わらない。本実施形態の領域分割方法は、この特性を利用して領域分割を行う。
【０１３４】
図３２は本実施形態における領域分割方法の処理の流れを示すフローチャートである。図３２において、図２と共通のステップおよび対応するステップには、図２と同一の符号を付しており、ここではその詳細な説明は省略する。さらに、図３３は、本実施形態に係る領域分割装置が搭載されたカメラの構成例を示している。図３３において、図３と共通の構成要素および対応する構成要素には、図３と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１３５】
本実施形態における投光位置変化部１１２（図３１）は、例えば図３３に示す投光位置変化装置２１３によって実現される。投光位置変化装置２１３は、発光装置２０７の位置を変化させるものであり、モータなどを用いて実現される。また、発光装置２０７をロボットのアームなどの稼動部に取り付けるようにしてもかまわない。画像処理装置は、複数の発光装置２０７、２０７−２を有しても構わない。図３４は複数の発光装置２０７、２０７−２を有する本実施形態に係る領域分割装置が搭載されたカメラの構成例を示している。この場合、投光位置変化装置２１３は、発光装置２０７、２０７−２を切り替えることで、発光装置の位置（光源位置）を変化させることができる。
【０１３６】
図３２において、投光部１０１は、制御部１２０によって指示された光源位置の発光装置２０７から非偏光光を投光する（ステップＳ３０１）。偏光画像撮像部１０３は、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第３の偏光画像を取得する（ステップＳ１０２）。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２が同期処理を行うことによって実現される。このとき、パターン偏光子は、前述するように３方向以上の偏光主軸角度をもつ。偏光情報取得部１０４は、前述の通り、受光した偏光に関する情報である偏光情報を生成する（ステップＳ１０３）。投光位置変化部１１２は、ステップＳ１０１とは位置が異なる発光装置２０７が発光するように投光部１０１を移動し、投光部１０１はステップＳ３０１と異なった位置から被写体へ非偏光光を投光する（ステップＳ３０２）。
【０１３７】
偏光画像撮像部１０３は再度、パターン偏光子２０１を通して被写体を撮像素子で受光することで、第４の偏光画像を取得する（ステップＳ１０５）。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２が同期処理を行うことによって実現される。第３の偏光画像と第４の偏光画像は、前記投光部１０１の光源（発光装置２０７）位置が変化した偏光画像である。偏光情報取得部１０４は、再度、撮像された前記第４の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する（ステップＳ１０６）。光源依存度推定部１０５は、第３の偏光画像および第４の偏光画像から前記偏光情報取得部によって取得された偏光情報を比較することで、光源依存度を推定する（ステップＳ１０７）。領域分割部１０６は、前記偏光情報取得部１０４によって生成された偏光情報と前記光源依存度推定部１０５によって推定された光源依存度情報を利用して、領域分割を行う（ステップＳ１０８）。
【０１３８】
以下、図を用いてこの処理を詳述する。
【０１３９】
ステップＳ３０１において、投光部１０１は、制御部１２０によって指示された光源位置の発光装置２０７から非偏光光を投光する。これは、投光部１０１を複数の発光装置２０７から構成し、投光位置変化部１１２によって、は投光する発光装置２０７、２０７−２を切り替えることで、光源位置を変化させるようにすればよい。図３５は、本実施形態による領域分割を実施した撮像条件を示したシステム図である。図３５において、図２１と共通の構成要素には図３と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１４０】
投光位置変化部１１２は投光位置変化装置２１３によって、発光装置２０７を移動させることで光源位置を変化させるようにしても構わない。投光位置変化装置２１３は、モータなどによって実現される。ロボットの稼動部に発光装置２０７を設置するようにしてもかまわない。図３６は、本実施形態による領域分割を実施した撮像条件を示したシステム図である。図３６において、図３５と共通の構成要素には図３５と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１４１】
ステップＳ１０２において、前述の通り、偏光画像撮像部１０３は、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第３の偏光画像を取得する。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２が同期処理を行うことによって実現される。
【０１４２】
ステップＳ１０３において、前述の通り、偏光情報取得部１０４は、撮像された前記第３の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
【０１４３】
ステップＳ３０２において、投光位置変化部１１２は、ステップＳ３０１とは位置が異なる発光装置２０７−２が発光するように投光部１０１を制御することで、投光部１０１はステップＳ３０１と異なった位置から被写体へ投光する。これは、前述のように、投光部１０１を複数の発光装置２０７、２０７−２から構成する、または、発光装置２０７を移動させることで光源位置を変化させるようにすればよい。
【０１４４】
ステップＳ１０５において、偏光画像撮像部１０３は、前述の通り、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第４の偏光画像を再度、撮像する。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２が同期処理を行うことによって実現される。第４の偏光画像は、第３の偏光画像に比べ、被写体は同じであるが、投光光の偏光状態のみが異なった画像である。
【０１４５】
ステップＳ１０６において、前述の通り、偏光情報取得部１０４は、撮像された前記第４の偏光画像を構成する単位画素のそれぞれについて、前述の通り、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
【０１４６】
ステップＳ１０７において、前述の通り、光源依存度推定部１０５は、第３の偏光画像および第４の偏光画像から前記偏光情報取得部によって取得された偏光情報を比較することで、光源依存度を推定する。ここでは、偏光情報として、偏光位相情報を比較することで、光源依存度を推定する。
【０１４７】
ステップＳ１０８において、前述の通り、領域分割部１０６は、前記偏光情報取得部１０４によって生成された偏光情報と前記光源依存度推定部１０５によって推定された光源依存度情報を利用して、領域分割を行う。また、領域分割部１０６の画像分割基準は図１６と同様であり、領域分割部１０６の処理の流れを示したフローチャートも図１７と同様である。
【０１４８】
図３７〜図４２は、本実施形態による領域分割を実施した結果を示している。図３７は、地球儀を被写体とし、投光位置変化部１１２により、発光装置２０７の位置を変化した場合に偏光情報取得部１０４により取得された偏光情報を示している。この図において、図３７（ａ）は発光装置２０７を画像向かって右側に配置して撮像した第３の偏光画像から求めた偏光度ρ３、図３７（ｂ）は第３の偏光画像から求めた偏光位相φｍａｘ３、図３７（ｃ）は発光装置２０７−２をカメラ上方に配置して撮像した第４の偏光画像から求めた偏光度ρ４、図３７（ｄ）は第４の偏光画像から求めた偏光位相φｍａｘ４、図３７（ｅ）は偏光位相φｍａｘ３とφｍａｘ４から求めた第１の光源依存度ＬＤφを示している。図３７（ｅ）において、第１の光源依存度ＬＤφの値が１の場合は白、０の場合は黒で表現されている。また、図３８は、図３７の各画像を模式的に示した図（濃淡を明瞭化した図）である。この図において、各領域（Ａ４１〜Ｅ４５）は、図３９における各領域に対応する。図３９は、図７の画像を輝度の高低に応じて複数の領域に分けた図である。
【０１４９】
図４０は、このときの発光装置２０７、２０７−２と撮像装置２０２の位置関係を示した模式図である。また、図４１は、図３７の偏光情報を利用して、本実施形態による領域分割を実施した結果を示している。この図において、図４１（ａ）はステップＳ２０１において、第３の偏光画像に対する偏光度ρ３が閾値Ｔｈρ以上の画素を示している。また、図４１（ｂ）（ｃ）（ｄ）はそれぞれ、本実施形態の領域分割において分割された、拡散反射非偏光領域、鏡面反射偏光領域、拡散反射偏光領域を示している。また、図４１（ｅ）は拡散反射非偏光領域と拡散反射偏光領域の和集合を求めた、拡散反射領域を示している。図４１において、白色画素がそれぞれ、分割された領域を示している。従来の偏光度のみを利用した方法では、図４１（ａ）を鏡面反射領域、図４１（ｂ）を拡散反射領域と分割してしまうため、前述のように遮蔽エッジ近傍に大きな誤差が生じてしまう。一方、本実施形態における領域分割方法では、偏光情報に加え、光源依存度を利用しているため、図４１（ｃ）を鏡面反射領域、図４１（ｅ）を拡散反射領域と分割する。そのため、従来法に比べ、正確な領域分割が可能である。
【０１５０】
また、図４２は、ステップＳ２０１において、第３の偏光画像から求めた偏光度ρ３を利用して比較を行うのではなく、第４の偏光画像から求めた偏光度ρ４を利用した結果を示している。この図において、図４２（ａ）はステップＳ２０１において、第４の偏光画像に対する偏光度ρ４が閾値Ｔｈρ以上の画素を示している。また、図４２（ｂ）（ｃ）（ｄ）はそれぞれ、本実施形態の領域分割において分割された、拡散反射非偏光領域、鏡面反射偏光領域、拡散反射偏光領域を示している。また、図４２（ｅ）は拡散反射非偏光領域と拡散反射偏光領域の和集合を求めた、拡散反射領域を示している。図４２において、白色画素がそれぞれ、分割された領域を示している。図４１同様、いずれの入力画像を用いた場合であっても、本実施形態における領域分割方法では、偏光情報に加え、光源依存度を利用しているため、従来法に比べ、正確な領域分割が可能である。しかし、図４１および図４２において、背景領域ではデータが乱れている。これは、前述の通り、背景領域は非常に暗かったため、輝度分解能が低くなってしまったためである。そのため、偏光情報の信頼性が低くなり、データが乱れている。露光時間を長くするなどして、背景領域の輝度を上げることで、背景領域でも十分な精度の偏光情報を取得することができる。背景領域はマスク処理を行うことで、領域分割処理を行わないようにしても構わない。また、陰影領域に関しても領域分割に失敗している。これは、陰影に関しては、前述の通り、本実施形態の領域分割方法は陰影を考慮していないためである。
【０１５１】
領域分割部１０６は、陰影領域を考慮した領域分割を行っても構わない。この場合、偏光情報、光源依存度情報に加え、画像の輝度情報を利用することが望ましい。図４３は、この処理における領域分割部１０６の画像分割基準を示している。また、図４４は陰影領域も領域分割する本実施形態に係る領域分割部１０６の処理の流れを示すフローチャートである。図４４において、図１７と共通のステップには図１７と同一の符号を付しており、ここではその詳細な説明は省略する。この処理について詳述する。
【０１５２】
領域分割部１０６は、まず、画素が陰影領域であるかどうかを推定するため、設定された閾値と輝度値を比較し、輝度値が閾値以下か否かを判定する（ステップＳ４０１）。これは、前述のように、陰影領域の輝度値が低いことを利用し、輝度値が閾値以下の画素を陰影領域と推定するものである。このように陰影領域を推定するための閾値は実験的に決定すればよく、例えば、１６ビットモノクロ画像に対しては、２５６を設定すればよい。また、陰影領域を検出するための輝度値としては、偏光情報取得部１０４で取得した、偏光最大輝度値Ｉｍａｘや偏光最小輝度値Ｉｍｉｎ、または偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの平均値や重み付け平均値（例えば、Ｉｍａｘ＋２・Ｉｍｉｎ）などを利用するようにしても構わない。特に、偏光最小輝度値Ｉｍｉｎを利用した場合、輝度値が非常に高くなり、白とびが生じる可能性の高い鏡面反射成分の影響を小さくすることができるため、非常に有効である。また、平均値であるＩｍａｘ＋Ｉｍｉｎは、非偏光の光源下において、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、この平均値を利用して画像処理を行うことで、通常の偏光を利用しない場合と同様の処理を行うことができる。
【０１５３】
画素の輝度値が閾値以下であった場合（ステップＳ４０１でＹｅｓ）、画素は陰影領域であると判断し（ステップＳ４０２）、処理を終了する。一方、画素の輝度値が閾値以上であった場合（ステップＳ４０１でＮｏ）、画素は陰影領域ではないと判断し、図１７のステップＳ２０１へ進み、前述の領域分割処理を行う。
【０１５４】
また、偏光情報を利用することで、陰影領域をさらにａｔｔａｃｈｅｄ  ｓｈａｄｏｗ領域とｃａｓｔ  ｓｈａｄｏｗ領域に分割するようにしても構わない。この処理について詳述する。
【０１５５】
まず、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗについて説明する。図４５はａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗという陰影の分類を説明するための模式図である。ここで、ある面６０５におかれた被写体６０４が、光源６０２に照らされている。この図において、６０６と６０７はどちらも陰影を示している。６０６は被写体６０４の法線が光源６０２を向いていないために生じるａｔｔａｃｈｅｄ  ｓｈａｄｏｗである。また、６０７は６０５において、遮蔽物である被写体６０４によって光が遮蔽されることによって生じるｃａｓｔ  ｓｈａｄｏｗである。
【０１５６】
次に、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗの偏光特性の違いについて説明する。まず、地上で撮像されるほとんどの撮像シーンでは成り立つ、以下の条件３が満たされた撮像シーンにおいて、撮像が行なわれると想定する。
【０１５７】
条件３：「被写体が存在する撮像シーンには、近傍に広い面を有する物体が存在し、ある広い面から被写体に関して反対方向には光源が存在する」
これは、例えば以下のような撮像シーンでは成り立つ。
１．屋内シーンにおいて、被写体であるボールが机の上に置かれている。また、このボールは天井に設置された蛍光灯で照らされている。
２．屋内シーンにおいて、被写体である人物が、床面に置かれた椅子に座っている。また、この人物は、窓から差し込んでくる太陽光で照らされている。
３．屋外シーンにおいて、被写体である自動車が、道路上を走行している。この被写体は、太陽光で照らされている。
【０１５８】
また、壁や建物も広い面を有するため、地上で撮像されるほとんどの撮像シーンではこの条件が成り立つ。
【０１５９】
この条件３が成り立つ場合に、まずａｔｔａｃｈｅｄ  ｓｈａｄｏｗを考える。図４５で示したように、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗは被写体の法線が光源と反対方向を向いているために生じる陰影である。ここで、条件３より、光源と反対方向には広い面が存在していることと、陰影領域には実際には多数の回り込み光（多重反射光）が存在していることを考慮すると、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗには、さまざまな方向から多重反射光が入射していると考えられる。つまり、カメラとａｔｔａｃｈｅｄ  ｓｈａｄｏｗが生じている画素の法線に対して、正反射となる多重反射光が存在すると考えられる。図４６はこの様子を示した模式図である。この図において、本実施形態に係る領域分割装置が搭載された撮像装置６０１が示されている。
【０１６０】
被写体表面の反射特性は、前述のように、てかりである鏡面反射成分と、マットな反射成分である拡散反射成分の和として表現されることが知られている。拡散反射成分は、被写体に投光する光源がいずれの方向に存在しても観測されるが、鏡面反射成分は、被写体の法線方向と視線方向に対し、ほぼ正反射方向に光源が存在する場合にのみ観測される、方向依存性の強い成分である。これは、偏光特性に関しても成り立つ。
【０１６１】
被写体がてかりである鏡面反射を生じる物体の場合、すべての方向から光が投光された場合、被写体は正反射成分である鏡面反射による影響を強く受けることが知られている（例えば、透明物体に関しては、斉藤めぐみ、佐藤洋一、池内克史、柏木寛、"ハイライトの偏光解析にもとづく透明物体の表面形状測定"、電子情報通信学会論文誌 Ｄ-ＩＩ，Ｖｏｌ． Ｊ８２-Ｄ-ＩＩ，Ｎｏ．９，ｐｐ．１３８３-１３９０，１９９９）。そのため、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗは鏡面反射の偏光特性を持つ。
【０１６２】
鏡面反射成分と拡散反射成分の偏光度を示した、前述の図７２、図７３から、すべての方向から光が入射された場合、拡散反射成分に比べ鏡面反射成分の偏光度が高くなることがわかる。このことから、偏光特性としても鏡面反射成分が支配的になると推測される。
【０１６３】
また、出射角が９０°に近い、遮蔽エッジなどを除外した場合、図７２、図７３からわかるように、鏡面反射成分の偏光度は拡散反射成分に比べて高い。そのため、鏡面反射成分の反射特性を示すａｔｔａｃｈｅｄ  ｓｈａｄｏｗは、相対的に偏光度が高くなる。
【０１６４】
次に、ｃａｓｔ  ｓｈａｄｏｗについて考える。図４５で示したように、ｃａｓｔ  ｓｈａｄｏｗは何らかの遮蔽物によって光が遮蔽されることによって生じる陰影である。ここで、条件３を考慮すると、ｃａｓｔ  ｓｈａｄｏｗは、広い面と近い法線方向を持った面に生じやすくなる。そのため、多重反射光はａｔｔａｃｈｅｄ  ｓｈａｄｏｗに比べて限られた方向からしか入射しない。このことから、正反射方向に光源が存在する可能性は低いと考えられる。図４７はこの様子を示した模式図である。
【０１６５】
さらに、図７３で示したように、拡散反射成分の偏光度は相対的に低い。このことから、ｃａｓｔ  ｓｈａｄｏｗの偏光成分は比較的小さくなることがわかる。陰影の領域では、輝度そのものが小さくなるため、小さな偏光成分を推定することは非常に困難である。そのため、ｃａｓｔ  ｓｈａｄｏｗの偏光推定誤差は非常に大きくなる。
【０１６６】
以上のことをまとめると、陰影領域の偏光特性は、以下のように分類される。
○ａｔｔａｃｈｅｄ  ｓｈａｄｏｗ
・偏光度が高く、偏光推定誤差が小さい。
・多くの場合、鏡面反射特性を示す。
○ｃａｓｔ  ｓｈａｄｏｗ
・偏光度が低く、偏光推定誤差が大きい。
・多くの場合、拡散反射特性を示す。
【０１６７】
この分類基準を利用することで、陰影をａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗに分割する。
【０１６８】
図４８は、この処理における領域分割部１０６の画像分割基準を示している。また、図４９はａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗも含めた領域分割する本実施形態に係る領域分割部１０６の処理の流れを示すフローチャートである。図４９において、図４４と共通のステップには図４４と同一の符号を付しており、ここではその詳細な説明は省略する。この処理について詳述する。
【０１６９】
領域分割部１０６は、まず、画素が陰影領域であるかどうかを推定するため、設定された閾値と輝度値を比較し、輝度値が閾値以下か否かを判定する（ステップＳ４０１）。これは、前述のように、陰影領域は輝度値が低いことを利用し、輝度値が閾値以下の画素を陰影領域と推定するものである。画素の輝度値が閾値より大きかった場合、画素は陰影領域ではないと判断し（ステップＳ４０１でＮｏ）、図１７のステップＳ２０１へ進み、前述の領域分割処理を行う。一方、画素の輝度値が閾値以下であった場合、画素は陰影領域であると判断し（ステップＳ４０１でＹｅｓ）、偏光情報取得部１０４で取得した偏光推定誤差Ｅが閾値Ｔｈ＿Ｅｒｒより大きいかどうかを判断する（ステップＳ４０３）。偏光推定誤差Ｅが閾値Ｔｈ＿Ｅｒｒ以下であった場合（ステップＳ４０３でＮｏ）、画素はａｔｔａｃｈｅｄ  ｓｈａｄｏｗであると判断し（ステップＳ４０４）、処理を終了する。一方、偏光推定誤差Ｅが閾値Ｔｈ＿Ｅｒｒより大きかった場合（ステップＳ４０３でＹｅｓ）、画素はｃａｓｔ  ｓｈａｄｏｗであると判断し（ステップＳ４０５）、処理を終了する。
【０１７０】
このときの閾値Ｔｈ＿Ｅｒｒは撮像画像の輝度値や式１の振幅成分Ａ、バイアス成分Ｃを基準に決定すればよい。例えば、振幅成分Ａを基準に閾値Ｔｈ＿Ｅｒｒを決定する場合、以下のように決定すればよい。
【数１４】
2009157129.tif 000159
【０１７１】
この式は、偏光推定誤差Ｅが振幅成分Ａに対してどの程度、異なっているかを示している。ここで、Ｔｈ＿Ｅは適当な正の定数であり、実験的に決定すればよく、例えば、０．３を設定すればよい。また、Ｎは前述のサンプル数である。
【０１７２】
陰影をａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗに分割する基準は、偏光推定誤差情報に限ったものではなく、例えば、偏光度情報であっても構わない。この処理を詳述する。
【０１７３】
図５０は、この処理における領域分割部１０６の画像分割基準を示している。また、図５１は陰影領域を領域分割する本実施形態に係る領域分割部１０６の処理の流れを示すフローチャートである。図５１において、図４９と共通のステップには図４９と同一の符号を付しており、ここではその詳細な説明は省略する。この処理について詳述する。
【０１７４】
領域分割部１０６は、前述の通り、画素が陰影領域であるかどうかを推定するため、設定された閾値と輝度値を比較し、輝度値が閾値以下か否かを判定する（ステップＳ４０１）。輝度が閾値を超えていた場合（ステップＳ４０１でＮｏ）、図１７のステップＳ２０１へ進み、前述の領域分割処理を行う。一方、輝度が閾値以下であった場合（ステップＳ４０１でＹｅｓ）、画素は陰影領域であると判断し、偏光情報取得部１０４で取得した偏光度ρが閾値Ｔｈρ３より大きいかどうかを判断する（ステップＳ４０６）。偏光度ρが閾値Ｔｈρ３以上であった場合（ステップＳ４０６でＮｏ）、画素はａｔｔａｃｈｅｄ  ｓｈａｄｏｗであると判断し（ステップＳ４０４）、処理を終了する。一方、偏光推定誤差Ｅが閾値Ｔｈρ３より小さかった場合（ステップＳ４０６でＹｅｓ）、画素はｃａｓｔ  ｓｈａｄｏｗであると判断し（ステップＳ４０５）、処理を終了する。
【０１７５】
このとき、ステップＳ４０６における偏光度の閾値Ｔｈρ３はステップＳ２０３の閾値Ｔｈρと等しくすればよい。ステップＳ２０３とステップＳ４０６において、同一の閾値Ｔｈρを用いるのではなく、異なった閾値を利用するようにしても構わない。この場合、陰影領域では、輝度分解能が偏光成分に比べ、小さいと考えられるため、Ｔｈρ３の値をＴｈρより小さくすることが望ましい。
【０１７６】
以上のように、本発明の領域分割方法を利用することで、偏光情報と光源依存度を利用した領域分割を行うことができる。このような領域分割は、拡散反射成分の偏光も考慮にいれた鏡面反射成分と拡散反射成分の分割を行うこともできる。また、偏光情報と光源依存度に加え、輝度情報も利用した領域分割を行うことも可能である。このような領域分割は、陰影領域も考慮にいれた鏡面反射領域と拡散反射領域の分割、さらにはａｔｔａｃｈｅｄ  ｓｈａｄｏｗやｃａｓｔ  ｓｈａｄｏｗの分割を行うこともできる。
【０１７７】
（第３の実施形態）
図５２は、本実施形態に係る領域分割システムにおけるブロック図を示している。図５２において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１７８】
第１の実施形態との違いは、投光装置１０８と領域分割装置１０９を分離させ、領域分割装置１０９は撮像判定部１０７を有することである。また、図５３は本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。図５３において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。さらに、図５４は、本実施形態に係る領域分割装置が搭載されたカメラと投光装置の構成例を示している。図５４において、図３と共通の構成要素には図３と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１７９】
本実施形態の領域分割システムは、投光装置１０８と領域分割装置１０９を有し、被写体を撮像することによって被写体の表面を光学的に領域分割を行う領域分割システムであって、投光装置１０８は、直線偏光光を前記被写体に投光する投光部１０１と、投光部１０１の直線偏光光の偏光状態を変化させる投光制御部１０２を有し、主軸方向の異なった偏光光を時系列的に被写体へ投光する。また、領域分割装置１０９は、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像部１０３と、偏光画像撮像部１０３によって過去に撮像された偏光画像と現在、撮像された偏光画像を比較し、撮像した偏光状態が十分に変化しているかどうかを判断する撮像判定部１０７と、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する偏光情報取得部１０４と、投光制御部１０２によって投光部１０１の偏光状態が変化した際の、偏光情報取得部１０４で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部１０５と、偏光情報取得部１０４によって生成された偏光情報と光源依存度推定部１０５によって推定された光源変動情報を利用して、領域分割を行う領域分割部１０６を備える。
【０１８０】
次に、本実施形態の領域分割装置１０９について詳述する。
【０１８１】
まず、ステップＳ１０２において、前述の通り、偏光画像撮像部１０３は、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第１の偏光画像を取得する。
【０１８２】
ステップＳ１０３において、前述の通り、偏光情報取得部１０４は、撮像された前記第１の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
【０１８３】
ステップＳ１０５において、偏光画像撮像部１０３は、前述の通り、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第２の偏光画像を再度、撮像する。
【０１８４】
ステップＳ５０１において、撮像判定部１０７は、前記第１の偏光画像と前記第２の偏光画像を比較し、撮像した偏光状態が十分に変化しているかどうかを判断する。これは、撮像した偏光画像の輝度値を比較すればよい。具体的には、撮像された第２の偏光画像と第１の偏光画像の差分画像を作成し、その差分値の最大値が閾値以上の場合、撮像した偏光状態が十分に変化していると判断すればよい。このときの閾値は、実験的に決定すればよく、例えば、１６ビットモノクロ画像に対しては、１０００を設定すればよい。
【０１８５】
本実施形態の領域分割方法では、投光装置１０８と領域分割装置１０９は別構成となっており、投光装置１０８は領域分割装置１０９と同期が取られていない。そのため、領域分割装置１０９は、撮像した画像の偏光状態が変化しているかどうかを領域判定部１０７にて判断する。
【０１８６】
撮像判定部１０７が、十分に偏光状態が変化していると判断した場合（ステップＳ５０１でＹｅｓ）、ステップＳ１０６において、前述の通り、偏光情報取得部１０４は、撮像された前記第２の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。一方、撮像判定部１０７が、十分に偏光状態が変化していないと判断した場合（ステップＳ５０１でＮｏ）、領域分割装置１０９は再度、前述の通り、偏光情報を含んだ画像である第２の偏光画像を取得する。ステップＳ１０６以降の処理は第１の実施形態と同様なため、詳細な説明は省略する。
【０１８７】
撮像した偏光状態が十分に変化しているかどうかを判断するために、偏光画像ではなく、偏光情報を取得するようにしても構わない。この場合、第２の偏光情報と第１の偏光情報の差分を作成し、その差分の最大値が閾値以上の場合、撮像した偏光状態が十分に変化していると判断すればよい。このときの閾値は、実験的に決定すればよく、例えば、偏光情報として偏光位相の差分を計算する場合、閾値は９０度とすればよく、また、偏光情報として偏光度の差分を計算する場合、閾値は０．１とすればよい。
【０１８８】
図５５は本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。図５５において、図５３と共通のステップには図５３と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１８９】
本実施形態における領域分割システムは、投光装置１０８と領域分割装置１０９を分離させることにより、より小型の領域分割装置１０９を実現することが可能である。
【０１９０】
投光装置１０８と領域分割装置１０９は同期処理を行ない、領域分割装置１０９は投光装置１０８からの同期信号により撮像を行うようにしても構わない。この処理について説明する。
【０１９１】
図５６は、本実施形態に係る画像処理システムにおけるブロック図を示している。図５６において、図５２と共通の構成要素には図５２と同一の符号を付しており、ここではその詳細な説明は省略する。図５２に示す構成との違いは、投光装置１０８、領域分割装置１０９ともに通信部１１０、１１１を有し、さらに、領域分割装置１０９には撮像判定部１０７が存在しない点である。図５７は本実施形態における領域分割方法の処理の流れを示すフローチャートである。図５７において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。図５８は、本実施形態に係る領域分割装置が搭載されたカメラと投光装置の構成例を示している。図５８において、図５４と共通の構成要素には図５４と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１９２】
前述のように、ステップＳ１０１によって投光部１０１は、投光制御部１０２によって指示された主軸方向に偏光した偏光光を投光する。その後、投光装置１０８は通信装置２０９によって、投光を知らせる信号を領域分割装置１０９へ送信する（ステップＳ５０２）。領域分割装置１０９は前記投光を知らせる信号を通信装置２１０で受信すると（ステップＳ５０３）、前述のように、偏光画像撮像部１０３は、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第１の偏光画像を取得する（ステップＳ１０２）。このとき、パターン偏光子は、前述するように３方向以上の偏光主軸角度をもつ。偏光情報取得部１０４は、前述の通り、受光した偏光に関する情報である偏光情報を生成し（ステップＳ１０３）、領域分割装置１０９は通信装置２１０によって、第１の偏光画像の撮像完了を知らせる信号を投光装置１０８へ送信する（ステップＳ５０４）。投光装置１０８は前記撮像完了を知らせる信号を通信装置２０９で受信すると（ステップＳ５０５）、前述のように投光制御部１０２は、前記第１の偏光画像を取得した際とは異なった偏光状態の偏光光を被写体へ投光するように、投光部１０１を制御する。そして、投光部１０１は、投光制御部１０２によって指示された主軸方向に偏光した偏光光を被写体へ再度、投光する（ステップＳ１０４）。その後、投光装置１０８は再度、通信装置２０９によって、投光を知らせる信号を領域分割装置１０９へ送信する（ステップＳ５０６）。領域分割装置１０９は前記投光を知らせる信号を通信装置２１０で受信すると（ステップＳ５０７）、前述のように、ステップＳ１０５〜Ｓ１０８によって、第２の偏光画像を取得し、最終的に領域分割を実施する。
【０１９３】
投光装置１０８は投光制御部１０２を有するのではなく投光位置変化部１１２を有し、前述の通り、光源の位置を変化させるようにしても構わない。
本実施形態における領域分割システムは、投光装置１０８と領域分割装置１０９を分離させ、通信により投光と撮像の同期をとることにより、より小型の領域分割装置１０９でありながら、効率的な領域分割を実現することが可能である。
【０１９４】
（領域分割を利用したモデルベースの画像合成）
本発明の領域分割は、デジタルアーカイブなどに使われているモデルベースの画像合成処理に特に有効である。モデルベースの画像合成は、撮像した画像の光源方向や視線方向を任意に変化させることができるため、撮像データのインタラクティブな提示方法として重要である。また、臨場感を与えるためにも非常に有効である。そのため、モデルベースの画像合成処理は、バーチャルミュージアムやＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）などの応用に利用できる。本来、このようなモデルベースの画像合成では撮像画像を鏡面反射成分と拡散反射成分に領域分離を行ない、それぞれの成分ごとに異なったモデルを利用してきたが、前述のように、鏡面反射成分と拡散反射成分の分離が不十分であったため、画質が劣化するという問題があった。この問題は、以下のことが原因である。それぞれのモデルにおけるパラメータ推定の際、実際とは異なった鏡面反射成分と拡散反射成分を利用しているため、実際とは異なるパラメータを推定してしまう。このように実際とは異なったパラメータを利用して画像を合成した場合、前述のように、視点変換画像や光源変化画像を作成した際に出力される画像に大きな誤差が生じてしまう。
【０１９５】
本発明の領域分割方法を利用することで、画質劣化の少ない、モデルベースの画像合成を実現することができる。この手法を説明する。
【０１９６】
まず、この処理の概念を説明する。本発明の画像合成処理は、パラメータ推定装置３００と画像合成装置３０１からなる。以下の５つの入力情報を利用する。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・色・照度
○合成画像における視点・光源情報
【０１９７】
（パラメータ推定装置、画像合成装置の実施形態）
図５９は本発明の一実施形態に係るパラメータ推定装置３００と画像合成装置３０１の構成を示すブロック図である。
【０１９８】
図５９のパラメータ推定装置３００は、撮像装置を利用し、撮像を行う画像撮像部３０２と、上述した領域分割方法によって画像を鏡面反射領域と拡散反射領域に分割する領域分割部３０３と、被写体に照射する光源の方向や位置、輝度、色、スペクトル情報などの光源情報を推定する光源情報推定部３０４と、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部３０５と、撮像された被写体から、前記領域分割部３０３で分割された領域ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部３０６と、前記パラメータ推定部３０６において推定された反射パラメータを保持するパラメータＤＢ（データベース）３０７とを備えている。
【０１９９】
さらに、画像合成装置３０１は、合成する画像の視点や光源情報を取得する視点・光源情報取得部３０８と、パラメータＤＢ３０７に保持されているモデルパラメータ情報を利用して、前記視点・光源情報取得部３０８で取得された視点や光源情報に則した画像を合成するレンダリング部３０９とを備えている。
【０２００】
まず、図６０、図６１を参照しながら、本実施形態におけるパラメータ推定方法の処理の流れを説明する。図６０、図６１は本実施形態に係る画像合成方法における、パラメータ推定方法と画像合成方法の処理の流れを示すフローチャートである。
【０２０１】
図６０のステップＳ６０１において、画像撮像部３０２は、前述の偏光画像撮像部１０３および偏光情報取得部１０４によって被写体を撮像し、偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの重み付け平均値Ｉｍａｘ＋２・Ｉｍｉｎを取得する。ステップＳ６０２において、領域分割部３０３は、前述の領域分割方法により、画像撮像部３０２によって撮像された画像を、拡散反射領域と鏡面反射領域とに分割する。
【０２０２】
ステップＳ６０３において、光源情報推定部３０４は、光源情報として、光源の方向、さらには色情報や照度情報を取得する。ステップＳ６０４において、形状情報取得部３０５は、被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。
【０２０３】
ステップＳ６０５において、パラメータ推定部３０６は、領域分割部３０３によって分割された拡散反射画像と鏡面反射画像に対して、前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報を利用することで、それぞれの反射パラメータを、別々の方法で推定する。ステップＳ６０６において、パラメータＤＢ３０７は、パラメータ推定部３０６で求まった拡散反射成分の反射パラメータと鏡面反射成分の反射パラメータ、および形状情報取得部３０５で取得した形状情報をモデルパラメータとして保持する。
【０２０４】
次に、図６１を参照しながら、画像合成推定方法の処理の流れについて説明する。
【０２０５】
まず、ステップＳ６０７において、レンダリング部３０９は、前記パラメータＤＢ３０７に保持されているモデルパラメータ情報を呼び出す。ステップＳ６０８において、視点・光源情報取得部３０８は、合成する画像の視点や光源の方向、さらには色情報や照度情報を取得する。ステップＳ６０９において、レンダリング部３０９は、前記パラメータＤＢ３０７に保持されているモデルパラメータ情報を利用して、前記視点・光源情報取得部３０８で取得された視点や光源情報に則した画像を合成する。
【０２０６】
図６２は、本実施形態に係る画像合成装置が搭載されたカメラの構成例を示している。
【０２０７】
図５９に示されている領域分割部３０３、光源情報推定部３０４、形状情報取得部３０５、パラメータ推定部３０６およびレンダリング部３０９は、図６１のＣＰＵ２０４がプログラムを実行することによって実現されるものとする。ただし、これらの機能の全部または一部を、ハードウエアによって実現してもかまわない。
【０２０８】
図５９の視点・光源情報取得部３０８は図６１のユーザインターフェイス部２１２によって実行される。メモリ２０３は画像撮像部３０２によって撮像された偏光画像と、領域分割部３０３によって取得された鏡面反射成分および拡散反射成分画像、光源情報推定部によって推定された光源情報、形状情報取得部３０５によって取得された形状情報、パラメータ推定部３０６によって推定された反射パラメータ情報、および、視点・光源情報取得部で取得された視点・光源情報をモデルパラメータとして格納する。
【０２０９】
以下、それぞれの処理について説明する。
【０２１０】
まず、図５９のパラメータ推定装置３００について説明する。
【０２１１】
画像撮像部３０２はＣＣＤやＣＭＯＳなどの撮像装置を利用して、被写体を撮像する。こうして撮像された画像は、輝度が非常に高くなる鏡面反射成分と拡散反射成分とが同時に、飽和することなく、十分な輝度分解能で記録されることが望ましい。このため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。このような画像撮像部は、前述の、偏光情報取得部１０４によって取得された偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの重み付け平均値Ｉｍａｘ＋２・Ｉｍｉｎであっても構わない。特に、重み付け平均値であるＩｍａｘ＋２・Ｉｍｉｎは、直線偏光光源下において、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、この重み付け平均値を利用して画像処理を行うことで、通常の偏光を利用しない場合と同様の処理を行うことができる。
【０２１２】
図５９の領域分割部３０３は、前述の領域分割方法により、画像撮像部３０２によって撮像された画像を、拡散反射領域と鏡面反射領域とに分割する。
【０２１３】
光源情報推定部３０４は、光源情報として、光源の方向、さらには色情報や照度情報を取得する。これは例えば、被写体近傍に光源情報を推定するための形状既知の鏡面などを配置し、画像撮像部３０２によって撮像したその鏡面の画像から推定すればよい（例えば、「神原誠之、横矢直和、"光源環境の実時間推定による光学的整合性を考慮したビジョンベース拡張現実感"、電子情報通信学会技術研究報告、パターン認識・メディア理解、ＰＲＭＵ２００２-１９０，ｐｐ． ７-１２，２００３」）。この処理について詳述する。
【０２１４】
光源情報推定部３０４の処理は、図６３に示した鏡面とみなせる球４０１を利用して行う。鏡面球４０１を被写体近傍に設置し、その位置や法線方向は既知とする。この鏡面球４０１を画像撮像部３０２によって撮像する。このとき、鏡面球４０１には、撮像環境が映り込んでいる。映り込みが生じる位置は、その鏡面球上の法線方向に対して、視線方向と映り込む対象への方向が正反射の関係となる位置である。そのため、鏡面球の位置とその法線方向が既知であれば、鏡面上の映り込んだ画像から映り込み対象の方向を検出できる。また、光源は輝度値が高いことを考慮すると、撮像された鏡面球の画像から、高輝度の画素を検出することにより、光源の方向を取得できる。さらに、鏡面の反射率が既知であれば、光源の色情報や放射輝度などの光源照度情報も取得できる。
【０２１５】
光源情報として、光源の方向だけではなく、あるいは光源の方向に代えて、光源の位置情報を取得するようにしても構わない。これは、例えば前述の鏡面球を２つ利用したり、または撮像装置の位置を変化させて撮像した複数の画像を使用して、画像処理分野で広く知られているステレオ画像処理の技術を利用すればよい。
【０２１６】
このような鏡面球を常に撮像するのではなく、以前に撮像して求めた光源情報を使うようにしても構わない。これは、屋内の監視カメラのように光源環境が変わらない場合に有効である。このような場合、カメラを設置した際に鏡面球を撮像し、光源情報を取得するようにすればよい。
【０２１７】
光源情報推定部３０４は、鏡面とみなせる球４０１のような参照物体を利用するのではなく、被写体を利用して光源方向を推定するようにしても構わない。この方法を説明する。まず、被写体を撮像した画像領域において、最も輝度値の高い画素を選択する。後述するように、形状情報取得部３０５によって、被写体の形状情報である表面の法線情報は推定されているため、最も輝度値の高い画素の法線方向は既知である。ここで、最も輝度値の高い画素は、正反射方向の光源が映りこんでいると仮定すると、前述の参照物体を利用する方法と同様に、法線方向から光源の方向を取得できる。
【０２１８】
また、撮像装置６０１に、照度計２１１を設置することにより、光源情報として入射照度を測定するようにしても構わない。入射照度情報の利用方法については後述する。
【０２１９】
形状情報取得部３０５は、被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。被写体の形状情報を取得する手段としては、例えば、スリット光投影法、パターン光投影法、レーザレーダ法などの既存の手法を用いればよい。
【０２２０】
形状情報の取得はこれらの手法に限られるものでない。例えば、複数のカメラを利用するステレオ視、カメラの動きを利用するモーションステレオ法、光源の位置を変化させながら撮像した画像を利用する照度差ステレオ法、ミリ波や超音波を利用して被写体との距離を測定する方法、さらには反射光の偏光特性を利用した方法（例えば、ＵＳＰ５，０２８，１３８号や「宮崎大輔、池内克史、"偏光レイトレーシング法による透明物体の表面形状の推定手法"、電子情報通信学会論文誌、ｖｏｌ． Ｊ８８-Ｄ-ＩＩ， Ｎｏ．８，ｐｐ． １４３２-１４３９，２００５」）を用いてもかまわない。ここでは、照度差ステレオ法と偏光特性を利用した方法について説明する。
【０２２１】
照度差ステレオ法は、光源方向が異なる３枚以上の画像を利用して、被写体の法線方向と反射率を推定する手法である。例えば、「Ｈ． Ｈａｙａｋａｗａ, ”Ｐｈｏｔｏｍｅｔｒｉｃ Ｓｔｅｒｅｏ ｕｎｄｅｒ ａ ｌｉｇｈｔ ｓｏｕｒｃｅ ｗｉｔｈ ａｒｂｉｔｒａｒｙ ｍｏｔｉｏｎ”, Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ, ｖｏｌ．１１, ｐｐ．３０７９-８９, １９９４」は、画像上で６点以上の反射率が等しい点を既知情報として取得し、拘束条件として利用することによって、光源の位置情報も未知としながらも、以下のパラメータを推定する手法である。
・被写体情報：画像上の各点の法線方向と反射率
・光源情報：被写体の観察点における光源方向と照度
【０２２２】
ここでは、前述の拡散反射・鏡面反射分離手法によって分離された拡散反射画像のみを利用した照度差ステレオ法を行う。本来、この手法は被写体が完全拡散反射をしていることを仮定しているため、鏡面反射が存在する被写体では大きな誤差が生じてしまう。しかし、分割した拡散反射領域のみを利用することで、鏡面反射成分の存在による推定誤差を無くすことができる。
【０２２３】
光源方向が異なる拡散反射画像を以下のように輝度行列Ｉdで表現する。
【数１５】
2009157129.tif 000160
【０２２４】
ただし、ｉdf(p)は光源方向ｆの拡散反射画像の画素ｐにおける輝度値を示している。また、画像の画素数はＰ画素、異なった光源方向で撮像した画像枚数はＦ枚である。ところで、Ｌａｍｂｅｒｔｉａｎモデルより、拡散反射画像の輝度値は以下のように表現できる。
【数１６】
2009157129.tif 000161
【０２２５】
ただし、ρdpは画素ｐの反射率（アルベド）、ｎpは画素ｐの法線方向ベクトル、ｔfは光源ｆの入射照度、Ｌfは光源ｆの方向ベクトルを示している。
【０２２６】
式１５、式１６より以下の式が導かれる。
【数１７】
2009157129.tif 000162
ただし、
【数１８】
2009157129.tif 000163
【数１９】
2009157129.tif 000164
【数２０】
2009157129.tif 000165
【数２１】
2009157129.tif 000166
【数２２】
2009157129.tif 000167
【数２３】
2009157129.tif 000168
【０２２７】
ここで、Ｒは表面反射行列、Ｎは表面法線行列、Ｌは光源方向行列、Ｔは光源強度行列、Ｓは表面行列、Ｍは光源行列と呼ぶ。
【０２２８】
特異値分解を利用すると、式１７は以下のように展開できる。
【数２４】
2009157129.tif 000169
【数２５】
2009157129.tif 000170
【０２２９】
ただし、
【数２６】
2009157129.tif 000171
であり、Ｅは単位行列を示している。また、Ｕ’はＰ×３行列、Ｕ”はＰ×（Ｆ−３）行列、Σ’は３×３行列、Σ”は(Ｆ−３）×(Ｆ−３）行列、Ｖ’は３×Ｆ行列、Ｖ”は（Ｆ−３）×Ｆ行列である。ここで、Ｕ”、 Ｖ”は信号成分であるＵ’、 Ｖ’の直交基底、すなわち、ノイズ成分であると考えられる。ここで、特異値分解を利用すると、式１９は以下のように変形できる。
【数２７】
2009157129.tif 000172
【数２８】
2009157129.tif 000173
【０２３０】
すなわち、式２０を解くことにより、形状情報と光源情報を同時に取得することができるが、以下の３×３行列Ａの不定性が残る。
【数２９】
2009157129.tif 000174
【数３０】
2009157129.tif 000175
【０２３１】
ここで、Ａは任意の３×３行列である。形状情報と光源情報を取得するためには、この行列Ａを求める必要がある。これは、例えば、画面上の６点以上で反射率が等しいことが既知であればよい。例えば、任意の６点ｋ１〜ｋ６の反射率が等しいとすると、
【数３１】
2009157129.tif 000176
【０２３２】
式１８、式２１および式２３より、
【数３２】
2009157129.tif 000177
さらに、
【数３３】
2009157129.tif 000178
とおくと、式２４は以下のようになる。
【数３４】
2009157129.tif 000179
【０２３３】
ここで、式２５より行列Ｂは対称行列であるため、行列Ｂの未知数は６である。すなわち、画面上の６点以上で反射率が等しいことが既知であれば、式２６は解くことができる。
【０２３４】
また、行列Ｂが既知となれば、式２５に特異値分解を利用することにより、行列Ａは解くことができる。さらに、式２１および式２２より、形状情報と光源情報を取得する。
【０２３５】
以上のことより、反射率が等しい６点以上の画素が既知な被写体において、光源方向を変更しながら３枚以上の画像を取得することにより、以下の情報を得ることができる。
・被写体情報：画像上の各点の法線方向ベクトルと反射率
・光源情報：被写体の観察点における光源方向ベクトルと放射輝度
【０２３６】
ただし、上記の処理で求まる被写体の反射率と光源の放射輝度は相対的なものであり、絶対値を求めるためには、画面上の６点以上で反射率が既知であるなど、上記とは異なる既知情報が必要となる。
【０２３７】
以上のように、照度差ステレオ法と偏光特性を利用した方法では、表面の法線情報を取得する。一方、スリット光投影法やステレオ視などの手法では、被写体の３次元位置情報を取得する。被写体表面の法線情報とは、被写体の３次元位置情報の微小空間での傾き情報であり、どちらも被写体の形状情報である。
【０２３８】
以上の処理により、形状情報取得部３０５は被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。
【０２３９】
以上の処理により、以下の情報を取得する。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・照度
【０２４０】
次に、パラメータ推定部３０６は、領域分割部３０３によって分割された拡散反射成分と鏡面反射成分に対して、それぞれの反射パラメータを、別々の方法で推定する。まず、拡散反射成分の処理について説明する。
【０２４１】
パラメータ推定部３０６は、領域分割部３０３によって分割された拡散反射領域を利用し、被写体のアルベドを推定する。アルベドは光源情報に影響を受けないため、アルベド画像を利用して処理を行うことによって、光源変動にロバストな処理が実現できる。
【０２４２】
この処理を説明する。まず、物体の反射特性について説明する。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として以下の式で表現される。
【数３５】
2009157129.tif 000180
【０２４３】
ここで、Ｉは撮像装置が撮像した被写体の輝度値、Ｉaは環境光成分、Ｉdは拡散反射成分、Ｉsは鏡面反射成分である。ここで、環境光成分とは、光源の光が物体などによって散乱された間接光のことである。これは空間の至る所に散乱され、直接光がとどかない影の部分にもわずかに明るさを与える。そのため、通常はノイズとして取り扱われることが多い。
【０２４４】
環境光成分は十分に小さく、ノイズとして無視できると考えると、画像は拡散反射成分と鏡面反射成分とに分離できる。
【０２４５】
式１６より、拡散反射成分では、以下の関係が成り立つ。
【数３６】
2009157129.tif 000181
【０２４６】
ただし、θiは被写体の法線方向ベクトルと光源方向ベクトルのなす角度を示す。ここで、光源情報推定部３０４および形状情報取得部３０５により、角度θiは既知である。また、後述するように、光源の入射照度ｔfも推定可能なため、被写体のアルベドρdpは式２８から求められる。
【０２４７】
被写体のアルベドを求めるのではなく、次式によりアルベドに光源の放射輝度を乗算した擬似アルベドを求め、これを利用しても構わない。
【数３７】
2009157129.tif 000182
【０２４８】
次に、鏡面反射成分の反射パラメータ推定について説明する。パラメータ推定部３０６は、形状情報取得部３０５によって取得された被写体の法線情報、領域分割部３０３によって分離された拡散反射画像と鏡面反射画像を利用して、その被写体を表現するパラメータを推定する。ここでは、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く使われているＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを利用する方法を説明する。
【０２４９】
Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルでは、鏡面反射画像を次式のようにモデル化する。
【数３８】
2009157129.tif 000183
【数３９】
2009157129.tif 000184
【数４０】
2009157129.tif 000185
【数４１】
2009157129.tif 000186
【数４２】
2009157129.tif 000187
【数４３】
2009157129.tif 000188
【数４４】
2009157129.tif 000189
【数４５】
2009157129.tif 000190
【数４６】
2009157129.tif 000191
【０２５０】
ここで、Ｅiは入射照度、ρs,λは波長λにおける鏡面反射成分の双方向反射率、ｎは被写体の法線方向ベクトル、Ｖは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルｎの角度を表す（図６４参照）。また、Ｆλはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎλは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉjは入射光の放射輝度である。また、ｋsは鏡面反射成分の係数である。
【０２５１】
さらに、式１６のＬａｍｂｅｒｔｉａｎモデルを利用すると、式２７は以下のように展開される。
【数４７】
2009157129.tif 000192
ただし、
【数４８】
2009157129.tif 000193
【数４９】
2009157129.tif 000194
【０２５２】
ここで、ρdは拡散反射成分の反射率（アルベド）、ｄｐｘ、ｄｐｙは撮像装置の１画素のｘ方向、ｙ方向の長さ、ｒは撮像装置の観察点Ｏからの距離を示している。また、ｋdは以下の関係式を満たす係数である。
【数５０】
2009157129.tif 000195
【０２５３】
Ｓｒは拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数であり、拡散反射成分が被写体からすべての方向へエネルギーを反射することを示している。図６５はこの定数Ｓｒを説明するための模式図である。図６５において、観察点Ｏで反射された拡散反射成分エネルギーは、半球状に広がっていく。ここで、撮像装置６０１が観察点Ｏからｒだけ離れているので、撮像装置の１撮像素子に届くエネルギーと、観察点Ｏで反射した総エネルギーの比Ｓrは、式４０で表される。
【０２５４】
以上のことから、パラメータ推定部３０６は、式２９〜式４０より、鏡面反射成分の反射パラメータを推定する。
【０２５５】
以上の関係式をまとめると、パラメータ推定を行うための既知パラメータと、推定すべきパラメータは以下のようになる。
（既知パラメータ）
○環境光成分Ｉa
○拡散反射成分Ｉd
○鏡面反射成分Ｉs
○被写体の法線方向ベクトルｎ
○光源方向ベクトルＬ
○視線ベクトルＶ
○中間ベクトルＨ
○中間ベクトルＨと法線方向ベクトルｎの角度β
○撮像装置６０１の１画素のｘ方向、ｙ方向の長さｄｐｘ, ｄｐｙ
○撮像装置６０１と観察点Ｏとの距離ｒ
（推定すべきパラメータ）
○入射照度Ｅi
○鏡面反射成分の係数ｋs
○被写体表面の粗さｍ
○被写体の屈折率ηλ
【０２５６】
ここで、拡散反射成分の係数ｋd、および拡散反射成分の反射率（アルベド）ρdも未知パラメータであるが、鏡面反射成分のパラメータのみを推定するため、ここでは推定処理を行なわない。
【０２５７】
図６６はパラメータ推定部３０６の処理の流れを示す図である。処理は、以下の２段階からなる。
【０２５８】
まず、光源情報を使用して、入射照度Ｅiを求める（ステップＳ７０１）。ここでは、光源情報推定部３０４によって取得した光源の位置情報、形状情報取得部３０５で求めた撮像装置と被写体との距離情報、さらには光源情報取得部３０４で求めた光源照度を用いる。これは、次式から求まる。
【数５１】
2009157129.tif 000196
【０２５９】
撮像装置６０１には前述のように、照度計２１１が設置されているとする。ここで、Ｉiは照度計２１１によって測定された光源６０２の入射照度、Ｒ1は撮像装置６０１と光源６０２との距離、Ｒ2は光源６０２と観察点Ｏとの距離、θ1は観察点Ｏにおける法線方向ベクトルｎと光源方向ベクトルＬＣとのなす角度、θ2は撮像装置６０１における光軸方向と光源方向ベクトルＬＡとのなす角度を示している（図６７参照）。ここで、被写体の大きさが、光源６０２と観察点Ｏとの距離Ｒ2に比べ十分に小さいと考えられる場合、距離Ｒ2は被写体上の全ての観察点Ｏで等しくなる。そのため、式４２において、（Ｒ1／Ｒ2）は定数となり、実際に計測する必要はなくなる。またθ1は既知である。これは、形状情報取得部によって観察点Ｏにおける法線方向ベクトルｎが既知であり、光源情報推定部３０４によって光源方向ベクトルＬＣが既知であるためである。さらにθ2は、光源情報推定部３０４によって光源の位置が推定されている場合、既知である。そのため、式４２の右辺はすべて既知となる。
【０２６０】
次に、シンプレックス法を利用して、未知パラメータｍ、ηλ、ｋsを推定する（ステップＳ７０２）。シンプレックス法は、シンプレックスと呼ぶ図形の頂点に変数を割り付け、シンプレックスの大きさと形を変えて関数の最適化を行う方法である（大田登、“色再現光学の基礎”、ｐｐ．９０-９２，コロナ社）。シンプレックスは、ｎ次元空間の（ｎ＋１）個の点の集合である。ただし、ｎは推定する未知数の数であり、ここでは「３」である。そのため、シンプレックスは四面体である。シンプレックスの頂点をベクトルｘiで表し、新しいベクトルを次のように定める。
【数５２】
2009157129.tif 000197
【数５３】
2009157129.tif 000198
【数５４】
2009157129.tif 000199
【数５５】
2009157129.tif 000200
ただし、
【数５６】
2009157129.tif 000201
【数５７】
2009157129.tif 000202
は、それぞれ関数ｆ(ｘi）を最大、最小にするｘiを示している。
【０２６１】
さらに、この方法で用いる３種類の操作を以下のように定める。
１．鏡像：
【数５８】
2009157129.tif 000203
２．拡張：
【数５９】
2009157129.tif 000204
３．収縮：
【数６０】
2009157129.tif 000205
【０２６２】
ここで、α（＞０）、β（＞１）、γ（１＞γ＞０）は係数である。
【０２６３】
シンプレックス法は、シンプレックスの頂点の中で関数値の最も大きなものを選ぶことで、その鏡像における関数値は小さくなるという期待に基づいている。この期待が正しければ、同じプロセスの繰り返しで関数の最小値が求められる。つまり、初期値で与えたパラメータを３種類の操作で更新しながら、評価関数が示すターゲットとの誤差が閾値未満になるまでパラメータの更新を繰り返す。ここでは、パラメータとしてｍ、ηλ、ｋs、評価関数として式４８で表される、式２９から算出される鏡面反射成分画像と領域分割部３０３で求められた鏡面反射成分画像との差ΔＩsを利用した。
【数６１】
2009157129.tif 000206
【０２６４】
ただし、ｉs(i,j)’, ｉs(i,j)はそれぞれ、計算された鏡面反射画像の推定値Ｉs’と領域分割部３０３で求められた鏡面反射成分画像Ｉsの画素(ｉ,ｊ）の輝度値、Ｍs(i,j)は、画素(ｉ,ｊ）が鏡面反射成分を持つ場合に１、そうでない場合０をとる関数である。
【０２６５】
この処理について詳しく説明する。図６８はこの処理の流れを説明するためのフローチャートである。
【０２６６】
まず、繰り返し演算の更新回数を記憶するカウンターｎとｋに０を代入し、初期化する（ステップＳ７１１）。ここで、カウンターｎは初期値を何回変更したかを記憶するカウンターであり、ｋはある初期値に対してシンプレックスによる候補パラメータの更新を何回行ったかを記憶するカウンターである。
【０２６７】
次に、乱数を利用し、推定パラメータの候補パラメータｍ’、ηλ’、ｋs’の初期値を決定する（ステップＳ７１２）。このとき、各パラメータの物理的な拘束条件から、初期値の発生範囲は以下のように決定した。
【数６２】
2009157129.tif 000207
【０２６８】
次に、こうして求めた候補パラメータを式２９へ代入し、鏡面反射画像の推定値Ｉs’を求める（ステップＳ７１３）。さらに、計算された鏡面反射画像の推定値Ｉs’と領域分割部３０３で求められた鏡面反射成分画像との差ΔＩsを式４８より求め、これをシンプレックス法の評価関数とする（ステップＳ７１４）。こうして求めたΔＩsが十分小さい場合（ステップＳ７１５でＹｅｓ）、パラメータ推定は成功したとして、推定パラメータｍ、ηλ、ｋsとして候補パラメータｍ’、ηλ’、ｋs’を選択し、処理を終了する。一方、ΔＩsが大きい場合（ステップＳ７１５でＮｏ）、シンプレックス法により候補パラメータの更新を行う。
【０２６９】
候補パラメータの更新を行う前に、更新回数の評価を行う。まず、更新回数を記憶しているカウンターｋに１を足し（ステップＳ７１６）、カウンターｋの大きさを判断する（ステップＳ７１７）。カウンターｋが十分に大きい場合（ステップＳ７１７でＮｏ）、繰り返し演算は十分に行なわれているが、ローカルミニマムに落ちているため、このまま更新を繰り返しても最適値には達しないと判断し、初期値を変更して、ローカルミニマムからの脱却を図る。そのため、カウンターｎに１を足し、カウンターｋに０を入れる（ステップＳ７２１）。ここで、カウンターｎの値が閾値より高いかどうかを判定し、処理をこのまま続けるか、処理不能として処理を終了させるかを決定する（ステップＳ７２２）。ここで、ｎが閾値より大きい場合（ステップＳ７２２でＮｏ）、この画像は推定不能として処理を終了する。一方、ｎが閾値より小さい場合（ステップＳ７２２でＹｅｓ）、再度、初期値を式４９の範囲内で乱数から選択しなおし（ステップＳ７１２）、処理を繰り返す。このようなｋに対する閾値は、例えば、１００などを選択すればよい。
一方、ステップＳ７１７において、カウンターｋが閾値以下の場合（ステップＳ７１７でＹｅｓ）、候補パラメータを式４５〜式４７を利用して変更する（ステップＳ７１８）。この処理については後述する。
【０２７０】
次に、こうして変形された候補パラメータが、解として意味のあるものであるかを判定する（ステップＳ７１９）。すなわち、シンプレックス法を繰り返すことで、変形されたパラメータが物理的に意味のない値（例えば、粗さパラメータｍが負の値など）におちいる可能性があるため、これを除去する。これは、例えば、以下のような条件を与え、この条件を満たす場合には意味のあるパラメータ、満たさない場合には意味のないパラメータと判定すればよい。
【数６３】
2009157129.tif 000208
【０２７１】
これらの値は、被写体より求めることができる。例えば、屈折率ηλであれば、被写体の材質によって決定される値である。例えば、プラスチックであれば１．５〜１．７、ガラスであれば１．５〜１．９であることが知られているため、これらの値を利用すればよい。つまり、被写体がプラスチックである場合、屈折率ηλは１．５〜１．７とすればよい。
【０２７２】
変形したパラメータが式５０を満たす場合（ステップＳ７１９でＹｅｓ）、その候補パラメータは意味のある値であると考えられるため、新しい候補パラメータとして設定し（ステップＳ７２０）、更新処理を繰り返す（ステップＳ７１３）。一方、変形したパラメータが式５０を満たさない場合（ステップＳ７１９でＮｏ）、その初期値に対する更新処理を打ち切り、新しい初期値により更新を行う（ステップＳ７２１）。
【０２７３】
ここで、ステップＳ７１８の変形処理について詳述する。図６９はこの処理の流れを示したフローチャートである。ここでは、候補パラメータｍ’、ηλ’、ｋs’をベクトル表現し、これをパラメータｘとする。すなわち、
【数６４】
2009157129.tif 000209
【０２７４】
まず、式４３、式４４および式４５を利用して、鏡像操作を行ったパラメータｘrを計算し、式４８によってｘrでの鏡面反射成分画像との差ΔＩs(ｘr）を計算する（ステップＳ７３１）。次に、こうして求められたΔＩs(ｘr）と、２番目に評価関数が悪かったΔＩs(ｘs）を比較する（ステップＳ７３２）。ここでΔＩs(ｘr）がΔＩs(ｘs）より小さかった場合（ステップＳ７３２でＹｅｓ）、鏡像操作を行った評価値ΔＩs(ｘr）と現在、最も評価値のよいΔＩs(ｘl）を比較する（ステップＳ７３３）。ここで、ΔＩs(ｘr）がΔＩs(ｘl）以上であった場合（ステップＳ７３３でＮｏ）、最も評価値の低かったｘhをｘrへ変更し（ステップＳ７３４）、処理を終了する。
【０２７５】
一方、ΔＩs(ｘr）がΔＩs(ｘl）より小さかった場合（ステップＳ７３３でＹｅｓ）、式４６を利用して拡張処理を行ない、パラメータｘeと、ｘeでの鏡面反射成分画像との差ΔＩs(ｘe）を計算する（ステップＳ７３５）。次に、こうして求められたΔＩs(ｘe）と、鏡像操作によるΔＩs(ｘr）を比較する（ステップＳ７３６）。ここでΔＩs(ｘe）がΔＩs(ｘr）より小さかった場合（ステップＳ７３６でＹｅｓ）、最も評価値の悪かったｘhをｘeへ変更し（ステップＳ７３７）、処理を終了する。
【０２７６】
一方、ΔＩs(ｘe）がΔＩs(ｘr） 以上であった場合（ステップＳ７３６でＮｏ）、最も評価値の悪かったｘhをｘrへ変更し（ステップＳ７３４）、処理を終了する。
【０２７７】
また、ステップＳ７３２において、ΔＩs(ｘr）がΔＩs(ｘs）より大きかった場合（ステップＳ７３２でＮｏ）、鏡像操作を行った評価値ΔＩs(ｘr）と現在、最も評価値の悪いΔＩs(ｘh）を比較する（ステップＳ７３８）。ここでΔＩs(ｘr）がΔＩs(ｘh）より小さかった場合（ステップＳ７３８でＹｅｓ）、最も評価値の悪かったｘhをｘrへ変更し（ステップＳ７３９）、式４６を利用して、収縮操作を行ったパラメータｘcと、ｘcでの鏡面反射成分画像との差ΔＩs(ｘc）を計算する（ステップＳ７４０）。一方、ΔＩs(ｘr）がΔＩs(ｘh）以上であった場合（ステップＳ７３８でＮｏ）、ｘhを変更することなく、収縮操作を行ったパラメータｘcと、ｘcでの鏡面反射成分画像との差ΔＩs(ｘc）を計算する（ステップＳ７４０）。
【０２７８】
次に、こうして求められたΔＩs(ｘc）と、最も評価値の悪いΔＩs(ｘh）を比較する（ステップＳ７４１）。ここでΔＩs(ｘc）がΔＩs(ｘh）より小さかった場合（ステップＳ７４１でＹｅｓ）、最も評価値の悪かったｘhをｘcへ変更し（ステップＳ７４２）、処理を終了する。
【０２７９】
一方、ΔＩs(ｘc）がΔＩs(ｘh） 以上であった場合（ステップＳ７４１でＮｏ）、すべての候補パラメータｘi(ｉ=１,２,３,４）を以下の式により変更し、処理を終了する。
【数６５】
2009157129.tif 000210
【０２８０】
以上の処理を繰り返すことにより、鏡面反射画像における未知パラメータであるｍ、ηλ、ｋsを推定する。
【０２８１】
以上の処理により、すべての未知パラメータを推定することができる。
【０２８２】
図７０は、図７５（ａ）の領域Ｃに関して、横軸に中間ベクトルβ、縦軸に鏡面反射成分の輝度値Ｉｓをグラフ化したものである。この図において、白色○は領域Ｃに関して観測された輝度値Ｉｓをプロットしたものである。また、黒色■はＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルの各パラメータを推定し、プロットしたものである。
【０２８３】
なお、前述したように、図７５（ｂ）は、従来の領域分割手法を利用したグラフである。図７６は、従来の領域分割手法を利用して作成した合成画像を示している。このように、パラメータ推定に失敗した場合、合成画像の質感が実物とは大きくかけ離れたものとなってしまう。
【０２８４】
これらの図より、従来の領域分割手法では、鏡面反射成分と拡散反射成分の分離精度が低いため、反射パラメータ推定に失敗していることがわかる。そのため、合成された画像は、図７６に示すように実際の画像とは大きく質感が異なるものとなってしまう。一方、本特許における領域分割手法では、このような問題が生じていない。
【０２８５】
パラメータ推定に用いるモデルは、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルである必要はなく、例えば、Ｔｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＰｈｏｎｇモデル、簡易Ｔｏｒｒａｎｃｅ-Ｓｐａｒｒｏｗモデル（例えば、「Ｋ． Ｉｋｅｕｃｈｉ ａｎｄ Ｋ． Ｓａｔｏ, “Ｄｅｔｅｒｍｉｎｉｎｇ ｒｅｆｌｅｃｔａｎｃｅ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ａｎ ｏｂｊｅｃｔ ｕｓｉｎｇ ｒａｎｇｅ ａｎｄ ｂｒｉｇｈｔｎｅｓｓ ｉｍａｇｅｓ”, ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ, ｖｏｌ．１３, ｎｏ．１１, ｐｐ．１１３９-１１５３, １９９１」）であっても構わない。
【０２８６】
パラメータ推定方法は、シンプレックス法である必要はなく、例えば、勾配法や最小自乗法などのような一般的なパラメータ推定手法を利用しても構わない。
【０２８７】
以上の処理は、画素毎に行ってもかまわないし、領域分割を行ない、領域ごとに等しいパラメータ組を推定するようにしてもかまわない。画素毎に処理を行う場合、光源や撮像装置、または被写体を動かすことにより、被写体の法線方向ベクトルｎや光源方向ベクトルＬ、または視線ベクトルＶといった既知パラメータが変動したサンプルを取得するようにすることが望ましい。また、処理を領域ごとに行う場合、領域ごとに求まったパラメータのばらつきが小さくなるように領域分割を変更することで、最適なパラメータ推定を行うようにすることが望ましい。
【０２８８】
パラメータＤＢ３０７は、パラメータ推定部３０６で求まった拡散反射成分の反射パラメータと鏡面反射成分の反射パラメータ、および形状情報取得部３０５で取得した形状情報をモデルパラメータとして保持する。図７１は、パラメータＤＢ３０７に保持されているモデルパラメータを示す模式図である。
【０２８９】
以上の処理により、パラメータ推定装置３００は拡散反射成分のパラメータと鏡面反射成分のパラメータを推定し、推定したパラメータ情報をパラメータＤＢ３０７へ保持する。
【０２９０】
次に、画像合成装置３０１について説明する。
【０２９１】
視点・光源情報取得部３０８は、合成する画像の視点や光源情報を取得する。これは、ユーザが視点位置や光源位置・光源照度、さらに環境光成分情報を入力するようにすればよい。また、拡張現実感のような、実世界にＣＧ画像をレンダリングするような場合、前記光源情報推定部３０４を利用して光源情報を推定するようにしても構わない。
【０２９２】
レンダリング部３０９は、前記パラメータＤＢ３０７に保持されているモデルパラメータ情報を利用して、前記視点・光源情報取得部３０８で取得された視点や光源情報に則した画像を合成する。レンダリング部３０９は、拡散反射成分と鏡面反射成分、それぞれ別々にレンダリングを行ない、レンダリングされた拡散反射成分、鏡面反射成分および環境光成分情報を合成することにより、画像を合成する。
【０２９３】
まず、拡散反射成分に関して説明する。前述のように、アルベド画像は、拡散成分画像を光源ベクトルと被写体の法線方向ベクトルの内積で除算したものである。そのため、パラメータＤＢに保持されているアルベド画像（パラメータ推定部３０６で推定）および形状情報（形状情報取得部３０５で取得）に、視点・光源情報取得部３０８によって取得された光源方向ベクトル情報を利用することにより、拡散反射成分を合成することができる。具体的には、視点・光源情報取得部３０８によって取得された光源方向ベクトルと被写体の法線方向ベクトルとの内積を求め、さらにアルベド画像を乗算することによって、拡散成分画像を合成する。視点・光源情報取得部３０８により、複数の光源が入力された場合、それぞれの光源に対して拡散反射成分画像をおのおの合成し、その画像を足し合わせることで、一枚の拡散反射成分画像を合成する。
【０２９４】
次に、鏡面反射成分に関して説明する。鏡面反射成分は、パラメータＤＢに保持されている鏡面反射パラメータ（パラメータ推定部３０６で推定）および形状情報（形状情報取得部３０５で取得）に、視点・光源情報取得部３０８によって取得された光源方向ベクトル情報を利用することにより、合成することができる。具体的には、式２９〜式３７に推定されたパラメータを代入することによって、鏡面反射成分画像を合成する。
【０２９５】
こうして求めた拡散反射成分画像、鏡面反射成分画像および視点・光源情報取得部３０８において取得した環境光成分情報を合成することにより、レンダリング部３０９は、前記視点・光源情報取得部３０８で取得された視点や光源情報に則した画像を合成する。
【０２９６】
以上のように、本発明の領域分割方法を利用することによって、デジタルアーカイブなどに使われているモデルベースの画像合成を高精度に行うことができる。
【産業上の利用可能性】
【０２９７】
本発明に係る画像処理によれば、光源状態の依存度と偏光情報という二つの情報を利用することにより、鏡面反射領域と拡散反射領域をより正確に分割することが可能である。そのため、スナップショットを撮像するように撮像された画像から領域分割処理を実現できるため、各種デジタルスチルカメラ、デジタルムービーカメラ、監視カメラなどに有用である。
【符号の説明】
【０２９８】
１０１  投光部
１０２  投光制御部
１０３  偏光画像撮像部
１０４  偏光情報取得部
１０５  光源依存度推定部
１０６  領域分割部
１０７  撮像判定部
１０８  投光装置
１０９  領域分割装置
１１０  通信部
１１１  通信部
１１２  投光位置変化部
１２０  制御部
１２１  投光ユニット
１２２  偏光情報取得部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う画像処理装置であって、
偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することにより、被写体の偏光画像を取得する偏光画像撮像部を有し、
前記被写体の表面における偏光状態と、光源から放射される光の偏光状態および光源位置の少なくとも一方を変化させた場合の前記被写体の表面における偏光状態の変化の程度を示す光源依存度とに基づいて領域分割を行う画像処理装置。
【請求項２】
前記光源を備え、前記光源から放射された光の偏光状態および光源位置の少なくとも一方を変化させることができる投光ユニットと、
前記投光ユニットによる前記光源から放射された光の偏光状態および光源位置の少なくとも一方の変化と、前記偏光画像撮像部による撮像との同期処理を行う制御部と、
を有する請求項１に記載の画像処理装置。
【請求項３】
前記光源から放射される光の偏光状態を変化させる投光制御部と、
取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、
前記投光制御部によって前記光源から放射された光の偏光状態が変化した際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、
前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報に基づいて領域分割を行う領域分割部と、
を有する請求項２に記載の画像処理装置。
【請求項４】
前記偏光情報取得部は、偏光情報として、偏光度、偏光位相、偏光推定誤差、偏光最大輝度値、および偏光最小輝度値の少なくとも１つを生成する請求項３に記載の画像処理装置。
【請求項５】
前記領域分割部は、前記被写体の表面が拡散反射領域および鏡面反射領域のいずれかに分割されることとなるように、前記領域分割を行う請求項４に記載の領域分割装置。
【請求項６】
前記領域分割部は、前記被写体の表面が拡散反射非偏光領域、拡散反射偏光領域および鏡面反射偏光領域のいずれかに分割されることとなるように、前記領域分割を行う請求項４に記載の画像処理装置。
【請求項７】
前記領域分割部は、前記被写体の表面が光源依存偏光領域、光源依存非偏光領域、光源非依存偏光領域および光源非依存非偏光領域のいずれかに分割されることとなるように、前記領域分割を行う請求項４に記載の画像処理装置。
【請求項８】
前記光源の位置を変化させる投光位置変化部と、
取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、
前記投光制御部によって前記光源の位置が変化した際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、
前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報に基づいて領域分割を行う領域分割部と、
を有する請求項２に記載の画像処理装置。
【請求項９】
光源位置の異なる、複数の投光部を有し、
前記投光位置変化部は、前記複数の投光部を切り替えることで、投光部の位置を変化させる請求項８に記載の画像処理装置。
【請求項１０】
前記投光位置変化部は、投光部を移動させることで光源位置を変化させる請求項８に記載の画像処理装置。
【請求項１１】
前記領域分割部は、前記被写体の表面が拡散反射領域および鏡面反射領域のいずれかに分割されることとなるように、前記領域分割を行う請求項８に記載の画像処理装置。
【請求項１２】
前記領域分割部は、前記被写体の表面が鏡面反射領域、拡散反射領域および陰影領域のいずれかに分割されることとなるように、前記領域分割を行う請求項８に記載の画像処理装置。
【請求項１３】
投光装置と領域分割装置を有し、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う画像処理システムであって、
前記投光装置は、
直線偏光光を前記被写体に投光する投光部と、
前記投光部の直線偏光光の偏光状態を変化させる投光制御部を有し、
前記領域分割装置は、
偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、前記被写体の偏光画像を取得する偏光画像撮像部と、
前記偏光画像撮像部によって過去に撮像された偏光画像と現在撮像された偏光画像とを比較し、撮像した偏光状態が十分に変化しているかどうかを判断する撮像判定部と、
取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、
前記投光制御部によって前記投光部の偏光状態が変化したと、前記撮像判定部により判定された際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、
前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報を利用して、領域分割を行う領域分割部とを有する画像処理システム。
【請求項１４】
投光装置と領域分割装置とを有し、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う画像処理システムであって、
前記投光装置は、
直線偏光光を前記被写体に投光する投光部と、
前記投光部の直線偏光光の偏光状態を変化させる投光制御部と、
投光を知らせる信号を前記領域分割装置へ送信し、撮像完了を知らせる信号を前記領域分割装置から受信する通信部とを有し、
前記領域分割装置は、
投光を知らせる信号を前記投光装置から受信し、撮像完了を知らせる信号を前記投光装置へ送信する通信部と、
偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像部と、
前記偏光画像撮像部によって過去に撮像された偏光画像と現在、撮像された偏光画像とを比較し、撮像した偏光状態が十分に変化しているかどうかを判断する撮像判定部と、
取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、
前記投光制御部によって前記投光部の偏光状態が変化したと、前記撮像判定部により判定された際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、
前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報を利用して、領域分割を行う領域分割部とを有する画像処理システム。
【請求項１５】
被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う領域分割方法であって、
直線偏光光を前記被写体に投光する投光ステップと、
前記投光部の直線偏光光の偏光状態を変化させる投光制御ステップと、
偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像ステップと、
取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得ステップと、
前記投光制御ステップと前記偏光画像撮像ステップの同期処理を行う制御ステップと、
前記投光制御ステップによって前記投光ステップの偏光状態が変化した際の、前記偏光情報取得ステップで生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定ステップと、
前記偏光情報取得ステップによって生成された偏光情報と前記光源依存度推定ステップによって推定された光源変動情報を利用して、領域分割を行う領域分割ステップと、
を含む領域分割方法。
【請求項１６】
被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う領域分割装置のためのプログラムであって、
請求項１５に記載の領域分割方法に含まれるステップをコンピュータに実行させるプログラム。
【請求項１７】
パラメータ推定装置と画像合成装置とを有し、反射モデルを利用して画像を合成するモデルベース画像合成装置であって、
前記パラメータ推定装置は、
被写体を撮像する画像撮像部と、
請求項１５に記載の領域分割方法によって、前記画像撮像部によって撮像された画像に対する光学的な領域分割を行う領域分割部と、
被写体に照射する光源に関する光源情報を推定する光源情報推定部と、
被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部と、
撮像された被写体から、前記領域分割部で分割された領域ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部と、
前記パラメータ推定部において推定された反射パラメータを保持するパラメータデータベースとを有し、
前記画像合成装置は、
合成する画像の視点や光源情報を取得する視点・光源情報取得部と、
前記パラメータデータベースに保持されている反射パラメータ情報を利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリング部を有するモデルベース画像合成装置。
【請求項１８】
パラメータ推定ステップと画像合成方法ステップとを含み、反射モデルを利用して画像を合成するモデルベース画像合成方法であって、
前記パラメータ推定ステップは、
被写体を撮像する画像撮像ステップと、
請求項１５に記載の領域分割方法によって、前記画像撮像部によって撮像された画像に対する光学的な領域分割を行う領域分割ステップと、
被写体に照射する光源に関する光源情報を推定する光源情報推定ステップと、
被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得ステップと、
撮像された被写体から、前記領域分割部で分割された領域ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定ステップとを含み、
画像合成ステップは、
合成する画像の視点や光源情報を取得する視点・光源情報取得ステップと、
前記形状情報取得ステップによって推定された反射パラメータ情報を利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリングステップと、
を含むモデルベース画像合成方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009157129.tif 000211
【図２】
2009157129.tif 000212
【図３】
2009157129.tif 000213
【図４】
2009157129.tif 000214
【図５】
2009157129.tif 000215
【図６】
2009157129.tif 000216
【図７】
2009157129.tif 000217
【図８】
2009157129.tif 000218
【図９】
2009157129.tif 000219
【図１０】
2009157129.tif 000220
【図１１】
2009157129.tif 000221
【図１２】
2009157129.tif 000222
【図１３】
2009157129.tif 000223
【図１４】
2009157129.tif 000224
【図１５】
2009157129.tif 000225
【図１６】
2009157129.tif 000226
【図１７】
2009157129.tif 000227
【図１８】
2009157129.tif 000228
【図１９】
2009157129.tif 000229
【図２０】
2009157129.tif 000230
【図２１】
2009157129.tif 000231
【図２２】
2009157129.tif 000232
【図２３】
2009157129.tif 000233
【図２４】
2009157129.tif 000234
【図２５】
2009157129.tif 000235
【図２６】
2009157129.tif 000236
【図２７】
2009157129.tif 000237
【図２８】
2009157129.tif 000238
【図２９】
2009157129.tif 000239
【図３０】
2009157129.tif 000240
【図３１】
2009157129.tif 000241
【図３２】
2009157129.tif 000242
【図３３】
2009157129.tif 000243
【図３４】
2009157129.tif 000244
【図３５】
2009157129.tif 000245
【図３６】
2009157129.tif 000246
【図３７】
2009157129.tif 000247
【図３８】
2009157129.tif 000248
【図３９】
2009157129.tif 000249
【図４０】
2009157129.tif 000250
【図４１】
2009157129.tif 000251
【図４２】
2009157129.tif 000252
【図４３】
2009157129.tif 000253
【図４４】
2009157129.tif 000254
【図４５】
2009157129.tif 000255
【図４６】
2009157129.tif 000256
【図４７】
2009157129.tif 000257
【図４８】
2009157129.tif 000258
【図４９】
2009157129.tif 000259
【図５０】
2009157129.tif 000260
【図５１】
2009157129.tif 000261
【図５２】
2009157129.tif 000262
【図５３】
2009157129.tif 000263
【図５４】
2009157129.tif 000264
【図５５】
2009157129.tif 000265
【図５６】
2009157129.tif 000266
【図５７】
2009157129.tif 000267
【図５８】
2009157129.tif 000268
【図５９】
2009157129.tif 000269
【図６０】
2009157129.tif 000270
【図６１】
2009157129.tif 000271
【図６２】
2009157129.tif 000272
【図６３】
2009157129.tif 000273
【図６４】
2009157129.tif 000274
【図６５】
2009157129.tif 000275
【図６６】
2009157129.tif 000276
【図６７】
2009157129.tif 000277
【図６８】
2009157129.tif 000278
【図６９】
2009157129.tif 000279
【図７０】
2009157129.tif 000280
【図７１】
2009157129.tif 000281
【図７２】
2009157129.tif 000282
【図７３】
2009157129.tif 000283
【図７４】
2009157129.tif 000284
【図７５】
2009157129.tif 000285
【図７６】
2009157129.tif 000286
【国際調査報告】
2009157129.tif 000287
2009157129.tif 000288
2009157129.tif 000289