"偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記3種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、画像処理部と、を備え、前記画像処理部は、前記撮像部で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理部と、前記変動輝度処理部の出力に基づいて前記凹領域で2回反射して戻り光となる前記多重反射領域と、前記被写体表面で1回反射して戻り光となる1回反射領域とを判別する反射判定部と、前記被写体表面の凹領域で2回反射によって戻り光となる多重反射領域の対を決定する鏡像探索部とを有し、前記画像処理部は、前記多重反射領域の対に基づいて前記被写体表面の前記凹領域を示す画像を生成する、画像処理装置。前記画像処理部は、前記多重反射領域の各対からグルーブセグメントを生成し、前記グルーブセグメントを接続して前記凹領域の位置を推定する凹領域接続部と、前記凹領域の断面形状を決定する断面形状モデル化部と、を有する請求項1に記載の画像処理装置。前記画像処理部は、前記多重反射領域における表面法線と前記1回反射領域における表面法線とを統合して法線画像を生成する法線再現部を備える請求項2に記載の画像処理装置。光源位置を設定する光源方向設定部と、前記光源位置を仮想的に動かしたときの光源変動画像を生成する光源変動画像生成部と、前記光源変動画像と輝度画像とを重ねあわせ合成して表示する画像表示部とを有する請求項3に記載の画像処理装置。前記光源変動画像生成部は、前記法線画像および物理反射モデルを用いて前記被写体の輝度画像を生成する請求項4に記載の画像処理装置。前記偏光照明部および前記撮像部は、内視鏡に取り付けられている請求項1から5のいずれかの画像処理装置。前記偏光照明部は、非偏光の光を、偏光面変換素子を透過させることによって偏光面が3種類以上に順次変化する直線偏光を照射する請求項1に記載の画像処理装置。前記偏光照明部は、非偏光の光を前記偏光面変換素子に導くライトガイドを有している請求項1に記載の画像処理装置。前記撮像部はモノクロ撮像素子またはカラー撮像素子を有している請求項1に記載の画像処理装置。偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射しながら前記撮像部によって取得された複数の輝度画像の加算平均を行うことにより、非偏光照明下での画像に相当する平均輝度画像を生成する輝度加算平均部を有する、請求項1に記載の画像処理装置。前記変動輝度処理部は、前記撮像部から出力される画素信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成する、請求項1から10のいずれかに記載の画像処理装置。前記輝度最大角画像、前記輝度変調度画像のいずれかと、輝度画像とを重ねあわせ合成して表示する画像表示部を有する請求項11に記載の画像処理装置。前記反射判定部は、前記輝度最大角画像および前記輝度変調度画像に基づき、前記輝度最大角を色相角、前記輝度変調度を彩度とする擬似カラー画像において、あらかじめ設定された値以上の輝度変調度を持つ画素を、前記多重反射領域を構成する画素として抽出する請求項11に記載の画像処理装置。前記凹領域接続部は、前記凹領域の表面法線のAzimuth方位角を推定する請求項2に記載の画像処理装置。前記断面形状モデル化部は、前記凹領域の断面形状を特定の関数にてモデル化し、前記多重反射領域における表面法線のAzimuth角が概略45度になる性質を利用して、前記凹領域における任意の位置における表面法線のZenith天頂角を推定する請求項2に記載の画像処理装置。前記偏光照明部は、偏光面が3種類以上に順次変化する偏光面変換素子を透過させた光を、リレーレンズ光学系を経由して前記被写体に照射する請求項1に記載の画像処理装置。前記偏光照明部は、同心円状態の複数のリング照明または面照明光源を偏光面変換素子と組み合わせた光学系を有する請求項1に記載の画像処理装置。前記偏光照明部は、撮像系の光軸よりも内側向きの照明系光軸を有する面照明光源と偏光面変換素子とを組み合わせた光学系を有する請求項1に記載の画像処理装置。前記偏光照明部は、無偏光広帯域ビームスプリッタと面照明光源と偏光面変換素子とを組み合わせた光学系を有する請求項1に記載の画像処理装置。偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明工程と、前記3種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像工程と、画像処理工程と、を含む画像処理方法であって、前記画像処理工程は、前記撮像工程で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理工程と、前記変動輝度処理工程の結果に基づいて前記凹領域で2回反射して戻り光となる前記多重反射領域と、前記被写体表面で1回反射して戻り光となる1回反射領域とを判別する反射判定工程と、前記被写体表面の凹領域で2回反射によって戻り光となる多重反射領域の対を決定する鏡像探索工程と、前記多重反射領域の対に基づいて前記被写体表面の前記凹領域を示す画像を生成する工程とを含む、画像処理方法。偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記3種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、画像処理部と、画像処理部の出力に基づいて画像を表示する表示部と、を備え、前記画像処理部は、前記撮像部で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理部と、前記変動輝度処理部の出力に基づいて疑似カラー画像を生成する疑似カラー画像変換部と、を備え、前記変動輝度処理部は、前記撮像部から出力される画素信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成し、前記疑似カラー画像変換部は、前記輝度最大角画像および前記輝度変調度画像に基づき、前記輝度最大角を色相角、前記輝度変調度を彩度とする擬似カラー画像を生成し、前記擬似カラー画像と輝度画像とを合成して前記表示部に表示させる、内視鏡装置。従来技術では、表面の凹部溝の明瞭化のため、通常の輝度画像処理において凹部は隣接画素より暗いという特徴を使っていることが多い。しかし、実際には、それが成り立たない形状の凹部も多い。本発明者の経験では、たとえば平坦な底面を有する凹部や、隣接する傾斜面で相互に光を反射しあうような形状を有する凹部においては、底部や斜面を形成する画素が、周囲の画素よりむしろ明るく反射する事実が判明している。このような形状の凹部では、従来の輝度画像処理は有効ではなく、判定誤りが多発してしまう。また偏光を使う従来技術は、円偏光成分の光を物体に照射し、物体からの戻り光に関する楕円偏光の方位に基づいて表面の傾きを算出できる。しかしながら、上記生体で見られるような定型のない一般的凹部においてその表面法線を求めることは困難であった。一方、推定された凹凸情報の表示について、従来技術は凹部溝の明瞭化を実施する表示技術として擬似色素撒布処理など凹部領域の2次元表示をしているが、これは表面凹凸の実感リアリティが感じられないという課題があった。本発明は、上記の課題を解決するものであり、その目的は、輝度のみならず被写体表面の微細凹凸をリアリティ高く再現できる小型で実現可能な画像処理装置を提供することにある。本発明の画像処理装置は、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記3種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、画像処理部とを備える。前記画像処理部は、前記撮像部で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理部と、前記変動輝度処理部の出力に基づいて前記凹領域で2回反射して戻り光となる前記多重反射領域と、前記被写体表面で1回反射して戻り光となる1回反射領域とを判別する反射判定部と、前記被写体表面の凹領域で2回反射によって戻り光となる多重反射領域の対を決定する鏡像探索部とを有する。前記画像処理部は、前記多重反射領域の対に基づいて前記被写体表面の前記凹領域を示す画像を生成する。ある実施形態において、前記画像処理部は、前記多重反射領域の各対からグルーブセグメントを生成し、前記グルーブセグメントを接続して前記凹領域の位置を推定する凹領域接続部と、前記凹領域の断面形状を決定する断面形状モデル化部とを有する。ある実施形態において、前記画像処理部は、前記多重反射領域における表面法線と前記1回反射領域における表面法線とを統合して法線画像を生成する法線再現部を備える。ある実施形態において、光源位置を設定する光源方向設定部と、前記光源位置を仮想的に動かしたときの光源変動画像を生成する光源変動画像生成部と、前記光源変動画像と輝度画像とを重ねあわせ合成して表示する画像表示部とを有する。ある実施形態において、前記光源変動画像生成部は、前記法線画像および物理反射モデルを用いて前記被写体の輝度画像を生成する。ある実施形態において、前記偏光照明部および前記撮像部は、内視鏡に取り付けられている。ある実施形態において、前記偏光照明部は、非偏光の光を、偏光面変換素子を透過させることによって偏光面が3種類以上に順次変化する直線偏光を照射する。ある実施形態において、前記偏光照明部は、非偏光の光を前記偏光面変換素子に導くライトガイドを有している。ある実施形態において、前記撮像部はモノクロ撮像素子またはカラー撮像素子を有している。ある実施形態において、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射しながら前記撮像部によって取得された複数の輝度画像の加算平均を行うことにより、非偏光照明下での画像に相当する平均輝度画像を生成する輝度加算平均部を有する。ある実施形態において、前記変動輝度処理部は、前記撮像部から出力される画素信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成する。ある実施形態において、前記輝度最大角画像、前記輝度変調度画像のいずれかと、輝度画像とを重ねあわせ合成して表示する画像表示部を有する。ある実施形態において、前記反射判定部は、前記輝度最大角画像および前記輝度変調度画像に基づき、前記輝度最大角を色相角、前記輝度変調度を彩度とする擬似カラー画像において、あらかじめ設定された値以上の輝度変調度を持つ画素を、前記多重反射領域を構成する画素として抽出する。ある実施形態において、前記凹領域接続部は、前記凹領域の表面法線のAzimuth方位角を推定する。ある実施形態において、前記断面形状モデル化部は、前記凹領域の断面形状を特定の関数にてモデル化し、前記多重反射領域における表面法線のAzimuth角が概略45度になる性質を利用して、前記凹領域における任意の位置における表面法線のZenith天頂角を推定する。ある実施形態において、前記偏光照明部は、偏光面が3種類以上に順次変化する偏光面変換素子を透過させた光を、リレーレンズ光学系を経由して前記被写体に照射する。ある実施形態において、前記偏光照明部は、同心円状態の複数のリング照明または面照明光源を偏光面変換素子と組み合わせた光学系を有する。ある実施形態において、前記偏光照明部は、撮像系の光軸よりも内側向きの照明系光軸を有する面照明光源と偏光面変換素子とを組み合わせた光学系を有する。ある実施形態において、前記偏光照明部は、無偏光広帯域ビームスプリッタと面照明光源と偏光面変換素子とを組み合わせた光学系を有する。本発明の画像処理方法は、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明工程と、前記3種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像工程と、画像処理工程とを含む画像処理方法である。前記画像処理工程は、前記撮像工程で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理工程と、前記変動輝度処理工程の結果に基づいて前記凹領域で2回反射して戻り光となる前記多重反射領域と、前記被写体表面で1回反射して戻り光となる1回反射領域とを判別する反射判定工程と、前記被写体表面の凹領域で2回反射によって戻り光となる多重反射領域の対を決定する鏡像探索工程と、前記多重反射領域の対に基づいて前記被写体表面の前記凹領域を示す画像を生成する工程とを含む。本発明の内視鏡装置は、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記3種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、画像処理部と、画像処理部の出力に基づいて画像を表示する表示部とを備える。前記画像処理部は、前記撮像部で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理部と、前記変動輝度処理部の出力に基づいて疑似カラー画像を生成する疑似カラー画像変換部と、を備える。前記変動輝度処理部は、前記撮像部から出力される画素信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成し、前記疑似カラー画像変換部は、前記輝度最大角画像および前記輝度変調度画像に基づき、前記輝度最大角を色相角、前記輝度変調度を彩度とする擬似カラー画像を生成し、前記擬似カラー画像と輝度画像とを合成して前記表示部に表示させる。本発明の画像処理装置では、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、3種類以上の直線偏光の各々によって被写体が照射されているときに、順次、被写体を撮像する撮像部とを備えているため、特別な偏光撮像素子を新たに開発する必要なしにカラー画像と同時に表面の凹凸形状に応じた反射偏光状態に関する情報を取得することができる。こうして、本発明では、反射偏光状態から表面凹凸の情報を得る。通常のカラー撮像素子をそのまま利用することができるので、高コストの偏光撮像素子を使う必要もなく、表面凹凸を視認するための情報を取得することができる。本発明による画像処理装置の例は、図1Aに示すように、偏光照明部120と、撮像部140と、変動輝度処理部1302と、反射判定部1305と、鏡像探索部1306とを備えている。変動輝度処理部1302、反射判定部1305、および鏡像探索部1306は、画像処理部150に含まれている。偏光照明部120は、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体100に照射する。本発明が撮像の対象とする被写体100の表面には、複数の凹領域100aが存在する。被写体100が例えば生体の臓器表面には、複数の凹領域が観察される。直線偏光は、被写体100の表面に存在する凹領域100aと、凹領域100a以外の領域とによって反射され、撮像部140に入射する。撮像部140は、3種類以上の直線偏光の各々によって被写体100が照射されているときに、順次、被写体100を撮像する。図1Bは、偏光面の角度が異なる3種類の直線偏光の偏光方向を模式的に示す斜視図である。図示されている3つの偏光状態10、12、14は、それぞれ、角度の異なる偏光面を有している。図1Bの各偏光状態10、12、14を模式的に示すサークルの内部には、双方向の矢印が記載されている。この矢印は、直線偏光の偏光面を規定する電場ベクトルの振動方向を示している。図1Bには、右手系のXYZ座標を示している。本明細書では、撮像部140によって取得される画像面内にX軸およびY軸を設定し、Z軸の負の向きを視線光軸方向に設定する。直線偏光の偏光面は、振動する電場ベクトルに平行な、光軸を含む平面である。上記の座標系を採用する場合、直線偏光の電場ベクトルの振動方向はXY平面に平行である。このため、偏光面の角度ΨIは、X軸の正方向に対して偏光方向電場ベクトルの振動方向が形成する角度によって規定される。この角度ΨIについては、後に図3を参照して、より詳しく説明する。本発明では、偏光照明部120から、偏光面の角度が異なる3種類以上の直線偏光が、順次、被写体100に照射され、撮像部140が、3種類以上の直線偏光の各々によって被写体100が照射されているときに、順次、被写体100を撮像する。再び図1Aを参照する。変動輝度処理部1302は、撮像部140から出力される画素信号に基づいて、偏光面の角度と各画素の輝度値との関係を求め、輝度最大角画像および輝度変調度画像を生成する。本明細書において、輝度最大角画像とは、撮像によって得られた画像を構成する各画素について、輝度値が最大となる偏光面の角度によって定義される画像である。例えば、ある座標x、yによって特定される画素Px、yの輝度値が、角度45°の偏光面を有する直線偏光によって被写体100が照射されたときに最大になる場合、その画素Px、yに対して、輝度最大角である45°の値が設定される。1つの輝度最大角画像は、このような輝度最大角の値を各画素に設定することによって構成される。一方、輝度変調度画像とは、各画素について偏光面の変化にともなう輝度値の変動の振幅と輝度平均値との比率によって定義される画像である。ある画素Px、yにおける輝度変調度が0.3であるならば、この画素Px、yに対して0.3の値が設定される。1つの輝度変調度画像は、このような輝度変調度の値を各画素に設定することによって構成される。このように、本明細書における画像とは、人間の視覚によって直接的に認識される輝度画像を意味するだけではなく、複数の画素の各々に与えられた数値の配列を広く含むものとする。例えば1つの輝度最大角画像を表示する場合、輝度最大角画像の各画素に設定されている輝度最大角の値に応じた明度で画像を表示することができる。このようにして表現された輝度最大角画像は、人間の視覚によって認識できる明暗のパターンを含んでいるが、これは、被写体の輝度を示す通常の輝度画像とは異なるものである。また、本明細書では、簡単のため、各種の画像を示すデータそのものを画像と称する場合がある。図1Aに示される反射判定部1305は、変動輝度処理部1302の出力に基づいて、凹領域で2回反射して戻り光となる多重反射領域と、被写体表面で1回反射して戻り光となる1回反射領域とを判別する。後述するように、被写体表面の凹領域と、凹領域以外の領域との間には、偏光反射状態に差異があるため、これらの領域を判別することができる。凹領域では、多重反射典型的には2回反射が生じるため、多重反射領域は、同様の偏光反射状態を示す対ペアを構成する。このような多重反射領域の典型的な一例は、断面がV字状のグルーブ溝であり得る。このようなグルーブの最も簡単な構造を有する例は、後述の図9に示すように、一方向に直線的に延びるグルーブである。しかし、多重反射領域を有する凹領域は、断面が概略的にV字状またはU字状に傾斜湾曲する表面を有していればよく、他の形態を有し得る。後に説明するように、図10から図12に例示されるような形態でも、その断面には概略的にV字状またはU字状に傾斜または湾曲する面が存在する。したがって、そのような面では多重反射が生じ、同様の偏光反射状態を示す領域の対が観察され得る。このような、同様の偏光反射状態を示す多重反射領域の対は、被写体の表面において連なり、より広い凹領域を形成している。この凹領域の典型例は、グルーブであるため、本明細書では、多重反射領域の対を含む凹領域をグルーブと称する場合がある。しかし、本明細書におけるグルーブは、被写体の表面において一方向に延長した溝状の凹領域に限定されない。本明細書におけるグルーブは、厳密にはグルーブとは言えない形状例えば、図11や図12に示されるような形状を有する凹領域であり得る。鏡像探索部1306は、被写体表面の凹領域で2回反射によって戻り光となる多重反射領域の対を決定する。この対の決定方法については、後に詳しく説明する。画像処理部150は、多重反射領域の対に基づいて被写体表面の凹領域を示す画像を生成する。図1Cは、本発明の実施形態1における画像処理装置の全体構成を模式的に示す図である。本画像処理装置は、内視鏡101と制御装置102とを備える。内視鏡101は、撮像素子110を有する先端部113、ライトガイド105と映像信号線111を有する挿入部103とを有している。内視鏡101の挿入部103は、図示されているように左右に長く、フレキシブルに曲がり得る構造を有している。ライトガイド105は曲がった状態でも光を伝達することができる。制御装置102は、光源104と画像プロセッサ108とを備える。光源104から発した白色非偏光の光は、ライトガイド105を経由して先端部113の偏光面制御素子106に導かれ、被写体に照射される直線偏光の光121となる。偏光面制御素子106は、たとえば偏光板と液晶素子から構成されており、電圧により非偏光を任意の偏光面の直線偏光へと変換できる。偏光面制御素子106は、液晶を用いた偏光面を回転させることが可能なデバイスである。その構成例は、特許文献4、特許文献5ならびに非特許文献1等に既に開示されている。偏光面制御素子106は、例えば強誘電性液晶と、偏光フィルムと、1/4波長板などを組み合わせた電圧印加型液晶デバイスで構成され得る。そしてこの偏光照明は、照明レンズ107を通って被写体に照射される。同期装置112は、偏光面制御素子106に偏光面回転の指示信号を送り、照明の偏光面を回転させるとともに、撮像素子110に撮影開始信号を送って映像を取得し、以上の処理を複数回実施する。被写体からの戻り光122は、撮影レンズ109を通って撮像素子110上に結像する。撮像素子110は、モノクロ撮像素子、あるいはカラーモザイクを有する単板カラー撮像素子であってよい。撮像された映像信号は、映像信号線111を経由して画像プロセッサ108に到達する。本実施形態では、光源104、ライトガイド105、偏光面制御素子106、および照明レンズ107によって図1Aの偏光照明部120が実現されている。また、撮影レンズ109および撮像素子110によって図1Aの撮像部140が実現されている。図1Aの変動輝度処理部1302、反射判定部1305、および鏡像探索部1306は、画像プロセッサ108によって実現されている。次に、図2を参照して、偏光面制御素子106の動作を説明する。偏光面が0°状態203で第1の画像を撮像し、偏光面が45°状態204で第2の画像を撮像し、偏光面が90°状態205で第3の画像を撮像し、偏光面が135°状態206で第4の画像を撮像する。各偏光面が45°ずつずれている必要はなく、180°を3以上の整数で除算した角度ずれていればかまわない。撮像素子が高感度である場合、あるいは照明の照度が高い場合には露光時間が短縮できるので、回転角をより細かく設定できる。偏光面の回転に要する時間は、上記文献によれば、動作速度は20ms程度から40~100μsec程度の高速型まで存在する。高速型の液晶を用いてかつこの時間での撮像が可能な程度まで撮像素子の感度を上げれば4方向の偏光回転を実施して撮影しても、動画映像の撮影に十分な性能を持たせることが可能である。また画像処理は最低4フレームの画像撮像単位について実施されるが、処理をパイプライン処理にすることで実際かかる処理時間を1フレーム時間内に収めることが可能である。図1Cから明らかなように、照明レンズ107の光軸と撮影レンズ109の光軸は略等しい。これは内視鏡での観察時に被写体上になるべく影を発生させないためである。なお、内視鏡の通常の使い方では、非偏光を被写体に照射したい場合が多い。本発明では、例えば上記第1の画像から第4の画像までの別々の偏光画像を加算することによって非偏光の平均輝度画像を生成することができる。本発明者らの実験によると、偏光面の角度ΨIが等間隔の複数の偏光を被写体に照射したときの戻り光の画像を加算すると、偏光の効果が打ち消されるため、結果的に非偏光照明を用いたのと同様の効果が得られることが判明している。図3は、偏光照明における偏光面の角度ΨIの定義を示す図である。前述したように、被写体に向かってX-Y座標系を設定している。偏光面の角度ΨIは、X軸の方向を0°として図3に示すように定義するものとする。角度ΨIが反射において保存される場合には、反射光の偏光面の角度と入射光の偏光面の角度は同一となる。偏光面の角度ΨIを増加または減少させていくと、180°の周期で同一の偏光状態が繰り返される。すなわち、偏光面の角度ΨIを変数とする関数は、180°の周期を有する周期関数である。なお、本明細書において、偏光照明における偏光面の角度ΨIを、入射偏光面角度と称する場合がある。図4aおよびbは、それぞれ、撮像素子110の撮像面の構成例を示す図である。図4aに示すように撮像面には、複数の光感知セルフォトダイオードが行および列状X-Y方向に規則的に配列されている。カラー撮像の場合には、図4bに示すようRGB3種の波長の光を透過するカラーモザイクフィルタが設置される。個々の光感知セルは、光電変換により、入射した光の量に応じて電気信号を生成する。この部分は一般的な単板カラー撮像素子を用いることができる。このように撮像素子110としては、従来の輝度画像用のものを利用できる。本実施形態では、照明光を直線偏光として、その偏光面を回転させながら撮像することによって被写体の表面情報を取得することが可能になる。このため、特許文献2および特許文献3に開示されているような偏光撮像をするための偏光モザイク形の受光素子などを使うと、偏光画像上にモアレなどのアーティファクトが発生することがよくあるが、本実施形態によれば、このような画質劣化要因がなくなる利点がある。次に、偏光照明の偏光面を回転した時の輝度の変動の性質について説明する。図5は、表面801に対して入射角がゼロに近い偏光が入射して直接反射をカメラで観測する様子を示している。図5a、bは、入射する偏光の偏光面が90°異なっている。しかし、反射光の直線偏光は、光の進行方向が変わるだけでエネルギーである輝度は変動することはない。これは以下の理由による。図6は、フレネル理論による鏡面反射率の入射角依存性を示すグラフである。横軸が入射角、縦軸がフレネル反射率を示す。屈折率はn=1.8を想定した。垂直入射とみなせる0°~15°付近の入射角度は、範囲601に相当する。グラフから読み取れるように、この入射角範囲601では、P波もS波も反射率がほぼ同一である。したがって、偏光がほぼ垂直に表面に入射した場合には、表面に対するP波とS波という偏光の区別が無くなって同じ挙動で反射する。すなわち戻り光の偏光状態は入射光と同じになる。従って偏光面変化により戻り光の輝度が変動することは無い。なお、この事実は、屈折率n1.4~2.0の自然物体において、広く成立する。以上のように、滑らかな表面に対して入射角度がほぼゼロで偏光が入射し、それが1回反射して観測される場合、偏光照明の偏光面を角度ΨIだけ回転させても反射光のエネルギーが変わらないため、観測される輝度Yは不変となる。図7は、凹凸のある表面に対して偏光照明の偏光面の角度ΨIが0°、45°、90°、135°のときに得られる、輝度画像の特定の画素における輝度Yの変動を示している。このように凹凸表面では、輝度Yは各偏光照明の偏光面の角度ΨIに対して周期的に変動を示す。以下、この理由を詳述する。図8は、凹凸のある表面でグルーブ801が形成され、その斜面で2回の反射が発生している様子を示す。この多重反射は、表面の凹凸が多い被写体表面で常に発生していると考えられ、1回目と2回目の反射の性質が重要となる。幾何学的な配置によっては、極めてまれに2回反射とほぼ同じ位置に3回反射が発生することもあるが、その発生頻度はきわめて低いため、以降は2回反射のみに注目する。一般に反射の性質を鏡面反射と拡散反射に分離した場合、11回目:拡散反射2回目:鏡面反射21回目:拡散反射2回目:拡散反射31回目:鏡面反射2回目:拡散反射41回目:鏡面反射2回目:鏡面反射の4通りの現象が想定できる。しかし実験によると、被写体表面が滑らかな場合、4の1回目も2回目も鏡面反射という現象を主要な現象として考えればよいことが判明している。図8aに示すように、グルーブの主軸方向802に対して垂直に偏光した偏光照明はP波である。再び図6を参照すると、被写体グルーブの傾斜角が45°程度と仮定して、そこに真上から照明が入射すると602のフレネル反射率のグラフから読み取れるとおり、この入射角範囲では、S波にくらべてP波の反射率が極めて弱くなる。さらにP波は1回および2回反射を経由する間にさらに弱くなる。一方、図8bに示すS偏光は、2回の反射を経てもそれほど弱まらない。その結果、グルーブに対してP波となる入射偏光面においては、反射光はエネルギー的にも極めて弱くなり、輝度が低下する。一方、S波となる入射偏光面においては、反射光はそれほどエネルギーが減衰せず輝度も高い。以上のように表面グルーブを仮定すれば、実験にて得られた、入射光の偏光面の回転による反射光の輝度変化が説明できる。グルーブにおける2回反射を偏光現象として検出し、これを、偏光回転照明を使って輝度変動として観測できる。しかし、上記のようなグルーブモデルはやや人工的な溝であった。生体の臓器、粘膜表面における凹凸はさまざまな形状を呈する。図9から図12は、このような現実の凹凸をモデル化したものである。図9は最も単純なグルーブ溝を示している。これは2種の斜面901のみから形成され略直上から入射した光は、斜面で2回反射902して戻り光となる。このモデル化では、グルーブにおいて2回反射現象のみが存在する。そこで、ある程度解像度が低い状況では、グルーブ中心は最も暗くなることが多く、従来の輝度による画像処理を用いても凹凸が検出可能である。しかし以下の形状では1回反射と2回反射が混在し、輝度による凹凸検出は困難になる。図10はグルーブが底面1001を有する場合であり、浅く広い陥没部などで見られる形状である。この場合、直上から入射した光は、斜面1004で2回反射1002して戻り光となるだけでなく、底面にて1回反射1103する。このため輝度で観測すると、グルーブの中心が最も明るくなり、凹部が周囲より暗くなるという常識に反する状態になり、輝度を用いた画像処理では凹凸判定は困難になる。図11は平坦部上の凸形状1105が密集している領域の形状であり、隆起状の腫瘍などが発生している場合に見られる形状である。凸部は簡単のため半球状にモデル化してあるが、凸部1105の間隙部1101は、凹部と見なすことができ、略直上から入射した光は図11bに示すように隣接する表面で2回反射1102して戻り光になる。隆起した部分では光が1回反射して非常に高い輝度領域となるが、間隙の凹部の底部にも、1回反射光が生じる領域1104が存在する。この領域1104は、しばしば非常に高輝度になる。したがって、輝度で観測すると凹部が周囲より明るくなるという状態になり、輝度による凹凸判定によっては図11に示すような凹領域を正確に検出することは困難になる。図12は、平坦部上に穴状の凹部1204が単独で存在する形状を示している。凹部1204は半球状の穴としてモデル化している。この場合も、対面する斜面の対が存在するため略直上から入射した光は2回反射1201して戻り光となる。しかし、入射光は底面にて1回反射1202するため、輝度で観測すると、凹部1204の中心1203が最も明るい状態となる。その結果、凹部1204が周囲より暗くなるという常識に反する状態になるため、輝度による凹凸判定によっては図12に示すような凹領域を正確に検出することは困難になる。輝度による画像処理では凹凸情報を得ることが困難な多様な形状に対して、本実施形態では、回転偏光照明を用いた情報から1回反射と2回反射現象を切りわけて表面凹凸情報を正しく検出することができる。図13は、画像処理プロセッサ108の構成を示すブロック図である。本実施形態で実行する画像処理は、偏光面が回転する偏光照明を照射して輝度変動を観測した情報から凹凸を検出する原理を用いている。照明の偏光面角度ΨIを0°、45°、90°、135°と変えた場合にそれぞれ撮像された4枚の輝度画像群1301が画像処理プロセッサ108に入力される。偏光照明を回転した場合の輝度変動は周期180°の余弦関数になることが判明しているので、変動輝度処理部1302は、これを余弦関数に最適フィッティングする。輝度変動は照明の偏光面の角度をΨIとして以下のように表現される。図14は、この輝度変動の余弦関数を示したもので上記の振幅AI、位相Ψo、平均値YΨI_aveを表している。4個のサンプル点は、簡単のため、この余弦関数上にちょうど載るように描かれている。4つの等間隔の角度サンプルから余弦関数をフィッティングして上記の値を推定する手法は、以下のとおりである。まず非偏光照明下での原画像の輝度YΨI_aveを以下の式で求める。これは近似的に非偏光照明下での輝度画像を再現しており、この画像は内視鏡の通常観察画像として利用することができる。変動輝度処理部1302では、サンプルされた輝度から余弦関数への最小2乗誤差を用いた最適フィッティングを行う。ここでは、0°、45°、90°、135°という4方向のサンプルから実施する。余弦関数は振幅、位相、平均値の3種の情報で決定されるため、これらを決定するためには3点のサンプル以上であれば実際には何点でもかまわない。しかし45°サンプルの場合には最適フィッティングが簡単になる性質がある。まず偏光角度が0°、45°=π/4、90°=π/2、135°=3π/4における輝度I0、I1、I2、I3の2乗誤差Eを以下のように定義する。この2乗誤差を最小化する余弦関数の位相Ψoは、以下の式から求められる。この式から、解は、次の式で与えられる。逆三角関数などの数学関数では一般に以下のような制限が課されている。この角度範囲を考慮すると、aとcの大小関係からの場合わけを行うことによって、最小値をとる角度と最大値をとる角度は以下のように計算できる。この最大値をとるΨ0maxの値を、そのまま、輝度最大角画像YPHとすればよい。次に、振幅の最大値と最小値を求める。まず、振幅AIを求めるため、以下の式を用いて2乗誤差の最小化を行う。振幅AIを用いて、振幅の最大値と最小値は以下のようになる。式11の振幅最大値Ymaxと最小値Yminを用いると、輝度変調度画像YDは、以下の式12によって求められる。なお、余弦関数への一般の最適フィッティングは3点以上のサンプルにおいて可能であり、その方法は例えば特許文献6に記載されている。以上の処理によって輝度最大角画像YPHと輝度変調度画像YDが得られる。これらの情報は、図13に示されるように、反射判定部1305に送られる。輝度最大角画像YPHと輝度変調度画像YDの2種類の画像は、擬似カラー画像として1つにまとめて表現することが多い。その場合、色の色相角を表現するのが輝度最大角画像YPHであり、色の彩度を表現するのが輝度変調度画像YDである。また、図13に示されるように、異なる偏光照明下で撮影された画像群1301は、輝度加算平均部1310において加算平均され、非偏光照明下で撮影された画像と等価になる。これが通常のカラー画像として機能する輝度画像Yとなる。反射判定部1305は、輝度最大角画像YPH、輝度変調度画像YD、および、輝度画像Yを用いて、被写体表面で発生した反射を1回反射と2回反射に識別判定する。図15は、反射判定部1305の処理を説明するフローチャートである。ステップS1501では、輝度変調度画像YDと輝度画像Yとを入力する。ステップS1502では、輝度変調度画像YDの各画素における値変調度が、所定の閾値レベルTH_YD以上か否かを判定する。ステップS1504では、式13に示すようにi変調度が所定の閾値レベルTH_YD以上の画素からなる画像領域REF2=YESを、2回反射領域と判定する。一方、ii変調度が所定の閾値レベルTH_YDより小さい画素からなる画像領域REF2=Noを2回反射なしと判定する。こうして、所定の閾値レベルTH_YD以上の輝度変調度が存在する反射領域のみを2回反射領域REF2の画素領域として分離できる。ステップS1503では、ステップS1502においてREF2=No2回反射なしと判定された領域の輝度値Yが、所定の閾値TH_Yよりも大きいかどうかを判定する。画素の輝度値Yが所定の閾値TH_Y以上の場合式14REF1=YES、ステップ1505では、そのような画素からなる領域を1回反射領域REF1と判定する。1回反射領域REF1および2回反射領域REF2は、鏡面反射領域を構成する。なお、2回反射領域REF2は、2回以上の反射が生じる領域を含み得るため、多重反射領域と呼んでもよい。そして、画素の輝度値Yが所定の閾値TH_Yよりも小さい式14REF1=No場合、そのような画素からなる領域は、鏡面反射領域ではないとする。以上の処理によって1回反射領域REF1と2回反射領域REF2が画像上で分離される。また、1回反射領域REF1および2回反射領域REF2のいずれでもない領域が、鏡面反射領域から区別される。図16Aは、平坦部上に隆起状の腫瘍などが発生しているシーン図11について、反射判定部1305の処理を行った結果を模式的に示している。図16Bでは、1回反射領域がハッチングされた円形領域として記載されている。1回反射領域は、隆起部の頂上付近と凹部の底面に存在する高輝度領域である。図16Cに示すように、2回反射領域1601、1602、1603の各対は、隆起部どうしが接する凹部の斜面に位置している。図17A,Bは、この処理結果をさらに模式的に表現する図面である。分離抽出された各種の形状を有する微小反射領域171,172、173,174、175が、属性として輝度最大角Hを有する様子を示す。輝度最大角Hは180度周期の角度である。輝度最大角Hの等しい領域が図17A、Bでは、パターンテクスチャにて表現されている。図17Aに示される領域171、172は、角度H1に相当する属性を有し、図17Bに示される領域173、174、175は、角度H2に相当する属性を有しているとする。言い換えると、領域171、172の輝度最大角HはH1、領域173、174、175輝度最大角HはH2であるとする。以下に示す鏡像探索では、まず、図16Cの2回反射領域1601、1602、あるいは1603のような鏡像対となる領域を見つけて凹部を判定する。図17Aの領域171と領域172という対を見つける場合、その2値画像としての形状は信頼性が低く、あまり有用でない。しかしながら2回反射領域が有する角度H1は大きな手がかりとなる。なぜなら、角度H1はグルーブ主軸角度を示しているため、対となる領域は必ずグルーブ主軸と直交する方向に存在するからである。探索は、このグルーブ主軸と直交する直線上のみで行えばよい。このグルーブ主軸と直交する直線を探索線176と称するものとする。例えば、図17Aの領域171に対する探索線176は、領域171の重心178を通り、角度H1に直交する線である。図17Bの例において、領域173に対応する鏡像は、領域173の重心を通り、角度H2に直交する直線探索線177上に位置する。したがって、領域173に対応する鏡像は、探索線177上のみを探索すればよい。図17Bの例では、角度値H2に等しい角度値を有する領域175が領域173の近傍に位置しているが、この領域175は探索線177上にはない。すなわち、領域173と領域175とは、2回反射領域の対を構成していない。探索線上を探索する方法によれば、領域175を、領域173と対を構成する領域であると間違えることはなくなる。次に、図18Aを参照しながら、鏡像探索部1306の処理を説明する。図18Aは、鏡像探索部1306の処理の一例を示すフローチャートである。ステップS1801において、2回反射領域画像を入力する。これは、図16Cに例示されるような2回反射領域の対を示す2値画像と、輝度最大角画像YPHと、輝度変調度画像YDとを含むデータである。具体的なデータの例は後述する図18B。以下、輝度最大角画像YPHの各画素における輝度最大角の値をYPH値と称し、輝度変調度画像YDの各画素における変調度をYD値と称する。ステップ1802では、反射判定部1305における式13で説明した2値化処理のために発生した画像上の細かい分散した微小領域をノイズとして除去する。これは通常の2値画像の収縮膨張処理を使えばよい。ステップ1803では、2値画像をラベリングして、領域ごとに画素数、重心座標、YD値,YPH値の平均値を計算する。ここで、YD値とYPH値の平均計算には、YD値を色の彩度、YPH値を色の色相とすることによって表現される擬似カラー値R,G,Bを用いる。図18Bは、1つの反射領域における擬似カラー値R,G,Bの例を示している。この領域は、画像上のX軸座標275-278とY軸座標183-186に存在する11画素よりなる領域である。各画素はYD,YPH値を擬似カラー値にて保持しており、これはRED、GREEN、BLUEの各プレーンの同じ座標の画素位置に8ビット値が格納されることで実現されている。たとえば、この領域を構成するX,Y=278,184の画素にはRED,GREE,BLUE=255,231,227が格納されている。上記ステップ1803の計算において、重心位置と擬似カラー値の平均値を計算すると、この領域の重心座標はGCX,GCY=276.5、184.6、平均色はRED_AVE,GREE_AVE,BLUE_AVE255,228.09,223.45となる。ここからグルーブ主軸角度Hは、よく知られたRGB_HSV変換などを用いることにより、H=0.0245、すなわち約8.82°を得る。この角度は、360度周期であるが、グルーブ主軸角度φは180度周期であるため、Hの1/2の値をグルーブ主軸角度φとすればよい。したがって、図18Bの例におけるグルーブ主軸角度φは約4.41°となる。この状態で、領域番号nrとして領域がラベリングされた2値画像が得られており、各領域の属性、統計量が確定する。次に実際の探索プロセスを説明する。図18AのステップS1804では、初期設定として、探索領域番号nrを1にセットする。ステップS1805では、探索領域に対して探索線を計算する。この探索線とは前述の説明どおり鏡像を探索するとき使う探索範囲を規定するものである。ステップS1806では被探索領域番号nr1を1にセットし、ステップS1807で実際に探索を行う。上記擬似カラー値の意味で類似色でかつ探索線との距離Dが小さい領域のみを鏡像候補Mrrcandとして、探索線上距離Lenをストアするという方法で行う。図19は、この被探索領域の探索の詳細を説明する図である。これから2回反射領域の対を構成する他方の領域の探索をする基準となる領域を探索領域191と設定し、グルーブ主軸方向は矢印192で表現される方向とする。まず探索領域191と被探索領域どうしでの主軸角度が類似しているかどうかを判定する式15を用いて、探索領域191と類似色の領域とが判定され、同時に探索線193が確定される。探索線の方程式は現在の探索領域の重心座標と2回反射グルーブの主軸角度φを用いて以下のようにあらわされる。よって探索領域番号nrの探索線に対して被探索領域番号nr1と探索線との垂直距離Dの条件は以下のようになる。式15と式17の条件を両方満たした場合には、探索線上距離Lenを以下のように計算する。ステップS1809で探索領域nrに対する全ての被探索領域の探索が終了したか否かを判定し、未終了であれば、次の被探索領域nr1をセットするS1808。ステップS1810では、探索線上距離Lenをソートして短距離から2個を選択する。これが鏡像対になるが、あまりに距離の遠い鏡像対はありえない。そこでステップS1811にて短距離から2番目までが最大距離LEN_THより小さければ、鏡像の対と認定する。求めた鏡像対の領域からグルーブに相当する垂直2等分線を生成する。この線分をグルーブセグメントと称し、長さをGRVLENとして以下のように表現できる。ステップS1812にて全ての領域nrが探索されたことが確認されたら処理が終了し、未終了の場合には次の探索領域に進むステップS1813。以上の処理が終了すれば、反射領域の群にその鏡像対を結びつけ、その中間位置に存在すると想定される、グルーブの局所的な細分化された候補であるグルーブセグメントを設定することができる。図20Aから図20Dは、実被写体においてグルーブセグメントを抽出した実験画像を示す図である。図20Aは、被写体を回転偏光照明にて撮影した画像4枚から生成された輝度画像である。臓器表面の凹凸類似の形状と反射特性を有すると想定される魚卵、具体的にはすじこの集合体を用いている。表面には照明であるリング照明の1回反射の像および半透明の特性によるリング状の像が多数観察され、これは輝度画像処理においては重大なノイズになる。しかしながら本発明の偏光処理においては、処理結果の図20Bから図20Dのとおり、ほとんど問題にならず正常に処理が可能である。図20Bは、変動輝度処理部1302の処理を実施した結果を示す図であり、輝度最大角画像YPHと輝度変調度画像YDとをまとめて1つの擬似カラー画像が示されている。図20Cは、反射判定部の結果を示す図であり、量子化処理にて2回反射と判定された微小反射領域が分離抽出された結果を示す。これらの微小領域が図16C、図17A、17Bの各領域に相当する。図20Dは、鏡像探索部1306の処理を実施した結果を示す図であり、魚卵の1個1個の輪郭線付近にグルーブセグメントが抽出されている。複数の平行線2001が抽出される部分は複数の鏡像領域対が発見された部分に相当する。図21Aと図21Bは、この複数の鏡像対の発生原因を説明する図である。図21Aは被写体表面の凹凸の断面図であり、斜面が変曲点を有するカーブを描いているため、A点とD点で1つの2回反射、B点とC点で別の2回反射が発生している。そのために図21Bのように4個の2回反射領域が同一探索線上に観測され結果的に3本のグルーブセグメントが抽出される。この場合、別途のアルゴリズムによって本来のグルーブ中心がBとCの中点であることを判定してもよい。凹領域接続部1307は、推定されたグルーブセグメントどうしを接続することにより、1まとまりの凹領域を生成し法線のAzimuth方位角を確定する。次に、図22を参照しながら、凹領域接続部1307の処理を説明する。図22は、凹領域接続部1307の処理の流れを示すフローチャートである。図22に示すステップS221では、鏡像探索部1306でグルーブセグメント化した、画像内の全てのグルーブセグメントSを対象にする。ステップS222では、各グルーブセグメントSの有する方向に依存して2値画像処理の膨張処理を実行する。この膨張処理の方向は、個々のグルーブセグメントの方向に依存して決定され、グルーブセグメントの主軸とその垂直方向に対してほぼ均等に膨張させ、グルーブセグメントをグルーブの底としてグルーブの斜面領域を再生する。ステップS223では上記の膨張領域の近いものどうしを画像処理によって相互に接続し、微小反射領域に依存して離散的だったグルーブセグメントを大きな連続した接続グルーブ領域とする。ステップS224では、接続グルーブ領域を2値画像処理で細線化することにより、連続した接続グルーブ領域の底に対応する細線を確定する。ステップS225では、この細線の垂線でかつ細線に向かう向きのベクトルを設定し、これをグルーブの法線ベクトルのAzimuth方位角として推定する。ステップS226では、接続グルーブ領域内における断面形状を2次関数などの既存の関数形にてフィッティングをすることにより、グルーブのZenith天頂角を推定する。この際に微小反射領域の反射強度が拘束条件となる。これは、図10、図11、図12などからわかるように、各断面において強い2回反射を発生する斜面角度は垂線に対して約45度近傍であることを利用する。これらの処理を実施して接続グルーブ領域を推定し、その場所における表面法線ベクトル、すなわちAzimuth方位角とZenith天頂角とを推定する。以上の処理を実例に即して説明する。図23Aから図23Dは、湾曲したグルーブの例を示す図であり、このグルーブは、隆起した凸領域の周囲に存在するグルーブと考えてよい。図23Aは、微小反射領域151,152と設定されたグルーブセグメント179を示す。図23Bはグルーブセグメント179の膨張処理の結果を示す。図23Cは、他のグルーブセグメントと接続し、細線化処理が実施された様子を示す。この段階で接続グルーブ領域は画像の左下を中心に湾曲し、その谷である底面位置が細線で示されている。図23Dは、得られたグルーブに対して法線の方位角が推定された結果を示している。図24Aから図24Dは、平坦な面内にある窪み穴の例を示す図である。穴の形状は、グルーブが点対称になったものと考えられるため2回反射の鏡像対が理論的には無数に存在する。図24Aは、微小反射領域2000と微小反射領域2001とが鏡像対をなし、グルーブセグメント2004が推定される。また、微小反射領域2002と微小反射領域2003とが鏡像対をなし、グルーブセグメント2005が推定されている。図24Bは、グルーブセグメントを膨張処理させた結果を示している。その膨張領域が1つの十文字状の閉領域をなすことがわかる。ここから細線化を実施すると底面の1点が推定される。図24Cでは、グルーブセグメントから求められた凹領域である穴と、その穴の底面における1点が図示されている。図24Dは、得られた穴の領域に対して法線の方位角が推定された結果を示している。断面形状モデル化部1308は、以上の処理によりAzimuth方位角が推定された結果を受けて、凹領域においてZenith天頂角を推定し、法線を表現する2つの角度を確定する。凹領域のAzimuth方位角およびZenith天頂角が決まると、凹領域の法線画像を生成する。図25は、方位角と天頂角につき説明する図である。法線ベクトルは3次元ベクトルであるが長さが1に正規化されているため自由度は2であり、角度で表現する場合には、画面内の方位角Ψと視線に対する天頂角θにて表現する。通常の右手系では、画像内にX-Y軸を設定し、Z軸の負の向きが視線光軸方向となる。法線の3成分Nx,Ny,Nzとの関係は図に示すとおりである。すなわち偏光情報により方位角Ψと天頂角θとが求められたならその点での表面法線は以下のようになる。図26は断面形状モデル化部1308の処理の流れを示す。ステップS2601では、すでにAzimuth方位角が推定された状態にて、Zenith天頂角を推定する。グルーブ断面は特定の関数形でフィッティングしてかまわないが、ここでは正規分布関数を用いる。図27は推定されたグルーブを被写体直上からみた平面図と断面を示す。簡単のためにグルーブはX0でY軸方向に延びているとする。ここで断面形状をσというパラメータを用いた正規分布関数で表現するものとする。正規分布関数は、パラメータがσ1個だけで表現され簡単であること、生体で一般的な各種のグルーブの形状に類似していることから図10から図12の各種断面形状を近似するものとして選定している。ここで、断面形状の勾配を計算すると、これは法線の天頂角θを用いて以下のように表現できる。そこで最適フィッティングすべき微小反射領域2701の位置をx軸上でWとし、そこでのθを最も反射強度が強くなるθ=45度と仮定すると、を得るのでここからパラメータσが求められる。以上のようにグルーブの断面形状が正規分布関数で表現され、同時にグルーブ底面の中心線2702からのずれ値Wに従ってZeinth天頂角が決定する。なお、正規分布関数の値はグルーブ中心から離れるに従い漸近的に平坦部に移行する。したがって、このモデルは、胃などの粘膜表面における凹部のモデルとしては適している。一旦この関数形が決定されれば、グルーブ中心線から距離xの点における天頂角θは、として求められる。なお、正規分布関数以外の断面形状モデルを用いてもよいことはいうまでもない。ステップS2602では、求めた方位角Ψと天頂角θから式21を用いてカメラ座標系における被写体表面の法線ベクトルNx,Ny,Nzを求め、これを2次元的な法線画像とする。いままでの説明からわかるように本発明では、偏光情報を使ってはいるが、Azimuth角、Zenith角のいずれについても不定性Ambigugityが発生しない。これは通常の偏光画像処理とは大きく異なる利点であり、もともと凹部のみをモデル化して推定するという立場で考案されているためである。以上の処理は被写体表面で2回反射を起こす凹領域における法線の推定処理であったが、次に1回反射を起こす領域の処理を説明する。高輝度領域処理部1312は、図16において被写体表面で非常に明るい輝度を有する領域REF1として抽出された部分での法線を確定する。図28は、法線確定の原理を示す図であり、1回反射における鏡面反射で入射角と反射角が等しい性質からREF1領域における表面法線N1は視点ベクトルVと光源ベクトルLとの2等分ベクトルとして計算できる。以上の処理においてREF22回反射領域とREF11回反射領域における表面法線が確定できる。しかしこれらの法線は局所的にしか求められていない。そこで被写体表面全域にわたる大域的な法線を決定する。法線再現部1313は、理論的な表面反射モデルと観測された単一画像の輝度との関係から法線の連続性仮定を用いて法線未決定領域に対して法線を求めて、大域的な法線を決定する。この領域では2回反射はほとんど発生していないため、照明と法線と視線の方向から1回の反射にて輝度が決定されると考えてよく、従来からよく使われているSFSShapeFromShadingにおける陰影からの形状復元非特許文献2の手法を使うことができる。この手法ではまず3次元空間内のベクトルである表面法線Nx,Ny,Nzをp、q勾配空間を経由して被写体の外縁線拘束を表現するのに便利なf、g空間で表現しておく。この返還式には式26、式27を使えばよい。次に実際にある画素位置x、yにて観測された輝度Ex,yから法線f、gを推定するために式28の関係を仮定する。このため法線と観測輝度との理論的関係Rf,gが必要になる。これは、実験的に求めることも可能であるが、光源位置を既知として被写体の反射特性を近似する種々の物理反射モデルの式から得ることができる。たとえば鏡面反射モデルとして後述するクック=トランスモデルを使うことができる。次に、被写体表面が滑らかであるという設定から以下の法線連続性の式を仮定する。そこで、式28と式29を両立させるため以下の積分を最小化する。この最小化問題は以下のオイラー方程式を解くことに帰着し離散的に繰り返し法を用いて解くことができる。最後に求められたf、g空間からp,q空間を経由して法線ベクトルを逆変換して求める。図29Aは、この繰り返し法によって次第に表面の凸部分の法線が形作られていく様子を模式的に示す。初期の表面は2901のように平坦であるが、繰り返し法を適用すると、2902、2903のように次第に凸領域が形成されている。なお、グルーブ領域における法線群、REF1領域における法線は拘束条件として用いることができる。以上の処理によって法線画像Nが生成できる。図29Bは法線画像を模式的に表現した図である。輝度画像の各画素にその場所における表面法線ベクトルのデータが付随している。以下の説明は、このようにして生成された画像を合成表示する部分に関する。まず図1Cに示すとおり、法線画像Nは光源変動画像生成部117に送られる。光源変動画像生成部117では、求められた法線画像に対して、カメラ視点方向と照明光源方向を与えることによって物理反射モデル式を用いて輝度画像を生成する。ここでは被写体の鏡面反射をよく表現するモデル式としてクック=トランスモデルを使用する。それによると輝度Isは以下の式で表される。図30はクック=トランスモデルを用いる場合のベクトルと角度の関係を示す図であり、表面法線Nと、光源ベクトルLと視点ベクトルVが描かれている。光源ベクトルLと視点ベクトルVの2等分ベクトルHを用いると、上式におけるαは、2等分ベクトルHと法線Nとのなす角度であり、θrは視線ベクトルと法線Nのなす角度である。フレネル係数Fおよび幾何減衰率Gは以下の式で表現される。また係数Kは入射照度に関係する係数である。このクック=トランスモデルを使えば、表面法線画像から輝度画像を生成することができるが、そのためには屈折率nのほかに、視線ベクトルV、光源ベクトルLなどの幾何学的な設定を与える必要がある。光源方向設定部114は、この光源ベクトルを設定するためのマンマシンインタフェースであって、内視鏡診断などにおいては観察するユーザである医師が自由に設定する。この設定は照明光源を実際の内視鏡の光源以外の場所、たとえば向かって左側、右側、上側、下側から照射するような仮想的な設定であり、対象の表面凹凸をリアリティ豊かに画像化できる。図31は、このような光源変動された画像を模式的に示す。この画像は推定された法線画像に基づいているために照明変更がコンピュータ上で自在に替えることができ、内視鏡の欠点の1つである照明位置の変更ができないため表面凹凸の観察が困難である、という課題を解決することができる。実際にはクックトランスモデルで表現される画像は光沢部のみの鏡面反射画像である。たとえば、カラー画像の場合には、鏡面反射画像は白色光源のみによるためモノクロ画像となってしまい、これだけではリアリティに欠ける。そこで画像合成部115において、輝度画像Yと合成表示する。図32Aは、この合成処理を説明する図である。輝度画像Yと光源変動画像SYは、画像合成部115に送られ、まず画像成分分離部3202にて拡散反射画像DYが分離される。これは、輝度画像Yから、光源を撮影時と同じ状態に設定した鏡面反射画像である光源変動画像SYを減算することによって実施される。前記のカラー成分などは、この拡散反射画像DYに残存する。次に光源を任意の位置に変化させた場合の光源変動画像SYを生成し、これに重み係数設定部3204にて重み付けして加算部3203で加算合成する。合成画像は表示部へ送られる。図32Bは、以上の合成処理にて実現される表示画像の例である。光源3206は仮想的に設定される任意の平行光源である。これを図32BのAからDのように方向を自在に設定すると、被写体画像が画像3208Aから3208Dのように変化する。特に1回反射の鏡面反射部3207とシャドウ部3209が光源の位置変化と共に移動する点で視覚的に凹凸を感知させることができる。医師は通常の輝度画像に加えて凹凸をリアリティ豊かに強調した画像を見ることができ診断に有効な情報を得ることができる。図33Aは合成処理の別の形態を示す図である。この場合には法線画像Nから生成される輝度画像ではなく、そこまで加工する以前の情報である輝度最大角画像YPH、および輝度変調度画像YDから生成される擬似カラー画像を合成している。輝度最大角画像YPHと輝度変調度画像YDは画像合成部115に入力されると、まず擬似カラー変換部3301によって擬似カラー画像Cに変換される。この変換には、よく知られたHSV-RGB変換などを利用できる。次に、この画像は重み付け部3303にて重み付けされて、同じく重み付け部3302にて重み付けされた輝度画像と共に加算部3304に送られて加算合成される。この場合に擬似カラー表示は、その色相が表面のグルーブのAzimuth方位角を示している。図33Bは、以上の合成処理にて実現される表示画像の例である。たとえば、各擬似カラー表示3305,3306、3307は、それぞれAzimuth角=45°、90°、135°の方向にグルーブがあることを示す。これによって医師は表面の溝の状態や、どこが穴になっているのかなどを知ることができる。図31の場合と比較するとやや直感的ではないが、画像処理を行う前の情報を直視できる利点がある。なお、ここでは擬似カラー画像を合成したが、輝度最大角YPH画像、および輝度変調度YD画像をモノクロ画像として合成することも可能である。なお、図1Cで示す画像処理装置の構成からわかるように、本装置では、観察する照明光を切り替えて別個の情報を観察する構成を採用していないため、処理は全て並列で実行可能である。すなわち通常の内視鏡検査に必須のカラー画像である輝度画像Yを観察しながら、同時に光源変動画像SYとの合成画像、あるいは擬似カラー画像Cとの合成画像などを表示部116に一度に表示することが可能であるという特徴がある。もちろん内視鏡を走査する医師が適宜切りかえて表示することも可能である。第1の実施形態の変形例図34、図35A、図35Bを参照しながら、第1の実施形態の変形例を説明する。第1の実施形態では、図16に示す被写体表面で非常に明るい輝度を有するREF11回反射領域を凸領域とであると仮定し、法線確定を行っていた図28参照。しかし、図11および図12を参照しながら説明したように、REF11回反射領域は凹領域である可能性もある。この変形例の装置では、REF1領域が凹領域および凸領域のいずれであるかを判定する凹凸判定部を備えている。以下、被写体の表面が球状領域の集合体であると仮定する。図34を参照する。図34は、本変形例の構成を示す図である。本変形例の構成と図13の構成と間の第1の相違点は、本変形例の装置が凹凸判定部1314を備えていることにある。この例では、高輝度領域処理部1312で検出されたREF1領域が凸領域であると判定されたとき、法線再現部1313による処理を実行する。なお、REF1領域が凹領域であると判定された場合は、この領域をREF1領域から除外して、その後の処理を行う。図35Aは、REF1領域が凸領域である場合を示している。図35Aに示される例では、球状領域1320にREF1領域1324が存在し、その周囲に3箇所のREF2領域1321、1322、1323が存在している。REF1領域1324を始点とし、REF2領域1321、1322、1323の各々を終点とする2次元的な位置ベクトルをVとする。REF2領域1321、1322、1323の各々におけるグルーブの軸を表現するベクトルをTとする。このベクトルTは、鏡像探索をした結果見出されたグルーブセグメントであってもよいし、鏡像探索なしに単にグルーブ主軸として得られるものであってもよい。このベクトルTの方向は確定するが、向きは不定である。図35Aに示されるように、ベクトルTはREF1領域1324の周囲を回転するように取り囲んでいるため、ベクトルTとベクトルVとは、ほぼ直交している。2つのベクトルの間の角度が直角に近いほど、外積はゼロから離れる。したがって、図35Aに示す場合、ベクトルTとベクトルVについて、以下の式が成立する。ここで、ベクトルVとベクトルTの外積の絶対値を用いている理由は、ベクトルTの向きを考慮していないからである。Eは複数の2回反射領域での平均値を示し、Threshは、予め設定された一定のしきい値を示す。Threshの大きさは、被写体の種類に応じて異なる値が設定され得るが、実験または計算によって決定されていてもよい。この変形例では、式34が成立するとき、凹凸判定部1314はREF1領域1324を凸領域と判定する。図35Bは、REF1領域が凹領域である場合を示している。この場合も、複数のREF2領域1326、1327、1328に囲まれた領域の中央にREF1領域1325が存在する。しかし、REF1領域1325を始点としてREF2領域を終点とする位置ベクトルTと、REF2領域1326、1327、1328の各々のグルーブ主軸ベクトルVとを作成すると、ベクトルTとベクトルVとは、ほとんど平行になる。このため、REF1領域1324を凹領域であるとき、以下の式36が成立する。このように、凹凸判定部1314は、ベクトルTとベクトルVとの外積の絶対値の大きさに基づいて、1回反射領域が凹領域か凸領域であるかを識別することができる。第2の実施形態第1の実施形態の画像処理装置は、撮像素子が先端部に位置するいわゆる軟性鏡タイプである。本発明における内視鏡は、軟性鏡タイプに限定されず、硬性鏡タイプであってもよい。以下、図36を参照しながら、本発明による画像処理装置の第2の実施形態硬性鏡タイプを説明する。図36は、本実施形態における内視鏡101の構成例を示すブロック図である。本実施形態において、内視鏡101以外の構成は、図1Cに示す画像処理装置の構成と同様であるため、それらの構成の説明はここでは繰り返さない。本実施形態の画像処理装置が備える内視鏡101は、撮像用リレーレンズ光学系3401および照明用リレーレンズ光学系3302を備えている。撮像用リレーレンズ光学系3401は、撮影レンズ109から得られた被写体の像を内視鏡の根元に位置する撮像素子110にまで導くものであり、硬性内視鏡では一般的な構成である。本実施形態では、光源104の直前に偏光面制御素子106が設置されている。光源104から出た非偏光光が回転直線偏光に変換され、この直線偏光が照明用リレーレンズ光学系3302を通過する間、偏光状態を維持されて照明レンズ107から照射される。本実施形態によれば、内視鏡先端部に図1Cの偏光面制御素子106を設置する必要がなくなり、先端部の口径を小さくすることができる。また、偏光面を回転させる手段として、上述した偏光面制御素子106よりも大きな構成を採用することも可能になる。例えば、偏光面制御素子106の代わりに、異なる透過偏光面を複数有する偏光子を回転させる機構を利用することも可能になる。照明用リレーレンズ光学系3302では、途中で偏光状態が維持される必要があるが、撮像用リレーレンズ光学系3401においては輝度自身が維持されればよい。このため、撮像用リレーレンズ光学系3401の調整が楽になる。照明用リレーレンズ光学系3302は、偏光状態を維持する偏波面保存ファイバーを用いたライトガイドによって代用され得る。本実施形態でも、回転偏光照明を用いて輝度画像を撮像し、画像処理プロセッサが行う処理については第1の実施形態と同じである。第1および第2の実施形態の変形例第1の実施形態、第2の実施形態に共通して先端部の偏光回転照明部の構成には種々の変形例が考えられる。被写体の凹凸にて鏡面反射を多く発生させるためには、なるべく均一で広い面積の照明を用いることが望ましい。しかし、内視鏡であることから、先端部口径はなるべく小さく、構造が簡単であることが望ましい。図37から図41を参照しながら、偏光照明部120の先端部における多様な構成例を説明する。これらの図面の左側には先端部113の正面図が示され、右側には先端部113の断面図が示されている。図37は、第1の実施形態における先端部の構成に近い先端部を備える構成例を示している。この例では、照明レンズ107の外側に偏光面制御素子106が装着されている。図38は、先端部にリング照明部306を有する構成例を示している。リング照明部306から出射した光を、中央に孔があいたドーナツ形状の偏光面制御素子106に通して変換する。このリング照明部306は、ライトガイド105から分岐した個々の光ファイバーの複数の端面を円周上に並べることにより構成され得る。図39は、先端部に幅の広い構成幅広のリング照明部307を有する構成例を示している。このリング照明部307は、幅の広いリング状帯領域内に配置された複数のLEDチップを有しており、全体としてリング状の面発光が得られる。リング照明部307から出た光は、中央に孔があいたドーナツ形状の偏光面制御素子106を通過するとき、その偏光面が制御される。図40は、撮像の光軸に対して照明の光軸を傾斜させるように先端部の中央が凹んだ構成例を示している。凹んだ中央部には撮影レンズ109が位置し、その周りに複数のLED光源308が配列されている。これによって、被写体部位の周囲を大きな光源にて囲む効果が現れるため、鏡面反射が多く発生するようになる。図41は、照明の光軸と撮影の光軸を同一にできる同軸落射照明を用いた構成例を示している。円形の面発光型のLED照明光源309から出た非偏光は、円形の偏光面制御素子106を透過した後に広帯域無偏光BSビームスプリッタに45度の角度で入射する。広帯域無偏光BSは、可視光の範囲で入射した偏光の1/2を透過し、1/2を反射するが、その際に偏光を維持する特性を有する。このため、直線偏光はそのまま被写体に照射される。また戻り光も同様に1/2が透過されて撮影レンズ109に入射する。この構成では、光源から出た光の一部が広帯域無偏光BSを透過した後、装置内部で反射することを最小にするため光吸収板310を設置するのが望ましい。ここではプレート形の広帯域無偏光BSを用いているが、キューブ型のものを用いてもよい。その場合には光源の反射はさらに強くなるため対策が必要になる。なお、直線偏光を発するLED光源を使用し、その偏光面を偏光面制御素子によって回転させるようにしてもよい。なお、上記の実施形態の全ては、回転偏光照明と輝度撮像素子の組み合わせで構成されているが、被写体が鏡面反射物体であれば、これを非偏光照明と偏光撮像素子の組み合わせに置き換えることも可能である。この場合、図1Cの偏光面制御素子106が不要となる代わりに撮像素子110が偏光撮像素子に置き換わる。偏光撮像素子としては可視カラー輝度と同時にある波長帯にて偏光撮像が可能な素子を用いることができる。この場合における処理部は、図13に示す輝度画像群1301の代わりに1枚の偏光撮像画像を受け取り、処理を行う。図13における輝度最大各画像YPH、および輝度変調度画像YDは、それぞれ、偏光主軸角位相画像と偏光度画像に置き換えればよい。"