"偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記3種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、画像処理部と、を備え、前記撮像部は、前記偏光照明部によって前記直線偏光を照射された前記被写体からの戻り光を結像するレンズと、前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、前記被写体からの戻り光を透過する入射光透過部であって、透明領域と偏光フィルタ領域とを有する入射光透過部と、を有し、前記画像処理部は、前記直線偏光の各々によって前記被写体が照射されているときに前記撮像素子が生成した前記画素信号に基づいて、前記透明領域と前記少なくとも1つの偏光フィルタ領域の各々を透過した光によって形成される複数視点画像を取得する視差画像処理部と、前記撮像部で撮影した画像の輝度情報を処理して被写体表面における表面法線情報を取得する輝度変動処理部と、を有する、画像処理装置。前記視差画像処理部は、前記複数視点画像に基づいて距離情報を取得する請求項1に記載の画像処理装置。前記距離情報と前記表面法線情報とを融合して視差画像を生成する画像融合部を備える請求項1または2に記載の画像処理装置。前記画像融合部は、前記表面法線情報に基づく前記被写体の表面における凹領域の表示を、前記複数視点画像の各々に重ね合わせて合成する請求項3に記載の画像処理装置。前記画像融合部は、前記被写体の表面から、反射によって偏光状態が変化している領域を除去する偏光領域除去部と、除去された前記領域と前記複数視点画像との対応づけを実施するステレオマッチング部とを有する請求項3または4に記載の画像処理装置。前記画像融合部は、前記輝度変動処理部の出力に基づいて前記被写体の凹領域で2回反射して戻り光となる2回反射領域を探索する2回反射鏡像探索部と、前記2回反射領域から前記凹領域を識別する凹領域接続部と、前記凹領域の断面をモデル化する断面形状モデル化部とを有する請求項3から5のいずれかに記載の画像処理装置。前記画像融合部は、前記モデル化された断面形状から被写体までの距離情報を再度構築して複数視点画像を再構築する請求項6に記載の画像処理装置。前記入射光透過部における前記透明領域の面積は前記偏光フィルタ領域の面積よりも大きい請求項1から7のいずれかに記載の画像処理装置。前記輝度変動処理部は、前記撮像部から出力される画素信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成する、請求項1から8のいずれかに記載の画像処理装置。前記入射光透過部は、各々の偏光透過軸の方向が0°より大きく90°よりも小さな角度αを形成するように配置された複数の偏光フィルタ領域を有している、請求項1から9のいずれかに記載の画像処理装置。前記偏光照明部は、非偏光の光を、偏光面変換素子を透過させることによって偏光面が3種類以上に順次変化する直線偏光を照射する請求項1から10のいずれかに記載の画像処理装置。前記入射光透過部における前記複数の偏光フィルタ領域は、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含む請求項1から11のいずれかに記載の画像処理装置。前記画像処理部は、偏光面の角度が異なる3種類以上の直線偏光が被写体を照射しているときに得られる前記画素信号に基づいて、前記入射光透過部の前記左側フィルタ領域を透過した光によって形成される左側画像と、前記入射光透過部の前記右側フィルタ領域を透過した光によって形成される右側画像とを形成する、請求項12に記載の画像処理装置。1つの内視鏡を診断と手術の両方に適用するためには立体視のための複数視点画像と表面法線画像の両方を取得できることが望ましい。しかし、従来、単一の内視鏡にて複数視点画像と表面法線画像とを同時に取得できる技術、さらに取得した両方の技術を効果的に表示する技術は実現していない。粘膜表面はほぼ完全な鏡面反射に近い光沢を呈するため、光の反射を用いた表面凹凸情報が有効と考えられるが、この情報と視差による立体視観察とを融合させた画像処理方法はまだ確立されていない。本発明の目的は、輝度のみならず被写体表面における凹凸の情報を取得できる画像処理装置を提供することにある。本発明の画像処理装置は、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記3種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、画像処理部とを備え、前記撮像部は、前記偏光照明部によって前記直線偏光を照射された前記被写体からの戻り光を結像するレンズと、前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、前記被写体からの戻り光を透過する入射光透過部であって、透明領域と偏光フィルタ領域とを有する入射光透過部とを有し、前記画像処理部は、前記直線偏光の各々によって前記被写体が照射されているときに前記撮像素子が生成した前記画素信号に基づいて、前記透明領域と前記少なくとも1つの偏光フィルタ領域の各々を透過した光によって形成される複数視点画像を取得する視差画像処理部と、前記撮像部で撮影した画像の輝度情報を処理して被写体表面における表面法線情報を取得する輝度変動処理部とを有する。ある実施形態において、前記視差画像処理部は、前記複数視点画像に基づいて距離情報を取得する。ある実施形態において、前記距離情報と前記表面法線情報とを融合して視差画像を生成する画像融合部を備える。ある実施形態において、前記画像融合部は、前記表面法線情報に基づく前記被写体の表面における凹領域の表示を、前記複数視点画像の各々に重ね合わせて合成する。ある実施形態において、前記画像融合部は、前記被写体の表面から、反射によって偏光状態が変化している領域を除去する偏光領域除去部と、除去された前記領域と前記複数視点画像との対応づけを実施するステレオマッチング部とを有する。ある実施形態において、前記画像融合部は、前記輝度変動処理部の出力に基づいて前記被写体の凹領域で2回反射して戻り光となる2回反射領域を探索する2回反射鏡像探索部と、前記2回反射領域から前記凹領域を識別する凹領域接続部と、前記凹領域の断面をモデル化する断面形状モデル化部とを有する。ある実施形態において、前記画像融合部は、前記モデル化された断面形状から被写体までの距離情報を再度構築して複数視点画像を再構築する。ある実施形態において、前記入射光透過部における前記透明領域の面積は前記偏光フィルタ領域の面積よりも大きい。ある実施形態において、前記輝度変動処理部は、前記撮像部から出力される画素信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成する。ある実施形態において、前記入射光透過部は、各々の偏光透過軸の方向が0°より大きく90°よりも小さな角度αを形成するように配置された複数の偏光フィルタ領域を有している。ある実施形態において、前記偏光照明部は、非偏光の光を、偏光面変換素子を透過させることによって偏光面が3種類以上に順次変化する直線偏光を照射する。ある実施形態において、前記入射光透過部における前記複数の偏光フィルタ領域は、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含む。ある実施形態において、前記画像処理部は、偏光面の角度が異なる3種類以上の直線偏光が被写体を照射しているときに得られる前記画素信号に基づいて、前記入射光透過部の前記左側フィルタ領域を透過した光によって形成される左側画像と、前記入射光透過部の前記右側フィルタ領域を透過した光によって形成される右側画像とを形成する。本発明の画像処理装置によれば、偏光面を回転して撮影された複数画像からの演算処理により、異なる開口領域を通過した2つの複数視点画像を得ることができる。また、偏光フィルタが設けられていない透明領域を透過した輝度画像を生成できる。このため、立体視と通常のカラー撮影が可能である。さらに被写体表面の凹凸に起因する輝度変動をも観測できる。このため、被写体表面の視差による距離情報と表面法線情報の両方の取得が1つの動作モード内で可能となり、両者を融合した情報提示も可能になる。本発明による画像処理装置の例は、図1Aに示すように、偏光照明部140と、撮像部150と、画像処理部160とを備えている。画像処理部160は、視差画像処理部108Aと輝度変動処理部108Bとを有している。偏光照明部140は、偏光面の角度が異なる3種類以上の直線偏光を、順次、被写体100に照射する。本発明が撮像の対象とする被写体100の表面には、平坦領域と複数の凹領域が存在する。直線偏光は、被写体100の表面に存在する平坦領域および凹領域によって反射され、撮像部150に入射する。撮像部150は、3種類以上の直線偏光の各々によって被写体100が照射されているときに、順次、被写体100を撮像する。図1Bは、偏光面の角度が異なる3種類の直線偏光の偏光方向を模式的に示す斜視図である。図示されている3つの偏光状態10、12、14は、それぞれ、角度の異なる偏光面を有している。図1Bの各偏光状態10、12、14を模式的に示すサークルの内部には、双方向の矢印が記載されている。この矢印は、直線偏光の偏光面を規定する電場ベクトルの振動方向を示している。図1Bには、右手系のXYZ座標が示されている。本明細書では、撮像部150によって取得される画像面内にX軸およびY軸を設定し、Z軸の負の向きを視線光軸方向に設定する。直線偏光の偏光面は、振動する電場ベクトルに平行な、光軸を含む平面である。上記の座標系を採用する場合、直線偏光の電場ベクトルの振動方向はXY平面に平行である。このため、偏光面の角度ΨIは、X軸の正方向に対して偏光方向電場ベクトルの振動方向が形成する角度によって規定される。この角度ΨIについては、後に図5を参照して、より詳しく説明する。再び図1Aを参照する。視差画像処理部108Aは、直線偏光の各々によって被写体が照射されているときに撮像部150から出力される画素信号に基づいて複数視点画像を取得し、この複数視点画像から距離情報を取得する。輝度変動処理部108Bは、撮像部150で撮影した画像の輝度を処理して被写体100の表面における表面法線情報を取得する。この輝度変動処理部108Bは、好ましい実施形態において、撮像部150から出力される画素信号に基づいて、偏光面の角度と各画素の輝度値との関係を求め、輝度最大角画像および輝度変調度画像を生成する。本明細書において、輝度最大角画像とは、撮像によって得られた画像を構成する各画素について、輝度値が最大となる偏光面の角度によって定義される画像である。例えば、ある座標x、yによって特定される画素Px、yの輝度値が、角度45°の偏光面を有する直線偏光によって被写体100が照射されたときに最大になる場合、その画素Px、yに対して、輝度最大角である45°の値が設定される。1つの輝度最大角画像は、このような輝度最大角の値を各画素に設定することによって構成される。一方、輝度変調度画像とは、各画素について偏光面の変化にともなう輝度値の変動の振幅と輝度平均値との比率によって定義される画像である。ある画素Px、yにおける輝度変調度が0.3であるならば、この画素Px、yに対して0.3の値が設定される。1つの輝度変調度画像は、このような輝度変調度の値を各画素に設定することによって構成される。このように、本明細書における画像とは、人間の視覚によって直接的に認識される輝度画像を意味するだけではなく、複数の画素の各々に与えられた数値の配列を広く含むものとする。例えば1つの輝度最大角画像を表示する場合、輝度最大角画像の各画素に設定されている輝度最大角の値に応じた明度で画像を表示することができる。このようにして表現された輝度最大角画像は、人間の視覚によって認識できる明暗のパターンを含んでいるが、これは、被写体の輝度を示す通常の輝度画像とは異なるものである。また、本明細書では、簡単のため、各種の画像を示すデータそのものを画像と称する場合がある。本発明の画像処理装置によれば、距離情報および表面法線情報に基づいて複数視点画像を生成することができる。以下、本発明の実施形態を説明する。実施形態1図1Cは、本発明の実施形態1における画像処理装置の全体構成を模式的に示す図である。本画像処理装置は、内視鏡部101と制御装置102とを備える、内視鏡部101は、撮像素子110を有する先端部113と、ライトガイド105および映像信号線111を有する挿入部103とを備える。先端部113は、偏光面制御素子106と、偏光面制御素子106から出た光を被写体114に照射するための照明レンズ107とを備え、また、被写体114で反射された光116、124を撮像素子110に結像するための撮影レンズ109と、入射光透過部120とを備えている。挿入部103は、図示されているよりも左右に長く、フレキシブルに曲がり得る構造を有し得る。ライトガイド105は曲がった状態でも光を伝達することができる。制御装置102は、光源104、画像処理プロセッサ108、および同期装置112を備える。画像処理プロセッサ108には、視差画像処理部108Aおよび輝度変動処理部108Bが含まれる。なお、視差画像処理部108Aおよび輝度変動処理部108Bは、それぞれ、別々の画像処理プロセッサによって実現されていてもよい。制御装置102から出力される画像信号は画像融合部121を経由して立体表示部122に出力される。立体表示部122に出力された画像は、観察メガネ123を利用して医師が観察する。本発明における特徴的な画像融合部121は、視差を有する複数の画像複数視点画像と法線画像とから互いに不足する情報を補いながらリアルな立体画像を表示する処理を行う。すなわち、画像融合部121は、複数視点画像法線画像融合部として機能する。光源104から発した白色非偏光の光は、ライトガイド105を経由して先端部113の偏光面制御素子106に導かれる。偏光面制御素子106は、液晶を用いた偏光面を回転させることが可能なデバイスである。その構成例は、特許文献3、4ならびに非特許文献1等に既に開示されている。偏光面制御素子106は、例えば強誘電性液晶と、偏光フィルムと、1/4波長板などを組み合わせた電圧印加型液晶デバイスで構成され得る。偏光面制御素子106は、光源104で発生しライトガイド105を通過した非偏光の光を、任意の偏光角度に偏光面を有する直線偏光へと変換する。同期装置112は、偏光面制御素子106に偏光面回転の指示を送って照明の偏光面を回転させる、偏光照明は、照明レンズ107を通って被写体に照射される。同期装置112は同時に撮像素子110に撮影開始信号を送って映像を取得し、以上の処理を複数回実施する。本実施形態では、光源104、ライトガイド105、偏光面制御素子106、および照明レンズ107によって図1Aの偏光照明部140が実現されている。また、撮影レンズ109、入射光透過部120および撮像素子110によって図1Aの撮像部150が実現されている。図1Aの画像処理部160は、画像プロセッサ108によって実現されている。次に、図2を参照して、偏光面制御素子106の動作を説明する。図2は、偏光面制御素子106を説明する図である。本実施形態における撮像系は、たとえば、図2において偏光面が0°状態203で第1の画像を撮像し、偏光面が45°状態204で第2の画像を撮像し、偏光面が90°状態205で第3の画像を撮像する。偏光面の角度は任意に設定でき、偏光面の回転の角度および回数もこの3種類に限るものではない。撮像素子110が高感度である場合、あるいは偏光照明の照度が高い場合には、露光時間を短縮できるので、偏光面の回転角をより細かく設定できる。偏光面の回転に要する時間は、上記文献によれば、動作速度は20ms程度の遅いものから40~100μsec程度の高速型まで存在する。高速型の液晶を用いてかつこの時間での撮像が可能な程度まで撮像素子の感度を上げれば、3方向の偏光回転を実施して撮影しても、動画映像の撮影に十分な性能を持たせることが可能である。また画像処理は最低3フレーム単位の画像撮像について実施されるが、処理をパイプライン処理にすることで実際かかる処理時間は1フレーム時間内に収めることが可能である。被写体からの戻り光116、124は、撮影レンズ109を透過した後、入射光透過部120を通過して撮像素子110上に結像する。入射光透過部120の構成および機能については、後述する。撮像素子110はモノクロ撮像素子、あるいはカラーモザイクを有する単板カラー撮像素子であってよい。撮像素子110からの信号は映像信号線111を経由して画像処理プロセッサ108に到達する。画像処理プロセッサ108内の視差画像処理部108Aは、撮像された複数の画像から、画像処理により、画像CCと左視点画像LLと右視点画像RRとを生成する。これらの画像は、画像融合部121によって処理されて、立体画像表示部122に表示される。立体画像表示部122に表示された画像は、観察メガネ123などを用いて立体画像として観察される。この立体画像表示部122には、左右の複数視点画像を表示する既存の立体表示ディスプレイを使うことができ、これは眼鏡式、および裸眼式のいずれでもよい。映像信号は画像処理プロセッサ108内の輝度変動処理部108Bにも入力されて表面の2回反射画像RTIMGを生成する。図3は入射光透過部120を示す図である。図3aは、撮像素子110の側から入射光透過部120を見たときの入射光透過部120の平面図である。図3bは、入射光透過部120の断面を示す図である。図3aに示されるように、入射光透過部120は、光学的に透明な透明領域Cと、偏光フィルタが付加された左右の偏光フィルタ領域LおよびRとから構成されている。撮像素子110から見て左側のフィルタ領域Lに付加された偏光フィルタの透過軸と、右側のフィルタ領域Rに付加された偏光フィルタの透過軸との間には、一定の角度差αが0°<α<90°与えられている。後述するようにこの角度差は本発明において重要なパラメータである。図1Cに示す例において、入射光透過部120は、撮影レンズ109と撮像素子110との間に配置されているが、入射光透過部120の位置は、この例に限定されない。入射光透過部120は、被写体114と撮影レンズ109との間に配置されてもよい。また、入射光透過部120は、撮影レンズ120と一体化されていてもよい。入射光透過部120の典型例は、例えばガラス板などから形成された透明基板と、この透明基板の所定領域に張り付けられた一対の偏光フィルタとを備えている。この場合、透明基板のうち、偏光フィルタが張り付けられていない領域が、透明領域Cとして機能する。入射光透過部120の他の例は、一対の偏光フィルタと、偏光フィルタを保持する部材とから構成され得る。この場合、透明領域Cは、光学部材を有しないオープン領域として構成されていてもよい。本発明では、被写体114を偏光照明115で照らすため、被写体114からの戻り光116、124も偏光している。戻り光116、124の一部は、入射光透過部120の透明領域Cを透過し、残りの一部は偏光フィルタ領域Lまたは偏光フィルタ領域Rを透過する。図4aおよびbは、それぞれ、撮像素子110の撮像面の構成例を示す図である。図4aに示すように撮像面には、複数の光感知セルフォトダイオードが行および列状X-Y方向に規則的に配列されている。カラー撮像の場合には、図4bに示すようにRGB3種の波長を透過するカラーモザイクフィルタが設置される。個々の光感知セルは、光電変換により、入射した光の量に応じて電気信号を生成する。この部分は一般的な単板カラー撮像素子を用いることができる。このように撮像素子110としては、従来の輝度画像用のものを利用できる。本実施形態では、照明光を直線偏光として、その偏光面を回転させながらすることによって被写体の表面情報を取得することが可能になる。図5は、偏光照明における偏光面の角度ΨIの定義を示す図である。被写体に向かってX-Y座標系を設定している。偏光面の角度ΨIは、X軸負向きを0°としてY軸正向きを正向きに定義するものとする。角度ΨIが反射において保存される場合には、反射光の偏光面の角度と入射光の偏光面の角度は同一となる。偏光面の角度ΨIを増加または減少させていくと、180°の周期で同一の偏光状態が繰り返される。すなわち、偏光面の角度ΨIを変数とする関数は、180°の周期を有する周期関数である。なお、本明細書において、偏光照明における偏光面の角度ΨIを、入射偏光面角度と称する場合がある。図1Cから明らかなように、照明レンズ107の光軸と撮影レンズ109の光軸は略等しい。これは内視鏡での観察時に被写体上になるべく影を発生させないためである。なお、内視鏡の通常の使い方では、非偏光を被写体に照射したい場合が多い。本発明では、例えば上記第1の画像から第3の画像までの別々の偏光画像を加算することによって非偏光の平均輝度画像を生成することができる。本発明者らの実験によると、偏光面の角度ΨIが等間隔の複数の偏光を被写体に照射したときの戻り光の画像を加算すると、偏光の効果が打ち消されるため、結果的に非偏光照明を用いたのと同様の効果が得られることが判明している。次に偏光照明の偏光面を回転した時の入射光透過部120の偏光フィルタ部および非偏光部を透過した光の輝度につき説明する。図6は、入射角がゼロに近い偏光Lが、滑らかで平坦な表面に入射したときの戻り光Vをカメラで観測する様子を示している。図6a、bでは、入射する偏光の偏光面が90°異なっているが、戻り光の直線偏光状態は入射光の状態と同一となり、撮像系は被写体からの戻り光の偏光方向を既知として取り扱うことができる。図7は、フレネル理論による鏡面反射率の入射角依存性を示すグラフである。横軸が入射角、縦軸がフレネル反射率を示す。屈折率はn=1.8を想定した。垂直入射とみなせる0°~15°付近の入射角度は、範囲701に相当する。グラフから読み取れるように、この入射角範囲701では、P波もS波も反射率がほぼ同一である。したがって、偏光がほぼ垂直に表面に入射した場合には、表面に対するP波とS波という偏光の区別が無くなって同じ挙動で反射する。なお、この事実は、屈折率n=1.4~2.0の自然物体において、広く成立する。以上のように、滑らかな表面に対して偏光がほぼゼロ度の入射角度で入射し、それが被写体表面で1回反射して観測される場合、偏光照明の偏光面の角度ΨIはそのまま観測される戻り光の偏光の角度になる。図8Aは、図3の入射光透過部120から偏光フィルタを取り除いた状態を模式的に示す図である。被写体のある点からの戻り光を構成する光線のうち、領域L、領域R、および領域Cを透過した光線は、撮影レンズの働きにより、結像面上の一点に集まる。言い換えると、撮像面上の特定画素で観測される輝度Iは、領域L、領域R、および領域Cの各々を通過して撮像面上に生じた像の特定画素における輝度である。領域L、領域R、および領域Cの各々を通過した光線による輝度を、それぞれ、IL、IR、ICとすると、撮像面上の特定画素で観測される輝度Iは、輝度IL、IR、ICの和になる。図8Bは、ある画素について、被写体からの戻り光が、偏光フィルタの無い状態における入射光透過部120の領域L、領域C、および領域Rを透過する様子を模式的に示す図である。偏光フィルタが無い場合、領域L、領域C、および領域Rを透過した光の輝度は、式1で示されるように3つの領域を透過してきた光の輝度の単純な合計値になる。実際の入射光透過部120の領域Lおよび領域Rには、それぞれ、透過軸の方向が異なる偏光フィルタが付加されている。このため、偏光フィルタを透過する光の量は、入射光被写体からの戻り光の偏光方向と偏光フィルタの透過軸との角度に依存して変化することになる。なお、図6および図7を参照して説明したように、被写体のなめらかで平坦な面で反射した光の偏光方向は、被写体を照明する光の偏光方向に一致している。このため、偏光照明の偏光面の角度を制御すれば、入射光透過部120に入射する光被写体からの戻り光の偏光面を調整することができる。図9aは、フィルタ領域Lにおける偏光フィルタの透過軸の角度を0°、フィルタ領域Rにおける偏光フィルタの透過軸の角度を45°に設定した入射光透過部を示している。透過軸の角度についても、図5に示す角度ΨIと同様に定義する。この例では、左右の偏光フィルタの透過軸の角度差αは45°である。図9bは、被写体に照射する照明光の偏光面の角度を示しており、これは、被写体がなめらかで平坦な面であることを前提にすると照明光の偏光方向は、戻り光の偏光方向に一致しているため被写体からの戻り光の偏光面の角度に相当している。図9aに示される偏光フィルタの配置は、一例に過ぎない。フィルタ領域Lにおける偏光フィルタの透過軸の角度は、0°以外の角度に設定しても、以下に説明することが成立する。ここで、偏光フィルタの透過軸と、その偏光フィルタに入射する直線偏光の軸とが一致した場合の透過率をTpとする。Tpは、0<Tp<1を満足する。また、透明領域Cの透過率を理想的に1とする。角度ΨIを有する直線偏光で被写体を照明しているときに、入射光透過部120の領域L、R、Cを透過して観測される光の仮想的な輝度を、それぞれ、IFLΨI、IFRΨI、ICΨIとする。IFLΨI、IFRΨI、ICΨIは、それぞれ、以下の式2で表される。実際に観測される輝度IΨIは、入射光透過部120の領域L、R、Cの各々を透過してきた光が合成されたものの輝度であるため、以下の式3で表される。図10Aは、ある画素について、被写体からの戻り光が入射光透過部120の領域L、領域C、および領域Rを透過する様子を模式的に示す図である。レンズの働きにより、被写体からの戻り光は、領域L、R、Cの各々を透過した後、撮像面上に収束し、合成される。たとえば0、45、90度の異なる3つの偏光角ΨIの直線偏光で、順次、被写体を照明しながら、3つの画像を撮像すると、各画素の輝度について、次の連立方程式を得る。ここで、I0はΨI=0°のときに観測される輝度、I45はΨI=45°のときに観測される輝度、I90はΨI=90°のときに観測される輝度である。これらの輝度は、撮像素子110の各画素から得られる画素信号に相当している。式4を行列で表現すると、以下の式5が得られる。ここで、行列Mの行列式は、以下の式6で表される。したがって、αが以下の式7で表される範囲にあれば、Mが非0になるので、逆行列M1が存在することになる。逆行列M1が存在すれば、以下の式8により、I0、I45、I90から輝度IL、IR、ICが算出される。ここで注意すべきは、α=π/2=90°の場合、すなわち入射光透過部の偏光フィルタ透過面が左右で直交している状態では解が得られない点である。次に、図10Bを参照して、視差画像処理部108Aにおける画像処理の例を説明する。図10Bは、視差画像処理部108Aにおける画像処理の流れを示すフローチャートである。前述したように、ステップS1001において、照明光の偏光面を変えながら撮影する。次に、ステップS1002において、逆行列を算出する。ステップS1003において、複数画像から左右の複数視点画像LL、RR、および通常画像CCを生成する。このように、本発明では、簡単な画素値演算で複数視点画像LLとRRを作成することができる。次に輝度変動処理部108Bの説明に移る。先ほどは被写体を滑らかな表面として、これに対して偏光がほぼゼロ度の入射角度にて入射し、それが1回反射して観測される場合のみを考えた。しかしながら、同じ被写体表面でも凹凸の激しい領域は、偏光照明の偏波の角度ΨIはそのまま観測されず偏光面あるいはそのエネルギーは図1Cの戻り光124のように変化して戻ってくる。図11は、凹凸のある表面に対して偏光照明の偏光面の角度ΨIが0°、45°、90°、135°のときに得られる、輝度画像の特定の画素における輝度Yの変動を示している。このように凹凸表面では、輝度Yは各偏光照明の偏光面の角度ΨIに対して周期的に変動を示すが、この理由を詳述する。図12は、凹凸のある表面でグルーブ1201が形成され、その斜面で多重反射が発生している様子を示す。この多重反射は、1回目と2回目の反射の性質が重要となり、3回目以降の多重反射は輝度が小さくほぼ無視できるので実際には2回反射のみを考えればよい。一般に反射の性質を鏡面反射と拡散反射に分離した場合、11回目:拡散反射2回目:鏡面反射21回目:拡散反射2回目:拡散反射31回目:鏡面反射2回目:拡散反射41回目:鏡面反射2回目:鏡面反射の4通りの現象が想定できる。内視鏡分野で被写体となる、臓器壁面の粘膜の反射特性はきわめて滑らかなため、鏡面反射の現象が主たる輝度成分となり、4の1回目も2回目も鏡面反射という現象を主要な現象として考えればよいことが発明者らの実験にて判明している。図12aに示すように、グルーブの主軸方向1202に対して垂直に入射する偏光照明はP波である。被写体の表面におけるグルーブの傾斜角が45°程度と仮定して、そこに真上から照明が入射すると図7の702のフレネル反射率のグラフから読み取れるとおり、この入射角範囲では、S波にくらべてP波の反射率が極めて弱くなる。さらにP波は1回および2回反射を経由する間にさらに弱くなる。一方図12bに示すS偏光は、2回の反射を経てもそれほど弱まらない。その結果、グルーブに対してP波となる入射偏光面においては、反射光はエネルギー的にも極めて弱くなり、輝度が低下する。一方、S波となる入射偏光面においては、反射光はそれほどエネルギーが減衰せず輝度も高い。表面グルーブにおける2回反射のモデルから入射光の偏光面の回転をすることによって反射光の輝度が変動することが理解でき、輝度が最大となるときの偏光面の角度を測定すれば、グルーブの主軸方向が判明する。図13は、グルーブからの戻り光が本発明の特徴である入射光透過部120に入射した場合の観測輝度につき説明する図である。直線偏光をグルーブに照射した場合、反射光も直線偏光となるが、そのエネルギー強度および偏光面の角度が変化する。透明領域を介して撮影する場合には、直線偏光のエネルギー強度のみを観測することになる。しかし、偏光フィルタ領域を介してグルーブからの反射光を観測すると、偏光面の回転角度に依存して輝度が変化する。図13のグルーブ1301に偏光照明が入射して反射する場合、その戻り光の輝度が最大となるのは、グルーブ主軸に合致した方向1302aに偏光している場合である、一方、戻り光の輝度が最小となるのは、グルーブ主軸に直交した1方向1302bに偏光している場合である。これを3領域C,L,Rで観測すると、まず領域Cでは直線偏光がそのまま透過する。このため、輝度の最大値は方向1303aに偏光しているときに得られ、最小値は方向1303bに偏光しているときに得られる。領域Lでは、偏光透過面の方向偏光透過軸が0°のため、この偏光透過面の方向に射影されたエネルギーのみが透過して観測される。輝度の最大値は、方向1302aに偏光しているときに得られ、その大きさは長さ1304aによって示される。輝度の最小値は、方向1302bに偏光しているときに得られ、その大きさは長さ1304bによって示される。領域Rでは、偏光透過面の方向が45°のため、この偏光透過面の方向に射影されたエネルギーのみが透過して観測される。ここでグルーブ角度が45°付近であったために、輝度の最大値は、方向1302bに偏光しているときに得られ、その大きさは長さ1305bによって示される。輝度の最小値は、方向1302aに偏光しているときに得られ、その大きさは長さ1305aによって示される。このため、最大値と最小値の方向の関係は逆になってしまう。図14は、領域C,R、Lにて観測される輝度を入射偏光角度ψIとの関係で描いている。まず領域C、および領域Lでは上記のようにグルーブ角度φにて最大をとる周期180°の正弦波カーブになっており、領域Rではそのカーブの位相が反転しφにて最小となる。観測される光量はその総和であるが、領域Cが開口である領域L,Rに比較して広い面積を有することから総和CLRを考えると、結果的にはφにて最大値を有するカーブになる。このため、撮像面にて観測される輝度値を分離せず、そのまま利用して輝度変動を観測することによって被写体表面のグルーブの角度が求められることになる。ただし偏光フィルタを有する開口部での偏光エネルギーの変動はノイズとして観測されるためその影響は最小化することが望ましい。このために偏光フィルタを有する領域L、Rの面積は領域Cの面積に比べて十分小さくすること、左右L,Rの偏光フィルタ角度は90°付近の角度差を持たせ特定角度付近に偏らないようにすることが望ましい。図15は、輝度変動処理部108Bの構成を示すブロック図である。本実施形態で実行する画像処理は、被写体表面のグルーブに偏光面が回転する偏光照明を照射し輝度変動を観測した画像情報からグルーブの凹凸を検出する。照明の偏光面角度ΨIを0°、45°、90°、135°と変えた場合にそれぞれ撮像された4枚の輝度画像群1501が輝度変動処理部108Bに入力される。これらの画像は、前述したように本発明における入射光透過部120を透過した光すべての和である輝度値をそのまま用いて得られるものである。偏光照明を回転した場合の輝度変動は周期180°の余弦関数になることが判明しているので、輝度変動処理部1502では、これを余弦関数に最適フィッティングする。輝度変動は照明の偏光面の角度をΨIとして以下のように表現される。図16は、この輝度変動の余弦関数を示したもので上記の振幅AI、位相Ψo、平均値YΨI_aveを表している。4個のサンプル点は、簡単のため、この余弦関数上にちょうど載るように描かれている。4つの等間隔の角度サンプルから余弦関数をフィッティングして上記の値を推定する手法は、以下のとおりである。まず非偏光照明下での原画像の輝度YΨI_aveを以下の式で求める。これは近似的に非偏光照明下での輝度画像を再現しており、この画像は内視鏡の通常観察画像として利用することができる。輝度変動処理部1502では、サンプルされた輝度から余弦関数への最小2乗誤差を用いた最適フィッティングを行う。ここでは、0°、45°、90°、135°という4方向のサンプルから実施する。余弦関数は振幅、位相、平均値の3種の情報で決定されるため、これらを決定するためには3点のサンプル以上であれば実際には何点でもかまわない。しかし45°サンプルの場合には最適フィッティングが簡単になる性質がある。まず偏光角度が0°、45°=π/4、90°=π/2、135°=3π/4における輝度の2乗誤差Eを以下のように定義する。この2乗誤差を最小化する余弦関数の位相Ψoは、以下の式から求められる。この式から、解は、次の式で与えられる。逆三角関数などの数学関数では一般に以下のような制限が課されている。この角度範囲を考慮すると、aとcの大小関係からの場合わけを行うことによって、最小値をとる角度と最大値をとる角度は以下のように計算できる。この最大値をとるΨ0maxの値を、そのまま、輝度最大角画像YPHとすればよい。次に、振幅の最大値と最小値を求める。まず、振幅AIを求めるため、以下の式を用いて2乗誤差の最小化を行う。振幅AIを用いて、振幅の最大値と最小値は以下のようになる。式20の振幅最大値Ymaxと最小値Yminから、輝度変調度画像YDが求められる。なお余弦関数への一般の最適フィッティングは3点以上のサンプルにおいても可能であり、その方法は、例えば特許文献5に記載されている。以上の処理によって輝度最大角画像YPHと輝度変調度画像YDが得られる。これらの情報は量子化処理部1505に送られる。この2種類の画像は、偏光情報擬似カラー画像として1つにまとめて取り扱う。その場合、色の色相角を表現するのが輝度最大角画像YPHであり、色の彩度を表現するのが輝度変調度画像YDである。量子化処理部1505は、この色相と彩度で表現される擬似カラー空間を輝度変調度画像YD、すなわち彩度の軸でしきい値処理して、あるレベル以上に強い輝度変調が存在する反射領域のみを1つの画素閉領域として分離抽出し、同時に色相角を量子化して飛び飛びの値の集合体にするものであって以下のように表現できる。この処理で同一の輝度最大角を有し、輝度変調度が強い反射領域が画像上で分離された反射領域として抽出され、これが2回反射領域画像RTIMGとなる。ここでTH_YDは輝度変調度の強さのしきい値、[]はガウス記号、ΔHは輝度最大角の量子化幅を示す。なお、Hについては量子化をしない方法もある。すなわち2回反射領域画像RTIMGとは、Dの1/0によって表現される2値画像である。この画像は画像内の互いに離散した微小2回反射領域の形状を表現しており各領域にはその属性として輝度最大角度の値Hが付随していることになる。図17Aは、量子化処理部の処理結果を模式的に表現したものであり、分離抽出された各種の形状を有する微小2回反射領域171,172,173、174,175が、属性として輝度最大角Hを有する様子を示している。この輝度最大角Hは180度周期の角度であり図17Aでは塗りつぶしパターンで表現している。領域171と172の塗りつぶしパターンは角度H1に相当する属性を有し、173と174と175の塗りつぶしパターンは角度H2に相当する属性を有しているとする。実際には塗りつぶしパターンは擬似カラーで表現されおり、以下実験結果の画像例で説明する。図17Bは実際の被写体における輝度最大角画像YPHと輝度変調度画像YDをまとめて1つの擬カラー画像として得られたものである。被写体シーンは生体に類似の反射特性を有する魚卵の集合体である。図17Cはこの画像が量子化処理部1305であるレベル以上に強い輝度変調が存在する微小2回反射領域が個々の画素閉領域として分離抽出された結果、すなわち2回反射領域画像RTIMGを示している。この画像は図17Bの四角形で示す部分の拡大図であり、1つ1つの魚卵の半球の周囲において微小2回反射領域が点在していることがわかる。これらの領域が図17Aの171から175などに相当する。以上で輝度変動処理部108Bの動作説明は終了し、次に視差画像処理部108Aと輝度変動処理部108Bとの出力を融合する画像融合部121の説明に移る。図18は、画像融合部121の構成例を示すブロック図である。ここでは、RR,LL,CCという3つの複数視点画像を入力し感度の劣るLL,RRという左右画像を高感度化して左右の眼で立体視できる画像RR-IMG,LL-IMGを作り出す。このために輝度変動処理部108Bの処理結果と出力情報を用い、そこで得られる表面凹凸情報を融合して表示する。本実施形態では、複数視点画像を生成するために偏光照明を用いているため、被写体凹領域においては戻り光の偏光状態が変化して正しく複数視点画像が生成されない。しかしながら、逆にこの情報を用いれば、凹部の表面の傾きが得られる、という関係がある。本実施形態では、立体視不可能な凹領域については2回反射領域画像RTIMGから得られる表面凹領域情報から断面形状モデルを作成し、平坦部における距離を考慮しつつ補正する。そして、この補正された視差情報を元に被写体の全領域にわたって高感度の画像CCを画像RRLLに視差を考慮して加算する。こうすることによって、高感度で高精度な左右画像を生成する。さらに、上記の過程で判定された表面の凹グルーブ領域は、左右画像に重ねあわせて合成することによってより、明確に表示する。このように画像融合部121では、距離情報と表面法線情報という異なる2種の立体情報を相互に利用してより高品質な立体視を実施しつつ、付加情報として表面の凹領域を判定して提示することができる。3種の複数視点画像RR,LL,CCから高感度な2種の左右画像RR-IMG、LL-IMGを生成するためには、左右画像が中心画像CCに対してもつ視差ずれ量を検出して補正して重ね合わせる必要がある。しかしながら、本実施形態では、本来、被写体表面が平坦であることを前提に3種の画像が分離されている。このため、被写体の表面に凹凸が存在すると、戻り光の偏光が変化して分離が正確に実施されない。そこで、偏光領域除去部1801は、まず、この反射によって偏光面の角度が変化した領域偏光領域を除去する。表面の偏光領域は、2回反射領域そのものであるから、RTIMG画像を利用して2回反射が強い領域を除去することで実現できる。これによって不正確な分離画像の領域は削除される。図19Aは、偏光領域除去部1801のない理想形での処理を示す模式図である。本来、LL,CC,RRという3種の画像が正しく分離されたとすると、その視差の関係から図19Aのような画像CCに対して右側にずれた画像RRと左側にずれた画像LLが得られるはずである。この例では画像の中央に上下にグルーブ溝1801があり、グルーブの左側の平坦部1802がやや距離的に遠く、グルーブの右側の平坦部1803が距離的に近いものとする。グルーブの底面1901は多くの場合、平坦部に属する。また、平坦部1802には、1つの例として血管パターン1805が凹凸ではない粘膜表面下のテクスチャーとして存在しているものとする。このシーンの距離画像を分かりやすく表示するため直線1804での断面の図を描くと図19Bのようにグルーブの底がもっとも奥行きがあり、グルーブ左側と右側は異なる奥行きとなる。ここで問題となるのは1801のグルーブ領域の左右の斜面の一部では表面凹凸のため照射した偏光状態が変化してしまうため実際には式2が成立せず、図19Aで示すLL,CC,RRへの画像分離ができないことである。この問題を解決するため、偏光領域除去部では、画像分離において上記のように問題箇所を特定する。図19Cは、偏光の影響で画像分離が誤る領域を図示しており、グルーブが撮影される画像領域が視差を有するために図19Aのようになることを考慮すると横方向に広がった1810の領域になる。実際、視差は不明なので、この広がり程度は不明である。しかし、中心部にグルーブが存在することは確かなので、グルーブ底面1901を除いた左右の斜面に相当する2回反射領域画像RTIMGの部分1813のみは当初から除去することができる。次にステレオマッチング部1802は、正しい複数視点画像どうしで画素レベルのマッチングを実施する。これは既存のウインドウ間の相関法などの手法によりステレオ対応点探索として実現される。この詳細についてはたとえば非特許文献2が参考にできる。ステレオマッチング部1802では、図19Cの画像CCにおいてウインドウ1815が設定されると、これに対して輝度レベルで最も相関値などの評価値が高いウインドウ1816が画像RRから、ウインドウ1817が画像LLから求められる。このウインドウ処理が、上記除去領域以外の画像全体に対して実施されて視差が計算される。視差は奥行きと比例するため奥行き状態すなわち距離情報P-RNGが得られる。この距離情報は図19Dに示すように基本的には平坦部のみで正解が得られる。すなわち1802の領域、および1803の領域、および1901の領域である。除去された領域1813では当然情報は得られず、その両側では誤りを含む領域1811,1812が存在する。除去領域と誤りを含む領域部分は、断面形状モデル化部1807によってP-RNGが補正され完全な距離情報RNGとなる。図19Dの曲線1820は、この補正された情報を示す。最後にRNGを用いて複数視点画像RR,LLの画像CCからの視差ずれ量が再度完全に決定される。そこで、この情報から高感度左右複数視点画像生成部1840において、画像CCをRRと画像LLに対応する視差のずれ量を考慮した分離画像CC_R、CC_Lを生成する。この様子は図19Eに示すように、画素移動処理部1902が、画像CCに対して複数視点画像の情報を用いて実現する。具体的には、対応する複数視点画像の画素位置に画像CCからLLと画像RRへの画素のズレ量が蓄積されているので、この量を画像上で左右に移動して画像を生成する。このCC_RとCC_Lはもともとの画像RRと画像LLと同等の視差を有するが大きな開口で撮影された画像であるため高感度である。つぎに図19Fに示すように、CC_RとCC_LがそれぞれRR、LLに加算されて高感度の左右複数視点画像RR1、LL1が生成される。なお、もともと低感度の画像RRと画像LLを加算に使わない方法も考えられる。左右複数視点画像RR1、LL1を立体視すれば、被写体表面の平坦領域と凹凸領域を含めた全領域の立体視が可能となる。また、暗い低感度の左右開口像ではなく、明るい高感度立体視画像を表示できる。次に2回反射領域画像RTIMGを用いる処理部分の説明に移る。図18に示される2回反射鏡像探索部1805は、各反射領域について自分と鏡像として対になるものを探索する。これはグルーブ斜面において互いに反射しあう領域は理想的にはグルーブの主軸対称で鏡像関係になる性質を用いている。図20は、鏡像探索部の処理を説明するフローチャートであり、図21は処理の模式図である。ステップS161で、量子化処理されたRTIMG画像内に存在する処理対象の反射領域を1個選定し、ステップS162でその重心Gの座標を求める。次に反射領域が有する輝度最大角Hを求める。これはX軸に対して0°~180°の間の角度であり、重心Gを通りこの角度を有する直線をLとする。この直線が反射領域Rを形成したグルーブの主軸の方向に合致している。次にこのグルーブで相互反射した反射領域Rの鏡像対を探索するが、Rと類似した領域を探索する方向を確定する。ステップS164にて重心Gを通り直線Lに直交する直線Nを決定し、この直線上のみを探索すればよい。探索するのはR自身ではなく、その鏡像であるからステップS165で、Rの直線Lに対する鏡像Mを作る。ステップS166で、鏡像Mを直線Nに沿って移動しながら最も類似した反射領域をテンプレートマッチングで探索する。ここで探索のため移動する最大距離は探索するグルーブのサイズから±dと決定できる。dの具体的な値は、対象凹凸により最適化する必要がある。図17Bなどの魚卵集合体においては、画像上で凹と凸の繰り返しが発生し、2周期以上はなれたグルーブ同士の誤対応を防ぐために画像上のスケールで魚卵の直径サイズ以下とすることが望ましい。ここで用いるテンプレートマッチングの評価関数は、反射領域の有する輝度最大角の値が輝度のように変動する属性ではないため観測化され、180度周期であることに注意してたとえば以下を使えばよい。ここでHMは、テンプレートである鏡像Mの輝度最大角属性値、HIは探索される反射領域の輝度最大角属性値を示す。この評価値が最小となる位置x,yに存在する反射領域が鏡像対の可能性が最も高いと考えられるのでそれをRRとする。ステップS167では反射領域Rと探索結果のRRとを鏡像対としてリスト化登録する。これで対になる反射領域が求められる。ステップS168では、反射領域Rの重心Gと対になる反射領域RRの重心GGとを直線で結び、その垂直2等分線をグループセグメントとして設定する。そしてステップS169でRRを反射領域のリストから抹消し、これによって既に対応づけが終了したことを示す。ステップS169で反射領域がまだ残っておれば再度ステップS161に戻って処理を繰りかえす。この処理が終了すれば、反射領域の群にその鏡像対を結びつけ、その中間位置に存在すると想定されるグルーブの局所的な細分化された候補であるグルーブセグメントを設定できる。図21は以上の処理の結果を模式的に表現したものである。反射領域R151に対しては、その属性値H1171に従って重心Gを中心に、直線173に平行な直線L174、直線Lに垂直な直線N175が設定される。そして反射領域151の鏡像Mを直線Nに沿って距離±dの範囲内に移動することにより、鏡像対152を見つける。そして151の重心Gと152の重心GGとを結ぶ線分の垂直2等分線としてグルーブセグメント179が設定される。また別の反射領域153については、同様に属性値H2172を有するので、重心Gを中心に直線176に平行な直線L177、直線Lに垂直な直線N178が設定される。そして153の鏡像M4,M5を直線Nに沿って距離±dの範囲内を移動することにより鏡像内154を見つけることができる。そして153の重心Gと154の重心GGとを結ぶ線分の垂直2等分線としてグルーブセグメント180が設定される。本手法においては、153とほぼ同一の形状と属性を有する反射領域155は、存在位置が直線Nからはずれているため鏡像であると誤判定することは無いという特徴があり、ロバストな探索が実現できる。凹領域接続部1806では、推定されたグルーブセグメントどうしを接続することにより1まとまりの凹領域を生成し法線のAzimuth方位角を確定する。ここで表面法線を表現する2つの角度であるAzimuth方位角とZenith天頂角を説明する。図22は方位角と天頂角を説明する。法線ベクトルは3次元ベクトルであるが長さが1に正規化されているため自由度は2であり、角度で表現する場合には、画面内の方位角Ψと視線に対する天頂角θにて表現する。通常の右手系では、画像内にX-Y軸を設定し、Z軸の負の向きが視線光軸方向となる。法線の3成分Nx,Ny,Nzとの関係は図に示すとおりである。すなわち偏光情報により方位角Ψと天頂角θが求められたならその点での表面法線は以下のようになる。図23は、凹領域接続部1806の処理の流れを示す。ステップS181では、画像内の全てのグルーブセグメントを以降の画像処理の対象にしている。ステップS182において、各Sの有する方向に依存して2値画像処理の膨張処理を実行する。この膨張処理の方向は、個々のグルーブセグメントの方向に依存して決定される。グルーブセグメントの主軸とその垂直方向に対してほぼ均等に膨張させ、グルーブセグメントを底としてグルーブの斜面領域を再生する。ステップS183では、上記の膨張領域の近いものどうしを画像処理によって相互に接続する。そして、微小反射領域に依存して離散的だったグルーブセグメントを大きな連続した接続グルーブ領域とする。ステップS184では、接続グルーブ領域を2値画像処理で細線化することにより、連続した接続グルーブ領域の底に対応する細線を確定する。ステップS185では、この細線の垂線でかつ細線に向かう向きのベクトルを設定し、これをグルーブの法線ベクトルのAzimuth方位角として推定する。ステップS186では、接続グルーブ領域内における断面形状を2次関数などの既存の関数形にてフィッティングをすることによりグルーブのZenith天頂角を推定する。この際に微小反射領域の反射強度が拘束条件となる。これは各断面において強い2回反射を発生する斜面角度は垂線に対して約45度近傍であることを利用するものである。これらの処理を実施して接続グルーブ領域を推定し、その場所における表面法線ベクトルすなわちAzimith方位角とZenith天頂角を推定する。図24Aから図24Dおよび図25Aから図25Dは、以上の処理を実例に即して説明する図である。図24Aから図24Dは、湾曲したグルーブの例を示しており、これは隆起した凸領域の周囲に存在するグルーブと考えてよい。図24Aは、鏡像対として対応づけられた微小反射領域R151,152と、そこから探索されたグルーブセグメントS179を示す。図24Bは、グルーブセグメントの均等膨張処理の結果を示す。膨張された領域191は、グルーブの左右の斜面領域に相当する。図24Cは他のグルーブセグメントと接続し、細線化処理が実施された様子を示す。この段階で接続グルーブ領域は画像の左下を中心に湾曲し、その谷である底面位置が細線で示されている。図24Dは、得られたグルーブに対して法線の方位角が推定された結果である。なお、上記の2値画像処理における膨張処理、細線化などの処理は良く知られておりたとえば非特許文献3に記載されている。次に図25Aから図25Dを参照する。これらの図は、平坦な面内にある窪み穴の例を示している。穴の形状は、グルーブが点対称になったものと考えられるため、2回反射の鏡像対が理論的には無数に存在する。図25Aは、微小反射領域2000と微小反射領域2001とが鏡像対をなし、グルーブセグメント2004が推定される。また、微小反射領域2002と微小反射領域2003とが鏡像対をなし、グルーブセグメント2005が推定されている。図25Bは、グルーブセグメントを膨張処理させた結果を示している。その膨張領域が1つの十文字状の閉領域をなすことがわかる。ここから細線化を実施すると底面の1点が推定される。図25Cでは、グルーブセグメントから求められた凹領域である穴と、その穴の底面における1点2008が図示されている。図25Dは、得られた穴の領域に対して法線の方位角が推定された結果を示している。この処理結果は、表面のグルーブについて、その2次元的な位置および幅や連続性を識別した結果画像ということができる。この情報は、医師が被写体表面の凹凸を観察する場合の有効な補助情報となるのでこれをGRV-IMGと称して、凹領域画像合成部に送られ合成表示するものとする。断面形状モデル化部1807は、平坦部の距離情報であるP-RNG情報を2回反射領域の表面傾き情報を利用して凹領域にまで拡張して補正する。グルーブ断面はここでは特殊な分数関数を用いてモデル化している。グルーブは一般に左右対称ではないので、中心を対称に左右の別の2種の関数を使って表現されるがまず左右対称形の場合から説明する。図26は推定されたグルーブを上からみた図と断面を示す。簡単のためにグルーブはX=0を中心軸としてY軸方向に走っているとする。ここで断面形状をA,Bという2種のパラメータを用いた分数関数で表現するものとする。後述するようにこの関数形は、グルーブ以外の平坦部分における奥行き距離情報とグルーブ内における傾き情報の両方から決定させるように設定する。図27は、この関数形における深さパラメータAを一定A=1にしたまま、広さパラメータBを1から4まで変化させた場合のグラフであって、Bが増加するにつれてグルーブが開いていくのがわかる。ここで、断面形状の勾配を計算すると、これは法線の天頂角θを用いて以下のように表現できる。微小反射領域の位置がx軸上で±Wとする。この位置で微小反射領域が存在するということから、この場所における法線の傾きを設定すればよい。図28は、光がグルーブにおいて2回正反射をする場合の表面法線の関係を表現する図である。被写体表面における2回反射は、照明光源と撮影視点と表面法線の関係で決定するが、最も典型的なケースは表面法線が45°となる対の領域間で反射しあうケースである。この場合、照明光源と撮影視点の角度が小さいとすると、非常に多くの方向からの照明光源に対して、かならず同方向に戻り光が反射して撮影される。したがって2回反射が存在する場合は、このケースである確率が非常に高い。すなわちθ=45°と仮定して、を得る。以上の説明では、グルーブが左右対称の場合と仮定してきた。一般には、グルーブの左側と右側で高さが異なっている。左右での高さの差は、平坦部の距離情報P-RNGから得られているので、これを利用することができる。図29は、断面形状モデル化部1807の処理を示す。ステップS2901では、グルーブ底面P0=0における距離深さD0を確定する。グルーブ底面P0=0が平坦部であることから、この位置における距離がD0として得られる。ステップS2902では、この値を用いてグルーブ断面を数式でモデル化する。図30は、グルーブ断面形状が左右の2種の関数形を使って表現されている様子を示している。ここで、グルーブ底面P0=0における2つの関数の連続条件を考慮して、以下の式でモデル化する。図29を再び参照する。ステップS2903では、グルーブの微小反射領域位置W1,W2を得る。式27の傾き角の条件より、以下の29式を得る。ステップS2904では、距離の情報P-RNGから平坦部P1,P2における距離D1,D2の情報を得て以下の式を得る。ステップS2905においては、上記の式29と式30とからパラメータA1,B1に関する拘束条件およびパラメータA2,B2に関する拘束条件が得られ、ここからパラメータを決定することによってグルーブ断面形状をモデル化する。ステップS2906では、グルーブの断面形状を表現する数式から距離情報を求める。以上のようにP-RNG情報のみ求められていた距離情報が、グルーブ断面形状を推定することによって一般化される。また同時にグルーブの法線のZenith天頂角角も求められる。尚、この説明からわかるように本発明では偏光情報を使ってはいるが、Azimuth角、Zenith角のいずれについても不定性Ambigugityが発生しない。これは通常の偏光画像処理とは大きく異なる利点であり、もともと凹部のみをモデル化して推定するという立場で考案されているためである。図1に示す立体表示部122では、2つの複数視点画像LL-IMG画像とRR-IMG画像を立体視用の表示画像に変換して表示する。たとえば高速で画像LLと画像RRとを切り替えて表示させ、この表示部に同期して観察メガネ123の左右の液晶シャッターを高速で交互に開閉することにより観察者は立体画像を知覚することができる。以上の処理によって内視鏡で臓器の壁の表面の凹凸を立体視でき内視鏡の欠点の1つである表面凹凸の観察が困難である、という課題を解決することができる。"