(57)【特許請求の範囲】
【請求項１】
偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射する照明部と、
偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、および、各偏光子を透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子と
前記偏光撮像モードにおいては、前記第１の照明光で前記被写体が照射されているときに前記第１の方向に平行な方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記第１の照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像と、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に平行な方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第３の偏光画像と、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第４の偏光画像とを得る、偏光モザイク処理部と、
前記第１および第２の偏光画像の対、ならびに前記第３および第４の偏光画像の対の両方の対に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、
前記被写体の表面における前記凹領域を強調して示す画像を形成する画像形成部と、
を備える画像処理装置。
【請求項２】
前記凹領域検出部は、前記第１および第２の偏光画像の差分値である第１の偏光差分画像のカラー成分比率を変更した第１の凹領域強調画像を生成し、前記第３および第４の偏光画像の差分値である第２の偏光差分画像のカラー成分比率を変更した第２の凹領域強調画像を生成し、前記第１の凹領域強調画像と前記第２の凹領域強調画像の加算平均値を出力する請求項１に記載の画像処理装置。
【請求項３】
前記凹領域検出部は、前記第１および第４の偏光画像の差分値である第３の偏光差分画像のカラー成分比率を変更した第３の凹領域強調画像を生成し、前記第３および第２の偏光画像の差分値である第４の偏光差分画像のカラー成分比率を変更した第４の凹領域強調画像を生成し、前記第３の凹領域強調画像と前記第４の凹領域強調画像の加算平均値を出力する請求項１に記載の画像処理装置。
【請求項４】
偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射する照明部と、
偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタ、および、各偏光子および各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子と、
前記偏光撮像モードにおいては、前記第１の白色照明光で前記被写体が照射されているときに前記第１の方向に平行な方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記第１の白色照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像と、前記被写体が前記第２の白色照明光で照射されているときに前記第２の方向に平行な方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第３の偏光画像と、前記被写体が前記第２の白色照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第４の偏光画像とを得る、偏光モザイク処理部と、
前記第１および第２の偏光画像の対、ならびに前記第３および第４の偏光画像の対の両方の対に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、
前記被写体の表面における前記凹領域を強調して示す画像を形成する画像形成部と、
を備える画像処理装置。
【請求項５】
前記カラーモザイクフィルタは、Ｒ（レッド）フィルタ、Ｇ（グリーン）フィルタ、およびＢ（ブルー）フィルタの３種類のカラーフィルタを含む、請求項４に記載の画像処理装置。
【請求項６】
前記３種類のカラーフィルタの各々は、偏光透過軸の方向が異なる前記複数の偏光子に対応している、請求項５に記載の画像処理装置。
【請求項７】
前記３種類のカラーフィルタの各々は、前記複数の偏光子の各々に対応している、請求項５に記載の画像処理装置。
【請求項８】
前記カラーモザイクフィルタにおける前記３種類のカラーフィルタはベイヤ配列を構成し、
前記ベイヤ配列に含まれる２個のＧ（グリーン）フィルタは、それぞれ、偏光透過軸の方向が異なる前記複数の偏光子に対応している、請求項５に記載の画像処理装置。
【請求項９】
前記複数の偏光子の各々は、前記３種類のカラーフィルタに対応している、請求項５に記載の画像処理装置。
【請求項１０】
前記凹領域検出部は、前記第１および第２の偏光画像の差分値である第１の偏光差分画像のカラー成分比率を変更した第１の凹領域強調画像を生成し、前記第３および第４の偏光画像の差分値である第２の偏光差分画像のカラー成分比率を変更した第２の凹領域強調画像を生成し、前記第１の凹領域強調画像と前記第２の凹領域強調画像の加算平均値を出力する請求項４に記載の画像処理装置。
【請求項１１】
前記凹領域検出部は、前記第１および第４の偏光画像の差分値である第３の偏光差分画像のカラー成分比率を変更した第３の凹領域強調画像を生成し、前記第３および第２の偏光画像の差分値である第４の偏光差分画像のカラー成分比率を変更した第４の凹領域強調画像を生成し、前記第３の凹領域強調画像と前記第４の凹領域強調画像の加算平均値を出力する請求項４に記載の画像処理装置。
【請求項１２】
円偏光状態にある照明光で被写体を照射する照明部と、
１／４波長板、偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタ、および、各偏光子および各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有し、前記１／４波長板が前記偏光モザイクアレイよりも被写体側に配置されている撮像素子と、
前記照明光の前記被写体からの戻り光が前記１／４波長板を透過することによって変換された直線偏光の偏光面に平行な方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像、および前記偏光面に対して交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像を得る、偏光モザイク処理部と、
前記第１および第２の偏光画像の対に基づいて、前記被写体の表面における凹領域を検出する凹領域検出部と、
前記被写体の表面における前記凹領域を強調して示す画像を形成する画像形成部と、
を備える画像処理装置。
【請求項１３】
請求項１から３の何れかに記載の画像処理装置に用いられる内視鏡であって、
偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射する照明部と、
偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、および、各偏光子を透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子と、
を備える内視鏡。
【請求項１４】
請求項４から１１のいずれかに記載の画像処理装置に用いられる内視鏡であって、
偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射する照明部と、
偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタ、および、各偏光子および各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子と、
を備える内視鏡。
【請求項１５】
請求項１２に記載の画像処理装置に用いられる内視鏡であって、
円偏光状態にある照明光で被写体を照射する照明部と、
１／４波長板、偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタ、および、各偏光子および各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有し、前記１／４波長板が前記偏光モザイクアレイよりも被写体側に配置されている撮像素子と、
を備える内視鏡。
【発明の詳細な説明】
【技術分野】
【０００１】  本開示は、画像処理装置および当該画像処理装置に使用される内視鏡に関する。
【背景技術】
【０００２】  粘膜で覆われた、生体の臓器器官の壁表面に対して照明を照射して撮像する内視鏡の分野では、表面の色の変化と同時に、表面の微細な凹凸のテクスチャを確認する必要がある。この表面テクスチャは、例えば胃における胃小区のように平均サイズが０．５〜１．０ｍｍ、深さが０．１〜０．２ｍｍ程度の半透明の微細な凹凸である。これを内視鏡によって輝度の陰影でとらえることは非常に難しいため、現在はインジゴカルミン溶液など青色色素液体を粘膜上に撒布して、液体が溝にたまる状態を輝度で観察している。【０００３】  しかし、この処理では、粘膜上に液体を吹き付けるために出血したり、粘膜の色が変わってしまうなどの問題があった。このような表面の凹凸を観察したいという課題に対して偏光照明と偏光撮像を用いた偏光内視鏡が特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２４６７７０号公報
【特許文献２】特開２００９−２１０７８０号公報
【非特許文献】
【０００５】
【非特許文献１】Viktor Gruev, Rob Perkins, and Tiｍothy York ,"CCD polarization iｍaging sensor with aluｍinuｍ nanowire optical filters", ３０ August ２０１０ / Vol. １８, No. １８ / OPTICS EXPRESS PP.１９０８７-１９０９４
【発明の概要】
【発明が解決しようとする課題】
【０００６】  特許文献１に開示されているような偏光を使う従来技術では、特定の偏光成分の照明光を物体に照射し、物体からの戻り光において、照明と平行な偏光成分、および直交する偏光成分それぞれの画像を撮像し、それらに基づいて表面の形状変化を算出している。【０００７】  本開示の画像処理装置の実施形態は、偏光撮像モードにおいて、被写体の表面における凹領域を検出することにより、被写体の表面における前記凹領域を強調して示す画像を得ることができる。
【課題を解決するための手段】
【０００８】  本開示の画像処理装置は、ある態様では、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射する照明部であって、前記第１の照明光の波長域が前記第２の照明光の波長域に重複しない部分を有するように前記第１および第２の照明光を順次出射する照明部と、偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、および、各偏光子を透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子と、前記偏光撮像モードにおいては、前記第１の照明光で前記被写体が照射されているときに前記第１の方向に平行な方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記第１の照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像と、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に平行な方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第３の偏光画像と、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第４の偏光画像とを得る、偏光モザイク処理部と、前記第１および第２の偏光画像の対、ならびに前記第３および第４の偏光画像の対の少なくとも一方の対に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、前記被写体の表面における前記凹領域を強調して示す画像を形成する画像形成部とを備える。【０００９】  本開示の画像処理装置は、ある態様では、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射する照明部と、偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタ、および、各偏光子および各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子と、前記偏光撮像モードにおいては、前記第１の白色照明光で前記被写体が照射されているときに前記第１の方向に平行な方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記第１の白色照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像と、前記被写体が前記第２の白色照明光で照射されているときに前記第２の方向に平行な方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第３の偏光画像と、前記被写体が前記第２の白色照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第４の偏光画像とを得る、偏光モザイク処理部と、前記第１および第２の偏光画像の対、ならびに前記第３および第４の偏��画像の対の少なくとも一方の対に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、前記被写体の表面における前記凹領域を強調して示す画像を形成する画像形成部とを備える。【００１０】  本開示の内視鏡は、上記何れかに記載の画像処理装置に用いられる内視鏡であって、ある態様では、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射する照明部であって、前記第１の照明光の波長域が前記第２の照明光の波長域に重複しない部分を有するように前記第１および第２の照明光を順次出射する照明部と、偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、および、各偏光子を透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子と、を備える。【００１１】  本開示の内視鏡は、上記いずれかに記載の画像処理装置に用いられる内視鏡であって、ある態様では、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射する照明部と、偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタ、および、各偏光子および各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子とを備える。【００１２】  本開示の画像処理装置は、ある態様では、円偏光状態にある照明光で被写体を照射する照明部と、１／４波長板、偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタ、および、各偏光子および各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有し、前記１／４波長板が前記偏光モザイクアレイよりも被写体側に配置されている撮像素子と、前記照明光の前記被写体からの戻り光が前記１／４波長板を透過することによって変換された直線偏光の偏光面に平行な方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像、および前記偏光面に対して交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像を得る、偏光モザイク処理部と、前記前記第１および第２の偏光画像の対に基づいて、前記被写体の表面における前記凹領域を強調して示す画像を形成する画像形成部とを備える。【００１３】  本開示の内視鏡は、上記の画像処理装置に用いられる内視鏡であって、円偏光状態にある照明光で被写体を照射する照明部と、１／４波長板、偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタ、および、各偏光子および各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有し、前記１／４波長板が前記偏光モザイクアレイよりも被写体側に配置されている撮像素子とを備える。
【発明の効果】
【００１４】  本開示の実施形態によれば、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射するため、通常の被写体像とは別に、被写体表面の凹凸情報や傾斜情報を得ることができる。このため、例えばインジゴカルミン溶液など青色色素液体を粘膜上に撒布した画像に類似する画像（凹領域が強調された画像）を合成することが可能になる。
【図面の簡単な説明】
【００１５】
【図１】（ａ）および（ｂ）は、いずれも、胃粘膜の内視鏡画像の図
【図２】臓器の表面粘膜の凹凸部の断面モデルを示す図
【図３】フレネル理論による光が媒質から出射する際の出射角と偏光度ＤＯＰの関係を示すグラフ
【図４】偏光照明を表面の溝に入射する際の反射光のエネルギーの説明図であって、（Ａ）および（Ｂ）は、ぞれぞれ、照明光が溝に対して０°、９０°の場合の図
【図５】偏光照明を表面の溝に入射する際の反射光のエネルギーの説明図（照明光が溝に対して４５°の場合の図）
【図６】本開示の第１の実施形態の構成を示すブロック図
【図７】（ａ）および（ｂ）は、本開示の第１の実施形態におけるカラーホイールを示す図
【図８】本開示の第１の実施形態における照明フィルタの特性を示す図
【図９】（Ａ）から（Ｃ）は、本開示の第１の実施形態でのモノクロ広帯域偏光撮像素子を形成するワイヤグリッドの平面構造と透過軸方向を示す図
【図１０】本開示の第１の実施形態でのモノクロ広帯域偏光撮像素子の断面構造を示す図
【図１１Ａ】本開示の第１の実施形態における通常撮像モードの動作を示す図
【図１１Ｂ】本開示の第１の実施形態での通常撮像モードのタイミングチャート
【図１２】本開示の第１の実施形態での偏光撮像モードの偏光モザイク処理部２０２の動作を示す図
【図１３】本開示の第１の実施形態での偏光撮像モードのタイミングチャート
【図１４】本開示の第１の実施形態での凹領域検出部２０４と画像合成部２０６の処理を説明するブロック図
【図１５】（Ａ）および（Ｂ）は、凹領域検出部２０４で用いる平滑化フィルタと微分処理マスクの例を示す図
【図１６】（１）から（３）は、凹領域検出部２０４で用いる青色強調処理の例を示す図
【図１７Ａ】凹領域検出部２０４で用いる２対の平行・直交ニコル画像を合成する処理の図
【図１７Ｂ】凹領域検出部２０４で用いる２対の平行・直交ニコル画像を合成する処理の図
【図１８】（Ａ）から（Ｄ）は、レファレンス被写体を用いた処理結果を示す図
【図１９】（Ａ）から（Ｄ）は、ブタ胃を用いた処理結果を示す図
【図２０】本開示の第２の実施形態の構成を示すブロック図
【図２１】本開示の第２の実施形態における内視鏡先端部と偏光回転照明を示す図
【図２２】（Ａ）および（Ｂ）は、本開示の第２の実施形態における偏光回転照明の別の構成を示す図
【図２３】本開示の第２の実施形態におけるカラー偏光撮像素子の断面構造を示す図
【図２４】（Ａ）から（Ｃ）は、本開示の第２の実施形態におけるカラーモザイクと偏光モザイクの平面配置を示す図
【図２５】本開示の第２の実施形態における通常撮像モードの偏光モザイク処理部２０２の動作を示す図
【図２６】本開示の第２の実施形態における通常撮像モードのタイミングチャート
【図２７】本開示の第２の実施形態における偏光撮像モードの偏光モザイク処理部２０２の動作を示す図
【図２８】本開示の第２の実施形態における偏光撮像モードのタイミングチャート
【図２９】（Ａ）から（Ｃ）は、本開示の第２の実施形態の変形例１におけるカラーモザイクと偏光モザイクの平面配置を示す図
【図３０】本開示の第２の実施形態の変形例１における通常撮像モードの偏光モザイク処理部２０２の動作を示す図
【図３１】本開示の第２の実施形態の変形例１における偏光撮像モードの偏光モザイク処理部２０２の動作を示す図
【図３２】（Ａ）から（Ｃ）は、本開示の第２の実施形態の変形例２におけるカラーモザイクと偏光モザイクの平面配置を示す図
【図３３】本開示の第２の実施形態の変形例２における通常撮像モードの偏光モザイク処理部２０２の動作を示す図
【図３４】本開示の第２の実施形態の変形例２における偏光撮像モードの偏光モザイク処理部２０２の動作を示す図
【図３５】（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）は、本開示の第２の実施形態の変形例３における偏光照明光と偏光撮像の透過方向との関係を示す図
【図３６】本開示の第２の実施形態の変形例３における偏光照明を示す図
【図３７】（Ａ）から（Ｃ）は、本開示の第２の実施形態の変形例３におけるカラーモザイクと偏光モザイクの平面配置を示す図
【図３８】本開示の第２の実施形態の変形例３における通常撮像モードの動作説明図
【図３９】本開示の第２の実施形態の変形例３における偏光撮像モードの動作を説明するための図
【図４０】本開示の第２の実施形態の変形例４における内視鏡先端部と偏光回転照明を示す図
【図４１】（Ａ）は、円偏光の光が進行する方向を示す図、（Ｂ）は、λ／４板のＦ軸とＳ軸との間に０°の偏光面を持つ直線偏光光が入射する様子を示す図、（Ｃ）は、λ／４板のＦ軸とＳ軸との間に９０°の偏光面を持つ直線偏光光が入射する様子を示す図
【図４２】本開示の第２の実施形態の変形例４で用いるカラー偏光撮像素子１１９の断面構造の例を示す図
【図４３】（Ａ）から（Ｃ）は、本開示の第２の実施形態の変形例４におけるカラーモザイクと偏光モザイクの平面配置を示す図
【図４４】本開示の第２の実施形態の変形例４で採用する臓器の表面粘膜の凹凸部の断面モデルを示す図
【図４５】本開示の第２の実施形態の変形例４における戻り光を説明するための図
【図４６】本開示の第２の実施形態の変形例５における内視鏡先端部と偏光回転照明を示す図
【発明を実施するための形態】
【００１６】  図１は、ヒトの胃の表面粘膜を内視鏡で観察した画像を示す。図１（ａ）は、通常のカラー画像を示しており、表面にはなだらかな起伏しか感じられない。すなわち消化器などを検察する内視鏡が、臓器表面に形成された透明または半透明の凹凸を検出することは通常のカラー画像処理では困難である。ここで、通常のカラー画像処理とは、非偏光の白色光を照射して得られるカラーの輝度画像を得るための処理である。こうして得られたカラー画像を「カラー輝度画像」または単に「輝度画像」と称し、また、カラー輝度画像を得るための撮影を「カラー輝度撮影」と称する場合がある。
【００１７】  一方、図１（ｂ）は、インジゴカルミン液を撒布した後のカラー画像を示しており、表面の微細な凹凸のテクスチャ（サイズが０．５〜１．０ｍｍ、深さが０．１〜０．２ｍｍ程度）が明瞭に確認できる。
【００１８】  図２は、胃や腸の臓器表面に形成された凹凸断面を簡略化して示している。胃や腸の表面に存在する凹凸溝は、一般的には上に凸の台形状の繰り返し配列によって形成されていると考えられる。隣接する２つの凸部の間に位置する凹領域は、典型的には、ある方向に延びる小さな「溝」である。複数の溝は、局所的には略同じ方向に揃っているが、大局的には複雑な曲線状または他のパターンを示し得る。現実の被写体表面の凹凸は、ドット状の凹部または凸部を含み得るが、本明細書では、このような凹凸の凹部を単に「溝」または「凹溝」と称する場合がある。図２は、被写体の表面部における狭い領域内に存在する幾つかの溝を横切る断面を模式的に示している。簡単のため、以下の説明では、図２に示されるような凹部および凸部が図の紙面に対して垂直な方向に延びていると仮定してよい。
【００１９】  内視鏡による観察は、撮影光軸の近傍に光源が配置された同軸照明であるため、図２に示された被写体に対して、その略直上から照明光を照射し、同じく被写体の略直上から撮影が行われる。このような同軸照明を用いた通常のカラー輝度撮影にて観察できる反射光には大きく３種ある。第１は表面にて光が反射する鏡面反射光（いわゆるハレーション）ＳＲであり、第２は媒質内部に浸透し、表層で反射して戻ってくる表面散乱光ＳＲ１であり、第３は媒質のより下層まで多重散乱して浸透して表面から再出射される内部拡散光ＤＲである。第１の反射光（鏡面反射光）は、照射される光と撮影光軸とが正反射の条件に近い場合に限って発生するため、内視鏡の撮影シーンではごく局所的にしか発生しない。鏡面反射光の色は、照明の色すなわち白色であり、輝度は非常に強い。鏡面反射光による被写体像は、前記の正反射条件から、一般に被写体表面における凹凸の凸部にて強く明るく、凹部では弱く暗い。一方、第２の反射光（表面散乱光）と第３の反射光（内部拡散光）は、撮影シーンの全域に渡って観測される。これら２種の光の色は、媒質の色自身であり、輝度はそれほど強くないが媒質全体が大域的に光る。
【００２０】  通常の撮影では第１の鏡面反射光は写りこみを回避されることが多く、上記のうち第２と第３の反射光が重ねあわされて１つの輝度画像（撮影シーン）が形成される。
【００２１】  次に、同じ図２を用いて、偏光を用いた際の現象を説明する。図２の例では、表面凹凸の凸部および凹部が延びる方向に平行な方向の偏光照明および垂直な方向の偏光照明を順次照射し、それぞれに対して平行ニコル状態の偏光画像と直交ニコル状態の偏光画像を観測している。
【００２２】  まず、鏡面反射成分ＳＲは同軸照明状態での正反射であるから、照射された偏光の偏光状態と同じ偏光状態を維持する。このため、鏡面反射成分ＳＲは照明と同一の偏光になる。
【００２３】  一方、表面散乱光ＳＲ１は、同じく、照明の偏光の性質を維持したまま、表面から戻ってくる。そこで、ＳＲとＳＲ１はいずれも照明偏光とほぼ同一の偏光の性質を有する。一方、内部拡散光の偏光ＤＲの偏光方向はこれとは異なる。媒質の深部にまで多重反射して到達した偏光はその影響によって偏光を崩されて非偏光（ランダム偏光）の光Ｄに変化している。そして、この非偏光Ｄが再度表面から空気中に戻ってくる。通常の平坦部では、この光Ｄは非偏光のまま出射されると考えられるが、表面に溝があると、傾斜した境界面ができるため、再度偏光して出射する。この屈折率が１より大きい媒質から空気中へ出射する際の偏光については、フレネル理論で決定される。図３は、フレネル理論に基づいて求められた屈折率が１より大きい媒質から空気中へ出射する際の偏光の状態を示すグラフである。偏光度としてはやや弱いながら、横軸の出射角に対して透過率は常にＰ偏光＞Ｓ偏光となる、生体（水）、アクリル板などの屈折率を、それぞれ１．３３、１．４９程度とすると、出射角（Ｅｍｉｔｔａｎｃｅ  Ａｎｇｌｅ）＝７０°の場合、偏光度ＤＯＰ＝０．１（１０%弱）の偏光が観測されることがわかる。
【００２４】  ここでは、偏光照明を表面の溝に入射し、それを偏光撮像する場合の輝度コントラストについて、粘膜媒質内での吸収を無視して検討する。２次元カメラ座標平面において図４と図５のように溝の方位角を０°に固定し、偏光方向を３通りに変えて入射する。これを（Ｌ０、Ｌ９０、Ｌ４５）などと表記する。輝度観測はカメラ前に設置した検光子の角度を同様に変化させて（Ｃ０、Ｃ９０、Ｃ４５）のように実施する。ＬとＣが平行ニコル状態にある場合を‖、直交状態にある場合を⊥と表記する。
【００２５】  （１）  Ｌ０Ｃ０（‖）／Ｌ０Ｃ９０（⊥）の場合（図４（Ａ））  入射した直線偏光のエネルギーを１とし、この偏光が媒質内で拡散して非偏光になる割合をｄ1とすると（ＳＲ）（ＳＲ１）のように偏光を維持して反射する割合は（１−ｄ1）となる。次に媒質中の非偏光光が媒質から空気中に再出射する際、直線偏光となる割合をｐ、非偏光のままの割合を（１−ｐ）とする。これらの反射光をＣ０、すなわち０°の偏光板を用いて観測すると、平行な直線偏光のエネルギーは完全透過するが、直交する直線偏光はゼロになり、非偏光の場合は、直線偏光板による観測でエネルギーは１／２になるから、Ｌ０での平行ニコル（‖）画像輝度は、以下のように表される。  Ｌ０Ｃ０＝（１−ｄ1）＋ｄ1（１−ｐ）／２ ＝ １−ｄ1（１＋ｐ）／２                                                      ・・・（式１）  Ｌ０での直交ニコル（⊥）画像の輝度は、以下のように表される。  Ｌ０Ｃ９０＝ ｄ1 ｐ ＋ｄ1（１−ｐ）／２＝ｄ1（１＋ｐ）／２                                                  ・・・・・（式２）
【００２６】  （２）Ｌ９０Ｃ９０（‖）／Ｌ９０Ｃ０（⊥）の場合（図４（Ｂ））  この場合の偏光が媒質内で拡散して非偏光になる割合をｄ2とすると、同様に平行ニコル（‖）画像の輝度は、以下のように表される。  Ｌ９０Ｃ９０＝（１−ｄ2）＋ ｄ2ｐ＋ ｄ2（１−ｐ）／２ ＝１−ｄ2（１−ｐ）／２・・・・・（式３）  直交ニコル（⊥）画像の輝度は以下のとおりである。  Ｌ９０Ｃ０＝ｄ2（１−ｐ）／２・・・（式４）
【００２７】  （３）  Ｌ４５Ｃ４５（‖）／Ｌ４５Ｃ１３５（⊥）の場合（図５）  この場合は、偏光を０°と４５°に１／２のエネルギーで分解した後に、（式１）から（式４）を用いればよい。マリュスの法則よりｃｏｓ2４５°を用いて、平行ニコル（‖）画像の輝度は、以下のように表される。  Ｌ４５Ｃ４５＝１／２×［ｃｏｓ2４５°×｛ｄ1ｐ＋（１−ｄ1）＋ｄ2ｐ＋（１−ｄ2）｝＋ｄ1／２×（１−ｐ）＋ｄ2／２×（１−ｐ）］＝１／２                                                ・・・・・・（式５）  Ｌ４５Ｃ１３５＝１／２・・・・・（式６）
【００２８】  次に、偏光差分観測における輝度コントラストを導出するため、まず上記の偏光が平坦な媒質に入射された場合を考える。同様に直線偏光が媒質内でｄの割合で非偏光になると考えると平行ニコルでは偏光を維持した反射成分から（１−ｄ）、非偏光成分からｄ／２の寄与があるので、１−ｄ／２が、また直交ニコルでは非偏光成分からｄ／２の寄与のみとなる。
【００２９】  以下の表１では、偏光の角度を考慮した溝部（Ｇｒｏｏｖｅ−ｒｅｇｉｏｎ）と平坦部（Ｐｌａｎｅ−ｒｅｇｉｏｎ）における輝度についてまとめて掲載している。同時に偏光差分値（‖−⊥）および、それを用いた輝度コントラストを計算している。ここで輝度コントラストの定義は（平坦部輝度Ｐｌａｎｅ）／（溝部輝度Ｇｒｏｏｖｅ）とした。計算の簡単化のため、表１における輝度コントラストの欄では、ｄ1＝ｄ2＝ｄとした。
【００３０】
【表１】
0005799264.tif 000002
【００３１】  この表１から、実際のｐ、ｄの値について言及せずとも、Ｌ０の場合、およびＬ４５（Ｌ１３５）の場合について、輝度コントラストが１よりも向上することがわかる。そして、偏光差分を用いる場合、の輝度コントラストは、Ｌ４５(Ｌ１３５)のとき、すなわち溝と偏光照明の偏光面の角度が４５°をなすときに理想的には∞まで最大となり、Ｌ０のとき、すなわち溝と偏光照明の偏光面とが平行のときがそれに続く１を超える値となり、Ｌ９０、すなわち溝と偏光照明の偏光面が直交するときに最低で１以下の値となる。そこで、被写体表面に存在する溝の向きがランダムだと仮定し、それに対して照明の偏光向きが４５°づつ離散的に変動すると考えると、３／４（＝７５％）の確率で輝度コントラストが１よりも向上することになる。ここで２５％の確率にてコントラストが低下する可能性も否定できない。しかしながら本発明者の実験によると偏光照明が０°と９０°という２種類の照明光を照射し、それぞれについて後述する溝検出のための画像処理を実施し、その結果を画像として平均化した場合、通常の輝度画像での検出結果よりも良好な結果を得ることができている。４５°と１３５°の２種類の照明光を使った場合には当然良好な結果が得られる。そこで２種類の直交した偏光照明を利用して偏光差分観測を実施すれば、平坦部と溝部とを非常に良好なコントラストにて識別できる。以上が、本開示における溝部の検出の原理である。
【００３２】  次に従来の偏光を使わない輝度観測における輝度コントラストについて検討する。ここでは通常の非偏光照明ＮＰを使った場合の溝部と平坦部の輝度コントラストを検討する。溝部の場合には入射の方位角をφ、観測の方位角をθとしてＰとＳの観測角につき、照明のφを平均化すると１／２になるので、Ｐの場合、以下のように表される。  Ｌ（ＮＰ）Ｐ（θ）＝  １／２×［（１−ｄ1）ｃｏｓ2θ＋ｄ1 ｐ ｓｉｎ2θ］＋１／２×[（ｄ2ｐｓｉｎ2θ＋（１−ｄ2） ｓｉｎ2θ]＋（１−ｐ）（ｄ1＋ｄ2）／４・・・・・・（式７）  また、Ｓの場合は、以下のように表される。  Ｌ（ＮＰ）Ｓ（θ＋９０°）＝  １／２×［（１−ｄ1）ｓｉｎ2θ＋ ｄ1 ｐ ｃｏｓ2θ］＋１／２×[ｄ2ｐｃｏｓ2θ＋（１−ｄ2） ｃｏｓ2θ]＋（１−ｐ）（ｄ1＋ｄ2）／４ ・・・・・・（式８）となる。輝度観測では検光子を有しないので、Ｐ＋Ｓが観測される。一方、平坦部では、もともと異方性を有しないので表１のままでよい。以上から輝度コントラストを求めると表２のように１となり、溝部と平坦部は輝度では識別できないことがわかる。
【００３３】
【表２】
0005799264.tif 000003
【００３４】  表１と表２の比較から図１で述べた表面粘膜の微細構造モデルにおいて、溝部の強調処理の原理は以下のようにまとめられる。  （ｉ）溝部と平坦部を識別する場合、非偏光の照明と輝度の観測では輝度コントラストが低く困難。  （ｉｉ）偏光照明と偏光撮像を用いて偏光差分値（‖−⊥）を計算すると溝部と平坦部との輝度コントラストを大きく向上できる。  （ｉｉｉ）ただし輝度コントラストは入射照明と溝部とが平面内でなす角度に依存し角度差＝４５°（Ｌ４５）の場合に最大、角度差＝９０°（Ｌ９０）の場合に最低、角度差＝０°（Ｌ０）ではその中間となる。  （ｉｖ）９０°異なる直交した２種類の照明を使って偏光差分値を計算し、最後に平均化する処理で溝部の検出については検出漏れのない良好な結果が得られる。
【００３５】  以下、本開示の実施形態を説明する。
【００３６】（第１の実施形態）  図６は、本開示の実施形態１における画像処理装置の全体構成を模式的に示す図である。本画像処理装置は、内視鏡１０１と、制御装置１０２と、表示部１１４とを備える。
【００３７】  内視鏡１０１は、モノクロ広帯域偏光撮像素子１１５を有する先端部１０６、および、ライトガイド１０５と映像信号線１０８とを内部に有する挿入部１０３を有している。内視鏡１０１の挿入部１０３は、図示されているように左右に長く、フレキシブルに曲がり得る構造を有している。ライドガイド１０５は曲がった状態でも光を伝達することができる。
【００３８】  制御装置１０２は、光源装置１０４と画像プロセッサ１１０とを備える。光源装置１０４内には、例えばキセノン光源、ハロゲン光源、ＬＥＤ光源、またはレーザ光源であり得る光源１１８が備えられている。光源１１８から発した非偏光の光は、回転するＲＧＢフィルタを有するカラーホイール１１６（ａ〜ｂ）を透過した場合、順次、Ｒレッド、Ｇグリーン、Ｂブルーの光になる。これらの光は、ライトガイド１０５を経由して先端部１０６に導かれ、照明用フィルタ２００を透過する際に、偏光または非偏光の光となる。そして照明レンズ１０７から、偏光または非偏光の照明光１１７となって、被写体である内臓粘膜表面１１１を照射する。被写体からの反射光１１３は、対物レンズ１０９を通ってモノクロ広帯域偏光撮像素子１１５上に結像する。
【００３９】  同期装置１１２は、カラーホイール１１６ａの回転と同期しながら、モノクロ広帯域偏光撮像素子１１５に撮影開始信号を送って反射光による映像を取得する。撮像された映像信号は、映像信号線１０８を経由して画像プロセッサ１１０に送られる。
【００４０】  以上の処理をＲＧＢの面順次方式で連続して実行してカラー撮像と偏光撮像を実行する。以下、通常のカラー撮像を実行するモードを「非偏光撮像モード」または「通常撮像モード」と称し、偏光撮像を実行するモードを「偏光撮像モード」と称することがある。
【００４１】  照明制御部１２０は、外部から、内視鏡の動作モードが通常撮像モードおよび偏光撮像モードのいずれであるかを示す信号が入力されると、それに対応して、それぞれに対応したカラーホイールを照明光の光路１２１に挿入する。そうすることにより、面順次照射に用いる照明の分光特性を変化させる。
【００４２】  通常撮像モードの場合には、偏光モザイク処理部２０２にて処理されたカラー画像が画像合成部２０６にてフルカラー動画に組み立てられ、表示部１１４に例えば動画で表示される。また偏光撮像モードにおいては、同じく偏光モザイク処理部２０２にて処理された画像が凹領域検出部２０４にて表面の凹領域を検出され、画像合成部２０６にて青色強調された表示部に例えば動画で表示される。
【００４３】  図７（ａ）（ｂ）は、照明に使われ得るカラーホイールの例を示している。図７（ａ）に示される通常撮像用カラーホイール１１６ａは、回転軸の周りに設けられた３つの扇形状の領域を有している。この３つの扇形状領域は、それぞれ、Ｒ１Ｒ２で示すほぼ同色のレッド波長域を同時に透過するレッドフィルタ、Ｇ１Ｇ２で示すほぼ同色のグリーン波長域を同時に透過するグリーンフィルタ、Ｂ１Ｂ２で示すほぼ同色のブルー波長域を同時に透過するブルーフィルタとから構成されている。ここで、「Ｒ１Ｒ２」のＲ１およびＲ２は、それぞれ、レッド（Ｒ）の波長域、例えば６００ｎｍ〜７００ｎｍの短波長側の半分および長波長側の半分の波長域を示す。図７（ａ）のカラーフィルタ１１６ａにおいて、「Ｒ１Ｒ２」と記載された扇形状の領域は、Ｒ１の波長域およびＲ２の波長域の両方の光を透過する領域であり、「Ｒ」と記載しても良い。他の記号、「Ｇ１Ｇ２」および「Ｂ１Ｂ２」も同様である。本明細書では、「Ｒ１」などの符号を、特定の波長域を示すために用いたり、そのような波長域の光を選択的に透過するフィルタを示すために使用する場合がある。
【００４４】  偏光撮像用カラーホイール１１６ｂは、偏光撮像を実行する波長域の設定により種々の構成を有し得る。図７（ｂ）は、６個の異なる波長域の光を順次透過するカラーホイール１１６ｂの例を示している。このような構成を有するカラーホイール１１６ｂは、フルカラーの直交ニコル画像を取得するのに適している。なお、図７（ａ）のカラーホイール１１６ａおよび図７（ｂ）のカラーホイール１１６ｂの一方が、外部からの信号によって指定されて選択的に使用される。より具体的には、非偏光撮像モードまたは通常撮像モードではカラーホイール１１６ａが使用され、偏光撮像モードではカラーホイール１１６ｂが使用される。
【００４５】  図８は、照明用フィルタ２００の透過特性を示す図である。Ｂ、Ｇ、Ｒの各可視光波長範囲をＰ偏光とＳ偏光が交互に透過する櫛型の透過特性を有している。例えば図８に示す例において、波長域Ｂ１（４００〜４５０ｎｍの範囲）でＰ偏光のみを透過し、波長域Ｂ２（４５０〜５００ｎｍの範囲）でＳ偏光のみを透過する。このため、光源からライトガイドを経由してくる光の波長が波長域Ｂ１に含まれる場合には、その光は照明用フィルタ２００によってＰ偏光の偏光照明光に変換される。同様に、光源からライトガイドを経由してくる光の波長が波長域Ｂ２に含まれる場合には、その光は照明用フィルタ２００によってＳ偏光の偏光照明光に変換される。なお、通常撮像モードおいて、光源からライトガイドを経由してくる光の波長が波長域Ｂ１Ｂ２の全体に広がる場合には、Ｐ偏光とＳ偏光が混合されるため非偏光の照明光が得られる。
【００４６】  図８に示されるような特性を有するフィルタは、多層膜偏光子として実現することが可能であり、例えば、特許文献２にその例が記載されている。
【００４７】  図９は、モノクロ広帯域偏光撮像素子１１５の撮像面のパターン偏光子（偏光モザイクまたは偏光モザイクアレイ）の構造の例を模式的に示す図である。図９（Ａ）に示すように撮像面には、画素が行および列状（Ｘ−Ｙ方向）に規則的に配列されている。
【００４８】  本撮像素子１１５は、照明光の色がＲ、Ｇ、Ｂに順次変化する順次方式で用いられるため、その撮像面上にはカラーモザイクフィルタが配列されていない。すなわち、撮像素子１１５そのものは、モノクロ撮像素子であり、各画素に偏光子が配列されている。個々の画素には、可視光の波長域に含まれる光が順次入射するため、本実施形態で用いられる偏光子の偏光選択特性は可視光帯域で実現する。具体的には、４００ｎｍ〜８００ｎｍの帯域において、本実施形態の偏光子の偏光取得性能を示す消光比が１００：１以上である。このため、本実施形態では、可視光帯域の一部を占める特定波長のみで偏光特性を呈する偏光子を用いず、その代わり、広い波長域で高い偏光取得性能を示し得る金属ワイヤグリッド偏光子を用いている。
【００４９】  図９（Ｂ）は、２行２列に配列された４個の画素（２×２ブロック）に対応する偏光フィルタの１単位を示している。この１単位の中では、平面内に９０°ずつ回転させた偏光フィルタが配置されている。図９（Ｂ）では、各偏光フィルタ上に示された軸の方向が偏光の透過軸に設定されている。
【００５０】  図９（Ｃ）は、図９（Ｂ）に対応して金属ワイヤグリッドで実現する場合のワイヤ配置が図示されている。ワイヤグリッドでは金属ワイヤの方向と垂直な方向（ＴＥ軸）が偏光の透過軸となるため、模式図でワイヤを直線で表現すると、図９（Ｂ）の偏光軸の向きと、図９（Ｃ）の金属ワイヤの直線の向きとが９０度異なる。この混乱を避けるため、本開示の実施形態で利用する偏光フィルタの透過軸の向きを表現する場合、常に図９（Ｂ）の透過軸を使用するものとし、ワイヤグリッドのワイヤ方向を直接描く平面図は使用しないものとする。
【００５１】  後述するように、この金属ワイヤグリッドの配置面は撮像素子の最上面から下層までの範囲内においてさまざまな位置をとり得る。ワイヤグリッドは平面的には他画素との干渉を回避するため、画素単位領域の外縁よりも余裕度Δだけ内側の領域内に配置されている。例えば正方形である１画素領域の一辺の長さＤを３〜４μｍとすると、Δは０．２μｍ＝２００ｎｍ以上に設定され得る。ワイヤグリッドを構成する各ワイヤの幅Ｌと間隔Ｓのデユーティ比は、透過率と消光比のトレードオフになる。本開示の実施形態において、幅Ｌと間隔Ｓとは等しいものとする。後述するようにＬ＝Ｓ＝０．１μｍ＝１００ｎｍとして、Δ＝０．２μｍ＝２００ｎｍのとき、ワイヤグリッドの本数は、ワイヤ方向が撮像面内の垂直軸または水平軸に対して０°と９０°の角度を形成する場合には１７本である。
【００５２】  従来、アルミニウム製ワイヤグリッド偏光子を用いた偏光撮像素子で実際に試作され消光比の性能測定がされた例が非特許文献１に開示されている。非特許文献１によると、画素サイズ＝７．４×７．４μｍの領域内にピッチＰ＝１４０ｎｍｍ、高さＨ＝７０ｎｍで配置された微細ワイヤグリッド偏光子の消光比は４５０、５８０、７００ｎｍの各波長でそれぞれ３０：１、４５：１、６０：１程度であった。この実例から、ワイヤグリッドを微細化して撮像素子に実装しても、消光比性能として１００：１を実現するのは困難であると予測される。そこで本実施形態においては、ワイヤグリッドを２層構造として高消光比を実現する構造をとっている。
【００５３】  図１０を参照して、撮像素子１１５の断面構成例を説明する。
【００５４】  入射光は、撮像素子１１５の上方に配置される対物レンズ１０９から撮像面に到達する。撮像素子１１５において、光が到達する構造を順次説明すると、まず最上面にはマイクロレンズ２２０が配置される。このマイクロレンズ２２０の役割は光の効率的なＰＤ（フォトダイオード）２３２への集光である。マイクロレンズ２２０は、斜め入射光の光路を曲げて撮像面に対して垂直に近い角度にするため、特に内視鏡のように広角撮影が多用されるケースでは有効である。また、マイクロレンズ２２０があると、ワイヤグリッド層２２２、２２４に対してほぼ直上から光を入射させることができるため、ＴＭ透過率と消光比の低下を防ぐ効果を有する。マイクロレンズ２２０の下には平坦化層２２６がある。その下層に第１ワイヤグリッド層２２２が配置されている。第１ワイヤグリット層２２２は、撮像面内において９０°ずつ回転した特定の方向の偏光だけが透過し、それ以外の光は反射または吸収する。
【００５５】  本実施形態における第１ワイヤグリッド層２２２は、金属ワイヤ間に中空構造を有しており、各金属ワイヤは空気と接している状態がつくられる。このため、消光比の性能低下を防ぐ効果を有する。
【００５６】  第１ワイヤグリッド層２２２の下方には第２ワイヤグリッド層２２４が配置される。この第２ワイヤグリッド層２２４は、基本的には第１ワイヤグリッド層２２２と配置方向、サイズ、材質が同一であり、同じ中空構造を持っている。
【００５７】  第１および第２ワイヤグリッド層２２２、２２４を重ねて用いることにより、各々の消光比が１０：１程度に低下した微細ワイヤグリッドであっても、２層全体の消光比を１００：１程度までに向上させることができる。第２ワイヤグリッド２２４の下層には、平坦化層２２８と配線２３０とが設けられている。光の透過部分には配線２３０は配置されていないため、遮光されることなく、その下層にあるＰＤ（フォトダイオード）２３２に到達する。撮像面では、多数のＰＤ２３２が行および列状に配列され、光感知セルアレイを形成している。
【００５８】  撮像素子では、マイクロレンズ２２０からＰＤ２３２までの距離を短くする低背化が重要である。本実施形態の偏光撮像素子においても、マイクロレンズ２２０からＰＤ２３２までの距離が長い場合、画素間クロストークが発生して偏光特性、特に消光比を低下させてしまう。低背化のため、本実施形態においては、ワイヤグリッドからＰＤまでの距離を２〜３μｍ程度に設定している。また、ワイヤグリッド偏光子では、透過するＴＭ波に対して偏光方向が直交するＴＥ波は反射されるため、これが迷光となり性能劣化の原因となり得る。これを回避するためには、ワイヤグリッド２２２、２２４を単層ではなく多層構造として吸収作用を設けることが有効である。
【００５９】  以下、本実施形態における画像処理装置の撮像動作を説明する。
【００６０】  まず、図１１Ａおよび図１１Ｂを参照して、通常撮像モードの動作を説明する。
【００６１】  図１１Ａおよび図１１Ｂは、それぞれ、通常撮像モードにおける照明と撮像の動作を示す図およびタイミングチャートである。図１１Ａの左段は、面順次照明の分光スペクトルを示している。Ｂ色の照明は、Ｂ１（Ｐ偏光）とＢ２（Ｓ偏光）という厳密には異なる色の異なる偏光の混合光からなる。このことは、Ｇ、Ｒ色の照明光でも同様である。これらの照明光は、照射時には、それぞれ、Ｂ、Ｇ、Ｒの非偏光とみなすことができる。このため、実質的には公知の面順次照明と変わらなくなる。
【００６２】  照明光が被写体に照射されるとき、被写体で反射された戻り光は、モノクロ広帯域偏光撮像素子１０５にて観察される。図１１Ａでは、偏光撮像素子１０５が有する偏光モザイクの基本単位８０１のみを記載している。この基本単位８０１に含まれる４個の偏光子のうち、左上および右下に位置する２個の偏光子（Ｐの偏光フィルタ）は、撮像面内で水平な方向に偏光したＰ偏光を透過し、右上および左下に位置する２個の偏光子（Ｓの偏光フィルタ）は、撮像面内で垂直な方向に偏光したＳ偏光を透過する。
【００６３】  モノクロ広帯域偏光撮像素子１１５の偏光動作は、可視光領域の全体に相当する４００ｎｍ〜８００ｎｍにわたって機能するので、Ｂ、Ｇ、Ｒ色の照明光で被写体が照射されるときのいずれであっても１個の撮像素子で対応できる。
【００６４】  得られる撮像画像は、非偏光の照明を受けた被写体からの戻り光を、Ｐの偏光フィルタまたはＳの偏光フィルタを介して受光する。このため、得られた画素値を２×２の４画素領域で平均化することにより、非偏光画像を取得できる。平均化された画素値は、仮想的には、２×２の４画素の中心に位置する。このため、図１１Ａの最も右側では、点線で示す画素領域にＮＰ（非偏光）と記載されている。２×２の４画素を１画素単位でシフトさせることにより、解像度低下は実質的に発生しない。
【００６５】  このようにＢ、Ｇ、Ｒの非偏光の面順次照明に対して、それぞれ、非偏光撮像が実現される。カラー画像バッファメモリへ３原色画像を順次蓄積、３原色の画像を得られたときに、これらの画像を合成することにより、フルカラー動画を生成することができる。上記の処理を、本明細書では「偏光モザイク画素の平均化処理」と称する。偏光モザイク画素の平均化処理は図６の偏光モザイク処理部２０２にて実行され、フルカラー動画の生成は、画像合成部２０６にて実行される。
【００６６】  図１１Ｂは、以上の動作をタイミングチャートで示している。図１１Ｂの上段から照明の発光動作、撮像動作、そして偏光モザイク処理部２０２において処理されるカラー成分画像を示している。このタイミングの各動作は、同期回路１１２が、照明制御部１２０、モノクロ広帯域偏光撮像素子１１５、偏光モザイク処理部２０２を制御して実現する。
【００６７】  次に、図１２および図１３を参照して、偏光撮像モードの動作を説明する。
【００６８】  図１２および図１３は、それぞれ、図７（ｂ）の偏光撮像用カラーホイールを使用した場合の偏光撮像モードにおける照明と撮像の動作概要を示す図およびタイミングチャートである。この場合は、ＢＧＲの面順次カラー照明が行われる。このような撮像は、粘膜表面を、鏡面反射などを除去しつつ目視で観察する場合に特に有効である。また、生体粘膜内部の偏光特性を狭帯域の波長域として観察したい用途にも適する。
【００６９】  照明光は、図７（ｂ）の偏光撮像用カラーホイールの回転により、Ｐ偏光であるＢ１、Ｇ１、Ｒ１の光とＳ偏光であるＢ２、Ｇ２、Ｒ２が順番に被写体に照射される。被写体で反射された戻り光は、モノクロ広帯域偏光撮像素子１０５にて観察され、偏光モザイクの基本単位８０１で異なる成分が撮像される。得られる撮像画像は、Ｐ偏光照明においてＲＧＢフルカラーの直交ニコル（Ｐ⊥）、平行ニコル（Ｐ‖）、Ｓ偏光照明においてＲＧＢの各波長域について直交ニコル（Ｓ⊥）、平行ニコル（Ｓ‖）の合計１２通りの画像情報となる。この場合も画素情報として不足分があるため、★で表示した画素は周囲から補間する必要がある。このような構成を採用すれば、内視鏡でのリアルタイムの観察時に、粘膜表面から鏡面反射等を除去して粘膜状態を観察しやすい。この例では、動画として高速再現を可能にするため、ホイール上の円周上のフィルタの並びの順番が、Ｂ１−Ｇ２−Ｒ１−Ｂ２−Ｇ１−Ｒ２となるようにし、ＲＧＢのカラーと偏光のＰとＳの種類が交番になる。
【００７０】  図１３は、以上の動作を示すタイミングチャートである。図１３の上段から照明の発光動作、撮像動作、そしてモザイク処理部において処理されるカラー成分画像が示されている。このタイミングの動作は同期回路１１２が制御する。Ｐ偏光とＳ偏光の交互照射のタイミングでそれぞれに対応する直交ニコル（Ｐ⊥）（Ｓ⊥）画像と平行ニコル（Ｐ‖）（Ｓ‖）画像とが出力される。ただし直交ニコル（Ｐ⊥）または（Ｓ⊥）のＲＧＢフルカラー画像を得るためには、偏光照明を固定状態でＢ、Ｇ、Ｒの順次光が照射される期間であるＴｐｓの時間が必要になる。従って、この時間を動画として表示できない。これは、偏光とカラーの両方の照明を面順次にて実現しているため、全ての種類の照明を照射し終わるのに時間がかかるのが原因である。しかし、内視鏡での凹領域検出の詳細観察においては、それほど、リアルタイム性が要求されないので問題はない。
【００７１】  図１４は、凹領域検出部２０４、および画像合成部２０６での偏光画像強調処理１４０１を説明するための図である。
【００７２】  以下、図１２および図１３を参照しながら説明したＢ、Ｇ、Ｒ成分ごとにそれぞれ直交ニコル（Ｐ⊥）（Ｓ⊥）画像と平行ニコル（Ｐ‖）（Ｓ‖）画像の４種の画像がフレームごとに得られるシーケンスを、簡単のため、上記４種の平行ニコル・直交ニコル画像が同時にＲＧＢフルカラーで取得されるものとして説明する。Ｒ、Ｇ、Ｂ成分からなる平行ニコル・直交ニコル画像には、図１４に示すような差分処理と凹部強調処理が施される。ここで凹部強調処理は、平滑化処理、空間微分処理、および青色成分強調処理の順に処理される。
【００７３】（１）差分処理  Ｒ、Ｇ、Ｂの成分ごとに、画素ごとに［（平行ニコル画像画素値）−（直交ニコル画像画素値）］の演算を実施して偏光差分画像を生成する。後述するように、平行ニコルと直交ニコルの対は、照明光Ｌの偏光方向を９０°変化させると、２種生成できるので、その各々で実施される。また、ここで偏光差分画像の替わりに、それをさらに、（平行ニコル画像画素値）＋（直交ニコル画像画素値）で除した偏光度画像を用いても、ほぼ同様の結果が得られる。
【００７４】（２）平滑化処理  入力された画像は、次段の微分処理を実行する前に、画像から強調したいテクスチャの周波数より高域の雑音成分を除去する。具体的には、雑音成分を除去するため、平滑化フィルタ処理が実行される。本実施形態では、一般的なガウス型フィルタを用いる。フィルタのマスクサイズを、後述する微分マスクフィルタのマスクサイズと同一にすることにより、細かい粒状ノイズの強調を回避できる。図１５（Ａ）に５×５サイズの平滑化フィルタの一例を示す。この平滑化フィルタを用いて１０２４×７６８画素の画像を５１２×３８４画素に縮小するなどしてもよい。
【００７５】（３）微分処理  平滑化フィルタ処理がなされたＧ成分画像に対して、周囲よりも暗い画素領域を検出するため以下のような微分マスク処理を行う。周囲より暗い画素領域を検出する理由は、表１を参照しながら説明したとおり、偏光照明の偏光方向が被写体の表面溝と０°〜４５°近傍の角度差をなす場合に、輝度コントラストが高くなり周囲よりも暗くなるためである。微分処理は、平滑化処理後の画像に、図１５（Ｂ）に示すような中心画素と周辺画素を指定する微分フィルタ（ここでは５×５画素の例を示す）を設定する。微分フィルタは各種多様なものがあるが、ここでは表面を走行する網目状の溝を連続性よく強調するのに適したものを選択している。５×５画素領域にて、以下の処理を実施する。  （ｉ）水平（■）、垂直（★）、斜め右上（▲）、斜め右下（●）の４方向において、周囲２画素と中心画素値Ｒｉｊを比較して差分をとる。  （ｉｉ）４方向のいずれか１方向において中心画素が周囲２画素両方より大きい場合は中心画素が凹と判断。  （ｉｉｉ）４方向で最大の差分値の絶対値をΔとし、これに一定の定数を乗じたものをΔＣとする。これを空間微分処理結果とする。
【００７６】（４）青色成分の強調  ΔＣ値をＲ、Ｇ成分から減算することにより、青色を強調する。ここで、Ｒ、Ｇ成分が０以下になる場合、その不足分を他の色成分から減算して連続性を維持する。このため、Δの大きさで色相は変化するが、滑らかに接続されるようにすることができる。Ｒ、Ｇ成分のうちで値が小さいものをＣ１、大きいものをＣ２とおいて、以下のように３種類に場合分けをする。
【００７７】  図１６は、以下の３通りの場合を示している。
【００７８】  まず、１）ΔＣがＣ１以下の場合には、Ｒ、Ｇ信号からΔＣを減算する処理を実行する。次に２）ΔＣがＣ１を超える値になった場合には、最も小さい信号がゼロになり、残りが中間となる信号から減算される。次に、３）Ｒ、Ｇ信号からの減算がゼロになった場合には、Ｂ信号から残りの信号が減算される。
【００７９】  以上の処理で、中心画素が周辺画素よりも明るい画素領域のカラー信号が、その程度に応じて青色強調され、インジゴカルミン撒布に類似したカラー画像が生成される。  １）ΔＣ≦Ｃ１の場合      Ｃ１＝Ｃ１−ΔＣ      Ｃ２＝Ｃ２−ΔＣ  ２）Ｃ１＜ΔＣ≦（Ｃ１＋Ｃ２）／２の場合      Ｃ１＝０  Ｃ２＝（Ｃ１＋Ｃ２）−（２ΔＣ）・・・・・（式９）  ３）（Ｃ１＋Ｃ２）／２＜（ΔＣ）の場合      Ｃ１＝０Ｃ２＝０      Ｂ＝Ｂ−（（２ΔＣ）−Ｃ１−Ｃ２）
【００８０】  表１で示したように照明光の偏光面の角度により表面の溝の検出精度の性能は異なる。一般には、この情報は事前に知ることは不可能である。そこで図１４で示した平行ニコルと直交ニコル画像を入力する処理を、偏光照明の偏光方向を９０°変化させたもう１種の対の平行・直交ニコル画像に対しても実施してもよい。この処理は本発明において必須の処理ではないが、実験では有効性が確認されている。
【００８１】  図１７Ａは、この処理につき説明しており、Ｐ偏光照明における平行・直交ニコル画像であるＬ０Ｃ０（Ｐ‖）とＬ０Ｃ９０（Ｐ⊥）の２つの画像を入力した場合の処理結果と、Ｓ偏光照明における平行・直交ニコル画像Ｌ９０Ｃ０（Ｓ‖）とＬ９０Ｃ９０（Ｓ⊥）の２つの画像を入力した場合の処理結果をそれぞれ求めて、それらを加算平均して最終結果の画像を得る。この処理によって得られる効果は、表面の溝の走行向きが入射光の偏光とほぼ平行である場合、すなわち表１におけるＬ９０の場合のコントラストが非常に悪くなってしまうという課題を、その場合の９０°直交させた対の照明であるＬ０の場合の効果により緩和する意味を有する。実験によるとこの処理により、Ｌ０とＬ９０の中間的な性能までは回復することが判明している。またそれだけではなく、上記の青色成分強調画像がやや異なる情報にて生成されて加算するため、情報量が増加し、最終的に得られる強調画像において青色成分がより多くの階調を持つようになるため、インジゴカルミン撒布画像により類似した画像が得られるという効果も有する。
【００８２】  なお、４枚の偏光画像から２対の画像処理と加算平均処理をする組み合わせとして、Ｌ０Ｃ０（Ｐ‖）とＬ９０Ｃ０、（Ｐ⊥）を用いて上述の処理を実施し、並列にＬ０Ｃ９０（Ｓ⊥）とＬ９０Ｃ９０（Ｓ‖）を用いて上述の処理を実施し、最後に加算平均をしてもよい。また、加算平均する場所を凹溝の検出処理より前段階に設定してもよい。たとえば、図１７Ｂに示すように、異なる２種の偏光照明を平均化した平行ニコル画像（‖）と、直交ニコル画像（⊥）をあらかじめ加算平均化処理により生成しておき、その対の画像を偏光画像強調１４０１に入力することによって照明の偏光面の異方性に起因する画質の差異を平均化することができる。実験によると、この処理は、凹溝の処理結果自身を平均化するよりも、最終の強調画像のノイズ低減化に対して有効であった。
【００８３】  また、表面の溝の方向性が事前に判明するような場合には、有効な照明光の偏光面を決めて照射する、あるいは、２種の直交した照射を実施した後で、凹部の検出や強調において、特定の平行・直交ニコル画像のみを利用して画像処理してもよい。例えば、表１の結果から、表面溝の走行方向に対して４５°の方向の偏光面を有する直線偏光の照射が最も有効であることがわかるので、Ｐ偏光照明における平行・直交ニコル画像であるＬ０Ｃ０（Ｐ‖）とＬ０Ｃ９０（Ｐ⊥）の２つの画像を入力した場合の処理結果と、Ｓ偏光照明における平行・直交ニコル画像Ｌ９０Ｃ０（Ｓ‖）とＬ９０Ｃ９０（Ｓ⊥）の２つの画像を入力した場合の処理結果をそれぞれ求めて、そのうち、最適な照射方向に近いほうの照射光ＰまたはＳを選択してその処理結果を溝の検出、あるいは強調画像としてよい。このような特別なケースとしては、例えば、内視鏡で大腸粘膜を観察する場合がある。人間の大腸では、大腸の表面粘膜の凹溝は大腸内部の腸管の円周方向に走行することが多く、異方性を有する。このような場合は、内視鏡医は、腸管のカラー輝度画像を見ながら、あるいはモニタ上に表示される溝の強調画像を見ながら、腸管の円周方向に対して４５度の角度に近い角度で直線偏光を照射したことになる最も効果的な処理結果の選択を実施することができる。
【００８４】（５）画像合成部の処理  画像合成部２０６は、面順次照明で取得される画像をＲ、Ｇ、Ｂ３枚分蓄積する。そして、Ｒ、Ｇ、Ｂの３枚の画像を１フレーム毎に合成してリアルタイム表示可能なフルカラー画像を合成する。更に、表面テクスチャの凹部に青色成分強調を施したフルカラー画像を、１フレーム時間ごとに遅延なく動画表示する。
【００８５】  図１８は、レファレンス被写体を用いた溝部の検出結果を示す。レファレンス被写体は、透明度がやや異なる２種類の半透明白色のアクリル製レンチキュラー板（日本特殊光学樹脂製オーパル４２２／４３２（サイズ５０×５０×２ｍｍ）を用いた。この断面は、ピッチＰ＝０.７ｍｍのカマボコ型の凹凸が１方向に繰り返し形成されている。溝の深さは、最大０．１４３ｍｍ、Ｖ字溝の傾斜は、レンチキュラー板の法線から最大角度４５°である。消化器の粘膜に近くするためレンチキュラー板の下に血管パターンを模擬した透明ＯＨＰシートを置き、最下層に完全拡散板を設置する。上から照明して撮影すると、２種のレンチキュラー板とも血管パターンは透けて見えるが表面凹凸は光が拡散して識別しづらいという実際の粘膜に似た特性を示した。
【００８６】  図１８（Ａ）（Ｂ）に、レファレンス被写体の撮影状態を示す。（Ｂ）で示すように、２種のレンチキュラー板（透明度が異なる部分１８０１、１８０２を有する。）は溝の走行向きを水平にして上下位置に隙間無く密着させてセットし、ほぼ直上から偏光リング照明で照射する。リング照明の反射像は、表面の溝によって帯状となるが被写体の角度を微調整してほぼ左半分１８０３で内部拡散反射を、ほぼ右半分１８０４で鏡面反射をするようにセットした。
【００８７】  右側の鏡面反射領域１８０４では表面溝の識別は容易であるが、左側の内部拡散反射領域１８０３では、識別が難しく、特に左下の透明度の低いレンチキュラー板１８０２ではほとんど識別できない。これに対して差分偏光撮像により検出した検出画像（Ｃ）と従来の輝度画像に対して同一の画像処理を実施して得られた検出結果（Ｄ）を比較した。差分偏光画像による結果（Ｃ）では、レンチキュラー板の透明度、および反射状態に無関係に表面溝が水平方向にほぼ均等間隔にて検出される。一方、従来の輝度画像による検出結果（Ｄ）では、下層に透けている血管パターンに影響されて検出結果にノイズが多く、溝の平行性、間隔の均等性も悪い。この結果は、半透明被写体上の凹凸の検出においては、偏光差分処理が輝度処理より有利であることを示している。
【００８８】  レファレンス物体に対して偏光照明角度を４５°ずつ替えて平行、直交ニコルの偏光画像を撮影し、ここから４種の偏光差分画像を生成してこの溝の間隔を抽出し、間隔の平均Ａｖｅ．と分散値Ｖａｒ．を求めてみると、確かに図１７Ａの処理の有効性が確認された。
【００８９】  次に死後３Ｈ経過したブタの摘出胃（以下、「ブタ胃」と称する）を使った実験を示す。Ｌ０Ｃ０（Ｐ‖）／Ｌ０Ｃ９０（Ｐ⊥）／Ｌ９０Ｃ９０（Ｓ⊥）／Ｌ９０Ｃ０（Ｓ‖）の４枚の画像を取得する。平行ニコルでは粘膜表面の鏡面反射が著しいが、直交ニコルでは、粘膜深部の色が観測される。ここからＬ０Ｃ０とＬ０Ｃ９０の偏光差分画像であるＬ０−ＤｉｆとＬ９０Ｃ９０とＬ９０Ｃ０の偏光差分画像であるＬ９０−Ｄｉｆ画像を生成し、それぞれ強調画像を生成しこの２種の強調画像を加算平均する。
【００９０】  図１９にその処理結果を示す。上段と下段はそれぞれ別の部位の部分拡大画像を示している。（Ａ）はブタ胃のカラー輝度画像であり、表面にはマクロな凹凸や「ひだ」が観察されるが、表面の微細構造は全く観察できない。（Ｂ）はブタ胃にインジゴカルミン撒布をした輝度画像、（Ｃ）が本手法による偏光画像処理を使った強調結果、（Ｄ）が単なる輝度画像処理による強調結果である。（Ｄ）の輝度画像処理では、（Ａ）で観察される表面のマクロな凹凸やひだは検出可能であるが平坦部の表面微細構造の検出は不十分である。これに対して（Ｃ）の本手法では、表面微細構造の検出が詳細までできている上、マクロな凹凸や鏡面反射のハレーション部まで良好に識別できる。（Ｂ）のインジゴカルミン撒布画像と比較した場合、表面への液体の「溜まり」現象による凹凸感は再現できないものの、逆に「溜まり」によって隠蔽されてしまう表面構造も明瞭に強調できる。
【００９１】（第２の実施形態）  図２０は、本開示の実施形態２における画像処理装置の全体構成を模式的に示す図である。本実施形態では、白色（ホワイト）光を照射して単板カラー撮像素子１１９にてカラー撮像を行う。本実施形態では、白色光を被写体に照射する際、偏光回転照明を実現する。この目的のため、本実施形態では、光源装置１０４には照明制御部のみを配置し、内視鏡の先端部に配置したＬＥＤ、あるいは有機ＥＬ面光源などで照明光を生成する。
【００９２】  本実施形態においては、例えば図２１に示すように、内視鏡の先端に偏光面が０°（Ｐ）、９０°（Ｓ）の照明光の照射口が交互に多数（ここでは１６分割で）配列されている。この例では、交互に隣接しない同種の８個のＬＥＤが選択されて点灯することによってＰ偏光とＳ偏光の交互の偏光照明が実現される。
【００９３】  図２２（Ａ）は、偏光回転照明の別の例を示している。この例では、順次点灯する照明画素単位を十分小さく、数量を多くすることにより、点灯する光源位置の変動が撮像側で１画素以内に抑制され得る。図２２（Ｂ）は、この面照明の全体構成を示す図であり、面照明のＸ軸とＹ軸の各軸に順次点灯を制御するためのデータドライバが用意されており、ＸとＹ軸でアドレスされる画素が一斉に点灯する。例えば、ここではＸ軸とＹ軸の両方が偶数の画素（Ｘ2mとＹ2ｎ）が一斉に点灯すると、それは偏光面が０°の照明光となる。そしてＸ軸とＹ軸のデータドライバの偶数、奇数の組みあわせによって、０°（Ｐ）、９０°（Ｓ）の偏光透過面を有する照明光が得られることになる。
【００９４】  このような面照明を使う利点は、全体の照度や配光状態が一定のまま照明の偏光状態だけが変化できることである。照明に面光源を使用することにより、照明光の均一性が良くなる。その結果、臓器の表面粘膜における非常に強い正反射輝度を低下させ、撮像を良好に行うことができる。
【００９５】  図２３は、本実施形態で用いるカラー偏光撮像素子１１９の断面構造の例を示す図である。図１０に示したモノクロ広帯域偏光画像撮像素子１１５と異なるのは、カラーフィルタ２４０がワイヤグリッド層２２４からＰＤ（フォトダイオード）２３２までの間に配置されることである。このカラーフィルタ２４０は、有機物から形成されても良いし、フォトニック結晶または金属から形成されてもよい。光の入射側からＰＤ２３２までの光の進行方向からみた場合、マイクロレンズ２２０、第１ワイヤグリッド層２２２、第２ワイヤグリッド層２２４、カラーフィルタ２４０の配置の取りえる順序は計６通りあり、各々でその利点が異なる。ワイヤグリッド２２４とＰＤ２３２との間の距離ＤＥＰＴＨは、カラーフィルタ２４０が入る分長くなるため、典型的には４〜６μｍである。
【００９６】  図２３の構成（最上層からマイクロレンズ２２０・第１ワイヤグリッド層２２２・第２ワイヤグリッド層２２４・カラーフィルタ２４０）では、マイクロレンズ２２０が最上層に位置するため、ワイヤグリッドに垂直に光を入射させやすい。
【００９７】  図２４は、図２３のカラー偏光撮像素子１１９の平面構造を示す図である。図２４（Ａ）はカラー単板撮像素子と同じ平面構造を示す。図２４（Ａ）の構成例では、４×４画素領域を拡大し、直上から観察して、図２４（Ｂ）のカラーモザイク構造と図２４（Ｃ）の偏光モザイク構造とが、画素ごとに重なった状態にある。
【００９８】  図２４（Ｂ）は、カラーモザイクフィルタの１例を示しているが、本開示の実施形態で使用され得るカラーモザイクフィルタは、この例に限定されない。ベイヤーモザイク以外の他のモザイク構造でも構わない。この例では、カラーモザイクに含まれる１色のフィルタが、２行２列に配置された４個の画素（４個のフォトダイオード）の領域をカバーする。２×２画素領域は、図２４（Ｃ）の４種類の偏光モザイク領域に相当する。すなわち、サブ画素を基準にすると、イメージセンサの解像度は本来の画素の１／２×１／２となって画素数は低下するが、１画素内で偏光処理をすることにより偏光処理の結果発生するアーティファクトを低減させることができる。
【００９９】  次に図２５を参照して、本実施形態における通常撮像モードの動作を説明する。被写体には、Ｗｈｉｔｅ（白色）のＰ偏光とＷｈｉｔｅ（白色）のＳ偏光とが交互に照射され、その都度、偏光カラーモザイク画像が取得される。Ｐ偏光の照射時には、偏光モザイク２５０２によって偏光画素パターン２５０３が、Ｓ偏光の照射時には、偏光画素パターン２５０４が取得される。ここで、Ｐ‖およびＰ⊥は、それぞれ、Ｐ偏光の照射時における平行ニコル状態および直交ニコル状態の画素を示している。同様に、Ｓ‖およびＳ⊥は、それぞれ、Ｓ偏光照射時における平行ニコル状態および直交ニコル状態の画素を示す。偏光モザイク処理部２０２では、この偏光画素パターン２５０３と偏光画素パターン２５０４の画像を画素毎に加算平均を実行する。偏光画素パターン２５０３と偏光画素パターン２５０４において、各カラー画素での加算平均処理を行うと、平行ニコル状態の画素値と直交ニコル状態の画素値とが以下のように均等に混合される。（ＮＰ）＝（Ｐ‖＋Ｐ⊥＋Ｓ‖＋Ｓ⊥）／４
【０１００】  加算平均の結果、元々の解像度からは１／２×１／２に低下した非偏光（ＮＰ）のカラーモザイク画像２５０５が得られる。この非偏光カラーモザイク画像２５０５からフルカラー画像を生成する処理は、通常のカラーモザイク補間によって行われ得る。
【０１０１】  図２６は、以上の動作を示すタイミングチャートである。図２６の上段から照明の発光動作、撮像動作、そして偏光モザイク処理部２０２において処理されるカラー成分画像を示している。このタイミングの動作は、同期回路１１２が制御する。Ｐ偏光とＳ偏光の交互照射のタイミングでそれぞれに対応する偏光画素パターン２５０３、２５０４が撮像される。偏光モザイク処理部２０２では、図２５に示された偏光画素パターン２５０３、２５０４の加算平均処理を実行して非偏光カラーモザイク画像２５０５が得られる。次に、カラーモザイク補間処理にて、ＲＧＢフルカラー画像を得る。したがって、Ｐ偏光照明とＳ偏光照明とが照射されて１枚のＲＧＢフルカラー画像を得ることが可能になる。実際には、図２６に示すように、時間的に隣接するＰ偏光照明およびＳ偏光照明の処理を連続することによって１フレーム時間毎に画像が遅延なく動画として生成される。
【０１０２】  なお、このモードでは、照明のＰ偏光とＳ偏光の照射は交互である必要はなく同時でも構わない。その場合でも同じカラーモザイク補間処理を使ってＲＧＢフルカラー画像を得ることができる。
【０１０３】  図２７は、本実施形態における偏光撮像モードの動作を説明するための図である。偏光撮像モードでは、Ｐ偏光とＳ偏光が交互に被写体に照射され、その都度、偏光のカラーモザイク画像が取得される。ここで得られる偏光画素パターン２５０３、２５０４は、図２５の偏光画素パターン２５０３、２５０４と同一である。偏光モザイク処理部２０２では、画素パターン２５０３、２５０４の両方を使って、該当する画素ごとに、Ｐ‖とＳ‖、およびＰ⊥とＳ⊥を選択・集積処理し、取得できない画素は周囲から補間することによって、Ｐ偏光照明での平行ニコル画像２７０１と直交ニコル画像２７０２と、Ｓ偏光照明での平行ニコル画像２７０３と直交ニコル画像２７０４の計４種類の偏光画像を分離して生成する。なお図２７において★は補間される画素を示している。
【０１０４】  この処理の結果得られる４種類の偏光画像は、凹領域検出部２０４および画像合成部２０６で第１の実施形態について図１４と図１７Ａで説明した処理と同様の処理が行われる。
【０１０５】  図２８は、以上の動作を示すタイミングチャートである。図２８は、上段から照明の発光動作、撮像動作、そして偏光モザイク処理部２０２、カラーモザイク補間部２０８、凹領域検出部２０４、画像合成部２０６において処理されるカラー画像を示している。照明と撮像の動作までは、図２６の通常撮像モードのタイミングチャートと同一である。偏光モザイク処理部２０２での動作では、Ｐ偏光照明とＳ偏光照明の撮像画像をフレームごとに用いてＰ偏光での平行ニコル画像２７０１と直交ニコル画像２７０２および、Ｓ偏光での平行ニコル画像２７０３と直交ニコル画像２７０４を生成する。すなわち、フレームごとに同時に４種の偏光画素パターン２７０１、２７０２，２７０３，２７０４が生成され、第１の実施形態に図１４と図１７Ａを参照しながら説明したように、凹領域検出部２０４と画像合成部２０６において表面テクスチャの凹部で青色成分強調を施したフルカラー画像として毎フレームごとに表示部１１４で動画表示される。
【０１０６】（第２の実施形態の変形例１）  図２９は、本開示の実施形態２の変形例１を示す図である。図２９（Ａ）は、図２３に示された第２の実施形態におけるカラー偏光撮像素子１１９の平面構造を示す図である。図２９（Ａ）は、カラー単板撮像素子と同じ平面構造を示している。図２９（Ｂ）は、カラーモザイクにおける４×４個のカラーフィルタの配置例を示し、図２９（Ｃ）は、偏光モザイクにおける８個の偏光子の配置例を示している。これらのカラーモザイクおよび偏光モザイクは、４×４個の画素（ＰＤ：フォトダイオード）をカバーするように積層されている。
【０１０７】  本実施形態では、カラーモザイクの２色のカラーフィルタと１個の長方形の偏光子とが対応している他の構成は、第２の実施形態の構成と変わらない。
【０１０８】  図２９（Ｃ）における角度表示の０°の偏光子が位置する画素が、Ｐ偏光の透過画素であり、９０°の偏光子が位置する画素がＳ偏光の透過画素である。０°の偏光子と９０°の偏光子とが市松配列を形成していない。すなわち、撮像面内において垂直方向または水平方向に隣接する２個の画素に同一の偏光が入射するように偏光モザイクが構成されている。これは、ＲＧＢ画素のうち２画素を占めるＧ画素に必ず０°の偏光子と９０°の偏光子が割り当てられるようにするためである。このような構成によれば、０°の偏光子が、ＲＧの２画素とＢＧの２画素に割り当てられ、９０°の偏光子がＧＢの２画素とＧＲの２画素に割り当てられている。
【０１０９】  図３０は、本実施形態における通常撮像モードの動作を示す図である。通常撮像モードでは、Ｗｈｉｔｅ（白色）のＰ偏光とＳ偏光とが交互に照射され、その都度画像が取得され、偏光のカラーモザイク画像が取得される。偏光モザイクが３００１のような配列であるため、Ｐ偏光の照射時には、３００２で示す偏光画素パターンが、Ｓ偏光の照射時には３００３で示す偏光画素パターンが取得される。ここで、Ｐ‖、Ｐ⊥はＰ偏光照射時における平行ニコル状態とは直交ニコル状態の画素を示し、同様に、Ｓ‖、Ｓ⊥はＳ偏光照射時における平行ニコル状態とは直交ニコル状態の画素を示す。偏光モザイク処理部２０２では、この偏光画素パターン３００２、３００３を画素毎に加算平均をする。加算平均処理は、平行ニコルと直交ニコル状態の画素が以下のように均等に混合されると考えられる。（ＮＰ）＝（Ｐ⊥＋Ｓ‖）／２（ＮＰ）＝（Ｐ‖＋Ｓ⊥）／２
【０１１０】  加算平均の結果、非偏光のカラーモザイク画像３００４が得られる。この際に第２の実施形態にあったような解像度の低下がない。この非偏光カラーモザイク画像３００４からフルカラー画像を生成する処理は、通常のカラーモザイク補間によって行われ得る。
【０１１１】  図３１は、本実施形態における偏光撮像モードの動作を説明する図である。偏光照明はＰ偏光とＳ偏光が交互照射され、その都度画像が取得され、偏光画像パターン３１０２、３１０３が取得される。偏光モザイク処理部２０２では、この偏光画素パターン３１０２、３１０３を両方使って、該当する画素ごとに、Ｐ‖とＳ‖、およびＰ⊥とＳ⊥を収集し埋め込み処理と画素補間をする。こうすることによって、Ｐ偏光照明での平行ニコル画像３１０４と直交ニコル画像３１０５、およびＳ偏光照明での平行ニコル画像３１０６と直交ニコル画像３１０７とを分離生成する。この処理の結果得られる偏光画像は、カラーモザイク画像であり、カラーモザイク補間が実行され４種類のフルカラーの偏光画像が生成される。この直交ニコル画像は、凹領域検出部２０４、画像合成部２０６において第１の実施形態について説明した処理と同様の処理が行われる。なお、この実施形態に関するタイミングチャートは、第２の実施形態に関するタイミングチャートと同様である。
【０１１２】（第２の実施形態の変形例２）  図３２は、本開示の実施形態２の変形例２を示す図である。図３２（Ａ）は、図２３のカラー偏光撮像素子１１９の平面構造を示す図である。図３２（Ｂ）は、カラーモザイクにおける４×４個のカラーフィルタの配置例を示し、図３２（Ｃ）は、偏光モザイクにおける４個の偏光子の配置例を示している。これらのカラーモザイクおよび偏光モザイクは、４×４個の画素（ＰＤ：フォトダイオード）をカバーするように積層されている。
【０１１３】  本実施形態では、カラーベイヤ・モザイクの１単位の４画素と偏光モザイクの１単位とが対応している。他の構成は、第２の実施形態と変わらない。図３２（Ｃ）における角度表示の０°の偏光子が位置する画素がＰ偏光の透過画素であり、９０°の偏光子が位置する画素がＳ偏光の透過画素である。偏光モザイクの０°の偏光子と９０°の偏光子とは市松配列を形成している。各々に同一のカラーベイヤ・モザイクが包含される配列としている。
【０１１４】  図３３は、本実施形態における通常撮像モードの動作を示す図である。通常撮像モードでは、Ｗｈｉｔｅ（白色）のＰ偏光とＳ偏光とが交互に照射され、その都度、画像が取得され、偏光のカラーモザイク画像が取得される。偏光モザイクが配列３３０１を有するため、Ｐ偏光の照射時には、偏光画素パターン３３０２が、Ｓ偏光の照射時には偏光画素パターン３３０３が取得される。ここで、Ｐ‖、Ｐ⊥、Ｓ‖、Ｓ⊥は既出の意味を持つ。偏光モザイク処理部２０２では、この偏光画素パターン３３０２、３３０３を有する画像について、画素毎に加算平均を実行する。加算平均処理では、平行ニコルと直交ニコル状態の画素が混合される（式６）。
【０１１５】  加算平均の結果、非偏光のカラーモザイク画像３３０４が得られる。この際に第２の実施形態にあったような解像度の低下がない点が特徴である。この非偏光カラーモザイク画像からフルカラー画像を生成する処理は、通常のカラーモザイク補間によって行われ得る。
【０１１６】  図３４は、本実施形態における偏光撮像モードの動作を説明する図である。偏光照明はＰ偏光とＳ偏光が交互照射され、その都度画像が取得され、偏光画素パターン３４０２、３４０３が取得される。
【０１１７】  偏光モザイク処理部２０２では、偏光画素パターン３４０２、３４０３を両方使って、該当する画素ごとに、Ｐ‖とＳ‖、およびＰ⊥とＳ⊥を収集し、埋め込み処理と★で示される部分を周囲から画素補間をする。こうすることによって、Ｐ偏光照明での平行ニコル画像３４０４と直交ニコル画像３４０５、およびＳ偏光照明での平行ニコル画像３４０６と直交ニコル画像３４０７とを分離生成する。
【０１１８】  この処理の結果得られるカラーモザイク画像に対して、カラーモザイク補間が実行され４種類のフルカラーの偏光画像が生成される。この３種類の平行・直交ニコル画像は、凹領域検出部２０４、画像合成部２０６において第１の実施形態について説明した処理と同様の処理が行われる。なお、この実施形態に関するタイミングチャートは第２の実施形態のタイミングチャートと同様である。
【０１１９】（第２の実施形態の変形例３）  図３５から図３９は、本開示の第２の実施形態の変形例３を示す図である。本変形例は図２０で示す第２の実施形態と基本構成は変わらない。ただし、直線偏光照明の照射角度と、受光側の偏光撮像素子の偏光モザイクにおける透過面が異なり、本実施形態では、被写体表面に存在するランダムな方向分布を有する溝の群に対し、溝の特定の方向を重視することなく平均的に検出、強調するため、照射する偏光照明の角度の種類を直交させずに、４５度の角度を持たせている。
【０１２０】  図３５（Ａ）と（Ｂ）は、本実施形態１および２において使用した、偏光照明光と偏光撮像の透過方向の関係を示している。まず図３５（Ａ）において、３５５０は、この撮像に用いる照明の偏光方向と受光側の偏光方向の条件を示し、長方形３５０１から３５０４は、それぞれ、０°、４５°、９０°、１３５°の方向に走行する表面の溝を表現している。このとき、Ｌ０（Ｐ偏光）に対してそれぞれ、Ｃ０とＣ９０の偏光透過角度で撮像するＬ０Ｃ０（Ｐ‖）画像、およびＬ０Ｃ９０（Ｐ⊥）画像の２種が得られ、ここから偏光差分画像を生成する。表１に示したように、偏光差分画像を生成すると、溝のコントラストは、照明の偏光に対して４５°と１３５°の方向である溝３５０２と３５０４が最大となり、次に照明の偏光に平行な０°の方向の３５０１が高くなり、照明の方向に垂直な３５０３が最も低くなる。図では、この溝のコントラスト比の高低を、高い順に格子縞、斜線、白抜きの順序で示している。また３５０５の十字矢印はコントラスト比が最大となる方向、いいかえると重視される溝の方向を示している。
【０１２１】  次に、図３５（Ｂ）において条件３５５１、すなわち、Ｌ９０（Ｓ偏光）に対して、Ｃ９０とＣ０の偏光透過角度で撮像するＬ９０Ｃ９０（Ｓ‖）画像、およびＬ９０Ｃ０（Ｓ⊥）画像が得られる。表１に示したように、偏光差分画像を生成するとコントラストは、照明の偏光に対して４５°と１３５°の方向である溝３５０２と３５０４がもっとも高くなり、次に照明の偏光に平行な０°の方向の溝３５０６が高くなり、照明の方向に垂直な溝３５０７が最も低くなる。そこで、本開示の第１の実施形態で記載したように以上の２種の偏光照明での結果を加算平均すると、４５°と１３５°の方向の溝３５０２と３５０４では同程度のコントラストで、０°と９０°の方向の溝ではコントラスト順序が（Ａ）と（Ｂ）で入れ替わるために、トータル性能では、コントラストが最低となる方向の溝の方向が分散され、ランダム方向分布の溝を良好に検出、強調することができる。
【０１２２】  しかしながら、図３５（Ａ）（Ｂ）の結果を見れば明らかなように、重視される溝の方向は十字矢印３５０５のまま変らないため、４方向の溝のうち、最高の検出性能は、３５０２と３５０４に固定されており、これは４５°と１３５°の溝が、０°および９０°の溝に比較して重要視されていることになる。すなわちランダムな方向性を有する表面の溝が完全に同等に扱われてはいなかった。
【０１２３】  この解決方法として、図３５（Ｃ）（Ｄ）のように、照明の偏光光をＬ０とＬ４５に変化させ、それぞれの照明に対して直交と平行ニコルでの偏光撮像をする。この場合、条件３５５０のＬ０において状況は変わらないが、条件３５５２において、４５°の偏光照明であるＬ４５をＴ偏光と称することとすると、Ｌ４５Ｃ４５、（Ｔ‖）画像、Ｌ４５Ｃ１３５（Ｔ⊥）画像を生成し、偏光差分をとることになる。この場合、最高コントラストとなる溝の向きは、照明光に４５度の角度がついた０°と９０°の溝３５０８と３５１０となり、以下、照明と平行となる４５°方向の溝３５０９、そして最低コントラストが照明と直交する１３５°の溝３５１１となる。すなわち重視される溝方向を示す十字矢印は、３５２０のように変化する。そこで図３５（Ｃ）（Ｄ）の結果を加算平均すると、４方向の溝について最高コントラストとなる溝が、図３５（Ｃ）のＬ０では、４５°と１３５°すなわち３５０２と３５０４であり、図３５（Ｄ）のＬ４５では０°と９０°、すなわち溝３５０８と溝３５１０となる。結果的に、４方向の溝が均等に高いコントラストを得ることになり、ランダムな方向分布を有する溝に対しても特定方向が重視されず、均等に評価されるという利点がある。
【０１２４】  図３６は、図２１に対応する。ここでは内視鏡の先端に偏光面が０°、４５°、９０°という３種類の照明光の照射口が交互に多数（ここでは１８分割で）配列され、２個おきに実装された同種の偏光板を有する６個の照明要素が選択されて点灯することによって上記の３種の偏光照明が空間的に均等に被写体に照射される。照明要素の個数は１８個に限定されないが、混合して非偏光を生成可能であることと４５°の間隔で２種の直線偏光を照射できることが条件となる。
【０１２５】  図３７は、本比較例におけるカラー偏光撮像素子１１９の平面構造を示す図であり、図２０における図２４に対応する。図３７（Ａ）はカラー単板撮像素子と同じ平面構造を示す。図２４と異なるのは、偏光モザイク構造が、０°、４５°、９０°、１３５°という４種類で構成されることだけである。
【０１２６】  図３８は、本比較例における通常撮像モードの動作説明図である。被写体には、偏光照明３６０１の０°（Ｐ）と９０°（Ｓ）の照明要素が同時点灯・照射され、その都度、偏光カラーモザイク画像が取得される。２種類の直交する直線偏光が点灯されるため、照射光は非偏光３８０１となり、これが３７０２の４種類の各色画素内の４種類の偏光モザイクの出力を加算平均することによって、元々の解像度からは１／２×１／２に低下した非偏光（ＮＰ）のカラーモザイク画像３８０５が得られる。この非偏光カラーモザイク画像３８０５からフルカラー画像３８０６を生成する処理は、通常のカラーモザイク補間によって行われ得る。
【０１２７】  図３９は、本比較例における偏光撮像モードの動作を説明するための図である。偏光撮像モードでは、Ｌ０（Ｐ偏光）とＬ４５（Ｔ偏光）が交互に被写体に照射され、その都度、偏光のカラーモザイク画素パターン３９０３、３９０４が得られる。偏光モザイク処理部２０２では、画素パターン３９０３、３９０４の両方を使って、該当する画素ごとに、Ｐ‖とＰ⊥、およびＴ‖とＴ⊥を選択・集積処理し、取得できない画素は周囲から補間することによって、Ｐ偏光照明での平行ニコル画像３９０５と直交ニコル画像３９０６と、Ｔ偏光照明での平行ニコル画像３９０７と直交ニコル画像３９０８の計４種類の偏光画像を分離して生成する。なお図３９において★は補間される画素を示している。
【０１２８】  この処理の結果得られる４種類の偏光画像は、凹領域検出部２０４および画像合成部２０６により、第１の実施形態について図１４と図１７Ａを参照して説明した処理と同様の処理が行われる。
【０１２９】（第２の実施形態の変形例４）  図４０から図４３は、本発明の第２の実施形態の変形例４に関するものである。本変形例の基本構成は、図２０で示す第２の実施形態の基本構成と変わらない。ただし、照明として直線偏光ではなく円偏光を用いており、そのため偏光照明と偏光撮像部の両方にλ／４板が設けられている。照明光として円偏光を用いることにより、被写体表面においてランダムな方向分布を有する溝を平均的に検出することができる。
【０１３０】  図４０は、本変形例で使用される内視鏡先端部の構成例を示す図であり、第２の実施形態における図２１に対応する。内視鏡の先端部には、図４０に示されるように、被写体側からλ／４板４０１、偏光レンズ１０７、およびＬＥＤ光源がこの順序に積層配置されている。ＬＥＤ光源では、出射する直線偏光光の偏光面が０°のＬＥＤ素子と９０°のＬＥＤ素子とが交互に円周状に配列されている。ＬＥＤ素子の個数は例えば１８個である。λ／４板４０１は、その光学軸がＬＥＤ素子から出射された光の偏光面に対して４５°傾斜するように配置される。図４０において、ＦおよびＳの記号は、それぞれ、λ／４板４０１の進相（Ｆａｓｔ）軸および遅相（Ｓｌｏｗ）軸を示している。
【０１３１】  偏光面が０°のＬＥＤ素子のアレイと９０°のＬＥＤ素子のアレイとを交互に選択して点灯することにより、右回りおよび左回りの円偏光照明で時間的に交互に、かつ、空間的には略均等に被写体を照射することができる。
【０１３２】  次に、図４１を参照して、ＬＥＤ素子から出射された直線偏光光の偏光面の方向、λ／４板のＦ（進相）軸およびＳ（遅相）軸の方向、ならび、円偏光の回転向きの関係を説明する。
【０１３３】  円偏光の回転の向きは、図４１（Ａ）に示すように、光の進行する向き側から見て定義する。図４１（Ｂ）に示すように、斜め４５°に配置されたλ／４板のＦ軸とＳ軸との間に０°の偏光面を持つ直線偏光光が入射すると右廻りの円偏光が得られる。一方、図４１（Ｃ）に示すように、斜め４５°に配置されたλ／４板のＦ軸とＳ軸との間に９０°の偏光面を持つ直線偏光光が入射すると、左廻りの円偏光が得られる。
【０１３４】  図４２は、本実施形態の変形例で用いるカラー偏光撮像素子１１９の断面構造の例を示す図である。図２３の構成と異なる点は、λ／４板４２０１がワイヤグリッド層２２２、２２４より上面側に配置されることだけである。
【０１３５】  図４３は、カラー偏光撮像素子１１９の平面構造を示す図であり、図２４に対応する。図２４の構成と異なる点は、Ｆ軸およびＳ軸を有するλ／４板４２０１が、ワイヤグリッド偏光板の全体を覆うように配置されていることである。Ｆ軸およびＳ軸が適切な方位を向くように配置されたλ／４板４２０１に円偏光の光が入射すると、所定の方向に偏光した直線偏光に変換されてλ／４板４２０１を透過することができる。λ／４板４２０１は、ワイヤグリッド偏光子アレイに入射する直線偏光光の偏光面の方位が０°および９０°になるように、Ｆ軸を１３５°、Ｓ軸を４５°に向けて配置され得る。
【０１３６】  図４４は、臓器粘膜表面の断面を本変形例のためにモデル化して表現した図である。この例では、図４１（Ｂ）に示す０°の方向に偏光した直線偏光光がλ／４板を透過して形成された右廻り円偏光照明光が被写体に照射されたとする。滑らかで半透明の粘膜表面からの反射光は表面のハレーション［ＳＲ］である。図４２のカメラ座標によると、ハレーション［ＳＲ］は、浅い部位の粘膜層からの反射光「ＳＲ１」とともに、左廻りの円偏光４２０２として戻ってくる。このため、撮像系のλ／４板を透過すると、９０°の直線偏光光となり、０°方向のワイヤグリッド偏光子にて遮断される。すなわち、被写体表層からの戻り光は、照明系のλ／４板に入射する直線偏光光の偏光面と同じ方位の偏光面を有する偏光子によって遮断される。一方、ハレーション［ＳＲ］および浅い部位の粘膜層からの反射光「ＳＲ１」は、照明系のλ／４板に入射する直線偏光光の偏光面に対して直交する方位の偏光面を有する偏光子を透過することができる。
【０１３７】  なお、被写体の深い部位の粘膜層からの戻り光（ＤＲ）は、粘膜深部において円偏光が解消されて非偏光となる。非偏光が被写体表面の溝から出射する際に溝に直交する方向に直線偏光となる。この場合、溝の向きに依存して２種類のケースが発生する。
【０１３８】  図４５は、この偏光の2種類のケースを説明する図である。
【０１３９】  第１のケース）表面溝が０°および９０°の方位に延びている場合、溝における直線偏光の戻り光の偏光面の方位は、Ｆ軸とＳ軸のほぼ中間位置である。このため、λ／４板４２０１によって円偏光４５０１、４５０２に変化し、撮像素子側において偏光面が０°および９０°の方位の偏光子を透過することになる。その結果、撮像素子側においては、０°でも９０°でも観測される輝度は、溝で出射した偏光成分の１／２となり、透過光量は等しくなる。
【０１４０】  第２のケース）表面溝が４５°および１３５°の方位に延びている場合、溝において出射する直線偏光の偏光面は、Ｆ軸（１３５°）およびＳ軸（４５°）の向きにある。この場合には、λ／４板４２０１の影響を受けずに直線偏光のまま撮像素子側の０°および９０°の偏光板を透過する。その結果、透過光量はいずれも１／２となる。このため、以上、第1、第２のケースとも、撮像素子側において、０°と９０°でそれぞれの偏光観測値の差分処理を実施すると、溝領域では、値が理想的には０（黒）となり、平坦部に比較して粘膜浅部の凹凸に起因する微細構造のコントラストが向上する。
【０１４１】（第２の実施形態の変形例５）  第２の実施形態の変形例４では、右廻りおよび左廻りの円偏光照明光を被写体に順次照射しているが、常に２種類の円偏光照明光を被写体に照射する必要はない。本変形例では、図４０の偏光板を０°のみ、または９０°のみとして順次点灯を省略し、右廻りまたは左廻り固定の円偏光の一方のみを照射する。
【０１４２】  図４６は、本変形例で使用し得る光源の構成例を示す図である。ＬＥＤ光源は分割光源である必要がない。このため、１回の撮像に用いる照明光の照度を変形例４に比較して２倍に向上できる。また、照明光の偏光を替えて２回撮像する必要がないため、撮像に要する時間を半分にすることができる。
【０１４３】  変形例５の撮像素子側の構成は変形例４の撮像素子側の構成と同一で良い。変形例４について説明したように、偏光差分処理により、粘膜の浅部に存在する微細構造のコントラストを向上することができる。
【０１４４】  また、光源素子としてＬＥＤ素子を使用する必要もない。このため、従来のライトガイドを使った非偏光照明を内視鏡先端部にて、円偏光に変換してもよい。
【０１４５】  実施形態１と同様に、面順次照射形の内視鏡においても、図４６で示すように照明の照射口に偏光板とλ／４板を配置すればＲ,Ｇ,Ｂの円偏光照明を作ることができ、変形例５の効果を得ることが可能になる。
【０１４６】  上述の実施形態における照明部は、非偏光撮像モードにおいて、非偏光照明光で前記被写体を照射する照明部であって、前記第１の照明光の波長域が前記第２の照明光の波長域に重複しない部分を有するように前記第１および第２の照明光を順次出射するが、本開示における照明部は、このような非偏光撮像モードで動作する必要は無い。また、上述の実施形態における偏光モザイク処理部は、非偏光撮像モードにおいて、非偏光照明光で被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得ることができるが、本開示の偏光モザイク処理部は、このような非偏光撮像モードで撮像される非偏光画像を得る必要は無い。
【産業上の利用可能性】
【０１４７】  本開示の実施形態は、消化器内科向け医療用内視鏡、皮膚科、歯科、眼科、外科などのメディカル用途のカメラ、工業用内視鏡、指紋撮像装置、さらに工場などにおける表面検査装置など被写体の表面凹凸の観察、検査、認識を必要とする画像処理分野に広く適用可能である。本開示の実施形態によれば、なめらかな透明物体または半透明物体の表面の凹凸を正しく検出でき、人間に判別しやすい形での強調表示をすることができる。このため、本開示の実施形態は、輝度観察では困難な凹凸の検査に最適である。【０１４８】  また、本開示の画像処理装置は、デジタルカメラやビデオカメラ、監視カメラなどに適用でき、水面や空撮影におけるコントラスト向上やガラス越しの撮影等に広く利用可能である。
【符号の説明】
【０１４９】１０１    内視鏡１０２    制御装置１０３    挿入部１０４    光源装置１０５    ライトガイド１０６    先端部１０７    照明レンズ１０８    映像信号線１０９    対物レンズ１１０    画像プロセッサ１１１    内臓粘膜表面（凹凸あり）１１２    同期装置１１３    反射光１１４    表示部１１５    モノクロ広帯域偏光撮像素子１１６    カラーホイール１１７    偏光または非偏光照明光１１８    光源１１９    カラー偏光撮像素子１２０    照明回転制御部２００    照明用フィルタ２０２    偏光モザイク処理部２０４    凹領域検出部２０６    画像合成部２０８    カラーモザイク補間部２１０    画素選択再集積部２２０    マイクロレンズ２２２    第１ワイヤグリッド層２２４    第２ワイヤグリッド層２２６    平坦化層２２８    平坦化層２３０    配線２３２    ＰＤ（フォトダイオード）２４０    カラーフィルタ
【図１】
0005799264.tif 000004
【図２】
0005799264.tif 000005
【図３】
0005799264.tif 000006
【図４】
0005799264.tif 000007
【図５】
0005799264.tif 000008
【図６】
0005799264.tif 000009
【図７】
0005799264.tif 000010
【図８】
0005799264.tif 000011
【図９】
0005799264.tif 000012
【図１０】
0005799264.tif 000013
【図１１Ａ】
0005799264.tif 000014
【図１１Ｂ】
0005799264.tif 000015
【図１２】
0005799264.tif 000016
【図１３】
0005799264.tif 000017
【図１４】
0005799264.tif 000018
【図１５】
0005799264.tif 000019
【図１６】
0005799264.tif 000020
【図１７Ａ】
0005799264.tif 000021
【図１７Ｂ】
0005799264.tif 000022
【図１８】
0005799264.tif 000023
【図１９】
0005799264.tif 000024
【図２０】
0005799264.tif 000025
【図２１】
0005799264.tif 000026
【図２２】
0005799264.tif 000027
【図２３】
0005799264.tif 000028
【図２４】
0005799264.tif 000029
【図２５】
0005799264.tif 000030
【図２６】
0005799264.tif 000031
【図２７】
0005799264.tif 000032
【図２８】
0005799264.tif 000033
【図２９】
0005799264.tif 000034
【図３０】
0005799264.tif 000035
【図３１】
0005799264.tif 000036
【図３２】
0005799264.tif 000037
【図３３】
0005799264.tif 000038
【図３４】
0005799264.tif 000039
【図３５】
0005799264.tif 000040
【図３６】
0005799264.tif 000041
【図３７】
0005799264.tif 000042
【図３８】
0005799264.tif 000043
【図３９】
0005799264.tif 000044
【図４０】
0005799264.tif 000045
【図４１】
0005799264.tif 000046
【図４２】
0005799264.tif 000047
【図４３】
0005799264.tif 000048
【図４４】
0005799264.tif 000049
【図４５】
0005799264.tif 000050
【図４６】
0005799264.tif 000051