(57)【要約】  内視鏡装置１は、第１の光、第２の光及び第３の光を含む複数の照明光を照射する照明部３と、被検体からの戻り光を撮像する撮像部１０）と、第１〜第３の光の照射によって撮像された第１〜第３の画像に基づいて、表示画像を生成する画像処理部１７を含む。第１の光のβカロテンの吸光度と第２の光のβカロテンの吸光度の差を第１吸光度差とし、第１の光のメトミオグロビンの吸光度と第２の光のメトミオグロビンの吸光度の差を第２吸光度差とした場合において、第１吸光度差は第２吸光度差に比べて大きい。また第３の光のピーク波長は、第１の光のピーク波長及び第２の光のピーク波長と異なる。
2020008528.tif 000002
【特許請求の範囲】
【請求項１】
第１の光、第２の光及び第３の光を含む複数の照明光を照射する照明部と、
前記照明部の照射に基づく被検体からの戻り光を撮像する撮像部と、
前記第１の光の照射によって撮像された第１の画像、前記第２の光の照射によって撮像された第２の画像、及び前記第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成する画像処理部と、
を含み、
前記第１の光のピーク波長におけるβカロテンの吸光度と、前記第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、
前記第１の光のピーク波長におけるメトミオグロビンの吸光度と、前記第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、
前記第１吸光度差は前記第２吸光度差に比べて大きく、
前記第３の光のピーク波長は、前記第１の光のピーク波長及び前記第２の光のピーク波長と異なることを特徴とする内視鏡装置。
【請求項２】
請求項１において、
前記第１の光のピーク波長におけるミオグロビンの吸光度と、前記第２の光のピーク波長におけるミオグロビンの吸光度の差を第３吸光度差とした場合において、
前記第１吸光度差は前記第３吸光度差に比べて大きいことを特徴とする内視鏡装置。
【請求項３】
請求項１において、
前記第１の光は、４８０ｎｍ±１０ｎｍの範囲にピーク波長を有する狭帯域光であり、
前記第２の光は、５２０ｎｍ±１０ｎｍの範囲にピーク波長を有する狭帯域光であることを特徴とする内視鏡装置。
【請求項４】
請求項３において、
前記第３の光は、緑色の波長帯域にピーク波長を有する光、又は赤色の波長帯域にピーク波長を有する光であることを特徴とする内視鏡装置。
【請求項５】
請求項４において、
前記照明部は、
前記第３の光が前記緑色の波長帯域にピーク波長を有する光である場合、前記赤色の波長帯域にピーク波長を有する光を第４の光として照射し、
前記第３の光が前記赤色の波長帯域にピーク波長を有する光である場合、前記緑色の波長帯域にピーク波長を有する光を第４の光として照射することを特徴とする内視鏡装置。
【請求項６】
請求項４において、
前記緑色の波長帯域にピーク波長を有する光は、５２５ｎｍ〜５７５ｎｍの波長帯域に対応する光、又は、５４０〜５９０ｎｍの波長帯域に対応する光であり、
前記赤色の波長帯域にピーク波長を有する光は、６００ｎｍ〜６５０ｎｍの波長帯域に対応する光であることを特徴とする内視鏡装置。
【請求項７】
請求項１において、
前記画像処理部は、
前記第１の画像と前記第２の画像の相関に基づいて、強調量を算出する強調量算出部と、
前記強調量に基づいて前記表示画像に対して強調処理を行う強調処理部と、
を含むことを特徴とする内視鏡装置。
【請求項８】
請求項７において、
前記強調量算出部は、
前記第１の画像の信号値と前記第２の画像の信号値の比率又は差分に基づいて、前記強調量を算出することを特徴とする内視鏡装置。
【請求項９】
請求項７において、
前記強調処理部は、
前記強調量に基づいて、前記表示画像に対して色変換処理を行うことを特徴とする内視鏡装置。
【請求項１０】
第１の光、第２の光及び第３の光を含む複数の照明光を照射し、
前記複数の照明光の照射に基づく被検体からの戻り光を撮像し、
前記第１の光の照射によって撮像された第１の画像、前記第２の光の照射によって撮像された第２の画像、及び前記第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成し、
前記第１の光のピーク波長におけるβカロテンの吸光度と、前記第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、
前記第１の光のピーク波長におけるメトミオグロビンの吸光度と、前記第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、
前記第１吸光度差は前記第２吸光度差に比べて大きく、
前記第３の光のピーク波長は、前記第１の光のピーク波長及び前記第２の光のピーク波長と異なることを特徴とする内視鏡装置の作動方法。
【請求項１１】
第１の光、第２の光及び第３の光を含む複数の照明光を照明部に照射させ、
前記照明部の照射に基づく被検体からの戻り光を撮像し、
前記第１の光の照射によって撮像された第１の画像、前記第２の光の照射によって撮像された第２の画像、及び前記第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成する、
ステップをコンピュータに実行させ、
前記第１の光のピーク波長におけるβカロテンの吸光度と、前記第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、
前記第１の光のピーク波長におけるメトミオグロビンの吸光度と、前記第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、
前記第１吸光度差は前記第２吸光度差に比べて大きく、
前記第３の光のピーク波長は、前記第１の光のピーク波長及び前記第２の光のピーク波長と異なることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡装置、内視鏡装置の作動方法及びプログラム等に関する。
【背景技術】
【０００２】
内視鏡装置を用いて、経尿道的に膀胱腫瘍を切除する手技（経尿道的膀胱腫瘍切除術：ＴＵＲ−Ｂｔ）が広く知られている。ＴＵＲ−Ｂｔでは、膀胱内に灌流液を満たした状態で腫瘍の切除が行われる。灌流液の影響によって、膀胱壁は薄く引き伸ばされた状態となる。この状態で手技が行われるため、ＴＵＲ−Ｂｔでは穿孔のリスクが伴う。【０００３】
膀胱壁は、内側から粘膜層、筋層、脂肪層の３層で構成されている。そのため、各層の識別が容易となる形態を用いて表示を行うことによって、穿孔を抑制することが可能と考えられる。【０００４】
内視鏡装置を用いた生体内の観察及び処置においては、画像処理によって特定の被写体を強調する手法が広く知られている。例えば特許文献１は、特定の波長帯域の光の照射によって撮像される画像信号に基づいて、特定の深さにある血管の情報を強調する手法を開示している。また特許文献２は、βカロテンの吸光特性を考慮した複数の波長帯域の照明光を照射することによって、脂肪層を強調する手法を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−６７７７５号公報
【特許文献２】国際公開第２０１３／０５２２３２号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＴＵＲ−Ｂｔでは電気メスを用いて腫瘍を切除する。そのため、腫瘍周辺の組織が熱変性を生じて色が変化する。例えば、筋層が熱変性すると、脂肪層に類似した色である黄色に変化する。具体的には、筋層に含まれるミオグロビンが熱変性することによって、メトミオグロビンに変化する。これによって、熱変性した筋層は、黄色調（褐色調）を呈する。そのため、単純に脂肪層に対する強調処理を行った場合、熱変性した筋層も同時に強調されるおそれがあり、穿孔リスクの抑制が困難である。なお、ここではＴＵＲ−Ｂｔを例示したが、脂肪層と熱変性した筋層の識別が容易でないという課題は、生体の他の部位に対する観察や手技を行う場合においても同様である。【０００７】
特許文献１は、血管を強調する手法であり、脂肪層や熱変性した筋層を強調する手法を開示していない。特許文献２は、脂肪層を強調する手法を開示しているが、熱変性した筋層を考慮しておらず、両者の識別は困難である。【０００８】
本発明の幾つかの態様によれば、脂肪層と熱変性した筋層の識別に好適な画像を提示する内視鏡装置、内視鏡装置の作動方法及びプログラム等を提供できる。
【課題を解決するための手段】
【０００９】
本発明の一態様は、第１の光、第２の光及び第３の光を含む複数の照明光を照射する照明部と、前記照明部の照射に基づく被検体からの戻り光を撮像する撮像部と、前記第１の光の照射によって撮像された第１の画像、前記第２の光の照射によって撮像された第２の画像、及び前記第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成する画像処理部と、を含み、前記第１の光のピーク波長におけるβカロテンの吸光度と、前記第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、前記第１の光のピーク波長におけるメトミオグロビンの吸光度と、前記第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、前記第１吸光度差は前記第２吸光度差に比べて大きく、前記第３の光のピーク波長は、前記第１の光のピーク波長及び前記第２の光のピーク波長と異なる内視鏡装置に関係する。【００１０】
本発明の他の態様は、第１の光、第２の光及び第３の光を含む複数の照明光を照射し、前記複数の照明光の照射に基づく被検体からの戻り光を撮像し、前記第１の光の照射によって撮像された第１の画像、前記第２の光の照射によって撮像された第２の画像、及び前記第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成し、前記第１の光のピーク波長におけるβカロテンの吸光度と、前記第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、前記第１の光のピーク波長におけるメトミオグロビンの吸光度と、前記第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、前記第１吸光度差は前記第２吸光度差に比べて大きく、前記第３の光のピーク波長は、前記第１の光のピーク波長及び前記第２の光のピーク波長と異なる内視鏡装置の作動方法に関係する。【００１１】
本発明のさらに他の態様は、第１の光、第２の光及び第３の光を含む複数の照明光を照明部に照射させ、前記照明部の照射に基づく被検体からの戻り光を撮像し、前記第１の光の照射によって撮像された第１の画像、前記第２の光の照射によって撮像された第２の画像、及び前記第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成する、ステップをコンピュータに実行させ、前記第１の光のピーク波長におけるβカロテンの吸光度と、前記第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、前記第１の光のピーク波長におけるメトミオグロビンの吸光度と、前記第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、前記第１吸光度差は前記第２吸光度差に比べて大きく、前記第３の光のピーク波長は、前記第１の光のピーク波長及び前記第２の光のピーク波長と異なるプログラムに関係する。
【図面の簡単な説明】
【００１２】
【図１】図１（Ａ）、図１（Ｂ）はＴＵＲ−Ｂｔの説明図。
【図２】内視鏡装置の構成例。
【図３】図３（Ａ）、図３（Ｂ）は第１の実施形態の照明光の分光特性の例、図３（Ｃ）は各色素の吸光度の説明図。
【図４】内視鏡装置の動作を説明するフローチャート。
【図５】白色光観察モードでの処理を説明するフローチャート。
【図６】第１の実施形態の特殊光観察モードでの処理を説明するフローチャート。
【図７】撮像素子のカラーフィルタの分光特性の例。
【図８】内視鏡装置の他の構成例。
【図９】図９（Ａ）、図９（Ｂ）は第２の実施形態の照明光の分光特性の例、図９（Ｃ）は各色素の吸光度の説明図。
【図１０】第２の実施形態の特殊光観察モードでの処理を説明するフローチャート。
【発明を実施するための形態】
【００１３】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１４】
１．本実施形態の手法
まず本実施形態の手法について説明する。なお、以下ではＴＵＲ−Ｂｔを例にとって説明を行うが、本実施形態の手法は、脂肪層と熱変性した筋層を識別する必要がある他の場面にも適用可能である。即ち、本実施形態の手法は、ＴＵＲ−ＢＯ（経尿道的膀胱腫瘍一塊切除術）等の膀胱を対象とした他の手技に適用してもよいし、膀胱とは異なる部位を対象とした観察や手技に適用してもよい。
【００１５】
図１（Ａ）、図１（Ｂ）はＴＵＲ−Ｂｔの説明図である。図１（Ａ）は腫瘍が発生している状態の膀胱壁の一部を例示する模式図である。膀胱壁は内側から粘膜層、筋層、脂肪層の３層で構成される。腫瘍は、比較的初期の段階では粘膜層に留まるが、進行するにつれて筋層や脂肪層等の深い層に浸潤していく。図１（Ａ）では、筋層に浸潤していない腫瘍を例示している。
【００１６】
図１（Ｂ）は、ＴＵＲ−Ｂｔによって腫瘍が切除された後の膀胱壁の一部を例示する模式図である。ＴＵＲ−Ｂｔでは、少なくとも腫瘍周辺の粘膜層が切除される。例えば、粘膜層、及び筋層のうちの粘膜層に近い一部が切除対象となる。切除された組織は、病理診断の対象となり、腫瘍の性質、及びどの深さまで腫瘍が達しているかが調べられる。また、図１（Ａ）に例示したように腫瘍が筋層非浸潤性がんの場合、病態によってはＴＵＲ−Ｂｔを用いて腫瘍を完全に切除可能である。即ち、ＴＵＲ−Ｂｔは診断と治療を兼ねた手技である。
【００１７】
ＴＵＲ−Ｂｔにおいては、筋層に浸潤していない比較的早期の腫瘍を完全に切除することを考慮すれば、膀胱壁をある程度深い層まで切除することが重要である。例えば、腫瘍周辺の粘膜層を残さないために、筋層の途中まで切除対象とすることが望ましい。一方で、ＴＵＲ−Ｂｔにおいては、灌流液の影響によって膀胱壁が薄く引き伸ばされた状態となっている。そのため、過剰に深い層まで切除することによって、穿孔のリスクが増大してしまう。例えば、脂肪層は切除対象としないことが望ましい。
【００１８】
ＴＵＲ−Ｂｔにおいて、適切な切除を実現するためには、筋層と脂肪層の識別が重要となる。一般的な白色光を用いた観察では、筋層は白色〜赤色調を呈し、脂肪層は黄色調を呈するため、色に基づいて２つの層を識別可能なように思える。しかしＴＵＲ−Ｂｔにおいては腫瘍の切除に電気メスを用いるため、筋層が熱変性する場合がある。筋層に含まれるミオグロビンがメトミオグロビンに変化することによって、吸光特性が変化する。結果として、熱変性した筋層は黄色調を呈し、脂肪層と熱変性した筋層の識別が困難となる。
【００１９】
特許文献２は、脂肪層を強調表示する手法を開示するものの、脂肪層と熱変性した筋層との色味の類似性を考慮していない。そのため、従来手法では脂肪層と熱変性した筋層の識別が困難であり、適切な手技を実現できないおそれがあった。
【００２０】
本実施形態に係る内視鏡装置１は、図２に例示するように、照明部３と、撮像部１０と、画像処理部１７を含む。照明部３は、第１の光、第２の光及び第３の光を含む複数の照明光を照射する。撮像部１０は、照明部３の照射に基づく被検体からの戻り光を撮像する。画像処理部１７は、第１の光の照射によって撮像された第１の画像、第２の光の照射によって撮像された第２の画像、及び第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成する。
【００２１】
ここで、第１の光、第２の光、第３の光は、以下の特性を満たす光である。第１の光のピーク波長におけるβカロテンの吸光度と、第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、第１の光のピーク波長におけるメトミオグロビンの吸光度と、第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、第１吸光度差は第２吸光度差に比べて大きい。また第３の光のピーク波長は、第１の光のピーク波長及び第２の光のピーク波長のいずれとも異なる。ピーク波長とは、各光の強度が最大となる波長である。なお、ここでの吸光度差とは、正の値を想定しており、例えば２つの吸光度の差分絶対値である。
【００２２】
βカロテンは、脂肪層に多く含まれる色素であり、メトミオグロビンは熱変性した筋層に多く含まれる色素である。第１の光と第２の光はβカロテンの吸光度差が相対的に大きいため、脂肪層を撮像した領域において、第１の画像と第２の画像の信号値の相関が相対的に低い。一方、第１の光と第２の光はメトミオグロビンの吸光度差が相対的に小さいため、熱変性した筋層を撮像した領域において、第１の画像と第２の画像の信号値の相関が相対的に高い。このように、脂肪層と熱変性した筋層に含まれる色素の吸光特性を考慮した２つの光を用いることによって、脂肪層と熱変性した筋層を識別が容易な態様で表示することが可能になる。なお望ましくは、第１吸光度差は、第２吸光度差との差が明確になる程度に値が大きく、例えば第１吸光度差と第２吸光度差の差分は所定閾値以上である。例えば、第１吸光度差は第１閾値Ｔｈ１よりも大きく、且つ、第２吸光度差は第２閾値Ｔｈ２よりも小さい。例えば、Ｔｈ２は０に近い正の値であり、Ｔｈ１はＴｈ２に比べて大きい値である。さらに望ましくは、第１の光のピーク波長におけるメトミオグロビンの吸光度と、第２の光のピーク波長におけるメトミオグロビンの吸光度は略等しい。ただし、第１吸光度差と第２吸光度差は、差異が明確となる程度に値が異なればよく、具体的な数値については種々の変形実施が可能である。
【００２３】
図３（Ｃ）を用いて後述するように、βカロテンとメトミオグロビンの吸光特性は既知である。よって、２つの光を用いて撮像された２つの画像を比較しなくても、１つの光を用いて撮像された１つの画像の信号値から、βカロテンが支配的かメトミオグロビンが支配的かを判定可能なように思えるかもしれない。例えば、後述するＧ２の光のピーク波長では、メトミオグロビンの吸光度が相対的に高くβカロテンの吸光度が相対的に小さい。よって、Ｇ２の光の照射によって得られたＧ２画像の信号値（画素値）が相対的に小さい領域が熱変性した筋層であり、信号値が相対的に大きい領域が脂肪層であると判定できるようにも思える。しかし、被写体に含まれる色素の濃度は被写体に応じてばらつきがある。よって、画像の信号が所定閾値よりも小さければ熱変性した筋層であり、所定閾値よりも大きければ脂肪層であると判定できるような所定閾値を設定することは容易でない。換言すれば、１つの光の照射によって得られた画像の信号値のみを用いた場合、脂肪層と熱変性した筋層の識別精度が低いおそれがある。
【００２４】
その点、本実施形態の手法は、２つの光を照射し、第１の画像と第２の画像を用いて識別を行う。同じ被写体に対して２つの光を照射した結果を比較するため、被写体ごとの色素濃度のばらつきが問題とならない。結果として、１つの信号値を用いた判定に比べて精度の高い識別処理が可能になる。
【００２５】
なお、撮像された画像内に、脂肪層と熱変性した筋層のいずれとも異なる被写体が撮像される場合がある。ＴＵＲ−Ｂｔの例であれば、撮像画像には粘膜層及び熱変性していない筋層が撮像される。以下本明細書では、熱変性した筋層はその旨を明示し、単に「筋層」と表記した場合、当該筋層は熱変性していない筋層を表すものとする。粘膜層及び筋層は、いずれも色素としてミオグロビンを多く含む。白色光を用いた観察では、ミオグロビンの濃度が相対的に高い粘膜層は赤色に近い色味で表示され、ミオグロビンの濃度が相対的に低い筋層は白色に近い色味で表示される。
【００２６】
第１の光と第２の光は、脂肪層と熱変性した筋層の識別に適した特性を有するが、このいずれとも異なる被写体の識別までは考慮していない。その点、本実施形態の照明部３は、第１の光と第２の光のいずれともピーク波長の異なる第３の光を照射する。これによって、βカロテンとメトミオグロビンのいずれとも異なる色素を多く含む被写体が存在する場合にも、当該被写体を識別することが可能になる。具体的には、脂肪層の視認性を高める強調処理を行う場合に、粘膜層や筋層を誤って強調することを抑制可能である。
【００２７】
なお、望ましくは、第１の光のピーク波長におけるミオグロビンの吸光度と、第２の光のピーク波長におけるミオグロビンの吸光度の差を第３吸光度差とした場合において、第１吸光度差は第３吸光度差に比べて大きい。具体的には、第１の光のピーク波長におけるミオグロビンの吸光度と、第２の光のピーク波長におけるミオグロビンの吸光度は略等しい。
【００２８】
第１の光及び第２の光を上記の特性となる光とした場合、第１の画像と第２の画像の信号値の相関が相対的に低い領域は、脂肪層に対応すると判定できる。換言すれば、信号値の相関が相対的に高い領域は、熱変性した筋層又は筋層又は粘膜層に対応すると判定できる。第１の画像と第２の画像に基づいて、撮像画像から脂肪層に対応する領域のみを抽出できるため、脂肪層を適切に強調するとともに、その他の領域を強調しないことが可能になる。例えば下式（１）、（２）を用いて後述する例のように、画像全体を対象として強調処理を行った場合に、脂肪層に対応する領域の画素値を大きく変化させるとともに、熱変性した筋層又は筋層又は粘膜層に対応する領域の画素値の変化量を相対的に小さくすることが可能になる。第１吸光度差が第３吸光度差に比べて大きい場合の具体例を、第１の実施形態において後述する。
【００２９】
ただし第３吸光度差は、第１吸光度差に比べて小さいものに限定されない。換言すれば、第１の光のピーク波長におけるミオグロビンの吸光度と、第２の光のピーク波長におけるミオグロビンの吸光度は略等しいものに限定されず、ミオグロビンに関して任意の吸光特性を有してもよい。
【００３０】
上述した通り、脂肪層と熱変性した筋層は類似する黄色調の色味を有するものの、粘膜層及び筋層は黄色調とは異なる色味を有する。そのため、画像処理部１７は色判定処理を行うことによって、脂肪層又は熱変性した筋層のいずれかと判定される領域と、それ以外の被写体であると判定される領域とを識別可能である。画像処理部１７は、前処理として撮像画像から脂肪層又は熱変性した筋層のいずれかである領域を検出し、検出された領域のみを対象として、第１の画像と第２の画像に基づく強調処理を実行する。このようにすれば、粘膜層及び筋層は前処理の段階において強調対象から除外される。第１の光と第２の光は、脂肪層と熱変性した筋層とを識別可能であればよいため、ミオグロビンに関する吸光特性を考慮する必要がなく、ピーク波長及び波長帯域の選択に柔軟性を持たせることが可能である。詳細については第２の実施形態において後述する。
【００３１】
２．第１の実施形態
第１の実施形態について説明する。まず図２を用いて内視鏡装置１の構成について説明した後、処理の詳細を説明する。また、いくつかの変形例についても説明する。
【００３２】
２．１  システム構成例
図２は、内視鏡装置１のシステム構成例を示す図である。内視鏡装置１は、挿入部２と、本体部５と、表示部６を含む。本体部５は、挿入部２に接続される照明部３と、処理部４を含む。
【００３３】
挿入部２は、生体内へ挿入される部分である。挿入部２は、照明部３から入力された光を被写体に向けて照射する照明光学系７と、被写体からの反射光を撮像する撮像部１０を含む。撮像部１０とは、具体的には撮像光学系である。
【００３４】
照明光学系７は、照明部３から入射された光を挿入部２の先端まで導光するライトガイドケーブル８と、光を拡散させて被写体に照射する照明レンズ９を含む。撮像部１０は、照明光学系７によって照射された光のうち、被写体の反射光を集光する対物レンズ１１と、対物レンズ１１によって集光された光を撮像する撮像素子１２を含む。撮像素子１２は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary MOS）センサ等の種々のセンサによって実現できる。撮像素子１２から順次出力されるアナログ信号は、不図示のＡ／Ｄ変換部によってデジタルの画像に変換される。なおＡ／Ｄ変換部は、撮像素子１２に含まれてもよいし、処理部４に含まれてもよい。
【００３５】
照明部３は、異なる波長帯域の光を射出する複数の発光ダイオード（ＬＥＤ：light emitting diode）１３ａ〜１３ｅと、ミラー１４と、ダイクロイックミラー１５を含む。複数の発光ダイオード１３ａ〜１３ｅのそれぞれから照射される光は、ミラー１４及びダイクロイックミラー１５によって同一のライトガイドケーブル８に入射する。なお、図２では発光ダイオードが５つの例を示したが、発光ダイオードの数はこれに限定されない。例えば、後述するように発光ダイオードは３つ或いは４つであってもよい。或いは、発光ダイオードは６つ以上であってもよい。
【００３６】
図３（Ａ）、図３（Ｂ）は、複数の発光ダイオード１３ａ〜１３ｅの分光特性を表す図である。図３（Ａ）、図３（Ｂ）の横軸は波長を表し、縦軸が照射光の強度を表す。本実施形態の照明部３は、青色の波長帯域の光Ｂ１、緑色の波長帯域の光Ｇ１、及び赤色の波長帯域の光Ｒ１を射出する３つの発光ダイオードを含む。例えば、Ｂ１の波長帯域とは４５０ｎｍ〜５００ｎｍであり、Ｇ１の波長帯域とは５２５ｎｍ〜５７５ｎｍであり、Ｒ１の波長帯域とは６００ｎｍ〜６５０ｎｍである。各光の波長帯域とは、当該帯域において、照明光が所定閾値以上の強度を有することを表す波長の範囲である。ただしＢ１、Ｇ１、Ｒ１の波長帯域はこれに限定されず、青色の波長帯域を４００ｎｍ〜５００ｎｍとし、緑色の波長帯域を５００ｎｍ〜６００ｎｍとし、赤色の波長帯域を６００ｎｍ〜７００ｎｍとする等の種々の変形実施が可能である。
【００３７】
さらに本実施形態の照明部３は、青色の波長帯域の狭帯域光Ｂ２と、緑色の波長帯域の狭帯域光Ｇ２を射出する２つの発光ダイオードを含む。本実施形態における第１の光はＢ２に対応し、第２の光はＧ２に対応する。即ち、第１の光は、４８０ｎｍ±１０ｎｍの範囲にピーク波長を有する狭帯域光であり、第２の光は、５２０ｎｍ±１０ｎｍの範囲にピーク波長を有する狭帯域光である。なお、ここでの狭帯域光とは、白色光画像を撮像する際に用いられるＲＧＢの各光（図３（Ａ）のＢ１，Ｇ１，Ｒ１）に比べて波長帯域が狭い光である。例えばＢ２及びＧ２の半値幅は数ｎｍ〜数１０ｎｍである。
【００３８】
図３（Ｃ）は、βカロテン、メトミオグロビン及びミオグロビンの吸光特性を示す図である。図３（Ｃ）の横軸は波長を表し、図３（Ｃ）の縦軸は吸光度を表す。
【００３９】
脂肪層に含まれるβカロテンは、５００ｎｍ〜５３０ｎｍの波長帯域において急激に吸光度が低下する吸光特性を有している。そのため、βカロテンは、４８０ｎｍと５２０ｎｍとで吸光度に差が生じている。熱変性した筋層に含まれるメトミオグロビンは４８０ｎｍと５２０ｎｍとで吸光度の差が小さい。また筋層に含まれるミオグロビンも、４８０ｎｍと５２０ｎｍとで吸光度の差が小さい。
【００４０】
Ｂ２及びＧ２を図３（Ｂ）に示した波長に設定した場合、Ｂ２の波長帯域でのメトミオグロビンの吸光度とＧ２の波長帯域でのメトミオグロビンの吸光度は略等しく、Ｂ２の波長帯域でのミオグロビンの吸光度とＧ２の波長帯域でのミオグロビンの吸光度が略等しい。なお、Ｂ２の波長帯域でのメトミオグロビンの吸光度とは例えばＢ２のピーク波長におけるメトミオグロビンの吸光度であり、Ｇ２の波長帯域でのメトミオグロビンの吸光度とは例えばＧ２のピーク波長におけるメトミオグロビンの吸光度である。ミオグロビンについても同様である。このため、メトミオグロビン又はミオグロビンを多く含む領域では、Ｂ２を照射して得られるＢ２画像の信号値（画素値、輝度値）と、Ｇ２を照射して得られるＧ２画像の信号値の差が小さい。
【００４１】
一方、βカロテンについてはＢ２の波長帯域での吸光度が、Ｇ２の波長帯域での吸光度と比較して高い。そのため、βカロテンが含まれる領域では、Ｇ２を照射して得られるＧ２画像の信号値に比べて、Ｂ２を照射して得られるＢ２画像の信号値が小さく、Ｂ２画像の方が暗くなる。
【００４２】
処理部４は、メモリ１６と、画像処理部１７と、制御部１８を含む。メモリ１６は、撮像素子１２によって取得された画像信号を、照明光の波長ごとに記憶する。メモリ１６は、例えばＳＲＡＭ又はＤＲＡＭ等の半導体メモリであるが、磁気記憶装置や光学記憶装置を用いてもよい。
【００４３】
画像処理部１７は、メモリ１６に記憶された画像信号に対する画像処理を行う。ここでの画像処理は、メモリ１６に記憶された複数の画像信号に基づく強調処理と、複数の出力チャンネルの各チャンネルに画像信号を割り当てることによって表示画像を合成する処理と、を含む。複数の出力チャンネルとは、Ｒチャンネル、Ｇチャンネル、Ｂチャンネルの３チャンネルであるが、Ｙチャンネル、Ｃｒチャンネル、Ｃｂチャンネルの３チャンネルを用いてもよいし、他の構成のチャンネルを用いてもよい。
【００４４】
画像処理部１７は、強調量算出部１７ａと、強調処理部１７ｂを含む。強調量算出部１７ａは、例えば強調量算出回路である。強調処理部１７ｂは、例えば強調処理回路である。なお、ここでの強調量とは、強調処理における強調の程度を決定するパラメータである。下式（１）、（２）を用いて後述する例では、強調量とは０以上１以下のパラメータであり、値が小さくなるほど、信号値の変化量を大きくするパラメータである。即ち、後述する例においては、強調量算出部１７ａで算出される強調量とは、値が小さいほど、強調の程度が強くなるパラメータである。ただし、強調量を、値が大きいほど強調の程度が強くなるパラメータとする等の種々の変形実施が可能である。
【００４５】
強調量算出部１７ａは、第１の画像と第２の画像の相関に基づいて、強調量を算出する。より具体的には、Ｂ２の照射によって撮像されたＢ２画像と、Ｇ２の照射によって撮像されたＧ２画像の相関に基づいて、強調処理に用いる強調量を算出する。強調処理部１７ｂは、強調量に基づいて表示画像に対して強調処理を行う。ここでの強調処理とは、処理前に比べて、脂肪層と熱変性した筋層の識別を容易にする処理である。また本実施形態における表示画像とは、処理部４の出力画像であり、表示部６において表示される画像である。また画像処理部１７は、撮像素子１２から取得した画像に対して、他の画像処理を行ってもよい。例えば、ホワイトバランス処理や、ノイズ低減処理等の公知の処理を、強調処理の前処理或いは後処理として実行してもよい。
【００４６】
制御部１８は、撮像素子１２による撮像タイミングと、発光ダイオード１３ａ〜１３ｅの点灯タイミングと、画像処理部１７の画像処理タイミングと、を同期させる制御を行う。制御部１８は、例えば制御回路又はコントローラである。
【００４７】
表示部６は、画像処理部１７から出力される表示画像を順次表示する。即ち、表示画像をフレーム画像とする動画を表示する。表示部６は、例えば液晶ディスプレイやＥＬ（Electro-Luminescence）ディスプレイ等である。
【００４８】
外部Ｉ／Ｆ部１９は、ユーザが内視鏡装置１に対して入力等を行うためのインターフェースである。即ち、内視鏡装置１を操作するためのインターフェース、或いは内視鏡装置１の動作設定を行うためのインターフェース等である。例えば、外部Ｉ／Ｆ部１９は、観察モードを切り替えるためのモード切り替えボタン、画像処理のパラメータを調整するための調整ボタン等を含む。
【００４９】
なお、本実施形態の内視鏡装置１は以下のように構成されてもよい。即ち、内視鏡装置１（狭義には処理部４）は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムや各種のデータである。プロセッサは、強調処理を含む画像処理、及び照明部３の照射制御を行う。強調処理は、第１の画像（Ｂ２画像）及び第２の画像（Ｇ２画像）に基づいて強調量を決定し、当該強調量に基づいて所与の画像を強調する処理である。強調対象の画像は、例えば出力のＲチャンネルに割り当てられるＲ１画像であるが、種々の変形実施が可能である。
【００５０】
プロセッサは、例えば各部の機能が個別のハードウェアを用いて実現されてもよいし、或いは各部の機能が一体のハードウェアを用いて実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子を用いて構成することができる。回路装置は例えばＩＣ等である。回路素子は例えば抵抗、キャパシター等である。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータによって読み取り可能な命令を格納しており、当該命令をプロセッサが実行することによって、処理部４の各部の機能が処理として実現される。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
【００５１】
また、本実施形態の処理部４の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、画像処理部１７は画像処理モジュールとして実現される。制御部１８は、照明光の発光タイミングと撮像素子１２の撮像タイミングの同期制御等を行う制御モジュールとして実現される。
【００５２】
また、本実施形態の処理部４の各部が行う処理を実現するプログラムは、例えばコンピュータによって読み取り可能な媒体である情報記憶装置に格納できる。情報記憶装置は、例えば光ディスク、メモリーカード、ＨＤＤ、或いは半導体メモリなどを用いて実現できる。半導体メモリは例えばＲＯＭである。ここでの情報記憶装置は、図２のメモリ１６であってもよいし、メモリ１６と異なる情報記憶装置であってもよい。処理部４は、情報記憶装置に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶装置は、処理部４の各部としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。プログラムは、処理部４の各部の処理をコンピュータに実行させるためのプログラムである。
【００５３】
換言すれば、本実施形態の手法は、第１の光、第２の光及び第３の光を含む複数の照明光を照明部３に照射させ、照明部３の照射に基づく被検体からの戻り光を撮像し、第１の光の照射によって撮像された第１の画像、第２の光の照射によって撮像された第２の画像、及び第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成するステップをコンピュータに実行させるプログラムに適用できる。プログラムが実行するステップとは、図４〜図６、図１０のフローチャートに示す各ステップである。第１〜第３の光は、上述した通り、以下の特性を有する。即ち、第１の光のピーク波長におけるβカロテンの吸光度と第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、第１の光のピーク波長におけるメトミオグロビンの吸光度と第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、第１吸光度差は第２吸光度差に比べて大きく、第３の光のピーク波長は、第１の光のピーク波長及び第２の光のピーク波長と異なる。
【００５４】
２．２  強調処理と表示画像生成処理
図４は、内視鏡装置１の処理を説明するフローチャートである。この処理が開始されると、制御部１８は、観察モードが白色光観察モードであるか否かを判定する（Ｓ１０１）。白色光観察モードである場合（Ｓ１０１でＹｅｓ）、照明部３は図３（Ａ）に示した３つの光Ｂ１，Ｇ１，Ｒ１に対応する３つの発光ダイオードを順次点灯させることによって、Ｂ１，Ｇ１，Ｒ１を順次照射する（Ｓ１０２）。撮像部１０は、各照明光を照射したときの被写体における反射光を撮像素子１２を用いて順次撮像する（Ｓ１０３）。Ｓ１０３では、Ｂ１の照射によるＢ１画像、Ｇ１の照射によるＧ１画像、Ｒ１の照射によるＲ１画像が順次撮像され、取得された画像（画像データ、画像情報）が順次メモリ１６に記憶される。なお、３つの照明光の照射順序及び撮像順序については種々の変形実施が可能である。画像処理部１７は、メモリ１６に記憶された画像に基づいて、白色光観察モードに対応する画像処理を実行する（Ｓ１０４）。
【００５５】
図５は、Ｓ１０４の処理を説明するフローチャートである。画像処理部１７は、Ｓ１０３の処理において取得した画像がＢ１画像、Ｇ１画像、Ｒ１画像のいずれであるかを判定する（Ｓ２０１）。Ｂ１画像である場合、画像処理部１７は出力のＢチャンネルにＢ１画像を割り当てることによって表示画像を更新する（Ｓ２０２）。同様に、Ｇ１画像である場合、画像処理部１７は出力のＧチャンネルにＧ１画像を割り当て（Ｓ２０３）、Ｒ１画像である場合、画像処理部１７は出力のＲチャンネルにＲ１画像を割り当てる（Ｓ２０４）。Ｂ１、Ｇ１、Ｒ１の３種類の照明光に対応する画像が取得された時点で、出力の３チャンネルの全てに画像が割り当てられるため、白色光画像が生成される。なお、白色光画像は、１フレームごとに更新されてもよいし、３フレームに１回の頻度で更新されてもよい。生成された白色光画像は、表示部６に送信され表示される。
【００５６】
図３（Ｂ）、図３（Ｃ）に示した通り、ミオグロビンが存在する領域においては、Ｂ１及びＧ１の波長帯域での吸収が、Ｒ１の波長帯域での吸収よりも大きい。そのため、ミオグロビンが存在する領域は、白色光画像において淡い赤色調に表示される。なお、具体的にはミオグロビンの濃度が高い粘膜層と、ミオグロビンの濃度が低い筋層とで色味は異なり、粘膜層は赤色に近い色で表示され、筋層は白色に近い色で表示される。
【００５７】
また、メトミオグロビンが存在する領域においては、ミオグロビンに比べてＧ１の吸収が小さくなる。そのため、メトミオグロビンが存在する領域は、黄色調に表示される。βカロテンが存在する領域においては、Ｂ１の波長帯域において吸収が非常に大きい。そのため、βカロテンが存在する領域は、黄色調に表示される。
【００５８】
メトミオグロビンが多く含まれる熱変性した筋層と、βカロテンが多く含まれる脂肪層はどちらも黄色調に表示されるため、互いを識別することが難しい。より具体的には、穿孔リスクの指標となる脂肪層の識別が難しい。
【００５９】
そこで本実施形態の内視鏡装置１は、白色光観察モードと異なる特殊光観察モードで動作を行う。なお観察モードの切り替えは、例えば外部Ｉ／Ｆ部１９を用いて行われる。図４に戻って説明を行う。Ｓ１０１で特殊光観察モードであると判定された場合（Ｓ１０１でＮｏ）、照明部３は図３（Ｂ）に示した４つの光Ｂ２，Ｇ１，Ｇ２，Ｒ１に対応する４つの発光ダイオードを順次点灯させることによって、Ｂ２，Ｇ１，Ｇ２，Ｒ１を順次照射する（Ｓ１０５）。撮像部１０は、各照明光を照射したときの被写体における反射光を撮像素子１２で順次撮像する（Ｓ１０６）。Ｓ１０６では、Ｂ２画像、Ｇ１画像、Ｇ２画像、Ｒ１画像が順次撮像され、取得された画像が順次メモリ１６に記憶される。なお、４つの照明光の照射順序及び撮像順序については種々の変形実施が可能である。画像処理部１７は、メモリ１６に記憶された画像に基づいて、特殊光観察モードに対応する画像処理を実行する（Ｓ１０７）。
【００６０】
図６は、Ｓ１０７の処理を説明するフローチャートである。画像処理部１７は、Ｓ１０６で取得した画像がＢ２画像、Ｇ１画像、Ｇ２画像、Ｒ１画像のいずれであるかを判定する（Ｓ３０１）。Ｂ２画像である場合、画像処理部１７は出力のＢチャンネルにＢ２画像を割り当てる（Ｓ３０２）。同様に、Ｇ１画像である場合、画像処理部１７は出力のＧチャンネルにＧ１画像を割り当て（Ｓ３０３）、Ｒ１画像である場合、画像処理部１７は出力のＲチャンネルにＲ１画像を割り当てる（Ｓ３０４）。
【００６１】
また、取得した画像がＧ２画像である場合、画像処理部１７の強調量算出部１７ａは、Ｇ２画像と、取得済みのＢ２画像とに基づいて、強調量を算出する（Ｓ３０５）。そして画像処理部１７の強調処理部１７ｂは、算出した強調量に基づいて、表示画像に対する強調処理を行う（Ｓ３０６）。表示画像に対する強調処理とは、出力の各チャンネルに割り当てられるＢ２画像、Ｇ１画像、Ｒ１画像のうちの少なくとも１つの画像に対する強調処理である。
【００６２】
なお図６では、Ｇ２画像の取得タイミングにおいて、強調量の算出処理及び強調処理を行う例を示したが、Ｂ２画像の取得タイミングにおいて上記処理を実行してもよい。或いは、Ｇ２画像の取得タイミングとＢ２画像の取得タイミングの両方において強調量の算出処理及び強調処理を行ってもよい。
【００６３】
図３（Ａ）、図３（Ｃ）に示した通り、Ｂ２の波長帯域はＧ２の波長帯域に比べてβカロテンの吸光度が大きい波長帯域である。また、Ｂ２とＧ２は、ミオグロビンの吸光度の差が小さく、且つ、メトミオグロビンの吸光度の差が小さい。従って、Ｂ２画像とＧ２画像の相関を求めた場合、相関が低い領域はβカロテンを多く含む領域に対応し、相関が高い領域はミオグロビン又はメトミオグロビンを多く含む領域に対応する。
【００６４】
具体的には、強調量算出部１７ａは、第１の画像の信号値と第２の画像の信号値の比率に基づいて、強調量を算出する。このようにすれば、第１の画像と第２の画像の相関を容易な演算によって求めることが可能になる。より具体的には、下式（１）によって強調量を算出する。
Ｅｍｐ（ｘ，ｙ）＝Ｂ２（ｘ，ｙ）／Ｇ２（ｘ，ｙ）  …（１）
【００６５】
上式（１）において、Ｅｍｐは強調量を表す強調量画像である。（ｘ，ｙ）は画像中の位置を表す。Ｂ２（ｘ，ｙ）はＢ２画像中の（ｘ，ｙ）における画素値を表し、Ｇ２（ｘ，ｙ）はＧ２画像中の（ｘ，ｙ）における画素値を表す。各（ｘ，ｙ）について上式（１）を演算することによって、強調量画像Ｅｍｐが取得される。換言すれば、１画素当たり１つの強調量が算出され、当該強調量の集合が強調量画像Ｅｍｐである。
【００６６】
なお上式（１）では、Ｅｍｐ＞１となるときＥｍｐ＝１として値をクリップする。図３（Ａ）、図３（Ｃ）に示した通り、βカロテンの吸光度はＢ２の波長帯域が、Ｇ２の波長帯域に比べて大きい。よってβカロテンを含む領域においては、Ｅｍｐ＜１となる。またメトミオグロビン及びミオグロビンの吸光度に関しては、Ｂ２の波長帯域とＧ２の波長帯域で略等しくなる。そのため、メトミオグロビン又はミオグロビンを含む領域においては、Ｅｍｐ≒１となる。また、Ｅｍｐ≧１となる場合、術具などの生体以外のものが被写体であるか、ノイズが影響していると考えられる。その点、Ｅｍｐ＝１を上限としてクリップすることによって、βカロテンを含む領域のみを安定して強調可能な強調量を算出できる。なお、本実施形態の強調量は、上式（１）に示した比率そのものに限定されず、比率に基づいて求められる種々の情報を含む。例えば、上記クリップ処理を行った結果も、本実施形態の強調量に含まれる。
【００６７】
強調処理部１７ｂは、強調量に基づいて、表示画像に対して色変換処理を行う。具体的には、下式（２）を用いて出力のＲチャンネルの値を調整する。
Ｂ’（ｘ，ｙ）＝Ｂ（ｘ，ｙ）
Ｇ’（ｘ，ｙ）＝Ｇ（ｘ，ｙ）
Ｒ’（ｘ，ｙ）＝Ｒ（ｘ，ｙ）×Ｅｍｐ（ｘ，ｙ）  …（２）
【００６８】
ここでＢ，Ｇ，Ｒは、それぞれ強調処理前のＢチャンネル、Ｇチャンネル、Ｒチャンネルの画像である。本実施形態の例では、Ｂ（ｘ，ｙ）とはＢ２画像の（ｘ，ｙ）における画素値であり、Ｇ（ｘ，ｙ）とはＧ１画像の（ｘ，ｙ）における画素値であり、Ｒ（ｘ，ｙ）とはＲ１画像の（ｘ，ｙ）における画素値である。また、Ｂ’，Ｇ’，Ｒ’は、それぞれ強調処理後のＢチャンネル、Ｇチャンネル、Ｒチャンネルの画像である。上式（２）に示した強調処理を行うことによって、βカロテンを含む領域では赤色の信号値が小さくなる。
【００６９】
結果として、βカロテンを多く含む脂肪層は緑色調で表示される。メトミオグロビン又はミオグロビンを多く含む領域の色味の変化は少ない。よってミオグロビンを多く含む粘膜層及び筋層は赤色調〜白色調で表示され、メトミオグロビンを多く含む熱変性した筋層は黄色調で表示される。このように本実施形態の手法によれば、手技の中で筋層が熱変性する可能性がある場合にも、筋層と脂肪層との境界を視認性の高い態様で表示することが可能である。特に本実施形態の手法をＴＵＲ−Ｂｔに適用した場合は、膀胱の腫瘍を摘出する際に、膀胱壁の穿孔を抑制することが可能になる。
【００７０】
２．３  変形例
以下、いくつかの変形例について説明する。
【００７１】
２．３．１  強調量算出処理、強調処理の変形例
上式（１）では、強調量算出部１７ａは、Ｂ２画像とＧ２画像の比率に基づいて強調量を算出した。ただし強調量算出部１７ａは、第１の画像の信号値と第２の画像の信号値の差分に基づいて、強調量を算出してもよい。具体的には、下式（３）を用いて強調量を算出する。
Ｅｍｐ（ｘ，ｙ）＝｛Ｇ２（ｘ，ｙ）−Ｂ２（ｘ，ｙ）｝／Ｇ２（ｘ，ｙ）  …（３）
【００７２】
上式（３）では、Ｅｍｐ＜０となるときＥｍｐ＝０として値をクリップする。βカロテンの吸光度はＢ２の波長帯域が、Ｇ２の波長帯域に比べて大きい。よってβカロテンを含む領域においては、０≦Ｅｍｐ＜１となる。またメトミオグロビン及びミオグロビンの吸光度に関しては、Ｂ２の波長帯域とＧ２の波長帯域で略等しくなる。そのため、メトミオグロビン又はミオグロビンを含む領域においては、Ｅｍｐ≒０となる。Ｅｍｐ＜０となる場合、術具などの生体以外のものが被写体であるか、ノイズが影響していると考えられる。その点、Ｅｍｐ＝０を下限としてクリップすることによって、βカロテンを含む領域のみを安定して強調可能な強調量を算出できる。なお、ここでの強調量は、差分そのものに限定されず、差分に基づいて求められる種々の情報を含む。例えば、上式（３）に示したようにＧ２（ｘ，ｙ）による正規化を行った結果、及びクリップ処理を行った結果も、強調量に含まれる。
【００７３】
なお、上式（３）を用いて求められる強調量は、画像間の相関が高いほど０に近く、相関が低いほど１に近づく。よってβカロテンを多く含む領域、即ち画像間の相関が低い領域の赤色の信号値を小さくするという処理を、上式（３）の強調量画像Ｅｍｐを用いて実現する場合、強調処理部１７ｂは下式（４）の演算を行う。
Ｂ’（ｘ，ｙ）＝Ｂ（ｘ，ｙ）
Ｇ’（ｘ，ｙ）＝Ｇ（ｘ，ｙ）
Ｒ’（ｘ，ｙ）＝Ｒ（ｘ，ｙ）×｛１−Ｅｍｐ（ｘ，ｙ）｝  …（４）
【００７４】
上式（３）及び（４）を用いた処理を行うことによって、βカロテンを多く含む脂肪層は緑色調で表示され、ミオグロビンを多く含む粘膜層及び筋層は赤色調〜白色調で表示され、メトミオグロビンを多く含む熱変性した筋層は黄色調で表示される。
【００７５】
なお、以上では強調処理として、出力のＲチャンネルの信号値を変化させる色変換処理の例を説明したが、強調処理もこれに限定されない。例えば強調処理部１７ｂは、下式（５）の演算を行うことによって、出力のＢチャンネルの信号値を変化させる色変換処理を行ってもよい。
Ｂ’（ｘ，ｙ）＝Ｂ（ｘ，ｙ）×Ｅｍｐ（ｘ，ｙ）
Ｇ’（ｘ，ｙ）＝Ｇ（ｘ，ｙ）
Ｒ’（ｘ，ｙ）＝Ｒ（ｘ，ｙ）                          …（５）
【００７６】
上式（１）を用いて求められた強調量を用いて、上式（５）に示した強調処理を行うことによって、βカロテンを含む領域では青色の画素値が小さくなる。
【００７７】
結果として、βカロテンを多く含む脂肪層は濃い黄色調で表示される。ミオグロビンを多く含む粘膜層及び筋層は赤色調〜白色調で表示され、メトミオグロビンを多く含む熱変性した筋層は黄色調で表示される。この場合、脂肪層と熱変性した筋層はいずれも黄色調となるが、その濃さが異なるため、筋層と脂肪層との境界を視認性の高い態様で表示することが可能である。
【００７８】
また強調処理部１７ｂは、出力のＧチャンネルの信号値を変化させる色変換処理を行ってもよい。或いは強調処理部１７ｂは、２以上のチャンネルの信号値を変化させる色変換処理を行ってもよい。
【００７９】
また強調処理部１７ｂは、強調処理として、彩度変換処理を行ってもよい。彩度を強調する場合、合成画像のＲＧＢ色空間をＨＳＶ色空間に変換してもよい。ＨＳＶ色空間への変換は、下式（６）〜（１０）を用いて行う。
H(x,y)=(G(x,y)-B(x,y))/(Max(RGB(x,y))-Min(RGB(x,y)))×60°  …（６）
H(x,y)=(B(x,y)-R(x,y))/(Max(RGB(x,y))-Min(RGB(x,y)))×60°+120°  …（７）
H(x,y)=(R(x,y)-G(x,y))/(Max(RGB(x,y))-Min(RGB(x,y)))×60°+240°  …（８）
S(x,y)=(Max(RGB(x,y))-Min(RGB(x,y)))/(Max(RGB(x,y))  …（９）
V(x,y)=Max(RGB(x,y))  …（１０）
【００８０】
なお、式（６）はＢ、Ｇ、Ｒの画像のうち、Ｒ画像の輝度値が最も高い場合である色相Ｈである。式（７）はＢ、Ｇ、Ｒの画像のうち、Ｇ画像の輝度値が最も高い場合である色相Ｈである。式（８）はＢ、Ｇ、Ｒの画像のうち、Ｂ画像の輝度値が最も高い場合である色相Ｈである。また上式（６）〜（１０）において、Ｓは彩度であり、Ｖは明度である。また、Ｍａｘ（ＲＧＢ（ｘ、ｙ））は画像中の位置（ｘ、ｙ）におけるＲ、Ｇ、Ｂ画像の画素値が最も高い値であり、Ｍｉｎ（ＲＧＢ（ｘ、ｙ））は画像中の位置（ｘ、ｙ）におけるＲ、Ｇ、Ｂ画像の画素値が最も低い値である。
【００８１】
彩度を強調する場合、強調処理部１７ｂは、上式（６）〜（１０）を用いて、ＨＳＶ色空間へ変換した後、下式（１１）を用いて、メトミオグロビンが含まれる領域の彩度を変化させる。
S'(x,y)=S(x,y)×1/(Emp(x,y))  …（１１）
【００８２】
Ｓ’は強調後の彩度であり、Ｓは強調前の彩度である。強調量Ｅｍｐは０以上１以下の値をとるため、強調後の彩度は強調前と比べ、より大きな値となる。
【００８３】
強調処理部１７ｂは、彩度を強調した後、下式（１２）〜（２１）を用いてＨＳＶ色空間をＲＧＢ色空間へ戻す。なお下式（１２）のfloorは切り捨て処理を表す。
h(x,y)=floor{H(x,y)/60}  …（１２）
P(x,y)=V(x,y)×(1-S(x,y))  …（１３）
Q(x,y)=V(x,y)×(1-S(x,y)×(H(x,y)/60-h(x,y))  …（１４）
T(x,y)=V(x,y)×(1-S(x,y)×(1-H(x,y)/60+h(x,y))  …（１５）
h(x,y)=0のとき
B(x,y)=P(x,y)
G(x,y)=T(x,y)
R(x,y)=V(x,y)  …（１６）
h(x,y)=1のとき
B(x,y)=P(x,y)
G(x,y)=V(x,y)
R(x,y)=Q(x,y)  …（１７）
h(x,y)=2のとき
B(x,y)=T(x,y)
G(x,y)=V(x,y)
R(x,y)=P(x,y)  …（１８）
h(x,y)=3のとき
B(x,y)=V(x,y)
G(x,y)=Q(x,y)
R(x,y)=P(x,y)  …（１９）
h(x,y)=4のとき
B(x,y)=V(x,y)
G(x,y)=P(x,y)
R(x,y)=T(x,y)  …（２０）
h(x,y)=5のとき
B(x,y)=Q(x,y)
G(x,y)=P(x,y)
R(x,y)=V(x,y)  …（２１）
【００８４】
また、強調処理部１７ｂは、色相変換処理を行ってもよい。強調処理部１７ｂは、例えば彩度Ｓ及び明度Ｖの値を維持し、色相Ｈに対して強調量画像Ｅｍｐを作用させることによって、色相変換処理を実行する。
【００８５】
以上のように、本実施形態の強調処理は、脂肪層と熱変性した筋層の識別が容易となる処理、換言すれば脂肪層と熱変性した筋層の境界の視認性を向上させる処理であればよく、具体的な処理内容は種々の変形実施が可能である。
【００８６】
２．３．２  照明光に関する変形例
以上では、白色光観察モードと特殊光観察モードを切り替え可能であり、照明部３が図３（Ａ）、図３（Ｂ）に示したように、Ｂ１，Ｇ１，Ｒ１，Ｂ２，Ｇ２の５つの照明光を照射する例を説明した。
【００８７】
上述した特殊光観察モードでは、図３（Ｂ）に示した通り、Ｂ２，Ｇ１，Ｇ２，Ｒ１の光を照射する４つの発光ダイオードを用いた。Ｇ１は緑色の波長帯域に対応し、Ｒ１は赤色の波長帯域に対応する。またＢ２は青色の波長帯域の狭帯域光である。そのため、Ｂ２画像を出力のＢチャンネルに割り当て、Ｇ１画像を出力のＧチャンネルに割り当て、Ｒ１画像を出力のＲチャンネルに割り当てることによって、演色性の高い表示画像を生成することが可能である。
【００８８】
ただし、演色性の高い表示画像の生成においては、各出力チャンネルに対して対応する色の画像を割り当てればよい。そのため、Ｇチャンネルに入力される画像はＧ１画像に限定されず、緑色に対応する異なる波長帯域の光であってもよい。例えば、照明部３は５４０ｎｍ〜５９０ｎｍの波長帯域の光Ｇ３（不図示）を照射する発光ダイオードを有してもよい。特殊光観察モードでは、照明部３は、Ｂ２，Ｇ２，Ｇ３，Ｒ１の４つの光を順次照射し、撮像部１０はＧ２画像、Ｇ２画像、Ｇ３画像、Ｒ１画像を順次撮像する。画像処理部１７は、Ｂ２画像を出力のＢチャンネルに割り当て、Ｇ３画像を出力のＧチャンネルに割り当て、Ｒ１画像を出力のＲチャンネルに割り当てることによって、演色性の高い表示画像を生成する。同様に、Ｒチャンネルに割り当てる画像はＲ１画像に限定されず、赤色に対応する他の波長帯域の光の照射によって撮像される画像であってもよい。
【００８９】
また本実施形態の手法は脂肪層と熱変性した筋層を識別可能な表示が可能な構成であればよく、演色性の高い表示画像の生成は必須の構成ではない。例えば、Ｂ２，Ｇ１，Ｇ２，Ｒ１の４つの光を照射する特殊光観察モードにおいてＧ１又はＲ１の照射を省略する変形実施が可能である。この場合、例えば表示画像の生成時に、省略した光の照射によって撮像した画像を割り当てていた出力チャンネルに、Ｇ２画像を割り当てる。
【００９０】
例えば、Ｒ１を照射する発光ダイオードを除く場合、出力のＢチャンネルにＢ２画像を割り当て、出力のＧチャンネルにＧ１画像を割り当て、出力のＲチャンネルにＧ２画像を割り当てることによって、表示画像を生成する。強調処理は、上記の例と同様にＲチャンネルに対して行ってもよいし、他のチャンネルに対して行ってもよいし、彩度変換処理や色相変換処理を行ってもよい。なお、上述した３つの撮像画像と出力チャンネルとの対応関係は一例であり、各撮像画像を異なるチャンネルに割り当てて表示画像を生成してもよい。この場合、特殊光観察モードでの表示画像は疑似カラーでの表示となるため、白色光観察モードと比べて術野の見え方が大きく異なる。
【００９１】
Ｇ１を照射する発光ダイオードを除く場合、出力のＢチャンネルにＢ２画像を割り当て、出力のＧチャンネルにＧ２画像を割り当て、出力のＲチャンネルにＲ１画像を割り当てることによって、表示画像を生成する。この場合、Ｂチャンネルに青色に対応するＢ２画像、Ｇチャンネルに緑色に対応するＧ２画像が割り当てられるため、演色性はある程度高いと考えられる。ただし、緑色の光として広く用いられる波長帯域はＧ１のように５５０ｎｍを中心とした波長帯域であり、Ｇ２はそれに比べると波長が短い。即ちＧ１を除いた場合にも、演色性は低下すると考えられる。
【００９２】
以上のように、演色性を考慮するのであれば、Ｇ１及びＲ１の両方を照射することが望ましい。ただし、発光ダイオードを順次照射して撮像する場合、撮像タイミングが異なるため、画像間に位置ずれが生じる。Ｇ１とＲ１の両方を用いる場合、１周期が４フレームとなるが、いずれか一方を除く場合、１周期が３フレームとなる。即ち、位置ずれを抑制するという観点からすれば、Ｇ１とＲ１の一方を除いた方が有利である。
【００９３】
また本実施形態の手法は脂肪層と熱変性した筋層を識別することを目的としており、白色光観察モード自体は必須の構成ではない。そのため、図４のＳ１０１〜Ｓ１０４、図５の処理を省略し、Ｓ１０５〜Ｓ１０７、図６の処理を繰り返す構成であってもよい。この場合、Ｂ１を照射する発光ダイオードを省略可能であり、発光ダイオードはＢ２，Ｇ１，Ｇ２，Ｒ１に対応する４つ、或いは、Ｇ１とＲ１のいずれか一方を除いた３つとなる。
【００９４】
以上で説明したように、本実施形態の照明部３は、少なくとも第１の光（Ｂ２）及び第２の光（Ｇ２）に加えて、第３の光を照射する。第３の光は、緑色の波長帯域にピーク波長を有する光、又は、赤色の波長帯域にピーク波長を有する光である。緑色の波長帯域にピーク波長を有する光とは、５２５ｎｍ〜５７５ｎｍの波長帯域に対応する光（Ｇ１）、又は、５４０ｎｍ〜５９０ｎｍの波長帯域に対応する光（Ｇ３）である。赤色の波長帯域にピーク波長を有する光とは、６００ｎｍ〜６５０ｎｍの波長帯域に対応する光（Ｒ１）である。ここで、５２５ｎｍ〜５７５ｎｍの波長帯域に対応する光とは、５２５ｎｍ〜５７５ｎｍの範囲において照射光の強度が所定閾値以上である光を表す。他の波長帯域に対応する光についても同様である。また、ここでの第３の光は、具体的には第１の光に比べて波長帯域が広く、且つ、第２の光に比べて波長帯域の広い光である。
【００９５】
本実施形態の第１の光と第２の光は、被写体がβカロテンを多く含む領域であるか否かの識別に有効であるが、メトミオグロビンを多く含む領域であるかミオグロビンを多く含む領域であるかの識別が難しい。その点、第３の光を追加することによって、メトミオグロビンとミオグロビンの識別が可能になる。
【００９６】
例えばＧ１の波長帯域では、ミオグロビンの吸光度はＢ２の波長帯域及びＧ２の波長帯域に比べて大きい。そのため、粘膜層及び筋層はＧ１画像が入力されるチャンネルの色味が抑えられ、Ｂ２画像及びＧ２画像が入力されるチャンネルの色味が支配的となる。一方、Ｇ１の波長帯域では、メトミオグロビンの吸光度はＢ２の波長帯域及びＧ２の波長帯域に比べて小さい。そのため、熱変性した筋層はＧ１画像が入力されるチャンネルの色味が相対的に強く、Ｂ２画像及びＧ２画像が入力されるチャンネルの色味が相対的に弱くなる。つまり、Ｂ２画像、Ｇ１画像、Ｇ２画像を各チャンネルに入力することによって表示画像を合成した場合に、脂肪層の色味と、筋層又は粘膜層の色味が異なる色味となり識別が容易である。
【００９７】
Ｒ１を追加した場合も同様である。Ｒ１の波長帯域では、メトミオグロビンの吸光度もミオグロビンの吸光度もＢ２の波長帯域及びＧ２の波長帯域に比べて小さくなるが、その程度は異なる。よってＢ２画像、Ｇ２画像、Ｒ１画像を各チャンネルに入力することによって表示画像を合成した場合に、脂肪層の色味と、筋層又は粘膜層の色味が異なる色味となる。
【００９８】
ただし表示画像の演色性を考慮すれば、第３の光に加えて第４の光を照射することが望ましい。第４の光の波長帯域は、可視光の波長帯域のうち、第１〜第３の光でカバーされない波長帯域に設定される。具体的には、照明部３は、第３の光が緑色の波長帯域にピーク波長を有する光（Ｇ１又はＧ３）である場合、赤色の波長帯域にピーク波長を有する光（Ｒ１）を第４の光として照射する。また照明部３は、第３の光が赤色の波長帯域にピーク波長を有する光である場合、緑色の波長帯域にピーク波長を有する光を第４の光として照射する。
【００９９】
このようにすれば、特殊光観察モードにおいても、演色性の高い表示画像を生成することが可能になる。
【０１００】
２．３．３  他の変形例
また上記の例では、撮像素子１２がモノクロ素子であることを想定したが、撮像素子１２は、カラーフィルタを備えるカラー素子であってもよい。具体的には、撮像素子１２はカラーＣＭＯＳであってもよいし、カラーＣＣＤであってもよい。
【０１０１】
図７は、撮像素子１２が備えるカラーフィルタの分光特性の例である。カラーフィルタは、ＲＧＢのそれぞれに対応する波長帯域を透過する３つのフィルタを含む。カラーフィルタはベイヤ配列であってもよいし、他の配列であってもよい。またカラーフィルタは補色型のフィルタであってもよい。
【０１０２】
或いは、撮像素子１２は、複数のモノクロ素子から構成されてもよい。図８は内視鏡装置１の他の構成例である。内視鏡装置１の撮像部１０は、被写体から戻る反射光を波長帯域ごとに分離する色分解プリズム２０と、色分解プリズム２０によって分離された各波長帯域の光を撮像する３つの撮像素子１２ａ、１２ｂ、１２ｃを含む。
【０１０３】
撮像素子１２がカラーフィルタを有する場合、又は、複数の素子（１２ａ〜１２ｃ）から構成される場合、照明部３が異なる複数の波長帯域の光を同時に照射し、撮像部１０が、各波長帯域に対応する画像をそれぞれ撮像することが可能である。
【０１０４】
例えば白色光観察モードでは、照明部３はＢ１、Ｇ１、Ｒ１を照射する発光ダイオードを同時に点灯させる。撮像部１０は、Ｂ１画像、Ｇ１画像及びＲ１画像を同時に撮像することによって、白色光観察が可能になる。
【０１０５】
特殊光観察モードでは、例えば照明部３は、Ｂ２とＧ１を照射する発光ダイオードの組み合わせと、Ｇ２とＲ１を照射する発光ダイオードの組み合わせを交互に点灯させる。撮像部１０は、Ｂ２画像とＧ１画像の組み合わせ、及びＧ２画像とＲ１画像の組み合わせを２面順次方式によって撮影することによって、特殊光観察が可能になる。なお、ここでは色分離を考慮して上記組み合わせとしたが、Ｇ１とＧ２が同時に点灯する組み合わせ以外であれば、他の組み合わせを用いてもよい。
【０１０６】
また、以上では各光の照射が発光ダイオードを用いて行われる例を説明したが、これに変えてレーザーダイオードを用いてもよい。特に、狭帯域光であるＢ２及びＧ２を、レーザーダイオードに置き換えてもよい。
【０１０７】
また、照明部３の構成も図２に示した発光ダイオード１３ａ〜１３ｅ、ミラー１４、ダイクロイックミラー１５を含む構成に限定されない。例えば照明部３は、キセノンランプ等の白色光を照射する白色光源と、各照明光に対応する波長帯域を透過する色フィルタを有するフィルタターレットとを用いて、異なる波長帯域の光を順次照射してもよい。この場合、キセノンランプは、蛍光体と、当該蛍光体を励起するレーザーダイオードとの組み合わせに置き換えてもよい。
【０１０８】
また、内視鏡装置として、制御装置とスコープが接続され、そのスコープをユーザが操作しながら体内を撮影するタイプを想定できる。但し、これに限定されず、本発明を適用した内視鏡装置として例えばロボットを用いた手術支援システム等を想定できる。
【０１０９】
例えば、手術支援システムは、制御装置とロボットとスコープとを含む。スコープは例えば硬性鏡である。制御装置は、ロボットを制御する装置である。即ち、ユーザが制御装置の操作部を操作することによってロボットを動作させ、ロボットを用いて患者に対する手術を行う。また制御装置の操作部を操作することによって、ロボットを経由することによってスコープを操作し、手術領域を撮影する。制御装置は、図２の処理部４を含んでいる。ユーザは、処理部４が表示装置に表示した画像を見ながら、ロボットを操作する。本発明は、このような手術支援システムにおける制御装置に適用できる。なお、制御装置はロボットに内蔵されてもよい。
【０１１０】
３．第２の実施形態
第１の実施形態では、第１の光のピーク波長におけるミオグロビンの吸光度と、第２の光のピーク波長におけるミオグロビンの吸光度が略等しい例について説明した。この場合、第１の画像と第２の画像を用いることによって、被写体に多く含まれる色素がβカロテンであるか、或いは、ミオグロビン又はメトミオグロビンであるかを識別可能になる。即ち、撮像画像中には脂肪層、熱変性した筋層、筋層、粘膜層等の被写体が撮影されるが、そのうちの脂肪層に対して、重点的に強調処理を行うことが可能になる。
【０１１１】
ただし、βカロテンとミオグロビンとの識別を他の手法によって実現可能であれば、第１の光と第２の光は、第１の吸光度差が第２の吸光度差よりも大きいという条件を満たせば足りる。換言すれば、第１の光のミオグロビンの吸光度と、第２の光のミオグロビンの吸光度とは関係は任意に設定可能になる。
【０１１２】
図９（Ａ）、図９（Ｂ）は、本実施形態における複数の発光ダイオードの分光特性を表す図である。図９（Ａ）、図９（Ｂ）の横軸は波長を表し、縦軸が照射光の強度を表す。本実施形態の照明部３は、青色の波長帯域の光Ｂ１、緑色の波長帯域の光Ｇ１、及び赤色の波長帯域の光Ｒ１を射出する３つの発光ダイオードを含む。各波長帯域は第１の実施形態と同様である。
【０１１３】
さらに本実施形態の照明部３は、青色の波長帯域の狭帯域光Ｂ３と、緑の波長帯域の狭帯域光Ｇ２を射出する２つの発光ダイオードを含む。Ｂ３は、例えば４６０ｎｍ±１０ｎｍの範囲にピーク波長を有する狭帯域光である。
【０１１４】
Ｂ３の波長帯域でのメトミオグロビンの吸光度とＧ２の波長帯域でのメトミオグロビンの吸光度は略等しい。このため、メトミオグロビンを含む領域では、Ｂ３を照射して得られるＢ３画像の信号値と、Ｇ２を照射して得られるＧ２画像の信号値の差が小さい。
【０１１５】
一方、βカロテンについてはＢ３の波長帯域での吸光度が、Ｇ２の波長帯域での吸光度と比較して高い。そのため、βカロテンが含まれる領域では、Ｇ２を照射して得られるＧ２画像の信号値に比べて、Ｂ３を照射して得られるＢ３画像の信号値が小さく、Ｂ３画像の方が暗くなる。
【０１１６】
よって例えば下式（２２）を用いて強調量を算出することによって、βカロテンを多く含む脂肪層の領域における信号値の変化量を大きくし、メトミオグロビンを多く含む熱変性した筋層の領域における信号値の変化量を小さくすることが可能になる。
Ｅｍｐ（ｘ，ｙ）＝Ｂ３（ｘ，ｙ）／Ｇ２（ｘ，ｙ）  …（２２）
【０１１７】
ただし、ミオグロビンについて、Ｂ３の波長帯域での吸光度が、Ｇ２の波長帯域での吸光度と比較して高い。そのため上式（２２）を用いて求められるＥｍｐを強調処理に用いた場合、ミオグロビンを多く含む領域、具体的には筋層や粘膜層に対しても、信号値を大きく変化させる強調処理が行われてしまう。
【０１１８】
そこで本実施形態では、画像処理部１７は、撮像画像中から、脂肪層又は熱変性した筋層のいずれかであると判定される領域を検出する。強調処理部１７ｂは、検出された領域のみを対象として、強調量を用いた強調処理を実行する。このようにすれば、ミオグロビンを多く含む領域は検出処理の段階において除外されるため、不必要な強調処理を抑制可能である。
【０１１９】
本実施形態の内視鏡装置１の処理は図４と同様である。また白色光観察モードにおける処理も図５と同様である。
【０１２０】
一方特殊光観察モードであると判定された場合、照明部３は図９（Ｂ）に示した４つの光Ｂ３，Ｇ１，Ｇ２，Ｒ１に対応する３つの発光ダイオードを順次点灯させることによって、Ｂ３，Ｇ１，Ｇ２，Ｒ１を順次照射する（Ｓ１０５）。撮像部１０は、各照明光を照射したときの被写体における反射光を撮像素子１２を用いて順次撮像する（Ｓ１０６）。第２の実施形態におけるＳ１０６では、Ｂ３画像、Ｇ１画像、Ｇ２画像、Ｒ１画像が順次撮像され、取得された画像が順次メモリ１６に記憶される。
【０１２１】
図１０は、第３の実施形態におけるＳ１０７の処理を説明するフローチャートである。画像処理部１７は、Ｓ１０６で取得した画像がＢ３画像、Ｇ１画像、Ｇ２画像、Ｒ１画像のいずれであるかを判定する（Ｓ５０１）。Ｂ３画像である場合、画像処理部１７は出力のＢチャンネルにＢ３画像を割り当てる（Ｓ５０２）。同様に、Ｇ１画像である場合、画像処理部１７は出力のＧチャンネルにＧ１画像を割り当て（Ｓ５０３）、Ｒ１画像である場合、画像処理部１７は出力のＲチャンネルにＲ１画像を割り当てる（Ｓ５０４）。
【０１２２】
また、取得した画像がＧ２画像である場合、画像処理部１７の強調量算出部１７ａは、Ｇ２画像と、取得済みのＢ３画像とに基づいて、強調量を算出する（Ｓ５０５）。さらに画像処理部１７は、強調処理前の表示画像に基づいて色判定処理を行い、黄色であると判定される領域を検出する（Ｓ５０６）。例えば画像処理部１７は、ＲＧＢの各チャンネルの信号値に基づいて色差Ｃｒ，Ｃｂを求め、Ｃｒ及びＣｂが所定範囲内の領域を黄色領域として検出する。
【０１２３】
Ｂ３は青色の波長帯域の狭帯域光である。よって、ＢチャンネルにＢ３画像を割り当て、ＧチャンネルにＧ１画像を割り当て、ＲチャンネルにＲ１画像を割り当てた場合、表示画像の演色性はある程度高くなる。結果として、脂肪層及び熱変性した筋層は黄色調で表示され、筋層や粘膜層は赤色調〜白色調で表示される。即ち、特殊光観察モードにおいて、各出力チャンネルに割り当てられる画像に基づいて所定色の領域を検出することで、脂肪層及び熱変性した筋層のいずれかであると推定される領域を検出可能である。
【０１２４】
そして画像処理部１７の強調処理部１７ｂは、Ｓ５０６で検出された黄色領域を対象として、Ｓ５０５で算出した強調量に基づく強調処理を行う（Ｓ５０７）。
【０１２５】
本実施形態の手法でも、第１の実施形態と同様に、脂肪層と熱変性した筋層を、識別が容易な態様を用いて表示することが可能になる。各実施形態を比較した場合、第１の実施形態は、黄色領域の検出処理が不要であり撮像画像全体を強調処理の対象とできるため、処理負荷が比較的軽いという点で利点がある。一方、第２の実施形態は、第１の光と第２の光の波長帯域を設定する際に、ミオグロビンの吸光度を考慮する必要がないため、波長帯域の設定の柔軟性が高いという点で利点がある。
【０１２６】
なお、以上では黄色領域を検出する処理を例示したが、例えば赤色領域及び白色領域を検出し、撮像画像のうちの検出領域以外の領域を強調処理の対象とするといった変形実施が可能である。
【０１２７】
また第１の光がＢ３であり、第２の光がＧ２である例を説明したが、本実施形態ではβカロテンに関する第１吸光度差とメトミオグロビンに関する第２吸光度差が、第１吸光度差＞第２吸光度差となればよく、具体的な波長帯域は種々の変形実施が可能である。
【０１２８】
また、ここではＧ１とＲ１のいずれか一方が第３の光であり、他方が第４の光である例を説明したが、いずれか一方を省略してよい点は第１の実施形態と同様である。またＧ１をＧ３に置き換える等、具体的な波長帯域についても種々の変形実施が可能である。
【０１２９】
また第１の実施形態と同様に、強調量算出処理及び強調処理の内容は種々の変形実施が可能であるし、撮像素子１２及び照明部３についても種々の変形実施が可能である。
【０１３０】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内において、構成要素を変形することによって具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例において説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０１３１】
１…内視鏡装置、２…挿入部、３…照明部、４…処理部、５…本体部、６…表示部、
７…照明光学系、８…ライトガイドケーブル、９…照明レンズ、１０…撮像部、
１１…対物レンズ、１２，１２ａ〜１２ｃ…撮像素子、
１３ａ〜１３ｅ…発光ダイオード、１４…ミラー、１５…ダイクロイックミラー、
１６…メモリ、１７…画像処理部、１７ａ…強調量算出部、１７ｂ…強調処理部、
１８…制御部、１９…外部Ｉ／Ｆ部、２０…色分解プリズム
【図１】
2020008528.tif 000003
【図２】
2020008528.tif 000004
【図３】
2020008528.tif 000005
【図４】
2020008528.tif 000006
【図５】
2020008528.tif 000007
【図６】
2020008528.tif 000008
【図７】
2020008528.tif 000009
【図８】
2020008528.tif 000010
【図９】
2020008528.tif 000011
【図１０】
2020008528.tif 000012
【手続補正書】
【提出日】令和2年12月11日(2020.12.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の光、第２の光及び第３の光を含む複数の照明光を照射する照明部と、
前記照明部の照射に基づく被検体からの戻り光を撮像する撮像部と、
前記第１の光の照射によって撮像された第１の画像、前記第２の光の照射によって撮像された第２の画像、及び前記第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成する画像処理部と、
を含み、
前記第１の光のピーク波長におけるβカロテンの吸光度と、前記第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、
前記第１の光のピーク波長におけるメトミオグロビンの吸光度と、前記第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、
前記第１吸光度差は前記第２吸光度差に比べて大きく、
前記第３の光のピーク波長は、前記第１の光のピーク波長及び前記第２の光のピーク波長と異なり、
前記画像処理部は、
前記第１の画像、前記第２の画像及び前記第３の画像に基づいて、前記被検体の熱変性した筋層と、前記被検体の脂肪層と、前記被検体の熱変成していない筋層とを、互いに識別可能な態様で表示する前記表示画像を生成することを特徴とする内視鏡装置。
【請求項２】
請求項１において、
前記第１の光のピーク波長におけるミオグロビンの吸光度と、前記第２の光のピーク波長におけるミオグロビンの吸光度の差を第３吸光度差とした場合において、
前記第１吸光度差は前記第３吸光度差に比べて大きいことを特徴とする内視鏡装置。
【請求項３】
請求項１において、
前記第１の光は、４８０ｎｍ±１０ｎｍの範囲にピーク波長を有する狭帯域光であり、
前記第２の光は、５２０ｎｍ±１０ｎｍの範囲にピーク波長を有する狭帯域光であることを特徴とする内視鏡装置。
【請求項４】
請求項３において、
前記第３の光は、緑色の波長帯域にピーク波長を有する光、又は赤色の波長帯域にピーク波長を有する光であることを特徴とする内視鏡装置。
【請求項５】
請求項４において、
前記照明部は、
前記第３の光が前記緑色の波長帯域にピーク波長を有する光である場合、前記赤色の波長帯域にピーク波長を有する光を第４の光として照射し、
前記第３の光が前記赤色の波長帯域にピーク波長を有する光である場合、前記緑色の波長帯域にピーク波長を有する光を第４の光として照射することを特徴とする内視鏡装置。
【請求項６】
請求項４において、
前記緑色の波長帯域にピーク波長を有する光は、５２５ｎｍ〜５７５ｎｍの波長帯域に対応する光、又は、５４０〜５９０ｎｍの波長帯域に対応する光であり、
前記赤色の波長帯域にピーク波長を有する光は、６００ｎｍ〜６５０ｎｍの波長帯域に対応する光であることを特徴とする内視鏡装置。
【請求項７】
請求項１において、
前記画像処理部は、
前記第１の画像と前記第２の画像の相関に基づいて、強調量を算出する強調量算出部と、
前記強調量に基づいて前記表示画像に対して強調処理を行う強調処理部と、
を含むことを特徴とする内視鏡装置。
【請求項８】
請求項７において、
前記強調量算出部は、
前記第１の画像の信号値と前記第２の画像の信号値の比率又は差分に基づいて、前記強調量を算出することを特徴とする内視鏡装置。
【請求項９】
請求項７において、
前記強調処理部は、
前記強調量に基づいて、前記表示画像に対して色変換処理を行うことを特徴とする内視鏡装置。
【請求項１０】
請求項１において、
前記被検体は、膀胱壁であることを特徴とする内視鏡装置。
【請求項１１】
第１の光、第２の光及び第３の光を含む複数の照明光を照射し、
前記複数の照明光の照射に基づく被検体からの戻り光を撮像し、
前記第１の光の照射によって撮像された第１の画像、前記第２の光の照射によって撮像された第２の画像、及び前記第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成し、
前記第１の光のピーク波長におけるβカロテンの吸光度と、前記第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、
前記第１の光のピーク波長におけるメトミオグロビンの吸光度と、前記第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、
前記第１吸光度差は前記第２吸光度差に比べて大きく、
前記第３の光のピーク波長は、前記第１の光のピーク波長及び前記第２の光のピーク波長と異なり、
前記表示画像の生成において、
前記第１の画像、前記第２の画像及び前記第３の画像に基づいて、前記被検体の熱変性した筋層と、前記被検体の脂肪層と、前記被検体の熱変成していない筋層とを、互いに識別可能な態様で表示する前記表示画像を生成することを特徴とする内視鏡装置の作動方法。
【請求項１２】
第１の光、第２の光及び第３の光を含む複数の照明光を照明部に照射させ、
前記照明部の照射に基づく被検体からの戻り光を撮像し、
前記第１の光の照射によって撮像された第１の画像、前記第２の光の照射によって撮像された第２の画像、及び前記第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成する、
ステップをコンピュータに実行させ、
前記第１の光のピーク波長におけるβカロテンの吸光度と、前記第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、
前記第１の光のピーク波長におけるメトミオグロビンの吸光度と、前記第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、
前記第１吸光度差は前記第２吸光度差に比べて大きく、
前記第３の光のピーク波長は、前記第１の光のピーク波長及び前記第２の光のピーク波長と異なり、
前記表示画像を生成するステップにおいて、
前記第１の画像、前記第２の画像及び前記第３の画像に基づいて、前記被検体の熱変性した筋層と、前記被検体の脂肪層と、前記被検体の熱変成していない筋層とを、互いに識別可能な態様で表示する前記表示画像を生成することを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
【特許文献１】特開２０１６−６７７７５号公報
【特許文献２】国際公開第２０１３／１１５３２３号
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
図３（Ｂ）、図３（Ｃ）に示した通り、Ｂ２の波長帯域はＧ２の波長帯域に比べてβカロテンの吸光度が大きい波長帯域である。また、Ｂ２とＧ２は、ミオグロビンの吸光度の差が小さく、且つ、メトミオグロビンの吸光度の差が小さい。従って、Ｂ２画像とＧ２画像の相関を求めた場合、相関が低い領域はβカロテンを多く含む領域に対応し、相関が高い領域はミオグロビン又はメトミオグロビンを多く含む領域に対応する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
なお上式（１）では、Ｅｍｐ＞１となるときＥｍｐ＝１として値をクリップする。図３（Ｂ）、図３（Ｃ）に示した通り、βカロテンの吸光度はＢ２の波長帯域が、Ｇ２の波長帯域に比べて大きい。よってβカロテンを含む領域においては、Ｅｍｐ＜１となる。またメトミオグロビン及びミオグロビンの吸光度に関しては、Ｂ２の波長帯域とＧ２の波長帯域で略等しくなる。そのため、メトミオグロビン又はミオグロビンを含む領域においては、Ｅｍｐ≒１となる。また、Ｅｍｐ≧１となる場合、術具などの生体以外のものが被写体であるか、ノイズが影響していると考えられる。その点、Ｅｍｐ＝１を上限としてクリップすることによって、βカロテンを含む領域のみを安定して強調可能な強調量を算出できる。なお、本実施形態の強調量は、上式（１）に示した比率そのものに限定されず、比率に基づいて求められる種々の情報を含む。例えば、上記クリップ処理を行った結果も、本実施形態の強調量に含まれる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
ただし、演色性の高い表示画像の生成においては、各出力チャンネルに対して対応する色の画像を割り当てればよい。そのため、Ｇチャンネルに入力される画像はＧ１画像に限定されず、緑色に対応する異なる波長帯域の光であってもよい。例えば、照明部３は５４０ｎｍ〜５９０ｎｍの波長帯域の光Ｇ３（不図示）を照射する発光ダイオードを有してもよい。特殊光観察モードでは、照明部３は、Ｂ２，Ｇ２，Ｇ３，Ｒ１の４つの光を順次照射し、撮像部１０はＢ２画像、Ｇ２画像、Ｇ３画像、Ｒ１画像を順次撮像する。画像処理部１７は、Ｂ２画像を出力のＢチャンネルに割り当て、Ｇ３画像を出力のＧチャンネルに割り当て、Ｒ１画像を出力のＲチャンネルに割り当てることによって、演色性の高い表示画像を生成する。同様に、Ｒチャンネルに割り当てる画像はＲ１画像に限定されず、赤色に対応する他の波長帯域の光の照射によって撮像される画像であってもよい。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１２０
【補正方法】変更
【補正の内容】
【０１２０】
一方、特殊光観察モードであると判定された場合、照明部３は図９（Ｂ）に示した４つの光Ｂ３，Ｇ１，Ｇ２，Ｒ１に対応する４つの発光ダイオードを順次点灯させることによって、Ｂ３，Ｇ１，Ｇ２，Ｒ１を順次照射する（Ｓ１０５）。撮像部１０は、各照明光を照射したときの被写体における反射光を撮像素子１２を用いて順次撮像する（Ｓ１０６）。第２の実施形態におけるＳ１０６では、Ｂ３画像、Ｇ１画像、Ｇ２画像、Ｒ１画像が順次撮像され、取得された画像が順次メモリ１６に記憶される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１２１
【補正方法】変更
【補正の内容】
【０１２１】
図１０は、第２の実施形態におけるＳ１０７の処理を説明するフローチャートである。画像処理部１７は、Ｓ１０６で取得した画像がＢ３画像、Ｇ１画像、Ｇ２画像、Ｒ１画像のいずれであるかを判定する（Ｓ５０１）。Ｂ３画像である場合、画像処理部１７は出力のＢチャンネルにＢ３画像を割り当てる（Ｓ５０２）。同様に、Ｇ１画像である場合、画像処理部１７は出力のＧチャンネルにＧ１画像を割り当て（Ｓ５０３）、Ｒ１画像である場合、画像処理部１７は出力のＲチャンネルにＲ１画像を割り当てる（Ｓ５０４）。
【手続補正８】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2020008528.tif 000013
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2020008528.tif 000014
【国際調査報告】
2020008528.tif 000015
2020008528.tif 000016
2020008528.tif 000017
2020008528.tif 000018