(57)【要約】  複数の光を切り替えて照明し、各光の照明により得られる複数の画像を切り替えて表示する場合において、被写体の変化に合わせて、各画像の色味を揃えつつ、各画像の違いを可視化することができる内視鏡システムを提供する。  内視鏡システムは、光源部（１４）と、光源制御部（２１）と、画像取得部（５２）と、ホワイトバランス部（５５）と、補正係数算出部（５６）とを備える。ホワイトバランス部（５５）は、第１画像信号には第１ゲイン係数をかけ、第２画像信号には第２ゲイン係数をかけて、また、第１ゲイン係数および第２ゲイン係数の少なくともいずれかを補正した補正ゲイン係数を用いてホワイトバランス処理を行う。
2020158165.tif 000002
【特許請求の範囲】
【請求項１】
第１照明光と、前記第１照明光とは異なる発光スペクトルを有する第２照明光とを発光する光源部と、
前記第１照明光と前記第２照明光とを自動的に切り替えて発光する制御を行う光源制御部であって、前記第１照明光を発光する発光期間と前記第２照明光を発光する発光期間は、それぞれ少なくとも１フレーム以上の発光期間である光源制御部と、
前記第１照明光の発光期間において前記第１照明光により照明された被写体を撮像して得られる第１画像信号を含む第１画像信号群と、前記第２照明光の発光期間において前記第２照明光により照明された被写体を撮像して得られる第２画像信号を含む第２画像信号群とを取得する画像取得部と、
前記第１画像信号に第１ゲイン係数をかけ合わせ、前記第２画像信号に第２ゲイン係数をかけ合わせてホワイトバランス処理を行うホワイトバランス部とを備え、
前記ホワイトバランス部は、前記第１ゲイン係数と前記第２ゲイン係数の少なくともいずれかを補正した補正ゲイン係数を用いて、ホワイトバランス処理を行う内視鏡システム。
【請求項２】
前記ホワイトバランス部は、補正無しの固定の前記第２ゲイン係数を用いて、前記ホワイトバランス処理を行う請求項１に記載の内視鏡システム。
【請求項３】
前記第１画像信号または前記第２画像信号は、青色信号、赤色信号、及び緑色成分を含み、
前記第１画像信号の信号値または前記第２画像信号の信号値は、青色信号値、赤色信号値、及び緑色信号値からなる請求項１または２に記載の内視鏡システム。
【請求項４】
前記ホワイトバランス部は、前記第１ゲイン係数または前記第２ゲイン係数を、前記青色信号値、前記赤色信号値、及び前記緑色信号値のそれぞれについて定める請求項３に記載の内視鏡システム。
【請求項５】
前記第１ゲイン係数を補正する場合において、
取得期間ＰＮ（Ｎは整数）の前記第１画像信号群に含まれる前記第１画像信号に対して用いる前記取得期間ＰＮの前記第１ゲイン係数は、前記取得期間ＰＮの直前の取得期間ＰＮ−２の前記第１画像信号に対して用いた前記取得期間ＰＮ−２の前記第１ゲイン係数を補正した補正第１ゲイン係数である請求項１ないし４のいずれか１項に記載の内視鏡システム。
【請求項６】
前記第１ゲイン係数を補正する場合において、
取得期間ＰＮよりも前の複数の取得期間ＰＮ−Ｋ（Ｋは２以上の偶数）の前記第１画像信号群に含まれる前記第１画像信号に対して用いる複数の前記取得期間ＰＮ−Ｋの前記第１ゲイン係数は、少なくとも一部はそれぞれ補正された前記補正ゲイン係数であり、
前記取得期間ＰＮの前記第１画像信号群に含まれる前記第１画像信号に対して用いる前記取得期間ＰＮの前記第１ゲイン係数は、複数の前記取得期間ＰＮ−Ｋの前記第１ゲイン係数に対して、それぞれ重み付け係数をかけて加算された値であり、
前記重み付け係数は、前記取得期間ＰＮに近いほど大きい請求項１ないし４のいずれか１項に記載の内視鏡システム。
【請求項７】
複数の前記取得期間ＰＮ−Ｋの前記第１ゲイン係数は、各前記取得期間ＰＮ−Ｋにおいて前記ホワイトバランス処理で用いられている請求項６に記載の内視鏡システム。
【請求項８】
前記第１ゲイン係数または前記第２ゲイン係数の補正には、前記第１ゲイン係数および前記第２ゲイン係数のうち少なくとも一方を補正するための補正係数が用いられ、
前記補正係数は、前記第１画像信号群に基づく演算により得られる第１演算値と、前記第２画像信号群に基づく演算により得られる第２演算値とを用いて算出する請求項１ないし７のいずれか１項記載の内視鏡システム。
【請求項９】
前記第１演算値は、前記第１画像信号群に含まれる前記第１画像信号において、前記第１画像信号の信号値を平均して得られる第１画像信号値平均のそれぞれを加算平均して得られ、
前記第２演算値は、前記第２画像信号群に含まれる前記第２画像信号において、前記第２画像信号の信号値を平均して得られる第２画像信号値平均のそれぞれを加算平均して得られる請求項８に記載の内視鏡システム。
【請求項１０】
前記第１画像信号または前記第２画像信号において、血管または病変部分の画像信号を検出して異常画像信号とする検出部を備え、
前記第１画像信号値平均または前記第２画像信号値平均は、それぞれ前記異常画像信号以外の前記第１画像信号の信号値または前記第２画像信号の信号値を用いることにより得られる請求項９に記載の内視鏡システム。
【請求項１１】
前記第１画像信号または前記第２画像信号において、異常画素部分の画像信号を検出して異常画像信号とする検出部を備え、
前記第１画像信号値平均または前記第２画像信号値平均は、それぞれ前記異常画像信号以外の前記第１画像信号の信号値または前記第２画像信号の信号値を用いることにより得られる請求項９に記載の内視鏡システム。
【請求項１２】
前記補正係数は、前記第１演算値と前記第２演算値の比である請求項８ないし１１のいずれか１項に記載の内視鏡システム。
【請求項１３】
前記取得期間ＰＮの前記第１ゲイン係数は、前記取得期間ＰＮ−２の前記第１画像信号群に含まれる前記第１画像信号に対して用いた前記第１ゲイン係数に、前記取得期間ＰＮ−２における前記第１演算値と前記取得期間ＰＮ−１における前記第２演算値との比の値をかけ合わせた値である請求項８ないし１２のいずれか１項に記載の内視鏡システム。
【請求項１４】
前記取得期間ＰＮの前記第１ゲイン係数と、前記取得期間ＰＮ−２の前記第１画像信号群に含まれる前記第１画像信号に対して用いた前記第１ゲイン係数との差が、予め設定した閾値以下の場合は、前記前記取得期間ＰＮの前記第１ゲイン係数の補正を行わない請求項５に記載の内視鏡システム。
【請求項１５】
前記取得期間ＰＮの前記第１ゲイン係数と、前記取得期間ＰＮ−２の前記第１画像信号群に含まれる前記第１画像信号に対して用いた前記第１ゲイン係数との差が、予め設定した閾値以上の場合は、前記前記取得期間ＰＮの前記第１ゲイン係数の補正を行わない請求項５に記載の内視鏡システム。
【請求項１６】
前記第１照明光は、紫色光、緑色光、及び赤色光を含み、前記第２照明光は、青色光、緑色光及び赤色光を含み、
前記光源制御部は、前記第１照明光と前記第２照明光とが含む各色のそれぞれの発光量を、前記第１ゲイン係数または前記第２ゲイン係数に基づいて制御する請求項１ないし１５のいずれか１項に記載の内視鏡システム。
【請求項１７】
前記光源制御部は、前記第１ゲイン係数または前記第２ゲイン係数に基づいて制御された前記発光量が、特定の閾値以下である場合、予め設定された最低発光量まで前記発光量を増加させる請求項１６に記載の内視鏡システム。
【請求項１８】
前記画像処理部は、前記第１画像信号により第１表示用観察画像を生成し、かつ、前記第２画像信号により第２表示用観察画像を生成し、
前記第１表示用観察画像は表層血管が強調されており、前記第２表示用観察画像は前記表層血管よりも深い位置にある中深層血管が強調されている請求項１ないし１７のいずれか１項記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数種類の画像を切り替えて表示する内視鏡システムに関する。
【背景技術】
【０００２】
近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像素子で撮像して得られるＲＧＢ画像信号に基づいて、観察対象の画像をモニタ上に表示する。【０００３】
また、近年では、診断の目的に応じて、互いに波長域が異なる複数の照明光を観察対象に照明することが行われている。例えば、特許文献１では、ピーク波長が４２２ｎｍのＮＢ１光と、ピーク波長が４６０〜４７０ｎｍのＮＢ２光との２つの青色の狭帯域光を交互に照明することによって、観察対象に含まれる血管中の酸素飽和度を取得することが記載されている。また、特許文献２では、Ｂ１領域（第１のＢ領域：３９０ｎｍから４４０ｎｍ）にピークを有する光と、Ｂ２領域（第２のＢ領域：４４０ｎｍから４９０ｎｍ）にピークを有する光とを観察対象に照明し、Ｂ１領域の光及びＢ２領域の光の両方に感度を有するＢ画素を含む撮像素子によって撮像を行うことにより、表層血管の解像情報を得ることが記載されている。また、特許文献３には、中心波長４０５ｎｍの紫色光、中心波長４４５ｎｍの青色レーザ光、及び青色レーザ光によって励起発光する励起発光を用いて、生体組織の所望の組織情報を、診断に適したより明瞭な状態で取得することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１７３７３７号公報
【特許文献２】国際公開第２０１６／０８０１３０号
【特許文献３】特開２０１７−１８５２５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年では、内視鏡分野においては、背景粘膜以外の生体情報、例えば、深さが異なる血管や深さ、高さが異なる腺管構造などに着目する診断が行われている。このような診断においては、ユーザーに対して、背景粘膜以外の複数の情報をそれぞれ把握できるように表示する必要がある。このような複数の情報をそれぞれ表示する方法として、生体組織への深達度が異なる複数波長の光を自動で周期的に切り替えて照明し、それらの照明によって得られる複数の画像を切り替えて表示する方法が考えられる。例えば、表層血管など表層の情報と深層血管など深層の情報を得るためには、表層にまで深達度を有する短波光と深層にまで深達度を有する中波長光を切り替えて照明し、短波光の照明により得られる表層画像と中波長光の照明により得られる深層画像とを切り替えて表示する。このような切替表示を行うことにより、表層画像と深層画像の差分が表示されるため、異なる生体情報を分離して表示することができる。したがって、表層情報と深層情報との異なる生体情報を把握することができる。【０００６】
しかしながら、短波光と中波長光を切り替えて照明した場合には、表層画像の信号値と深層画像の信号値とが大きく異なると、表層画像と深層画像とで画像全体の色味が大きく異なる。したがって、例えば、短波項と中波長光とを自動で切替えて照明した場合には、色味が違う画像が自動で切り替えられて表示されるため、見づらい画面となるおそれがある。また、診断時に注目する表層情報及び深層情報の視認性が低下するおそれがある。【０００７】
これらを防ぐために、オートホワイトバランスのように、基準の色に常に色調を合わせると、正常粘膜と炎症を伴う粘膜とが同じ色調となり、正しい診断ができないおそれがある。また、あらかじめ、粘膜等による標準的な被写体を仮定し、複数波長の光で撮影した画像において、色調、および明るさが同等となるように、例えば、各波長の光に対して、予め設定した異なるゲイン係数によりホワイトバランス処理等を行うことにより対応することが考えられる。しかしながら、このように対応した場合であっても、観察部位の違い、個人差、炎症等の疾患の有無、または色素散布の有無等の被写体の変化により、標準的な被写体と分光反射率が異なり、複数波長の光で撮影したそれぞれの画像の明るさ、色調等が大きく異なるために、目的とする生体情報の差が認識しにくいとの問題が生じるおそれがある。【０００８】
本発明は、複数の光を切り替えて照明し、各光の照明により得られる複数の画像を切り替えて表示する場合において、被写体の変化に合わせて、各画像の明るさ、色調等を揃えつつ、各画像の違いを認識しやすい内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の内視鏡システムは、光源部と、光源制御部と、画像取得部と、ホワイトバランス部とを備える。光源部は、第１照明光と、第１照明光とは異なる発光スペクトルを有する第２照明光とを発光する。光源制御部は、第１照明光と第２照明光とを自動的に切り替えて発光する制御を行う光源制御部であって、第１照明光を発光する発光期間と第２照明光を発光する発光期間は、それぞれ少なくとも１フレーム以上の発光期間である。画像取得部は、第１照明光の発光期間において第１照明光により照明された被写体を撮像して得られる第１画像信号を含む第１画像信号群と、第２照明光の発光期間において第２照明光により照明された被写体を撮像して得られる第２画像信号を含む第２画像信号群とを取得する。ホワイトバランス部は、第１画像信号に第１ゲイン係数をかけ合わせ、第２画像信号に第２ゲイン係数をかけ合わせてホワイトバランス処理を行う。ホワイトバランス部は、第１ゲイン係数と第２ゲイン係数の少なくともいずれかを補正した補正ゲイン係数を用いて、ホワイトバランス処理を行う。【００１０】
ホワイトバランス部は、補正無しの固定の第２ゲイン係数を用いて、ホワイトバランス処理を行うことが好ましい。【００１１】
第１画像信号または第２画像信号は、青色信号、赤色信号、及び緑色成分を含み、第１画像の信号値または第２画像の信号値は、青色信号値、赤色信号値、及び緑色信号値からなることが好ましい。【００１２】
ホワイトバランス部は、第１ゲイン係数または第２ゲイン係数を、青色信号値、赤色信号値、及び緑色信号値のそれぞれについて定めることが好ましい。【００１３】
第１ゲイン係数を補正する場合において、取得期間ＰＮ（Ｎは整数）の第１画像信号群に含まれる第１画像信号に対して用いる取得期間ＰＮの第１ゲイン係数は、取得期間ＰＮの直前の取得期間ＰＮ−２の第１画像信号に対して用いた取得期間ＰＮ−２の第１ゲイン係数を補正した補正第１ゲイン係数であることが好ましい。【００１４】
第１ゲイン係数を補正する場合において、取得期間ＰＮよりも前の複数の取得期間ＰＮ−Ｋ（Ｋは２以上の偶数）の第１画像信号群に含まれる第１画像信号に対して用いる複数の取得期間ＰＮ−Ｋの第１ゲイン係数は、少なくとも一部はそれぞれ補正された補正ゲイン係数であり、取得期間ＰＮの第１画像信号群に含まれる第１画像信号に対して用いる取得期間ＰＮの第１ゲイン係数は、複数の取得期間ＰＮ−Ｋの第１ゲイン係数に対して、それぞれ重み付け係数をかけて加算された値であり、重み付け係数は、取得期間ＰＮに近いほど大きいことが好ましい。【００１５】
複数の取得期間ＰＮ−Ｋの第１ゲイン係数は、各取得期間ＰＮ−Ｋにおいてホワイトバランス処理で用いられていることが好ましい。【００１６】
第１ゲイン係数または第２ゲイン係数の補正には、第１ゲイン係数および第２ゲイン係数のうち少なくとも一方を補正するための補正係数が用いられ、補正係数は、第１画像信号群に基づく演算により得られる第１演算値と、第２画像信号群に基づく演算により得られる第２演算値とを用いて算出することが好ましい。【００１７】
第１演算値は、第１画像信号群に含まれる第１画像信号において、第１画像信号の信号値を平均して得られる第１画像信号値平均のそれぞれを加算平均して得られ、第２演算値は、第２画像信号群に含まれる第２画像信号において、第２画像信号の信号値を平均して得られる第２画像信号値平均のそれぞれを加算平均して得られることが好ましい。【００１８】
第１画像信号または第２画像信号において、血管または病変部分の画像信号を検出して異常画像信号とする検出部を備え、第１画像信号値平均または第２画像信号値平均は、それぞれ異常画像信号以外の第１画像信号の信号値また記第２画像信号の信号値を用いることにより得られることが好ましい。【００１９】
第１画像信号または第２画像信号において、異常画素部分の画像信号を検出して異常画像信号とする検出部を備え、第１画像信号値平均または第２画像信号値平均は、それぞれ異常画像信号以外の第１画像信号の信号値または第２画像信号の信号値を用いることにより得られることが好ましい。【００２０】
補正係数は、第１演算値と第２演算値の比であることが好ましい。【００２１】
取得期間ＰＮの第１ゲイン係数は、取得期間ＰＮ−２の第１画像信号群に含まれる第１画像信号に対して用いた第１ゲイン係数に、取得期間ＰＮ−２における第１演算値と取得期間ＰＮ−１における第２演算値との比の値をかけ合わせた値であることが好ましい。【００２２】
取得期間ＰＮの第１ゲイン係数と、取得期間ＰＮ−２の第１画像信号群に含まれる第１画像信号に対して用いた第１ゲイン係数との差が、予め設定した閾値以下の場合は、取得期間ＰＮの第１ゲイン係数の補正を行わないことが好ましい。【００２３】
取得期間ＰＮの第１ゲイン係数と、取得期間ＰＮ−２の第１画像信号群に含まれる第１画像信号に対して用いた第１ゲイン係数との差が、予め設定した閾値以上の場合は、取得期間ＰＮの第１ゲイン係数の補正を行わないことが好ましい。【００２４】
第１照明光は、紫色光、緑色光、及び赤色光を含み、第２照明光は、青色光、緑色光及び赤色光を含み、光源制御部は、第１照明光と第２照明光とが含む各色のそれぞれの発光量を、第１ゲイン係数または第２ゲイン係数に基づいて制御することが好ましい。【００２５】
光源制御部は、第１ゲイン係数または第２ゲイン係数に基づいて制御された発光量が、特定の閾値以下である場合、予め設定された最低発光量まで発光量を増加させることが好ましい。【００２６】
画像処理部は、第１画像信号により第１表示用観察画像を生成し、かつ、第２画像信号により第２表示用観察画像を生成し、第１表示用観察画像は表層血管が強調されており、第２表示用観察画像は表層血管よりも深い位置にある中深層血管が強調されていることが好ましい。
【発明の効果】
【００２７】
本発明によれば、複数の光を切り替えて照明し、各光の照明により得られる複数の画像を切り替えて表示する場合において、被写体の変化に合わせて、各画像の明るさ、色調等を揃えつつ、各画像の違いを認識しやすい内視鏡システムを提供することができる。
【図面の簡単な説明】
【００２８】
【図１】内視鏡システムの外観図である。
【図２】内視鏡システムの機能を示すブロック図である。
【図３】紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの発光スペクトルを示すグラフである。
【図４】紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む第１照明光の発光スペクトルを示すグラフである。
【図５】紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む第２照明光の発光スペクトルを示すグラフである。
【図６】第１照明光の発光期間と第２照明光の発光期間を示す説明図である。
【図７】発光期間設定メニューを示す説明図である。
【図８】撮像センサに設けられたＢフィルタ、Ｇフィルタ、Ｒフィルタの分光透過率である。
【図９】第１画像信号群および第２画像信号群の取得について、時系列により説明する説明図である。
【図１０】ＤＳＰの機能を示すブロック図である。
【図１１】特殊画像処理部の機能を示すブロック図である。
【図１２】第１特殊観察画像（第１画像）を示す画像図である。
【図１３】第１照明光を照明した場合に得られる紫及び青色光画像と緑及び赤色光画像を示す説明図である。
【図１４】第２特殊観察画像（第２画像）を示す画像図である。
【図１５】第２照明光を照明した場合に得られる紫及び青色光画像と緑及び赤色光画像を示す説明図である。
【図１６】取得期間Ｐ５における補正第１ゲイン係数の一例を説明する説明図である。
【図１７】取得期間Ｐ５における補正第１ゲイン係数の別の一例を説明する説明図である。
【図１８】第１画像信号値平均及び第２画像信号値平均を説明する説明図である。
【図１９】補正係数の一例を説明する説明図である。
【図２０】補正係数の別の一例を説明する説明図である。
【図２１】第１赤色狭帯域光を含む第１照明光の発光スペクトルを示すグラフである。
【図２２】第２赤色狭帯域光を含む第２照明光の発光スペクトルを示すグラフである。
【発明を実施するための形態】
【００２９】
図１に示すように、本実施形態の内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８（表示部）と、ユーザーインターフェース１９とを有する。内視鏡１２は光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。内視鏡１２は、被検体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられる湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作に伴って、先端部１２ｄが所望の方向に向けられる。なお、ユーザーインターフェース１９は図示したキーボードの他、マウスなどが含まれる。
【００３０】
また、操作部１２ｂには、アングルノブ１２ｅの他、モード切替ＳＷ１３ａ、静止画取得指示部１３ｂが設けられている。モード切替ＳＷ１３ａは、通常観察モードと、第１特殊観察モードと、第２特殊観察モードと、マルチ観察モードとの切替操作に用いられる。通常観察モードは、通常画像をモニタ１８上に表示するモードである。第１特殊観察モードは、表層血管などの表層情報を強調した第１特殊観察画像をモニタ１８上に表示するモードである。第２特殊観察モードは、深層血管などの深層情報を強調した第２特殊観察画像をモニタ１８上に表示するモードである。マルチ観察モードは、第１特殊観察画像（以下、第１画像という）と第２特殊観察画像（以下、第２画像という）とを自動的に切り替えてモニタ１８に表示するモードである。なお、モードを切り替えるためには、モード切替ＳＷ１３ａの他に、フットスイッチ等を用いてもよい。
【００３１】
プロセッサ装置１６は、モニタ１８及びユーザーインターフェース１９と電気的に接続される。モニタ１８は、画像情報等を出力表示する。ユーザーインターフェース１９は、機能設定等の入力操作を受け付けるＵＩ（User Interface：ユーザーインターフェース）として機能する。なお、プロセッサ装置１６には、画像情報等を記録する外付けの記録部（図示省略）を接続してもよい。
【００３２】
図２に示すように、光源装置１４は、光源部２０と、光源制御部２１と、光路結合部２３と、発光期間設定部２４とを有している。光源部２０は、Ｖ−ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ−ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ−ＬＥＤ（Green Light Emitting Diode）２０ｃ、Ｒ−ＬＥＤ（Red Light Emitting Diode）２０ｄを有している。光源制御部２１は、ＬＥＤ２０ａ〜２０ｄの駆動を制御する。光路結合部２３は、４色のＬＥＤ２０ａ〜２０ｄから発せられる４色の光の光路を結合する。光路結合部２３で結合された光は、挿入部１２ａ内に挿通されたライトガイド４１及び照明レンズ４５を介して、被検体内に照射される。なお、ＬＥＤの代わりに、ＬＤ（Laser Diode）を用いてもよい。発光期間設定部２４は、複数の照明光のそれぞれの発光期間を設定する。
【００３３】
図３に示すように、Ｖ−ＬＥＤ２０ａは、中心波長４０５±１０ｎｍ、波長範囲３８０〜４２０ｎｍの紫色光Ｖを発生する。Ｂ−ＬＥＤ２０ｂは、中心波長４６０±１０ｎｍ、波長範囲４２０〜５００ｎｍの青色光Ｂを発生する。Ｇ−ＬＥＤ２０ｃは、波長範囲が４８０〜６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ−ＬＥＤ２０ｄは、中心波長６２０〜６３０ｎｍで、波長範囲が６００〜６５０ｎｍに及ぶ赤色光Ｒを発生する。
【００３４】
光源制御部２１は、Ｖ−ＬＥＤ２０ａ、Ｂ−ＬＥＤ２０ｂ、Ｇ−ＬＥＤ２０ｃ、及びＲ−ＬＥＤ２０ｄを制御する。また、光源制御部２１は、通常観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる通常光を発光するように、各ＬＥＤ２０ａ〜２０ｄを制御する。
【００３５】
また、光源制御部２１は、第１特殊観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１となる第１照明光を発光するように、各ＬＥＤ２０ａ〜２０ｄを制御する。光強度比Ｖｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１は、第１照明光の光量条件に対応する。第１照明光は、表層血管を強調することが好ましい。そのため、第１照明光は、紫色光Ｖの光強度を青色光Ｂの光強度よりも大きくすることが好ましい。例えば、図４に示すように、紫色光Ｖの光強度Ｖｓ１と青色光Ｂの光強度Ｂｓ１との比率を「４：１」とする。
【００３６】
なお、本明細書において、光強度比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光強度比を有するものとする。
【００３７】
また、光源制御部２１は、第２特殊観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２となる第２照明光を発光するように、各ＬＥＤ２０ａ〜２０ｄを制御する。光強度比Ｖｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２は、第２照明光の光量条件に対応する。第２照明光は、深層血管を強調することが好ましいい。そのため、第２照明光は、青色光Ｂの光強度を紫色光Ｖの光強度よりも大きくすることが好ましい。例えば、図５に示すように、紫色光Ｖの光強度Ｖｓ２と青色光Ｂの光強度Ｂｓ２との比率を「１：３」とする。
【００３８】
光源制御部２１は、マルチ観察モードに設定されている場合には、第１照明光と第２照明光とをそれぞれ第１期間と第２期間の発光期間にて発光し、且つ、第１照明光と第２照明光とを自動的に切り替えて発光する制御を行う。第１期間と第２期間とは、それぞれ少なくとも１フレーム以上の発光期間を有する。
【００３９】
より具体的には、例えば、図６に示すように、光源制御部２１は、第１期間を４フレームとし、第２期間を４フレームとした場合、第１照明光が４フレーム続けて発光した後に、第２照明光が４フレーム続けて発光される。そして、この発光パターンを繰り返し行う。
【００４０】
なお、「フレーム」とは、観察対象を撮像する撮像センサ４８（図２参照）を制御するための単位をいい、例えば、「１フレーム」とは、観察対象からの光で撮像センサ４８を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間のことをいう。本実施形態においては、撮像の単位である「フレーム」に対応して第１期間または第２期間がそれぞれ定められている。
【００４１】
第１照明光の発光期間である第１期間と第２照明光の発光期間である第２期間は、光源制御部２１に接続された発光期間設定部２４によって、適宜変更が可能である。ユーザーインターフェース１９の操作により、発光期間の変更操作を受け付けると、発光期間設定部２４は、図７に示すような発光期間設定メニューをモニタ１８上に表示する。第１期間は、例えば、２フレームから１０フレームの間で変更可能である。各発光期間については、スライドバー２６ａ上に割り当てられている。
【００４２】
第１期間を変更する場合には、ユーザーインターフェース１９を操作して、スライドバー２６ａ上の変更したい発光期間を示す位置にスライダ２７ａを合わせることで、第１期間が変更される。第２期間についても、ユーザーインターフェース１９を操作して、スライドバー２６ｂ上の変更したい発光期間を示す位置にスライダ２７ｂを合わせることで、第２期間が変更される。なお、スライドバー２６ｂも、例えば、２フレームから１０フレームの発光期間が割り当てられている。
【００４３】
図２に示すように、ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコード）内に内蔵されており、光路結合部２３で結合された光を内視鏡１２の先端部１２ｄまで伝搬する。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用することができる。
【００４４】
内視鏡１２の先端部１２ｄには、照明光学系３０aと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４５を有しており、この照明レンズ４５を介して、ライトガイド４１からの光が観察対象に照射される。撮像光学系３０ｂは、対物レンズ４６及び撮像センサ４８を有している。観察対象からの反射光は、対物レンズ４６を介して、撮像センサ４８に入射する。これにより、撮像センサ４８に観察対象の反射像が結像される。
【００４５】
撮像センサ４８はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ４８は、ＣＣＤ(Charge Coupled Device）撮像センサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）撮像センサ等であることが好ましい。本発明で用いられる撮像センサ４８は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３色のＲＧＢ画像信号を得るためのカラーの撮像センサ、即ち、Ｒフィルタが設けられたＲ画素、Ｇフィルタが設けられたＧ画素、Ｂフィルタが設けられたＢ画素を備えた、いわゆるＲＧＢ撮像センサである。
【００４６】
図８に示すように、Ｂフィルタ４８ｂは、紫色帯域の光、青色帯域の光、及び緑色帯域の光のうち短波側の光を透過させる。Ｇフィルタ４８ｇは、緑色帯域の光、青色帯域の光の長波側の光、及び赤色帯域の光の短波側の光を透過させる。Ｒフィルタ４８ｒは、赤色帯域の光、緑色帯域の長波側の光を透過させる。したがって、撮像センサ４８のうち、Ｂ画素は紫色光Ｖ及び青色光Ｂに感度を有し、Ｇ画素は青色光Ｂ、緑色光Ｇ、及び赤色光Ｒに感度を有し、Ｒ画素は緑色光Ｇ及び赤色光Ｒに感度を有している。
【００４７】
なお、撮像センサ４８としては、ＲＧＢのカラーの撮像センサの代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力されるため、補色−原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換する必要がある。また、撮像センサ４８はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部２１は青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
【００４８】
図２に示すように、撮像センサ４８から出力される画像信号は、ＣＤＳ／ＡＧＣ回路５０に送信される。ＣＤＳ／ＡＧＣ回路５０は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ／ＡＧＣ回路５０を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog /Digital）コンバータ）５２により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、プロセッサ装置１６に入力される。
【００４９】
プロセッサ装置１６は、画像取得部５２と、ＤＳＰ（Digital Signal Processor）５４と、ノイズ除去部５８と、信号切替部６０と、通常観察画像処理部６２と、特殊観察画像処理部６３と、表示制御部６４と、静止画保存部６５と、静止画保存制御部６６とを備えている。
【００５０】
画像取得部５２は、内視鏡１２において観察対象を撮像することにより得られた観察画像を取得する。具体的には、観察画像として、内視鏡１２からのデジタルのカラー画像信号が画像取得部５２に入力される。カラー画像信号は、撮像センサ４８のＲ画素から出力される赤色信号と、撮像センサ４８のＧ画素から出力される緑色信号と、撮像センサ４８のＢ画素から出力される青色信号とから構成される。
【００５１】
図９に示すように、画像取得部５２は、第１期間ＰＬ１において第１画像信号群を取得する。第１画像信号群は、第１期間ＰＬ１において第１照明光Ｌ１により照明された被写体を撮像した複数の第１画像信号ＳＰ１を含む。また、画像取得部５２は、第２期間ＰＬ２において第２画像信号群を取得する。第２画像信号群は、第２期間ＰＬ２において第２照明光Ｌ２により照明された被写体を撮像した複数の第２画像信号ＳＰ２を含む。本実施形態では、マルチ観察モードに設定されている場合には、光源制御部２１は、第１照明光Ｌ１と第２照明光Ｌ２とをそれぞれ第１期間ＰＬ１と第２期間ＰＬ２の発光期間にて発光し、且つ、第１照明光Ｌ１と第２照明光Ｌ２とを自動的に切り替えて発光する制御を行うため、画像取得部５２は、時間の経過により、第１画像信号群、第２画像信号群の順に、周期的に画像を取得する。
【００５２】
第１期間ＰＬ１と第２期間ＰＬ２とは、それぞれ少なくとも１フレーム以上の発光期間を有するため、第１画像信号群と第２画像信号群とは、それぞれ少なくとも１つ以上の第１画像信号ＳＰ１と第２画像信号ＳＰ２とを含む。本実施形態では、第１期間ＰＬ１と第２期間ＰＬ２とは、どちらも４フレームの発光期間である。したがって、第１期間ＰＬ１では、４つの第１画像信号ＳＰ１を含む第１画像信号群が取得され、第２期間ＰＬ２では、４つの第２画像信号ＳＰ２を含む第２画像信号群が取得される。
【００５３】
ＤＳＰ５６は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ホワイトバランス処理、リニアマトリクス処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。また、図１０に示すように、ＤＳＰ５４は、ホワイトバランス部５５を備える。また、ホワイトバランス部５５は、補正係数算出部５６を備える。
【００５４】
欠陥補正処理では、撮像センサ４８の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ホワイトバランス部５５は、第１画像信号に第１ゲイン係数をかけ合わせて、また、第２画像信号に第２ゲイン係数をかけ合わせて、ホワイトバランス処理を行う。第１ゲイン係数とは、第１画像信号にかけ合わせるゲイン係数を、また、第２ゲイン係数とは、第２画像信号にかけ合わせるゲイン係数を意味する。ホワイトバランス処理では、オフセット処理後の画像信号にゲインを乗じることにより信号レベルが整えられる。補正係数算出部５６は、第１ゲイン係数および第２ゲイン係数のうち少なくとも一方を補正するための補正係数を算出する。ホワイトバランス処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理（等方化処理、同時化処理とも言う）が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素が各色の信号を有するようになる。
【００５５】
ノイズ除去部５８は、ＤＳＰ５６でガンマ補正等が施された画像信号に対してノイズ除去処理（例えば移動平均法やメディアンフィルタ法等）を施すことによって、画像信号からノイズを除去する。ノイズが除去された画像信号は、信号切替部６０に送信される。
【００５６】
信号切替部６０は、モード切替ＳＷ１３ａにより、通常観察モードにセットされている場合には、通常光の照明及び撮像で得られた通常光用画像信号を通常観察画像処理部６２に送信する。図１１に示すように、特殊観察画像処理部６３は、第１特殊観察画像処理部６７、第２特殊観察画像処理部６８、及び検出部６９を含む。そして、第１特殊観察モードにセットされている場合には、第１照明光の照明及び撮像で得られた第１画像信号を第１特殊観察画像処理部６７に送信する。第１画像信号には、撮像センサのＲ画素から出力される第１赤色信号と、撮像センサ４８のＧ画素から出力される第１緑色信号と、撮像センサ４８のＢ画素から出力される第１青色信号が含まれる。また、第２特殊観察モードにセットされている場合には、第２照明光の照明及び撮像で得られた第２画像信号を第２特殊観察画像処理部６３に送信する。第２画像信号には、撮像センサのＲ画素から出力される第２赤色信号と、撮像センサ４８のＧ画素から出力される第２緑色信号と、撮像センサ４８のＢ画素から出力される第２青色信号が含まれる。また、マルチ観察モードにセットされている場合には、第１照明光の照明及び撮像で得られた第１画像信号は第１特殊観察画像処理部６７に送信され、第２照明光の照明及び撮像で得られた第２画像信号は第２特殊観察画像処理部６３に送信される。
【００５７】
通常観察画像処理部６２は、通常観察モード時に得られたＲＧＢ画像信号に対して、通常画像用の画像処理を施す。通常画像用の画像処理には、通常画像用の構造強調処理などが含まれる。通常観察画像処理部６２では、通常画像用の画像処理を行うために、ＲＧＢ画像信号に対して掛け合わされる通常画像用パラメータが設けられている。通常画像用の画像処理が施されたＲＧＢ画像信号は、通常画像として、通常観察画像処理部６２から表示制御部６４に入力される。
【００５８】
第１特殊観察画像処理部６７は、第１画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理が行われた第１画像を生成する。第１画像では、表層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。第１特殊観察画像処理部６７では、第１画像の画像処理を行うために、第１画像信号に対して掛け合わされる第１画像用のパラメータが設けられている。なお、第１特殊観察画像処理部６７では、表層血管を強調する表層血管強調処理は行わないが、処理負荷の状況によっては、表層血管強調処理を行うようにしてもよい。
【００５９】
第１画像により、図１２に示すように、観察対象のうち背景粘膜ＢＭ、及び、表層血管ＶＳ１が表された画像が表示される。第１画像は、紫色光、青色光、緑色光、及び赤色光を含む第１照明光に基づいて得られる。図１３に示すように、第１照明光Ｌ１が観察対象に照明されると、第１照明光Ｌ１のうち紫色光及び青色光Ｖ／Ｂは、表層血管ＶＳ１が分布する表層にまで深達する。なお、図１３において、紙面上方から第１照明光Ｌ１が観察対象に照明され、紙面下方が観察対象の深さ方向Ｄである。第１照明光では紫色光Ｖの光強度が青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光強度より強いため、紫色光Ｖの反射光に基づいて得られる紫色光画像ＶＰに含まれる表層血管ＶＳ１の像が強調される。なお、ここでは、紫色光Ｖの光強度が青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光強度より強いことから、紫色光画像ＶＰとする。また、第１照明光Ｌ１のうち赤色光Ｒは、表層血管ＶＳ１及び深層血管ＶＳ２（表層血管ＶＳ１よりも深い位置にある血管）よりもさらに深い位置に分布する背景粘膜ＢＭにまで深達する。したがって、赤色光Ｒの反射光に基づいて得られる赤色光画像ＲＰには、背景粘膜ＢＭの像が含まれる。以上から、第１画像は紫色光画像ＶＰと赤色光画像ＲＰを組み合わせた画像であるため、背景粘膜ＢＭ及び表層血管ＶＳ１の像が表示される。
【００６０】
第２特殊観察画像処理部６８は、第２画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理が行われた第２画像を生成する。第２画像では、深層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。第２特殊観察画像処理部６８では、第２画像の画像処理を行うために、第２画像信号に対して掛け合わされる第２画像用のパラメータが設けられている。なお、第２特殊観察画像処理部６８では、深層血管を強調する表層血管強調処理は行わないが、処理負荷の状況によっては、深層血管強調処理を行うようにしてもよい。
【００６１】
第２画像により、図１４に示すように、観察対象のうち背景粘膜ＢＭ、及び、深層血管ＶＳ２が表された画像が表示される。第２画像は、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む第２照明光に基づいて得られる。図１５に示すように、第２照明光Ｌ２のうち緑色光Ｇは、深層血管ＶＳ２が分布する深層にまで深達する。なお、図１４において、紙面上方から第１照明光Ｌ１が観察対象に照明され、紙面下方が観察対象の深さ方向Ｄである。第２照明光Ｌ２では緑色光Ｇの光強度が青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光強度より強いので、緑色光Ｇの反射光に基づいて得られる緑色光画像ＧＰに含まれる深層血管ＶＳ２の像が強調される。なお、ここでは、緑色光Ｇの光強度が強いことから、緑色光画像ＧＰとする。また、第２照明光Ｌ２のうち赤色光Ｒは、表層血管ＶＳ１及び深層血管ＶＳ２（表層血管ＶＳ１よりも深い位置にある血管）よりもさらに深い位置に分布する背景粘膜ＢＭにまで深達する。したがって、赤色光Ｒの反射光に基づいて得られる赤色光画像ＲＰには、背景粘膜ＢＭの像が含まれる。以上から、第２画像は赤色光画像ＲＰを組み合わせた画像であるため、背景粘膜ＢＭ及び深層血管ＶＳ２の像が表示される。
【００６２】
以上のように、本実施形態では、第１画像信号により第１特殊観察画像を生成し、かつ、第２画像信号により第２特殊観察画像を生成し、第１特殊観察画像は表層血管が強調されており、第２特殊観察画像は表層血管よりも深い位置にある中深層血管が強調されることが好ましい。
【００６３】
検出部６９は、通常画像、第１画像及び第２画像により、血管または病変を検出する。上記のとおり、第１画像は、表層血管ＶＳ１が表された画像であり、第２画像は、深層血管ＶＳ２が表された画像であるため、画像処理により、これらの血管を検出することができる。また、検出部６９は、第１画像または第２画像における異常部分を検出し、異常画像信号とする。血管または病変の検出結果は、ホワイトバランス部５５または光源制御部２１に送られる。
【００６４】
表示制御部６４は、通常観察画像処理部６２または特殊観察画像処理部６３から入力された通常画像、第１画像、および／または第２画像を、モニタ１８で表示可能な画像として表示するための制御を行う。表示制御部６４による制御によって、各観察モードに応じた画像が表示される。通常観察モードの場合には、通常画像がモニタ１８に表示される。また、第１特殊観察モードの場合には、第１画像（図１２参照）がモニタ１８に表示される。また、第２特殊観察モードの場合には、第２画像（図１４参照）がモニタ１８に表示される。
【００６５】
また、マルチ観察モードの場合には、第１照明光の発光期間と第２照明光の発光期間に合わせて、カラーの第１画像と第２画像が切り替えてモニタ１８に表示される。即ち、第１期間が４フレームで、第２期間が４フレームである場合には、第１表示用観察画像が４フレーム続けて表示され、かつ、第２表示用観察画像が４フレーム続けて表示される。
【００６６】
以上のように、マルチ観察モードにおいては、ユーザーによるモード切替ＳＷ１３ａの操作を行うことなく、２種類の第１画像と第２画像を自動的に切り替えて表示することができる。このように自動的に切り替えて表示することで、観察対象に動き又は内視鏡１２の先端部１２ｄに動きが無い限り、第１画像と第２画像とでは同一の観察対象が表示される。ただし、第１画像と第２画像とでは同一の観察対象であっても、それぞれ分光情報が異なっているため、分光情報の違いにより観察対象の見え方は異なっている。即ち、第１画像では表層血管の視認性が高くなっている一方、第２画像では深層血管の視認性が高くなっている。したがって、第１画像と第２画像とを切り替えて表示することによって、深さが異なる複数の血管に対する視認性の向上を図ることができる。
【００６７】
なお、本実施形態では、通常観察モード、第１特殊観察モード、第２特殊観察モード、及び、第１特殊観察モードと第２特殊観察モードとを切替えるマルチ観察モードとを備えるが、通常観察モード、第１特殊観察モードと第２特殊観察モードとを切替えるマルチ観察モードに加え、これらの観察モードとは異なる複数の観察モードを備えても良い。この場合は、より多角的に被写体を観察することができる。
【００６８】
静止画保存制御部６６は、静止画取得指示部１３ｂの指示に従って、その静止画取得指示のタイミングで得られた画像を静止画として静止画保存部６５に保存する制御を行う。通常観察モードの場合であれば、静止画取得指示のタイミングで得られた通常画像を静止画として静止画保存部６５に保存する。第１特殊観察モードの場合であれば、静止画取得指示のタイミングで得られた第１特殊観察画像を静止画として静止画保存部６５に保存する。第２特殊観察モードの場合であれば、静止画取得指示のタイミングで得られた第２特殊観察画像を静止画として静止画保存部６５に保存する。また、マルチ観察モードの場合であれば、静止画取得指示のタイミングで得られた第１特殊観察画像と第２特殊観察画像の１セットの表示用観察画像を静止画保存部６５に保存する。
【００６９】
次に、ホワイトバランス処理について、以下に詳説する。ホワイトバランス部５５は、第１ゲイン係数と第２ゲイン係数の少なくともいずれかを補正した補正ゲイン係数を用いて、ホワイトバランス処理を行う。第１ゲイン係数を補正した場合は、補正第１ゲイン係数を用い、また、第２ゲイン係数を補正した場合は、補正第２ゲイン係数を用いる。補正は、各種データを用いて算出した特定の係数をかけ合わせてもよい。算出については、その都度算出してもよいし、一定の期間を設定し、その期間毎に算出してもよい。
【００７０】
したがって、ゲイン係数として、第１ゲイン係数と第２ゲイン係数の少なくともいずれかを補正した補正ゲイン係数を用いるため、第１照明光による第１画像信号と第２照明光による第２画像信号とによる画像を切り替えて表示する場合において、被写体の変化に合わせて、各画像の明るさ、色調等を揃えつつ、各画像の違いを認識しやすい内視鏡システムを提供することができる。
【００７１】
本実施形態では、ホワイトバランス部５５は、補正なしの固定の第２ゲイン係数を用いて、ホワイトバランス処理を行う。この場合、第１ゲイン係数を補正する。これにより、第２画像信号の色調が変化して、例えば、第１画像信号と第２画像信号で、正常粘膜と炎症を伴う粘膜が同じ色調となることが避けられる。しかも、第１画像信号の色調は、第２画像信号の色調に合わせられる。したがって、第１画像信号と第２画像信号との違いを保ちつつ、例えば、正常粘膜と炎症を伴う粘膜等の色調の違いを保つことができ、より正しい診断を行うことができる。
【００７２】
本実施形態では、第１画像信号または第２画像信号は、青色信号、赤色信号、及び緑色成分を含み、第１画像信号の信号値または第２画像信号の信号値は、青色信号値、赤色信号値、及び緑色信号値からなる。また、ホワイトバランス部５５は、第１ゲイン係数または第２ゲイン係数を、青色信号値、赤色信号値、及び緑色信号値のそれぞれについて定める。
【００７３】
本実施形態では、第１ゲイン係数を補正する場合において、ある取得期間ＰＮ（Ｎは整数）の第１画像信号群に含まれる第１画像信号に対して用いる取得期間ＰＮの第１ゲイン係数は、取得期間ＰＮの直前の取得期間ＰＮ−２の第１画像信号に対して用いた第１ゲイン係数を補正した補正第１ゲイン係数ＡＲｎを用いる。取得期間ＰＮは、特定の第１期間ＰＬ１または第２期間ＰＬ２を指す。本実施形態では、Ｎが奇数の場合は、第１画像信号群を取得する取得期間であり、Ｎが偶数の場合は、第２画像信号群を取得する取得期間である。
【００７４】
図１６を用いて補正第１ゲイン係数ＡＲｎを説明する。図１６の矢印で示す任意の第１期間ＰＬ１である取得期間Ｐ５に対し、取得期間Ｐ５の直前の第２期間ＰＬ２を取得期間Ｐ４、取得期間Ｐ４の直前の第１期間ＰＬ１を取得期間Ｐ３とする。取得期間Ｐ３の前は、取得期間Ｐ２、取得期間Ｐ１、取得期間Ｐ５の後は取得期間Ｐ６、取得期間Ｐ７と、順に続く。取得期間ＰＮに含まれる第１画像信号ＳＰ１Ｎの赤色信号値に対する第１ゲイン係数を第１ゲイン係数ＲＮ、緑色信号値に対する第１ゲイン係数を第１ゲイン係数ＧＮ、及び青色信号値に対する第１ゲイン係数を第１ゲイン係数ＢＮとするので、取得期間Ｐ５に含まれる第１画像信号ＳＰ１５の赤色信号値に対する第１ゲイン係数は、第１ゲイン係数Ｒ５、緑色信号値に対する第１ゲイン係数は、第１ゲイン係数Ｇ５、及び青色信号値に対する第１ゲイン係数は、第１ゲイン係数Ｂ５である。また、Ｎが奇数の場合の取得期間ＰＮにおいて取得された画像信号が、第１画像信号ＳＰ１Ｎである。同様に、Ｎが偶数の場合の取得期間ＰＮにおいて取得された画像信号が、第２画像信号ＳＰ２Ｎである。取得期間ＰＮにおいて、Ｎが奇数の場合は第１画像信号群を取得する第１期間ＰＬ１であり、Ｎが偶数の場合は第２画像信号群を取得する第２期間ＰＬ２である。以下、主に赤色信号値に対する第１ゲイン係数ＲＮを代表として説明を行うが、緑色信号値に対する第１ゲイン係数ＧＮ、及び青色信号値に対する第１ゲイン係数ＢＮについても同様である。
【００７５】
第１ゲイン係数を補正する場合について説明する。例えば、Ｎ＝５の場合、取得期間ＰＮにおいて、赤色信号値については、図１６の矢印に示すように、取得期間Ｐ５の第１画像信号群に含まれる第１画像信号ＳＰ１５に対して用いる取得期間Ｐ５の第１ゲイン係数Ｒ５は、取得期間Ｐ５の直前の第１画像信号を取得する取得期間Ｐ３の第１画像信号に対して用いた第１ゲイン係数Ｒ３を補正した補正第１ゲイン係数ＡＲ５を用いる。補正ゲイン係数ＡＲＮは、ゲイン係数ＲＮが補正されたものであることを示す。したがって、ゲイン係数ＲＮとして補正されたゲイン係数ＲＮを用いる場合は、ゲイン係数ＲＮは補正ゲイン係数ＡＲＮと同じである。
【００７６】
上記したとおり、緑色信号値及び青色信号値についても、それぞれ同様である。したがって、緑色信号値については、取得期間Ｐ５の第１画像信号群に含まれる第１画像信号ＳＰ１５に対して用いる取得期間Ｐ５の第１ゲイン係数Ｇ５は、取得期間Ｐ５の直前の第１画像信号を取得する取得期間Ｐ３の第１画像信号に対して用いた第１ゲイン係数Ｇ３を補正した補正第１ゲイン係数ＡＧ５を用いる。また、青色信号値については、取得期間Ｐ５の第１画像信号群に含まれる第１画像信号ＳＰ１５に対して用いる取得期間Ｐ５の第１ゲイン係数Ｂ５は、取得期間Ｐ５の直前の第１画像信号を取得する取得期間Ｐ３の第１画像信号に対して用いた第１ゲイン係数Ｂ３を補正した補正第１ゲイン係数ＡＢ５を用いる。
【００７７】
以上のように、取得期間ＰＮに取得された第１画像信号ＳＰ１Ｎにおいては、複数の光を切り替えて照明し、各光の照明により得られる複数の画像を切り替えて表示する場合において、補正第１ゲイン係数ＡＲＮ、ＡＧＮ、及びＡＢＮを用いるため、安定した色調および明るさの画像を得ることができる。
【００７８】
本実施形態では、第１ゲイン係数ＲＮの補正には、第１ゲイン係数ＲＮを補正するための補正係数ＷＮを用いる。補正係数ＷＮは、第１画像信号群に基づく演算により得られる第１演算値と、第２画像信号群に基づく演算により得られる第２演算値とを用いて算出する。第１演算値は、第１画像信号群の信号値の代表値を表しており、第２演算値は、第２画像信号群の信号値の代表値を表す。補正係数ＷＮは、第１演算値と第２演算値の比であることが好ましい。第１及び第２演算値と補正係数ＷＮの詳細については後述する。なお、第２ゲイン係数の補正をする場合についても、同様の補正係数を用いて補正してもよい。
【００７９】
赤色信号に対する第１ゲイン係数ＲＮを補正するための補正係数をＷｒＮ、緑色信号に対する第１ゲイン係数ＧＮ、及び第１ゲイン係数ＢＮの補正係数を、それぞれＷｇＮ及びＷｂＮとする。取得期間ＰＮの直前の取得期間ＰＮ−２の第１画像信号に対して用いた第１ゲイン係数ＲＮ−２、ＧＮ−２、ＢＮ−２に、補正係数ＷｒＮ、ＷｇＮ及びＷｂＮをかけ合わせることにより補正する場合の補正第１ゲイン係数ＡＲＮ、ＡＧＮ、ＡＢＮは、以下の式（１）〜（３）となる。
【００８０】
ＡＲＮ＝ＷｒＮ＊ＲＮ−２    （１）
ＡＧＮ＝ＷｇＮ＊ＧＮ−２    （２）
ＡＢＮ＝ＷｂＮ＊ＢＮ−２    （３）
【００８１】
第１ゲイン係数ＲＮの補正は上記のように行われるため、第１ゲイン係数ＲＮが、第１画像信号群に基づく演算により得られる第１演算値、および第２画像信号群に基づく演算により得られる第２演算値を用いて算出した補正係数ＷｒＮで補正したものとなる。したがって、第２照明光Ｌ２による第２期間ＰＬ２と第１照明光Ｌ１による第１期間ＰＬ１とを、あわせて調整することとなるため、複数の光を切り替えて照明し、各光の照明により得られる複数の画像を切り替えて表示する場合に、被写体の変化に合わせて、各画像の色味を揃えつつ、各画像の違いを可視化することができる。
【００８２】
また、本実施形態では、第１ゲイン係数ＲＮを補正する場合において、すなわち、第１ゲイン係数として、補正の処理がされた補正第１ゲイン係数ＡＲＮを用いる場合において、取得期間ＰＮの直前の取得期間ＰＮ−２の第１画像信号に対して用いた第１ゲイン係数ＲＮ−２に加え、それより前の取得期間の第１ゲイン係数ＲＮを用いて補正してもよい。
【００８３】
より具体的には、取得期間ＰＮの第１ゲイン係数ＲＮは、複数の取得期間ＰＮ−Ｋの第１ゲイン係数ＲＮ−Ｋに対して、それぞれ重み付け係数をかけて加算した値としてもよい。Ｋは、２以上の偶数である。重み付け係数は、取得期間ＰＮに近いほど大きくすることが好ましい。
【００８４】
また、取得期間ＰＮよりも前の複数の取得期間ＰＮ−Ｋの第１ゲイン係数ＲＮ−Ｋは、少なくとも一部はそれぞれ補正された補正第１ゲイン係数ＡＲＮ−Ｋである。複数の取得期間ＰＮ−Ｋの第１ゲイン係数は、各取得期間ＰＮ−Ｋにおいてホワイトバランス処理で用いられている第１ゲイン係数であることが好ましい。したがって、この場合は、第１ゲイン係数ＲＮ−Ｋとして補正第１ゲイン係数ＡＲＮ−Ｋを用いるため、第１ゲイン係数ＲＮ−Ｋと補正第１ゲイン係数ＡＲＮ−Ｋとは等しい。なお、本実施形態では、取得期間ＰＮよりも前の複数の取得期間ＰＮ−Ｋの第１ゲイン係数ＲＮ−Ｋは、それぞれすべて補正の処理がされた補正第１ゲイン係数ＡＲＮ−Ｋであり、複数の取得期間ＰＮ−Ｋでは、ホワイトバランス処理で用いられている第１ゲイン係数ＲＮ−Ｋは、補正の処理がされた補正第１ゲイン係数ＡＲＮ−Ｋである。
【００８５】
このように第１ゲイン係数を補正する場合、例えば、取得期間ＰＮにおいて、Ｎ＝５の場合、赤色信号値については、図１７の矢印に示すように、取得期間Ｐ５の第１画像信号群に含まれる第１画像信号ＳＰ１５に対して用いる取得期間Ｐ５の第１ゲイン係数Ｒ５は、取得期間Ｐ５の直前の取得期間Ｐ３の第１画像信号ＳＰ１３に対して用いた第１ゲイン係数である補正第１ゲイン係数ＡＲ３と、取得期間Ｐ５の２回前の第１画像信号ＳＰ１１に対して用いた第１ゲイン係数である補正第１ゲイン係数ＡＲ１と、それ以前の第１画像信号ＳＰ１を取得する取得期間ＰＮがあれば、それぞれの補正第１ゲイン係数ＡＲＮと、複数の取得期間ＰＮの補正第１ゲイン係数ＡＲＮを用いる。用いる補正第１ゲイン係数ＡＲＮの個数は特に制限されない。したがって、取得期間Ｐ１以前については図示をしないが、例えば、取得期間Ｐ１の前に、取得期間Ｐ−１、Ｐ−３、…があれば、取得期間Ｐ−１、Ｐ−３、…の第１画像信号ＳＰ１に対して用いた補正第１ゲイン係数ＡＲＮである第１ゲイン係数ＡＲ−１、ＡＲ−３…を用いる。
【００８６】
重み付け係数については、取得期間ＰＮに近いほど大きくすることが好ましい。ここで、重み付け係数をαｎとし、取得期間ＰＮ−Ｋの第１ゲイン係数ＲＮ−Ｋ（Ｋは２以上の偶数）について、取得期間ＰＮ−２の補正第１ゲイン係数ＡＲＮ−２に対する重み付け係数をα１、取得期間ＰＮ−４の補正第１ゲイン係数ＡＲＮ−４に対する重み付け係数をα２と、番号を順次付す。取得期間ＰＮにおける第１ゲイン係数ＲＮは、数式にすると、以下の式（４）及び（５）とすることができる。ここで、Ｎは整数、ｎは自然数である。
【００８７】
【数１】
2020158165.tif 000003
【００８８】
なお、重み付け係数は、以上のように付す場合、重み付け係数αｎを全て足すと１となるようにする。式（４）において、重み付け係数αｎは、取得時期ＰＮに近い補正第１ゲイン係数ＡＲＮ−Ｋほど重い係数をかけることができる。したがって、例えば、α１を０．５とし、α２を０．２５、α３を０．１２５、と０．５のｎ乗とする。したがって、αｎについては数式（５）とすることができる。
【００８９】
本実施形態においては、例えば、取得期間Ｐ３の補正第１ゲイン係数ＡＲ３を重み付け係数α１の重みで、取得期間Ｐ１の補正第１ゲイン係数ＡＲ１を重み付け係数α２の重みで、取得期間Ｐ−１の補正第１ゲイン係数を重み付け係数α３の重みでそれぞれ重み付けを行うとすると、α１を０．５，α２を０．２５、α３を０．１２５、α４以下の重み付け係数を全て合わせると０．１２５、とするというように、取得期間ＰＮに近いほど重み付け係数を大きくする。
【００９０】
また、図１７において、例えば、取得期間Ｐ１が最初の取得期間ＰＮであるとすると、取得期間Ｐ５において取得される第１画像信号ＳＰ１５に対して用いられる第１ゲイン係数Ｒ５は、以下の式（６）となる。なお、α１は０．５、α２は０．５である。
【００９１】
【数２】
2020158165.tif 000004
【００９２】
以上のように、取得期間ＲＮの第１画像信号ＳＰ１Ｎに用いる第１ゲイン係数ＲＮを算出するために、１回前の取得期間ＰＮ−２の第１画像信号ＳＰ１に対するゲイン係数ＲＮ−２のみならず、それ以前の取得期間の複数の第１画像信号ＳＰ１に対するゲイン係数をも用いるため、急に色味または明るさが変化した被写体であってもゲイン係数が大きくかわることがなく、引き続いて同様の色味または明るさで観察することができる。したがって、複数の光を切り替えて照明し、各光の照明により得られる複数の画像を切り替えて表示する場合において、安定した色調および明るさの画像を得ることができる。なお、以上の実施形態では、主に、第１ゲイン係数について説明したが、第２ゲイン係数を補正する場合は、第１ゲイン係数と同様に行うことができる。
【００９３】
本実施形態では、補正係数の算出に第１演算値と第２演算値を用いても良い。補正係数の算出に用いられる第１演算値と第２演算値は、次のようにすることが好ましい。すなわち、第１演算値は、第１画像信号群に含まれる第１画像信号ＳＰ１において、第１画像信号ＳＰ１の信号値を平均して得られる第１画像信号値平均のそれぞれを加算平均して得られ、第２演算値は、第２画像信号群に含まれる第２画像信号ＳＰ２において、第２画像信号ＳＰ２の信号値を平均して得られる第２画像信号値平均のそれぞれを加算平均して得られる。なお、第１演算値及び第２演算値は、上記のように各画像信号値平均の加算平均の他に、第１画像信号群および第２画像信号群により得られる値を用いることができ、例えば、過去の特定期間分の第１画像信号群が含む第１画像信号ＳＰ１の信号値と、過去の特定期間分の第２画像信号群が含む第２画像信号ＳＰ２の信号値とを、加算、平均等の演算の処理をしたもの等を用いてもよい。
【００９４】
より具体的には、例えば、補正係数算出部５６が、まず、第１画像信号群に含まれる第１画像信号ＳＰ１のそれぞれについて、第１画像信号ＳＰ１の信号値を平均した第１画像信号値平均を、第１画像信号ＳＰ１の個数分、算出する。次に、これらの複数の第１画像信号値平均のそれぞれを、加算平均して得られる値を第１演算値とする。さらに、第２画像信号群に含まれる第２画像信号ＳＰ２においても同様に、第２画像信号ＳＰ２のそれぞれについて、第２画像信号ＳＰ２の信号値を平均した第２画像信号値平均を、第２画像信号ＳＰ２の個数分、算出する。次に、これらの複数の第２画像信号値平均のそれぞれを、加算平均して得られる値を第２演算値とする。
【００９５】
第１演算値及び第２演算値について、図１８を用いて説明する。例えば、取得期間Ｐ３に含まれる第１画像信号ＳＰ１３に対して用いる補正ゲイン係数ＡＲＮの補正係数を算出するために、取得期間Ｐ１と取得期間Ｐ２の画像信号に基づく演算により、第１演算値及び第２演算値を算出する。まず、取得期間Ｐ１に含まれる複数の第１画像信号ＳＰ１１のうちの任意の１つの第１画像信号のＲＧＢ信号値を、ｒ１−１、ｇ１−１、ｂ１−１とし、別の１つの第１画像信号のＲＧＢ信号値を、ｒ１−２、ｇ１−２、ｂ１−２とし、順次番号を付与する。取得期間Ｐ１は、フレーム数がＬであるので、取得期間Ｐ１に含まれる第１画像信号はＬ個であり、第１画像信号のＲＧＢ信号値は、ｒ１−１、ｇ１−１、ｂ１−１からｒ１−Ｌ、ｇ１−Ｌ、ｂ１−Ｌまでとなる。
【００９６】
また、同様に、取得期間Ｐ２に含まれる複数の第２画像信号ＳＰ２２についても同様に、取得期間に含まれる複数の第２画像信号ＳＰ２２のうちの任意の１つの第２画像信号のＲＧＢ信号値を、ｒ２−１、ｇ２−２、ｂ２−３とする。取得期間Ｐ２は、フレーム数がＭであるので、取得期間Ｐ２に含まれる第２画像信号は、Ｍ個であり、第２画像信号のＲＧＢ信号値は、ｒ２−１、ｇ２−１、ｂ２−１からｒ２−Ｍ、ｇ２−Ｍ、ｂ２−Ｍまでとなる。
【００９７】
また、各画像信号の水平画素数をｉ、垂直画素数をｊとする。第１画像信号値平均は、複数の第１画像信号の各色信号値の画像面内の平均であり、Ｓｒ１−１、Ｓｇ１−１、Ｓｂ１−１とする。同様に、第２画像信号値平均は、複数の第２画像信号の各色信号値の画像面内の平均であり、Ｓｒ２−１、Ｓｇ２−１、Ｓｂ２−１とする。したがって、Ｓｒ１−１、Ｓｇ１−１、Ｓｂ１−１、Ｓｒ２−１、Ｓｇ２−１、Ｓｂ２−１は、以下の式（７）〜（１２）により得られる。一般式は、以下の式（１３）〜（１８）となる。
【００９８】
【数３】
2020158165.tif 000005
【００９９】
【数４】
2020158165.tif 000006
【０１００】
次に、第１演算値は、第１画像信号値平均のそれぞれを加算平均して得られる値であるので、取得期間Ｐ１の第１画像信号値平均Ｓｒ１−Ｌを、取得期間Ｐ１に含まれるフレーム数の個数の複数の第１画像信号について、すべてを加算して平均した値を、それぞれ、ＡｖｅＳｒ１、ＡｖｅＳｇ１、ＡｖｅＳｂ１とする。したがって、取得期間Ｐ１の第１画像信号値平均は、Ｓｒ１−１からＳｒ１−ＬまでのＬ個があるため、これらを足し合わせてＬで割った値である。これらは以下の式（１９）〜（２１）により得られる。同様に、第２演算値は、第２画像信号値平均のそれぞれを加算平均して得られる値であるので、取得期間Ｐ２の第２画像信号値平均を、取得期間Ｐ２に含まれるフレーム数の個数の複数の第２画像信号について、すべてを加算して平均した値を、それぞれ、ＡｖｅＳｒ２、ＡｖｅＳｇ２、ＡｖｅＳｂ２とすると、これらは以下の式（２２）〜（２４）により得られる。
【０１０１】
【数５】
2020158165.tif 000007
【０１０２】
ここで、例えば、取得期間Ｐ３の補正係数Ｗ３について、赤色信号のゲイン係数の補正係数をＷｒ３、緑色信号のゲイン係数の補正係数をＷｇ３、青色信号のゲイン係数の補正係数をＷｇ３とすると、これらの補正係数Ｗｒ３、Ｗｇ３、Ｗｂ３は、取得期間Ｐ１の第１演算値であるＡｖｅＳｒ１、ＡｖｅＳｇ１、ＡｖｅＳｂ１と、取得期間Ｐ２の第２演算値であるＡｖｅＳｒ２、ＡｖｅＳｇ２、ＡｖｅＳｂ２とを用いて算出する。なお、本実施形態では、赤色信号の補正係数Ｗｒ３を、赤色信号の第１演算値ＡｖｅＳｒ１と赤色信号の第２演算値ＡｖｅＳｒ２とを用いて算出するというように、演算値と補正係数とを同色にする。場合によっては、同色以外の組み合わせにより補正係数を算出してもよい。
【０１０３】
なお、第１画像信号値平均または第２画像信号値平均を算出する場合には、検出部６９が、第１画像信号または第２画像信号において、血管または病変であると検出した部分の画像信号を異常画像信号であるとして除いた上で、第１画像信号値平均または第２画像信号値平均を算出することが好ましい。同様に、検出部６９が、第１画像信号または第２画像信号において、異常画素であると検出した部分の画像信号を異常画像信号であるとして除いた上で、第１画像信号値平均または第２画像信号値平均を算出することが好ましい。ここで、異常画素とは、暗部、ハレーション等の明部、または、異常フレーム等を含む。
【０１０４】
第１演算値または第２演算値を上記のように算出することにより、第１画像信号及び第２画像信号において、それぞれ画像全体の信号値を用いて補正係数を算出する。したがって、各光の照明により得られる複数の画像を切り替えて表示する場合において、被写体の変化に合わせて、画像全体として、色味、明るさ等が急激に変化することを防止して複数の画像を表示することができるため、複数の画像の違いの認識が容易となる。なお、第１画像信号及び第２画像信号において、それぞれ異常画像信号を除いた画像の信号値を用いて補正係数を算出する場合は、さらに、安定した色調、明るさで複数の画像を表示することができる。
【０１０５】
本実施形態では、第１演算値と第２演算値の比を補正係数とする場合には、以下のようにして、補正係数が得られる。すなわち、取得期間ＰＮの第１ゲイン係数は、取得期間ＰＮ−２の第１画像信号群に含まれる第１画像信号に対して用いた第１ゲイン係数に、取得期間ＰＮ−２における第１演算値と取得期間ＰＮ−１における第２演算値との比の値をかけ合わせた値とすることができる。
【０１０６】
例えば、図１９に示すように、取得期間Ｐ３の補正係数Ｗｒ３、Ｗｇ３、Ｗｂ３は、第１演算値、第２演算値として、ＡｖｅＳｒ１、ＡｖｅＳｇ１、ＡｖｅＳｂ１、ＡｖｅＳｒ２、ＡｖｅＳｇ２、ＡｖｅＳｂ２とを用いることにより、以下の式（２５）〜（２７）とする。
【０１０７】
【数６】
2020158165.tif 000008
【０１０８】
したがって、取得期間Ｐ３の各色のゲイン係数をＲ３、Ｇ３、Ｂ３として補正ゲイン係数である補正第１ゲイン係数ＡＲ３、ＡＧ３、及びＡＢ３を用いる場合、上記式（１）〜（３）と式（２５）〜（２７）とにより、以下の式（２８）〜（３０）とすることができる。
【０１０９】
【数７】
2020158165.tif 000009
【０１１０】
式（２８）〜（３０）は、取得期間Ｐ３のゲイン係数に関する式であるが、これを一般化すると、以下の式（３１）〜（３３）とすることができる。以下の式（３１）〜（３３）において、ｈは奇数である。したがって、以下の式（３１）〜（３３）により、第１照明光により得られる取得期間(ｈ＋２)における第１画像に対する補正第１ゲイン係数ＡＲｈ＋２、ＡＧｈ＋２、及びＡＢｈ＋２が得られる。
【０１１１】
【数８】
2020158165.tif 000010
【０１１２】
また、図２０に示すように、取得期間ＰＮの第１ゲイン係数ＲＮを、複数の取得期間ＰＮ−Ｋの第１ゲイン係数ＲＮ−Ｋに対して、それぞれ重み付け係数をかけて加算した値とする場合は、式（４）と式（３１）〜（３３）とにより、補正第１ゲイン係数は、以下の式（３４）とすることができる。ここで、第１ゲイン係数は、取得期間ｈにおける第１ゲイン係数とする。ここで、Ｋは２以上の偶数である。
【０１１３】
【数９】
2020158165.tif 000011
【０１１４】
なお、式（３４）において、係数αは、上記したとおり、全てを足すと１となるようにし、取得期間ｈに近い補正第１ゲイン係数ほど大きい係数とする。したがって、例えば、α１を０．５とし、α２を０．２５、α３を０．１２５、と０．５のｎ乗とする。したがって、αｎは、数式（５）とすることができる。
【０１１５】
【数１０】
2020158165.tif 000012
【０１１６】
以上のように、例えば、第１ゲイン係数を算出するために、前回の第１画像に対するゲイン係数のみならず、前々回の第１画像に対するゲイン係数をも用いるため、急に色味または明るさが変化した被写体であってもゲイン係数が大きくかわることがなく、引き続いて同様の色味または明るさで観察することができる。なお、以上の実施形態では、主に、第１ゲイン係数について説明したが、第２ゲイン係数の算出も同様に行うことができる。
【０１１７】
以上のとおり、補正係数を上記のように、直前の第１演算値と第２演算値とにより算出することにより、ゲイン係数を被写体の変化に合わせて補正できるため、より良く被写体の変化に合わせながら、各画像の色味を揃えつつ、各画像の違いを可視化することができる。
【０１１８】
なお、取得期間ＰＮの第１ゲイン係数ＲＮ、ＧＮ、及びＢＮと、取得期間ＰＮ−２の第１画像信号群に含まれる第１画像信号に対して用いた第１ゲイン係数ＲＮ−２、ＧＮ−２、及びＢＮ−２との差が、予め設定した閾値以下の場合は、取得期間ＰＮの第１ゲイン係数ＲＮ、ＧＮ、及びＢＮの補正を行わないことが好ましい。また、取得期間ＰＮの第１ゲイン係数ＲＮ、ＧＮ、及びＢＮと、取得期間ＰＮ−２の第１画像信号群に含まれる第１画像信号に対して用いた第１ゲイン係数ＲＮ−２、ＧＮ−２、及びＢＮ−２との差が、予め設定した閾値以上の場合は、取得期間ＰＮの第１ゲイン係数ＲＮ、ＧＮ、及びＢＮの補正を行わないことが好ましい。ここで、予め設定した閾値以下の場合とは、例えば、画像信号に不感帯等の異常画素部分を有している場合等である。ここで、不感帯とは、取得した画像において照明光が届かない部分、レンズ外の部分等である。また、予め設定した閾値以上の場合とは、例えば、画像信号にハレーション等の異常画素部分が含まれる場合である。これらの画像信号の異常画素部分は、検出部６９により検出される。
【０１１９】
なお、上記実施形態では、光源制御部２１は、予め設定された光量比により、各照明光を発光していたが、第１ゲイン係数または第２ゲイン係数に基づいて、光量比を制御して各照明光を発光してもよい。すなわち、第１照明光は、紫色光、青色光、緑色光、及び赤色光を含み、第２照明光は、紫色光、青色光、緑色光及び赤色光を含み、光源制御部２１は、第１照明光と第２照明光とが含む各色のそれぞれの発光量を、第１ゲイン係数または第２ゲイン係数に基づいて制御してもよい。
【０１２０】
光源制御部２１は、第１照明光について、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１となる第１照明光を発光するように、各ＬＥＤ２０ａ〜２０ｄを制御する。その結果、第１画像のＲ信号値、第１画像のＧ信号値、第１画像のＢ信号値が得られるが、例えば、補正第１ゲイン係数が、それぞれＡＲ１、ＡＧ１、ＡＢ１と算出された場合、ゲイン処理を行わない場合に第１画像信号値にそれぞれ補正第１ゲイン係数ＡＲＮ、ＡＧＮ、ＡＢＮをかけ合わせた値のＲ信号値となるように、第１照明光の光強度比を制御してもよい。第１画像のＧ信号値、第１画像のＢ信号値についても、同様にして、第１照明光の光強度比を制御することができる。
【０１２１】
なお、光源制御部２１は、上記のように補正第１ゲイン係数または補正第２ゲイン係数に基づいて制御された発光量が、特定の閾値以下である場合、予め設定された最低発光量まで発光量を増加させることが好ましい。例えば、光源制御部２１は、第１ゲイン係数によりホワイトバランス処理を行った画像信号値が、ホワイトバランス処理を行わなかった場合に同様の画像信号値となる発光量に、発光量を制御するが、この際の発光量を特定の閾値と比較する。
【０１２２】
このように光源制御部２１が光量比を調整することにより、ゲイン処理を行うことにより、処理を行った画像にノイズが発生する場合があるが、これにより、ゲイン処理によるノイズの発生を抑えながら、色味、または明るさを整えた画像を得ることができる。
【０１２３】
なお、上記実施形態のように、第１照明光は、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒを含めることに代えて、図２１に示すように、中心波長又はピーク波長が５６０〜５８０ｎｍの第１赤色狭帯域光ＮＲ１を第１照明光に含めるようにしてもよい。また、第２照明光には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒを含めることに代えて、図２２に示すように、中心波長又はピーク波長が６３０〜６７０ｎｍの第２赤色狭帯域光ＮＲ２を含めるようにしてもよい。この場合には、第１赤色狭帯域光ＮＲ１を観察対象に撮像して得られる第１画像信号のうち特定生体組織に少なくとも対応する特定生体組織の第１赤色信号（第１特定色信号）の信号値と、第２赤色狭帯域光ＮＲ２を観察対象に撮像して得られる第２画像信号のうち特定生体組織に少なくとも対応する特定生体組織の第２赤色信号（第２特定色信号）の信号値とが一致するように、特定光量条件（第１赤色狭帯域光ＮＲ１の光量条件、第２赤色狭帯域光ＮＲ２の光量条件）を定めることが好ましい。なお、第１赤色狭帯域光ＮＲ１と第２赤色狭帯域光ＮＲ２は、それぞれ撮像センサ４８のＲ画素に感度を有している。
【０１２４】
上記実施形態において、画像取得部５２、ＤＳＰ５４、ノイズ除去部５８、通常観察画像処理部６２、特殊観察画像処理部６３、表示制御部６４、静止画保存部６５、静止画保存制御部６６など、プロセッサ装置１６に含まれる処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【０１２５】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ、ＧＰＵとＣＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【０１２６】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
【０１２７】
なお、本発明は、上記実施形態のような内視鏡システムに組み込まれるプロセッサ装置の他、カプセル型の内視鏡システムに組み込まれるプロセッサ装置、または各種の医用画像処理装置に対して適用することが可能である。
【０１２８】
本発明は、下記の別形態によっても実施可能である。
第１照明光と、前記第１照明光とは異なる発光スペクトルを有する第２照明光とを発光する光源部を備える内視鏡システムのプロセッサ装置において、
第１照明光と前記第２照明光とを自動的に切り替えて発光する制御を行い、第１照明光を発光する発光期間と前記第２照明光を発光する発光期間は、それぞれ少なくとも１フレーム以上の発光期間であり、、
第１照明光の発光期間において第１照明光により照明された被写体を撮像して得られる第１画像信号を含む第１画像信号群と、第２照明光の発光期間において第２照明光により照明された被写体を撮像して得られる第２画像信号を含む第２画像信号群とを取得し、
第１画像信号に第１ゲイン係数をかけ合わせ、第２画像信号に第２ゲイン係数をかけ合わせてホワイトバランス処理を行い、
ホワイトバランス部は、第１ゲイン係数と第２ゲイン係数の少なくともいずれかを補正した補正ゲイン係数を用いて、ホワイトバランス処理を行うプロセッサ装置。
【符号の説明】
【０１２９】
１０  内視鏡システム
１２  内視鏡
１２ａ  挿入部
１２ｂ  操作部
１２ｃ  湾曲部
１２ｄ  先端部
１２ｅ  アングルノブ
１３ａ  モード切替ＳＷ
１３ｂ  静止画取得指示部
１４  光源装置
１６  プロセッサ装置
１８  モニタ
１９  ユーザーインターフェース
２０  光源部
２０ａ  Ｖ−ＬＥＤ（Violet Light Emitting Diode）
２０ｂ  Ｂ−ＬＥＤ（Blue Light Emitting Diode）
２０ｃ  Ｇ−ＬＥＤ（Green Light Emitting Diode）
２０ｄ  Ｒ−ＬＥＤ（Red Light Emitting Diode）
２１  光源制御部
２３  光路結合部
２４  発光期間設定部
２６ａ  スライドバー
２６ｂ  スライドバー
２７ａ  スライダ
２７ｂ  スライダ
３０ａ  照明光学系
３０ｂ  撮像光学系
４１  ライトガイド
４５  照明レンズ
４６  対物レンズ
４８  撮像センサ
４８ｂ  Ｂフィルタ
４８ｇ  Ｇフィルタ
４８ｒ  Ｒフィルタ
５０  ＣＤＳ／ＡＧＣ回路
５２  画像取得部
５４  ＤＳＰ（Digital Signal Processor）
５５  ホワイトバランス部
５６  補正係数算定部
５８  ノイズ除去部
６０  信号切替部
６２  通常観察画像処理部
６３  特殊観察画像処理部
６４  表示制御部
６５  静止画保存部
６６  静止画保存制御部
６７  第１特殊観察画像処理部
６８  第２特殊観察画像処理部
６９  検出部
Ｌ１  第１照明光
Ｌ２  第２照明光
ＰＬ１  第１期間
ＰＬ２  第２期間
ＳＰ１  第１特殊観察画像（第１画像）
ＳＰ２  第２特殊観察画像（第２画像）
ＶＰ  紫色光画像
ＲＰ  赤色光画像
ＶＳ１  表層血管
ＶＳ２  中層血管
ＢＭ  背景粘膜
Ｖ／Ｂ  紫色光及び青色光
Ｇ  緑色光
Ｒ  赤色光
Ｄ  深さ方向
【図１】
2020158165.tif 000013
【図２】
2020158165.tif 000014
【図３】
2020158165.tif 000015
【図４】
2020158165.tif 000016
【図５】
2020158165.tif 000017
【図６】
2020158165.tif 000018
【図７】
2020158165.tif 000019
【図８】
2020158165.tif 000020
【図９】
2020158165.tif 000021
【図１０】
2020158165.tif 000022
【図１１】
2020158165.tif 000023
【図１２】
2020158165.tif 000024
【図１３】
2020158165.tif 000025
【図１４】
2020158165.tif 000026
【図１５】
2020158165.tif 000027
【図１６】
2020158165.tif 000028
【図１７】
2020158165.tif 000029
【図１８】
2020158165.tif 000030
【図１９】
2020158165.tif 000031
【図２０】
2020158165.tif 000032
【図２１】
2020158165.tif 000033
【図２２】
2020158165.tif 000034
【手続補正書】
【提出日】令和3年8月16日(2021.8.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１照明光と、前記第１照明光とは異なる発光スペクトルを有する第２照明光とを発光する光源部と、
前記第１照明光と前記第２照明光とを自動的に切り替えて発光する制御を行う光源制御部であって、前記第１照明光を発光する発光期間と前記第２照明光を発光する発光期間は、それぞれ少なくとも１フレーム以上の発光期間である光源制御部と、
前記第１照明光の発光期間において前記第１照明光により照明された被写体を撮像して得られる第１画像信号を含む第１画像信号群と、前記第２照明光の発光期間において前記第２照明光により照明された被写体を撮像して得られる第２画像信号を含む第２画像信号群とを取得する画像取得部と、
前記第１画像信号に第１ゲイン係数をかけ合わせ、前記第２画像信号に第２ゲイン係数をかけ合わせてホワイトバランス処理を行うホワイトバランス部とを備え、
前記ホワイトバランス部は、前記第１ゲイン係数と前記第２ゲイン係数の少なくともいずれかを補正した補正ゲイン係数を用いて、ホワイトバランス処理を行う内視鏡システム。
【請求項２】
前記ホワイトバランス部は、補正無しの固定の前記第２ゲイン係数を用いて、前記ホワイトバランス処理を行う請求項１に記載の内視鏡システム。
【請求項３】
前記第１画像信号または前記第２画像信号は、青色信号、赤色信号、及び緑色信号を含み、
前記第１画像信号の信号値または前記第２画像信号の信号値は、青色信号値、赤色信号値、及び緑色信号値からなる請求項１または２に記載の内視鏡システム。
【請求項４】
前記ホワイトバランス部は、前記第１ゲイン係数または前記第２ゲイン係数を、前記青色信号値、前記赤色信号値、及び前記緑色信号値のそれぞれについて定める請求項３に記載の内視鏡システム。
【請求項５】
前記第１ゲイン係数を補正する場合において、
取得期間ＰＮ（Ｎは整数）の前記第１画像信号群に含まれる前記第１画像信号に対して用いる前記取得期間ＰＮの前記第１ゲイン係数は、前記取得期間ＰＮの直前の取得期間ＰＮ−２の前記第１画像信号に対して用いた前記取得期間ＰＮ−２の前記第１ゲイン係数を補正した補正第１ゲイン係数である請求項１ないし４のいずれか１項に記載の内視鏡システム。
【請求項６】
前記第１ゲイン係数を補正する場合において、
取得期間ＰＮよりも前の複数の取得期間ＰＮ−Ｋ（Ｋは２以上の偶数）の前記第１画像信号群に含まれる前記第１画像信号に対して用いる複数の前記取得期間ＰＮ−Ｋの前記第１ゲイン係数は、少なくとも一部はそれぞれ補正された前記補正ゲイン係数であり、
前記取得期間ＰＮの前記第１画像信号群に含まれる前記第１画像信号に対して用いる前記取得期間ＰＮの前記第１ゲイン係数は、複数の前記取得期間ＰＮ−Ｋの前記第１ゲイン係数に対して、それぞれ重み付け係数をかけて加算された値であり、
前記重み付け係数は、前記取得期間ＰＮに近いほど大きい請求項１ないし４のいずれか１項に記載の内視鏡システム。
【請求項７】
複数の前記取得期間ＰＮ−Ｋの前記第１ゲイン係数は、各前記取得期間ＰＮ−Ｋにおいて前記ホワイトバランス処理で用いられている請求項６に記載の内視鏡システム。
【請求項８】
前記第１ゲイン係数または前記第２ゲイン係数の補正には、前記第１ゲイン係数および前記第２ゲイン係数のうち少なくとも一方を補正するための補正係数が用いられ、
前記補正係数は、前記第１画像信号群に基づく演算により得られる第１演算値と、前記第２画像信号群に基づく演算により得られる第２演算値とを用いて算出する請求項１ないし７のいずれか１項記載の内視鏡システム。
【請求項９】
前記第１演算値は、前記第１画像信号群に含まれる前記第１画像信号において、前記第１画像信号の信号値を平均して得られる第１画像信号値平均のそれぞれを加算平均して得られ、
前記第２演算値は、前記第２画像信号群に含まれる前記第２画像信号において、前記第２画像信号の信号値を平均して得られる第２画像信号値平均のそれぞれを加算平均して得られる請求項８に記載の内視鏡システム。
【請求項１０】
前記第１画像信号または前記第２画像信号において、血管または病変部分の画像信号を検出して異常画像信号とする検出部を備え、
前記第１画像信号値平均または前記第２画像信号値平均は、それぞれ前記異常画像信号以外の前記第１画像信号の信号値または前記第２画像信号の信号値を用いることにより得られる請求項９に記載の内視鏡システム。
【請求項１１】
前記第１画像信号または前記第２画像信号において、異常画素部分の画像信号を検出して異常画像信号とする検出部を備え、
前記第１画像信号値平均または前記第２画像信号値平均は、それぞれ前記異常画像信号以外の前記第１画像信号の信号値または前記第２画像信号の信号値を用いることにより得られる請求項９に記載の内視鏡システム。
【請求項１２】
前記補正係数は、前記第１演算値と前記第２演算値の比である請求項８ないし１１のいずれか１項に記載の内視鏡システム。
【請求項１３】
前記取得期間ＰＮの前記第１ゲイン係数は、前記取得期間ＰＮ−２の前記第１画像信号群に含まれる前記第１画像信号に対して用いた前記第１ゲイン係数に、前記取得期間ＰＮ−２における前記第１演算値と前記取得期間ＰＮ−１における前記第２演算値との比の値をかけ合わせた値である請求項８ないし１２のいずれか１項に記載の内視鏡システム。
【請求項１４】
前記取得期間ＰＮの前記第１ゲイン係数と、前記取得期間ＰＮ−２の前記第１画像信号群に含まれる前記第１画像信号に対して用いた前記第１ゲイン係数との差が、予め設定した閾値以下の場合は、前記取得期間ＰＮの前記第１ゲイン係数の補正を行わない請求項５に記載の内視鏡システム。
【請求項１５】
前記取得期間ＰＮの前記第１ゲイン係数と、前記取得期間ＰＮ−２の前記第１画像信号群に含まれる前記第１画像信号に対して用いた前記第１ゲイン係数との差が、予め設定した閾値以上の場合は、前記取得期間ＰＮの前記第１ゲイン係数の補正を行わない請求項５に記載の内視鏡システム。
【請求項１６】
前記第１照明光は、紫色光、緑色光、及び赤色光を含み、前記第２照明光は、青色光、緑色光及び赤色光を含み、
前記光源制御部は、前記第１照明光と前記第２照明光とが含む各色のそれぞれの発光量を、前記第１ゲイン係数または前記第２ゲイン係数に基づいて制御する請求項１ないし１５のいずれか１項に記載の内視鏡システム。
【請求項１７】
前記光源制御部は、前記第１ゲイン係数または前記第２ゲイン係数に基づいて制御された前記発光量が、特定の閾値以下である場合、予め設定された最低発光量まで前記発光量を増加させる請求項１６に記載の内視鏡システム。
【請求項１８】
前記画像処理部は、前記第１画像信号により第１表示用観察画像を生成し、かつ、前記第２画像信号により第２表示用観察画像を生成し、
前記第１表示用観察画像は表層血管が強調されており、前記第２表示用観察画像は前記表層血管よりも深い位置にある中深層血管が強調されている請求項１ないし１７のいずれか１項記載の内視鏡システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
しかしながら、短波光と中波長光を切り替えて照明した場合には、表層画像の信号値と深層画像の信号値とが大きく異なると、表層画像と深層画像とで画像全体の色味が大きく異なる。したがって、例えば、短波光と中波長光とを自動で切替えて照明した場合には、色味が違う画像が自動で切り替えられて表示されるため、見づらい画面となるおそれがある。また、診断時に注目する表層情報及び深層情報の視認性が低下するおそれがある。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
第１画像信号または第２画像信号は、青色信号、赤色信号、及び緑色信号を含み、第１画像信号の信号値または第２画像信号の信号値は、青色信号値、赤色信号値、及び緑色信号値からなることが好ましい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
また、光源制御部２１は、第２特殊観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２となる第２照明光を発光するように、各ＬＥＤ２０ａ〜２０ｄを制御する。光強度比Ｖｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２は、第２照明光の光量条件に対応する。第２照明光は、深層血管を強調することが好ましい。そのため、第２照明光は、青色光Ｂの光強度を紫色光Ｖの光強度よりも大きくすることが好ましい。例えば、図５に示すように、紫色光Ｖの光強度Ｖｓ２と青色光Ｂの光強度Ｂｓ２との比率を「１：３」とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
図８に示すように、Ｂフィルタ４８ｂは、紫色帯域の光、青色帯域の光、及び緑色帯域の光のうち短波側の光を透過させる。Ｇフィルタ４８ｇは、緑色帯域の光、青色帯域の光の長波側の光、及び赤色帯域の光の短波側の光を透過させる。Ｒフィルタ４８ｒは、赤色帯域の光、緑色帯域の光の長波側の光を透過させる。したがって、撮像センサ４８のうち、Ｂ画素は紫色光Ｖ及び青色光Ｂに感度を有し、Ｇ画素は青色光Ｂ、緑色光Ｇ、及び赤色光Ｒに感度を有し、Ｒ画素は緑色光Ｇ及び赤色光Ｒに感度を有している。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
図２に示すように、撮像センサ４８から出力される画像信号は、ＣＤＳ／ＡＧＣ回路（ＣＤＳ／ＡＧＣ）５０に送信される。ＣＤＳ／ＡＧＣ５０は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ／ＡＧＣ５０を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog /Digital）コンバータ）（Ａ／Ｄ）５１により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、プロセッサ装置１６に入力される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
ＤＳＰ５４は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ホワイトバランス処理、リニアマトリクス処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。また、図１０に示すように、ＤＳＰ５４は、ホワイトバランス部５５を備える。また、ホワイトバランス部５５は、補正係数算出部５６を備える。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
ノイズ除去部５８は、ＤＳＰ５４でガンマ補正等が施された画像信号に対してノイズ除去処理（例えば移動平均法やメディアンフィルタ法等）を施すことによって、画像信号からノイズを除去する。ノイズが除去された画像信号は、信号切替部６０に送信される。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
第２特殊観察画像処理部６８は、第２画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理が行われた第２画像を生成する。第２画像では、深層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。第２特殊観察画像処理部６８では、第２画像の画像処理を行うために、第２画像信号に対して掛け合わされる第２画像用のパラメータが設けられている。なお、第２特殊観察画像処理部６８では、表層血管を強調する表層血管強調処理は行わないが、処理負荷の状況によっては、表層血管強調処理を行うようにしてもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
第２画像により、図１４に示すように、観察対象のうち背景粘膜ＢＭ、及び、深層血管ＶＳ２が表された画像が表示される。第２画像は、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む第２照明光に基づいて得られる。図１５に示すように、第２照明光Ｌ２のうち緑色光Ｇは、深層血管ＶＳ２が分布する深層にまで深達する。なお、図１５において、紙面上方から第２照明光Ｌ２が観察対象に照明され、紙面下方が観察対象の深さ方向Ｄである。第２照明光Ｌ２では緑色光Ｇの光強度が青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光強度より強いので、緑色光Ｇの反射光に基づいて得られる緑色光画像ＧＰに含まれる深層血管ＶＳ２の像が強調される。なお、ここでは、緑色光Ｇの光強度が強いことから、緑色光画像ＧＰとする。また、第２照明光Ｌ２のうち赤色光Ｒは、表層血管ＶＳ１及び深層血管ＶＳ２（表層血管ＶＳ１よりも深い位置にある血管）よりもさらに深い位置に分布する背景粘膜ＢＭにまで深達する。したがって、赤色光Ｒの反射光に基づいて得られる赤色光画像ＲＰには、背景粘膜ＢＭの像が含まれる。以上から、第２画像は赤色光画像ＲＰを組み合わせた画像であるため、背景粘膜ＢＭ及び深層血管ＶＳ２の像が表示される。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
また、マルチ観察モードの場合には、第１照明光の発光期間と第２照明光の発光期間に合わせて、カラーの第１画像と第２画像が切り替えてモニタ１８に表示される。即ち、第１期間が４フレームで、第２期間が４フレームである場合には、第１画像が４フレーム続けて表示され、かつ、第２画像が４フレーム続けて表示される。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
本実施形態では、第１画像信号または第２画像信号は、青色信号、赤色信号、及び緑色信号を含み、第１画像信号の信号値または第２画像信号の信号値は、青色信号値、赤色信号値、及び緑色信号値からなる。また、ホワイトバランス部５５は、第１ゲイン係数または第２ゲイン係数を、青色信号値、赤色信号値、及び緑色信号値のそれぞれについて定める。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
なお、重み付け係数は、以上のように付す場合、重み付け係数αｎを全て足すと１となるようにする。式（４）において、重み付け係数αｎは、取得期間ＰＮに近い補正第１ゲイン係数ＡＲＮ−Ｋほど重い係数をかけることができる。したがって、例えば、α１を０．５とし、α２を０．２５、α３を０．１２５、と０．５のｎ乗とする。したがって、αｎについては数式（５）とすることができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
第１演算値及び第２演算値について、図１８を用いて説明する。例えば、取得期間Ｐ３に含まれる第１画像信号ＳＰ１３に対して用いる補正ゲイン係数ＡＲＮの補正係数を算出するために、取得期間Ｐ１  と取得期間Ｐ２  の画像信号に基づく演算により、第１演算値及び第２演算値を算出する。まず、取得期間Ｐ１に含まれる複数の第１画像信号ＳＰ１１のうちの任意の１つの第１画像信号のＲＧＢ信号値を、ｒ１−１、ｇ１−１、ｂ１−１とし、別の１つの第１画像信号のＲＧＢ信号値を、ｒ１−２、ｇ１−２、ｂ１−２とし、順次番号を付与する。取得期間Ｐ１は、フレーム数がＬであるので、取得期間Ｐ１に含まれる第１画像信号はＬ個であり、第１画像信号のＲＧＢ信号値は、ｒ１−１、ｇ１−１、ｂ１−１からｒ１−Ｌ、ｇ１−Ｌ、ｂ１−Ｌまでとなる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
また、同様に、取得期間Ｐ２に含まれる複数の第２画像信号ＳＰ２２についても同様に、取得期間に含まれる複数の第２画像信号ＳＰ２２のうちの任意の１つの第２画像信号のＲＧＢ信号値を、ｒ２−１、ｇ２−1、ｂ２−1とする。取得期間Ｐ２は、フレーム数がＭであるので、取得期間Ｐ２に含まれる第２画像信号は、Ｍ個であり、第２画像信号のＲＧＢ信号値は、ｒ２−１、ｇ２−１、ｂ２−１からｒ２−Ｍ、ｇ２−Ｍ、ｂ２−Ｍまでとなる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
次に、第１演算値は、第１画像信号値平均のそれぞれを加算平均して得られる値であるので、取得期間Ｐ１  の第１画像信号値平均Ｓｒ１−Ｌを、取得期間Ｐ１に含まれるフレーム数の個数の複数の第１画像信号について、すべてを加算して平均した値を、それぞれ、ＡｖｅＳｒ１、ＡｖｅＳｇ１、ＡｖｅＳｂ１とする。したがって、取得期間Ｐ１の第１画像信号値平均は、Ｓｒ１−１からＳｒ１−ＬまでのＬ個があるため、これらを足し合わせてＬで割った値である。これらは以下の式（１９）〜（２１）により得られる。同様に、第２演算値は、第２画像信号値平均のそれぞれを加算平均して得られる値であるので、取得期間Ｐ２の第２画像信号値平均を、取得期間Ｐ２に含まれるフレーム数の個数の複数の第２画像信号について、すべてを加算して平均した値を、それぞれ、ＡｖｅＳｒ２、ＡｖｅＳｇ２、ＡｖｅＳｂ２とすると、これらは以下の式（２２）〜（２４）により得られる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
ここで、例えば、取得期間Ｐ３の補正係数Ｗ３について、赤色信号のゲイン係数の補正係数をＷｒ３、緑色信号のゲイン係数の補正係数をＷｇ３、青色信号のゲイン係数の補正係数をＷｂ３とすると、これらの補正係数Ｗｒ３、Ｗｇ３、Ｗｂ３は、取得期間Ｐ１の第１演算値であるＡｖｅＳｒ１、ＡｖｅＳｇ１、ＡｖｅＳｂ１と、取得期間Ｐ２の第２演算値であるＡｖｅＳｒ２、ＡｖｅＳｇ２、ＡｖｅＳｂ２とを用いて算出する。なお、本実施形態では、赤色信号の補正係数Ｗｒ３を、赤色信号の第１演算値ＡｖｅＳｒ１と赤色信号の第２演算値ＡｖｅＳｒ２とを用いて算出するというように、演算値と補正係数とを同色にする。場合によっては、同色以外の組み合わせにより補正係数を算出してもよい。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１２８
【補正方法】変更
【補正の内容】
【０１２８】
１０  内視鏡システム
１２  内視鏡
１２ａ  挿入部
１２ｂ  操作部
１２ｃ  湾曲部
１２ｄ  先端部
１２ｅ  アングルノブ
１３ａ  モード切替ＳＷ
１３ｂ  静止画取得指示部
１４  光源装置
１６  プロセッサ装置
１８  モニタ
１９  ユーザーインターフェース
２０  光源部
２０ａ  Ｖ−ＬＥＤ（Violet Light Emitting Diode）
２０ｂ  Ｂ−ＬＥＤ（Blue Light Emitting Diode）
２０ｃ  Ｇ−ＬＥＤ（Green Light Emitting Diode）
２０ｄ  Ｒ−ＬＥＤ（Red Light Emitting Diode）
２１  光源制御部
２３  光路結合部
２４  発光期間設定部
２６ａ  スライドバー
２６ｂ  スライドバー
２７ａ  スライダ
２７ｂ  スライダ
３０ａ  照明光学系
３０ｂ  撮像光学系
４１  ライトガイド
４５  照明レンズ
４６  対物レンズ
４８  撮像センサ
４８ｂ  Ｂフィルタ
４８ｇ  Ｇフィルタ
４８ｒ  Ｒフィルタ
５０  ＣＤＳ／ＡＧＣ回路（ＣＤＳ／ＡＧＣ）
５１  Ａ／Ｄ変換器（Ａ／Ｄ）
５２  画像取得部
５４  ＤＳＰ（Digital Signal Processor）
５５  ホワイトバランス部
５６  補正係数算出部
５８  ノイズ除去部
６０  信号切替部
６２  通常観察画像処理部
６３  特殊観察画像処理部
６４  表示制御部
６５  静止画保存部
６６  静止画保存制御部
６７  第１特殊観察画像処理部
６８  第２特殊観察画像処理部
６９  検出部
Ｌ１  第１照明光
Ｌ２  第２照明光
ＰＬ１  第１期間
ＰＬ２  第２期間
ＳＰ１  第１特殊観察画像（第１画像）
ＳＰ２  第２特殊観察画像（第２画像）
ＶＰ  紫色光画像
ＲＰ  赤色光画像
ＶＳ１  表層血管
ＶＳ２  深層血管
ＢＭ  背景粘膜
Ｖ／Ｂ  紫色光及び青色光
Ｇ  緑色光
Ｒ  赤色光
Ｄ  深さ方向
【手続補正１９】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2020158165.tif 000035
【国際調査報告】
2020158165.tif 000036
2020158165.tif 000037
2020158165.tif 000038
2020158165.tif 000039