(57)【要約】  複数の観察画像を自動的に切り替えて表示する場合において、観察画像の切替に伴う処理や動作をできる限り軽減することができる内視鏡システム及びその作動方法を提供する。  特殊光で照明された観察対象を撮像することによって特殊観察画像を得る。特殊観察画像のＢｓ画像信号を輝度信号Ｙに割り当てて第１表示用観察画像を生成する。特殊観察画像のＧｓ画像信号を輝度信号Ｙに割り当てて第２表示用観察画像を生成する。第１表示用観察画像と第２表示用観察画像をと自動的に切り替えてモニタ（１８）に表示する。
2019151190.tif 000002
【特許請求の範囲】
【請求項１】
観察画像を取得する画像取得部と、
前記観察画像に基づいて、輝度信号を含む表示用観察画像を生成する表示用観察画像処理部であって、前記観察画像の第１色信号を前記輝度信号に割り当てて第１表示用観察画像を生成し、前記観察画像の第２色信号を前記輝度信号に割り当てて第２表示用観察画像を生成する表示用観察画像処理部と、
前記第１表示用観察画像と前記第２表示用観察画像とを自動的に切り替えて表示部に表示する表示制御部とを備える内視鏡システム。
【請求項２】
前記表示用観察画像処理部は、
前記観察画像の第１色信号と前記観察画像の第２色信号とに基づく第１演算処理によって、前記観察画像の第１色信号から前記観察画像の第２色信号の成分を除き、
前記第１演算処理済みの前記観察画像の第１色信号を前記輝度信号に割り当てて第１表示用観察画像を生成する請求項１記載の内視鏡システム。
【請求項３】
前記表示用観察画像処理部は、
前記観察画像の第１色信号と前記観察画像の第２色信号とに基づく第２演算処理によって、前記観察画像の第２色信号から前記観察画像の第１色信号の成分を除き、
前記表示用観察画像処理部は、前記第２演算処理済みの前記観察画像の第２色信号を前記輝度信号に割り当てて第２表示用観察画像を生成する請求項１または２記載の内視鏡システム。
【請求項４】
前記観察画像は、狭帯域化した紫色光又は青色光、緑色光、及び赤色光を含む特殊光によって照明された観察対象を撮像することにより得られる特殊観察画像である請求項１ないし３いずれか１項記載の内視鏡システム。
【請求項５】
前記紫色光は中心波長４０５±１０ｎｍを有する請求項４記載の内視鏡システム。
【請求項６】
前記第１色信号は青色信号であり、前記第２色信号は緑色信号である請求項１ないし５いずれか１項記載の内視鏡システム。
【請求項７】
前記第１表示用観察画像は第１層血管が強調されており、前記第２表示用観察画像は前記第１層血管よりも深い位置にある第２層血管が強調されている請求項１ないし６いずれか１項記載の内視鏡システム。
【請求項８】
前記第１層血管は表層血管であり、前記第２層血管は中深層血管である請求項７記載の内視鏡システム。
【請求項９】
前記表示制御部は、前記第１表示用観察画像と前記第２表示用観察画像とを２フレーム以上の間隔で切り替えて表示する請求項１ないし８いずれか１項記載の内視鏡システム。
【請求項１０】
画像取得部が、観察画像を取得する画像取得ステップと、
表示用観察画像処理部が、前記観察画像に基づいて、輝度信号を含む表示用観察画像を生成する表示用観察画像処理部であって、前記観察画像の第１色信号を前記輝度信号に割り当てて第１表示用観察画像を生成し、前記観察画像の第２色信号を前記輝度信号に割り当てて第２表示用観察画像を生成する画像生成ステップと、
表示制御部が、前記第１表示用観察画像と前記第２表示用観察画像とを自動的に切り替えて表示部に表示する表示ステップとを備える内視鏡システムの作動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の観察画像を自動的に切り替えて表示する内視鏡システム及びその作動方法に関する。
【背景技術】
【０００２】
近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像素子で撮像して得られるＲＧＢ画像信号に基づいて、観察対象の画像をモニタ上に表示する。【０００３】
また、近年では、診断の目的に応じて、表示内容が異なる複数の観察画像を同時に又は切り替えてモニタに表示することが行われている。例えば、特許文献１では、血管の太さや深さが異なる複数の画像を切り替えて表示することが行われている。また、特許文献２では、紫色光Ｖと青色光Ｂを切り替えて照明することにより、紫色光Ｖの画像と青色光Ｂの画像とを取得し、極表層血管を強調する場合には、紫色光Ｖの画像を輝度信号に割り当て、表層血管を強調する場合には、青色光Ｂの画像を輝度信号に割り当てている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−６０６８２号公報
【特許文献２】特開２０１６−６７７８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のように、複数の観察画像を切り替えてモニタに表示する場合には、観察画像に対する処理など画像の切替に伴う処理や動作をできる限り軽減することが好ましい。この点において、特許文献１では、太さや深さが異なる血管を強調する処理が必要となるため、画像の切替に伴う画像処理の負荷が大きくなる。また、特許文献２では、複数の照明光の切替を行っているため、照明光の切替に合わせてプロセッサ装置との同期が必要となり、プロセッサ装置での処理の負荷が大きくなる。【０００６】
本発明は、複数の観察画像を自動的に切り替えて表示する場合において、観察画像の切替に伴う処理や動作をできる限り軽減することができる内視鏡システム及びその作動方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の内視鏡システムは、画像取得部と、表示用観察画像処理部と、表示制御部とを備える。画像取得部は、観察画像を取得する。表示用観察画像処理部は、観察画像に基づいて、輝度信号を含む表示用観察画像を生成する場合において、観察画像の第１色信号を輝度信号に割り当てて第１表示用観察画像を生成し、観察画像の第２色信号を輝度信号に割り当てて第２表示用観察画像を生成する。表示制御部は、第１表示用観察画像と第２表示用観察画像とを自動的に切り替えて表示部に表示する。【０００８】
表示用観察画像処理部は、観察画像の第１色信号と観察画像の第２色信号とに基づく第１演算処理によって、観察画像の第１色信号から観察画像の第２色信号の成分を除き、第１演算処理済みの観察画像の第１色信号を輝度信号に割り当てて第１表示用観察画像を生成することが好ましい。表示用観察画像処理部は、観察画像の第１色信号と観察画像の第２色信号とに基づく第２演算処理によって、観察画像の第２色信号から観察画像の第１色信号の成分を除き、第２演算処理済みの観察画像の第２色信号を輝度信号に割り当てて第２表示用観察画像を生成することが好ましい。【０００９】
観察画像は、狭帯域化した紫色光又は青色光、緑色光、及び赤色光を含む特殊光によって照明された観察対象を撮像することにより得られる特殊観察画像であることが好ましい。紫色光は中心波長４０５±１０ｎｍを有することが好ましい。第１色信号は青色信号であり、第２色信号は緑色信号であることが好ましい。【００１０】
第１表示用観察画像は第１層血管が強調されており、第２表示用観察画像は第１層血管よりも深い位置にある第２層血管が強調されていることが好ましい。第１層血管は表層血管であり、第２層血管は中深層血管であることが好ましい。表示制御部は、第１表示用観察画像と第２表示用観察画像とを２フレーム以上の間隔で切り替えて表示することが好ましい。【００１１】
本発明の内視鏡システムの作動方法は、画像取得ステップと、画像生成ステップと、表示ステップとを有する。画像取得ステップでは、画像取得部が、観察画像を取得する。画像生成ステップでは、表示用観察画像処理部が、観察画像に基づいて、輝度信号を含む表示用観察画像を生成する表示用観察画像処理部であって、観察画像の第１色信号を輝度信号に割り当てて第１表示用観察画像を生成し、観察画像の第２色信号を輝度信号に割り当てて第２表示用観察画像を生成する。表示ステップでは、表示制御部が、第１表示用観察画像と第２表示用観察画像とを自動的に切り替えて表示部に表示する。
【発明の効果】
【００１２】
本発明によれば、複数の観察画像を自動的に切り替えて表示する場合において、観察画像の切替に伴う処理や動作をできる限り軽減することができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態の内視鏡システムの外観図である。
【図２】第１実施形態の内視鏡システムの機能を示すブロック図である。
【図３】第１実施形態の通常光の発光スペクトルを示すグラフである。
【図４】第１実施形態の特殊光の発光スペクトルを示すグラフである。
【図５】撮像センサに設けられたＢカラーフィルタ、Ｇカラーフィルタ、Ｒカラーフィルタの透過率を示すグラフである。
【図６Ａ】１フレームの特殊観察画像から第１表示用観察画像と第２表示用観察画像のいずれかを生成し、生成した表示用観察画像を表示することを示す説明図である。
【図６Ｂ】１フレームの特殊観察画像から第１表示用観察画像と第２表示用観察画像の両方を生成し、生成したいずれかの表示用観察画像を表示することを示す説明図である。
【図７】第１表示用観察画像生成処理を示す説明図である。
【図８】第２表示用観察画像生成処理を示す説明図である。
【図９】特殊光のスペクトル、観察対象の反射率、及び撮像センサのカラーフィルタとＢｓ画像信号、Ｇｓ画像信号、及びＲｓ画像信号との関連性を示す説明図である。
【図１０】特殊光の反射光の成分とＢｓ画像信号及びＧｓ画像信号との関連性を説明図である。
【図１１】マルチ観察モードの一連の流れを示すフローチャートである。
【図１２】第１演算処理を行う場合の第１表示用観察画像生成処理を示す説明図である。
【図１３】第１演算処理を示す説明図である。
【図１４】第２実施形態の内視鏡システムの機能を示すブロック図である。
【図１５】第２実施形態の通常光の発光スペクトルを示すグラフである。
【図１６】第２実施形態の特殊光の発光スペクトルを示すグラフである。
【発明を実施するための形態】
【００１４】
［第１実施形態］
図１に示すように、第１実施形態の内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを有する。内視鏡１２は光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。内視鏡１２は、被検体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられる湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作に伴って、先端部１２ｄが所望の方向に向けられる。なお、コンソール１９は図示したキーボードの他、マウスなどが含まれる。
【００１５】
また、操作部１２ｂには、アングルノブ１２ｅの他、モード切替ＳＷ１３ａが設けられている。モード切替ＳＷ１３ａは、通常光観察モードと、特殊光観察モード、マルチ観察モードとの切替操作に用いられる。通常光観察モードは、通常観察画像をモニタ１８上に表示するモードである。特殊観察画像は、特定深さの血管を強調した特殊観察画像をモニタ１８上に表示するモードである。マルチ観察モードは、特殊観察画像から、表層血管（第１層血管）を強調した第１表示用観察画像、及び、中深層血管（第２層血管）を強調した第２表示用観察画像を生成し、且つ、第１表示用観察画像と第２表示用観察画像とを自動的に切り替えてモニタ１８に表示するモードである。なお、モードを切り替えるためのモード切替部としては、モード切替ＳＷ１３ａの他に、フットスイッチを用いてもよい。また、マルチ観察モードにおいては、特殊観察画像に代えて、通常観察画像から第１表示用観察画像又は第２表示用観察画像を生成するようにしてもよい。
【００１６】
プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続される。モニタ１８は、画像情報等を出力表示する。コンソール１９は、機能設定等の入力操作を受け付けるUI（User Interface：ユーザーインターフェース）として機能する。なお、プロセッサ装置１６には、画像情報等を記録する外付けの記録部（図示省略）を接続してもよい。
【００１７】
図２に示すように、光源装置１４は、光源部２０と、光源制御部２１と、光路結合部２３とを有している。光源部２０は、V-LED（Violet Light Emitting Diode）２０ａ、B-LED（Blue Light Emitting Diode）２０ｂ、G-LED（Green Light Emitting Diode）２０ｃ、R-LED（Red Light Emitting Diode）２０ｄを有している。光源制御部２１は、ＬＥＤ２０a〜２０ｄの駆動を制御する。光路結合部２３は、４色のLED２０a〜２０ｄから発せられる４色の光の光路を結合する。光路結合部２３で結合された光は、挿入部１２a内に挿通されたライトガイド４１及び照明レンズ４５を介して、被検体内に照射される。なお、LEDの代わりに、LD（Laser Diode）など他の半導体光源を用いてもよい。
【００１８】
図３に示すように、V-LED２０ａは、中心波長４０５±１０nm、波長範囲３８０〜４２０nmの紫色光Ｖを発生する。B-LED２０ｂは、中心波長４６０±１０nm、波長範囲４２０〜５００nmの青色光Ｂを発生する。G-LED２０ｃは、波長範囲が４８０〜６００nmに及ぶ緑色光Ｇを発生する。R-LED２０ｄは、中心波長６２０〜６３０nmで、波長範囲が６００〜６５０nmに及ぶ赤色光Ｒを発生する。なお、以上の４色の光のうち紫色光については、波長範囲３８０〜４２０ｎｍのように、狭帯域化することが好ましい。
【００１９】
光源制御部２１は、いずれの観察モードにおいても、V-LED２０ａ、B-LED２０ｂ、G-LED２０ｃ、及びR-LED２０ｄを点灯する制御を行う。また、光源制御部２１は、通常光観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる通常光（図３参照）を発光するように、各ＬＥＤ２０ａ〜２０ｄを制御する。なお、本明細書において、光強度比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光強度比を有するものとする。
【００２０】
また、光源制御部２１は、特殊光観察モード又はマルチ観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ〜２０ｄを制御する。特殊光は、特定深さの血管を強調する照明光であることが好ましい。例えば、特定深さの血管として表層血管を強調する場合には、特殊光は、４００ｎｍ以上４４０ｎｍ以下にピークを有することが好ましい。この場合、特殊光は、図４に示すように、紫色光Ｖの光強度が、その他の青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光強度よりも大きくなるように、光強度比Ｖｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１が設定されている（Ｖｓ１＞Ｂｓ１、Ｇｓ１、Ｒｓ１）。また、特殊光は、赤色光Ｒのような第１の赤色帯域を有しているため、粘膜の色を正確に再現することができる。さらに、特殊光には、紫色光Ｖ、青色光Ｂ、緑色光Ｇのように青色帯域及び緑色帯域を有しているため、上記のような表層血管の他、腺管構造や凹凸など各種構造も強調することができる。
【００２１】
図２に示すように、ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコード）内に内蔵されており、光路結合部２３で結合された光を内視鏡１２の先端部１２ｄまで伝搬する。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用することができる。
【００２２】
内視鏡１２の先端部１２ｄには、照明光学系３０aと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４５を有しており、この照明レンズ４５を介して、ライトガイド４１からの光が観察対象に照射される。撮像光学系３０ｂは、対物レンズ４６及び撮像センサ４８を有している。観察対象からの反射光は、対物レンズ４６を介して、撮像センサ４８に入射する。これにより、撮像センサ４８に観察対象の反射像が結像される。
【００２３】
撮像センサ４８はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ４８は、ＣＣＤ(Charge Coupled Device）撮像センサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）撮像センサ等であることが好ましい。本発明で用いられる撮像センサ４８は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３色のＲＧＢ画像信号を得るためのカラーの撮像センサ、即ち、Ｒカラーフィルタが設けられたＲ画素、Ｇカラーフィルタが設けられたＧ画素、Ｂカラーフィルタが設けられたＢ画素を備えた、いわゆるＲＧＢ撮像センサである。
【００２４】
図５に示すように、Ｒカラーフィルタは、６００〜７００ｎｍの赤色帯域において透過率を有し、且つ、緑色帯域及び青色帯域において赤色帯域よりも低い透過率を有している。即ち、Ｒ画素は、赤色帯域に感度を有し、且つ、緑色帯域及び青色帯域においても若干の感度を有している。Ｇカラーフィルタは、５００〜６００ｎｍの緑色帯域において透過率を有し、且つ、赤色帯域及び青色帯域にも若干の透過率を有している。即ち、Ｇ画素は、緑色帯域に感度を有し、且つ、赤色帯域及び青色帯域においても若干の感度を有している。Ｂカラーフィルタは、４００〜５００ｎｍの青色帯域において透過率を有し、且つ、緑色帯域及び赤色帯域にも若干の透過率を有している。Ｂ画素は、青色帯域に感度を有し、且つ、緑色帯域及び赤色帯域にも若干の感度を有している。
【００２５】
なお、撮像センサ４８としては、ＲＧＢのカラーの撮像センサの代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力されるため、補色−原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換する必要がある。また、撮像センサ４８はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部２１は青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
【００２６】
撮像センサ４８から出力される画像信号は、ＣＤＳ・ＡＧＣ回路５０に送信される。ＣＤＳ・ＡＧＣ回路５０は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ・ＡＧＣ回路５０を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog /Digital）コンバータ）５２により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、プロセッサ装置１６に入力される。
【００２７】
プロセッサ装置１６は、画像取得部５３と、ＤＳＰ（Digital Signal Processor）５６と、ノイズ除去部５８と、信号切替部６０と、通常観察画像処理部６１と、特殊観察画像処理部６３と、マルチ観察画像処理部６４（表示用観察画像処理部）と、表示制御部６６とを備えている。画像取得部５３は、内視鏡１２からの観察画像を取得する。観察画像はＲＧＢのカラー画像信号である。通常光観察モードの場合には、観察画像として、撮像センサ４８のＲ画素から出力されるＲｃ画像信号と、撮像センサ４８のＧ画素から出力されるＧｃ画像信号と、撮像センサ４８のＢ画素から出力されるＢｃ画像信号とからなる通常観察画像を取得する。特殊光観察モード又はマルチ観察モードの場合には、観察画像として、撮像センサ４８のＲ画素から出力されるＲｓ画像信号と、撮像センサ４８のＧ画素から出力されるＧｓ画像信号と、撮像センサ４８のＢ画素から出力されるＢｓ画像信号とからなる特殊観察画像を取得する。
【００２８】
ＤＳＰ５６は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ４８の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたＲＧＢ画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後のＲＧＢ画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後のＲＧＢ画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のＲＧＢ画像信号には、デモザイク処理（等方化処理、同時化処理とも言う）が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。
【００２９】
ノイズ除去部５８は、ＤＳＰ５６でガンマ補正等が施されたＲＧＢ画像信号に対してノイズ除去処理（例えば移動平均法やメディアンフィルタ法等）を施すことによって、ＲＧＢ画像信号からノイズを除去する。ノイズが除去されたＲＧＢ画像信号は、信号切替部６０に送信される。
【００３０】
信号切替部６０は、モード切替ＳＷ１３ａにより、通常光観察モードにセットされている場合には、ＲＧＢ画像信号を通常観察画像処理部６１に送信する。また、特殊光観察モードにセットされている場合には、ＲＧＢ画像信号を特殊観察画像処理部６３に送信する。また、マルチ観察モードにセットされている場合には、ＲＧＢ画像信号をマルチ観察画像処理部６４に送信する。
【００３１】
通常観察画像処理部６１は、通常光観察モード時に得られたＲｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号が入力される。この入力されたＲｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号に対して、通常光観察モード用の画像処理を施す。通常光観察モード用の画像処理には、通常光観察モード用の構造強調処理などが含まれる。通常光観察モード用の画像処理が施されたＲＧＢ画像信号は、通常観察画像として、通常観察画像処理部６１から表示制御部６６に入力される。
【００３２】
特殊観察画像処理部６３は、特殊光観察モード時に得られたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号が入力される。この入力されたＲｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号に対して、特殊光観察モード用の画像処理を施す。特殊光観察モード用の画像処理には、特殊光観察モード用の構造強調処理などが含まれる。特殊観察画像用の画像処理が施されたＲＧＢ画像信号は、特殊観察画像として、特殊観察画像処理部６３から表示制御部６６に入力される。
【００３３】
マルチ観察画像処理部６４は、マルチ観察モード時に得られたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号が入力される。この入力されたＲｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号に対して、マルチ観察モード用の画像処理を施す。マルチ観察モード用の画像処理は、１フレームの特殊観察画像から、互いに異なる深さの血管を強調した複数の表示用観察画像を生成する。本実施形態では、複数の表示用観察画像として、表層血管を強調した第１表示用観察画像と中深層血管を強調した第２表示用観察画像とを生成する。マルチ観察モード用の画像処理の詳細については後述する。第１表示用観察画像と第２表示用観察画像とは、マルチ観察画像処理部６４から表示制御部６６に入力される。
【００３４】
表示制御部６６は、通常観察画像処理部６１、特殊観察画像処理部６３、マルチ観察画像処理部６４から入力された通常観察画像、特殊観察画像、又は、第１表示用観察画像又は第２表示用観察画像を、モニタ１８上に表示させる制御を行う。モニタ１８には、表示制御部６６の制御に従って、各観察モードに対応する画像が表示される。通常光観察モード時には、モニタ１８は通常観察画像を表示する。特殊光観察モード時には、モニタ１８は特殊観察画像を表示する。マルチ観察モード時には、モニタ１８は、特定の表示パターンに従って、第１表示用観察画像又は第２表示用観察画像を自動的に切り替えて表示する。
【００３５】
例えば、特定の表示パターンを、１表示サイクルにおいて、第１表示用観察画像を２フレーム分表示、第２表示用観察画像を３フレーム分表示するパターンとする場合には、以下のようなパターンが考えられる。図６Ａに示すように、２フレームの特殊観察画像を入力画像としてマルチ観察画像処理部６４に入力した場合には、マルチ観察画像処理部６４において、２フレーム分の第１表示用観察画像を生成画像として生成する。この生成した２フレーム分の第１表示用観察画像を順に表示画像としてモニタ１８に表示する。次に、３フレームの特殊観察画像を入力画像としてマルチ観察画像処理部６４に入力した場合には、マルチ観察画像処理部６４において、３フレーム分の第２表示用観察画像を生成画像として生成する。この生成した３フレーム分の第２表示用観察画像を順に表示画像としてモニタ１８に表示する。
【００３６】
他のパターンとしては、図６Ｂに示すように、２フレームの特殊観察画像を入力画像としてマルチ観察画像処理部６４に入力した場合には、マルチ観察画像処理部６４において、２フレーム分の第１表示用観察画像及び第２表示用観察画像を生成画像として生成する。この生成した２フレーム分の第１表示用観察画像及び第２表示用観察画像のうち２フレーム分の第１表示用観察画像を順に表示画像としてモニタ１８に表示する。次に、３フレームの特殊観察画像を入力画像としてマルチ観察画像処理部６４に入力した場合には、マルチ観察画像処理部６４において、３フレーム分の第１表示用観察画像及び第２表示用観察画像を生成画像として生成する。この生成した３フレーム分の第１表示用観察画像及び第２表示用観察画像のうち３フレーム分の第２表示用観察画像を順に表示画像としてモニタ１８に表示する。上記の場合、ユーザーによって、表示用観察画像の静止画像の保存が指示された場合には、単一のフレームから第１表示用観察画像と第２表示用観察画像を生成し、保存することで、第１表示用観察画像と第２表示用観察画像に位置ズレのない画像が一度の動作により保存することができる。
【００３７】
なお、第１表示用観察画像と第２表示用観察画像とは、２フレーム以上の間隔で切り替えて表示することが好ましい。１フレームの場合には、画像の切り替わりが早いために、第１表示用観察画像と第２表示用観察画像の差を認識できないおそれがある。
【００３８】
次に、マルチ観察モード用の画像処理について説明する。マルチ観察モードの画像処理は、第１表示用観察画像を生成する第１表示用観察画像生成処理と、第２表示用観察画像を生成する第２表示用観察画像生成処理とを有する。第１表示用観察画像生成処理は、図７に示すように、マルチ観察モード時に得られるＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号に対して、輝度色差信号変換処理を行って、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂに変換する。次に、輝度信号ＹをＢｓ画像信号（観察画像の第１色信号（青色信号））に割り当てる輝度信号割り当て処理を行うことによって、輝度信号Ｙを輝度信号Ｙｍに変換する。Ｂｓ画像信号は、後述するように、表層血管の情報を含んでいることから、第１表示用観察画像を、表層血管を強調した画像にすることができる。
【００３９】
次に、輝度信号Ｙを輝度信号Ｙｍに変換することに伴う色差信号Ｃｒ、Ｃｂのずれを補正する色差信号補正処理を行う。具体的には、色差信号Ｃｒに対して、変換後の色差信号Ｙｍ／変換後の色差信号Ｙを掛け合わせる。同様にして、色差信号Ｃｂに対して、変換後の色差信号Ｙｍ／変換後の色差信号Ｙを掛け合わせる。これにより、色差信号Ｃｒ、Ｃｂのずれを補正することにより、色相を維持したまま、輝度の変換に応じて彩度のずれを補正することができる（輝度が小さくなる場合には彩度を小さくすることができ、輝度が大きくなる場合には彩度を大きくすることができる）。そして、輝度信号Ｙｍ、色差信号Ｃｒ×Ｙｍ／Ｙ、色差信号Ｃｂ×Ｙｍ／Ｙに対して、ＲＧＢ変換処理を行うことによって、Ｂ１画像信号、Ｇ１画像信号、Ｒ１画像信号に変換する。これらＢ１画像信号、Ｇ１画像信号、Ｒ１画像信号が、第１表示用観察画像となる。
【００４０】
第２表示用観察画像生成処理は、図８に示すように、第１表示用観察画像生成処理と同様、マルチ観察モード時に得られるＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号に対して、輝度色差信号変換処理を行って、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂに変換する。次に、輝度信号ＹをＧｓ画像信号（観察画像の第２色信号（緑色信号））に割り当てる輝度信号割り当て処理を行うことによって、輝度信号Ｙを輝度信号Ｙｎに変換する。Ｇｓ画像信号は、後述するように、中深層血管の情報を含んでいることから、第２表示用観察画像を、中深層血管を強調した画像にすることができる。なお、観察画像の第２色信号は観察画像の第１色信号よりも長波の成分を持つ色信号である。本実施形態では、第１色信号を青色信号、第２色信号を緑色信号としているが、これに限られない。例えば、第１色信号を緑色信号とし、第２色信号をＲｓ画像信号のような赤色信号としてもよい。
【００４１】
次に、輝度信号Ｙを輝度信号Ｙｎに変換することに伴う色差信号Ｃｒ、Ｃｂのずれを補正する色差信号補正処理を行う。具体的には、色差信号Ｃｒに対して、変換後の色差信号Ｙｎ／変換後の色差信号Ｙを掛け合わせる。同様にして、色差信号Ｃｂに対して、変換後の色差信号Ｙｎ／変換後の色差信号Ｙを掛け合わせる。これにより、色差信号Ｃｒ、Ｃｂのずれを補正することができる。そして、輝度信号Ｙｎ、色差信号Ｃｒ×Ｙｎ／Ｙ、色差信号Ｃｂ×Ｙｎ／Ｙに対して、ＲＧＢ変換処理を行うことによって、Ｂ２画像信号、Ｇ２画像信号、Ｒ２画像信号に変換する。これらＢ２画像信号、Ｇ２画像信号、Ｒ２画像信号が、第２表示用観察画像となる。
【００４２】
以上のように、Ｂｓ画像信号が表層血管の情報を含み、Ｇｓ画像信号が中深層血管の情報を含んでいるのは以下の理由からである。図９に示すように、Ｂｓ画像信号は、特殊光の光強度と観察対象の反射率とＢ画素の光透過率とを掛け合わせて得られる光強度に対応する信号値を有している。Ｂｓ画像信号には、特殊光の短波成分を多く含んでいる。Ｇｓ画像信号は、特殊光の光強度と観察対象の反射率とＧ画素の光透過率とを掛け合わせて得られる光強度に対応する信号値を有している。Ｇｓ画像信号には、特殊光の中波成分を多く含んでいる。なお、Ｒｓ画像信号は、特殊光の光強度と観察対象の反射率とＲ画素の光透過率とを掛け合わせて得られる光強度に対応する信号値を有している。このＲｓ画像信号には、特殊光の長波成分を多く含んでいる。
【００４３】
図１０に示すように、Ｂｓ画像信号に多く含まれる特殊光の短波成分は、粘膜の表層まで深達した光の反射光の成分に相当する。したがって、Ｂｓ画像信号には、粘膜の表層に含まれる表層血管の情報が含まれている。一方、Ｇｓ画像信号に多く含まれる特殊光の中波成分は、粘膜の中層付近にまで深達した光の反射光の成分に相当する。したがって、Ｇｓ画像信号には、粘膜の表層又は中層に含まれる表層血管又は中深層血管の情報が含まれている。なお、Ｒｓ画像信号に含まれる特殊光の長波成分は、血管など構造物以外の粘膜の情報を含まれている。したがって、Ｒｓ画像信号によって、粘膜の情報を表示することが可能となる。
【００４４】
次に、マルチ観察モードについて、図１１のフローチャートに沿って説明を行う。モード切替ＳＷ１３ａを操作して、マルチ観察モードに切り替える。これにより、特殊光が観察対象に照明される。特殊光で照明中の観察対象を撮像センサ４８で撮像することにより、Ｂｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号からなる特殊観察画像が得られる。次に、１フレームの特殊観察画像から、第１の規定フレーム数分の第１表示用観察画像と第２の規定フレーム数分の第２表示用観察画像とを生成する。ここで、第１の規定フレーム数と第２の規定フレーム数とは、それぞれ１表示サイクルで表示するフレーム数に対応させることが好ましい。なお、第１の規定フレーム数と第２の規定フレーム数とは、固定でもよく、特定の条件に従って、変化するようにしてもよい。
【００４５】
第１表示用観察画像の生成は、第１表示用観察画像生成処理によって行われる。第１表示用観察画像生成処理では、輝度信号Ｙに対してＢｓ画像信号を割り当てる輝度信号割り当て処理を行う。これにより、表層血管が強調された第１表示用観察画像が得られる。また、第２表示用観察画像の生成は、第２表示用観察画像生成処理によって行われる。第２表示用観察画像生成処理では、輝度信号Ｙに対してＧｓ画像信号を割り当てる輝度信号割り当て処理を行う。これにより、中深層血管が強調された第２表示用観察画像が得られる。そして、特定の表示パターンに従って、第１表示用観察画像と第２表示用観察画像とを自動的に切り替えてモニタ１８に表示する。以上の処理は、マルチ観察モードが継続する限り、繰り返し行われる。なお、表層血管の情報を含むＢｓ画像信号を輝度信号Ｙに割り当て、また、中深層血管の情報を含むＧｓ画像信号を輝度信号に割り当てる輝度信号割り当て処理は、パターンマッチングなどによって表層血管を強調する処理よりも、画像処理としては負荷が小さい。したがって、画像処理などに負荷を掛けることなく、表層血管の画像（第１表示用観察画像）と中深層血管の画像（第２表示用観察画像）の切替を行うことができる。
【００４６】
なお、上記実施形態で示したように、撮像センサ４８のＢ画素の感度特性とＧ画素の感度特性はそれぞれ一部重なり合っていることから、Ｂｓ画像信号とＧｓ画像信号の違いが小さい場合がある。この場合には、第１表示用観察画像と第２表示用観察画像との差が小さくなる場合がある。この第１表示用観察画像と第２表示用観察画像との差を小さくする方法の一つとして、図１２に示すように、Ｂｓ画像信号から、係数αを掛け合わせたＧｓ画像信号を差し引く第１演算処理（Ｂｓ−α×Ｇｓ）を行う。これにより、図１３に示すように、Ｂｓ画像信号から、Ｇｓ画像信号が持つ中波成分（観察画像の第２色信号（緑色信号）の成分）を除くことができる。これにより、（Ｂｓ−α×Ｇｓ）画像信号においては、中深層血管の情報を少なくなることから、この（Ｂｓ−α×Ｇｓ）画像信号を輝度信号Ｙに割り当てた第１表示用観察画像は、第２表示用観察画像との差を大きくすることができる。
【００４７】
また、Ｇｓ画像信号から、係数βを掛け合わせたＢｓ画像信号を差し引く第２演算処理（Ｇｓ−β×Ｂｓ）を行ってもよい。これにより、Ｇｓ画像信号から、Ｂｓ画像信号が持つ短波成分（観察画像の第１色信号（青色信号）の成分）を除くことができる。これにより、（Ｇｓ−β×Ｂｓ）画像信号を輝度信号Ｙに割り当てた第２表示用観察画像は、第１表示用観察画像との差を大きくすることができる。
【００４８】
［第２実施形態］
第２実施形態では、第１実施形態で示した４色のＬＥＤ２０ａ〜２０ｄの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。それ以外については、第１実施形態と同様である。
【００４９】
図１４に示すように、第２実施形態の内視鏡システム２００では、光源装置１４において、４色のＬＥＤ２０ａ〜２０ｄの代わりに、中心波長４４５±１０ｎｍの青色レーザ光を発する青色レーザ光源（図１４では「４４５ＬＤ」と表記）２０４と、中心波長４０５±１０ｎｍの青紫色レーザ光を発する青紫色レーザ光源（図１４では「４０５ＬＤ」と表記）２０６とが設けられている。これら各光源２０４及び２０６の半導体発光素子からの発光は、光源制御部２０８により個別に制御されており、青色レーザ光源２０４の出射光と、青紫色レーザ光源２０６の出射光の光量比は変更自在になっている。
【００５０】
光源制御部２０８は、通常光観察モードの場合には、青色レーザ光源２０４を駆動させる。特殊光観察モード又はマルチ観察モードの場合には、青色レーザ光源２０４と青紫色レーザ光源２０６の両方を駆動させ、且つ、青紫色レーザ光の発光比率を青色レーザ光の光強度比よりも大きくなるように制御する。以上の各光源２０４及び２０６から出射されるレーザ光は、集光レンズ、光ファイバ、又は合波器などの光学部材（いずれも図示せず）を介して、ライトガイド４１に入射する。
【００５１】
なお、青色レーザ光又は青紫色レーザ光の半値幅は±１０nm程度にすることが好ましい。また、青色レーザ光源１０４及び青紫色レーザ光源１０６は、ブロードエリア型のＩｎＧａＮ系レーザダイオードが利用でき、また、ＩｎＧａＮＡｓ系レーザダイオードやＧａＮＡｓ系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
【００５２】
照明光学系３０aには、照明レンズ４５の他に、ライトガイド４１からの青色レーザ光又は青紫色レーザ光が入射する蛍光体２１０が設けられている。蛍光体２１０に、青色レーザ光が照射されることで、蛍光体２１０から蛍光が発せられる。また、一部の青色レーザ光は、そのまま蛍光体２１０を透過する。青紫色レーザ光は、蛍光体２１０を励起させることなく透過する。蛍光体２１０を出射した光は、照明レンズ４５を介して、検体内に照射される。
【００５３】
ここで、通常光観察モードにおいては、主として青色レーザ光が蛍光体２１０に入射するため、図１５に示すような、青色レーザ光、及び青色レーザ光により蛍光体２１０から励起発光する蛍光を合波した通常光が、観察対象に照射される。特殊光観察モード又はマルチ観察モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体２１０に入射するため、図１６に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体２１０から励起発光する蛍光を合波した特殊光が、検体内に照射される。この特殊光においては、青紫色レーザ光の光強度は青色レーザ光の光強度よりも大きくなっている。
【００５４】
なお、蛍光体２１０は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体（例えばＹＡＧ系蛍光体、或いはＢＡＭ（ＢａＭｇＡｌ10Ｏ17）等の蛍光体）を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体２１０の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度及び色度の変化を小さく抑えることができる。
【００５５】
上記実施形態において、画像取得部５３、ＤＳＰ５６、ノイズ除去部５８、通常観察画像処理部６１、特殊観察画像処理部６３、マルチ観察画像処理部６４など、プロセッサ装置１６に含まれる処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【００５６】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【００５７】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
【００５８】
なお、本発明は、第１〜第３実施形態のような内視鏡システムや第４実施形態のようなカプセル内視鏡システムに組み込まれるプロセッサ装置の他、各種の医用画像処理装置に対して適用することが可能である。
【符号の説明】
【００５９】
１０  内視鏡システム
１２  内視鏡
１２ａ  挿入部
１２ｂ  操作部
１２ｃ  湾曲部
１２ｄ  先端部
１２ｅ  アングルノブ
１４  光源装置
１６  プロセッサ装置
１８  モニタ
１９  コンソール
２０  光源部
２０ａ  Ｖ−ＬＥＤ（Ｖｉｏｌｅｔ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）
２０ｂ  Ｂ−ＬＥＤ（Ｂｌｕｅ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）
２０ｃ  Ｇ−ＬＥＤ（Ｇｒｅｅｎ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）
２０ｄ  Ｒ−ＬＥＤ（Ｒｅｄ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）
２１  光源制御部
２３  光路結合部
３０ａ  照明光学系
３０ｂ  撮像光学系
４１  ライトガイド
４５  照明レンズ
４６  対物レンズ
４８  撮像センサ
５０  ＣＤＳ／ＡＧＣ回路
５３  画像取得部
５６  ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）
５８  ノイズ除去部
６０  信号切替部
６１  通常観察画像処理部
６３  特殊観察画像処理部
６４  マルチ観察画像処理部
６６  表示制御部
１０４  青色レーザ光源
１０６  青紫色レーザ光源
２００  内視鏡システム
２０４  光源
２０４  青色レーザ光源
２０６  青紫色レーザ光源
２０８  光源制御部
２１０  蛍光体
【図１】
2019151190.tif 000003
【図２】
2019151190.tif 000004
【図３】
2019151190.tif 000005
【図４】
2019151190.tif 000006
【図５】
2019151190.tif 000007
【図６Ａ】
2019151190.tif 000008
【図６Ｂ】
2019151190.tif 000009
【図７】
2019151190.tif 000010
【図８】
2019151190.tif 000011
【図９】
2019151190.tif 000012
【図１０】
2019151190.tif 000013
【図１１】
2019151190.tif 000014
【図１２】
2019151190.tif 000015
【図１３】
2019151190.tif 000016
【図１４】
2019151190.tif 000017
【図１５】
2019151190.tif 000018
【図１６】
2019151190.tif 000019
【国際調査報告】
2019151190.tif 000020
2019151190.tif 000021