(57)【特許請求の範囲】
【請求項１】
通常光により撮像した通常観察画像および前記通常光より狭帯域の狭帯域光により撮像した狭帯域観察画像が入力する観察画像入力部と、
前記狭帯域観察画像に含まれる特徴部分を抽出する特徴部分抽出部と、
前記通常観察画像のうち前記狭帯域観察画像に含まれる特徴部分に対応する部分に当該特徴部分を合成した単一画像を表示する強調表示部と、
を有し、
前記特徴部分抽出部は、前記通常観察画像のＲ成分から前記狭帯域観察画像のＢ成分を減算した表層特徴成分を前記特徴部分として抽出し、
前記強調表示部は、前記通常観察画像のＧ成分とＢ成分から前記表層特徴成分を減算する、
ことを特徴とする画像処理装置。
【請求項２】
前記特徴部分抽出部は、前記通常観察画像のＲ成分から前記狭帯域観察画像のＧ成分を減算したものから前記表層特徴成分をさらに減算した深層特徴成分を前記特徴部分として抽出し、
前記強調表示部は、前記通常観察画像のＲ成分から前記深層特徴成分を減算する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
通常光により撮像した通常観察画像および前記通常光より狭帯域の狭帯域光により撮像した狭帯域観察画像を取得する電子内視鏡と、
前記通常観察画像および前記狭帯域観察画像に画像処理を施す画像処理装置と、
を有する電子内視鏡システムであって、
前記画像処理装置は、
前記狭帯域観察画像に含まれる特徴部分を抽出する特徴部分抽出部と、
前記通常観察画像のうち前記狭帯域観察画像に含まれる特徴部分に対応する部分に当該特徴部分を合成した単一画像を表示する強調表示部と、
を有し、
前記特徴部分抽出部は、前記通常観察画像のＲ成分から前記狭帯域観察画像のＢ成分を減算した表層特徴成分を前記特徴部分として抽出し、
前記強調表示部は、前記通常観察画像のＧ成分とＢ成分から前記表層特徴成分を減算する、
ことを特徴とする電子内視鏡システム。
【請求項４】
前記特徴部分抽出部は、前記通常観察画像のＲ成分から前記狭帯域観察画像のＧ成分を減算したものから前記表層特徴成分をさらに減算した深層特徴成分を前記特徴部分として抽出し、
前記強調表示部は、前記通常観察画像のＲ成分から前記深層特徴成分を減算する、
ことを特徴とする請求項３記載の電子内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および電子内視鏡システムに関する。
【背景技術】
【０００２】
特許文献１、２には、通常光により撮像した通常観察画像および通常光より狭帯域の狭帯域光により撮像した狭帯域観察画像を取得して、これらを一画面に並べて表示する電子内視鏡システムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３２１２４４号公報
【特許文献２】特開２０１５−２２３２４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、狭帯域観察画像は、病変部や検査対象部等の特徴部分を際立たせるために、通常観察画像と比較して色味等が大きく異なった不自然な見え方になることが避けられない。また、通常観察画像と狭帯域観察画像が画面上で二分割されるため、各画像のサイズが小さくなって視認性が低下してしまう。
【０００５】
本発明は、以上の問題意識に基づいてなされたものであり、病変部や検査対象部等の特徴部分を際立たせながら全体として自然で視認性に優れた観察画像を得ることができる画像処理装置および電子内視鏡システムを提供することを目的の１つとする。
【課題を解決するための手段】
【０００６】
本発明の一態様の画像処理装置は、通常光により撮像した通常観察画像および前記通常光より狭帯域の狭帯域光により撮像した狭帯域観察画像が入力する観察画像入力部と、前記狭帯域観察画像に含まれる特徴部分を抽出する特徴部分抽出部と、前記通常観察画像のうち前記狭帯域観察画像に含まれる特徴部分に対応する部分に当該特徴部分を合成した単一画像を表示する強調表示部と、を有し、前記特徴部分抽出部は、前記通常観察画像のＲ成分から前記狭帯域観察画像のＢ成分を減算した表層特徴成分を前記特徴部分として抽出し、前記強調表示部は、前記通常観察画像のＧ成分とＢ成分から前記表層特徴成分を減算する、ことを特徴としている。
【０００７】
本発明の一態様の電子内視鏡システムは、通常光により撮像した通常観察画像および前記通常光より狭帯域の狭帯域光により撮像した狭帯域観察画像を取得する電子内視鏡と、前記通常観察画像および前記狭帯域観察画像に画像処理を施す画像処理装置と、を有する電子内視鏡システムであって、前記画像処理装置は、前記狭帯域観察画像に含まれる特徴部分を抽出する特徴部分抽出部と、前記通常観察画像のうち前記狭帯域観察画像に含まれる特徴部分に対応する部分に当該特徴部分を合成した単一画像を表示する強調表示部と、を有し、前記特徴部分抽出部は、前記通常観察画像のＲ成分から前記狭帯域観察画像のＢ成分を減算した表層特徴成分を前記特徴部分として抽出し、前記強調表示部は、前記通常観察画像のＧ成分とＢ成分から前記表層特徴成分を減算する、ことを特徴としている。
【００１０】
前記特徴部分抽出部は、前記通常観察画像のＲ成分から前記狭帯域観察画像のＧ成分を減算したものから前記表層特徴成分をさらに減算した深層特徴成分を前記特徴部分として抽出し、前記強調表示部は、前記通常観察画像のＲ成分から前記深層特徴成分を減算することができる。
【００１２】
本明細書において、強調表示部が単一画像を強調表示する態様は、通常観察画像のうち狭帯域観察画像に含まれる特徴部分に対応する部分に特徴部分を合成する態様、及び、通常観察画像のうち狭帯域観察画像に含まれる特徴部分に対応する部分を特徴部分で置換する態様を含むものとする。すなわち「強調」は「合成」と「置換」を含む概念で使用している。
【発明の効果】
【００１３】
本発明によれば、病変部や検査対象部等の特徴部分を際立たせながら全体として自然で視認性に優れた観察画像を得ることができる画像処理装置および電子内視鏡システムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態による電子内視鏡システムの構成を示すブロック図である。
【図２】狭帯域観察画像における被写体組織の表層と深層にある特徴部分としての血管を示す図である。
【図３】図３Ａ、図３Ｂは、通常光と狭帯域光での表層情報と深層情報に対応するＲＧＢ成分波長を示す図である。
【図４】表層特徴成分と深層特徴成分の演算手法を示す図である。
【図５】本実施形態による画像処理を示すフローチャートである。
【発明を実施するための形態】
【００１５】
図１〜図５を参照して、本実施形態による電子内視鏡システム１について説明する。電子内視鏡システム１は、電子内視鏡１０と、プロセッサ（画像処理装置、光源装置）２０と、モニタ３０とを有する。
【００１６】
図１では詳細形状を省略しているが、電子内視鏡１０は、操作者が把持する把持操作部と、把持操作部から延出する可撓性のある挿入部と、把持操作部から挿入部と反対側に延出するユニバーサルチューブと、ユニバーサルチューブの先端部に設けられたコネクタ部とを有する。
【００１７】
電子内視鏡１０には、ライトガイドファイバ１１が内蔵されている。ライトガイドファイバ１１は、電子内視鏡１０の挿入部と把持操作部とユニバーサルチューブを通ってコネクタ部の内部まで延びている。電子内視鏡１０のコネクタ部がプロセッサ２０のコネクタ部に接続されると、電子内視鏡１０とプロセッサ２０が光学的に接続される。そして、プロセッサ２０に内蔵されたフィルタ付光源部２１から発せられた照明光（後述する通常光または狭帯域光）が、ライトガイドファイバ１１の内部を導かれ、電子内視鏡１０の挿入部の先端部に設けられた照明レンズ１２によって所定の配光で外方に出射される。
【００１８】
フィルタ付光源部２１は、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の各波長帯域を含む白色光を放射する高輝度ランプ（例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等）を有する。またフィルタ付光源部２１は、高輝度ランプが発した白色光の光路上に位置するフィルタユニットを有する。フィルタユニットは、回転式フィルタターレットに、高輝度ランプが発した白色光を通過させて通常光とする白色用フィルタと、高輝度ランプが発した白色光の波長帯域を狭めて狭帯域光とする狭帯域フィルタとを設けたものである。狭帯域フィルタは、ＲＧＢの各波長帯域に半値幅の狭い分光透過率を有する。フィルタユニットの回転式フィルタターレットを回転駆動することで、高輝度ランプが発した白色光が白色用フィルタと狭帯域フィルタを交互に通過して、フィルタ付光源部２１から、通常光と、この通常光より狭帯域の狭帯域光とが交互に発せられる。狭帯域光の波長帯域は、通常光の波長帯域よりも狭い限りにおいて自由度を持って設定可能であるが、例えば、ヘモグロビンの分光特性に合わせた波長帯域とすることができる。フィルタ付光源部２１は、例えば、上述した特許文献２に開示されているように周知であり、これ以上の詳細な説明は省略する。
【００１９】
電子内視鏡１０の挿入部の先端部には、撮像ユニット１３が設けられている。撮像ユニット１３は、対物レンズ１３ａと、対物レンズ１３ａを透過した被写体像を撮像するＣＣＤ１３ｂとを含む複数の構成要素をエポキシ樹脂等の樹脂材料により一体化したものである。ＣＣＤ１３ｂは、フィルタ付光源部２１からライトガイドファイバ１１及び照明レンズ１２を通って交互に出射される通常光と狭帯域光による通常観察画像信号と狭帯域観察画像信号を交互に取得する。この通常観察画像信号と狭帯域観察画像信号は、信号伝送ケーブル１４を介してプロセッサ２０に伝送される。
【００２０】
プロセッサ２０は、制御部２２と、観察画像入力部（画像入力処理部）２３と、画像処理部（演算部）２４と、画像メモリ２５と、表示処理部２６とを有する。制御部２２は、プロセッサ２０の全構成要素を統括して制御する。
【００２１】
観察画像入力部２３は、電子内視鏡１０の信号伝送ケーブル１４を介して伝送された通常観察画像信号と狭帯域観察画像信号に入力処理を施して、通常観察画像と狭帯域観察画像として入力させる。
【００２２】
画像処理部２４は、観察画像入力部２３に入力した通常観察画像と狭帯域観察画像に画像処理を施すものである。画像処理部２４は、特徴部分抽出部（画像特徴計算部）２４ａと強調表示部（表示結果作成部）２４ｂを有している。
【００２３】
特徴部分抽出部２４ａは、観察画像入力部２３に入力した狭帯域観察画像に含まれる特徴部分を抽出する。より具体的に、特徴部分抽出部２４ａは、観察画像入力部２３に入力した通常観察画像のＲ成分から狭帯域観察画像のＢ成分を減算した表層特徴成分を、狭帯域観察画像の特徴部分として抽出する。さらに、特徴部分抽出部２４ａは、観察画像入力部２３に入力した通常観察画像のＲ成分から狭帯域観察画像のＧ成分を減算したものから上記の表層特徴成分をさらに減算した深層特徴成分を、狭帯域観察画像の特徴部分として抽出する。
【００２４】
強調表示部２４ｂは、観察画像入力部２３に入力した通常観察画像のうち、特徴部分抽出部２４ａが抽出した狭帯域観察画像の特徴部分に対応する部分に当該特徴部分を合成することで、当該特徴部分を強調表示した単一の合成観察画像（単一画像）を生成する。より具体的に、強調表示部２４ｂは、観察画像入力部２３に入力した通常観察画像のＧ成分とＢ成分から、特徴部分抽出部２４ａが抽出した表層特徴成分を減算するとともに、観察画像入力部２３に入力した通常観察画像のＲ成分から、特徴部分抽出部２４ａが抽出した深層特徴成分を減算する。
【００２５】
図２は、狭帯域観察画像における被写体組織の表層と深層にある特徴部分としての血管を示す図である。図３Ａ、図３Ｂは、通常光と狭帯域光での表層情報と深層情報に対応するＲＧＢ成分波長を示す図である。内視鏡の観察画像では、Ｒ成分が支配的であって最も特徴量に乏しい色成分であり、Ｇ成分とＢ成分が特徴量を強調して示すのに適した色成分であると言える。狭帯域観察画像は、Ｂ成分に組織表層の情報を多く含み、Ｇ成分に組織深層の情報を多く含んでいる。このため、組織表層の血管はＢ成分の波長光に良く反応（吸収）して強調されやすく、組織深層の血管はＧ成分の波長光に良く反応（吸収）して強調されやすい。これにより、上述した表層特徴成分と深層特徴成分を使い分けることで、表層組織と深層組織の血管を異なる見え方で強調することが可能になる。
【００２６】
図４は、表層特徴成分と深層特徴成分の演算手法を示す図である。同図では、通常観察画像のＲ成分から狭帯域観察画像のＢ成分を減算し、そこから所定の閾値以下の色成分を除外して表層特徴成分としている。また、通常観察画像のＲ成分から狭帯域観察画像のＧ成分を減算し、そこから所定の閾値以下の色成分を除外して表層特徴成分と深層特徴成分を加算したものとし、そこから上記の表層特徴成分を減算して深層特徴成分としている。このようにして、狭帯域観察画像の表層特徴成分と深層特徴成分のみを抽出する。例えば、特徴量に乏しい通常観察画像のＲ成分からは、全体の色味等に影響し難い深層特徴成分を減算し、Ｇ成分とＢ成分には元々持っている表層特徴成分をさらに減算して際立たせることで、通常観察画像としての色味やコントラストを変えることなく、特徴部分の色味やコントラストだけを変更して強調することが可能になる。なお、所定の閾値は、固定値としてもよいし、例えばＲＧＢの各成分の平均値などに基づいて動的に算出及び設定してもよい。また、所定の閾値以下の色成分を除外する処理自体を省略する（閾値をゼロにする）ことも可能である。
【００２７】
画像メモリ２５は、画像処理部２４によって狭帯域観察画像の特徴部分が強調表示された合成観察画像（単一画像）を記憶する。表示処理部２６は、画像メモリ２５に記憶された合成観察画像（単一画像）をモニタ３０に表示させる。
【００２８】
図５のフローチャートを参照して、本実施形態の電子内視鏡システム１及びプロセッサ２０による画像処理について説明する。
【００２９】
ステップＳ１では、画像処理部２４が、現フレームの観察画像を取得する。
【００３０】
ステップＳ２では、画像処理部２４が、ステップＳ１で取得した現フレームの観察画像が通常観察画像であるか狭帯域観察画像であるかを判別する。この判別処理は、例えば、フィルタ付光源部２１のフィルタユニット（回転式フィルタターレット）の回転位相を検知することにより実行される。
【００３１】
ステップＳ３では、画像処理部２４が、ステップＳ１で取得した現フレームの観察画像の前フレームの観察画像を読み出す。通常観察画像と狭帯域観察画像は１フレーム毎に交互に出力されるので、ステップＳ１で取得した現フレームの観察画像とステップＳ３で読み出した前フレームの観察画像は、通常観察画像と狭帯域観察画像の一対のセットとなる。また、この一対のセットとなる通常観察画像と狭帯域観察画像は、照射光の波長帯域の違いによって見え方が異なるだけで、殆ど同一の被写体像とみなすことができる。さらに、一対のセットとなる通常観察画像と狭帯域観察画像を用いることで、フレームレートを落とさずに合成観察画像（単一画像）を表示することが可能になる。
【００３２】
ステップＳ４では、画像処理部２４の特徴部分抽出部２４ａが、通常観察画像のＲ成分と狭帯域観察画像のＢ成分に基づいて、表層特徴成分を抽出（計算）する。
【００３３】
ステップＳ５では、画像処理部２４の特徴部分抽出部２４ａが、通常観察画像のＲ成分と狭帯域観察画像のＧ成分、及び、ステップＳ４で抽出した表層特徴成分に基づいて、深層特徴成分を抽出（計算）する。
【００３４】
ステップＳ６では、画像処理部２４の強調表示部２４ｂが、通常観察画像のＲ成分から、ステップＳ５で抽出した深層特徴成分を減算する。
【００３５】
ステップＳ７では、画像処理部２４の強調表示部２４ｂが、通常観察画像のＧ成分とＢ成分から、ステップＳ４で抽出した表層特徴成分を減算する。
【００３６】
ステップＳ６とステップＳ７の処理を実行する順番には自由度があり、これらの処理を同時に実行してもよい。
【００３７】
ステップＳ８では、表示処理部２６が、画像処理部２４によって狭帯域観察画像の特徴部分が強調表示された状態にある観察画像（合成観察画像、単一画像）をモニタ３０に表示させる。
【００３８】
ステップＳ９では、画像処理部２４によって狭帯域観察画像の特徴部分が強調表示された合成観察画像が画像メモリ２５に記憶される。画像メモリ２５に記憶された合成観察画像は、例えば観察後に外部に保存されてより詳細な診断や説明時の資料に供される。
【００３９】
ステップＳ１０では、プロセッサ２０が、電子内視鏡１０による撮影が終了したか否かを判定する。プロセッサ２０が電子内視鏡１０による撮影が終了したと判定したとき（ステップＳ１０：Ｙｅｓ）には、ステップＳ１〜ステップＳ９の処理を終了する。プロセッサ２０が電子内視鏡１０による撮影が終了していないと判定したとき（ステップＳ１０：Ｎｏ）には、ステップＳ１〜ステップＳ９の処理ループを繰り返して実行する。
【００４０】
このように本実施形態の電子内視鏡システム１及びプロセッサ２０によれば、特徴部分抽出部２４ａが、狭帯域観察画像に含まれる特徴部分を抽出し、強調表示部２４ｂが、通常観察画像のうち狭帯域観察画像に含まれる特徴部分に対応する部分を当該特徴部分により強調した単一画像を表示する。このため、病変部や検査対象部等の特徴部分を際立たせて高精度な施術（手術）や検査を行うことができる。しかも、病変部や検査対象部等の特徴部分以外の部分は通常観察画像の色味等が維持され、強調表示された観察画像は一画面に大きく表示されるので、全体として自然で視認性に優れたものとすることができる。また、連続して撮影した２フレーム分の画像を用いることにより、フレームレートの低下を最小限に留めていることからも自然な画像表示を実現している。
【００４１】
以上の実施形態では、強調表示部２４ｂが、観察画像入力部２３に入力した通常観察画像のうち、特徴部分抽出部２４ａが抽出した狭帯域観察画像の特徴部分に対応する部分に当該特徴部分を合成することで、当該特徴部分を強調表示した合成観察画像を生成する場合を例示して説明した。
【００４２】
ここで、強調表示部２４ｂによる観察画像の合成方法は、以上の実施形態で説明したものに限定されることはなく、種々の設計変更が可能である。例えば、観察画像の用途に応じて、ＲＧＢ成分、及び、表層特徴成分と深層特徴成分の加減算の組み合わせを変更してもよいし、加減算の前に表層特徴成分と深層特徴成分に対して任意の係数をかけることで値を増減させてもよい。また、必要に応じて積算や除算等の各種の演算手法を取り込んでもよい。
【００４３】
さらに、強調表示部２４ｂは、観察画像入力部２３に入力した通常観察画像のうち、特徴部分抽出部２４ａが抽出した狭帯域観察画像の特徴部分に対応する部分を当該特徴部分で置換することで、当該特徴部分を強調表示した一部置換観察画像（単一画像）を生成することも可能である。この態様では、一部置換観察画像の特徴部分とそれ以外の部分の境界をより明確にすることができる。
【符号の説明】
【００４４】
１  電子内視鏡システム
１０  電子内視鏡
１１  ライトガイドファイバ
１２  照明レンズ
１３  撮像ユニット
１３ａ  対物レンズ
１３ｂ  ＣＣＤ
１４  信号伝送ケーブル
２０  プロセッサ（画像処理装置、光源装置）
２１  フィルタ付光源部
２２  制御部
２３  観察画像入力部（画像入力処理部）
２４  画像処理部（演算部）
２４ａ  特徴部分抽出部（画像特徴計算部）
２４ｂ  強調表示部（表示結果作成部）
２５  画像メモリ
２６  表示処理部
３０  モニタ
【図１】
0006626783.tif 000002
【図２】
0006626783.tif 000003
【図３】
0006626783.tif 000004
【図４】
0006626783.tif 000005
【図５】
0006626783.tif 000006