(57)【要約】本発明の内視鏡用画像処理装置（１）は、広帯域の可視光で照明された被写体の通常光画像と、狭帯域の特殊光で照明された被写体の特殊光画像とを処理する画像処理装置であって、特殊光画像内の被写体の構造と相関を有しない非構造情報を低減する非構造低減部（４）と、非構造情報が低減された特殊光画像を通常光画像に重畳して重畳画像を生成する重畳画像生成部（５）と、重畳画像を外部装置へ出力する出力部（６）とを備える。
2018131141.tif 000002
【特許請求の範囲】
【請求項１】
広帯域の可視光で照明された被写体の通常光画像と、狭帯域の特殊光で照明された前記被写体の特殊光画像とを処理する内視鏡用画像処理装置であって、
前記特殊光画像において前記被写体の構造と相関を有しない非構造情報を低減する非構造低減部と、
該非構造低減部によって前記非構造情報が低減された前記特殊光画像を前記通常光画像に重畳して重畳画像を生成する重畳画像生成部と、
該重畳画像生成部によって生成された前記重畳画像を外部装置へ出力する出力部とを備える内視鏡用画像処理装置。
【請求項２】
前記非構造低減部が、前記特殊光画像の明るさを低減する請求項１に記載の内視鏡用画像処理装置。
【請求項３】
前記非構造低減部が、前記特殊光画像の一部の画素を間引く請求項１または請求項２に記載の内視鏡用画像処理装置。
【請求項４】
前記非構造低減部が、時系列の複数の特殊光画像間で間引く画素を異ならせる請求項３に記載の内視鏡用画像処理装置。
【請求項５】
前記非構造低減部が、前記被写体の構造情報を低減せずに前記非構造情報を選択的に低減する請求項１から請求項４のいずれかに記載の内視鏡用画像処理装置。
【請求項６】
前記通常光画像に含まれる前記被写体の構造情報を強調する構造強調部を備える請求項１から請求項５のいずれかに記載の内視鏡用画像処理装置。
【請求項７】
広帯域の可視光で照明された被写体の通常光画像と、狭帯域の特殊光で照明された前記被写体の特殊光画像とを処理する内視鏡用画像処理方法であって、
前記特殊光画像において前記被写体の構造と相関を有しない非構造情報を低減し、
前記非構造情報が低減された前記特殊光画像を前記通常光画像に重畳して重畳画像を生成し、
生成された前記重畳画像を外部装置へ出力する内視鏡用画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡用画像処理装置および内視鏡用画像処理方法に関するものである。
【背景技術】
【０００２】
従来、白色光画像のような通常光画像と、蛍光画像のような特殊光画像とを取得し、通常光画像に特殊光画像を重畳表示する内視鏡装置が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４７９９１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
生体内の組織の構造を表す通常光画像は、組織の輪郭等、組織の構造と相関を有する構造情報を多く含む。一方、蛍光物質で標識された病変部等、組織の特定領域を表す特殊光画像は、組織の構造と相関を有しない、または相関が低い非構造情報を多く含む。したがって、通常光画像に特殊光画像を重畳したときに通常光画像内の構造情報が特殊光画像内の非構造情報によって劣化し、生成された重畳画像において組織の構造が不鮮明化されてしまうという不都合がある。【０００５】
本発明は、上述した事情に鑑みてなされたものであって、特殊光画像を通常光画像に重畳する際の被写体の構造情報の劣化を軽減することができる内視鏡用画像処理装置および内視鏡用画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、広帯域の可視光で照明された被写体の通常光画像と、狭帯域の特殊光で照明された前記被写体の特殊光画像とを処理する内視鏡用画像処理装置であって、前記特殊光画像において前記被写体の構造と相関を有しない非構造情報を低減する非構造低減部と、該非構造低減部によって前記非構造情報が低減された前記特殊光画像を前記通常光画像に重畳して重畳画像を生成する重畳画像生成部と、該重畳画像生成部によって生成された前記重畳画像を外部装置へ出力する出力部とを備える内視鏡用画像処理装置である。【０００７】
広帯域の可視光で照明された被写体の通常光画像は、被写体の構造を表した画像であり、被写体の構造情報を含む。一方、狭帯域の特殊光で照明された特殊光画像は、被写体の内、特殊光と作用する特定領域を表した画像であり、被写体の構造と相関を有しない非構造情報を含む。【０００８】
本態様によれば、重畳画像生成部によって、通常光画像と特殊光画像とを重畳することで被写体の構造と特定領域とを対応付けた重畳画像が生成され、生成された重畳画像が出力部から外部装置に出力される。
この場合に、非構造低減部によって非構造情報が低減された特殊光画像が通常光画像との重畳に使用されるので、特殊光画像を通常光画像に重畳する際の被写体の構造情報の劣化を軽減することができ、被写体の構造が鮮明な重畳画像を生成することができる。【０００９】
上記態様においては、前記非構造低減部が、前記特殊光画像の明るさを低減してもよい。
このように特殊光画像の明るさを低減することによって、簡単な処理で、重畳画像内の非構造情報を構造情報に対して相対的に低減することができる。【００１０】
上記態様においては、前記非構造低減部が、前記特殊光画像の一部の画素を間引いてもよい。
このように特殊光画像の一部の画素を間引くことによって、特殊光画像内の非構造情報を簡単な処理で低減することができる。【００１１】
上記態様においては、前記非構造低減部が、時系列の複数の特殊光画像間で間引く画素を異ならせてもよい。
このようにすることで、特殊光画像から画素が間引かれる位置が経時的に変化する。これにより、動画のように連続する通常光画像および特殊光画像から重畳画像を生成する際に、重畳画像において、特殊光画像内の同一位置の情報が常に欠落することを防ぎ、特殊光画像の全ての位置の情報を重畳画像の観察者に提供することができる。【００１２】
上記態様においては、前記非構造低減部が、前記被写体の構造情報を低減せずに前記非構造情報を選択的に低減してもよい。
このようにすることで、被写体の構造情報を維持しつつ非構造情報が選択的に低減された特殊光画像が得られる。このような特殊光画像を重畳画像に用いることで、被写体の構造情報を重畳画像において強調することができる。【００１３】
上記態様においては、前記通常光画像に含まれる前記被写体の構造情報を強調する構造強調部を備えていてもよい。
このようにすることで、通常光画像内の被写体の構造がより鮮明な重畳画像を生成することができる。【００１４】
本発明の他の態様は、広帯域の可視光で照明された被写体の通常光画像と、狭帯域の特殊光で照明された前記被写体の特殊光画像とを処理する内視鏡用画像処理方法であって、前記特殊光画像において前記被写体の構造と相関を有しない非構造情報を低減し、前記非構造情報が低減された前記特殊光画像を前記通常光画像に重畳して重畳画像を生成し、生成された前記重畳画像を外部装置へ出力する内視鏡用画像処理方法である。
【発明の効果】
【００１５】
本発明によれば、特殊光画像を通常光画像に重畳する際の被写体の構造情報の劣化を軽減することができるという効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る内視鏡用画像処理装置の機能を示すブロック図である。
【図２Ａ】図１の内視鏡用画像処理装置の通常光画像生成部によって生成される通常光画像の一例を示す図である。
【図２Ｂ】図１の内視鏡用画像処理装置の蛍光画像生成部によって生成される蛍光画像の一例を示す図である。
【図３】図１の内視鏡用画像処理装置の非構造低減部による画素の間引き処理を説明する図である。
【図４】図１の内視鏡用画像処理装置による内視鏡用画像処理方法を示すフローチャートである。
【図５】図１の内視鏡用画像処理装置の第１の変形例において画素の間引き処理に使用される間引きパターンの例を示す図である。
【図６】図１の内視鏡用画像処理装置の第２の変形例の機能を示すブロック図である。
【図７】図１の内視鏡用画像処理装置の第３の変形例の機能を示すブロック図である。
【図８】図１の内視鏡用画像処理装置の第４の変形例の機能を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下に、本発明の一実施形態に係る内視鏡用画像処理装置１について図面を参照して説明する。
本実施形態に係る内視鏡用画像処理装置（以下、単に「画像処理装置」という。）１は、内視鏡装置および表示装置（外部装置）と接続され、該内視鏡装置から該内視鏡装置によって取得された画像信号を順次受信し、受信した画像信号を処理して後述する重畳画像を生成し、生成された重畳画像を表示装置に出力して該表示装置に表示させる。
【００１８】
内視鏡装置は、生体組織（被写体）に通常光を照射し、生体組織からの通常光の反射光を撮像素子で撮影することによって通常光画像信号を取得する。また、内視鏡装置は、生体組織に励起光を照射し、生体組織内の蛍光物質が発する蛍光を撮像素子で撮影することによって蛍光画像信号を取得する。通常光は、白色光のような広帯域の可視光であり、励起光は、狭帯域の光である。蛍光物質は、例えば、生体組織内の病変部のような特定領域に集積する薬剤である。
【００１９】
画像処理装置１は、図１に示されるように、通常光画像生成部２と、蛍光画像生成部３と、非構造低減部４と、重畳画像生成部５と、出力部６とを備えている。
通常光画像生成部２は、内視鏡装置から通常光画像信号を受信し、通常光画像信号から通常光画像を生成し、通常光画像を重畳画像生成部５に送信する。通常光画像は、図２Ａに示されるように、生体組織の表面形態のような生体組織の構造を表した画像である。したがって、通常光画像は、生体組織の輪郭Ａ等、生体組織の構造と空間的な相関を有する構造情報を多く含む。
【００２０】
蛍光画像生成部３は、内視鏡装置から蛍光画像信号を受信し、蛍光画像信号から蛍光画像（特殊光画像）を生成し、蛍光画像を非構造低減部４に送信する。蛍光画像は、病変部のような特定領域からの蛍光を撮影した画像である。したがって、蛍光画像は、図２Ｂに示されるように、蛍光領域Ｂのような、生体組織の構造と空間的な相関を有しない、または空間的な相関が低い非構造情報を多く含む画像である。
【００２１】
非構造低減部４は、蛍光画像の全体にわたって画素を均一に間引き、一部の画素が欠落した間引き蛍光画像（図３の右図参照）を生成し、間引き蛍光画像を重畳画像生成部５に送信する。例えば、非構造低減部４は、図３に示されるように、行方向および列方向に１画素置きに画素を間引く。図３において、白い四角は画素を示し、黒い四角は間引かれた画素を示している。
【００２２】
通常光画像は、例えばＲＧＢ形式のカラー画像であり、赤（Ｒ）、緑（Ｇ）および青（Ｂ）のチャネルを有する。重畳画像生成部５は、通常光画像のＧチャネルの信号に間引き蛍光画像の信号を加算することによって、通常光画像に間引き蛍光画像が重畳された重畳画像を生成し、重畳画像を出力部６に送信する。Ｇチャネルに代えてＲまたはＢチャネルに間引き蛍光画像を加算してもよい。
出力部６は、重畳画像を一定のフレームレートで表示装置へ出力する。
【００２３】
このような画像処理装置１は、例えば、中央演算処理装置（ＣＰＵ）と、上述した各部２，３，４，５の処理をＣＰＵに実行させるための画像処理プログラムを格納する記憶装置とを備えるコンピュータによって実現される。
【００２４】
次に、画像処理装置１の作用について図４を参照して説明する。
内視鏡装置によって取得された通常光画像信号および蛍光画像信号は、順次、画像処理装置１へ入力される。画像処理装置１では、通常光画像生成部２において通常光画像信号から通常光画像が生成され（ステップＳ１）、蛍光画像生成部３において蛍光画像信号から蛍光画像が生成される（ステップＳ２）。
【００２５】
次に、非構造低減部４において、蛍光画像の一部の画素を間引いて間引き蛍光画像が生成される（ステップＳ３）。次に、重畳画像生成部５において、間引き蛍光画像が通常光画像のＧチャネルに加算されることによって重畳画像が生成される（ステップＳ４）。生成された重畳画像は、出力部６を介して表示装置に送信されて該表示装置に表示される（ステップＳ５）。
【００２６】
このように、本実施形態によれば、重畳画像の生成に、一部の画素の間引きによって蛍光領域Ｂのような非構造情報が低減された蛍光画像が使用され、通常光画像の信号をそのまま有する画素と、通常光画像の信号に蛍光画像の信号が加算された画素とが混在する重畳画像が生成される。これにより、通常光画像内の構造情報が蛍光画像内の非構造情報によって劣化することを軽減し、通常光画像内の生体組織の構造情報が鮮明に維持された重畳画像を生成することができるという利点がある。
【００２７】
次に、本実施形態に係る画像処理装置１の変形例について説明する。後述する第１から第４の変形例は、適宜組み合わせて実施してもよい。
（第１の変形例）
第１の変形例に係る画像処理装置において、非構造低減部４は、図５に示されるように、蛍光画像から間引く間引き対象画素の位置を規定した複数の間引きパターンＰ１，Ｐ２を有している。図５において、ハッチングが施されている画素が間引き対象画素を示している。図５には、２種類の間引きパターンＰ１，Ｐ２が示されているが、３種類以上の間引きパターンが用意されていてもよい。
【００２８】
複数の間引きパターンＰ１，Ｐ２は、間引き対象画素の位置が互いに異なるように設計されている。非構造低減部４は、蛍光画像生成部３から受信する時系列の複数の蛍光画像に対して複数の間引きパターンＰ１，Ｐ２を順番に適用して間引き蛍光画像を生成する。これにより、画素の間引き位置が互いに異なる複数パターンの間引き蛍光画像が順番に生成される。このような複数パターンの間引き蛍光画像を用いて生成された重畳画像が表示装置に順番に表示されると、蛍光画像の各位置の情報の表示と非表示とが交互に繰り返される。
【００２９】
間引き対象画素の位置が固定されている場合には、蛍光画像内の同一位置の情報が欠落した重畳画像が観察者に提供され続けることになる。本変形例によれば、間引き対象画素の位置を経時的に変化させることによって、蛍光画像内の非構造情報を低減しながらも、蛍光画像内の全位置の情報を観察者に提供することができるという利点がある。
【００３０】
（第２の変形例）
第２の変形例に係る画像処理装置１０は、図６に示されるように、通常光画像に対して構造強調処理を行う構造強調部７をさらに備えている。構造強調処理は、通常光画像に含まれる構造情報を増大する処理であり、例えば、エッジ強調処理または明るさを増大する処理である。重畳画像生成部５は、構造強調部７によって構造強調された通常光画像を重畳画像の生成に使用する。本変形例によれば、生体組織の構造がより鮮明な重畳画像を得ることができる。
【００３１】
（第３の変形例）
第３の変形例に係る画像処理装置２０おいて、非構造低減部４は、通常光画像の明るさに対する蛍光画像の明るさの比が所定の閾値以下となるように、蛍光画像の明るさを低減することによって、非構造情報を低減する。具体的には、非構造低減部４は、図７に示されるように、通常光画像生成部２から通常光画像を受信し、通常光画像の明るさを算出するとともに、蛍光画像生成部３から蛍光画像を受信し、蛍光画像の明るさを算出する。画像の明るさは、例えば、全画素の信号の平均値である。所定の閾値は、重畳画像において通常光画像内の生体組織の構造情報が蛍光画像内の非構造情報に埋もれないように設定される。重畳画像生成部５は、非構造低減部４によって明るさが低減された蛍光画像を重畳画像の生成に使用する。
【００３２】
蛍光画像には非構造情報に加えて構造情報も含まれ得るが、構造情報は非構造情報に比べて少ない。したがって、蛍光画像の明るさを低減したときに、構造情報の低減度に比べて非構造情報の低減度の方が大きくなり、構造情報に対して非構造情報を相対的に低減する効果が得られる。
このように、通常光画像の明るさに対する蛍光画像の明るさを低減することによっても、蛍光画像内の非構造情報を低減する効果が得られる。
本変形例においては、蛍光画像の明るさを低減することに代えて、またはこれに加えて、通常光画像の明るさを増大することによって、通常光画像の明るさに対する蛍光画像の明るさの比が所定の閾値以下となるように、通常光画像と蛍光画像の相対的な明るさを調整してもよい。
【００３３】
（第４の変形例）
第４の変形例に係る画像処理装置３０は、図８に示されるように、通常光画像内から、生体組織の輪郭のような構造情報を有する構造領域を抽出する構造抽出部８をさらに備える。構造領域は、例えば、公知のエッジ抽出処理によって抽出することができる。蛍光画像は、病変部のような強い蛍光領域Ｂに加えて、生体組織の構造に沿って微弱な蛍光領域（すなわち構造情報）を含み得る。非構造低減部４は、構造抽出部８によって抽出された構造領域を蛍光画像から減算することによって、蛍光画像から、生体組織の構造に沿う弱い蛍光領域を除去する。続いて、非構造低減部４は、構造領域が減算された蛍光画像から一部の画素を間引いて非構造情報を低減し、その後に、減算した構造領域を非構造情報が低減された間引き蛍光画像に再び加算する。これにより、蛍光画像において、被写体の構造情報を低減せずに、非構造情報を選択的に低減することができる。
【００３４】
このように、非構造情報が選択的に低減された蛍光画像を重畳画像に使用することによって、生体組織の輪郭のような構造情報を重畳画像において強調する効果を得ることができる。
本変形例においては、画素の間引きに代えて、またはこれに加えて、第３の変形例で説明したように、明るさの低減によって非構造情報を低減した蛍光画像を通常光画像に重畳してもよい。
【００３５】
上述した実施形態および変形例においては、特殊光および特殊光画像の一例として、蛍光物質を励起する励起光および蛍光画像について説明したが、特殊光および特殊光画像の種類はこれに限定されるものではない。例えば、赤外光を使用して取得された赤外光画像、または、青色狭帯域光および緑色狭帯域光を使用して取得されたＮＢＩ画像を、通常光画像との重畳に使用してもよい。
【符号の説明】
【００３６】
１，１０，２０，３０  内視鏡用画像処理装置
２  通常光画像生成部
３  蛍光画像生成部
４  非構造低減部
５  重畳画像生成部
６  出力部
７  構造強調部
８  構造抽出部
【図１】
2018131141.tif 000003
【図２Ａ】
2018131141.tif 000004
【図２Ｂ】
2018131141.tif 000005
【図３】
2018131141.tif 000006
【図４】
2018131141.tif 000007
【図５】
2018131141.tif 000008
【図６】
2018131141.tif 000009
【図７】
2018131141.tif 000010
【図８】
2018131141.tif 000011
【国際調査報告】
2018131141.tif 000012
2018131141.tif 000013
2018131141.tif 000014
2018131141.tif 000015