(57)【要約】  内視鏡システムプロセッサは、電子内視鏡で得られた生体組織の画像から、血管領域の確からしさを、前記画像の複数の部分それぞれにおいて血管を特徴付ける形状に基づいて数値として求める血管領域判定部と、前記血管領域の確からしさの数値を前記画像全体で統合することにより、血管領域の特徴量を示す血管特徴量を算出する血管特徴量算出部と、を備える。前記血管領域判定部は、前記画像から取り出した一段の画素列に対して、複数の画素で構成され、該複数の画素の画素値が血管形状に近似するパターン形状に対応して表された空間フィルタを用いて、前記パターン形状に近似する程度を数値で表した近似度を、前記血管領域の確からしさとして算出する。前記テンプレートの一方向に沿ったサイズは、前記一方向と直交する直交方向に沿ったサイズに比べて大きい。
2020189213.tif 000002
【特許請求の範囲】
【請求項１】
生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の画像から、前記画像の複数の部分毎に、前記生体組織の像に現れる血管領域の確からしさを、血管を特徴付ける形状に基づいて数値として求めるように構成された血管領域判定部と、前記血管領域の確からしさの数値を前記画像全体で統合することにより、前記血管領域の特徴量を示す血管特徴量を算出するように構成された血管特徴量算出部と、を備える画像処理ユニットを含むプロセッサと、を備え、
前記血管領域判定部は、前記画像の画素の配列方向のうちの一方向に沿って取り出した前記画像の少なくとも一段の画素列に対して、複数の画素で構成され、該複数の画素の画素値が血管形状に近似するパターン形状に対応して表された空間フィルタを用いて、前記パターン形状に近似する程度を数値で表した近似度を前記血管領域の確からしさとして、前記画像の画素毎に算出するように構成され、
前記空間フィルタの前記一方向に沿ったサイズは、前記空間フィルタの前記一方向と直交する直交方向に沿ったサイズに比べて大きい、ことを特徴とする内視鏡システム。
【請求項２】
前記血管領域判定部は、前記画素列の検査対象エリアの画素と前記空間フィルタのそれぞれの画素とを対応付けて、前記検査対象エリアの画素の画素値と前記空間フィルタの対応する画素の画素値同士を乗算して合計した値に基づいて前記近似度を求める、請求項１に記載の内視鏡システム。
【請求項３】
前記空間フィルタは、複数のパターン形状のそれぞれに対応して設けられ、
前記血管領域判定部は、前記複数のパターン形状のそれぞれに対応した前記空間フィルタを用いて得られる複数の近似度のうち最大値を前記血管領域の確からしさとして算出するように構成される、請求項１または２に記載の内視鏡システム。
【請求項４】
前記複数のパターン形状は、前記直交方向に延びる線形状、及び、前記直交方向に対して０度超９０度未満の傾斜角度で延びる傾斜形状を含む、請求項３に記載の内視鏡システム。
【請求項５】
前記空間フィルタの前記一方向における寸法の、前記直交方向における寸法に対する比率は、２０〜１００である、請求項１〜４のいずれか１項に記載の内視鏡システム。
【請求項６】
前記生体組織の血管領域の確からしさを求める際に用いる前記生体組織の画像は、前記電子内視鏡で得られた前記生体組織の画像中の所定の色成分の量に関する情報を画素毎に数値で表した色成分画像である、請求項１〜５のいずれか１項に記載の内視鏡システム。
【請求項７】
前記画像処理ユニットは、
前記生体組織の病変部に現れる外観の特徴を、前記病変部が示す色成分により前記生体組織の健常部の外観の前記特徴と区別できる画素評価値であって、前記病変部が示す前記色成分に関する、前記特徴の程度を示す第１画素評価値を画素毎に算出するように構成された色成分算出部と、前記血管領域判定部と、を備える画素評価値算出部を備え、
前記血管領域判定部は、前記色成分算出部で算出した前記第１画素評価値を画素値として構成された色成分画像を前記血管領域の確からしさの数値を求める画像として、前記血管領域の確からしさを数値で表した第２画素評価値を画素毎に算出するように構成され、
さらに、前記画像処理ユニットは、
前記血管領域の確からしさの数値である前記第２画素評価値を前記色成分画像全体で統合することにより、前記血管特徴量を、前記血管領域における第２代表評価値として算出するように構成された前記血管特徴量算出部と、前記色成分画像における各画素の前記第１画素評価値を統合することにより前記生体組織の前記特徴の第１代表評価値を算出するように構成された生体組織特徴量算出部と、を含む代表値算出部と、
前記第１代表評価値及び前記第２代表評価値を演算して統合した１つの数値を前記病変部の病変の重症度として算出するように構成された統合部と、
を備える、請求項１〜５のいずれか１項に記載の内視鏡システム。
【請求項８】
前記外観の特徴の程度は、前記生体組織の炎症の程度であり、
前記色成分は、赤色成分である、請求項７に記載の内視鏡システム。
【請求項９】
前記画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、
前記色成分算出部は、前記赤色成分と、前記青色成分あるいは前記緑色成分とによって定義される色空間内において、前記色空間内に設定される基準点と前記画像の各画素の色成分に対応する画素対応点とを結ぶ線分の向きが、前記基準点を通る、予め定めた基準軸に対してずれるずれ角度に基づいて前記第１画素評価値を算出するように構成される、請求項７または８に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、体腔内の生体組織の画像を画像処理する内視鏡システムに関する。
【背景技術】
【０００２】
生体組織における病変部は、生体組織の粘膜層が薄くなって生体組織が荒れて赤色を示す炎症から、粘膜層及びその下層まで部分的に欠落する潰瘍まで、種々のレベルの重症度が存在する。病変部、例えば炎症部は、一般的に正常な粘膜組織とは異なる赤色を呈する。カラー内視鏡装置の性能向上により、正常組織に対して僅かに色の異なる炎症部等の病変部の識別も可能になってきている。しかし、赤色を呈する炎症部には、あるいはその近傍には、赤色を呈する血管の像も現れる。このため、赤色の成分の強さだけでは、炎症部の炎症の程度を精度よく評価することはできない。このため、血管に関する評価を行う必要がある。
また、炎症部あるいはその近傍に存在する血管のみならず、病変部とは無関係に、生体組織に現れる血管の多さを評価することは、生体組織の健康状態の評価に用い、また、病変部への移行等を事前に判断する上で望ましい。【０００３】
例えば、撮像した生体組織の像から、血管の検出精度を向上させることが可能な画像処理が提案されている（特許文献１）。
上記画像処理では、血管の形状構造が存在すると推定される血管候補領域を検出し、検出した血管候補領域の両側にある近傍領域それぞれの外側及び内側の特徴量の差異を算出し、この差異に基づいて血管候補領域の検出結果を補正する。
これにより、血管の検出精度が向上する、とされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１２／０１１３０３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、血管には、太い血管もあれば細い血管もあり、また、生体組織を近接して撮像し、あるいは生体組織を遠くから撮像する場合があり、画像内に現れる血管の像の太さも大きく変化する。このため、画像内で太さが異なる血管の像を血管候補領域として適切に検出し、あるいは、視野範囲が異なることによって、同じ血管であっても画像ごとに太さが変化する血管の像を血管候補領域として適切に検出することは難しい。上記血管候補領域を検出する方法を開示する特許文献１において、画像内で太さが異なる血管の像を血管候補領域として適切に検出する方法、あるいは、同じ血管であっても画像ごとに太さが変化する血管の像を血管候補領域として適切に検出する方法の開示はない。【０００６】
そこで、本発明は、生体組織の画像において、画像内の血管の太さに係らず、血管領域を適切に判定することができる内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態は、内視鏡システムである。当該内視鏡システムは、
生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の画像から、前記画像の複数の部分毎に、前記生体組織の像に現れる血管領域の確からしさを、血管を特徴付ける形状に基づいて数値として求めるように構成された血管領域判定部と、前記血管領域の確からしさの数値を前記画像全体で統合することにより、前記血管領域の特徴量を示す血管特徴量を算出するように構成された血管特徴量算出部と、を備える画像処理ユニットを含むプロセッサと、を備える。
前記血管領域判定部は、前記画像の画素の配列方向のうちの一方向に沿って取り出した前記画像の少なくとも一段の画素列に対して、複数の画素で構成され、該複数の画素の画素値が血管形状に近似するパターン形状に対応して表された空間フィルタを用いて、前記パターン形状に近似する程度を数値で表した近似度を前記血管領域の確からしさとして、前記画像の画素毎に算出するように構成される。
前記空間フィルタの前記一方向に沿ったサイズは、前記空間フィルタの前記一方向と直交する直交方向に沿ったサイズに比べて大きい。【０００８】
前記血管領域判定部は、前記画素列の検査対象エリアの画素と前記空間フィルタのそれぞれの画素とを対応付けて、前記検査対象エリアの画素の画素値と前記空間フィルタの対応する画素の画素値同士を乗算して合計した値に基づいて前記近似度を求める、ことが好ましい。【０００９】
前記空間フィルタは、複数のパターン形状のそれぞれに対応して設けられ、
前記血管領域判定部は、前記複数のパターン形状のそれぞれに対応した前記空間フィルタを用いて得られる複数の近似度のうち最大値を前記血管領域の確からしさとして算出するように構成される、ことが好ましい。【００１０】
前記複数のパターン形状は、前記直交方向に延びる線形状、及び、前記直交方向に対して０度超９０度未満の傾斜角度で延びる傾斜形状を含む、ことが好ましい。【００１１】
前記空間フィルタの前記一方向における寸法の、前記直交方向における寸法に対する比率は、２０〜１００である、ことが好ましい。【００１２】
前記生体組織の血管領域の確からしさを求める際に用いる前記生体組織の画像は、前記電子内視鏡で得られた前記生体組織の画像中の所定の色成分の量に関する情報を画素毎に数値で表した色成分画像である、ことが好ましい。【００１３】
前記画像処理ユニットは、
前記生体組織の病変部に現れる外観の特徴を、前記病変部が示す色成分により前記生体組織の健常部の外観の前記特徴と区別できる画素評価値であって、前記病変部が示す前記色成分に関する、前記特徴の程度を示す第１画素評価値を画素毎に算出するように構成された色成分算出部と、前記血管領域判定部と、を備える画素評価値算出部を備え、
前記血管領域判定部は、前記色成分算出部で算出した前記第１画素評価値を画素値として構成された色成分画像を前記血管領域の確からしさの数値を求める画像として、前記血管領域の確からしさを数値で表した第２画素評価値を画素毎に算出するように構成され、
さらに、前記画像処理ユニットは、
前記血管領域の確からしさの数値である前記第２画素評価値を前記色成分画像全体で統合することにより、前記血管特徴量を、前記血管領域における第２代表評価値として算出するように構成された前記血管特徴量算出部と、前記色成分画像における各画素の前記第１画素評価値を統合することにより前記生体組織の前記特徴の第１代表評価値を算出するように構成された生体組織特徴量算出部と、を含む代表値算出部と、
前記第１代表評価値及び前記第２代表評価値を演算して統合した１つの数値を前記病変部の病変の重症度として算出するように構成された統合部と、
を備える、ことが好ましい。【００１４】
前記外観の特徴の程度は、前記生体組織の炎症の程度であり、
前記色成分は、赤色成分である、ことが好ましい。【００１５】
前記画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、
前記色成分算出部は、前記赤色成分と、前記青色成分あるいは前記緑色成分とによって定義される色空間内において、前記色空間内に設定される基準点と前記画像の各画素の色成分に対応する画素対応点とを結ぶ線分の向きが、前記基準点を通る、予め定めた基準軸に対してずれるずれ角度に基づいて前記第１画素評価値を算出するように構成される、ことが好ましい。
【発明の効果】
【００１６】
上述の内視鏡システムによれば、画像内の血管の太さに係らず、血管領域を適切に判定することができる。
【図面の簡単な説明】
【００１７】
【図１】一実施形態の内視鏡システムの構成を示すブロック図である。
【図２】第１実施形態における、血管領域の確からしさを求める画像処理ユニットの構成の一例を示す図である。
【図３】第１実施形態及び第２実施形態において用いるテンプレート（空間フィルタ）を、生体組織を被写体とした画像に適用した例を説明する図である。
【図４】正方形のテンプレート（空間フィルタ）を、生体組織を被写体とした画像に適用した例を説明する図である。
【図５】（ａ）〜（ｅ）は、第１実施形態及び第２実施形態で用いるテンプレート（空間フィルタ）の例を示す図である。
【図６】（ａ），（ｂ）は、撮像画像と一実施形態で得られる血管抽出画像の一例を示す図である。
【図７】（ａ）〜（ｃ）は、第２実施形態における、病変部の重症度を求める画像処理ユニットの構成の一例を説明する図である。
【図８】第２実施形態で用いる色空間内における基準軸の例を説明する図である。
【図９】第２実施形態で用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。
【図１０】潰瘍性大腸炎の病変部の画像についての医師の主観評価結果の分布範囲を概略的に示す図である。
【図１１】第２実施形態の電子内視鏡用プロセッサによる病変の重症度の算出の処理のフローの一例を示す図である。
【図１２】第２実施形態で行う代表値の組み合わせ方のフローの例を説明する図である。
【発明を実施するための形態】
【００１８】
生体組織を撮像した画像内の血管の像について、血管の像の太さに係らず、血管領域を適切に求めるために、本開示の内視鏡システムでは、プロセッサ内に、電子内視鏡で得られた生体組織の画像から、生体組織の画像の複数の部分毎に、生体組織の像に現れる血管領域の確からしさを、血管を特徴付ける形状に基づいて求めるように構成された血管領域判定部が設けられる。この血管領域判定部は、画像の画素の配列方向のうちの一方向に沿って取り出した画像の一段あるいは２段以上の画素列に対して、血管形状に近似するパターン形状（例えば線形状）に対応した空間フィルタを用いて、パターン形状に近似する程度を数値で表した近似度を血管領域の確からしさとして、画像の画素毎に算出するように構成されている。空間フィルタは、Ｎ画素×Ｍ画素（Ｎ，Ｍは２以上の自然数）で構成され、この複数の画素の画素値が血管形状に近似するパターン形状に対応して表されたフィルタである。この空間フィルタの上記一方向に沿ったサイズは、空間フィルタの上記一方向と直交する直交方向に沿ったサイズに比べて大きくなっている。
【００１９】
このように、空間フィルタにおけるＮ画素×Ｍ画素の上記一方向に沿ったサイズをこの一方向に対して直交する直交方向に沿ったサイズに比べて大きくして、空間フィルタを細長い形状としているので、血管の像の太さが太くても、空間フィルタの上記一方向に沿ったサイズが長いので、血管の像の両側のエッジを跨ぐように、空間フィルタを配置することができる。従来、血管の像が太い場合、血管の像の内部に空間フィルタが配置され、両側のエッジを跨ぐことができないため、血管領域の確からしさが低下していた。このように、血管の像の太さが太くても、血管の像の両側のエッジを跨ぐように、空間フィルタを配置する本開示では、画像内の血管の太さに係らず、血管領域を適切に判定することができる。
以下、具体的に、実施形態の内視鏡システムを、図面を参照しながら説明する。
【００２０】
図１は、一実施形態の電子内視鏡システム１の構成を示すブロック図である。
図１に示されるように、電子内視鏡システム１は、電子内視鏡１００、電子内視鏡用プロセッサ２００、モニタ３００、及びプリンタ４００を備えている。
電子内視鏡用プロセッサ２００は、システムコントローラ２０２やタイミングコントローラ２０６を備えている。システムコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、電子内視鏡システム１の全体を統括的に制御する。また、システムコントローラ２０２は、操作パネル２０８に入力されるユーザ（術者又は補助者）による指示に応じて電子内視鏡システム１の各種設定を変更する。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。
【００２１】
電子内視鏡用プロセッサ２００は、電子内視鏡１００に照明光を供給する光源部２３０を備えている。光源部２３０は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子内視鏡１００の光ファイバーの束であるＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。
あるいは、光源部２３０は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子内視鏡１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。発光ダイオードに代えてレーザダイオードを用いることもできる。発光ダイオード及びレーザダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。
なお、図１に示す例では、光源部２３０は、電子内視鏡用プロセッサ２００に内蔵して設けられるが、電子内視鏡用プロセッサ２００とは別体の装置として電子内視鏡システム１に設けられてもよい。また、光源部２３０は、後述する電子内視鏡１００の先端部に設けられてもよい。この場合、照明光を導光するＬＣＢ１０２は不要である。
【００２２】
入射端よりＬＣＢ１０２内に入射した照明光は、ＬＣＢ１０２内を伝播して電子内視鏡１００の先端部内に配置されたＬＣＢ１０２の射出端より射出され、配光レンズ１０４を介して被写体に照射される。被写体からの反射光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。
【００２３】
固体撮像素子１０８は、例えば、ＩＲ（Infra Red）カットフィルタ１０８ａ、ベイヤ配列カラーフィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じたＲ（Red）、Ｇ（Green）、Ｂ（Blue）の各原色信号を生成する。単板式カラーＣＣＤイメージセンサの代わりに、単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることもできる。ＣＭＯＳイメージセンサは、一般に、ＣＣＤイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、以下説明する炎症の程度の評価を行う数値化処理における、画像の明るさによる炎症評価値の変動を抑えることができるという有利な効果は、ＣＭＯＳイメージセンサを用いる場合においてより顕著である。
【００２４】
電子内視鏡用プロセッサ２００と接続する電子内視鏡１００のコネクタ部内には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２は、固体撮像素子１０８より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号（輝度信号Ｙ、色差信号Ｃｂ，Ｃｒ）を生成し、生成された画像信号を電子内視鏡用プロセッサ２００の画像処理ユニット２２０に出力する。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子内視鏡１００の固有情報を読み出す。メモリ１１４に記録される電子内視鏡１００の固有情報には、例えば固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。このように、電子内視鏡１００は、固体撮像素子１０８を用いて、体腔内の生体組織を撮像する。
【００２５】
システムコントローラ２０２は、電子内視鏡１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、電子内視鏡用プロセッサ２００に接続中の電子内視鏡１００に適した処理がなされるように電子内視鏡用プロセッサ２００内の各回路の動作やタイミングを制御する。
【００２６】
タイミングコントローラ２０６は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２、画像処理ユニット２２０、及び光源部２３０にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０６から供給されるクロックパルスに従って、固体撮像素子１０８を電子内視鏡用プロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
【００２７】
画像処理ユニット２２０は、システムコントローラ２０２による制御の下、ドライバ信号処理回路１１２より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。さらに、画像処理ユニット２２０は、電子内視鏡１００で得られた生体組織の画像に対して、後述する数値化処理を行い、画像の色成分の情報に基づいて生体組織の炎症の程度を数値化して示す炎症評価値を求め、さらに、数値化処理によって得られた各画素の画素評価値を色に置換したカラーマップ画像を生成する。画像処理ユニット２２０は、具体的には、炎症評価値の情報とカラーマップ画像をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。これにより、術者は、モニタ３００の表示画面に表示された画像を通じて例えば注目する生体組織の炎症の程度の評価を精度よく行うことができる。画像処理ユニット２２０は、必要に応じてプリンタ４００に炎症評価値及びカラーマップ画像を出力する。
【００２８】
電子内視鏡用プロセッサ２００は、ＮＩＣ（Network Interface Card）２１０及びネットワーク５００を介してサーバ６００に接続されている。電子内視鏡用プロセッサ２００は、内視鏡検査に関する情報（例えば、患者の電子カルテ情報や術者の情報）をサーバ６００からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ３００の表示画面や操作パネル２０８に表示される。また、電子内視鏡用プロセッサ２００は、内視鏡検査結果（内視鏡画像データ、検査条件、画像解析結果、術者所見等）をサーバ６００にアップロードすることにより、内視鏡検査結果をサーバ６００に保存させることができる。
【００２９】
（第１実施形態）
図２は、第１実施形態における、血管領域の確からしさを求める画像処理ユニット２２０の構成の要部の一例を示す図である。
画像処理ユニット２２０は、血管領域判定部２２２と、血管特徴量算出部２２４と、を備える。
血管領域判定部２２２は、電子内視鏡で得られた生体組織の画像から、生体組織の画像の複数の部分毎に、画像中の血管領域の確からしさを、血管を特徴付ける形状に基づいて数値として求めるように構成されている。
血管特徴量算出部２２４は、血管領域の確からしさの数値を画像全体で統合することにより、血管の特徴を数値で示した血管特徴量を算出するように構成されている。
ここで、血管領域判定部２２２は、画像の画素の配列方向のうちの一方向に沿って取り出した画像の少なくとも一段の画素列に対して、複数の画素で構成され、この複数の画素の画素値が血管形状に近似するパターン形状に対応して表された空間フィルタを用いて、パターン形状に近似する程度を数値で表した近似度を血管領域の確からしさとして算出するように構成されている。近似度は、画像の画素毎に算出される。以下、空間フィルタをテンプレートともいう。
【００３０】
血管領域の確からしさは、テンプレートＴＰを用いて求められる。テンプレート（空間フィルタ）ＴＰは、後述する図５（ａ）〜（ｅ）に示す白領域及び灰色領域に対応した値を画素毎に有する矩形形状のものである。このため、一実施形態によれば、血管領域の確からしさ（近似度）は、テンプレートＴＰの画素の値と、テンプレートＴＰによる判定対象エリアの対応する画素値との相関係数である。また一実施形態によれば、血管領域の確からしさ（近似度）は、テンプレートＴＰの画素毎の画素値をフィルタ係数として、このフィルタ係数のそれぞれと判定対象エリアの対応する画素値を乗算して合計した値であってもよい。
血管領域判定部２２２は、このような相関係数あるいは合計した値を、テンプレートＴＰの中心にある画素に血管領域の確からしさの値として付与する。
【００３１】
図３は、上記テンプレート（空間フィルタ）を、生体組織を被写体とした画像に適用した例を説明する図である。図３に示す画像には、太い血管の像Ａ１と細い血管の像Ａ２が示されている。図中近似度の算出に用いるテンプレートＴＰが矩形で表されている。テンプレートＴＰは、図に示す例では、横方向に細長い矩形形状をしている。すなわち、テンプレートＴＰの一方向（図３中では、紙面横方向）に沿ったサイズは、テンプレートの一方向と直交する直交方向（図３中では、紙面上下方向）に沿ったサイズに比べて大きい形状となっている。これは、テンプレートＴＰが太い血管の像Ａ１の両側のエッジを跨ぐことによって、血管の像Ａ１を検知できるようにするためである。なお、このように一方向に細長いテンプレートＴＰを用いるのは、画像処理ユニット２２０の装置構成に依拠する。画像処理ユニット２２０は、例えばＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアを用い、血管領域の確からしさを判定するとき、画像の一段の画素列の画素値を一時的に記憶するラインバッファをメモリとして用いる場合が多い。このメモリから、一方向に沿った一段の画素列の画素値を読み出すので、この読み出しに対応して、一方向に沿って細長いテンプレートＴＰを用いることで、判定の処理を簡素化することができる。血管領域の確からしさの判定の際に２段以上の画素配列の画素値を読みだす場合、この段数に対応した数のラインバッファを設置すればよい。また、フレームメモリのような大きなメモリ容量を確保する必要が少なくなるので、電子内視鏡用プロセッサ２００の構成を簡素化することができる。テンプレートＴＰを用いる場合のラインバッファの数は、テンプレートＴＰと同じ画素数を占める正方形のテンプレートを用いる場合のラインバッファの数に比べて少ない。
【００３２】
図４は、正方形のテンプレート（空間フィルタ）Ｘを、生体組織を被写体とした画像に適用した例を説明する図である。図４に示すように、テンプレートＸは、細い血管の像Ａ２の両側のエッジを跨いでいるので、テンプレートＸは、細い血管の像Ａ２を検知できるが、テンプレートＸは、太い血管の像Ａ１の両側のエッジを跨いでいないので、テンプレートＸは、太い血管の像Ａ１を検知できない。
【００３３】
図５（ａ）〜（ｅ）は、実施形態で用いるテンプレート（空間フィルタ）ＴＰの例を示す図である。図５（ａ）〜（ｅ）では、図中の紙面横方向のサイズが紙面上下方向に比べて大きいテンプレートＴＰを画素に対応して線で区分けしている。図５（ａ）〜（ｅ）中の、濃い灰色領域は、血管の線形状に近似するパターン形状を示す。
図５（ａ）に示すテンプレートＴＰ１は、１段の画素配列に対応したテンプレートである。図５（ａ）に示すパターン形状は、１段の画素列中１つの画素において灰色領域となっている。
図５（ｂ）に示すテンプレートＴＰ２は、１段の画素配列に対応したテンプレートである。図５（ｂ）に示すパターン形状は、１段の画素列中３つの画素が紙面横方向に連なった灰色領域となっている。
図５（ｃ）に示すテンプレートＴＰ３は、３段の画素配列に対応したテンプレートである。図５（ｃ）に示すパターン形状は、３段の画素列中３つの画素が紙面上下方向に連なって、紙面上下方向に延びる灰色領域となっている。
図５（ｄ）に示すテンプレートＴＰ４は、３段の画素配列に対応したテンプレートである。図５（ｄ）に示すパターン形状は、３段の画素列中３つの画素が紙面左下−右上方向に連なって、紙面上下方向に対して傾斜した方向に延びる灰色領域となっている。
図５（ｅ）に示すテンプレートＴＰ５は、３段の画素配列に対応したテンプレートである。図５（ｅ）に示すパターン形状は、３段の画素列中９つの画素が３つの画素幅の太さで、紙面上下方向に連なって、紙面上下方向に延びる灰色領域となっている。
これらの灰色領域の中心にある画素は、各テンプレートＴＰ１〜ＴＰ５の中心にある画素に一致するように灰色領域は設定されている。
このようにテンプレートＴＰにおける画素配列の段数は１段であってもよく、２段、３段、４段等の複数の段数であってもよい。しかし、テンプレートＴＰによる血管領域の確からしさの判定の効果が段数に伴って向上する向上量は、テンプレートＴＰの段数が５を超えると少なくなる。このため、上記ラインバッファの設置数及び判定の煩雑さを考慮すると、テンプレートＴＰの段数は、１〜５段であることが好ましく、１〜３段であることがより好ましい。
【００３４】
本実施形態では、太い血管の像でも血管領域の確からしさを確実に判定するために、一方向に長いテンプレートＴＰを用いる。電子内視鏡１００では、体腔内に挿入した際の撮像画像における視野範囲は予め限定されるので、限定された視野範囲に応じて血管の太さの像の最大のサイズも概略情報として得ることができる。したがって、撮像画像における視野範囲に応じてテンプレートＴＰの上記一方向に沿ったサイズを予め設定することができる。このため、上記一方向に沿ったサイズが異なるテンプレートＴＰを複数用意して、異なるテンプレートＴＰを用いて繰り返し判定することをしなくてもよい場合もある。
なお、一方向に長いテンプレートＴＰを用いるので、一方向に平行にかつ直線状に延びる血管は、適切に判定することはできない。しかし、一方向に平行にかつ直線状に延びる血管は生体組織において極めて少ない。このため、一方向に長いテンプレートＴＰを用いても、血管領域の確からしさの数値に与える影響は少ない。また、血管領域の確からしさの結果を統合した血管特徴量を算出するので、一方向に平行にかつ直線状に延びる血管を判定できないことによる血管特徴量に与える効果は非常に小さい。
【００３５】
テンプレートＴＰの一方向（図５（ａ）〜（ｅ）中の紙面横方向）に沿った画素数は、血管領域の確からしさの判定に用いる画像の同じ方向の画素数の２％〜１０％であることが、効率の良い血管領域の確からしさの判定を行う点から好ましい。また、テンプレートＴＰの上記一方向における寸法（画素数）の、上記一方向に直交した直交方向における寸法（画素数）に対する比率は、２０〜１００であることが効率の良い血管領域の確からしさの判定を行う点から好ましい。
【００３６】
図５（ａ）〜（ｅ）に示すテンプレートＴＰ１〜ＴＰ５として、テンプレートＴＰ１〜ＴＰ５の画素毎の画素値をフィルタ係数とした空間フィルタを用いる場合、フィルタ係数の合計の値が０となり、灰色領域の画素には正の値（灰色領域の画素が複数ある場合は同じ値）のフィルタ係数が、白色領域の画素には同じ負の値のフィルタ係数が与えられる。
例えば、図５（ｂ）に示すテンプレートＴＰ２では、テンプレートＴＰ２の上記一方向（図５（ｂ）に示す紙面横方向）の画素数が７７である場合、３つの灰色領域の画素のそれぞれには、値７４／３のフィルタ係数が付与され、７４の白領域の画素のそれぞれには、値−１のフィルタ係数が付与される。フィルタ係数のそれぞれと判定対象エリアの対応する画素の画素値を乗算して合計した値を近似度として計算するとき、判定対象エリアのいずれの画素値も同一の値である場合、近似度はゼロになる。一方、判定対象エリアに線状に延びる血管の像が含まれる場合、近似度は増大する。この近似度の値が大きいほど、テンプレートＴＰに近似する像を含んでいるといえる。したがって、テンプレートＴＰについて近似度を計算し、この計算結果を、血管領域の確からしさとして、判定対象エリアの中心画素に与える。テンプレートＴＰとして上記空間フィルタを用いることにより、血管領域の確からしさの判定を素早く行うことができる。
【００３７】
このようにして得られる血管領域の確からしさの数値を画素値として構成した画像は血管抽出画像として表わすことができる。図６（ａ），（ｂ）は、撮像画像と本実施形態で得られる血管抽出画像の一例を示す図である。図６（ｂ）に示す血管抽出画像では、血管領域の確からしさの数値が高い領域程白く表示している。図６（ａ）に示す撮像画像には、太い血管から細い血管の像まで現れている。これに対して、図６（ｂ）に示す血管抽出画像では、血管領域の確からしさの数値が高い（白い）領域が、図６（ａ）に示す撮像画像中の血管の像と同じ位置に表されている。このように、撮像画像における血管の像の位置と、血管抽出画像における血管領域の確からしさの高い領域の位置はほぼ一致している。これより、本実施形態で求める血管領域の確からしさにより、血管の太さに係らず血管領域を適切に検知して数値化していることがわかる。
したがって、血管特徴量算出部２２４が、血管領域の確からしさの数値を画像全体で統合することにより、血管特徴量を算出することができる。血管特徴量とは、生体組織に血管が現れる量の大小を数値で表した量である。このような血管特徴量の大小によって、血管が生体組織の表面に現れ易くなり、粘膜が薄くなっていることを知ることができる。また、炎症発生前段階であることを知ることもできる。
【００３８】
テンプレートＴＰは、上記一方向と直交する直交方向に沿ったサイズが上記一方向に比べて小さいので、パターン形状（図５（ａ）〜（ｅ）に示す灰色領域）が上記一方向に対して傾斜した傾斜方向に線状に延びる複数のテンプレートＴＰを用意して、異なるテンプレートＴＰを用いて繰り返し判定することをしなくてもよい。しかし、血管の形状は、直線状に延びるわけでなく、屈曲したり湾曲したり、傾斜して延びるので、精度の高い血管領域の確からしさを求める点から、血管の形状に類似した複数のパターン形状を備えることも好ましい。この場合、血管領域判定部２２２は、一方向に沿って延びる画素列に対して複数のパターン形状のそれぞれに対応したテンプレート（空間フィルタ）を用いてパターン形状との近似の程度を示す複数の近似度のうち、最大値を血管領域の確からしさとして算出するように構成されることが好ましい。
【００３９】
なお、複数の形状を有する複数のテンプレートを用いて近似度を求める場合、複数のパターン形状は、上記一方向に直交する直交方向に延びる線形状、及び、この直交方向に対して０度超９０度未満の傾斜角度で延びる傾斜形状を含む、ことが、多様な血管の形状との近似度を求める点から好ましい。
【００４０】
このような血管領域の確からしさを算出する際に用いる画像の画素値は、血管がそれ以外の部分と識別可能な色成分に関する画素値であればよい。例えば、色成分の画素値を、別の色成分の画素値に対する比率で表したものを画素値としてもよく、また、輝度で表した画像（モノトーン画像）の各画素の輝度値であってもよい。
一実施形態によれば、生体組織の血管領域の確からしさを求める生体組織の画像は、電子内視鏡１００で得られた生体組織の画像中の所定の色成分の量に関する情報を画素毎に数値で表した色成分画像であることが好ましい。例えば、色成分は、赤色成分である。血管は、生体組織の健常部に比べて、さらには、生体組織の炎症部に比べて、赤色の程度が強い場合が多いので、健常部及び炎症部と区別することができる。
以下、第２実施形態で説明する、血管領域の確からしさを算出する際に用いる画像の画素値は、血管が呈する赤色成分の画素値を用いる。
【００４１】
（第２実施形態）
図７（ａ）〜（ｃ）は、血管特徴量算出部２２４で算出する血管の特徴を数値で示す血管特徴量を用いて病変部の重症度を求める第２実施形態における画像処理ユニット２２０の構成の要部の一例を説明する図である。
【００４２】
画像処理ユニット２２０は、電子内視鏡１００で得られた生体組織の画像から、生体組織の病変の程度を数値化することにより求める病変の重症度を求める部分である。画像処理ユニット２２０は、前処理部２２０ａ、画素評価値算出部２２０ｂ、代表値算出部２２０ｃ、及び統合部２２０ｄを備える。
画素評価値算出部２２０ｂは、第１実施形態で説明した血管領域判定部２２２の他に、色成分算出部２２１を備える。色成分算出部２２１は、赤色の程度を数値で表した赤色度を画素毎に求める。赤色度の算出については後述する。
【００４３】
画素評価値算出部２２０ｂの色成分算出部２２１は、第１画素評価値として、生体組織の赤色の程度を画素毎に数値化した生体組織赤色度を算出する。血管領域判定部２２２は、第１画素評価値を画素値として構成された赤色度画像に対して、第１実施形態で説明したテンプレートＴＰを用いて血管領域の確からしさの数値を算出する。この血管領域の確からしさは、赤色度画像を用いて得られるので生体組織上の線状に延びる血管領域の赤色の程度を数値化した血管赤色度となっている。すなわち、血管赤色度は、血管領域の確からしさと赤色の程度の両方を数値化した値である。血管領域判定部２２２は、この値を第２画素評価値として算出する。
【００４４】
代表値算出部２２０ｃは、第１実施形態で説明した血管特徴量算出部２２４の他に、生体組織特徴量算出部２２６を備える。生体組織特徴量算出部２２６は、画像中の生体組織赤色度の代表値を算出する。この代表値の算出についても後述する。
【００４５】
最初に、前処理部２２０ａから順番に説明する。
前処理部２２０ａは、生体組織が示す赤色の程度を評価するための画像に前処理を施す部分である。前処理部２２０ａは、一例として図示されるように、ＲＧＢ変換、色空間変換、基準軸の設定、及び色補正の各処理を行う。
前処理部２２０ａは、ドライバ信号処理回路１１２より入力した画像信号（輝度信号Ｙ、色差信号Ｃｂ，Ｃｒ）を所定のマトリックス係数を用いて画像色成分（Ｒ，Ｇ，Ｂ）に変換する。
前処理部２２０ａは、さらに、画像色成分に変換された画像データをＲＧ平面に正射影する色空間変換を行う。具体的には、ＲＧＢ３原色で定義されるＲＧＢ色空間の各画素の画像色成分がＲＧの画像色成分に変換される。概念的には、ＲＧＢ色空間の各画素の画像色成分が、Ｒ，Ｇ成分の画素値に応じてＲＧ平面内（例えば、Ｒ成分の画素値＝０〜２５５、Ｇ成分の画素値＝０〜２５５の値を取るＲＧ平面内の区画）にプロットされる。以下、説明の便宜上、ＲＧＢ色空間の各画素の画像色成分の点及びＲＧ色空間内にプロットされた画像色成分の点を「画素対応点」と記す。ＲＧＢ色空間のＲＧＢそれぞれの画像色成分は、順番に、例えば、波長６２０〜７５０ｎｍ、波長４９５〜５７０ｎｍ、及び波長４５０〜４９５ｎｍの色成分である。なお、色成分は、色空間（色平面も含む。）を構成するものである。色相及び彩度は、「色成分」から除かれる。
前処理部２２０ａは、生体組織赤色度及び血管赤色度を評価するために必要なＲＧ平面内の基準軸が設定される。
【００４６】
被写体となる患者の体腔内の生体組織では、ヘモグロビン色素等の影響により画像色成分のうちＲ成分が他の成分（Ｇ成分及びＢ成分）に対して支配的である。病変部の病変の程度が低く、病変部が炎症部である場合、炎症が強いほど赤色（Ｒ成分）が他の色（Ｇ成分及びＢ成分）に対して強くなる。しかし、体腔内の撮像画像は、明るさに影響する撮影条件（例えば照明光の当たり具合）に応じて色が変化する。例示的には、照明光の届かない陰影部分は黒（無彩色であり、例えば、Ｒ，Ｇ，Ｂの画像色成分の値がゼロ又はゼロに近い値）となり、照明光が強く当たって正反射する部分は白（無彩色であり、例えば、Ｒ，Ｇ，Ｂの画像色成分の値が８ビット階調の場合、２５５又は２５５に近い値）となる。
すなわち、炎症が起こっている同じ炎症部を撮像した場合であっても、照明光が強く当たるほどその炎症部の画素値が大きくなる。そのため、照明光の当たり具合によっては、画像の色成分の値が炎症の強さと相関の無い値を取ることがある。
【００４７】
一般に、炎症が起こっていない体腔内の健常部は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の炎症部は十分な粘膜で覆われていない。具体的には、血管が拡張すると共に血管から血液・体液が漏出するため、相対的に粘膜が薄くなり血液の色が目に映り易くなる。粘膜は、基本的には白基調ではあるが、色としては若干黄味がかっており、その濃淡（粘膜の厚み）によって画像上に写る色（黄色）が変化する。従って、粘膜の濃淡も炎症の程度を評価する指標の一つになるものと考えられる。
【００４８】
そこで、図８に示されるように、ＲＧ色空間内において、（５０，０）及び（２５５，７６）を通る直線が基準軸の１つとして設定されると共に、（０，０）及び（２５５，１９２）を通る直線が基準軸の１つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸ＡＸ１」と記し、後者の基準軸を「粘膜変化軸ＡＸ２」と記す。図８は、第２実施形態で用いる色空間内における基準軸の例を説明する図である。
【００４９】
図８に示されるプロットは、体腔内の生体組織の多数の参照画像を解析した結果得たものである。解析に用いられる参照画像には、炎症の程度の最も高い炎症画像例（最も重症なレベルの炎症画像例）や、炎症の程度の最も低い炎症画像例（実質的に健常部であるとみなされる画像例）など、各段階の炎症画像例が含まれる。なお、図８に示す例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図８に示されるプロットの数よりも遥かに多い。
【００５０】
上述したように、炎症が強い部分ほど画像の色成分のうちＲ成分が他の成分（Ｇ成分及びＢ成分）に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｇ軸よりもＲ軸に近い方の境界線上の軸、図３に示す例では、（５０，０）及び（２５５，７６）を通る境界線上の軸が、炎症の程度が最も強い部分、すなわち炎症の程度の最も高い部位と相関の高い軸として設定される。この軸がヘモグロビン変化軸ＡＸ１である。ヘモグロビン変化軸ＡＸ１には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も高い炎症部に対応するプロットが重畳される。したがって、ヘモグロビン変化軸ＡＸ１は、生体組織の炎症の程度が高くなるほどプロットされる画素対応点が収束する軸である。
【００５１】
一方、生体組織が健常部に近いほど画像の色成分のうちＧ成分（又はＢ成分）がＲ成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｒ軸よりもＧ軸に近い方の境界線上の軸、図３に示す例では、（０，０）及び（２５５，１９２）を通る境界線上の軸が、炎症の程度の最も低い部分、すなわち、炎症の程度の最も低い部分であって、実質的に健常部であるとみなされるものと相関の高い軸として設定される。この軸が粘膜変化軸ＡＸ２である。粘膜変化軸ＡＸ２には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も低い部分、すなわち実質的に正常部とみなされるものに対応するプロットが重畳される。したがって、粘膜変化軸ＡＸ２は、炎症の程度が低くなるほど（健常部に近いほど）プロットされる画素対応点が収束する軸である。
【００５２】
補足すると、病変部の病変の程度の最も高い部分は、出血を伴う。一方、病変の程度の最も低い部分は、実質正常な健常部であるから、十分な粘膜で覆われている。そのため、図８に示されるＲＧ色空間内のプロットは、血液（ヘモグロビン色素）の色と最も相関の高い軸と、粘膜の色と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、Ｒ軸に近い（Ｒ成分が強い）方の境界線が、炎症の程度の最も高い炎症部を示す軸（ヘモグロビン変化軸ＡＸ１）に相当し、Ｇ軸に近い（Ｇ成分が強い）方の境界線が、炎症の程度の最も低い炎症部を示す軸（粘膜変化軸ＡＸ２）に相当する。
このような基準軸の設定を行った後、正射影された画像の色成分に対して後述する赤色の程度を示す生体組織赤色度を算出する処理が行われる。この生体組織赤色度を算出する処理の前に、正射影された画素データに対して色補正が行われる。
図８に示す基準軸は、一例であり、疾患の種類に応じて基準軸は種々異なる。
【００５３】
前処理部２２０ａは、炎症評価値の算出の前に、ＲＧ色空間で表された画像の色成分に対して色補正を行う。図示されないメモリには、補正マトリックス係数が保存されている。同一の炎症部にも拘らず、異なる電子内視鏡システムで撮像したときに後述する炎症評価値がばらつかないように（言い換えると、電子スコープの個体間誤差を抑えるために）、前処理部２２０ａは、各画素のＲＧ色空間内の画素対応点である画素データ（Ｒ，Ｇ）を、補正マトリックス係数を用いて下記式に示すように補正する。
【００５４】
2020189213.tif 000003
Ｒnew    ：補正後の画素データ（Ｒ成分）
Ｇnew    ：補正後の画素データ（Ｇ成分）
Ｍ00〜Ｍ11：補正マトリックス係数
Ｒ      ：補正前の画素データ（Ｒ成分）
Ｇ      ：補正前の画素データ（Ｇ成分）
【００５５】
画素評価値算出部２２０ｂの色成分算出部２２１は、画素の中から一つの注目画素を選択し、選択した注目画素について、生体組織赤色度を、注目画素の色成分の情報に基づいて計算するためのずれ角度を算出する。すなわち、画素の色成分の情報に基づいて生体組織の赤色の程度を数値化する数値化処理を行う。生体組織赤色度は、後述するように炎症の程度を示す値である。図９は、第２実施形態で用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。具体的には、色成分算出部２２１は、図９に示すように、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２との交点を基準点Ｏ’とし、基準点Ｏ’と注目画素の画素対応点Ｐとを結ぶ線分Ｌの向きが、ヘモグロビン変化軸ＡＸ１に対してずれるずれ角度θを算出する。なお、基準点Ｏ’は座標（−１５０，−７５）に位置する。基準点Ｏ’を座標（−１５０，−７５）にする例に挙げたが、これに限定されるものではない。上記基準点Ｏ’は、適宜変更可能であり、例えば、ＲＧ色空間のＲ軸とＧ軸の交点であってもよい。
【００５６】
基準点Ｏ’として好適な座標位置は、例えば、明るさの変動による評価結果の誤差を少なくできる位置である。具体的には、基準点Ｏ’は、暗部（輝度が所定値未満）での評価結果と非暗部（輝度が所定値以上）での評価結果との誤差を最小にする点を予め求めることで設定することが好ましい。
【００５７】
また、例えば、基準点Ｏ’を座標（−１０，−１０）から（１０，１０）の間に設定すると、座標（−１５０，−７５）等を基準点Ｏ’と設定した場合と比較して、画素対応点が変化した場合の角度θの変化量が大きくなるため、分解能が向上する。これにより、精度の高い評価結果を得ることができる。
他方、基準点Ｏ’を座標（−５０，−５０）から（−２００，−２００）の間に設定することで、炎症の程度を示す評価結果はノイズの影響を受け難い。
【００５８】
体腔内の生体組織を撮影した画像の明るさが白色光の当たり具合によって変化すると、画像の色は、個人差、撮影箇所、炎症の状態等の影響があるものの、ＲＧ色空間内において、概ね、重症度の最も高い炎症部ではヘモグロビン変化軸ＡＸ１上に沿って変化し、炎症の程度が最も低い炎症部では粘膜変化軸ＡＸ２上に沿って変化する。また、炎症の程度が中間程度である炎症部の画像の色も同じ傾向で変化するものと推定される。すなわち、炎症部に対応する画素対応点は、照明光の当たり具合によって変化すると、基準点Ｏ’を起点とした方位角方向にシフトする。言い換えると、炎症部に対応する画素対応点は、照明光の当たり具合によって変化すると、粘膜変化軸ＡＸ２に対するずれ角度θが一定のまま移動して基準点Ｏ’との距離が変わる。これは、ずれ角度θが画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。
【００５９】
ずれ角度θが小さいほどＲ成分がＧ成分に対して強くなり、病変部における赤色の程度が相対的に大きいことを示す。また、ずれ角度θが大きいほどＧ成分がＲ成分に対して強くなり、赤色の程度が相対的に小さいことを示す。そこで、色成分算出部２２１は、ずれ角度θがゼロであるときに値２５５となり、ずれ角度θがθＭＡＸであるときに値ゼロとなるように、角度θを正規化する。なお、θＭＡＸは、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２とがなす角度と等しい。すなわち、色成分算出部２２１は、各注目画素について、各注目画素の色成分の情報に基づいて赤色の程度を数値化する数値化処理を行うことにより、０〜２５５の範囲に収まる生体組織赤色度を第１画素評価値として算出する。
なお、注目画素は、画像の全画素について１つずつ選択される。
なお、図９に示す例では、色空間としてＲＧ色空間を用いるが、ＲＧ色空間に代えてＲＢ色空間を用いることもできる。
【００６０】
色成分算出部２２１は、さらに、生体組織赤色度に応じて変化する表示色で生体組織の画像をモザイク化したカラーマップ画像を作成する。カラーマップ画像を表示可能とするため、生体組織赤色度と所定の表示色とを対応付けたテーブルが図示されないメモリ等の記憶領域に記憶されている。このテーブルでは、例えば、値５刻みで異なる表示色が対応付けられている。例示的には、画素評価値が０〜５の範囲では青色が対応付けられており、該画素評価値が５増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該画素評価値が２５０〜２５５の範囲では赤色の程度が対応付けられている。
表示色は、例えば、生体組織赤色度が大きいほど青色から黄色さらには赤色といったように、寒色から暖色に近づく色とする。色成分算出部２２１は、選択された注目画素の、カラーマップ画像上での表示色を、上記テーブルを参照して、注目画素の生体組織赤色度に応じて決定する。
こうして、色成分算出部２２１は、生体組織赤色度に応じて色を付与したカラーマップ画像を作成する。
【００６１】
血管領域判定部２２２は、色成分算出部２２１で算出した生体組織赤色度を画素値とする赤色度画像、すなわち、第１画素評価値を画素値として構成された赤色度度画像（色成分画像）を、血管領域の確からしさの数値を求める画像として用いて、赤色度画像中の生体組織の像に現れる血管領域の確からしさを第２画素評価値として算出する、すなわち、血管領域の確からしさを数値で表した第２画素評価値を画素毎に算出する。この血管領域の確からしさは、赤色度画像を用いて得られた値であるので、血管領域の赤色度を示す血管赤色度である。
血管領域判定部２２２は、必要に応じて、求めた確からしさにより、血管領域を抽出する。具体的には、第１実施形態で説明した一方向に長いテンプレートＴＰ１〜５を、赤色度度画像（生体組織赤色度を画素値とする画像）に対して用いて、パターン形状との近似度を算出して、赤色度画像における血管領域の確からしさの数値を第２画素評価値として算出する。
【００６２】
このような第２画素評価値は、赤色度画像を用いて得られるので、生体組織赤色度の情報と、血管領域の確からしさの情報を含んだ画素値となっている。したがって、血管領域判定部２２２は、各画素における血管領域の確からしさの値が予め定めた値より大きいか否かを判定し、画素における血管領域の確からしさの値が予め定めた値より大きい場合、その画素は血管領域であると判定することにより、血管領域を抽出することができる。
なお、血管領域判定部２２２は、赤色度画像を用いて血管赤色度を求める場合の他、赤色度画像以外の画像を用いて血管領域の確からしさを求めて、血管赤色度を求めてもよい。この場合、血管領域の確からしさを０〜１の範囲に正規化した値を求め、この値が高い程血管領域の確からしさが高くなり、低い程血管領域の確からしさが低くなるように補正した結果を血管領域の確からしさの値として算出してもよい。この場合、色成分算出部２２１で算出した各画素における生体組織赤色度の値に、対応する画素における血管領域の確からしさの値を乗算した結果を血管赤色度である第２画素評価値として求めてもよい。
【００６３】
生体組織特徴量算出部２２６は、色成分算出部２２１が算出した各画素の生体組織赤色度である第１画素評価値を統合することにより撮像した生体組織の生体組織赤色度の代表値を第１代表評価値として算出する。すなわち、生体組織特徴量算出部２２６は、赤色度画像における各画素の第１画素評価値を統合することにより生体組織の特徴に関する第１代表評価値を算出する。
血管特徴量算出部２２４は、各画素の血管赤色度である第２画素評価値を統合することにより血管赤色度の代表値を第２代表評価値として算出する。すなわち、血管特徴量算出部２２４は、血管領域の確からしさの数値である第２画素評価値を赤色度画像全体で統合することにより、血管の特徴を示す血管特徴量を、血管領域における第２代表評価値として算出する。
【００６４】
上記統合の処理は、各画素の生体組織赤色度及び血管赤色度の平均値を算出する平均化処理であってもよいし、別の公知の処理、例えば、メディアン値を求める処理であってもよい。平均化処理は、単純平均値を求める処理、及び加重平均値を求める処理を含む。また、公知の処理として、生体組織赤色度及び血管赤色度のそれぞれを、順位のついた少なくとも２つ以上のレベルに分け、この各レベルに属する画素数に所定の重み付け係数を乗算した値の合計値Ｐを所定の式に代入して代表値を算出する処理であってもよい。この場合、所定の式は、例えば１／（１＋ｅ−Ｐ）である。この場合、重み付け係数は、医師による主観評価結果と相関を有するように、多重ロジスティック回帰分析によって得られる係数であることが好ましい。
【００６５】
統合部２２０ｄは、生体組織赤色度の代表値である第１代表評価値及び血管赤色度の代表値である第２代表評価値同士を統合することにより、病変の重症度を算出する。第１代表評価値及び第２代表評価値の統合は、第１代表評価値と第２代表評価値との加算し、あるいは第１代表評価値から第２代表評価値の減算等の演算により行われる。例えば、第２代表評価値が所定の閾値以上のとき、重症度は、第１代表評価値から第２代表評価値を減算した結果を重症度とし、第２代表評価値が所定の閾値より低いとき、重症度は、第１代表評価値と第２代表評価値を加算した結果を重症度とする。
統合部２２０ｄは、計算した重症度を、画素評価値算出部２２０ｂで作成したカラーマップ画像とともに、画面表示のための信号を生成してモニタ３００に送る。
【００６６】
図１０は、１００枚の潰瘍性大腸炎の病変部の画像についての医師の主観評価結果であるMAYO endoscopic subscoreの分布範囲を概略的に示す図である。ＭＡＹＯ０からＭＡＹＯ２に進むほど重症度が高い。図１０では、MAYO endoscopic subscoreの分布範囲が、生体組織赤色度の代表値と血管赤色度の代表値の直交座標系上で示されている。図中のＭＡＹＯ０，１，２のそれぞれは、MAYO endoscopic subscoreが０，１，２であることを示す。ＭＡＹＯ０から２に進むほど、病変の重症度は高くなることを意味する。
図１０からわかるように、ＭＡＹＯ０からＭＡＹＯ１に進む場合、概略、血管赤色度が低下しつつ生体組織赤色度が上昇することを示している。また、ＭＡＹＯ１からＭＡＹＯ２に進む場合、概略血管赤色度及び生体組織赤色度の双方が上昇することを示している。
したがって、この事実より、第２代表評価値である血管赤色度の代表値が所定の閾値以上か、未満かによって重症度の算出の方法が異ならせることが、MAYO endoscopic subscoreに対応させる点で好ましいことがわかる。
【００６７】
なお、血管特徴量算出部２２４では、血管赤色度である第２画素評価値を全画素について統合する処理を行うが、この統合に限定されない。例えば、血管特徴量算出部２２４において、第２画素評価値を閾値と比較して、閾値以上の第２画素評価値を有する画素を血管領域として抽出し、この抽出した領域において血管赤色度である第２画素評価値を統合してもよい。
【００６８】
このような画像処理ユニット２２０を備える電子内視鏡用プロセッサ２００は、図１１に示すフローに沿って病変の重症度を計算して重症度をモニタ３００に表示する。図１１は、第２実施形態の電子内視鏡用プロセッサ２００による病変の重症度の算出の処理のフローの一例を示す図である。
【００６９】
まず、現フレームの画像を、画像処理ユニット２２０は取得する（ステップＳ１０）。
次に、前処理部２２０ａは、上述したＲＧＢ変換、色空間変換、基準軸の設定、及び色補正、必要に応じてトーン強調処理を含む前処理を行い、さらに、画素評価値算出部２２０ｂは、前処理を行った画像に対して、第１画素評価値及び第２画素評価値、例えば生体組織赤色度及び血管赤色度度を、画素毎に計算する（ステップＳ１２）。
画素評価値算出部２２０ｂは、画素評価値を現フレームの画像の全画素について計算したか否かを判定する（ステップＳ１４）。全画素について画素評価値の計算を完了した場合、代表値算出部２２０ｃは、画素評価値を統合した第１代表評価値及び第２代表評価値を計算する（ステップＳ１６）。代表値は、第１画素評価値及び第２画素評価値毎に算出される。
この後、統合部２２０ｄは、代表値を組み合わせて１つの重症度を計算する（ステップＳ１８）。すなわち、代表値を演算して統合した１つの数値を病変の重症度として算出する。
最後に、統合部２２０ｄは、算出した重症度と、生体組織赤色度に応じて変化する表示色で生体組織の画像をモザイク化したカラーマップ画像とを、モニタ３００に表示する（ステップＳ２０）。
【００７０】
図１２は、代表値の組み合わせ方のフローの例を説明する図である。統合部２２０ｄは、代表値算出部２２０ｃで計算した生体組織赤色度の代表値と血管赤色度の代表値を取得する（ステップＳ４０）。統合部２２０ｄは、血管赤色度の代表値が予め定めた閾値ＴＨ１(図１０参照)以上であるか否かを判定する（ステップＳ４２）。血管赤色度の代表値が予め定めた閾値ＴＨ１以上である場合、統合部２２０ｄは、生体組織赤色度の代表値から血管赤色度の代表値を減算し、この減算結果を重症度とする（ステップＳ４４）。なお、減算については、生体組織赤色度の代表値に定数αを乗算したものから血管赤色度の代表値に定数βを乗算したものを減算してもよい。
一方、血管赤色度の代表値が予め定めた閾値ＴＨ１未満である場合、統合部２２０ｄは、生体組織赤色度の代表値と血管赤色度の代表値とを加算し、この加算結果を重症度とする（ステップＳ４６）。なお、加算については、生体組織赤色度の代表値に定数αを乗算したものと血管赤色度の代表値に定数βを乗算したものを加算してもよい。
欠陥赤色祖の代表値を比較する閾値ＴＨ１に替えて、生体組織赤色度の代表値と比較するための閾値ＴＨ２（図１０参照）を用いてもよい。
【００７１】
このように、第２実施形態では、図５（ａ）〜（ｅ）に示すテンプレートＴＰ１〜５を、赤色度画像に用いて、血管領域の確からしさの値を算出するので、精度の高い血管赤色度を求めることができ、この血管赤色度を用いて、精度の高い病変部の重症度を算出することができる。
【００７２】
画像の色成分が、赤色成分、緑色成分、及び青色成分を含む場合、色成分算出部２２１は、図９に示すように、赤色成分と、青色成分（あるいは緑色成分）とによって定義される色空間内において、色空間内に設定される基準点と画像の各画素の色成分に対応する画素対応点とを結ぶ線分の向きが、予め定めた基準軸（ヘモグロビン変化軸ＡＸ１）に対してずれるずれ角度θに基づいて生体組織赤色度である第１画素評価値を算出するように構成されるので、様々な撮影条件、例えば照明光の当たり具合で撮像された画像であっても、赤色成分の程度を精度よく求めることができる。このため、この血管赤色度と生体組織赤色度を用いて、病変部の重症度を精度よく算出することができる。
【００７３】
以上、本発明の内視鏡システムについて詳細に説明したが、本発明の内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【００７４】
１  電子内視鏡システム
１００  電子スコープ
２００  電子内視鏡用プロセッサ
２２０  画像処理ユニット
２２０ａ  前処理部
２２０ｂ  画素評価値算出部
２２０ｃ  代表値算出部
２２０ｄ  統合部
２２１  色成分算出部
２２２  血管領域判定部
２２４  血管特徴量算出部
２２６  生体組織特徴量算出部
２３０  光源部
３００  モニタ
４００  プリンタ
６００  サーバ
【図１】
2020189213.tif 000004
【図２】
2020189213.tif 000005
【図３】
2020189213.tif 000006
【図４】
2020189213.tif 000007
【図５】
2020189213.tif 000008
【図６】
2020189213.tif 000009
【図７】
2020189213.tif 000010
【図８】
2020189213.tif 000011
【図９】
2020189213.tif 000012
【図１０】
2020189213.tif 000013
【図１１】
2020189213.tif 000014
【図１２】
2020189213.tif 000015
【国際調査報告】
2020189213.tif 000016
2020189213.tif 000017
2020189213.tif 000018
2020189213.tif 000019
2020189213.tif 000020
2020189213.tif 000021