(57)【特許請求の範囲】
【請求項１】
生体組織から取得した内視鏡画像を入力する画像入力部と、
前記画像入力部に入力された前記内視鏡画像に対応する画像信号から、類円形の構造を検出する構造検出部と、
前記構造検出部により検出された前記類円形の構造の数、又は前記類円形の構造の面積、又は前記類円形の構造間の距離、又は前記類円形の構造間の接続数に基づいて、前記内視鏡画像における所定のネットワーク形状を検出するネットワーク検出部と、
を備えることを特徴とする診断支援装置。
【請求項２】
前記ネットワーク検出部は、前記構造検出部により検出された前記類円形の構造それぞれに対して、当該類円形の構造の周囲の前記類円形の構造間における所定の距離以下となる距離の場合には、該距離に対応して設定された所定の面積の領域を付与して類円形構造間をそれぞれ接続する構造間接続部を有し、
前記構造検出部により検出された全ての前記類円形の構造に対して前記構造間接続部により生成された前記所定の面積の領域の集合体における前記領域の重なり度合いを判定し、第１の閾値以上の重なり度合いを有する前記領域の集合体に基づいて前記所定のネットワーク形状の候補領域を検出することを特徴とする請求項１に記載の診断支援装置。
【請求項３】
前記ネットワーク検出部により検出された前記所定のネットワーク形状の前記候補領域が前記内視鏡画像中に第２の閾値の割合以上有るか否かの判定結果に基づいて、前記内視鏡画像が診断対象とする所定の粘膜構造を有するものであるか否かを判定する粘膜構造判定部を更に備えることを特徴とする請求項２に記載の診断支援装置。
【請求項４】
前記粘膜構造判定部により判定された判定結果を告知する告知部を備えることを特徴とする請求項３に記載の診断支援装置。
【請求項５】
前記構造検出部は、前記画像信号に対してベクトル集中度フィルタを用いて前記生体組織における血管候補領域を検出することを特徴とする請求項１に記載の診断支援装置。
【請求項６】
前記構造検出部は、前記画像信号又は前記ベクトル集中度フィルタで処理された画像信号に類円形のフィルタを適用して、前記生体組織における血管候補領域を検出することを特徴とする請求項５に記載の診断支援装置。
【請求項７】
前記構造検出部は、前記画像信号に対して点集中性フィルタを用いて前記生体組織における上皮構造を検出することを特徴とする請求項１に記載の診断支援装置。
【請求項８】
前記内視鏡画像は、前記生体組織に対して照射された狭帯域光の反射光により撮像された画像であることを特徴とする請求項１に記載の診断支援装置。
【請求項９】
前記内視鏡画像は、色素散布、又は染色により前記生体組織の粘膜構造を強調した画像であることを特徴とする請求項１に記載の診断支援装置。
【請求項１０】
前記粘膜構造判定部は、前記診断対象とする所定の粘膜構造として、胃底線粘膜の構造、又は大腸のピットパターンの構造を有するか否かを判定することを特徴とする請求項３に記載の診断支援装置。
【請求項１１】
更に、前記所定の距離以下となる前記類円形の構造間の距離と、前記所定の面積とを対応付けた情報を予め格納した情報格納手段を有し、前記構造間接続部は、前記類円形の構造間を接続する場合、前記情報格納手段から前記類円形の構造間の距離に対応する前記所定の面積を読み出して前記類円形の構造間を接続することを特徴とする請求項３に記載の診断支援装置。
【請求項１２】
画像入力部が、生体組織から取得した内視鏡画像を入力する画像入力ステップと、
構造検出部が、前記画像入力ステップにより入力された前記内視鏡画像に対応する画像信号から、類円形の構造を検出する構造検出ステップと、
ネットワーク検出部が、前記構造検出ステップにより検出された前記類円形の構造の数、又は前記類円形の構造の面積、又は前記類円形の構造間の距離、又は前記類円形の構造間の接続数に基づいて、前記内視鏡画像における所定のネットワーク形状を検出するネットワーク検出ステップと、
を実行することを特徴とする診断支援装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体組織の内視鏡画像に対して診断を支援するための画像処理を行う診断支援装置及び診断支援装置の制御方法に関する。
【背景技術】
【０００２】
近年、消化管等の体腔内等に挿入部を挿入して、消化管内壁等の生体粘膜等を撮像し、内視鏡画像として表示することができる内視鏡は、医療用分野において広く用いられるようになっている。  
また、内視鏡により撮像した内視鏡画像における生体粘膜下の血管や上皮（又は上皮組織）の走行パターンを利用して診断を支援するための画像処理を行う研究が行われるようになっている。  
一方、日本国特開平９−２５１５３５号公報の従来例は、乳房Ｘ線写真（マンモグラム）等により取得した医用画像データに対して、任意の画素から周辺画素へ放射状に広がる複数の探索方向それぞれにおいて、濃度勾配のベクトル強度が極大となる画素を探索し、探索された複数画素それぞれでの濃度勾配のベクトル強度、及びベクトル方向と探索方向との角度の相違量から濃度勾配に関する特徴量を求め、該特徴量に基づいて前記任意の画素が所定のパターンに含まれるか否かを判別するパターン検出を行う画像処理方法を開示している。そして、この従来例は、乳癌の早期発見を支援するために微小石灰化像を精度良く検出するための検出方法を提供している。【０００３】
しかし、上記従来例の方法は、微小石灰化像を精度良く検出するための方法であり、生体粘膜下の血管や上皮構造の走行パターンを利用しても正常組織と病変組織との診断を行うための有効な指標を提供できない。  
胃等における正常組織としての生体粘膜は、蜂の巣形状のネットワークを構築する如くに微小血管が走行している。一方、腫瘍性の病変組織としての生体粘膜のような病変部の生体粘膜では、正常な生体粘膜の場合の蜂の巣形状のネットワークの形状から逸脱ないしは乖離した構造ないしは形状に変化する。  
このため、内視鏡画像における蜂の巣形状等の類円形のネットワークに対応した所定のネットワーク形状をどの程度有しているか否かを検出することは、その内視鏡画像に対応する生体組織が正常な生体粘膜であるか否かを判定するための有力な指標又は評価量となり得ると考えられる。  
本発明は上述した点に鑑みてなされたもので、類円形の構造の数、面積等から所定のネットワーク形状を検出することにより、診断を支援することができる診断支援装置及び診断支援装置の制御方法を提供することを目的とする。
【発明の開示】
【課題を解決するための手段】
【０００４】
本発明の一態様の診断支援装置は、生体組織から取得した内視鏡画像を入力する画像入力部と、前記画像入力部に入力された前記内視鏡画像に対応する画像信号から、類円形の構造を検出する構造検出部と、前記構造検出部により検出された前記類円形の構造の数、又は前記類円形の構造の面積、又は前記類円形の構造間の距離、又は前記類円形の接続数に基づいて、前記内視鏡画像における所定のネットワーク形状を検出するネットワーク検出部と、を備える。  
本発明の一態様の診断支援装置の制御方法は、画像入力部が、生体組織から取得した内視鏡画像を入力する画像入力ステップと、構造検出部が、前記画像入力ステップにより入力された前記内視鏡画像に対応する画像信号から、類円形の構造を検出する構造検出ステップと、ネットワーク検出部が、前記構造検出ステップにより検出された前記類円形の構造の数、又は前記類円形の構造の面積、又は前記類円形の構造間の距離、又は前記類円形の構造間の接続数に基づいて、前記内視鏡画像における所定のネットワーク形状を検出するネットワーク検出ステップと、を実行する。
【図面の簡単な説明】
【０００５】
【図１】図１は本発明の第１の実施形態の診断支援装置の全体構成を示す構成図。
【図２】図２は画像処理装置を構成するＣＰＵによる処理ブロックを示すブロック図。
【図３】図３は第１の実施形態による処理手順を示すフローチャ−ト。
【図４】図４は正常な胃底腺の生体粘膜の内視鏡画像の模式図。
【図５】図５はベクトル集中度フィルタを適用して検出した血管候補領域の内視鏡画像を示す図。
【図６】図６はマッチドフィルタの一例を示す図。
【図７】図７は血管候補領域の内視鏡画像にマッチドフィルタを適用して類円形の構造を検出した場合の処理結果を内視鏡画像上に示した図。
【図８】図８は類円形の構造間を距離に対応した面積の正方形で接続した処理画像を示す図。
【図９】図９は図８の処理画像において重なりのある正方形のブロックにラベル付けを行った図。
【図１０】図１０は図９の処理画像に閾値処理を施して閾値以下のブロックを除去した処理結果を示す図。
【図１１】図１１は図１０の処理画像の外形を凸形状にする処理を行った処理画像を示す図。
【図１２】図１２は病変部の生体粘膜に対して正常部の生体粘膜の場合と類似の処理を行った場合の処理結果を示す図。
【図１３】図１３は本発明の第２の実施形態におけるＣＰＵの処理ブロックを示すブロック図。
【発明を実施するための最良の形態】
【０００６】
以下、図面を参照して本発明の実施形態を説明する。  
（第１の実施形態）
図１に示す本発明の第１の実施形態の診断支援装置１は、内視鏡装置２と、この内視鏡装置２により得られた内視鏡画像に対して画像処理を行うパーソナルコンピュータにより構成される医用画像処理装置（以下、単に画像処理装置と略記）３と、この画像処理装置３により画像処理された画像を表示するモニタ４とから構成される。  
内視鏡装置２は、体腔内に挿入され、体内を撮像する体内撮像装置を形成する内視鏡６と、この内視鏡６に照明光を供給する光源装置７と、内視鏡６の撮像手段に対する信号処理を行う信号処理装置としてのカメラコントロールユニット（ＣＣＵと略記）８と、このＣＣＵ８から出力される画像信号が入力されることにより、撮像素子で撮像した画像を内視鏡画像として表示するモニタ９とを有する。【０００７】
内視鏡６は、体腔内に挿入される挿入部１１とこの挿入部１１の後端に設けられた操作部１２とを有する。また挿入部１１内には照明光を伝送するライトガイド１３が挿通されている。  
このライトガイド１３の後端は、光源装置７に接続される。そして、この光源装置７から供給される照明光をライトガイド１３により伝送し、挿入部１１の先端部１４に設けた照明窓に取り付けられた先端面から（伝送した照明光を）出射し、内視鏡６による検査対象（診断対象）の生体組織を照明する。なお、光源装置７は、通常観察用の白色の照明光、又は白色をカバーする赤（Ｒ）、緑（Ｇ）、青（Ｂ）の面順次照明光をライトガイド１３に供給する。従って、検査対象の生体組織に白色光を照射する。【０００８】
また、内視鏡装置２には図示しない観察モードの切替スイッチが設けられており、通常観察モードから狭帯域観察モードに切り行うことができる。この場合には、光源装置７は、狭帯域を透過する狭帯域フィルタに切り替え、狭帯域の照明光をライトガイド１３に供給し、検査対象の生体組織に狭帯域光を照射する。このため、光源装置７は、狭帯域光を照射するための（狭帯域光を発生する）狭帯域光発生部７ａを有する。  
照明窓に隣接する観察窓には対物レンズ１５が取り付けられており、この対物レンズ１５の結像位置には固体撮像素子しての例えば電荷結合素子（ＣＣＤと略記）１６が配置されている。対物レンズ１５とＣＣＤ１６とにより、生体組織からの反射光を撮像を行う撮像部１７が形成される。このＣＣＤ１６の撮像面に結像された光学像は、このＣＣＤ１６により光電変換される。【０００９】
このＣＣＤ１６は、信号線を介してＣＣＵ８と接続され、このＣＣＵ８からのＣＣＤ駆動信号が印加されることにより、ＣＣＤ１６は光電変換した画像信号を出力する。この画像信号は、ＣＣＵ８内の画像処理回路により信号処理され、表示装置に表示する画像信号に変換される。この画像信号はモニタ９に出力され、モニタ９の表示面には、内視鏡画像が表示される。この画像信号は、画像処理装置３にも入力される。  
本実施形態では、内視鏡６は、患者の口部からその挿入部１１の先端部１４が挿入され、食道から胃の底部の生体粘膜を撮像し、ＣＣＵ８はその生体粘膜の内視鏡画像の画像信号を生成する。【００１０】
この画像信号が入力される画像処理装置３は、後述するように画像処理を行うことにより、画像処理された生体粘膜が所定の生体粘膜構造としての正常な生体粘膜の構造を有しているか、又は腫瘍性の生体粘膜等の病変粘膜の構造を有しているかを判定する。画像処理装置３は、さらに判定結果をモニタ４において表示することにより術者に告知し、術者が診断する場合の支援を行うことができるようにしている。このため、モニタ４は、判定結果を告知する告知部を形成する。【００１１】
術者は、モニタ４において表示された判定結果を参考にすることにより、腫瘍性の生体組織等を見逃すことなく、円滑かつ効率良く診断を行うことができるようになる。  
この画像処理装置３は、内視鏡装置２により生成された内視鏡画像を入力する画像入力手段としての画像入力部２１と、この画像入力部２１から入力された内視鏡画像に対応する画像信号のデジタル化された画像信号（画像信号データとも言う）に対する画像処理を行う中央演算処理装置としてのＣＰＵ２２と、このＣＰＵ２２により画像処理を実行させる処理プログラム（制御プログラム）を記憶する処理プログラム記憶部２３とを有する。なお、画像入力部２１を内視鏡装置２側に設けた構成にしても良い。【００１２】
また、この画像処理装置３は、画像入力部２１から入力される画像信号データ等を記憶する画像記憶部２４と、ＣＰＵ２２により処理された（処理）画像データ、処理情報を記憶する処理情報記憶部２５と、ＣＰＵ２２により処理された画像データ及び処理情報等を記憶装置インタフェース２６を介して記憶する記憶装置としてのハードディスク２７と、ＣＰＵ２２により処理された画像データ等を表示するための表示処理を行う表示処理部２８と、術者等のユーザが画像処理のパラメータ等のデータ入力や指示操作を行うキーボードなどからなる入力操作部２９とを有する。【００１３】
そして、この表示処理部２８により生成された画像信号は、表示モニタ４に出力され、この表示モニタ４の表示面には画像処理された処理画像等が表示される。なお、画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、処理情報記憶部２５、記憶装置インタフェース２６、表示処理部２８、入力操作部２９は、データバス３０を介して互いに接続されている。  
本実施形態では、例えば図２に示すようにＣＰＵ２２は、画像信号データから、正常な生体粘膜が有する類円形の構造を検出する構造検出手段としての構造検出部３１と、この構造検出部３１により検出された前記類円形の構造の数、又は前記類円形の構造の面積、又は前記類円形の構造間の距離、又は前記類円形の構造間の接続数に基づいて、所定のネットワーク形状を検出するネットワーク検出手段としてのネットワーク検出部３２と、の処理機能を備える。【００１４】
また、本実施形態では、ＣＰＵ２２は、さらにネットワーク検出部３２により検出された所定のネットワーク形状の領域が該領域を検出している内視鏡画像の領域（又は対象領域）において閾値以上であるか否かの判定結果に基づいて、前記内視鏡画像が診断対象とする所定の粘膜構造を有するか否かを判定する粘膜構造判定部３３の処理機能を備える。  
なお、ＣＰＵ２２を用いること無く、ハードウェアによって、構造検出部３１、ネットワーク検出部３２、粘膜構造判定部３３をそれぞれ形成しても良い。また、図２において、例えばネットワーク検出部３２が粘膜構造判定部３３を備えた構成にしても良い。  
本明細書においては、上記「類円形」の用語は、円形に類する形状を意味する。このため、類円形は、真円のような円形の形状は元より、楕円形状や、円形と近似できる例えば蜂の巣状の六角形等の多角形の形状の場合も含む。【００１５】
上記構造検出部３１は、画像信号データに対してベクトル集中度フィルタを用いて内視鏡画像から血管候補の領域としての血管候補領域を検出する血管候補領域検出部３１ａと、検出された血管候補領域に対して類円形の構造を検出するために類円形フィルタを適用して類円形フィルタ（の類円形形状）と相関が大きい部分（又は小領域）を抽出するマッチドフィルタ処理するマッチドフィルタ処理部３１ｂとを有する。  
また、ネットワーク検出部３２は、構造検出部３１により検出された類円形の構造（の部分又は小領域）それぞれに対して、当該類円形の構造の周囲の類円形の構造間における所定の距離以下となる距離の場合には、該距離に対応して設定された所定の面積の領域を付与して類円形の構造間をそれぞれ接続（連結）する構造間接続部３２ａを有する。【００１６】
そして、ネットワーク検出部３２は、構造検出部３１により検出された全ての前記類円形の構造に対して前記構造間接続部３２ａにより生成された所定の面積の領域の集合体における領域の重なり度合いを判定し、第１の閾値以上の重なり度合いを有する領域の集合体に基づいて所定のネットワーク形状の候補領域を検出する。【００１７】
つまり、ネットワーク検出部３２は、上記マッチドフィルタ処理部３１ｂにより検出（抽出）された類円形の構造を含む画像信号それぞれに対して、当該類円形の構造の周囲の類円形の構造間の距離における所定の距離以下となる距離の場合には、該距離に対応した所定の面積の領域を付与して類円形の構造間を接続（連結）する（類円形のネットワーク形状候補を生成する）構造間接続部３２ａを有する。【００１８】
このように、構造間接続部３２ａは、類円形の構造間を接続（連結）して類円形のネットワーク形状候補（又は類円形のネットワーク形状の候補領域）を生成する場合、類円形の構造間の距離が所定の距離を閾値として、閾値以下となる距離条件を満たすものに対して行う。【００１９】
換言すると、図２に示す構造間接続部３２ａは、点線で示すように前記類円形の構造間の距離が閾値以下か否かを判定する判定部３２ｅを有する。そして、判定部３２ｅにより判定された類円形の構造間の距離が閾値以下となる類円形の構造間の距離となる場合のみに対して、類円形の構造間の距離に対応した（所定の）面積の領域を設定し、周囲の類円形の構造間を接続（連結）して類円形のネットワーク形状候補（又は類円形のネットワーク形状の候補領域）を生成する。後述する図８の具体例においては、距離条件を満たす類円形の構造間の距離を対角線とした正方形の面積の領域を設定して接続するようにしている。【００２０】
また、この構造間接続部３２ａは、上記距離に対応した所定の面積の領域を付与して複数の類円形の構造間を接続（連結）することにより、類円形のネットワーク形状候補となる所定の面積の領域の集合体を生成するので、この構造間接続部３２ａは、ネットワーク形状候補を生成するネットワーク形状候補生成部と見なすこともできる。【００２１】
また、このネットワーク検出部３２は、構造間接続部３２ａにより生成された類円形のネットワーク形状候補に対して、少なくとも一部が重なりが有る所定の面積の領域の集合体のブロックを統合してラベル付けを行う重なり統合部（ラベル付け部）３２ｂを有する。  
また、このネットワーク検出部３２は、統合された各ラベルのブロックに対して閾値以下の重なり数のプロックを削除する閾値処理を行う閾値処理部３２ｃと、閾値処理されて残ったラベルのブロックに対して外側に凸となる外形形状にして、（所定のネットワーク形状としての）類円形ネットワーク形状を生成する類円形ネットワーク形状生成部３２ｄとを有する。  
上記粘膜構造判定部３３は、生成された類円形ネットワーク形状の領域が処理対象の内視鏡画像において閾値以上の割合で存在するか否かにより、所定の粘膜構造を有するか否かの判定を行い、判定結果を告知することにより、術者を支援する。【００２２】
このように本実施形態の診断支援装置１は、生体組織から取得した内視鏡画像を入力する画像入力手段としての画像入力部２１と、前記画像入力手段に入力された前記内視鏡画像に対応する画像信号から、類円形の構造を検出する構造検出手段としての構造検出部３１と、前記構造検出手段により検出された前記類円形の構造の数、又は前記類円形の構造の面積、又は前記類円形の構造間の距離、又は前記類円形の構造間の接続数に基づいて、所定のネットワーク形状を検出するネットワーク検出手段としてのネットワーク検出部３２と、を備えることを特徴とする。【００２３】
次に本実施形態の動作を図３の処理手順を参照して説明する。  
図１の診断支援装置１を構成する内視鏡装置２における内視鏡６は、術者により例えば上部消化管内に挿入される。具体的には内視鏡６の挿入部１１は、口部から挿入され、食道を通り、胃の内部まで挿入され、先端部の撮像部１７により診断対象となる胃底腺の生体粘膜を撮像する。ＣＣＵ８は撮像部１７に対する信号処理を行い、内視鏡画像の画像信号を生成し、モニタ９で内視鏡画像を表示する。  
図４は、例えば正常な胃底腺の生体粘膜の場合の内視鏡画像を模式的に示す。正常な胃底腺の生体粘膜においては、微小血管が蜂の巣状に近い類円形のネットワーク形状を構築する如くに走行している。【００２４】
この場合、狭帯域光発生部７ａで発生した青の波長帯における狭帯域光を生体粘膜に照射し、生体粘膜から反射された反射光により撮像部１７で撮像された撮像信号から内視鏡画像を生成するようにしても良い。このような青の波長帯における狭帯域光を用いると、白色光や広帯域光の場合に比較して生体粘膜の表層付近の粘膜構造をより鮮明に反映した内視鏡画像を取得できる。【００２５】
図３のステップＳ１に示すように内視鏡画像は、画像入力部２１によりデジタルの画像信号データに変換されて画像処理装置３内のＣＰＵ２２に入力される。  
ステップＳ２に示すようにＣＰＵ２２の血管候補領域検出部３１ａは、この内視鏡画像に対応する画像信号データに対してベクトル集中度フィルタを用いたベクトル集中度フィルタ処理により、血管候補領域を検出するための処理を行う。従って、本実施形態では、血管候補領域検出部３１ａは、ベクトル集中度フィルタを用いたベクトル集中度フィルタ処理部により構成される。なお、ベクトル集中度は、画像（信号データ）における濃度変化の勾配ベクトルの向きに着目し、ある注目点に対してその近傍領域の勾配ベクトルがどの程度集中しているかを評価するものである。【００２６】
なお、上記画像信号データに対して閾値処理を行って２値化画像を生成した後に、ベクトル集中度フィルタを用いたベクトル集中度フィルタ処理により、血管候補領域を検出するようにしても良い。  
ベクトル集中度フィルタ処理は、例えば日本国特開２００８−１０４８８６号の図４に開示されている。本実施形態においては、２次元の画像信号データに対してベクトル集中度フィルタ処理を行う。  
次のステップＳ３に示すようにＣＰＵ２２の血管候補領域検出部３１ａは、ベクトル集中度フィルタ処理後の画像信号データに対して、閾値処理を行う。例えば、ベクトル集中度フィルタ処理後の画像信号データに対して、閾値Ｔｈｒｅ１（例えばＴｈｒｅ１＝０．６）未満の画素を画素値＝０とし、閾値Ｔｈｒｅ１以上の画素を画素値＝１と２値化して血管候補領域を検出（抽出）する。【００２７】
図５は、２値化して抽出された血管候補領域の内視鏡画像を構成する画素を示す。この場合、図４の表示色とは異なる色で着色して示すことにより、粘膜構造を視覚的により確認し易くすることができる。図５は、図４における血管の走行パターンをより鮮明化（顕在化）した特徴を有するようになる。なお、診断対象の生体粘膜を色素散布、又は染色により着色して粘膜構造を強調した内視鏡画像として取得できるようにしても良い。  
次のステップＳ４においてＣＰＵ２２のマッチドフィルタ処理部３１ｂは、図５の内視鏡画像の画像信号データの全画素に対して図６に示す（類円形の形状の具体例の１つとなる）円環形状のマッチドフィルタを適用してマッチドフィルタ処理を行う。【００２８】
本実施形態では図６のマッチドフィルタは、４１×４１と、５１×５１の２種類のフィルタのサイズであり、白い領域を−１，黒い円環の領域を１として、図５の画像信号データの全画素に対して、マッチドフィルタを適用する。なお、図５の内視鏡画像の画像信号データは、例えば２００×２００ないしは２５０×２５０程度の画素サイズである。  
なお、マッチドフィルタを適用する場合、白い領域と黒い領域の面積が異なるため、係数１を掛けた画素値の平均と、係数−１を掛けた画素値の平均を算出し、両平均の差分値を算出し、白い領域と黒い領域の面積の違いの影響を低減する。  
また、マッチドフィルタは、図６に示すものに限定されるものでなく、その形状、サイズ、係数、利用するフィルタ個数を変更しても良い。【００２９】
次のステップＳ５においてＣＰＵ２２は、（前のステップ４において算出した）差分値に対して、閾値処理を行う。具体的には、算出された各差分値に対して閾値Ｔｈｒｅ２（例えばＴｈｒｅ２＝０．２）未満の画素を画素値＝０とし、閾値Ｔｈｒｅ２以上の画素を画素値＝１と２値化する。  
なお、本実施形態では、４１×４１と、５１×５１の２種類のサイズのマッチドフィルタを使用しており、一方のマッチドフィルタを適用した処理結果の画素値が閾値Ｔｈｒｅ２以上の場合には、その画素値を１にする。  
図７は、２値化して抽出されたマッチドフィルタ適用結果の内視鏡画像を示す。図７において、類円形の構造（形状）として検出された類円形の領域内の中央付近の画素では画素値が１となり、その画素を黒丸で示している。【００３０】
このようにして閾値処理による２値化により、ステップＳ６に示すように診断対象の生体組織の内視鏡画像に対して、上述した画像処理により類円形の構造を有する部分（円環形状と相関量の高い部分）を検出（抽出）する。そして、ステップＳ６により画素値が１の類円形の構造部分を、画素値が０のもの（類円形とは相関量は低い部分）と区別するラベリングを行うことが可能になる。  
本実施形態においては、診断対象の生体組織の内視鏡画像において、以下に説明するように検出された類円形の構造の数、面積、構造間の距離、構造間の接続数における少なくと１つに基づいて、その内視鏡画像が有する類円形の構造の走行パターンに密接に関係する特徴量又は指標としての所定のネットワーク形状を検出する。【００３１】
このため、図３のステップＳ７においてＣＰＵ２２のネットワーク検出部３２を構成する構造間接続部３２ａにより、類円形の構造間を、構造間の距離に対応した面積（の領域）を付与して接続する。類円形の構造間を接続する場合、各類円形の構造の中心点間の距離が閾値Ｔｈｒｅ３（例えばＴｈｒｅ３＝４０）以下となる場合のみ、構造間（点間）の距離を対角線とした所定の面積（具体例では正方形の面積）で接続する。なお、Ｔｈｒｅ３＝４０は、例えば１画素を単位距離１としている。  
上記所定の面積（具体的には正方形）で接続した集合体が類円形のネットワーク形状候補（候補領域）を形成する。このため、上述のように構造間接続部３２ａが、類円形のネットワーク形状候補を生成する類円形のネットワーク形状候補生成部を形成する。【００３２】
図８は、図７の内視鏡画像に対して、ステップＳ７の処理を行った類円形のネットワーク形状候補となる正方形の面積の領域の集合体の処理画像を示す。なお、図８においては、図７に示すような内視鏡画像の輪郭を省略して示しているが、内視鏡画像上に図８の処理画像を重畳して表示するようにしても良い。  
本実施形態においては、さらに以下のような処理を行って所定のネットワーク形状の領域を検出（算出）し、さらに閾値を用いた閾値処理により所定の粘膜構造を有するか否かの判定を行う。【００３３】
次のステップＳ８においてＣＰＵ２２の重なり統合部（又はラベル付け部）３２ｂは、図８の処理画像の画像信号データに対して重なりのある正方形の面積を持つ領域の集合体のブロック毎にラベル付けを行い、それぞれ１つのラベルのブロックに統合する。図９は、統合された結果を示す。図９では、ラベル１−３のブロックに統合されている。  
次のステップＳ９においてＣＰＵ２２の閾値処理部３２ｃは、図９の処理画像における統合されて、離散的に散在するラベルのブロックを構成する正方形の個数（接続数に対応）が閾値Ｔｈｒｅ４（例えばＴｈｒｅ４＝５）以下となるブロックを除去する。つまり、図９の処理画像に対して閾値Ｔｈｒｅ４を用いた閾値処理（又は閾値を用いた判定処理）を行い、閾値以下の正方形の個数のラベルのブロックを削除する。換言すると、類円形の構造間の接続数が大きいブロック（集合体）のみをネットワーク形状の検出に用いる。【００３４】
図１０はステップＳ９による処理画像を示す。ラベル１のブロックのみ削除され、ラネル２，３のブロックが残る。  
本実施形態においては、ステップＳ９の閾値処理が、処理対象の内視鏡画像が所定の粘膜構造を有するか否かの大まかな判定を行う粘膜構造判定部３３の機能を持つ。つまり、正常な生体粘膜の場合には、図１０に示すように閾値以上の処理画像が残る。  
これに対して、胃底腺粘膜として正常な生体粘膜から大きく乖離した病変粘膜の場合には、上述した場合と同様の処理を行うと、上記ステップＳ８の処理により図１２（Ｅ）のように正方形の重なりの度合い（つまり、接続数）が小さく、かつ小数の正方形の集合体のブロックとなる。このように重なりの少ないブロックのみとなり、ステップＳ９の閾値処理を行う際の閾値Ｔｈｒｅ４未満の個数のブロックのみとなる。このため、正常な生体粘膜から大きく乖離した病変粘膜の場合には、ステップＳ９の閾値処理により、ラベル付けされた全てのブロックが無くなる。【００３５】
従って、上述したようにステップＳ９の閾値処理が、所定の粘膜構造を有するか否かの大まかな判定を行う粘膜構造判定部３３の機能を持つ。  
次のステップＳ１０においてＣＰＵ２２の類円形ネットワーク形状生成部３２ｄは、ステップＳ９のブロックにおける外形を形成する部分の点を連結して外側に凸となる外形形状となるような処理を行う。この処理により、所定のネットワーク形状としての最終的な類円形のネットワーク形状の領域が生成される。図１１は、ステップＳ１０の処理により生成された最終的な類円形のネットワーク形状の領域を示す。【００３６】
次のステップＳ１１においてＣＰＵ２２の粘膜構造判定部３３は、ステップＳ１０により算出された類円形のネットワーク形状の領域の内視鏡画像中に占める面積の割合を算出し、閾値Ｔｈｒｅ５（Ｔｈｒｅ５＝１０パーセント）以上か否かを判定する。  
ＣＰＵ２２の粘膜構造判定部３３は、画像処理装置３に入力された内視鏡画像の面積に対して、算出された類円形のネットワーク形状の領域の面積の割合が閾値Ｔｈｒｅ５以上の場合には、その内視鏡画像に対応する生体粘膜が正常な粘膜構造（この場合、正常な胃底腺粘膜）であると判定する。  
一方、この閾値Ｔｈｒｅ５未満の場合には、その内視鏡画像に対応する生体粘膜が正常な生体粘膜構造（この場合、正常な胃底腺粘膜）では無いと判定する。【００３７】
次のステップＳ１２においてＣＰＵ２２は、ステップＳ１１における判定結果を、判定結果の評価値としての類円形のネットワーク形状の領域の面積の割合をモニタ４に出力し、術者に告知（表示）する。術者は、正常な胃底腺粘膜である判定結果とその評価値を参照して診断を行う。そして、図３の処理を終了する。  
以上は正常な生体粘膜の場合での処理画像等を示したが、病変部の生体粘膜に場合に対しても類似の処理を行うと、上述した図１２のようになる。  
図１２（Ａ）は、図３のステップＳ１において画像処理装置３に入力される内視鏡画像を示し、図１２（Ｂ）は、ステップＳ２、Ｓ３の処理を経て２値化して抽出された血管候補領域の内視鏡画像を示す。【００３８】
図１２（Ｂ）の処理画像、又は図１２（Ａ）の内視鏡画像に対して、ステップＳ４，Ｓ５の処理を経て２値化して抽出されたマッチドフィルタ適用結果の処理画像を図１２（Ｃ）に示す。  
なお、図１２（Ｃ）では、図１２（Ｂ）又は図１２（Ａ）の内視鏡画像部分を示さないで、閾値処理された閾値Ｔｈｒｅ２以上の画素値を黒丸で示している。図１２（Ｄ）は、図１２（Ｃ）の処理画像に対してステップＳ７の処理を行った処理画像を示し、さらに図１２（Ｅ）は図１２（Ｄ）の処理画像に対してステップＳ８の処理を行った処理画像を示す。【００３９】
図１２（Ｅ）の処理画像は、ラベル１−４のブロックの処理画像となり、正常粘膜の場合の図９に比較すると、重なりのある正方形の数が少ない。このため、ステップＳ９の処理を行うと、ラベル１−４のブロックの処理画像が削除されてゼロとなる。図１２（Ｆ）は、図１２（Ｅ）に対するステップＳ９の処理結果を示す。なお、図１２（Ｆ）は図１２（Ｅ）と同じ表示形態では空白となるので、例えば図１２（Ａ）の内視鏡画像上に図１２（Ｃ）の処理結果を重畳して表示している。  
この場合には、ステップＳ１０においては処理対象が無くなり、ステップＳ１１においてその内視鏡画像に対応する生体粘膜が正常な粘膜構造（この場合、正常な胃底腺粘膜）では無いと判定される。  
次のステップＳ１２においてＣＰＵ２２は、ステップＳ１１における判定結果を、判定結果の評価値としての類円形のネットワーク形状の領域の面積の割合をモニタ４に出力し、術者に告知（表示）する。【００４０】
術者は、正常な胃底腺粘膜でない判定結果とその評価値を参照して診断を行う。術者は、判定結果を参照することにより、病変部分等に対して効率良く診断を行うことができる。  
このように本実施形態は、診断対象の生体粘膜を撮像した内視鏡画像から、その生体粘膜が正常な粘膜構造である場合の血管の走行パターンが有する類円形の構造を検出し、検出した類円形の構造の数、面積等から所定のネットワーク形状を有するか否かを検出する。  
さらに本実施形態は、検出された所定のネットワーク形状、つまり類円形のネットワーク形状の領域が、この類円形のネットワーク形状を検出する内視鏡画像の領域に対して閾値以上の割合で存在するか否かに応じて、正常な粘膜構造であるか否かを判定し、判定結果を術者に告知する。そして、上記のように術者は、判定結果を参照することにより、病変部分等に対して効率良く診断を行うことができる。【００４１】
従って、本実施形態によれば、類円形の構造の数、面積等から所定のネットワーク形状を検出することにより、術者に対して診断を支援することができる診断支援装置を提供することができる。  
なお、上述した第１の実施形態においては、胃底腺の生体粘膜の場合で説明したが、例えば大腸のＩ型ピットパターン（類円形の正常パターン）、II型ピットパターン（星芭状、乳頭状でＩ型の場合の正常パターンよりもやや大型のパターン）を撮像した内視鏡画像の場合に対しても同様に適用できる。  
また、上述した第１の実施形態において、構造検出部３１におけるマッチドフィルタを用いるマッチドフィルタ処理部３１ｂの代わりにハフ変換処理を行うハフ変換処理部を用い、このハフ変換処理により類円形の構造を検出するようにしても良い。【００４２】
（第２の実施形態）
次に本発明の第２の実施形態を説明する。第１の実施形態においては、血管の走行パターンに着目して血管の走行パターンの構造を検出するために類円形の構造を検出したが、本実施形態においては上皮組織の走行パターンの構造を検出するために類円形の構造を検出する。そして、検出結果により、上皮構造の診断を支援するのに利用する。  
本実施形態は、ハードウェア上の構成は、図１に示す第１の実施形態と同様であり、本実施形態は、第１の実施形態における図２におけるＣＰＵ２２による構造検出部３１の処理機能が若干異なる。図１３は、本実施形態におけるＣＰＵ２２による処理機能のブロック図を示す。【００４３】
ＣＰＵ２２は、図１３に示すように構造検出部３１と、ネットワーク検出部３２と、粘膜構造判定部３３とを有するが、図２におけるベクトル集中度フィルタによる血管候補領域検出部３１ａの代わりに上皮候補領域検出部３１ｃを用いて構成される。  
本実施形態においては、上皮候補領域検出部３１ｃは、点集中性フィルタとしてのアイリスフィルタを用いて上皮候補領域を検出する点集中性フィルタ処理部により構成される。その他の構成は、第１の実施形態と同様である。  
従って、本実施形態における処理は、図３に示した処理と類似した処理となるため、図３の処理と異なる点のみを説明する。【００４４】
本実施形態では、図３においてステップＳ２のベクトル集中度フィルタの代わりに点集中性フィルタとしてのアイリスフィルタを用いて上皮候補領域を検出するための処理を行う。また、図３のステップＳ３の閾値処理により、血管候補領域の代わりに上皮候補領域の検出をする。  
また、本実施形態は、図３のステップＳ４以降の処理に関しては、第１の実施形態と同様の処理となる。そして、このような処理を行うことにより、第１の実施形態における血管の走行パターンの構造を利用した粘膜構造に対する判定結果の場合と同様に、血管を上皮組織に置き換えた場合の上皮組織の走行パターンを利用した粘膜構造としての上皮構造に対する判定結果を得ることができる。【００４５】
このように本実施形態は、診断対象の生体粘膜を撮像した内視鏡画像から、その生体粘膜が正常な生体粘膜構造である場合の上皮組織の走行パターンが有する類円形の構造を検出し、検出した類円形の構造の数、面積等から所定のネットワーク形状を有するか否かを検出する。  
さらに本実施形態は、検出された所定のネットワーク形状、つまり類円形のネットワーク形状の領域が、この類円形のネットワーク形状を検出する内視鏡画像の領域に対して閾値以上の割合で存在するか否かに応じて、上皮構造が正常な粘膜構造であるか否かを判定し、判定結果を術者に告知する。そして、術者は、判定結果を参照することにより、病変部分を見逃すことなく効率良く診断を行うことができる。【００４６】
従って、本実施形態によれば、類円形の構造の数、面積等から所定のネットワーク形状を検出することにより、術者に対して診断を支援することができる診断支援装置を提供することができる。  
なお、第１の実施形態においてベクトル集中度フィルタの代わりにアイリスフィルタを用いた処理を行っても良いし、第２の実施形態においてアイリスフィルタの代わりにベクトル集中度フィルタを用いても良い。  
また、上述した実施形態における一部を変形したり、削除した実施形態も本発明に属する。【００４７】
例えば、例えば、ステップＳ７の処理において、正方形の代わりに例えば円形の面積等、他の形状の面積を用いるようにしても良い。また、図３においてステップＳ９の処理を省いても良い。また、ステップＳ１０の処理を行うこと無く、ステップＳ９の処理からステップＳ１１の処理、又はステップＳ８の処理からステップＳ１１の処理を行うようにしても良い。  
なお、上述して説明においては、類円形の構造の中心点間の距離が閾値Ｔｈｒｅ３以下となる条件を満たす場合、その条件を満たす類円形の構造間を、その距離に対応した所定の面積を持たせて接続する処理を行うようにしていた。上述した例では閾値Ｔｈｒｅ３以下では、距離が大きい程、面積が大きくなるようにしているが、このような場合に限定されるものでなく、基準となる参照情報を用いて距離に応じて面積を決定するようにしても良い。【００４８】
具体的には、正常組織であると診断された基準の生体粘膜の場合における類円形の構造間の平均値、又は平均値及び分散を予め調べ、その平均値の距離の場合に最大の面積を対応付け、その平均値からのずれが大きい程、小さくなる面積を対応付けて類円形の構造間を接続するようにしても良い。【００４９】
具体的に適用する場合には、例えば閾値以下となる距離条件を満たす類円形の構造間の距離と、対応する面積（若しくは対応する面積を持つ形状）の情報とを予め情報格納手段としてのルックアップテーブルに格納する。そして、ネットワーク検出部３２の構造間接続部３２ａは、距離条件を満たす類円形の構造間の距離に対して、ルックアップテーブルから対応する面積等の情報を読み取り、その面積等で該当する類円形の構造間を接続する処理を行うようにしても良い。なお、上記平均値の値に対応する内視鏡画像上における画素サイズの情報もルックアップテーブルを利用場合に参照できるようにすると良い。【００５０】
また、類円形の構造を検出して、検出された複数の類円形の構造間を、該構造間の距離に対応した面積で接続して所定のネットワーク形状を検出するようにしているが、この場合に限定されるものでなく、前記類円形の構造の数、又は前記類円形の構造の面積、又は前記類円形の構造間の距離、又は前記類円形の構造間の接続数に基づいて、所定のネットワーク形状を検出するようにしても良い。【００５１】
本出願は、２０１１年２月１日に日本国に出願された特願２０１１−０１９９８６号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
【図１】
0005139606.tif 000002
【図２】
0005139606.tif 000003
【図３】
0005139606.tif 000004
【図４】
0005139606.tif 000005
【図５】
0005139606.tif 000006
【図６】
0005139606.tif 000007
【図７】
0005139606.tif 000008
【図８】
0005139606.tif 000009
【図９】
0005139606.tif 000010
【図１０】
0005139606.tif 000011
【図１１】
0005139606.tif 000012
【図１２】
0005139606.tif 000013
【図１３】
0005139606.tif 000014