(57)【要約】【課題】血管像等の抽出対象とする構造部分を良好に抽出することができる画像処理方を提供する。【解決手段】内視鏡画像のＧ画像を取り込み、ノイズ除去、逆γ補正処理した後、テンプレートを用いたマッチングにより構造成分を有する画像中の位置を特定し、このマッチング結果に基づき構造成分を抽出することにより、血管像等の抽出対象とする構造部分を良好に抽出可能とした。【選択図】  図２
2004181096.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力するステップと、
前記画像から所望の構造成分を抽出するためのテンプレートを用意するステップと、
前記テンプレートを用いたマッチングにより構造成分を有する画像中の位置を特定するステップと、
前記マッチングの結果に基づき構造成分を抽出するステップと、
からなることを特徴とする画像処理方法。
【請求項２】
画像を入力するステップと、
前記画像から第１の領域抽出処理を適用することにより１個以上の第１の領域群を抽出するステップと、
前記第１の領域群を構成する各領域ごとに第２の領域抽出処理を適用することにより第２の領域群を抽出するステップと、
からなることを特徴とする画像処理方法。
【請求項３】
画像を入力するステップと、
抽出を所望する前記画像中の構造成分を特定する情報を含む参照用画像を入力するステップと、
前記構造成分を抽出するための処理のパラメタを複数作成するステップと、
前記複数のパラメタを用いて前記画像に対する前記構造成分抽出のための処理を適用することにより複数の抽出画像を作成するステップと、
前記複数の抽出画像の各々における抽出結果と前記参照用画像における構造成分との一致度を比較するステップと、
前記比較結果に基づき一致度の高いパラメタを特定するステップと、
からなることを特徴とする画像処理パラメタ設定方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は内視鏡画像等に対して特徴量を評価し易くする等の画像処理を行う画像処理方法に関する。
【０００２】
【従来の技術】
近年、細長の挿入部を体腔内に挿入し、固体撮像素子等を撮像手段に用いて体腔内臓器等をモニタ画面により観察し、検査あるいは診断することのできる内視鏡装置が広く用いられている。また、前記体腔内臓器へ超音波を照射し、この超音波の反射あるいは透過度等により該体腔内臓器の状況をモニタ画面により観察し、検査あるいは診断することのできる超音波内視鏡装置も広く用いられている。
【０００３】
これらの内視鏡装置を用いた最終的な診断は医師の主観に依存している部分が多大であり、客観的・数値的な診断に直接結びつく内視鏡診断支援装置の実現が望まれている。
【０００４】
内視鏡診断支援装置は画像内における関心領域（ＲＯＩ）から算出された様々な特徴量を用い、閾値処理あるいは統計的・非統計的識別器を用いて診断対象とする画像がどのような所見や病変に分類されるかを医師に提示することにより、客観的・数値的な診断の支援を行うものである。
【０００５】
特徴量は内視鏡画像上の様々な所見を反映した数値であり、画像処理手法の適用により得られるものである。例えば「発赤により粘膜表面が赤い」といった色調に関する所見を特徴量化する場合には、内視鏡画像を構成するＲＧＢ各データを用いて、Ｒ／（Ｒ＋Ｇ＋Ｂ）を各画素ごとに求め、その平均値を特徴量として使用することができる（この特徴量は一般に色度と呼ばれる）。また、近年内視鏡分野においては胃粘膜血流量を反映した色調の特徴量として、３２ｌｏｇ２（Ｒ／Ｇ）により得られるヘモグロビン指標が広く用いられている。
【０００６】
さらに、透見血管像に見られる血管の拡張・蛇行や胃小区の形態の大小・不整度・胃小区間の溝幅等、内視鏡画像における粘膜表面構造に関する所見も種々の疾患に対する診断の重要な要素となっており、これらに対しても画像処理手法の適用により特徴量として数値化することができる。このような特徴量算出においては、特許第２９１８１６２号公報に示されている手法がある。
【０００７】
近年においては、公知のＧａｂｏｒフィルタを用いて算出されるＧａｂｏｒ特徴に対し内視鏡画像への適用のための改良を加えた空間周波数解析手法により、粘膜表面構造の細かさ、粘膜表面構造が呈する模様の方向性等を特徴量として数値化する内視鏡画像処理方法がある。
【０００８】
また、複数の異なる所見から得た各特徴量を組み合わせて特徴ベクトルとして用いることにより、より複雑かつ正確な診断の支援を行うことができる。内視鏡診断支援装置の精度向上においては、重要な内視鏡画像所見を数値化するための高精度の特徴量算出手法が非常に重要であるといえる。
【０００９】
このような内視鏡診断支援装置及び特徴量算出手法の例として、特開平１０−１４８６４号公報がある。
【００１０】
【特許文献１】
特許第２９１８１６２号公報
【００１１】
【特許文献２】
特開平１０−１４８６４号公報
【００１２】
【発明が解決しようとする課題】
内視鏡観察における診断上重要な所見として、病変形状・大きさ、粘膜色調、透見血管像及び粘膜表面構造（ｐｉｔ等により構成される模様像）があげられる。本発明は、これらの所見の中で透見血管像及び粘膜表面構造に対する画像処理方法に関するものである。
【００１３】
透見血管像が重要な所見となる疾病としては、例えば潰瘍性大腸炎があげられ、炎症の程度、寛解の判定等において重要なものとなっている。
【００１４】
また、最近の内視鏡装置においては、高画質化、固体撮像素子（ＣＣＤ等）の高画素化、さらには通常の内視鏡と同等の外径と操作性を保ちつつ拡大観察（ズーミング）機能を有する拡大内視鏡の登場により、粘膜表面の極めて微細な毛細血管像や胃・大腸の腺口（ｐｉｔ）構造が明瞭に観察されるようになっている。
【００１５】
従来組織標本を実体顕微鏡下で観察していたのと同レベルの生体像を内視鏡下で臨床検査時に観察することが可能となり、それらの微細構造観察所見を用いた新たな診断学が消化管及び気管支分野において盛んに研究・確立されてきている。
【００１６】
このような例としては、
文献１（Ｈ．Ｉｎｏｕｅ，ＭＡＧＮＩＦＩＣＡＴＩＯＮ  ＥＮＤＯＳＣＯＰＹ  ＩＮ  ＴＨＥ  ＥＳＯＰＨＡＧＵＳ  ＡＮＤ  ＳＴＯＭＡＣＨ，Ｄｉｇｅｓｔｉｖｅ  Ｅｎｄｏｓｃｏｐｙ，ＪＡＰＡＮ  ＧＡＳＴＲＯＥＮＴＥＲＯＬＯＧＩＣＡＬ  ＥＮＤＯＳＣＯＰＹ  ＳＯＣＩＥＴＹ，Ｖｏｌ．１３，Ｓｕｐｐｌｅｍｅｎｔ，Ｊｕｌｙ  ２００１，  ｐｐ．Ｓ４０−Ｓ４１）に示された食道粘膜の微小血管像（Ｉｎｔｅｒｐａｐｉｌｌａｒｙ  ｃａｐｉｌｌａｒｙ  ｌｏｏｐ，ＩＰＣＬ）における形態変化による食道腫瘍性病変（腺腫、がん）の診断。
【００１７】
文献２（Ｋ．Ｙａｇｉ，ＥＮＤＯＳＣＯＰＩＣ  ＦＥＡＴＵＲＥＳ  ＡＮＤ  ＭＡＧＮＩＦＩＥＤ  ＶＩＥＷＳ  ＯＦ  ＴＨＥ  ＣＯＲＰＵＳ  ＩＮ  ＴＨＥ  ＨＥＬＩＣＯＢＡＣＴＥＲ  ＰＹＬＯＲＩ−ＮＥＧＡＴＩＶＥ  ＳＴＯＭＡＣＨ，Ｄｉｇｅｓｔｉｖｅ  Ｅｎｄｏｓｃｏｐｙ，ＪＡＰＡＮ  ＧＡＳＴＲＯＥＮＴＥＲＯＬＯＧＩＣＡＬ  ＥＮＤＯＳＣＯＰＹ  ＳＯＣＩＥＴＹ，Ｖｏｌ．１３，Ｓｕｐｐｌｅｍｅｎｔ，Ｊｕｌｙ  ２００１，  ｐｐ．Ｓ３４−Ｓ３５）における胃集合細静脈観察によるヘリコバクタピロリ感染診断。
【００１８】
文献３（Ｋ．Ｙａｏ他，ＭＩＣＲＯＧＡＳＴＲＯＳＣＯＰＩＣ  ＦＩＮＤＩＮＧＳ  ＯＦ  ＭＵＣＯＳＡＬ  ＭＩＣＲＯＶＡＳＣＵＬＡＲ  ＡＲＣＨＩＴＥＣＴＵＲＥ  ＡＳ  ＶＩＳＵＡＬＩＺＥＤ  ＢＹ  ＭＡＧＮＩＦＹＩＮＧ  ＥＮＤＯＳＣＯＰＹ，Ｄｉｇｅｓｔｉｖｅ  Ｅｎｄｏｓｃｏｐｙ，ＪＡＰＡＮ  ＧＡＳＴＲＯＥＮＴＥＲＯＬＯＧＩＣＡＬ  ＥＮＤＯＳＣＯＰＹ  ＳＯＣＩＥＴＹ，Ｖｏｌ．１３，Ｓｕｐｐｌｅｍｅｎｔ，Ｊｕｌｙ  ２００１，  ｐｐ．Ｓ２７−Ｓ３３）における胃微細血管像観察による粘膜萎縮及び腫瘍性病変種別診断。
【００１９】
文献４（工藤進英，陥凹型早期大腸癌，日本メディカルセンター，１９９６，ｐｐ．３３−４０）におけるｐｉｔ  ｐａｔｔｅｒｎ分類を用いた大腸腫瘍性病変診断。
【００２０】
文献５（渋谷  潔  他，拡大気管支ヒ゛テ゛オスコーフ゜を用いたＢｒｏｎｃｈｉａｌ  Ｄｙｓｐｌａｓｉａの微細観察，第２２巻  第８号，２０００年１２月，ｐｐ．６１３−６１６）における気管支の微細血管網観察による気管支炎・がんに対する診断。
【００２１】
があげられる。
【００２２】
一方、これらの内視鏡所見に対する診断は医師の主観判断に基づくものであることから、経験及び知識の違いにより診断結果が異なる可能性があるという問題があり、画像処理による定量的かつ客観的な診断支援情報の提供が望まれている。
【００２３】
より具体的には、血管、ｐｉｔ等の構造を画像から抽出し、その形態、大きさ、均一性、規則性等を様々な画像処理方法の適用により数値化（特徴量と呼ばれる）し、線形判別関数、ニューラルネットワーク等の識別器を用いることで客観的診断支援を実現する。
【００２４】
また、本出願人においては例えば特許第２９１８１６２号において二値化処理を用いた画像処理・解析手法を開示している。
【００２５】
しかしながら、二値化等による構造抽出をともなう画像処理方法の内視鏡画像への適用においては、以下のような問題があった。
【００２６】
内視鏡画像は観察距離・角度が一定ではなく、さらに観察対象が曲面形状を有する場合も多々あることから画像中の明暗変化が大きい。また、大腸ｐｉｔ  ｐａｔｔｅｒｎ観察像においてはｐｉｔの明瞭化のために一般にインジゴカルミンあるいはクリスタルバイオレット等に代表される色素・染色剤を撒布するが、染色濃度が異なったり、撒布むら（ｐｉｔでない間質部にまで色素が残ってしまう状態）が発生する場合がある。
【００２７】
二値化処理においては一般に閾値処理を実行するが、これらの理由から固定的な閾値を用いることは困難である。また、画像ごとに閾値を変更（文字認識分野等で研究されている）しても、明暗変化や色素の撒布状態により、画像内の局所ごとに抽出結果に違いが現われ、抽出漏れ等が発生することがあるという問題がある。
【００２８】
（発明の目的）
本発明はこれらの問題を鑑みてなされたもので、血管像、ｐｉｔ  ｐａｔｔｅｒｎ等の（内視鏡）画像中の抽出対象となる構造部分を良好に抽出することができる画像処理方法を提供することを目的とする。
【００２９】
また、血管像、ｐｉｔ  ｐａｔｔｅｒｎ等の（内視鏡）画像中の抽出対象となる構造部分を画像の撮像条件によらず良好に抽出することができる画像処理方法を提供することも目的とする。
【００３０】
さらに、高精度の診断支援情報を実現する特徴量算出のための画像処理方法を合わせて提供することを目的とする。
【００３１】
【課題を解決するための手段】
本発明の画像処理方法は内視鏡画像等の画像を入力するステップと、前記画像から所望の構造成分を抽出するためのテンプレートを用意するステップと、前記テンプレートを用いたマッチングにより構造成分を有する画像中の位置を特定するステップと、前記マッチングの結果に基づき構造成分を抽出するステップと、を備えることにより、血管像、ｐｉｔ  ｐａｔｔｅｒｎ等の抽出対象とする構造部分を良好に抽出することができるようにしている。
【００３２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００３３】
（第１の実施の形態）
図１ないし図８は本発明の第１の実施の形態に係り、図１は本実施の形態における画像処理方法を実行するためのパーソナルコンピュータの構成を説明するための構成図、図２は本実施の形態における画像処理方法の内容を説明するためのフローチャート、図３は血管像を説明するための説明図、図４は本実施の形態における血管モデルを説明するための説明図、図５はテンプレートの作成例を説明するための説明図、図６はテンプレート・マッチングにおける１次元方向の組合わせ例を説明するための説明図、図７及び図８はテンプレート・マッチングによる血管位置の判定を説明するための説明図である。
【００３４】
本発明の第１の実施の形態は、特に内視鏡画像における樹枝状の血管像の抽出に有効な画像処理方法に関する。以下、図面を参照して本実施の形態における画像処理方法について説明する。
【００３５】
内視鏡画像における透見血管像は、様々な太さの血管が樹枝のような構造を呈するものがある。これは、ドレナージ血管と呼ばれる太い血管と、そこから分岐する細い血管により構成されている。
【００３６】
これらの血管は太さのみでなく粘膜下に存在する深さも異なることから鮮鋭度（一般に深い程ぼけて見える）にも違いが生じている。このような血管像に対して、以下に説明する一連の抽出処理を適用する。そして、抽出対象となる構造部分としての血管像を良好に抽出して、客観的な診断支援ができるようにする。
【００３７】
なお、本発明における内視鏡画像は大きさ（横×縦の画素数）がＩＳＸ×ＩＳＹ、ＲＧＢの３（色成分）画像から構成され、Ｒ、Ｇ及びＢの各画像はそれぞれ０から２５５の値からなる８ビットの階調を備えるものとする。
【００３８】
本実施の形態における一連の画像処理方法は、パーソナルコンピュータ上で動作するプログラムとして実現される。図１は本実施の形態に用いるパーソナルコンピュータ及び周辺機器等の構成の説明図である。
【００３９】
パーソナルコンピュータ１は、ＣＰＵである演算手段２と、データ格納や作業エリアに使用されるメインメモリ３と、プログラム等を記憶するプログラム記憶手段４（本実施の形態においてはハードディスク（図１ではＨＤと略記）であるものとする）を備えると共に、ＣＲＴ等の表示手段５と、マウス、キーボード等の入力手段６と、光磁気ディスク（ＭＯ）ドライブ等の外部記憶手段７とが接続されている。
【００４０】
また、ネットワークアダプタ８等を介してＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の外部ネットワーク９に接続されている。また、この外部ネットワーク９には内視鏡検査を行う内視鏡装置１１や、内視鏡装置１１による内視鏡検査の画像データをファイリング等する画像ファイリング装置１２が接続されている。
【００４１】
そしてパーソナルコンピュータ１は、外部ネットワーク９を介して画像ファイリング装置１２或いは内視鏡装置１１等から画像データの取得を行うことができるようになっている。
【００４２】
このパーソナルコンピュータ１は、プログラム記憶手段４に記憶されたプログラムをメインメモリ３に読み込み、演算手段２において実行する。
【００４３】
また、画像処理対象となる画像データは、ファイルとして外部記憶手段７からオフラインもしくは外部ネットワーク９を経由したオンラインでの取得が可能となっている。また、プログラム記憶手段４が十分な容量を備える場合には、プログラムと同様にパーソナルコンピュータ１内に保存することも可能となっている。
【００４４】
本実施の形態では、例えばプログラム記憶手段４を形成するハードディスクには、後述するように入力される画像から抽出対象とする構造部分をモデル化した血管モデル等のテンプレートを格納している。
【００４５】
そして、演算手段２を形成するＣＰＵにより、画像中の各画素に対してテンプレートを用い、テンプレートとの相関量を算出する演算処理を行い、相関が高いものからその位置を特定して、その構造部分を抽出する。つまりテンプレートマッチングを行うことにより、抽出対象とする構造部分を抽出する。この場合、テンプレートのパラメータの値を変更することにより、複数の異なるテンプレートを用意して、異なる形状、サイズの抽出対象に対しても抽出ができるようにしている。
【００４６】
図２は本実施の形態における画像処理方法による処理内容を説明するためのフローチャートである。
【００４７】
始めに、ステップＳ１においてパーソナルコンピュータ１の演算手段２は、画像ファイリング装置１２等から取り込む原画像としてＧ画像（成分）を入力する。通常の（色素、染色剤等を使用しない）内視鏡画像においては、血管像、粘膜表面模様等の構造成分は、主に粘膜内の血液による光の吸収変動により構成される。
【００４８】
より詳しくは、血液中のヘモグロビンの吸収帯域（波長）に最も依存し、構造成分は一般にＧ画像に多く含まれることが知られている。具体的には血液量が多いほど吸収が大きく、Ｇ画像の画素の値は低くなり、少ないほど吸収されず反射されることから画素の値は高くなる。
【００４９】
次のステップＳ２においては、前処理としてランダムノイズ等に対するノイズ除去処理を適用する。本実施の形態においては公知のメディアンフィルタリング（注目画素を含むマスク内の画素値を大きさで並べ替え、中央値で注目画素の値を置き換える）を大きさ３×３の画素サイズで適用する。
【００５０】
次のステップＳ３においては逆γ補正を適用する。γ補正は、画像をモニタ等に表示する際に視覚的に線形な階調を与えるために適用された非線形処理であり、逆γ補正はこれを元の線形階調に戻すものである。
【００５１】
続くステップＳ４においては、テンプレートを用いたマッチング、つまりテンプレート・マッチングによる血管抽出処理を適用する。以下、本ステップ４におけるテンプレート・マッチングの詳細について説明する。
【００５２】
内視鏡画像における血管像に対して、例えば図３に示すように１次元方向（ｘ方向）で画素値の変動を抽出して切り出しした場合、図４に示す半楕円（もしくは半円）に類した形状（以下、単に半楕円形状とする）にモデル化（以下、これを血管モデルと称する）することができる。
【００５３】
したがって、半楕円形状を規定するＷ及びＤをパラメタとしたテンプレートを作成し、相関が大である画素を抽出することで血管位置を特定し、抽出することができる。また、血管の幅については該当するテンプレートのパラメタＷから決定することができる。図４における半楕円形状の関数は、ｘを１次元方向で見た画素の座標、ｙを画素値として
【数１】
2004181096.tif 000003
と表すことができる。
【００５４】
ここで、Ｗ及びＤはそれぞれ図４における血管モデルの半楕円形状の幅及び深さを規定するパラメタ、ｋは固定的に与える実数で内視鏡画像に対しては例えば１５とする。さらに、実際の内視鏡画像においては焦点外れ等から様々なぼけが加わることから、式（１）から得られる血管モデルに対してガウシアン関数
【数２】
2004181096.tif 000004
を用いた平滑化処理（ディジタル画像における畳み込み演算によるフィルタリング。なお、畳み込み演算については公知技術であるため説明は省略する）を適用する。
【００５５】
ここで、σはガウシアン関数における標準偏差で、ぼけの強さを規定するパラメタとして使用され、σが大であるほど強くぼける効果を有する。さらに、本実施の形態においては、後述するマッチングにおける画像の明るさの違いによる影響を除外するために、対数変換によってｙ方向のスケール変換（濃度変換）を適用する。
【００５６】
撮像時の光量の違いは画素値に対して乗算項として影響を与えるが、対数変換により加算項として分離され、影響を縮小することができ、血管抽出精度をより高めることが可能となる。つまり、対数変換によるスケール変換を適用することにより、撮影条件に殆ど依らないで血管像等を良好に抽出できるようにしている。
【００５７】
次に、作成した血管モデルをステップＳ４におけるテンプレート・マッチングでのテンプレートとして使用するための離散化を行う。本実施の形態においては、連続関数値である血管モデルをテンプレート１要素（画像に対しては画素に相当する）あたり１０個のサブ要素となるよう一旦離散化し、さらにサブ要素値１０個の平均値を算出することにより離散化されたテンプレートを作成する（平均化により、テンプレートの要素間の変動を滑らかにする効果を与える）。
【００５８】
さらに、実際の血管像は様々な幅（太さ）、深さ（画素値の変動の大きさ）を備えるため、Ｗ、Ｄの組合わせを変更することにより複数のテンプレートを作成する。また、ぼけの程度の変化に対してはσの変更によるテンプレートの追加が可能である。
【００５９】
図５にＷ及びσの変更により得られるテンプレートの例を示す。なお、ここではＤ＝５０に固定している。図５においては、Ｗ＝１〜５  （ｓｔｅｐ（刻み）  １．０）、σ＝０．０〜４．０  （ｓｔｅｐ  １．０）の各組み合わせのテンプレートを示している。テンプレートのサイズはＷ及びσに応じて適宜変更し、本実施の形態においてはテンプレートの両端においてｙ≒０．０  となる画素位置に１画素分の余裕を持たせたるものとする。
【００６０】
続いて、上記テンプレートを用いたテンプレート・マッチングについて説明する。マッチングは画像ｆ上の各画素に対して上記テンプレートを畳み込み演算と同様に重畳し、
【数３】
2004181096.tif 000005
で示される正規化相互相関Ｒを算出することにより実行する（正規化相互相関については公知技術であるため説明は省略する）。
【００６１】
ここで、Ｎはテンプレートのサイズ、ｆｘ（ｉ）  は画像からテンプレートに合わせて１次元で切り出したＮ個の中の  ｉ  番目の画素、ｆｘＭはｆｘ（ｉ）の平均値、ｔ（ｉ）はテンプレートのｉ番目の要素の値、ｔＭはｔ（ｉ）の平均値である。Ｒは０≦Ｒ≦１の値をとり、１に近いほど一致度が高いことを示す。
【００６２】
また、実際の内視鏡画像における血管は様々な方向に走行していることから、テンプレート及び切り出す画素の方向を例えば図６に示す０°、４５°、９０°及び１３５°の４方向について適用する。これらの４方向に対し式（３）の正規化相互相関を適用した結果をそれぞれＲ０、Ｒ４５、Ｒ９０及びＲ１３５とする。
【００６３】
例えば、図７に示すように画像垂直方向に血管像が存在し、その幅が５画素である場合には、Ｗ＝５のテンプレートを方向０°において適用し、血管とテンプレートが一致する血管中央部で算出した正規化相互相関Ｒ０（Ｗ＝５）が最も高い値をとる。この時、テンプレートの一次元移動に対するＲ０（Ｗ＝５）  の値は、例えば図８に示すようなものとなる。図８においては、Ｒ＝１．０となるｘが血管の幅方向における中央に位置する画素に対応し、中央から１画素ずれる毎に段階的に小さくなる分布となる。
【００６４】
以上により、例えばＫ個のテンプレートを用いたＭ個の方向のテンプレート・マッチングの適用により、各画素ごとにＫ×Ｍ個の正規化相互相関Ｒが算出される。なお、Ｄを固定的に設定した場合においても各テンプレートによる正規化相互相関Ｒの大小関係は不変であることから、以降の説明においては簡単のため固定値を設定するものとする。
【００６５】
続くステップＳ５（図２）においては、ステップＳ４において算出した正規化相互相関Ｒの値に基づき、注目する画素を中心とする血管が存在しているかどうかを判定する。判定処理は以下のように行う。
【００６６】
得られたＫ×Ｍ個のＲｉｊ（１≦ｉ≦Ｋ，１≦ｊ≦Ｍ）を比較し、その最大値Ｒｍａｘを求める。次に、最大値Ｒｍａｘに対する閾値処理を適用する。閾値Ｔｈ（例えばＴｈ＝０．９とする）に対してＲｍａｘ≧Ｔｈであれば、最大値Ｒｍａｘに対応するＷ及びσをパラメタとする血管モデルを対応する方向θにおいて適用したテンプレートとの一致度が高く、注目画素を幅方向の中心とする血管が存在しているものと判定する。
【００６７】
血管が存在すると判定した場合にはステップＳ６へ、そうでない場合にはステップＳ７へ進む。続くステップＳ６においては、ステップＳ５における判定結果を外部記憶手段７等に保存をする。この場合の保存は、例えば以下のテーブルａ［ｋ］の結果が保存される。
【００６８】
はじめに、画像と同じ大きさＩＳＸ×ＩＳＹのテーブルａ［ＩＳＸ×ＩＳＹ］を用意し、すべての要素を０に初期化しておく。
【００６９】
ｋ番目の画素ｘｋに対するステップＳ３及びＳ４の処理結果において、Ｒｍａｘ≧Ｔｈであるテンプレート及び方向が存在した場合には、対応するテーブルａ［ｋ］にテンプレート及び方向を特定するための値ｔ（ただし、ｔ≠０）を代入する。本実施の形態においてはｔはＫ×Ｍ個の正規化相互相関Ｒｉｊに対して１≦ｔ≦Ｋ×Ｍのように連続する数値で与えるものとする。血管が存在しないと判定された場合についてはテーブルａ［ｋ］は０のままとなる。
【００７０】
続くステップＳ７においては、画像上の全画素についてステップＳ４ないしＳ６の処理を適用したかどうかを判定し、終了していなければステップＳ４に戻り、次の画素（ｋ番目の画素ｘｋから（ｋ＋１）番目の画素ｘ（ｋ＋１）へ）に対してステップＳ４ないしＳ７の処理を再度適用する。全画素に対する処理の適用が終了していれば、ステップＳ８に進む。
【００７１】
ステップＳ８においては、ステップＳ６において作成した血管抽出結果から、血管抽出画像を作成する。具体的には各画素に対応するテーブルａ［ｋ］（１≦ｋ≦ＩＳＸ×ＩＳＹ）の値を参照し、もしａ［ｋ］≠０であれば、ａ［ｋ］の値に対応するテンプレートの幅Ｗ及び適用した方向θにしたがい、画素ｘｋを中心とする幅Ｗの線分を当てはめる。
【００７２】
すべてのａ［ｋ］に対する線分当てはめを適用した結果が血管抽出画像となる。プログラムでの実現においては、血管抽出画像作成用として大きさＩＳＸ×ＩＳＹの領域ｂ［ＩＳＸ×ＩＳＹ］を用意し、すべての画素を０に初期化の上、線分の値を１として対応する各画素に代入する。
【００７３】
以上に説明した一連の処理の適用により、内視鏡画像における血管を血管の太さ（幅）とぼけの程度によらず良好に抽出することが可能となる。
【００７４】
なお、ステップＳ８において作成した血管抽出画像に対する後処理として、一般的な膨張・収縮処理を適用することで、より滑らかな処理結果画像を得ることも可能である。
【００７５】
また、ステップＳ８における血管抽出画像作成において、隣接する画素の双方に血管が存在すると判定されることが考えられるが、正規化相互相関Ｒｍａｘが大である画素を採用し、一方を除外することにより正しい結果を得ることができる。この場合は、テーブルａ［ＩＳＸ×ＩＳＹ］に加え、各画素のＲｍａｘを記憶するための領域ｂ［ＩＳＸ×ＩＳＹ］を用意し、ステップＳ６において値を代入する。
【００７６】
以上説明したように、本実施の形態における画像処理方法によれば、内視鏡画像から血管抽出画像を良好に作成することができる。
【００７７】
また、多階調画像であれば内視鏡以外の画像として例えばＸ線アンギオグラフィ画像に対しても適用可能である。また、線状の構造成分（長さは問わない）であれば適用可能であるため、抽出対象は血管に限定されるものではない。
【００７８】
また、本実施の形態においては画像中の全画素に対してテンプレート・マッチングを含む一連の処理を適用したが、処理時間の短縮のために数画素おきに適用することも可能である。
【００７９】
また、低い値をとる画素が血管である可能性が高いことから、あらかじめ局所的に低い値を有する画素を探索し、得られた画素に対してのみ適用してもよい。この場合は例えば注目画素を中心とする例えば３×３の領域内で注目画素が最小値をとる場合に処理対象と設定することができる。
【００８０】
従って、本実施の形態は以下の効果を有する。
【００８１】
本実施の形態によれば、内視鏡画像等から抽出対象とする血管抽出画像等を良好に作成することができる。
【００８２】
（第２の実施の形態）
次に本発明の第２の実施の形態を図９ないし図１６を参照して説明する。図９ないし図１６は本実施の形態に係り、図９は本実施の形態における一連の処理を説明するためのフローチャート、図１０は帯域通過型フィルタの周波数特性を説明するための説明図、図１１ないし図１６は本実施の形態における原画像、処理経過及び処理結果画像を説明するための説明図である。
【００８３】
本実施の形態における一連の画像処理・解析は、第１の実施の形態と同様、パーソナルコンピュータ１上で動作するプログラムとして実現される。パーソナルコンピュータ１の構成については図１と同様であるので、その説明を省略する。本実施の形態は、特に内視鏡画像における大腸ｐｉｔ  の構造（以下、ｐｉｔ  ｐａｔｔｅｒｎとする）の抽出に有効な画像処理方法に関する。
【００８４】
内視鏡画像からｐｉｔ  ｐａｔｔｅｒｎを抽出し、形状等を解析する手法においては、帯域通過フィルタリング画像への閾値処理を用いた二値化による抽出が行われる。しかしながら、内視鏡画像においては明るさの変化、色素濃度の違い・むらの発生等により固定的あるいは画像ごとの閾値設定では安定した抽出ができないという問題がある。本実施の形態においては、これらの問題を有する画像に対しても解析対象となるｐｉｔを安定的に抽出できる画像処理方法について説明する。
【００８５】
帯域通過フィルタリング（Ｂａｎｄ  Ｐａｓｓ  Ｆｉｌｔｅｒｉｎｇ、以下ＢＰＦと略記）処理画像に対し、画像もしくは関心領域全体に同一の閾値処理を適用した場合、明暗変化、色素むら等により抽出漏れや途切れが生じる。したがって、抽出処理における閾値は抽出対象となる個々のｐｉｔ  に対し局所的かつ適応的に決定する必要がある。本実施の形態においては、抽出対象となるｐｉｔ  を含む個々の領域を局所的に抽出し、各々の領域ごとに最適な閾値を設定する。
【００８６】
本実施の形態においては、高周波数帯域通過特性を有するフィルタは構造の形状に沿った抽出画像を得られるがノイズ等に弱く、低周波数帯域通過特性を有するフィルタは抽出形状が実際より大きめとなるがノイズ等に強い特性を有することを利用して、抽出対象とノイズ等の各構造成分を含む領域を分離し、抽出対象を含む領域ごとに局所的に閾値設定を行うことにより良好な抽出結果画像を得る。
【００８７】
以下、図９に示すフローチャートに基づき画像処理方法を説明する。まず、本実施の形態においては原画像として、Ｒ画像を使用する（ステップＳ１１）。図１１に原画像として内視鏡Ｒ画像の例を示す。ｐｉｔ  ｐａｔｔｅｒｎ観察においてはインジゴカルミンと呼ばれる色素（薬剤）を撒布する。色素は粘膜表面の凹部であるｐｉｔに貯留し、青緑系の色調を有することからＲ画像において最も構造が反映される。
【００８８】
次のステップＳ１２においては、第１の実施の形態における図２のステップＳ２及びＳ３と同様にノイズ除去及び逆γ補正を適用する。
【００８９】
続くステップＳ１３においては、異なる通過周波数帯域特性を備える帯域通過フィルタＢＰＦ（Ｌｏ）、ＢＰＦ（Ｈｉ）を適用し、各々の処理結果画像を得る。帯域通過フィルタＢＰＦ（Ｌｏ）、ＢＰＦ（Ｈｉ）はラプラシアン・ガウシアンフィルタ等を使用し、通過周波数帯域を相対的に高（Ｈｉ）・低（Ｌｏ）に設定する。Ｈｉの通過周波数特性は抽出したい構造成分の周波数帯域分布に沿ったものとし、Ｌｏは例えばＨｉの１オクターブ低い特性とする。
【００９０】
なお、ラプラシアン・ガウシアンフィルタは公知のものであり、文献「ビジョン，産業図書，デビッド・マー，ｐｐ．５８−６６」に詳しいため詳細は省略する。
【００９１】
図１０に本実施の形態に使用する帯域通過フィルタＢＰＦ（Ｌｏ）、ＢＰＦ（Ｈｉ）の周波数特性例ＦＬｏ、ＦＨｉをそれぞれ示す（本来は画像における周波数空間は２次元であるが、簡単のため１次元化した片側に対して示している）。
【００９２】
ステップＳ１４においては、帯域通過フィルタＢＰＦ（Ｌｏ）、ＢＰＦ（Ｈｉ）各々の処理結果の画像に対して、０．０を閾値とし、二値化処理をそれぞれ適用する。得られた二値画像を各々ＲｅｓＬｏ及びＲｅｓＨｉとし、各画素が構造成分として抽出されていれば１、そうでなければ０の値を与える。
【００９３】
本実施の形態においては色素による構造成分は第１の実施の形態における血管と同様に画素値が小となるため、帯域通過フィルタＢＰＦ（Ｌｏ）、ＢＰＦ（Ｈｉ）による結果が０以下となる画素を構造成分として抽出する。ここでは負の変動であればすべて抽出するため、明暗変化、色素のむら等による抽出漏れは発生しない。  図１１に示すｐｉｔ  ｐａｔｔｅｒｎを含む内視鏡Ｒ画像の例に対して、図９のステップＳ１４による二値化処理で得られるＲｅｓＬｏ及びＲｅｓＨｉの二値画像の例を図１２及び図１３にそれぞれ示す。
【００９４】
ステップＳ１５においては、ＲｅｓＬｏ及びＲｅｓＨｉの各画素ごとの論理演算を行い、抽出対象の構造成分を含むｎｐ個の領域（連結した画素群）Ｐｉ（１≦ｉ≦ｎｐ）とｎｎ個のノイズ等の領域Ｎｊ（１≦ｊ≦ｎｎ）を抽出する。
【００９５】
ここで、各領域Ｐｉ及びＮｊは二値画像に対するラベリング処理を適用の上、個々の領域を特定するための番号が付与されているものとする。ＲｅｓＨｉ及びＲｅｓＬｏ双方で抽出された画素はＰｉ，ＲｅｓＨｉでは抽出されているがＲｅｓＬｏでは抽出されていない（図９においてＮｏｔＲｅｓＬｏと示す）画素はＮｊに含まれる。  図１４及び図１５にＰｉ及びＮｊの画像例を示す。
【００９６】
次のステップＳ１６においては、ステップＳ１５で除外しきれなかったノイズ等の成分を除外する。具体的には、ＢＰＦ（Ｈｉ）の処理結果ＲｅｓＨｉの絶対値において、個々のＰｉの平均値μＨｉと、Ｐｉの重心（ｃｘｉ，ｃｙｉ）を中心とする大きさｓ×ｓの近傍画素内に含まれる除外済みノイズ領域Ｎｊの平均値μＨｅｉとを比較する。構造成分はノイズ成分より変動が大であることから、例えばμＨｉ≦μＨｅｉであれば除外とする。
【００９７】
ステップＳ１７においては、残ったＰｉごとに適切な閾値を設定し閾値処理、つまり再二値化を行う。閾値の設定は、例えば大津の判別分析法を用いる。
【００９８】
さらに、このステップＳ１７の実行後もノイズ領域が残る場合があるため、続くステップＳ１８での除外処理を適用する。ここでは、まずステップＳ１６と同様の処理適用による除外処理を再度適用する。ここでは、除外基準をμＨｉ≦ｗ・μＨｅｉ（ｗ＞１．０）とすることにより、除外効果を高める。
【００９９】
図１６はステップＳ１８の処理後に抽出された抽出結果画像（さらに関心領域を設定し、輪郭部、ハレーション等を除外した）の例を示す。
【０１００】
以上に説明した一連の処理により、撮影条件に殆どよらないで、つまり明るさの変化、色素濃度の違い・むらの発生等がある場合においても、内視鏡画像から良好なｐｉｔ抽出画像を得ることが可能となる。
【０１０１】
また、本実施の形態における画像処理方法は血管像等、ｐｉｔ（腺口）以外の構造成分を抽出対象とすることも可能である。
【０１０２】
従って、本実施の形態は以下の効果を有する。
【０１０３】
本実施の形態によれば、明るさの変化、色素濃度の違い・むらの発生等がある場合においても内視鏡画像等から良好なｐｉｔ抽出画像を得ることが可能となる。
【０１０４】
（第２の実施の形態の変形例）
ＲｅｓＨｉに差がないため除外できない領域Ｐｉが存在する場合には、ステップＳ１８に続いて色調の違いに基づく除外処理を加えることも可能である。
【０１０５】
具体的にはｐｉｔには色素が貯留することから色調は青緑の成分が強くなることを利用し、例えばＰｉ及びその近傍内のＰｋ（ｋ≠ｉ）について、ノイズ除去及び逆γ補正を適用したＲ画像及びＧ画像から比Ｒ／Ｇ（さらにＢ画像を加え、Ｒ／（Ｒ＋Ｇ＋Ｂ）を使用してもよい）を画素ごとに求め、領域ごとの平均値μｒｇｉとμｒｇｋを比較し、μｒｇｉ＞μｒｇｋ（周辺の抽出領域より赤い）の場合は除外とする。
【０１０６】
従来、ノイズ領域の除外においては二値化抽出後の領域画素数に対する閾値処理（小領域の削除）等が行われていたが、局所的な構造成分の色調情報に基づき除外することにより微小ｐｉｔ等に対する誤った除外のない抽出画像を得ることができる。
【０１０７】
以上に説明した一連の処理により、明るさの変化、色素濃度の違い・むらの発生等がある場合においても内視鏡画像から良好なｐｉｔ抽出画像を得ることが可能となる。
【０１０８】
また、本実施の形態における画像処理方法は血管像等、ｐｉｔ以外の構造成分を抽出対象とすることも可能である。
【０１０９】
（第３の実施の形態）
次に本発明の第３の実施の形態を図１７ないし図１９を参照して説明する。図１７ないし図１９は第３の実施の形態に係り、図１７及び図１８は本実施の形態における一連の処理の流れを説明するためのフローチャート、図１９は帯域通過型フィルタの特性例の説明図である。
【０１１０】
本実施の形態においては、画像解析のための二値化処理において効率的に最適な処理パラメタを設定するための方法について説明する。本実施の形態における一連の画像処理・解析は、第１の実施の形態と同様、パーソナルコンピュータ１上で動作するプログラムとして実現される。パーソナルコンピュータ１の構成については図１と同様であるので、その説明は省略する。
【０１１１】
内視鏡画像における構造成分抽出のための二値化処理においては、例えば帯域通過型フィルタの周波数特性、各種閾値等のパラメタを設定する必要が生じる。このような調整は主として目視によるｐｉｔ  ｐａｔｔｅｒｎ、血管等の構造成分と二値化結果との主観的一致に基づいて行われ、例えば複数の帯域通過型フィルタを適用し、二値化結果における抽出漏れの有無、大きさや太さ等を原画像と参照しながら各々の閾値設定を変更する。
【０１１２】
しかしながら、このような試行錯誤をともなう調整においては、画像処理方法の内容によってはパラメタ及びその組み合わせが膨大となり、操作者の負担が大きいという問題がある。
【０１１３】
本実施の形態においては、あらかじめ内視鏡画像上に抽出対象となる構造成分を指定した参照用画像を用意し、複数のパラメタの組合わせによる二値化抽出処理結果との一致度の比較に基づき最適なパラメタを設定する方法について説明する。
【０１１４】
以下、図１７及び図１８に基づき本実施の形態におけるパラメタ設定方法を説明する。本実施の形態においては第２の実施の形態と同様に、抽出対象を内視鏡画像にからのインジゴカルミン撒布をともなう大腸ｐｉｔ  ｐａｔｔｅｒｎとする。また、帯域通過フィルタリング（ＢＰＦ）及びフィルタリング結果に対する閾値処理による抽出を実行するものとする。
【０１１５】
はじめに、ステップＳ２１において、原画像としてＲ画像を入力し、第２の実施形態における図９のステップＳ１２と同様に、ステップＳ２２でノイズ除去及び逆γ補正を適用する。
【０１１６】
続くステップＳ２３においては、複数パラメタ生成を行う。つまり、次のステップＳ２４における二値画像作成のための処理パラメタとして、異なる周波数帯域特性を備えるＮ個（１≦Ｎ）の帯域通過型フィルタと、Ｐ個の抽出用閾値を設定する。
【０１１７】
Ｎ個の帯域通過型フィルタＦｉ（１≦ｉ≦Ｎ）の周波数特性は、例えばＮ＝３とし、図１９に示すように、１オクターブおきに通過帯域のピークを備えるようにする。図１９では簡単化のため、Ｆｉでそのフィルタ特性を示している。また、Ｐ個の閾値Ｔｈｊ（１≦ｊ≦Ｐ）は例えば  Ｔｈ１＝０．０，Ｔｈ２＝−１．０，Ｔｈ２＝−２．０，…，ＴｈＰ＝（−１．０×Ｐ）と設定する。以下、本実施の形態においてはＰ＝５と設定する。
【０１１８】
続くステップＳ２４においては、ステップＳ２３において設定したパラメタを用いた二値画像Ｂｉｊの作成を行う。図１８にステップＳ２４における二値画像作成処理の詳細を示す。
【０１１９】
図１８のステップＳ３１においては、ステップＳ２２において作成したノイズ除去及び逆γ補正適用後のＲ画像を入力する。続くステップＳ３２においては、ステップＳ２３において設定したＮ個の帯域通過型フィルタＦｉを用いた帯域通過フィルタ処理（図１８中ではＢＰＦと略記）を適用する。
【０１２０】
次のステップＳ３３においては、ステップＳ３２において得られたＮ個の帯域通過フィルタ処理したＢＰＦ処理結果画像の各々に対し、ステップＳ２３において設定したＰ個の閾値Ｔｈｊを用いた二値化処理を適用し、二値画像Ｂｉｊを作成する。
【０１２１】
次のステップＳ３４に示すＮ×Ｐ個の二値画像  Ｂｉｊ  すべてを作成後、このステップＳ２４の処理が終わり、図１７のステップＳ２５に進む。
【０１２２】
ステップＳ２５においては、得られたＮ×Ｐ個の二値画像  Ｂｉｊ  の各々に対し、抽出結果一致度を以下のように算出する。
【０１２３】
はじめに、あらかじめ原画像に対し操作者（診断を行う医師）が目視により抽出対象となる構造成分を指定した参照用画像を用意する。参照用画像の作成は、例えば一般的な描画（ペイント）ソフトウェア等を使用し、構造成分（本実施の形態においては大腸のｐｉｔ  ｐａｔｔｅｒｎ）の形状を目視状態に則してトレース及び塗りつぶししたものを使用する。
【０１２４】
このとき、構造成分であることを特定するための描画色として内視鏡画像における生体粘膜上には通常発生することのない色として、例えばＲＧＢの各々に対して０，２５５，２５５（シアンとなる）を用いる。以下、作成した参照用画像をＳとする。
【０１２５】
次いで、二値画像Ｂｉｊの各々に対し、参照用画像Ｓとの抽出結果一致度を算出する。抽出一致度の算出においては、二値画像Ｂｉｊ及び参照用画像Ｓとの抽出及び非抽出画素の一致数に基づく評価関数を使用する。
【０１２６】
本実施の形態においてはすべての画素について二値画像Ｂｉｊ上で抽出され、かつ参照用画像Ｓ上においても画素値が（０，２５５，２５５）  となっている画素を正しく抽出されたものとし、全画素数に対する割合
αｉｊ＝（Ｍｉｊ−Ｌｉｊ）／（ＩＳＸ×ＩＳＹ）    （４）
を求める。ここで、Ｍｉｊは二値画像Ｂｉｊと参照用画像Ｓの抽出一致画素数、Ｌｉｊは抽出不一致画素数（一方で抽出され、他方で抽出されていない画素数）を示す。
【０１２７】
式（４）は抽出結果に対する評価関数となり、αｉｊの値が大であるほど一致度が高く適切なパラメタであるものと判断できる。すべてのＢｉｊについてαｉｊを算出後、ステップＳ２６に進む。なお、抽出及び非抽出画素数の一致についてはどちらを優先するかにより重み付けをともなう関数を使用することも考えられるが、本実施の形態においては等しく評価するものとする。
【０１２８】
ステップＳ２６においては各αｉｊを比較の上、最大のαｉｊを与えるｉ及びｊを特定し、対応する帯域通過型フィルタＦｉ及び閾値Ｔｈｊを処理パラメタとして決定する。
【０１２９】
以上において設定した処理パラメタを用い、参照用画像以外の内視鏡画像に対しても二値化処理を適用することにより、複雑な試行錯誤によるパラメタの設定をすることなく良好な抽出結果画像を得ることが可能となる。
【０１３０】
また、画像ごとに撮像状態に基づく明暗変化によるコントラストの違い、観察距離・倍率の違いによる画像中の構造成分の大きさの違い等が生じ、適切な閾値や帯域通過型フィルタの周波数特性が異なることがある。このような状況を想定する場合には、各条件に応じた代表的なシーンを複数の参照用画像として用意し、各々に応じたパラメタ設定を行い、選択的に適用することで同様に良好な抽出結果画像を得ることが可能となる。
【０１３１】
従って、本実施の形態は以下の効果を有する。
【０１３２】
本実施の形態によれば、複雑な試行錯誤によるパラメタの設定をすることなく良好な抽出結果画像を得ることが可能となる。
【０１３３】
（第４の実施の形態）
次に本発明の第４の実施の形態を図２０ないし図２２を参照して説明する。図２０ないし図２２は第４の実施の形態に係り、図２０は本実施の形態における画像処理方法の対象となる血管所見を説明するための説明図、図２１は本実施の形態における一連の処理内容の説明図、図２２は本実施の形態における特徴量を説明するための説明図である。
【０１３４】
本実施の形態においては、画像中の構造成分に対する二値化抽出処理結果画像から病変の判別等に有用となる特徴量を算出するための画像処理方法について説明する。本実施の形態における一連の画像処理は、第１の実施の形態と同様に、パーソナルコンピュータ１上で動作するプログラムとして実現される。パーソナルコンピュータ１の構成については図１と同様であるので、その説明は省略する。
【０１３５】
また、本実施の形態における特徴量算出の説明においては、すでに構造成分が抽出された二値画像に対し、処理を適用するものとする。
【０１３６】
例えば内視鏡画像中の血管所見においては、個々の血管形状の不整が診断上重要となる場合がある。一般に不整の度合いが増加するにつれて腫瘍の悪性度、病変の進行度等が高まるものとされている。このような不整所見のひとつに血管の幅の変化があげられる。
【０１３７】
図２０（Ａ）に示すように、ほぼ均一な幅をもつ正常な血管像に対して、図２０（Ｂ）に示す病変部の血管像は広狭の変化をともなう。本実施の形態においては、以下に示す一連の処理を適用することによりこのような広狭の変化を特徴量として算出する。
【０１３８】
以下、本実施の形態における一連の処理について、図２１を参照して説明する。はじめに、ステップＳ４１において血管抽出二値画像を入力する。本実施の形態においては、血管抽出二値画像を本発明の第１ないし第３の実施の形態において説明した二値化抽出処理のいずれかを用いることにより作成する。
【０１３９】
続くステップＳ４２においては、ラベリング処理の適用により個々の抽出血管像に対する番号付けを行う。本実施の形態においてはＫ個の領域Ｐｋ（１≦ｋ≦Ｋ）が存在するものとする。
【０１４０】
次のステップＳ４３において距離変換・骨格処理を適用する。距離変換・骨格処理は一般にはスケルトン呼ばれる画像解析手法の一つで、図形の幅の情報の抽出、形状特徴の抽出等に利用される。距離変換・骨格の詳細については文献「コンピュータ画像処理入門、総研出版、田村秀行監修，ｐｐ．７７−８０」に詳しいため、その説明は省略する。
【０１４１】
距離変換・骨格処理の適用により、例えば図２２に示すように、血管像の中心線及び中心線上のＭ個の画素Ｑｍ（１≦ｍ≦Ｍ）の位置に対する血管の幅に相当する距離Ｄｍを求めることができる。
【０１４２】
Ｍは血管の長さに依存し、二値化された領域が円である場合にはＭ＝１となるものである。実際には画素Ｑｍ及び距離ＤｍはラベリングされたＫ個の領域の各々について各Ｍｋ個ずつ算出されるため、各々をＱｋｍ及びＤｋｍとする。
【０１４３】
続くステップＳ４４においてはステップＳ４３において得られた中心線上の画素Ｑｍ及び距離Ｄｍに基づき、幅不整評価値Ｖを算出する。本実施の形態においてはすべてのＱｍにおける距離Ｄｍの標準偏差を評価値とし、
【数５】
2004181096.tif 000006
となる。ここで、μＤはＤｋｍの平均値を示す。Ｖの値が大であるほど広狭の変動が大きいことを示しており、正常及び病変の各症例画像群から算出した教師データを用いての識別器（例えば線形判別関数，ニューラルネットワーク等）に適用することができる。
【０１４４】
以上説明したように、本実施の形態における一連の画像処理方法の適用により、画像中の構造成分に対する二値化抽出処理結果画像から不整をともなう病変の判別等に有用となる特徴量を算出することが可能となる。
【０１４５】
なお、以上の説明においては内視鏡画像における血管像を例としたが、本実施の形態において算出する幅に関する特徴量が有用となる処理・解析対象はこれらに限定されるものではなく、大腸ｐｉｔ画像、あるいはＸ線アンギオグラフィ画像に対しても適用可能である。
【０１４６】
従って、本実施の形態は以下の効果を有する。
【０１４７】
本実施の形態によれば、画像中の構造成分に対する二値化抽出処理結果画像から不整をともなう病変の判別等に有用となる特徴量を算出することが可能となる。
【０１４８】
（第５の実施の形態）
次に本発明の第５の実施の形態を図２３を参照して説明する。本実施の形態においては、内視鏡画像中の血管像から病変の判別等に有用となる特徴量を算出するための画像処理方法について説明する。より詳しくは、ＲＧＢの３つの画像からなる内視鏡画像において、各々に対する画像処理を適用し、得られた複数の特徴量を用いることことを特徴としている。
【０１４９】
生体粘膜下を走行する血管は粘膜下に存在する深さが異なっている。すなわち、粘膜下の深い部位を走行する太い血管、中間的な部位を走行する血管及び表層に近い部位を走行する細かい血管に大きく分けることができる。一方、内視鏡画像を構成するＲＧＢ画像の各々は、照射光の波長がＲが最も長く、Ｂが最も短くなっている。
【０１５０】
生体粘膜においては波長の長い光が最も深部に到達し、短い光ほど表層に近い部位において吸収されることが知られている。一般に色素等を用いない通常の内視鏡画像に対する画像処理等はＧ画像に対し適用されるが、本実施の形態においては前述の理由からＲ画像中に存在するより深い部位の血管及びＢ画像中に存在するより浅い部位の血管に関する特徴量を算出することで、血管像による病変の分類等により有用な画像処理方法について説明する。
【０１５１】
本実施の形態における一連の画像処理は、第１の実施の形態と同様、パーソナルコンピュータ１上で動作するプログラムとして実現される。パーソナルコンピュータ１の構成については図１と同様であるので、その説明は省略する。
【０１５２】
また、本実施の形態における特徴量算出の説明においては、すでに構造成分が抽出された二値画像に対し、処理を適用するものとする。
【０１５３】
図２３のフローチャートを参照して説明する。はじめに、ステップＳ５１においてＲＧＢ各々に対する血管抽出二値画像を入力する。本実施の形態における血管抽出二値画像は本発明の第１ないし３の実施の形態において説明した二値化抽出処理のいずれかをＲ、Ｇ及びＢの各画像に対して適用することにより作成することができる。以下、ステップＳ５２ないしＳ５４における一連の処理を各画像ごとに適用する。
【０１５４】
続くステップＳ５２ないしＳ５４においては、各々本発明の第４の実施の形態において説明した図２１におけるステップＳ４２ないしＳ４４と同様の処理の適用により、ＲＧＢ各画像ごとの幅不整評価値Ｖｒ、Ｖｇ及びＶｂを算出する。
【０１５５】
ステップＳ５５において得られたＶｒ、Ｖｇ及びＶｂを画像処理対象とした内視鏡画像の血管像に対する特徴ベクトルとして処理を終了する。
【０１５６】
特徴ベクトル  （Ｖｒ、Ｖｇ，Ｖｂ）  を正常及び病変の各症例画像群から算出した教師データを用いての識別器（例えば線形判別関数、ニューラルネットワーク等）に適用することにより、存在する深さの異なる血管に関する構造成分に関する情報を得られることから、Ｖｇのみを使用する場合よりも精度の高い分類結果を得ることが可能となる。
【０１５７】
なお、本実施の形態においては算出する特徴量として第４の実施の形態に示した幅不整評価値Ｖを例に説明したが、異なる波長の光により得られた粘膜下における存在する深さの異なる血管の情報を特徴量化し、特徴ベクトルとして識別処理等に使用することが重要な点となっている。したがって、他の特徴量として例えば二値化抽出画像に対する細線化の適用により、分岐・交差点数等の他の特徴量を使用することも可能である。
【０１５８】
従って、本実施の形態は以下の効果を有する。
【０１５９】
本実施の形態によれば、生体粘膜下に存在する深さの異なる血管に関する構造成分に関する情報を得ることにより、有用な特徴量を算出することが可能となる。
【０１６０】
（第６の実施の形態）
次に本発明の第６の実施の形態を説明する。本実施の形態においては、ＲＧＢの３つの画像からなる内視鏡画像に対し、各画像に含まれる構造成分により血管の色調差が生じている場合においても良好な血管抽出結果を得ることが可能である画像処理方法について説明する。
【０１６１】
血管像の抽出においては、Ｇ画像に対する処理の適用が一般的であるが、ＲＧＢ（カラー）画像上で青く見える血管はＲ画像にその構造成分が反映されていることから良好な抽出結果が得られない場合がある。これは、本発明の第５の実施例における説明と同様に、粘膜下における血管が存在する深さの違い等によるものと考えられている。
【０１６２】
本実施の形態においては、Ｒ及びＧ画像の各々に対する抽出処理を適用し、その結果を合成することにより良好な血管抽出画像を得ることを可能とする。
【０１６３】
本実施の形態においてはＲ及びＧ画像の各々に対する帯域通過型フィルタリングによるＢＰＦ処理結果画像及び閾値処理を用いた二値化抽出処理を基本とし、ＢＰＦ処理結果画像を得るまでの一連の処理については他の実施の形態と共通するので説明は省略する。
【０１６４】
以下の説明においては、Ｒ及びＧ画像の各々のＢＰＦ処理結果画像をそれぞれＢｒ及びＢｇとする。また、Ｂｒ及びＢｇにおける各画素を、各々Ｂｒ（ｘ，ｙ）及びＢｇ（ｘ，ｙ）（１≦ｘ≦ＩＳＸ，１≦ｙ≦ＩＳＹ）とする。
【０１６５】
ＢＰＦ処理結果画像Ｂｒ及びＢｇについて、以下の合成画像Ｂｒｇを作成する。
【０１６６】
Ｂｒｇ（ｘ，ｙ）＝α×Ｂｒ（ｘ，ｙ）＋β×Ｂｇ（ｘ，ｙ）        （６）
ここで、α及びβは以下のように定める。
【０１６７】
【数７】
2004181096.tif 000007
ここで、ＴｈｒはＢｒに血管像を反映する構造成分が存在しているかどうかを判定するための閾値で、例えばＴｈｒ＝−１．０  と定める（血管構造は負の変動のため、符号が−となっている）。
【０１６８】
式（７）はＢｒ（ｘ，ｙ）において構造成分が含まれていない場合にはα＝０とすることによりＧ画像のみを、含まれている場合にはα＝β＝１．０とすることによりＲ及びＧ画像双方の構造成分を合成するための係数となる。
【０１６９】
以上、式（６）及び（７）により、合成ＢＰＦ画像Ｂｒｇは画素ごとにＲ及びＧ画像の各々に存在する構造成分を漏らすことなく抽出したものとなる。最後に、Ｂｒｇ（ｘ，ｙ）  に対し閾値処理を適用することにより二値画像を作成する。
【０１７０】
以上説明したように、本実施の形態における画像処理方法の適用により、各画像に含まれる構造成分により生じる血管の色調差が存在する場合においても良好な血管抽出結果を得ることが可能となる。
【０１７１】
なお、上述した各実施の形態を部分的に組み合わせて構成される実施の形態等も本発明に属する。
【０１７２】
［付記］
１．画像を入力するステップと、
前記画像から所望の構造成分を抽出するためのテンプレートを用意するステップと、
前記テンプレートを用いたマッチングにより構造成分を有する画像中の位置を特定するステップと、
前記マッチングの結果に基づき構造成分を抽出するステップと、
からなることを特徴とする画像処理方法。
【０１７３】
２．前記テンプレートは構造成分の画素幅及び変動の大きさに基づき決定されることを特徴とする付記１記載の画像処理方法。
【０１７４】
３．前記テンプレートを複数種用意するとともに、
前記複数のテンプレートを用いたマッチングの結果を評価するステップと、
前記評価の結果に基づき構造成分を抽出することを特徴とする付記２記載の画像処理方法。
【０１７５】
４．前記構造成分が生体粘膜観察画像における血管であるとともに
前記テンプレートが画像上の血管の幅及びコントラストに基づき決定されることを特徴とする付記１、２または３いずれか一つに記載の画像処理方法。
【０１７６】
５．前記構造成分の存在する位置及びテンプレートに基づき構造成分抽出画像を作成するステップをさらに備えたことを特徴とする付記１、２、３または４いずれか一つに記載の画像処理方法。
【０１７７】
６．前記マッチングは前記テンプレートと画像の局所的な相関演算であるとともに、
前記相関演算結果によりもっとも高い相関を有するテンプレートに対応する構造成分を抽出することを特徴とする付記５記載の画像処理方法。
【０１７８】
７．前記相関演算が正規化相互相関であることを特徴とする画像処理方法。
【０１７９】
８．前記テンプレートは大きさＮ×１、Ｎ≧３の１次元形状であるとともに、
前記マッチングを画像に対する複数の方向に対して適用することを特徴とする付記１、２、３、４、５、６または７いずれか一つに記載の画像処理方法。
【０１８０】
９．画像を入力するステップと
前記画像から第１の領域抽出処理を適用することにより１個以上の第１の領域群を抽出するステップと、
前記第１の領域群を構成する各領域ごとに第２の領域抽出処理を適用することにより第２の領域群を抽出するステップと、
からなることを特徴とする画像処理方法。
【０１８１】
１０．前記第１の領域抽出処理は抽出を所望する画像中の構造成分を冗長に含む領域群を抽出し、
前記第２の領域抽出処理は前記第１の領域群から不要な構造成分を除外した領域群を抽出することを特徴とする付記９記載の画像処理方法。
【０１８２】
１１．前記第１の領域抽出処理は、第１の通過周波数帯域特性を有する第１のフィルタリング結果に基づく第１の二値画像と第２の通過周波数帯域特性を有する第２のフィルタリングの結果に基づく第２の二値画像の論理演算に基づく領域抽出を行うことを特徴とする付記１０記載の画像処理方法。
【０１８３】
１２．前記論理演算は前記第１のフィルタリング結果に基づく第１の二値画像において抽出された領域群の各領域を、所望する構造成分を含む領域及び含まない領域に分離することを特徴とする付記１１記載の画像処理方法。
【０１８４】
１３．前記第１の通過周波数帯域特性は画像中の構造成分に基づき定められるとともに、
前記第２の通過周波数帯域特性は前記第１の通過周波数帯域特性より相対的に低い周波数帯域を通過するように定められることを特徴とする付記１２記載の画像処理方法。
【０１８５】
１４．前記論理演算は前記第１及び第２のフィルタリング結果に基づく各々の二値画像において双方において抽出された画素を前記第１の領域群として抽出することを特徴とする付記１３記載の画像処理方法。
【０１８６】
１５．前記第２の領域抽出処理は、前記第１の領域抽出結果における各抽出領域ごとに対応する前記第１のフィルタリング結果に対しての閾値処理により領域を抽出することを特徴とする付記１４記載の画像処理方法。
【０１８７】
１６．画像に対し第１及び第２の帯域通過型フィルタリングを適用するステップと、
前記第１及び第２の帯域通過型フィルタリング結果から第１及び第２の二値画像を作成するステップと、
前記第１及び第２の二値画像に対する論理演算に基づき抽出を所望する構造成分を含む第１の領域群と含まない第２の領域群とを特定するステップと、
前記第２の領域群に基づき前記第１の領域群から所望する構造成分を再抽出するステップと、
前記第１の領域群を構成する各領域ごとに二値画像を作成するステップと、
からなることを特徴とする画像処理方法。
【０１８８】
１７．画像を入力するステップと、
抽出を所望する前記画像中の構造成分を特定する情報を含む参照用画像を入力するステップと、
前記構造成分を抽出するための処理のパラメタを複数作成するステップと、
前記複数のパラメタを用いて前記画像に対する前記構造成分抽出のための処理を適用することにより複数の抽出画像を作成するステップと、
前記複数の抽出画像の各々における抽出結果と前記参照用画像における構造成分との一致度を比較するステップと、
前記比較結果に基づき一致度の高いパラメタを特定するステップと、
からなることを特徴とする画像処理パラメタ設定方法。
【０１８９】
１８．前記抽出処理は二値化処理であることを特徴とする付記１７記載の画像処理パラメタ設定方法。
【０１９０】
１９．画像を入力するステップと、
前記画像から構造成分を抽出するステップと、
前記抽出した構造成分の幅に基づく特徴量を算出するステップと、
からなることを特徴とする画像処理方法。
【０１９１】
２０．前記抽出は構造成分に対する二値画像を作成するステップを含むとともに、
前記構造成分の幅は前記二値画像に対する距離変換・骨格処理の適用結果に基づくものであることを特徴とする付記１９記載の画像処理方法。
【０１９２】
２１．前記特徴量は前記構造成分の幅の変動の大小を評価する数値であることを特徴とする付記２０記載の画像処理方法。
【０１９３】
２２．前記数値は標準偏差または分散であることを特徴とする付記２１記載の画像処理方法。
【０１９４】
２３．複数の色信号からなる画像を入力するステップと、
前記画像を構成する複数の色信号の少なくとも２つから所望する構造成分を抽出するステップと、
前記抽出した構造成分に基づく特徴量の組を算出するステップと、
からなることを特徴とする画像処理方法。
【０１９５】
２４．前記抽出は構造成分に対する二値画像を作成するステップを含むとともに、
前記特徴量算出は前記二値画像に基づく特徴量の組を算出することを特徴とする画像処理方法。
【０１９６】
２５．複数の色信号からなる画像を入力するステップと、
前記画像を構成する複数の色信号の少なくとも２つから所望する構造成分を抽出するステップと、
前記抽出した構造成分を合成するステップと、
前記合成の結果に基づく特徴量を算出するステップと、
からなることを特徴とする画像処理方法。
【０１９７】
２６．前記合成は前記構造成分の局所的な値に基づく合成を行うことを特徴とする画像処理方法。
【０１９８】
２７．前記画像は内視鏡画像であることを特徴とする付記１ないし２６いずれか一つに記載の画像処理方法または画像処理パラメタ設定方法。
【０１９９】
２８．前記構造成分が前記画像における血管または腺口であることを特徴とする付記１、２、３、５ないし２７いずれか一つに記載の画像処理方法または画像処理パラメタ設定方法。
【０２００】
【発明の効果】
以上説明したように本発明によれば、画像処理方法は内視鏡画像等の画像を入力するステップと、前記画像から所望の構造成分を抽出するためのテンプレートを用意するステップと、前記テンプレートを用いたマッチングにより構造成分を有する画像中の位置を特定するステップと、前記マッチングの結果に基づき構造成分を抽出するステップと、
を備えているので、血管像、ｐｉｔ  ｐａｔｔｅｒｎ等の抽出対象となる構造部分を良好に抽出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像処理方法を実行するためのパーソナルコンピュータの構成を示すブロック図。
【図２】本実施の形態における画像処理方法の処理内容を説明するためのフローチャート図。
【図３】血管像を説明するための説明図。
【図４】本実施の形態における血管モデルを説明するための説明図。
【図５】テンプレートの作成例を説明するための説明図。
【図６】テンプレート・マッチングにおける１次元方向の組合わせ例を説明するための説明図。
【図７】テンプレート・マッチングによる血管位置の判定を説明するための血管像の説明図。
【図８】テンプレート・マッチングによる血管位置の判定を説明するための説明図。
【図９】本発明の第２の実施の形態における一連の処理を説明するためのフローチャート図。
【図１０】帯域通過型フィルタの周波数特性を説明するための説明図。
【図１１】本実施の形態における原画像例を示す図。
【図１２】処理経過の途中の第１の画像例を示す図。
【図１３】処理経過の途中の第２の画像例を示す図。
【図１４】処理経過の途中の第３の画像例を示す図。
【図１５】処理経過の途中の第４の画像例を示す図。
【図１６】処理結果画像例を示す図。
【図１７】本発明の第３の実施の形態における一連の処理の流れを説明するためのフローチャート図。
【図１８】図１７におけるステップＳ２４の二値画像生成の処理内容を示すフローチャート図。
【図１９】帯域通過型フィルタの特性例の説明図。
【図２０】本発明の第４の実施の形態における画像処理方法の対象となる血管所見の説明図。
【図２１】本発明の第４の実施の形態における一連の処理内容を示すフローチャート図。
【図２２】特徴量を説明するための説明図。
【図２３】本発明の第５の実施の形態における処理内容を示すフローチャート図。
【符号の説明】
１…パーソナルコンピュータ
２…演算手段
３…メインメモリ
４…プログラム記憶手段
５…表示手段
６…入力手段
７…外部記憶手段
８…ネットワークアダプタ
９…外部ネットワーク
１１…内視鏡装置
１２…画像ファイリング装置
【図１】
2004181096.tif 000008
【図２】
2004181096.tif 000009
【図３】
2004181096.tif 000010
【図４】
2004181096.tif 000011
【図５】
2004181096.tif 000012
【図６】
2004181096.tif 000013
【図７】
2004181096.tif 000014
【図８】
2004181096.tif 000015
【図９】
2004181096.tif 000016
【図１０】
2004181096.tif 000017
【図１１】
2004181096.tif 000018
【図１２】
2004181096.tif 000019
【図１３】
2004181096.tif 000020
【図１４】
2004181096.tif 000021
【図１５】
2004181096.tif 000022
【図１６】
2004181096.tif 000023
【図１７】
2004181096.tif 000024
【図１８】
2004181096.tif 000025
【図１９】
2004181096.tif 000026
【図２０】
2004181096.tif 000027
【図２１】
2004181096.tif 000028
【図２２】
2004181096.tif 000029
【図２３】
2004181096.tif 000030