(57)【要約】【課題】個々のpit等の粘膜微細構造成分の相互関係を考慮した配置に基づく配列特徴量を用いた、定量的な配列評価を可能とする、画像処理装置、画像処理方法、及び画像処理プログラムを提供する。【解決手段】被写体を撮像した画像信号に基づき、粘膜微細構造を抽出する微細構造抽出手段と、粘膜微細構造に基づき、粘膜微細構造の各要素における領域特徴量を算出する特徴量算出手段と、領域特徴量に基づき粘膜微細構造の配列を評価する配列評価手段とを備えている。【選択図】図３
2006141734.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像した画像信号に基づき、粘膜微細構造を抽出する微細構造抽出手段と、
前記粘膜微細構造に基づき、前記粘膜微細構造の各要素における領域特徴量を算出する特徴量算出手段と、
前記領域特徴量に基づき、前記粘膜微細構造の配列を評価する配列評価手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記微細構造抽出手段が、前記粘膜微細構造の構成要素を識別する構成要素識別手段と、前記構成要素毎に一つ以上の構造情報を抽出する構造情報抽出手段とを含むことを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記特徴量算出手段が、前記微粘膜構造の各構成要素についての前記構造情報に基づき前記微細粘膜構造の各要素に領域を割り当てる領域分割手段と、前記領域毎に一つ以上の領域特徴量を算出する領域特徴量算出手段とを含むことを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記配列評価手段が、前記領域特徴量に基づき配列特徴量を算出する配列特徴量算出手段と、前記配列特徴量に基づき前記粘膜微細構造の配列規則性を判定する配列規則性判定手段とを含むことを特徴とする、請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
被写体を撮像した画像信号に基づき、粘膜微細構造を抽出する微細構造抽出工程と、
前記粘膜微細構造に基づき、前記粘膜微細構造の各要素における領域特徴量を算出する特徴量算出工程と、
前記領域特徴量に基づき、前記粘膜微細構造の配列を評価する配列評価工程と、
を備えたことを特徴とする画像処理方法。
【請求項６】
コンピュータに、
被写体を撮像した画像信号に基づき、粘膜微細構造を抽出する微細構造抽出手順と、
前記粘膜微細構造に基づき、前記粘膜微細構造の各要素における領域特徴量を算出する特徴量算出手順と、
前記領域特徴量に基づき、前記粘膜微細構造の配列を評価する配列評価手順と、
を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡装置などによる医用画像を基に、粘膜微細構造の配列を定量的に評価する、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、細長な挿入部を体腔内に挿入し、挿入部の先端部に設けられた固体撮像素子等を撮像手段に用いて体腔内臓器等をモニタ画面により観察し、検査あるいは診断することのできる内視鏡装置が広く用いられている。また、体腔内臓器等ヘ超音波を照射し、この超音波の反射あるいは透過度等により体腔内臓器等の状況をモニタ画面より観察し、検査あるいは診断することのできる超音波内視鏡装置も、広く用いられている。
【０００３】
これらの内視鏡装置を用いた最終的な診断は、医師の主観に依存している部分が多大であり、客観的・数値的な診断に直接結びつく内視鏡診断支援装置の実現が望まれていた。
【０００４】
内視鏡診断支援装置は、画像内における関心領域（ＲＯＩ）から算出された様々な特徴量を用い、閾値処理あるいは統計的・非統計的識別器を用いて診断対象とする画像がそのような所見に分類されるのかを医師に提示することにより、客観的・数値的な診断の支援を行うものである。
【０００５】
特徴量は、内視鏡画像上の様々な所見を反映した数値であり、画像処理手法を適用して得られるものである。内視鏡画像を用いた診断においては、透見血管像に見られる血管の拡張・蛇行や、胃小区の形態の大小・不整合・胃小区間の溝幅等、内視鏡画像における粘膜表面構造に関する所見が種々の疾患に対する診断の重要な要素となっており、これらに対しても画像処理手法を適用することで、特徴量として数値化することができる（例えば、特許文献１参照）。
【０００６】
近年においては、公知のＧａｂｏｒフィルタを用いて算出されるＧａｂｏｒ特徴に対し、内視鏡画像へ適用するための改良を加えた空間周波数解析により、粘膜表面構造の細かさや、粘膜表面構造が呈する模様の方向性などを、特徴量として数値化する内視鏡画像処理手法がある。この内視鏡画像処理手法を適用した特徴量算出方法として、病変の粘膜表面構造が複数の異なる所見を呈する場合、あるいは病変中に他の異なる腫瘍などが混在する場合においても、各所見を示す部位ごとに関心領域を設定すると共に、どのような所見、あるいは所見に関連して診断される腫瘍などが存在しているか、更には、それらがどのような割合で混在しているか、などを知ることができる方法が提案されている（例えば、特許文献２参照）。
【０００７】
一方、最近の内視鏡装置においては、高画質化、固体撮像素子（ＣＣＤ等）の高画素化、さらには通常の内視鏡と同等の外径と操作性を保ちつつ拡大観察（ズーミング）機能を有する拡大内視鏡の登場と普及によって、粘膜表面の極めて微細な毛細血管や胃・大腸の腺口形態（pit pattern）の観察が可能となってきており、μｍレベルの極めて微細な構造に対する所見が得られ、病変種別やがんの進達度診断などに応用されてきている。具体的には、大腸のpit patternの観察（例えば、非特許文献１、及び、非特許文献２参照）や、食道の粘膜内微細血管所見であるＩＰＣＬ（例えば、非特許文献３参照）が知られている。
【特許文献１】特許第２９１８１６２号公報（図６）
【特許文献２】特開２００２−１６５７５７号公報（図３）
【非特許文献１】工藤進英、「陥凹型早期大腸癌」、Monthly  Book  Gastro、全日本病院出版会、１９９３年５月１５日、第３巻、第５号、ｐ．４７−ｐ．５４
【非特許文献２】工藤進英、他２名、「拡大電子スコープによる大腸疾患の診断」、胃と腸、医学書院、１９９４年２月２６日、第２９巻、第３号、ｐ．１６３−ｐ．１６５
【非特許文献３】井上晴洋、他５名、「食道疾患の拡大内視鏡診断」、消化器内視鏡、東京医学社、２００１年３月２５日、第１３巻、第３号、ｐ．３０１−ｐ．３０８
【発明の開示】
【発明が解決しようとする課題】
【０００８】
大腸pit patternを用いた診断においては、pitの配列が重要な所見の一つとしてあげられる。例えば、正常な粘膜は、規則的Ｉ型、炎症や過形成性病変は規則的ＩＩ型のpit配列を示すのに対し、腫瘍はＩＩＩＳ型、ＩＩＩＬ型、ＩＶ型、Ｖ型のpit配列を示す。特に、規則的なＩＩＩＬ型を示すものは良性の腫瘍であり、不規則的なＶ型を示すものは癌であることが多い。
【０００９】
しかし、特許文献１においては、個々のpitの配置に基づく配列の規則性を評価する方法が示されていない。また、特許文献２においては、内視鏡画像処理手法として周波数解析による統計的処理を用いており、規則性以外の要素も反映した特徴量が算出されるため、pitの配列が直感的にわかりにくいという問題があった。
【００１０】
そこで、本発明においては、個々のpit等の粘膜微細構造成分の相互関係を考慮した配置に基づく配列特徴量を用いた、定量的な配列評価を可能とする、画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置は、被写体を撮像した画像信号に基づき、粘膜微細構造を抽出する微細構造抽出手段と、粘膜微細構造に基づき、粘膜微細構造の各要素における領域特徴量を算出する特徴量算出手段と、領域特徴量に基づき粘膜微細構造の配列を評価する配列評価手段とを備えている。
【発明の効果】
【００１２】
個々のpit等の粘膜微細構造成分の相互関係を考慮した配置に基づく配列特徴量を用いた、定量的な配列評価を可能とする、画像処理装置、画像処理方法、及び画像処理プログラムを実現することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施の形態を説明する。
【００１４】
（第１の実施の形態）
まず、図１に基づき、本発明の第１の実施の形態に係わる画像処理装置１の関連システムとのネットワーク構成について説明する。図１は、本発明の第１の実施の形態に係わる画像処理装置１と関連システムとのネットワーク構成を概略的に示した図である。図１に示すように、本実施の形態の画像処理装置１は、ＴＣＰ／ＩＰを通信プロトコルとするＬＡＮ２に接続されている。一方、生体内を撮像して画像信号を出力する内視鏡観察装置３も、内視鏡ファイリング装置４を介してＬＡＮ２に接続されている。内視鏡ファイリング装置４は、内視鏡観察装置３から画像信号を受信して画像データを生成するとともに、生成された画像データを蓄積する。すなわち、画像処理装置１は、内視鏡バッファリング装置４に蓄積されている画像データを、ＬＡＮ２経由で取得する。
【００１５】
次に、画像処理装置１の全体構成について説明する。画像処理装置１は、図２に示すように、汎用のパーソナルコンピュータ１１を中心に構成されており、キーボードとマウスとからなる操作装置１２と、ハードディスクからなる記憶装置１３と、ＣＲＴ等からなる表示装置１４とを備えている。図２は、画像処理装置１の全体構成を概略的に示した図である。操作装置１２、記憶装置１３、及び表示装置１４は、それぞれパーソナルコンピュータ１１と電気的に接続されている。
【００１６】
パーソナルコンピュータ１１は、各種プログラムの実行処理や制御を行うＣＰＵ２１と、各種処理プログラムやデータを記憶するメモリ２２と、記憶装置１３との間で情報の読み書きを行う外部記憶インターフェース（以下、Ｉ／Ｆと略す）２３と、外部機器との間で情報の通信を行うネットワークカード２４と、操作装置１２から入力された操作信号を受信して必要なデータ処理を行う操作Ｉ／Ｆ２５と、表示装置１４へビデオ信号を出力するグラフィックボード２６とを有しており、それぞれバス２７と電気的に接続されている。従って、パーソナルコンピュータ１１の各部は、バス２７を介して相互に情報の送受信を行うことができる。
【００１７】
ネットワークカード２４は、ＬＡＮ２と電気的に接続されており、同じくＬＡＮ２に接続されている内視鏡ファイリング装置４との間で情報を送受信する。
【００１８】
外部記憶Ｉ／Ｆ２３は、記憶装置１３に格納されている画像処理プログラム２８を読み込んでメモリ２２に記憶させる。尚、画像処理プログラム２８は、画像解析処理を実行するプログラムであって、複数の実行ファイル、又は動的リンクライブラリファイル、又は設定ファイルから構成される。メモリ２２に記憶された画像処理プログラム２８が実行されることで、ＣＰＵ２１が動作する。ＣＰＵ２１は、内視鏡ファイリング装置４から取得した画像データに対し、画像解析処理を行う。ＣＰＵ２１における各処理によって取得、生成される解析データ２９は、メモリ２２に記憶される。この解析データ２９には、内視鏡ファイリング装置４から取得した画像データである原画像３１が含まれる。更に、解析データ２９には、二値化画像３２と、pit重心画像３３と、ボロノイ画像３４と、領域特徴量３５と、配列規則性特徴量３６とが含まれる。これらの各画像３２〜３４、及び特徴量３５、３６については、後に詳述する。
【００１９】
上述のように構成された、画像処理装置１の作用について説明する。本実施の形態においては、粘膜微細構造の配列を評価、例えば類円形・短桿状の大腸pit等の配列規則性を評価する場合について説明する。
【００２０】
まず、画像処理装置１は、内視鏡観察装置３で撮像された、大腸pit patternの原画像３１を、画像ファイリング装置４を介して取得する。原画像３１は、各画素が８ビットのＲＧＢで構成されているカラー画像である。一般的に、内視鏡観察装置３を用いて大腸pit patternを観察する際には、粘膜表面構造を明瞭に観察するために、インジゴカルミン、ピオクタニン等の色素や染色剤と呼ばれる薬剤が用いられる。これらの薬剤が最も吸収するのはＲ画像の波長帯域であるため、原画像３１のＲ画像に対して以降の画像解析処理を行うものとする。原画像３１を取得すると、画像処理装置１の画像処理プログラム２８が実行されて、図３のフローチャートに従って画像解析処理が実行される。
【００２１】
図３は、画像処理プログラム２８による画像解析処理の手順を説明するフローチャートである。図３のフローチャートには、処理ステップに加えて、各処理ステップにおいて入出力される解析データ２９も示している。まず、ステップＳ１において、原画像３１に対して、二値化処理を施し、pit部分にあたる画素の画素値を１、それ以外の画素の画素値を０とした、二値化画像３２を生成する。本実施の形態における二値化処理とは、原画像３１における各画素の画素値について、画素値が予め設定された閾値以上であればその画素値を１とし、閾値よりも小さい値であればその画素値を０とする処理である。尚、二値化処理の前処理として、原画像３１に対して逆ガンマ補正、シェーディング補正などを追加してもよい。また、原画像３１として、公知のバンドパスフィルタ（ＢＰＦ）によって、所望の波長帯域の信号のみを透過させて作成したフィルタリング画像を用い、該フィルタリング画像に対して二値化処理を行ってもよい。
【００２２】
次に、ステップS２において、ステップS１で生成された二値化画像３２にラベリング処理を施し、ラベリング画像３７を生成する。本実施の形態におけるラベリング処理は次のように行われる。まず、二値化画像３２を左上から右下へ順次走査し、ラベル付けされておらず、かつ画素値が１である画素を見つけ、任意の記号をラベルとして付与する。この時、他の画素に対して既に付与されているラベルは使用せず、未付与のラベルを当該画素に付与する。次に、ラベルを付与した画素と連結されており、かつ画素値が１である全ての画素に対して、同じラベルを付与する。画素値が１である全ての画素に対してラベルが付与されるまで、上記の走査とラベル付与を繰り返す。つまり、ラベリング処理によって、同一の連結部分に属している画素には同一のラベルが付与され、かつ、連結部分ごとに異なったラベルが付与される。尚、ステップＳ１及びステップＳ２の処理は、微細構造抽出手段に相当している。
【００２３】
次に、ステップS３において、ステップS２で生成されたラベリング画像３７に対してpit重心算出処理を施し、pit重心画像３３を生成する。本実施の形態におけるpit重心算出処理は、次のように行われる。まず、同一ラベルを付与された画素の位置座標の平均値を算出して、重心を求める。次に、重心にあたる画素の画素値を、当該画素に付与されているラベルとし、それ以外の画素の画素値を０として、pit重心画像３３を得る。すなわち、pit重心画像３３は、原画像３１に含まれている、個々のpitの重心を示す画像である。
【００２４】
次に、ステップS４において、ステップS３で生成された、pit重心画像３３をボロノイ分割してボロノイ図を作成し、ボロノイ画像３４を生成する。ボロノイ図とは、ある平面を、平面上に配置された、母点と呼ばれる点の縄張りに分割する公知手法である、ボロノイ分割によって作成される図である。ボロノイ分割とは、複数の母点について、隣接する二つの母点の間に垂直二等分線を引き、各母点の周りをそのような線で囲んで多角形を形成することで、平面を多角形で分割する手法であり、高木隆司、「形の数理」、朝倉書店、１９９２年２月２５日、ｐ．４３−ｐ．４７に詳しく示されている。尚、母点の周りに形成された多角形の各辺は、ボロノイ線と呼ばれる。また、ボロノイ分割によって分割された領域は、最近傍点の勢力範囲と呼ばれる。本実施の形態におけるボロノイ分割を、図４を用いて説明する。
【００２５】
図４は、ボロノイ画像３４及びボロノイ画像３４から算出される各種領域特徴量３５を説明する図であり、図４（ａ）は、pit重心画像３３の概略図、図４（ｂ）は、図４（a）をボロノイ分割したボロノイ図、図４（ｃ）は、各pitの勢力範囲を説明する概略図、図４（ｄ）は、各pitの勢力範囲周囲長を説明する概略図、図４（ｅ）は、各pitにおける隣接pitの重心間距離を説明する概略図である。図４（ａ）に示すように、ボロノイ画像３４の基となるpit重心画像３３には、５つのpitが存在しており、それぞれのpitの重心が、母点Ａ４１、母点Ｂ４２、母点Ｃ４３、母点Ｄ４４、母点Ｅ４５として示されている。
【００２６】
まず、pit重心画像３３の全ての画素について、最も近い母点が同じである画素が同じ領域に含まれるように、pit重心画像３３を５つの領域に分割し、各領域の境界線上に位置する画素の画素値を１とし、それ以外の画素の画素値を０とする。以上の処理によって、図４（ｂ）に示すようなボロノイ図を得る。本実施の形態においては、ボロノイ画像３４はpit patternの各要素の勢力範囲を表している。すなわち、図４（ｃ）に示すように、pit patternの各要素である５つのpitの勢力範囲は、母点Ａ４１を重心とするpitの勢力範囲が領域４６、母点Ｂ４２を重心とするpitの勢力範囲が領域４７、母点Ｃ４３を重心とするpitの勢力範囲が領域４８、母点Ｄ４４を重心とするpitの勢力範囲が領域４９、母点Ｅ４５を重心とするpitの勢力範囲が領域５０、として表される。
【００２７】
次に、ステップＳ５において、ステップS３で生成されたpit重心画像３３と、ステップＳ４で生成されたボロノイ画像３４を用いて、領域特徴量３５を算出する。本実施の形態においては、領域特徴量３５として、勢力範囲面積と、勢力範囲周囲長と、隣接pitの重心間距離と、隣接領域数とを算出する。これらの領域特徴量３５は、次のようにして算出される。
【００２８】
勢力範囲面積とは、勢力範囲の画素数であって、pit毎に算出される。勢力範囲面積は、ボロノイ画像３４において、pit毎に、勢力範囲に属する画素数をカウントして算出する。勢力範囲周囲長とは、勢力範囲を取り囲むボロノイ線長の総和であって、pit毎に算出される。例えば、母点Ａ４１を重心とするpitの勢力範囲長Ａｌは、図４（ｄ）に示すように、領域４６を取り囲むボロノイ線の長さの総和として算出され、具体的には、領域４６と領域４７との境界であるボロノイ線の長さ（＝ａ１）と、領域４６と領域４８との境界であるボロノイ線の長さ（＝ａ２）と、領域４６と領域４９との境界であるボロノイ線の長さ（＝ａ３）と、領域４６と領域５０との境界であるボロノイ線の長さ（＝ａ４）との和となる。
【００２９】
隣接pitの重心間距離とは、勢力範囲を接する二つのpitの重心間の距離である。例えば、母点Ａ４１を重心として領域４６を勢力範囲とするpitは、図４（ｅ）に示すように、母点Ｂ４２を重心として領域４７を勢力範囲とするpit、母点Ｃ４３を重心として領域４８を勢力範囲とするpit、母点Ｄ４４を重心として領域４９を勢力範囲とするpit、母点Ｅ４５を重心として領域５０を勢力範囲とするpit、の４つのpitと隣接している。従って、母点Ａ４１を重心とするpitの隣接pitの重心間距離は、母点Ａ４１と母点Ｂ４２との距離（＝ｄ１）と、母点Ａ４１と母点Ｃ４３との距離（＝ｄ２）と、母点Ａ４１と母点Ｄ４４との距離（＝ｄ３）と、母点Ａ４１と母点Ｅ４５との距離（＝ｄ４）との４つの値となる。
【００３０】
隣接領域数とは、任意の勢力範囲おいて、その周囲を取り囲むボロノイ線を境界として隣接している勢力範囲の数であって、pit毎に算出される。例えば、図４（ｅ）に示すように、母点Ａ４１を重心として領域４６を勢力範囲とするpitは、母点Ｂ４２を重心として領域４７を勢力範囲とするpit、母点Ｃ４３を重心として領域４８を勢力範囲とするpit、母点Ｄ４４を重心として領域４９を勢力範囲とするpit、母点Ｅ４５を重心として領域５０を勢力範囲とするpit、の４つのpitと隣接しているため、その隣接領域数は４となる。
【００３１】
尚、これらの領域特徴量３５を算出する際には、ステップS３で生成されたpit重心画像３３から各pitの重心を取得し、ステップＳ４で生成されたボロノイ画像３４から各pitの勢力範囲を取得する。尚、ステップＳ３からステップＳ５の処理は、特徴量算出手段に相当している。
【００３２】
次に、ステップＳ６において、ステップＳ５で算出された領域特徴量３５を用いて、配列特徴量としての配列規則性特徴量３６を算出する。本実施の形態においては、配列規則性特徴量３６として、勢力範囲面積と、勢力範囲周囲長と、隣接pitの重心間距離と、隣接領域数のそれぞれの領域特徴量３５における、変動係数と、歪度と、尖度とを算出する。
【００３３】
変動係数ＣＶとは、特徴領域量３５のばらつき度合いを評価する尺度であって、ばらつきが大きいほど大きな値をとる。すなわち、pitの配列が規則的であるほど小さな値をとり、不規則であるほど大きな値をとる。変動係数ＣＶは式（１）にて算出される。
【００３４】
［式１］
2006141734.tif 000003
式（１）において、ｘ（エックスバー）はｎ個の領域特徴量３５の平均値、ｓは標準偏差である。標準偏差ｓは式（２）にて算出される。
【００３５】
［式２］
2006141734.tif 000004
歪度β１とは、領域特徴量３５の分布の非対称性を測る尺度であって、図５（ａ）に示すように、分布が右側に偏るときにはβ１＜０、分布が左右対称のときにはβ１＝０、分布が左側に偏るときにはβ１＞０の値をとる。すなわち、pitの配列が規則的であるほど０に近い値をとる。図５（ａ）は、領域特徴量３５の分布と歪度との関係を説明する図である。歪度β１は、式（３）にて算出される。
【００３６】
［式３］
2006141734.tif 000005
式（３）において、ｎは領域特徴量３５の個数、ｘiは領域特徴量３５、ｘ（エックスバー）はｎ個の領域特徴量３５の平均値、ｓは標準偏差である。標準偏差ｓは、変動係数ＣＶと同様に式（２）にて算出される。
【００３７】
尖度β２とは、領域特徴量３５の分布のすその長さ（厚さ）を測る尺度であって、図５（ｂ）に示すように、分布が正規分布よりも広くてすその長さが長いときにはβ２＞３、分布が正規分布のときにはβ２＝３、分布が正規分布よりも狭くてすその長さが短いときにはβ２＜３の値をとる。すなわち、pitの配列が規則的であるほど０に近い値をとる。図５（ｂ）は、領域特徴量３５の分布と尖度との関係を説明する図である。尖度β２は、（数４）にて算出される。
【００３８】
［式４］
2006141734.tif 000006
式（４）において、ｎは領域特徴量３５の個数、ｘiは領域特徴量３５、ｘ（エックスバー）はｎ個の領域特徴量３５の平均値、ｓは標準偏差である。標準偏差ｓは、変動係数ＣＶと同様に式（２）にて算出される。
【００３９】
次に、ステップＳ７において、ステップＳ６で算出された配列規則性特徴量３６を用いて、配列を判定、具体的には配列規則性を評価する。配列規則性評価は、図６のフローチャートに従って行われる。ステップＳ７は、配列判定手段としての配列規則性判定手段を構成する。
【００４０】
図６は、配列規則性評価の手順を説明するフローチャートである。まず、ステップＳ１１において、配列規則性評価に用いる１個以上の配列規則性特徴量３６を選択する。続いて、ステップＳ１２において、ステップＳ１１で選択された配列規則性特徴量３６の個数を確認する。選択された配列規則性特徴量３６の個数が１個の場合、続いてステップＳ１３へ進み、ステップＳ１１で選択された配列規則性特徴量３６と、予め設定された閾値Ｔｈとを比較する。閾値Ｔｈは、配列規則性特徴量３６毎に設定されており、pitの配列が規則的であるか否かの判定条件である。例えば、ステップＳ１１で勢力範囲面積分布の変動係数が選択され、対応する閾値Ｔｈが０．３と設定されているとする。
【００４１】
図７（ａ）（ｂ）に示すように、図３のステップＳ６で算出された勢力範囲面積分布の変動係数が０．３未満の場合、ステップＳ１４へ進み、図７（ｄ）（ｅ）に示すように、pit配列は規則的であると判定されて、配列規則性評価を終了する。一方、図７（ｃ）に示すように、図３のステップＳ６で算出された勢力範囲面積分布の変動係数が０．３以上の場合、ステップＳ１５へ進み、図７（ｆ）に示すように、pit配列は不規則的であると判定されて、配列規則性評価を終了する。
【００４２】
図７は、勢力範囲面積分布の変動係数の異なるpit patternに対する配列規則性評価を説明する図であって、図７（ａ）と、図７（ｂ）とは、勢力範囲面積分布の変動係数が０．３未満のボロノイ画像３４、図７（ｄ）は、図７（ａ）に示したボロノイ画像３４pit patternを説明する概略図、図７（ｅ）は、図７（ｂ）に示したボロノイ画像３４のpit patternを説明する概略図、図７（ｃ）は、勢力範囲面積分布の変動係数が０．３以上のボロノイ画像３４、図７（ｆ）は、図７（ｃ）に示したボロノイ画像３４のpit patternを説明する概略図である。
【００４３】
ステップＳ１２において、ステップＳ１１で選択された配列規則性特徴量３６の個数が２個以上である場合、続いてステップＳ１６へ進む。ステップＳ１６において、ステップＳ１１で選択された複数の配列規則性特徴量３６に対して識別器を適用する。識別器は、判別分析を用いて、識別器を適応するデータを、予め定義されたクラスと呼ばれるグループの何れかに分類するものである。既に特定のクラスに分類されているデータの特徴量を用いて、特徴量を説明変数としてクラスに分類するための特徴量ベクトルが算出されており、この特徴量ベクトルにクラスが未知のデータの特徴量を適用することで、当該データを何れかのクラスに分類する。また、当該データが、各クラスに対してどの程度類似しているかを示す指標（クラスからの距離と呼ばれる）を算出することも可能である。クラスは、何らかの属性が類似しているデータの集合であれば、自由に定義することができる。本実施の形態においては、配列規則性を属性とし、大腸粘膜におけるpit patternの整群と不整群とをクラスとして定義している。また、配列規則性特徴量３６を説明変数として用いている。
【００４４】
識別器は、識別の方法から、Fisherの線形判別関数に代表される統計的識別器と、ニューラルネットワークに代表される非統計的識別器とに大別される。分類対象となるデータの特徴量の分布の型（例えば、多変量正規分布）や、識別器自体の性能等に応じて、適宜選択して使用する。本実施の形態においては、識別器として、Fisherの線形判別関数を用いており、規則的配列クラスの判別関数ｇ１と、不規則的配列クラスの判別関数ｇ２とが識別器として定義されている。従って、ステップS１６では、ステップＳ１１で選択された複数の配列規則性特徴量３６に対して、判別関数ｇ１及び、判別関数ｇ２を適用する。
【００４５】
引き続き、ステップS１７において、ステップS１６での識別器の適用結果を確認する。判別関数ｇ１の適用結果が、判別関数ｇ２の適用結果よりも大きいとき、ステップＳ１４へ進み、pit配列は規則的であると判定されて、配列規則性評価を終了する。一方、判別関数ｇ１の適用結果が、判別関数ｇ２の適用結果以下のとき、ステップＳ１５へ進み、pit配列は不規則的であると判定されて、配列規則性評価を終了する。図６のフローチャートに示した配列規則性評価を終了すると、図３のフローチャートに示した画像解析処理が全て終了する。尚、ステップＳ６及びステップＳ７の処理は、配列評価手段としての配列規則性評価手段に相当している。
【００４６】
以上の処理によって、画像処理装置１は、内視鏡観察装置３で撮像された原画像３１を、画像ファイリング装置４を介して取得し、原画像３１における大腸pit patternの配列規則性を評価することができる。
【００４７】
このように、本実施の形態の画像処理装置１では、隣接pitとの関係を考慮してpitの配列規則性特徴量を定量的に算出することができ、粘膜表面微細構造の配列規則性特徴量を基にした配列規則性評価が可能になる。
【００４８】
尚、本実施の形態においては、大腸粘膜におけるpitの配列規則性の評価について説明したが、例えば食道の微細血管（ＩＰＣＬ）や、胃の粘膜におけるpitについても同様に配列規則性を評価することができる。
【００４９】
（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。画像処理装置１の全体構成は、画像処理プログラム２８の処理内容が異なる点と、画像処理プログラム２８を実行することによって取得、生成され、メモリ２２に記憶される解析データとして、pit重心画像３３に換わってpit芯線画像５３が含まれる点を除き、第１の実施の形態と同一であるため、ここでは、特徴となる作用についてのみ説明し、同じ構成要素については同じ符号を付して説明は省略する。
【００５０】
本実施の形態においては、粘膜微細構造の配列の評価、例えば桿状の大腸pit等の配列規則性を評価する場合について説明する。まず、画像処理装置１は、第１の実施の形態と同様に、内視鏡観察装置３で撮像された、大腸pit patternの原画像３１を、画像ファイリング装置４を介して取得する。原画像３１を取得すると、画像処理装置１の画像処理プログラム２８が実行されて、図８のフローチャートに従って画像解析処理が実行される。
【００５１】
図８は、画像処理プログラム２８による画像解析処理の手順を説明するフローチャートである。図８のフローチャートには、処理ステップに加えて、各処理ステップにおいて入出力される解析データも示している。まず、ステップS２１において、原画像３１に対して二値化処理を施し、二値化画像３２を生成する。次に、ステップS２２において、ステップS２１で生成された二値化画像３２に対してラベリング処理を施し、ラベリング画像３７を生成する。ステップS２１における二値化処理と、ステップS２２におけるラベリング処理とは、それぞれ図３を用いて説明した、第１の実施の形態における画像解析処理の、ステップS１の二値化処理、及び、ステップS２のラベリング処理と同一の処理であるので、具体的な処理に関する説明を省略する。
【００５２】
次に、ステップS２３において、ステップS２２で生成されたラベリング画像３７に対してpit芯線を算出するための細線化処理を施し、pit patternの幅が１画素である細線画像に変換して、細線化画像、すなわち、pit芯線画像５３を生成する。pit芯線画像５３は、pit patternの芯線を表す画像であって、芯線にあたる画素の画素値は、当該画素に付与されているラベルとされ、それ以外の画素の画素値は０とされている。ここで、細線化処理とは、公知の処理であって、本実施の形態においては次のように行われる。ラベリング画像３７において、同一ラベルが付与された画素の集まりが成す領域のそれぞれについて、その領域における画素の連結性が保持される限り、その領域の輪郭画素、すなわち、画素値が０である画素と隣接している画素の画素値を次々と０にしていく。つまり、同一ラベルが付与された画素の集まりが成す領域を、外側から順番に、一画素層ずつ画素値を０にしていき、領域の線幅が１になるまで領域の線幅を減少させる。上記処理によって、線幅１のpit芯線画像５３を生成する。
【００５３】
次に、ステップS２４において、ステップS２３で生成されたpit芯線画像５３をボロノイ分割してボロノイ図を生成する。本実施の形態におけるボロノイ分割は、次のように行われる。図９は、ボロノイ分割を説明する図であり、図９（ａ）は、pitの重心を母点として生成したボロノイ画像の概略図、図９（ｂ）及び図９（ｃ）は、pit芯線画像５３からボロノイ画像５４を作成する途中過程を説明する概略図、図９（ｄ）は、ボロノイ画像５４の概略図である。
【００５４】
まず、pit芯線画像５３において、画素値としてラベルが付与されている画素を母点とし、全ての画素について、最も近い母点を算出する。次に、最も近い母点が同じである画素が同じ領域に含まれるように、pit芯線画像５３を母点の数と同じ数の領域にボロノイ分割する。本実施の形態においては、pit芯線画像５３を左上から右下へ順次走査しながら、画素値としてラベルが付与されている画素を、三画素おきに抽出して母点とし、この母点に関して上記のボロノイ分割して、図９（ｂ）に示すようなボロノイ図を得る。
【００５５】
次に、ステップＳ２５において、ステップＳ２４で生成されたボロノイ図に対して、同一ラベル間境界線消去処理を施して、ボロノイ画像５４を生成する。同一ラベル間境界線消去処理とは、図９（ｃ）に示すように、ステップＳ２４で生成されたボロノイ図において、画素値が同じ母点の領域を隔てる境界線に位置する画素値を０とする処理である。この処理によって、図９（ｄ）に示すような、pit patternの各要素の勢力範囲を表すボロノイ画像５４が生成される。桿状の大腸pitの場合、第１の実施の形態で説明したように、pitの重心を母点としてボロノイ分割した場合、図９（ａ）に示すように、pitの勢力範囲にpit全体を含むことができない場合がある。しかし、本実施の形態においては、pitの芯線を母点としてボロノイ分割を行うことで、pitの形状に拠らず、常にpitの勢力範囲にpit全体が含まれる、図９（ｄ）に示すようなボロノイ画像５４を得ることができる。
【００５６】
次に、ステップＳ２６において、ステップＳ２５で生成されたボロノイ画像５４を用いて、領域特徴量３５を算出する。ステップS２６における領域特徴量算出処理は、図３を用いて説明した、第１の実施の形態における画像解析処理の、ステップS５における領域特徴量算出処理と同一の処理であるので、具体的な処理に関する説明を省略する。
【００５７】
次に、ステップＳ２７において、ステップＳ２６において算出された領域特徴量３５を用いて、配列規則性特徴量３６を算出する。ステップS２７における配列規則性特徴量算出処理は、図３を用いて説明した、第１の実施の形態における画像解析処理の、ステップS６における配列規則性特徴量算出処理と同一の処理であるので、具体的な処理に関する説明を省略する。
【００５８】
次に、ステップＳ２８において、ステップＳ２７で算出された配列規則性特徴量３６を用いて、配列規則性を評価する。配列規則性評価は、第１の実施の形態と同様に、図６のフローチャートに従って行われる。図６のフローチャートに示した配列規則性評価を終了すると、図８のフローチャートに示した画像解析処理が全て終了する。
【００５９】
以上の処理によって、画像処理装置１は、内視鏡観察装置３で撮像された原画像３１を、画像ファイリング装置４を介して取得し、原画像３１における大腸pit patternの配列規則性を評価することができる。
【００６０】
このように、本実施の形態の画像処理装置１では、隣接pitとの関係を考慮してpitの配列規則性特徴量を定量的に算出することができ、粘膜表面微細構造の配列規則性特徴量を基にした配列規則性評価が可能になる。また、pitの形状を反映させた領域分割を行うことで、線状の構造要素についても良好な配列規則性評価が可能になる。
【００６１】
尚、本実施の形態においては、図８のステップＳ２３で、pit芯線画像５３を生成したが、pitの輪郭線画像を生成し、この画像をステップＳ２４以降に適用するように構成してもよい。輪郭線画像とは、pitの輪郭を表す画像であって、ステップＳ２２で生成されたラベリング画像３７において、同一ラベルが付与された画素の集まりが成す領域のそれぞれについて、その領域の輪郭画素、すなわち、画素値が０である画素が八近傍に存在する画素の画素値をラベルのままとし、輪郭画素以外の画素の画素値を０とすることで得られる。
【００６２】
また、本実施の形態においては、大腸粘膜におけるpitの配列規則性の評価について説明したが、第１の実施の形態同様、例えば食道の微細血管（ＩＰＣＬ）や、胃の粘膜におけるpitについても同様に配列規則性を評価することができる。
【００６３】
なお、本実施の形態においては、粘膜表面微細構造の配列規則性を例に説明したが、本実施の形態における一連の画像解析手法は粘膜表面微細構造の分布状態を評価し得るものであり、これにとどまるものではない。例えば、共に規則性の認められない２種類のパターンの分布に対しても、各構造成分の勢力範囲の持つ領域特徴量が異なるものであれば、識別することが可能である。
【００６４】
以上の実施の形態から、次の付記項に記載の点に特徴がある。
【００６５】
（付記項１）生体粘膜表面画像を撮像した一つ以上の色信号からなる医用画像を入力するステップと、
前記医用画像から粘膜微細構造を抽出するステップと、
前記粘膜微細構造の持つ領域特徴量を算出するステップと、
前記領域特徴量から粘膜構造の配列規則性を評価するステップと、
を含むことを特徴とする医用画像処理方法。
【００６６】
（付記項２）前記粘膜微細構造を抽出するステップが、前記医用画像の少なくとも一つの色信号から二値化抽出するステップを含むことを特徴とする、付記項１に記載の医用画像処理方法。
【００６７】
（付記項３）前記粘膜微細構造を抽出するステップが、前記粘膜微細構造の各要素を識別するステップをさらに含み、前記各要素を識別するステップにおいて識別された要素ごとに一つ以上の構造情報を抽出することを特徴とする、付記項１又は付記項２に記載の医用画像処理方法。
【００６８】
（付記項４）前記領域特徴量を算出するステップが、前記各要素の構造情報に領域を割り当てるステップをさらに含み、前記割り当てられた領域から、一つ以上の領域特徴量を算出することを特徴とする、付記項４に記載の医用画像処理方法。
【００６９】
（付記項５）前記各要素の構造情報に領域を割り当てるステップが、前記各要素の構造特徴のボロノイ図により領域を割り当てることを特徴とする、付記項４に記載の医用画像処理方法。
【００７０】
（付記項６）前記配列規則性を評価するステップが、前記一つ以上の領域特徴量を用いて画像における一つ以上の配列規則性特徴量を算出するステップをさらに含み、前記配列規則性特徴量により、配列規則性を評価することを特徴とする、付記項１乃至付記項５の何れかに記載の医用画像処理方法。
【００７１】
（付記項７）前記前記粘膜微細構造の各要素を識別するステップが、前記粘膜微細構造のラベリング処理により識別することを特徴とする、付記項３に記載の医用画像処理方方法。
【００７２】
（付記項８）前記構造情報が、前記粘膜微細構造の各要素の重心であることを特徴とする、付記項３又は付記項７に記載の医用画像処理方方法。
【００７３】
（付記項９）前記構造情報が、前記粘膜微細構造の各要素の細線であることを特徴とする、付記項３又は付記項７に記載の医用画像処理方方法。
【００７４】
（付記項１０）前記構造情報が、前記粘膜微細構造の各要素の輪郭線であることを特徴とする、付記項３又は付記項７に記載の医用画像処理方方法。
【００７５】
（付記項１１）前記領域特徴量が、前記割り当てられたボロノイ領域の面積であることを特徴とする、付記項５に記載の医用画像処理方法。
【００７６】
（付記項１２）前記領域特徴量が、前記割り当てられたボロノイ領域の周囲長であることを特徴とする、付記項５に記載の医用画像処理方法。
【００７７】
（付記項１３）前記領域特徴量が、前記割り当てられたボロノイ領域の重心間距離であることを特徴とする、付記項５に記載の医用画像処理方法。
【００７８】
（付記項１４）前記配列規則性特徴量を算出するステップが、前記領域特徴量分布のばらつきの大きさを表す変動係数を算出することを特徴とする、付記項６に記載の医用画像処理方法。
【００７９】
（付記項１５）前記配列規則性特徴量を算出するステップが、前記領域特徴量分布の非対称性を表す歪度を算出することを特徴とする、付記項６に記載の医用画像処理方法。
【００８０】
（付記項１６）前記配列規則性特徴量を算出するステップが、前記領域特徴量分布のすその長さを表す尖度を算出することを特徴とする、付記項６に記載の医用画像処理方法。
【００８１】
（付記項１７）前記配列規則性特徴量により配列規則性を評価するステップが、前記一つ以上の配列規則性特徴量を所定閾値と比較することにより、前記粘膜微細構造の各要素の配列が規則的であるか、不規則的であるかを判断することを特徴とする、付記項６、付記項１４、付記項１５、付記項１６のいずれかに記載の医用画像処理方法。
【００８２】
（付記項１８）前記配列規則性特徴量により配列規則性を評価するステップが、前記二つ以上の配列規則性特徴量を識別器に適用することにより、前記粘膜微細構造の各要素の配列が規則的であるか、不規則的であるかを判断することを特徴とする、付記項６、付記項１４、付記項１５、付記項１６のいずれかに記載の医用画像処理方法。
【００８３】
（付記項１９）前記粘膜微細構造が、前記医用画像における表面腺口形態（pit pattern）であることを特徴とする、付記項１乃至付記項１８のいずれかに記載の医用画像処理方法。
【００８４】
（付記項２０）前記粘膜微細構造が、前記医用画像における微細血管であることを特徴とする、付記項１乃至付記項１８のいずれかに記載の医用画像処理方法。
【００８５】
（付記項２１）生体粘膜表面を撮像した１つ以上の色信号からなる医用画像を入力する画像入力ステップと、
前記医用画像上の粘膜微細構造を抽出する粘膜微細構造抽出ステップと、
画像領域を前記抽出した粘膜微細構造に基づき前記医用画像を複数の領域に分割する領域分割ステップと、
前記分割領域から特徴量を算出する特徴量算出ステップと、
前記算出した特徴量から粘膜表面状態を識別する識別ステップと、
を含むことを特徴とする医用画像処理方法。
【００８６】
（付記項２２）前記領域分割ステップは、粘膜微細構造の基準点／又は基準線を抽出する基準情報抽出ステップをさらに含み、前記医用画像を抽出した基準点／又は基準線に基づいた占有範囲に分割することを特徴とする付記項２１に記載の医用画像処理方法。
【００８７】
（付記項２３）前記特徴量算出ステップは、個々の分割領域から領域特徴量を算出する領域特徴量算出ステップをさらに含み、算出した領域特徴量の分布に基づいた分布特徴量を算出することを特徴とする付記項２１又は付記項２２に記載の医用画像処理方法。
【００８８】
（付記項２４）前記粘膜微細構造の基準点／又は基準線は、粘膜構造の重心／又は細線／又は輪郭線であることを特徴とする付記項２１、付記項２２又は付記項２３に記載の医用画像処理方法。
【００８９】
（付記項２５）前記領域特徴量は、領域の面積／又は周囲長であることを特徴とする付記項２３に記載の医用画像処理方法。
【００９０】
（付記項２６）前記領域特徴量算出ステップは、分割領域が隣接する隣接構造成分を特定するステップをさらに含み、前記領域特徴量は、隣接構造成分／又は分割領域の重心間距離／又は隣接領域数であることを特徴とする付記項２３又は付記項２５に記載の医用画像処理方法。
【００９１】
（付記項２７）前記分布特徴量は、前記領域特徴量分布の変動係数／又は歪度／又は尖度／又は平均値／又は標準偏差／又は分散であることを特徴とする付記項２３に記載の医用画像処理方法。
【００９２】
（付記項２８）前記分布特徴量から粘膜表面状態を識別する識別ステップは、１つ以上の前記分布特徴量を所定閾値と比較することを特徴とする付記項２３又に記載の医用画像処理方法。
【００９３】
（付記項２９）前記分布特徴量から粘膜表面状態を識別する識別ステップは、２つ以上の前記分布特徴量を識別器に適用することを特徴とする付記項２３又に記載の医用画像処理方法。
【００９４】
（付記項３０）前記分布特徴量を所定閾値と比較することは、粘膜微細構造の各要素の配列が規則的であるか、不規則的であるが判定することを特徴とする付記項２８に記載の医用画像処理方法。
【００９５】
（付記項３１）前記２つ以上の分布特徴量を識別器に適用することは、粘膜微細構造の各要素の配列が規則的であるか、不規則的であるかを判定することを特徴とする付記項２９に記載の医用画像処理方法。
【００９６】
（付記項３２）前記粘膜微細構造の各要素の配列が規則的であるか、不規則的であるかを判定することは、粘膜微細構造が病変部に含まれるか否かを判定することを特徴とする付記項３０又は付記項３１に記載の医用画像処理方法。
【００９７】
（付記項３３）前記領域分割ステップは、前記抽出した粘膜微細構造の基準点／又は基準線におけるボロノイ図により領域を割り当てることを特徴とする付記項２１乃至付記項３２のいずれかに記載の医用画像処理方法。
【００９８】
（付記項３４）前記粘膜微細構造は、前記生体粘膜表面像における表面腺口形態（pit pattern）／又は微細血管であることを特徴とする付記項２１乃至付記項３３のいずれかに記載の医用画像処理方法。
【図面の簡単な説明】
【００９９】
【図１】本発明の第１の実施の形態に係わる画像処理装置１と関連システムとのネットワーク構成を概略的に示した図である。
【図２】画像処理装置１の全体構成を概略的に示した図である。
【図３】画像処理プログラム２８による画像解析処理の手順を説明するフローチャートである。
【図４】ボロノイ画像３４及びボロノイ画像３４から算出される各種領域特徴量３５を説明する図であり、図４（ａ）は、pit重心画像３３の概略図、図４（ｂ）は、図４（a）をボロノイ分割したボロノイ図、図４（ｃ）は、各pitの勢力範囲を説明する概略図、図４（ｄ）は、各pitの勢力範囲周囲長を説明する概略図、図４（ｅ）は、各pitにおける隣接pitの重心間距離を説明する概略図である。
【図５】図５（ａ）は、領域特徴量３５の分布と歪度との関係を説明する図、図５（ｂ）は、領域特徴量３５の分布と尖度との関係を説明する図である。
【図６】配列規則性評価の手順を説明するフローチャートである。
【図７】図７は、勢力範囲面積分布の変動係数の異なるpit patternに対する配列規則性評価を説明する図であって、図７（ａ）と、図７（ｂ）とは、勢力範囲面積分布の変動係数が０．３未満のボロノイ画像３４、図７（ｄ）は、図７（ａ）に示したボロノイ画像３４のpit patternを説明する概略図、図７（ｅ）は、図７（ｂ）に示したボロノイ画像３４のpit patternを説明する概略図、図７（ｃ）は、勢力範囲面積分布の変動係数が０．３以上のボロノイ画像３４、図７（ｆ）は、図７（ｃ）に示したボロノイ画像３４のpit patternを説明する概略図である。
【図８】画像処理プログラム５１による画像解析処理の手順を説明するフローチャートである。
【図９】ボロノイ分割を説明する図であり、図９（ａ）は、pitの重心を母点として生成したボロノイ画像の概略図、図９（ｂ）及び図９（ｃ）は、pit芯線画像５３からボロノイ画像５４を作成する途中過程を説明する概略図、図９（ｄ）は、ボロノイ画像５４の概略図である。
【符号の説明】
【０１００】
１    画像処理装置、
１１    パーソナルコンピュータ、
２８    画像処理プログラム、
２９    解析データ、
３１    原画像、
３２    二値化画像、
３３    pit重心画像、
３４    ボロノイ画像、
３５    領域特徴量、
３６    配列規則性特徴量、
代理人    弁理士    伊  藤    進
【図１】
2006141734.tif 000007
【図２】
2006141734.tif 000008
【図３】
2006141734.tif 000009
【図４】
2006141734.tif 000010
【図５】
2006141734.tif 000011
【図６】
2006141734.tif 000012
【図７】
2006141734.tif 000013
【図８】
2006141734.tif 000014
【図９】
2006141734.tif 000015