(57)【要約】【課題】本発明は、病変の診断をコンピュータ診断支援システムを用いて客観的に行うことで、専門的な知識と経験を有する者でなくとも、病変の診断を可能にすることを目的とする。【解決手段】本発明に係る画像処理装置は、血管が撮像されている撮像画像の全体の濃淡についてテクスチャ解析を行う解析部１１１と、テクスチャ解析の結果を用いて、病理診断に対応した分類を行う分類部１１２と、を備える。【選択図】図１
2019213929.tif 000002
【特許請求の範囲】
【請求項１】
血管が撮像されている撮像画像の全体の濃淡についてテクスチャ解析を行う解析機能と、
前記テクスチャ解析の結果を用いて、病理診断に対応した分類を行う分類機能と、
を備える画像処理装置。
【請求項２】
画像処理装置が、
血管が撮像されている撮像画像の全体の濃淡についてテクスチャ解析を行う解析手順と、
前記テクスチャ解析の結果を用いて、病理診断に対応した分類を行う分類手順と、
を行う画像処理方法。
【請求項３】
前記解析手順において、前記撮像画像に含まれる濃淡変化を画素ごとに解析した解析画像を作成し、前記解析画像のテクスチャ特徴量を求めることで、テクスチャ解析を行う、
請求項２に記載の画像処理方法。
【請求項４】
前記解析手順において、前記撮像画像の各画素についてテンソル解析を行うことで、前記解析画像を作成する、
請求項３に記載の画像処理方法。
【請求項５】
前記解析手順において、さらに血管領域を抽出し、抽出した血管領域を用いて血管特徴量を求め、
前記分類手順において、前記テクスチャ解析の結果及び前記血管特徴量を用いて、病理診断に対応した分類を行う、
請求項２から４のいずれかに記載の画像処理方法。
【請求項６】
コンピュータに、請求項２から５のいずれかに記載の各手順を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
画像処理を行うことによって、病理診断を行う発明が提案されている（例えば、特許文献１〜４参照。）。しかし、食道、胃、小腸、大腸などの消化管の病理診断は、専門的な知識と経験を要するため、消化管の一部組織を切除し、体外にて顕微鏡による診断を行っている。
【０００３】
一方で、近年、超拡大機能（３８０倍〜４５０倍）の高倍率機能により、リアルタイムに体内（消化管内）で病理組織を予測できる内視鏡ｅｎｄｏｃｙｔｏｓｃｏｐｙが開発されており、病理診断の代替になることが期待されているが、画像解読に専門的トレーニングが必要である。（非特許文献１）。そのため、先行研究によりｅｎｄｏｃｙｔｏｓｃｏｐｙ画像に対するコンピュータ診断支援システムが開発され（非特許文献２）、非腫瘍・腺腫・癌の鑑別に有用性があることがわかった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１５３７４２号公報
【特許文献２】ＷＯ２０１２／０１１５７９号公報
【特許文献３】ＷＯ２０１２／１５７２０１号公報
【特許文献４】ＷＯ０１／０２２７４１号公報
【非特許文献】
【０００５】
【非特許文献１】Ｋｕｄｏ  Ｓ，  Ｗａｋａｍｕｒａ  Ｋ，  Ｉｋｅｈａｒａ  Ｎ，  Ｍｏｒｉ  Ｙ，  Ｉｎｏｕｅ  Ｈ，  Ｈａｍａｔａｎｉ  Ｓ．  Ｄｉａｇｎｏｓｉｓ  ｏｆ  ｃｏｌｏｒｅｃｔａｌ  ｌｅｓｉｏｎｓ  ｗｉｔｈ  ａ  ｎｏｖｅｌ  ｅｎｄｏｃｙｔｏｓｃｏｐｉｃ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ−ａ  ｐｉｌｏｔ  ｓｔｕｄｙ−．  Ｅｎｄｏｓｃｏｐｙ  ２０１１；４３：８６９−８７５
【非特許文献２】Ｍｏｒｉ  Ｙ，Ｋｕｄｏ  ＳＥ，Ｗａｋａｍｕｒａ  Ｋ，“Ｎｏｖｅｌ  ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ  ｄｉａｇｎｏｓｔｉｃ  ｓｙｓｔｅｍ  ｆｏｒ  ｃｏｌｏｒｅｃｔａｌ  ｌｅｓｉｏｎｓ  ｂｙ  ｕｓｉｎｇ  ｅｎｄｏｃｙｔｏｓｃｏｐｙ  （ｗｉｔｈ  ｖｉｄｅｏｓ）．”，Ｇａｓｔｒｏｉｎｔｅｓｔｉｎａｌ  Ｅｎｄｏｓｃ．  ２０１４  Ｅｐｕｂ
【非特許文献３】Ｓａｔｏ，  Ｙ．  ｅｔ．  ａｌ．；“Ｔｉｓｓｕｅ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｂａｓｅｄ  ｏｎ  ３Ｄ  ｌｏｃａｌ  ｉｎｔｅｎｓｉｔｙ  ｓｔｒｕｃｔｕｒｅｓ  ｆｏｒ  ｖｏｌｕｍｅ  ｒｅｎｄｅｒｉｎｇ”，Ｖｉｓｕａｌｉｚａｔｉｏｎ  ａｎｄ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ，Ｖｏｌ．６，Ｎｏ．２，２０００
【非特許文献４】Ｔ．  Ｓｃｈｕｌｔｚ，  “Ｔｏｐｏｌｏｇｉｃａｌ  Ｆｅａｔｕｒｅｓ  ｉｎ  ２Ｄ  Ｓｙｍｍｅｔｒｉｃ  Ｈｉｇｈｅｒ−Ｏｒｄｅｒ  Ｔｅｎｓｏｒ  Ｆｉｅｌｄｓ”，Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  Ｆｏｒｕｍ，Ｖｏｌ．３０，Ｎｏ．３，２０１１
【非特許文献５】ＲＭ  Ｈａｒａｌｉｃｋ，“Ｔｅｘｔｕｒａｌ  Ｆｅａｔｕｒｅｓ  ｆｏｒ  Ｉｍａｇｅ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ”，ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＳＹＳＴＥＭＳ，  ＭＡＮ  ＡＮＤ  ＣＹＢＥＲＮＥＴＩＣＳ．  Ｖｏｌ．ＳＭＣ−３，Ｎｏ．６，１９７３
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、病変の診断をコンピュータ診断支援システムを用いて客観的に行うことで、専門的な知識と経験を有する者でなくとも、病変の診断を可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、
血管が撮像されている撮像画像の全体の濃淡についてテクスチャ解析を行う解析機能と、
前記テクスチャ解析の結果を用いて、病理診断に対応した分類を行う分類機能と、
を備える。
【０００８】
本発明に係る画像処理方法は、
画像処理装置が、
血管が撮像されている撮像画像の全体の濃淡についてテクスチャ解析を行う解析手順と、
前記テクスチャ解析の結果を用いて、病理診断に対応した分類を行う分類手順と、
を行う。
【０００９】
本発明に係る画像処理方法では、前記解析手順において、前記撮像画像に含まれる濃淡変化を画素ごとに解析した解析画像を作成し、前記解析画像のテクスチャ特徴量を求めることで、テクスチャ解析を行ってもよい。
【００１０】
本発明に係る画像処理方法では、前記解析手順において、前記撮像画像の各画素についてテンソル解析を行うことで、前記解析画像を作成してもよい。
【００１１】
本発明に係る画像処理方法では、
前記解析手順において、さらに血管領域を抽出し、抽出した血管領域を用いて血管特徴量を求め、
前記分類手順において、前記テクスチャ解析の結果及び前記血管特徴量を用いて、病理診断に対応した分類を行ってもよい。
【００１２】
本発明に係るプログラムは、コンピュータに、本発明に係る画像処理方法の有する各手順を実行させるためのプログラムである。本発明に係るプログラムは、記録媒体に格納されていてもよい。
【発明の効果】
【００１３】
本発明によれば、病変の診断をコンピュータ診断支援システムを用いて客観的に行うことで、専門的な知識と経験を有する者でなくとも、病変の診断が可能となる。
【図面の簡単な説明】
【００１４】
【図１】実施形態に係る画像処理システムの一例を示す。
【図２】実施形態に係る画像処理方法の一例を示す。
【図３】実施形態に係るテクスチャ解析手順の一例を示す。
【図４】グレースケール化後の撮像画像の一例を示す。
【図５】ノイズ除去後の撮像画像の一例を示す。
【図６】コントラスト正規化後の撮像画像の一例を示す。
【図７】撮像画像の２階テンソルで求められる最小固有値を用いた画像の一例を示す。
【図８】撮像画像の２階テンソルの最大値で求められる最大固有値を用いた画像の一例を示す。
【図９】撮像画像の０階テンソルで求められる画像の一例を示す。
【図１０】撮像画像の１階テンソルで求められる画像の一例を示す。
【図１１】撮像画像の３階テンソルで求められる最小固有値を用いた画像の一例を示す。
【図１２】撮像画像の３階テンソルで求められる最大固有値を用いた画像の一例を示す。
【図１３】撮像画像の４階テンソルで求められる最小固有値を用いた画像の一例を示す。
【図１４】撮像画像の４階テンソルで求められる最大固有値を用いた画像の一例を示す。
【図１５】実施形態に係る血管領域抽出手順の一例を示す。
【図１６】線状度画像の一例を示す。
【図１７】２段階しきい値処理後の血管候補領域画像一例を示す。
【図１８】小成分除去後の血管領域画像の一例を示す。
【図１９】実施形態に係る血管特徴導出手順の一例を示す。
【図２０】最大面積領域抽出画像の一例を示す。
【図２１】細線化画像の一例を示す。
【図２２】距離画像の一例を示す。
【図２３】表示装置への表示例を示す。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本発明は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
【００１６】
図１に、実施形態に係る画像処理システムの一例を示す。実施形態に係る画像処理システムは、撮像装置９１、画像処理装置９２、及び、表示装置９３を備える。
【００１７】
撮像装置９１は、例えばＥｎｄｏｃｙｔｏｓｃｏｐｙなどの超拡大内視鏡、共焦点内視鏡又は光学顕微鏡であり、血管を検出可能な画像を撮像可能な任意の構成を含む。撮像装置９１は、粘膜上皮の血管が撮像可能であることが好ましく、例えば、ｅｎｄｏｃｙｔｏｓｃｏｐｙ系又は共焦点系の内視鏡であることが好ましい。共焦点系は、対物レンズの焦点位置と共役な位置（像位置）に開口を配置したものである。本実施形態では、内視鏡に光学顕微鏡を搭載したｅｎｄｏｃｙｔｏｓｃｏｐｙを用いることが好ましく、これにより共焦点系に比べて鮮明なカラー画像を取得することができる。
【００１８】
血管を強調し観察する方法は任意であり、例えば、Ｎａｒｒｏｗ  ｂａｎｄ  ｉｍａｇｉｎｇ（ＮＢＩ）（登録商標）、Ｉｎｆｒａ  Ｒｅｄ  Ｉｍａｇｉｎｇ（ＩＲＩ）、Ｄｕａｌ  Ｒｅｄ  Ｉｍａｇｉｎｇ、ＦＩＣＥ（Ｆｌｅｘｉｂｌｅ  ｓｐｅｃｔｒａｌ  Ｉｍａｇｉｎｇ  Ｃｏｌｏｒ  Ｅｎｈａｎｃｅｍｅｎｔ）、ＢＬＩ（Ｂｌｕｅ  Ｌａｓｅｒ  Ｉｍａｇｉｎｇ）（登録商標）、ＬＣＩ（Ｌｉｎｋｅｄ  Ｃｏｌｏｒ  Ｉｍａｇｉｎｇ）、ｉ−ｓｃａｎ（登録商標）、ｉ−ｓｃａｎ  ｏｐｔｉｃａｌ  ｅｎｈａｎｃｅｍｅｎｔ（ＯＥ）（登録商標）が挙げられる。
【００１９】
図２に、本実施形態に係る画像処理方法の一例を示す。本実施形態に係る画像処理方法は、画像処理装置９２が、画像取得手順Ｓ１０１と、テクスチャ解析手順Ｓ１０２と、血管特徴量算出手順Ｓ１０３と、分類手順Ｓ１０４と、を順に実行する。画像処理装置９２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、記憶部１２と、を備えるコンピュータである。本実施形態に係る画像処理装置９２は、記憶部１２に記憶されたコンピュータプログラムを実行することで、各手順を行う。コンピュータプログラムは、コンピュータから読み出し可能な任意の記録媒体に記憶され得る。
【００２０】
画像取得手順Ｓ１０１では、ＣＰＵ１１が、撮像装置９１の撮像画像を取得する。
テクスチャ解析手順Ｓ１０２では、ＣＰＵ１１が、撮像画像の全体の濃淡についてテクスチャ解析を行う。
血管特徴量算出手順Ｓ１０３では、ＣＰＵ１１が、血管領域を抽出し、抽出した血管領域を用いて血管特徴量を求める。
分類手順Ｓ１０４では、ＣＰＵ１１が、テクスチャ解析の結果及び血管特徴量を用いて、病理診断に対応した分類を行う。
【００２１】
図３を参照しながら、テクスチャ解析手順Ｓ１０２について説明する。
テクスチャ解析手順Ｓ１０２では、解析部１１１が、撮像画像について、縮小（Ｓ２０１）、グレースケール化（Ｓ２０２）、ノイズ除去（Ｓ２０３）、局所コントラスト正規化（Ｓ２０４）、濃淡構造解析（Ｓ２０５）、テクスチャ特徴量算出（Ｓ２０６）を行う。
【００２２】
ステップＳ２０１では、撮像画像を所定の画像サイズに縮小する。
撮像画像がカラー画像である場合、ステップＳ２０２を実行する。ステップＳ２０２では、カラー画像をグレースケール画像に変換する。図４に、グレースケール化後の画像の一例を示す。
ステップＳ２０３では、撮像画像に含まれるノイズを除去する。ノイズの除去方法は任意であり、例えば、メディアンフィルタを用いることができる。図５に、ノイズ除去後の画像の一例を示す。
ステップＳ２０４では、光源ムラを除去するため、画像全体のコントラストを均一にする局所コントラスト正規化を行う。図６に、局所コントラスト正規化後の画像の一例を示す。
【００２３】
ステップＳ２０５では、撮像画像の濃淡構造解析を行い、撮像画像に含まれる濃淡変化を画素ごとに解析した解析画像を作成する。濃淡構造解析は任意であるが、２次元の局所濃淡構造解析を行うことが好ましい（例えば、非特許文献３及び４参照。）。この場合、各画素について、２階テンソルの固有値を求める。２階テンソルは、濃度値の２階微分に相当し、局所的な濃度値構造を表す。２階テンソルの場合は２つの固有値が求められる。この場合、最小の固有値を用いた解析画像と最大の固有値を用いた解析画像を作成する。これにより、解析画像を作成することができる。図７及び図８に、２階テンソルの固有値を用いた解析画像を示す。
【００２４】
濃淡構造解析は、２階テンソル以外の階数も用いることが好ましい。例えば、０階テンソル、１階テンソル、３階テンソル及び４階テンソルを用いることが好ましい。０階テンソルは濃度値を表し、１階テンソルは勾配強度すなわちエッジの強さを表す。図９に０階テンソルの解析画像を示し、図１０に１階テンソルの解析画像を示す。なお、１階テンソルは、勾配強度であるため、固有値はない。
【００２５】
３階テンソル及び４階テンソルの場合も、２階テンソルと同様に、最小の固有値を用いた解析画像と最大の固有値を用いた解析画像を作成することが好ましい。図１１及び図１２に３階テンソルの固有値を用いた解析画像を示し、図１３及び図１４に４階テンソルの固有値を用いた解析画像を示す。
【００２６】
なお、解析画像の作成方法は局所濃淡構造解析に限定しない。例えば、一様重みフィルタ、ソーベルフィルタ、プレウィットフィルタ、ラプラシアンフィルタ、ガウシアンフィルタ、メディアンフィルタなどの画像フィルタ、あるいは、しきい値処理による二値化などの任意の画像処理方法を用いることができる。
【００２７】
ステップＳ２０６では、解析画像のテクスチャ特徴量を求める。テクスチャ特徴量は、例えば、Ｈａｒａｌｉｃｋテクスチャ特徴量（例えば、非特許文献５参照。）である。Ｈａｒａｌｉｃｋテクスチャ特徴量は、１から１４までの特徴量があるが、１から１４の任意の特徴量を用いることができる。特に１から１３までのＨａｒａｌｉｃｋテクスチャ特徴量を組み合わせることで、分類手順Ｓ１０４における精度を高めることができた。
【００２８】
なお、テクスチャ特徴量は、Ｈａｒａｌｉｃｋテクスチャ特徴量に依存しない。例えば、ランレングス行列に基づく解析手法、フラクタル次元、などの任意のテクスチャ特徴量、あるいは事前にパラメータ調整されたニューラルネットワークの出力をテクスチャ特徴量として用いることができる。
【００２９】
ここで、血管は、画像内でランダムな方向に走行している。そこで、血管の走行方向の違いによるテクスチャ特徴量の変化を避けるため、基準となる方向を複数用意した後、各方向に対してテクスチャ特徴量を算出し、それらを平均化して利用することが好ましい。基準となる方向は、例えば、９０度ずつ異なる４つの方向、４５度ずつ異なる８つの方向である。
【００３０】
図１５を参照しながら、血管特徴量算出手順Ｓ１０３に用いる血管領域画像の作成方法について説明する。本実施形態は、血管領域画像の作成するために、解析部１１１が、撮像画像について、縮小（Ｓ３０１）、グレースケール化（Ｓ３０２）、ノイズ除去（Ｓ３０３）、線状度画像作成（Ｓ３０４）、２段階閾値処理（Ｓ３０５）、小成分除去（Ｓ３０６）を行う。ステップＳ３０１の縮小、ステップＳ３０２のグレースケール化及びステップＳ３０３のノイズ除去は、テクスチャ解析手順Ｓ１０２と同様である。
【００３１】
ステップＳ３０４では、線状度画像を作成する。線状度画像は、撮像画像に含まれる線構造を強調した画像であり、例えば、一般的にヘッセ行列解析と呼ばれる２次元の局所濃淡構造解析を用いて作成することができる。２次元の局所濃淡構造解析を用いる場合、各画素について２階テンソルの２つの固有値を求め、最小の固有値を用いた画像と最大の固有値を用いた画像を作成する。２階テンソルはヘッセ行列とも呼ばれる。これにより、図１６に示すような線状度画像を得ることができる。
【００３２】
ここで、線状度画像を作成するに際しては、平滑化に用いるガウシアンフィルタの標準偏差σとして、複数の値を用いることが好ましい。複数のσを用いることで、太さや曲率の異なる血管であっても線構造として認識できるようになる。特に癌化した細胞核の周囲に存在する血管は太くなる傾向にあるため、複数のσを用いることで、癌化した細胞核の周囲に存在する血管についても線構造として認識できるようになる。
【００３３】
ステップＳ３０５では、ステップＳ３０４で作成した複数の線状度画像に含まれている血管の画像を合成する。具体的には、全ての画素位置について、複数の線状度画像のなかから線状度の最も高い値を選択することで、マルチスケール線状度画像を作成する。そして、マルチスケール線状度画像のなかから線状度が所定の閾値Ａ以上の領域を血管候補領域として抽出する。その後、マルチスケール線状度画像のなかから線状度が所定の閾値Ｂ（＜Ａ）以上の領域で、なおかつ、血管候補領域と重複する部分を持つ領域を抽出し、これらを血管候補領域へ加える。これにより、図１７に示すような血管候補領域画像を得ることができる。
【００３４】
ステップＳ３０５で血管候補領域画像には、血管でない領域が含まれている。そこで、ステップＳ３０６を実行する。ステップＳ３０６では、血管ではない領域を除去する。血管であるか否かは、例えば、予め定めた小さな領域であれば血管でないと判定する。このように、血管候補領域画像から血管でない領域を除去することで、図１８に示すような、血管領域を抽出した血管領域画像を得ることができる。
【００３５】
図１９を参照しながら、血管特徴量算出手順Ｓ１０３における血管特徴量の導出方法について説明する。本実施形態は、血管特徴量を導出するために、解析部１１１が、血管領域画像について、最大面積領域抽出（Ｓ３１１）、細線化（Ｓ３１２）、距離変換（Ｓ３１３）、最大血管の最大径の算出（Ｓ３１４）、最大血管の最小最大径比の算出（Ｓ３１５）、血管面積の全体に占める割合の算出（Ｓ３１６）を行う。本実施形態では、図１８に示す血管領域画像を用いて説明する。
【００３６】
ステップＳ３１１では、血管領域をラベリングし、最大面積をもつ領域を抽出する。これにより、図２０に示すような、最大面積領域抽出画像が得られる。
ステップＳ３１２では、画像領域を細線化し芯線画素を抽出する。これにより、図２１のような、細線化画像が得られる。
ステップＳ３１３では、血管領域画像を距離変換し、距離画像を作成する。距離変換は、例えば、血管領域に含まれる各画素について、最も近い背景画素への距離、すなわち血管領域以外の画素への距離を求め、この距離を値として持つ画像へと変換する。これにより、図２２のような、距離画像が得られる。
【００３７】
ステップＳ３１４では、最大面積領域抽出画像、細線化画像及び距離画像を重ねて、最大面積領域の芯線画素上の最大距離を求める。これにより、最大血管の最大径を算出することができる。
ステップＳ３１５では、最大面積領域抽出画像及び細線化画像を重ね合わせた最大面積領域の芯線画素上に配置されている距離画像の最大距離値と最小距離値を用いて、最大血管の最小最大径比を求める。
ステップＳ３１６では、血管領域画像に含まれる血管領域の面積を求め、全体画像中に占める血管領域の割合を求める。
【００３８】
このように、血管特徴量算出手順Ｓ１０３では、血管領域画像を用いて、血管特徴量を求める。なお、血管特徴量は、最大血管の最大径、最大血管の最小最大径比及び全体画像中に占める血管領域の割合に限定されない。
【００３９】
分類手順Ｓ１０４では、ＣＰＵ１１が、テクスチャ解析の結果及び血管特徴量を用いて、病理診断に対応した分類を行う。本実施形態では、テクスチャ解析手順Ｓ１０２で求めたテクスチャ特徴量及び血管特徴量算出手順Ｓ１０３で求めた血管特徴量を用いて、病理診断に対応した分類を行う。病理診断に対応した分類は、例えば、非腫瘍、腺腫、癌、ＳＳＡ／Ｐである。分類は、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）を用いる。ここで、分類を行うに際し、非腫瘍、腺腫、癌、ＳＳＡ／Ｐのそれぞれについて、学習用サンプルとなるデータを画像処理装置９２に与える。
【００４０】
分類手順Ｓ１０４では、画像処理装置９２が、分類手順Ｓ１０４の分類結果を出力する。例えば、画像処理装置９２が、非腫瘍、腺腫、癌、ＳＳＡ／Ｐのうちのいずれかを診断結果として出力する。出力は、例えば、表示装置９３に表示する。また、分類結果を撮像画像とともに記憶部１２に格納する。
【００４１】
図２３に、表示装置９３への表示例を示す。表示装置９３は、撮像装置９１の撮像画像と血管領域画像を同一画面上に表示することが好ましい。さらに、非腫瘍などの病理診断に対応した分類を確率とともに表示することが好ましい。図２３には、一例として、非腫瘍である可能が２％であり、腺腫である可能性が３０％であり、癌である可能性が６８％である例を示した。表示装置９３は、確率が最も高い分類を、他の分類に比較して大きく表示することが好ましい。
【００４２】
以上のテクスチャ解析手順Ｓ１０２、血管特徴量算出手順Ｓ１０３及び分類手順Ｓ１０４を、撮像画像ごとに行う。これによって、専門的な知識と経験を有する者でなくとも、病理診断を行いたい各部位が、非腫瘍、腺腫、癌、ＳＳＡ／Ｐのいずれであるか判断することができる。特に、消化管などの体内での粘膜の内視鏡画像を内視鏡を用いて撮像することで、リアルタイム自動診断が可能となり、内視鏡検査のクオリティを向上することができる。
【００４３】
なお、本実施形態に係る発明は、内視鏡画像だけでなく、生体から採取した組織を顕微鏡で撮像した顕微鏡画像など生体の微細構造を撮影した画像全般に適用することができる。
【００４４】
また、本実施形態では、ＳＶＭを用いて分類を行う例を示したが、分類方法はＳＶＭに限定されるものではなく、例えば、ニューラルネットワーク、単純ベイズ分類器、決定木、クラスター解析、線形回帰分析及びロジスティック回帰分析、ランダムフォレストなどの分類手法が利用可能である。
【符号の説明】
【００４５】
１１：ＣＰＵ
１１１：解析部
１１２：分類部
１２：記憶部
９１：撮像装置
９２：画像処理装置
９３：表示装置
【図１】
2019213929.tif 000003
【図２】
2019213929.tif 000004
【図３】
2019213929.tif 000005
【図４】
2019213929.tif 000006
【図５】
2019213929.tif 000007
【図６】
2019213929.tif 000008
【図７】
2019213929.tif 000009
【図８】
2019213929.tif 000010
【図９】
2019213929.tif 000011
【図１０】
2019213929.tif 000012
【図１１】
2019213929.tif 000013
【図１２】
2019213929.tif 000014
【図１３】
2019213929.tif 000015
【図１４】
2019213929.tif 000016
【図１５】
2019213929.tif 000017
【図１６】
2019213929.tif 000018
【図１７】
2019213929.tif 000019
【図１８】
2019213929.tif 000020
【図１９】
2019213929.tif 000021
【図２０】
2019213929.tif 000022
【図２１】
2019213929.tif 000023
【図２２】
2019213929.tif 000024
【図２３】
2019213929.tif 000025
【手続補正書】
【提出日】令和1年9月26日(2019.9.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
病変表面が撮像されている撮像画像の全体の濃淡について、画像フィルタ及びしきい値処理による二値化の少なくともいずれかを用いて複数の解析画像を作成し、作成した解析画像ごとにテクスチャ解析を行うことで複数のテクスチャ特徴量を求める解析機能と、
前記複数のテクスチャ特徴量の組合せに基づいて、病理診断に対応した分類を行う分類機能と、
を備える画像処理装置。
【請求項２】
前記画像フィルタは、任意の階数の局所濃淡構造解析、一様重みフィルタ、ソーベルフィルタ、プレウィットフィルタ、ラプラシアンフィルタ、ガウシアンフィルタ及びメディアンフィルタの少なくともいずれかを含む、
請求項１に記載の画像処理装置。
【請求項３】
前記複数のテクスチャ特徴量は、Ｈａｒａｌｉｃテクスチャ特徴量を含み、
前記複数のテクスチャ特徴量の組合せは、Ｈａｒａｌｉｃの１から１３までの少なくともいずれかの特徴量の組合せを含む、
請求項１又は２に記載の画像処理装置。
【請求項４】
前記複数のテクスチャ特徴量は、事前にパラメータ調整されたニューラルネットワークの出力を含む、
請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
請求項１から４のいずれかに記載の画像処理装置と、
前記画像処理装置における分類結果及び前記撮像画像を表示する表示装置と、
を備える診断支援システム。
【請求項６】
前記表示装置は、前記画像処理装置における分類結果及び前記撮像画像を同一画面に表示する、
請求項５に記載の診断支援システム。
【請求項７】
前記画像処理装置は、前記撮像画像を取得すると、前記病理診断に対応した分類を撮像画像ごとに自動で行い、分類結果及び前記撮像画像を前記表示装置に表示する、
請求項５又は６に記載の診断支援システム。
【請求項８】
前記画像処理装置は、前記分類結果の確率を更に求め、
前記表示装置は、前記分類結果の確率を更に表示する、
請求項５から７のいずれかに記載の診断支援システム。
【請求項９】
前記表示装置は、前記分類結果、前記分類結果の確率及び前記撮像画像を同一画面に表示する、
請求項８に記載の診断支援システム。
【請求項１０】
前記画像処理装置は、前記撮像画像に含まれる血管領域を更に求め、
前記表示装置は、前記血管領域の画像を更に表示する、
請求項５から９のいずれかに記載の診断支援システム。
【請求項１１】
前記表示装置は、前記分類結果、前記撮像画像及び前記血管領域の画像を同一画面に表示する、
請求項１０に記載の診断支援システム。
【請求項１２】
画像処理装置が、
病変表面が撮像されている撮像画像の全体の濃淡について、画像フィルタ及びしきい値処理による二値化の少なくともいずれかを用いて複数の解析画像を作成し、作成した解析画像ごとにテクスチャ解析を行うことで複数のテクスチャ特徴量を求める解析手順と、
前記複数のテクスチャ特徴量の組合せに基づいて、病理診断に対応した分類を行う分類手順と、
を行う画像処理方法。
【請求項１３】
コンピュータを、請求項１から４のいずれかに記載の画像処理装置に備わる各機能部として機能させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明に係る画像処理装置は、
病変表面が撮像されている撮像画像の全体の濃淡について、画像フィルタ及びしきい値処理による二値化の少なくともいずれかを用いて複数の解析画像を作成し、作成した解析画像ごとにテクスチャ解析を行うことで複数のテクスチャ特徴量を求める解析機能と、
前記複数のテクスチャ特徴量の組合せに基づいて、病理診断に対応した分類を行う分類機能と、
を備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明に係る画像処理方法は、
画像処理装置が、
病変表面が撮像されている撮像画像の全体の濃淡について、画像フィルタ及びしきい値処理による二値化の少なくともいずれかを用いて複数の解析画像を作成し、作成した解析画像ごとにテクスチャ解析を行うことで複数のテクスチャ特徴量を求める解析手順と、
前記複数のテクスチャ特徴量の組合せに基づいて、病理診断に対応した分類を行う分類手順と、
を行う。