(57)【要約】  画像処理装置は、生体内管腔を撮像した生体内管腔画像から所定の条件を満たす特定候補領域を抽出する特定候補領域抽出手段と、特定候補領域の少なくとも一部を含む基準領域を設定する基準領域設定手段と、基準領域に基づいて局所領域を抽出する局所領域抽出手段と、局所領域の特徴量である局所特徴量を算出する局所特徴量算出手段と、特定候補領域に基づいて、局所領域に応じた重みを設定する重み設定手段と、局所特徴量を統合する特徴量統合手段と、を備える。
2016117018.tif 000002
【特許請求の範囲】
【請求項１】
生体内管腔を撮像した生体内管腔画像から所定の条件を満たす特定候補領域を抽出する特定候補領域抽出手段と、
前記特定候補領域の少なくとも一部を含む基準領域を設定する基準領域設定手段と、
前記基準領域に基づいて局所領域を抽出する局所領域抽出手段と、
前記局所領域の特徴量である局所特徴量を算出する局所特徴量算出手段と、
前記特定候補領域に基づいて、前記局所領域に応じた重みを設定する重み設定手段と、
前記局所特徴量を統合する特徴量統合手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記重み設定手段は、
前記局所特徴量の重みを設定し、
前記特徴量統合手段は、
前記局所特徴量の重みに基づいて前記局所特徴量を統合する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記重み設定手段は、
前記局所領域抽出手段が前記局所領域を抽出する際の抽出密度を重みとして設定し、
前記局所領域抽出手段は、
前記抽出密度に応じて前記局所領域を抽出する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記基準領域設定手段は、
前記基準領域を少なくとも境界領域と内部領域に分割設定する領域分割手段を有する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記重み設定手段は、
前記境界領域の重みを前記内部領域の重みより大きく設定する、ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記重み設定手段は、
前記局所領域の特性を算出する領域特性算出手段を有し、各領域の特性に応じて重みを設定することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記領域特性算出手段は、
前記特定候補領域と類似した奥行き位置にある粘膜領域を抽出する、ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記領域特性算出手段は、
前記特定候補領域と同一の粘膜領域を抽出する、ことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記領域特性算出手段は、
前記局所領域抽出手段によって抽出された各々の局所領域の色特性およびテクスチャ特性の少なくともいずれか一方を前記特性として算出する、ことを特徴とする請求項６に記載の画像処理装置。
【請求項１０】
前記領域特性算出手段は、
前記特定候補領域が存在する臓器の種類を判定し、
前記重み設定手段は、
前記臓器の種類に応じて重みを設定する、ことを特徴とする請求項６に記載の画像処理装置。
【請求項１１】
前記領域特性算出手段は、
前記特定候補領域の種類を判定し、
前記重み設定手段は、
前記特定候補領域の種類に応じて重みを設定する、ことを特徴とする請求項６に記載の画像処理装置。
【請求項１２】
前記局所領域抽出手段は、
前記基準領域の画像の特徴量を算出し、該特徴量に基づいて前記局所領域を抽出する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
前記特徴量は色情報である、ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記特徴量はテクスチャ情報である、ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
前記特徴量統合手段が統合した前記局所特徴量に基づいて前記特定候補領域を検出する検出手段を更に備える、ことを特徴とする請求項１に記載の画像処理装置。
【請求項１６】
生体内管腔を撮像した生体内管腔画像から所定の条件を満たす特定候補領域を抽出する特定候補領域抽出ステップと、
前記特定候補領域の少なくとも一部を含む基準領域を設定する基準領域設定ステップと、
前記基準領域に基づいて局所領域を抽出する局所領域抽出ステップと、
前記局所領域の特徴量である局所特徴量を算出する局所特徴量算出ステップと、
前記特定候補領域に基づいて、前記局所領域に応じた重みを設定する重み設定ステップと、
前記局所特徴量を統合する特徴量統合ステップと、
を含むことを特徴とする画像処理方法。
【請求項１７】
生体内管腔を撮像した生体内管腔画像から所定の条件を満たす特定候補領域を抽出する特定候補領域抽出ステップと、
前記特定候補領域の少なくとも一部を含む基準領域を設定する基準領域設定ステップと、
前記基準領域に基づいて局所領域を抽出する局所領域抽出ステップと、
前記局所領域の特徴量である局所特徴量を算出する局所特徴量算出ステップと、
前記特定候補領域に基づいて、前記局所領域に応じた重みを設定する重み設定ステップと、
前記局所特徴量を統合する特徴量統合ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体内管腔を撮像した生体内管腔画像に対して画像処理を施す画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、画像から局所特徴量を算出し、各局所特徴量を統合した統合特徴量を用いて精度の高い識別を行う方法（ＢｏＦ：Bag  of  Features）が開示されている（例えば、特許文献１および非特許文献１を参照）。この方法の処理手順は、以下の通りである。
手順１．画像内から局所特徴量を算出する。
手順２．画像を複数サイズの矩形領域に分割して、ピラミッド画像を作成する。
手順３．各矩形領域内における局所特徴量と事前に作成しておいた代表ベクトル群との局所特徴空間における距離を算出し、最近傍にある代表ベクトルを求め、その頻度分布（統合特徴量）を算出する。
手順４．矩形領域ごとに算出した頻度分布と、事前に作成しておいた正常・異常の頻度分布を比較することで、正常／異常を判別する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第８２３３７１１号明細書
【非特許文献】
【０００４】
【非特許文献１】コンピュータビジョン  最先端ガイド３，八木康史・斎藤英雄編,  アドコム・メディア株式会社，2010年11月25日，ｐ．90-95
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術では、矩形領域ごとに局所特徴量を統合した場合、対象を表現するのに必要な局所特徴量が同一の矩形領域内に十分に含まれていない可能性があり、その場合、対象を精度良く識別することができないという問題がある。【０００６】
本発明は、上記に鑑みてなされたものであって、対象を精度よく識別可能な局所特徴量を算出することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体内管腔を撮像した生体内管腔画像から所定の条件を満たす特定候補領域を抽出する特定候補領域抽出手段と、前記特定候補領域の少なくとも一部を含む基準領域を設定する基準領域設定手段と、前記基準領域に基づいて局所領域を抽出する局所領域抽出手段と、前記局所領域の特徴量である局所特徴量を算出する局所特徴量算出手段と、前記特定候補領域に基づいて、前記局所領域に応じた重みを設定する重み設定手段と、前記局所特徴量を統合する特徴量統合手段と、を備えることを特徴とする。【０００８】
本発明に係る画像処理方法は、生体内管腔を撮像した生体内管腔画像から所定の条件を満たす特定候補領域を抽出する特定候補領域抽出ステップと、前記特定候補領域の少なくとも一部を含む基準領域を設定する基準領域設定ステップと、前記基準領域に基づいて局所領域を抽出する局所領域抽出ステップと、前記局所領域の特徴量である局所特徴量を算出する局所特徴量算出ステップと、前記特定候補領域に基づいて、前記局所領域に応じた重みを設定する重み設定ステップと、前記局所特徴量を統合する特徴量統合ステップと、を含むことを特徴とする。【０００９】
本発明に係る画像処理プログラムは、生体内管腔を撮像した生体内管腔画像から所定の条件を満たす特定候補領域を抽出する特定候補領域抽出ステップと、前記特定候補領域の少なくとも一部を含む基準領域を設定する基準領域設定ステップと、前記基準領域に基づいて局所領域を抽出する局所領域抽出ステップと、前記局所領域の特徴量である局所特徴量を算出する局所特徴量算出ステップと、前記特定候補領域に基づいて、前記局所領域に応じた重みを設定する重み設定ステップと、前記局所特徴量を統合する特徴量統合ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、生体内管腔画像内の局所領域に応じた重みを設定し、局所領域の局所特徴量を統合するため、対象を精度よく識別可能な局所特徴量を算出することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。
【図３】図３は、本発明の実施の形態１に係る画像処理装置が備える基準領域設定部が行う基準領域設定処理を模式的に示す図である。
【図４】図４は、本発明の実施の形態１に係る画像処理装置が備える局所領域抽出部が行う局所領域抽出処理を模式的に示す図である。
【図５】図５は、本発明の実施の形態１に係る画像処理装置が備える領域分割部が行う縮小領域抽出処理を模式的に示す図である。
【図６】図６は、本発明の実施の形態１に係る画像処理装置が備える領域分割部が行う分割設定処理を模式的に示す図である。
【図７】図７は、本発明の実施の形態１に係る画像処理装置が算出する代表ベクトルの頻度分布の例を示す図である。
【図８】図８は、図７と同じ代表ベクトルに対して重み係数を乗算しない場合の代表ベクトルの頻度分布の例を示す図である。
【図９】図９は、本発明の実施の形態１の変形例１−３に係る画像処理装置が備える領域分割部が行う距離画像算出処理を模式的に示す図である。
【図１０】図１０は、本発明の実施の形態１の変形例１−３に係る画像処理装置が備える領域分割部が算出した距離画像を模式的に示す図である。
【図１１】図１１は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。
【図１２】図１２は、本発明の実施の形態２に係る画像処理装置が行う処理の概要を示すフローチャートである。
【図１３】図１３は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。
【図１４】図１４は、本発明の実施の形態３に係る画像処理装置が行う処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下に、本発明を実施するための形態（以下、「実施の形態」という）を説明する。
【００１３】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１は、演算部２と、記憶部３とを備える。画像処理装置１は、カプセル内視鏡により撮像された生体内管腔画像から所定の条件を満たす特定領域を検出する機能を有する。生体内管腔画像としては、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像を用いる。
【００１４】
演算部２は、生体内管腔画像から病変部等の異常部位に対応する特定候補領域を抽出する特定候補領域抽出部２１と、特定候補領域を含む基準領域を設定する基準領域設定部２２と、基準領域から局所領域を抽出する局所領域抽出部２３と、抽出された各々の局所領域の特徴量である局所特徴量を算出する局所特徴量算出部２４と、特定候補領域に基づいて局所特徴量の重みを設定する重み設定部２５と、設定された重みを用いて局所特徴量を統合する特徴量統合部２６と、統合した局所特徴量に基づいて特定領域を検出する検出部２７と、を有する。
【００１５】
特定候補領域抽出部２１は、色特徴量および／または形状特徴量に基づいて、生体内管腔画像から病変部等の異常部位に対応する特定候補領域を抽出する。例えば、アフタ、潰瘍等は白色の特定色を示し、出血や発赤は赤色の特定色を示す。また、ポリープおよび腫瘍は円形状の領域であることが多い。特定候補領域抽出部２１は、これらの特定領域の候補となりうる特定候補領域を色特徴量および／または形状特徴量に基づいて抽出する。
【００１６】
まず、特定候補領域抽出部２１が色特徴量に基づいて特定候補領域を抽出する場合を説明する。この場合、特定候補領域抽出部２１は、例えば白色および赤色の色特徴量を有する特定色領域を特定候補領域として抽出する。具体的には、特定候補領域抽出部２１は、事前に収集した特定領域のＲＧＢ各成分の画素値や、それらを基に既に公知の変換により２次的に算出される値、色差（ＹＣｂＣｒ変換）、色相、彩度（ＨＳＩ変換）、色比（Ｇ／Ｒ、Ｂ／Ｇ）等の色特徴量を基に、特定領域の判別基準（色範囲）を決定しておき、記憶部３に記憶させる。そして、特定候補領域抽出部２１は、処理対象の各画素の色特徴量と判別基準とを基に、各画素が特定候補領域であるか否かを判定する。
【００１７】
なお、ここでは事前に作成しておいた判別基準に基づいて特定候補領域を抽出する方法を示したが、画像内より特定色領域を抽出できるものであればいかなる方法を採用してもよく、例えば代表的な色特徴量との特徴空間距離に基づく方法により特定候補領域を抽出するようにしてもよい。また、画素単位の色特徴量を用いる代わりに、画像内のエッジ情報等を基に小領域に分割した後、小領域単位の色特徴量を用いてもよい。
【００１８】
次に、特定候補領域抽出部２１が形状特徴量に基づいて特定候補領域を抽出する場合を説明する。この場合、特定候補領域抽出部２１は、例えば円形状に対応する形状特徴量を有する領域を特定候補領域として抽出する。具体的には、画像内における各画素（輝度値、Ｇ値等）の勾配強度を公知のＳｏｂｅｌやＬａｐｌａｃｉａｎ等により算出する。算出した勾配強度と事前に作成しておいた円形状モデルとの相関値を算出し、相関値が所定の閾値以上となった円形状領域を特定候補領域として抽出する。
【００１９】
なお、ここでは事前に作成しておいた円形状モデルとのパターンマッチングにより特定候補領域を抽出する方法を示したが、画像内より円形状領域を抽出できるものであればいかなる方法を採用してもよく、例えば公知のハフ変換、ＲＡＮＳＡＣ（Random  Sample  Consensus）、ＤＰＭ（Deformable  Part  Model）、ＥＬＳＤ（Ellipse  and  Line  Segment  Detector)等を採用してもよい。
【００２０】
基準領域設定部２２は、特定候補領域に外接する外接矩形領域を抽出し、この外接矩形領域を変形することによって基準領域を設定する。基準領域設定部２２は、基準領域を少なくとも境界領域と内部領域に分割する領域分割部２２１を有する。領域分割部２２１は、特定候補領域に外接する外接矩形領域を縮小して縮小領域を抽出し、この縮小領域に基づいて基準領域を境界領域と内部領域に分割設定する。
【００２１】
局所領域抽出部２３は、基準領域から代表となる画素位置を抽出し、弧の画素位置を中心とする所定領域を局所領域として抽出する。局所領域抽出部２３は、画素位置を等間隔に抽出してもよいしランダムに抽出してもよい。また、局所領域抽出部２３は、例えば画素位置を中心とする所定半径の円形状を局所領域として抽出する。
【００２２】
局所特徴量算出部２４は、局所特徴量として、例えば局所領域内における色特徴量（ＲＧＢ平均値、ＹＣｂＣｒ平均値、ＨＳＩ平均値、Ｇ／Ｒ平均値、Ｂ／Ｇ平均値等）、テクスチャ特徴量（ＬＢＰ：Local  Binary  Pattern、分散、尖度、歪度など）、勾配特徴量（ＨｏＧ：Histograms  of  Oriented  Gradients、ＳＩＦＴ：Scale-invariant  Feature  Transform等）のいずれかを算出する。なお、上述した特徴量はあくまでも一例に過ぎず、他の特徴量を用いることも可能である。
【００２３】
重み設定部２５は、基準領域の分割設定結果に基づいて局所特徴量の重みを設定する。特定領域の境界付近における情報は特定領域を検出する際に重要な情報となる。そこで、重み設定部２５は、局所特徴量を統合する際に境界付近にある局所特徴量の統合比率を高く設定する。
【００２４】
特徴量統合部２６は、局所特徴量に対して設定された重みを基に、例えば上述した公知のＢｏＦを用いて局所特徴量を統合する。
【００２５】
検出部２７は、統合した局所特徴量に基づいて、例えば公知のＳＶＭ（Support  Vector  Machine）等の識別器により、特定領域を検出する（ＳＶＭについては、例えばアドコム・メディア株式会社：コンピュータビジョン最先端ガイド３、ｐ．９５〜１０２を参照）。
【００２６】
演算部２は、ＣＰＵ（Central  Processing  Unit）や各種演算回路等のハードウェアを用いて構成され、記憶部３が記憶する各種プログラムを読み込むことによって画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括して制御する。
【００２７】
記憶部３は、重み設定部２５が設定する重み係数に関する情報を記憶する。記憶部３は、ＲＯＭ（Read  Only  Memory）またはＲＡＭ（Random  Access  Memory）等の各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、またはＣＤ−ＲＯＭ等の情報記録装置およびその読取装置等によって実現される。記憶部３は、画像処理装置１が取得した生体内管腔画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記憶する。具体的には、記憶部３は、本実施の形態に係る画像処理プログラムや、該画像処理において用いられる閾値等の各種パラメータを記憶する。
【００２８】
記憶部３が記憶する画像処理プログラム等の各種プログラムは、コンピュータ読み取り可能な記録媒体に記録することも可能である。また、各種プログラムの記憶部３または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）などによって実現されるものであり、有線、無線を問わない。
【００２９】
以上の構成を有する画像処理装置１は、１つのコンピュータを用いて実現してもよいし、複数のコンピュータを用いて実現してもよい。後者の場合には、通信ネットワークを介してデータの送受信を行いながら、互いに連携して処理を行うようにすることも可能である。なお、ここでいうコンピュータは、汎用のパーソナルコンピュータやサーバ等によって構成することができる。
【００３０】
図２は、画像処理装置１が実行する処理の概要を示すフローチャートである。まず、ステップＳ１において、演算部２は処理対象である生体内管腔画像を取得して記憶部３へ書き込む（ステップＳ１）。
【００３１】
ステップＳ２において、特定候補領域抽出部２１は、色特徴量および／または形状特徴量に基づいて、生体内管腔画像内から特定候補領域を抽出する（ステップＳ２）。このステップＳ２により、例えばアフタ、潰瘍、ポリープ、腫瘍等に対応する特定候補領域が抽出される。
【００３２】
ステップＳ３において、基準領域設定部２２は、特定候補領域を含む基準領域を設定する（ステップＳ３）。図３は、基準領域設定部２２が行う基準領域設定処理を模式的に示す図である。以下、図３を参照して基準領域設定処理の概要を説明する。
まず、基準領域設定部２２は、まず特定候補領域に対してラベリング処理を行う。このラべリング処理として、例えばＣＧ−ＡＲＴＳ協会：ディジタル画像処理、ｐ．１８１〜１８２に記載されている公知のラベリング処理を適用することができる。
続いて、基準領域設定部２２は、特定候補領域１０１の外接矩形領域１０２を抽出する。
この後、基準領域設定部２２は、外接矩形領域１０２をｎ（１．０＜ｎ≦２．０）倍に拡張した拡張領域を基準領域１０３として設定する。このときのｎの値は、例えば特定候補領域１０１の面積に基づいて、
ｎ＝１．０＋（特定候補領域の面積／最大面積）  ・・・（１）
と定義される。ここで最大面積とは、外接矩形領域を設定するための基準となる面積であり、特定候補領域として想定される面積の最大値に相当する。
【００３３】
ステップＳ４において、局所領域抽出部２３は、基準領域から局所領域を抽出する（ステップＳ４）。
まず、局所領域抽出部２３は、基準領域１０３内から等間隔（またはランダム）に画素位置を抽出する。
続いて、局所領域抽出部２３は、図４に示すように、抽出した画素位置を中心とする円形領域を局所領域１０４として抽出する。ここでは、局所領域抽出部２３が基準領域内から等間隔に円形領域を抽出する方法（ＤＥＮＳと呼ばれる）を示したが、他にも公知のＳＩＦＴ（キーポイント検出）を用いて基準領域内から局所領域を抽出するようにしてもよい（例えば、アドコム・メディア株式会社：コンピュータビジョン最先端ガイド２、ｐ．５〜２２を参照）。
【００３４】
ステップＳ５において、局所特徴量算出部２４は、局所領域から局所特徴量を算出する（ステップＳ５）。
【００３５】
ステップＳ６において、領域分割部２２１は、基準領域を境界領域と内部領域に分割設定する（ステップＳ６）。
まず、領域分割部２２１は、図５に示すように、外接矩形領域１０２をｎ（０．５≦ｎ＜１．０）倍した縮小領域１０５を抽出する。このときのｎの値は、例えば特定候補領域１０１の面積に基づいて、
ｎ＝１．０−（特定候補領域の面積／最大面積）×０．５  ・・・（２）
と定義される。
続いて、領域分割部２２１は、図６に示すように、縮小領域１０５を内部領域１０６とし、縮小領域１０５に含まれない基準領域１０３を境界領域１０７に分割設定する。
【００３６】
ステップＳ７において、重み設定部２５は、基準領域の分割設定結果に基づいて局所特徴量の重みを設定する（ステップＳ７）。上述したように、重み設定部２５は、局所特徴量を統合する際に境界付近にある局所特徴量の統合比率を高く設定する。具体的には、重み設定部２５は、記憶部３から所定の重み係数ｋ１（＝境界領域の重み係数）、ｋ２（＝内部領域の重み係数）、ｋ３（＝境界領域、内部領域以外の残りの領域の重み係数）を読み込む。ここで、重み係数ｋ１〜ｋ３は、ｋ１＞ｋ２＞ｋ３かつｋ１＋ｋ２＋ｋ３＝１．０を満たす。また、残りの領域は、基準領域の外側の所定範囲の領域として定められ、例えば基準領域の２〜３倍程度の面積を有する領域として定められる。
【００３７】
ステップＳ８において、特徴量統合部２６は、重み係数ｋ１〜ｋ３を用いて局所特徴量を統合する（ステップＳ８）。具体的には、特徴量統合部２６は、上述したＢｏＦにおける最近傍にある代表ベクトルの頻度分布を算出する際に境界領域、内部領域、残りの領域における代表ベクトルの頻度に重み係数ｋ１〜ｋ３をそれぞれ乗算する。ここで、代表ベクトルは、局所特徴量を特徴量空間でクラスタリングしたときのクラスタに応じて定まるベクトルであり、例えばクラスタの重心に応じて定まるベクトルである。
【００３８】
図７は、このステップＳ８で得られる代表ベクトルの頻度分布の例を示す図である。図８は、図７と同じ代表ベクトルに対して重み係数を乗算しない場合の代表ベクトルの頻度分布の例を示す図である。図７と図８を比較すると、番号１、２の代表ベクトルが最も重み係数が大きく、番号３、４の代表ベクトルが最も重み係数が小さいことがわかる。換言すれば、番号１、２の代表ベクトルが境界領域（重み係数ｋ１）の局所特徴量に対応し、番号５の代表ベクトルが内部領域（重み係数ｋ２）の局所特徴量に対応し、番号３、４の代表ベクトルが残りの領域（重み係数ｋ３）の局所特徴量に対応していることがわかる。このように、本実施の形態１では、重み係数を乗算することによって境界領域の情報を相対的に大きくした局所特徴量を統合することで、特定領域を精度よく抽出することができる。
【００３９】
ステップＳ９において、検出部２７は、統合した局所特徴量に基づいて、特定領域を検出する（ステップＳ９）。具体的には、検出部２７は、上述したように公知のＳＶＭ等の識別器により、特定領域を検出する。
【００４０】
以上説明した本発明の実施の形態１によれば、生体内管腔画像内の局所領域における局所特徴量の重みを設定し、この重みに基づいて局所特徴量を統合するため、対象を精度よく識別可能な局所特徴量を算出することができる。
【００４１】
また、本実施の形態１によれば、特定候補領域の情報に基づいて局所特徴量を統合する際の重みを設定することで、対象を表現するのに必要な局所特徴量が統合した局所特徴量の集合に十分に含まれるようになる。
【００４２】
また、本実施の形態１によれば、基準領域を境界領域と内部領域に分割設定することにより、領域ごとに重みを設定することで、一段と精度良く局所特徴量を算出することができる。特に、境界領域の重みを相対的に大きくすることで、境界領域の情報をより多く取得することができ、局所特徴量の高精度化を実現することができる。
【００４３】
なお、本実施の形態１において、基準領域設定部２２が基準領域を設定した後、領域分割部２２１が基準領域を境界領域と内部領域に分割設定し、重み設定部２５が境界領域、内部領域、残りの領域の順に局所領域の抽出密度（単位面積当たりの局所特徴量の抽出数）が小さくなるように設定してもよい。この場合、局所領域抽出部２３は、設定された抽出密度に応じて分割設定された領域ごとに局所領域をランダムに抽出する。その後、局所特徴量算出部２４が局所特徴量を算出し、特徴量統合部２６が局所特徴量を統合することとなる。このように局所領域の抽出密度を分割した領域に応じて制限した場合には、処理の高速化が実現される。
【００４４】
（変形例１−１）
領域分割部２２１が行う領域分割の別な例（第２例）を説明する。本変形例１−１において、領域分割部２２１は、生体内管腔画像から色情報（色特徴量）を算出し、算出した色情報に基づいて分割設定を行う。
まず、領域分割部２２１は、基準領域内の各画素の色特徴量（ＲＧＢ平均値、ＹＣｂＣｒ平均値、ＨＳＩ平均値、Ｇ／Ｒ平均値、Ｂ／Ｇ平均値等）を算出する。
続いて、領域分割部２２１は、特定候補領域における色特徴量の平均値を算出する。
その後、領域分割部２２１は、特定候補領域と類似した色特徴量を有する領域同士を、公知の領域統合法（例えば、ＣＧ−ＡＲＴＳ協会：ディジタル画像処理、ｐ．１９８を参照）により、類似領域の統合を行う。
最後に、領域分割部２２１は、統合領域を内部領域、統合領域に含まれない基準領域を境界領域に分割設定する。
【００４５】
（変形例１−２）
領域分割部２２１が行う領域分割の別な例（第３例）を説明する。本変形例１−２において、領域分割部２２１は、生体内管腔画像に対して形状の当てはめを行い、当てはめ結果に基づいて分割設定を行う。
まず、領域分割部２２１は、基準領域内の各画素（輝度値、Ｇ値等）の勾配強度を公知のＳｏｂｅｌやＬａｐｌａｃｉａｎ等のフィルタにより算出する。
続いて、領域分割部２２１は、算出した勾配強度と事前に作成しておいた特定形状モデルとの相関値を算出し、相関値が最大となる特定形状領域を抽出する。この特定形状として、例えば円形状を適用することができる。
その後、領域分割部２２１は、抽出した円形状領域を内部領域、内部領域に含まれない基準領域を境界領域に分割設定する。
【００４６】
（変形例１−３）
領域分割部２２１が行う領域分割の別な例（第４例）を説明する。本変形例１−３において、領域分割部２２１は、生体内管腔画像から画素値のプロファイル情報を算出し、このプロファイル情報を基に分割設定を行う。
まず、領域分割部２２１は、図９に示すように、各基準領域について、注目画素が特定候補領域であり、且つ、その隣接画素（８近傍）の何れかが特定候補領域でない場合の注目画素を境界画素１１１とする。
続いて、領域分割部２２１は、図１０に示すように、境界画素からの距離画像を算出する。このとき、領域分割部２２１は、特定候補領域の内側と外側のどちらにあるかに応じて距離値に±の符号を付与する。図１０に示す距離画像１２１の場合、境界画素からの距離が遠いほど白く、近いほど黒くなっている。
その後、領域分割部２２１は、境界画素からの距離が同一となる画素（ＲＧＢ値等）の平均値を算出する。
続いて、領域分割部２２１は、隣接（近傍）距離にある画素平均値の差を算出して、画素値の差が最大になる距離を算出する。
最後に、領域分割部２２１は、基準領域内において、画素値の差が最大になる位置よりも外側を境界領域、内側を内部領域に分割設定する。
【００４７】
以上説明した変形例１−１〜１−３が、実施の形態１と同様の効果を奏することはいうまでもない。
【００４８】
（実施の形態２）
図１１は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置４は、演算部５と、記憶部３とを備える。以下、実施の形態１に係る画像処理装置１の演算部２が有する構成部位と同様の構成部位については、同じ符号を付して説明する。
【００４９】
演算部５は、特定候補領域抽出部２１と、基準領域設定部５１と、局所領域抽出部２３と、局所特徴量算出部２４と、重み設定部５２と、特徴量統合部２６と、検出部２７とを有する。
【００５０】
基準領域設定部５１は、実施の形態１で説明した基準領域設定部２２のように領域分割部２２１を有しない。この点を除く基準領域設定部５１の機能は、基準領域設定部２２と同様である。
【００５１】
重み設定部５２は、特定候補領域と類似した３次元的な奥行き位置にある粘膜領域をその位置までの奥行き距離に基づいて抽出することにより、局所領域の特性を算出する領域特性算出部５２１を有する。
【００５２】
図１２は、画像処理装置４が行う処理の概要を示すフローチャートである。ステップＳ１１〜Ｓ１５の処理は、図２におけるステップＳ１〜Ｓ５とそれぞれ同様である。
【００５３】
ステップＳ１６において、領域特性算出部５２１は、局所領域の特性を算出する（ステップＳ１６）。以下、領域特性算出部５２１の処理を詳細に説明する。
まず、領域特性算出部５２１は、生体内で吸収、散乱し難い波長成分であるＲ成分の値を３次元的な奥行き距離として算出する。なお、画像内の奥行き距離を他の方法で算出してもよい。
続いて、領域特性算出部５２１は、特定候補領域の距離平均値を算出する。
その後、領域特性算出部５２１は、特定候補領域の距離平均値と対応する局所領域の距離平均値の差分絶対値を算出する。
最後に、領域特性算出部５２１は、差分絶対値が所定値以下となる局所領域については、類似した奥行き位置にあると判定する。
【００５４】
ステップＳ１７において、重み設定部５２は、局所特徴量の重みを局所特徴量の特性に基づいて設定する（ステップＳ１７）。重み設定部５２は、対応する特定候補領域と類似した奥行き位置にある局所特徴量の統合比率を大きく設定する。具体的には、重み設定部５２は、記憶部３から所定の重み係数ｋ１１（＝類似した奥行き位置にある局所特徴量の重み）、ｋ１２（＝類似した奥行き位置にない局所特徴量の重み）を読み込む。ここで、重み係数ｋ１１、ｋ１２は、ｋ１１＞ｋ１２かつｋ１１＋ｋ１２＝１．０を満たす。
【００５５】
ステップＳ１８、Ｓ１９の処理は、図２におけるステップＳ８、Ｓ９とそれぞれ同様である。
【００５６】
以上説明した本発明の実施の形態２によれば、生体内管腔画像内の局所領域における局所特徴量の重みを設定し、この重みに基づいて局所特徴量を統合するため、対象を精度よく識別可能な局所特徴量を算出することができる。
【００５７】
また、本実施の形態２によれば、局所特徴量の特性に応じて重みを設定するため、一段と精度良く局所特徴量を算出することができる。特に、特定候補領域と類似した奥行き位置にある粘膜領域の重みを相対的に大きくすることで、局所特徴量の高精度化を実現することができる。
【００５８】
なお、本実施の形態２において、領域特性算出部５２１が、特開２００８−２７８９６５号公報に開示されている方法などを用いて、特定候補領域が存在する臓器の種類を判定してもよい。この場合、重み設定部５２は、検査対象の臓器について局所特徴量の抽出密度を高く設定するなど、臓器種類に応じて重みを決定すればよい。
【００５９】
また、本実施の形態２において、領域特性算出部５２１は、特定候補領域の種類を判定してもよい。この場合、重み設定部５２は、検出が難しいびらん、潰瘍、アフタ、ポリープ等の特定候補領域の抽出密度を高く設定する一方、検出が容易な出血等の特定候補領域の抽出密度を低く設定するなど、特定候補領域の種類に応じて重みを決定すればよい。なお、事前に収集しておいた、びらん、潰瘍、アフタ、ポリープ、出血等のＲ、Ｇ、Ｂ各成分の画素値や、それらの画素値を基に公知の変換により２次的に算出される特徴量に基づいて判別基準を決定しておき、この判別基準に基づいて特定候補領域の種類を判定するようにしてもよい。
【００６０】
（変形例２−１）
領域特性算出部５２１が行う領域特性算出処理の別な例（第２例）を説明する。
まず、領域特性算出部５２１は、公知の動的輪郭抽出方法（例えば、特開２０１２−４５０５７号公報、特開２０１２−４５０５５号公報を参照）に基づいて、溝や輪郭を含まず、溝や輪郭の内側に入り込まない閉領域に分割する方法により、同一の粘膜領域を抽出する。
この後、領域特性算出部５２１は、特定候補領域と対応する局所領域が同一の粘膜領域であるか否かを判定する。
【００６１】
本変形例２−１の場合、重み設定部５２は、対応する特定候補領域と同一の粘膜領域にある局所特徴量の統合比率を大きく設定する。具体的には、重み設定部５２は、記憶部３から所定の重み係数ｋ２１（＝同一の粘膜領域にある局所特徴量の重み）、ｋ２２（＝同一の粘膜領域にない局所特徴量の重み）を読み込む。ここで、重み係数ｋ２１、ｋ２２は、ｋ２１＞ｋ２２かつｋ２１＋ｋ２２＝１．０を満たす。
【００６２】
（変形例２−２）
領域特性算出部５２１が行う領域特性算出処理の別な例（第３例）を説明する。
まず、領域特性算出部５２１は、局所領域内の色特徴量（ＹＣｂＣｒ平均値、ＨＳＩ平均値、Ｇ／Ｒ平均値等）を算出する。
この後、領域特性算出部５２１は、特定候補領域抽出部２１による特定候補領域抽出処理と同様に、事前に作成しておいた判別基準に基づいて、赤色および白色が強い領域を抽出する。
【００６３】
この場合、重み設定部５２は、赤色、または白色の強い領域にある局所特徴量の統合比率を大きく設定する。具体的には、重み設定部５２は、記憶部３から所定の重み係数ｋ３１（＝赤色、または白色の強い領域にある局所特徴量の重み）、ｋ３２（＝赤色、または白色の強い領域にない局所特徴量の重み）を読み込む。ここで、重み係数ｋ３１、ｋ３２は、ｋ３１＞ｋ３２かつｋ３１＋ｋ３２＝１．０を満たす。
【００６４】
（変形例２−３）
領域特性算出部５２１が行う領域特性算出処理の別な例（第４例）を説明する。
まず、領域特性算出部５２１は、局所領域内のテクスチャ特徴量（ＬＢＰ、分散、尖度、歪度等）を算出する。
この後、領域特性算出部５２１は、特定候補領域抽出部２１による特定候補領域抽出処理と同様に、事前に作成しておいた判別基準に基づいて、粘膜表面の凹凸変化が顕著な領域を抽出する。
【００６５】
この場合、重み設定部５２は、粘膜表面の凹凸変化が顕著な領域にある局所特徴量の統合比率を大きく設定する。具体的には、重み設定部５２は、記憶部３から所定の重み係数ｋ４１（＝粘膜表面の凹凸変化が顕著な領域にある局所特徴量の重み）、ｋ４２（＝粘膜表面の凹凸変化が顕著な領域にない局所特徴量の重み）を読み込む。ここで、重み係数ｋ４１、ｋ４２は、ｋ４１＞ｋ４２かつｋ４１＋ｋ４２＝１．０を満たす。
【００６６】
以上説明した変形例２−１〜２−３が、実施の形態２と同様の効果を奏することはいうまでもない。
【００６７】
（実施の形態３）
図１３は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置６は、演算部７と、記憶部３とを備える。以下、実施の形態１に係る画像処理装置１の演算部２が有する構成部位と同様の構成部位については、同じ符号を付して説明する。
【００６８】
演算部５は、特定候補領域抽出部２１と、基準領域設定部５１と、局所領域抽出部７１と、局所特徴量算出部２４と、重み設定部２５と、特徴量統合部２６と、検出部２７とを有する。
【００６９】
局所領域抽出部７１は、基準領域の色情報を算出し、算出した色情報に基づいて局所領域を抽出する。
【００７０】
図１４は、画像処理装置６が行う処理の概要を示すフローチャートである。ステップＳ２１〜Ｓ２３の処理は、図２におけるステップＳ１〜Ｓ３の処理とそれぞれ同様である。
【００７１】
ステップＳ２４において、局所領域抽出部７１は、基準領域から局所領域を抽出する（ステップＳ２４）。以下、局所領域抽出部７１が行う局所領域抽出処理の概要を説明する。
まず、局所領域抽出部７１は、基準領域内の各画素の輝度値を算出する。
続いて、局所特徴量算出部２４は、Ｓｏｂｅｌ、Ｌａｐｌａｃｉａｎ等のフィルタにより、輝度値の勾配情報を算出する。
その後、局所領域抽出部７１は、勾配情報に基づいて公知の分水嶺法等により、基準領域を小領域に分割する。
局所領域抽出部７１は、小領域の色特徴量（ＲＧＢ平均値、ＹＣｂＣｒ平均値、ＨＳＩ平均値、Ｇ／Ｒ平均値、Ｂ／Ｇ平均値等）を算出する。
最後に、局所領域抽出部７１は、小領域について、類似した色特徴量を持つ領域同士を統合し、統合した領域を局所領域として抽出する。ここでは、上述した公知の領域統合法により類似領域の統合を行うが、類似領域に分割できれば、どの方法を用いてもよい。
【００７２】
ステップＳ２５〜Ｓ２８は、図２におけるステップＳ５、Ｓ７〜Ｓ９に順次対応している。本実施の形態３では、基準領域を境界領域と内部領域に分割設定する必要はない。
【００７３】
以上説明した本発明の実施の形態３によれば、生体内管腔画像内の局所領域における局所特徴量の重みを設定し、この重みに基づいて局所特徴量を統合するため、対象を精度よく識別可能な局所特徴量を算出することができる。
【００７４】
また、本実施の形態３によれば、基準領域の画像の特徴量を算出し、該特徴量に基づいて局所領域を抽出するため、局所領域を精度良く抽出することができる。その結果、高精度な局所特徴量を得ることができる。
【００７５】
なお、局所領域抽出部７１が小領域の色特徴量を算出する代わりに、小領域のテクスチャ特徴量（ＬＢＰ、分散、尖度、歪度等）を算出し、算出したテクスチャ情報に基づいて局所領域を抽出してもよい。この場合、局所領域抽出部７１は、類似したテクスチャ特徴量を持つ領域同士を統合し、統合した領域を局所領域として抽出する。
【００７６】
（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１〜３によってのみ限定されるべきものではない。例えば、実施の形態１において、基準領域設定部２２は、上記式（１）にしたがって特定候補領域を拡張することによって基準領域を設定したが、特定候補領域を縮小することによって基準領域を設定してもよい。      
【００７７】
また、特徴量統合部２６が統合した局所特徴量を用いることにより、学習用データを作成することも可能である。
【００７８】
このように、本発明はここでは記載していない様々な実施の形態等を含み得るものである。
【符号の説明】
【００７９】
１、４、６  画像処理装置
２、５、７  演算部
３  記憶部
２１  特定候補領域抽出部
２２、５１  基準領域設定部
２３、７１  局所領域抽出部
２４  局所特徴量算出部
２５、５２  重み設定部
２６  特徴量統合部
２７  検出部
１０１  特定候補領域
１０２  外接矩形領域
１０３  基準領域
１０４  局所領域
１０５  縮小領域
１０６  内部領域
１０７  境界領域
１１１  境界画素
１２１  距離画像
２２１  領域分割部
５２１  領域特性算出部
【図１】
2016117018.tif 000003
【図２】
2016117018.tif 000004
【図３】
2016117018.tif 000005
【図４】
2016117018.tif 000006
【図５】
2016117018.tif 000007
【図６】
2016117018.tif 000008
【図７】
2016117018.tif 000009
【図８】
2016117018.tif 000010
【図９】
2016117018.tif 000011
【図１０】
2016117018.tif 000012
【図１１】
2016117018.tif 000013
【図１２】
2016117018.tif 000014
【図１３】
2016117018.tif 000015
【図１４】
2016117018.tif 000016
【国際調査報告】
2016117018.tif 000017
2016117018.tif 000018
2016117018.tif 000019
2016117018.tif 000020
2016117018.tif 000021
2016117018.tif 000022