(57)【要約】【課題】様々な被検者の消化管内画像に対して安定的に粘膜領域を判別することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供すること。【解決手段】本発明のある実施形態において、画像選択部１７は、被検者の消化管内を撮像した一連の消化管内画像を構成する各画像の中から複数の画像を選択する。特徴量算出部１６は、選択された各画像内の小領域毎の色特徴量を算出する。データ群推定部１８は、小領域毎の色特徴量のデータ分布をもとに、腸粘膜を示すデータ群および内容物を示すデータ群を推定する。判別境界設定部１９は、推定されたデータ群をもとに粘膜と内容物との色特徴量の判別境界を設定する。粘膜領域判別部２０は、設定された判別境界を用いて一連の消化管内画像を構成する各画像内の粘膜領域を判別する。【選択図】図３
2010115413.tif 000002
【特許請求の範囲】
【請求項１】
消化管内を移動する撮像機によって撮像された一連の消化管内画像を処理する画像処理装置であって、
前記一連の消化管内画像を構成する各画像の中から複数の画像を選択する画像選択部と、
前記選択された各画像内の画素毎または小領域毎の色特徴量を算出する特徴量算出部と、
前記画素毎または小領域毎の色特徴量のデータ分布をもとに、粘膜を示すデータ群および内容物を示すデータ群を推定するデータ群推定部と、
前記推定されたデータ群をもとに粘膜と内容物との色特徴量の判別境界を設定する判別境界設定部と、
前記設定された粘膜と内容物との色特徴量の判別境界を用いて前記一連の消化管内画像を構成する各画像内の粘膜領域を判別する粘膜領域判別部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記データ群推定部は、前記色特徴量のデータ分布をクラスタリングするクラスタリング部を備え、前記クラスタリング部によってクラスタリングされたクラスタの中から、データ数が最多となるクラスタを前記粘膜を示すデータ群と推定するとともに、色特徴空間において前記データ数が最多となるクラスタとの相対位置が所定範囲に存在するクラスタを前記内容物を示すデータ群と推定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判別境界設定部は、前記データ群推定部によって推定されたデータ群の色特徴空間におけるヒストグラムの双峰性を判定する双峰性判定部を備え、前記双峰性判定部による判定結果に応じた設定処理を行って、前記粘膜と内容物との色特徴量の判別境界を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記判別境界設定部は、前記双峰性判定部によって前記ヒストグラムの双峰性が高いと判定された場合に、前記設定処理として、前記ヒストグラムの谷の位置を前記粘膜と内容物との色特徴量の判別境界に設定する処理を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記判別境界設定部は、前記双峰性判定部によって前記ヒストグラムの双峰性が低いと判定された場合に、前記設定処理として、前記ヒストグラムの代表値と該代表値に対するデータのばらつき情報とをもとに前記粘膜と内容物との色特徴量の判別境界を設定する処理を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記データ群推定部は、前記粘膜を示すデータ群として、腸粘膜を示すデータ群を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像選択部は、前記一連の消化管内画像のうち、前記消化管内を移動する撮像機が胃を通過する平均通過時間以後に撮像された画像の中から複数の画像を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記画像選択部は、前記一連の消化管内画像において、前記消化管内を移動する撮像機が小腸を通過する平均通過時間以前に撮像された画像の中から複数の画像を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記色特徴量は、色相であることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記特徴量算出部は、前記一連の消化管内画像を構成する各画像内を小領域に分割する領域分割部を備え、前記領域分割部によって分割された小領域毎に色特徴量を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
コンピュータに、消化管内を移動する撮像機によって撮像された一連の消化管内画像を処理させるための画像処理プログラムであって、
前記一連の消化管内画像を構成する各画像の中から複数の画像を選択する画像選択ステップと、
前記選択された各画像内の画素毎または小領域毎の色特徴量を算出する特徴量算出ステップと、
前記画素毎または小領域毎の色特徴量のデータ分布をもとに、粘膜を示すデータ群および内容物を示すデータ群を推定するデータ群推定ステップと、
前記推定されたデータ群をもとに粘膜と内容物との色特徴量の判別境界を設定する判別境界設定ステップと、
前記設定された粘膜と内容物との色特徴量の判別境界を用いて前記一連の消化管内画像を構成する各画像内の粘膜領域を判別する粘膜領域判別ステップと、
を前記コンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１２】
消化管内を移動する撮像機によって撮像された一連の消化管内画像を処理する画像処理方法であって、
前記一連の消化管内画像を構成する各画像の中から複数の画像を選択する画像選択工程と、
前記選択された各画像内の画素毎または小領域毎の色特徴量を算出する特徴量算出工程と、
前記画素毎または小領域毎の色特徴量のデータ分布をもとに、粘膜を示すデータ群および内容物を示すデータ群を推定するデータ群推定工程と、
前記推定されたデータ群をもとに粘膜と内容物との色特徴量の判別境界を設定する判別境界設定工程と、
前記設定された粘膜と内容物との色特徴量の判別境界を用いて前記一連の消化管内画像を構成する各画像内の粘膜領域を判別する粘膜領域判別工程と、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、消化管内を移動する撮像機によって撮像された一連の消化管内画像を処理する画像処理装置、画像処理プログラムおよび画像処理方法に関する。
【背景技術】
【０００２】
近年、消化管内の検査のため、カプセル内視鏡のように、一連の消化管内画像を撮像可能な消化管内通過型の撮像機が開発されている。カプセル内視鏡は、口から飲み込まれた後、消化管内を蠕動運動等により運ばれながら所定の撮像レートで順次画像を撮像して体外受信機に送信し、最終的に体外に排出される。撮像される一連の消化管内画像の枚数は、撮像レート（約２〜４frame/sec）×カプセル内視鏡の体内滞在時間（約８hours＝８×６０×６０sec）で概ね示され、数万枚以上になる。医師は、これら体外受信機に記録された大量の画像を診断用のワークステーション等で確認するために、多くの時間を費やしている。このため、医師による画像の確認作業を効率化するための技術が強く望まれている。
【０００３】
例えば、特許文献１には、カプセル内視鏡によって撮像される大量の消化管内画像から、粘膜が殆ど映らない観察不要な画像等を除外するために、画像内の粘膜領域や、便等の内容物が映る領域を判別する方法が示されている。具体的には、画像内の各画素を、その色情報に基づく特徴空間（atan（g/r），atan（b/r）等）に写像する。そして、予め求めておいた粘膜領域や内容物の領域に属する画素（教師データ）の特徴空間内での分布範囲と比較することによって、画像内の各画素がどの領域の範囲に属する画素か判別し、粘膜領域等を判別している。
【０００４】
【特許文献１】特開２００６−１２２５０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１では、事前に用意した教師データの色情報を用いて粘膜領域を判別している。ところで、消化管内画像のように、撮像対象が生体である場合、被検者の個人差によって対象の色情報は大きく変動する。例えば、粘膜や内容物の色は、それぞれ血液や胆汁の吸光特性に基づいており、粘膜は内容物より赤系の色、内容物は粘膜より黄系の色となるが、双方を判別するための境界は、被検者によって大きく異なる。また、撮像機に製造ばらつき等がある場合、この色変動は更に大きなものとなる。このため、事前に用意した教師データによる基準を用いて粘膜領域の判別を行う従来の方法では、様々な被検者の消化管内画像から安定的に粘膜領域を判別することが難しいという問題があった。
【０００６】
本発明は、上記に鑑み為されたものであって、様々な被検者の消化管内画像に対して安定的に粘膜領域を判別することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、消化管内を移動する撮像機によって撮像された一連の消化管内画像を処理する画像処理装置であって、前記一連の消化管内画像を構成する各画像の中から複数の画像を選択する画像選択部と、前記選択された各画像内の画素毎または小領域毎の色特徴量を算出する特徴量算出部と、前記画素毎または小領域毎の色特徴量のデータ分布をもとに、粘膜を示すデータ群および内容物を示すデータ群を推定するデータ群推定部と、前記推定されたデータ群をもとに粘膜と内容物との色特徴量の判別境界を設定する判別境界設定部と、前記設定された粘膜と内容物との色特徴量の判別境界を用いて前記一連の消化管内画像を構成する各画像内の粘膜領域を判別する粘膜領域判別部と、を備えることを特徴とする。
【０００８】
この態様にかかる画像処理装置によれば、消化管内を移動する撮像機によって撮像された一連の消化管内画像の中から複数の画像を選択し、選択した各画像内の画素毎または小領域毎の色特徴量のデータ分布をもとに、粘膜および内容物を示すデータ群を推定することができる。そして、推定したデータ群をもとに粘膜と内容物との色特徴量の判別境界を適応的に設定し、この判別境界を用いて一連の消化管内画像を構成する各画像内の粘膜領域を判別することができる。したがって、様々な被検者の消化管内を撮像した一連の消化管内画像に対して、安定的に粘膜領域を判別することができる。
【０００９】
また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、消化管内を移動する撮像機によって撮像された一連の消化管内画像を処理させるための画像処理プログラムであって、前記一連の消化管内画像を構成する各画像の中から複数の画像を選択する画像選択ステップと、前記選択された各画像内の画素毎または小領域毎の色特徴量を算出する特徴量算出ステップと、前記画素毎または小領域毎の色特徴量のデータ分布をもとに、粘膜を示すデータ群および内容物を示すデータ群を推定するデータ群推定ステップと、前記推定されたデータ群をもとに粘膜と内容物との色特徴量の判別境界を設定する判別境界設定ステップと、前記設定された粘膜と内容物との色特徴量の判別境界を用いて前記一連の消化管内画像を構成する各画像内の粘膜領域を判別する粘膜領域判別ステップと、を前記コンピュータに実行させることを特徴とする。
【００１０】
また、本発明の別の態様にかかる画像処理方法は、消化管内を移動する撮像機によって撮像された一連の消化管内画像を処理する画像処理方法であって、前記一連の消化管内画像を構成する各画像の中から複数の画像を選択する画像選択工程と、前記選択された各画像内の画素毎または小領域毎の色特徴量を算出する特徴量算出工程と、前記画素毎または小領域毎の色特徴量のデータ分布をもとに、粘膜を示すデータ群および内容物を示すデータ群を推定するデータ群推定工程と、前記推定されたデータ群をもとに粘膜と内容物との色特徴量の判別境界を設定する判別境界設定工程と、前記設定された粘膜と内容物との色特徴量の判別境界を用いて前記一連の消化管内画像を構成する各画像内の粘膜領域を判別する粘膜領域判別工程と、を含むことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、様々な被検者の消化管内を撮像した一連の消化管内画像に対して、安定的に粘膜領域を判別することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、撮像機の一例として消化管内を移動するカプセル内視鏡を用い、このカプセル内視鏡が被検者の消化管内を移動しながら連続的に撮像した一連の消化管内画像を処理する画像処理装置について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１３】
（実施の形態）
図１は、本実施の形態の画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。図１に示すように、画像処理システムは、被検者１内部の画像（消化管内画像）を撮像するカプセル内視鏡３、カプセル内視鏡３から無線送信される消化管内画像を受信する受信装置５、受信装置５によって受信された消化管内画像をもとに、カプセル内視鏡３によって撮像された消化管内画像を処理して表示する画像処理装置１０等で構成される。受信装置５と画像処理装置１０との間の画像データの受け渡しには、例えば可搬型の記録媒体（可搬型記録媒体）７が使用される。
【００１４】
カプセル内視鏡３は、撮像機能や無線機能等を具備するものであって、被検者１の口から飲み込まれて被検者１内部に導入され、消化管内を移動しながら逐次消化管内画像を撮像する。そして、撮像した消化管内画像を体外に無線送信する。
【００１５】
受信装置５は、被検者１内におけるカプセル内視鏡３の通過経路に対応する体表上の位置に分散配置される受信用アンテナＡ１〜Ａｎを備える。そして、受信装置５は、各受信用アンテナＡ１〜Ａｎを介してカプセル内視鏡３から無線送信される画像データを受信する。この受信装置５は、可搬型記録媒体７の着脱が自在に構成されており、受信した画像データを可搬型記録媒体７に逐次保存する。このようにして、カプセル内視鏡３が被検者１内部を撮像した一連の消化管内画像は、受信装置５によって時系列順に可搬型記録媒体７に蓄積され、保存される。
【００１６】
画像処理装置１０は、カプセル内視鏡３によって撮像された一連の消化管内画像を医師等が観察・診断するためのものであり、ワークステーションやパソコン等の汎用コンピュータで実現される。この画像処理装置１０は、可搬型記録媒体７の着脱が自在に構成されており、可搬型記録媒体７に保存された一連の消化管内画像を処理し、例えばＬＣＤやＥＬディスプレイ等のディスプレイに時系列順に順次表示する。
【００１７】
図２は、カプセル内視鏡３によって撮像され、画像処理装置１０によって処理される１枚の消化管内画像の一例を示す模式図である。一連の消化管内画像を構成する各画像には、粘膜３１を主として、時に内容物３３や泡３５、病変３７等が映る。実施の形態の画像処理装置１０は、一連の消化管画像を処理して各画像内の粘膜が映る領域（以下、「粘膜領域」と呼ぶ。）を判別する。なお、カプセル内視鏡３によって撮像される消化管内画像は、通常、各画素位置においてＲ（赤），Ｇ（緑），Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。
【００１８】
図３は、実施の形態の画像処理装置１０の機能構成を説明するブロック図である。本実施の形態では、画像処理装置１０は、画像取得部１１と、入力部１２と、表示部１３と、記憶部１４と、演算部１５と、装置各部を制御する制御部２１とを備える。
【００１９】
画像取得部１１は、カプセル内視鏡３によって撮像されて受信装置５によって可搬型記録媒体７に保存された一連の消化管内画像を取得するものであり、例えば、可搬型記録媒体７を着脱自在に装着し、装着した可搬型記録媒体７に蓄積された消化管内画像の画像データを読み出して取得する。この画像取得部１１は、例えば、可搬型記録媒体７の種類に応じた読み書き装置によって実現される。なお、カプセル内視鏡３によって撮像された一連の消化管内画像の取得は、可搬型記録媒体７を用いた構成に限定されるものではなく、例えば、画像取得部１１の代わりにハードディスクを備える構成とし、ハードディスク内にカプセル内視鏡３によって撮像された一連の消化管内画像を予め保存しておく構成としてもよい。あるいは、可搬型記録媒体７の代わりに別途サーバを設置し、このサーバに一連の消化管内画像を予め保存しておく構成としてもよい。この場合には、画像取得部１１を、サーバと接続するための通信装置等で構成し、この画像取得部１１を介してサーバに接続して、サーバから消化管内画像を取得する。
【００２０】
入力部１２は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部２１に出力する。表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現されるものであり、制御部２１の制御によって、消化管内画像の表示画面を含む各種画面を表示する。
【００２１】
記憶部１４は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記録媒体およびその読取装置等によって実現されるものである。この記憶部１４には、画像処理装置１０を動作させ、この画像処理装置１０が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。また、一連の消化管内画像を構成する各画像内の粘膜領域を判別するための画像処理プログラム１４１が格納される。
【００２２】
演算部１５は、ＣＰＵ等のハードウェアによって実現され、画像取得部１１によって取得される一連の消化管内画像を処理し、各画像内の粘膜領域を判別するための種々の演算処理を行う。この演算部１５は、特徴量算出部１６と、画像選択部１７と、データ群推定部１８と、判別境界設定部１９と、粘膜領域判別部２０とを備える。
【００２３】
特徴量算出部１６は、一連の消化管内画像において、各画像内の画素または小領域の色特徴量を算出する。この特徴量算出部１６は、領域分割部１６１を備える。領域分割部１６１は、各画像内を小領域に分割する。画像選択部１７は、一連の消化管内画像を構成する各画像の中から複数の画像を選択する。データ群推定部１８は、画像選択部１７が選択した画像内の画素または小領域の色特徴量データ分布をもとに、粘膜（本実施の形態では腸粘膜）および内容物を示すデータ群を推定する。このデータ群推定部１８は、クラスタリング部１８１を備える。クラスタリング部１８１は、色特徴量データ分布をクラスタリングする。判別境界設定部１９は、データ群推定部１８が推定したデータ群をもとに、粘膜と内容物との色特徴量の判別境界を設定する。この判別境界設定部１９は、双峰性判定部１９１を備える。双峰性判定部１９１は、データ群推定部１８が推定したデータ群の色特徴空間におけるヒストグラムの双峰性を判定する。粘膜領域判別部２０は、判別境界設定部１９が設定した判別境界をもとに、一連の消化管内画像を構成する各画像内の粘膜領域を判別する。
【００２４】
制御部２１は、ＣＰＵ等のハードウェアによって実現される。この制御部２１は、画像取得部１１から入力される画像データや入力部１２から入力される操作信号、記憶部１４に格納されるプログラムやデータ等に基づいて画像処理装置１０を構成する各部への指示やデータの転送等を行い、画像処理装置１０全体の動作を統括的に制御する。
【００２５】
図４は、実施の形態の画像処理装置１０が行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部１５が記憶部１４に格納された画像処理プログラム１４１を実行することにより実現される。
【００２６】
図４に示すように、先ず演算部１５が、一連の消化管内画像を取得する（ステップｓ１）。ここでの処理によって、演算部１５は、画像取得部１１が可搬型記録媒体７から読み出して取得した一連の消化管内画像を構成する各画像の画像データを制御部２１を介して取得する。また、取得された各画像の画像データは、その時系列順序を示す画像番号とともに記憶部１４に記憶され、任意の画像番号の画像データを読み込み可能な状態となる。
【００２７】
続いて、画像選択部１７が、一連の消化管内画像の各画像のうちの、胃の平均通過時間から小腸の平均通過時間までの間に撮像された画像の中から複数の画像（選択画像）を選択する（ステップｓ３）。一連の消化管内画像の各画像には、カプセル内視鏡３が飲込まれてから通過する口腔、食道、胃、小腸、大腸の画像が順に映る。ここで、口腔、食道は速やかに通過するため画像の枚数は少ない。このため、胃、小腸、大腸の画像が大半となり、通常、最長の臓器である小腸の画像が最も多い。ただし、カプセル内視鏡３が胃と小腸の間の幽門を通過せずに胃で滞留を続けることにより胃の粘膜の画像が増えたり、大腸内を内容物（食物残渣）とゆっくり通過することによって大腸内での内容物の画像が増えたりする場合もある。後述する処理では、消化管内の腸粘膜の色特徴量データを推定するが、この推定では腸粘膜がより多く映る画像を必要とする。すなわち、胃粘膜の画像や大腸内の内容物の画像は少ない方がよい。そこで、腸粘膜がより多く映る画像を選択するために、カプセル内視鏡３が飲み込まれた後、胃を通過する平均通過時間（約４０分）から、小腸を通過する平均通過時間（約５時間）までの間に撮像された画像の中から、所定間隔（例えば５００枚毎）に、画像を選択する。
【００２８】
なお、前述の通り、一連の消化管画像には、基本的には小腸内が最も多く映るため、区間を限定せずに一連の消化管内画像の全区間から所定間隔で画像を選択してもよい。また、カプセル内視鏡３が胃を通過する平均通過時間以後に撮像された画像の中から例えば所定間隔で画像を選択することとしてもよい。あるいは、カプセル内視鏡３が小腸を通過する平均通過時間以前に撮像された画像の中から所定間隔で画像を選択してもよい。また、事前の情報として患者の胃摘出情報やカプセル内視鏡３の体内滞在時間等を得て、これらをもとに区間を限定して選択してもよい。例えば、胃が摘出されている場合であれば胃の平均通過時間分ずらした区間に限定して選択したり、カプセル内視鏡３の体内滞在時間のＸ％〜Ｙ％の区間に限定して選択する等、適宜の手法を採用して画像を選択してよい。
【００２９】
続いて、領域分割部１６１が、ステップｓ３で選択された複数の各選択画像内を、エッジに基づき小領域に分割する（ステップｓ５）。具体的には、以下に示す１枚の選択画像に対する処理を各選択画像に対して行い、全ての選択画像を小領域に分割する。
【００３０】
１枚の選択画像に対する処理の手順としては、先ず、選択画像のＧ成分からなるＧ成分画像を生成する。ここで、Ｇ成分を用いるのは、血液の吸光帯域に近いことから、粘膜の構造や内容物との境界等、消化管内画像の構造情報をよく表すためである。なお、他の色成分、あるいは既に公知の変換処理によって２次的に算出される例えば輝度や色差（ＹＣｂＣｒ変換）、色相、彩度、明度（ＨＳＩ変換）、色比等を用いてもよい。そして、このG成分画像を、既に公知である１次微分フィルタ（プリューウィットフィルタ、ソーベルフィルタ等）や、２次微分フィルタ（ラプラシアンフィルタ、ＬＯＧ（Laplacian of Gaussian）フィルタ等）によって空間フィルタリングし、エッジ抽出画像を得る（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１１４Ｐ、エッジ抽出）。
【００３１】
次いで、エッジ抽出画像をもとに画像内を小領域に分割するが、エッジ抽出画像に基づく画像分割の手法としては、例えばＷＯ２００６／０８０２３９に開示されている手法を用いることができる。手順を簡単に説明すると、先ず、エッジ抽出画像に対し、必要に応じてノイズ除去を目的とする平滑化処理を行う。その後、エッジ抽出画像の各画素における画素値の勾配方向を求める。このとき、勾配方向は、近傍画素との画素値の差が最小（負の値が最大）となる方向とする。次に、前記各画素が画素値の勾配方向に沿って到達する極値画素を求め、隣接する極値画素に到達した各画素が同一の領域となるように画像を分割する。以上により、画像内をエッジに基づき小領域に分割することができる。
【００３２】
なお、他の分割の方法として、分水嶺（watershed）アルゴリズム（参考：Luc Vincent and Pierre Soille. Watersheds in digital spaces:An efficient algorithm based on immersion simulations. Transactionson Pattern Analysis and Machine Intelligence，Vol.13，No.6，pp.583-598，June 1991.）を用いることとしてもよい。分水嶺アルゴリズムは、画像の画素値情報を高度とみなした地形において水を満たしていく際に、異なるくぼみに溜まる水の間で境界ができるように画像を分割する方法である。このため、エッジ抽出画像に対し、適当な平滑化を行った後で分水嶺アルゴリズムを実行することによって、ＷＯ２００６／０８０２３９に開示されている方法と同等の画像分割結果が得られる。
【００３３】
なお、ここでは、孤立的な画素ノイズによる影響を軽減する目的や、粘膜や内容物の境界に沿った領域分割により後段で精度の高いデータを得る目的等により、エッジに基づく小領域に分割する方法を示したが、所定サイズの矩形の小領域に画像を分割する方法でもよい。この場合には、エッジの抽出やエッジに基づく領域分割が不要となり、処理時間が短縮できる。また、全く領域分割を行わず、画素単位で後段の特徴量算出部１６の処理を行ってもよい。この場合には領域分割部１６１が不要となり、装置構成が簡略化できる。
【００３４】
続いて、図４に示すように、特徴量算出部１６が、各小領域の色相平均値を算出する（ステップｓ７）。手順としては、小領域内の各画素のＲ，Ｇ，Ｂ値をもとに小領域内のＲ，Ｇ，Ｂ平均値を算出する。そして、これらＲ，Ｇ，Ｂ平均値をもとに、既に公知のＨＳＩ変換（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，６４Ｐ，ＨＳＩ変換と逆変換）によって、小領域の色相平均値を算出する。ここで、色相平均値を算出するのは、粘膜や内容物が、その成分である血液や胆汁等の吸光特性の違いから、色相等の色特徴量によってある程度判別できるためである。基本的に、赤系の色相から黄系の色相に向かって、胃粘膜、腸粘膜、内容物の順となる。小領域に対する色相平均値の算出は、全ての選択画像の各小領域に対して行う。
【００３５】
なお、ここでは、小領域のＲ，Ｇ，Ｂ平均値をもとにＨＳＩ変換を行い、小領域の色相平均値を算出する方法を示したが、小領域内の各画素のＲ，Ｇ，Ｂの値をもとにＨＳＩ変換を行い、各画素の色相を算出した後、これらの値をもとに小領域内の色相平均値を算出してもよい。また色相以外の色特徴量、例えば、色差、色比等の平均値を算出してもよい。
【００３６】
続いて、クラスタリング部１８１が、ステップｓ７で各選択画像内の各小領域それぞれについて算出した色相平均値のデータ分布をクラスタリングする（ステップｓ９）。クラスタリングは、特徴空間内のデータ分布を、データ間の類似性をもとにクラスタと呼ばれる塊に分ける手法であり、例えば階層法やk-means法といった既に公知の手法（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，２３１Ｐ，クラスタリング）を用いることで実現できる。なお、ここでいう特徴空間とは、色相の１次元空間である。前述の通り、クラスタリングには様々な手法があるが、ここでは、後段の処理で色相空間におけるデータのヒストグラムを用いる処理を行うため、データのヒストグラムに基づくクラスタリングの手順を示す。なお、クラスタリングは、以下説明する手法に限定されるものではなく、他の手法を用いてもよい。
【００３７】
ヒストグラムに基づくクラスタリングの手順としては、先ず、横軸に色相の階級区間をとり、縦軸に階級区間に相当する色相平均値を持つ小領域の度数をとることによって、ヒストグラムを算出する。ここで、階級区間に関しては、消化管内画像における色相分布範囲を十分に含む黄系から赤系の色相範囲を、事前に設定した所定の間隔で分割することで設定する。図５は、ヒストグラムの算出例を示す図である。なお、図５では、度数の総和が１になるように正規化している。
【００３８】
ヒストグラムを算出したならば、続いて、ヒストグラムの谷を境界としてデータ分布をクラスタに分ける。図６は、ここで行うクラスタリングの原理を説明する説明図である。図６に示す度数データＧ４は、ヒストグラムの度数変化を折れ線で簡易的に示したものである。また、度数データＧ４の下の座標は、ヒストグラムの階級区間を便宜的に座標として示したものである。勾配方向は、注目座標の度数と、この注目座標に隣接する座標の度数との差から求まる方向であり、度数の値が最も増加する方向を示している。なお‘極’と示される座標は、隣接する何れの座標よりも度数が高い極値座標である。
【００３９】
クラスタ分類に際し、先ず勾配方向を求める。例えば、注目座標を座標「３」とした場合、度数データＧ４に示すように、注目座標「３」の度数に対して最も度数が増加する方向に近接する座標は座標「４」である。このため、注目座標「３」の勾配方向として、図６中に向かって右向きの矢印で示す方向（→）が設定される。
【００４０】
このようにして各座標の勾配方向を求めたならば、各座標をそれぞれ始点とし、勾配方向に沿って極値座標を探索する。図６では、この極値座標を探索する際の探索座標の変化を「勾配方向に沿った極値座標の探索ステップ」として示している。例えば、座標「１」を始点とした探索ステップについて説明する。座標「１」の場所では、勾配方向は右方向となっているため、１回目の探索ステップ（ｎ＝１）では、右隣の座標「２」を得る（４１）。続いて、得られた座標「２」の場所でも勾配方向は右方向となっており、２回目の探索ステップ（ｎ＝２）では、座標「２」の右隣の座標「３」を得る（４３）。その後も順次、勾配方向に沿って探索を続けると、最終的に（ｎ＝４）、座標「５」の極値座標に辿り着く（４５）。同様に、座標「２」を始点として探索を行うと、最終的に（ｎ＝３）、座標「５」の極値座標に辿り着く（４７）。全ての座標を始点として同様の探索を行うと、座標「１」〜「９」は、極値座標「５」に辿り着き、座標「１０」〜「１５」は極値座標「１２」に辿り着く。この結果から、座標「１」〜「９」を第１のクラスタＣ１とし、座標「１０」〜「１５」を第２のクラスタＣ２として分類することができ、ヒストグラムの谷（図６では座標「９」で示す階級と座標「１０」で示す階級との間）を境界としてクラスタ分類することができる。
【００４１】
図７は、以上説明した手法で図５に示したヒストグラムに対してクラスタリングを行った結果を示す図である。図７では、ヒストグラムの谷を境界として３つのクラスタＣ１１，Ｃ１３，Ｃ１５が確認できる。
【００４２】
なお、クラスタリング時のクラスタ数を制限するために、ヒストグラムの階級区間の幅を変更したり、ヒストグラムに平滑化処理を行うこととしてもよい。
【００４３】
続いて、図４に示すように、データ群推定部１８が、データ数が最多となるクラスタと、このクラスタに対して黄系の色相方向に隣接するクラスタとを求め、各クラスタに属するデータを腸粘膜および内容物を示すデータ群と推定する（ステップｓ１１）。選択画像内には、腸粘膜が最も多く映る。このため、各クラスタに属するデータ数を算出し、最もデータ数が多いクラスタを、腸粘膜が映る小領域の色相平均値データからなるクラスタ（以下、「腸粘膜クラスタ」と呼ぶ。）と推定する。図７では、クラスタＣ１３が最もデータ数が多いクラスタに相当し、腸粘膜クラスタと推定される。一方、胆汁と血液との吸光特性の違いから、内容物は粘膜より黄系の色として映る。そこで、腸粘膜クラスタに対して黄系の色相方向に隣接するクラスタを、内容物が映る小領域の色相平均値データからなるクラスタ（以下、「内容物クラスタ」と呼ぶ。）と推定する。図７では、色相軸（横軸）において左にいくほど黄系の色相となるため、クラスタＣ１３の左側に隣接するクラスタＣ１１がこれに相当し、内容物クラスタと推定される。腸粘膜クラスタと推定したクラスタよりも黄系の色相のクラスタが存在しない場合には、腸粘膜クラスタに属するデータを、腸粘膜および内容物を示すデータ群と推定する。なお、クラスタＣ１５は、腸粘膜より赤系の色相である胃粘膜が映る小領域の色相平均値データからなるクラスタと推定できる。腸粘膜クラスタと内容物クラスタとを推定した後は、各クラスタに属するデータを、腸粘膜および内容物を示すデータ群と推定する。
【００４４】
なお、ここでは、色相空間を用いて腸粘膜および内容物を示すデータ群を推定する方法について説明したが、他の色特徴量を用いて同等の処理を行い、腸粘膜および内容物を示すデータ群を推定することとしてもよい。すなわち、他の色特徴量を用いてデータ数が多いクラスタを腸粘膜クラスタと推定し、このクラスタに対して黄系となる方向の色特徴量範囲に存在するクラスタを内容物クラスタと推定することとしてもよい。
【００４５】
続いて、図４に示すように、双峰性判定部１９１が、ステップｓ１１で推定したデータ群の色相空間におけるヒストグラムの双峰性が高いか否かを判定する（ステップｓ１３）。ここでは、ヒストグラムの双峰性判定に関し、ヒストグラムを２クラス、すなわちヒストグラムを２つの分布に分割し、２つの分布のクラス間分散σｂを全体の分散σｔで除算した双峰性判定指標Ｅをもとに判定する方法を説明する。
【００４６】
先ず、クラス間分散σｂを次式（１）に従って算出する。ｗ１はクラス１のデータ割合を表し、ｍ１はクラス１のデータ平均値を表す。ｗ２はクラス２のデータ割合を表し、ｍ２はクラス２のデータ平均値を表す。ｍｔは全体のデータ平均値を表す。
σｂ＝ｗ１×（ｍ１−ｍｔ）2＋ｗ２×（ｍ２−ｍｔ）2        ・・・（１）
【００４７】
例えば、データ群推定部１８が推定した内容物クラスタに属するデータをクラス１のデータ、腸粘膜クラスタに属するデータをクラス２のデータとしてクラス間分散σｂを算出する。内容物クラスタが存在しない場合には、ヒストグラムの双峰性が低いと判定する。
【００４８】
なお、推定したデータ群の色相空間におけるヒストグラムを任意の色相閾値により２分割し、片側のヒストグラムに属するデータをクラス１のデータ、他方をクラス２のデータとしてσｂを算出するという作業を、色相閾値を変化させながら複数回行い、最も高いσｂを求める方法でもよい。
【００４９】
次に、全体の分散σｔを次式（２）に従って算出する。Ｎは全体のデータ数（推定したデータ群のデータ数）を表し、ｈｉは各データの値を表す。
【数１】
2010115413.tif 000003
【００５０】
そして、次式（３）に従って、双峰性判定指標Ｅを算出する。
【数２】
2010115413.tif 000004
【００５１】
算出した双峰性判定指標Ｅの値が事前に設定した所定の閾値以上の場合には、ヒストグラムの双峰性が高いと判定する。一方、閾値に満たない場合には、ヒストグラムの双峰性が低いと判定する。
【００５２】
そして、判別境界設定部１９が、判定されたヒストグラムの双峰性に応じた設定処理を行って、粘膜と内容物との色特徴量の判別境界を設定する。すなわち、図４に示すように、ステップｓ１３で双峰性が高いと判定された場合には（Ｙｅｓ）、判別境界設定部１９は、ヒストグラムの谷を判別境界に設定する（ステップｓ１５）。本実施の形態では、上述したステップｓ９，ｓ１１の処理において、クラスタリング部１８１がヒストグラムの谷を境界としてデータ分布をクラスタに分け、データ群推定部１８が腸粘膜クラスタと内容物クラスタとを推定しているため、腸粘膜クラスタと内容物クラスタとの境界がヒストグラムの谷に相当する。したがって、この境界を粘膜と内容物との色特徴量の判別境界に設定する。例えば、図７の例では、ヒストグラムの双峰性が高いと判定され、図７中に一点鎖線で示す判別境界Ｂ１１が設定される。
【００５３】
なお、上記した式（１）に示すクラス間分散σｂを最大にするような色相閾値を探索的に算出し、これを判別境界としてもよい。
【００５４】
一方、図４に示すように、ステップｓ１３で双峰性が低いと判定された場合には（Ｎｏ）、判別境界設定部１９は、ヒストグラムの最頻値と、最頻値に対するデータのばらつき情報とをもとに判別境界を設定する（ステップｓ１７）。図８は、双峰性が低いと判定されたヒストグラムの一例を示す図である。図８では、クラスタＣ２１およびクラスタＣ２３に属するデータが、腸粘膜および内容物を示すデータ群と推定されるが、内容物のデータ分布が腸粘膜のデータ分布に対して少なく、また互いの分布が近接していることから、図４のステップｓ１３でヒストグラムの双峰性が低いと判定される。この場合には、先ず、ヒストグラムの最頻値ｍｏを算出する。これは、最も度数の高い階級に対する色相値を求めることで算出できる。次に、最頻値ｍｏよりも赤系の色相範囲に分布する推定データ群ｈｊ（ｊ＝１〜Ｎ’，Ｎ’はデータ数）を用いて、次式（４）に従ってばらつき情報σｈを算出する。
【数３】
2010115413.tif 000005
【００５５】
ここで、最頻値を用いるのは、腸粘膜と内容物の混合分布において、より実際の腸粘膜分布の中心に近い色相を得るためである。ただし、最頻値を用いる場合に限定されるものではなく、例えば中央値や平均値等の他の代表値を用いてもよい。また、最頻値よりも赤系の色相範囲に分布するデータを用いるのは、内容物の分布の影響を受けずに腸粘膜の色相分布のばらつき情報を得るためである。なお、腸粘膜よりも赤系の色相に分布する胃粘膜の分布は、データ群推定部１８の処理で除外される場合が多く、仮に残った場合でも、ばらつき情報の算出に与える影響は少ない。
【００５６】
そして、最頻値ｍｏとばらつき情報σｈとを求めた後は、最頻値ｍｏから黄系の色相側にＫ×σｈだけ離れた色相を粘膜と内容物との色特徴量の判別境界に設定する。ここで、Ｋは、事前に設定する所定の係数である。例えば図８の例では、最頻値Ｄ２１をもとに、図８中に一点鎖線で示す判別境界Ｂ２１が設定される。
【００５７】
続いて、図４に示すように、粘膜領域判別部２０が、粘膜領域判別処理を行い、一連の消化管内画像の各画像内の粘膜領域を判別する（ステップｓ１９）。図９は、粘膜領域判別処理の詳細な処理手順を示すフローチャートである。
【００５８】
粘膜領域判別処理では、粘膜領域判別部２０は先ず、粘膜領域を判別する判別対象の画像の画像番号Ｉを、一連の消化管内画像を構成する画像の先頭の画像番号Ｉ＿ｓｔａｒｔに設定する（ステップｓ１９１）。続いて、粘膜領域判別部２０は、画像番号Ｉの画像内をエッジに基づき小領域に分割する（ステップｓ１９２）。ここでの領域分割は、図４のステップｓ５で選択画像に対して行った処理と同様に行う。続いて、粘膜領域判別部２０は、各小領域の色相平均値を算出する（ステップｓ１９３）。ここでの色相平均値の算出は、図４のステップｓ７の処理と同様に行う。
【００５９】
そして、粘膜領域判別部２０は、各小領域の色相平均値と判別境界とをもとに、各小領域が粘膜領域か否かを判別する（ステップｓ１９４）。ここでは、各小領域の色相平均値と判別境界設定部１９が設定した判別境界の色相とを比較することによって、各小領域が粘膜領域であるか否かを判別する。画像番号Ｉの画像内の全ての小領域について粘膜領域か否かの判別を行った後、続いて粘膜領域判別部２０は、画像番号Ｉが一連の消化管内画像の後尾画像番号Ｉ＿ｅｎｄ以下であるかを判定する（ステップｓ１９５）。判定結果がＹｅｓの場合には、未処理の画像があるとして、Ｉ＝Ｉ＋１とし（ステップｓ１９６）、別の判別対象の画像に対してステップｓ１９２〜ｓ１９５の処理を行う。一方、ステップｓ１９５での判定結果がＮｏの場合には、一連の消化管内画像を処理したとして粘膜領域判別処理を終え、図４のステップｓ１９にリターンする。その後、ステップｓ２１に移る。
【００６０】
この図４のステップｓ２１では、演算部１５が、一連の消化管内画像に対する粘膜領域の判別結果を出力し、画像処理装置１０の演算部１５での処理を終了する。例えば、演算部１５は、一連の消化管内画像を構成する各画像内の粘膜領域の判別結果を画像化する等して、制御部１８を介して表示部１３に表示出力させる。
【００６１】
以上説明したように、本実施の形態によれば、被検者の消化管内を撮像した一連の消化管内画像を取得し、取得した一連の消化管内画像の中から選択した複数の選択画像内の小領域毎の色特徴量のデータ分布をもとに、腸粘膜および内容物を示すデータ群を推定することができる。そして、推定したデータ群をもとに粘膜と内容物との色特徴量の判別境界を被検者に応じて適応的に設定し、この判別境界を用いて今回取得した一連の消化管内画像を構成する各画像内の粘膜領域を判別することができる。したがって、様々な被検者の消化管内を撮像した一連の消化管内画像に対して、安定的に粘膜領域を判別することができる。
【図面の簡単な説明】
【００６２】
【図１】画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。
【図２】消化管内画像の一例を示す模式図である。
【図３】画像処理装置の機能構成を説明するブロック図である。
【図４】画像処理装置が行う処理手順を示す全体フローチャートである。
【図５】ヒストグラムの算出例を示す図である。
【図６】クラスタ分類の原理を説明する説明図である。
【図７】図５に示したヒストグラムに対してクラスタリングを行った結果を示す図である。
【図８】双峰性が低いと判定されたヒストグラムの一例を示す図である。
【図９】粘膜領域判別処理の詳細な処理手順を示すフローチャートである。
【符号の説明】
【００６３】
３      カプセル内視鏡
５      受信装置
Ａ１〜Ａｎ      受信用アンテナ
７      可搬型記録媒体
１０      画像処理装置
１１      画像取得部
１２      入力部
１３      表示部
１４      記憶部
１４１      画像処理プログラム
１５      演算部
１６      特徴量算出部
１６１      領域分割部
１７      画像選択部
１８      データ群推定部
１８１      クラスタリング部
１９      判別境界設定部
１９１      双峰性判定部
２０      粘膜領域判別部
２１      制御部
１      被検者
【図１】
2010115413.tif 000006
【図２】
2010115413.tif 000007
【図３】
2010115413.tif 000008
【図４】
2010115413.tif 000009
【図５】
2010115413.tif 000010
【図６】
2010115413.tif 000011
【図７】
2010115413.tif 000012
【図８】
2010115413.tif 000013
【図９】
2010115413.tif 000014