(57)【要約】  管腔内画像から残渣領域を精度良く判別することができる画像処理装置等を提供する。画像処理装置１は、被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理装置において、管腔内画像内の各画素の色特徴量の分布のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定部１２０と、粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定部１３０とを備える。
2013085061.tif 000002
【特許請求の範囲】
【請求項１】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理装置において、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出部と、
前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定部と、
前記残渣候補分布として判定された色特徴量の分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記候補分布判定部は、
前記粘膜分布と前記残渣候補分布とを判別する際に用いられる候補判定軸として、少なくとも赤みの強さが変化する色特徴量に対応する軸を設定する候補判定軸設定部と、
前記各画素又は前記各小領域が有する前記色特徴量の頻度分布を前記候補判定軸に対して作成する第１のヒストグラム作成部と、
前記粘膜分布に対応する色特徴量の範囲を定める判定閾値を前記候補判定軸上に設定する第１の判定閾値設定部と、
前記頻度分布と前記判定閾値とをもとに、前記粘膜分布と前記残渣候補分布とを判別する候補判定部と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記分布判定部は、
前記残渣候補分布が前記残渣分布に相当するか否かを判定する際に用いられる判定軸として、少なくとも黄みの強さが変化する色特徴量に対応する軸を設定する判定軸設定部と、
前記残渣候補分布における色特徴量の頻度分布を前記判定軸に対して作成する第２のヒストグラム作成部と、
前記頻度分布と前記粘膜分布の代表値とをもとに、判定閾値を設定する第２の判定閾値設定部と、
前記判定閾値よりも黄みの強い側に存在する残渣候補分布を残渣分布として判定する判定部と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記管腔内画像の輝度成分のエッジをもとに前記管腔内画像を分割した小領域単位で色特徴量を算出する色特徴量算出部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記管腔内画像は、各画素位置においてＲ、Ｇ、Ｂの各色成分を有し、
前記候補判定軸は、Ｇ／Ｒ値に対応することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記候補判定軸は、予め複数の管腔内画像から取得した粘膜領域内の色特徴量の分布を累積した粘膜分布において、分散が最小となる色特徴量に対応することを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記第１のヒストグラム作成部は、前記管腔内画像から泡領域、暗部領域、及び赤色病変領域との内の少なくとも１つを検出し、前記粘膜分布と前記残渣候補分布との判別に不要な領域と判定して除外する不要領域除外部を含むことを特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記不要領域除外部は、輝度値が所定の閾値よりも低い領域を暗部領域として判定する暗部領域判定部を含むことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記不要領域除外部は、輝度の周波数成分が所定の閾値よりも高く、且つ、彩度が所定の閾値よりも低い領域を泡領域として判定する泡領域判定部を含むことを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記管腔内画像は、各画素位置においてＲ、Ｇ、Ｂの各色成分を有し、
前記不要領域除外部は、Ｇ／Ｒ値及びＢ／Ｇ値を成分とする色特徴量空間において、頻度が最大である分布よりも赤みの強い側に位置する分布であって、前記最大である分布とは異なる分布に含まれる色特徴量を有する画素の領域を、赤色病変領域として判定する赤色病変領域判定部を含むことを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
前記第１の判定閾値設定部は、予め複数の管腔内画像から取得した粘膜領域内の色特徴量を前記候補判定軸に対して累積した粘膜の頻度分布を作成し、前記粘膜の頻度分布において、頻度が最大となる色特徴量から赤みの弱い側を見たときに、頻度が最初に最小又は極小となるときの色特徴量を候補判定閾値として保持することを特徴とする請求項２に記載の画像処理装置。
【請求項１２】
前記第１の判定閾値設定部は、前記頻度分布の双方性の形状を評価し、該評価の結果をもとに前記頻度分布における境界位置を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項１３】
前記第１の判定閾値設定部は、前記管腔内画像を所定サイズの複数の矩形領域に分割し、前記複数の矩形領域毎に、前記色特徴量の頻度分布を作成し、前記複数の矩形領域間の色特徴量の頻度の最大値又は最頻値を抽出して合成する合成ヒストグラム作成部を含むことを特徴とする請求項２に記載の画像処理装置。
【請求項１４】
前記管腔内画像は、各画素位置においてＲ、Ｇ、Ｂの各色成分を有し、
前記候補判定部は、Ｇ／Ｒ値を成分の１つとする色特徴量空間において、前記色特徴量の分布をクラスタリングすると共に、クラスタリングによって得られた各クラスタにおける前記Ｇ／Ｒ値の代表値を前記判定閾値と比較して、クラスタ毎に判定を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項１５】
前記管腔内画像は、各画素位置においてＲ、Ｇ、Ｂの各色成分を有し、
前記判定軸は、Ｂ／Ｇ値に対応することを特徴とする請求項３に記載の画像処理装置。
【請求項１６】
前記判定軸は、予め複数の管腔内画像から取得した残渣候補領域内の特徴量を累積した残渣候補分布において、分散が最大となる色特徴量に対応することを特徴とする請求項３に記載の画像処理装置。
【請求項１７】
前記第２の判定閾値設定部は、前記色特徴量の頻度分布を１つ又は２つの正規分布で近似し、前記１つの正規分布の代表値又は前記２つの正規分布の境界位置と、前記粘膜分布の代表値とをもとに、判定閾値を設定することを特徴とする請求項３に記載の画像処理装置。
【請求項１８】
前記管腔内画像は、各画素位置においてＲ、Ｇ、Ｂの各色成分を有し、
前記判定部は、Ｂ／Ｇ値を成分の１つとする色特徴量空間において、前記色特徴量の分布をクラスタリングすると共に、クラスタリングによって得られた各クラスタにおける前記Ｂ／Ｇ値の代表値を、前記粘膜分布における前記Ｂ／Ｇ値の代表値と比較して、クラスタ毎に判定を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項１９】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理方法において、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、
前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定ステップと、
残渣候補分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定ステップと、
を含むことを特徴とする画像処理方法。
【請求項２０】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理をコンピュータに実行させるプログラムにおいて、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、
前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定ステップと、
残渣候補分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定ステップと、
を含むことを特徴とする画像処理プログラム。
【請求項２１】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理装置において、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出部と、
赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定部と、
黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定部により残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定部と、
を備えることを特徴とする画像処理装置。
【請求項２２】
前記残渣分布判定部は、
前記第２の判定軸において、前記残渣候補を表すと判定された色特徴量の分布に対して所定の分布モデルを当てはめることにより、１つ以上の分布モデルを作成する分布モデル当てはめ部と、
前記１つ以上の分布モデルを所定の閾値と比較することにより、前記１つ以上の分布モデルの各々が残渣分布であるか否かを判定する分布モデル判定部と、
前記分布モデル判定部による判定結果をもとに、残渣を表す色特徴量を判定するための閾値を設定する閾値設定部と、
前記閾値設定部により設定された閾値をもとに、前記残渣候補として判定された前記色特徴量のうちから、残渣を表す色特徴量を判定する判定部と、
を備えることを特徴とする請求項２１に記載の画像処理装置。
【請求項２３】
前記管腔内画像から前記残渣の判定に不要な領域を除外する不要領域除外部をさらに備えることを特徴とする請求項２１に記載の画像処理装置。
【請求項２４】
前記不要領域除外部は、
輝度値が所定の閾値よりも低い領域を暗部領域として判定する暗部領域判定部と、
輝度の周波数成分が所定の閾値よりも高く、且つ、彩度が所定の閾値よりも低い領域を泡領域として判定する泡領域判定部と、
前記色特徴量を成分とする色特徴量空間において、前記色特徴量の主要な分布に対して相対的に赤色の方向に外れた分布に対応する領域を赤色病変領域として判定する赤色病変領域判定部と、
の少なくとも１つを備えることを特徴とする請求項２３に記載の画像処理装置。
【請求項２５】
前記残渣候補分布判定部は、
前記第１の判定軸において、前記色特徴量の分布に対して所定の分布モデルを当てはめることにより、１つ以上の分布モデルを作成する分布モデル当てはめ部と、
前記１つ以上の分布モデルを所定の閾値と比較することにより、前記１つ以上の分布モデルの各々が残渣候補分布であるか否かを判定する分布モデル判定部と、
前記分布モデル判定部による判定結果をもとに、残渣候補を表す色特徴量を判定するための候補閾値を設定する候補閾値設定部と、
前記候補閾値をもとに、前記管腔内画像内の前記色特徴量のうち、残渣候補を表す色特徴量を判定する候補判定部と、
を備えることを特徴とする請求項２１に記載の画像処理装置。
【請求項２６】
前記分布モデル当てはめ部は、
前記色特徴量の分布に対し、該色特徴量の分布に当てはめ可能な分布モデルよりも少ない数の分布モデルを概要分布モデルとして当てはめる概要分布モデル当てはめ部と、
前記第１の判定軸における前記概要分布モデルの分布範囲を取得する概要分布モデル範囲取得部と、
前記分布範囲において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめる分布モデル修正部と、
を備えることを特徴とする請求項２５に記載の画像処理装置。
【請求項２７】
前記分布モデル当てはめ部は、
前記１つ以上の分布モデルに、該１つ以上の分布モデル間の混合比率が所定値以下である低比率分布モデルが含まれるか否かを判定する低比率分布モデル判定部と、
前記１つ以上の分布モデルに前記低比率分布モデルが含まれる場合に、前記１つ以上の分布モデルから前記低比率分布モデルを除外した残りの分布モデルが前記第１の判定軸に分布する分布範囲を取得する高比率分布モデル範囲取得部と、
前記分布範囲において、前記色特徴量の分布に対し、再度、１つ以上の分布モデルを当てはめる分布モデル修正部と、
を備えることを特徴とする請求項２５に記載の画像処理装置。
【請求項２８】
前記分布モデル判定部は、
前記第１の判定軸における前記１つ以上の分布モデルの代表値を算出する代表値算出部と、
前記代表値に対応して前記第１の判定軸に予め設定された閾値をもとに、赤みの弱い側に分布する分布モデルを残渣候補分布として判定する閾値処理部と、
を備えることを特徴とする請求項２５に記載の画像処理装置。
【請求項２９】
前記候補閾値設定部は、
前記分布モデル当てはめ部により前記色特徴量の分布に対して複数の分布モデルが当てはめられた場合において、前記分布モデル判定部により前記複数の分布モデルに対して互いに異なる結果となる判定がなされたとき、前記第１の判定軸における前記複数の分布モデルの間の値を候補閾値として設定する分布モデル間候補閾値設定部と、
前記分布モデル当てはめ部により前記色特徴量の分布に対して複数の分布モデルが当てはめられた場合において、前記分布モデル判定部により前記複数の分布モデルに対して互いに同一の結果となる判定がなされたとき、又は、前記分布モデル当てはめ部により前記色特徴量の分布に対して１つの分布モデルが当てはめられた場合、前記第１の判定軸における前記１つ以上の分布モデルの外側の値を候補閾値として設定する分布モデル間外候補閾値設定部と、
を備えることを特徴とする請求項２５に記載の画像処理装置。
【請求項３０】
前記分布モデル間候補閾値設定部は、前記第１の判定軸における前記複数の分布モデルの境界位置に前記候補閾値を設定することを特徴とする請求項２９に記載の画像処理装置。
【請求項３１】
前記分布モデル間外候補閾値設定部は、
予め定められた値を候補閾値として設定する固定候補閾値設定部と、
前記第１の判定軸における前記１つ以上の分布モデルの代表値を候補閾値として設定する代表値候補閾値設定部と、
を備え、
前記固定候補閾値設定部と前記代表値候補閾値設定部とは、前記第１の判定軸における前記複数の分布モデルの分布範囲に応じていずれかが動作することを特徴とする請求項２９に記載の画像処理装置。
【請求項３２】
前記候補判定部は、前記色特徴量の分布をクラスタリングすることにより取得したクラスタの各々に対し、各クラスタの代表値を用いて判定を行うことを特徴とする請求項２５に記載の画像処理装置。
【請求項３３】
前記分布モデル当てはめ部は、
前記色特徴量の分布に対し、該色特徴量の分布に当てはめ可能な分布モデルよりも少ない数の分布モデルを概要分布モデルとして当てはめる概要分布モデル当てはめ部と、
前記第２の判定軸における前記概要分布モデルの分布範囲を取得する概要クラスタ範囲取得部と、
前記分布範囲において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめる分布モデル修正部と、
を備えることを特徴とする請求項２２に記載の画像処理装置。
【請求項３４】
前記分布モデル当てはめ部は、
前記１つ以上の分布モデルに、該１つ以上の分布モデル間の混合比率が所定値以下である低比率分布モデルが含まれるか否かを判定する低比率分布モデル判定部と、
前記１つ以上の分布モデルに前記低比率分布モデルが含まれる場合に、前記１つ以上の分布モデルから前記低比率分布モデルを除外した残りの分布モデルが前記第２の判定軸に分布する分布範囲を取得する高比率分布モデル範囲取得部と、
前記分布範囲において、前記残渣候補と判定された前記色特徴量の分布に対し、再度、１つ以上の分布モデルを当てはめる分布モデル修正部と、
を備えることを特徴とする請求項２２に記載の画像処理装置。
【請求項３５】
前記分布モデル判定部は、
前記第２の判定軸における前記１つ以上の分布モデルの代表値を算出する代表値算出部と、
前記代表値に対応して前記第２の判定軸に予め設定された閾値をもとに、黄みの強い側に分布する分布モデルを残渣分布として判定する閾値処理部と、
を備えることを特徴とする請求項２２に記載の画像処理装置。
【請求項３６】
前記閾値処理部は、前記１つ以上の分布モデルのうち、前記残渣候補分布判定部により前記残渣候補として判定されなかった色特徴量の分布を粘膜分布とし、前記第２の判定軸における該粘膜分布の代表値を算出する粘膜基準閾値作成部を備えることを特徴とする請求項３５に記載の画像処理装置。
【請求項３７】
前記閾値処理部は、
前記分布モデル当てはめ部により前記色特徴量の分布に対して複数の分布モデルが当てはめられた場合において、前記分布モデル判定部により前記複数の分布モデルに対して互いに異なる結果となる判定がなされたとき、前記第２の判定軸における前記複数の分布モデルの間の値を閾値として設定する分布モデル間閾値設定部と、
前記分布モデル当てはめ部により前記色特徴量の分布に対して複数の分布モデルが当てはめられた場合において、前記分布モデル判定部により前記複数の分布モデルに対して互いに同一の結果となる判定がなされたとき、又は、前記分布モデル当てはめ部により前記色特徴量の分布に対して１つの分布モデルが当てはめられた場合、前記第２の判定軸における前記１つ以上の分布モデルの外側の値を閾値として設定する分布モデル間外閾値設定部と、
を備えることを特徴とする請求項３５に記載の画像処理装置。
【請求項３８】
前記分布モデル間閾値設定部は、前記第２の判定軸における前記複数の分布モデルの境界位置に前記閾値を設定することを特徴とする請求項３７に記載の画像処理装置。
【請求項３９】
前記分布モデル間外閾値設定部は、
予め定められた値を閾値として設定する固定閾値設定部と、
前記第２の判定軸における前記１つ以上の分布モデルの代表値を閾値として設定する代表値設定部と、
を備え、
前記固定閾値設定部と前記代表値設定部とは、前記第２の判定軸における前記複数の分布モデルの分布範囲に応じていずれかが動作することを特徴とする請求項３７に記載の画像処理装置。
【請求項４０】
前記判定部は、前記色特徴量の分布をクラスタリングすることにより取得した各クラスタに対し、当該クラスタの代表値を用いて判定を行うことを特徴とする請求項２２に記載の画像処理装置。
【請求項４１】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理方法において、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、
赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定ステップと、
黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定ステップにおいて残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定ステップと、
を含むことを特徴とする画像処理方法。
【請求項４２】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理をコンピュータに実行させる画像処理プログラムにおいて、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、
赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定ステップと、
黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定ステップにおいて残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定ステップと、
を含むことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体の体内を撮像した画像から、診断に不要な領域を検出する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、患者等の被検体内に導入され、生体内を非侵襲に観察する医用観察装置として、内視鏡が広く普及している。近年では、カプセル型の筐体内部に撮像装置及び通信装置等を収容し、撮像装置で撮像を行うことにより取得した画像データを体外に無線送信する飲み込み型の内視鏡（カプセル内視鏡）も開発されている。【０００３】
しかしながら、これらの医用観察装置によって生体の管腔内を撮像した画像（管腔内画像）に対する観察及び診断には、多くの経験が必要とされる。そのため、医師による診断を補助する医療診断支援機能が望まれている。このような機能を実現する画像認識技術の１つとして、管腔内画像から注目対象領域を自動的に検出し、注目対象領域を抽出して提示したり、反対に、注目対象領域を診断対象から除外して提示する技術が提案されている。【０００４】
管腔内画像内の領域が注目対象領域であるか否かを判定する方法としては、例えば、各種領域（例えば粘膜領域と病変領域）の座標情報が予め与えられた複数枚の画像（教師データ）をもとに、各画素の画素値（Ｒ値、Ｇ値、Ｂ値）に基づく色特徴量（例えば、Ｇ／Ｒ値、Ｂ／Ｇ値）を成分とする色特徴量空間を用いる方法が知られている。この方法においては、上記色特徴量空間に、例えば注目対象領域に属する画素の色特徴量の分布とそれ以外の領域に属する画素の色特徴量の分布との間に判定閾値を設定し、判定対象である管腔内画像の各画素の色特徴量を上記判定閾値で閾値処理することにより、各画素が注目対象領域に属するか否かを判定する。【０００５】
しかしながら、色特徴量空間において各種領域が分布する範囲は管腔内画像間で大きく揺らぐことがあるため、上記方法においては領域の検出精度が低くなるという問題がある。そこで、特許文献１においては、色特徴量空間において、管腔内画像の画素（又は管腔内画像を分割した小領域）の色特徴量の分布をクラスタリングし、各クラスタから算出した重心等の代表値を上記判定閾値と比較してクラスタごとに各領域に属するか否かを判定することにより、画像間における分布の揺らぎに起因する検出精度の低下を抑制している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１１３６１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、自動検出が望まれる注目対象領域としては、例えば、便等の残渣が写った残渣領域が挙げられる。管腔内画像における残渣領域の判別は、色特徴量空間において、例えば黄みの強さを表す座標軸上に予め定められた判定閾値を設定することにより行うことができる。しかしながら、判定に用いる座標軸によっては、色特徴量の分布が上記判定閾値を超えて大きく変動する場合がある。このような場合、残渣領域の誤判別が生じてしまうという問題がある。【０００８】
本発明は、上記に鑑みて為されたものであって、管腔内画像から残渣領域を精度良く判別することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理装置において、前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出部と、前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定部と、残渣候補分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定部とを備えることを特徴とする。【００１０】
本発明に係る画像処理方法は、被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理方法において、前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定ステップと、残渣候補分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定ステップとを含むことを特徴とする。【００１１】
本発明に係る画像処理プログラムは、被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理をコンピュータに実行させるプログラムにおいて、前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定ステップと、残渣候補分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定ステップとを含むことを特徴とする。【００１２】
また、本発明に係る画像処理装置は、被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理装置において、前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出部と、赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定部と、黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定部により残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定部と、を備えることを特徴とする。【００１３】
また、本発明に係る画像処理方法は、被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理方法において、前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定ステップと、黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定ステップにおいて残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定ステップと、を含むことを特徴とする。【００１４】
また、本発明に係る画像処理プログラムは、被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理をコンピュータに実行させる画像処理プログラムにおいて、前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定ステップと、黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定ステップにおいて残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定ステップと、を含むことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、処理対象の管腔内画像から検出された粘膜分布を基準として、該粘膜分布よりも黄みの強い側に分布する残渣候補分布を残渣分布として判定するので、管腔内画像における色特徴量の分布が揺らいだ場合であっても、適応的に設定される基準に基づいて、残渣領域を精度良く判別することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、図１に示す画像処理装置の動作を示すフローチャートである。
【図３】図３は、図１に示す画像処理装置の処理対象である管腔内画像の一例を示す模式図である。
【図４】図４は、色特徴量空間にプロットされた色特徴量の分布を示す図である。
【図５】図５は、図１に示す残渣候補分布判定部の動作を示すフローチャートである。
【図６】図６は、色特徴量空間にプロットされた色特徴量の分布と、候補判定軸に対して作成された色特徴量の頻度分布を示す図である。
【図７】図７は、図１に示す分布判定部の動作を示すフローチャートである。
【図８】図８は、色特徴量空間にプロットされた色特徴量と、判定軸に対して作成された色特徴量の頻度分布とを示す図である。
【図９】図９は、図１に示す第２判定閾値設定部の動作を示すフローチャートである。
【図１０】図１０は、残渣分布の判定閾値の設定方法を説明する図である。
【図１１】図１１は、残渣分布の判定閾値の設定方法を説明する図である。
【図１２】図１２は、残渣分布の判定閾値の設定方法を説明する図である。
【図１３】図１３は、残渣分布の判定閾値の設定方法を説明する図である。
【図１４】図１４は、変形例１−３における判定軸を示す図である。
【図１５】図１５は、変形例１−５における残渣候補分布及び残渣分布の判定方法を説明する図である。
【図１６】図１６は、変形例１−７における第１判定閾値設定部の構成を示すブロック図である。
【図１７】図１７は、図１６に示す合成ヒストグラム作成部の動作を説明する図である。
【図１８】図１８は、合成ヒストグラムを示す図である。
【図１９】図１９は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図２０】図２０は、図１９に示す分布モデル間外候補閾値設定部の詳細な構成を示すブロック図である。
【図２１】図２１は、図１９に示す分布モデル間外閾値設定部の詳細な構成を示すブロック図である。
【図２２】図２２は、図１９に示す画像処理装置の動作を示すフローチャートである。
【図２３】図２３は、図１９に示す不要領域除外部の動作を示すフローチャートである。
【図２４】図２４は、図１９に示す残渣候補分布判定部の動作を示すフローチャートである。
【図２５】図２５は、ＥＭアルゴリズムの概要を説明するための模式図である。
【図２６】図２６は、ＥＭアルゴリズムの概要を説明するための模式図である。
【図２７】図２７は、ＥＭアルゴリズムの概要を説明するための模式図である。
【図２８Ａ】図２８Ａは、ＥＭアルゴリズムの概要を説明するための模式図である。
【図２８Ｂ】図２８Ｂは、ＥＭアルゴリズムの概要を説明するための模式図である。
【図２９】図２９は、候補判定軸における１つ以上の分布モデルの代表値を説明するための図である。
【図３０】図３０は、分布モデルの代表値の算出方法を説明するための図である。
【図３１】図３１は、分布モデルの代表値の算出方法を説明するための図である。
【図３２】図３２は、分布モデルの代表値の算出方法を説明するための図である。
【図３３】図３３は、分布モデルの代表値の算出方法を説明するための図である。
【図３４】図３４は、分布モデルの代表値の算出方法を説明するための図である。
【図３５】図３５は、色特徴量のクラスタに対する残渣候補分布の判定方法を説明するための模式図である。
【図３６】図３６は、色特徴量のクラスタに対する残渣候補分布の判定方法を説明するための模式図である。
【図３７】図３７は、残渣候補を表す色特徴量を判定する候補閾値の設定方法を説明するための模式図である。
【図３８】図３８は、残渣候補を表す色特徴量を判定する候補閾値の設定方法を説明するための模式図である。
【図３９】図３９は、図１９に示す残渣分布判定部の動作を示すフローチャートである。
【図４０】図４０は、色特徴量のクラスタに対する残渣分布の判定方法を説明するための模式図である。
【図４１】図４１は、色特徴量のクラスタに対する残渣分布の判定方法を説明するための模式図である。
【図４２】図４２は、残渣を表す色特徴量を判定する閾値の設定方法を説明するための模式図である。
【図４３】図４３は、残渣を表す色特徴量を判定する閾値の設定方法を説明するための模式図である。
【図４４】図４４は、変形例２−１における分布モデル間外候補閾値設定部の構成を示すブロック図である。
【図４５】図４５は、変形例２−１における分布モデル間外閾値設定部の構成を示すブロック図である。
【図４６】図４６は、図４４に示す分布モデル間外候補閾値設定部の動作を説明するための模式図である。
【図４７】図４７は、図４４に示す分布モデル間外候補閾値設定部の動作を説明するための模式図である。
【図４８】図４８は、図４４に示す分布モデル間外候補閾値設定部の動作を説明するための模式図である。
【図４９】図４９は、図４４に示す分布モデル間外候補閾値設定部の動作を説明するための模式図である。
【図５０】図５０は、変形例２−２における閾値処理部の構成を示すブロック図である。
【図５１】図５１は、変形例２−２における色特徴量のクラスタに対する残渣分布の判定方法を説明するための模式図である。
【図５２】図５２は、変形例２−２における色特徴量のクラスタに対する残渣分布の判定方法を説明するための模式図である。
【図５３】図５３は、本発明の実施の形態３に係る画像処理装置が備える分布モデル当てはめ部の構成を示すブロック図である。
【図５４】図５４は、管腔内画像内の色特徴量の分布に対して分布モデルの当てはめを行う分布モデル当てはめ部の動作を示すフローチャートである。
【図５５】図５５は、図５３に示す分布モデル当てはめ部の動作を説明するための模式図である。
【図５６】図５６は、図５３に示す分布モデル当てはめ部の動作を説明するための模式図である。
【図５７】図５７は、図５３に示す分布モデル当てはめ部の動作を説明するための模式図である。
【図５８】図５８は、図５３に示す分布モデル当てはめ部の動作を説明するための模式図である。
【図５９】図５９は、残渣候補と判定された色特徴量の分布に対して分布モデルの当てはめを行う分布モデル当てはめ部の動作を示すフローチャートである。
【図６０】図６０は、本発明の実施の形態４に係る画像処理装置が備える分布モデル当てはめ部の構成を示すブロック図である。
【図６１】図６１は、管腔内画像内の色特徴量の分布に対して分布モデルの当てはめを行う分布モデル当てはめ部の動作を示すフローチャートである。
【図６２】図６２は、図６０に示す分布モデル当てはめ部の動作を説明するための模式図である。
【図６３】図６３は、図６０に示す分布モデル当てはめ部の動作を説明するための模式図である。
【図６４】図６４は、図６０に示す分布モデル当てはめ部の動作を説明するための模式図である。
【図６５】図６５は、残渣候補と判定された色特徴量の分布に対して分布モデルの当てはめを行う分布モデル当てはめ部の動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１８】
以下の実施の形態においては、一例として、カプセル内視鏡等の医用観察装置によって被検体の管腔内を撮像することにより取得された管腔内画像（以下、単に画像ともいう）から残渣領域を判別する画像処理について説明する。なお、以下の実施の形態において画像処理の対象となる管腔内画像は、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分（波長成分）に対する画素レベル（画素値）を持つカラー画像である。
【００１９】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１において、画像信号等のデータを伝送するラインは実線で示し、制御信号を伝送するラインは破線で示している。
【００２０】
図１に示すように、実施の形態１に係る画像処理装置１は、画像処理装置１全体の動作を制御する制御部１０と、カプセル内視鏡等の医用観察装置によって撮像された画像に対応する画像データを取得する画像取得部としての外部インタフェース（Ｉ／Ｆ）部２０と、外部からの操作により入力信号を発生させる操作入力部３０と、各種情報の表示を行う表示部４０と、種々のプログラムや外部インタフェース部２０を介して取得された画像データを記録する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。
【００２１】
制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に記録された各種プログラムを読み込むことにより、外部インタフェース部２０から入力される画像データや操作入力部３０から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００２２】
外部インタフェース部２０は、外部機器や記録媒体から画像処理装置に画像データを取り込む画像取得部である。外部インタフェース部２０には、医用観察装置を含むシステムの態様に応じて、種々の外部機器が接続される。例えば、医用観察装置がカプセル内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、この記録媒体を着脱自在に装着し、記録媒体に記録された管腔内画像の画像データを読み出すリーダ装置が外部インタフェース部２０に接続される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを設置する場合、サーバとの間でデータ通信を行う通信装置等が外部インタフェース部２０に接続され、データ通信により画像データを画像処理装置１に取り込む。或いは、内視鏡等の医用観察装置を、ケーブルを介して外部インタフェース部２０に接続し、画像信号を医用観察装置から画像処理装置１に直接取り込んでも良い。
【００２３】
操作入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部１０に出力する。
表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。
【００２４】
記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部５０は、外部インタフェース部２０を介して取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記録する。具体的には、記録部５０は、管腔内画像から残渣領域を判別する画像処理を当該画像処理装置１に実行させるための画像処理プログラム５１と、当該画像処理プログラムの実行中に用いられる判定閾値等を記録する。
【００２５】
演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことによって管腔内画像に対応する画像データに画像処理を施し、管腔内画像から残渣領域を判別するための種々の演算処理を行う。
【００２６】
次に、演算部１００の詳細な構成について説明する。
演算部１００は、管腔内画像内の各画素の色特徴量を算出して分布を作成する色特徴量算出部１１０と、色特徴量の分布のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定部１２０と、残渣候補分布のうち、粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定部１３０とを備える。
【００２７】
この内、残渣候補分布判定部１２０は、粘膜分布と残渣候補分布とを判別して各分布が残渣候補分布か否かを判定する判定軸を候補判定軸として設定する候補判定軸設定部１２１と、各画素が有する色特徴量の頻度分布を表すヒストグラムを上記候補判定軸に対して作成する第１ヒストグラム作成部１２２と、粘膜領域に対応する色特徴量の範囲を抽出するための判定閾値（以下、候補判定閾値ともいう）を候補判定軸上に設定する第１判定閾値設定部１２３と、この判定閾値をもとに、粘膜分布と残渣候補分布とを判定する候補判定部１２４とを有する。
【００２８】
この内、候補判定軸設定部１２１は、少なくとも赤みの強さが変化する色特徴量に対応する軸を候補判定軸に設定する。
また、第１ヒストグラム作成部１２２は、管腔内画像から泡領域、暗部領域、及び赤色病変領域との内の少なくとも１つを検出し、残渣領域の判別に不要な領域と判定して除外する不要領域除外部１２２ａを含む。より詳細には、不要領域除外部１２２ａは、暗部領域判定部１２２ａ−１と、泡領域判定部１２２ａ−２と、赤色病変領域判定部１２２ａ−３とを含む。
【００２９】
第１判定閾値設定部１２３は、第１ヒストグラム作成部１２２が作成したヒストグラムに基づいて、上記候補判定閾値を設定する。より詳細には、第１判定閾値設定部１２３は、ヒストグラムの双方性の形状を評価して、この評価結果をもとにヒストグラムを１つ又は２つの正規分布で近似し、近似した正規分布と粘膜分布及び残渣分布との関係に基づいて候補判定閾値を設定する。或いは、第１判定閾値設定部１２３は、ヒストグラムが双方性を有しないと評価される場合には、ヒストグラムを正規分布で近似することなく、ヒストグラムそのものに基づいて候補判定閾値を設定しても良い。
【００３０】
一方、残渣分布判定部１３０は、残渣候補分布が残渣分布に相当するか否かを判定する際に用いられる判定軸を設定する判定軸設定部１３１と、残渣候補分布に含まれる色特徴量の頻度分布を表すヒストグラムを上記判定軸に対して作成する第２ヒストグラム作成部１３２と、残渣候補分布が残渣分布に相当するか否かを判定する際の判定閾値を判定軸上に設定する第２判定閾値設定部１３３と、判定閾値よりも黄みの強い側に存在する残渣候補分布を残渣分布として判定する判定部１３４とを有する。
【００３１】
この内、判定軸設定部１３１は、黄みの強さが変化する色特徴量に対応する軸を判定軸に設定する。
また、第２判定閾値設定部１３３は、第２ヒストグラム作成部１３２が作成したヒストグラムに基づいて、上記判定閾値を設定する。より詳細には、第２判定閾値設定部１３３は、ヒストグラムの双方性の形状を評価して、この評価結果をもとにヒストグラムを１つ又は２つの正規分布で近似し、近似した正規分布と粘膜分布との関係に基づいて判定閾値を設定する。或いは、第２判定閾値設定部１３３は、ヒストグラムが双方性を有しないと評価される場合には、ヒストグラムを正規分布で近似することなく、ヒストグラムそのものに基づいて判定閾値を設定しても良い。
【００３２】
次に、画像処理装置１の動作について説明する。図２は、画像処理装置１の動作を示すフローチャートである。また、図３は、画像処理装置１の処理対象である管腔内画像の一例を示す模式図である。図３に例示する画像Ｍ１には、管腔内の粘膜領域ｍ１と、この粘膜領域ｍ１の手前側に写った残渣領域ｍ２と、粘膜の一部が白色化した白色病変領域ｍ３とが表示されている。
【００３３】
まず、ステップＳ１１において、画像処理装置１は、外部インタフェース部２０を介して被検体の管腔内画像を取得し、記録部５０に記録する。演算部１００は、処理対象の画像（例えば、図３に示す画像Ｍ１）を記録部５０から順次読み込む。
【００３４】
続くステップＳ１２において、色特徴量算出部１１０は、管腔内画像内の各画素の画素値（Ｒ成分、Ｇ成分、Ｂ成分）から色特徴量を算出する。実施の形態１においては、第１の色特徴量として、Ｇ成分とＲ成分の比であるＧ／Ｒ値を算出し、第２の色特徴量として、Ｂ成分とＧ成分の比であるＢ／Ｇ値とを算出する。
【００３５】
ステップＳ１３において、残渣候補分布判定部１２０は、例えば図４に示すような管腔内画像の色特徴量の分布のうち、粘膜分布よりも赤みの弱い分布を残渣候補分布として判定する。
図５は、候補分布判定部の詳細な動作を示すフローチャートである。
【００３６】
ステップＳ１３１において、候補判定軸設定部１２１は、色特徴量を粘膜分布と残渣候補分布とに判別する際に用いられる候補判定軸として、Ｇ／Ｒ値に対応する軸（Ｇ／Ｒ軸）を設定する。ここで、Ｒ、Ｇ、Ｂの各成分がいずれも０〜２５５の間の画素レベルで輝度飽和せずに安定して得られる管腔内画像において、粘膜分布の変動は、Ｇ／Ｒ値において十分に小さい。このため、候補判定軸をＧ／Ｒ値に対応して設定することにより、後段の閾値処理において、粘膜領域と、該粘膜領域に対して赤みが弱い色特徴量の分布である残渣候補分布とを分離し易くすることができる。
【００３７】
ステップＳ１３２において、第１ヒストグラム作成部１２２は、候補判定軸に対して、管腔内画像の各画素の色特徴量の頻度分布を表すヒストグラムを作成する。
そのために、まず、不要領域除外部１２２ａは、粘膜分布と残渣候補分布との判別に不要な領域を除外する。不要領域としては、例えば、被写体の観察が困難な暗部領域や、管腔内において消化液等が泡となった泡領域や、残渣ではないことが確定的な赤色病変領域等が挙げられる。
【００３８】
より詳細には、暗部領域判定部１２２ａ−１は、輝度値Ｙ（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第２９９頁）又は所定の画素値（例えば、Ｒ値）が所定の閾値よりも低い画素の領域を暗部領域として判定する。ここで、Ｒ値を用いるのは、Ｒの色成分は、管腔内画像においては最も吸光が少なく、被写体の表面でほとんど反射されるので、粘膜の構造情報を最もよく反映するからである。
【００３９】
また、泡領域判定部１２２ａ−２は、輝度値Ｙの周波数成分が所定の閾値よりも高く、且つ、彩度（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第６４頁）が所定の閾値よりも低い画素の領域を泡領域として判定する。周波数成分は、管腔内画像にＤＣＴ変換（離散コサイン変換）を施した後に得られる係数や、元の管腔内画像とその平均画像との差分値を算出することにより求めることができる。また、彩度に基づく判定は、例えば、色比情報(Ｇ／Ｒ値及びＢ／Ｇ値)を閾値処理することにより行うことができる。
【００４０】
また、赤色病変領域判定部１２２ａ−３は、色特徴量空間における色特徴量の頻度分布を、該頻度分布の山ごとに分水嶺等の処理を施すことによりクラスタリングし、頻度が多い主要な分布（例えば最大クラスタ）から外れた分布（クラスタ）を抽出し、この外れたクラスタのうち、絶対位置や相対位置が上記主要な分布よりも赤みの強い側に位置するクラスタ内の色特徴量に対応する画素の領域を赤色病変領域として判定する。
【００４１】
不要領域除外部１２２ａは、これらの不要領域が検出された場合、各不要領域に含まれる画素にフラグ（例えば、０：その他、１：暗部領域、２：泡領域、３：赤色病変領域）を付加したフラグ画像を作成する。
【００４２】
第１ヒストグラム作成部１２２は、このフラグ画像をもとに、管腔内画像から暗部領域、泡領域、及び赤色病変領域といった不要領域を除外し、その結果残った領域の画素の色特徴量の頻度分布を表すヒストグラムを候補判定軸に対して作成する。第１ヒストグラム作成部１２２は、さらに、作成したヒストグラムに対し、頻度が所定値以下となる分布をノイズとして除外する。或いは、ヒストグラムの和（積分値）が１となるように当該ヒストグラムを正規化した後、所定の割合以下となる分布をノイズとして除外しても良い。図６に示す分布Ｄ１０は、管腔内画像から不要領域を除いた後の管腔内画像における色特徴量の頻度分布を示している。なお、上述したノイズの除外処理は必須ではなく、省略しても良い。
【００４３】
ステップＳ１３３において、第１判定閾値設定部１２３は、粘膜分布と残渣候補分布とを判別するための判定閾値（候補判定閾値）を設定する。より詳細には、第１判定閾値設定部１２３は、後述するステップＳ１３４において候補判定部１２４が判定に用いる各クラスタの代表値が最小値である場合、教師データによる粘膜分布及び残渣分布の各クラスタの最小値の分布を各々作成し、両分布の境界付近を候補判定閾値として予め算出して持っておく。また、候補判定部１２４が判定に用いる各クラスタの代表値が重心位置の場合、粘膜分布及び残渣分布の各々の重心の分布から、両分布の境界付近を候補判定閾値として持っておく。
【００４４】
ステップＳ１３４において、候補判定部１２４は、判定閾値をもとに粘膜分布と残渣候補分布とを判別する。より詳細には、候補判定部１２４は、色特徴量空間における色特徴量の分布をクラスタリングすると共に、各クラスタの代表値（例えば、重心位置）を算出し、この代表値を候補判定閾値Ｔｈ０と比較することにより、クラスタごとに粘膜分布であるか残渣候補分布であるかの判定を行う。具体的には、図６に示すように、重心位置ｇ１０が候補判定閾値Ｔｈ０よりも赤みの強い側（Ｇ／Ｒ値の小さい側）にあるクラスタＣ１０は粘膜分布と判定され、重心位置ｇ２１、ｇ２２が候補判定閾値Ｔｈ０よりも赤みの弱い側（Ｇ／Ｒ値の大きい側）にあるクラスタＣ２１、Ｃ２２は残渣候補分布と判定される。なお、クラスタリングの手法としては、分水嶺処理、階層法、k-means法（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第２３１〜２３２頁）、期待値最大化アルゴリズム（ＥＭアルゴリズム）、自己組織化マップ等の公知の手法を用いることができる。また、クラスタの代表値としては、重心位置の他にも、平均値、最頻値、最小値等を用いても良い。また、図６には粘膜分布に相当するクラスタとして、クラスタＣ１０のみが示されているが、粘膜分布に相当するクラスタが複数生成される場合もあり得る。
【００４５】
或いは、候補判定部１２４は、各色特徴量ｃnを候補判定閾値Ｔｈ０と比較することにより、色特徴量ｃnごとに粘膜分布と残渣候補分布とのうちのいずれに含まれるかの判定を行っても良い。
この後、画像処理装置１の動作はメインルーチンに戻る。
【００４６】
ステップＳ１３に続くステップＳ１４において、残渣分布判定部１３０は、残渣候補分布判定部１２０から粘膜分布及び残渣候補分布にそれぞれ属する色特徴量ｃnの情報を受取り、残渣分布を判別する。具体的には、粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布と判定する。
図７は、残渣分布判定部１３０の詳細な動作を示すフローチャートである。
【００４７】
ステップＳ１４１において、判定軸設定部１３１は、残渣候補分布が残渣分布に相当するか否かを判定する際に用いられる判定軸として、Ｂ／Ｇ値に対応する軸（Ｂ／Ｇ軸）を設定する。Ｂ／Ｇ値は、黄みが強いほど値が小さくなる。
【００４８】
ステップＳ１４２において、第２ヒストグラム作成部１３２は、判定軸に対して、残渣候補分布に属する色特徴量ｃnの頻度分布を表すヒストグラムを作成し、さらに、作成したヒストグラムに対し、頻度が所定値以下となる分布をノイズとして除外する。或いは、ヒストグラムの和（積分値）が１となるように当該ヒストグラムを正規化した後、所定の割合以下となる分布をノイズとして除外しても良い。例えば、図８に示す分布Ｄ２０は、残渣候補分布と判定されたクラスタＣ２１、Ｃ２２に含まれる色特徴量ｃnの分布を表す。なお、上述したノイズの除外処理は必須ではなく、省略しても良い。
【００４９】
ステップＳ１４３において、第２判定閾値設定部１３３は、残渣候補分布が残渣分布に相当するか否かを判定するための判定閾値を設定する。
図９は、第２判定閾値設定部１３３の詳細な動作を示すフローチャートである。以下、図８及び図１０〜図１３に具体例を示しつつ説明する。なお、以下の説明においては、各分布の代表値として重心位置を用いるが、代表値としては、この他にも、平均値、最頻値等を用いても良い。
【００５０】
まず、ステップｓ１において、第２判定閾値設定部１３３は、粘膜分布（クラスタＣ１０）の重心位置ｇ１０を判定軸（Ｂ／Ｇ軸）上に射影した重心位置ｋG10を取得する。
【００５１】
続くステップｓ２において、第２判定閾値設定部１３３は、ステップＳ１４２において作成したヒストグラム（分布Ｄ２０）の幅Ｗが所定値以上であるか否かを判定する。
【００５２】
幅Ｗが所定値以上である場合（ステップｓ２：Ｙｅｓ）、第２判定閾値設定部１３３は、分布Ｄ２０を２つの正規分布に近似する（ステップｓ３）。２つの正規分布への近似法としては、例えば、期待値最大化アルゴリズム（ＥＭアルゴリズム）を用いることができる。それにより、図１０に示すように、分布Ｄ２０の境界位置ｋBORDERと、２つの正規分布Ｄ２１及びＤ２２とが得られる。
【００５３】
続くステップｓ４において、第２判定閾値設定部１３３は、２つの正規分布Ｄ２１、Ｄ２２それぞれの重心位置ｋG21、ｋG22を取得する。
【００５４】
ステップｓ５において、第２判定閾値設定部１３３は、粘膜分布の重心位置ｋG10が２つの正規分布Ｄ２１、Ｄ２２の重心位置ｋG21、ｋG22の間にあるか否かを判定する。
【００５５】
図１０に示すように、粘膜分布の重心位置ｋG10が２つの正規分布Ｄ２１、Ｄ２２の重心位置ｋG21、ｋG22の間にある場合（ステップｓ５：Ｙｅｓ）、第２判定閾値設定部１３３は、境界位置ｋBORDERを判定閾値に設定する（ステップｓ６）。
【００５６】
一方、粘膜分布の重心位置ｋG10が２つの正規分布Ｄ２１、Ｄ２２の重心位置ｋG21、ｋG22の間にない場合（ステップｓ５：Ｎｏ）、続いて、第２判定閾値設定部１３３は、粘膜分布の重心位置ｋG10が２つの正規分布Ｄ２１、Ｄ２２の重心位置ｋG21、ｋG22よりも黄みの強い側（Ｂ／Ｇ値が小さい側）にあるか否かを判定する（ステップｓ７）。
【００５７】
図１１に示すように、粘膜分布の重心位置ｋG10が重心位置ｋG21、ｋG22よりも黄みの強い側（Ｂ／Ｇ値が小さい側）にある場合（ステップｓ７：Ｙｅｓ）、第２判定閾値設定部１３３は、２つの正規分布Ｄ２１、Ｄ２２の分布範囲の最小値ｋMinを取得し、該最小値ｋMinを判定閾値に設定する（ステップｓ８）。
【００５８】
一方、図１２に示すように、正規分布Ｄ２１、Ｄ２２の重心位置ｋG21、ｋG22の方が粘膜分布の重心位置ｋG10よりも黄みの強い側（Ｂ／Ｇ値が小さい側）にある場合（ステップｓ７：Ｎｏ）、第２判定閾値設定部１３３は、２つの正規分布Ｄ２１、Ｄ２２の分布範囲の最大値ｋMaxを取得し、該最大値ｋMaxを判定閾値に設定する（ステップｓ９）。
【００５９】
また、ステップｓ２において、図１３に示すようにヒストグラム（分布Ｄ２０）の幅Ｗが所定値よりも小さいと判定された場合（ステップｓ２：Ｎｏ）、第２判定閾値設定部１３３は、ヒストグラムを１つの正規分布Ｄ３０に近似する（ステップｓ１０）。なお、特徴量空間内に示す分布Ｃ３０は、正規分布Ｄ３０に対応する色特徴量ｃnの分布である。
【００６０】
ステップｓ１１において、第２判定閾値設定部１３３は、正規分布Ｄ３０の分布範囲の最大値ｋMAX、最小値ｋMIN、及び重心位置ｋ30を取得する。なお、この際、第２判定閾値設定部１３３は、正規分布Ｄ３０ではなく、元のヒストグラム（図１３に示す分布Ｄ２０）から直接、分布範囲の最大値ｋMAX、最小値ｋMIN、及び重心位置ｋ30を取得しても良い。この場合、ステップｓ１０は省略しても良い。
【００６１】
ステップｓ１２において、第２判定閾値設定部１３３は、粘膜分布の重心位置ｋG10が正規分布Ｄ３０の重心位置ｋG30よりも黄みの強い側にあるか否かを判定する。
【００６２】
粘膜分布の重心位置ｋG10が正規分布Ｄ３０の重心位置ｋG30よりも黄みの強い側（Ｂ／Ｇ値が小さい側）にある場合（ステップｓ１２：Ｙｅｓ）、第２判定閾値設定部１３３は、正規分布Ｄ３０の分布範囲の最小値ｋMinを判定閾値に設定する（ステップｓ１３）。
【００６３】
一方、図１３に示すように、粘膜分布の重心位置ｋG10が正規分布Ｄ３０の重心位置ｋG30よりも黄みの弱い側（Ｂ／Ｇ値が大きい側）にある場合（ステップｓ１２：Ｎｏ、図１３に示す場合）、第２判定閾値設定部１３３は、正規分布Ｄ３０の分布範囲の最大値ｋMaxを判定閾値に設定する（ステップｓ１４）。
その後、残渣分布判定部１３０の動作は図７に示すサブルーチンに戻る。
【００６４】
ステップＳ１４３に続くステップＳ１４４において、判定部１３４は、判定閾値をもとに、残渣候補分布が残渣分布に相当するか否かを判定する。より詳細には、判定部１３４は、残渣候補である各分布の代表値（例えば、重心位置）を判定閾値と比較し、代表値が判定閾値よりも黄みの強い側にある分布は残渣分布であると判定し、代表値が判定閾値よりも黄みの弱い側にある分布は残渣分布ではないと判定する。例えば、図１０の場合、判定閾値として設定された境界位置ｋBORDERよりも重心位置ｋG21における黄みが強い（Ｂ／Ｇ値が小さい）クラスタＣ２１は残渣分布であると判定され、境界位置ｋBORDERよりも重心位置ｋG22における黄みが弱い（Ｂ／Ｇ値が大きい）クラスタＣ２２は残渣分布ではないと判定される。このようにして残渣分布と判定された色特徴量を有する画素が、残渣領域の画素であると判定される。
【００６５】
なお、判定部１３４は、残渣候補分布に含まれる各色特徴量ｃnを判定閾値と比較することにより、色特徴量ｃnごとに残渣分布に含まれるか否かの判定を行っても良い。
この後、画像処理装置１の動作はメインルーチンに戻る。
【００６６】
ステップＳ１４に続くステップＳ１５において、演算部１００は、ステップＳ１４における判定結果を出力する。これに応じて、制御部１０は、この判定結果を記録部５０に記録させると共に、表示部４０に表示させる。
【００６７】
以上説明したように、実施の形態１においては、赤みの強さが変化する色特徴量を表す候補判定軸において、粘膜分布と残渣候補分布とを判別し、次に、黄みの強さが変化する色特徴量を表す判定軸において、残渣候補分布と粘膜分布との相対的な関係に応じて残渣分布を判別する。即ち、実施の形態１によれば、学習によって予め設定された閾値ではなく、処理対象の管腔内画像内の色特徴量の相対的な関係に基づいて適応的に設定された閾値を用いて、残渣分布を判別するので、残渣領域を従来よりも高精度で検出することが可能となる。
【００６８】
特に、残渣領域は、管腔内画像間における色特徴量の分布の変動が大きいので、処理対象の管腔内画像ごとに判定閾値を適応的に設定することにより、各管腔内画像における残渣領域の検出精度を向上させることができる。
【００６９】
（変形例１−１）
次に、変形例１−１について説明する。
上述した実施の形態において、色特徴量算出部１１０は、管腔内画像内の各画素の色特徴量を算出して、色特徴量の分布を作成した。しかしながら、色特徴量算出部１１０は、管腔内画像を複数の小領域に分割し、小領域単位で色特徴量を算出しても良い。管腔内画像を分割する小領域は、予め設定されたサイズの矩形領域であっても良い。或いは、管腔内画像の画素値（Ｒ値若しくはＧ値）又は画素値から算出される輝度値Ｙに対して分水嶺処理（参考：Luc  Vincent  and  Pierre  Soille，“Watersheds  in  Digital  Spaces：  An  Efficient  Algorithm  Based  on  Immersion  Simulations”，IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence，  Vol．13，No．6，  pp．583−598，June  1991）等を施すことにより、管腔内画像を複数の小領域に分割しても良い。小領域単位の色特徴量としては、例えば各小領域に含まれる画素の色特徴量の平均値が用いられる。
【００７０】
この場合、残渣候補分布判定部１２０及び残渣分布判定部１３０は、小領域単位で算出された色特徴量の分布に基づいて、上述した処理を行う。
変形例１−１によれば、色特徴量を小領域単位で算出することによりノイズの影響を抑制することができるので、不要領域の判定精度を向上させることが可能となる。
【００７１】
（変形例１−２）
次に、変形例１−２について説明する。
候補判定軸設定部１２１は、粘膜領域と残渣候補領域とを判別する際に用いられる候補判定軸を、複数の管腔内画像間における粘膜分布の変動が小さい色特徴量に対応して設定しても良い。それにより、粘膜領域の検出誤差を低減できるからである。この場合、候補判定軸設定部１２１は、予め複数の管腔内画像から取得した粘膜領域内の色特徴量をプロットした色特徴量空間において、例えば、１次関数による最小二乗法、回帰法、固有値法等を実行することにより、分散が最小となる方向を検出して、該方向に対応する色特徴量を候補判定軸として設定する。
【００７２】
（変形例１−３）
次に、変形例１−３について説明する。
判定軸設定部１３１は、残渣候補分布が残渣分布に相当するか否かを判定する際に用いられる判定軸を、管腔内画像間において残渣候補領域の変動幅が大きい色特徴量に対応して設定しても良い。これは、残渣候補分布には、白色病変領域に対応する分布やハレーション領域に対応する分布のように、残渣分布以外の複数の分布が含まれるため、これらの分布を明確に分離できるようにするためである。この場合、判定軸設定部１３１は、予め複数の管腔内画像から取得した残渣領域内の色特徴量をプロットした色特徴量空間において、分散が最大となる方向を検出して、該方向に対応する色特徴量に関する座標軸を判定軸として設定する。
【００７３】
図１４は、残渣候補分布において分散の大きい色特徴量に対応して設定された判定軸を、処理対象の管腔内画像内の画素の色特徴量がプロットされた色特徴量空間に重ねて表示した例を示している。図１４に示すように、設定された判定軸が色特徴量空間の軸と平行にならない場合（即ち、判定軸に対応する色特徴量が、Ｇ／Ｒ値、Ｂ／Ｒ値のいずれとも異なる場合）には、処理対象の管腔内画像の色特徴量を、Ｇ／Ｒ値及びＢ／Ｇ値を成分とする色特徴量空間に一旦プロットした上で、設定した判定軸に対して色特徴量の頻度分布を累積すると良い。
【００７４】
或いは、別の変形例として、簡易的には、色特徴量空間において候補判定軸と直交する軸に対応する色特徴量を表す判定軸を設定しても良い。
【００７５】
（変形例１−４）
次に、変形例１−４について説明する。
第１判定閾値設定部１２３は、粘膜領域と残渣候補領域とを判別する際に用いられる候補判定閾値を、予め複数の管腔内画像から取得した色特徴量の分布に基づいて設定しても良い。そのために、まず、第１判定閾値設定部１２３は、各管腔内画像に対し、粘膜領域内の画素の色特徴量（例えば、Ｇ／Ｒ値）の頻度分布を作成し、分水嶺処理により頻度分布を山毎に分割する。そして、山毎に分割した各分布の重心位置を算出する。続いて、第１判定閾値設定部１２３は、複数の管腔内画像から取得した重心位置の頻度分布を作成する。この重心位置の頻度分布において、頻度が最大となる色特徴量から赤みの弱い側（例えばＧ／Ｒ値が大きい側）を見たときに、頻度が最初に最小又は極小となるときの候補判定軸の値を候補判定閾値とする。
【００７６】
（変形例１−５）
次に、変形例１−５について説明する。
候補判定部１２４は、処理対象の管腔内画像の色特徴量をクラスタリングしたクラスタごとに、残渣候補分布に相当するか否かを判定しても良い。なお、クラスタリングの手法としては、上述したように、分水嶺処理、階層法、k-means法、ＥＭアルゴリズム、自己組織化マップ等の公知の手法を用いることができる。
【００７７】
この場合、候補判定部１２４は、例えば図１５に示すように、色特徴量空間における色特徴量の分布をクラスタリングして得られた各クラスタＣ４１〜Ｃ４３の重心位置ｇ４１（ｘ41、ｙ41）、ｇ４２（ｘ42、ｙ42）、ｇ４３（ｘ43、ｙ43）を取得する。なお、値ｘ41、ｘ42、ｘ43は、重心位置ｇ４１、ｇ４２、ｇ４３の候補判定軸（Ｇ／Ｒ軸）における重心成分であり、値ｙ41、ｙ42、ｙ43は、重心位置ｇ４１、ｇ４２、ｇ４３の判定軸（Ｂ／Ｇ軸）における重心成分である。
【００７８】
候補判定部１２４は、重心成分ｘ41、ｘ42、ｘ43と候補判定閾値Ｔｈ０とを比較し、候補判定閾値Ｔｈ０よりも重心位置が赤みの強い側（Ｇ／Ｒ値が小さい側）にあるクラスタＣ４１を粘膜分布と判定し、候補判定閾値Ｔｈ０よりも赤みの弱い側（Ｇ／Ｒ値が大きい側）に重心位置があるクラスタＣ４２、Ｃ４３を残渣候補分布と判定する。
【００７９】
また、判定部１３４は、残渣候補分布に対し、クラスタごとに残渣分布に相当するか否かを判定しても良い。この場合、判定部１３４は、例えば図１５に示すように、残渣候補分布として判定されたクラスタＣ４２、Ｃ４３の重心成分ｙ42、ｙ43を、粘膜分布として判定されたクラスタＣ４１の重心成分ｙ41と比較し、重心位置が粘膜分布のクラスタＣ４１の重心位置よりも黄みの強い側（Ｂ／Ｇ値が小さい側）にあるクラスタＣ４２を残渣分布と判定し、重心位置が粘膜分布のクラスタＣ４１の重心位置よりも黄みの弱い側（Ｂ／Ｇ値が大きい側）にあるクラスタＣ４３を残渣分布ではないと判定する。
【００８０】
或いは、判定部１３４は、実施の形態において説明した方法により残渣候補分布が残渣分布に相当するか否かを判定する際に用いられる判定閾値が取得されている場合には、クラスタＣ４２、Ｃ４３の重心成分ｙ42、ｙ43をこの判定閾値と比較することにより判定を行っても良い。
【００８１】
（変形例１−６）
次に、変形例１−６について説明する。
第１判定閾値設定部１２３は、第２判定閾値設定部１３３と同様に、ヒストグラムの双方性の形状を評価し、この評価結果をもとにヒストグラムの境界位置を算出して、この境界位置を判定閾値に設定しても良い。
【００８２】
即ち、第１判定閾値設定部１２３は、候補判定軸に対して作成された特徴量のヒストグラムが所定値以上の幅を有する場合、ＥＭアルゴリズム等の手法により、このヒストグラムに２つの正規分布に近似する。続いて、第１判定閾値設定部１２３は、候補判定軸において、各正規分布の代表値（例えば重心位置）をもとに、例えば教師データから取得された粘膜ヒストグラムの重心位置と比較して、各正規分布が粘膜分布と残渣候補分布とのいずれに対応するかを判定する。ここで、２つの正規分布が共に粘膜分布に対応すると判定された場合、第１判定閾値設定部１２３は、２つの正規分布の範囲の最大値を判定閾値に設定する。また、２つの正規分布が共に残渣候補分布に対応すると判定された場合、第１判定閾値設定部１２３は、２つの正規分布の範囲の最小値を判定閾値に設定する。さらに、２つの正規分布の内の一方が粘膜分布で、他方が残渣候補分布に対応すると判定された場合、第１判定閾値設定部１２３は、２つの正規分布の境界位置を判定閾値に設定する。
【００８３】
また、ヒストグラムの幅が所定値以下の場合、第１判定閾値設定部１２３は、ヒストグラムを１つの正規分布に近似する。続いて、第１判定閾値設定部１２３は、候補判定軸における正規分布の代表値(例えば重心位置)をもとに、例えば教師データから取得された粘膜ヒストグラムの重心位置と比較して、その正規分布が粘膜分布と残渣候補分布との内のいずれに対応するかを判定する。そして、正規分布が粘膜分布に対応すると判定された場合、第１判定閾値設定部１２３は、正規分布の範囲の最大値を判定閾値に設定する。一方、正規分が残渣候補分布に対応すると判定された場合、第１判定閾値設定部１２３は、正規分布の範囲の最小値を判定閾値に設定する。
【００８４】
（変形例１−７）
次に、変形例１−７について説明する。
変形例１−７においては、図１に示す第１判定閾値設定部１２３の代わりに、図１６に示すように、合成ヒストグラム作成部１２５ａを含む第１判定閾値設定部１２５を適用しても良い。
【００８５】
ここで、例えば図１７の画像Ｍ２として例示するように、管腔内画像の大部分に判定対象の一方の領域（例えば粘膜領域ｍ４）が写っており、判定対象の他方の領域（例えば残渣領域ｍ５）が僅かしか写っていない場合、管腔内画像全体の画素の色特徴量を用いて１つのヒストグラムを作成すると、僅かな領域に対応する頻度がノイズに埋もれてしまい、両領域に対応する粘度分布及び残渣分布を適切に判別できなくなるおそれがある。
【００８６】
このような場合、合成ヒストグラム作成部１２５ａは、まず、管腔内画像を所定のサイズの複数の矩形領域に分割し、矩形領域毎に、画素の色特徴量の頻度分布を表すヒストグラムを候補判定軸に対して作成する。例えば、図１７の場合、１つの画像Ｍ２が１６個の矩形領域Ａ01〜Ａ16に分割され、各矩形領域Ａ01〜Ａ16に対して、図１８に示す１６個のヒストグラムａ01〜ａ16が作成される。続いて、合成ヒストグラム作成部１２５ａは、これらのヒストグラムを合成した合成ヒストグラムを作成する。図１８に示すように、合成ヒストグラムＤ４０は、各色特徴量において、ヒストグラムａ01〜ａ16間の頻度の最大値を抽出して合成したものである。或いは、最大値の代わりに最頻値を抽出して合成ヒストグラムを作成しても良い。
【００８７】
この変形例１−７によれば、粘膜領域又は残渣領域のいずれかが極端に小さい場合においても、候補判定軸に対して作成される合成ヒストグラムには、各矩形領域内における粘膜領域と残渣領域との割合に応じた分布の特徴が現れる。従って、適切な判定閾値を設定して粘膜領域と残渣候補領域とを判別することが可能となる。
【００８８】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
図１９は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。図１９に示すように、実施の形態２に係る画像処理装置２は、図１に示す演算部１００の代わりに、演算部２００を備える。なお、演算部２００以外の各部の構成及び動作については、実施の形態１と同様である。
【００８９】
演算部２００は、管腔内画像内の各画素又は小領域ごとの色特徴量を算出して分布を作成する色特徴量算出部２１０と、管腔内画像から残渣領域の判別に不要な領域を除外する不要領域除外部２２０と、管腔内画像内の色特徴量の赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定部２３０と、残渣候補として判定された色特徴量の黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定部２４０とを備える。このうち、色特徴量算出部２１０の動作は、図１に示す色特徴量算出部１１０と同様である。
【００９０】
不要領域除外部２２０は、暗部領域判定部２２１と、泡領域判定部２２２と、赤色病変領域判定部２２３とを備え、これらの各部により泡領域、暗部領域、及び赤色病変領域としてそれぞれ判定された領域を不要領域として除外する。なお、暗部領域判定部２２１、泡領域判定部２２２、及び赤色病変領域判定部２２３の動作は、図１に示す暗部領域判定部１２２ａ−１、泡領域判定部１２２ａ−２、及び赤色病変領域判定部１２２ａ−３とそれぞれ同様である。
【００９１】
残渣候補分布判定部２３０は、分布モデル当てはめ部２３１と、分布モデル判定部２３２と、候補閾値設定部２３３と、候補判定部２３４とを備え、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する。このうち、分布モデル当てはめ部２３１は、赤みの度合いを判定するための候補判定軸（第１の判定軸）において、管腔内画像内の色特徴量の分布に対して１つ以上の分布モデルを当てはめる。分布モデル判定部２３２は、１つ以上の分布モデルを予め設定されている所定の閾値（固定値）と比較することにより、該１つ以上の分布モデルの赤みの度合いに基づいて、各分布モデルが残渣候補であるか否か判定する。候補閾値設定部２３３は、分布モデル判定部２３２による判定結果をもとに、残渣候補を表す色特徴量を判定するための候補閾値を設定する。候補判定部２３４は、設定された候補閾値をもとに、残渣候補を表す色特徴量を判定する。
【００９２】
分布モデル判定部２３２は、候補判定軸における上記１つ以上の分布モデルの代表値を算出する代表値算出部２３２ａと、該代表値に対応して候補判定軸に予め設定された閾値をもとに、赤みの弱い分布モデルを残渣候補分布として判定する閾値処理部２３２ｂとを備える。
【００９３】
また、候補閾値設定部２３３は、分布モデル判定部２３２による判定の結果、複数の分布モデルに対して互いに異なる結果となる判定がなされた場合に、候補判定軸における複数の分布モデルの間の値を候補閾値として設定する分布モデル間候補閾値設定部２３３ａと、複数の分布モデルに対して互いに同一の結果となる判定がなされた場合、又は色特徴量に対して１つしか分布モデルの当てはめが行われなかった場合に、候補判定軸における１つ又は複数の分布モデルの外側の値を候補閾値として設定する分布モデル間外候補閾値設定部２３３ｂとを備える。
【００９４】
残渣分布判定部２４０は、分布モデル当てはめ部２４１と、分布モデル判定部２４２と、閾値設定部２４３と、判定部２４４とを備え、残渣候補と判定された色特徴量のうち、相対的に黄みが強い側に分布する色特徴量を残渣分布として判定する。このうち、分布モデル当てはめ部２４１は、黄みの度合いを判定するための色特徴量の判定軸（第２の判定軸）において、残渣候補と判定された色特徴量の分布に対して１つ以上の分布モデルを当てはめる。分布モデル判定部２４２は、１つ以上の分布モデルを予め設定されている所定の閾値（固定値）と比較することにより、該１つ以上の分布モデルの黄みの度合いに基づいて、各分布モデルが残渣であるか否かを判定する。閾値設定部２４３は、分布モデル判定部２４２による判定結果をもとに、残渣を表す色特徴量を判定するための閾値を設定する。判定部２４４は、閾値設定部２４３により設定された閾値をもとに、残渣を表す色特徴量を判定する。
【００９５】
分布モデル判定部２４２は、判定軸における上記１つ以上の分布モデル代表値を算出する代表値算出部２４２ａと、該代表値に対応して判定軸に予め設定された閾値をもとに、黄みの強い分布モデルを残渣分布として判定する閾値処理部２４２ｂとを備える。
【００９６】
図２０は、図１９に示す分布モデル間外候補閾値設定部２３３ｂの詳細な構成を示すブロック図である。図２０に示すように、分布モデル間外候補閾値設定部２３３ｂは、候補判定軸における分布モデルの代表値を候補閾値として設定する代表値候補閾値設定部２３３ｂ−１を備える。
【００９７】
図２１は、図１９に示す分布モデル間外閾値設定部２４３ｂの詳細な構成を示すブロック図である。図２１に示すように、分布モデル間外閾値設定部２４３ｂは、判定軸における分布モデルの代表値を閾値として設定する代表値閾値設定部２４３ｂ−１を備える。
【００９８】
次に、画像処理装置２の動作について説明する。図２２は、画像処理装置２の動作を示すフローチャートである。なお、図２２に示すステップＳ２１及びＳ２６は、図２に示すステップＳ１１及びＳ１５にそれぞれ対応している。
【００９９】
ステップＳ２１に続くステップＳ２２において、色特徴量算出部２１０は、管腔内画像内の各画素の画素値（Ｒ成分、Ｇ成分、Ｂ成分）から色特徴量を算出する。実施の形態２においては、赤みを示す色特徴量として、Ｇ成分とＲ成分のと比であるＧ／Ｒ値を算出し、黄みを示す色特徴量として、Ｂ成分とＧ成分のと比であるＢ／Ｇ値を算出する。なお、実施の形態２においても、変形例１−１と同様に、各画素の色特徴量を取得する代わりに、管腔内画像を複数の小領域に分割した小領域単位で色特徴量を算出しても良い。
【０１００】
続くステップＳ２３において、不要領域除外部２２０は、管腔内画像から残渣領域の判定に不要な領域を除外する。図２３は、不要領域除外部２２０の動作を示すフローチャートである。
【０１０１】
まず、ステップＳ２３１において、暗部領域判定部２２１は、輝度値が所定の閾値よりも低い領域（画素又は小領域）を暗部領域として判定する。例えば、管腔内画像の赤色成分の強さが所定の閾値以下の領域が暗部領域として判定される。暗部領域判定部２２１は、暗部領域を検出すると、当該領域に暗部領域を示すフラグ(１：暗部領域)を付加する。ここで、赤色成分に基づいて判定を行うのは、管腔内において赤色成分はもっとも吸収されにくく、被検体（粘膜）表面においてほとんど反射されるため、粘膜の構造情報をよく表すためである。
【０１０２】
続くステップＳ２３２において、泡領域判定部２２２は、輝度値の周波数成分が高く、且つ彩度が低い領域（画素又は小領域）を泡領域として判定する。泡領域判定部２２２は、泡領域を検出すると、当該領域に泡領域を示すフラグ（２：泡領域）を付加する。ここで、周波数成分は、管腔内画像にＤＣＴ変換（離散コサイン変換）を施した後に得られる係数や、原画像と平均画像との差分値等を算出することにより求めることができる。また、彩度は、Ｇ／Ｂ値及びＢ／Ｇ値が共に所定の範囲に分布しているか否かの判定、若しくは、輝度値及び赤色成分に対する閾値処理により判断することができる。
【０１０３】
続くステップＳ２３３において、赤色病変領域判定部２２３は、Ｇ／Ｒ値及びＢ／Ｇ値を成分とする色特徴量空間において、色特徴量の分布をクラスタリングし、主要なクラスタ（頻度が多いクラスタ、例えば最大クラスタ）に対して相対的に赤色の方向に外れたクラスタを赤色病変領域として判定する。クラスタリングは、色特徴量空間における色特徴量の頻度分布を、該頻度分布の山ごとに分水嶺等の処理を施すことによりことにより行う。赤色病変領域判定部２２３は、主要なクラスタから外れたクラスタの絶対位置及び主要なクラスタに対する相対位置が赤色方向にある場合、そのクラスタに対応する管腔内画像の領域に赤色病変領域を示すフラグ（３：赤色病変領域）を付加する。
【０１０４】
なお、ステップＳ２３１〜Ｓ２３３においてフラグ１〜３のいずれも附されていない領域には、その他のフラグ（０：その他）が付加される。ステップＳ２３４において、不要領域除外部２２０は、管腔内画像内の画素又は小領域のうち、フラグ１〜３が付加された画素又は小領域を不要領域として除外する。その後、演算部２００の動作はメインルーチンに戻る。
【０１０５】
ステップＳ２３に続くステップＳ２４において、残渣候補分布判定部２３０は、色特徴量のうち、赤みの弱い色特徴量を残渣候補として判定する。図２４は、残渣候補分布判定部２３０の動作を示すフローチャートである。
【０１０６】
まず、ステップＳ２４１において、分布モデル当てはめ部２３１は、赤みの度合いを判定する候補判定軸において、色特徴量の分布に対して所定の分布モデルを当てはめることにより、１つ以上の分布モデルを作成する。実施の形態２においては、候補判定軸として、０に近づくほど赤みが強くなるＧ／Ｒ値を設定する。また、実施の形態２においては、色特徴量の分布に対して１つ又は２つの正規分布を当てはめることとする。
【０１０７】
ここで、正規分布ｆk(i)は、次式（１）によって与えられる。
【数１】
2013085061.tif 000003
式（１）において、色特徴量の分布に対して当てはめられるｋ番目の正規分布を表し、実施の形態２において、ｋ＝１又は２である。また、符号ｉは色特徴量Ｇ／Ｒ値を示す。
【０１０８】
この正規分布ｆk(i)は、色特徴量をもとに、パラメータである平均μk、分散σk2、混合比率ωkを更新して最適解を求めるＥＭアルゴリズムの手法により求めることができる（参考：J.  A.  Bilmes,  “A  Gentle  Tutorial  of  the  EM  Algorithm  and  its  Application  to  Parameter  Estimation  for  Gaussian  Mixture  and  Hidden  Markov  Models,”  Technical  Report  TR-97-021,  International  Computer  Science  Institute  and  Computer  Science  Division,  University  of  California  at  Berkeley,  April  1998）。
【０１０９】
以下、図２５〜図２８Ｂを参照しながらＥＭアルゴリズムの概要を説明する。
ＥＭアルゴリズムとは、あるデータ軸（例えば、候補判定軸)に対する有限個数のデータ（例えば、色特徴量Ｇ／Ｒ値）に対し、以下に説明するＥステップ（expectation）及びＭステップ（maximization）を繰り返し、繰り返し回数又は対数尤度が最大値付近となったときに処理を終了するアルゴリズムである。
【０１１０】
＜Ｅステップ＞
（ｉ）ステップ１
例えば図２５に示すように、あるデータ軸におけるＮ（Ｎは自然数）個のデータＸ＝｛ｘi｝（ｉ＝１、２、…、Ｎ）の密度関数Ｆに対し、データＸが分布Ａ、Ｂのいずれに属するかを示す確率モデルを、２つの正規分布で定義する（図２６参照）。ここで、２つの正規分布の各種パラメータを、以下のように定義する。
平均：μA、μB
分散：σA2、σB2
分布Ａと分布Ｂの混合比率(事前確率)：ωA、ωB
【０１１１】
データＸが分布Ａ、Ｂに属する確率モデル（確率密度）ωAＰ（Ｘ｜Ａ）、ωBＰ（Ｘ｜Ｂ）は、それぞれ、次式（２）、（３）によって与えられる。
【数２】
2013085061.tif 000004
【０１１２】
なお、図２６は、式（２）、（３）における各パラメータの初期値を以下のように設定した場合を示している。
平均μA：密度関数Ｆの最小値
平均μB：密度関数Ｆの最大値
分散σA2：１．０
分散σB2：１．０
混合比率ωA：０．５
混合比率ωB：０．５（＝１−ωA）
【０１１３】
（ii）ステップ２
式（２）、（３）に示す確率密度から、Ｇ／Ｒ軸におけるあるデータの位置が、分布Ａ、Ｂのいずれに属しているかを示す事後確率Ｐ（Ａ｜Ｘ）、Ｐ（Ｂ｜Ｘ）を、式（４）及び（５）を用いて算出する(図２７参照)。
【数３】
2013085061.tif 000005
ここで、データＸは、分布Ａ、Ｂのいずれかに属するため、次式のとおり、確率の和は１となる。
Ｐ（Ａ｜Ｘ）＋Ｐ（Ｂ｜Ｘ）＝１
【０１１４】
（iii）ステップ３
次式（６）に示す尤度Ｑ（Ｘ｜ω，μ，σ2）を用い、密度関数Ｆに対して確率モデルが当てはめられているか否かを評価する。ここで、評価には、対数尤度が用いられる。対数尤度は尤もらしい状態において最大値を取る。
【数４】
2013085061.tif 000006
【０１１５】
＜Ｍステップ＞
（iv）ステップ４
確率モデルのパラメータを更新する。平均μA、μBの更新は、式（７）、（８）により、分散σA2、σB2の更新は式（９）、（１０）により、混合比率ωA、ωBの更新は（１１）、（１２）によりそれぞれ行われる。
【数５】
2013085061.tif 000007
【数６】
2013085061.tif 000008
【数７】
2013085061.tif 000009
ここで、式（７）〜（１２）に示す符号（０）は、各パラメータが初期値であることを示し、符号（１）は各パラメータが１回目の更新後の値であることを示す。この符号（ｊ）（ｊ＝０、１、２、…）は、更新回数に応じてインクリメントされる。
【０１１６】
例えば、図２８Ａに示すように、分布Ａの初期パラメータである平均μA(0)、分散σA(0)2、混合比率ωA(0)を１回更新すると、図２８Ｂに示すように、更新パラメータである平均μA(1)、分散σA(1)2、混合比率ωA(1)が得られる。分布Ｂに関しても同様である。
このようなＥステップ及びＭステップを繰り返すことにより、分布Ａ、Ｂの最適なパラメータを求めることができる。
【０１１７】
ステップＳ２４１に続くステップＳ２４２において（図２４参照）、分布モデル判定部２３２の代表値算出部２３２ａは、分布モデル当てはめ部２３１が作成した１つ以上の分布モデルの候補判定軸における代表値を算出する。具体的には、図２９に示すように、代表値として、分布モデルの分布範囲の最大値ｇmax及び最小値ｇminを算出する。
【０１１８】
より詳細には、代表値算出部２３２ａは、まず、図３０に示すように、各正規分布ｆkのパラメータである平均μk及び分散σk2を取得する。そして、平均μkから±２σkだけ離れた色特徴量の値を、当該正規分布ｆkの分布範囲の最大値ｇmax(fk)（＝μk＋２σk）及び最小値ｇmin(fk)（＝μk−２σk）とする。
【０１１９】
続いて、代表値算出部２３２ａは、１つ以上の正規分布ｆkの最大値ｇmax(fk)の間における最大値ｍａｘ（ｇmax(fk)）を取得する。例えば図３１に示す正規分布ｆ1、ｆ2が得られた場合、正規分布ｆ2の最大値ｇmax(f2)が最大値ｍａｘ（ｇmax(fk)）として取得される。
【０１２０】
続いて、代表値算出部２３２ａは、色特徴量の分布範囲の最大値ｇmax(F)を取得し、正規分布ｆkの最大値ｍａｘ（ｇmax(fk)）と比較して小さい方の値を、分布モデルの分布範囲の最大値ｇmaxとして設定する。例えば図３１の場合、正規分布ｆ2の最大値ｇmax(f2)が実際の密度関数Ｆの最大値ｇmax(F)を超えて大きくなっているので、密度関数Ｆの最大値ｇmax(F)が分布モデルの分布範囲の最大値ｇmaxとして設定される（ｇmax＝ｇmax(F)）。一方、図３２の場合、正規分布ｆ2の最大値ｇmax(f2)の方が密度関数Ｆの最大値ｇmax(F)よりも小さいため、正規分布ｆ2の最大値ｇmax(f2)が分布モデルの分布範囲の最大値ｇmaxとして設定される（ｇmax＝ｇmax(f2)）。
【０１２１】
また、代表値算出部２３２ａは、１つ以上の正規分布ｆkの最小値ｇmin(fk)の間における最小値ｍｉｎ（ｇmin(fk)）を取得する。例えば図３３の場合、正規分布ｆ1、ｆ2の間においては、正規分布ｆ1の最小値ｇmin(f1)が最小値ｍｉｎ（ｇmin(fk)）として取得される。
【０１２２】
続いて、代表値算出部２３２ａは、色特徴量の分布範囲の最小値ｇmin(F)を取得し、正規分布ｆkの最小値ｍｉｎ（ｇmin(fk)）と比較して大きい方の値を、分布モデルの分布範囲の最小値ｇminとして設定する。例えば図３３の場合、正規分布ｆ1の最小値ｇmin(f1)が実際の密度関数Ｆの最小値ｇmin(F)を超えて小さくなっているので、密度関数Ｆの最小値ｇmin(F)が分布モデルの分布範囲の最小値ｇminとして設定される（ｇmin＝ｇmin(F)）。一方、図３４の場合、正規分布ｆ1の最小値ｇmin(f1)の方が密度関数Ｆの最小値ｇmin(F)よりも大きいため、正規分布ｆ1の最小値ｇmin(f1)が分布モデルの分布範囲の最小値ｇminとして設定される（ｇmin＝ｇmin(f1)）。
【０１２３】
なお、ステップＳ２４１において色特徴量の分布に当てはめられた正規分布が１つである場合、当該正規分布の最大値μ＋２σ及び最小値μ−２σが、それぞれ、色特徴量の分布範囲の最大値ｇmax(F)及び最大値ｇmin(F)と比較され、当該比較の結果に基づいて分布モデルの分布範囲の最大値ｇmax、最小値ｇminが設定される。
【０１２４】
続くステップＳ２４３において、閾値処理部２３２ｂは、候補判定軸において予め設定された閾値をもとに、赤みの弱い分布モデルを残渣候補分布として判定する。ここで、候補判定軸においては、粘膜の有無を判定するための粘膜閾値Ｔｈ（Ｍ）と、残渣候補の有無を判定するための残渣候補閾値Ｔｈ（Ｒ）（Ｔｈ（Ｒ）＞Ｔｈ（Ｍ））とが予め設定されている。
【０１２５】
ここで、図３５及び図３６は、ステップＳ２４１において作成された１つ以上の分布モデルに基づいて色特徴量をクラスタリングすることにより作成されたクラスタを示している。なお、クラスタリングは、例えば、色特徴量空間において管腔内画像の色特徴量の頻度分布を作成し、該頻度分布に対して分水嶺等の処理を施すことにより行うことができる。
【０１２６】
このうち、図３５は、色特徴量の分布に２つの分布モデルを当てはめた場合に対応する２つのクラスタＣ（１）、Ｃ（２）を示し、色特徴量（Ｇ／Ｒ）が小さい方のクラスタをクラスタＣ（１）とし、色特徴量が大きい方のクラスタをクラスタＣ（２）としている。一方、図３６は、色特徴量の分布に２つの分布モデルを当てはめた際に、一方の分布の内部に他方の分布が内包された場合に対応するクラスタＣ（３）を示している。以下においては、分布モデルの一例として、これらのクラスタＣ（１）〜Ｃ（３）が残渣候補分布（残渣候補クラスタ）であるか否かを判定する方法を説明する。
【０１２７】
図３５（ａ）に示すように、分布モデルの分布範囲の最大値（即ち、クラスタ内の色特徴量の最大値、以下、クラスタの最大値という）ｇmaxが残渣候補閾値Ｔｈ（Ｒ）よりも小さく（ｇmax＜Ｔｈ（Ｒ））、且つ、分布モデルの分布範囲の最小値（即ち、クラスタ内の色特徴量の最小値、以下、クラスタの最小値という）ｇminが粘膜閾値Ｔｈ（Ｍ）以下である場合（ｇmin≦Ｔｈ（Ｍ））、閾値処理部２３２ｂは、クラスタＣ（１）、Ｃ（２）を共に粘膜分布と判定する。
【０１２８】
図３５（ｂ）に示すように、クラスタの最大値ｇmaxが残渣候補閾値Ｔｈ（Ｒ）以上であり（ｇmax≧Ｔｈ（Ｒ））、且つ、クラスタの最小値ｇminが粘膜閾値Ｔｈ（Ｍ）以下である場合（ｇmin≦Ｔｈ（Ｍ））、閾値処理部２３２ｂは、クラスタＣ（１）を粘膜分布、クラスタＣ（２）を残渣候補分布と判定する。
【０１２９】
図３５（ｃ）に示すように、クラスタの最大値ｇmaxが残渣候補閾値Ｔｈ（Ｒ）よりも小さく（ｇmax＜Ｔｈ（Ｒ））、且つ、クラスタの最小値ｇminが粘膜閾値Ｔｈ（Ｍ）よりも大きい場合（ｇmin＞Ｔｈ（Ｍ））、閾値処理部２３２ｂは、クラスタＣ（１）、Ｃ（２）を共に残渣候補分布と判定する。
【０１３０】
図３５（ｄ）に示すように、クラスタの最大値ｇmaxが残渣候補閾値Ｔｈ（Ｒ）以上であり（ｇmax≧Ｔｈ（Ｒ））、且つ、クラスタの最小値ｇminが粘膜閾値Ｔｈ（Ｍ）よりも大きい場合（ｇmin＞Ｔｈ（Ｍ））、閾値処理部２３２ｂは、クラスタＣ（１）、Ｃ（２）を共に残渣候補分布と判定する。
【０１３１】
また、図３６（ａ）に示すように、クラスタの最大値ｇmaxが残渣候補閾値Ｔｈ（Ｒ）よりも小さく（ｇmax＜Ｔｈ（Ｒ））、且つ、クラスタの最小値ｇminが粘膜閾値Ｔｈ（Ｍ）以下である場合（ｇmin≦Ｔｈ（Ｍ））、閾値処理部２３２ｂは、クラスタＣ（３）を粘膜分布と判定する。
【０１３２】
図３６（ｂ）に示すように、クラスタの最大値ｇmaxが残渣候補閾値Ｔｈ（Ｒ）以上であり（ｇmax≧Ｔｈ（Ｒ））、且つ、クラスタの最小値ｇminが粘膜閾値Ｔｈ（Ｍ）以下である場合（ｇmin≦Ｔｈ（Ｍ））、閾値処理部２３２ｂは、クラスタＣ（３）を粘膜分布と判定する。
【０１３３】
図３６（ｃ）に示すように、クラスタの最大値ｇmaxが残渣候補閾値Ｔｈ（Ｒ）よりも小さく（ｇmax＜Ｔｈ（Ｒ））、且つ、クラスタの最小値ｇminが粘膜閾値Ｔｈ（Ｍ）よりも大きい場合（ｇmin＞Ｔｈ（Ｍ））、閾値処理部２３２ｂは、クラスタＣ（３）を残渣候補分布と判定する。
【０１３４】
図３６（ｄ）に示すように、クラスタの最大値ｇmaxが残渣候補閾値Ｔｈ（Ｒ）以上であり（ｇmax≧Ｔｈ（Ｒ））、且つ、クラスタの最小値ｇminが粘膜閾値Ｔｈ（Ｍ）よりも大きい場合（ｇmin＞Ｔｈ（Ｍ））、閾値処理部２３２ｂは、クラスタＣ（３）を残渣候補分布と判定する。
【０１３５】
続くステップＳ２４４において、候補閾値設定部２３３は、ステップＳ２４３における判定結果をもとに、残渣候補を表す色特徴量を判定する候補閾値を設定する。より詳細には、複数のクラスタに対して互いに異なる判定結果が得られた場合、分布モデル間候補閾値設定部２３３ａは、候補判定軸（Ｇ／Ｒ軸）における複数のクラスタの間の値を候補閾値として設定する。一方、複数のクラスタに対して互いに同一の判定結果が得られた場合、分布モデル間外候補閾値設定部２３３ｂは、候補判定軸におけるクラスタの外側の値を候補閾値として設定する。
【０１３６】
具体的には、図３５（ａ）に示すように、２つのクラスタＣ（１）、Ｃ（２）が共に粘膜分布と判定された場合、分布モデル間候補閾値設定部２３３ａは、図３７（ａ）に示すように、候補判定軸の赤みが弱い側（Ｇ／Ｒ値が大きい側）におけるクラスタＣ（１）、Ｃ（２）の外側の値である最大値ｇmaxを、候補閾値Ｔｈ（Ｎ）として設定する。
【０１３７】
また、図３５（ｂ）に示すように、クラスタＣ（１）が粘膜分布、クラスタＣ（２）が残渣候補分布と判定された場合、分布モデル間外候補閾値設定部２３３ｂは、図３７（ｂ）に示すように、候補判定軸におけるクラスタＣ（１）、Ｃ（２）の境界位置の色特徴量（即ち、正規分布ｆ1、ｆ2（図２９参照）の境界位置の値）を、候補閾値Ｔｈ（Ｎ）として設定する。
【０１３８】
さらに、図３５（ｃ）及び（ｄ）に示すように、２つのクラスタＣ（１）、Ｃ（２）が共に残渣候補分布と判定された場合、分布モデル間外候補閾値設定部２３３ｂは、図３７（ｃ）及び（ｄ）に示すように、候補判定軸の赤みが強い側（Ｇ／Ｒ値が小さい側）におけるクラスタＣ（１）、Ｃ（２）の外側の値である最小値ｇminを、候補閾値Ｔｈ（Ｎ）として設定する。
【０１３９】
一方、候補閾値設定部２３３は、ステップＳ２４３において１つのクラスタに対する判定がなされた場合、以下のようにして候補閾値を設定する。
即ち、図３６（ａ）及び（ｂ）に示すように、クラスタＣ（３）が粘膜分布と判定された場合、分布モデル間外候補閾値設定部２３３ｂは、図３８（ａ）及び（ｂ）に示すように、候補判定軸の赤みが弱い側（Ｇ／Ｒ値が大きい側）の値である最大値ｇmaxを、候補閾値Ｔｈ（Ｎ）として設定する。
【０１４０】
また、図３６（ｃ）及び（ｄ）に示すように、クラスタＣ（３）が残渣候補領域と判定された場合、分布モデル間外候補閾値設定部２３３ｂは、図３８（ｃ）及び（ｄ）に示すように、候補判定軸の赤みが強い側（Ｇ／Ｒ値が小さい側）の値である最小値ｇminを、候補閾値Ｔｈ（Ｎ）として設定する。
【０１４１】
続くステップＳ２４５において、候補判定部２３４は、候補閾値Ｔｈ（Ｎ）をもとに、管腔内画像内の各色特徴量のうち、残渣候補を表す色特徴量を判定する。具体的には、候補判定部２３４は、候補判定軸において、候補閾値Ｔｈ（Ｎ）よりも赤みの強い（即ち、Ｇ／Ｒ値が小さい）側に存在する色特徴量は粘膜を表すものと判定し、赤みの弱い（即ち、Ｇ／Ｒ値が大きい）側に存在する色特徴量は残渣候補を表すものと判定する。
【０１４２】
なお、この際、候補判定部２３４は、管腔内画像内の色特徴量をクラスタリングすることにより作成したクラスタごとに、上記判定を行っても良い。この場合、各クラスタの重心位置を算出し、重心位置が候補閾値Ｔｈ（Ｎ）に対して赤みの強い側に存在するクラスタを粘膜分布と判定し、赤みの弱い側に存在するクラスタを残渣候補分布と判定する。その後、演算部２００の動作はメインルーチンに戻る。
【０１４３】
ステップＳ２４に続くステップＳ２５（図２２参照）において、残渣分布判定部２４０は、残渣候補として判定された色特徴量のうち、黄みの強い色特徴量を残渣として判定する。図３９は、残渣分布判定部２４０の動作を示すフローチャートである。
【０１４４】
まず、ステップＳ２５１において、分布モデル当てはめ部２４１は、黄みの度合いを判定する判定軸において、残渣候補と判定された色特徴量の分布に対して所定の分布モデルを当てはめることにより、１つ以上の分布モデルを作成する。実施の形態２においては、判定軸として、０に近づくほど黄みが強くなるＢ／Ｇ軸を設定する。また、実施の形態２においては、残渣候補と判定された色特徴量の分布に対し、１つ又は２つの正規分布を当てはめる。なお、色特徴量の分布に対して正規分布を当てはめる処理の詳細は、ステップＳ２４１（図２４参照）と同様である。
【０１４５】
続くステップＳ２５２において、分布モデル判定部２４２の代表値算出部２４２ａは、分布モデル当てはめ部２４１が作成した１つ以上の分布モデルの判定軸における代表値を算出する。より詳細には、ステップＳ２４２（図２４参照）と同様にして、残渣候補と判定された色特徴量の分布に当てはめられた分布モデルの分布範囲の最大値ｇmax’及び最小値ｇmin’を算出する。
【０１４６】
続くステップＳ２５３において、閾値処理部２４２ｂは、判定軸において予め設定された閾値をもとに、黄みの強い分布モデルを残渣分布として判定する。ここで、判定軸には、残渣の有無を判定するための残渣閾値Ｔｈ（Ｒ’）と、ハレーション領域、褪色調病変等の白色領域の有無を判定するための白色領域閾値Ｔｈ（Ｗ）（Ｔｈ（Ｗ）＞Ｔｈ（Ｒ’））とが予め設定されている。
【０１４７】
ここで、図４０及び図４１は、ステップＳ２５１において作成された１つ以上の分布モデルに基づいて、残渣候補である色特徴量をクラスタリングすることにより作成されたクラスタを示している。このうち、図４０は、色特徴量の分布に２つの分布モデルを当てはめた場合に対応する２つのクラスタＣ（４）、Ｃ（５）を示し、色特徴量（Ｂ／Ｇ）が小さい方のクラスタをクラスタＣ（４）とし、色特徴量が大きい方のクラスタをクラスタＣ（５）としている。一方、図４１は、色特徴量の分布に２つの分布モデルを当てはめた際に、一方の分布の内部に他方の分布が内包された場合に対応するクラスタＣ（６）を示している。以下においては、分布モデルの一例として、これらのクラスタＣ（４）〜Ｃ（６）が残渣分布（残渣クラスタ）であるか否かを判定する方法を説明する。
【０１４８】
図４０（ａ）に示すように、分布モデルの分布範囲の最大値（即ち、クラスタ内の色特徴量の最大値、以下、クラスタの最大値という）ｇmax’が白色領域閾値Ｔｈ（Ｗ）よりも小さく（ｇmax’＜Ｔｈ（Ｗ））、且つ、分布モデルの分布範囲の最小値（即ち、クラスタ内の色特徴量の最小値、以下、クラスタの最小値という）ｇmin’が残渣閾値Ｔｈ（Ｒ’）以下である場合（ｇmin’≦Ｔｈ（Ｒ’））、閾値処理部２４２ｂは、クラスタＣ（４）、Ｃ（５）を共に残渣分布と判定する。
【０１４９】
図４０（ｂ）に示すように、クラスタの最大値ｇmax’が白色領域閾値Ｔｈ（Ｗ）以上であり（ｇmax’≧Ｔｈ（Ｗ））、且つ、クラスタの最小値ｇmin’が残渣閾値Ｔｈ（Ｒ’）以下である場合（ｇmin’≦Ｔｈ（Ｒ’））、閾値処理部２４２ｂは、クラスタＣ（４）を残渣分布、クラスタＣ（５）を白色領域分布と判定する。
【０１５０】
図４０（ｃ）に示すように、クラスタの最大値ｇmax’が白色領域閾値Ｔｈ（Ｗ）よりも小さく（ｇmax’＜Ｔｈ（Ｗ））、且つ、クラスタの最小値ｇmin’が残渣閾値Ｔｈ（Ｒ’）よりも大きい場合（ｇmin’＞Ｔｈ（Ｒ’））、閾値処理部２４２ｂは、クラスタＣ（４）、Ｃ（５）を共に白色領域分布と判定する。
【０１５１】
図４０（ｄ）に示すように、クラスタの最大値ｇmax’が白色領域閾値Ｔｈ（Ｗ）以上であり（ｇmax’≧Ｔｈ（Ｗ））、且つ、クラスタの最小値ｇminが残渣閾値Ｔｈ（Ｒ’）よりも大きい場合（ｇmin’＞Ｔｈ（Ｒ’））、閾値処理部２４２ｂは、クラスタＣ（４）、Ｃ（５）を共に白色領域分布と判定する。
【０１５２】
また、図４１（ａ）に示すように、クラスタの最大値ｇmax’が白色領域閾値Ｔｈ（Ｗ）よりも小さく（ｇmax’＜Ｔｈ（Ｗ））、且つ、クラスタの最小値ｇmin’が残渣閾値Ｔｈ（Ｒ’）以下である場合（ｇmin’≦Ｔｈ（Ｒ’））、閾値処理部２４２ｂは、クラスタＣ（６）を残渣分布と判定する。
【０１５３】
図４１（ｂ）に示すように、クラスタの最大値ｇmax’が白色領域閾値Ｔｈ（Ｗ）以上であり（ｇmax’≧Ｔｈ（Ｗ））、且つ、クラスタの最小値ｇmin’が残渣閾値Ｔｈ（Ｒ’）以下である場合（ｇmin’≦Ｔｈ（Ｒ’））、閾値処理部２４２ｂは、クラスタＣ（６）を残渣分布と判定する。
【０１５４】
図４１（ｃ）に示すように、クラスタの最大値ｇmax’が白色領域閾値Ｔｈ（Ｗ）よりも小さく（ｇmax’＜Ｔｈ（Ｗ））、且つ、クラスタの最小値ｇmin’が残渣閾値Ｔｈ（Ｒ’）よりも大きい場合（ｇmin’＞Ｔｈ（Ｒ’））、閾値処理部２４２ｂは、クラスタＣ（６）を白色領域分布と判定する。
【０１５５】
図４１（ｄ）に示すように、クラスタの最大値ｇmax’が白色領域閾値Ｔｈ（Ｗ）以上であり（ｇmax’≧Ｔｈ（Ｗ））、且つ、クラスタの最小値ｇmin’が残渣閾値Ｔｈ（Ｒ’）よりも大きい場合（ｇmin’＞Ｔｈ（Ｒ’））、閾値処理部２４２ｂは、クラスタＣ（６）を白色領域分布と判定する。
【０１５６】
続くステップＳ２５４において、閾値設定部２４３は、ステップＳ２５３における判定結果をもとに、残渣を表す色特徴量を判定する閾値を設定する。より詳細には、複数のクラスタに対して互いに異なる判定結果が得られた場合、分布モデル間閾値設定部２４３ａは、判定軸（Ｂ／Ｇ軸）における複数のクラスタの間の値を閾値として設定する。一方、複数のクラスタに対して互いに同一の判定結果が得られた場合、分布モデル間外閾値設定部２４３ｂは、判定軸におけるクラスタの外側の値を閾値として設定する。
【０１５７】
具体的には、図４０（ａ）に示すように、２つのクラスタＣ（４）、Ｃ（５）が共に残渣分布と判定された場合、分布モデル間閾値設定部２４３ａは、図４２（ａ）に示すように、判定軸の黄みが弱い側（Ｂ／Ｇ値が大きい側）におけるクラスタＣ（４）、Ｃ（５）の外側の値である最大値ｇmax’を、閾値Ｔｈとして設定する。
【０１５８】
また、図４０（ｂ）に示すように、クラスタＣ（４）が残渣分布、クラスタＣ（５）が白色領域分布と判定された場合、分布モデル間外閾値設定部２４３ｂは、図４２（ｂ）に示すように、判定軸におけるクラスタＣ（４）、Ｃ（５）の境界位置の色特徴量（即ち、正規分布ｆ1、ｆ2（図２９参照）の境界位置の値）を、閾値Ｔｈとして設定する。
【０１５９】
さらに、図４０（ｃ）及び（ｄ）に示すように、２つのクラスタＣ（４）、Ｃ（５）が共に白色領域分布と判定された場合、分布モデル間外閾値設定部２４３ｂは、図４２（ｃ）及び（ｄ）に示すように、判定軸の黄みが強い側（Ｂ／Ｇ値が小さい側）におけるクラスタＣ（４）、Ｃ（５）の外側の値である最小値ｇmin’を閾値Ｔｈとして設定する。
【０１６０】
一方、閾値設定部２４３は、ステップＳ２５３において１つのクラスタに対する判定がなされた場合、以下のようにして候補閾値を設定する。
即ち、図４１（ａ）及び（ｂ）に示すように、クラスタＣ（６）が残渣分布と判定された場合、分布モデル間外閾値設定部２４３ｂは、図４３（ａ）及び（ｂ）に示すように、判定軸の黄みが弱い側（Ｂ／Ｇ値が大きい側）の値である最大値ｇmax’を閾値Ｔｈとして設定する。
【０１６１】
また、図４１（ｃ）及び（ｄ）に示すように、クラスタＣ（６）が白色領域分布と判定された場合、分布モデル間外閾値設定部２４３ｂは、図４３（ｃ）及び（ｄ）に示すように、判定軸の黄みが強い側（Ｂ／Ｇ値が小さい側）の値である最小値ｇmin’を閾値Ｔｈとして設定する。
【０１６２】
続くステップＳ２５５において、判定部２４４は、閾値Ｔｈをもとに、残渣を表す色特徴量を判定する。具体的には、判定部２４４は、判定軸において、残渣候補と判定された色特徴量のうち、閾値Ｔｈよりも黄みの強い（即ち、Ｂ／Ｇ値が小さい）側に存在する色特徴量は残渣を表すものと判定し、黄みの弱い（即ち、Ｂ／Ｇ値が大きい）側に存在する色特徴量は白色領域を表すものと判定する。
【０１６３】
なお、この際、判定部２４４は、残渣候補と判定された色特徴量をクラスタリングすることにより作成したクラスタごとに、上記判定を行っても良い。この場合、各クラスタの重心位置を算出し、重心位置が閾値Ｔｈに対して黄みの強い側に存在するクラスタを残渣分布と判定し、黄みの弱い側に存在するクラスタを白色領域分布と判定する。その後、演算部２００の動作はメインルーチンに戻る。
【０１６４】
ステップＳ２５に続くステップＳ２６（図２２参照）において、演算部２００は、ステップＳ２４における判定結果を出力する。これに応じて、制御部１０は、この判定結果を記録部５０に記録させると共に、表示部４０に表示させる。
【０１６５】
以上説明したように、実施の形態２によれば、管腔内画像における色特徴量の分布が揺らいだ場合であっても、適応的に設定される基準である候補閾値Ｔｈ（Ｎ）及び閾値Ｔｈに基づいて、残渣領域を精度良く判定することが可能となる。
【０１６６】
ここで、色特徴量の頻度分布に基づいて管腔内画像内の残渣領域を判別する処理部を実際の画像処理装置に実装する場合、頻度が所定値以下である色特徴量を予めノイズとして除去しておくことがある。この際、ノイズを除去するための閾値が適切でない場合に、時系列の前後で撮像され、実際には被写体に大きな変化がないはずの管腔内画像の間で判別結果が大きく異なってしまうことがあった。
【０１６７】
しかしながら、実施の形態２においては、色特徴量の分布に所定の分布モデル（例えば正規分布）を当てはめることにより、色特徴量の分布を主要な分布とそれ以外の分布とに分け、当該分布モデルに対する残渣候補分布の判定結果に応じ、当該分布モデルの代表値（最大値、最小値、境界位置の値）を用いて残渣候補を判定するための閾値を適応的に設定する。また、残渣領域を判定するための閾値についても同様である。従って、実施の形態２によれば、従来よりも高精度な残渣領域の判別が可能となる。
【０１６８】
（変形例２−１）
次に、実施の形態２の変形例２−１について説明する。
変形例２−１に係る画像処理装置は、図１９に示す画像処理装置２に対し、分布モデル間外候補閾値設定部２３３ｂ、２４３ｂの代わりに、図４４に示す分布モデル間外候補閾値設定部２３３ｃと、図４５に示す分布モデル間外閾値設定部２４３ｃとを備える。なお、変形例２−１に係る画像処理装置のうち、分布モデル間外候補閾値設定部２３３ｃ及び分布モデル間外閾値設定部２４３ｃ以外の各部の構成及び動作は、実施の形態２と同様である。
【０１６９】
図４４に示すように、分布モデル間外候補閾値設定部２３３ｃは、固定候補閾値設定部２３３ｃ−１及び代表値候補閾値設定部２３３ｃ−２を備える。固定候補閾値設定部２３３ｃ−１は、候補判定軸において予め定められた固定値を候補閾値として設定する。一方、代表値候補閾値設定部２３３ｃ−２は、１つ以上の分布モデルの代表値を候補閾値として設定する。これらの各部は、１つ以上の分布モデルの分布範囲に応じていずれかが動作する。
【０１７０】
図４５に示すように、分布モデル間外閾値設定部２４３ｃは、固定閾値設定部２４３ｃ−１及び代表値閾値設定部２４３ｃ−２を備える。固定閾値設定部２４３ｃ−１は、判定軸において予め定められた固定値を閾値として設定する。一方、代表値閾値設定部２４３ｃ−２は、１つ以上の分布モデルの代表値を候補閾値として設定する。これらの各部は、１つ以上の分布モデルの分布範囲に応じていずれかが動作する。
【０１７１】
以下、分布モデル間外候補閾値設定部２３３ｃ及び分布モデル間外閾値設定部２４３ｃの具体的な動作を、図３５、図３６、図４０、図４１、図４６〜図４９を参照しながら説明する。
【０１７２】
固定候補閾値設定部２３３ｃ−１は、図３５（ａ）及び図３６（ａ）に示すように、クラスタＣ（２）、Ｃ（３）の最大値ｇmaxが残渣候補閾値Ｔｈ（Ｒ）よりも小さい場合、図４６（ａ）、図４７（ａ）に示すように、閾値Ｔｈ（Ｒ）を候補閾値Ｔｈ（Ｎ）として設定する。
【０１７３】
また、固定候補閾値設定部２３３ｃ−１は、図３５（ｃ）及び（ｄ）、図３６（ｃ）及び（ｄ）に示すように、クラスタＣ（１）、Ｃ（３）の最小値ｇminが粘膜閾値Ｔｈ（Ｍ）よりも大きい場合、図４６（ｃ）及び（ｄ）、図４７（ｃ）及び（ｄ）に示すように、閾値Ｔｈ（Ｍ）を候補閾値Ｔｈ（Ｎ）として設定する。
【０１７４】
一方、代表値候補閾値設定部２３３ｃ−２は、図３６（ｂ）に示すように、クラスタＣ（３）の最小値ｇminが閾値Ｔｈ（Ｍ）以下であり、且つ、最大値ｇmaxが閾値Ｔｈ（Ｒ）以上である場合、クラスタＣ（３）の最大値ｇmaxを候補閾値Ｔｈ（Ｎ）として設定する。
【０１７５】
なお、図３５（ｂ）に示すように、２つのクラスタＣ（１）、Ｃ（２）の最小値ｇminが閾値Ｔｈ（Ｍ）以下であり、且つ、最大値ｇmaxが閾値Ｔｈ（Ｒ）以上である場合には、実施の形態２と同様に、分布モデル間候補閾値設定部２３３ａが、２つのクラスタＣ（１）、Ｃ（２）の境界位置の値を候補閾値Ｔｈ（Ｎ）に設定する（図４６（ｂ）参照）。
【０１７６】
固定閾値設定部２４３ｃ−１は、図４０（ａ）、図４１（ａ）に示すように、１つ以上の分布モデルに対応するクラスタＣ（５）、Ｃ（６）の最大値ｇmax’が白色領域閾値Ｔｈ（Ｗ）よりも小さい場合、図４８（ａ）、図４９（ａ）に示すように、閾値Ｔｈ（Ｗ）を閾値Ｔｈとして設定する。
【０１７７】
また、固定閾値設定部２４３ｃ−１は、図４０（ｃ）及び（ｄ）、図４１（ｃ）及び（ｄ）に示すように、クラスタＣ（４）、Ｃ（６）の最小値ｇmin’が残渣閾値Ｔｈ（Ｒ’）よりも大きい場合、図４８（ｃ）及び（ｄ）、図４９（ｃ）及び（ｄ）に示すように、閾値Ｔｈ（Ｒ’）を閾値Ｔｈとして設定する。
【０１７８】
一方、代表値閾値設定部２４３ｃ−２は、図４１（ｂ）に示すように、クラスタＣ（６）の最小値ｇmin’が閾値Ｔｈ（Ｒ’）以下であり、且つ、最大値ｇmax’が閾値Ｔｈ（Ｗ）以上である場合、クラスタＣ（６）の最大値ｇmax’を閾値Ｔｈとして設定する。
【０１７９】
なお、図４０（ｂ）に示すように、２つのクラスタＣ（４），Ｃ（５）の最小値ｇmin’が閾値Ｔｈ（Ｒ’）以下であり、且つ、最大値ｇmax’が閾値Ｔｈ（Ｗ）以上である場合には、実施の形態２と同様に、分布モデル間閾値設定部２４３ａが、２つのクラスタＣ（４）、Ｃ（５）の境界位置の値を閾値Ｔｈに設定する（図４８（ｂ）参照）。
【０１８０】
（変形例２−２）
次に、実施の形態２の変形例２−２について説明する。
変形例２−２に係る画像処理装置は、図１９に示す画像処理装置２に対し、閾値処理部２４２ｂの代わりに、図５０に示す閾値処理部２４２ｃを備える。なお、変形例２−２に係る画像処理装置のうち、閾値処理部２４２ｃ以外の各部の構成及び動作は、実施の形態２と同様である。
【０１８１】
図５０に示すように、閾値処理部２４２ｃは、残渣候補分布判定部２３０により残渣候補として判定されなかった色特徴量の分布を粘膜分布とみなし、判定軸における粘膜分布の代表値を算出する粘膜基準閾値作成部２４２ｃ−１を備える。
【０１８２】
より詳細には、粘膜基準閾値作成部２４２ｃ−１は、残渣候補分布判定部２３０により残渣候補分布と判定された分布以外の色特徴量の分布を粘膜分布に設定する。そして、判定軸（Ｂ／Ｇ軸）における当該粘膜分布の重心ｇMを算出し、これを粘膜分布の代表値とする。
【０１８３】
続いて、粘膜基準閾値作成部２４２ｃ−１は、図５１及び図５２に示すように、判定軸において、残渣の有無を判定する残渣閾値Ｔｈ（ＲM）と、白色領域を判定する白色領域閾値Ｔｈ（ＷM）とを、粘膜分布の重心ｇMを基準として設定する。このうち、残渣閾値Ｔｈ（ＲM）は、重心ｇMに対し、教師データから取得した所定値αを減算することにより算出される。一方、閾値Ｔｈ（ＷM）は、重心ｇMに対し、教師データから取得した所定値βを加算することにより算出される。
【０１８４】
閾値処理部２４２ｃは、このようにして設定された残渣閾値Ｔｈ（ＲM）、白色領域閾値Ｔｈ（ＷM）に基づいて、各色特徴量の分布が残渣であるか白色領域であるかを判定する。具体的には、図５１（ａ）に示すように、クラスタの最大値ｇmax’が白色領域閾値Ｔｈ（ＷM）よりも小さく（ｇmax’＜Ｔｈ（ＷM））、且つ、クラスタの最小値ｇmin’が残渣閾値Ｔｈ（ＲM）以下である場合（ｇmin’≦Ｔｈ（ＲM））、閾値処理部２４２ｃは、クラスタＣ（４）、Ｃ（５）を共に残渣分布と判定する。
【０１８５】
図５１（ｂ）に示すように、クラスタの最大値ｇmax’が白色領域閾値Ｔｈ（ＷM）以上であり（ｇmax’≧Ｔｈ（ＷM））、且つ、クラスタの最小値ｇmin’が残渣閾値Ｔｈ（ＲM）以下である場合（ｇmin’≦Ｔｈ（ＲM））、閾値処理部２４２ｃは、クラスタＣ（４）を残渣分布、クラスタＣ（５）を白色領域と判定する。
【０１８６】
図５１（ｃ）に示すように、クラスタの最大値ｇmax’が白色領域閾値Ｔｈ（ＷM）よりも小さく（ｇmax’＜Ｔｈ（ＷM））、且つ、クラスタの最小値ｇmin’残渣が閾値Ｔｈ（ＲM）よりも大きい場合（ｇmin’＞Ｔｈ（ＲM））、閾値処理部２４２ｃは、クラスタＣ（４）、Ｃ（５）を共に白色領域と判定する。
【０１８７】
図５１（ｄ）に示すように、クラスタの最大値ｇmax’が白色領域閾値Ｔｈ（ＷM）以上であり（ｇmax’≧Ｔｈ（ＷM））、且つ、クラスタの最小値ｇminが残渣閾値Ｔｈ（ＲM）よりも大きい場合（ｇmin’＞Ｔｈ（ＲM））、閾値処理部２４２ｃは、クラスタＣ（４）、Ｃ（５）を共に白色領域と判定する。
【０１８８】
また、図５２（ａ）に示すように、クラスタの最大値ｇmax’が白色領域閾値Ｔｈ（ＷM）よりも小さく（ｇmax’＜Ｔｈ（ＷM））、且つ、クラスタの最小値ｇmin’が残渣閾値Ｔｈ（ＲM）以下である場合（ｇmin’≦Ｔｈ（ＲM））、閾値処理部２４２ｃは、クラスタＣ（６）を残渣分布と判定する。
【０１８９】
図５２（ｂ）に示すように、クラスタの最大値ｇmax’が白色領域閾値Ｔｈ（ＷM）以上であり（ｇmax’≧Ｔｈ（ＷM））、且つ、クラスタの最小値ｇmin’が残渣閾値Ｔｈ（ＲM）以下である場合（ｇmin’≦Ｔｈ（ＲM））、閾値処理部２４２ｃは、クラスタＣ（６）を残渣分布と判定する。
【０１９０】
図５２（ｃ）に示すように、クラスタの最大値ｇmax’が白色領域閾値Ｔｈ（ＷM）よりも小さく（ｇmax’＜Ｔｈ（ＷM））、且つ、クラスタの最小値ｇmin’が残渣閾値Ｔｈ（ＲM）よりも大きい場合（ｇmin’＞Ｔｈ（ＲM））、閾値処理部２４２ｃは、クラスタＣ（６）を白色領域と判定する。
【０１９１】
図５２（ｄ）に示すように、クラスタの最大値ｇmax’が白色領域閾値Ｔｈ（ＷM）以上であり（ｇmax’≧Ｔｈ（ＷM））、且つ、クラスタの最小値ｇmin’が残渣閾値Ｔｈ（ＲM）よりも大きい場合（ｇmin’＞Ｔｈ（ＲM））、閾値処理部２４２ｃは、クラスタＣ（６）を白色領域と判定する。
【０１９２】
なお、本変形例２−２は、単独で実行しても良いし、実施の形態２における閾値処理部２４２ｂが実行する処理と組み合わせても良い。後者の場合、図４０（ｃ）及び図４１（ｂ）に示すように、色特徴量の最大値ｇmax’が閾値Ｔｈ（Ｗ）よりも小さく、且つ、クラスタの最小値ｇmin’が閾値Ｔｈ（Ｒ’）よりも大きい場合に、変形例２−２において設定した閾値Ｔｈ（ＷM）、Ｔｈ（ＲM）を用いて再度判定を行うと良い。
【０１９３】
（実施の形態３）
次に、本発明の実施の形態３について説明する。
実施の形態３に係る画像処理装置は、図１９に示す画像処理装置２に対し、分布モデル当てはめ部２３１、２４１の代わりに、図５３に示す分布モデル当てはめ部３３１、３４１をそれぞれ備える。なお、実施の形態３に係る画像処理装置のうち、分布モデル当てはめ部３３１、３４１以外の各部の構成及び動作は、実施の形態２と同様である。
【０１９４】
図５３に示すように、分布モデル当てはめ部３３１、３４１は、概要分布モデル当てはめ部３３１ａ、３４１ａと、概要分布モデル範囲取得部３３１ｂ、３４１ｂと、分布モデル修正部３３１ｃ、３４１ｃとをそれぞれ備える。
【０１９５】
このうち、概要分布モデル当てはめ部３３１ａは、赤みの度合いを判定する色特徴量の候補判定軸（例えばＧ／Ｒ軸）において、管腔内画像内の色特徴量の分布に対して当てはめ可能な分布モデルよりも少ない数の分布モデル（以下、概要分布モデルという）を当てはめる。概要分布モデル範囲取得部３３１ｂは、候補判定軸における概要分布モデルの分布範囲を取得する。分布モデル修正部３３１ｃは、概要分布モデルの分布範囲において、色特徴量の分布に対して１つ以上の分布モデルを当てはめる。
【０１９６】
また、概要分布モデル当てはめ部３４１ａは、黄みの度合いを判定する色特徴量の判定軸（例えばＢ／Ｇ軸）において、残渣候補と判定された色特徴量の分布に対して当てはめ可能な分布モデルよりも少ない数の分布モデル（以下、概要分布分布モデルという）を当てはめる。概要分布モデル範囲取得部３４１ｂは、判定軸における概要分布モデルの分布範囲を取得する。分布モデル修正部３４１ｃは、概要分布モデルの分布範囲において、残渣候補と判定された色特徴量の分布に対して１つ以上の分布モデルを当てはめる。
【０１９７】
次に、実施の形態３に係る画像処理装置の動作について説明する。実施の形態３に係る画像処理装置の動作は、全体として図２２、図２４、図３９に示すものと同様であり、図２４に示すステップＳ２４１及び図３９に示すステップＳ２５１における詳細な動作が異なる。
【０１９８】
図５４は、図２４に示すステップＳ２４１において、管腔内画像内の色特徴量の分布に対して分布モデルの当てはめを行う分布モデル当てはめ部３３１の動作を示すフローチャートである。また、図５５〜図５８は、分布モデル当てはめ部３３１の動作を説明するための模式図である。
【０１９９】
まず、ステップｓ３１１において、概要分布モデル当てはめ部３３１ａは、候補判定軸（Ｇ／Ｒ軸）において、色特徴量の分布に対し、当てはめ可能な分布モデルの数より少ない分布モデルを概要分布モデルとして当てはめる。例えば、図５５（ａ）に示すように、色特徴量の分布に対応する密度関数Ｆに対して２つの正規分布ｆ3及びｆ4が当てはめ可能である場合、図５６に示すように、密度関数Ｆに対し、概要分布モデルとして１つの正規分布ｆ5を当てはめる。なお、正規分布ｆ5の当てはめは、例えば、実施の形態２において説明したＥＭアルゴリズムにより行うことができる。
【０２００】
続くステップｓ３１２において、概要分布モデル範囲取得部３３１ｂは、候補判定軸における概要分布モデルの分布範囲を取得する。具体的には、図５７に示すように、正規分布ｆ5のパラメータである平均μ及び分散σ2を取得し、色特徴量の９５．７％が含まれるμ±２σの範囲を概要分布モデルの分布範囲Δ1とする。
【０２０１】
続くステップｓ３１３において、分布モデル修正部３３１ｃは、概要分布モデルの分布範囲において、色特徴量の分布に対して１つ以上の分布モデルを当てはめる。具体的には、図５８に示すように、分布範囲Δ1内の色特徴量の分布に対し、例えばＥＭアルゴリズムにより２つの正規分布ｆ3’、ｆ4’を当てはめる。その後、動作はメインルーチンに戻る。
【０２０２】
図５９は、図３９に示すステップＳ２５１において、残渣候補と判定された色特徴量の分布に対して分布モデルの当てはめを行う分布モデル当てはめ部３４１の動作を示すフローチャートである。なお、以下においては、図５６〜図５８に示す候補判定軸（Ｇ／Ｒ軸）を判定軸（Ｂ／Ｇ軸）に読み替えた上で、これらの図を援用して説明を行う。
【０２０３】
まず、ステップｓ３２１において、概要分布モデル当てはめ部３４１ａは、判定軸（Ｂ／Ｇ軸）において、残渣候補と判定された色特徴量の分布に対し、当てはめ可能な分布モデルの数より少ない分布モデルを概要分布モデルとして当てはめる。例えば、図５６に示すように、残渣候補と判定された色特徴量の分布に対応する密度関数Ｆに対し、２つの正規分布の当てはめが可能である場合、１つの正規分布ｆ5を当てはめる。
【０２０４】
続くステップｓ３２２において、概要分布モデル範囲取得部３４１ｂは、判定軸における概要分布モデルの分布範囲を取得する。例えば、図５７に示すように、正規分布ｆ5のパラメータである平均μ及び分散σ2を取得し、μ±２σの範囲を概要分布モデルの分布範囲Δ1とする。
【０２０５】
続くステップｓ３２３において、分布モデル修正部３４１ｃは、概要分布モデルの分布範囲Δ1において、残渣候補と判定された色特徴量の分布に対して１つ以上の分布モデルを当てはめる。例えば、図５８に示すように、分布範囲Δ1内の色特徴量の分布に対して２つの正規分布ｆ3’、ｆ4’を当てはめる。その後、動作はメインルーチンに戻る。
【０２０６】
以上説明した実施の形態３によれば、色特徴量の分布に複数のピークが存在する場合であっても、適切に分布モデルを当てはめることができる。従って、残渣領域を精度良く識別することが可能となる。
【０２０７】
ここで、ＥＭアルゴリズムにおいては、初期値に依存して局所解に陥ってしまう場合がある。そのため、例えば図５５（ａ）に示すように、３つのピークＰ１〜Ｐ３が存在する密度関数Ｆに対し、図５５（ｂ）に示すように、２つの正規分布ｆ3、ｆ4を当てはめようとすると、正規分布ｆ3、ｆ4の境界Ｔｈ１が、実際の色特徴量の分布に含まれる複数の分布の境界Ｔｈ２からずれてしまうおそれがある。この場合、後段における候補閾値（又は閾値）を適切に設定することができなくなってしまう。
【０２０８】
そこで、実施の形態３においては、密度関数Ｆに対して１つの正規分布ｆ5を当てはめた後、当該正規分布ｆ5の分布範囲Δ1に限定して２つの正規分布ｆ3’、ｆ4’を当てはめるという段階的な処理を行っている。それにより、実際の色特徴量の分布に、より適合した境界Ｔｈ２’を得ることができ、適切な候補閾値（又は閾値）を設定することが可能となる。
【０２０９】
（実施の形態４）
次に、本発明の実施の形態４について説明する。
実施の形態４に係る画像処理装置は、図１９に示す画像処理装置２に対し、分布モデル当てはめ部２３１、２４１の代わりに、図６０に示す分布モデル当てはめ部４３１、４４１をそれぞれ備える。なお、実施の形態４に係る画像処理装置のうち、分布モデル当てはめ部４３１、４４１以外の各部の構成及び動作は、実施の形態２と同様である。
【０２１０】
図６０に示すように、分布モデル当てはめ部４３１、４４１は、低比率分布モデル判定部４３１ａ、４４１ａと、高比率分布モデル取得部４３１ｂ、４４１ｂと、分布モデル修正部４３１ｃ、４４１ｃとをそれぞれ備える。
【０２１１】
このうち、低比率分布モデル判定部４３１ａは、赤みの度合いを判定する色特徴量の候補判定軸（例えばＧ／Ｒ軸）において、管腔内画像内の色特徴量の分布に対して当てはめられた１つ以上の分布モデルに、該１つ以上の分布モデル間の混合比率が所定値以下である低比率分布モデルが含まれるか否かを判定する。高比率分布モデル取得部４３１ｂは、上記１つ以上の分布モデルに低比率分布モデルが含まれる場合に、低比率分布モデルを除外した残りの分布モデルが候補判定軸に分布する分布範囲を取得する。分布モデル修正部４３１ｃは、高比率分布モデル取得部４３１ｂによって取得された分布範囲において、色特徴量の分布に対し、再度、１つ以上の分布モデルの当てはめを行う。
【０２１２】
また、低比率分布モデル判定部４４１ａは、黄みの度合いを判定する色特徴量の判定軸（例えばＢ／Ｇ軸）において、残渣候補と判定された色特徴量の分布に対して当てはめられた１つ以上の分布モデルに対し、該１つ以上の分布モデル間の混合比率が所定値以下である低比率分布モデルが含まれるか否かを判定する。高比率分布モデル取得部４４１ｂは、上記１つ以上の分布モデルに低比率分布モデルが含まれる場合に、低比率分布モデルを除外した残りの分布モデルが判定軸に分布する分布範囲を取得する。分布モデル修正部４４１ｃは、高比率分布モデル取得部４３１ｂによって取得された分布範囲において、残渣候補と判定された色特徴量の分布に対し、再度、１つ以上の分布モデルの当てはめを行う。
【０２１３】
次に、実施の形態４に係る画像処理装置の動作について説明する。実施の形態４に係る画像処理装置の動作は、全体として図２２、図２４、図３９に示すものと同様であり、図２４に示すステップＳ２４１及び図３９に示すステップＳ２５１における詳細な動作が異なる。
【０２１４】
図６１は、図２４に示すステップＳ２４１において、管腔内画像内の色特徴量の分布に対して分布モデルの当てはめを行う分布モデル当てはめ部４３１の動作を示すフローチャートである。また、図６２〜図６４は、分布モデル当てはめ部４３１の動作を説明するための模式図である。
【０２１５】
まず、ステップｓ４１１において、低比率分布モデル判定部４３１ａは、候補判定軸（Ｇ／Ｒ軸）において、色特徴量の分布に対して１つ以上の分布モデルを当てはめ、当てはめられた分布モデルの中に、混合比率が所定値以下である低比率分布モデルが含まれるか否かを判定する。例えば、色特徴量の分布に対応する密度関数Ｆに対し（図６２（ａ）参照）、２つの正規分布ｆ6、ｆ7を当てはめたときの正規分布ｆ6、ｆ7の混合比率をそれぞれω6、ω7とする（図６２（ｂ）参照）。なお、正規分布ｆ6、ｆ7の当てはめは、例えば、実施の形態２において説明したＥＭアルゴリズムにより行うことができる。
【０２１６】
低比率分布モデル判定部４３１ａは、混合比率ω6、ω7に基づき、正規分布ｆ6、ｆ7が低比率分布モデルであるか否かを判定する。例えば、図６２（ｂ）において、混合比率ω7が所定値以下である場合、正規分布ｆ7が低比率分布モデルであると判定される。
【０２１７】
低比率分布モデルが含まれる場合（ステップｓ４１２：Ｙｅｓ）、高比率分布モデル取得部４４１ｂは、色特徴量の分布に当てはめた分布モデルから低比率分布モデルを除外し、それ以外の分布モデル（高比率分布モデル）が候補判定軸に分布する分布範囲を取得する（ステップｓ４１３）。例えば、正規分布ｆ7が低比率分布モデルである場合、高比率分布モデル取得部４３１ｂは、図６３に示すように、残りの正規分布ｆ6のパラメータである平均μ及び分散σ2を取得し、色特徴量の９５．４５％が含まれるμ±２σの範囲を分布範囲Δ2とする。
【０２１８】
続くステップｓ４１４において、分布モデル修正部４３１ｃは、高比率分布モデルの分布範囲において、色特徴量の分布に対し、再度、１つ以上の分布モデルを当てはめる。具体的には、図６４に示すように、分布範囲Δ2内の色特徴量の分布に対し、例えばＥＭアルゴリズムにより２つの正規分布ｆ8、ｆ9を当てはめる。その後、動作はメインルーチンに戻る。
【０２１９】
なお、ステップｓ４１２において、低比率分布モデルが含まれない場合（ステップｓ４１２：Ｎｏ）、動作はそのままメインルーチンに戻る。
【０２２０】
図６５は、図３９に示すステップＳ２５１において、残渣候補と判定された色特徴量の分布に対して分布モデルの当てはめを行う分布モデル当てはめ部４４１の動作を示すフローチャートである。なお、以下においては、図６２〜図６４に示す候補判定軸（Ｇ／Ｒ軸）を判定軸（Ｂ／Ｇ軸）に読み替えた上で、これらの図を援用して説明を行う。
【０２２１】
まず、ステップｓ４２１において、低比率分布モデル判定部４４１ａは、判定軸（Ｂ／Ｇ軸）において、残渣候補と判定された色特徴量の分布に対して１つ以上の分布モデルを当てはめ、当てはめられた分布モデルの中に、混合比率が所定値以下である低比率分布モデルが含まれるか否かを判定する（図６２参照）。
【０２２２】
低比率分布モデルが含まれる場合（ステップｓ４２２：Ｙｅｓ）、高比率分布モデル取得部４４１ｂは、色特徴量の分布に当てはめた分布モデルから低比率分布モデルを除外し、それ以外の分布モデル（高比率分布モデル）が判定軸に分布する分布範囲を取得する（ステップｓ４２３）。例えば、正規分布ｆ7が低比率分布モデルである場合、図６３に示すように、高比率分布モデル取得部４４１ｂは、高比率分布モデルである残りの正規分布ｆ6のμ±２σの範囲を分布範囲Δ2とする。
【０２２３】
続くステップｓ４２４において、分布モデル修正部４４１ｃは、高比率分布モデルの分布範囲において、残渣候補と判定された色特徴量の分布に対し、再度、１つ以上の分布モデルを当てはめる（図６４参照）。その後、動作はメインルーチンに戻る。
なお、ステップｓ４２２において、低比率分布モデルが含まれない場合（ステップｓ４２２：Ｎｏ）、動作はそのままメインルーチンに戻る。
【０２２４】
以上説明した実施の形態４によれば、色特徴量の分布に低いピークが存在する場合であっても、適切に分布モデルを当てはめることができる。従って、残渣領域を精度良く識別することが可能となる。
【０２２５】
ここで、例えば図６２（ａ）に示すように、３つのピークＰ４〜Ｐ６が存在する密度関数に対して２つの正規分布を当てはめようとすると、図６２（ｂ）に示すように、ピークＰ６に引きずられて低比率の正規分布ｆ7が作成され、正規分布ｆ6、ｆ7の境界Ｔｈ３が設定される。このような境界Ｔｈ３に基づいて、後段の候補閾値（又は閾値）設定処理を行うと、残渣領域の判定処理において、ピークＰ５に表される色特徴量の分布が全く反映されない結果が得られてしまう。
【０２２６】
そこで、実施の形態４においては、低比率分布モデルを除外した残りの分布モデルの分布範囲Δ2に限定して、再度、２つの正規分布ｆ6’、ｆ7’の当てはめを行っている。それにより、実際の色特徴量の分布により適合した境界Ｔｈ４を得ることができ、適切な候補閾値（又は閾値）を設定することが可能となる。
【０２２７】
以上説明した実施の形態１〜４及びそれらの変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態及び変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。
【０２２８】
なお、本発明は、実施の形態１〜４及びそれらの変形例に限定されるものではなく、実施の形態や各変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【０２２９】
１、２  画像処理装置
１０  制御部
２０  外部インタフェース（Ｉ／Ｆ）部
３０  操作入力部
４０  表示部
５０  記録部
５１  画像処理プログラム
１００、２００  演算部
１１０、２１０  色特徴量算出部
１２０  候補分布判定部
１２１  候補判定軸設定部
１２２  第１ヒストグラム作成部
１２２ａ、２２０  不要領域除外部
１２２ａ−１、２２１  暗部領域判定部
１２２ａ−２、２２２  泡領域判定部
１２２ａ−３、２２３  赤色病変領域判定部
１２３、１２５  第１判定閾値設定部
１２４  候補判定部
１２５ａ  合成ヒストグラム作成部
１３０  分布判定部
１３１  判定軸設定部
１３２  第２ヒストグラム作成部
１３３  第２判定閾値設定部
１３４  判定部
２３０  残渣候補分布判定部
２３１、２４１、３３１，３４１、４３１、４４１  分布モデル当てはめ部
２３２、２４２  分布モデル判定部
２３２ａ、２４２ａ  代表値算出部
２３２ｂ、２４２ｂ、２４２ｃ  閾値処理部
２３３  候補閾値設定部
２３３ａ  分布モデル間候補閾値設定部
２３３ｂ  分布モデル間外候補閾値設定部
２３３ｃ  分布モデル間外候補閾値設定部
２３３ｃ−１  固定候補閾値設定部
２３３ｃ−２  代表値候補閾値設定部
２３４  候補判定部
２４０  残渣分布判定部
２４２ｃ−１  粘膜基準閾値作成部
２４３  閾値設定部
２４３ａ  分布モデル間閾値設定部
２４３ｂ  分布モデル間外閾値設定部
２４３ｃ  分布モデル間外閾値設定部
２４３ｃ−１  固定閾値設定部
２４３ｃ−２  代表値閾値設定部
２４４  判定部
３３１ａ、３４１ａ  概要分布モデル当てはめ部
３３１ｂ、３４１ｂ  概要分布モデル範囲取得部
３３１ｃ、３４１ｃ、４３１ｃ、４４１ｃ  分布モデル修正部
４３１ａ、４４１ａ  低比率分布モデル判定部
４３１ｂ、４４１ｂ  高比率分布モデル取得部
【図１】
2013085061.tif 000010
【図２】
2013085061.tif 000011
【図３】
2013085061.tif 000012
【図４】
2013085061.tif 000013
【図５】
2013085061.tif 000014
【図６】
2013085061.tif 000015
【図７】
2013085061.tif 000016
【図８】
2013085061.tif 000017
【図９】
2013085061.tif 000018
【図１０】
2013085061.tif 000019
【図１１】
2013085061.tif 000020
【図１２】
2013085061.tif 000021
【図１３】
2013085061.tif 000022
【図１４】
2013085061.tif 000023
【図１５】
2013085061.tif 000024
【図１６】
2013085061.tif 000025
【図１７】
2013085061.tif 000026
【図１８】
2013085061.tif 000027
【図１９】
2013085061.tif 000028
【図２０】
2013085061.tif 000029
【図２１】
2013085061.tif 000030
【図２２】
2013085061.tif 000031
【図２３】
2013085061.tif 000032
【図２４】
2013085061.tif 000033
【図２５】
2013085061.tif 000034
【図２６】
2013085061.tif 000035
【図２７】
2013085061.tif 000036
【図２８Ａ】
2013085061.tif 000037
【図２８Ｂ】
2013085061.tif 000038
【図２９】
2013085061.tif 000039
【図３０】
2013085061.tif 000040
【図３１】
2013085061.tif 000041
【図３２】
2013085061.tif 000042
【図３３】
2013085061.tif 000043
【図３４】
2013085061.tif 000044
【図３５】
2013085061.tif 000045
【図３６】
2013085061.tif 000046
【図３７】
2013085061.tif 000047
【図３８】
2013085061.tif 000048
【図３９】
2013085061.tif 000049
【図４０】
2013085061.tif 000050
【図４１】
2013085061.tif 000051
【図４２】
2013085061.tif 000052
【図４３】
2013085061.tif 000053
【図４４】
2013085061.tif 000054
【図４５】
2013085061.tif 000055
【図４６】
2013085061.tif 000056
【図４７】
2013085061.tif 000057
【図４８】
2013085061.tif 000058
【図４９】
2013085061.tif 000059
【図５０】
2013085061.tif 000060
【図５１】
2013085061.tif 000061
【図５２】
2013085061.tif 000062
【図５３】
2013085061.tif 000063
【図５４】
2013085061.tif 000064
【図５５】
2013085061.tif 000065
【図５６】
2013085061.tif 000066
【図５７】
2013085061.tif 000067
【図５８】
2013085061.tif 000068
【図５９】
2013085061.tif 000069
【図６０】
2013085061.tif 000070
【図６１】
2013085061.tif 000071
【図６２】
2013085061.tif 000072
【図６３】
2013085061.tif 000073
【図６４】
2013085061.tif 000074
【図６５】
2013085061.tif 000075
【手続補正書】
【提出日】平成26年5月14日(2014.5.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理装置において、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出部と、
前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定部と、
前記残渣候補分布として判定された色特徴量の分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記候補分布判定部は、
前記粘膜分布と前記残渣候補分布とを判別する際に用いられる候補判定軸として、少なくとも赤みの強さが変化する色特徴量に対応する軸を設定する候補判定軸設定部と、
前記各画素又は前記各小領域が有する前記色特徴量の頻度分布を前記候補判定軸に対して作成する第１のヒストグラム作成部と、
前記粘膜分布に対応する色特徴量の範囲を定める判定閾値を前記候補判定軸上に設定する第１の判定閾値設定部と、
前記頻度分布と前記判定閾値とをもとに、前記粘膜分布と前記残渣候補分布とを判別する候補判定部と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記残渣分布判定部は、
前記残渣候補分布が前記残渣分布に相当するか否かを判定する際に用いられる判定軸として、少なくとも黄みの強さが変化する色特徴量に対応する軸を設定する判定軸設定部と、
前記残渣候補分布における色特徴量の頻度分布を前記判定軸に対して作成する第２のヒストグラム作成部と、
前記頻度分布と前記粘膜分布の代表値とをもとに、判定閾値を設定する第２の判定閾値設定部と、
前記判定閾値よりも黄みの強い側に存在する残渣候補分布を残渣分布として判定する判定部と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記管腔内画像の輝度成分のエッジをもとに前記管腔内画像を分割した小領域単位で色特徴量を算出する色特徴量算出部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記管腔内画像は、各画素位置においてＲ、Ｇ、Ｂの各色成分を有し、
前記候補判定軸は、Ｇ／Ｒ値に対応することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記第１のヒストグラム作成部は、前記管腔内画像から泡領域、暗部領域、及び赤色病変領域との内の少なくとも１つを検出し、前記粘膜分布と前記残渣候補分布との判別に不要な領域と判定して除外する不要領域除外部を含むことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記第１の判定閾値設定部は、予め複数の管腔内画像から取得した粘膜領域内の色特徴量を前記候補判定軸に対して累積した粘膜の頻度分布を作成し、前記粘膜の頻度分布において、頻度が最大となる色特徴量から赤みの弱い側を見たときに、頻度が最初に最小又は極小となるときの色特徴量を前記判定閾値として保持することを特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記第１の判定閾値設定部は、前記頻度分布の双峰性の形状を評価し、該評価の結果をもとに前記頻度分布における境界位置を算出し、該境界位置を前記判定閾値に設定することを特徴とする請求項２に記載の画像処理装置。
【請求項９】
前記第１の判定閾値設定部は、前記管腔内画像を所定サイズの複数の矩形領域に分割し、前記複数の矩形領域毎に、前記色特徴量の頻度分布を作成し、前記複数の矩形領域間の色特徴量の頻度の最大値又は最頻値を抽出して合成する合成ヒストグラム作成部を含むことを特徴とする請求項２に記載の画像処理装置。
【請求項１０】
前記管腔内画像は、各画素位置においてＲ、Ｇ、Ｂの各色成分を有し、
前記候補判定部は、Ｇ／Ｒ値を成分の１つとする色特徴量空間において、前記色特徴量の分布をクラスタリングすると共に、クラスタリングによって得られた各クラスタにおける前記Ｇ／Ｒ値の代表値を前記判定閾値と比較して、クラスタ毎に判定を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記管腔内画像は、各画素位置においてＲ、Ｇ、Ｂの各色成分を有し、
前記判定軸は、Ｂ／Ｇ値に対応することを特徴とする請求項３に記載の画像処理装置。
【請求項１２】
前記第２の判定閾値設定部は、前記色特徴量の頻度分布を１つ又は２つの正規分布で近似し、前記１つの正規分布の代表値又は前記２つの正規分布の境界位置と、前記粘膜分布の代表値とをもとに、判定閾値を設定することを特徴とする請求項３に記載の画像処理装置。
【請求項１３】
前記管腔内画像は、各画素位置においてＲ、Ｇ、Ｂの各色成分を有し、
前記判定部は、Ｂ／Ｇ値を成分の１つとする色特徴量空間において、前記色特徴量の分布をクラスタリングすると共に、クラスタリングによって得られた各クラスタにおける前記Ｂ／Ｇ値の代表値を、前記粘膜分布における前記Ｂ／Ｇ値の代表値と比較して、クラスタ毎に判定を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項１４】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理方法において、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、
前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定ステップと、
残渣候補分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定ステップと、
を含むことを特徴とする画像処理方法。
【請求項１５】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理をコンピュータに実行させるプログラムにおいて、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、
前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定ステップと、
残渣候補分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定ステップと、
を前記コンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１６】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理装置において、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出部と、
赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定部と、
黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定部により残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定部と、
を備えることを特徴とする画像処理装置。
【請求項１７】
前記残渣分布判定部は、
前記第２の判定軸において、前記残渣候補を表すと判定された色特徴量の分布に対して所定の分布モデルを当てはめることにより、１つ以上の分布モデルを作成する分布モデル当てはめ部と、
前記１つ以上の分布モデルを所定の閾値と比較することにより、前記１つ以上の分布モデルの各々が残渣分布であるか否かを判定する分布モデル判定部と、
前記分布モデル判定部による判定結果をもとに、残渣を表す色特徴量を判定するための閾値を設定する閾値設定部と、
前記閾値設定部により設定された閾値をもとに、前記残渣候補として判定された前記色特徴量のうちから、残渣を表す色特徴量を判定する判定部と、
を備えることを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記管腔内画像から前記残渣の判定に不要な領域を除外する不要領域除外部をさらに備えることを特徴とする請求項１６に記載の画像処理装置。
【請求項１９】
前記残渣候補分布判定部は、
前記第１の判定軸において、前記色特徴量の分布に対して所定の分布モデルを当てはめることにより、１つ以上の分布モデルを作成する分布モデル当てはめ部と、
前記１つ以上の分布モデルを所定の閾値と比較することにより、前記１つ以上の分布モデルの各々が残渣候補分布であるか否かを判定する分布モデル判定部と、
前記分布モデル判定部による判定結果をもとに、残渣候補を表す色特徴量を判定するための候補閾値を設定する候補閾値設定部と、
前記候補閾値をもとに、前記管腔内画像内の前記色特徴量のうち、残渣候補を表す色特徴量を判定する候補判定部と、
を備えることを特徴とする請求項１６に記載の画像処理装置。
【請求項２０】
前記分布モデル当てはめ部は、
前記色特徴量の分布に対し、該色特徴量の分布に当てはめ可能な分布モデルよりも少ない数の分布モデルを概要分布モデルとして当てはめる概要分布モデル当てはめ部と、
前記第１の判定軸における前記概要分布モデルの分布範囲を取得する概要分布モデル範囲取得部と、
前記分布範囲において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめる分布モデル修正部と、
を備えることを特徴とする請求項１９に記載の画像処理装置。
【請求項２１】
前記分布モデル当てはめ部は、
前記１つ以上の分布モデルに、該１つ以上の分布モデル間の混合比率が所定値以下である低比率分布モデルが含まれるか否かを判定する低比率分布モデル判定部と、
前記１つ以上の分布モデルに前記低比率分布モデルが含まれる場合に、前記１つ以上の分布モデルから前記低比率分布モデルを除外した残りの分布モデルが前記第１の判定軸に分布する分布範囲を取得する高比率分布モデル範囲取得部と、
前記分布範囲において、前記色特徴量の分布に対し、再度、１つ以上の分布モデルを当てはめる分布モデル修正部と、
を備えることを特徴とする請求項１９に記載の画像処理装置。
【請求項２２】
前記分布モデル判定部は、
前記第１の判定軸における前記１つ以上の分布モデルの代表値を算出する代表値算出部と、
前記代表値に対応して前記第１の判定軸に予め設定された閾値をもとに、赤みの弱い側に分布する分布モデルを残渣候補分布として判定する閾値処理部と、
を備えることを特徴とする請求項１９に記載の画像処理装置。
【請求項２３】
前記候補閾値設定部は、
前記分布モデル当てはめ部により前記色特徴量の分布に対して複数の分布モデルが当てはめられた場合において、前記分布モデル判定部により前記複数の分布モデルに対して互いに異なる結果となる判定がなされたとき、前記第１の判定軸における前記複数の分布モデルの間の値を候補閾値として設定する分布モデル間候補閾値設定部と、
前記分布モデル当てはめ部により前記色特徴量の分布に対して複数の分布モデルが当てはめられた場合において、前記分布モデル判定部により前記複数の分布モデルに対して互いに同一の結果となる判定がなされたとき、又は、前記分布モデル当てはめ部により前記色特徴量の分布に対して１つの分布モデルが当てはめられた場合、前記第１の判定軸における前記１つ以上の分布モデルの外側の値を候補閾値として設定する分布モデル間外候補閾値設定部と、
を備えることを特徴とする請求項１９に記載の画像処理装置。
【請求項２４】
前記候補判定部は、前記色特徴量の分布をクラスタリングすることにより取得したクラスタの各々に対し、各クラスタの代表値を用いて判定を行うことを特徴とする請求項１９に記載の画像処理装置。
【請求項２５】
前記分布モデル当てはめ部は、
前記色特徴量の分布に対し、該色特徴量の分布に当てはめ可能な分布モデルよりも少ない数の分布モデルを概要分布モデルとして当てはめる概要分布モデル当てはめ部と、
前記第２の判定軸における前記概要分布モデルの分布範囲を取得する概要クラスタ範囲取得部と、
前記分布範囲において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめる分布モデル修正部と、
を備えることを特徴とする請求項１７に記載の画像処理装置。
【請求項２６】
前記分布モデル当てはめ部は、
前記１つ以上の分布モデルに、該１つ以上の分布モデル間の混合比率が所定値以下である低比率分布モデルが含まれるか否かを判定する低比率分布モデル判定部と、
前記１つ以上の分布モデルに前記低比率分布モデルが含まれる場合に、前記１つ以上の分布モデルから前記低比率分布モデルを除外した残りの分布モデルが前記第２の判定軸に分布する分布範囲を取得する高比率分布モデル範囲取得部と、
前記分布範囲において、前記残渣候補と判定された前記色特徴量の分布に対し、再度、１つ以上の分布モデルを当てはめる分布モデル修正部と、
を備えることを特徴とする請求項１７に記載の画像処理装置。
【請求項２７】
前記分布モデル判定部は、
前記第２の判定軸における前記１つ以上の分布モデルの代表値を算出する代表値算出部と、
前記代表値に対応して前記第２の判定軸に予め設定された閾値をもとに、黄みの強い側に分布する分布モデルを残渣分布として判定する閾値処理部と、
を備えることを特徴とする請求項１７に記載の画像処理装置。
【請求項２８】
前記閾値処理部は、前記１つ以上の分布モデルのうち、前記残渣候補分布判定部により前記残渣候補として判定されなかった色特徴量の分布を粘膜分布とし、前記第２の判定軸における該粘膜分布の代表値を算出する粘膜基準閾値設定部を備えることを特徴とする請求項２７に記載の画像処理装置。
【請求項２９】
前記閾値処理部は、
前記分布モデル当てはめ部により前記色特徴量の分布に対して複数の分布モデルが当てはめられた場合において、前記分布モデル判定部により前記複数の分布モデルに対して互いに異なる結果となる判定がなされたとき、前記第２の判定軸における前記複数の分布モデルの間の値を閾値として設定する分布モデル間閾値設定部と、
前記分布モデル当てはめ部により前記色特徴量の分布に対して複数の分布モデルが当てはめられた場合において、前記分布モデル判定部により前記複数の分布モデルに対して互いに同一の結果となる判定がなされたとき、又は、前記分布モデル当てはめ部により前記色特徴量の分布に対して１つの分布モデルが当てはめられた場合、前記第２の判定軸における前記１つ以上の分布モデルの外側の値を閾値として設定する分布モデル間外閾値設定部と、
を備えることを特徴とする請求項２７に記載の画像処理装置。
【請求項３０】
前記判定部は、前記色特徴量の分布をクラスタリングすることにより取得した各クラスタに対し、当該クラスタの代表値を用いて判定を行うことを特徴とする請求項１７に記載の画像処理装置。
【請求項３１】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理方法において、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、
赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定ステップと、
黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定ステップにおいて残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定ステップと、
を含むことを特徴とする画像処理方法。
【請求項３２】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理をコンピュータに実行させる画像処理プログラムにおいて、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、
赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定ステップと、
黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定ステップにおいて残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定ステップと、
を前記コンピュータに実行させることを特徴とする画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
また、ヒストグラムの幅が所定値以下の場合、第１判定閾値設定部１２３は、ヒストグラムを１つの正規分布に近似する。続いて、第１判定閾値設定部１２３は、候補判定軸における正規分布の代表値(例えば重心位置)をもとに、例えば教師データから取得された粘膜ヒストグラムの重心位置と比較して、その正規分布が粘膜分布と残渣候補分布との内のいずれに対応するかを判定する。そして、正規分布が粘膜分布に対応すると判定された場合、第１判定閾値設定部１２３は、正規分布の範囲の最大値を判定閾値に設定する。一方、正規分布が残渣候補分布に対応すると判定された場合、第１判定閾値設定部１２３は、正規分布の範囲の最小値を判定閾値に設定する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１５７
【補正方法】変更
【補正の内容】
【０１５７】
具体的には、図４０（ａ）に示すように、２つのクラスタＣ（４）、Ｃ（５）が共に残渣分布と判定された場合、分布モデル間外閾値設定部２４３ｂは、図４２（ａ）に示すように、判定軸の黄みが弱い側（Ｂ／Ｇ値が大きい側）におけるクラスタＣ（４）、Ｃ（５）の外側の値である最大値ｇmax’を、閾値Ｔｈとして設定する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１５８
【補正方法】変更
【補正の内容】
【０１５８】
また、図４０（ｂ）に示すように、クラスタＣ（４）が残渣分布、クラスタＣ（５）が白色領域分布と判定された場合、分布モデル間閾値設定部２４３ａは、図４２（ｂ）に示すように、判定軸におけるクラスタＣ（４）、Ｃ（５）の境界位置の色特徴量（即ち、正規分布ｆ1、ｆ2（図２９参照）の境界位置の値）を、閾値Ｔｈとして設定する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１６８
【補正方法】変更
【補正の内容】
【０１６８】
（変形例２−１）
次に、実施の形態２の変形例２−１について説明する。
変形例２−１に係る画像処理装置は、図１９に示す画像処理装置２に対し、分布モデル間外候補閾値設定部２３３ｂ、分布モデル間外閾値設定部２４３ｂの代わりに、図４４に示す分布モデル間外候補閾値設定部２３３ｃと、図４５に示す分布モデル間外閾値設定部２４３ｃとを備える。なお、変形例２−１に係る画像処理装置のうち、分布モデル間外候補閾値設定部２３３ｃ及び分布モデル間外閾値設定部２４３ｃ以外の各部の構成及び動作は、実施の形態２と同様である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１７０
【補正方法】変更
【補正の内容】
【０１７０】
図４５に示すように、分布モデル間外閾値設定部２４３ｃは、固定閾値設定部２４３ｃ−１及び代表値閾値設定部２４３ｃ−２を備える。固定閾値設定部２４３ｃ−１は、判定軸において予め定められた固定値を閾値として設定する。一方、代表値閾値設定部２４３ｃ−２は、１つ以上の分布モデルの代表値を閾値として設定する。これらの各部は、１つ以上の分布モデルの分布範囲に応じていずれかが動作する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１８１
【補正方法】変更
【補正の内容】
【０１８１】
図５０に示すように、閾値処理部２４２ｃは、残渣候補分布判定部２３０により残渣候補として判定されなかった色特徴量の分布を粘膜分布とみなし、判定軸における粘膜分布の代表値を算出する粘膜基準閾値設定部２４２ｃ−１を備える。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１８２
【補正方法】変更
【補正の内容】
【０１８２】
より詳細には、粘膜基準閾値設定部２４２ｃ−１は、残渣候補分布判定部２３０により残渣候補分布と判定された分布以外の色特徴量の分布を粘膜分布に設定する。そして、判定軸（Ｂ／Ｇ軸）における当該粘膜分布の重心ｇMを算出し、これを粘膜分布の代表値とする。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１８３
【補正方法】変更
【補正の内容】
【０１８３】
続いて、粘膜基準閾値設定部２４２ｃ−１は、図５１及び図５２に示すように、判定軸において、残渣の有無を判定する残渣閾値Ｔｈ（ＲM）と、白色領域を判定する白色領域閾値Ｔｈ（ＷM）とを、粘膜分布の重心ｇMを基準として設定する。このうち、残渣閾値Ｔｈ（ＲM）は、重心ｇMに対し、教師データから取得した所定値αを減算することにより算出される。一方、閾値Ｔｈ（ＷM）は、重心ｇMに対し、教師データから取得した所定値βを加算することにより算出される。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１８６
【補正方法】変更
【補正の内容】
【０１８６】
図５１（ｃ）に示すように、クラスタの最大値ｇmax’が白色領域閾値Ｔｈ（ＷM）よりも小さく（ｇmax’＜Ｔｈ（ＷM））、且つ、クラスタの最小値ｇmin’が残渣閾値Ｔｈ（ＲM）よりも大きい場合（ｇmin’＞Ｔｈ（ＲM））、閾値処理部２４２ｃは、クラスタＣ（４）、Ｃ（５）を共に白色領域と判定する。
【手続補正１１】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2013085061.tif 000076
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図１８
【補正方法】変更
【補正の内容】
【図１８】
2013085061.tif 000077
【手続補正書】
【提出日】平成26年6月5日(2014.6.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理装置において、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出部と、
前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定部と、
前記残渣候補分布として判定された色特徴量の分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記候補分布判定部は、
前記粘膜分布と前記残渣候補分布とを判別する際に用いられる候補判定軸として、少なくとも赤みの強さが変化する色特徴量に対応する軸を設定する候補判定軸設定部と、
前記各画素又は前記各小領域が有する前記色特徴量の頻度分布を前記候補判定軸に対して作成する第１のヒストグラム作成部と、
前記粘膜分布に対応する色特徴量の範囲を定める判定閾値を前記候補判定軸上に設定する第１の判定閾値設定部と、
前記頻度分布と前記判定閾値とをもとに、前記粘膜分布と前記残渣候補分布とを判別する候補判定部と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記残渣分布判定部は、
前記残渣候補分布が前記残渣分布に相当するか否かを判定する際に用いられる判定軸として、少なくとも黄みの強さが変化する色特徴量に対応する軸を設定する判定軸設定部と、
前記残渣候補分布における色特徴量の頻度分布を前記判定軸に対して作成する第２のヒストグラム作成部と、
前記頻度分布と前記粘膜分布の代表値とをもとに、判定閾値を設定する第２の判定閾値設定部と、
前記判定閾値よりも黄みの強い側に存在する残渣候補分布を残渣分布として判定する判定部と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記管腔内画像の輝度成分のエッジをもとに前記管腔内画像を分割した小領域単位で色特徴量を算出する色特徴量算出部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記管腔内画像は、各画素位置においてＲ、Ｇ、Ｂの各色成分を有し、
前記候補判定軸は、Ｇ／Ｒ値に対応することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記第１のヒストグラム作成部は、前記管腔内画像から泡領域、暗部領域、及び赤色病変領域との内の少なくとも１つを検出し、前記粘膜分布と前記残渣候補分布との判別に不要な領域と判定して除外する不要領域除外部を含むことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記第１の判定閾値設定部は、予め複数の管腔内画像から取得した粘膜領域内の色特徴量を前記候補判定軸に対して累積した粘膜の頻度分布を作成し、前記粘膜の頻度分布において、頻度が最大となる色特徴量から赤みの弱い側を見たときに、頻度が最初に最小又は極小となるときの色特徴量を前記判定閾値として保持することを特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記第１の判定閾値設定部は、前記頻度分布の双峰性の形状を評価し、該評価の結果をもとに前記頻度分布における境界位置を算出し、該境界位置を前記判定閾値に設定することを特徴とする請求項２に記載の画像処理装置。
【請求項９】
前記第１の判定閾値設定部は、前記管腔内画像を所定サイズの複数の矩形領域に分割し、前記複数の矩形領域毎に、前記色特徴量の頻度分布を作成し、前記複数の矩形領域間の色特徴量の頻度の最大値又は最頻値を抽出して合成する合成ヒストグラム作成部を含むことを特徴とする請求項２に記載の画像処理装置。
【請求項１０】
前記管腔内画像は、各画素位置においてＲ、Ｇ、Ｂの各色成分を有し、
前記候補判定部は、Ｇ／Ｒ値を成分の１つとする色特徴量空間において、前記色特徴量の分布をクラスタリングすると共に、クラスタリングによって得られた各クラスタにおける前記Ｇ／Ｒ値の代表値を前記判定閾値と比較して、クラスタ毎に判定を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記管腔内画像は、各画素位置においてＲ、Ｇ、Ｂの各色成分を有し、
前記判定軸は、Ｂ／Ｇ値に対応することを特徴とする請求項３に記載の画像処理装置。
【請求項１２】
前記第２の判定閾値設定部は、前記色特徴量の頻度分布を１つ又は２つの正規分布で近似し、前記１つの正規分布の代表値又は前記２つの正規分布の境界位置と、前記粘膜分布の代表値とをもとに、判定閾値を設定することを特徴とする請求項３に記載の画像処理装置。
【請求項１３】
前記管腔内画像は、各画素位置においてＲ、Ｇ、Ｂの各色成分を有し、
前記判定部は、Ｂ／Ｇ値を成分の１つとする色特徴量空間において、前記色特徴量の分布をクラスタリングすると共に、クラスタリングによって得られた各クラスタにおける前記Ｂ／Ｇ値の代表値を、前記粘膜分布における前記Ｂ／Ｇ値の代表値と比較して、クラスタ毎に判定を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項１４】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理方法において、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、
前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定ステップと、
残渣候補分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定ステップと、
を含むことを特徴とする画像処理方法。
【請求項１５】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理をコンピュータに実行させるプログラムにおいて、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、
前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定ステップと、
残渣候補分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定ステップと、
を前記コンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１６】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理装置において、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出部と、
赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定部と、
黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定部により残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定部と、
を備えることを特徴とする画像処理装置。
【請求項１７】
前記残渣分布判定部は、
前記第２の判定軸において、前記残渣候補を表すと判定された色特徴量の分布に対して所定の分布モデルを当てはめることにより、１つ以上の分布モデルを作成する分布モデル当てはめ部と、
前記１つ以上の分布モデルを所定の閾値と比較することにより、前記１つ以上の分布モデルの各々が残渣分布であるか否かを判定する分布モデル判定部と、
前記分布モデル判定部による判定結果をもとに、残渣を表す色特徴量を判定するための閾値を設定する閾値設定部と、
前記閾値設定部により設定された閾値をもとに、前記残渣候補として判定された前記色特徴量のうちから、残渣を表す色特徴量を判定する判定部と、
を備えることを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記管腔内画像から前記残渣の判定に不要な領域を除外する不要領域除外部をさらに備えることを特徴とする請求項１６に記載の画像処理装置。
【請求項１９】
前記残渣候補分布判定部は、
前記第１の判定軸において、前記色特徴量の分布に対して所定の分布モデルを当てはめることにより、１つ以上の分布モデルを作成する分布モデル当てはめ部と、
前記１つ以上の分布モデルを所定の閾値と比較することにより、前記１つ以上の分布モデルの各々が残渣候補分布であるか否かを判定する分布モデル判定部と、
前記分布モデル判定部による判定結果をもとに、残渣候補を表す色特徴量を判定するための候補閾値を設定する候補閾値設定部と、
前記候補閾値をもとに、前記管腔内画像内の前記色特徴量のうち、残渣候補を表す色特徴量を判定する候補判定部と、
を備えることを特徴とする請求項１６に記載の画像処理装置。
【請求項２０】
前記分布モデル当てはめ部は、
前記色特徴量の分布に対し、該色特徴量の分布に当てはめ可能な分布モデルよりも少ない数の分布モデルを概要分布モデルとして当てはめる概要分布モデル当てはめ部と、
前記第１の判定軸における前記概要分布モデルの分布範囲を取得する概要分布モデル範囲取得部と、
前記分布範囲において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめる分布モデル修正部と、
を備えることを特徴とする請求項１９に記載の画像処理装置。
【請求項２１】
前記分布モデル当てはめ部は、
前記１つ以上の分布モデルに、該１つ以上の分布モデル間の混合比率が所定値以下である低比率分布モデルが含まれるか否かを判定する低比率分布モデル判定部と、
前記１つ以上の分布モデルに前記低比率分布モデルが含まれる場合に、前記１つ以上の分布モデルから前記低比率分布モデルを除外した残りの分布モデルが前記第１の判定軸に分布する分布範囲を取得する高比率分布モデル範囲取得部と、
前記分布範囲において、前記色特徴量の分布に対し、再度、１つ以上の分布モデルを当てはめる分布モデル修正部と、
を備えることを特徴とする請求項１９に記載の画像処理装置。
【請求項２２】
前記分布モデル判定部は、
前記第１の判定軸における前記１つ以上の分布モデルの代表値を算出する代表値算出部と、
前記代表値に対応して前記第１の判定軸に予め設定された閾値をもとに、赤みの弱い側に分布する分布モデルを残渣候補分布として判定する閾値処理部と、
を備えることを特徴とする請求項１９に記載の画像処理装置。
【請求項２３】
前記候補閾値設定部は、
前記分布モデル当てはめ部により前記色特徴量の分布に対して複数の分布モデルが当てはめられた場合において、前記分布モデル判定部により前記複数の分布モデルに対して互いに異なる結果となる判定がなされたとき、前記第１の判定軸における前記複数の分布モデルの間の値を候補閾値として設定する分布モデル間候補閾値設定部と、
前記分布モデル当てはめ部により前記色特徴量の分布に対して複数の分布モデルが当てはめられた場合において、前記分布モデル判定部により前記複数の分布モデルに対して互いに同一の結果となる判定がなされたとき、又は、前記分布モデル当てはめ部により前記色特徴量の分布に対して１つの分布モデルが当てはめられた場合、前記第１の判定軸における前記１つ以上の分布モデルの外側の値を候補閾値として設定する分布モデル間外候補閾値設定部と、
を備えることを特徴とする請求項１９に記載の画像処理装置。
【請求項２４】
前記候補判定部は、前記色特徴量の分布をクラスタリングすることにより取得したクラスタの各々に対し、各クラスタの代表値を用いて判定を行うことを特徴とする請求項１９に記載の画像処理装置。
【請求項２５】
前記分布モデル当てはめ部は、
前記色特徴量の分布に対し、該色特徴量の分布に当てはめ可能な分布モデルよりも少ない数の分布モデルを概要分布モデルとして当てはめる概要分布モデル当てはめ部と、
前記第２の判定軸における前記概要分布モデルの分布範囲を取得する概要分布モデル範囲取得部と、
前記分布範囲において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめる分布モデル修正部と、
を備えることを特徴とする請求項１７に記載の画像処理装置。
【請求項２６】
前記分布モデル当てはめ部は、
前記１つ以上の分布モデルに、該１つ以上の分布モデル間の混合比率が所定値以下である低比率分布モデルが含まれるか否かを判定する低比率分布モデル判定部と、
前記１つ以上の分布モデルに前記低比率分布モデルが含まれる場合に、前記１つ以上の分布モデルから前記低比率分布モデルを除外した残りの分布モデルが前記第２の判定軸に分布する分布範囲を取得する高比率分布モデル範囲取得部と、
前記分布範囲において、前記残渣候補と判定された前記色特徴量の分布に対し、再度、１つ以上の分布モデルを当てはめる分布モデル修正部と、
を備えることを特徴とする請求項１７に記載の画像処理装置。
【請求項２７】
前記分布モデル判定部は、
前記第２の判定軸における前記１つ以上の分布モデルの代表値を算出する代表値算出部と、
前記代表値に対応して前記第２の判定軸に予め設定された閾値をもとに、黄みの強い側に分布する分布モデルを残渣分布として判定する閾値処理部と、
を備えることを特徴とする請求項１７に記載の画像処理装置。
【請求項２８】
前記閾値処理部は、前記１つ以上の分布モデルのうち、前記残渣候補分布判定部により前記残渣候補として判定されなかった色特徴量の分布を粘膜分布とし、前記第２の判定軸における該粘膜分布の代表値を算出する粘膜基準閾値設定部を備えることを特徴とする請求項２７に記載の画像処理装置。
【請求項２９】
前記閾値処理部は、
前記分布モデル当てはめ部により前記色特徴量の分布に対して複数の分布モデルが当てはめられた場合において、前記分布モデル判定部により前記複数の分布モデルに対して互いに異なる結果となる判定がなされたとき、前記第２の判定軸における前記複数の分布モデルの間の値を閾値として設定する分布モデル間閾値設定部と、
前記分布モデル当てはめ部により前記色特徴量の分布に対して複数の分布モデルが当てはめられた場合において、前記分布モデル判定部により前記複数の分布モデルに対して互いに同一の結果となる判定がなされたとき、又は、前記分布モデル当てはめ部により前記色特徴量の分布に対して１つの分布モデルが当てはめられた場合、前記第２の判定軸における前記１つ以上の分布モデルの外側の値を閾値として設定する分布モデル間外閾値設定部と、
を備えることを特徴とする請求項２７に記載の画像処理装置。
【請求項３０】
前記判定部は、前記色特徴量の分布をクラスタリングすることにより取得した各クラスタに対し、当該クラスタの代表値を用いて判定を行うことを特徴とする請求項１７に記載の画像処理装置。
【請求項３１】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理方法において、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、
赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定ステップと、
黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定ステップにおいて残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定ステップと、
を含むことを特徴とする画像処理方法。
【請求項３２】
被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理をコンピュータに実行させる画像処理プログラムにおいて、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、
赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定ステップと、
黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定ステップにおいて残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定ステップと、
を前記コンピュータに実行させることを特徴とする画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
第１判定閾値設定部１２３は、第１ヒストグラム作成部１２２が作成したヒストグラムに基づいて、上記候補判定閾値を設定する。より詳細には、第１判定閾値設定部１２３は、ヒストグラムの双峰性の形状を評価して、この評価結果をもとにヒストグラムを１つ又は２つの正規分布で近似し、近似した正規分布と粘膜分布及び残渣分布との関係に基づいて候補判定閾値を設定する。或いは、第１判定閾値設定部１２３は、ヒストグラムが双峰性を有しないと評価される場合には、ヒストグラムを正規分布で近似することなく、ヒストグラムそのものに基づいて候補判定閾値を設定しても良い。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
この内、判定軸設定部１３１は、黄みの強さが変化する色特徴量に対応する軸を判定軸に設定する。
また、第２判定閾値設定部１３３は、第２ヒストグラム作成部１３２が作成したヒストグラムに基づいて、上記判定閾値を設定する。より詳細には、第２判定閾値設定部１３３は、ヒストグラムの双峰性の形状を評価して、この評価結果をもとにヒストグラムを１つ又は２つの正規分布で近似し、近似した正規分布と粘膜分布との関係に基づいて判定閾値を設定する。或いは、第２判定閾値設定部１３３は、ヒストグラムが双峰性を有しないと評価される場合には、ヒストグラムを正規分布で近似することなく、ヒストグラムそのものに基づいて判定閾値を設定しても良い。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
（変形例１−６）
次に、変形例１−６について説明する。
第１判定閾値設定部１２３は、第２判定閾値設定部１３３と同様に、ヒストグラムの双峰性の形状を評価し、この評価結果をもとにヒストグラムの境界位置を算出して、この境界位置を判定閾値に設定しても良い。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正の内容】
【０１２３】
なお、ステップＳ２４１において色特徴量の分布に当てはめられた正規分布が１つである場合、当該正規分布の最大値μ＋２σ及び最小値μ−２σが、それぞれ、色特徴量の分布範囲の最大値ｇmax(F)及び最小値ｇmin(F)と比較され、当該比較の結果に基づいて分布モデルの分布範囲の最大値ｇmax、最小値ｇminが設定される。
【国際調査報告】
2013085061.tif 000078
2013085061.tif 000079
2013085061.tif 000080
2013085061.tif 000081
2013085061.tif 000082
2013085061.tif 000083
2013085061.tif 000084