(57)【要約】  本発明にかかる画像処理装置は、生体内に導入される撮像装置が撮像した複数の生体内管腔画像の撮像シーンを判定する撮像シーン判定部と、時系列で互いに近い生体内管腔画像間の変化を時系列特徴量として算出する時系列変化特徴量算出部と、生体内管腔画像において画素値に基づき設定した領域が、撮像装置に付着した付着物であるか否かを判定する付着物判定部と、を備え、時系列変化特徴量算出部及び付着物判定部の少なくとも一方が、撮像シーンに基づいて処理を行う。
2017183201.tif 000002
【特許請求の範囲】
【請求項１】
生体内に導入される撮像装置が撮像した複数の生体内管腔画像の撮像シーンを判定する撮像シーン判定部と、
時系列で互いに近い前記生体内管腔画像間の変化を時系列特徴量として算出する時系列変化特徴量算出部と、
前記生体内管腔画像において画素値に基づき設定した領域が、前記撮像装置に付着した付着物であるか否かを判定する付着物判定部と、
を備え、
前記時系列変化特徴量算出部及び前記付着物判定部の少なくとも一方が、前記撮像シーンに基づいて処理を行う
ことを特徴とする画像処理装置。
【請求項２】
前記生体内管腔画像の色に関する特徴量である色特徴量を算出する色特徴量算出部
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域は複数の画素を含み、
前記時系列変化特徴量算出部は、
前記領域の設定を行う領域設定部と、
前記領域設定部が設定した前記領域であって、時系列で互いに近い生体内管腔画像間における前記領域の変化に関する形状変化特徴量を算出する形状変化特徴量算出部と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記撮像シーン判定部は、
前記生体内管腔画像が体液の像を含んでいるか否かを判定する体液状態判定部、
を有し、
前記領域設定部は、
前記体液状態判定部の判定結果に基づいて、前記領域の設定を行う体液状態領域設定部
を有することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記体液状態領域設定部は、前記体液状態判定部が前記体液の像を含んでいると判定した場合に、前記領域設定部が設定した領域の内部において領域を再設定する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記撮像シーン判定部は、
前記生体内管腔画像が体液の像を含んでいるか否かを判定する体液状態判定部と、
時系列で互いに近い前記生体内管腔画像間の前記体液状態判定部の判定結果に基づいて、体液の像の遷移を判定する体液状態遷移判定部と、
前記体液状態遷移判定部が判定した体液の像の遷移状態に基づいて、前記領域設定部が設定した領域を再設定する状態遷移領域設定部と、
を有することを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記状態遷移領域設定部は、前記体液状態遷移判定部が、体液の像を含む状態から前記体液の像を含まない状態に遷移したと判定した場合、又は、体液の像を含まない状態から前記体液の像を含む状態に遷移したと判定した場合に、前記領域設定部が設定した領域の内部において領域を再設定する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記撮像シーン判定部は、
前記生体内管腔画像が体液の像を含んでいるか否かを判定する体液状態判定部、
を有し、
前記付着物判定部は、
前記体液状態判定部の判定結果に基づいて、前記形状変化特徴量に関する判定パラメータであって、当該付着物判定部が前記付着物であると判定する判定パラメータの範囲を設定する体液状態パラメータ設定部、
を有することを特徴とする請求項３に記載の画像処理装置。
【請求項９】
前記体液状態パラメータ設定部は、前記体液状態判定部が、体液の像を含むと判定した場合に、前記形状変化特徴量に関する前記判定パラメータの範囲を大きくする設定を行う
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記形状変化特徴量算出部は、
時系列で互いに近い前記生体内管腔画像における前記領域の全体の形状変化特徴量を算出する全体形状特徴量算出部と、
時系列で互いに近い前記生体内管腔画像における前記領域の一部における形状変化特徴量を算出する局所形状特徴量算出部と、
を有し、
前記体液状態判定部が、体液の像を含むと判定した場合に、前記体液状態パラメータ設定部は、前記局所形状特徴量に関する判定パラメータの範囲を大きくする設定を行い、前記付着物判定部は、前記局所形状特徴量を用いて前記付着物の判定を行う
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記撮像シーン判定部は、
前記生体内管腔画像が体液の像を含んでいるか否かを判定する体液状態判定部と、
時系列で互いに近い前記生体内管腔画像間の前記体液状態判定部の判定結果に基づいて、体液の像の遷移を判定する体液状態遷移判定部と、
を有し、
前記時系列変化特徴量算出部は、
時系列で互いに近い前記生体内管腔画像の間の明るさ又は色の変化を明るさ・色変化特徴量として算出する明るさ・色変化特徴量算出部、
を有し、
前記付着物判定部は、
前記体液状態遷移判定部の判定結果に基づいて、前記明るさ・色変化特徴量に関する判定パラメータであって、当該付着物判定部が前記付着物であると判定する判定パラメータの範囲を設定する状態遷移パラメータ設定部、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記状態遷移パラメータ設定部は、
前記体液状態遷移判定部が、体液の像を含む状態から前記体液の像を含まない状態に遷移したと判定した場合、又は、体液の像を含まない状態から前記体液の像を含む状態に遷移したと判定した場合に、前記明るさ・色変化特徴量に関する判定パラメータであって、当該付着物判定部が前記付着物であると判定する判定パラメータの範囲を設定する明るさ・色変化判定基準設定部、
を有することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記明るさ・色変化判定基準設定部は、前記体液状態遷移判定部が、体液の像を含む状態から前記体液の像を含まない状態に遷移したと判定した場合に、前記判定パラメータの範囲のうち、明るさの変化に係る前記判定パラメータの範囲において、暗くなる側の前記明るさの変化の範囲を大きくする、又は、色変化に係る前記判定パラメータの範囲において、赤色における色変化の範囲を大きくする設定を行う
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記明るさ・色変化判定基準設定部は、前記体液状態遷移判定部が、体液の像を含まない状態から前記体液の像を含む状態に遷移したと判定した場合に、前記判定パラメータの範囲のうち、明るさの変化に係る前記判定パラメータの範囲において、明るくなる側の前記明るさの変化の範囲を大きくする、又は、色変化に係る前記判定パラメータの範囲において、黄色における色変化の範囲を大きくする設定を行う
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
前記撮像シーン判定部は、
前記撮像装置の移動量を算出する移動量算出部、
を有し、
前記付着物判定部は、前記移動量算出部が算出した移動量に基づいて、前記形状変化特徴量に関する判定パラメータであって、当該付着物判定部が前記付着物であると判定する判定パラメータの範囲を設定する移動量パラメータ設定部、
を有することを特徴とする請求項３に記載の画像処理装置。
【請求項１６】
前記移動量パラメータ設定部は、前記移動量算出部が算出した移動量が、所定の移動量よりも大きい場合に、前記形状変化特徴量に関する前記判定パラメータの範囲を大きくする設定を行う
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記形状変化特徴量算出部は、
時系列で互いに近い前記生体内管腔画像における前記領域の全体の形状変化特徴量を算出する全体形状特徴量算出部と、
時系列で互いに近い前記生体内管腔画像における前記領域の一部における形状変化特徴量を算出する局所形状特徴量算出部と、
を有し、
前記体液状態判定部が、体液の像を含むと判定した場合に、前記移動量パラメータ設定部が、前記局所形状特徴量に関する判定パラメータの範囲を大きくする設定を行い、前記付着物判定部が、前記局所形状特徴量を用いて前記付着物の判定を行う
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１８】
前記撮像シーン判定部は、
前記生体内管腔画像をもとに、粘膜から前記撮像装置までの距離を算出する粘膜距離算出部、
を有し、
前記時系列変化特徴量算出部は、
時系列で互いに近い前記生体内管腔画像の間の明るさ又は色の変化を明るさ・色変化特徴量として算出する明るさ・色変化特徴量算出部、
を有し、
前記付着物判定部は、
前記粘膜距離算出部が算出した距離に基づいて、前記明るさ・色変化特徴量に関する判定パラメータであって、当該付着物判定部が前記付着物であると判定する判定パラメータの範囲を設定する粘膜距離パラメータ設定部、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項１９】
前記粘膜距離算出部は、時系列で互いに近い前記生体内管腔画像の間の粘膜距離の遷移を判定する粘膜距離遷移判定部、
を有し、
前記粘膜距離パラメータ設定部は、前記粘膜距離遷移判定部が、前記距離が大きくなる遷移であると判定した場合に、前記判定パラメータの範囲のうち、明るさの変化に係る前記判定パラメータの範囲において、暗くなる側の前記明るさの変化の範囲を大きくする設定を行う
ことを特徴とする請求項１８に記載の画像処理装置。
【請求項２０】
前記粘膜距離算出部は、時系列で互いに近い前記生体内管腔画像の間の粘膜距離の遷移を判定する粘膜距離遷移判定部、
を有し、
前記粘膜距離パラメータ設定部は、前記粘膜距離遷移判定部の判定結果が、前記距離が小さくなる遷移であると判定した場合に、前記判定パラメータの範囲のうち、明るさの変化に係る前記判定パラメータの範囲において、明るくなる側の前記明るさの変化の範囲を大きくする設定を行う
ことを特徴とする請求項１８に記載の画像処理装置。
【請求項２１】
前記付着物判定部により前記付着物と判定された一つ又は複数の領域に対し、拡張、統合及び分割のいずれかの処理を施すことにより、前記付着物の領域を決定する付着物領域決定部、
をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項２２】
撮像シーン判定部が、生体内に導入される撮像装置が撮像した複数の生体内管腔画像の撮像シーンを判定する撮像シーン判定ステップと、
時系列変化特徴量算出部が、時系列で互いに近い前記生体内管腔画像間の変化を時系列特徴量として算出する時系列変化特徴量算出ステップと、
付着物判定部が、前記生体内管腔画像において画素値に基づき設定した領域が、前記撮像装置に付着した付着物であるか否かを判定する付着物判定ステップと、
を含み、
前記時系列変化特徴量算出ステップ及び前記付着物判定ステップの少なくとも一方が、前記撮像シーンに基づいて処理を行う
ことを特徴とする画像処理装置の作動方法。
【請求項２３】
画像処理装置に実行させる画像処理装置の作動プログラムであって、
生体内に導入される撮像装置が撮像した複数の生体内管腔画像の撮像シーンを判定する撮像シーン判定手順と、
時系列で互いに近い前記生体内管腔画像間の変化を時系列特徴量として算出する時系列変化特徴量算出手順と、
前記生体内管腔画像において画素値に基づき設定した領域が、前記撮像装置に付着した付着物であるか否かを判定する付着物判定手順と、
を含み、
前記時系列変化特徴量算出手順及び前記付着物判定手順の少なくとも一方が、前記撮像シーンに基づいて処理を行う
ことを特徴とする画像処理装置の作動プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば生体の管腔内を撮像することにより取得された管腔画像からレンズに付着した付着物を判定する画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムに関する。
【背景技術】
【０００２】
被検体内の診断を行うための技術として、内視鏡やカプセル型内視鏡等の医用観察装置を用いて生体の管腔内を時系列順に撮像することにより複数の管腔画像を取得する技術が知られている。医師などの術者は、モニタに表示された管腔画像をもとに診断を行う。【０００３】
ところで、内視鏡やカプセル型内視鏡のレンズやカバーに、残渣や血液などの内容物（以下、付着物ともいう）が付着すると、管腔画像内に付着物の像が写り、管腔の像を隠してしまい、診断の妨げになるという問題があった。【０００４】
このような問題に対し、画像中に写り込んだ像が、付着物であるか否かを判定する技術が知られている。例えば、車両に搭載される撮像装置が撮像した画像から付着物が写り込んでいるか否かを判定する技術が知られている（例えば、特許文献１を参照）。この技術では、レンズやフロントガラスに付着した泥汚れは時系列で位置が変化しないという性質を利用して、泥汚れの付着の有無を判定する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−１３４５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１が開示する技術を、被検体内を撮像した管腔画像に対して適用すると、通過している臓器が変わる等、撮像シーンが変化すると、像の明るさや、色、形状が大きく異なる場合があり、写っている像が付着物であるか否かの判定精度が低下するという問題があった。【０００７】
本発明は、上記に鑑みてなされたものであって、管腔画像中に写り込んでいる像が、付着物であるか否かを高精度に判定することができる画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体内に導入される撮像装置が撮像した複数の生体内管腔画像の撮像シーンを判定する撮像シーン判定部と、時系列で互いに近い前記生体内管腔画像間の変化を時系列特徴量として算出する時系列変化特徴量算出部と、前記生体内管腔画像において画素値に基づき設定した領域が、前記撮像装置に付着した付着物であるか否かを判定する付着物判定部と、を備え、前記時系列変化特徴量算出部及び前記付着物判定部の少なくとも一方が、前記撮像シーンに基づいて処理を行うことを特徴とする。【０００９】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動方法は、撮像シーン判定部が、生体内に導入される撮像装置が撮像した複数の生体内管腔画像の撮像シーンを判定する撮像シーン判定ステップと、時系列変化特徴量算出部が、時系列で互いに近い前記生体内管腔画像間の変化を時系列特徴量として算出する時系列変化特徴量算出ステップと、付着物判定部が、前記生体内管腔画像において画素値に基づき設定した領域が、前記撮像装置に付着した付着物であるか否かを判定する付着物判定ステップと、を含み、前記時系列変化特徴量算出ステップ及び前記付着物判定ステップの少なくとも一方が、前記撮像シーンに基づいて処理を行うことを特徴とする。【００１０】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動プログラムは、画像処理装置に実行させる画像処理装置の作動プログラムであって、生体内に導入される撮像装置が撮像した複数の生体内管腔画像の撮像シーンを判定する撮像シーン判定手順と、時系列で互いに近い前記生体内管腔画像間の変化を時系列特徴量として算出する時系列変化特徴量算出手順と、前記生体内管腔画像において画素値に基づき設定した領域が、前記撮像装置に付着した付着物であるか否かを判定する付着物判定手順と、を含み、前記時系列変化特徴量算出手順及び前記付着物判定手順の少なくとも一方が、前記撮像シーンに基づいて処理を行うことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、管腔画像中に写り込んでいる像が、付着物であるか否かを高精度に判定することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係る画像処理装置が取得する管腔画像を撮像する撮像装置の一例を説明する図である。
【図３】図３は、本発明の実施の形態１に係る画像処理装置が取得する管腔画像の一例を説明する図である。
【図４】図４は、本発明の実施の形態１に係る画像処理装置が行う付着物判定処理を示すフローチャートである。
【図５】図５は、本発明の実施の形態１に係る画像処理装置が行う付着物判定処理を示すフローチャートである。
【図６】図６は、本発明の実施の形態１に係る画像処理装置が行う付着物判定処理を示すフローチャートである。
【図７】図７は、本発明の実施の形態１に係る画像処理装置が行う付着物判定処理を示すフローチャートである。
【図８】図８は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。
【図９】図９は、本発明の実施の形態２に係る画像処理装置が行う付着物判定処理を示すフローチャートである。
【図１０】図１０は、本発明の実施の形態２に係る画像処理装置が行う付着物判定処理を示すフローチャートである。
【図１１】図１１は、本発明の実施の形態２に係る画像処理装置が行う付着物判定処理を示すフローチャートである。
【図１２】図１２は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。
【図１３】図１３は、本発明の実施の形態３に係る画像処理装置が行う付着物判定処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に、本発明を実施するための形態（以下、「実施の形態」という）を説明する。
【００１４】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１は、演算部２と、記憶部３とを備える。画像処理装置１は、カプセル内視鏡や内視鏡等により撮像された生体内管腔画像を取得して所定の画像処理を行う機能を有する。生体内管腔画像としては、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像を用いる。
【００１５】
演算部２は、時系列で連続して撮像した生体内管腔画像の撮像シーンを判定する撮像シーン判定部２１と、時系列で互いに近い生体内管腔画像間における画素値の変化を特徴量として算出する時系列変化特徴量算出部２２と、生体内管腔画像から色に関する特徴量を算出する色特徴量算出部２３と、算出した特徴量に基づいて、時系列で互いに近い生体内管腔画像間で変化しない領域の像（以下、単に領域ともいう）が付着物であるか否かを判定する付着物判定部２４とを有する。ここで、時系列で互いに近い生体内管腔画像とは、時間的に近い時系列近傍の二つの生体内管腔画像であり、予め設定された範囲に含まれる二つの生体内管腔画像である。なお、明細書において、付着物とは、内視鏡やカプセル型内視鏡のレンズやカバーに付着した、残渣や血液などの内容物のことをいう。
【００１６】
撮像シーン判定部２１は、生体内管腔画像内の体液の存在を判定する体液状態判定部２１１を有する。
【００１７】
体液状態判定部２１１は、生体内管腔画像が小腸や大腸を撮像した画像である場合、上述した体液の特性を利用することによって、生体内管腔画像において体液の像（以下、単に体液ともいう）が存在するか否かの判定を行う。具体的に、体液状態判定部２１１は、生体内管腔画像における画素ごと、または、予め設定された数の画素を構成単位とする領域ごとに色特徴量を算出し、算出した特徴量と、予め設定されている判別基準とに基づいて、体液が存在するか否かを判定する。色特徴量は、ＲＧＢまたはＨＳＶ等の値で表現され、ＲＧＢの場合は各色の画素値、ＨＳＶの場合は色相(Hue)、彩度(Saturation)及び明度(Value)の三つの成分の値となる。例えば、小腸や大腸に存在する体液は、ビリルビンを含むために黄色がかっている。体液状態判定部２１１は、画像の色や、色の分布を判断することによって、生体内管腔画像が体液を含むか否かによって、生体内管腔画像内に体液が存在するか否かを判定する。
【００１８】
また、体液状態判定部２１１は、時系列で互いに近い生体内管腔画像間の領域、又は画素の体液の状態遷移を判定する体液状態遷移判定部２１１ａを有する。体液状態遷移判定部２１１ａは、体液状態判定部２１１が判定した体液の存在結果が付与された生体内管腔画像を時系列にまとめることによって、体液の状態遷移を判定する。体液状態遷移判定部２１１ａは、例えば、体液が存在する状態から存在しない状態へ遷移したことや存在する状態から存在しない状態へ遷移したことを判定する。
【００１９】
時系列変化特徴量算出部２２は、形状変化に関する特徴量を算出するための領域を設定する領域設定部２２１と、設定した領域から形状変化に関する特徴量を算出する形状変化特徴量算出部２２２と、生体内管腔画像から明るさ・色の変化に関する特徴量を算出する明るさ・色変化特徴量算出部２２３を有している。
【００２０】
領域設定部２２１は、画像の領域分割することによって、形状変化に関する特徴量を算出するための領域を設定する。なお、ここで設定される領域は、一つの画素から構成されるものも含む。画像を領域分割する方法としては、公知の種々の方法を適用することができる。公知の方法として、例えば、類似した特徴量を有し、且つ空間的に近接した画素を統合することにより、画像を複数の領域に分割する方法がある（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」第二版、第１９６頁）。また、領域設定部２２１は、体液の存在に基づいて領域の大きさを設定する体液状態領域設定部２２１ａと、体液の状態遷移に基づいて領域の大きさを設定する状態遷移領域設定部２２１ｂを有している。
【００２１】
体液状態領域設定部２２１ａは、体液状態判定部２１１が判定した体液の存在の有無に係る判定結果に基づいて、領域設定部２２１が設定した領域の再設定を行う。体液が存在する場合、付着物の外形は変化しやすい。このため、体液状態領域設定部２２１ａは、領域設定対象の生体内管腔画像について体液が存在すると判定されている場合、領域設定部２２１が設定した領域の境界を利用しないような領域の再設定を行う。体液状態領域設定部２２１ａは、領域設定対象の生体内管腔画像について体液が存在すると判定されている場合、例えば、領域の外縁が、数画素分だけ内側に移動するような領域の再設定を行う。また、体液状態領域設定部２２１ａは、領域設定対象の生体内管腔画像について体液が存在しないと判定されている場合、領域設定部２２１が設定した領域に再設定するようにしてもよいし、再設定を行わないようにしてもよい。
【００２２】
状態遷移領域設定部２２１ｂは、体液状態遷移判定部２１１ａが判定した体液の状態遷移の判定結果に基づいて領域の大きさを設定する。体液が存在する状態から存在しない状態への遷移、または、体液が存在しない状態から存在する状態への遷移の場合、付着した異物の外形が変化しやすい。このため、状態遷移領域設定部２２１ｂは、領域設定部２２１が設定した領域の境界を利用しないような領域の再設定を行う。状態遷移領域設定部２２１ｂは、領域設定対象の生体内管腔画像について体液の存在状態が遷移すると判定されている場合、例えば、領域の外縁が、数画素分だけ内側に移動するような領域の再設定を行う。また、状態遷移領域設定部２２１ｂは、領域設定対象の生体内管腔画像について体液の状態が遷移していないと判定されている場合、領域設定部２２１が設定した領域に再設定するようにしてもよいし、再設定を行わないようにしてもよい。
【００２３】
形状変化特徴量算出部２２２は、領域設定部２２１により設定された領域の全体の形状変化特徴量を算出する全体形状特徴量算出部２２２ａと、領域設定部２２１により設定された領域の局所の形状変化特徴量を算出する局所形状特徴量算出部２２２ｂとを有している。
【００２４】
全体形状特徴量算出部２２２ａは、領域設定部２２１により設定された領域全体の形状変化特徴量を算出する。具体的には、時系列で互いに近い生体内管腔画像における形状の特徴量の差を算出する。形状としては、面積、周囲長、フェレ径、円形度、重心等が挙げられる。
【００２５】
局所形状特徴量算出部２２２ｂは、領域設定部２２１により設定された領域を分割した各分割領域（局所）の形状変化特徴量を算出する。局所形状特徴量算出部２２２ｂは、領域設定部２２１により設定された領域内に所定のサイズの矩形領域を敷き詰めるように細かく分割し、分割した各領域において、時系列で前にある生体内管腔画像の対応する領域と差を形状の特徴量として算出する。ここで算出する特徴量は、例えば、領域間の輝度の差や、重心位置の差などである。また、局所形状特徴量算出部２２２ｂは、領域設定部２２１により設定された領域の外周を分割することにより、領域の外縁の一部をなす弧を抽出し、時系列画像での弧の形状等の差を算出するようにしてもよい。
【００２６】
明るさ・色変化特徴量算出部２２３は、各生体内管腔画像から明るさ・色に関する特徴量を算出するとともに、時系列で互いに近い生体内管腔画像間の予め設定しておいた領域における特徴量の差を、明るさ・色の変化に関する特徴量である明るさ・色変化特徴量として算出する。明るさ・色変化特徴量算出部２２３は、例えば、時系列で互いに近い生体内管腔画像間でのＲＧＢ成分や、ＹＣｂＣｒ変換した明るさ、ＨＳＶ変換した色相等の差を算出する。また、明るさ・色変化特徴量算出部２２３は、明るさや色から算出するテクスチャ特徴量のように、明るさや色に基づく特徴量について、時系列で互いに近い生体内管腔画像間の差を明るさ・色変化特徴量として算出してもよい。なお、以下の説明において、全体形状特徴量、局所形状特徴量、及び明るさ・色変化特徴量をまとめて時系列特徴量ということもある。
【００２７】
色特徴量算出部２３は、各生体内管腔画像から色に関する特徴量を、色特徴量として算出する。色特徴量は、例えば、ＲＧＢまたはＨＳＶ等の値で表現され、各色の画素値、または色相(Hue)、彩度(Saturation)及び明度(Value)の三つの成分のうちのいずれかの平均値や最頻値である。なお、色特徴量算出部２３での色特徴量の算出方法は、体液状態判定部２１１が用いる色特徴量の算出方法を用いて行ってもよいし、この算出方法とは別の算出方法で色特徴量を算出するものであってもよい。
【００２８】
付着物判定部２４は、記憶部３等に記憶され、予め設定されている判定基準である判定パラメータをもとに、生体内管腔画像内に付着物が存在するか否かを判定する。付着物判定部２４は、体液状態判定部２１１の判定結果に基づいて、付着物判定対の領域の形状の変化を許容する判定基準のパラメータ設定を行う体液パラメータ設定部２４１と、状態遷移領域設定２１１ａの判定結果に基づいて、付着物判定対象の領域明るさ・色の変化を許容する判定基準のパラメータ設定を行う状態遷移パラメータ設定部２４２とを有している。なお、ここでいう判定基準とは、時系列特徴量又は色特徴量から付着物であるか否かを判定するためのパラメータである特徴量の範囲（以下、判定範囲ともいう）のことである。
【００２９】
体液パラメータ設定部２４１は、体液が存在するという判定結果である場合、体液中の付着物の形状が変化しやすくなるため、付着物であると判定するための形状変化の範囲である判定範囲に対し、形状の変化量を大きくするような判定基準のパラメータ設定を行う。また、体液パラメータ設定部２４１は、判定対象の生体内管腔画像において体液の像が存在しないと判定されている場合は、判定に用いる形状変化特徴量として、全体形状特徴量算出部２２２ａが算出した全体形状特徴量を利用する設定を行う。これに対し、体液パラメータ設定部２４１は、体液が存在するという判定結果である場合、付着物の一部分が動くことがあるため、ほとんど動いていない領域を検出することによって、すべての領域を付着物として判定したい。そこで、体液パラメータ設定部２４１は、体液が存在するという判定結果である場合、全体形状特徴量算出部２２２ａが算出した全体形状特徴量ではなく、局所形状特徴量算出部２２２ｂが算出した局所形状特徴量を利用する設定を行う。なお、上記のように体液が存在有無により全体形状特徴量と局所形状特徴量を使い分けるだけでなく、体液が存在するという判定結果である場合は体液が存在しない場合よりも形状特徴量の比重を高くするものでもよい。また、体液が存在するという判定結果である場合には局所形状特徴量を全体形状特徴量よりも重みや比重を高くするのでもよい。例えば、全体形状特徴量の重みをｍ（＞０）、局所形状特徴量の重みをｎ（＞０）としたとき、液体が存在するという判定結果である場合は、ｍ＜ｎとして算出した値を特徴量とする。
【００３０】
状態遷移パラメータ設定部２４２は、体液の遷移状態に応じて、付着物であると判定するための明るさ・色に係る判定基準のパラメータ設定を行う。状態遷移パラメータ設定部２４２は、体液が存在しない状態から存在する状態に遷移したという判定結果である場合、付着物の像の明るさや色が変化しやすくなるため、付着物であると判定するための明るさ・色に係る判定基準のパラメータ設定を行う明るさ・色変化判定基準設定部２４２ａを有している。例えば、明るさ・色変化判定基準設定部２４２ａは、体液が存在しない状態から存在する状態に遷移したという判定結果である場合に、明るさ・色の変化量を大きくするような判定範囲の設定を行う。
【００３１】
明るさ・色変化判定基準設定部２４２ａは、色についての特徴量のパラメータ設定を行う際、判定対象の生体内管腔画像について体液が存在する状態から存在しない状態に遷移したと判定されている場合、例えば消化管であれば、消化管に存在する体液の色の影響を受けなくなり、生体内管腔画像が管腔内に起因する赤みがかった色の画像になるため、赤くなる変化を許容する判定基準のパラメータ設定を行う。具体的に、明るさ・色変化判定基準設定部２４２ａは、生体内管腔画像の色特徴量として算出された色相が赤色の範囲にある場合に、赤色の変化量に係る判定範囲が大きくなるように設定する。また、明るさに関しても同様に考え、明るさ・色変化判定基準設定部２４２ａは、判定対象の生体内管腔画像の体液の遷移について同様の場合に、暗くなる変化を許容する判定範囲、すなわち、予め設定されている判定範囲に対して、暗くなる側の明るさの変化が大きくなるように判定範囲を設定する。
【００３２】
これに対し、明るさ・色変化判定基準設定部２４２ａは、体液が存在しない状態から存在する状態に遷移したという判定結果である場合、例えば消化管であれば、小腸や大腸に存在する体液の色の影響を受けて、体液中の画像が、黄色がかった色になるため、黄色くなる変化を許容する判定基準のパラメータ設定を行う。具体的に、明るさ・色変化判定基準設定部２４２ａは、生体内管腔画像の色特徴量として算出された色相が赤色の範囲にある場合に、黄色の変化量に係る判定範囲が大きくなるように設定する。また、明るさに関しても同様に考え、明るさ・色変化判定基準設定部２４２ａは、判定対象の生体内管腔画像の体液の遷移について同様の場合に、明るくなる変化を許容する判定範囲、すなわち、予め設定されている判定範囲に対して、明るくなる側の明るさの変化が大きくなるように判定範囲を設定する。
【００３３】
演算部２は、演算及び制御機能を有するＣＰＵ（Central  Processing  Unit）等の汎用プロセッサ、またはＡＳＩＣ（Application  Specific  Integrated  Circuit）もしくはＦＰＧＡ（Field  Programmable  Gate  Array）等の専用の集積回路等を用いて実現される。演算部２が汎用プロセッサまたはＦＰＧＡによって実現される場合は、記憶部３が記憶する各種プログラムや各種データを記憶部３から読み出し、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括して制御する。演算部２がＡＳＩＣを用いて実現される場合は、各種処理を単独で実行してもよいし、記憶部３が記憶する各種データ等を用いることによって各種処理を実行してもよい。
【００３４】
記憶部３は、処理対象となる生体内管腔画像のデータ、及び処理を行う際に必要な各種情報を記憶する。記憶部３は、ＲＯＭ（Read  Only  Memory）またはＲＡＭ（Random  Access  Memory）等の各種ＩＣメモリ、内蔵もしくはデータ通信端子で接続されたハードディスク、またはＣＤ−ＲＯＭ等の情報記録装置及びその読取装置等によって実現される。記憶部３は、画像処理装置１が取得した生体内管腔画像の画像データの他、画像処理装置１を動作させると共に、画像処理装置１に種々の機能を実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記憶する。具体的には、記憶部３は、本実施の形態１に係る作動プログラムや、付着物判定処理を行う際に用いられる判定基準等の各種パラメータを記憶する。
【００３５】
記憶部３が記憶する画像処理プログラム等の各種プログラムは、コンピュータ読み取り可能な記録媒体に記録することも可能である。また、各種プログラムの記憶部３または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）などによって実現されるものであり、有線、無線を問わない。
【００３６】
以上の構成を有する画像処理装置１は、１つのコンピュータを用いて実現してもよいし、複数のコンピュータを用いて実現してもよい。後者の場合には、通信ネットワークを介してデータの送受信を行いながら、互いに連携して処理を行うようにすることも可能である。なお、ここでいうコンピュータは、例えば汎用のパーソナルコンピュータやサーバ等によって構成することができる。
【００３７】
なお、生体内管腔画像を画像処理装置１に入力するための撮像装置の構成、付着物の有無を出力する構成に関して本発明では特に限定しない。図２は、本発明の実施の形態１に係る画像処理装置が取得する管腔画像を撮像する撮像装置の一例を説明する図である。生体内管腔画像を画像処理装置１に入力する撮像装置の一例として、図２に示すようなカプセル型内視鏡４が挙げられる。カプセル型内視鏡４は、全体としてカプセル状をなす医療装置である。カプセル型内視鏡４は、経口摂取等によって被検体内に導入された後、臓器（消化管）内部を移動し、最終的に被検体の外部に排出される。その間、カプセル型内視鏡４は、臓器内部を該臓器の蠕動運動により移動しつつ撮像を行い、画像信号を順次生成して、画像処理装置１や、中継装置に無線送信する。
【００３８】
カプセル型内視鏡４は、例えば、被検体内に導入し易い大きさに形成された外装ケースであるカプセル型筐体４１と、被検体内を撮像して画像信号を生成する撮像部４２と、被検体内を照明する所定の波長帯域の光（以下、照明光という）を発生する発光部４３とを備えている。
【００３９】
カプセル型筐体４１は、筒状筐体４１１とドーム状筐体４１２，４１３とから成り、この筒状筐体４１１の両側開口端をドーム状筐体４１２，４１３で塞ぐことによって形成される。筒状筐体４１１及びドーム状筐体４１３は、発光部４３が発生する照明光に対して略不透明な有色の筐体である。一方、ドーム状筐体４１２は、照明光に対して透明な光学部材からなる照明窓である。本実施の形態に係る付着物は、ドーム状筐体４１２の表面であって、撮像部４２の撮像視野内における表面に付着した内容物のことをいう。
【００４０】
図３は、本発明の実施の形態１に係る画像処理装置が取得する管腔画像の一例を説明する図である。上述したカプセル型内視鏡４により取得された生体内管腔画像Ｗ１では、ドーム状筐体１１２の表面に付着物が付着すると、この付着物が像Ｑとして表現される。本実施の形態では、このような付着物判定対象の像が存在する場合に、演算部２が、この像が付着物であるか否かを判定する。
【００４１】
続いて、画像処理装置１の演算部２が行う付着物判定処理について、図４〜図７を参照して説明する。図４は、本発明の実施の形態１に係る画像処理装置が行う付着物判定処理を示すフローチャートである。まず、画像処理装置１は、生体内管腔画像の入力があると、生体内管腔画像を取得して記憶部３へ書き込んで記憶させる（ステップＳ１００）。この生体内管腔画像は、時系列に沿って複数入力される。記憶部３は、入力される生体内管腔画像を時系列に沿って、又は時系列と対応付けて記憶する。画像処理装置１は、生体内管腔画像を撮像するカプセル内視鏡等の機器との通信によって生体内管腔画像を取得してもよいし、生体内管腔画像が記録された記録媒体から生体内管腔画像のデータを読み出すことによって取得してもよい。
【００４２】
生体内管腔画像が記憶部３に書き込まれると、撮像シーン判定部２１が、記憶部３から複数の生体内管腔画像を読み出して、これらの生体内管腔画像に基づいて撮像シーンの判定を行う（ステップＳ２００）。
【００４３】
図５は、本発明の実施の形態１に係る画像処理装置が行う付着物判定処理を示すフローチャートであって、撮像シーン判定部２１が行う撮像シーン判定処理を説明するフローチャートである。撮像シーン判定部２１が行う撮像シーン判定処理では、まず、体液状態判定部２１１が、入力された生体内管腔画像がその臓器を撮像したものかを生体内管腔画像に付された情報などを参照して判断し、例えば小腸や大腸を撮像した画像である場合、上述した体液の特性を利用することによって、生体内管腔画像において体液が存在するか否かの判定を行う（ステップＳ２０１）。体液状態判定部２１１は、各生体内管腔画像について、体液が存在するか否かの判定結果を生成し、各生体内管腔画像に付与する。
【００４４】
その後、体液状態遷移判定部２１１ａは、体液状態判定部２１１による判定結果が付与された生体内管腔画像を時系列にまとめることによって、これらの画像群における体液の状態遷移を判定する（ステップＳ２０２）。例えば、体液状態遷移判定部２１１ａは、時系列で互いに近い生体内管腔画像であって、時間的に前の生体内管腔画像と、遷移判定対象の生体内管腔画像との各判定結果を比較することにより、遷移状態を判定する。体液状態遷移判定部２１１ａは、時間的に前の生体内管腔画像の判定結果が「体液の存在あり」であって、遷移判定対象の生体内管腔画像の判定結果が「体液の存在なし」である場合、当該遷移判定対象の生体内管腔画像について、「体液が存在する状態から存在しない状態へ遷移した」との判定結果を付与する。これに対し、体液状態遷移判定部２１１ａは、時間的に前の生体内管腔画像の判定結果が「体液の存在なし」であって、遷移判定対象の生体内管腔画像の判定結果が「体液の存在あり」である場合、当該遷移判定対象の生体内管腔画像について、「体液が存在しない状態から存在する状態へ遷移した」との判定結果を付与する。また、体液状態遷移判定部２１１ａは、時間的に前の生体内管腔画像の判定結果と、遷移判定対象の生体内管腔画像の判定結果とが同じである場合、当該遷移判定対象の生体内管腔画像について、「遷移なし」との判定結果を付与する。なお、ステップＳ２００では、ステップＳ２０１のみを行う場合と、ステップＳ２０１およびＳ２０２を行う場合がある。ステップＳ２０１のみ行う場合は、撮像シーンの判定結果として、体液が存在するか否かの判定結果のみが生成される。演算部２は、すべての生体内管腔画像について体液状態遷移判定部２１１ａによる判定処理が終了すると、図４のフローチャートに戻る。
【００４５】
ステップＳ２００による撮像シーンの判定処理後、時系列変化特徴量算出部２２が、時系列で互いに近い画像間の時系列特徴量を算出する（ステップＳ３００）。本ステップＳ３００においては、時系列変化特徴量算出部２２は、ステップＳ２００において使用した生体内管腔画像と同じ生体内管腔画像を用いて時系列特徴量の算出を行う。
【００４６】
図６は、本発明の実施の形態１に係る画像処理装置が行う付着物判定処理を示すフローチャートであって、時系列変化特徴量算出部２２が行う時系列特徴量算出処理を説明するフローチャートである。時系列変化特徴量算出部２２が行う時系列特徴量算出処理では、まず、時系列変化特徴量算出部２２が、形状特徴量が算出対象に設定されているか否かを判断する（ステップＳ３０１）。ここで、時系列変化特徴量算出部２２は、予め設定されている算出対象を確認し、形状特徴量が算出対象に設定されていないと判断した場合（ステップＳ３０１：Ｎｏ）、ステップＳ３０７に移行する。これに対し、時系列変化特徴量算出部２２は、形状特徴量が算出対象に設定されていると判断した場合（ステップＳ３０１：Ｙｅｓ）、ステップＳ３０２に移行する。
【００４７】
ステップＳ３０２において、領域設定部２２１が、生体内管腔画像において時系列特徴量を算出するための領域の設定を行う。具体的には、領域設定部２２１が、撮像シーンの判定処理を行った生体内管腔画像のそれぞれに対し、上述した公知の方法を用いて、付着物の判定を行う対象となる領域の設定を行う。その後、体液状態領域設定部２２１ａ及び状態遷移領域設定部２２１ｂのうちのいずれか一方が、体液状態判定部２１１の判定結果に基づいて、領域設定部２２１が設定した領域の再設定を行う。ステップＳ２００においてステップＳ２０１のみが実行された場合は、本ステップＳ３０２では体液状態領域設定部２２１ａが領域の再設定を行う。また、ステップＳ２００においてステップＳ２０１及びＳ２０２が実行された場合は、予め設定された条件や、ユーザが入力した選択指示にしたがって、体液状態領域設定部２２１ａ及び状態遷移領域設定部２２１ｂのうちのいずれか一方が領域の再設定を行う。
【００４８】
上述した処理によって、特徴量の算出領域が設定されると、形状変化特徴量算出部２２２が、領域の形状変化に係る特徴量の算出を行う。まず、ステップＳ３０３では、全体形状特徴量算出部２２２ａが、設定された領域全体の形状変化に係る特徴量を算出する。具体的に、全体形状特徴量算出部２２２ａは、面積、周囲長、フェレ径、円形度、重心等のうち、予め設定されている形状について、時系列で互いに近い生体内管腔画像における形状の差を全体形状特徴量として算出する。
【００４９】
その後、局所形状特徴量算出部２２２ｂが、領域設定部２２１により設定された領域を分割した各領域の形状変化に係る特徴量を算出する（ステップＳ３０４）。局所形状特徴量算出部２２２ｂは、予め設定された分割態様で領域を分割し、分割した各領域の形状の差を局所形状特徴量として算出する。
【００５０】
全体形状特徴量及び局所形状特徴量を算出後、時系列変化特徴量算出部２２は、明るさ・色特徴量が算出対象に設定されているか否かを判断する（ステップＳ３０５）。ここで、時系列変化特徴量算出部２２は、明るさ・色特徴量が算出対象に設定されていないと判断した場合（ステップＳ３０５：Ｎｏ）、時系列特徴量算出処理を終了する。これに対し、時系列変化特徴量算出部２２は、明るさ・色特徴量が算出対象に設定されていると判断した場合（ステップＳ３０５：Ｙｅｓ）、ステップＳ３０７に移行する。
【００５１】
ステップＳ３０６において、明るさ・色変化特徴量算出部２２３は、明るさ・色変化特徴量を算出する。明るさ・色変化特徴量算出部２２３は、上述したように、時系列で互いに近い生体内管腔画像間の特徴量の差を、明るさ・色の変化に関する特徴量である明るさ・色変化特徴量として算出する。
【００５２】
また、ステップＳ３０１に続くステップＳ３０７において、明るさ・色変化特徴量算出部２２３は、明るさ・色変化特徴量を算出する。明るさ・色変化特徴量算出部２２３は、上述したように、時系列で互いに近い生体内管腔画像間の特徴量の差を、明るさ・色の変化に関する特徴量である明るさ・色変化特徴量として算出する。
【００５３】
演算部２は、すべての生体内管腔画像について時系列特徴量算出処理が終了すると、図４のフローチャートに戻る。このように、ステップＳ３００における時系列特徴量算出処理では、形状特徴量及び明るさ・色特徴量の変化率のうちの少なくとも一つが算出される。
【００５４】
各生体内管腔画像について全体形状特徴量、局所形状特徴量及び／又は明るさ・色変化特徴量が算出されると、色特徴量算出部２３が、各生体内管腔画像から色に関する特徴量を、色特徴量として算出する（ステップＳ４００）。
【００５５】
その後、付着物判定部２４が、ステップＳ３０２において設定された領域が、付着物であるか否かの判定を行う（ステップＳ５００）。図７は、本発明の実施の形態１に係る画像処理装置が行う付着物判定処理を示すフローチャートであって、付着物判定部２４が行う付着物判定処理を説明するフローチャートである。付着物判定部２４が行う付着物判定処理では、まず、付着物であるか否かの判定を行うための判定基準のパラメータ設定を行う。
【００５６】
具体的には、体液パラメータ設定部２４１が、生体内管腔画像における体液の存在の有無に応じて、付着物の判定に係る形状変化の判定基準のパラメータの再設定を行う（ステップ５０１）。体液パラメータ設定部２４１は、体液が存在すると判定されている場合、上述したように、形状の変化量を大きくするような判定範囲の再設定を行う。具体的には、体液パラメータ設定部２４１は、全体形状特徴量又は局所形状特徴量に対して、予め設定されている範囲に基づいて、付着物であると判定する値の範囲を大きくする。また、体液パラメータ設定部２４１は、体液が存在すると判定されている場合、局所形状特徴量算出部２２２ｂが算出した局所形状特徴量を利用する設定を行う。
【００５７】
形状変化の判定基準を設定後、状態遷移パラメータ設定部２４２が、明るさ・色に係る判定基準のパラメータの再設定を行う（ステップＳ５０２）。具体的には、明るさ・色変化判定基準設定部２４２ａが、体液が存在する状態から存在しない状態に遷移していると判定されている場合、例えば消化管であれば、上述したように、予め設定されているパラメータに基づいて、赤くなる変化を許容する判定基準のパラメータの再設定を行う。これに対し、明るさ・色変化判定基準設定部２４２ａは、体液が存在しない状態から存在する状態に遷移していると判定されている場合、例えば消化管であれば、上述したように、黄色くなる変化を許容する判定基準のパラメータの再設定を行う。また、明るさに関しても同様に考え、明るさ・色変化判定基準設定部２４２ａは、同様の場合に、暗くなる変化を許容する判定基準に設定する。状態遷移パラメータ設定部２４２は、算出された時系列特徴量に応じた判定基準のパラメータの再設定を行う。なお、上述したステップＳ５０１及びＳ５０２は、ステップＳ５０２を先に行ってもよいし、同時に行ってもよいし、算出されている特徴量に応じて片方のみを行うのでもよい。また、ステップＳ２０２によって体液の状態遷移の判定結果が生成されていない場合は、体液状態遷移判定部２１１ａによる状態遷移の判定を行った後、状態遷移パラメータ設定部２４２が、明るさ・色に係る判定基準のパラメータの再設定を行う。
【００５８】
形状及び／又は明るさ・色に係る判定基準が設定されると、付着物判定部２４が、ステップＳ３００で算出された形状に係る特徴量、及び／又は明るさ・色に係る特徴量と、ステップＳ５０１及び／又はＳ５０２で設定された判定基準とに基づいて、設定された領域における像が付着物であるか否かを判定する（ステップＳ５０３）。付着物判定部２４は、例えば、体液状態判定部２１１により体液が存在すると判定されている場合、局所形状特徴量算出部２２２ｂが算出した局所形状特徴量と、形状にかかる判定基準とを比較して、局所形状特徴量が判定基準内にあれば、時系列で近接する生体内管腔画像間で領域の動きが小さいため、当該局所形状特徴量を有する領域が付着物であると判定する。一方で、付着物判定部２４は、局所形状特徴量が判定基準外であれば、時系列で近接する生体内管腔画像間で領域の動きが大きいため、当該局所形状特徴量を有する領域は付着物ではないと判定する。付着物判定部２４は、算出された局所形状特徴量ごとに判定を行う。付着物判定部２４は、付着物であると判定した局所形状特徴量を有する一つ又は複数の領域を付着物であると判定してもよいし、付着物であると判定した局所形状特徴量が一つでもあれば、当該局所形状特徴量を有する領域を含む分割前の領域を付着物として判定してもよい。また、付着物判定部２４は、体液状態判定部２１１により体液が存在しないと判定されている場合、全体形状特徴量算出部２２２ｂが算出した全体形状特徴量と、形状にかかる判定基準とを比較して付着物の判定を行う。
【００５９】
上述した付着物判定処理により、体液の存在や、体液の存在の遷移状態に応じて、付着物判定の判定基準を変更することによって、形状の変化や、明るさ・色の変化による付着物の判定処理を、一層正確に行うことができる。なお、局所形状特徴量を用いて領域の付着物判定を行う場合、判定に用いた局所形状特徴量に対応する領域を付着物として判定してもよいし、当該判定に用いた局所形状特徴量を含み、領域設定部２２１において設定された全体領域、すなわち分割前の領域を付着物として判定してもよい。
【００６０】
以上説明した本発明の実施の形態１によれば、付着物判定部２４が、撮像シーン判定部２１の判定結果である体液の存在や、体液の存在の遷移状態に応じて、付着物判定の判定基準や、判定対象の特徴量を変更することによって、生体内管腔画像において設定された領域が付着物であるか否かを判定するようにしたので、生体内管腔画像中に写り込んでいる像が、付着物であるか否かを高精度に判定することができる。
【００６１】
なお、画像処理装置１に対して指示信号の入力を受け付ける入力部の機能を具備させ、ユーザが入力部を介して選択方法を指示することができるようにしてもよい。ここで、入力部は、例えばキーボードやマウス等のユーザインタフェースを用いて実現することができる。なお、画像処理装置１が表示部を有する場合には、表示パネルの表面にタッチパネルを配設し、このタッチパネルを入力部として機能させることも可能である。
【００６２】
（実施の形態２）
図８は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１Ａは、演算部２Ａと、記憶部３とを備える。以下、実施の形態１に係る画像処理装置１の演算部２が有する構成部位と同様の構成部位については、同じ符号を付して説明する。
【００６３】
演算部２Ａは、撮像シーン判定部２１Ａと、時系列変化特徴量算出部２２と、色特徴量算出部２３と、付着物判定部２４Ａとを有する。
【００６４】
撮像シーン判定部２１Ａは、体液状態判定部２１１と、生体内管腔画像を取得する撮像装置の移動量、又は撮像装置の撮像部の移動量を算出する移動量算出部２１２と、生体内管腔画像内に映る粘膜までの距離を算出する粘膜距離算出部２１３とを有する。
【００６５】
移動量算出部２１２は、例えば、撮像装置に加速度センサ等を搭載させ、生体内管腔画像ごとのセンサ出力と撮影間隔時間とを用いることにより、時系列で隣り合う生体内管腔画像間の移動量を算出する。なお、移動量算出部２１２は、時系列で隣り合う生体内管腔画像間から動きベクトルを算出し、動きベクトルの絶対値の合計や平均等を算出することより、時系列画像間の移動量を算出してもよいし、上述した二つの算出方法により算出された二つの移動量を組み合わせ、新たな移動量を算出してもよい。
【００６６】
なお、体液状態遷移判定部２１１ａは、移動量算出部２１２が算出した動きベクトルに基づいて、体液の状態遷移を判定するようにしてもよい。
【００６７】
粘膜距離算出部２１３は、生体内管腔画像内に映る粘膜までの距離を算出する。粘膜距離算出部２１３は、画像内の画素ごと、または領域ごとに色特徴量（ＲＧＢ、ＨＳＶ等）や、テクスチャ特徴量（ＬＢＰ等）を算出し、これらの特徴量と、予め設定されている判別基準とに基づいて、粘膜として判別する。長波長であるＲ成分が粘膜までの距離として考えられるため、粘膜距離算出部２１３は、Ｒ成分を用いて粘膜までの距離を算出する。なお、粘膜距離算出部２１３は、撮像装置が、生体内管腔画像が適正露出になるように調光機能を有する場合に、調光の度合いに係る情報から距離を算出することもできる。
【００６８】
また、粘膜距離算出部２１３は、時系列画像間での粘膜距離の遷移を判定する粘膜距離遷移判定部２１３ａを有している。粘膜距離遷移判定部２１３ａは、時系列で互いに近い生体内管腔画像間での粘膜距離の遷移を判定する。粘膜距離算出部２１３は、算出された粘膜の距離を時系列情報としてまとめることにより、粘膜距離の状態遷移を判定する。例えば、粘膜距離算出部２１３は、粘膜距離が遠い状態から近い状態へ遷移したことや、近い状態から遠い状態へ遷移したことを判定し、判定結果を該当する生体内管腔画像に付与する。
【００６９】
付着物判定部２４Ａは、移動量に基づいて形状変化を許容するように判定基準を設定する移動量パラメータ設定部２４３と、粘膜距離に基づいて明るさ・色変化を許容する判定基準を設定する粘膜距離パラメータ設定部２４４とを有する。
【００７０】
移動量算出部２１２が算出した移動量が、所定値よりも大きいほど、付着した異物の外形が変化しやすいため、移動量パラメータ設定部２４３は、形状に係る特徴量を許容するように判定基準を設定する。また、移動量算出部２１２が算出した移動量が大きい場合、付着した異物の一部分が動くことがあるため、移動量パラメータ設定部２４３は、ほとんど動いていない領域があると、すべての領域を付着した異物として判定したい。このため、移動量パラメータ設定部２４３は、移動量が大きい場合、判定対象の特徴量について、全体形状特徴量よりも局所形状特徴量を優先的に利用するように設定する。
【００７１】
粘膜の距離が近くから遠くへ遷移する場合、撮像する管腔内が広くなるため、撮像装置において照明光の調整を行う際には光源を明るく発光させる必要がある。粘膜距離パラメータ設定部２４４は、粘膜の距離が近くから遠くへ遷移する場合、粘膜距離が近い場合よりも画像の明るさが明るくなる変化を許容する判定基準のパラメータ設定を行う。これに対し、粘膜の距離が遠くから近くへ遷移する場合、撮像する管腔内が狭くなるため、撮像装置において照明光の調整を行う際には光源を暗く発光させる必要がある。粘膜距離パラメータ設定部２４４は、粘膜の距離が遠くから近くへ遷移する場合、粘膜距離が遠い場合よりも画像の明るさが暗くなる変化を許容する判定基準のパラメータ設定を行う。
【００７２】
続いて、画像処理装置１Ａの演算部２Ａが行う付着物判定処理について、図９〜図１１を参照して説明する。図９は、本発明の実施の形態２に係る画像処理装置が行う付着物判定処理を示すフローチャートである。まず、画像処理装置１Ａは、生体内管腔画像の入力があると、生体内管腔画像を取得して記憶部３へ書き込んで記憶させる（ステップＳ１００）。
【００７３】
生体内管腔画像が記憶部３に書き込まれると、撮像シーン判定部２１Ａが、記憶部３から複数の生体内管腔画像を読み出して、これらの生体内管腔画像に基づいて撮像シーンの判定を行う（ステップＳ６００）。
【００７４】
図１０は、本発明の実施の形態２に係る画像処理装置が行う付着物判定処理を示すフローチャートであって、撮像シーン判定部２１Ａが行う撮像シーン判定処理を説明するフローチャートである。撮像シーン判定部２１Ａが行う撮像シーン判定処理では、移動量算出部２１２が、時系列で互いに近い生体内管腔画像間の移動量を算出する（ステップＳ６０１）。移動量算出部２１２は、上述した算出方法を用いて移動量を算出し、処理対象の生体内管腔画像に付与する。
【００７５】
また、上述した形状についての移動量の算出処理と並行して、粘膜距離算出部２１３が、粘膜距離を算出する（ステップＳ６１１）。粘膜距離算出部２１３は、上述したように、Ｒ成分を用いて粘膜までの距離を算出する。その後、粘膜距離遷移判定部２１３ａが、時系列で互いに近い生体内管腔画像間での粘膜距離の遷移を判定する（ステップＳ６１２）。演算部２Ａは、すべての生体内管腔画像について距離算出処理が終了すると、図９のフローチャートに戻る。
【００７６】
ステップＳ６００による撮像シーンの判定処理後、時系列変化特徴量算出部２２が、時系列で連続した画像間の時系列特徴量を算出する（ステップＳ３００）。時系列変化特徴量算出部２２が行う時系列特徴量算出処理は、図６に示すフローチャートにしたがって行われ、各生体内管腔画像について全体形状特徴量、局所形状特徴量又は明るさ・色変化特徴量を算出する。
【００７７】
各生体内管腔画像について全体形状特徴量、局所形状特徴量及び明るさ・色変化特徴量が算出されると、色特徴量算出部２３が、各生体内管腔画像から色に関する特徴量を、色特徴量として算出する（ステップＳ４００）。
【００７８】
その後、付着物判定部２４Ａが、ステップＳ３０２において設定された領域が、付着物であるか否かの判定を行う（ステップＳ７００）。図１１は、本発明の実施の形態２に係る画像処理装置が行う付着物判定処理を示すフローチャートであって、付着物判定部２４Ａが行う付着物判定処理を説明するフローチャートである。付着物判定部２４Ａが行う付着物判定処理では、まず、付着物であるか否かの判定を行うための判定基準のパラメータ設定を行う。
【００７９】
具体的には、移動量パラメータ設定部２４３が、形状に係る特徴量を許容するように判定基準のパラメータの再設定を行う（ステップ７０１）。移動量パラメータ設定部２４３は、移動量算出部２１２が算出した移動量が、予め設定されている所定値よりも大きければ、上述したように、形状に係る特徴量を許容するように判定基準を再設定する。具体的には、移動量パラメータ設定部２４３は、全体形状特徴量又は局所形状特徴量に対して、付着物であると判定する判定範囲を大きくする。また、移動量パラメータ設定部２４３は、移動量算出部２１２が算出した移動量が大きい場合、判定を行う形状特徴量として局所形状特徴量を利用するように設定する。
【００８０】
形状変化の判定基準を設定後、粘膜距離パラメータ設定部２４４が、明るさ・色に係る判定基準のパラメータの再設定を行う（ステップＳ７０２）。粘膜距離パラメータ設定部２４４は、上述したように、粘膜の距離が近くから遠くへ遷移すると判定されている場合、粘膜距離が近い場合よりも画像の明るさが明るくなる変化を許容する判定基準のパラメータの再設定を行う。具体的に、粘膜距離パラメータ設定部２４４は、明るさ・色変化特徴量に対して、付着物であると判定する判定範囲であって、輝度の差の範囲である判定範囲を大きくする。これに対し、粘膜距離パラメータ設定部２４４は、粘膜の距離が遠くから近くへ遷移すると判定されている場合、上述したように、粘膜距離が遠い場合よりも画像の明るさが暗くなる変化を許容する判定基準のパラメータ設定を行う。具体的に、粘膜距離パラメータ設定部２４４は、明るさ・色変化特徴量に対して、判定範囲を小さくする設定を行う。なお、上述したステップＳ７０１及びＳ７０２は、ステップＳ７０２を先に行ってもよいし、同時に行ってもよいし、算出された特徴量に対応する判定基準の再設定のみを行うのでもよい。
【００８１】
形状及び／又は明るさ・色に係る判定基準が設定されると、付着物判定部２４Ａが、ステップＳ３００で算出された形状に係る特徴量、及び／又は明るさ・色に係る特徴量と、ステップＳ７０１及びＳ７０２で設定された判定基準とに基づいて、設定された領域における像が付着物であるか否かを判定する（ステップＳ７０３）。付着物判定部２４Ａは、例えば、移動量算出部２１２が算出した移動量が所定値よりも大きい場合、局所形状特徴量算出部２２２ｂが算出した局所形状特徴量と、形状にかかる判定基準とを比較して、局所形状特徴量が判定基準内であれば、時系列で隣接する生体内管腔画像間で領域の動きが小さく、設定された領域が付着物であると判定する。一方で、付着物判定部２４は、局所形状特徴量が判定基準よりも大きければ、時系列で隣接する生体内管腔画像間で領域の動きが大きいため、設定された領域は付着物ではないと判定する。
【００８２】
上述した付着物判定処理により、撮像装置の移動距離や、粘膜距離、粘膜距離の遷移状態に応じて、付着物判定の判定基準を変更することによって、形状の変化や、明るさ・色の変化による付着物の判定処理を、一層正確に行うことができる。
【００８３】
以上説明した本発明の実施の形態２によれば、付着物判定部２４が、撮像シーン判定部２１Ａの判定結果である撮像装置の移動距離や、粘膜距離、粘膜距離の遷移状態に応じて、付着物判定の判定基準や、判定対象の特徴量を変更することによって、生体内管腔画像において設定された領域が付着物であるか否かを判定するようにしたので、生体内管腔画像中に写り込んでいる像が、付着物であるか否かを高精度に判定することができる。
【００８４】
（実施の形態３）
図１２は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１Ｂは、演算部２Ｂと、記憶部３とを備える。以下、実施の形態１に係る画像処理装置１の演算部２が有する構成部位と同様の構成部位については、同じ符号を付して説明する。
【００８５】
演算部２Ｂは、撮像シーン判定部２１と、時系列変化特徴量算出部２２と、色特徴量算出部２３と、付着物判定部２４と、付着物決定部２５とを有する。
【００８６】
付着物決定部２５は、付着した異物に基づいて、付着物として判定された領域を拡張、統合又は分割し、付着物の領域の決定を行う。
【００８７】
続いて、画像処理装置１Ｂの演算部２Ｂが行う付着物判定処理について、図１３を参照して説明する。図１３は、本発明の実施の形態３に係る画像処理装置が行う付着物判定処理を示すフローチャートである。まず、画像処理装置１は、生体内管腔画像の入力があると、生体内管腔画像を取得して記憶部３へ書き込んで記憶させる（ステップＳ１００）。
【００８８】
生体内管腔画像が記憶部３に書き込まれると、撮像シーン判定部２１が、記憶部３から複数の生体内管腔画像を読み出して、これらの生体内管腔画像に基づいて撮像シーンの判定を行う（ステップＳ２００）。
【００８９】
ステップＳ２００による撮像シーンの判定処理後、時系列変化特徴量算出部２２が、時系列で連続した画像間の時系列特徴量を算出する（ステップＳ３００）。時系列変化特徴量算出部２２が行う時系列特徴量算出処理は、図６に示すフローチャートにしたがって行われ、各生体内管腔画像について全体形状特徴量、局所形状特徴量又は明るさ・色変化特徴量を算出する。
【００９０】
各生体内管腔画像について全体形状特徴量、局所形状特徴量及び／又は明るさ・色変化特徴量が算出されると、色特徴量算出部２３が、各生体内管腔画像から色に関する特徴量を、色特徴量として算出する（ステップＳ４００）。
【００９１】
その後、付着物判定部２４が、ステップＳ３０２において設定された領域が、付着物であるか否かの判定を行う（ステップＳ５００）。付着物判定部２４が行う付着物判定処理は、図７に示すフローチャートにしたがって行われ、設定された領域が付着物であるか否かの判定を行う。
【００９２】
その後、付着物決定部２５が、ステップＳ５００において付着物と判定された領域をもとに、付着物の領域の決定を行う（ステップＳ８００）。付着物決定部２５は、付着物と判定された複数の領域のうち、所定値以内の画素値を有する領域が存在する場合、同一の異物として統合することにより、異物領域を決定する。また、付着物決定部２５は、付着物と判定された領域の重心を中心とし、任意距離だけ離れた画素まで領域を拡張することにより付着物の領域を変更する。また、付着物決定部２５は、付着物として判定された領域の外縁から任意距離だけ離れた画素まで拡張することにより、付着物の領域を変更する。また、付着物決定部２５は、類似した特徴量を有し、且つ空間的に近接した画素を統合することにより、付着物の領域を決定する。
【００９３】
以上説明した本発明の実施の形態３によれば、付着物決定部２５が、付着物判定部２４が付着物であると判定した領域に対して、拡張、統合又は分割することにより、付着物としての領域を決定するようにしたので、生体内管腔画像中に写り込んでいる像が、付着物であるか否かを一段と高精度に判定することができる。
【００９４】
（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１〜３によってのみ限定されるべきものではない。例えば、実施の形態１に係る体液パラメータ設定部２４１により設定された形状変化の判定基準と、実施の形態２に係る粘膜距離パラメータ設定部２４４が設定した明るさ・色に係る判定基準とを組み合わせて付着物の判定を行ってもよいし、形状変化特徴量及び明るさ・色変化特徴量のうちのいずれか一つを用いて付着物の判定を行ってもよいし、すべての設定部を用いて付着物の判定を行ってもよい。このように、本発明はここでは記載していない様々な実施の形態等を含み得るものである。
【００９５】
また、上述した実施の形態１〜３では、時系列変化特徴量算出部２２が、撮像シーンに応じて、付着物の判定に用いる形状特徴量を、全体形状特徴量及び局所形状特徴量から選択し、付着物判定部２４，２４Ａが、撮像シーンに応じて付着物の判定に用いる判定基準のパラメータ設定を行うものとして説明したが、時系列変化特徴量算出部２２及び付着物判定部２４，２４Ａの少なくとも一方が、撮像シーンに基づいて処理を行うものであればよい。例えば、時系列変化特徴量算出部２２が、撮像シーンに応じて、付着物の判定に用いる形状特徴量を、全体形状特徴量及び局所形状特徴量から選択し、付着物判定部２４２４Ａが、予め設定されている判定基準を用いて付着物の判定を行うものであってもよいし、時系列変化特徴量算出部２２が、全体形状特徴量及び局所形状特徴量のいずれかを算出して、付着物判定部２４，２４Ａが、撮像シーンに応じて付着物の判定に用いる判定基準のパラメータ設定を行うものであってもよい。
【００９６】
また、上述した実施の形態１〜３では、付着物判定部２４，２４Ａが、撮像シーンに応じて全体形状特徴量及び局所形状特徴量のいずれか一方を利用するものとして説明したが、全体形状特徴量及び局所形状特徴量を利用して、付着物の判定を行うものであってもよい。例えば、付着物判定部２４，２４Ａが、撮像シーンに応じて全体形状特徴量及び局所形状特徴量に対して重み付けを行うことにより、各形状特徴量によって判定された結果をもとに総合的に判定するものであってもよい。
【産業上の利用可能性】
【００９７】
以上のように、本発明にかかる画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムは、管腔画像中に写り込んでいる像が、付着物であるか否かを高精度に判定するのに有用である。
【符号の説明】
【００９８】
１，１Ａ，１Ｂ  画像処理装置
２，２Ａ，２Ｂ  演算部
３  記憶部
２１，２１Ａ  撮像シーン判定部
２２  時系列変化特徴量算出部
２３  色特徴量算出部
２４，２４Ａ  付着物判定部
２５  付着物決定部
２１１  体液状態判定部
２１１ａ  体液状態遷移判定部
２１２  移動量算出部
２１３  粘膜距離算出部
２１３ａ  粘膜距離遷移判定部
２２１  領域設定部
２２１ａ  体液状態領域設定部
２２１ｂ  状態遷移領域設定部
２２２  形状変化特徴量算出部
２２２ａ  全体形状特徴量算出部
２２２ｂ  局所形状特徴量算出部
２２３  明るさ・色変化特徴量算出部
２４１  体液パラメータ設定部
２４２  状態遷移パラメータ設定部
２４２ａ  明るさ・色変化判定基準設定部
２４３  移動量パラメータ設定部
２４４  粘膜距離パラメータ設定部
【図１】
2017183201.tif 000003
【図２】
2017183201.tif 000004
【図３】
2017183201.tif 000005
【図４】
2017183201.tif 000006
【図５】
2017183201.tif 000007
【図６】
2017183201.tif 000008
【図７】
2017183201.tif 000009
【図８】
2017183201.tif 000010
【図９】
2017183201.tif 000011
【図１０】
2017183201.tif 000012
【図１１】
2017183201.tif 000013
【図１２】
2017183201.tif 000014
【図１３】
2017183201.tif 000015
【手続補正書】
【提出日】平成30年10月9日(2018.10.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
生体内に導入される撮像装置が撮像した複数の生体内管腔画像の撮像シーンを判定する撮像シーン判定部と、
時系列で互いに近い前記生体内管腔画像間の変化を時系列特徴量として算出する時系列変化特徴量算出部と、
前記生体内管腔画像において画素値に基づき設定した領域が、前記撮像装置に付着した付着物であるか否かを判定する付着物判定部と、
を備え、
前記領域は複数の画素を含み、
前記時系列変化特徴量算出部は、
前記領域の設定を行う領域設定部と、
前記領域設定部が設定した前記領域であって、時系列で互いに近い生体内管腔画像間における前記領域の変化に関する形状変化特徴量を算出する形状変化特徴量算出部と、
を有し、
前記時系列変化特徴量算出部及び前記付着物判定部の少なくとも一方が、前記撮像シーンに基づいて処理を行う
ことを特徴とする画像処理装置。
【請求項２】
前記生体内管腔画像の色に関する特徴量である色特徴量を算出する色特徴量算出部
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像シーン判定部は、
前記生体内管腔画像が体液の像を含んでいるか否かを判定する体液状態判定部、
を有し、
前記領域設定部は、
前記体液状態判定部の判定結果に基づいて、前記領域の設定を行う体液状態領域設定部
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記体液状態領域設定部は、前記体液状態判定部が前記体液の像を含んでいると判定した場合に、前記領域設定部が設定した領域の内部において領域を再設定する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記撮像シーン判定部は、
前記生体内管腔画像が体液の像を含んでいるか否かを判定する体液状態判定部と、
時系列で互いに近い前記生体内管腔画像間の前記体液状態判定部の判定結果に基づいて、体液の像の遷移を判定する体液状態遷移判定部と、
前記体液状態遷移判定部が判定した体液の像の遷移状態に基づいて、前記領域設定部が設定した領域を再設定する状態遷移領域設定部と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記状態遷移領域設定部は、前記体液状態遷移判定部が、体液の像を含む状態から前記体液の像を含まない状態に遷移したと判定した場合、又は、体液の像を含まない状態から前記体液の像を含む状態に遷移したと判定した場合に、前記領域設定部が設定した領域の内部において領域を再設定する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記撮像シーン判定部は、
前記生体内管腔画像が体液の像を含んでいるか否かを判定する体液状態判定部、
を有し、
前記付着物判定部は、
前記体液状態判定部の判定結果に基づいて、前記形状変化特徴量に関する判定パラメータであって、当該付着物判定部が前記付着物であると判定する判定パラメータの範囲を設定する体液状態パラメータ設定部、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記体液状態パラメータ設定部は、前記体液状態判定部が、体液の像を含むと判定した場合に、前記形状変化特徴量に関する前記判定パラメータの範囲を大きくする設定を行う
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記形状変化特徴量算出部は、
時系列で互いに近い前記生体内管腔画像における前記領域の全体の形状変化特徴量を算出する全体形状特徴量算出部と、
時系列で互いに近い前記生体内管腔画像における前記領域の一部における形状変化特徴量を算出する局所形状特徴量算出部と、
を有し、
前記体液状態判定部が、体液の像を含むと判定した場合に、前記体液状態パラメータ設定部は、前記局所形状特徴量に関する判定パラメータの範囲を大きくする設定を行い、前記付着物判定部は、前記局所形状特徴量を用いて前記付着物の判定を行う
ことを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記撮像シーン判定部は、
前記生体内管腔画像が体液の像を含んでいるか否かを判定する体液状態判定部と、
時系列で互いに近い前記生体内管腔画像間の前記体液状態判定部の判定結果に基づいて、体液の像の遷移を判定する体液状態遷移判定部と、
を有し、
前記時系列変化特徴量算出部は、
時系列で互いに近い前記生体内管腔画像の間の明るさ又は色の変化を明るさ・色変化特徴量として算出する明るさ・色変化特徴量算出部、
を有し、
前記付着物判定部は、
前記体液状態遷移判定部の判定結果に基づいて、前記明るさ・色変化特徴量に関する判定パラメータであって、当該付着物判定部が前記付着物であると判定する判定パラメータの範囲を設定する状態遷移パラメータ設定部、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記状態遷移パラメータ設定部は、
前記体液状態遷移判定部が、体液の像を含む状態から前記体液の像を含まない状態に遷移したと判定した場合、又は、体液の像を含まない状態から前記体液の像を含む状態に遷移したと判定した場合に、前記明るさ・色変化特徴量に関する判定パラメータであって、当該付着物判定部が前記付着物であると判定する判定パラメータの範囲を設定する明るさ・色変化判定基準設定部、
を有することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記明るさ・色変化判定基準設定部は、前記体液状態遷移判定部が、体液の像を含む状態から前記体液の像を含まない状態に遷移したと判定した場合に、前記判定パラメータの範囲のうち、明るさの変化に係る前記判定パラメータの範囲において、暗くなる側の前記明るさの変化の範囲を大きくする、又は、色変化に係る前記判定パラメータの範囲において、赤色における色変化の範囲を大きくする設定を行う
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記明るさ・色変化判定基準設定部は、前記体液状態遷移判定部が、体液の像を含まない状態から前記体液の像を含む状態に遷移したと判定した場合に、前記判定パラメータの範囲のうち、明るさの変化に係る前記判定パラメータの範囲において、明るくなる側の前記明るさの変化の範囲を大きくする、又は、色変化に係る前記判定パラメータの範囲において、黄色における色変化の範囲を大きくする設定を行う
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
前記撮像シーン判定部は、
前記撮像装置の移動量を算出する移動量算出部、
を有し、
前記付着物判定部は、前記移動量算出部が算出した移動量に基づいて、前記形状変化特徴量に関する判定パラメータであって、当該付着物判定部が前記付着物であると判定する判定パラメータの範囲を設定する移動量パラメータ設定部、
を有することを特徴とする請求項３に記載の画像処理装置。
【請求項１５】
前記移動量パラメータ設定部は、前記移動量算出部が算出した移動量が、所定の移動量よりも大きい場合に、前記形状変化特徴量に関する前記判定パラメータの範囲を大きくする設定を行う
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記形状変化特徴量算出部は、
時系列で互いに近い前記生体内管腔画像における前記領域の全体の形状変化特徴量を算出する全体形状特徴量算出部と、
時系列で互いに近い前記生体内管腔画像における前記領域の一部における形状変化特徴量を算出する局所形状特徴量算出部と、
を有し、
前記体液状態判定部が、体液の像を含むと判定した場合に、前記移動量パラメータ設定部が、前記局所形状特徴量に関する判定パラメータの範囲を大きくする設定を行い、前記付着物判定部が、前記局所形状特徴量を用いて前記付着物の判定を行う
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１７】
前記撮像シーン判定部は、
前記生体内管腔画像をもとに、粘膜から前記撮像装置までの距離を算出する粘膜距離算出部、
を有し、
前記時系列変化特徴量算出部は、
時系列で互いに近い前記生体内管腔画像の間の明るさ又は色の変化を明るさ・色変化特徴量として算出する明るさ・色変化特徴量算出部、
を有し、
前記付着物判定部は、
前記粘膜距離算出部が算出した距離に基づいて、前記明るさ・色変化特徴量に関する判定パラメータであって、当該付着物判定部が前記付着物であると判定する判定パラメータの範囲を設定する粘膜距離パラメータ設定部、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項１８】
前記粘膜距離算出部は、時系列で互いに近い前記生体内管腔画像の間の粘膜距離の遷移を判定する粘膜距離遷移判定部、
を有し、
前記粘膜距離パラメータ設定部は、前記粘膜距離遷移判定部が、前記距離が大きくなる遷移であると判定した場合に、前記判定パラメータの範囲のうち、明るさの変化に係る前記判定パラメータの範囲において、暗くなる側の前記明るさの変化の範囲を大きくする設定を行う
ことを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記粘膜距離算出部は、時系列で互いに近い前記生体内管腔画像の間の粘膜距離の遷移を判定する粘膜距離遷移判定部、
を有し、
前記粘膜距離パラメータ設定部は、前記粘膜距離遷移判定部の判定結果が、前記距離が小さくなる遷移であると判定した場合に、前記判定パラメータの範囲のうち、明るさの変化に係る前記判定パラメータの範囲において、明るくなる側の前記明るさの変化の範囲を大きくする設定を行う
ことを特徴とする請求項１７に記載の画像処理装置。
【請求項２０】
前記付着物判定部により前記付着物と判定された一つ又は複数の領域に対し、拡張、統合及び分割のいずれかの処理を施すことにより、前記付着物の領域を決定する付着物領域決定部、
をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項２１】
撮像シーン判定部が、生体内に導入される撮像装置が撮像した複数の生体内管腔画像の撮像シーンを判定する撮像シーン判定ステップと、
時系列変化特徴量算出部が、時系列で互いに近い前記生体内管腔画像間の変化を時系列特徴量として算出する時系列変化特徴量算出ステップと、
付着物判定部が、前記生体内管腔画像において画素値に基づき設定した領域が、前記撮像装置に付着した付着物であるか否かを判定する付着物判定ステップと、
を含み、
前記時系列変化特徴量算出ステップは、複数の画素を含む前記領域の設定し、該設定した前記領域であって、時系列で互いに近い生体内管腔画像間における前記領域の変化に関する形状変化特徴量を算出し、
前記時系列変化特徴量算出ステップ及び前記付着物判定ステップの少なくとも一方が、前記撮像シーンに基づいて処理を行う
ことを特徴とする画像処理装置の作動方法。
【請求項２２】
画像処理装置に実行させる画像処理装置の作動プログラムであって、
生体内に導入される撮像装置が撮像した複数の生体内管腔画像の撮像シーンを判定する撮像シーン判定手順と、
時系列で互いに近い前記生体内管腔画像間の変化を時系列特徴量として算出する時系列変化特徴量算出手順と、
前記生体内管腔画像において画素値に基づき設定した領域が、前記撮像装置に付着した付着物であるか否かを判定する付着物判定手順と、
を含み、
前記時系列変化特徴量算出手順は、複数の画素を含む前記領域の設定し、該設定した前記領域であって、時系列で互いに近い生体内管腔画像間における前記領域の変化に関する形状変化特徴量を算出し、
前記時系列変化特徴量算出手順及び前記付着物判定手順の少なくとも一方が、前記撮像シーンに基づいて処理を行う
ことを特徴とする画像処理装置の作動プログラム。
【国際調査報告】
2017183201.tif 000016
2017183201.tif 000017
2017183201.tif 000018
2017183201.tif 000019