(57)【特許請求の範囲】
【請求項１】
画像に対して分類の評価対象となる注目領域を設定する注目領域設定部と、
前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出部と、
少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出部と、
前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像分類部は、
前記画像を、前記表層構造を有する合焦画像、前記表層構造を有しない合焦画像、及び非合焦画像のいずれかに分類する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記注目領域外合焦度算出部は、
前記画像の周波数情報を算出する周波数情報算出部、
を備え、
前記周波数情報をもとに注目領域外の合焦度を算出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記周波数情報算出部は、
前記画像の特定周波数帯域の強度を算出する特定周波数強度算出部、
を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記注目領域外合焦度算出部は、
前記注目領域から前記注目領域外の各画素座標までの距離を算出する距離算出部、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記距離算出部は、前記注目領域の所定の座標と、前記注目領域外の各画素座標との間の画像上の距離、又は前記注目領域に映る対象までの撮像距離と、各画素に映る対象までの撮像距離との差を前記距離として算出する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記注目領域外合焦度算出部は、予め設定されている範囲内の前記距離を有する前記注目領域外の合焦度を算出する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記画像分類部は、
前記距離に応じて、前記注目領域外の合焦度を加重平均する加重平均部、
を備え、
前記加重平均の結果をもとに前記注目領域の合焦度を算出し、算出した前記注目領域の合焦度をもとに前記画像を分類する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記注目領域外合焦度算出部は、
前記画像内の各画素座標における撮像距離を推定する撮像距離推定部と、
前記撮像距離に応じたパラメータで前記注目領域外の合焦度を算出する適応的合焦度算出部と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記適応的合焦度算出部は、
前記撮像距離に応じて異なる周波数情報を算出する適応的周波数情報算出部、
を備え、
前記異なる周波数情報をもとに前記注目領域外の合焦度を算出する
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記注目領域外合焦度算出部は、
前記画像における前記注目領域外に参照領域を設定する参照領域設定部、
を備え、
前記参照領域の情報をもとに前記注目領域外の合焦度を算出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記参照領域設定部は、
前記注目領域から前記注目領域外の各画素座標までの距離を算出する距離算出部、
を備え、
予め設定されている範囲内の前記距離を有する画素座標のみを含む参照領域を設定する
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記参照領域設定部は、
前記画像のエッジの強度を算出するエッジ強度算出部、
を備え、
前記注目領域と前記参照領域との間に所定の強度以上の強度を有する前記エッジが存在しない場合に前記参照領域を設定する
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記画像分類部は、
前記注目領域外の合焦度の分布から合焦範囲を推定する合焦範囲推定部と、
合焦範囲と前記注目領域との重なり度合いを評価する重なり評価部と、
を備え、
前記注目領域に対する重なり度合いをもとに前記注目領域が合焦しているか否かを判定し、該判定の結果に基づいて前記画像を分類する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１５】
前記注目領域は、病変部を含む領域であって、
前記表層構造情報算出部は、前記注目領域の合焦度を判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１６】
前記画像は、管腔内を撮像した管腔内画像である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１７】
注目領域設定部が、画像に対して分類の評価対象となる注目領域を設定する注目領域設定ステップと、
表層構造情報算出部が、前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出ステップと、
注目領域外合焦度算出部が、少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出ステップと、
画像分類部が、前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類ステップと、
を含むことを特徴とする画像処理装置の作動方法。
【請求項１８】
注目領域設定部が、画像に対して分類の評価対象となる注目領域を設定する注目領域設定手順と、
表層構造情報算出部が、前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出手順と、
注目領域外合焦度算出部が、少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出手順と、
画像分類部が、前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類手順と、
をコンピュータに実行させることを特徴とする画像処理装置の作動プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば生体の管腔内を撮像することにより取得された管腔内画像群を分類する画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムに関する。
【背景技術】
【０００２】
従来、１フレームの画像において、複数箇所の合焦度を算出する技術が知られている。例えば、特許文献１は、ピンぼけや手ブレなどが生じると失われるような第１高周波強度と、ピンぼけや手ブレが生じていても第１高周波強度と比して相対的に値が大きくなる低域側の周波数成分を含む第２高周波強度とを画像中から抽出し、さらに、画像中のノイズの平均振幅を算出することによってノイズパラメータを設定する。そして、特許文献１は、第２高周波強度とノイズパラメータとの和に対する第１高周波強度の比を算出することによって、画像内の複数の位置の合焦度を算出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２５８２８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、内視鏡により撮像された画像を分類する処理では、画像内の注目領域の合焦状態に基づいた分類を行うことが想定される。しかしながら、このような分類処理に特許文献１が開示する技術を適用した場合、高周波成分を示すコントラスト変化を有しない注目領域では、第２高周波強度成分によらず非合焦と判断されてしまうため、注目領域について詳細に分類することができない。【０００５】
本発明は、上記に鑑みてなされたものであって、画像を詳細に分類することができる画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムの提供を目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像に対して分類の評価対象となる注目領域を設定する注目領域設定部と、前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出部と、少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出部と、前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類部と、を備えることを特徴とする。【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動方法は、注目領域設定部が、画像に対して分類の評価対象となる注目領域を設定する注目領域設定ステップと、表層構造情報算出部が、前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出ステップと、注目領域外合焦度算出部が、少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出ステップと、画像分類部が、前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類ステップと、を含むことを特徴とする。【０００８】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動プログラムは、注目領域設定部が、画像に対して分類の評価対象となる注目領域を設定する注目領域設定手順と、表層構造情報算出部が、前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出手順と、注目領域外合焦度算出部が、少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出手順と、画像分類部が、前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類手順と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像を詳細に分類することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係る画像処理装置が行う画像処理を説明するフローチャートである。
【図３】図３は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
【図４】図４は、本発明の実施の形態１の変形例１に係る画像処理装置の機能構成を示すブロック図である。
【図５】図５は、本発明の実施の形態１の変形例１に係る画像処理装置が行う画像処理を説明するフローチャートである。
【図６】図６は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
【図７】図７は、本発明の実施の形態１の変形例２に係る画像処理装置が行う画像処理を説明するフローチャートである。
【図８】図８は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。
【図９】図９は、本発明の実施の形態２に係る画像処理装置が行う画像処理を説明するフローチャートである。
【図１０】図１０は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
【図１１】図１１は、参照領域設定部による参照領域の設定を説明する図である。
【図１２】図１２は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。
【図１３】図１３は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。
【図１４】図１４は、画像分類部が実行する管腔内画像の分類処理を示すフローチャートである。
【図１５】図１５は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。
【図１６】図１６は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
本実施の形態では、内視鏡により撮像された管腔内画像群を分類する画像処理装置を示す。管腔内画像は、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。
【００１２】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。実施の形態１に係る画像処理装置１は、管腔内画像群と、腫瘍性病変と疑われる病変領域などの注目領域や、注目領域外の情報とをもとに管腔内画像を分類する。
【００１３】
画像処理装置１は、該画像処理装置１全体の動作を制御する制御部１０と、撮像装置が管腔内を撮像して生成した管腔内画像群を取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。
【００１４】
制御部１０は、ＣＰＵ（Central  Processing  Unit）等のハードウェアによって実現され、記録部５０に記録された各種プログラムを読み込むことにより、画像取得部２０から入力される管腔内画像群や入力部３０から入力される信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００１５】
画像取得部２０は、医用の撮像装置を含むシステムの態様に応じて適宜構成される。例えば、撮像装置を画像処理装置１に接続する場合、画像取得部２０は、撮像装置において生成された管腔内画像群を取り込むインタフェースによって構成される。また、撮像装置によって生成された管腔内画像群を保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って管腔内画像群を取得する。或いは、撮像装置によって生成された管腔内画像群を、可搬型の記録媒体を用いて受け渡ししてもよく、この場合、画像取得部２０は、可搬型の記録媒体を着脱自在に装着し、記録された画像の管腔内画像群を読み出すリーダ装置によって構成される。
【００１６】
入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部１０に出力する。
【００１７】
表示部４０は、ＬＣＤ（Liquid  Crystal  Display）やＥＬ（ElectroLuminescence）ディスプレイ等の表示装置によって実現され、制御部１０の制御のもと、管腔内画像群を含む各種画面を表示する。
【００１８】
記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録装置及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された管腔内画像群の他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部５０は、管腔内画像群を分類する画像処理プログラム５１や、該画像処理において用いられる閾値、演算部１００による分類結果等を格納する。
【００１９】
演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことにより、管腔内画像群を分類する画像処理を実行する。
【００２０】
演算部１００は、取得された画像中に画像分類の評価対象となる注目領域を設定する注目領域設定部１１０と、注目領域の表層構造を示す情報を算出する表層構造情報算出部１２０と、注目領域外の合焦度を算出する注目領域外合焦度算出部１３０と、表層構造情報と、注目領域外の合焦度とに基づいて画像を分類する画像分類部１４０とを備える。
【００２１】
注目領域外合焦度算出部１３０は、管腔内画像の周波数情報を算出する周波数情報算出部１３１と、距離算出部１３２とを備える。さらに、周波数情報算出部１３１は、画像の特定周波数帯域の強度を算出する特定周波数強度算出部１３１ａを備える。
【００２２】
画像分類部１４０は、距離算出部１３２が算出した距離に応じて注目領域外の合焦度を加重平均して、注目領域の合焦度を算出する加重平均部１４１を備える。
【００２３】
次に、画像処理装置１の動作を説明する。図２は、本発明の実施の形態１に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１は、画像取得部２０を介して管腔内画像を取得する。本実施の形態１においては、内視鏡によりＲ、Ｇ、Ｂの各波長成分を含む照明光（白色光）を管腔内に照射して撮像を行うことにより生成され、各画素位置においてこれらの波長成分に対応する画素値（Ｒ値、Ｇ値、Ｂ値）を有する管腔内画像が取得される。なお、照明光は上記白色光に限定されず、Ｇ、Ｂの各狭帯域の波長成分を含む特殊光でもよく、さらにはＲ，Ｇ，Ｂの少なくとも１つの狭帯域光を含む照射光でもよい。例えば、Ｇ、Ｂの狭帯域化された各波長成分を含む特殊光を管腔内に照射して撮像を行うことにより生成され、各画素位置においてこれらの波長成分に対応する画素値（Ｇ値、Ｂ値）を有する管腔内画像が取得されるものであってもよい。
【００２４】
続くステップＳ２０において、演算部１００は注目領域の設定を行う。具体的には、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。注目領域設定部１１０は、例えば、ユーザ入力や、公知のスネーク（参考文献：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」改訂新版、第２１０頁）、グラフカット（参考文献：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」改訂新版、第２１２頁）などの公知の方法を用いて注目領域の設定を行う。また、特開２００７−２４４５１８号公報に記載されているポリープ候補検出処理により、ポリープの領域を抽出し、それを注目領域としてもよい。この他、ＤＰＭ（（deformable  parts  model）、参考文献：「A  Discriminatively  Trained,  Multiscale,  Deformable  Part  Model」、Pedro  Felzenszwalb、University  of  Chicago）や、特徴量の設計を行わずに領域を検出可能なDeep  Learning（参考文献：「Learning  deep  architectures  for  AI」、Y.Bengio）による機械学習等を用いて注目領域の検出を行ってもよい。また、ポリープに限らず、腫瘍などの病変部や、異常部分を検出し、これらのいずれかを含む注目領域を設定するようにしてもよい。
【００２５】
続くステップＳ３０において、演算部１００は、注目領域の表層構造を示す表層構造情報を算出する。具体的には、表層構造情報算出部１２０が、設定した注目領域の表層構造を示す情報を算出する。ここで算出される表層構造を示す情報とは、例えば、公知のエッジ抽出処理（参考文献：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」改訂新版、第１０５頁）を適用して算出されるエッジ強度である。表層構造情報算出部１２０は、例えば画素位置ごとにエッジ強度が得られるなど、複数の情報が得られる場合、平均値や最頻値などの代表値を表層構造情報とする。また、表層構造情報算出部１２０は、注目領域の周波数情報を表層構造情報として算出してもよい。
【００２６】
続くステップＳ４０において、演算部１００は、注目領域外の合焦度を算出する。図３は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
【００２７】
ステップＳ４０１において、周波数情報算出部１３１は、注目領域外の周波数情報を算出する。具体的には、撮像装置が有する複数の画素がマトリックス状に配列され、画素の座標を（ｘ，ｙ）としたとき、下式（１）により、画像Ｉ（ｘ，ｙ）の周波数情報Ｆ（ｕ，ｖ）を算出する。このとき、Ｒ、Ｇ、Ｂの各色の波長成分からなる画像において、Ｇ成分及びＢ成分は血液の吸収帯域に近く、コントラスト変化を示す対象（血管）が映りやすく、また、サチュレーションを起こし難い。そのため、周波数情報算出部１３１は、Ｇ成分やＢ成分に基づいて周波数情報Ｆ（ｕ，ｖ）を算出する。なお、演算部１００は、処理ステップＳ４０１の前に、精度低下要因と成り得る光学系や照明系によるサチュレーション除去やハレーション除去を行ってもよい。
【数１】
0006664486.tif 000002
ここで、ｊ：虚数単位、ｊ＝√（−１）
ｕ：ｘ方向の空間周波数
ｖ：ｙ方向の空間周波数
である。
【００２８】
ステップＳ４０１に続くステップＳ４０２において、特定周波数強度算出部１３１ａは、得られた周波数情報Ｆ（ｕ，ｖ）において、特定の範囲内の周波数ｗ＝√（ｕ2＋ｖ2）を抜き出し、それ以外はカットすることによって注目領域外の特定周波数の強度を算出する。ここでいう特性の範囲とは、表層構造を表す特徴的な周波数、例えば血管の太さなどのテクスチャを表す特徴的な周波数の範囲であり、予め設定されている。さらに、下式（２）により、抜き出された周波数情報Ｆ´（ｕ，ｖ）を処理後画像Ｉ´（ｘ，ｙ）に変換する。
【数２】
0006664486.tif 000003
【００２９】
特定周波数強度算出部１３１ａは、処理後画像Ｉ´（ｘ，ｙ）において、特定周波数帯域の強度を表す絶対値｜Ｉ´（ｘ，ｙ）｜をとり、それを画素位置ごとの合焦度とする。この合焦度は、特定周波数の強度に相当する。特定周波数強度算出部１３１ａは、複数の画素位置を含む小領域を設定して、その小領域内の合焦度の代表値を小領域の合焦度としてもよい。代表値は、例えば、平均値、中央値、最頻値、最大値、最小値等である。
【００３０】
また、特定周波数の強度の別の算出方法として、特定周波数強度算出部１３１ａは、管腔内画像内に縦横が同じ長さの小領域を設定し、該小領域をＩ（ｘ，ｙ）とし、式（１）にて該小領域ごとに周波数情報Ｆ（ｕ，ｖ）を算出し、下式（３）によりパワースペクトルを算出する。
【数３】
0006664486.tif 000004
特定周波数強度算出部１３１ａは、パワースペクトルｐ（ｕ，ｖ）において、特定の範囲内の周波数ｗ＝√（ｕ2＋ｖ2）を抜き出し、それ以外はカットすることによって特定周波数強度を算出する。特定周波数強度算出部１３１ａは、抽出されたパワースペクトルｐ（ｕ，ｖ）の代表値を算出し、それを合焦度とする。
【００３１】
ステップＳ４０２に続くステップＳ４０３において、距離算出部１３２は、注目領域から注目領域外の各画素位置または各小領域までの距離を算出する。ここで、距離算出部１３２が算出する距離とは、注目領域の座標と注目領域外の座標までの画像上の距離、又は、注目領域に映る対象までの撮像距離と注目領域外に映る対象までの撮像距離との差である。
【００３２】
距離算出部１３２は、画像上の距離を算出する場合、注目領域の重心を算出し、その重心が位置する画素位置の座標から注目領域外の各画素位置の座標までの距離をそれぞれ算出する。
【００３３】
また、距離算出部１３２は、撮像距離の差を算出する場合、まず、注目領域に映る対象までの撮像距離の代表値（例えば、平均値、中央値、最頻値、最大値、最小値等）を定める。その後、距離算出部１３２は、注目領域外の各画素位置の撮像距離と、注目領域で定めた撮像距離の代表値との差を算出する。管腔内画像上の対象までの撮像距離の算出は、公知の算出方法により算出できる。例えば、後述するような波長成分の画素値を用いて算出するものであってもよいし、ステレオ画像を取得して距離を算出してもよいし、測距センサー等により測距した結果に基づいて距離を算出してもよい。
【００３４】
距離算出部１３２により距離を算出した後、演算部１００の動作はメインルーチンに戻る。なお、算出した距離に基づいて、合焦度を算出する注目領域外の範囲を、距離が所定の範囲内であるものに制限してもよい。この場合は、周波数情報算出部１３１が周波数情報の算出を行う前に、距離算出部１３２による距離の算出を行う。
【００３５】
ステップＳ４０に続くステップＳ５０において、画像分類部１４０は、注目領域の合焦度を算出する。具体的には、加重平均部１４１が、注目領域外の合焦度を距離に応じて加重平均することによって注目領域の合焦度を算出する。加重平均部１４１は、注目領域の合焦度をｆtとしたとき、下式（４）により合焦度ｆtを算出する。
【数４】
0006664486.tif 000005
ここで、Ｋ：注目領域外の画素数または領域の数
ｗi：距離に応じた重み
ｆi：注目領域外の合焦度
である。重みｗiは、距離が近いほど大きく、遠いほど小さい。重みｗiは、例えば、下式（５）により算出される。
【数５】
0006664486.tif 000006
ここで、ｋ：任意の係数
σ：標準偏差
ｄi：注目領域と注目領域外との間の距離
である。なお、距離が近いほど大きく、遠いほど小さい重みｗiを算出できるものであれば、上式（５）に限らない。
【００３６】
ステップＳ５０に続くステップＳ６０において、画像分類部１４０は、加重平均部１４１が算出した注目領域の合焦度ｆtと、ステップＳ３０で算出された表層構造情報とに基づいて、管腔内画像を分類する。具体的には、画像分類部１４０は、管腔内画像を、注目領域において表層構造を有する合焦画像と、表層構造を有しない合焦画像と、合焦していない非合焦画像と、に分類する。画像分類部１４０は、表層構造を示す情報が予め設定されている値以上であれば、表層構造を有する合焦画像に分類する。画像分類部１４０は、表層構造を示す情報が予め設定されている値未満であり、かつ、注目領域の合焦度ｆtが予め設定されている値以上であれば、表層構造を有しない合焦画像に分類する。そして、表層構造を示す情報と、注目領域の合焦度ｆtとがともに予め設定されている値未満であれば、非合焦画像に分類する。表層構造を示す情報について予め設定されている値とは、特定周波数の強度に対して設定される値であり、表層構造を有し、かつ管腔内画像内に明確に映っていると見做せると判断できる値である。また、注目領域の合焦度ｆtについて予め設定されている値とは、合焦度ｆtに対して設定される値であり、注目領域内の被写体が明確に映っていると見做せると判断できる値である。その後、制御部１０は、分類結果を、管腔内画像と対応付けて記録部５０に記録したり、表示部４０に表示したりする。なお、制御部１０は、画像取得部２０が管腔内画像を取得したタイミング、または設定された条件を満たすタイミング、例えば毎フレームごと、又は数フレーム毎のタイミングで、上述した分類処理を繰り返す。
【００３７】
以上説明したように、本発明の実施の形態１によれば、注目領域の表層構造情報と、注目領域外の合焦度、及び、当該注目領域外の位置から注目領域までの距離に応じて求まる注目領域の合焦度とに基づいて管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。従来、注目領域にコントラスト変化を示す対象が存在しないために、正しく合焦判定ができない場合があったが、本実施の形態１によれば、注目領域外の合焦度を注目領域からの距離に応じて加重平均することで、注目領域の合焦度を算出して合焦判定をするため、管腔内画像を、表層構造の有無を含めた合焦画像と、非合焦画像とに高精度に分類することができる。
【００３８】
（実施の形態１の変形例１）
図４は、本発明の実施の形態１の変形例１に係る画像処理装置の機能構成を示すブロック図である。以下、実施の形態１に係る画像処理装置１が有する構成要素と同じ構成要素については、同じ符号を付して説明する。同図に示す画像処理装置１Ａは、該画像処理装置１Ａ全体の動作を制御する制御部１０と、撮像装置が管腔内を撮像して生成した画像データを取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００Ａとを備える。
【００３９】
演算部１００Ａは、取得された画像中に画像分類の評価対象となる注目領域を設定する注目領域設定部１１０と、注目領域の表層構造を示す情報を算出する表層構造情報算出部１２０と、注目領域外の合焦度を算出する注目領域外合焦度算出部１３０Ａと、表層構造情報と、注目領域外の合焦度とに基づいて画像を分類する画像分類部１４０とを備える。
【００４０】
注目領域外合焦度算出部１３０Ａは、画像内の各画素までの撮像距離を推定する撮像距離推定部１３３と、撮像距離に応じて異なる周波数帯域の情報をもとに合焦度を算出する適応的合焦度算出部１３４とを備える。さらに、撮像距離推定部１３３は、生体内での吸収／散乱の度合いが最も低い低吸収波長成分を選択する低吸収波長成分選択部１３３ａを備える。また、適応的合焦度算出部１３４は、撮像距離に応じて適応的に異なる周波数帯域の情報を算出する適応的周波数情報算出部１３４ａを備える。
【００４１】
次に、画像処理装置１Ａの動作を説明する。図５は、本発明の実施の形態１の変形例１に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１Ａは、画像取得部２０を介して管腔内画像を取得する。
【００４２】
続くステップＳ２０において、演算部１００Ａは注目領域の設定を行う。上述した実施の形態１と同様にして、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。
【００４３】
続くステップＳ３０において、演算部１００Ａは、注目領域の表層構造を示す表層構造情報を算出する。上述した実施の形態１と同様にして、表層構造情報算出部１２０が、設定された注目領域の表層構造を示す表層構造情報を算出する。
【００４４】
続くステップＳ４１において、演算部１００Ａは、注目領域外の合焦度を算出する。図６は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
【００４５】
ステップＳ４１１において、撮像距離推定部１３３は、画像内の各画素位置における撮像距離を推定する。撮像距離推定を行う方法は公知の様々なものがある。本変形例１では、管腔内画像をもとに、撮影対象を均等拡散面と仮定した撮影距離推定の方法を示す。具体的には、まず、低吸収波長成分選択部１３３ａが、生体内での吸収／散乱の度合いが最も低い低吸収波長成分を選択する。本変形例１では、低吸収波長成分選択部１３３ａは、Ｒ成分を選択するものとして説明する。これは、粘膜表面に映る血管等による画素値低下を抑え、最も粘膜表面との撮像距離に相関する画素値情報を得るためであり、Ｒ、Ｇ、Ｂの各色の波長成分からなる画像においては、Ｒ成分が血液の吸収帯域から離れる波長、かつ長波長の成分であるために生体内での吸収、散乱の影響を受け難いため、Ｒ成分を選択する。そして、撮像距離推定部１３３は、低吸収波長成分の画素値に基づいて、均等拡散面を仮定した撮像距離を推定する。撮像距離推定部１３３は、下式（６）に従って推定される撮像距離を算出する。
【数６】
0006664486.tif 000007
ここで、ｒ：撮像距離
Ｉ：光源の放射強度
Ｋ：粘膜表面の拡散反射係数
θ：粘膜表面の法線ベクトルと該粘膜表面から光源までのベクトルのなす角
Ｌ：撮像距離推定対象の粘膜表面が映る画素のＲ成分の画素値
である。放射強度Ｉおよび拡散反射係数Ｋは、事前に測定された値から、予め設定されている値である。角θは、内視鏡先端の光源と粘膜表面の位置関係により決まる値であり、平均的な値が予め設定されている。
【００４６】
なお、撮像距離推定部１３３は、ステップＳ４１１を実行する前に、各処理の精度低下要因となり得る光学系や照明系による画素値ムラの補正や、鏡面反射、残渣、泡等の非粘膜領域の除外を行うようにしてもよい。
【００４７】
また、本変形例１では画像に基づく方法を示したが、その他にも測距センサー等に基づいて算出してもよい。また、必ずしも撮像距離の推定まで行わず、撮像距離と相関する画素値で後段の適応的な処理を行ってもよい。
【００４８】
ステップＳ４１２において、適応的周波数情報算出部１３４ａは、撮像距離に応じて適応的に異なる周波数帯域の情報を算出する。管腔内画像に映る粘膜表面の構造は、撮像距離の遠近により画像上の大きさが変わり、周波数帯域の情報も撮像距離により変化する。そこで、上述した図３のステップＳ４０１における周波数情報の算出の際に、周波数情報Ｆ（ｕ，ｖ）から抽出する周波数ｗの範囲を、撮像距離の関数として変化させる。適応的周波数情報算出部１３４ａは、例えば、撮像距離が大きくなるほど、周波数ｗの範囲は小さくする。
【００４９】
ステップＳ４１３において、適応的合焦度算出部１３４は、適応的周波数情報算出部１３４ａが算出した異なる周波数帯域の情報に基づいて注目領域外の合焦度を算出する。適応的合焦度算出部１３４は、ステップＳ４１２で得られた周波数情報から、上述した実施の形態１と同様に合焦度を算出する。例えば、適応的合焦度算出部１３４は、抜き出された周波数情報Ｆ´（ｕ，ｖ）を処理後画像Ｉ´（ｘ，ｙ）に上式（２）により変換する。
【００５０】
適応的合焦度算出部１３４は、処理後画像Ｉ´（ｘ，ｙ）において、絶対値｜Ｉ´（ｘ，ｙ）｜をとり、それを画素位置ごとの合焦度とする。適応的合焦度算出部１３４は、小領域を設定して、その小領域内の合焦度の代表値を小領域の合焦度としてもよい。代表値は、例えば、平均値、中央値、最頻値、最大値、最小値等である。その後、演算部１００の動作はメインルーチンに戻る。
【００５１】
ステップＳ４１に続くステップＳ５０において、画像分類部１４０は、注目領域の合焦度を算出する。具体的には、加重平均部１４１が注目領域外の合焦度を距離に応じて加重平均することによって注目領域の合焦度を算出する。加重平均部１４１は、上式（４）により合焦度ｆtを算出する。
【００５２】
ステップＳ５０に続くステップＳ６０において、画像分類部１４０は、加重平均部１４１が算出した注目領域の合焦度ｆtと、ステップＳ３０で算出された表層構造情報とに基づいて、管腔内画像を分類する。画像分類部１４０は、上述したように、管腔内画像を、注目領域において表層構造を有する合焦画像と、表層構造を有しない合焦画像と、合焦していない非合焦画像とに分類する。
【００５３】
以上説明したように、本発明の実施の形態１の変形例１によれば、注目領域の表層構造情報と、注目領域外の合焦度、及び、撮像距離に応じて適応的に決まる周波数帯域の情報に基づく注目領域の合焦度とをもとに管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。
【００５４】
なお、本変形例１に係る撮像距離推定部１３３の撮像距離推定方法を、上述した実施の形態１に係る距離算出部１３２の距離算出に適用してもよい。
【００５５】
（実施の形態１の変形例２）
本実施の形態１の変形例２に係る画像処理装置の構成は、上述した実施の形態１に係る画像処理装置１と同様である。図７は、本発明の実施の形態１の変形例２に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１は、画像取得部２０を介して管腔内画像を取得する。
【００５６】
続くステップＳ２０において、演算部１００は注目領域の設定を行う。上述した実施の形態１と同様にして、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。
【００５７】
続くステップＳ３０において、演算部１００は、注目領域の表層構造を示す表層構造情報を算出する。上述した実施の形態１と同様にして、表層構造情報算出部１２０が、設定した注目領域の表層構造情報を算出する。本変形例２では、エッジ強度を表層構造情報として算出するものとして説明する。
【００５８】
ステップＳ３０に続くステップＳ７０において、演算部１００は、ステップＳ３０の算出結果から、表層構造があるか否かを判断する。演算部１００は、表層構造情報が予め設定されている値以上であるか否かを判断する。この際、表層構造情報はエッジ強度であるため、ステップＳ７０における判断は、管腔内画像において注目領域内が合焦しているか否かを判断することに相当する。そのため、この際に用いる設定値は、表層構造情報から合焦しているか否かを判断するための値が設定される。ここで、演算部１００は、表層構造があると判断した場合（ステップＳ７０：Ｙｅｓ）、ステップＳ６０に移行する。これに対し、演算部１００は、表層構造がないと判断した場合（ステップＳ７０：Ｎｏ）、ステップＳ４０に移行する。
【００５９】
続くステップＳ４０において、演算部１００は、注目領域外の合焦度を算出する。演算部１００は、図３に示すフローチャートにしたがって、注目領域外の合焦度を算出する。
【００６０】
ステップＳ４０に続くステップＳ５０において、画像分類部１４０は、注目領域の合焦度を算出する。具体的には、加重平均部１４１が注目領域外の合焦度を距離に応じて加重平均することによって注目領域の合焦度を算出する。加重平均部１４１は、上式（４）により合焦度ｆtを算出する。
【００６１】
ステップＳ５０に続くステップＳ６０において、画像分類部１４０は、少なくとも表層構造情報に基づいて、管腔内画像を分類する。画像分類部１４０は、表層構造を有すると判断されている場合（ステップＳ７０：Ｙｅｓ）、当該管腔内画像が、表層構造を有し、かつ合焦している画像に分類する。これに対し、画像分類部１４０は、表層構造を有しないと判断されている場合（ステップＳ７０：Ｎｏ）、加重平均部１４１が算出した注目領域の合焦度ｆtに基づいて、表層構造を有しない合焦画像と、表層構造を有さず、かつ合焦していない非合焦画像とに分類する。
【００６２】
以上説明したように、本発明の実施の形態１の変形例２によれば、注目領域の表層構造情報や、注目領域外の合焦度、及び、撮像距離に応じて適応的に決まる周波数帯域の情報に基づく注目領域の合焦度をもとに管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。
【００６３】
（実施の形態２）
図８は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。以下、実施の形態１に係る画像処理装置１等が有する構成要素と同じ構成要素については、同じ符号を付して説明する。同図に示す画像処理装置１Ｂは、該画像処理装置１Ｂ全体の動作を制御する制御部１０と、撮像装置が管腔内を撮像して生成した画像データを取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００Ｂとを備える。
【００６４】
演算部１００Ｂは、取得された画像中に画像分類の評価対象となる注目領域を設定する注目領域設定部１１０と、注目領域の表層構造を示す情報を算出する表層構造情報算出部１２０と、注目領域外の合焦度を算出する注目領域外合焦度算出部１３０Ｂと、表層構造情報と、注目領域外の合焦度とに基づいて画像を分類する画像分類部１４０とを備える。
【００６５】
注目領域外合焦度算出部１３０Ｂは、距離が所定の範囲内の画素のみを含み、さらに注目領域と参照領域の間にエッジが存在しないように参照領域を設定する参照領域設定部１３５を備える。さらに、参照領域設定部１３５は、注目領域から管腔内画像内の各画素位置までの距離を算出する距離算出部１３５ａと、管腔内画像内のエッジ強度を算出するエッジ強度算出部１３５ｂとを備える。
【００６６】
次に、画像処理装置１Ｂの動作を説明する。図９は、本発明の実施の形態２に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１は、画像取得部２０を介して管腔内画像を取得する。
【００６７】
続くステップＳ２０において、演算部１００Ｂは注目領域の設定を行う。上述した実施の形態１と同様にして、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。
【００６８】
続くステップＳ３０において、演算部１００Ｂは、注目領域の表層構造を示す表層構造情報を算出する。上述した実施の形態１と同様にして、表層構造情報算出部１２０が、設定した注目領域の表層構造を示す情報を算出する。
【００６９】
続くステップＳ４２において、演算部１００Ｂは、注目領域外の合焦度を算出する。図１０は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
【００７０】
ステップＳ４２１において、距離算出部１３５ａは、注目領域から管腔内画像内の各画素位置までの距離を算出する。距離算出部１３５ａは、距離算出部１３２が行う算出方法と同様の方法によって距離を算出する。
【００７１】
ステップＳ４２２において、エッジ強度算出部１３５ｂは、管腔内画像のエッジ強度を算出する。エッジ強度算出部１３５ｂが管腔内画像内のエッジ強度を算出することによって、管腔内画像のエッジを検出することができる。
【００７２】
ステップＳ４２３において、参照領域設定部１３５は、参照領域を設定する。参照領域設定部１３５は、注目領域からの距離が予め設定されている範囲内の画素のみを含み、さらに注目領域と参照領域の間に、予め設定されている強度以上の強度を有するエッジが存在しないように参照領域を設定する。参照領域の設定方法としては、例えば、距離に対していくつかの閾値を設け、その閾値処理により、設定された間隔をもって参照領域を設定することができる。その際、参照領域設定部１３５は、各画素位置と注目領域の重心位置とを直線で結ぶ。参照領域設定部１３５は、この直線が、予め設定されている強度以上の強度を有するエッジと交差する場合は、該画素位置を参照領域に含まない、又はこの画素位置を含む領域は参照領域に設定しない等の判定をすればよい。これにより、注目領域を含み、エッジ間やエッジと画像の外縁で囲まれる領域内で一つ又は複数の参照領域が設定される。
【００７３】
図１１は、参照領域設定部による参照領域の設定を説明する図である。図１１では、管腔内画像Ｗ100において、予め設定されている強度以上の強度を有するエッジＥ1〜Ｅ3と、注目箇所Ｐaとを含んでおり、注目箇所を囲む注目領域Ｒaが設定されている。図１１に示すように、参照領域候補Ｒr１は、注目領域Ｒaと当該参照領域候補Ｒr１との間に、予め設定されている強度以上の強度を有するエッジが存在しないため、参照領域に設定可能である。これに対し、参照領域候補Ｒr２は、注目領域Ｒaと当該参照領域候補Ｒr２との間に、予め設定されている強度以上の強度を有するエッジＥ2が存在するため、参照領域には設定しない。なお、参照領域設定部１３５は、注目領域Ｒaがエッジを含むか否かにかかわらず、注目領域Ｒaと参照領域候補との間にエッジが存在しなければ、この参照領域候補を参照領域として設定する。また、参照領域を設定する方法としては、グリッド状の点を中心に矩形領域を展開する等の規則的な領域を設定する方法や、領域の位置／サイズともにランダムに設定する方法等も挙げられる。その他にも、距離の代わりに合焦度が所定の範囲内の画素のみを含めて参照領域を設定する方法を用いて参照領域を設定してもよいし、撮像距離や輝度をもとに参照領域の設定の可否を判断するようにしてもよい。なお、図１１では、注目領域及び参照領域が、矩形をなす枠であるものを示したが、これに限らず、四角形以外の多角形や、楕円、円であってもよいし、互いに大きさが異なるものであってもよい。
【００７４】
ステップＳ４２４において、注目領域外合焦度算出部１３０Ｂは、参照領域ごとに合焦度を算出する。具体的には、注目領域外合焦度算出部１３０Ｂは、上述した図３のステップＳ４０１の周波数情報算出における小領域を、該参照領域に置き換えて注目領域外の合焦度を算出する。その後、演算部１００の動作はメインルーチンに戻る。
【００７５】
ステップＳ４２に続くステップＳ５０において、画像分類部１４０は、注目領域の合焦度を算出する。具体的には、加重平均部１４１が注目領域外の合焦度を距離に応じて加重平均することによって注目領域の合焦度を算出する。加重平均部１４１は、上式（４）により合焦度ｆtを算出する。
【００７６】
ステップＳ５０に続くステップＳ６０において、画像分類部１４０は、加重平均部１４１が算出した注目領域の合焦度ｆtと、ステップＳ３０で算出された表層構造情報とに基づいて、管腔内画像を分類する。画像分類部１４０は、上述したように、管腔内画像を、注目領域において表層構造を有する合焦画像と、表層構造を有しない合焦画像と、合焦していない非合焦画像と、に分類する。
【００７７】
以上説明したように、本発明の実施の形態２によれば、注目領域の表層構造情報と、設定された参照領域から求まる注目領域外の合焦度、及び注目領域を基点として求まる距離に基づく注目領域の合焦度とをもとに管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。
【００７８】
（実施の形態３）
図１２は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。以下、実施の形態１に係る画像処理装置１等が有する構成要素と同じ構成要素については、同じ符号を付して説明する。同図に示す画像処理装置１Ｃは、該画像処理装置１Ｃ全体の動作を制御する制御部１０と、撮像装置が管腔内を撮像して生成した画像データを取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００Ｃとを備える。
【００７９】
演算部１００Ｃは、取得された画像中に画像分類の評価対象となる注目領域を設定する注目領域設定部１１０と、注目領域の表層構造を示す情報を算出する表層構造情報算出部１２０と、注目領域外の合焦度を算出する注目領域外合焦度算出部１３０Ｂと、表層構造情報と、注目領域外の合焦度とに基づいて画像を分類する画像分類部１４０Ａとを備える。
【００８０】
画像分類部１４０Ａは、合焦範囲と注目領域の重なり度合いに基づいて注目領域の合焦度合いを判定する重なり評価部１４２を備える。さらに、重なり評価部１４２は、注目領域外の合焦度分布から合焦範囲を推定する合焦範囲推定部１４２ａを備える。
【００８１】
次に、画像処理装置１Ｃの動作を説明する。図１３は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１Ｃは、画像取得部２０を介して管腔内画像を取得する。
【００８２】
続くステップＳ２０において、演算部１００Ｃは注目領域の設定を行う。上述した実施の形態１と同様にして、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。
【００８３】
続くステップＳ３０において、演算部１００Ｃは、注目領域の表層構造を示す表層構造情報を算出する。上述した実施の形態１と同様にして、表層構造情報算出部１２０が、設定した注目領域の表層構造を示す情報を算出する。
【００８４】
続くステップＳ４２において、演算部１００Ｃは、注目領域外の合焦度を算出する。演算部１００Ｂは、図１０に示すフローチャートにしたがって、注目領域外の合焦度を算出する。
【００８５】
ステップＳ４２に続くステップＳ６１において、画像分類部１４０Ａは、管腔内画像を分類する。図１４は、画像分類部が実行する管腔内画像の分類処理を示すフローチャートである。
【００８６】
ステップＳ６１１において、合焦範囲推定部１４２ａは、注目領域外の合焦度分布から合焦範囲を推定する。合焦範囲の推定方法としては、例えば、注目領域外の合焦度に対して閾値を設定し、その閾値処理により合焦画素座標を決定して、該合焦画素座標群に対して、公知のクロージング、オープニング処理（参考文献：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」改訂新版、第１８６頁）により合焦範囲を推定する方法が挙げられる。
【００８７】
ステップＳ６１２において、重なり評価部１４２は、合焦範囲と注目領域との重なり度合いに基づいて注目領域において合焦しているか否かを判定する。具体的には、重なり評価部１４２は、注目領域の面積に対する、ステップＳ６１１で推定した合焦範囲と、注目領域との重なり面積の割合を評価する。重なり評価部１４２は、この割合が予め設定された値以上であれば注目領域は合焦と判定し、割合が予め設定された値より小さければ非合焦と判定する。その後、画像分類部１４０Ａは、表層構造情報と、注目領域の合焦判定結果とに基づいて、管腔内画像を、注目領域において表層構造を有する合焦画像と、表層構造を有しない合焦画像と、合焦していない非合焦画像とに分類する。その後、演算部１００の動作はメインルーチンに戻り、分類処理を終了する。
【００８８】
以上説明したように、本発明の実施の形態３によれば、注目領域の表層構造情報と、推定された合焦範囲及び注目領域の重なり度合いに基づく注目領域の合焦判定結果とをもとに管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。また、本実施の形態３によれば、画像分類部１４０Ａが距離情報を用いずに管腔内画像を分類可能であり、計算効率向上をはかりつつ、撮像距離を正しく推定できないような暗い管腔内画像であっても該管腔内画像を分類することができる。
【００８９】
（実施の形態４）
本実施の形態４に係る画像処理装置の構成は、上述した実施の形態１に係る画像処理装置１から距離算出部１３２及び加重平均部１４１を除いた構成である。図１５は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１は、画像取得部２０を介して管腔内画像を取得する。
【００９０】
ステップＳ１０に続くステップＳ８０において、演算部１００は、管腔内画像の合焦度を算出する。図１６は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
【００９１】
ステップＳ８０１において、周波数情報算出部１３１は、管腔内画像の周波数情報を算出する。周波数情報算出部１３１は、図３のステップＳ４０１と同様にして、管腔内画像の周波数情報を算出する。
【００９２】
ステップＳ８０２において、特定周波数強度算出部１３１ａは、特定周波数の強度を算出する。特定周波数強度算出部１３１ａは、図３のステップＳ４０２と同様にして、管腔内画像の特定周波数の強度を算出する。このように、ステップＳ８０において、周波数情報算出部１３１は、管腔内画像の全画素位置における特定周波数の強度を、管腔内画像の全画素位置における合焦度として算出する。
【００９３】
ステップＳ８０に続くステップＳ２０において、演算部１００は注目領域の設定を行う。上述した実施の形態１と同様にして、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。
【００９４】
続くステップＳ３０において、演算部１００は、注目領域の表層構造を示す表層構造情報を算出する。上述した実施の形態１と同様にして、表層構造情報算出部１２０が、設定した注目領域の表層構造を示す情報を算出する。
【００９５】
ステップＳ３０に続くステップＳ９０において、画像分類部１４０は、注目領域外の合焦度をもとに注目領域の合焦度を算出する。画像分類部１４０は、注目領域外における、ステップＳ８０２で算出された特定周波数の強度をもとに、注目領域の合焦度を再度算出する。具体的には、画像分類部１４０は、注目領域外の合焦度の代表値を注目領域の合焦度とする。なお、加重平均部１４１を設けて、加重平均部１４１が注目領域外の合焦度を距離に応じて加重平均することによって注目領域の合焦度を算出するようにしてもよい。
【００９６】
ステップＳ９０に続くステップＳ６２において、画像分類部１４０は、管腔内画像を分類する。画像分類部１４０は、算出した注目領域の合焦度と、ステップＳ３０で算出された表層構造情報とに基づいて、管腔内画像を分類する。画像分類部１４０は、上述したように、管腔内画像を、注目領域において表層構造を有する合焦画像と、表層構造を有しない合焦画像と、合焦していない非合焦画像と、に分類する。その後、演算部１００の動作はメインルーチンに戻り、分類処理を終了する。
【００９７】
以上説明したように、本発明の実施の形態４によれば、注目領域の表層構造情報と、注目領域外の合焦度から求まる注目領域の合焦度とに基づいて管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。
【００９８】
（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１〜４によってのみ限定されるべきものではない。例えば、上述した実施の形態１〜４は、被検体内の管腔を撮像した管腔内画像を分類するものとして説明したが、これに限らず、分類するための評価対象が写った画像、例えば、カプセル型内視鏡や、工業用内視鏡、デジタルカメラ等で撮像された画像の分類を行ってもよい。
【産業上の利用可能性】
【００９９】
以上のように、本発明にかかる画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムは、画像を詳細に分類するのに有用である。
【符号の説明】
【０１００】
１，１Ａ，１Ｂ，１Ｃ  画像処理装置
１０  制御部
２０  画像取得部
３０  入力部
４０  表示部
５０  記録部
５１  画像処理プログラム
１００，１００Ａ，１００Ｂ，１００Ｃ  演算部
１１０  注目領域設定部
１２０  表層構造情報算出部
１３０，１３０Ａ，１３０Ｂ  注目領域外合焦度算出部
１３１  周波数情報算出部
１３１ａ  特定周波数強度算出部
１３２，１３５ａ  距離算出部
１３３  撮像距離算出部
１３３ａ  低吸収波長成分選択部
１３４  適応的合焦度算出部
１３４ａ  適応的周波数情報算出部
１３５  参照領域設定部
１３５ｂ  エッジ強度算出部
１４０，１４０Ａ  画像分類部
１４１  加重平均部
１４２  重なり評価部
１４２ａ  合焦範囲推定部
【図１】
0006664486.tif 000008
【図２】
0006664486.tif 000009
【図３】
0006664486.tif 000010
【図４】
0006664486.tif 000011
【図５】
0006664486.tif 000012
【図６】
0006664486.tif 000013
【図７】
0006664486.tif 000014
【図８】
0006664486.tif 000015
【図９】
0006664486.tif 000016
【図１０】
0006664486.tif 000017
【図１１】
0006664486.tif 000018
【図１２】
0006664486.tif 000019
【図１３】
0006664486.tif 000020
【図１４】
0006664486.tif 000021
【図１５】
0006664486.tif 000022
【図１６】
0006664486.tif 000023