【手続補正書】
【提出日】平成28年3月15日(2016.3.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像部の撮像により、被写体の像を含む撮像画像を取得する画像取得部と、
前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、
前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する既知特性情報取得部と、
前記距離情報と前記既知特性情報に基づいて、前記撮像画像に撮像された前記被写体から、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を特定する凹凸特定処理を行う凹凸特定部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記凹凸特定部は、
前記距離情報と前記既知特性情報に基づいて、前記既知特性情報により特定される前記特性と合致する前記被写体の前記凹凸部を表す情報を、抽出凹凸情報として前記距離情報から抽出する凹凸情報抽出部を含み、
前記凹凸特定部は、
前記抽出凹凸情報に基づいて前記凹凸特定処理を行うことを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記凹凸情報抽出部は、
前記既知特性情報に基づいて抽出処理パラメータを決定し、決定された前記抽出処理パラメータに基づいて、前記被写体の前記凹凸部を前記抽出凹凸情報として抽出することを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記既知特性情報取得部は、
前記被写体の種類を表す種類情報と、前記種類情報に関連づけられた前記被写体の前記凹凸部に関する情報である凹凸特性情報を、前記既知特性情報として取得し、
前記凹凸情報抽出部は、
前記種類情報と前記凹凸特性情報に基づいて、前記抽出処理パラメータを決定し、決定された前記抽出処理パラメータに基づいて、前記被写体の前記凹凸部を前記抽出凹凸情報として抽出することを特徴とする画像処理装置。
【請求項５】
請求項３において、
前記撮像画像が、生体の内部を撮像した生体内画像であり、
前記既知特性情報取得部は、
前記被写体が前記生体のいずれの部位に対応するかを表す部位情報と、前記生体の前記凹凸部に関する情報である凹凸特性情報を、前記既知特性情報として取得し、
前記凹凸情報抽出部は、
前記部位情報と前記凹凸特性情報に基づいて、前記抽出処理パラメータを決定し、決定された前記抽出処理パラメータに基づいて、前記被写体の前記凹凸部を前記抽出凹凸情報として抽出することを特徴とする画像処理装置。
【請求項６】
請求項３において、
前記凹凸情報抽出部は、
前記既知特性情報に基づいて、オープニング処理及びクロージング処理に用いられる構造要素のサイズを、前記抽出処理パラメータとして決定し、
決定されたサイズの前記構造要素を用いた前記オープニング処理及び前記クロージング処理を行って、前記被写体の前記凹凸部を前記抽出凹凸情報として抽出することを特徴とする画像処理装置。
【請求項７】
請求項６において、
前記凹凸情報抽出部は、
前記オープニング処理及び前記クロージング処理の処理対象画素に対応する前記距離情報の値が大きいほど、前記抽出処理パラメータである前記構造要素の前記サイズを小さく設定することを特徴とする画像処理装置。
【請求項８】
請求項３において、
前記凹凸情報抽出部は、
前記既知特性情報に基づいて、前記距離情報に対するフィルタリング処理に用いられるフィルタの周波数特性を、前記抽出処理パラメータとして決定し、
決定された前記周波数特性を有する前記フィルタ用いた前記フィルタリング処理を行って、前記被写体の前記凹凸部を前記抽出凹凸情報として抽出することを特徴とする画像処理装置。
【請求項９】
請求項２において、
前記被写体は、大局的な三次元構造と、前記大局的な三次元構造に比べて局所的な凹凸構造とを有し、
前記凹凸情報抽出部は、
前記被写体が有する前記大局的な三次元構造と前記局所的な凹凸構造のうち、前記既知特性情報により特定される特性と合致する前記被写体の前記凹凸部を、前記抽出凹凸情報として抽出することを特徴とする画像処理装置。
【請求項１０】
請求項２において、
前記撮像画像が、生体の内部を撮像した生体内画像であり、
前記被写体は、前記生体内部の管腔構造である大局的な三次元構造と、前記管腔構造に形成され、前記大局的な三次元構造に比べて局所的な凹凸構造とを有し、
前記凹凸情報抽出部は、
前記被写体が有する前記大局的な三次元構造と前記局所的な凹凸構造のうち、前記既知特性情報により特定される特性と合致する前記被写体の前記凹凸部を、前記抽出凹凸情報として抽出することを特徴とする画像処理装置。
【請求項１１】
請求項１において、
前記距離情報取得部は、
取得された前記撮像画像の各画素において、前記撮像部から前記各画素に撮像された前記被写体までの前記距離に関する情報を対応づけた距離マップを、前記距離情報として取得することを特徴とする画像処理装置。
【請求項１２】
請求項１において、
前記撮像部は、複数の視点を有するものであり、
前記画像取得部は、
前記撮像部を介して、前記複数の視点のそれぞれに対応する前記撮像画像を複数取得し、
前記距離情報取得部は、
取得された複数の前記撮像画像から得られる視差情報に基づいて、前記距離情報を取得することを特徴とする画像処理装置。
【請求項１３】
請求項１２において、
前記距離情報取得部は、
前記撮像部から前記被写体までの距離を表す低精度の暫定距離情報を取得し、
取得した前記暫定距離情報により絞り込みが行われた探索範囲を対象として、複数の前記撮像画像から得られる前記視差情報に基づいて、前記暫定距離情報に比べて精度の高い前記距離情報を取得することを特徴とする画像処理装置。
【請求項１４】
請求項１３において、
前記撮像部は、
赤外光を射出する光源部と、前記被写体による前記赤外光の反射光を受光する測距素子とを含み、
前記距離情報取得部は、
前記光源部から前記赤外光が射出されたタイミングから、前記測距素子で前記反射光を受光するタイミングまでの時間情報に基づいて、前記暫定距離情報を取得することを特徴とする画像処理装置。
【請求項１５】
請求項１４において、
前記撮像部は、
前記撮像画像の構成に用いられるＲＧＢ画素が配置された単板素子の下層に、前記測距素子が積層された撮像素子を有することを特徴とする画像処理装置。
【請求項１６】
請求項１において、
前記撮像部は、
青色光を射出する光源部と、前記被写体による前記青色光の反射光を受光する測距素子とを含み、
前記距離情報取得部は、
前記光源部から前記青色光が射出されたタイミングから、前記測距素子で前記反射光を受光するタイミングまでの時間情報に基づいて、前記距離情報を取得することを特徴とする画像処理装置。
【請求項１７】
請求項１において、
前記凹凸特定部は、
前記距離情報と前記既知特性情報に基づいて、前記被写体の表面形状情報を求める表面形状算出部と、
前記表面形状情報に基づいて分類基準を生成し、生成した前記分類基準を用いた分類処理を行う分類処理部と、
を含み、
前記凹凸特定部は、
前記分類基準を用いた前記分類処理を、前記凹凸特定処理として行うことを特徴とする画像処理装置。
【請求項１８】
請求項１７において、
前記既知特性情報取得部は、
所与の状態における前記被写体の構造物に対応する基準パターンを、前記既知特性情報として取得し、
前記分類処理部は、
前記基準パターンに対して前記表面形状情報に基づく変形処理を行うことで取得される修正パターンを、前記分類基準として生成し、生成した前記分類基準を用いて前記分類処理を行うことを特徴とする画像処理装置。
【請求項１９】
請求項１８において、
前記分類処理部は、
前記撮像画像に撮像された前記被写体の前記構造物と、前記修正パターンである前記分類基準との類似度を、前記撮像画像の各画像内位置で求め、求めた前記類似度に基づいて、前記分類処理を行うことを特徴とする画像処理装置。
【請求項２０】
請求項１８において、
前記既知特性情報取得部は、
正常状態における前記被写体の前記構造物に対応する前記基準パターンを、前記既知特性情報として取得することを特徴とする画像処理装置。
【請求項２１】
請求項２０において、
前記既知特性情報取得部は、
異常状態における前記被写体の前記構造物に対応する前記基準パターンを、前記既知特性情報として取得することを特徴とする画像処理装置。
【請求項２２】
請求項１７において、
前記既知特性情報取得部は、
所与の状態における前記被写体の構造物に対応する基準パターンを、前記既知特性情報として取得し、
前記分類処理部は、
前記基準パターンに対して前記表面形状情報に基づく変形処理を行うことで、修正パターンを取得し、
前記撮像画像に撮像された前記被写体の前記構造物と、前記修正パターンとの類似度を、前記撮像画像の各画像内位置で求め、求めた前記類似度に基づいて、第２の基準パターン候補を取得し、
取得した前記第２の基準パターン候補と、前記表面形状情報に基づいて、新たな基準パターンである第２の基準パターンを生成し、
前記第２の基準パターンに対して前記表面形状情報に基づく変形処理を行うことで取得される第２の修正パターンを、前記分類基準として生成し、生成した前記分類基準を用いて前記分類処理を行うことを特徴とする画像処理装置。
【請求項２３】
請求項１７において、
前記被写体は、大局的な三次元構造と、前記大局的な三次元構造に比べて局所的な凹凸構造とを有し、
前記表面形状算出部は、
前記被写体が有する前記大局的な三次元構造と前記局所的な凹凸構造のうち、前記大局的な三次元構造を前記距離情報から抽出することで、前記表面形状情報を求めることを特徴とする画像処理装置。
【請求項２４】
請求項２３において、
前記表面形状算出部は、
前記大局的な三次元構造により表される前記被写体の表面における法線ベクトルを、前記表面形状情報として求めることを特徴とする画像処理装置。
【請求項２５】
請求項２４において、
前記既知特性情報取得部は、
所与の状態における前記被写体の構造物に対応する基準パターンを、前記既知特性情報として取得し、
前記分類処理部は、
前記基準パターンに対して所与の基準方向に対する前記法線ベクトルの向く角度に基づく変形処理を行うことで取得される修正パターンを、前記分類基準として生成し、生成した前記分類基準を用いて前記分類処理を行うことを特徴とする画像処理装置。
【請求項２６】
請求項１乃至２５のいずれかに記載の画像処理装置を含むことを特徴とする電子機器。
【請求項２７】
請求項１乃至２５のいずれかに記載の画像処理装置を含むことを特徴とする内視鏡装置。
【請求項２８】
撮像部の撮像により、被写体の像を含む撮像画像を取得する処理を行い、
前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する処理を行い、
前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する処理を行い、
前記距離情報と前記既知特性情報に基づいて、前記撮像画像に撮像された前記被写体から、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を特定する凹凸特定処理を行う、
ステップをコンピュータに実行させるプログラム。
【請求項２９】
画像取得部と、距離情報取得部と、既知特性情報取得部と、凹凸特定部と、を含む画像処理装置の作動方法であって、
前記画像取得部が、撮像部の撮像により、被写体の像を含む撮像画像を取得する処理を行い、
前記距離情報取得部が、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する処理を行い、
前記既知特性情報取得部が、前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する処理を行い、
前記凹凸特定部が、前記距離情報と前記既知特性情報に基づいて、前記撮像画像に撮像された前記被写体から、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を特定する凹凸特定処理を行うことを特徴とする画像処理装置の作動方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法等に関する。