(57)【要約】  管腔内の状態を適切に反映した学習サンプルを生成することができる画像処理装置、画像処理方法およびプログラムを提供する。画像処理装置１は、生体の管腔内画像に映る対象の表面形状を推定する表面形状推定部１０と、表面形状に対する撮像視点を変更する撮像視点変更部１１と、変更後の撮像視点から撮像した場合の対象の仮想画像を生成する画像生成部１２と、を備える。
2017109997.tif 000002
【特許請求の範囲】
【請求項１】
生体の管腔内画像に映る対象の表面形状を推定する表面形状推定部と、
前記表面形状に対する撮像視点を、推定時の撮像視点から変更する撮像視点変更部と、
変更後の前記撮像視点から撮像した場合の前記対象の仮想画像を生成する画像生成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記仮想画像に基づいて、管腔内画像の認識に用いるパラメータを学習する学習部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記パラメータに基づいて、管腔内画像の認識を行う認識部をさらに備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記撮像視点変更部は、前記表面形状と撮像視点の相対位置を変更する相対位置変更部を有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記相対位置変更部は、前記表面形状と撮像視点との水平位置および／または垂直位置を変更する水平垂直位置変更部を有することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記相対位置変更部は、前記表面形状から撮像視点までの撮像距離を変更する撮像距離変更部を有することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記撮像視点変更部は、前記表面形状と撮像視点の相対角度を変更する相対角度変更部を有することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記相対角度変更部は、撮像方向に対してロール、ヨーおよびピッチのいずれかの回転を行う回転部を有することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記撮像視点変更部は、
前記画像生成部が生成する前記仮想画像において、データ欠落が生じないように撮像視点の変更量を制御する変更量制御部を有することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記画像生成部は、
撮像視点の変更に伴い、前記仮想画像上に投影される前記管腔内画像の画素の画素値を基に、前記仮想画像の各画素の画素値を推定する画素値推定部を有することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記画素値推定部は、
撮像視点の変更に伴い、前記仮想画像の各画素周辺に投影される前記管腔内画像の画素を探索する探索部と、
前記仮想画像の各画素の画素値を、前記探索部によって探索された前記管腔内画像の画素における画素値を基に補間する画素値補間部と、
を有することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記画素値推定部は、
撮像視点の変更に伴い、前記仮想画像上に投影される前記管腔内画像の各画素と、前記仮想画像の各画素の距離に応じた重みで、前記管腔内画像の各画素の画素値を加算することにより、前記仮想画像の各画素の画素値を求める重み加算部を有することを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記重み加算部は、前記仮想画像上に投影される前記管腔内画像の画素の粗密情報に基づいて、前記距離に応じた重みを調整する重み調整部を有することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記画素値推定部は、
前記仮想画像上に投影される前記管腔内画像の各画素の中で、前記仮想画像における遮蔽領域となる画素を除外する遮蔽領域除外部をさらに有することを特徴とする請求項１０に記載の画像処理装置。
【請求項１５】
前記画素値推定部は、
前記表面形状から前記撮像視点までの撮像距離に基づいて、前記仮想画像の各画素の画素値を補正する距離対応画素値補正部をさらに有することを特徴とする請求項１０に記載の画像処理装置。
【請求項１６】
前記画像生成部は、
前記仮想画像の画素の画素値に欠落が生じている場合、欠落が生じている画素の周辺の画素から該画素の画素値を補間する欠落画素値補間部をさらに備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１７】
実際の管腔内画像の撮像において発生し易い撮像視点からの仮想画像の生成頻度が高くなるように複数の仮想画像の生成を制御する画像生成頻度制御部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１８】
前記表面形状推定部は、
前記管腔内画像の各画素に映る対象までの撮像距離を推定する撮像距離推定部を有することを特徴とする請求項１に記載の画像処理装置。
【請求項１９】
前記撮像距離推定部は、
前記管腔内画像において、生体内での吸収・散乱の度合いが低い低吸収波長成分を選択する低吸収波長成分選択部を有することを特徴とする請求項１８に記載の画像処理装置。
【請求項２０】
前記撮像距離推定部は、
前記管腔内画像において、空間周波数の低い低空間周波数成分を算出する低空間周波数成分算出部を有することを特徴とする請求項１８に記載の画像処理装置。
【請求項２１】
生体の管腔内画像に映る対象の表面形状を推定する表面形状推定ステップと、
前記表面形状に対する撮像視点を変更する撮像視点変更ステップと、
変更後の撮像視点から撮像した場合の前記対象の仮想画像を生成する画像生成ステップと、
を含むことを特徴とする画像処理方法。
【請求項２２】
生体の管腔内画像に映る対象の表面形状を推定する表面形状推定ステップと、
前記表面形状に対する撮像視点を変更する撮像視点変更ステップと、
変更後の撮像視点から撮像した場合の前記対象の仮想画像を生成する画像生成ステップと、
を画像処理装置に実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体の管腔内を撮像することによって取得された画像に対して画像処理を行う画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、内視鏡等の医療用観察装置を用いて生体の管腔内（消化管内）を撮像した管腔内画像に対し、認識基準を用いて異常領域等の特定領域を認識する技術が知られている。この際に用いられる認識基準は、通常、学習サンプルとして管腔内画像から抽出された様々なバリエーションの正常粘膜領域または異常領域の画像をもとに作成される。【０００３】
画像の認識に関する技術として、例えば特許文献１には、学習サンプルとして取得した画像に対し、任意の注目領域の位置、大きさ、向きを変更する処理を行うことにより新たな画像を生成する技術、および新たな画像および元の画像から特徴量を算出して認識基準を作成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第８９０３１６７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、学習サンプルに映る対象を、実際に異なる撮像視点から撮像した場合の画像は、撮像系の特性による像の歪みや、撮像距離の変化に伴う画素値の変化、また対象の表面形状によるオクルージョンの発生、等が生じるため、上述した特許文献１に開示された技術を適用しても、これらの管腔内の状態を適切に反映した学習サンプルを生成することが困難である。【０００６】
本発明は、上記に鑑みてなされたものであって、管腔内の状態を適切に反映した学習サンプルを生成することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体の管腔内画像に映る対象の表面形状を推定する表面形状推定部と、前記表面形状に対する撮像視点を変更する撮像視点変更部と、変更後の前記撮像視点から撮像した場合の前記対象の仮想画像を生成する画像生成部と、を備えることを特徴とする。【０００８】
また、本発明に係る画像処理方法は、生体の管腔内画像に映る対象の表面形状を推定する表面形状推定ステップと、前記表面形状に対する撮像視点を変更する撮像視点変更ステップと、変更後の撮像視点から撮像した場合の前記対象の仮想画像を生成する画像生成ステップと、を含むことを特徴とする。【０００９】
また、本発明に係るプログラムは、生体の管腔内画像に映る対象の表面形状を推定する表面形状推定ステップと、前記表面形状に対する撮像視点を変更する撮像視点変更ステップと、変更後の撮像視点から撮像した場合の前記対象の仮想画像を生成する画像生成ステップと、を画像処理装置に実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、管腔内の状態を適切に反映した学習サンプルを生成することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。
【図３】図３は、管腔内画像の一例を示す図である。
【図４】図４は、図２の表面形状推定処理の概要を示すフローチャートである。
【図５】図５は、撮像距離推定部による表面座標の推定方法を模式的に説明する図である。
【図６】図６は、図２の撮像視点変更処理の概要を示すフローチャートである。
【図７】図７は、相対角度変更部による相対角度の変更方法を模式的に説明する図である。
【図８】図８は、図２の画像生成処理の概要を示すフローチャートである。
【図９】図９は、仮想画像の一例を示す図である。
【図１０】図１０は、仮想画像の別の一例を示す図である。
【図１１】図１１は、本発明の実施の形態１の変形例１に係る表面形状推定部の構成を示すブロック図である。
【図１２】図１２は、本発明の実施の形態１の変形例１に係る表面形状推定部が実行する表面形状推定処理の概要を示すフローチャートである。
【図１３】図１３は、本発明の実施の形態１の変形例２に係る画像生成部の構成を示すブロック図である。
【図１４】図１４は、本発明の実施の形態１の変形例２に係る画像生成部が実行する画像生成処理の概要を示すフローチャートである。
【図１５】図１５は、本発明の実施の形態２に掛かる撮像視点変更部の構成を示すブロック図である。
【図１６】図１６は、本発明の実施の形態３に係る演算部の構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態に係る画像処理装置、画像処理方法およびプログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一の部分には同一の符号を付して示している。
【００１３】
（実施の形態１）
〔画像処理装置の構成〕
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態１に係る画像処理装置１は、一例として、内視鏡（軟性内視鏡や硬性内視鏡等の内視鏡スコープ）またはカプセル型内視鏡（以下、これらをまとめて単に「内視鏡」という）によって、生体の管腔を撮像することにより取得された管腔内画像に映る対象の表面形状に基づいて、もとの管腔内画像とは異なる撮像視点の新たな画像（仮想画像）を生成する画像処理を実行する装置である。管腔内画像は、通常、各画素位置において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像である。
【００１４】
図１に示す画像処理装置１は、内視鏡によって撮像された管腔内画像に対応する画像データを内視鏡または外部から取得する画像取得部２と、外部からの操作によって入力された入力信号を受け付ける入力部３と、管腔内画像や各種表示を行う表示部４と、画像取得部２によって取得された画像データや各種のプログラムを記録する記録部５と、画像処理装置１全体の動作を制御する制御部６と、画像データに対して所定の画像処理を行う演算部７と、を備える。
【００１５】
画像取得部２は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、画像取得部２は、内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、この記録媒体を着脱自在に装着し、記録された画像データを読み出すリーダ装置として構成される。また、画像取得部２は、内視鏡によって撮像された画像データを記録するサーバを用いる場合、このサーバと双方向に通信可能な通信装置等で構成され、サーバとデータ通信を行うことによって画像データを取得する。さらにまた、画像取得部２は、内視鏡からケーブルを介して画像データが入力されるインターフェース装置等で構成してもよい。
【００１６】
入力部３は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、外部からの操作に応じて受け付けた入力信号を制御部６へ出力する。
【００１７】
表示部４は、液晶や有機ＥＬ（Electro  Luminescence）の表示パネル等の表示装置によって実現され、制御部６の制御のもと、管腔内画像を含む各種画面を表示する。
【００１８】
記録部５は、フラッシュメモリ、ＲＯＭ（Read  Only  Memory）およびＲＡＭ（Random  Access  Memory）といった各種ＩＣメモリ、および内蔵若しくはデータ通信端子で接続されたハードディスク等によって実現される。記録部５は、画像取得部２によって取得された画像データの他、画像処理装置１を動作させるとともに、種々の機能を画像処理装置１に実行させるためのプログラム、このプログラムの実行中に使用されるデータ等を記録する。例えば、記録部５は、管腔内画像に対して撮像視点を変えた新たな仮想画像（学習サンプル）を生成する画像処理プログラム５１、および、このプログラムの実行中に使用される種々の情報等を記録する。
【００１９】
制御部６は、ＣＰＵ（Central  Processing  Unit）等を用いて実現され、記録部５に記録された各種プログラムを読み込むことにより、画像取得部２から入力される画像データや入力部３から入力される入力信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００２０】
演算部７は、ＣＰＵ等によって実現され、記録部５が記録する画像処理プログラム５１を読み込むことによって管腔内画像に映る対象に対し、撮像視点から異なる仮想画像を生成する画像処理を実行する。
【００２１】
〔演算部の詳細な構成〕
次に、演算部７の詳細な構成について説明する。
演算部７は、表面形状推定部１０と、撮像視点変更部１１と、画像生成部１２と、を備える。
【００２２】
表面形状推定部１０は、生体の管腔内画像に映る対象の表面形状を推定する。表面形状推定部１０は、撮像距離推定部２０を有する。
【００２３】
撮像距離推定部２０は、管腔内画像の各画素に映る対象までの撮像距離を推定する。撮像距離推定部２０は、低吸収波長成分選択部２０１を有する。
【００２４】
低吸収波長成分選択部２０１は、管腔内画像において、生体内での吸収・散乱の度合いが低い低吸収波長成分を選択する。
【００２５】
撮像視点変更部１１は、表面形状推定部１０が推定した表面形状に対する撮像視点を変更する。撮像視点変更部１１は、相対角度変更部３０と、相対位置変更部３１と、を有する。
【００２６】
相対角度変更部３０は、表面形状推定部１０が推定した表面形状と撮像視点の相対角度を変更する。相対角度変更部３０は、内視鏡の撮像方向に対してロール、ヨーおよびピッチのいずれかの回転を行う回転部３００を有する。
【００２７】
相対位置変更部３１は、表面形状推定部１０が推定した表面形状と撮像視点の相対位置を変更する。相対位置変更部３１は、表面形状と撮像視点との水平位置および／または垂直位置を変更する水平垂直位置変更部３１１と、表面形状から撮像視点までの撮像距離を変更する撮像距離変更部３１２と、を有する。
【００２８】
画像生成部１２は、変更後の撮像視点から撮像した場合の対象の仮想画像を生成する。画像生成部１２は、撮像視点の変更に伴い、仮想画像上に投影される管腔内画像の画素の画素値を基に、仮想画像の各画素の画素値を推定する画素値推定部４０と、仮想画像の画素の画素値に欠落が生じている場合、欠落が生じている画素の周辺の画素から該画素の画素値を補間する欠落画素値補間部４１と、を有する。
【００２９】
画素値推定部４０は、撮像視点の変更に伴い、仮想画像の各画素周辺に投影される管腔内画像の画素を探索する探索部４０１と、仮想画像の各画素の画素値を、探索部４０１によって探索された管腔内画像の画素における画素値を基に補間する画素値補間部４０２と、仮想画像上に投影される管腔内画像の各画素の中で、仮想画像における遮蔽領域となる画素を除外する遮蔽領域除外部４０３と、表面形状から撮像視点までの撮像距離に基づいて、仮想画像の各画素の画素値を補正する距離対応画素値補正部４０４と、を有する。
【００３０】
〔画像処理装置の処理〕
このように構成された画像処理装置１が実行する画像処理方法について説明する。図２は、画像処理装置１が実行する処理の概要を示すフローチャートである。
【００３１】
図２に示すように、まず、画像処理装置１は、画像取得部２を介して外部から内視鏡等によって撮像された画像データに対応する管腔内画像を取得し、取得した管腔内画像を記録部５に記録する（ステップＳ１０１）。図３に画像取得部２を介して外部から内視鏡等によって撮像された管腔内画像Ｗ１の一例を示す。
【００３２】
続いて、表面形状推定部１０は、記録部５に記録された管腔内画像の画像データを取得し、取得した管腔内画像に映る対象の表面形状を推定する表面形状推定処理を実行する（ステップＳ１０２）。
【００３３】
図４は、図２のステップＳ１０２における表面形状推定処理の概要を示すフローチャートである。
【００３４】
図４に示すように、低吸収波長成分選択部２０１は、生体内における低吸収・低散乱波長成分を選択する（ステップＳ２０１）。具体的には、生体内での吸収・散乱の度合いが最も低いＲ成分を選択する。これは、粘膜表面に映る血管等による画素値低下を抑えた最も粘膜表面との撮像距離に相関する画素値情報を得ることで、後段の撮像距離推定の精度を向上するためである。
【００３５】
続いて、撮像距離推定部２０は、管腔内画像の各画素に映る対象の撮像距離αを推定する（ステップＳ２０２）。具体的には、低吸収波長成分の画素値に基づいて、均等拡散面を仮定した撮像距離を（式１）に従って推定する。
【数１】
2017109997.tif 000003
ここで、α（ｘｉ,ｙｉ）は、座標（ｘｉ，ｙｉ）に映る対象の撮像距離を示し、Ｉは、光源の放射強度（事前に測定）を示し、Kは、粘膜表面の拡散反射係数（平均的な値を事前に測定）を示し、θは、粘膜表面の法線ベクトルと該表面から光源までのベクトルのなす角（内視鏡先端の光源と粘膜表面の位置関係により決まる値だが、平均的な値を事前設定）を示し、Ｌ（ｘｉ,ｙｉ）は、座標（ｘｉ，ｙｉ）の画素の低吸収波長成分（R成分）の画素値を示す。
【００３６】
その後、表面形状推定部１０は、管腔内画像の各画素に映る対象の表面座標を推定する（ステップＳ２０３）。画像Ｗ１内の座標（ｘｉ，ｙｉ）（原点は画像中心）と、その座標に映る対象の表面座標（Ｘi，Ｙi，Ｚi）の間には、図５に示す関係がある。ここで、ＸＹＺは、画像Ｗ１のｘｙ軸と平行なＸＹ軸と、画像中心を通るＺ軸からなる表面座標系である。また。ｆは、センサーの画素ピッチや撮像系の特性等から決定される値である。αは、撮像距離推定部２０により推定された撮像距離である。
【００３７】
図５の関係から以下の式（２）、式（３）が成り立つ。
【数２】
2017109997.tif 000004
従って、式（２）および式（３）より、以下の式（４）が成り立つ。
【数３】
2017109997.tif 000005
このように、表面形状推定部１０は、管腔内画像Ｗ１の各画素に映る対象までの撮像距離および該画素の座標を基に、表面座標系への変換を行うことによって、各画素に映る対象（被写体）の表面座標（表面形状）を推定する。ステップＳ２０３の後、画像処理装置１は、図２のメインルーチンへ戻る。
【００３８】
図２に戻り、ステップＳ１０３以降の説明を続ける。
ステップＳ１０３において、撮像視点変更部１１は、表面形状に対する撮像視点を変更、例えば第１の撮像視点から第２の撮像視点に変更する撮像視点変更処理を実行する。
【００３９】
図６は、図２のステップＳ１０３における撮像視点変更処理の概要を示すフローチャートである。
【００４０】
図６に示すように、相対角度変更部３０は、表面形状と撮像視点の相対角度（内視鏡の撮像方向に対するロール、ヨーおよびピッチいずれかの角度）を変更する（ステップＳ３０１）。具体的には、図７に示すように、表面形状Ｑ１と撮像視点Ｐ１の相対角度を変更する。より具体的には、回転部３００は、以下の式（５）によって、表面座標系ＸＹＺから、表面形状の重心を原点とする重心座標系Ｘ０Ｙ０Ｚ０への変換を行う。
【数４】
2017109997.tif 000006
ここで、（Ｘｃ，Ｙｃ，Ｚｃ）は、表面形状の重心座標である。
さらに、回転部３００は、以下の式（６）によって、表面形状と撮像視点の相対角度を、Ｘ軸回転（ピッチ）、Ｙ軸回転（ヨー）およびＺ軸回転（ロール）によって変更する。図７の表面形状Ｑ１に対し、上記変更を行った場合の表面形状をＴ１に示す。
【数５】
2017109997.tif 000007
ここで、θxは、Ｘ軸に対する回転角を示し、θyは、Ｙ軸に対する回転角を示し、θzは、Ｚ軸に対する回転角を示す。
【００４１】
続いて、相対位置変更部３１は、水平垂直位置変更部３１１が表面形状と撮像視点の相対位置（水平・垂直位置）を変更し（ステップＳ３０２）、撮像距離変更部３１２は、表面形状から撮像視点までの撮像距離を変更する（ステップＳ３０３）。具体的には、以下の式（７）によって、水平垂直位置変更部３１１は、表面形状と撮像視点の水平・垂直位置を変更し、式（８）によって、撮像距離変更部３１２は、表面形状から撮像視点までの撮像距離を変更する。そして、式（９）によって、重心座標系Ｘ０Ｙ０Ｚ０から表面座標系ＸＹＺへの変換を行う。図７の表面形状Ｔ１に対し、上記変更を行った場合の表面形状Ｔ２に示す。
【数６】
2017109997.tif 000008
ここで、Ｘｓは、Ｘ方向（水平方向）の位置変更量を示し、Ｙｓは、Ｙ方向（垂直方向）の位置変更量を示し、Ｚｓは、Ｚ方向の位置変更量（撮像距離の変更量）を示す。ステップＳ３０３の後、画像処理装置１は、図２のメインルーチンへ戻る。
【００４２】
図２に戻り、ステップＳ１０４以降の説明を続ける。
ステップＳ１０４において、画像生成部１２は、変更後の撮像視点から撮像した場合の対象の仮想画像を生成する画像生成処理を実行する。
【００４３】
図８は、図２のステップＳ１０４における画像生成処理の概要を示すフローチャートである。
【００４４】
図８に示すように、まず、画素値推定部４０は、撮像視点変更後の撮像面に投影される管腔内画像（元画像）の各画素の座標を算出する（ステップＳ４０１）。具体的には、以下の式（１０）によって、撮像視点変更後の撮像面（仮想画像）に投影される元画像の各画素の座標（ｘｉ’’，ｙｉ’’）を算出する。
【数７】
2017109997.tif 000009
【００４５】
続いて、探索部４０１は、仮想画像の各画素周辺に投影される元画像の画素を探索する（ステップＳ４０２）。ｘｙ座標系における整数座標が、仮想画像の各画素位置に相当する。
【００４６】
その後、遮蔽領域除外部４０３は、仮想画像上に投影される元画像の各画素の中で、仮想画像におけるオクルージョン（遮蔽部）となるデータ（画素）を検出して除外する（ステップＳ４０３）。具体的には、仮想画像の各画素周辺に投影される元画像の画素の撮像距離を基に、遮蔽部を判定し、除外する。
【００４７】
続いて、画素値補間部４０２は、仮想画像の各画素の値を、探索部４０１によって探索された画素を基に補間して算出する（ステップＳ４０４）。
【００４８】
その後、距離対応画素値補正部４０４は、表面形状から撮像視点までの撮像距離に基づいて、仮想画像の各画素の画素値を補正する（ステップＳ４０５）。具体的には、撮像視点変更後の撮像距離が近い画素ほど画素値を高く、遠い画素ほど画素値を低く補正する。これにより、図９に示す仮想画像Ｗ２や図１０に示す仮想画像Ｗ３のように撮像視点を変更した画像を生成することができる。
【００４９】
続いて、仮想画像の画素の画素値に欠落が生じている場合（ステップＳ４０６：Ｙｅｓ）、欠落画素値補間部４１は、欠落が生じている画素の周辺の画素から該画素の画素値を補間する（ステップＳ４０７）。ステップＳ４０６の後、画像処理装置１は、図２のメインルーチンへ戻り、本処理を終了する。これに対して、仮想画像の画素の画素値に欠落が生じていない場合（ステップＳ４０６：Ｎｏ）、画像処理装置１は、図２のメインルーチンへ戻り、本処理を終了する。
【００５０】
また、本発明の実施の形態１によれば、管腔内画像に映る対象を、実際と異なる撮像視点から撮像した場合の仮想画像を生成した場合において、内視鏡の撮像系の特性による像の歪みや、撮像距離の変化に伴う画素値の変化、または対象の表面形状によるオクルージョン（遮蔽部）の発生等が生じるときであっても、これらの管腔内の状態を適切に反映した仮想画像（学習サンプル）を生成することができる。
【００５１】
（変形例１）
次に、本実施の形態１に係る変形例１について説明する。本実施の形態１に係る変形例１は、表面形状推定部の構成が異なるうえ、実行する処理が異なる。以下においては、本実施の形態１の変形例１に係る表面形状推定部の構成を説明後、本実施の形態１の変形例１に係る表面形状推定部が実行する処理について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
【００５２】
図１１は、本実施の形態１の変形例１に係る表面形状推定部の構成を示すブロック図である。図１１に示す表面形状推定部１０ａは、上述した実施の形態１に係る撮像距離推定部２０に換えて、撮像距離推定部２０ａを有する。
【００５３】
撮像距離推定部２０ａは、低吸収波長成分選択部２０１の構成に加えて、空間周波数の低い低空間周波数成分を算出する低空間周波数成分算出部２０２をさらに有する。
【００５４】
次に、表面形状推定部１０ａが実行する表面形状推定処理について説明する。図１２は、表面形状推定部１０ａが実行する表面形状推定処理の概要を示すフローチャートである。なお、本実施の形態１の変形例１では、表面形状推定部１０ａが実行する表面形状推定処理以外は、上述した実施の形態１に係る画像処理装置１が実行する処理（図２を参照）と同様のため、説明を省略する。また、図１２において、ステップＳ５０１、ステップＳ５０３およびステップＳ５０４は、上述した図４のステップＳ２０１、ステップＳ２０２およびステップＳ２０３それぞれに対応するため、説明を省略する。
【００５５】
ステップＳ５０２において、低空間周波数成分算出部２０２は、空間周波数の低い低空間周波数成分を算出する。具体的には、公知の平滑化処理等を用いて、空間周波数の低い低空間周波数成分を算出することによって、ノイズ成分を除去する。ステップＳ５０２の後、画像処理装置１は、ステップＳ５０３へ移行する。
【００５６】
以上説明した本発明の実施の形態１の変形例１によれば、ノイズ成分の少ない表面形状を推定することができ、それを基に管腔内の状態を適切に反映した学習サンプルを生成することができる。
【００５７】
（変形例２）
次に、本実施の形態１の変形例２について説明する。本実施の形態１の変形例２は、画像生成部の構成が異なるうえ、実行する処理が異なる。以下においては、本実施の形態１の変形例２に係る画像生成部の構成を説明後、本実施の形態１の変形例２に係る画像生成部が実行する処理について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
【００５８】
図１３は、本実施の形態１の変形例２に係る画像生成部の構成を示すブロック図である。図１３に示す画像生成部１２ａは、上述した実施の形態１に係る画素値推定部４０に換えて、画素値推定部４０ａを有する。
【００５９】
画素値推定部４０ａは、上述した実施の形態１に係る探索部４０１および画素値補間部４０２に換えて、撮像視点の変更に伴い、仮想画像上に投影される管腔内画像の各画素と、仮想画像の各画素の距離に応じた重みで、管腔内画像の各画素の画素値を加算することにより、仮想画像の各画素の画素値を求める重み加算部４０６と、を有する。さらに、重み加算部４０６は、仮想画像上に投影される管腔内画像の画素の粗密情報に基づいて、仮想画像の各画素の距離に応じた重みを調整する重み調整部４０６ａを有する。
【００６０】
次に、画像生成部１２ａが実行する画像生成処理について説明する。図１４は、画像生成部１２ａが実行する画像生成処理の概要を示すフローチャートである。なお、本実施の形態１の変形例２では、画像生成部１２ａが実行する画像生成処理以外は、上述した実施の形態１に係る画像処理装置１が実行する処理（図２を参照）と同様のため、説明を省略する。また、図１４において、ステップＳ６０１、ステップＳ６０３およびステップＳ６０５は、上述した図８のステップＳ４０１、ステップＳ４０３およびステップＳ４０５それぞれに対応する。
【００６１】
ステップＳ６０２において、重み調整部４０６ａは、仮想画像の各画素周辺の元画像の画素の粗密情報を基に、重み加算部４０６で用いられる重みを調整する。この重みは、仮想画像上に投影される管腔内画像（元画像）の各画素と、仮想画像の各画素の距離に応じて設定されるもので、具体的には、距離が近いほど大きく、遠いほど小さくなるように、ガウス関数などを用いて設定される。重み調整部４０６ａは、ガウス関数の広がり具合、つまり距離に応じた重みの変化具合を調整する。より具体的には、重み加算により画素値を求める対象の仮想画像の画素周辺の元画像の画素が粗な状態の場合には、ガウス関数の広がりが大きくなるように、密の状態の場合には、ガウス関数の広がりが小さくなるように、調整する。ステップＳ６０２の後、画像処理装置１は、ステップＳ６０３へ移行する。
【００６２】
ステップＳ６０４において、重み加算部４０６は、仮想画像の各画素の値を、仮想画像上に投影される元画像の各画素と仮想画像の各画素の距離と、重み調整部４０６ａによって調整された重みを基に、元画像の各画素を加算して算出する。ステップＳ６０４の後、画像処理装置１は、ステップＳ６０５へ移行する。
【００６３】
以上説明した本発明の実施の形態１の変形例２によれば、管腔内の状態を適切に反映した学習サンプルを生成することができる。
【００６４】
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る画像処理装置は、上述した実施の形態１に係る画像処理装置１における撮像視点変更部１１の構成が異なる。以下においては、本実施の形態２に係る撮像視点変更部の構成について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
【００６５】
図１５は、本実施の形態２に係る撮像視点変更の構成を示すブロック図である。図１５に示す撮像視点変更部１１ａは、上述した実施の形態１に係る撮像視点変更部１１の構成に加えて、変更量制御部３２を備える。
【００６６】
変更量制御部３２は、上述した画像生成部１２が生成する仮想画像において、データ欠落が生じないように撮像視点の変更量を制御する。具体的には、上述した画素値推定部４０と同様の処理を行い、元画像における遮蔽部（データ欠落部）が仮想画像に映らないように、相対角度変更部３０が変更する相対角度の変更量および相対位置変更部３１の変更量を制御する。
【００６７】
以上説明した本発明の実施の形態２によれば、変更量制御部３２が画像生成部１２によって生成される仮想画像において、データ欠落が生じないように撮像視点の変更量を制御するので、管腔内の状態を適切に反映した学習サンプルを生成することができる。
【００６８】
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る画像処理装置は、上述した実施の形態１に係る画像処理装置１における演算部７の構成が異なる。以下においては、本実施の形態３に係る演算部の構成について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
【００６９】
図１６は、本実施の形態３に係る演算部の構成を示すブロック図である。図１６に示す演算部７ａは、上述した実施の形態１に係る演算部７の構成に加えて、画像生成頻度制御部１３と、学習部１４と、認識部１５と、をさらに備える。
【００７０】
画像生成頻度制御部１３は、実際の管腔内画像の撮像において発生し易い撮像視点からの仮想画像の生成頻度が高くなるように複数の仮想画像の生成を制御する。ここで、実際の管腔内画像の撮像において発生し易い撮像視点とは、撮影距離が近い管手前の粘膜面から撮影距離が遠い管深部の粘膜面までが映るとともに、管腔壁が管腔内画像の下側に映るような撮像視点等である。具体的には、画像生成頻度制御部１３は、画像生成部１２が生成した画像情報を基に、撮像視点変更部１１を制御することによって、実際の管腔内画像の撮像において発生し易い撮像視点からの仮想画像の生成頻度を高くする。
【００７１】
学習部１４は、仮想画像に基づいて、管腔内画像の認識に用いるパラメータを学習する。
【００７２】
認識部１５は、学習部１４が学習したパラメータに基づいて、管腔内画像の認識を行う。
【００７３】
以上説明した本発明の実施の形態３によれば、実際の管腔内画像の撮像において発生し易い撮像視点からの学習サンプルを多く生成することができる。これにより、状態を適切に反映した学習サンプルを用いて認識部１５のパラメータ（例えばパラメータとしては、色、輪郭（エッジ）、画素値面形状（画素値勾配）、テクスチャ等に対する認識基準等）を適切に学習することができる。この結果、適切に学習されたパラメータを用いて認識部１５の精度を向上することができる。
【００７４】
（その他の実施の形態）
本発明では、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、または、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜３およびこれらの変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続されたビュアーやプリンタ等の種々の出力機器に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置、例えばネットワークに接続された読取装置によって読み取り可能な記録媒体等に画像処理結果を格納するようにしても良い。
【００７５】
なお、本発明は、実施の形態１〜３およびこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【００７６】
１  画像処理装置
２  画像取得部
３  入力部
４  表示部
５  記録部
６  制御部
７，７ｃ  演算部
１０，１０ａ  表面形状推定部
１１，１１ａ  撮像視点変更部
１２，１２ａ  画像生成部
１３  画像生成頻度制御部
１４  学習部
１５  認識部
２０，２０ａ  撮像距離推定部
３０  相対角度変更部
３１  相対位置変更部
３２  変更量制御部
４０，４０ａ  画素値推定部
４１  欠落画素値補間部
５１  画像処理プログラム
２０１  低吸収波長成分選択部
２０２  低空間周波数成分算出部
３００  回転部
３１１  水平垂直位置変更部
３１２  撮像距離変更部
４０１  探索部
４０２  画素値補間部
４０３  遮蔽領域除外部
４０４  距離対応画素値補正部
４０６  重み加算部
４０６ａ  重み調整部
【図１】
2017109997.tif 000010
【図２】
2017109997.tif 000011
【図３】
2017109997.tif 000012
【図４】
2017109997.tif 000013
【図５】
2017109997.tif 000014
【図６】
2017109997.tif 000015
【図７】
2017109997.tif 000016
【図８】
2017109997.tif 000017
【図９】
2017109997.tif 000018
【図１０】
2017109997.tif 000019
【図１１】
2017109997.tif 000020
【図１２】
2017109997.tif 000021
【図１３】
2017109997.tif 000022
【図１４】
2017109997.tif 000023
【図１５】
2017109997.tif 000024
【図１６】
2017109997.tif 000025
【国際調査報告】
2017109997.tif 000026
2017109997.tif 000027