(57)【要約】  本発明にかかる画像処理装置は、被写体画像を第１の画像データとして取得する被写体画像取得部と、被写体画像の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、被写体画像における注目領域に関する情報を示す指示画像を含む画像データであって、第１の画像データの情報量と比して小さい情報量を有する第２の画像データを生成する画像データ生成部と、第２の画像データに対応する画像を表示させる制御を行う表示制御部と、を備え、第１の画像データに対応する画像を第１の表示領域に表示させ、第２の画像データに対応する画像を第２の表示領域に表示させる。
2017115442.tif 000002
【特許請求の範囲】
【請求項１】
被写体画像を第１の画像データとして取得する被写体画像取得部と、
前記被写体画像の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
前記被写体画像における前記注目領域に関する情報を示す指示画像を含む画像データであって、前記第１の画像データの情報量と比して小さい情報量を有する第２の画像データを生成する画像データ生成部と、
前記第２の画像データに対応する画像を表示させる制御を行う表示制御部と、を備え、
前記第１の画像データに対応する画像を第１の表示領域に表示させ、
前記第２の画像データに対応する画像を第２の表示領域に表示させる
画像処理装置。
【請求項２】
前記第１の画像データおよび前記第２の画像データを、一又は複数の表示部に並べて配置されている前記第１の表示領域及び前記第２の表示領域に表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像データ生成部は、前記被写体画像に基づき前記第２の画像の背景を生成する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第２の画像は、前記第１の画像と比して、解像度、彩度、明度、色数およびコントラストのうち、少なくとも一つが低減されている
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第２の画像の背景が、単色である
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第２の画像データは、前記第１の画像データと比してリフレッシュレートが低い
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第２の表示領域の面積は、前記第１の表示領域の面積以下である
ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記指示画像は、十字状である
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記指示画像は、前記注目領域の形状と対応している
ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記指示画像は、閉じた領域を有する図形である
ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記指示画像は、前記図形の内部が塗りつぶされている
ことを特徴とする請求項９又は１０に記載の画像処理装置。
【請求項１２】
前記指示画像は、重心に近いほど背景透過率が小さくなる
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記指示画像の表示色は、前記第１の画像の平均色の補色である
ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記第２の画像は、当該第２の画像における前記指示画像の位置をガイドするガイド線を有する
ことを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記ガイド線は、前記第２の画像の輪郭、一つまたは複数の直線、および一つまたは複数の曲線のうちの少なくとも一つを用いて形成されている
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記ガイド線は、前記表示部の表示領域における前記第２の表示領域の外側の背景色の補色により表現されている
ことを特徴とする請求項１４又は１５に記載の画像処理装置。
【請求項１７】
前記ガイド線は、前記指示画像上に配置されている
ことを特徴とする請求項１４から１６のいずれか１項に記載の画像処理装置。
【請求項１８】
前記第１の表示領域と前記第２の表示領域とは、相似な関係を有する
ことを特徴とする請求項１から１７のいずれか１項に記載の画像処理装置。
【請求項１９】
前記被写体画像は、内視鏡により取得された内視鏡画像である
ことを特徴とする請求項１から１８のいずれか１項に記載の画像処理装置。
【請求項２０】
前記画像データ生成部は、前記被写体画像取得部が取得した前記被写体画像を含む第１の画像データを生成し、
前記表示制御部は、前記第１の画像データに対応する第１の画像を前記第１の表示領域に表示させる制御を行う
ことを特徴とする請求項１から１９のいずれか１項に記載の画像処理装置。
【請求項２１】
被写体画像を第１の画像データとして取得し、
前記被写体画像の特徴量に基づいて、注目すべき領域である注目領域を検出し、
前記被写体画像における前記注目領域に関する情報を示す指示画像を含む画像データであって、第１の画像データの情報量と比して小さい情報量の第２の画像データを生成し、
前記第１の画像データに対応する画像を第１の表示領域に表示させ、
前記第２の画像データに対応する画像を第２の表示領域に表示させる、
画像処理方法。
【請求項２２】
被写体画像を第１の画像データとして取得する被写体画像取得手順と、
前記被写体画像の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出手順と、
前記被写体画像における前記注目領域に関する情報を示す指示画像を含む画像データであって、第１の画像データの情報量と比して小さい情報量の第２の画像データを生成する画像データ生成手順と、
前記第１の画像データに対応する画像を第１の表示領域に表示させる第１表示手順と、
前記第２の画像データに対応する画像を第２の表示領域に表示させる第２表示手順と、
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子により生成された撮像信号に信号処理を施して画像信号を生成する画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、医療分野および工業分野において、各種検査のために内視鏡装置が広く用いられている。このうち、医療用の内視鏡装置は、患者等の被検体内に、複数の画素を有する撮像素子が先端に設けられた、細長形状をなす可撓性の挿入部を挿入することによって、被検体を切開しなくても被検体内の体内画像（被写体画像）を取得できるため、被検体への負担が少なく、普及が進んでいる。【０００３】
このような内視鏡装置を用いた被写体画像の観察では、画像解析の結果として、病変検出結果などの注目領域を指示する情報が観察画面上に表示される。この注目領域を指示する情報は、被写体画像上の注目領域に対して所定の位置に所定の方法で重畳して表示される（例えば、特許文献１を参照）。しかしながら、注目領域を指示する情報として、例えばマークを被写体画像上に重畳して表示すると、被写体画像においてマークと重なる領域を観察できないという問題があった。【０００４】
この問題を解決するために、表示領域を２つに分けて、第１表示領域には被写体画像を表示し、第１表示領域よりも小さい第２表示領域には注目領域を指示するマークを付した被写体画像を表示する手段が開示されている（例えば、特許文献２，３を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２５５００６号公報
【特許文献２】特開平１０−２６２９２３号公報
【特許文献３】特許第４９８９０３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２，３が開示する技術では、第２表示領域において、背景を被写体画像として、この被写体画像上にマークが表示されており、被写体画像の色合いによってはマークの視認性が低下する。このため、注目領域を指示するマークの視認性を向上する技術が求められていた。【０００７】
本発明は、上記に鑑みてなされたものであって、被写体画像の視認性を確保するとともに、被写体画像における注目領域を指示する情報の視認性を向上することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、被写体画像を第１の画像データとして取得する被写体画像取得部と、前記被写体画像の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、前記被写体画像における前記注目領域に関する情報を示す指示画像を含む画像データであって、前記第１の画像データの情報量と比して小さい情報量を有する第２の画像データを生成する画像データ生成部と、前記第２の画像データに対応する画像を表示させる制御を行う表示制御部と、を備え、前記第１の画像データに対応する画像を第１の表示領域に表示させ、前記第２の画像データに対応する画像を第２の表示領域に表示させる。【０００９】
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理方法は、被写体画像を第１の画像データとして取得し、前記被写体画像の特徴量に基づいて、注目すべき領域である注目領域を検出し、前記被写体画像における前記注目領域に関する情報を示す指示画像を含む画像データであって、第１の画像データの情報量と比して小さい情報量の第２の画像データを生成し、前記第１の画像データに対応する画像を第１の表示領域に表示させ、前記第２の画像データに対応する画像を第２の表示領域に表示させる。【００１０】
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理プログラムは、被写体画像を第１の画像データとして取得する被写体画像取得手順と、前記被写体画像の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出手順と、前記被写体画像における前記注目領域に関する情報を示す指示画像を含む画像データであって、第１の画像データの情報量と比して小さい情報量の第２の画像データを生成する画像データ生成手順と、前記第１の画像データに対応する画像を第１の表示領域に表示させる第１表示手順と、前記第２の画像データに対応する画像を第２の表示領域に表示させる第２表示手順と、をコンピュータに実行させる。
【発明の効果】
【００１１】
本発明によれば、被写体画像の視認性を確保するとともに、被写体画像における注目領域を指示する情報の視認性を向上することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の一実施の形態にかかる内視鏡装置の概略構成を示す図である。
【図２】図２は、本発明の一実施の形態にかかる内視鏡装置の概略構成を示す模式図である。
【図３】図３は、本発明の一実施の形態にかかる内視鏡装置が行う処理を説明するフローチャートである。
【図４】図４は、本発明の一実施の形態にかかる内視鏡装置の表示部が表示する表示画面を説明する図である。
【図５】図５は、本発明の実施の形態の変形例１にかかる内視鏡装置の表示部が表示する表示画面を説明する図である。
【図６】図６は、本発明の実施の形態の変形例２にかかる内視鏡装置の表示部が表示する表示画面を説明する図である。
【図７】図７は、本発明の実施の形態の変形例３にかかる内視鏡装置の表示部が表示する表示画面を説明する図である。
【図８】図８は、本発明の実施の形態の変形例４にかかる内視鏡装置の表示部が表示する表示画面を説明する図である。
【図９】図９は、本発明の実施の形態の変形例５にかかる内視鏡装置の概略構成を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、画像処理装置を含む装置の一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡装置について説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
【００１４】
（実施の形態）
図１は、本発明の一実施の形態にかかる内視鏡装置１の概略構成を示す図である。図２は、本発明の一実施の形態にかかる内視鏡装置１の概略構成を示す模式図である。図１および図２に示す内視鏡装置１は、被検体内に挿入部２１を挿入することによって観察部位の体内画像を撮像して電気信号を生成する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源部３と、内視鏡２が取得した電気信号に所定の画像処理を施すとともに、内視鏡装置１全体の動作を統括的に制御するプロセッサ部４と、プロセッサ部４が画像処理を施した体内画像を表示する表示部５と、を備える。内視鏡装置１は、患者等の被検体内に、挿入部２１を挿入して被検体内の体内画像を取得する。医師等の術者は、取得した体内画像の観察を行うことによって、検出対象部位である出血部位や腫瘍部位の有無を検査する。
【００１５】
内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、光源部３およびプロセッサ部４に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。
【００１６】
挿入部２１は、光を受光する画素(フォトダイオード)が格子（マトリックス）状に配列され、当該画素が受光した光に対して光電変換を行うことにより画像信号を生成する撮像素子２０２を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。
【００１７】
操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、光源部３に照明光の切替動作を行わせるための指示信号、処置具や、プロセッサ部４と接続する外部機器の操作指示信号、送水を行うための送水指示信号、および吸引を行うための吸引指示信号などを入力する複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の先端に設けられる処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。
【００１８】
ユニバーサルコード２３は、ライトガイド２０３と、一または複数の信号線をまとめた集合ケーブルと、を少なくとも内蔵している。集合ケーブルは、内視鏡２および光源部３とプロセッサ部４との間で信号を送受信する信号線であって、設定データを送受信するための信号線、画像信号を送受信するための信号線、撮像素子２０２を駆動するための駆動用のタイミング信号を送受信するための信号線などを含む。
【００１９】
また、内視鏡２は、撮像光学系２０１、撮像素子２０２、ライトガイド２０３、照明用レンズ２０４、Ａ／Ｄ変換部２０５および撮像情報記憶部２０６を備える。
【００２０】
撮像光学系２０１は、先端部２４に設けられ、少なくとも観察部位からの光を集光する。撮像光学系２０１は、一または複数のレンズを用いて構成される。なお、撮像光学系２０１には、画角を変化させる光学ズーム機構および焦点を変化させるフォーカス機構が設けられていてもよい。
【００２１】
撮像素子２０２は、撮像光学系２０１の光軸に対して垂直に設けられ、撮像光学系２０１によって結ばれた光の像を光電変換して電気信号(撮像信号)を生成する。撮像素子２０２は、ＣＣＤ（Charge  Coupled  Device）イメージセンサやＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサ等を用いて実現される。
【００２２】
ライトガイド２０３は、グラスファイバ等を用いて構成され、光源部３が出射した光の導光路をなす。
【００２３】
照明用レンズ２０４は、ライトガイド２０３の先端に設けられ、ライトガイド２０３により導光された光を拡散して先端部２４の外部に出射する。
【００２４】
Ａ／Ｄ変換部２０５は、撮像素子２０２が生成した電気信号をＡ／Ｄ変換し、該変換した電気信号をプロセッサ部４に出力する。Ａ／Ｄ変換部２０５は、撮像素子２０２が生成した電気信号を、例えば１２ビットのデジタルデータ（画像信号）に変換する。
【００２５】
撮像情報記憶部２０６は、内視鏡２を動作させるための各種プログラム、内視鏡２の動作に必要な各種パラメータおよび当該内視鏡２の識別情報等を含むデータを記憶する。また、撮像情報記憶部２０６は、識別情報を記憶する識別情報記憶部２６１を有する。識別情報には、内視鏡２の固有情報（ＩＤ）、年式、スペック情報および伝送方式に関する情報等が含まれる。撮像情報記憶部２０６は、フラッシュメモリ等を用いて実現される。
【００２６】
つぎに、光源部３の構成について説明する。光源部３は、照明部３１および照明制御部３２を備える。
【００２７】
照明部３１は、照明制御部３２の制御のもと、波長帯域が互いに異なる複数の照明光を切り替えて出射する。照明部３１は、光源３１ａ、光源ドライバ３１ｂおよび集光レンズ３１ｃを有する。
【００２８】
光源３１ａは、照明制御部３２の制御のもと、赤色、緑色および青色の波長帯域ＨＲ，ＨＧおよびＨＢの光を含む白色照明光を出射する。光源３１ａが発生した白色照明光は、集光レンズ３１ｃおよびライトガイド２０３を経由して先端部２４から外部に出射される。光源３１ａは、白色ＬＥＤや、キセノンランプなどの白色光を発する光源を用いて実現される。
【００２９】
光源ドライバ３１ｂは、照明制御部３２の制御のもと、光源３１ａに対して電流を供給することにより、光源３１ａに白色照明光を出射させる。
【００３０】
集光レンズ３１ｃは、光源３１ａが出射した白色照明光を集光して、光源部３の外部（ライトガイド２０３）に出射する。
【００３１】
照明制御部３２は、光源ドライバ３１ｂを制御して光源３１ａをオンオフ動作させることによって、照明光の出射を制御する。
【００３２】
次に、プロセッサ部４の構成について説明する。プロセッサ部４は、画像処理部４１、入力部４２、記憶部４３および制御部４４を備える。
【００３３】
画像処理部４１は、内視鏡２（Ａ／Ｄ変換部２０５）からの撮像信号をもとに所定の画像処理を実行して、表示部５が表示するための表示画像信号を生成する。画像処理部４１は、画像取得部４１１、注目領域検出部４１２、画像データ生成部４１３、表示制御部４１４を有する。
【００３４】
画像取得部４１１は、内視鏡２（Ａ／Ｄ変換部２０５）から撮像信号を受信する。画像取得部４１１は、取得した撮像信号に対してノイズ除去やＡ／Ｄ変換、同時化処理（例えば、カラーフィルタ等を用いて色成分ごとの撮像信号が得られた場合に行う）などの信号処理を施す。画像取得部４１１は、上述した信号処理によりＲＧＢの色成分が付与された被写体画像を含む画像信号を生成する。画像取得部４１１は、生成した画像信号を、注目領域検出部４１２および画像データ生成部４１３に入力する。画像取得部４１１は、上述した同時化処理などのほか、ＯＢクランプ処理や、ゲイン調整処理などを行ってもよい。
【００３５】
注目領域検出部４１２は、画像取得部４１１が生成した入力画像に基づき、入力画像内に病変部の可能性があり、注目すべき領域である注目領域が存在するか否かの検出を行う。注目領域検出部４１２は、被写体画像の特徴量に基づいて病変部を検出することによって注目領域を検出する。特徴量としては、輝度値や、各色成分（ＲＧＢ成分）の信号値が挙げられる。病変部を検出する技術は様々提案されており、例えば、"Towards  Automatic  Polyp  Detection  with  a  Polyp  Appearance  Model"  Jorge  Bernal,  F.  Javier  Sanchez,  &  Fernando  Vilarino,  Pattern  Recognition,  45(9),  3166-3182のような技術を用いて実現することができる。注目領域検出部４１２は、病変部を検出した場合、入力画像における該病変部の重心の座標や、大きさに関する検出情報を生成し、画像データ生成部４１３に入力する。
【００３６】
画像データ生成部４１３は、画像取得部４１１により生成された画像信号（被写体画像）に対して、表示部５の色域である例えばｓＲＧＢ（ＸＹＺ表色系）の色空間に色変換処理を行い、所定の階調変換特性に基づく階調変換、拡大処理、または粘膜表層の毛細血管や粘膜微細模様などの構造の構造強調処理などを施して被写体画像を含む第１の画像データを生成する。また、画像データ生成部４１３は、注目領域検出部４１２から病変部の検出情報が入力された場合、上述した処理を施した第１の画像データとは別に、注目領域検出部４１２が検出した注目領域に関する情報を示す指示画像を含み、第１の画像データの情報量と比して小さい第２の画像データを生成する。なお、画像データ生成部４１３は、注目領域検出部４１２から病変部の検出情報が入力されていない場合、第２の画像データを生成せずに、第１の画像データのみを生成する。
【００３７】
表示制御部４１４は、制御部４４の制御のもと、画像データ生成部４１３が生成した画像データ（第１の画像データ、または第１および第２の画像データ）を表示部５に入力して表示させる制御を行う。
【００３８】
入力部４２は、プロセッサ部４に対する術者からの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影モードやその他各種のモードを切り替えるためのモード切替ボタン、光源部３の照明光のオンオフ等を切り替えるための照明光切替ボタンなどを含んで構成されている。
【００３９】
記憶部４３は、内視鏡装置１を動作させるための各種プログラム、例えば、画像処理プログラムや、内視鏡装置１の動作に必要な各種パラメータ等を含むデータを記録する。記憶部４３は、フラッシュメモリやＤＲＡＭ（Dynamic  Random  Access  Memory）等の半導体メモリを用いて実現される。記憶部４３は、表示画像中の注目領域を指示する情報、例えば指示画像などを記憶する指示画像情報記憶部４３１を有する。
【００４０】
制御部４４は、ＣＰＵ等を用いて構成され、内視鏡２および光源部３を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部４４は、記憶部４３に記録されている撮像制御のための設定データ（例えば、読み出し対象の画素など）や、撮像タイミングにかかるタイミング信号等を、所定の信号線を介して内視鏡２へ送信する。
【００４１】
次に、表示部５について説明する。表示部５は、映像ケーブルを介してプロセッサ部４が生成した表示画像信号を受信して該表示画像信号に対応する体内画像を表示する。表示部５は、液晶または有機ＥＬ（Electro  Luminescence）を用いて構成される。
【００４２】
続いて、内視鏡装置１のプロセッサ部４の各部が行う処理について図面を参照して説明する。図３は、本発明の一実施の形態にかかる内視鏡装置１が行う処理を説明するフローチャートである。図４は、本発明の一実施の形態にかかる内視鏡装置１の表示部５が表示する表示画面Ｗ1を説明する図である。以下、制御部４４による制御のもと、各部が動作するものとして説明する。
【００４３】
まず、画像取得部４１１が、内視鏡２からデジタル変換された撮像信号を取得する（ステップＳ１０１）。画像取得部４１１は、上述したように、取得した撮像信号に対してノイズ除去やＡ／Ｄ変換、同時化処理などの信号処理を施して、ＲＧＢの色成分が付与された被写体画像を含む画像信号を生成する。画像取得部４１１は、生成した画像信号を、注目領域検出部４１２および画像データ生成部４１３に入力する。
【００４４】
続いて、注目領域検出部４１２は、画像取得部４１１が生成した入力画像に基づき、入力画像内に病変部の可能性がある注目領域（例えば、図４に示す注目領域Ｃ）があるか否かの検出を行う（ステップＳ１０２）。注目領域検出部４１２は、病変部を検出した場合、被写体画像における該病変部の可能性がある注目領域Ｃの重心の座標や、大きさに関する検出情報を生成し、画像データ生成部４１３に入力する。
【００４５】
ステップＳ１０２に続くステップＳ１０３〜Ｓ１０５において、画像データ生成部４１３が、画像データの生成を行う。まず、画像データ生成部４１３は、注目領域検出部４１２から検出情報の入力があるか否かを判断する（ステップＳ１０３）。ここで、画像データ生成部４１３は、注目領域検出部４１２から検出情報の入力がある場合（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０４に移行する。これに対し、画像データ生成部４１３は、注目領域検出部４１２から検出情報の入力がない場合（ステップＳ１０３：Ｎｏ）、ステップＳ１０５に移行する。
【００４６】
ステップＳ１０４では、画像データ生成部４１３は、画像取得部４１１が生成した画像信号に基づき第１の画像データを生成するとともに、検出情報に基づく指示画像を含む第２の画像データを生成する。具体的に、図４に示すような、画像データ生成部４１３は、被写体画像を含み、表示部５における第１の表示領域Ｒ1に表示する第１の画像データと、被写体画像における注目領域に関する情報を示す指示画像Ｉ1を含み、第１の画像データの情報量と比して小さい第２の画像データとを生成する。
【００４７】
ここで、第２の画像データは、注目領域Ｃに関する情報を示す指示画像Ｉ1と、第１の表示領域Ｒ1の輪郭と相似な関係を有し、第２の表示領域Ｒ2の輪郭をなす輪郭画像Ｉrと、第２の表示領域Ｒ2の背景をなす背景画像Ｉbを含む。本実施の形態では、背景画像Ｉbは、表示画面Ｗ1の第１の表示領域Ｒ1以外の背景と同じ色を用いて生成される。また、指示画像Ｉ1は、矩形をなす環状の図形であって、第１の表示領域Ｒ1に表示される被写体画像の平均色の反転色（補色）を用いて生成される。指示画像Ｉ1は、例えば、輪郭画像Ｉrに対する矩形の中心位置が、第１の表示領域Ｒ1の輪郭に対する注目領域Ｃの重心位置に対応するように配置される。輪郭画像Ｉrは、第１の表示領域Ｒ1の輪郭に沿った形状と相似な環形状をなし、背景画像Ｉbの色（第１の表示領域Ｒ1以外の表示領域の色）の反転色（補色）を用いて生成される。第２の画像データは、各画像（指示画像Ｉ1、輪郭画像Ｉrおよび背景画像Ｉb）が、単色の色情報からなり、例えば被検体の管腔内画像のような複数の色情報からなる被写体画像と比して、色数が少なく情報量（データ量）が小さい。
【００４８】
ステップＳ１０５では、画像データ生成部４１３は、画像取得部４１１が生成した画像信号に基づき第１の画像データを生成する。
【００４９】
以上説明した処理により、注目領域の検出情報の有無に応じて、表示部５における第１の表示領域Ｒ1に表示する第１の画像データ、第２の表示領域Ｒ2に表示する第２の画像データが生成される。表示制御部４１４は、制御部４４の制御のもと、表示部５に画像データを入力して表示させる制御を行う。術者は、表示部５に順次表示される被写体画像（第１の画像データ）を観察し、注目領域が検出された場合には指示画像Ｉ1が表示されるため、指示画像Ｉ1を確認することで、被写体画像のどの位置に注目領域が存在しているのかを容易に把握することができる。これにより、病変部の見落としを抑制することができる。
【００５０】
上述した本実施の形態によれば、注目領域検出部４１２が、被写体画像の特徴量に基づいて、注目すべき領域である注目領域を検出し、画像データ生成部４１３が、注目領域の検出情報に応じて、被写体画像を含む第１の画像データ、被写体画像における注目領域に関する情報を示す指示画像を含み、第１の画像データの情報量と比して小さい第２の画像データを生成し、表示制御部４１４が、第１の画像データに対応する第１の画像を表示部の第１の表示領域に表示させ、第２の画像データに対応する第２の画像を前記表示部の第２の表示領域に表示させる制御を行うようにした。このため、注目領域を指示する指示画像が被写体画像に重複することなく、被写体画像中の注目領域の位置を案内することができ、被写体画像の視認性を確保するとともに、被写体画像における注目領域を指示する情報の視認性を向上することができる。
【００５１】
また、上述した本実施の形態によれば、第２の表示領域Ｒ2の背景を単色、例えば黒色にするとともに、指示画像Ｉ1の色を、第２の表示領域Ｒ2の背景の色に対してコントラストの高い白色にしたので、第２の表示領域Ｒ2における指示画像Ｉ1の視認性を向上することができる。
【００５２】
なお、上述した本実施の形態では、指示画像Ｉ1の色、および、第２の表示領域Ｒ2の背景の色を単色にすることで、色数を少なくして情報量を小さくするものとして説明したが、色の組み合わせはこれに限らない。例えば、第２の表示領域Ｒ2の背景の色を白として、指示画像Ｉ1の色を、第２の表示領域Ｒ2の背景の色の明度を反転させた黒色としてもよいし、第２の表示領域Ｒ2の背景の色を黒または白とし、指示画像Ｉ1の色を黒または白以外の色にしてもよい。また、第２の表示領域Ｒ2の背景の色が黒や白以外の場合に、指示画像Ｉ1の色を、黒、白、または第２の表示領域Ｒ2の背景の色の補色としてもよい。また、第２の表示領域Ｒ2の背景の色を第１の表示領域Ｒ1に表示される被写体画像の平均色とし、指示画像Ｉ1の色をこの第１の表示領域Ｒ1に表示される被写体画像の平均色の補色としてもよい。第２の表示領域Ｒ2の背景の色を黒色等の単色として、指示画像Ｉ1の色を第１の表示領域Ｒ1に表示される被写体画像の平均色の補色としてもよい。また、第２の表示領域Ｒ2の背景を第１の表示領域Ｒ1に表示される被写体画像に対応するものとし、第２の表示領域Ｒ2の背景を、第１の表示領域Ｒ1に表示される被写体画像に対して、解像度、彩度、明度およびコントラストのうちの少なくとも一つを低減させた画像にして、第２の画像データの情報量を小さくしてもよい。例えば、第２の表示領域Ｒ2の背景は、第１の表示領域Ｒ1に表示される被写体画像に基づいて解像度、彩度、明度およびコントラストのうちの少なくとも一つを低減してなる。また、第１の表示領域Ｒ1に表示される被写体画像のリフレッシュレートに対して、第２の表示領域Ｒ2の表示画像のリフレッシュレートを低くすることによっても情報量を低減することができる。第１の表示領域Ｒ1に表示される被写体画像のリフレッシュレートに対して、第２の表示領域Ｒ2の表示画像のリフレッシュレートを低くすることで、更新前後の第２の表示領域Ｒ2における指示画像Ｉ1の位置の変化量が大きくなるため、指示画像Ｉ1の位置の変化をより確実に把握することが可能となる。
【００５３】
（実施の形態の変形例１）
上述した実施の形態では、指示画像Ｉ1が矩形の環状をなすものとして説明したが、本発明はこれに限定されない。本変形例１では、指示画像が、十字状をなす。図５は、本発明の実施の形態の変形例１にかかる内視鏡装置１の表示部５が表示する表示画面Ｗ2を説明する図である。図５に示す指示画像Ｉ2は、背景画像Ｉbの色の反転色（補色）の十字状をなしている。指示画像Ｉ2は、例えば、十字の交差部が、注目領域Ｃの重心位置に対応するように配置される。本変形例１においても、上述した実施の形態と同様の効果を得ることができる。
【００５４】
（実施の形態の変形例２）
上述した変形例１では、指示画像Ｉ2が注目領域Ｃの形状によらず表示画面Ｗ2の縦横に沿った十字状をなすものとして説明したが、本発明はこれに限定されない。本変形例２では、指示画像が、注目領域Ｃの長手方向および該長手方向と直交する方向に応じた方向に延び、各々の方向に対応する長さを有する十字状をなす。図６は、本発明の実施の形態の変形例２にかかる内視鏡装置１の表示部５が表示する表示画面Ｗ3を説明する図である。図６に示す指示画像Ｉ3は、背景画像Ｉbの色の反転色（補色）を用いて生成されるとともに、注目領域Ｃの長手方向、および該長手方向と直交する方向に応じた方向に延びる十字状をなし、各々の方向の線分は、各方向の長さに対応した長さとなっている。指示画像Ｉ3は、例えば、十字の交差部が、注目領域Ｃの重心位置に対応するように配置されていることが好ましい。本変形例２においても、上述した実施の形態と同様の効果を得ることができるとともに、注目領域Ｃの大きさを把握することが可能である。
【００５５】
（実施の形態の変形例３）
上述した実施の形態では、指示画像Ｉ1が矩形の環状をなすものとして説明したが、本発明はこれに限定されない。本変形例３では、指示画像が、内部が配色されている楕円状をなす。図７は、本発明の実施の形態の変形例３にかかる内視鏡装置１の表示部５が表示する表示画面Ｗ4を説明する図である。図７に示す指示画像Ｉ4は、背景画像Ｉbの色の反転色（補色）で配色された楕円状をなしている。指示画像Ｉ4は、例えば、楕円の重心（長軸と短軸の交点）が、注目領域Ｃの重心位置に対応するように配置され、重心に近いほど背景透過率が小さくなっている。また、指示画像Ｉ4は、楕円の長軸の方向が、注目領域Ｃの長手方向と平行になるように配置されている。指示画像Ｉ4は、楕円の長軸の長さが、注目領域Ｃの長手方向の長さに対応するとともに、短軸の長さが、注目領域Ｃの長手方向と直交する方向の長さに対応していることが好ましい。本変形例３においても、上述した実施の形態と同様の効果を得ることができる。また、指示画像Ｉ4において、重心に近いほど背景透過率を小さくすることで、重心の位置の視認性を向上することができる。
【００５６】
なお、上述した変形例２，３では、指示画像が、注目領域Ｃの長手方向および該長手方向と直交する方向に応じた方向に延び、各々の方向に対応する長さを有する形状をなすものとして説明したが、これに限らず、注目領域の縦横比、傾きの少なくとも一方を反映したものであってもよいし、指示画像の色を被写体画像の反転色にしてもよい。
【００５７】
（実施の形態の変形例４）
上述した実施の形態および変形例１〜３では、ガイド線として第２の表示領域Ｒ2の輪郭をなす輪郭画像Ｉrのみが表示されるものとして説明したが、これに限らず、輪郭により形成される内部空間を分割するガイド線をさらに含むものであってもよい。図８は、本発明の実施の形態の変形例４にかかる内視鏡装置１の表示部５が表示する表示画面Ｗ5を説明する図である。図８に示すように、表示画面Ｗ5では、輪郭画像Ｉrに加え、互いに直交する二つの直線画像（直線画像ＩS1，ＩS2）からなる十字状のガイド線をさらに有する。直線画像ＩS1は、第２の表示領域Ｒ2の横方向（矩形の表示画面Ｗ5における横方向）の中央から縦方向に延びている。直線画像ＩS2は、第２の表示領域Ｒ2の縦方向（矩形の表示画面Ｗ5における縦方向）の中央から横方向に延びている。これにより、上述した実施の形態と同様の効果を得ることができるとともに、第２の表示領域Ｒ2に対する指示画像Ｉ4の相対的な位置を一層容易に把握することができる。また、直線画像ＩS1，ＩS2は、ガイド線の視認性を向上するという点で、指示画像Ｉ4の上に重畳される、すなわち、指示画像Ｉ4によってガイド線が隠れないように配置されることが好ましい。
【００５８】
なお、上述した変形例４では、二つの直線（直線画像ＩS1，ＩS2）により十字状のガイド線を有するものとして説明したが、これに限らず、Ｘ字状や、格子状、星（＊）状、同心円、同心多角形などの放射状をなすものなど、一つまたは複数の直線、および一つまたは複数の曲線のうちの少なくとも一つを用いて形成されるものであってもよい。また、指示画像の色とガイド線の色とは、同じであってもよいし、異なる色であってもよい。
【００５９】
上述した実施の形態および変形例１〜４では、第２の表示領域Ｒ2が、第１の表示領域Ｒ1に隣接して表示されているものとして説明したが、表示位置はこれに限らない。例えば、表示画面において、第１の表示領域Ｒ1の右側に配置したり、左上、左下、右上、右下、上、下に配置したりしてもよく、視認性を向上させる点で、表示画面の中央に近い方が好ましい。また、第２の表示領域Ｒ2の大きさが、第１の表示領域Ｒ1よりも小さいものとして説明したが、第１の表示領域Ｒ1よりも大きくてもよい。また、第２の表示領域Ｒ2の輪郭（輪郭画像Ｉr）が、第１の表示領域Ｒ1に応じた八角形をなすものとして説明したが、矩形をなすものであってもよく、形状は限定されない。
【００６０】
（実施の形態の変形例５）
上述した実施の形態では、画像データ生成部４１３が第１および第２の画像データを生成し、表示制御部４１４によって第１の画像および第２の画像がそれぞれ第１の表示領域Ｒ1および第２の表示領域Ｒ2に表示されるものとして説明したが、本発明はこれに限定されない。本変形例５では、第１の表示領域Ｒ1に表示される第１の画像が画像取得部４１１から入力される。図９は、本発明の実施の形態の変形例５にかかる内視鏡装置の概略構成を示す図である。本変形例５にかかる内視鏡装置１Ａは、上述した実施の形態にかかる内視鏡装置１の表示部５に代えて、表示部５Ａを備える。
【００６１】
表示部５Ａは、第１の表示領域Ｒ1に画像を表示する第１表示部５１と、第２の表示領域Ｒ2に画像を表示する第２表示部５２とを備えている。表示部５Ａは、液晶または有機ＥＬ（Electro  Luminescence）を用いて構成されている。
【００６２】
本変形例５では、画像取得部４１１は、生成した画像信号を第１の画像を含む第１の画像データとして第１表示部５１に入力して、第１の画像を第１の表示領域Ｒ1に表示させる。本変形例５において、画像取得部４１１は、必要に応じて表示用の画像処理を施す。また、画像データ生成部４１３は、指示画像を含む第２の画像データを生成し、表示制御部４１４に入力する。表示制御部４１４は、画像データ生成部４１３が生成した第２の画像データを第２表示部５２に入力して、第２の画像を第２の表示領域Ｒ2に表示させる制御を行う。
【００６３】
このように、本変形例５では、第１の画像が、表示制御部４１４を介することなく、第１の表示領域Ｒ1に表示される。また、第２の画像が、表示制御部４１４を介して第２表示部５２に入力され、第２の表示領域Ｒ2に表示される。本変形例５においても、上述した実施の形態と同様の効果を得ることができる。なお、変形例５において、第１の表示領域Ｒ1および第２の表示領域Ｒ2は、同一のモニタの表示画面上に設けられてもよいし、異なる二つのモニタにそれぞれ設けられるものであってもよい。すなわち、第１表示部５１よび第２表示部５２は、同一のモニタにより構成されるものであってもよいし、異なる複数のモニタにより構成されるものであってもよい。また、第１の表示領域Ｒ1および第２の表示領域Ｒ2は、並べて配置されていることが、視認性を確保するうえで好ましい。
【００６４】
なお、上述した実施の形態にかかる内視鏡装置１は、Ａ／Ｄ変換部２０５が内視鏡２に設けられているものとして説明したが、プロセッサ部４に設けられるものであってもよい。また、画像処理にかかる構成を、内視鏡２や、内視鏡２とプロセッサ部４とを接続するコネクタ、操作部２２などに設けるものであってもよい。また、上述した内視鏡装置１では、識別情報記憶部２６１に記憶された識別情報などを用いてプロセッサ部４に接続されている内視鏡２を識別するものとして説明したが、プロセッサ部４と内視鏡２との接続部分（コネクタ）に識別手段を設けてもよい。例えば、内視鏡２側に識別用のピン（識別手段）を設けて、プロセッサ部４に接続された内視鏡２を識別する。
【００６５】
また、上述した実施の形態および変形例１〜５において、術者の熟練度に応じて表示を変更するものであってもよい。この場合、例えば、装置にログインしている術者の情報をもとに、表示態様が設定される。
【００６６】
また、上述した実施の形態および変形例１〜５では、一つの注目領域が検出されたものとして説明したが、被写体画像内で複数の注目領域が検出されれば、検出された注目領域に応じて複数の指示画像が表示される。この際、上述した実施の形態および変形例１〜４に係る指示画像を組み合わせて表示してもよい。
【００６７】
また、上述した実施の形態および変形例１〜５では、医療用の軟性の内視鏡を例に説明したが、これに限らず、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管などの光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡装置であっても適用できる。本発明にかかる画像処理装置は、体内、体外を問わず適用可能であり、外部で生成された撮像信号や画像信号を含む映像信号に対して処理を施すものである。
【００６８】
このように、本発明は、ここでは記載していない様々な実施の形態等を含み得るものであり、請求の範囲に記載した技術的思想を逸脱しない範囲内において適宜設計変更等を行うことが可能である。
【産業上の利用可能性】
【００６９】
以上のように、本発明にかかる画像処理装置、画像処理方法および画像処理プログラムは、被写体画像の視認性を確保するとともに、被写体画像における注目領域を指示する情報の視認性を向上するのに有用である。
【符号の説明】
【００７０】
１  内視鏡装置
２  内視鏡
３  光源部
４  プロセッサ部
５，５Ａ  表示部
２１  挿入部
２２  操作部
２３  ユニバーサルコード
２４  先端部
３１  照明部
３１ａ  光源
３１ｂ  光源ドライバ
３１ｃ  集光レンズ
３２  照明制御部
４１  画像処理部
４２  入力部
４３  記憶部
４４  制御部
５１  第１表示部
５２  第２表示部
２０１  撮像光学系
２０２  撮像素子
２０３  ライトガイド
２０４  照明用レンズ
２０５  Ａ／Ｄ変換部
２０６  撮像情報記憶部
２６１  識別情報記憶部
４１１  画像取得部
４１２  注目領域検出部
４１３  画像データ生成部
４１４  表示制御部
【図１】
2017115442.tif 000003
【図２】
2017115442.tif 000004
【図３】
2017115442.tif 000005
【図４】
2017115442.tif 000006
【図５】
2017115442.tif 000007
【図６】
2017115442.tif 000008
【図７】
2017115442.tif 000009
【図８】
2017115442.tif 000010
【図９】
2017115442.tif 000011
【国際調査報告】
2017115442.tif 000012
2017115442.tif 000013
2017115442.tif 000014
2017115442.tif 000015