(57)【要約】  本発明にかかる画像処理装置は、互いに種類が異なり、かつ少なくとも一つが他と異なる時間に撮像されている複数の画像を用いて特定の画像に強調処理を施す画像処理装置において、複数の画像を取得する画像取得部と、複数の画像のうちの強調に利用される少なくとも一つの画像の状態を示す情報を算出する状態情報算出部と、状態を示す情報と、複数の画像とを基に強調対象の画像に対して強調処理を施すことによって強調画像を作成する強調画像作成部と、を備える。
2017221353.tif 000002
【特許請求の範囲】
【請求項１】
互いに種類が異なり、かつ少なくとも一つが他と異なる時間に撮像されている複数の画像を用いて特定の画像に強調処理を施す画像処理装置において、
前記複数の画像を取得する画像取得部と、
前記複数の画像のうちの強調に利用される少なくとも一つの画像の状態を示す情報を算出する状態情報算出部と、
前記状態を示す情報と、前記複数の画像とを基に強調対象の画像に対して強調処理を施すことによって強調画像を作成する強調画像作成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記状態情報算出部は、
前記強調に利用される少なくとも一つの画像の時系列的な状態を表す情報を算出する時系列情報算出部、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記時系列情報算出部は、
新たに取得された画像が、前記強調に利用される画像のうちの予め設定されている種類の画像であるか否かを判定する更新判定部、
を備え、
前記更新判定部による判定結果に基づいて前記予め設定されている画像の時系列的な状態を表す情報を算出する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記更新判定部は、前記強調対象の画像が新たに取得されたか否かを判定する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記更新判定部は、前記強調に利用される画像において前記強調する情報を相対的に多く含む画像が新たに取得されたか否かを判定する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記更新判定部は、
前記強調に利用される画像に対して重みを設定する重み設定部、
を備え、
前記更新判定部は、前記画像取得部が取得した画像の前記重みに基づいて、最新の画像が、前記強調に利用される画像のうちの予め設定されている種類の画像であるか否かを判定する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記重みは、前記強調に利用される前記画像における前記強調する情報の情報量に基づいて設定されている
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記重み設定部は、前記強調対象の画像の重みを他の画像の重みより大きく設定する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記時系列情報算出部は、
最新の画像と、該最新の画像よりも過去の画像とにおける前記強調に利用される画像の更新状況を判定する更新判定部、
を備え、
前記更新判定部による判定結果に基づいて前記予め設定されている画像の時系列的な状態を表す情報を算出する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項１０】
前記更新判定部は、
前記強調に利用される画像の最新の画像と、時系列で最新の画像との間の時系列的な距離を前記種類ごとに算出する時系列距離算出部、
を有することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記更新判定部は、
前記強調に利用される画像に対して重みを設定する重み設定部、
をさらに備え、
前記更新判定部は、前記時系列的な距離と前記重みとに基づいて更新を判定する
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記重みは、前記強調に利用される前記画像における前記強調する情報の情報量に基づいて設定されている
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記重み設定部は、前記強調対象の画像の重みを他の画像の重みより大きく設定する
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
前記状態情報算出部は、
前記種類が異なる複数の画像の間における被写体の差異を基に情報を算出する画像間情報算出部、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１５】
前記画像間情報算出部は、
前記強調に利用される複数の画像の間における前記被写体の動きを推定する動き推定部、
を備え、
前記画像間情報算出部は、前記動き推定部が推定した前記動きを基に、前記情報を算出する
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記画像間情報算出部は、
前記強調に利用される複数の画像の間で前記被写体の位置合わせを行う位置合わせ部と、
前記位置合わせの結果の確からしさを評価する位置合わせ評価部と、
を備え、
前記画像間情報算出部は、前記位置合わせ評価部による評価結果を基に、前記情報を算出する
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１７】
前記強調画像作成部は、前回作成した強調画像を最新のフレームにおける強調画像として設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１８】
前記強調画像作成部は、
最新の強調対象の画像と、該最新の強調対象の画像よりも時系列で前の強調対象の画像との間の位置合わせを行う位置合わせ部と、
前記位置合わせ結果を基に前記時系列で前の強調対象の画像に設定された強調量を取得する強調量取得部と、
を備え、前記状態情報算出部が算出した情報を基に、前記強調量取得部が取得した前記強調量に基づいて前記最新の強調対象の画像に対して強調処理を施す
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１９】
前記画像取得部は、中心波長が互いに異なる狭帯域光により撮像された狭帯域画像を取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項２０】
前記強調画像作成部は、前記強調に利用される画像から選択された複数の画像間の変化量に基づいて前記強調対象の画像に対して強調処理を施す
ことを特徴とする請求項１に記載の画像処理装置。
【請求項２１】
互いに種類が異なり、かつ少なくとも一つが他と異なる時間に撮像されている複数の画像を用いて特定の画像に強調処理を施す画像処理装置の作動方法であって、
画像取得部が、前記複数の画像を取得する画像取得ステップと、
状態情報算出部が、前記複数の画像のうちの強調に利用される少なくとも一つの画像の状態を示す情報を算出する状態情報算出ステップと、
強調画像作成部が、前記状態を示す情報と、前記複数の画像とを基に強調対象の画像に強調処理を施すことによって強調画像を作成する強調画像作成ステップと、
を含むことを特徴とする画像処理装置の作動方法。
【請求項２２】
互いに種類が異なり、かつ少なくとも一つが他と異なる時間に撮像されている複数の画像を用いて特定の画像に強調処理を施す画像処理装置の作動プログラムであって、
画像取得部が、前記複数の画像を取得する画像取得手順と、
状態情報算出部が、前記複数の画像のうちの強調に利用される少なくとも一つの画像の状態を示す情報を算出する状態情報算出手順と、
強調画像作成部が、前記状態を示す情報と、前記複数の画像とを基に強調対象の画像に強調処理を施すことによって強調画像を作成する強調画像作成手順と、
をコンピュータに実行させることを特徴とする画像処理装置の作動プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、内視鏡により撮像された画像に対する画像処理を行う画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムに関する。
【背景技術】
【０００２】
内視鏡により生体内を照射する照明光としては、白色光や狭帯域光が用いられる。狭帯域光は波長帯域によって吸収散乱特性が異なるため、使用する狭帯域光を適宜選択することにより、波長帯域に応じた被写体の特徴を抽出することができる。従来、このような吸収散乱特性の違いを利用して、複数の画像を基に特定の情報を強調する処理が提案されている。【０００３】
例えば、特許文献１には、ヘモグロビンの吸光特性が異なる二枚の画像を利用し、一方の画像における吸光変化を強調する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５３６２１４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
強調対象の画像と、強調量を算出するための画像とが時系列に沿って交互に撮像される場合、特許文献１が開示する技術では、強調対象の画像の前後に撮像された画像から算出される強調量を用いて、強調対象の画像をそれぞれ強調することになる。この際、強調対象の画像よりも前に撮像された画像による強調量と、強調対象の画像より後に撮像された画像による強調量とが、画像の変化により異なり、同一の強調対象の画像に対して異なる強調量で強調された強調画像が得られる場合がある。その結果、同一の画像に対して異なる強調量により強調された強調画像が動画表示されることになり、連続して表示される強調画像にぶれが生じていた。このように、特許文献１では、取得された画像に応じた強調処理が施されておらず、観察を阻害するおそれがあった。【０００６】
本発明は、上記に鑑みて為されたものであって、取得した画像に応じて適切な強調画像を生成することができる画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムの提供を目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、互いに種類が異なり、かつ少なくとも一つが他と異なる時間に撮像されている複数の画像を用いて特定の画像に強調処理を施す画像処理装置において、前記複数の画像を取得する画像取得部と、前記複数の画像のうちの強調に利用される少なくとも一つの画像の状態を示す情報を算出する状態情報算出部と、前記状態を示す情報と、前記複数の画像とを基に強調対象の画像に対して強調処理を施すことによって強調画像を作成する強調画像作成部と、を備えることを特徴とする。【０００８】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動方法は、互いに種類が異なり、かつ少なくとも一つが他と異なる時間に撮像されている複数の画像を用いて特定の画像に強調処理を施す画像処理装置の作動方法であって、画像取得部が、前記複数の画像を取得する画像取得ステップと、状態情報算出部が、前記複数の画像のうちの強調に利用される少なくとも一つの画像の状態を示す情報を算出する状態情報算出ステップと、強調画像作成部が、前記状態を示す情報と、前記複数の画像とを基に強調対象の画像に強調処理を施すことによって強調画像を作成する強調画像作成ステップと、を含むことを特徴とする。【０００９】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動プログラムは、互いに種類が異なり、かつ少なくとも一つが他と異なる時間に撮像されている複数の画像を用いて特定の画像に強調処理を施す画像処理装置の作動プログラムであって、画像取得部が、前記複数の画像を取得する画像取得手順と、状態情報算出部が、前記複数の画像のうちの強調に利用される少なくとも一つの画像の状態を示す情報を算出する状態情報算出手順と、強調画像作成部が、前記状態を示す情報と、前記複数の画像とを基に強調対象の画像に強調処理を施すことによって強調画像を作成する強調画像作成手順と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、取得した画像に応じて適切な強調画像を生成することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係る画像処理装置が行う画像処理を説明するフローチャートである。
【図３】図３は、本発明の実施の形態１における強調画像の作成処理を示すフローチャートである。
【図４】図４は、本発明の実施の形態１に係る画像処理装置が行う画像処理において取得される画像を説明する図である。
【図５】図５は、本発明の実施の形態１の変形例１に係る画像処理装置が行う画像処理において取得される画像を説明する図である。
【図６】図６は、本発明の実施の形態１の変形例２に係る画像処理装置の機能構成を示すブロック図である。
【図７】図７は、本発明の実施の形態１の変形例２における強調画像の作成処理を示すフローチャートである。
【図８】図８は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。
【図９】図９は、本発明の実施の形態２に係る画像処理装置が行う画像処理を説明するフローチャートである。
【図１０】図１０は、本発明の実施の形態２における状態情報の算出処理を示すフローチャートである。
【図１１】図１１は、本発明の実施の形態２における強調画像の作成処理を示すフローチャートである。
【図１２】図１２は、本発明の実施の形態２の変形例１における状態情報の算出処理を示すフローチャートである。
【図１３】図１３は、本発明の実施の形態２の変形例２に係る画像処理装置の機能構成を示すブロック図である。
【図１４】図１４は、本発明の実施の形態２の変形例２における状態情報の算出処理を示すフローチャートである。
【図１５】図１５は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。
【図１６】図１６は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。
【図１７】図１７は、本発明の実施の形態３における状態情報の算出処理を示すフローチャートである。
【図１８】図１８は、本発明の実施の形態３の変形例に係る画像処理装置の機能構成を示すブロック図である。
【図１９】図１９は、本発明の実施の形態３の変形例における状態情報の算出処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態に係る画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムについて、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１３】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。本実施の形態１に係る画像処理装置１は、内視鏡により取得された複数の画像を基に、白色画像には表れ難い吸光変化を抽出し、抽出した吸光変化を１つ又は複数の画像と合成して表示用の画像を作成する装置である。
【００１４】
以下の説明においては、ビデオスコープと呼ばれる一般的な内視鏡又はカプセル型内視鏡によって生体の管腔内を撮像することにより取得された狭帯域画像及び白色画像を含む内視鏡画像を処理対象とする。
【００１５】
図１に示すように、画像処理装置１は、該画像処理装置１全体の動作を制御する制御部１０と、内視鏡画像の画像データを取得する画像取得部２０と、外部からの操作により入力信号を発生させる入力部３０と、各種表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記憶部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。
【００１６】
制御部１０は、ＣＰＵ（Central  Processing  Unit）等の汎用プロセッサやＡＳＩＣ（Application  Specific  Integrated  Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部１０が汎用プロセッサである場合、記憶部５０が記憶する各種プログラムを読み込むことによって画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括して制御する。また、制御部１０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部５０が記憶する各種データ等を用いることで、プロセッサと記憶部５０が協働又は結合して種々の処理を実行してもよい。
【００１７】
画像取得部２０は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、ビデオスコープを体内に挿入する一般的な内視鏡システムの画像処理装置１に接続する場合、画像取得部２０は、内視鏡システムにおいて生成された画像データを取り込むインタフェースによって構成される。また、内視鏡システムにおいて生成された画像データを保存するサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとの間でデータ通信を行って画像データを取得する。或いは、生体内を移動しながら撮像を行うカプセル型内視鏡を用いる場合には、カプセル型内視鏡との間で可搬型の記憶媒体を用いて画像データを受け渡ししてもよく、この場合、画像取得部２０は、可搬型の記憶媒体を着脱自在に装着し、記憶された画像の画像データを読み出すリーダ装置によって構成される。
【００１８】
入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって構成され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部１０に出力する。
【００１９】
表示部４０は、ＬＣＤ（Liquid  Crystal  Display）やＥＬ（ElectroLuminescence）ディスプレイ等の表示装置によって構成され、制御部１０の制御の下で、内視鏡画像を含む各種画面を表示する。
【００２０】
記憶部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク又はＣＤ−ＲＯＭ等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって構成される。記憶部５０は、画像取得部２０によって取得された内視鏡画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的に、記憶部５０は、内視鏡によって取得された、波長成分の分布が互いに異なる複数の狭帯域画像に基づき、１つ又は複数の狭帯域画像を強調して強調画像を作成する画像処理を当該画像処理装置１に実行させる画像処理装置２の作動プログラムを記憶するプログラム記憶部５１を有する。
【００２１】
演算部１００は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部１００が汎用プロセッサである場合、プログラム記憶部５１が記憶する画像処理プログラムを読み込むことにより画像処理を実行する。また、演算部１００が専用プロセッサである場合、プロセッサが単独で種々の処理を実行してもよいし、記憶部５０が記憶する各種データ等を用いることで、プロセッサと記憶部５０が協働又は結合して画像処理を実行してもよい。
【００２２】
次に、演算部１００の構成について説明する。図１に示すように、演算部１００は、画像取得部２０が取得した複数の狭帯域画像から画像の状態情報を算出する状態情報算出部１１０と、状態情報に基づいて狭帯域画像を強調した強調画像を作成する強調画像作成部１２０とを備える。以下においては、一例として、中心波長が互いに異なる複数の狭帯域画像を取得した場合の処理を説明する。
【００２３】
ここで、本実施の形態１では、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする四つの狭帯域光を順次照射して狭帯域画像が取得されるものとして説明する。本明細書では、異なる中心波長の狭帯域光により得られた、狭帯域光の種類が異なる複数の狭帯域画像が取得されるものとして説明する。以下、Ｘｎｍを中心波長とする狭帯域光により撮像された狭帯域画像をλX画像と記載する。本実施の形態１では、これら４つの狭帯域画像全てが強調に利用され、λ415画像、λ460画像及びλ630画像を基に抽出された情報をλ540画像に合成してλ540画像を強調する。４１５ｎｍ近傍の狭帯域光は、ヘモグロビンに吸収され易く、かつ管腔内の粘膜に散乱され易いという特性がある。また、６３０ｎｍ近傍の狭帯域光は、ヘモグロビンに吸収され難く、粘膜にも散乱され難いため、管腔内の奥まで到達し易いという特性がある。このように、狭帯域光の特性の違いに基づき、粘膜下表層の微細血管や、血管増生によって生じる領域的な吸光変化等の画像情報を、吸光情報として狭帯域画像から抽出することができる。
【００２４】
状態情報算出部１１０は、強調に利用する狭帯域画像の状態を表す状態情報を算出する処理を行う。具体的には、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像であるか否かを判定し、判定結果を状態情報とする。新たに取得された狭帯域画像は、例えば記憶部５０に記憶される。この際、同一狭帯域の狭帯域画像について過去の狭帯域画像が記憶されている場合は、今回取得された狭帯域画像が、最新の狭帯域画像として更新される。ここでいう狭帯域画像の状態とは、最新の狭帯域画像によって予め設定された狭帯域画像が更新されたか否かの更新状態のことをいう。
【００２５】
状態情報算出部１１０は、狭帯域画像の時系列的な状態を表す情報を算出する時系列情報算出部１１１を備える。時系列情報算出部１１１は、強調に利用する狭帯域画像の更新状態を判定する更新判定部１１１ａを備える。時系列的な状態とは、時系列で取得される狭帯域画像の更新の有無のことをいい、時系列的に変化する状態のことをいう。更新判定部１１１ａは、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像であるか否かを判定する。以下の説明では、更新判定部１１１ａが、対象の狭帯域画像が最新の狭帯域画像として新たに取得されて更新されたか否かを判定するものとして説明する。
【００２６】
強調画像作成部１２０は、状態情報算出部１１０が算出した状態情報に基づいて、λ415画像、λ460画像及びλ630画像を基に抽出された情報をλ540画像に合成することにより、λ540画像に対して強調処理を施す。具体的に、強調画像作成部１２０は、λ460画像及びλ630画像に対するλ415画像の各差分を算出することで、λ415画像で強く表れる情報を強調する情報として抽出し、得られた情報を強調量と看做してλ540画像に合成する。強調量は、例えば、λ460画像とλ415画像との差分と、λ630画像とλ415画像との差分の平均値、又は、二つの差分のうちの大きい方の値若しくは小さい方の値である。なお、強調方法はこの処理に限定されるものではなく、複数の画像を基に特定の画像を強調する処理であれば他の方法を用いてもよい。このほか、強調部分以外のコントラストを低減するなど、強調対象が強調されるような処理であってもよい。また、強調画像作成部１２０は、λ540画像が更新されていないと判定されている場合、前回作成した強調画像であるλ540画像を取得し、このλ540画像を最新のフレームにおける強調画像とする。
【００２７】
次に、画像処理装置１の動作について説明する。図２は、画像処理装置１が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像取得部２０は、中心波長が互いに異なる複数の画像を取得する。具体的には、画像取得部２０は、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする四つの狭帯域光によりそれぞれ撮像された四つの狭帯域画像であるλ415画像、λ460画像、λ540画像及びλ630画像を順次取得する。
【００２８】
ここで、内視鏡による狭帯域画像の取得方法の一例として、複数の狭帯域の波長ピークを有する光を発光するＬＥＤを用いる方法が挙げられる。例えば、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする四つの狭帯域光をそれぞれ出射する四つのＬＥＤ（Light  Emitting  Diode）を設け、これらのＬＥＤを順次発光させて生体内を照射し、生体内からの反射光をカラーの撮像素子により、狭帯域光ごとに取得する。それにより、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍをそれぞれ中心波長とする四つの狭帯域画像を得ることができる。なお、これらの狭帯域画像を取得する際の狭帯域光の実際の中心波長は、上述した４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍの各値の近傍の値であってもよい。
【００２９】
続くステップＳ１１において、状態情報算出部１１０は、λ540画像に関する状態情報を算出する。具体的に、更新判定部１１１ａが、λ540画像が最新のフレームにおける狭帯域画像であるか否かを判定する。時系列情報算出部１１１は、更新判定部１１１ａによる判定結果に基づくλ540画像の時系列情報を算出する。状態情報算出部１１０は、時系列情報算出部１１１が算出したλ540画像の時系列情報を、状態情報として強調画像作成部１２０に出力する。
【００３０】
続くステップＳ１２において、強調画像作成部１２０が、λ540画像の強調画像を作成する。図３は、本発明の実施の形態１における強調画像の作成処理を示すフローチャートである。
【００３１】
ステップＳ１２１において、強調画像作成部１２０は、状態情報算出部１１０が算出した状態情報を基に、強調対象の狭帯域画像であるλ540画像が最新のフレームで更新されたフレームであるか否かを判断する。
【００３２】
強調画像作成部１２０は、λ540画像が最新のフレームにおける狭帯域画像であると判定されている場合（ステップＳ１２１：Ｙｅｓ）、このλ540画像に対して強調処理を施す（ステップＳ１２２）。強調画像作成部１２０は、上述したように、λ460画像及びλ630画像に対するλ415画像の各差分に基づく強調量をλ540画像に合成する。強調画像作成部１２０は、合成後のλ540画像を強調画像とする。その後、制御部１０は、メインルーチンに戻り、画像処理を終了する。また、制御部１０は、強調処理が施されたλ540画像を表示部４０に表示させる制御を行う。
【００３３】
これに対し、強調画像作成部１２０は、λ540画像が最新のフレームにおける狭帯域画像ではないと判定されている場合（ステップＳ１２１：Ｎｏ）、前回作成した強調画像であるλ540画像を取得し、この取得したλ540画像を最新のフレームにおける強調画像とする（ステップＳ１２３）。
【００３４】
上述したステップＳ１２２，Ｓ１２３により、λ540画像の更新状況に応じた強調画像が作成される。図４は、本発明の実施の形態１に係る画像処理装置が行う画像処理において取得される画像を説明する図である。画像取得部２０は、上述したように、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする四つの狭帯域光によりそれぞれ撮像された四つの狭帯域画像を順次取得する。図４に示すように、５４０ｎｍ、４１５ｎｍ、４６０ｎｍ、６３０ｎｍの順で狭帯域光が出射され、狭帯域光に応じたλ540画像、λ415画像、λ460画像及びλ630画像が順に取得される場合、例えば、時間ｔ1においてλ540画像であるフレームＦ540_１が取得され、時間ｔ2においてλ415画像であるフレームＦ415_１が取得され、時間ｔ3においてλ460画像であるフレームＦ460_１が取得され、時間ｔ4においてλ630画像であるフレームＦ630_１が取得される。その後、時間ｔ5において再びλ540画像のフレームＦ540_２が取得され、上述した順でλ540画像、λ415画像、λ460画像及びλ630画像の各フレームの取得が繰り返される。
【００３５】
図４に示す場合、更新判定部１１１ａは、時間ｔ1及びｔ5において、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像であると判定する。強調画像作成部１２０は、この時間ｔ1及びｔ5において、λ540画像に対する強調処理を実行する。
【００３６】
これに対し、更新判定部１１１ａは、時間ｔ2〜ｔ4において、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像ではないと判定する。この場合、強調画像作成部１２０は、この時間ｔ2〜ｔ4において、前回強調処理を施したλ540画像を強調画像とする。具体的に、強調画像作成部１２０は、時間ｔ2〜ｔ4において、時間ｔ1で強調処理を施したλ540画像を強調画像とする。
【００３７】
以上説明した本実施の形態１によれば、強調画像作成部１２０が、強調対象の狭帯域画像であるλ540画像の更新状況に応じてλ540画像に対して強調処理を施すようにしたので、取得した画像に応じて適切な強調画像を生成することができる。
【００３８】
また、本実施の形態１によれば、強調画像作成部１２０が、強調対象の狭帯域画像であるλ540画像の更新状況に応じて、λ540画像に対して強調処理を施すか、前回強調処理を施したλ540画像を今回の強調画像とするかのいずれかを実行するようにしたので、時系列に沿って表示する画像に対して強調処理を施す際の強調画像のぶれを抑制することができる。
【００３９】
なお、照射する光の波長帯域や照射順序、撮像手段は、上述した実施の形態１に限定されるものではなく、強調に利用されない画像を撮像しても構わない。例えば、４１５ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする各狭帯域光の同時発光と、４６０ｎｍ、５４０ｎｍ、６００ｎｍを中心波長とする各狭帯域光の同時発光とを交互に繰り返し、ベイヤセンサや三板センサ等で撮像された狭帯域画像を取得してもよい。また、使用される光源も限定されるものでなく、ＬＥＤやキセノン光源、レーザ光源などを用いることができる。
【００４０】
また、狭帯域画像の取得方法の別の例として、キセノンランプ等の白色光源の前方に狭帯域フィルタを配置し、該狭帯域フィルタにより狭帯域化された光で生体内を順次照射する方法や、中心波長が互いに異なる狭帯域光をそれぞれ発光する複数のレーザーダイオードを順次駆動する方法も挙げられる。さらには、生体内を白色光により照射し、生体からの反射光を、狭帯域フィルタを介して撮像素子に入射させることにより、狭帯域画像を取得してもよい。
【００４１】
（実施の形態１の変形例１）
次に、本発明の実施の形態１の変形例１について説明する。図５は、本発明の実施の形態１の変形例１に係る画像処理装置が行う画像処理において取得される画像を説明する図である。上述した実施の形態１では、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする四つの狭帯域光が順次出射されて、λ415画像、λ460画像、λ540画像及びλ630画像を取得するものとして説明した。本変形例１では、４１５ｎｍ、５４０ｎｍ、６００ｎｍを中心波長とする各狭帯域光の同時発光と、４６０ｎｍ、６３０ｎｍを中心波長とする各狭帯域光の同時発光とを交互に繰り返して出射して、狭帯域画像を取得する。
【００４２】
本変形例１では、プリズムなどの分光部材を用いて、各中心波長を有する複数の狭帯域光を含む観察光を分光して、各狭帯域光に応じた狭帯域画像を取得する。この場合、図５に示すように、時間ｔ11においてλ540画像であるフレームＦ540_１、λ415画像であるフレームＦ415_１及びλ600画像であるフレームＦ600_１が取得され、時間ｔ12においてλ460画像及びλ630画像であるフレームＦ630_１が取得される。その後、時間ｔ13において再びλ540画像であるフレームＦ540_２、λ415画像であるフレームＦ415_２及びλ600画像であるフレームＦ600_２が取得され、時間ｔ14においてλ460画像及びλ630画像が取得される。このように、本変形例１では、２フレームの狭帯域画像の取得時間で、λ415画像、λ460画像、λ540画像、λ600画像及びλ630画像の取得を繰り返し行うことができる。なお、本変形例１では、上述した実施の形態１のフローチャートに沿って処理を行う場合、λ415画像、λ460画像、λ540画像及びλ630画像が強調に利用される狭帯域画像となり、λ600画像が強調には利用されない狭帯域画像となる。
【００４３】
本変形例１では、更新判定部１１１ａは、時間ｔ11及びｔ13において、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像であると判定する。強調画像作成部１２０は、この時間ｔ1１及びｔ13において、λ540画像に対する強調処理を実行する。
【００４４】
これに対し、更新判定部１１１ａは、時間ｔ12及びｔ14において、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像ではないと判定する。この場合、強調画像作成部１２０は、この時間ｔ12及びｔ14において、前回強調処理を施したλ540画像を強調画像とする。具体的に、強調画像作成部１２０は、時間ｔ12においては、時間ｔ11で強調処理を施したλ540画像を強調画像とし、時間ｔ14においては、時間ｔ13で強調処理を施したλ540画像を強調画像とする。このように、本変形例１では、今回判定したフレームにおいて強調処理を施したλ540画像と、前回強調処理を施したλ540画像とが、交互に強調画像として選択されることになる。
【００４５】
以上説明した本変形例１によれば、各中心波長を有する複数の狭帯域光を含む同時発光により、互いに異なる複数の狭帯域光による狭帯域画像を取得するため、時系列に沿って表示される画像を強調して表示する際の強調画像のぶれを抑制するとともに、λ540画像に対して強調処理を施す頻度を大きくすることができる。
【００４６】
（実施の形態１の変形例２）
次に、本発明の実施の形態１の変形例２について説明する。図６は、本発明の実施の形態１の変形例２に係る画像処理装置の機能構成を示すブロック図である。本変形例２に係る画像処理装置１Ａは、図１に示す演算部１００に代えて、演算部１００Ａを備える。演算部１００Ａは、図１に示す強調画像作成部１２０に代えて、強調画像作成部１２０Ａを備える。なお、強調画像作成部１２０Ａ以外の演算部の各部の構成及び動作、並びに演算部以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。
【００４７】
強調画像作成部１２０Ａは、状態情報算出部１１０が算出した状態情報に基づいて、λ415画像、λ460画像及びλ630画像を基に抽出された情報をλ540画像に合成することにより、λ540画像に対して強調処理を施す。強調画像作成部１２０Ａは、位置合わせ部１２０ａと、強調量取得部１２０ｂとを備える。
【００４８】
位置合わせ部１２０ａは、最新のλ540画像と、この最新のλ540画像より前のフレームにおけるλ540画像（以下、過去のλ540画像ともいう）との位置合わせを行う。位置合わせ部１２０ａは、公知の方法、例えば一方の画像をテンプレートとしたパターンマッチングにより位置合わせを行う。過去のλ540画像は、一つ前のフレームであってもよいし、設定された回数を遡ったフレームであってもよい。
【００４９】
強調量取得部１２０ｂは、位置合わせ部１２０ａによる位置合わせ結果を基に、過去のλ540画像に設定された強調量を最新のλ540画像の位置に合わせて取得する。
【００５０】
また、本変形例２において、更新判定部１１１ａは、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像であるか否かを判定するとともに、強調対象の情報が高いコントラストで表れるλ415画像が最新のフレームにおける狭帯域画像であるか否かを判定する。換言すれば、λ415画像は、強調する情報の情報量、例えば強調したい血管の成分のコントラスト情報が他の狭帯域画像と比して相対的に多い狭帯域画像である。
【００５１】
次に、画像処理装置１Ａの動作について説明する。画像処理装置１Ａは、図２に示すステップＳ１０〜Ｓ１２と同様の流れで処理を行う。まず、画像取得部２０が、λ415画像、λ460画像、λ540画像及びλ630画像を順次取得する。
【００５２】
その後、画像処理装置１Ａは、状態情報算出部１１０が、λ540画像及びλ415画像に関する状態情報を算出する。
【００５３】
続いて、強調画像作成部１２０Ａが、λ540画像の強調画像を作成する。図７は、本発明の実施の形態１の変形例２における強調画像の作成処理を示すフローチャートである。
【００５４】
ステップＳ１３１において、強調画像作成部１２０Ａは、状態情報算出部１１０が算出した状態情報を基に、λ415画像が最新のフレームにおける狭帯域画像であるか否かを判断する。
【００５５】
強調画像作成部１２０Ａは、λ415画像が最新のフレームにおける狭帯域画像であると判定されている場合（ステップＳ１３１：Ｙｅｓ）、このλ540画像に対して強調処理を施す（ステップＳ１３２）。強調画像作成部１２０Ａは、上述したように、λ460画像及びλ630画像に対するλ415画像の各差分に基づく強調量をλ540画像に合成する。強調画像作成部１２０Ａは、合成後のλ540画像を強調画像とする。その後、制御部１０は、メインルーチンに戻り、画像処理を終了する。また、制御部１０は、強調処理が施されたλ540画像を表示部４０に表示させる制御を行う。
【００５６】
これに対し、強調画像作成部１２０Ａは、λ415画像が最新のフレームにおける狭帯域画像ではないと判定されている場合（ステップＳ１３１：Ｎｏ）、ステップＳ１３３に移行する。
【００５７】
ステップＳ１３３において、強調画像作成部１２０Ａは、状態情報算出部１１０が算出した状態情報を基に、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像であるか否かを判断する。
【００５８】
強調画像作成部１２０Ａは、λ540画像が最新のフレームにおける狭帯域画像であると判定されている場合（ステップＳ１３３：Ｙｅｓ）、ステップＳ１３４に移行する。
【００５９】
ステップＳ１３４において、位置合わせ部１２０ａは、最新のフレームのλ540画像と、過去のλ540画像との位置合わせを行う。
【００６０】
ステップＳ１３４に続くステップＳ１３５において、強調画像作成部１２０Ａは、位置合わせ部１２０ａによる位置合わせ結果を基に、最新のフレームのλ540画像に対する強調処理を実行する。具体的に、強調量取得部１２０ｂが、位置合わせ部１２０ａによる位置合わせ結果を基に、過去のλ540画像に設定された強調量を最新のλ540画像の位置に合わせて取得する。強調画像作成部１２０Ａは、強調量取得部１２０ｂが取得した強調量に基づいて、最新のフレームのλ540画像に対する強調処理を実行する。その後、制御部１０は、メインルーチンに戻り、画像処理を終了する。また、制御部１０は、強調処理が施されたλ540画像を表示部４０に表示させる制御を行う。
【００６１】
一方、強調画像作成部１２０Ａは、λ540画像が最新のフレームにおける狭帯域画像ではないと判定されている場合（ステップＳ１３３：Ｎｏ）、前回作成した強調画像であるλ540画像を取得し、この取得したλ540画像を最新のフレームにおける強調画像とする（ステップＳ１３６）。その後、制御部１０は、メインルーチンに戻り、画像処理を終了する。また、制御部１０は、強調処理が施されたλ540画像を表示部４０に表示させる制御を行う。
【００６２】
本変形例２では、上述したステップＳ１３２，Ｓ１３５，Ｓ１３６により、λ540画像及びλ415画像の更新状況に応じた強調画像が作成される。
【００６３】
以上説明した本変形例２によれば、強調画像作成部１２０Ａが、強調対象の狭帯域画像であるλ540画像と、強調すべき情報の情報量が多いλ415画像との更新状況に応じて、λ540画像に対して強調処理を施すか、前回強調処理を施したλ540画像に関する情報を今回の強調画像に反映するかのいずれかを実行するようにしたので、取得した画像に応じて適切な強調画像を生成するとともに、時系列に沿って表示する画像に対して強調処理を施す際の強調画像のぶれを抑制することができる。
【００６４】
なお、本変形例２において、強調対象の情報が高いコントラストで表れる狭帯域画像は、事前に設定されており、例えば、λ415画像として設定されている。設定する狭帯域画像は、一つに限定する必要は無く、例えば、λ415画像とλ460画像のように二つの狭帯域画像を設定してもよい。
【００６５】
本変形例２では、λ540画像が更新された場合に、過去の強調量を利用して最新のλ540画像を強調する方法を例示したが、λ540画像が更新された場合に、前回作成した強調画像を最新のフレームにおける強調画像としてもよい。
【００６６】
（実施の形態２）
次に、本発明の実施の形態２について説明する。図８は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。図８に示すように、本実施の形態２に係る画像処理装置１Ｂは、図６に示す演算部１００Ａに代えて、演算部１００Ｂを備える。演算部１００Ｂは、図６に示す状態情報算出部１１０に代えて、状態情報算出部１１０Ａを備える。なお、状態情報算出部１１０Ａ以外の演算部の各部の構成及び動作、並びに演算部以外の画像処理装置の各部の構成及び動作は、実施の形態１の変形例２と同様である。
【００６７】
状態情報算出部１１０Ａは、狭帯域画像の時系列情報を算出する時系列情報算出部１１１Ａを備える。時系列情報算出部１１１Ａは、強調に利用する狭帯域画像の更新状態を判定する更新判定部１１１ｂを備える。
【００６８】
更新判定部１１１ｂは、最新のフレームにおける狭帯域画像が、上述したλ415画像、λ460画像、λ540画像及びλ630画像のいずれであるかを判定する。
【００６９】
更新判定部１１１ｂは、強調処理に利用する重みの設定を行う重み設定部１１１１を備える。重み設定部１１１１が設定する重みは、強調する情報の情報量に基づいて各狭帯域画像に対して設定される値である。重みは、例えば、強調する情報のコントラストが高い狭帯域画像ほど大きくなるよう設定されている。具体的には、λ415画像で強く表れる血管を強調する情報として抽出する場合、この血管のコントラストが高いλ415画像での重みが最も大きくなる。本実施の形態２では、重み設定部１１１１は、事前に設定されている値を取得する。本実施の形態２に係る重みは、強調処理を行うか否かの判定を行うための判定値として機能する。
【００７０】
状態情報算出部１１０Ａは、更新判定部１１１ｂの判定結果から、最新のフレームにおける狭帯域画像がλ415画像、λ460画像、λ540画像及びλ630画像のいずれであるか判定する。その後、重み設定部１１１１が最新のフレームで更新された狭帯域画像の重みを設定し、状態情報算出部１１０Ａが、この設定された重みを状態情報として算出する。なお、上述した同時光によって複数の狭帯域画像が同時に取得された場合は、各狭帯域画像に設定されている重みを合計し、この合計値を状態情報とする。
【００７１】
次に、画像処理装置１の動作について説明する。図９は、画像処理装置１Ｂが行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像取得部２０は、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする四つの狭帯域光によりそれぞれ撮像された四つの狭帯域画像であるλ415画像、λ460画像、λ540画像及びλ630画像を順次取得する。
【００７２】
続くステップＳ２１において、状態情報算出部１１０Ａは、狭帯域画像に関する状態情報を算出する。図１０は、本発明の実施の形態２における状態情報の算出処理を示すフローチャートである。
【００７３】
ステップＳ２１１において、更新判定部１１１ｂは、最新のフレームにおける狭帯域画像の種類を判定する。具体的には、更新判定部１１１ｂは、最新のフレームにおける狭帯域画像がλ415画像、λ460画像、λ540画像及びλ630画像のいずれであるかを判定する。
【００７４】
ステップＳ２１１に続くステップＳ２１２において、重み設定部１１１１は、更新判定部１１１ｂの判定結果に基づいて、更新された狭帯域画像に対応する重みを取得する。状態情報算出部１１０Ａは、最新のフレームで更新された狭帯域画像の重みを取得し、この取得した重みを状態情報として設定する。
【００７５】
続くステップＳ２２において、強調画像作成部１２０Ａが、λ540画像の強調画像を作成する。図１１は、本発明の実施の形態２における強調画像の作成処理を示すフローチャートである。
【００７６】
ステップＳ２２１において、強調画像作成部１２０Ａは、状態情報算出部１１０Ａが算出した状態情報が閾値以上であるか否かを判断する。具体的に、強調画像作成部１２０Ａは、状態情報として設定された重みが、予め設定されている閾値以上であるか否かを判断する。閾値としては、例えば最も大きい重みに応じた値が設定されている。
【００７７】
強調画像作成部１２０Ａは、重みが閾値以上であると判定されている場合（ステップＳ２２１：Ｙｅｓ）、このλ540画像に対して強調処理を施す（ステップＳ２２２）。強調画像作成部１２０Ａは、上述したように、λ460画像及びλ630画像に対するλ415画像の各差分に基づく強調量をλ540画像に合成する。強調画像作成部１２０Ａは、合成後のλ540画像を強調画像とする。その後、制御部１０は、メインルーチンに戻り、画像処理を終了する。また、制御部１０は、強調処理が施されたλ540画像を表示部４０に表示させる制御を行う。
【００７８】
これに対し、強調画像作成部１２０は、重みが閾値より小さいと判定されている場合（ステップＳ２２１：Ｎｏ）、ステップＳ２２３に移行する。
【００７９】
ステップＳ２２３において、強調画像作成部１２０Ａは、状態情報算出部１１０Ａが算出した状態情報を基に、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像であるか否かを判断する。
【００８０】
強調画像作成部１２０Ａは、λ540画像が最新のフレームにおける狭帯域画像であると判定されている場合（ステップＳ２２３：Ｙｅｓ）、ステップＳ２２４に移行する。
【００８１】
ステップＳ２２４において、位置合わせ部１２０ａは、最新のフレームのλ540画像と、過去のλ540画像との位置合わせを行う。
【００８２】
ステップＳ２２４に続くステップＳ２２５において、強調画像作成部１２０Ａは、位置合わせ部１２０ａによる位置合わせ結果を基に、最新のλ540画像に対する強調処理を実行する。具体的に、強調量取得部１２０ｂが、位置合わせ部１２０ａによる位置合わせ結果を基に、過去のλ540画像に設定された強調量を最新のλ540画像の位置に合わせて取得する。強調画像作成部１２０Ａは、強調量取得部１２０ｂが取得した強調量に基づいて、最新のフレームのλ540画像に対する強調処理を実行する。その後、制御部１０は、メインルーチンに戻り、画像処理を終了する。また、制御部１０は、強調処理が施されたλ540画像を表示部４０に表示させる制御を行う。
【００８３】
一方、強調画像作成部１２０Ａは、λ540画像が最新のフレームにおける狭帯域画像ではないと判定されている場合（ステップＳ２２３：Ｎｏ）、前回作成した強調画像であるλ540画像を取得し、このλ540画像を最新のフレームにおける強調画像とする（ステップＳ２２６）。その後、制御部１０は、メインルーチンに戻り、画像処理を終了する。また、制御部１０は、強調処理が施されたλ540画像を表示部４０に表示させる制御を行う。
【００８４】
本実施の形態２では、上述したステップＳ２２２，Ｓ２２５，Ｓ２２６により、狭帯域画像の更新状況に応じた強調画像が作成される。
【００８５】
以上説明した本実施の形態２によれば、強調画像作成部１２０Ａが、重み付けがなされた狭帯域画像の更新状況に応じて、λ540画像に対して強調処理を施すか、前回強調処理を施したλ540画像に関する情報を今回の強調画像に反映するかのいずれかを実行するようにしたので、取得した画像に応じて適切な強調画像を生成するとともに、時系列に沿って表示する画像に対して強調処理を施す際の強調画像のぶれを抑制することができる。
【００８６】
なお、上述した実施の形態２では、強調対象の情報のコントラストに基づいて重みを設定したが、強調対象の画像が他の画像より重みが大きくなるよう設定してもよい。
【００８７】
（実施の形態２の変形例１）
次に、本発明の実施の形態２の変形例１について説明する。上述した実施の形態２では、予め設定された重みを用いるものとして説明した。本変形例１では、観察モードや設定入力されている条件に応じて適応的に重みの設定を行う。
【００８８】
図１２は、本発明の実施の形態２の変形例１における状態情報の算出処理を示すフローチャートである。ステップＳ２１３において、重み設定部１１１１は、更新判定部１１１ｂの判定結果に基づいて、更新された狭帯域画像に対応する重みの設定を行う。重み設定部１１１１は、観察モードや設定入力されている条件に応じて各狭帯域画像に対して重みの設定を行う。例えば、表層の血管を観察するモードや、深部の血管を観察するモード等、観察対象の血管の情報のコントラストが高い狭帯域画像の重みが大きくなるような重みの設定を行う。
【００８９】
ステップＳ２１３に続くステップＳ２１１において、更新判定部１１１ｂは、最新のフレームにおける狭帯域画像であるがλ415画像、λ460画像、λ540画像及びλ630画像のいずれであるかを判定する。
【００９０】
ステップＳ２１１に続くステップＳ２１２において、重み設定部１１１１は、更新判定部１１１ｂの判定結果に基づいて、最新のフレームにおける狭帯域画像に対応する重みを取得する。状態情報算出部１１０Ａは、最新のフレームにおける狭帯域画像の重みを取得し、この取得した重みを状態情報として設定する。
【００９１】
このように、観察対象に応じて適応的に重みを設定するようにして、観察中に適宜設定されるモードに応じて、強調処理の設定を変更するようにしてもよい。
【００９２】
（実施の形態２の変形例２）
次に、本発明の実施の形態２の変形例２について説明する。図１３は、本発明の実施の形態２の変形例２に係る画像処理装置の機能構成を示すブロック図である。本変形例２に係る画像処理装置１Ｃは、図８に示す演算部１００Ｂに代えて、演算部１００Ｃを備える。演算部１００Ｃは、図８に示す状態情報算出部１１０Ａに代えて、状態情報算出部１１０Ｂを備える。なお、状態情報算出部１１０Ｂ以外の演算部の各部の構成及び動作、並びに演算部以外の画像処理装置の各部の構成及び動作は、実施の形態２と同様である。
【００９３】
状態情報算出部１１０Ｂは、狭帯域画像の時系列情報を算出する時系列情報算出部１１１Ｂを備える。時系列情報算出部１１１Ｂは、強調に利用される画像における最新の狭帯域画像と、この最新の狭帯域画像よりも過去の狭帯域画像との更新状況を種類ごとに判定する更新判定部１１１ｃを備える。
【００９４】
更新判定部１１１ｃは、強調処理に利用する重みの設定を行う重み設定部１１１１と、時系列で最新の狭帯域画像と、各種類の最新の狭帯域画像との時系列的な距離を算出する時系列距離算出部１１１２とを備える。時系列距離算出部１１１２が算出する時系列的な距離とは、時間軸でみたときの距離であり、具体的には各画像がこれまでに最も新しく更新されたフレームと、時系列で最新のフレームとの間のフレーム数である。時系列距離算出部１１１２は、例えば、時系列で最新のフレームがλ540画像である場合、このλ540画像と、記憶部５０に記憶されている各種類の最新のλ415画像、λ460画像、λ540画像及びλ630画像との間のフレーム数をそれぞれ算出する。ここでいう更新状況とは、最新の狭帯域画像に対して経時的に変化する各種類の狭帯域画像の距離のことをいう。なお、時系列的な距離が算出されるのであれば他の方法でもよく、例えば、各種類の最新の狭帯域画像を撮像した時刻と、時系列で最新の狭帯域画像を撮像した時刻との差分である経過時間を算出してもよい。
【００９５】
状態情報算出部１１０Ｂは、時系列距離算出部１１１２により算出された時系列的な距離と、各狭帯域画像に対して設定されている重みとをそれぞれ乗算した後、各乗算結果を合計し、この合計値を状態情報とする。本実施の形態２の変形例２に係る重みは、強調処理を行うか否かの判定を行うための判定値を算出するための重み付け係数として機能する。
【００９６】
次に、本発明の実施の形態２の変形例２における状態情報の算出処理について説明する。図１４は、本発明の実施の形態２の変形例２における状態情報の算出処理を示すフローチャートである。
【００９７】
ステップＳ２１４において、時系列距離算出部１１１２は、最新のフレームにおける狭帯域画像と、記憶部５０に記憶されている各種類の最新のλ415画像、λ460画像、λ540画像及びλ630画像の間の時系列的な距離をそれぞれ算出する。
【００９８】
ステップＳ２１４に続くステップＳ２１５において、状態情報算出部１１０Ｂは、時系列距離算出部１１１２により算出された時系列的な距離と、重み設定部１１１１により設定され、各狭帯域画像に対して設定されている重みとをそれぞれ乗算した後、各乗算結果である合計値を算出する。
【００９９】
このように、最新のフレームで更新された狭帯域画像と、前回更新されたλ415画像、λ460画像、λ540画像及びλ630画像の間の時系列的な距離を算出するようにして、時系列的な距離と重みとに基づく状態情報により、強調処理の設定を変更するようにしてもよい。この際、強調画像作成部１２０は、合計値が閾値以下であるとの判定結果であれば図１１のステップＳ２２２に移行し、合計値が閾値より大きいとの判定結果であれば図１１のステップＳ２２３に移行する。
【０１００】
（実施の形態３）
次に、本発明の実施の形態３について説明する。図１５は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。図１５に示すように、本実施の形態３に係る画像処理装置１Ｄは、図６に示す演算部１００Ａに代えて、演算部１００Ｄを備える。演算部１００Ｄは、図６に示す状態情報算出部１１０に代えて、状態情報算出部１１０Ｃを備える。なお、状態情報算出部１１０Ｃ以外の演算部の各部の構成及び動作、並びに演算部以外の画像処理装置の各部の構成及び動作は、実施の形態１の変形例２と同様である。
【０１０１】
状態情報算出部１１０Ｃは、強調対象の狭帯域画像と、他の狭帯域画像の画像との間の被写体の差異に関する情報を算出する画像間情報算出部１１２を備える。画像間情報算出部１１２は、強調対象の狭帯域画像に対する他の狭帯域画像の被写体の動きを推定する動き推定部１１２ａを備える。動き推定部１１２ａは、例えば、画像中の局所領域毎にブロックマッチング法を利用して動き量を算出し、その平均値を動き量とする。動き推定部１１２ａは、強調対象であるλ540画像と、他の狭帯域画像であるλ415画像、λ460画像及びλ630画像との間の動き量をそれぞれ算出する。
【０１０２】
状態情報算出部１１０Ｃは、動き推定部１１２ａによりそれぞれ算出された他の狭帯域画像の動き量の合計値を算出する。
【０１０３】
次に、画像処理装置１Ｄの動作について説明する。図１６は、画像処理装置１Ｄが行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像取得部２０は、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする四つの狭帯域光によりそれぞれ撮像された四つの狭帯域画像であるλ415画像、λ460画像、λ540画像及びλ630画像を順次取得する。
【０１０４】
続くステップＳ３１において、状態情報算出部１１０Ｃは、狭帯域画像に関する状態情報を算出する。図１７は、本発明の実施の形態３における状態情報の算出処理を示すフローチャートである。
【０１０５】
ステップＳ３１１において、動き推定部１１２ａは、強調対象であるλ540画像と、他の狭帯域画像であるλ415画像、λ460画像及びλ630画像との間の動き量をそれぞれ算出する。
【０１０６】
ステップＳ３１１に続くステップＳ３１２において、状態情報算出部１１０Ｃは、動き推定部１１２ａによりそれぞれ算出された他の狭帯域画像の動き量の合計値を算出する。
【０１０７】
続くステップＳ３２において、強調画像作成部１２０Ａが、λ540画像の強調画像を作成する。ステップＳ３２では、図１１に示すフローチャートに沿ってλ540画像の強調画像を作成する。この際、強調画像作成部１２０Ａは、合計値が閾値以下であるとの判定結果であれば図１１のステップＳ２２２に移行し、合計値が閾値より大きいとの判定結果であれば図１１のステップＳ２２３に移行する。
【０１０８】
以上説明した本実施の形態３によれば、強調画像作成部１２０Ａが、強調対象の狭帯域画像に対する他の狭帯域画像の画像間の動きに応じて、λ540画像に対して強調処理を施すか、前回強調処理を施したλ540画像に関する情報を今回の強調画像に反映するかのいずれかを実行するようにしたので、取得した画像に応じて適切な強調画像を生成するとともに、時系列に沿って表示する画像に対して強調処理を施す際の強調画像のぶれを抑制することができる。
【０１０９】
（実施の形態３の変形例）
次に、本発明の実施の形態３の変形例について説明する。図１８は、本発明の実施の形態３の変形例に係る画像処理装置の機能構成を示すブロック図である。本変形例に係る画像処理装置１Ｅは、図１５に示す演算部１００Ｄに代えて、演算部１００Ｅを備える。演算部１００Ｅは、図１５に示す状態情報算出部１１０Ｃに代えて、状態情報算出部１１０Ｄを備える。なお、状態情報算出部１１０Ｄ以外の演算部の各部の構成及び動作、並びに演算部以外の画像処理装置の各部の構成及び動作は、実施の形態３と同様である。
【０１１０】
状態情報算出部１１０Ｄは、強調対象の狭帯域画像に対する他の狭帯域画像の画像間の情報を算出する画像間情報算出部１１２Ａを備える。画像間情報算出部１１２Ａは、強調に利用する画像と他の画像との位置合わせを行う位置合わせ部１１２ｂと、位置合わせ結果の確からしさを表す評価値を算出する位置合わせ評価部１１２ｃとを備える。
【０１１１】
位置合わせ部１１２ｂは、例えば、上述した実施の形態３と同様にブロックマッチング法で局所領域毎に動き量を推定する。位置合わせ部１１２ｂは、強調対象であるλ540画像と、他の狭帯域画像であるλ415画像、λ460画像及びλ630画像との間の動き量をそれぞれ算出する。その後、位置合わせ部１１２ｂは、動き量に合わせて領域を平行移動させる。
【０１１２】
位置合わせ評価部１１２ｃは、例えば、位置合わせ後の画像間における正規化相互相関をそれぞれ算出する。位置合わせ評価部１１２ｃは、算出した正規化相互相関に基づいて、位置合わせ結果が良好なほど高い値となるような評価値を算出する。状態情報算出部１１０Ｄは、位置合わせ評価部１１２ｃが算出した評価値を状態情報とする。
【０１１３】
次に、本発明の実施の形態３の変形例における状態情報の算出処理について説明する。図１９は、本発明の実施の形態３の変形例における状態情報の算出処理を示すフローチャートである。
【０１１４】
ステップＳ３１４において、位置合わせ部１１２ｂは、強調に利用する画像と他の画像との位置合わせを行う。位置合わせ部１１２ｂは、位置合わせ結果を位置合わせ評価部１１２ｃに出力する。
【０１１５】
ステップＳ３１４に続くステップＳ３１５において、位置合わせ評価部１１２ｃは、位置合わせ結果の確からしさを表す評価値を算出する。位置合わせ評価部１１２ｃは、位置合わせ結果が良好なほど高い値となるような評価値を算出する。
【０１１６】
その後は、この評価値と、閾値とを比較することにより、図１１に示すフローチャートに沿ってλ540画像の強調画像を作成する。
【０１１７】
このように、最新のフレームにおける狭帯域画像と、前回更新されたλ415画像、λ460画像、λ540画像及びλ630画像の間の時系列的な距離を算出するようにして、時系列的な距離と重みとに基づく状態情報により、強調処理の設定を変更するようにしてもよい。
【０１１８】
（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１〜３によってのみ限定されるべきものではない。例えば、実施の形態１〜３では、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする四つの狭帯域光により取得される狭帯域画像を用いるものとして説明したが、種類が互いに異なる光により取得される画像であれば適用可能である。具体的には、波長成分の分布、例えば中心波長が互いに異なる光により取得される画像であればよい。また、上述した実施の形態１〜３では、λ540画像を強調して表示するものとして説明したが、これに限定されない。例えば、他の波長帯域の画像を強調するようにしてもよいし、強調されたλ540画像と他の波長帯域の画像とを組み合わせて表示画像を作成して表示部４０に表示するようにしてもよい。本発明はここでは記載していない様々な実施の形態等を含み得るものである。
【産業上の利用可能性】
【０１１９】
以上のように、本発明にかかる画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムは、取得した画像に応じて適切な強調画像を生成するのに有用である。
【符号の説明】
【０１２０】
１，１Ａ〜１Ｅ  画像処理装置
１０  制御部
２０  画像取得部
３０  入力部
４０  表示部
５０  記憶部
５１  プログラム記憶部
１００，１００Ａ〜１００Ｅ  演算部
１１０，１１０Ａ〜１１０Ｄ  状態情報算出部
１１１，１１１Ａ，１１１Ｂ  時系列情報算出部
１１１ａ，１１１ｂ，１１１ｃ  更新判定部
１１２，１１２Ａ  画像間情報算出部
１１２ａ  動き推定部
１１２ｂ，１２０ａ  位置合わせ部
１１２ｃ  位置合わせ評価部
１２０，１２０Ａ  強調画像作成部
１２０ｂ  強調量取得部
１１１１  重み設定部
１１１２  時系列距離算出部
【図１】
2017221353.tif 000003
【図２】
2017221353.tif 000004
【図３】
2017221353.tif 000005
【図４】
2017221353.tif 000006
【図５】
2017221353.tif 000007
【図６】
2017221353.tif 000008
【図７】
2017221353.tif 000009
【図８】
2017221353.tif 000010
【図９】
2017221353.tif 000011
【図１０】
2017221353.tif 000012
【図１１】
2017221353.tif 000013
【図１２】
2017221353.tif 000014
【図１３】
2017221353.tif 000015
【図１４】
2017221353.tif 000016
【図１５】
2017221353.tif 000017
【図１６】
2017221353.tif 000018
【図１７】
2017221353.tif 000019
【図１８】
2017221353.tif 000020
【図１９】
2017221353.tif 000021
【国際調査報告】
2017221353.tif 000022
2017221353.tif 000023
2017221353.tif 000024
2017221353.tif 000025