(57)【要約】  時間的・空間的に同期が取れた通常光観察画像と特殊光観察画像を生成し、それらを合成して、所望の観察画像を得ることができる画像処理装置、画像処理方法およびプログラムを提供する。画像処理装置は、画像生成部５１２が生成した第４補間画像データと第２補間画像データおよび第３補間画像データの少なくとも一方とに基づいて、１つまたは複数の画素からなる領域毎に第２補間画像データまたは第３補間画像データの画素値に対する第４補間画像の画素値の比率を算出し、この算出した比率が所定の閾値を超えた画素を抽出する画素抽出部５１３と、画素抽出部５１３が抽出した画素の画素値を第２補間画像または第３補間画像の少なくとも一方とに基づいて、合成画像データを生成する画像合成部５１４と、を備える。
2017221335.tif 000002
【特許請求の範囲】
【請求項１】
赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、前記緑色の波長帯域であって前記緑色の波長帯域よりも狭い波長帯域の狭帯域光および前記青色の波長帯域であって前記青色の波長帯域よりも狭い波長帯域の狭帯域光の少なくとも一方を受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得部と、
前記取得部が取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データの各々を生成する画像生成部と、
前記画像生成部が生成した前記第４補間画像データと前記第２補間画像データおよび前記第３補間画像データの少なくとも一方に基づいて、１つまたは複数の画素からなる領域毎に前記第２補間画像データおよび前記第３補間画像データの少なくとも一方の画素値に対する前記第４補間画像データの画素値の比率を算出し、この算出した比率が所定の閾値を超えた前記領域の前記第４補間画像データの画素を抽出する画素抽出部と、
前記画素抽出部が抽出した前記画素の画素値と、前記第２補間画像データおよび前記第３補間画像データの少なくとも一方と、に基づいて、合成画像データを生成する画像合成部と、
前記画像合成部が生成した前記合成画像データと、前記第１補間画像データと、前記第２補間画像データおよび前記第３補間画像データの少なくとも一方と、に基づいて、カラー画像データを生成するカラー画像生成部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記画像合成部は、前記画素抽出部が抽出した前記画素の画素値を前記第２補間画像データおよび前記第３補間画像データの少なくとも一方に重み付け加算して前記合成画像データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１補間画像データ、前記第２補間画像データおよび前記第３補間画像データを色空間の座標に変換することによって、輝度画像データおよび色度画像データを生成する色空間変換部をさらに備え、
前記画像合成部は、前記画素抽出部が抽出した前記画素の画素値を、前記輝度画像データに重み付け加算して前記合成画像データを生成し、
前記カラー画像生成部は、前記合成画像データおよび前記色度画像データに基づいて、前記カラー画像データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画素抽出部は、
前記画像生成部が生成した前記第４補間画像データと前記第２補間画像データおよび前記第３補間画像データの少なくとも一方とに基づいて、前記領域毎に前記第２補間画像データおよび前記第３補間画像データの画素値に対する前記第４補間画像データの画素値の比率を算出する比率算出部と、
前記比率算出部が算出した前記比率が前記所定の閾値を超えたか否かを判定する判定部と、
前記判定部によって前記比率が前記所定の閾値を超えたと判定された前記第４補間画像データの画素を抽出する抽出部と、
を有することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
前記比率算出部は、前記画像生成部が生成した前記第４補間画像データと前記第２補間画像データおよび前記第３補間画像データの少なくとも一方とに基づいて、画素毎に前記第２補間画像データおよび前記第３補間画像データの画素値に対する前記第４補間画像データの画素値の比率を算出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記比率算出部は、
前記第４補間画像データと、前記第２補間画像データおよび前記第３補間画像データの少なくとも一方との各々を所定の画素数毎に複数のブロックに分割し、前記第２補間画像データおよび前記第３補間画像データの少なくとも一方の前記複数のブロックに含まれる各画素の画素値の平均値に対する前記第４補間画像データの前記複数のブロックに含まれる各画素の画素値の平均値の比率を前記フロック毎に算出し、
前記抽出部は、前記判定部によって前記比率が前記所定の閾値を超えたと判定された前記第４補間画像データの前記ブロックに含まれる画素を抽出することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記画素抽出部は、前記比率算出部が算出した前記比率のヒストグラムに基づいて、前記所定の閾値を算出する閾値算出部をさらに有することを特徴とする請求項４〜６のいずれか一つに記載の画像処理装置。
【請求項８】
画像処理装置が実行する画像処理方法であって、
赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、前記緑色の波長帯域であって前記緑色の波長帯域よりも狭い波長帯域の狭帯域光および前記青色の波長帯域であって前記青色の波長帯域よりも狭い波長帯域の狭帯域光の少なくとも一方を受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得ステップと、
前記取得ステップにおいて取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データの各々を生成する画像生成部と、
前記画像生成ステップにおいて生成した前記第４補間画像データと前記第２補間画像データおよび前記第３補間画像データの少なくとも一方に基づいて、１つまたは複数の画素からなる領域毎に前記第２補間画像データおよび前記第３補間画像データの少なくとも一方の画素値に対する前記第４補間画像データの画素値の比率を算出し、この算出した比率が所定の閾値を超えた前記領域の前記第４補間画像データの画素を抽出する画素抽出ステップと、
前記画素抽出ステップにおいて抽出した前記画素の画素値と、前記第２補間画像データおよび前記第３補間画像データの少なくとも一方と、に基づいて、合成画像データを生成する画像合成ステップと、
前記画像合成ステップにおいて生成した前記合成画像データと、前記第１補間画像データと、前記第２補間画像データおよび前記第３補間画像データの少なくとも一方と、に基づいて、カラー画像データを生成するカラー画像生成ステップと、
を含むことを特徴とする画像処理方法。
【請求項９】
画像処理装置に、
赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、前記緑色の波長帯域であって前記緑色の波長帯域よりも狭い波長帯域の狭帯域光および前記青色の波長帯域であって前記青色の波長帯域よりも狭い波長帯域の狭帯域光の少なくとも一方を受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得ステップと、
前記取得ステップにおいて取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データの各々を生成する画像生成部と、
前記画像生成ステップにおいて生成した前記第４補間画像データと前記第２補間画像データおよび前記第３補間画像データの少なくとも一方に基づいて、１つまたは複数の画素からなる領域毎に前記第２補間画像データおよび前記第３補間画像データの少なくとも一方の画素値に対する前記第４補間画像データの画素値の比率を算出し、この算出した比率が所定の閾値を超えた前記領域の前記第４補間画像データの画素を抽出する画素抽出ステップと、
前記画素抽出ステップにおいて抽出した前記画素の画素値と、前記第２補間画像データおよび前記第３補間画像データの少なくとも一方と、に基づいて、合成画像データを生成する画像合成ステップと、
前記画像合成ステップにおいて生成した前記合成画像データと、前記第１補間画像データと、前記第２補間画像データおよび前記第３補間画像データの少なくとも一方と、に基づいて、カラー画像データを生成するカラー画像生成ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体の体内画像を撮像する内視鏡が生成した画像データに対して画像処理を行う画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、内視鏡の観察方式として、白色の照明光（白色光）を用いた白色光観察方式と、青色および緑色の波長帯域にそれぞれ含まれる二つの狭帯域光からなる照明光（以下、「特殊光」という）を用いた狭帯域光観察方式が広く知られている。このうち、狭帯域光観察方式は、生体の粘膜表層に存在する毛細血管および粘膜微細模様等を強調表示する画像を得ることができる。【０００３】
このような狭帯域光観察方式を行う内視鏡として、白色光で撮像した通常光観察画像に、特殊光で撮像した特殊光観察画像の情報を合成することによって、１つの観察画像で生体の粘膜表層に存在する毛細血管および粘膜微細模様等を観察する技術が知られている（特許文献１参照）。この技術では、特殊光観察画像に対して、ハイパスフィルタやバンドバスフィルタ等のフィルタを用いた周波数処理を行うことによって、特殊光観察画像から毛細血管を抽出し、この抽出した結果を通常光観察画像に合成して観察画像を生成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５５０１２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１では、光源切替えによって白色光観察画像と特殊光観察画像が得られ、この２つの観察画像が時間的・空間的に同期が取れていなく、更に特殊光観察画像を、フィルタを用いた周波数処理を一律に行っているため、特殊光画像にある毛細血管や粘膜表層以外の特徴も抽出されてしまい、合成画像の毛細血管や粘膜表層が本来と異なる観察画像となってしまうという問題点があった。【０００６】
本発明は、上記に鑑みてなされたものであって、時間的・空間的に同期が取れた通常光観察画像と特殊光観察画像を生成し、それらを合成して白色光観察画像の本来の色合いを保ちながら、毛細血管や粘膜表層が鮮明な観察画像を得ることができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、前記緑色の波長帯域であって前記緑色の波長帯域よりも狭い波長帯域の狭帯域光および前記青色の波長帯域であって前記青色の波長帯域よりも狭い波長帯域の狭帯域光の少なくとも一方を受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得部と、前記取得部が取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データの各々を生成する画像生成部と、前記画像生成部が生成した前記第４補間画像データと前記第２補間画像データおよび前記第３補間画像データの少なくとも一方に基づいて、１つまたは複数の画素からなる領域毎に前記第２補間画像データおよび前記第３補間画像データの少なくとも一方の画素値に対する前記第４補間画像データの画素値の比率を算出し、この算出した比率が所定の閾値を超えた前記領域の前記第４補間画像データの画素を抽出する画素抽出部と、前記画素抽出部が抽出した前記画素の画素値と、前記第２補間画像データおよび前記第３補間画像データの少なくとも一方と、に基づいて、合成画像データを生成する画像合成部と、前記画像合成部が生成した前記合成画像データと、前記第１補間画像データと、前記第２補間画像データおよび前記第３補間画像データの少なくとも一方と、に基づいて、カラー画像データを生成するカラー画像生成部と、を備えたことを特徴とする。【０００８】
また、本発明に係る画像処理方法は、画像処理装置が赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、前記緑色の波長帯域であって前記緑色の波長帯域よりも狭い波長帯域の狭帯域光および前記青色の波長帯域であって前記青色の波長帯域よりも狭い波長帯域の狭帯域光の少なくとも一方を受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データの各々を生成する画像生成部と、前記画像生成ステップにおいて生成した前記第４補間画像データと前記第２補間画像データおよび前記第３補間画像データの少なくとも一方に基づいて、１つまたは複数の画素からなる領域毎に前記第２補間画像データおよび前記第３補間画像データの少なくとも一方の画素値に対する前記第４補間画像データの画素値の比率を算出し、この算出した比率が所定の閾値を超えた前記領域の前記第４補間画像データの画素を抽出する画素抽出ステップと、前記画素抽出ステップにおいて抽出した前記画素の画素値と、前記第２補間画像データおよび前記第３補間画像データの少なくとも一方と、に基づいて、合成画像データを生成する画像合成ステップと、前記画像合成ステップにおいて生成した前記合成画像データと、前記第１補間画像データと、前記第２補間画像データおよび前記第３補間画像データの少なくとも一方と、に基づいて、カラー画像データを生成するカラー画像生成ステップと、を含むことを特徴とする。【０００９】
また、本発明に係るプログラムは、赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、前記緑色の波長帯域であって前記緑色の波長帯域よりも狭い波長帯域の狭帯域光および前記青色の波長帯域であって前記青色の波長帯域よりも狭い波長帯域の狭帯域光の少なくとも一方を受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データの各々を生成する画像生成部と、前記画像生成ステップにおいて生成した前記第４補間画像データと前記第２補間画像データおよび前記第３補間画像データの少なくとも一方に基づいて、１つまたは複数の画素からなる領域毎に前記第２補間画像データおよび前記第３補間画像データの少なくとも一方の画素値に対する前記第４補間画像データの画素値の比率を算出し、この算出した比率が所定の閾値を超えた前記領域の前記第４補間画像データの画素を抽出する画素抽出ステップと、前記画素抽出ステップにおいて抽出した前記画素の画素値と、前記第２補間画像データおよび前記第３補間画像データの少なくとも一方と、に基づいて、合成画像データを生成する画像合成ステップと、前記画像合成ステップにおいて生成した前記合成画像データと、前記第１補間画像データと、前記第２補間画像データおよび前記第３補間画像データの少なくとも一方と、に基づいて、カラー画像データを生成するカラー画像生成ステップと、を実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、時間的・空間的に同期が取れた通常光観察画像と特殊光観察画像を生成し、それらを合成して、所望の観察画像を得ることができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施の形態１に係る内視鏡システムの全体構成を模式的に示す図である。
【図２】図２は、本発明の実施の形態１に係る内視鏡システムの要部の機能を示すブロック図である。
【図３】図３は、本発明の実施の形態１に係るカラーフィルタの構成を模式的に示す図である。
【図４】図４は、本発明の実施の形態１に係るカラーフィルタを構成する各広帯域フィルタの透過率と波長との関係を示す図である。
【図５】図５は、本発明の実施の形態１に係るカラーフィルタを構成する狭帯域フィルタの透過率と波長との関係を示す図である。
【図６】図６は、本発明の実施の形態１に係る画素抽出部の詳細な構成を示すブロック図である。
【図７】図７は、本発明の実施の形態１に係る閾値算出部が算出するヒストグラムの一例を模式的に示す図である。
【図８】図８は、本発明の実施の形態１に係るプロセッサが実行する処理の概要を示すフローチャートである。
【図９】図９は、本発明の実施の形態１の変形例に係る内視鏡システムの要部の機能を示すブロック図である。
【図１０】図１０は、本発明の実施の形態１の変形例に係るプロセッサが実行する処理の概要を示すフローチャートである。
【図１１】図１１は、本発明の実施の形態２に係る内視鏡システムの要部の機能を示すブロック図である。
【図１２】図１２は、本発明の実施の形態２に係るカラーフィルタの構成を模式的に示す図である。
【図１３】図１３は、本発明の実施の形態２に係るカラーフィルタを構成する狭帯域フィルタの透過率と波長との関係を示す図である。
【図１４】図１４は、本発明の実施の形態２に係る画素抽出部の詳細な構成を示すブロック図である。
【図１５】図１５は、本発明の実施の形態２に係るエッジ抽出部が用いるラプラシアンフィルタを模式的に説明する図である。
【図１６Ａ】図１６Ａは、本発明の実施の形態２に係るモフォロジー処理の拡張処理の概要を模式的に説明する図である。
【図１６Ｂ】図１６Ｂは、本発明の実施の形態２に係るモフォロジー処理による拡張処理の概要を模式的に示す図である。
【図１６Ｃ】図１６Ｃは、本発明の実施の形態２に係るモフォロジー処理による拡張処理後の画像を模式的に示す図である。
【図１７Ａ】図１７Ａは、本発明の実施の形態２に係るモフォロジー処理による収縮処理の概要を模式的に示す図である。
【図１７Ｂ】図１７Ｂは、本発明の実施の形態２に係るモフォロジー処理による収縮処理の概要を模式的に示す図である。
【図１７Ｃ】図１７Ｃは、本発明の実施の形態２に係るモフォロジー処理による収縮処理後の画像を模式的に示す図である。
【図１８Ａ】図１８Ａは、本発明の実施の形態２に係るモフォロジー処理前の２値化の全体画像を模式的に示す図である。
【図１８Ｂ】図１８Ｂは、本発明の実施の形態２に係るモフォロジー処理の収縮処理後の全体画像を模式的に示す図である。
【図１８Ｃ】図１８Ｃは、本発明の実施の形態２に係るモフォロジー処理の拡張処理後の全体画像を模式的に示す図である。
【図１９】図１９は、本発明の実施の形態３に係る内視鏡システムの要部の機能を示すブロック図である。
【図２０】図２０は、本発明の実施の形態３に係る合成係数生成部の詳細な構成を示すブロック図である。
【図２１】図２１は、本発明の実施の形態３に係るプロセッサが実行する処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。本実施の形態では、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムを例に説明する。また、以下の実施の形態により本発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
【００１３】
（実施の形態１）
〔内視鏡システムの構成〕
図１は、本発明の実施の形態１に係る内視鏡システムの全体構成を模式的に示す図である。図１に示す内視鏡システム１は、被検体の体腔内に挿入することによって被検体の体内画像を撮像する内視鏡２（内視鏡スコープ）と、内視鏡２の先端から出射する照明光を発生する光源装置３と、内視鏡２が撮像した画像データに対応する画像を表示する表示装置４と、内視鏡２が撮像した体内画像に所定の画像処理を施して表示装置４に表示させるとともに、内視鏡システム１全体の動作を統括的に制御するプロセッサ５（制御装置）と、を備える。
【００１４】
内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、プロセッサ５および光源装置３と接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。
【００１５】
挿入部２１は、後述する撮像装置（撮像部）を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。
【００１６】
操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、体腔内に生体鉗子、レーザメスおよび検査プローブ等の処理具を挿入する処置具挿入部２２２と、光源装置３、プロセッサ５に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４を経由して開口部（図示せず）から表出する。
【００１７】
ユニバーサルコード２３は、ライトガイドと、集合ケーブルと、を少なくとも内蔵している。ユニバーサルコード２３は、光源装置３に着脱自在なコネクタ部２７（図１を参照）を有する。コネクタ部２７は、コイル状のコイルケーブル２７ａが延設し、コイルケーブル２７ａの延出端にプロセッサ５と着脱自在な電気コネクタ部２８を有する。コネクタ部２７は、内部にＦＰＧＡ（Field  Programmable  Gate  Array）を用いて構成される。
【００１８】
光源装置３は、例えばハロゲンランプや白色ＬＥＤ（Light  Emitting  Diode）等を用いて構成される。光源装置３は、プロセッサ５の制御のもと、内視鏡２の挿入部の先端側から被写体に向けて照明光を照射する。
【００１９】
表示装置４は、プロセッサ５の制御のもと、プロセッサ５が画像処理を施した画像信号に対応する画像および内視鏡システム１に関する各種情報を表示する。表示装置４は、液晶や有機ＥＬ（Electro  Luminescence）等の表示パネル等を用いて構成される。
【００２０】
プロセッサ５は、内視鏡２から入力されたＲＡＷ画像データに対して所定の画像処理を施して表示装置４へ出力する。プロセッサ５は、ＣＰＵ（Central  Processing  Unit）等を用いて構成される。
【００２１】
次に、内視鏡システム１の要部の機能について説明する。図２は、内視鏡システム１の要部の機能を示すブロック図である。図２を参照して内視鏡システム１の各部の詳細および内視鏡システム１内の電気信号の経路について説明する。
【００２２】
〔内視鏡の構成〕
まず、内視鏡２の構成について説明する。
図２に示すように、内視鏡２は、光学系２０１と、撮像部２０２と、を備える。
【００２３】
光学系２０１は、光源装置３が照射した照明光の反射光を撮像部２０２の撮像面に受光して被写体像を結像する。光学系２０１は、１つまたは複数のレンズおよびプリズム等を用いて構成される。
【００２４】
撮像部２０２は、プロセッサ５の制御のもと、光学系２０１が受光面に結像した被写体像を受光して光電変換を行うことによって、被写体の画像データ（ＲＡＷ画像データ）を生成し、この生成した画像データをプロセッサ５へ出力する。具体的には、撮像部２０２は、基準のフレームレート、例えば６０ｆｐｓのフレームレートによって被検体を撮像して被検体の画像データを生成する。撮像部２０２は、撮像素子２１１と、カラーフィルタ２１２と、を有する。
【００２５】
撮像素子２１１は、２次元格子状に配置された複数の画素がそれぞれ受光した光を光電変換し、電気信号を生成するＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の撮像センサを用いて構成される。
【００２６】
カラーフィルタ２１２は、赤色の波長帯域の光を透過する広帯域フィルタＲと、緑色の波長帯域の光を透過する広帯域フィルタＧと、青色の波長帯域の光を透過する広帯域フィルタＢと、青色の波長帯域であって、青色の波長帯域よりも狭い波長帯域の光を透過する狭帯域フィルタＮＢと、を含むフィルタユニットを用いて構成され、このフィルタユニットを撮像素子２１１の画素に対応させて配置してなる。
【００２７】
図３は、カラーフィルタ２１２の構成を模式的に示す図である。図３に示すように、カラーフィルタ２１２は、赤色の成分を透過する２つの広帯域フィルタＲ、緑色の成分を透過する８つの広帯域フィルタＧ、青色の成分を透過する２つの広帯域フィルタＢおよび狭帯域の光を透過させる４つの狭帯域フィルタＮＢを１組とする所定の配列パターンを形成したフィルタユニットを用いて構成される。カラーフィルタ２１２は、上述した配列パターンを形成する個々のフィルタが２次格子状に配列された撮像素子２１１の複数の画素のいずれかに対応する位置に配置される。ここで、本実施の形態１における狭帯域の光の波長帯域のピーク波長は、３９５ｎｍから４３５ｎｍの範囲にある。このように構成されたカラーフィルタ２１２を用いて撮像素子２１１で生成された画像データは、後述するプロセッサ５によって所定の画像処理が行われることによって、カラー画像に変換される。
【００２８】
図４は、カラーフィルタ２１２を構成する各広帯域フィルタの透過率と波長との関係を示す図である。図５は、カラーフィルタ２１２を構成する狭帯域フィルタＮＢの透過率と波長との関係を示す図である。図４および図５において、横軸が波長（ｎｍ）を示し、縦軸が透過率を示す。また、図４において、曲線ＬＢが広帯域フィルタＢの透過率と波長との関係を示し、曲線ＬＧが広帯域フィルタＧの透過率と波長との関係を示し、曲線ＬＲが広帯域フィルタＲの透過率と波長との関係を示す。また、図５において、曲線ＬＮＢが狭帯域フィルタＮＢの透過率と波長との関係を示す。さらに、図５において、狭帯域フィルタＮＢのピーク波長が３９５ｎｍから４３５ｎｍの範囲にある場合について説明する。
【００２９】
図４および図５に示すように、狭帯域フィルタＮＢの分光特性は、広帯域フィルタＢよりも狭く、広帯域フィルタＢの波長帯域に含まれる。なお、以下においては、広帯域フィルタＲが配置されてなる画素をＲ画素（第１画素）、広帯域フィルタＧが配置されてなる画素をＧ画素（第２画素）、広帯域フィルタＢが配置されてなる画素をＢ画素（第３画素）、狭帯域フィルタＮＢが配置されてなる画素をＮＢ画素（第４画素）という。
【００３０】
〔プロセッサの構成〕
次に、プロセッサ５の構成について説明する。
プロセッサ５は、図２に示すように、画像処理部５１と、入力部５２と、記録部５３と、制御部５４と、を備える。
【００３１】
画像処理部５１は、ＧＰＵ等を用いて構成され、内視鏡２が生成した画像データを取得し、取得した画像データに対して所定の画像処理を施して表示装置４へ出力する。画像処理部５１は、取得部５１１と、画像生成部５１２と、画素抽出部５１３と、画像合成部５１４と、カラー画像生成部５１５と、を有する。なお、本実施の形態１では、画像処理部５１が画像処理装置として機能する。
【００３２】
取得部５１１は、内視鏡２が生成した画像データを取得し、取得した画像データを画像生成部５１２へ出力する。具体的には、取得部５１１は、内視鏡２が生成した画像データに対応する画像を構成するＲ画素、Ｇ画素、Ｂ画素およびＮＢ画素それぞれの画素値（画素値Ｒ、画素値Ｇ、画素値Ｂおよび画素値ＮＢ）を撮像素子２１１から取得し、取得した各画素の画素値を画像生成部５１２へ出力する。
【００３３】
画像生成部５１２は、取得部５１１から入力された各画素（各チャンネル）の画素値に基づいて、画素値が欠損する画素の画素値を補間する周知のデモザイキング処理を行うことによって、赤色の波長帯域の光に対応するＲ画像（第１補間画像データ）、緑色の波長帯域の光に対応するＧ画像（第２補間画像データ）、青色の波長帯域の光に対応するＢ画像（第３補間画像データ）および狭帯域光に対応するＮＢ画像（第４補間画像データ）の各々を生成する。画像生成部５１２は、ＮＢ画像およびＢ画像を画素抽出部５１３へ出力するとともに、Ｂ画像を画像合成部５１４へ出力する。さらに、画像生成部５１２は、Ｇ画像およびＲ画像をカラー画像生成部５１５へ出力する。
【００３４】
画素抽出部５１３は、画像生成部５１２から入力されたＮＢ画像およびＢ画像に基づいて、ＮＢ画像の特徴領域または画素群を抽出して生成したＮＢ’画像を生成して画像合成部５１４へ出力する。具体的には、画素抽出部５１３は、ＮＢ画素とＢ画像とに基づいて、１つまたは複数の画素から領域毎にＮＢ画像の画素値（信号値）とＢ画像の画素値（信号値）との比率を算出し、この比率が所定の閾値以上の比率となるＮＢ画像の画素を抽出して画像合成部５１４へ出力する。より具体的には、画素抽出部５１３は、ＮＢ画素とＢ画像とに基づいて、画素毎にＢ画像の画素値に対するＮＢ画像の画素値の比率（ＮＢ／Ｂ）を算出し、この比率が所定の閾値以上の比率となるＮＢ画像の画素および画素位置（画素アドレス）を画像合成部５１４へ出力する。
【００３５】
図６は、画素抽出部５１３の詳細な構成を示すブロック図である。図６に示すように、画素抽出部５１３は、比率算出部６０１と、閾値算出部６０２と、判定部６０３と、抽出部６０４と、を有する。
【００３６】
比率算出部６０１は、画像生成部５１２から入力されたＮＢ画像およびＢ画像に基づいて、画素毎にＢ画像の画素値に対するＮＢ画像の画素値の比率（ＮＢ／Ｂ）を算出し、この算出結果を閾値算出部６０２および判定部６０３それぞれに出力する。
【００３７】
閾値算出部６０２は、比率算出部６０１から入力されたＢ画像の画素値に対するＮＢ画像の画素値の比率（ＮＢ／Ｂ）の算出結果のヒストグラムを生成し、このヒストグラムに基づいて、閾値を算出する。
【００３８】
図７は、ヒストグラムの一例を模式的に示す図である。図７において、横軸が比率（ＮＢ／Ｂ）を示し、縦軸が個数（画素数）を示す。また、図７において、曲線Ｌ１がヒストグラムを示す。図７の曲線Ｌ１が示すように、比率算出部６０１の算出結果は、双峰性を有するヒストグラムとなる。このため、閾値算出部６０２は、曲線Ｌ１の谷に当たる比率（極小値）を閾値として算出する。
【００３９】
判定部６０３は、画素毎に比率算出部６０１から入力された画素値の比率（ＮＢ／Ｂ）が閾値算出部６０２によって算出された閾値以上であるか否かを判定し、この判定結果を抽出部６０４へ出力する。
【００４０】
抽出部６０４は、判定部６０３から入力された判定結果と画像生成部５１２から入力されたＮＢ画像とに基づいて、ＮＢ画像に含まれる特徴のある画素を抽出する。具体的には、抽出部６０４は、判定部６０３によって閾値以上であると判定された画素を抽出する。より具体的には、抽出部６０４は、判定部６０３によって閾値以上であると判定された画素の画素位置に対応する画素の画素値を維持したまま画像生成部５１２へ出力するとともに、判定部６０３によって閾値以上でないと判定された画素の画素位置に対応する画素の画素値を０として画像生成部５１２へ出力することによって、ＮＢ画像に含まれる特徴ある画素を抽出してＮＢ’画像を生成して画像生成部５１２へ出力する。
【００４１】
画像合成部５１４は、画像生成部５１２から入力されたＢ画像に、画素抽出部５１３から入力されたＮＢ’画像を加算（合成）することによって、合成画像Ｂ’（合成画像データ）を生成する。具体的には、Ｂ画素を構成する各画素の画素値に、ＮＢ’画像を構成する各画素の画素値を加算することによって、合成画像Ｂ’を生成し、この合成画像Ｂ’をカラー画像生成部５１５へ出力する。
【００４２】
カラー画像生成部５１５は、画像生成部５１２から入力されたＧ画像およびＲ画像と、画像合成部５１４から入力された合成画像Ｂ’とに基づいて、カラー画像を生成して表示装置４へ出力する。具体的には、カラー画像生成部５１５は、Ｇ画像を構成する各画素の画素値、Ｒ画像を構成する各画素の画素値および合成画像Ｂ’を構成する各画素の画素値を合成してカラー画像を生成し、このカラー画像を表示装置４へ出力する。
【００４３】
図２に戻り、プロセッサ５の構成について説明を続ける。
入力部５２は、ボタンやスイッチ等を用いて構成され、内視鏡システム１が実行する各種の処理を指示する指示信号やパラメータを変更する変更信号の入力を受け付ける。
【００４４】
記録部５３は、ＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）等を用いて構成され、内視鏡２が生成した画像データ、および内視鏡システム１が実行するプログラムや処理中の情報を記録する。また、記録部５３は、内視鏡システム１が実行するプログラムを記録するプログラム記録部５３ａを有する。
【００４５】
制御部５４は、ＣＰＵ等を用いて構成され、内視鏡システム１を構成する各部を統括的に制御する。制御部５４は、光源装置３の照明光の出射タイミングや内視鏡２の撮像部２０２の撮像タイミング等を制御する。
【００４６】
〔プロセッサの処理〕
次に、プロセッサ５が実行する処理について説明する。図８は、プロセッサ５が実行する処理の概要を示すフローチャートである。
【００４７】
図８に示すように、まず、取得部５１１は、内視鏡２が生成した画像データを内視鏡２から取得する（ステップＳ１０１）。この場合、取得部５１１は、内視鏡２から取得した画像データを画像生成部５１２へ出力する。
【００４８】
続いて、画像生成部５１２は、取得部５１１から入力された各画素の画素値に基づいて、デモザイキング処理を行うことによって各色のチャンネルに対応する画像を生成する（ステップＳ１０２）。具体的には、画像生成部５１２は、Ｒ画像、Ｇ画像、Ｂ画像およびＮＢ画像の各々を生成する。
【００４９】
その後、画素抽出部５１３は、画像生成部５１２から入力されたＮＢ画像およびＢ画像に基づいて、ＮＢ画像の特徴ある画素を抽出する（ステップＳ１０３）。具体的には、画素抽出部５１３は、ＮＢ画素とＢ画像とに基づいて、画素毎にＢ画像の画素値に対するＮＢ画像の画素値の比率を算出し、所定の閾値以上の比率となる画素を画像合成部５１４へ出力する。
【００５０】
続いて、画像合成部５１４は、画像生成部５１２から入力されたＢ画像に、画素抽出部５１３から入力されたＮＢ’画像を合成する（ステップＳ１０４）。具体的には、画像合成部５１４は、Ｂ画素を構成する各画素の画素値に、ＮＢ’画像を構成する各画素の画素値を画素毎に加算することによって、合成画像Ｂ’を生成し、この合成画像Ｂ’をカラー画像生成部５１５へ出力する。
【００５１】
その後、画像生成部５１２から入力されたＧ画像およびＲ画像と、画像合成部５１４から入力された合成画像Ｂ’とに基づいて、カラー画像を生成して表示装置４へ出力する（ステップＳ１０５）。
【００５２】
続いて、内視鏡システム１による検査の終了を指示する指示信号が入力された場合（ステップＳ１０６：Ｙｅｓ）、プロセッサ５は、本処理を終了する。これに対して、内視鏡システム１による検査の終了を指示する指示信号が入力されていない場合（ステップＳ１０６：Ｎｏ）、プロセッサ５は、上述したステップＳ１０１へ戻る。
【００５３】
以上説明した本発明の実施の形態１によれば、画素抽出部５１３がＮＢ画素とＢ画像とに基づいて、画素毎にＢ画像の画素値に対するＮＢ画像の画素値の比率を算出し、所定の閾値以上の比率となる画素の画素値を画像合成部５１４へ出力し、画像合成部５１４がＢ画素を構成する各画素の画素値に、ＮＢ’画像を構成する各画素の画素値を画素毎に加算することによって、合成画像Ｂ’を生成し、この合成画像Ｂ’をカラー画像生成部５１５へ出力するので、通常光観察画像に特殊光観察画像を合成する場合であっても、所望の観察画像を得ることができる。
【００５４】
なお、本発明の実施の形態１によれば、比率算出部６０１が画素毎にＮＢ画像の画素値とＢ画像の画素値との比率を算出していたが、比率算出部６０１がＮＢ画像およびＢ画素を所定の画素数毎（例えば１０画素毎）に複数のブロックに分割し、Ｂ画像のブロックに含まれる各画素の画素値の平均値と、ＮＢ画像のブロックに含まれる各画素の画素値の平均値との比率をブロック毎に算出してもよい。この場合、抽出部６０４は、判定部６０３によって閾値を超えたと判定されたＮＢ画像のブロックに含まれる画素を抽出するようにしてもよい。これにより、比較算出部６０１の計算量を削減することができる。
【００５５】
（実施の形態１の変形例）
次に、本発明の実施の形態１の変形例について説明する。本発明の実施の形態１の変形例は、上述した実施の形態１に係る画像処理部５１と構成が異なる。以下においては、本実施の形態１の変形例に係る内視鏡システムの構成について説明する。なお、上述した実施の形態１と同一の構成には同一の符号を付して説明を省略する。
【００５６】
〔内視鏡システムの構成〕
図９は、本発明の実施の形態１の変形例に係る内視鏡システムの要部の機能を示すブロック図である。図９に示す内視鏡システム１ａは、上述した実施の形態１に係る内視鏡システム１のプロセッサ５に換えて、プロセッサ５ａを備える。また、プロセッサ５ａは、上述した実施の形態１に係る画像処理部５１に換えて、画像処理部５１ａを備える。
【００５７】
画像処理部５１ａは、取得部５１１と、画像生成部５１２と、画素抽出部５１３と、色空間変換部５１６と、画像合成部５１７と、カラー画像生成部５１８と、を有する。
【００５８】
色空間変換部５１６は、画像生成部５１２から入力されたＢ画像、Ｇ画像およびＲ画像それぞれのＲＧＢ方式の画素値をＹＣｂＣｒ方式に従って色空間変換処理を行って輝度データＹ（輝度信号Ｙ）、色度データＣｒ（色度信号Ｃｒ）および色度データＣｂ（色度信号Ｃｂ）を生成する。色空間変換部５１６は、輝度データＹを画像合成部５１７へ出力するとともに、色度データＣｒおよび色度データＣｂをカラー画像生成部５１８へ出力する。
【００５９】
画像合成部５１７は、画素抽出部５１３から入力されたＮＢ’画像を色空間変換部５１６から入力された輝度データＹに重み付け加算することによって、合成輝度データＹ’を生成し、この合成輝度データＹ’をカラー画像生成部５１８へ出力する。
【００６０】
カラー画像生成部５１８は、画像合成部５１７から入力された合成輝度データＹ’、色空間変換部５１６から入力された色度データＣｒおよび色度データＣｂに基づいて、カラー画像を生成して表示装置４へ出力する。
【００６１】
〔プロセッサの処理〕
次に、プロセッサ５ａが実行する処理について説明する。図１０は、プロセッサ５ａが実行する処理の概要を示すフローチャートである。図１０において、ステップＳ２０１〜ステップＳ２０３およびステップＳ２０７は、上述した図８のステップＳ１０１〜ステップＳ１０３およびステップＳ１０６それぞれに対応するため、説明を省略する。
【００６２】
ステップＳ２０４において、色空間変換部５１６は、画像生成部５１２から入力されたＢ画像、Ｇ画像およびＲ画像それぞれのＲＧＢ方式の画素値をＹＣｂＣｒ方式に従って色空間変換処理を行う。具体的には、画像生成部５１２から入力されたＢ画像、Ｇ画像およびＲ画像それぞれのＲＧＢ方式の画素値をＹＣｂＣｒ方式に従って色空間変換処理を行って輝度データＹ、色度データＣｒおよび色度データＣｂを生成する。
【００６３】
続いて、画像合成部５１７は、画素抽出部５１３から入力されたＮＢ’画像を色空間変換部５１６から入力された輝度データＹに重み付け加算することによって、合成輝度データＹ’を生成し、この合成輝度データＹ’をカラー画像生成部５１８へ出力する（ステップＳ２０５）。
【００６４】
その後、カラー画像生成部５１８は、画像合成部５１７から入力された合成輝度データＹ’、色空間変換部５１６から入力された色度データＣｒおよび色度データＣｂに基づいて、カラー画像を生成して表示装置４へ出力する（ステップＳ２０６）。ステップＳ２０６の後、プロセッサ５ａは、ステップＳ２０７へ移行する。
【００６５】
以上説明した本発明の実施の形態１の変形例によれば、通常光観察画像と特殊光観察画像を合成する場合であっても、所望の観察画像を得ることができる。
【００６６】
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る内視鏡システムは、上述した実施の形態１に係る内視鏡システム１の内視鏡２およびプロセッサ５の構成が異なるうえ、プロセッサが実行する処理が異なる。具体的には、本実施の形態２に係る内視鏡システムは、互いに異なる狭帯域の光を透過可能な狭帯域フィルタを含むフィルタユニットによってカラーフィルタが構成される。以下において、本実施の形態２に係る内視鏡システムの構成を説明後、本実施の形態２に係るプロセッサが実行する処理について説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して説明を省略する。
【００６７】
〔内視鏡システムの構成〕
図１１は、本発明の実施の形態２に係る内視鏡システムの要部の機能を示すブロック図である。図１１に示す内視鏡システム１ｂは、上述した実施の形態１に係る内視鏡システム１の内視鏡２およびプロセッサ５に換えて、内視鏡２ｂおよびプロセッサ５ｂを備える。
【００６８】
〔内視鏡の構成〕
まず、内視鏡２ｂの要部について説明する。
図１１に示す内視鏡２ｂは、上述した実施の形態１に係る内視鏡２の撮像部２０２に換えて、撮像部２０２ｂを備える。撮像部２０２ｂは、上述した実施の形態１に係るカラーフィルタ２１２に換えて、カラーフィルタ２１２ｂを有する。
【００６９】
カラーフィルタ２１２ｂは、赤色の波長帯域の光を透過する広帯域フィルタＲと、緑色の波長帯域の光を透過する広帯域フィルタＧと、青色の波長帯域の光を透過する広帯域フィルタＢと、青色の波長帯域であって、青色の波長帯域よりも狭い波長帯域の光を透過する狭帯域フィルタＮＢと、緑色の波長帯域であって、緑色の波長帯域よりも狭い波長帯域の光を透過する狭帯域フィルタＮＧと、を含むフィルタユニットを用いて構成され、このフィルタユニットを撮像素子２１１の画素に対応させて配置してなる。
【００７０】
図１２は、カラーフィルタ２１２ｂの構成を模式的に示す図である。図１２に示すように、カラーフィルタ２１２は、赤色の成分を透過する２つの広帯域フィルタＲ、緑色の成分を透過する８つの広帯域フィルタＧ、青色の成分を透過する２つの広帯域フィルタＢおよび狭帯域の光を透過させる２つの狭帯域フィルタＮＢと、緑色の波長帯域よりも狭い波長帯域の光を透過する２つの狭帯域フィルタＮＧと、を１組とする所定の配列パターンを形成したフィルタユニットを用いて構成される。カラーフィルタ２１２ｂは、上述した配列パターンを形成する個々のフィルタが２次格子状に配列された撮像素子２１１の複数の画素のいずれかに対応する位置に配置される。
【００７１】
図１３は、カラーフィルタ２１２ｂを構成する狭帯域フィルタＮＢおよび狭帯域フィルタＮＧの透過率と波長との関係を示す図である。図１３において、横軸が波長（ｎｍ）を示し、縦軸が透過率を示す。また、図１３において、曲線ＬＮＢが狭帯域フィルタＮＢの透過率と波長との関係を示し、曲線ＬＮＧが狭帯域フィルタＮＧの透過率と波長との関係を示す。さらに、図１３において、狭帯域フィルタＮＢのピーク波長を３９５ｎｍから４３５ｎｍの範囲、狭帯域フィルタＮＧのピーク波長を５２０ｎｍから５６０ｎｍの範囲にある場合について説明する。
【００７２】
図１３に示すように、狭帯域フィルタＮＢの分光特性は、広帯域フィルタＢよりも狭く、広帯域フィルタＢの波長帯域に含まれる。また、狭帯域フィルタＮＧの分光特性は、広帯域フィルタＧよりも狭く、広帯域フィルタＧの波長帯域に含まれる。なお、以下においては、狭帯域フィルタＮＧが配置されてなる画素をＮＧ画素という。
【００７３】
〔プロセッサの構成〕
次に、プロセッサ５ｂの構成について説明する。
図１１に示すように、プロセッサ５ｂは、上述した実施の形態１に係るプロセッサ５の画像処理部５１に換えて、画像処理部５１ｂを備える。画像処理部５１ｂは、取得部５１１と、画像生成部５２１と、第１画素抽出部５２２と、第２画素抽出部５２３と、第１画像合成部５２４と、第２画像合成部５２５と、カラー画像生成部５２６と、を有する。
【００７４】
画像生成部５２１は、取得部５１１から入力された各画素（各チャンネル）の画素値に基づいて、周知のデモザイキング処理を行うことによって、Ｒ画像、Ｇ画像、Ｂ画像、ＮＢ画像およびＮＧ画像の各々を生成する。画像生成部５２１は、ＮＢ画像およびＢ画像を第１画素抽出部５２２へ出力するとともに、ＮＧ画像およびＧ画像を第２画素抽出部５２３へ出力する。さらに、画像生成部５２１は、Ｒ画像をカラー画像生成部５２６へ出力する。
【００７５】
第１画素抽出部５２２は、画像生成部５２１から入力されたＮＢ画像およびＢ画像に基づいて、ＮＢ画像の特徴ある画素を抽出して生成したＮＢ’画像を生成して第１画像合成部５２４へ出力する。なお、第１画素抽出部５２２の詳細な構成は、後述する。
【００７６】
第２画素抽出部５２３は、画像生成部５２１から入力されたＮＧ画像およびＧ画像に基づいて、ＮＧ画像の特徴ある画素を抽出して生成したＮＧ’画像を生成して第２画像合成部５２５へ出力する。なお、第２画素抽出部５２３は、上述した第１画素抽出部５２２と同様の構成を有するため、第２画素抽出部５２３の詳細な説明は、後述する。
【００７７】
第１画像合成部５２４は、画像生成部５２１から入力されたＢ画像に、第１画素抽出部５２２から入力されたＮＢ’画像を加算（合成）することによって、合成画像Ｂ’を生成する。具体的には、Ｂ画素を構成する各画素の画素値に、ＮＢ’画像を構成する各画素の画素値を加算することによって、合成画像Ｂ’を生成し、この合成画像Ｂ’をカラー画像生成部５２６へ出力する。
【００７８】
第２画像合成部５２５は、画像生成部５２１から入力されたＧ画像に、第２画素抽出部５２３から入力されたＮＧ’画像を加算（合成）することによって、合成画像Ｇ’を生成する。具体的には、Ｇ画素を構成する各画素の画素値に、ＮＧ’画像を構成する各画素の画素値を加算することによって、合成画像Ｇ’を生成し、この合成画像Ｇ’をカラー画像生成部５２６へ出力する。
【００７９】
カラー画像生成部５２６は、画像生成部５２１から入力されたＲ画像と、第１画像合成部５２４から入力された合成画像Ｂ’と、第２画像合成部５２５から入力された合成画像Ｇ’と、に基づいて、カラー画像を生成して表示装置４へ出力する。具体的には、カラー画像生成部５２６は、Ｒ画像を構成する各画素の画素値、合成画像Ｂ’および合成画像Ｇ’を構成する各画素の画素値を合成してカラー画像を生成し、このカラー画像を表示装置４へ出力する。
【００８０】
〔第１画素抽出部の構成〕
次に、上述した第１画素抽出部５２２の詳細な構成について説明する。図１４は、第１画素抽出部５２２の詳細な構成を示すブロック図である。なお、第２画素抽出部５２３は、第１画素抽出部５２２と同様の構成を有するため、詳細な説明は省略するが、第２画素抽出部５２３では、Ｂ画素をＧ画素、ＮＢ画像をＮＧ画像と置き換えることによって、第１画素抽出部５２２と同様の機能を有する。
【００８１】
図１４に示すように、第１画素抽出部５２２は、比率算出部６１０と、エッジ抽出部６１１と、閾値算出部６１２と、２値化部６１３と、モフォロジー処理部６１４と、抽出部６１５と、を有する。
【００８２】
比率算出部６１０は、画像生成部５２１から入力されたＮＢ画像およびＢ画像に基づいて、画素毎にＢ画像の画素値とＮＢ画像の画素値との比率（ＮＢ／Ｂ）を算出し、この算出結果をエッジ抽出部６１１へ出力する。具体的には、比率算出部６１０は、画素毎にＢ画像の画素値に対するＮＢ画像の画素値の比率（ＮＢ／Ｂ）を算出し、この算出結果をエッジ抽出部６１１へ出力する。
【００８３】
エッジ抽出部６１１は、比率算出部６１０から入力された画素値の比率に対して、所定のラプラシアンフィルタを用いて、エッジ情報を抽出し、このエッジ情報を２値化部６１３および閾値算出部６１２それぞれへ出力する。具体的には、エッジ抽出部６１１は、図１５に示すラプラシアンフィルタＦ１（３×３）を用いて、比率算出部６１０から入力された画素値の比率に対してエッジを抽出する。ラプラシアンフィルタＦ１は、４近傍のラプラシアンフィルタによるエッジ抽出を示す。ラプラシアンフィルタＦ１を用いたエッジ抽出処理は、正負の値が出現する。このため、本実施の形態２では、エッジ強度を絶対値で表す。
【００８４】
閾値算出部６１２は、エッジ抽出部６１１から入力されたエッジ情報のヒストグラムを生成し、このヒストグラムに基づいて、閾値を算出し、この閾値を２値化部６１３へ出力する。
【００８５】
２値化部６１３は、エッジ抽出部６１１から入力されたエッジ情報に対して、閾値算出部６１２から入力された閾値を用いて、エッジ抽出部６１１から入力されたエッジ情報に対して２値化を行う２値化処理を行い、この２値化された情報をモフォロジー処理部６１４へ出力する。
【００８６】
モフォロジー処理部６１４は、２値化部６１３から入力された２値化された情報に対して、モフォロジー処理を行い最終的に１となる画素だけ（画素のアドレス）を抽出部６１５へ出力する。なお、モフォロジー処理部６１４が実行するモフォロジー処理については、後述する。
【００８７】
抽出部６１５は、モフォロジー処理部６１４から入力された結果と画像生成部５２１から入力されたＮＢ画像とに基づいて、ＮＢ画像に含まれる特徴ある画素を抽出する。具体的には、抽出部６１５は、モフォロジー処理部６１４から入力されたモフォロジー処理によって最終的に１となる画素の画素位置に対応するＮＢ画像の画素の画素値を維持したまま第１画像合成部５２４へ出力するとともに、モフォロジー処理部６１４から入力されたモフォロジー処理によって最終的に０となる画素の画素位置に対応するＮＢ画像の画素の画素値を０として第１画像合成部５２４へ出力する。
【００８８】
〔モフォロジー処理の概要〕
次に、モフォロジー処理部６１４が実行するモフォロジー処理の詳細について説明する。図１６Ａ〜図１６Ｃは、モフォロジー処理部６１４によるモフォロジー処理の拡張処理の概要を模式的に説明する図である。図１７Ａ〜図１７Ｃは、モフォロジー処理部６１４によるモフォロジー処理の収縮処理の概要を模式的に説明する図である。図１８Ａ〜図１８Ｃは、モフォロジー処理部６１４によるモフォロジー処理の画像を示す図である。
【００８９】
図１６Ａ〜図１６Ｃ、図１７Ａ〜図１７Ｃおよび図１８Ａ〜図１８Ｃに示すように、モフォロジー処理部６１４は、２値化した白黒画像内の図形を１画素膨らませる膨張処理、または２値化した白黒画像内の図形を１画素分縮める収縮処理を複数回行うモフォロジー処理を行うことによって、白黒で表される２値化画像の白と黒の境界の平滑化および孤立点除去（穴埋め）を行う。
【００９０】
具体的には、膨張処理を行う場合、モフォロジー処理部６１４は、図１６Ａに示す白黒画像Ｐ１（元画像）の１つの画素ＰＰ１に対して、上下左右（矢印Ａ１を参照）に１画素ずつ膨張することによって膨張処理後画像Ｐ２を生成する（図１６Ａ→図１６Ｂ→図１６Ｃ）。
【００９１】
これに対して、収縮処理を行う場合、モフォロジー処理部６１４は、図１７Ａに示す白黒画像Ｐ１（元画像）の１つの画素ＰＰ１に対して、上下左右（矢印Ａ２を参照）に１画素ずつ収縮することによって収縮処理後画像Ｐ３を生成する（図１７Ａ→図１７Ｂ→図１７Ｃ）。
【００９２】
また、モフォロジー処理部６１４は、上述した収縮処理を所定回数（例えば３回）行った後に、上述した膨張処理を所定回数（例えば３回）行うオープニング処理を行う。具体的には、図１８Ａに示すように、２値化した白黒画像Ｐ１０に対して、オープニング処理を行うことによって、図形の周りにある小さい画素を除去することによって、抽出したい図形だけを残すことで、図形の突起部分を除去したり、結合部分を分離したりすることができる（図１８Ａ→図１８Ｂ→図１８Ｃ）。
【００９３】
以上説明した本発明の実施の形態２によれば、実施の形態１と同様に、通常光観察画像に特殊光観察画像を合成する場合であっても、所望の観察画像を得ることができる。
【００９４】
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３は、上述した実施の形態１に係るプロセッサ５と構成が異なるうえ、プロセッサが実行する処理が異なる。具体的には、本実施の形態３では、ＮＢ画像をＢ画像に合成する際の係数を算出し、この係数をＮＢ画像の画素に乗算することによってＢ画素に加算する。以下においては、本実施の形態３に係る内視鏡システムの構成を説明後、本実施の形態３に係るプロセッサが実行する処理について説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して説明を省略する。
【００９５】
〔内視鏡システムの構成〕
図１９は、本発明の実施の形態３に係る内視鏡システムの要部の機能構成を示すブロック図である。図１９に示す内視鏡システム１ｃは、上述した実施の形態１に係るプロセッサ５に換えて、プロセッサ５ｃを備える。また、プロセッサ５ｃは、上述した実施の形態１に係る画像処理部５１に換えて、画像処理部５１ｃを備える。
【００９６】
画像処理部５１ｃは、取得部５１１と、画像生成部５１２と、合成係数生成部５３１と、画像合成部５３２と、カラー画像生成部５３３と、を有する。
【００９７】
合成係数生成部５３１は、画像生成部５１２から入力されたＮＢ画像およびＢ画像に基づいて、ＮＢ画像にＢ画像を合成する際のＮＢ画像およびＢ画像それぞれの合成係数を生成し、この合成係数α，βを画像合成部５３２へ出力する。
【００９８】
図２０は、合成係数生成部５３１の詳細な構成を示すブロック図である。図２０に示すように、合成係数生成部５３１は、比率算出部５２１ａと、正規化部５２１ｂと、係数算出部５２１ｃと、を有する。
【００９９】
比率算出部５２１ａは、画像生成部５１２から入力されたＮＢ画像およびＢ画像に基づいて、画素毎にＢ画像の画素値に対するＮＢ画像の画素値の比率（ＮＢ／Ｂ）を算出し、この算出結果を正規化部５２１ｂへ出力する。
【０１００】
正規化部５２１ｂは、比率算出部５２１ａから入力された画素毎の比率の正規化を行い、この正規化情報ｎｂｂを係数算出部５２１ｃへ出力する。この場合において、正規化部５２１ｂは、比率算出部５２１ａから入力された画素毎の比率に対して、極端な数値を除外することによって正規化を行う。このとき、正規化部５２１ｂは、除外した極端な数値の画素のｎｂｂを１．０として係数算出部５２１ｃへ出力する。
【０１０１】
係数算出部５２１ｃは、正規化部５２１ｂから入力された画素毎の正規化情報ｎｂｂと、外部から入力された閾値とに基づいて、画素毎にＮＢ画像にＢ画像を合成する際のＮＢ画像およびＢ画像それぞれの合成係数α，βを算出する。具体的には、係数算出部５２１ｃは、正規化部５２１ｂから入力された画素毎の正規化情報ｎｂｂが閾値より大きい場合（ｎｂｂ＞閾値）、ＮＢ画像の画素に乗算する合成係数αの値をＢ画像の画素値に対するＮＢ画像の画素値の比率（ＮＢ／Ｂ）とし、Ｂ画像の画素に乗算する合成係数βの値を０とする。これに対して、正規化部５２１ｂから入力された画素毎の正規化情報ｎｂｂが閾値以下の場合（ｎｂｂ≦閾値）、ＮＢ画像の画素に乗算する合成係数αの値を０とし、Ｂ画像の画素に乗算する合成係数βの値を１とする。
【０１０２】
図１９に戻り、画像処理部５１ｃの構成の説明を続ける。
画像合成部５３２は、合成係数生成部５３１が生成した合成係数α，βに基づいて、画像生成部５１２から入力されたＮＢ画像とＢ画像とを合成して合成画像Ｂ’を生成してカラー画像生成部５３３へ出力する。具体的には、画像合成部５３２は、画素毎に、以下の式（１）によって合成画像Ｂ’の画素値を算出する。
Ｂ’＝α×ＮＢ＋β×Ｂ      ・・・（１）
【０１０３】
カラー画像生成部５３３は、画像合成部５３２から入力された合成画像Ｂ’と、画像生成部５１２から入力されたＧ画像およびＲ画像とに基づいて、カラー画像を生成して表示装置４へ出力する。
【０１０４】
〔プロセッサの処理〕
次に、プロセッサ５ｃが実行する処理について説明する。図２１は、プロセッサ５ｃが実行する処理の概要を示すフローチャートである。図２１において、ステップＳ３０１およびステップＳ３０２は、上述した図８のステップＳ１０１およびステップＳ１０２それぞれに対応する。
【０１０５】
ステップＳ３０３において、合成係数生成部５３１は、画像生成部５１２から入力されたＮＢ画像およびＢ画像に基づいて、ＮＢ画像にＢ画像を合成する際のＮＢ画像およびＢ画像それぞれの合成係数を画素毎に生成し、この合成係数を画像合成部５３２へ出力する。
【０１０６】
続いて、画像合成部５３２は、合成係数生成部５３１が生成した合成係数α，βに基づいて、画像生成部５１２から入力されたＮＢ画像とＢ画像とを画素毎に合成して合成画像Ｂ’を生成してカラー画像生成部５３３へ出力する（ステップＳ３０４）。
【０１０７】
その後、カラー画像生成部５３３は、画像合成部５３２から入力された画像Ｂ’と、画像生成部５１２から入力されたＧ画像およびＲ画像とに基づいて、カラー画像を生成して表示装置４へ出力する（ステップＳ３０５）。
【０１０８】
以上説明した本発明の実施の形態３によれば、実施の形態１と同様に、通常光観察画像に特殊光観察画像を合成する場合であっても、所望の観察画像を得ることができる。
【０１０９】
なお、本発明の実施の形態３では、ＮＢ画像に対して上述した実施の形態２のモフォロジー処理を行った後に、正規化部５２１ｂが正規化情報ｎｂｂを生成し、モフォロジー処理の結果、残った画素に乗算する合成係数αの値をＢ画像の画素値に対するＮＢ画像の画素値の比率（ＮＢ／Ｂ）とし、Ｂ画像の画素に乗算する合成係数βの値を０とする。これに対して、モフォロジー処理の結果、それ以外の画素の場合、ＮＢ画像の画素に乗算する合成係数αの値を０とし、Ｂ画像の画素に乗算する合成係数βの値を１とするようにしてもよい。
【０１１０】
（その他の実施の形態）
また、本発明の実施の形態１〜３では、内視鏡システム１，１ａ，１ｃに、内視鏡２、２ａ，表示装置４、入力部５２、記録部５３および制御部５４の各々を設けていたが、これらの構成要素は発明の要旨を逸脱しない範囲内で削除してもよい。また、上述した実施の形態１〜３に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態１〜３に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態１〜３で説明した構成要素を適宜組み合わせてもよい。
【０１１１】
また、本発明の実施の形態では、上記してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
【０１１２】
また、本発明の実施の形態では、伝送ケーブルを介して画像データを画像処理装置へ送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、画像データ等を画像処理装置へ送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。
【０１１３】
また、本発明の実施の形態では、光源装置と画像処理装置（プロセッサ）とが別体で形成されていたが、これに限定されることなく、例えば画像処理装置と光源とが一体的に形成された構成としてもよい。
【０１１４】
また、本発明の実施の形態では、同時式の内視鏡を例に説明したが、面順次の内視鏡であっても適用することができる。さらに、本発明の実施の形態では、狭帯域光以外にも、所定の狭帯域光を照射可能な内視鏡であっても適用することができる。さらにまた、本発明の実施の形態では、硬性内視鏡以外にも、軟性内視鏡（上下内視鏡）、副鼻腔内視鏡およびカプセル型内視鏡であっても適用することができる。
【０１１５】
また、本発明の実施の形態では、被検体に挿入される内視鏡であったが、例えばカプセル型の内視鏡または被検体を撮像する撮像装置であっても適用することができる。
【０１１６】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いて各処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【０１１７】
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【符号の説明】
【０１１８】
１，１ａ，１ｂ，１ｃ  内視鏡システム
２，２ｂ  内視鏡
３  光源装置
４  表示装置
５，５ａ，５ｂ，５ｃ  プロセッサ
５１，５１ａ，５１ｂ，５１ｃ  画像処理部
５２  入力部
５３  記録部
５３ａ  プログラム記録部
５４  制御部
２０１  光学系
２０２，２０２ｂ  撮像部
２１１  撮像素子
２１２，２１２ｂ  カラーフィルタ
５１１  取得部
５１２，５２１  画像生成部
５１３  画素抽出部
５１４，５１７，５３２  画像合成部
５１５，５１８，５２６，５３３  カラー画像生成部
５１６  色空間変換部
５２１ａ，６０１，６１０  比率算出部
５２１ｂ  正規化部
５２１ｃ  係数算出部
５２２  第１画素抽出部
５２３  第２画素抽出部
５２４  第１画像合成部
５２５  第２画像合成部
５３１  合成係数生成部
６０２，６１２  閾値算出部
６０３  判定部
６０４，６１５  抽出部
６１１  エッジ抽出部
６１４  モフォロジー処理部
【図１】
2017221335.tif 000003
【図２】
2017221335.tif 000004
【図３】
2017221335.tif 000005
【図４】
2017221335.tif 000006
【図５】
2017221335.tif 000007
【図６】
2017221335.tif 000008
【図７】
2017221335.tif 000009
【図８】
2017221335.tif 000010
【図９】
2017221335.tif 000011
【図１０】
2017221335.tif 000012
【図１１】
2017221335.tif 000013
【図１２】
2017221335.tif 000014
【図１３】
2017221335.tif 000015
【図１４】
2017221335.tif 000016
【図１５】
2017221335.tif 000017
【図１６Ａ】
2017221335.tif 000018
【図１６Ｂ】
2017221335.tif 000019
【図１６Ｃ】
2017221335.tif 000020
【図１７Ａ】
2017221335.tif 000021
【図１７Ｂ】
2017221335.tif 000022
【図１７Ｃ】
2017221335.tif 000023
【図１８Ａ】
2017221335.tif 000024
【図１８Ｂ】
2017221335.tif 000025
【図１８Ｃ】
2017221335.tif 000026
【図１９】
2017221335.tif 000027
【図２０】
2017221335.tif 000028
【図２１】
2017221335.tif 000029
【国際調査報告】
2017221335.tif 000030
2017221335.tif 000031
2017221335.tif 000032
2017221335.tif 000033