(57)【要約】  内視鏡装置は、緑色光を含む第１照明光群と、緑色光を含まない第２照明光群とを、交互に発光させる光源装置１００と、複数色のカラーフィルタを有する撮像素子２４０と、処理回路３１０と、を含む。処理回路３１０は、第１照明光群による画像と第２照明光群による画像とに基づいて、表示画像を生成する。第１照明光群は、前記緑色光と共に、青色狭帯域光を更に含む。処理回路３１０は、緑色画像及び青色狭帯域画像に基づいて、表示画像における緑色チャンネルの画像を生成する。
2020035929.tif 000002
【特許請求の範囲】
【請求項１】
緑色の波長帯域を有する緑色光を含む第１照明光群と、前記緑色光を含まない第２照明光群とを、交互に発光させる光源装置と、
複数色のカラーフィルタを有する撮像素子と、
前記第１照明光群が照射されたときに前記撮像素子により撮像された画像と、前記第２照明光群が照射されたときに前記撮像素子により撮像された画像とに基づいて、表示画像を生成する処理回路と、
を含み、
前記第１照明光群は、前記緑色光と共に、青色の波長帯域に属する青色狭帯域光を更に含み、
前記処理回路は、
前記緑色光により得られる緑色画像、及び前記青色狭帯域光により得られる青色狭帯域画像に基づいて、前記表示画像における緑色チャンネルの画像を生成することを特徴とする内視鏡装置。
【請求項２】
請求項１において、
前記第１照明光群は、赤色の波長帯域を有する赤色光を含み、
前記第２照明光群は、青色の波長帯域を有する青色光を含むことを特徴とする内視鏡装置。
【請求項３】
請求項２において、
前記処理回路は、
前記赤色光により得られる赤色画像、及び前記緑色画像、前記青色光により得られる青色画像に基づいて、前記表示画像として白色光画像を生成し、
前記青色狭帯域画像に基づいて、前記緑色チャンネルの画像に対する構造強調処理を行うことを特徴とする内視鏡装置。
【請求項４】
請求項１において、
前記光源装置は、
第１フレームにおいて前記第１照明光群を発光させ、第２フレームにおいて前記第２照明光群を発光させ、第３フレームにおいて前記第１照明光群を発光させ、第４フレームにおいて前記第２照明光群を発光させ、
前記処理回路は、
前記第１フレームにおいて前記撮像素子により撮像された画像と、前記第２フレームにおいて前記撮像素子により撮像された画像とに基づいて、第１表示画像を生成し、前記第２フレームにおいて前記撮像素子により撮像された画像と、前記第３フレームにおいて前記撮像素子により撮像された画像とに基づいて、第２表示画像を生成し、前記第３フレームにおいて前記撮像素子により撮像された画像と、前記第４フレームにおいて前記撮像素子により撮像された画像とに基づいて、第３表示画像を生成することを特徴とする内視鏡装置。
【請求項５】
請求項１において、
前記第２照明光群は、赤色の波長帯域に属する赤色狭帯域光を含み、
前記処理回路は、
前記緑色画像、及び前記青色狭帯域画像、前記赤色狭帯域光により得られる赤色狭帯域画像に基づいて、前記表示画像における前記緑色チャンネルの画像を生成することを特徴とする内視鏡装置。
【請求項６】
請求項１において、
前記青色狭帯域光のピーク波長は、４１５±２０ｎｍの範囲内であることを特徴とする内視鏡装置。
【請求項７】
請求項５において、
前記赤色狭帯域光のピーク波長は、６００±２０ｎｍの範囲内であることを特徴とする内視鏡装置。
【請求項８】
請求項１において、
前記処理回路は、
前記緑色画像及び前記青色狭帯域画像に基づいて、被写体の構造に関する特徴量を抽出することを特徴とする内視鏡装置。
【請求項９】
請求項８において、
前記処理回路は、
前記特徴量を前記緑色画像に合成することで、前記表示画像における前記被写体の構造を強調することを特徴とする内視鏡装置。
【請求項１０】
緑色の波長帯域を有する緑色光を含む第１照明光群と、前記緑色光を含まない第２照明光群とを、交互に発光させる光源装置と、
複数色のカラーフィルタを有する撮像素子と、
前記第１照明光群が照射されたときに前記撮像素子により撮像された画像と、前記第２照明光群が照射されたときに前記撮像素子により撮像された画像とに基づいて、表示画像を生成する処理回路と、
を含み、
前記第１照明光群は、前記緑色光と共に、赤色の波長帯域に属する狭帯域の赤色狭帯域光を更に含み、
前記処理回路は、
前記緑色光により得られる緑色画像、及び前記赤色狭帯域光により得られる赤色狭帯域画像に基づいて、前記表示画像における緑色チャンネルの画像を生成することを特徴とする内視鏡装置。
【請求項１１】
第１色の波長帯域を有する第１色光を含む第１照明光群と、前記第１色光を含まない第２照明光群とを、交互に発光させる光源装置と、
複数色のカラーフィルタを有する撮像素子と、
前記第１照明光群が照射されたときに前記撮像素子により撮像された画像と、前記第２照明光群が照射されたときに前記撮像素子により撮像された画像とに基づいて、表示画像を生成する処理回路と、
を含み、
前記第１照明光群は、前記第１色光と共に、第２色の波長帯域に属する狭帯域の第２色狭帯域光を更に含み、
前記処理回路は、
前記第１色光により得られる第１色画像、及び前記第２色狭帯域光により得られる第２色狭帯域画像に基づいて、前記表示画像における緑色チャンネルの画像を生成することを特徴とする内視鏡装置。
【請求項１２】
複数色のカラーフィルタを有する撮像素子を含む内視鏡装置の作動方法であって、
緑色の波長帯域を有する緑色光、及び青色の波長帯域に属する狭帯域の青色狭帯域光を含む第１照明光群と、前記緑色光を含まない第２照明光群とを、交互に発光させ、
前記第１照明光群が照射されたときに前記撮像素子により撮像された画像と、前記第２照明光群が照射されたときに前記撮像素子により撮像された画像とに基づいて、表示画像を生成し、
前記表示画像を生成する際に、前記緑色光により得られる緑色画像、及び前記青色狭帯域光により得られる青色狭帯域画像に基づいて、前記表示画像における緑色チャンネルの画像を生成することを特徴とする内視鏡装置の作動方法。
【請求項１３】
複数色のカラーフィルタを有する撮像素子により撮像された画像を処理するための画像処理プログラムであって、
第１照明光群が、緑色の波長帯域を有する緑色光、及び青色の波長帯域に属する狭帯域の青色狭帯域光を含み、第２照明光群が、前記緑色光を含まない場合において、
前記第１照明光群が照射されたときに前記撮像素子により撮像された画像と、前記第２照明光群が照射されたときに前記撮像素子により撮像された画像とに基づいて、表示画像を生成し、
前記表示画像を生成する際に、前記緑色光により得られる緑色画像、及び前記青色狭帯域光により得られる青色狭帯域画像に基づいて、前記表示画像における緑色チャンネルの画像を生成するステップを、
コンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム等に関する。
【背景技術】
【０００２】
内視鏡装置において、互いに波長が異なる複数の照明光を順次に発光させる面順次の手法が知られている。この手法では、各照明光が発光されたときの画像を、モノクロ撮像素子を用いて撮像し、それら複数の波長における画像を合成することで表示画像を生成する。また、特許文献１には、白色光画像と狭帯域画像とを撮像し、狭帯域画像から得られる情報を白色光画像に付与する手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１２５４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ある波長の画像から得られる情報を、例えば白色光画像等の他の画像に付与する場合、照明光の発光順が画質に影響するという課題がある。即ち、照明光の発光順が不適切である場合、発光タイミングの違いによる色ずれ、或いは異なる波長の照明光が同時に発光することによる混色、或いはフリッカ等が、発生するおそれがある。【０００５】
上述した特許文献１では、照明光の発光順が画質に影響する点について考慮されていない。また、特許文献１では、例えばベイヤ型イメージセンサ又は補色フィルタ型イメージセンサ等のカラーイメージセンサにより撮像する場合について考慮されていない。即ち、特許文献１には、カラーイメージセンサを用いた場合において、照明光の適切な発光順について開示されていない。
【課題を解決するための手段】
【０００６】
本発明の一態様は、緑色の波長帯域を有する緑色光を含む第１照明光群と、前記緑色光を含まない第２照明光群とを、交互に発光させる光源装置と、複数色のカラーフィルタを有する撮像素子と、前記第１照明光群が照射されたときに前記撮像素子により撮像された画像と、前記第２照明光群が照射されたときに前記撮像素子により撮像された画像とに基づいて、表示画像を生成する処理回路と、を含み、前記第１照明光群は、前記緑色光と共に、青色の波長帯域に属する青色狭帯域光を更に含み、前記処理回路は、前記緑色光により得られる緑色画像、及び前記青色狭帯域光により得られる青色狭帯域画像に基づいて、前記表示画像における緑色チャンネルの画像を生成する内視鏡装置に関係する。【０００７】
また本発明の他の態様は、緑色の波長帯域を有する緑色光を含む第１照明光群と、前記緑色光を含まない第２照明光群とを、交互に発光させる光源装置と、複数色のカラーフィルタを有する撮像素子と、前記第１照明光群が照射されたときに前記撮像素子により撮像された画像と、前記第２照明光群が照射されたときに前記撮像素子により撮像された画像とに基づいて、表示画像を生成する処理回路と、を含み、前記第１照明光群は、前記緑色光と共に、赤色の波長帯域に属する狭帯域の赤色狭帯域光を更に含み、前記処理回路は、前記緑色光により得られる緑色画像、及び前記赤色狭帯域光により得られる赤色狭帯域画像に基づいて、前記表示画像における緑色チャンネルの画像を生成する内視鏡装置に関係する。【０００８】
また本発明の更に他の態様は、第１色の波長帯域を有する第１色光を含む第１照明光群と、前記第１色光を含まない第２照明光群とを、交互に発光させる光源装置と、複数色のカラーフィルタを有する撮像素子と、前記第１照明光群が照射されたときに前記撮像素子により撮像された画像と、前記第２照明光群が照射されたときに前記撮像素子により撮像された画像とに基づいて、表示画像を生成する処理回路と、を含み、前記第１照明光群は、前記第１色光と共に、第２色の波長帯域に属する狭帯域の第２色狭帯域光を更に含み、前記処理回路は、前記第１色光により得られる第１色画像、及び前記第２色狭帯域光により得られる第２色狭帯域画像に基づいて、前記表示画像における緑色チャンネルの画像を生成する内視鏡装置に関係する。【０００９】
また本発明の更に他の態様は、複数色のカラーフィルタを有する撮像素子を含む内視鏡装置の作動方法であって、緑色の波長帯域を有する緑色光、及び青色の波長帯域に属する狭帯域の青色狭帯域光を含む第１照明光群と、前記緑色光を含まない第２照明光群とを、交互に発光させ、前記第１照明光群が照射されたときに前記撮像素子により撮像された画像と、前記第２照明光群が照射されたときに前記撮像素子により撮像された画像とに基づいて、表示画像を生成し、前記表示画像を生成する際に、前記緑色光により得られる緑色画像、及び前記青色狭帯域光により得られる青色狭帯域画像に基づいて、前記表示画像における緑色チャンネルの画像を生成する内視鏡装置の作動方法に関係する。【００１０】
また本発明の更に他の態様は、複数色のカラーフィルタを有する撮像素子により撮像された画像を処理するための画像処理プログラムであって、第１照明光群が、緑色の波長帯域を有する緑色光、及び青色の波長帯域に属する狭帯域の青色狭帯域光を含み、第２照明光群が、前記緑色光を含まない場合において、前記第１照明光群が照射されたときに前記撮像素子により撮像された画像と、前記第２照明光群が照射されたときに前記撮像素子により撮像された画像とに基づいて、表示画像を生成し、前記表示画像を生成する際に、前記緑色光により得られる緑色画像、及び前記青色狭帯域光により得られる青色狭帯域画像に基づいて、前記表示画像における緑色チャンネルの画像を生成するステップを、コンピュータに実行させる画像処理プログラムに関係する。
【図面の簡単な説明】
【００１１】
【図１】内視鏡装置の構成例。
【図２】処理回路の詳細な構成例。
【図３】本実施形態の内視鏡装置が行う面順次撮像を説明する図。
【図４】第１実施形態における照明光のスペクトル。
【図５】第１実施形態における照明光のスペクトル。
【図６】第１実施形態において特徴量抽出部が行う処理を示すフローチャート。
【図７】第２実施形態における照明光のスペクトル。
【図８】第２実施形態における照明光のスペクトル。
【図９】第２実施形態において特徴量抽出部が行う処理を示すフローチャート。
【図１０】特徴量抽出部が行う詳細な処理を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１３】
１．内視鏡装置
【００１４】
図１は、内視鏡装置の構成例である。内視鏡装置は、挿入部２００と制御装置３００と表示部４００と外部Ｉ／Ｆ部５００と光源装置１００とを含む。内視鏡装置としては、例えば消化管等に用いられる軟性鏡や、腹腔鏡等に用いられる硬性鏡を想定できるが、これらに限定されない。なお、挿入部２００をスコープとも呼ぶ。また制御装置３００を本体部又は処理装置とも呼ぶ。表示部４００を表示装置とも呼ぶ。外部Ｉ／Ｆ部５００を操作部又は操作装置とも呼ぶ。光源装置１００を照明部又は照明装置とも呼ぶ。
【００１５】
光源装置１００は、照明光を発生する装置である。光源装置１００は、光源ＬＤＶ、ＬＤＢ、ＬＤＧ、ＬＤＡ、ＬＤＲと、合波部１２０と、を含む。なお、後述する第１実施形態において光源装置１００が光源ＬＤＡを含まなくてもよい。
【００１６】
光源ＬＤＶ、ＬＤＢ、ＬＤＧ、ＬＤＡ、ＬＤＲの各々は、ＬＥＤ（Light Emitting Diode）又はレーザー光源である。以下、光源ＬＤＶ、ＬＤＢ、ＬＤＧ、ＬＤＡ、ＬＤＲが発生する光を、それぞれＶ光、Ｂ光、Ｇ光、Ａ光、Ｒ光と呼ぶ。
【００１７】
Ｖ光は、ピーク波長が４１０ｎｍである狭帯域光である。Ｖ光の半値幅は数ｎｍ〜数１０ｎｍである。Ｖ光の帯域は、白色光における青色波長帯域に属し、その青色波長帯域よりも狭い。Ｂ光は、白色光における青色波長帯域を有する光である。Ｇ光は、白色光における緑色波長帯域を有する光である。Ａ光は、ピーク波長が６００ｎｍである狭帯域光である。Ａ光の半値幅は数ｎｍ〜数１０ｎｍである。Ａ光の帯域は、白色光における赤色波長帯域に属し、その赤色波長帯域よりも狭い。Ｒ光は、白色光における赤色波長帯域を有する光である。撮像素子２４０がベイヤ型イメージセンサである場合において、Ｖ光及びＢ光は青色カラーフィルタを透過し、Ｇ光は緑色カラーフィルタを透過し、Ａ光及びＲ光は赤色カラーフィルタを透過する。
【００１８】
なお、上記の波長は一例である。例えば各光のピーク波長は１０％程度ずれていてもよい。また、Ｂ光及びＧ光、Ｒ光が、数ｎｍ〜数１０ｎｍの半値幅を有する狭帯域光であってもよい。また、光源ＬＤＡがＡ光ではなく赤外光を発生してもよい。
【００１９】
合波部１２０は、ＬＤＶ、ＬＤＢ、ＬＤＧ、ＬＤＡ、ＬＤＲが射出する光を合波し、その合波された光をライトガイド２１０へ入射させる。合波部１２０は、例えばダイクロイックミラーとレンズ等により構成される。
【００２０】
光源装置１００は、１回の発光タイミングにおいて、Ｖ光、Ｂ光、Ｇ光、Ａ光、Ｒ光のうち１波長又は複数波長の光を出射する。以下、この１回の発光タイミングにおいて出射される１波長又は複数波長の光を照明光群と呼ぶ。照明の詳細については後述する。
【００２１】
挿入部２００は、体内へ挿入される部分である。挿入部２００は、ライトガイド２１０と照明レンズ２２０と対物レンズ２３０と撮像素子２４０とＡ／Ｄ変換回路２５０とを含む。また挿入部２００はメモリ２６０を含むことができる。撮像素子２４０はイメージセンサとも呼ぶ。挿入部２００は不図示のコネクタを有し、そのコネクタにより制御装置３００に対して着脱される。
【００２２】
ライトガイド２１０は、光源装置１００からの照明光を、挿入部２００の先端まで導光する。照明レンズ２２０は、ライトガイド２１０により導光された照明光を被写体へ照射する。本実施形態において被写体は生体である。被写体からの反射光は、対物レンズ２３０へ入射する。対物レンズ２３０によって被写体像が結像され、撮像素子２４０が、その被写体像を撮像する。
【００２３】
撮像素子２４０は、被写体像を光電変換する複数の画素を含み、その複数の画素から画素信号を取得する。撮像素子２４０は、１回の撮像により複数色の画素信号が得られるカラーイメージセンサである。撮像素子２４０は、例えばベイヤ配列のカラーフィルタを有するベイヤ型イメージセンサ、或いは補色フィルタを有する補色イメージセンサである。
【００２４】
Ａ／Ｄ変換回路２５０は、撮像素子２４０からのアナログの画素信号をデジタルの画素信号にＡ／Ｄ変換する。なお、Ａ／Ｄ変換回路２５０は撮像素子２４０に内蔵されてもよい。
【００２５】
制御装置３００は、画像処理を含む信号処理を行う。また制御装置３００は、内視鏡装置の各部を制御する。制御装置３００は、処理回路３１０と制御回路３２０とを含む。
【００２６】
制御回路３２０は、内視鏡装置の各部を制御する。例えばユーザが外部Ｉ／Ｆ部５００を操作して強調処理の有無等を設定する。例えば、強調処理を行う指示が入力された場合、制御回路３２０は、強調処理を行う指示を処理回路３１０へ出力する。処理回路３１０は、例えばＶ光により得られる画像等に基づいて、白色光画像における血管構造を強調する。強調処理を行わない指示が入力された場合、制御回路３２０は、強調処理を行わない指示を処理回路３１０へ出力する。処理回路３１０は、白色光画像を強調せずに表示部４００へ出力する。
【００２７】
挿入部２００のメモリ２６０は、挿入部２００に関する情報を記憶している。制御回路３２０は、メモリ２６０から読み出した情報に基づいて、内視鏡装置の各部を制御する。例えばメモリ２６０は撮像素子２４０に関する情報を記憶している。撮像素子２４０に関する情報は、例えば撮像素子２４０の種類に関する情報等である。制御回路３２０は、メモリ２６０から読み出した撮像素子２４０に関する情報に基づいて、それに対応した画像処理を処理回路３１０に行わせる。
【００２８】
処理回路３１０は、Ａ／Ｄ変換回路２５０からの画素信号に基づいて画像処理を行うことで、表示画像を生成し、その表示画像を表示部４００へ出力する。表示部４００は、例えば液晶表示装置等であり、処理回路３１０からの表示画像を表示する。
【００２９】
図２は、処理回路３１０の詳細な構成例である。処理回路３１０は、補間処理部３１１と特徴量抽出部３１２と表示画像生成部３１３とを含む。
【００３０】
補間処理部３１１には、Ａ／Ｄ変換回路２５０から画像信号が入力される。補間処理部３１１は、画像信号に基づいて、Ｖ光、Ｂ光、Ｇ光、Ａ光、Ｒ光の各々に対応した画像を取得する。以下、Ｖ光、Ｂ光、Ｇ光、Ａ光、Ｒ光に対応した画像を、それぞれＶ画像、Ｂ画像、Ｇ画像、Ａ画像、Ｒ画像と呼ぶ。例えば撮像素子２４０がベイヤ型イメージセンサである場合、Ｖ光は青色画素により撮像される。補間処理部３１１は、青色画素の画素信号を補間処理することで、Ｖ画像を生成する。同様に、Ｂ光、Ｇ光、Ａ光、Ｒ光は、それぞれ青色画素、緑色画素、赤色画素、赤色画素により撮像される。補間処理部３１１は、それらの画素信号を補間処理することで、Ｂ画像、Ｇ画像、Ａ画像、Ｒ画像を生成する。
【００３１】
なお、撮像素子２４０が補色イメージセンサであり、インターレース撮影を行う場合、補間処理部３１１は、下式（１）〜（３）によりＹＣｒＣｂ信号を求める。補間処理部３１１は、ＹＣｒＣｂ信号をＲＧＢ信号に変換する。例えば、Ｖ光が照射されたとき、ＲＧＢ信号のＢチャンネルがＶ画像となる。同様にして、補間処理部３１１は、Ｂ画像、Ｇ画像、Ａ画像、Ｒ画像を求める。
【００３２】
Ｙ＝｛（Ｍｇ＋Ｃｙ）＋（Ｇ＋Ｙｅ）｝／２  ・・・（１）
【００３３】
Ｃｂ＝（Ｍｇ＋Ｃｙ）−（Ｇ＋Ｙｅ）  ・・・（２）
【００３４】
Ｃｒ＝（Ｍｇ＋Ｙｅ）−（Ｇ＋Ｃｙ）  ・・・（３）
【００３５】
上式（１）〜（３）において、Ｍｇ、Ｃｙ、Ｇ、Ｙｅは、それぞれマゼンダ、シアン、グリーン、イエローの画素値を意味する。また（Ｍｇ＋Ｃｙ）は、マゼンダの画素値とシアンの画素値が加算読み出しされたものを意味する。上式（２）のＣｂ信号は、インターレース撮影における２フィールドのうち一方のフィールドにおいて得られ、上式（３）のＣｒ信号は、２フィールドのうち他方のフィールドにおいて得られる。
【００３６】
表示画像生成部３１３は、Ｂ画像、Ｇ画像、Ｒ画像を合成することで白色光画像を生成する。また表示画像生成部３１３は、白色光画像を強調処理する。具体的には、特徴量抽出部３１２が、Ｖ画像又はＡ画像から特徴量を抽出する。表示画像生成部３１３は、その特徴量に基づいて白色光画像を強調処理する。特徴量抽出部３１２は、Ｖ画像から高周波数成分を抽出することで、表層血管の構造を示す特徴量を抽出する。或いは、特徴量抽出部３１２は、Ａ画像から高周波数成分を抽出することで、深層血管の構造を示す特徴量を抽出する。表示画像生成部３１３は、特徴量抽出部３１２により抽出された高周波数成分を白色光画像のＧチャンネルに加算処理することで、白色光画像を強調処理する。表示画像生成部３１３は、強調処理後の白色光画像を表示部４００へ出力する。
【００３７】
外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースである。即ち、内視鏡装置を操作するためのインターフェース、或いは内視鏡装置の動作設定を行うためのインターフェース等である。例えば、内視鏡装置を操作するためのボタン又はダイヤル、レバー等を含む。
【００３８】
図３は、本実施形態の内視鏡装置が行う面順次撮像を説明する図である。図３に示すように、光源装置１００は、第１フレームＦ１において第１照明光群ＧＲ１を出射し、第２フレームＦ２において第２照明光群ＧＲ２を出射し、第３フレームＦ３において第１照明光群ＧＲ１を出射し、第４フレームＦ４において第２照明光群ＧＲ２を出射する。フレームは、撮像素子２４０が撮像を行う期間であり、動画撮影におけるフレームに相当する。補色イメージセンサによるインターレース撮影では、２フィールドが１フレームに相当する。
【００３９】
撮像素子２４０は、第１フレームＦ１及び第３フレームＦ３において、第１照明光群ＧＲ１が照射された被写体を撮像し、第２フレームＦ２及び第４フレームＦ４において、第２照明光群ＧＲ２が照射された被写体を撮像する。
【００４０】
処理回路３１０は、第１フレームＦ１及び第２フレームＦ２において撮像された画像に基づいて、第１表示画像ＩＭ１を生成する。また処理回路３１０は、第２フレームＦ２及び第３フレームＦ３において撮像された画像に基づいて、第２表示画像ＩＭ２を生成し、第３フレームＦ３及び第４フレームＦ４において撮像された画像に基づいて、第３表示画像ＩＭ３を生成する。表示画像ＩＭ１〜ＩＭ３は、動画におけるフレーム画像となる。以降、同様の動作が行われることで、動画が撮影され、その動画が表示部４００に表示される。
【００４１】
以下では、後述の実施形態を適宜に引用しながら、本実施形態の内視鏡装置が行う動作及び処理について説明する。
【００４２】
本実施形態の内視鏡装置は、光源装置１００と撮像素子２４０と処理回路３１０とを含む。図３で説明したように、光源装置１００は、第１照明光群ＧＲ１と第２照明光群ＧＲ２とを、交互に発光させる。図４、図５で説明するように、第１照明光群ＧＲ１は、緑色の波長帯域を有するＧ光を含み、第２照明光群ＧＲ２は、Ｇ光を含まない。撮像素子２４０は、複数色のカラーフィルタを有する。図３で説明したように、処理回路３１０は、第１照明光群ＧＲ１が照射されたときに撮像素子２４０により撮像された画像と、第２照明光群ＧＲ２が照射されたときに撮像素子２４０により撮像された画像とに基づいて、表示画像を生成する。第１照明光群ＧＲ１は、青色の波長帯域に属する狭帯域のＶ光を含む。処理回路３１０は、Ｇ光により得られるＧ画像、及びＶ光により得られるＶ画像に基づいて、表示画像におけるＧチャンネルの画像を生成する。
【００４３】
本実施形態によれば、撮像素子２４０が複数色のカラーフィルタを有し、光源装置１００が、第１照明光群ＧＲ１と第２照明光群ＧＲ２とを交互に発光させる。これにより、面順次の回数が２回となるので、色ずれを低減できる。また本実施形態によれば、光源装置１００が、Ｇ光及びＶ光を同時に発光させ、処理回路３１０が、Ｖ画像を用いて表示画像のＧチャンネルを強調処理する。同タイミングで撮像された画像を用いて強調処理を行うので、高画質な強調画像が得られる。また本実施形態によれば、光源装置１００は、緑色の波長帯域を有するＧ光を含む第１照明光群ＧＲ１と、Ｇ光を含まない第２照明光群ＧＲ２とを、交互に発光させる。Ｇ光によって撮影可能な構造は、第１照明光群ＧＲ１が発光されたときのみ撮像され、第２照明光群ＧＲ２を発光させたときには撮像されない。即ち、第２照明光群ＧＲ２を発光させたときには、Ｇ光による混色が生じない。これにより、被写体がちらついて見えるフリッカ現象が生じにくくなる。
【００４４】
なお、Ｇ光を緑色光とも呼び、Ｖ光を青色狭帯域光とも呼ぶ。またＧ画像を緑色画像とも呼び、Ｖ画像を青色狭帯域画像とも呼ぶ。またＧチャンネルを緑色チャンネルとも呼ぶ。
【００４５】
図４、図５等で説明するように、第１照明光群ＧＲ１は、赤色の波長帯域を有するＲ光を含む。第２照明光群ＧＲ２は、青色の波長帯域を有するＢ光を含む。
【００４６】
本実施形態によれば、第１照明光群ＧＲ１が照射されたときに、Ｖ画像及びＧ画像、Ｒ画像を撮影できる。また、第２照明光群ＧＲ２が照射されたときに、Ｂ画像を撮影できる。これにより、Ｖ画像及びＢ画像、Ｇ画像、Ｒ画像に基づいて表示画像を生成できる。このとき、上述したようにＶ画像及びＧ画像に基づいて表示画像のＧチャンネルが生成される。
【００４７】
また本実施形態では、処理回路３１０は、Ｒ光により得られるＲ画像、及びＧ画像、Ｂ光により得られるＢ画像に基づいて、白色光画像を表示画像として生成する。処理回路３１０は、Ｖ画像に基づいて、Ｇチャンネルの画像に対する構造強調処理を行う。
【００４８】
Ｇ画像を撮影するためのＧ光と、Ｖ画像を撮影するためのＶ光とは、同時に発光されるので、Ｖ画像及びＧチャンネルの画像が同タイミングにおける被写体の画像となる。これにより、Ｖ画像に基づいて、Ｇチャンネルの画像に対する構造強調処理を行う際に、高画質な強調画像が得られる。即ち、構造強調におけるエッジの位置ずれ等を抑制できる。
【００４９】
また図３で説明したように、光源装置１００は、第１フレームＦ１において第１照明光群ＧＲ１を発光させ、第２フレームＦ２において第２照明光群ＧＲ２を発光させ、第３フレームＦ３において第１照明光群ＧＲ１を発光させ、第４フレームＦ４において第２照明光群ＧＲ２を発光させる。処理回路３１０は、第１フレームＦ１において撮像素子２４０により撮像された画像と、第２フレームＦ２において撮像素子２４０により撮像された画像とに基づいて、第１表示画像ＩＭ１を生成する。処理回路３１０は、第２フレームＦ２において撮像素子２４０により撮像された画像と、第３フレームＦ３において撮像素子２４０により撮像された画像とに基づいて、第２表示画像ＩＭ２を生成する。処理回路３１０は、第３フレームＦ３において撮像素子２４０により撮像された画像と、第４フレームＦ４において撮像素子２４０により撮像された画像とに基づいて、第３表示画像ＩＭ３を生成する。
【００５０】
本実施形態によれば、カラーイメージセンサを用いた２面順次撮影が実現される。Ｇ光を含む第１照明光群ＧＲ１は２フレームに１回ずつ発光するため、Ｇ画像は２フレームに１回ずつ更新される。具体的には、第２表示画像ＩＭ２と第３表示画像ＩＭ３はＧ画像が共通である。このとき、第２表示画像ＩＭ２においてＧ画像に合成されるＢ画像と、第３表示画像ＩＭ３においてＧ画像に合成されるＢ画像とは、異なるタイミングで撮像された画像である。しかし、Ｂ画像を撮像する際にＧ光が発光されないため、混色が生じない。これにより、フリッカが低減される。
【００５１】
また図７、図８で説明するように、第２実施形態において、第２照明光群ＧＲ２は、Ａ光を含む。図９で説明するように、処理回路３１０は、Ｇ画像、及びＶ画像、Ａ光により得られるＡ画像に基づいて、表示画像におけるＧチャンネルの画像を生成する。なお、Ａ光を赤色狭帯域光とも呼び、Ａ画像を赤色狭帯域画像とも呼ぶ。
【００５２】
Ａ光はＶ光よりも長波長なので、Ｖ光よりも粘膜の深いところまで届く。このため、Ａ光を用いることで深層血管を撮影できる。本実施形態によれば、Ｖ画像に基づいて表示画像を強調処理することで粘膜表層の血管を強調でき、且つＡ画像に基づいて表示画像を強調処理することで粘膜深層の血管を強調できる。
【００５３】
また本実施形態では、Ｖ光のピーク波長は、４１５±２０ｎｍの範囲内である。
【００５４】
４１５±２０ｎｍにおいて、ヘモグロビンの吸光特性は最大となる。即ち、ピーク波長が４１５±２０ｎｍの範囲内であるＶ光は、ヘモグロビンに吸収されやすい光である。このＶ光を用いることで、例えば粘膜内の血管などのヘモグロビン濃度が高い領域を撮影できる。Ｖ光は粘膜内の比較的浅いところで散乱されるので、Ｖ光により粘膜表層の血管を撮影できる。
【００５５】
また本実施形態では、Ａ光のピーク波長は、６００±２０ｎｍの範囲内である。
【００５６】
６００ｎｍ付近では、波長が長くなるほどヘモグロビンの吸光係数は低下していく。しかし、６００±２０ｎｍにおいてヘモグロビンの吸光係数はある程度の大きさを有している。このため、Ａ光を用いることで、粘膜内の血管などのヘモグロビン濃度が高い領域を撮影できる。Ａ光はＶ光よりも波長が長いため、粘膜内の比較的深いところまで到達できる。即ち、Ａ光により粘膜深層の血管を撮影できる。
【００５７】
また図６で説明するように、処理回路３１０は、Ｇ画像及びＶ画像に基づいて、被写体の構造に関する特徴量を抽出する。特徴量は、着目する構造が存在する位置において値が大きくなる量である。例えば、特徴量はエッジ成分などである。具体的には、処理回路３１０は、Ｖ画像に対してハイパスフィルタを適用することでエッジ成分を抽出する。また処理回路３１０は、Ｇ画像とＶ画像の差分を求めることで、Ｇ画像に写らずＶ画像に写る構造を抽出する。即ち、処理回路３１０は、Ｇ画像とＶ画像の相関に基づいて、Ｇ画像に写らずＶ画像に写る構造を抽出する。処理回路３１０は、この相関に基づいて表示画像を強調処理する。
【００５８】
また本実施形態では、処理回路３１０は、上記の特徴量をＧ画像に合成することで、表示画像における被写体の構造を強調する。
【００５９】
上述したように、Ｖ画像には粘膜表層の血管が撮影されている。このため、Ｖ画像から抽出される特徴量は、粘膜表層の血管に関する特徴量である。この特徴量をＧ画像に合成することで、表示画像における血管構造を強調処理できる。
【００６０】
また、処理回路３１０は、Ｇ画像及びＡ画像に基づいて、被写体の構造に関する特徴量を抽出してもよい。特徴量は、着目する構造が存在する位置において値が大きくなる量である。例えば、特徴量はエッジ成分などである。具体的には、処理回路３１０は、Ａ画像に対してハイパスフィルタを適用することでエッジ成分を抽出してもよい。また処理回路３１０は、Ｇ画像とＡ画像の差分を求めることで、Ｇ画像に写らずＡ画像に写る構造を抽出してもよい。即ち、処理回路３１０は、Ｇ画像とＡ画像の相関に基づいて、Ｇ画像に写らずＡ画像に写る構造を抽出する。処理回路３１０は、この相関に基づいて表示画像を強調処理してもよい。処理回路３１０は、上記の特徴量をＧ画像に合成することで、表示画像における被写体の構造を強調してもよい。
【００６１】
上述したように、Ａ画像には粘膜深層の血管が撮影されている。このため、Ａ画像から抽出される特徴量は、粘膜深層の血管に関する特徴量である。この特徴量をＧ画像に合成することで、表示画像における血管構造を強調処理できる。
【００６２】
なお、以上ではＧ光とＶ光を同時に発光させる場合を例に説明したが、これに限定されず、Ｇ光とＡ光とを同時に発光させてもよい。即ち、第１照明光群ＧＲ１は、赤色の波長帯域に属する狭帯域のＡ光を含んでもよい。処理回路３１０は、Ｇ画像、及びＡ光により得られるＡ画像に基づいて、表示画像におけるＧチャンネルの画像を生成してもよい。具体的には、第１照明光群ＧＲ１がＧ光及びＡ光を含み、第２照明光群ＧＲ２がＢ光及びＲ光を含んでもよい。また第１照明光群ＧＲ１が更にＶ光を含んでもよい。
【００６３】
このようにすれば、Ｇ画像とＡ画像が同時に撮像される。これにより、上述したＧ画像とＶ画像を同時に撮像する場合と同様な効果が得られる。即ち、面順次の回数が２回となるので、色ずれを低減できる。また同タイミングで撮像された画像を用いて強調処理を行うので、高画質な強調画像が得られる。また、緑色の波長帯域を有するＧ光を含む第１照明光群ＧＲ１と、Ｇ光を含まない第２照明光群ＧＲ２とを、交互に発光させるので、フリッカ現象が生じにくくなる。
【００６４】
また、以上ではＧ画像を表示画像のＧチャンネルに入力する場合を例に説明したが、これに限定されず、Ｇ光以外の照明光により撮影される画像をＧチャンネルに入力してもよい。例えば、ＮＢＩ（Narrow Band Imaging）においては、Ｂ画像が表示画像のＧチャンネルに入力される。このような場合においても、本発明を適用できる。
【００６５】
即ち、光源装置１００は、第１色の波長帯域を有する第１色光を含む第１照明光群と、第１色光を含まない第２照明光群とを、交互に発光させる。撮像素子２４０は、複数色のカラーフィルタを有する。処理回路３１０は、第１照明光群が照射されたときに撮像素子により撮像された画像と、第２照明光群が照射されたときに撮像素子により撮像された画像とに基づいて、表示画像を生成する。第１照明光群は、第２色の波長帯域に属する狭帯域の第２色狭帯域光を含む。処理回路３１０は、第１色光により得られる第１色画像、及び第２色狭帯域光により得られる第２色狭帯域画像に基づいて、表示画像におけるＧチャンネルの画像を生成する。
【００６６】
例えば第１色が青色である場合、第２色は緑色及び赤色の一方であり、第３色は緑色及び赤色の他方である。第２照明光群は、第２色及び第３色の少なくとも一方の光を含む。例えば、処理回路３１０は、第１色画像を表示画像のＧチャンネルに入力し、第２色狭帯域画像に基づいて、表示画像のＧチャンネルに対して構造強調処理を行う。
【００６７】
なお、本実施形態の制御装置３００は以下のように構成されてもよい。即ち、処理回路３１０及び制御回路３２０の各々は、下記のハードウェアにより構成される。また、処理回路３１０及び制御回路３２０は、下記のハードウェアにより一体に構成されてもよい。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ等である。１又は複数の回路素子は例えば抵抗、キャパシター等である。
【００６８】
また処理回路３１０及び制御回路３２０の各々は、下記のプロセッサにより実現されてもよい。また、また、処理回路３１０及び制御回路３２０は、１つのプロセッサにより実現されてもよい。即ち、本実施形態の制御装置３００は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。プロセッサは、光源装置１００を制御することで、第１照明光群ＧＲ１と第２照明光群ＧＲ２とを交互に発光させる。プロセッサは、第１照明光群ＧＲ１が照射されたときに撮像素子２４０により撮像された画像と、第２照明光群ＧＲ２が照射されたときに撮像素子２４０により撮像された画像とに基づいて、表示画像を生成する。このとき、プロセッサは、Ｇ画像及びＶ画像に基づいて、表示画像におけるＧチャンネルの画像を生成する。
【００６９】
プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、制御装置３００の各部の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。例えば、プロセッサは、図１において処理回路３１０の機能を実現する。或いは、プロセッサは、図１において処理回路３１０及び制御回路３２０の機能を実現する。
【００７０】
また、本実施形態の内視鏡装置の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、プログラムは、光源装置１００を制御することで、第１照明光群ＧＲ１と第２照明光群ＧＲ２とを交互に発光させる光源制御モジュールと、第１照明光群ＧＲ１が照射されたときに撮像素子２４０により撮像された画像と、第２照明光群ＧＲ２が照射されたときに撮像素子２４０により撮像された画像とに基づいて、表示画像を生成する処理モジュールと、を含む。処理モジュールは、Ｇ画像及びＶ画像に基づいて、表示画像におけるＧチャンネルの画像を生成する。
【００７１】
また、本実施形態の制御装置３００の各部が行う処理を実現するプログラムは、例えばコンピュータにより読み取り可能な媒体である情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリカード、ＨＤＤ、或いは半導体メモリなどにより実現できる。半導体メモリは例えばＲＯＭである。処理回路３１０及び制御回路３２０は、情報記憶媒体に格納されるプログラムとデータに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体には、本実施形態の内視鏡装置の各部としてコンピュータを機能させるためのプログラムが記憶される。コンピュータは、入力装置、及び処理部、記憶部、出力部を備える装置である。プログラムは、各部の処理をコンピュータに実行させるためのプログラムである。プログラムは、情報記憶媒体に記録される。ここで、情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク、不揮発性メモリやＲＡＭ等のメモリなど、光学式検出システムによって読み取り可能な種々の記録媒体を想定できる。
【００７２】
２．第１実施形態
【００７３】
図４、図５は、第１実施形態における照明光のスペクトルである。図４には、第１照明光群に含まれる光のスペクトルを示し、図５には、第２照明光群に含まれる光のスペクトルを示す。
【００７４】
第１実施形態では、光源装置１００は、図３の第１照明光群ＧＲ１としてＶ光及びＧ光、Ｒ光を出射し、図３の第２照明光群ＧＲ２としてＢ光を出射する。
【００７５】
第１照明光群ＧＲ１が出射されるフレームＦ１、Ｆ３において、補間処理部３１１は、補間処理によりＲＧＢ画像を生成し、ＲＧＢ画像のＢチャンネルをＶ画像として出力し、ＲＧＢ画像のＧチャンネルをＧ画像として出力し、ＲＧＢ画像のＲチャンネルをＲ画像として出力する。
【００７６】
第２照明光群ＧＲ２が出射されるフレームＦ２、Ｆ４において、補間処理部３１１は、補間処理によりＲＧＢ画像のＢチャンネルを生成し、そのＢチャンネルをＢ画像として出力する。補間処理部３１１は、Ｇチャンネル及びＲチャンネルを生成しないか、又は生成したとしても出力しない。
【００７７】
図６は、第１実施形態において特徴量抽出部３１２が行う処理を示すフローチャートである。
【００７８】
ステップＳ１において、特徴量抽出部３１２は、Ｖ画像に対してハイパスフィルタを適用することで、Ｖ画像の高周波数成分を抽出する。
【００７９】
ステップＳ２において、特徴量抽出部３１２は、Ｖ画像の平均強度を求める。平均強度は、例えば画素値の平均値である。平均強度は画像全体の平均値であってもよいし、画像の各局所領域における平均値であってもよい。特徴量抽出部３１２は、Ｖ画像の平均強度を基準として、Ｇ画像の平均強度を補正する。特徴量抽出部３１２は、例えばＶ画像とＧ画像の平均強度が同じになるように補正する、或いはＶ画像とＧ画像の平均強度が所定比となるように補正する。
【００８０】
ステップＳ３において、特徴量抽出部３１２は、Ｖ画像と、平均強度が補正された後のＧ画像との間の差分を求める。
【００８１】
ステップＳ４において、特徴量抽出部３１２は、ステップＳ１において求めた高周波数成分と、ステップＳ３において求めた差分とを加算する。
【００８２】
表示画像生成部３１３は、補間処理部３１１が出力するＲ画像及びＧ画像、Ｂ画像を合成することで白色光画像を生成する。表示画像生成部３１３は、特徴量抽出部３１２がステップＳ４において求めた加算値を、白色光画像のＧチャンネルに加算することで、強調処理を行う。
【００８３】
Ｖ光の波長においては、ヘモグロビンの吸光係数が高く、且つ粘膜内における散乱係数が可視光の中で相対的に高い。このため、Ｖ画像には、粘膜表層の血管が高コントラストで撮像される。従って、上記強調処理により、白色光画像における粘膜表層の血管構造が強調される。
【００８４】
以上の第１実施形態によれば、撮像素子２４０がカラーイメージセンサであり、光源装置１００が、４つの光源を２つのグループに分けて、その２グループを交互に発光させる。これにより、面順次の回数が２回となり、モノクロ撮像素子を用いて４面順次にする場合に比べて、面順次の回数を低減できる。面順次の回数が多くなるほど、色間の撮影タイミング差が大きくなるので、色ずれが発生しやすい。本実施形態によれば、面順次の回数が２回となるので、色ずれを低減できる。
【００８５】
また本実施形態によれば、光源装置１００が、Ｇ光及びＶ光をフレームＦ１、Ｆ３において同時に発光させ、処理回路３１０が、Ｇ画像を表示画像のＧチャンネルに入力し、Ｖ画像を用いて表示画像のＧチャンネルを強調処理する。このとき、仮にＶ画像とＧ画像の撮像タイミングが異なった場合、強調処理されたＧチャンネルにおいてエッジが２重になる等の画質低下が生じるおそれがある。３原色のうち緑色は輝度への寄与が大きいため、画質低下の影響が大きくなる。この点、本実施形態によれば、Ｖ画像とＧ画像の撮像タイミングが同じであるため、高画質な強調画像が得られる。
【００８６】
また、本実施形態によれば、光源装置１００は、フレームＦ１、Ｆ３においてＧ光を発光させ、フレームＦ２、Ｆ４においてＧ光を発光させない。即ち、交互に繰り返される２つの発光タイミングのうち一方のみにおいてＧ光が発光される。これにより、混色又はフリッカによる画質低下を低減できる。仮にフレームＦ２、Ｆ４においてもＧ光が発光されたとする。このとき、撮像素子２４０のカラーフィルタの感度特性によって、Ｂ画像がＧ光に対して感度を有する。即ち、Ｇ光による被写体像がＢ画像に混ざることになる。このような混色によって表示画像の画質が低下するおそれがある。また、Ｂ画像に混ざったＧ光による被写体像は、Ｇ画像とは異なるタイミングで撮像されている。このタイミング差によってフリッカが生じるおそれがある。本実施形態によれば、フレームＦ２、Ｆ４においてＧ光が発光されないので、混色又はフリッカによる画質低下を低減できる。
【００８７】
３．第２実施形態
【００８８】
図７、図８は、第２実施形態における照明光のスペクトルである。図７には、第１照明光群に含まれる光のスペクトルを示し、図８には、第２照明光群に含まれる光のスペクトルを示す。
【００８９】
第２実施形態では、光源装置１００は、図３の第１照明光群ＧＲ１としてＶ光及びＧ光、Ｒ光を出射し、図３の第２照明光群ＧＲ２としてＢ光及びＡ光を出射する。
【００９０】
第１照明光群ＧＲ１が出射されるフレームＦ１、Ｆ３において、補間処理部３１１は、補間処理によりＲＧＢ画像を生成し、ＲＧＢ画像のＢチャンネルをＶ画像として出力し、ＲＧＢ画像のＧチャンネルをＧ画像として出力し、ＲＧＢ画像のＲチャンネルをＲ画像として出力する。
【００９１】
第２照明光群ＧＲ２が出射されるフレームＦ２、Ｆ４において、補間処理部３１１は、補間処理によりＲＧＢ画像のＢチャンネル及びＲチャンネルを生成し、ＢチャンネルをＢ画像として出力し、ＲチャンネルＡ画像として出力する。補間処理部３１１は、Ｇチャンネルを生成しないか、又は生成したとしても出力しない。
【００９２】
図９は、第２実施形態において特徴量抽出部３１２が行う処理を示すフローチャートである。なお、第２実施形態においても、特徴量抽出部３１２が図６に示すフローを実行する。図６と図９のフローが実行される順番は任意である。
【００９３】
ステップＳ１１において、特徴量抽出部３１２は、Ａ画像に対してハイパスフィルタを適用することで、Ａ画像の高周波数成分を抽出する。ステップＳ１１におけるハイパスフィルタのカットオフ周波数は、図６のステップＳ１におけるハイパスフィルタのカットオフ周波数と異なってもよい。
【００９４】
ステップＳ１２において、特徴量抽出部３１２は、Ａ画像の平均強度を求める。平均強度は、例えば画素値の平均値である。平均強度は画像全体の平均値であってもよいし、画像の各局所領域における平均値であってもよい。特徴量抽出部３１２は、Ａ画像の平均強度を基準として、Ｇ画像の平均強度を補正する。特徴量抽出部３１２は、例えばＡ画像とＧ画像の平均強度が同じになるように補正する、或いはＡ画像とＧ画像の平均強度が所定比となるように補正する。
【００９５】
ステップＳ１３において、特徴量抽出部３１２は、Ａ画像と、平均強度が補正された後のＧ画像との間の差分を求める。
【００９６】
ステップＳ１４において、特徴量抽出部３１２は、ステップＳ１１において求めた高周波数成分と、ステップＳ１３において求めた差分とを加算する。
【００９７】
表示画像生成部３１３は、補間処理部３１１が出力するＲ画像及びＧ画像、Ｂ画像を合成することで白色光画像を生成する。表示画像生成部３１３は、特徴量抽出部３１２が図６のステップＳ４及び図９のステップＳ１４において求めた加算値を、白色光画像のＧチャンネルに加算することで、強調処理を行う。
【００９８】
第１実施形態において説明したように、Ｖ画像には、粘膜表層の血管が高コントラストで撮像される。また、Ａ光の波長においては、Ｒ光の波長に比べてヘモグロビンの吸光係数がある程度存在し、且つ粘膜内における散乱係数が可視光の中で相対的に低い。このため、Ａ画像には、粘膜深層の血管が高コントラストで撮像される。従って、上記強調処理により、白色光画像における粘膜表層及び粘膜深層の血管構造が強調される。
【００９９】
以上の第２実施形態によれば、第１実施形態と同様に面順次の回数が２回となるので、色ずれを低減できる。また第２実施形態によれば、Ａ画像を用いて表示画像のＧチャンネルを強調処理する。このとき、Ａ画像とＧ画像の撮像タイミングが同じであるため、高画質な強調画像が得られる。また、第２実施形態によれば、第１実施形態と同様にフレームＦ２、Ｆ４においてＧ光が発光されないので、混色又はフリッカによる画質低下を低減できる。
【０１００】
４．特徴量抽出部
【０１０１】
図１０は、特徴量抽出部３１２が行う詳細な処理を示すフローチャートである。図１０のフローは第１実施形態及び第２実施形態のいずれにも適用可能である。
【０１０２】
ステップＳ３１において、特徴量抽出部３１２は、Ｖ画像の平均強度を求め、そのＶ画像の平均強度を基準としてＧ画像の平均強度を補正する。特徴量抽出部３１２は、この補正を行うことで、Ｇ画像の平均的な明るさをＶ画像の平均的な明るさに合わせる。
【０１０３】
ステップＳ３２において、特徴量抽出部３１２は、平均強度が補正されたＧ画像に対してハイパスフィルタを適用する。特徴量抽出部３１２は、ハイパスフィルタの出力を、Ｇ画像の高周波数成分として出力する。
【０１０４】
ステップＳ３３において、特徴量抽出部３１２は、Ｖ画像に対してハイパスフィルタを適用する。特徴量抽出部３１２は、ハイパスフィルタの出力を、Ｖ画像の高周波数成分として出力する。
【０１０５】
ステップＳ３４において、特徴量抽出部３１２は、ステップＳ３３において算出されたＶ画像の高周波数成分と、ステップＳ３２において算出されたＧ画像の高周波数成分との差分を、算出する。
【０１０６】
ステップＳ３５において、特徴量抽出部３１２は、Ｖ画像と、ステップＳ３１において平均強度が補正されたＧ画像との間の差分を算出する。この差分を強度差分と呼ぶ。強度は各画像における画素値のことである。強度差分は白色光画像の強調に用いられるが、強度差分をそのまま強調処理に用いた場合、血管構造が強調され過ぎるおそれがある。このため、ステップＳ３６〜Ｓ３８において強度差分を抑制する。
【０１０７】
ステップＳ３６において、特徴量抽出部３１２は、Ｖ画像の平均強度を基準としてＲ画像の平均強度を補正する。特徴量抽出部３１２は、この補正を行うことで、Ｒ画像の平均的な明るさをＶ画像の平均的な明るさに合わせる。
【０１０８】
ステップＳ３７において、特徴量抽出部３１２は、Ｖ画像と、平均強度が補正されたＲ画像との間の比率を算出する。比率は強度の比率であり、例えば各画素において比率が算出される。
【０１０９】
ステップＳ３８において、特徴量抽出部３１２は、ステップＳ３７において算出された比率を用いて、ステップＳ３５において算出された強度差分を抑制する。例えば、ステップＳ３７において、Ｒ画像の強度に対する、Ｖ画像の強度の比率が算出された場合、特徴量抽出部３１２は、強度差分を比率で除算する。この演算は例えば各画素に対して行われる。
【０１１０】
ステップＳ３９において、特徴量抽出部３１２は、ステップＳ３４において算出された高周波数成分の差分と、ステップＳ３８において抑制された強度差分とを、合成する。合成は、例えば加算である。この演算は例えば各画素に対して行われる。
【０１１１】
表示画像生成部３１３は、特徴量抽出部３１２がステップＳ３９において求めた合成値を、白色光画像のＧチャンネルに加算する。この演算は例えば各画素に対して行われる。このようにして、白色光画像における血管構造がＶ画像に基づいて強調処理される。
【０１１２】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０１１３】
１００  光源装置、１２０  合波部、２００  挿入部、２１０  ライトガイド、２２０  照明レンズ、２３０  対物レンズ、２４０  撮像素子、２５０  Ａ／Ｄ変換回路、２６０  メモリ、３００  制御装置、３１０  処理回路、３１１  補間処理部、３１２  特徴量抽出部、３１３  表示画像生成部、３２０  制御回路、４００  表示部、５００  外部Ｉ／Ｆ部、Ｆ１〜Ｆ４  フレーム、ＧＲ１  第１照明光群、ＧＲ２  第２照明光群、ＩＭ１  第１表示画像、ＩＭ２  第２表示画像、ＩＭ３  第３表示画像、ＬＤＡ，ＬＤＢ，ＬＤＧ，ＬＤＲ，ＬＤＶ  光源
【図１】
2020035929.tif 000003
【図２】
2020035929.tif 000004
【図３】
2020035929.tif 000005
【図４】
2020035929.tif 000006
【図５】
2020035929.tif 000007
【図６】
2020035929.tif 000008
【図７】
2020035929.tif 000009
【図８】
2020035929.tif 000010
【図９】
2020035929.tif 000011
【図１０】
2020035929.tif 000012
【手続補正書】
【提出日】令和2年12月17日(2020.12.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
緑色の波長帯域を有する緑色光を含む第１照明光群と、前記緑色光を含まない第２照明光群とを、交互に発光させる光源装置と、
複数色のカラーフィルタを有する撮像素子と、
前記第１照明光群が照射されたときに前記撮像素子により撮像された画像と、前記第２照明光群が照射されたときに前記撮像素子により撮像された画像とに基づいて、表示画像を生成する処理回路と、
を含み、
前記第１照明光群は、前記緑色光と共に、青色の波長帯域に属する青色狭帯域光を更に含み、
前記処理回路は、
前記緑色光により得られる緑色画像、及び前記青色狭帯域光により得られる青色狭帯域画像に基づいて、前記表示画像における緑色チャンネルの画像を生成することを特徴とする内視鏡装置。
【請求項２】
請求項１において、
前記第１照明光群は、赤色の波長帯域を有する赤色光を含み、
前記第２照明光群は、青色の波長帯域を有する青色光を含むことを特徴とする内視鏡装置。
【請求項３】
請求項２において、
前記処理回路は、
前記赤色光により得られる赤色画像、及び前記緑色画像、前記青色光により得られる青色画像に基づいて、前記表示画像として白色光画像を生成し、
前記青色狭帯域画像に基づいて、前記緑色チャンネルの画像に対する構造強調処理を行うことを特徴とする内視鏡装置。
【請求項４】
請求項１において、
前記光源装置は、
第１フレームにおいて前記第１照明光群を発光させ、第２フレームにおいて前記第２照明光群を発光させ、第３フレームにおいて前記第１照明光群を発光させ、第４フレームにおいて前記第２照明光群を発光させ、
前記処理回路は、
前記第１フレームにおいて前記撮像素子により撮像された画像と、前記第２フレームにおいて前記撮像素子により撮像された画像とに基づいて、第１表示画像を生成し、前記第２フレームにおいて前記撮像素子により撮像された画像と、前記第３フレームにおいて前記撮像素子により撮像された画像とに基づいて、第２表示画像を生成し、前記第３フレームにおいて前記撮像素子により撮像された画像と、前記第４フレームにおいて前記撮像素子により撮像された画像とに基づいて、第３表示画像を生成することを特徴とする内視鏡装置。
【請求項５】
請求項１において、
前記第２照明光群は、赤色の波長帯域に属する赤色狭帯域光を含み、
前記処理回路は、
前記緑色画像、及び前記青色狭帯域画像、前記赤色狭帯域光により得られる赤色狭帯域画像に基づいて、前記表示画像における前記緑色チャンネルの画像を生成することを特徴とする内視鏡装置。
【請求項６】
請求項１において、
前記青色狭帯域光のピーク波長は、４１５±２０ｎｍの範囲内であることを特徴とする内視鏡装置。
【請求項７】
請求項５において、
前記赤色狭帯域光のピーク波長は、６００±２０ｎｍの範囲内であることを特徴とする内視鏡装置。
【請求項８】
請求項１において、
前記処理回路は、
前記緑色画像及び前記青色狭帯域画像に基づいて、被写体の構造に関する特徴量を抽出することを特徴とする内視鏡装置。
【請求項９】
請求項８において、
前記処理回路は、
前記特徴量を前記緑色画像に合成することで、前記表示画像における前記被写体の構造を強調することを特徴とする内視鏡装置。
【請求項１０】
緑色の波長帯域を有する緑色光を含む第１照明光群と、前記緑色光を含まない第２照明光群とを、交互に発光させる光源装置と、
複数色のカラーフィルタを有する撮像素子と、
前記第１照明光群が照射されたときに前記撮像素子により撮像された画像と、前記第２照明光群が照射されたときに前記撮像素子により撮像された画像とに基づいて、表示画像を生成する処理回路と、
を含み、
前記第１照明光群は、前記緑色光と共に、赤色の波長帯域に属する狭帯域の赤色狭帯域光を更に含み、
前記処理回路は、
前記緑色光により得られる緑色画像、及び前記赤色狭帯域光により得られる赤色狭帯域画像に基づいて、前記表示画像における緑色チャンネルの画像を生成することを特徴とする内視鏡装置。
【請求項１１】
複数色のカラーフィルタを有する撮像素子を含む内視鏡装置の作動方法であって、
緑色の波長帯域を有する緑色光、及び青色の波長帯域に属する狭帯域の青色狭帯域光を含む第１照明光群と、前記緑色光を含まない第２照明光群とを、交互に発光させ、
前記第１照明光群が照射されたときに前記撮像素子により撮像された画像と、前記第２照明光群が照射されたときに前記撮像素子により撮像された画像とに基づいて、表示画像を生成し、
前記表示画像を生成する際に、前記緑色光により得られる緑色画像、及び前記青色狭帯域光により得られる青色狭帯域画像に基づいて、前記表示画像における緑色チャンネルの画像を生成することを特徴とする内視鏡装置の作動方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
第２照明光群ＧＲ２が出射されるフレームＦ２、Ｆ４において、補間処理部３１１は、補間処理によりＲＧＢ画像のＢチャンネル及びＲチャンネルを生成し、ＢチャンネルをＢ画像として出力し、ＲチャンネルをＡ画像として出力する。補間処理部３１１は、Ｇチャンネルを生成しないか、又は生成したとしても出力しない。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2020035929.tif 000013
【国際調査報告】
2020035929.tif 000014
2020035929.tif 000015