(57)【要約】  画像処理装置は、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、を備える。これにより、病変を探す場合と、病変に処置を施す場合との双方において観察しやすい画像データを生成する画像処理装置を提供する。
2017077882.tif 000002
【特許請求の範囲】
【請求項１】
特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の色調整部と前記第２の色調整部との切り替えを行う切り替え部を備え、
前記切り替え部により選択された、前記第１の色調整部と前記第２の色調整部とのいずれか一方が色調を変更する処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特殊観察光は、赤外光を含み、前記撮像画像の前記赤色成分には、被写体から発光された蛍光を含む赤外光の色成分が含まれることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の色調整部は、
前記撮像画像のうち、前記蛍光を含む赤外光の色成分が含まれる赤色成分のみを抽出して、該赤色成分にｋ倍のゲインをかけるゲイン演算回路と、
前記赤色成分を前記緑色成分及び前記青色成分に振り分ける色調整回路と、を有し、
前記第２の色調整部は、
前記緑色成分及び前記青色成分のゲインは等倍とし、前記赤色成分にｎ倍のゲインをかけるゲイン演算回路と、
前記赤色成分を前記緑色成分に変換するとともに、前記緑色成分を前記赤色成分に変換する色調整回路と、を有し、
前記第１の色調整部による前記赤色成分のゲインの倍率ｋと、前記第２の色調整部による前記赤色成分のゲインの倍率ｎとの大小関係は、ｋ＞ｎであることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
請求項１〜４のいずれか１つに記載の画像処理装置と、
被検体に前記特殊観察光を照射する光源装置と、
近赤外域の励起光を反射するフィルタと、赤色光及び赤外光を透過する赤色カラーフィルタ、緑色光を透過する緑色カラーフィルタ、及び青色光を透過する青色カラーフィルタのいずれか１つであるカラーフィルタと、２次元格子状に配列されている複数の画素を有し、各画素が前記カラーフィルタを介して受光した光を光電変換して前記撮像画像を生成する撮像部と、を有する内視鏡と、を備えることを特徴とする内視鏡システム。
【請求項６】
特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して画像処理を行う画像処理方法であって、
外部からの入力に応じて、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、の一方から他方への切り替えを行う切り替え処理と、
前記切り替え処理により選択された、前記第１の色調整部と前記第２の色調整部とのうちいずれか一方が色調を変更する処理を行う色調変更処理と、を含むことを特徴とする画像処理方法。
【請求項７】
特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して画像処理を行う画像処理プログラムであって、
外部からの入力に応じて、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、の一方から他方への切り替えを行う切り替えステップと、
前記切り替えステップにより選択された、前記第１の色調整部と前記第２の色調整部とのうちいずれか一方が色調を変更する処理を行う色調変更ステップと、を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、病変に励起光を照射し、病変からの蛍光を観察する内視鏡システムが知られている。例えば、特許文献１には、病変に対して処置を施す手技を行う際に視認しやすくするため、蛍光を発する病変と、病変以外の背景とを異なる色で強調して表示する画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１５−５０９４０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の画像処理装置のように、手技を行う場合には、病変と背景との双方が表示されている方が、より観察しやすい。一方で、病変を探す場合には、病変のみが強調して表示されている方が、より観察しやすい。そのため、利用シーンに応じた画像処理を行う画像処理装置が求められていた。【０００５】
本発明は、上記に鑑みてなされたものであって、病変を探す場合と、病変に処置を施す場合との双方において観察しやすい画像データを生成する画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置は、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、を備えることを特徴とする。【０００７】
また、本発明の一態様に係る画像処理装置は、前記第１の色調整部と前記第２の色調整部との切り替えを行う切り替え部を備え、前記切り替え部により選択された、前記第１の色調整部と前記第２の色調整部とのいずれか一方が色調を変更する処理を行うことを特徴とする。【０００８】
また、本発明の一態様に係る画像処理装置は、前記特殊観察光は、赤外光を含み、前記撮像画像の前記赤色成分には、被写体から発光された蛍光を含む赤外光の色成分が含まれることを特徴とする。【０００９】
また、本発明の一態様に係る画像処理装置は、前記第１の色調整部は、前記撮像画像のうち、前記蛍光を含む赤外光の色成分が含まれる赤色成分のみを抽出して、該赤色成分にｋ倍のゲインをかけるゲイン演算回路と、前記赤色成分を前記緑色成分及び前記青色成分に振り分ける色調整回路と、を有し、前記第２の色調整部は、前記緑色成分及び前記青色成分のゲインは等倍とし、前記赤色成分にｎ倍のゲインをかけるゲイン演算回路と、前記赤色成分を前記緑色成分に変換するとともに、前記緑色成分を前記赤色成分に変換する色調整回路と、を有し、前記第１の色調整部による前記赤色成分のゲインの倍率ｋと、前記第２の色調整部による前記赤色成分のゲインの倍率ｎとの大小関係は、ｋ＞ｎであることを特徴とする。【００１０】
また、本発明の一態様に係る内視鏡システムは、上記の画像処理装置と、被検体に前記特殊観察光を照射する光源装置と、近赤外域の励起光を反射するフィルタと、赤色光及び赤外光を透過する赤色カラーフィルタ、緑色光を透過する緑色カラーフィルタ、及び青色光を透過する青色カラーフィルタのいずれか１つであるカラーフィルタと、２次元格子状に配列されている複数の画素を有し、各画素が前記カラーフィルタを介して受光した光を光電変換して前記撮像画像を生成する撮像部と、を有する内視鏡と、を備えることを特徴とする。【００１１】
また、本発明の一態様に係る画像処理方法は、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して画像処理を行う画像処理方法であって、外部からの入力に応じて、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、の一方から他方への切り替えを行う切り替え処理と、前記切り替え処理により選択された、前記第１の色調整部と前記第２の色調整部とのうちいずれか一方が色調を変更する処理を行う色調変更処理と、を含むことを特徴とする。【００１２】
また、本発明の一態様に係る画像処理プログラムは、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して画像処理を行う画像処理プログラムであって、外部からの入力に応じて、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、の一方から他方への切り替えを行う切り替えステップと、前記切り替えステップにより選択された、前記第１の色調整部と前記第２の色調整部とのうちいずれか一方が色調を変更する処理を行う色調変更ステップと、を実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、病変を探す場合と、病変に処置を施す場合との双方において観察しやすい画像データを生成する画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムを実現することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の実施の形態に係る画像処理装置を含む内視鏡システムの構成を示す模式図である。
【図２】図２は、光源装置から出力される特殊観察光の色成分を表す図である。
【図３】図３は、本発明の実施の形態に係る内視鏡システムが実行する処理の概要を示すフローチャートである。
【図４】図４は、カラーモード１が選択された場合に、モニタに表示される画像の一例を示す図である。
【図５】図５は、カラーモード２が選択された場合に、モニタに表示される画像の一例を示す図である。
【図６】図６は、内視鏡に入射する光の色成分毎の光強度を表す図である。
【図７】図７は、撮像部が検出する光の色成分毎の光強度を表す図である。
【図８】図８は、カラーモード１における画像処理の様子を説明するための図である。
【図９】図９は、カラーモード２における画像処理の様子を説明するための図である。
【図１０】図１０は、撮像部を３種のイメージセンサとカラーフィルタとで実現する構成を表す図である。
【図１１】図１１は、撮像部を２種のイメージセンサとカラーフィルタとで実現する構成を表す図である。
【図１２】図１２は、２種のイメージセンサの構成における撮像部が検出する光の色成分毎の光強度を表す図である。
【発明を実施するための形態】
【００１５】
以下に、図面を参照して本発明に係る画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。以下の実施の形態においては、内視鏡用の画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムを例示して説明するが、本発明は、内視鏡や顕微鏡等の病変を探して手技を行う装置に用いる画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムの一般に適用することができる。
【００１６】
また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
【００１７】
（実施の形態）
図１は、本発明の実施の形態に係る画像処理装置を含む内視鏡システムの構成を示す模式図である。図１に示すように、内視鏡システム１は、被検体の体腔内に先端部を挿入することによって被検体の撮像画像を撮像する撮像装置としての内視鏡２と、内視鏡２が撮像した撮像画像に所定の処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する制御装置３と、内視鏡２の先端から出射する照明光又は励起光を発生する光源である光源装置４と、観察者が所定の操作を入力するタッチパネル５と、制御装置３が画像処理を施した画像データを表示するモニタ６と、を備える。
【００１８】
内視鏡２は、内視鏡２の先端に設けられ、光源装置４からの照明光又は励起光を出力する照明レンズ２１と、集光用の対物光学系２２と、対物光学系２２の結像位置に設けられており、対物光学系２２が集光した光を受光して電気信号に光電変換して所定の信号処理を施した撮像画像として出力する撮像部２３と、を備える。
【００１９】
対物光学系２２は、体腔内の光を集光するレンズと、後述する近赤外域の励起光を反射する硬性鏡フィルタと、所定の波長帯域の光を透過するカラーフィルタと、を有し、所定の波長帯域の光を透過する。カラーフィルタは、赤色（Ｒ）光及び赤外光を透過するＲカラーフィルタと、緑色（Ｇ）光を透過するＧカラーフィルタと、青色（Ｂ）光を透過するＢカラーフィルタとのいずれか１つである。
【００２０】
撮像部２３は、例えばＣＣＤ（Ｃｈａｎｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサで構成される。図１０は、撮像部を３種のイメージセンサとカラーフィルタとで実現する構成を表す図である。図１０に示すように、撮像部２３に入射したＲＧＢ成分を含む光は、プリズム２３１等の光学素子により分割され、各カラーフィルタを介して各イメージセンサにそれぞれ入射する。より具体的には、Ｒカラーフィルタ２３ａａを介してイメージセンサ２３ａｂにＲ光及び赤外光が入射し、Ｇカラーフィルタ２３ｂａを介してイメージセンサ２３ｂｂにＧ光が入射し、Ｂカラーフィルタ２３ｃａを介してイメージセンサ２３ｃｂにＢ光及び赤外光が入射する。各イメージセンサは、２次元格子状に配列されている複数の画素に対応し、各画素が各カラーフィルタを介して、Ｒ光、Ｇ光、Ｂ光のうちいずれか１つの光を受光し、受光した光を光電変換して撮像画像を生成する。
【００２１】
制御装置３は、内視鏡システム１全体の動作を制御する制御部３１と、内視鏡２が撮像した撮像画像に所定の処理を施す画像処理装置としての画像処理部３２と、を有する。
【００２２】
制御部３１は、ＣＰＵ等を用いて構成され、各構成部の駆動制御、及び各構成部に対する情報の入出力制御などを行う。制御部３１は、タッチパネル５に入力された信号を受け付け、入力に応じた制御信号を画像処理部３２に出力する。
【００２３】
画像処理部３２は、制御部からの信号に応じてカラーモードを切り替える切り替え部３３と、撮像画像の所定の色成分に対して色調を変更する第１の色調整部３４ａと、撮像画像の所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部３４ｂと、を備える。さらに、第１の色調整部３４ａは、所定の色成分に対してゲインを調整するゲイン演算回路３５ａと、所定の色成分に対して色調を変換する色調整回路３６ａと、を有する。第２の色調整部３４ｂは、所定の色成分及びその他の色成分に対してゲインを調整するゲイン演算回路３５ｂと、所定の色成分及びその他の色成分に対して色調を変換する色調整回路３６ｂと、を有する。画像処理部３２についてのより詳細な説明は後述する。
【００２４】
光源装置４は、制御部３１からの制御信号に応じて照明光又は励起光を出力する光源部４１を有する。光源部４１は、白色照明光を出力する白色ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）と、特殊観察光を出力する特殊観察光源と、を有する。
【００２５】
図２は、光源装置から出力される特殊観察光の色成分を表す図である。図２において、縦軸は光強度を表し、横軸は波長を表している。図２に示すように、特殊観察光源は、被検体に導入された蛍光物質を励起するための近赤外域の励起光と、背景を撮像するためのＧ光及びＢ光を含む照明光と、を発生する。従って、内視鏡システム１は、ＩＲＩ（赤外光観察：Ｉｎｆｒａｒｅｄ  Ｉｍａｇｉｎｇ）で観察する機能を有する。また、近赤外域の励起光の光強度は、Ｇ光、Ｂ光の光強度よりも高い。特殊観察光源が発生する特殊観察光には、Ｒ光は含まれない。なお、特殊観察光源が発生する特殊観察光としては、たとえば血液中のヘモグロビンに吸収されやすくなるように狭帯域化されたＧ光及びＢ光の２種の帯域のＮＢＩ（Ｎａｒｒｏｗ  Ｂａｎｄ  Ｉｍａｇｉｎｇ）照明光等を発生させてもよい。
【００２６】
タッチパネル５は、カラーモードをカラーモード１に切り替えるボタン５１と、カラーモードをカラーモード２に切り替えるボタン５２と、を有する。観察者がボタン５１又はボタン５２に触れると、タッチパネル５から所定の信号が出力され、制御部３１に入力される。なお、タッチパネル５は、観察者が所望のカラーモードを入力できる構成に代替することができ、例えばキーボードやマウスに代替することができる。
【００２７】
モニタ６は、映像ケーブルを介して制御装置３が生成した画像データを制御装置３から受信して表示する機能を有する。モニタ６は、液晶、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）等の表示ディスプレイを有する。
【００２８】
次に、内視鏡システム１を用いて被検体の観察を行う際の処理について説明する。図３は、本発明の実施の形態に係る内視鏡システムが実行する処理の概要を示すフローチャートである。
【００２９】
図３に示すように、観察者は、タッチパネル５のボタン５１又はボタン５２を押すことにより、カラーモード１又はカラーモード２を選択する（選択ステップ：Ｓ１０１）。
【００３０】
タッチパネル５への外部からの入力は、制御装置３の制御部３１に送信され、制御部３１がカラーモードを識別する（識別ステップ：Ｓ１０２）。
【００３１】
制御部３１は、識別したカラーモードに応じた画像処理を行うように画像処理部３２の切り替え部３３に制御信号を出力する。画像処理部３２の切り替え部３３は、制御部３１からの制御信号に基づいて、カラーモード１又はカラーモード２の切り替えを行う（切り替えステップ：Ｓ１０３）。
【００３２】
画像処理部３２は、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して、切り替え部３３により選択されたカラーモード１又はカラーモード２に応じた色調変更処理を行う（色調変更ステップ：Ｓ１０４）。
【００３３】
画像処理部３２は、画像処理を施した画像データをモニタ６に出力する。モニタ６は、画像処理部３２からの画像データを表示する（表示ステップ：Ｓ１０５）。
【００３４】
ここで、画像処理部３２でカラーモード１、カラーモード２の場合に行われる色調変更処理について詳細に説明する。カラーモード１は、観察者が病変を探す際に、病変を見つけやすくするためのカラーモードであり、カラーモード２は、観察者が病変に処置を行う場合に処置を行いやすくするためのカラーモードである。
【００３５】
図４は、カラーモード１が選択された場合に、モニタに表示される画像の一例を示す図である。図５は、カラーモード２が選択された場合に、モニタに表示される画像の一例を示す図である。カラーモード１では、図４に示すように、病変Ｌを探すために、病変Ｌのみが観察しやすい色調で表示されるのが好ましい。一方、カラーモード２では、図５に示すように、病変Ｌと背景Ｂとの両方が観察しやすい色調で表示されるのが好ましい。なお、図５では、処置具Ｔもモニタ６に表示されている。
【００３６】
まず、病変Ｌには、近赤外域の励起光が吸収されやすい試薬が注射等により注入されている。そして、病変Ｌ及び背景Ｂを含む観察部位には、図２に示した光の色成分を有する特殊観察光が照射される。すると、試薬が近赤外域の励起光を吸収し、被写体が蛍光自発光を発光する。
【００３７】
図６は、内視鏡に入射する光の色成分毎の光強度を表す図である。図６において、縦軸は光強度を表し、横軸は波長を表している。図６に示すように、内視鏡２に入射する光の色成分は、特殊観察光が被検体の体腔内でそのまま反射された近赤外域の励起光、Ｂ光、Ｇ光と、励起光より波長の長い近赤外域の試薬からの蛍光自発光の色成分である。ここで、図６の破線は、対物光学系２２の硬性鏡フィルタが透過する光の波長帯域を示しており、硬性鏡フィルタは、Ｂ光、Ｇ光、蛍光自発光を透過するが、近赤外域の励起光を透過しない。
【００３８】
図７は、撮像部が検出する光の色成分毎の光強度を表す図である。図７において、縦軸は撮像部２３が検出する光強度を表し、横軸は波長を表している。図７の破線は、Ｒ、Ｇ、Ｂの各カラーフィルタが透過する光の色成分である。換言すると、図７の破線は、撮像部２３のＲ、Ｇ、Ｂの光に対する感度を示している。図７に示すように、撮像部２３は、カラーフィルタにより、Ｇ光、Ｂ光、Ｒ光及び赤外光に感度を有する。特に、撮像部２３は、赤外域において蛍光自発光の領域にまで感度を有し、赤外光の色成分はＲ成分として撮像部２３に検出される。なお、赤外域の感度は、長波長側では弱くなる。
【００３９】
撮像部２３が検出する光の色成分のうち、Ｒ成分として検出される光は、被写体の試薬からの蛍光自発光であるから、病変Ｌの情報を有する。一方、撮像部２３が検出する光の色成分のうち、Ｇ、Ｂ成分として検出される光は、背景Ｂの情報を有する。
【００４０】
図８は、カラーモード１における画像処理の様子を説明するための図である。カラーモード１を選択した場合、第１の色調整部３４ａのゲイン演算回路３５ａは、病変Ｌのみを表示させるために、Ｒ成分のみを抽出して（すなわち、Ｇ、Ｂ成分のゲインをゼロにする）、抽出したＲ成分にｋ倍のゲインをかけるゲイン演算処理を行う。この様子を概略的に図示すると、図７で示した撮像部２３が検出した光の色成分が、図８の上側の図に示す色成分に変換される。
【００４１】
次に、第１の色調整部３４ａの色調整回路３６ａは、図８に示すように、Ｒ成分をＧ、Ｂ成分に振り分ける色調整処理を行う。この様子を概略的に図示すると、図８の上側の図に示す色成分が、図８の下側の図に示す色成分に変換される。この色調整処理により、病変Ｌの僅かな色味の違いでも視認しやすくすることができる。なお、図８には、Ｒ成分をＧ、Ｂ成分に均等に振り分ける色調整処理を図示したが、Ｒ成分をＧ、Ｂ成分に重みをつけて振り分ける、又は、Ｒ成分をＧ、Ｂ成分のいずれか一方に振り分ける色調整処理を行ってもよい。そして、画像処理部３２は、色調整処理を施した画像データをモニタ６に出力し、モニタ６が画像データを表示する。以上説明した画像処理によって、図４に示すように病変Ｌのみを表示させることができる。
【００４２】
図９は、カラーモード２における画像処理の様子を説明するための図である。カラーモード２を選択した場合、第２の色調整部３４ｂのゲイン演算回路３５ｂは、病変Ｌ及び背景Ｂを表示させるために、Ｇ、Ｂ成分のゲインは等倍（増幅せずそのままの値を用いる）とし、Ｒ成分にｎ倍のゲインをかけるゲイン演算処理を行う。この様子を概略的に図示すると、図７で示した撮像部２３が検出した光の色成分が、図９の上側の図に示す色成分に変換される。
【００４３】
次に、第２の色調整部３４ｂの色調整回路３６ｂは、図９に示すように、Ｒ成分をＧ成分に、Ｇ成分をＲ成分にそれぞれ変換する色調整処理を行う。この様子を概略的に図示すると、図９の上側の図に示す色成分が、図９の下側の図に示す色成分に変換される。この色調整処理により、病変Ｌを強調表示して僅かな色味の違いでも視認しやすくするとともに、背景Ｂも視認できるようにすることができる。そして、画像処理部３２は、色調整処理を施した画像データをモニタ６に出力し、モニタ６が画像データを表示する。以上説明した画像処理によって、図５に示すように病変Ｌ及び背景Ｂを表示させることができる。
【００４４】
なお、第２の色調整部３４ｂのゲイン演算回路３５ｂでのゲインの倍率ｎは、第１の色調整部３４ａのゲイン演算回路３５ａでのゲインの倍率ｋよりも小さい値に設定する。第１の色調整部３４ａでは、ゲイン演算回路３５ａから抽出したＲ成分のみから、色調整回路３６ａにてＧ、Ｂ成分を生成する。そのため、Ｒ成分の情報量を増加させてＧ、Ｂ成分へ振り分ける必要があるため、ゲインの倍率ｋは大きい値となる。
【００４５】
一方で、第２の色調整部３４ｂでは、Ｒ、Ｇ、Ｂ成分の情報量から色調整を行うため、第１の色調整部３４ａより小さいゲインの倍率ｎで画像を生成できる。ゲイン演算を行うとノイズ成分が大きくなりノイズが目立つデメリットと、色成分の情報量がクリップしハレーションが発生するデメリットが生じる。第２の色調整部３４ｂでは、このような影響を少なくするためにも、第１の色調整部３４ａのゲインの倍率ｋに比べて、小さいゲインの倍率ｎに設定する。
【００４６】
内視鏡システム１では、観察者の入力により画像処理部３２における画像処理を、病変Ｌのみを強調表示するカラーモード１と、病変Ｌ及び背景Ｂを表示させるカラーモード２とに切り替えることができる。従って、この画像処理部３２は、病変を探す場合と、病変に処置を施す場合との双方において観察しやすい画像データを生成する画像処理装置である。
【００４７】
なお、上述した実施の形態では、特殊観察光の近赤外域の励起光を反射する硬性鏡フィルタを有する硬性鏡について説明したが、これに限られない。上述した画像処理装置を被検体の体腔内に挿入する可撓性を有する挿入部を有する軟性鏡に適応することも可能である。
【００４８】
また、上述した実施の形態では、切り替え部３３がカラーモード１とカラーモード２との切り替えを行う構成について説明したが、これに限られない。例えば、画像処理装置は、常時第１の色調整部３４ａと第２の色調整部３４ｂとの双方が処理を行い、モニタ６は、第１の色調整部３４ａにより生成された画像データと第２の色調整部３４ｂにより生成された画像データとを並べて表示する構成であってよい。この構成では、第１の色調整部３４ａによる病変のみを強調した画像と、第２の色調整部３４ｂによる病変及び背景を表示した画像とを同時に見ることができる。
【００４９】
また、上述した実施の形態では、カラーモード１とカラーモード２との２つのカラーモードで切り替えを行う構成について説明したが、カラーモードの数は３以上の複数であってもよい。
【００５０】
また、上述した実施の形態では、第１の色調整部３４ａがゲイン演算回路３５ａと色調整回路３６ａとを有し、第２の色調整部３４ｂがゲイン演算回路３５ｂと色調整回路３６ｂとを有する構成について説明したが、これに限られない。例えば、第１の色調整部３４ａは、撮像画像に対してゲイン演算処理と色調整処理を一括して行う画像処理回路を有し、第２の色調整部３４ｂは、撮像画像に対してゲイン演算処理と色調整処理とを一括して行う画像処理回路を有する構成であってよい。このように、第１の色調整部３４ａ及び第２の色調整部３４ｂは、１つの回路として構成されていてもよいが、２以上の複数の回路からなる構成であってもよい。
【００５１】
また、画像処理装置の第１の色調整部３４ａと第２の色調整部３４ｂとにおける各色成分に対するゲインの調整や、各色成分の色調整処理は、観察する部位に応じて変更される構成としてもよい。この構成により、色味が違う複数の部位を観察する場合であっても、部位毎により観察しやすい画像データを生成することができる。
【００５２】
また、上述した実施の形態では、図１０に示すように、撮像部２３が３種のイメージセンサで実現される構成について説明したが、ベイヤー配列を有する１つのイメージセンサを有する構成や図１１に示すＲＧＢ用のイメージセンサと蛍光自発光を撮像するイメージセンサとを有する２種のイメージセンサを有する構成であってもよい。
【００５３】
図１１は、撮像部を２種のイメージセンサとカラーフィルタとで実現する構成を表す図である。具体的には、撮像部２３に入射した光がプリズム２３１等の光学素子により、Ｒ光、Ｇ光、Ｂ光の成分と蛍光自発光の成分とに分けられ、Ｒ光、Ｇ光、Ｂ光の成分の光はＲＧＢカラーフィルタ２３ｅａを介してＲ光、Ｇ光、Ｂ光の成分を受光するイメージセンサ２３ｅｂに入射し、蛍光自発光の成分の光は赤外域のカラーフィルタ２３ｄａを介して蛍光自発光の成分の光を受光するイメージセンサ２３ｄｂに入射する。
【００５４】
図１２は、図１１に示す２種のイメージセンサの構成において、撮像部が検出する光の色成分毎の光強度を表す図である。図７と同様に、縦軸は撮像部２３が検出する光強度を表し、横軸は波長を表している。図１２の破線は、Ｒ光、Ｇ光、Ｂ光、蛍光成分の各カラーフィルタが透過する光の色成分であり、換言すると、撮像部２３のＲ光、Ｇ光、Ｂ光及び蛍光自発光に対する感度を示している。このような構成とすることで、イメージセンサの数を少なくすることができ、撮像部２３の構造が小さくなり、内視鏡２を小型化することが可能となる。
【００５５】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表わしかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【００５６】
１  内視鏡システム
２  内視鏡
３  制御装置
４  光源装置
５  タッチパネル
６  モニタ
２１  照明レンズ
２２  対物光学系
２３  撮像部
２３ａａ  Ｒカラーフィルタ
２３ａｂ、２３ｂｂ、２３ｃｂ、２３ｄｂ、２３ｅｂ  イメージセンサ
２３ｂａ  Ｇカラーフィルタ
２３ｃａ  Ｂカラーフィルタ
２３ｄａ  カラーフィルタ
２３ｅａ  ＲＧＢカラーフィルタ
３１  制御部
３２  画像処理部
３３  切り替え部
３４ａ  第１の色調整部
３４ｂ  第２の色調整部
３５ａ、３５ｂ  ゲイン演算回路
３６ａ、３６ｂ  色調整回路
４１  光源部
５１、５２  ボタン
２３１  プリズム
Ｂ  背景
Ｌ  病変
Ｔ  処置具
【図１】
2017077882.tif 000003
【図２】
2017077882.tif 000004
【図３】
2017077882.tif 000005
【図４】
2017077882.tif 000006
【図５】
2017077882.tif 000007
【図６】
2017077882.tif 000008
【図７】
2017077882.tif 000009
【図８】
2017077882.tif 000010
【図９】
2017077882.tif 000011
【図１０】
2017077882.tif 000012
【図１１】
2017077882.tif 000013
【図１２】
2017077882.tif 000014
【手続補正書】
【提出日】平成29年1月24日(2017.1.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、
前記第１の色調整部と前記第２の色調整部との切り替えを行う切り替え部と、を備え、
前記切り替え部により選択された、前記第１の色調整部と前記第２の色調整部とのいずれか一方が色調を変更する処理を行うことを特徴とする画像処理装置。
【請求項２】
前記特殊観察光は、赤外光を含み、前記撮像画像の前記赤色成分には、被写体から発光された蛍光を含む赤外光の色成分が含まれることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の色調整部は、前記赤色成分を前記緑色成分及び前記青色成分に振り分ける色調整回路を有し、
前記第２の色調整部は、前記赤色成分を前記緑色成分に変換するとともに、前記緑色成分を前記赤色成分に変換する色調整回路を有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の色調整部は、前記撮像画像のうち、前記蛍光を含む赤外光の色成分が含まれる赤色成分のみを抽出して、該赤色成分にｋ倍のゲインをかけるゲイン演算回路を有し、
前記第２の色調整部は、前記緑色成分及び前記青色成分のゲインは等倍とし、前記赤色成分にｎ倍のゲインをかけるゲイン演算回路を有し、
前記第１の色調整部による前記赤色成分のゲインの倍率ｋと、前記第２の色調整部による前記赤色成分のゲインの倍率ｎとの大小関係は、ｋ＞ｎであることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
請求項１に記載の画像処理装置と、
被検体に前記特殊観察光を照射する光源装置と、
近赤外域の励起光を反射するフィルタと、赤色光及び赤外光を透過する赤色カラーフィルタ、緑色光を透過する緑色カラーフィルタ、及び青色光を透過する青色カラーフィルタのいずれか１つであるカラーフィルタと、２次元格子状に配列されている複数の画素を有し、各画素が前記カラーフィルタを介して受光した光を光電変換して前記撮像画像を生成する撮像部と、を有する内視鏡と、を備えることを特徴とする内視鏡システム。
【請求項６】
特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して画像処理を行う画像処理装置が実行する画像処理方法であって、
外部からの入力に応じて、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、の一方から他方への切り替えを行う切り替え処理と、
前記切り替え処理により選択された、前記第１の色調整部と前記第２の色調整部とのうちいずれか一方が色調を変更する処理を行う色調変更処理と、を含むことを特徴とする画像処理方法。
【請求項７】
特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して画像処理を行う画像処理プログラムであって、
外部からの入力に応じて、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、の一方から他方への切り替えを行う切り替えステップと、
前記切り替えステップにより選択された、前記第１の色調整部と前記第２の色調整部とのうちいずれか一方が色調を変更する処理を行う色調変更ステップと、を画像処理装置に実行させることを特徴とする画像処理プログラム。
【手続補正書】
【提出日】平成29年6月5日(2017.6.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
特殊観察光を用いた観察により取得された緑色、青色及び被写体から発光された蛍光を含む赤外光の各色成分を含む撮像画像に所定の処理を施す画像処理装置において、
前記撮像画像のうち、前記赤外光の色成分のみを抽出して所定倍率のゲインをかける第１のゲイン演算回路と、
前記第１のゲイン演算回路から出力された前記赤外光の色成分を前記緑色成分及び前記青色成分に振り分けて出力する第１の色調整回路と、
前記撮像画像のうち、前記緑色成分及び前記青色成分のゲインは等倍としつつ、前記赤外光の色成分に対して前記所定倍率より小さい倍率のゲインをかける第２のゲイン演算回路と、
前記第２のゲイン演算回路から出力された前記赤外光の色成分を前記緑色成分に変換するとともに、前記緑色成分を赤色成分に変換する第２の色調整回路と、
前記撮像画像を前記第１のゲイン演算回路又は前記第２のゲイン演算回路のいずれか一方に入力させる切り替え処理を行う切り替え部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置と、
被検体に前記特殊観察光を照射する光源装置と、
近赤外域の励起光を反射するフィルタと、赤色光及び赤外光を透過する赤色カラーフィルタ、緑色光を透過する緑色カラーフィルタ、及び青色光を透過する青色カラーフィルタのいずれか１つであるカラーフィルタと、２次元格子状に配列されている複数の画素を有し、各画素が前記カラーフィルタを介して受光した光を光電変換して前記撮像画像を生成する撮像部と、を有する内視鏡と、を備えることを特徴とする内視鏡システム。
【国際調査報告】
2017077882.tif 000015
2017077882.tif 000016
2017077882.tif 000017
2017077882.tif 000018