(57)【特許請求の範囲】
【請求項１】
第１照明光を用いて観察対象を撮影して得る第１画像と、前記第１照明光とは異なる第２照明光を用いて、前記第１画像とは異なるタイミングにおいて前記観察対象を撮影して得る第２画像とを取得する画像取得部と、
前記第１画像と前記第２画像の位置合わせを行う位置合わせ部と、
前記第１照明光、前記第２照明光、または、前記第１照明光と前記第２照明光の組み合わせが短波長であるほど、前記位置合わせの精度を高くする精度変更部と、
を備える内視鏡システム。
【請求項２】
前記第１照明光及び前記第２照明光を選択する照明光選択部を備える請求項１に記載の内視鏡システム。
【請求項３】
第１照明光を用いて観察対象を撮影して得る第１画像と、前記第１照明光とは異なる第２照明光を用いて、前記第１画像とは異なるタイミングにおいて前記観察対象を撮影して得る第２画像とを取得する画像取得部と、
前記第１画像と前記第２画像の位置合わせを行う位置合わせ部と、
前記観察対象のなかで注目する注目構造の深さを指定する深さ指定部と、
前記深さ指定部により指定された前記注目構造の深さが浅いほど、前記位置合わせの精度を高くする精度変更部と、
を備える内視鏡システム。
【請求項４】
第１照明光を用いて観察対象を撮影して得る第１画像と、前記第１照明光とは異なる第２照明光を用いて、前記第１画像とは異なるタイミングにおいて前記観察対象を撮影して得る第２画像とを取得する画像取得部と、
前記第１画像と前記第２画像の位置合わせを行う位置合わせ部と、
前記第１照明光、前記第２照明光、または、前記第１照明光と前記第２照明光の組み合わせが短波長であるほど、前記位置合わせの精度を高くする精度変更部と、
を備える内視鏡システムのプロセッサ装置。
【請求項５】
第１照明光を用いて観察対象を撮影して得る第１画像と、前記第１照明光とは異なる第２照明光を用いて、前記第１画像とは異なるタイミングにおいて前記観察対象を撮影して得る第２画像とを取得する画像取得部と、
前記第１画像と前記第２画像の位置合わせを行う位置合わせ部と、
前記観察対象のなかで注目する注目構造の深さを指定する深さ指定部と、
前記深さ指定部により指定された前記注目構造の深さが浅いほど、前記位置合わせの精度を高くする精度変更部と、
を備える内視鏡システムのプロセッサ装置。
【請求項６】
画像取得部が、第１照明光を用いて観察対象を撮影して得る第１画像と、前記第１照明光とは異なる第２照明光を用いて、前記第１画像とは異なるタイミングにおいて前記観察対象を撮影して得る第２画像とを取得するステップと、
位置合わせ部が、前記第１画像と前記第２画像の位置合わせを行うステップと、
精度変更部が、前記第１照明光、前記第２照明光、または、前記第１照明光と前記第２照明光の組み合わせが短波長であるほど、前記位置合わせの精度を高くするステップと、
を備える内視鏡システムの作動方法。
【請求項７】
画像取得部が、第１照明光を用いて観察対象を撮影して得る第１画像と、前記第１照明光とは異なる第２照明光を用いて、前記第１画像とは異なるタイミングにおいて前記観察対象を撮影して得る第２画像とを取得するステップと、
位置合わせ部が、前記第１画像と前記第２画像の位置合わせを行うステップと、
深さ指定部が、前記観察対象のなかで注目する注目構造の深さを指定するステップと、
精度変更部が、前記深さ指定部により指定された前記注目構造の深さが浅いほど、前記位置合わせの精度を高くするステップと、
を備える内視鏡システムの作動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２以上の画像の位置合わせを行う内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法に関する。
【背景技術】
【０００２】
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いて、観察対象をほぼリアルタイムに動画を用いて観察しながら診断することが一般的になっている。また、観察対象を自然に観察するだけでなく、青色及び緑色のごく狭い波長帯域の光（以下、狭帯域光という）を照明光に利用することで、血管等の注目する組織や腺管構造（いわゆるピットパターン）等の注目する構造を強調した画像を得る内視鏡システムが知られている。
【０００３】
注目する組織や構造を強調した画像を得る際には、多くの場合、異なるタイミングにおいて観察対象を撮影して得た複数の画像を利用する。例えば、上記のように青色及び緑色の狭帯域光を用いて血管等を強調した画像を得る際には、青色の狭帯域光と緑色の狭帯域光を観察対象に順次照射し、これらの各狭帯域光を用いて観察対象を順次撮影して得た画像を合成する。この他、注目する組織や構造を抽出したり強調したりする際や、酸素飽和度等の生体機能情報を算出する際にも、異なるタイミングにおいて観察対象を撮影して得た複数の画像を利用する場合がある。
【０００４】
注目する組織等の強調等を正確に行うためには、通常は、使用する複数の画像に写る観察対象（被写体）の位置合わせ（以下、単に、「位置合わせ」または「画像の位置合わせ」という）を行う。使用する画像の位置合わせを行うことで、画像間の観察対象の位置ずれに起因した誤差（以下、アーチファクトという）が低減されるので、注目する組織等の強調等の精度が向上する。
【０００５】
例えば、特許文献１の内視鏡システムは、白色光を用いて撮影した通常の画像と、狭帯域光を用いて撮影した画像とを、位置合わせをして合成し、注目する組織等を強調した画像を生成及び表示している。また、特許文献２の内視鏡システムは、画像の位置合わせをする際に、位置合わせをする範囲を画像内に限定することにより、位置合わせの精度を向上している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２３４８４４号公報
【特許文献２】特開２０１３−１５３８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記のように、異なるタイミングにおいて観察対象を撮影して得た複数の画像を用いて注目する組織等の強調等をする場合、使用する複数の画像の位置合わせをし、アーチファクトを低減することが望ましい。しかし、位置合わせは、計算負荷が高く、時間がかかるので、診断に使用できる程度に正確な強調等をするために、常に高精度な位置合わせをすると、フレームレートが低下してしまうという問題がある。
【０００８】
もちろん、位置合わせ処理をしなければ、ストレスなく観察対象を観察可能なフレームレートを維持することができるが、強調等した部分や生体機能情報の値が不正確になるので、注目する組織等の強調等や生体機能情報の表示を信頼して診断することができない。このため、注目する組織等の強調等や生体機能情報を算出する意味がなくなってしまう。
【０００９】
本発明は、異なるタイミングにおいて観察対象を撮影して得た複数の画像を用いて注目する組織等の強調等をする際に、位置合わせにかかる時間を必要に応じて適切に削減し、フレームレートと、注目する組織等の強調等の正確性を両立した内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の内視鏡システムは、第１照明光を用いて観察対象を撮影して得る第１画像と、第１照明光とは異なる第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得る第２画像とを取得する画像取得部と、第１画像と第２画像の位置合わせを行う位置合わせ部と、第１照明光、第２照明光、または、第１照明光と第２照明光の組み合わせが短波長であるほど、位置合わせの精度を高くする精度変更部と、を備える。
【００１１】
第１照明光及び第２照明光を選択する照明光選択部を備えることが好ましい。
【００１３】
本発明の別の内視鏡システムは、第１照明光を用いて観察対象を撮影して得る第１画像と、第１照明光とは異なる第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得る第２画像とを取得する画像取得部と、第１画像と第２画像の位置合わせを行う位置合わせ部と、観察対象のなかで注目する注目構造の深さを指定する深さ指定部と、深さ指定部により指定された注目構造の深さが浅いほど、位置合わせの精度を高くする精度変更部と、を備える。
【００１９】
本発明の内視鏡システムのプロセッサ装置は、第１照明光を用いて観察対象を撮影して得る第１画像と、第１照明光とは異なる第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得る第２画像とを取得する画像取得部と、第１画像と第２画像の位置合わせを行う位置合わせ部と、第１照明光、第２照明光、または、第１照明光と第２照明光の組み合わせが短波長であるほど、前記位置合わせの精度を高くする精度変更部と、を備える。また、本発明の別の内視鏡システムのプロセッサ装置は、第１照明光を用いて観察対象を撮影して得る第１画像と、第１照明光とは異なる第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得る第２画像とを取得する画像取得部と、第１画像と第２画像の位置合わせを行う位置合わせ部と、観察対象のなかで注目する注目構造の深さを指定する深さ指定部と、深さ指定部により指定された注目構造の深さが浅いほど、位置合わせの精度を高くする精度変更部と、を備える。
【００２０】
本発明の内視鏡システムの作動方法は、画像取得部が、第１照明光を用いて観察対象を撮影して得る第１画像と、第１照明光とは異なる第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得る第２画像とを取得するステップと、位置合わせ部が、第１画像と第２画像の位置合わせを行うステップと、精度変更部が、第１照明光、第２照明光、または、第１照明光と第２照明光の組み合わせが短波長であるほど、位置合わせの精度を高くするステップと、を備える。また、本発明の別の内視鏡システムの作動方法は、画像取得部が、第１照明光を用いて観察対象を撮影して得る第１画像と、第１照明光とは異なる第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得る第２画像とを取得するステップと、位置合わせ部が、第１画像と第２画像の位置合わせを行うステップと、深さ指定部が、前記観察対象のなかで注目する注目構造の深さを指定するステップと、精度変更部が、深さ指定部により指定された注目構造の深さが浅いほど、位置合わせの精度を高くするステップと、を備える。
【発明の効果】
【００２１】
本発明の内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法は、異なるタイミングにおいて観察対象を撮影して得た複数の画像を用いて注目する組織等の強調等をする際に、位置合わせにかかる時間を必要に応じて適切に削減し、フレームレートと、注目する組織等の強調等の正確性を両立することができる。
【図面の簡単な説明】
【００２２】
【図１】内視鏡システムの外観図である。
【図２】内視鏡システムのブロック図である。
【図３】特殊処理部のブロック図である。
【図４】照明光の波長と位置合わせの精度の関係を示すグラフである。
【図５】血管の深さと血管のコントラストの関係を模式的に表すグラフである。
【図６】注目構造強調画像の生成方法を示す説明図である。
【図７】特殊観察モードの動作の流れを示すフローチャートである。
【図８】Ｖ画像の模式図である。
【図９】Ｂ画像の模式図である。
【図１０】演算画像の模式図である。
【図１１】低解像度化した演算画像の模式図である。
【図１２】注目構造強調画像の模式図である。
【図１３】深さ指定部と特殊処理部の関係を示すブロック図である。
【図１４】注目構造の深さと位置合わせの制度の関係を示すグラフである。
【図１５】動き量算出部を設けた特殊処理部のブロック図である。
【図１６】動き量と位置合わせの精度の関係を示すグラフである。
【図１７】動き量と位置合わせの精度の関係を示すグラフである。
【図１８】動き量と位置合わせの精度の関係を示すグラフである。
【図１９】動き量と位置合わせの精度の関係を示すグラフである。
【図２０】ブレ量算出部を設けた特殊処理部のブロック図である。
【図２１】ブレ量と位置合わせの精度の関係を示すグラフである。
【図２２】ブレ量と位置合わせのオンオフの関係を示すグラフである。
【図２３】ブレ量の算出と動き量の算出を組みわせる場合のフローチャートである。
【図２４】カプセル内視鏡の概略図である。
【発明を実施するための形態】
【００２３】
［第１実施形態］
図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続するとともに、プロセッサ装置１６に電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃと、先端部１２ｄとを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃが湾曲する。この湾曲部１２ｃが湾曲した結果、先端部１２ｄが所望の方向に向く。
【００２４】
また、操作部１２ｂには、アングルノブ１２ｅの他、モード切り替えスイッチ１３ａ、ズーム操作部１３ｂが設けられている。モード切り替えスイッチ１３ａは、観察モードの切り替え操作に用いる。内視鏡システム１０は、通常観察モードと特殊観察モードを有する。通常観察モードは、照明光に白色光を用いて観察対象を撮影して得る自然な色合いの画像（以下、通常画像という）をモニタ１８に表示する観察モードである。特殊観察モードは、観察対象を撮影して得た画像を用いて観察対象に含まれる血管のうち、特定の深さにある血管を強調した画像を表示する観察モードである。
【００２５】
プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続する。モニタ１８は、各観察モードの画像や画像に付帯する画像情報等を出力表示する。コンソール１９は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置１６には、画像や画像情報等を記録する外付けの記録部（図示省略）を接続してもよい。
【００２６】
図２に示すように、光源装置１４は、照明光を発光する光源部２０と、光源部２０の駆動を制御する光源制御部２２と、を備えている。
【００２７】
光源部２０は、Ｖ光源２０ａ、Ｂ２光源２０ｂ、Ｇ光源２０ｃ、及び、Ｒ光源２０ｄの４個の光源を備える。本実施形態においては、Ｖ光源２０ａ、Ｂ光源２０ｂ、Ｇ光源２０ｃ、及び、Ｒ光源２０ｄはいずれもＬＥＤ(Light Emitting Diode)である。光源部２０には、これらのＬＥＤの代わりに、ＬＤ(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせや、キセノンランプ等のランプと帯域制限フィルタとの組み合わせ等を用いることができる。
【００２８】
Ｖ光源２０ａは、中心波長が約４０５ｎｍ、波長帯域が約３８０ｎｍ〜４２０ｎｍの紫色光Ｖを発光する紫色光源である。Ｂ光源２０ｂは、中心波長が約４６０ｎｍ、波長帯域が約４２０ｎｍ〜５００ｎｍの青色光Ｂを発光する青色光源である。Ｇ光源２０ｃは、波長帯域が約４８０ｎｍ〜６００ｎｍに及ぶ緑色光Ｇを発光する緑色光源である。Ｒ光源２０ｄは、中心波長が約６２０ｎｍ〜６３０ｎｍ、波長帯域が約６００ｎｍ〜６５０ｎｍに及ぶ赤色光Ｒを発光する赤色光源である。なお、Ｖ光源２０ａ及びＢ光源２０ｂの中心波長は±５ｎｍから±１０ｎｍ程度の幅を有する。
【００２９】
光源制御部２２は、光源部２０を構成する各光源２０ａ〜２０ｄの点灯や消灯のタイミング、及び点灯時の発光量等をそれぞれ独立に制御する。通常観察モードの場合、光源制御部２２は、Ｖ光源２０ａ、Ｂ光源２０ｂ、Ｇ光源２０ｃ、及びＲ光源を全て点灯する。このため、通常観察モードにおいては、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む白色光が照明光になる。
【００３０】
一方、特殊観察モードの場合、第１照明光と、第１照明光とは異なる第２照明光を、設定により選択して使用する。このため、特殊観察モードの場合、光源制御部２２は、第１照明光を発光する発光パターンと、第２照明光を発光する発光パターンで各色の光源２０ａ〜２０ｄを制御する。
【００３１】
例えば、設定により選択した第１照明光及び第２照明光が紫色光Ｖ及び青色光Ｂである場合、光源制御部２２は、Ｖ光源２０ａだけを点灯する発光パターンと、Ｂ光源２０ｂだけを点灯する発光パターンを交互に繰り返す。また、設定により選択した第１照明光及び第２照明光が青色光Ｂと緑色光Ｇである場合、光源制御部２２は、Ｂ光源２０ｂだけを点灯する発光パターンと、Ｇ光源２０ｃだけを点灯する発光パターンを交互に繰り返す。
【００３２】
もちろん、赤色光Ｒは、第１照明光または第２照明光に使用できる。また、各色の光源２０ａ〜２０ｄのうちのいずれか１つを用いて発光する単色の光を第１照明光または第２照明光として使用できる他、各色の光源２０ａ〜２０ｄのうち２以上の光源を点灯して発光する光を第１照明光または第２照明光として使用することもできる。複数の光源を点灯して第１照明光または第２照明光を発光する場合には、点灯する光源の光量のバランスを調節して全体としての分光スペクトルを変えることで、点灯する光源の組み合わせ同じ場合でも様々な色の光を第１照明光または第２照明光として使用することができる。帯域制限フィルタを用いて、各色の光源２０ａ〜２０ｄが発光する各色光の波長帯域や光量の一部を制限した光も第１照明光または第２照明光として使用可能である。したがって、本明細書において、照明光が「異なる」とは、２つの照明光を比較した場合に、波長帯域または分光スペクトルの少なくとも一方が同一でないことを意味する。
【００３３】
光源部２０が発光した照明光は、ライトガイド４１に入射する。ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコード）内に内蔵されており、照明光を内視鏡１２の先端部１２ｄまで伝搬する。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用することができる。
【００３４】
内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮影光学系３０ｂが設けられている。照明光学系３０ａは、照明レンズ４５を有しており、この照明レンズ４５を介して照明光が観察対象に照射される。撮影光学系３０ｂは、対物レンズ４６、ズームレンズ４７、及びイメージセンサ４８を有している。イメージセンサ４８は、対物レンズ４６及びズームレンズ４７を介して、観察対象から戻る照明光の反射光や散乱光（観察対象が発する蛍光や観察対象に投与等した薬剤に起因して蛍光を含む）等を用いて観察対象を撮影する。なお、ズームレンズ４７は、ズーム操作部１３ｂの操作をすることで移動し、イメージセンサ４８を用いて撮影する観察対象を拡大または縮小する。
【００３５】
イメージセンサ４８は、原色系のカラーセンサであり、主に紫色から青色の波長帯域の光を透過する青色カラーフィルタが設けられたＢ画素（青色画素）、主に緑色の波長帯域の光を透過する緑色カラーフィルタが設けられたＧ画素（緑色画素）、及び、主に赤色の波長帯域の光を透過する赤色カラーフィルタが設けられたＲ画素（赤色画素）の３種類の画素を有する。このため、イメージセンサ４８を用いて観察対象を撮影すると、Ｂ画像（青色画像）、Ｇ画像（緑色画像）、及びＲ画像（赤色画像）の３種類の画像が得られる。
【００３６】
通常観察モードの場合、照明光は白色光であるため、上記の通り、Ｂ画像、Ｇ画像、及びＲ画像がそれぞれ得られる。具体的には、Ｂ画素は、白色光の反射光等のうち、紫色から青色の波長帯域の光を受光して観察対象を撮影し、Ｂ画像を出力する。Ｇ画素は緑色の波長帯域の光を受光してＧ画像を出力し、Ｒ画素は赤色の波長帯域の光を受光してＲ画像を出力する。
【００３７】
一方、特殊観察モードにおいては、照明光は第１照明光と第２照明光とに交互に切り替わる。このため、第１照明光を用いて観察対象を撮影して得るＢＧＲ各色の画像（以下、第１画像という）と、第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得るＢＧＲ各色の画像（以下、第２画像という）が得られる。例えば、紫色光Ｖを第１照明光に使用し、かつ、青色光Ｂを第２照明光に使用する場合、紫色光Ｖの反射光等に対応するＢ画像（以下、Ｖ画像という）が第１画像であり、青色光Ｂに対応するＢ画像が第２画像である。
【００３８】
なお、イメージセンサ４８としては、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４８は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、Ｂ画像、Ｇ画像、及びＲ画像に変換することができる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ４８として使用することができる。この場合、ＢＧＲ等各色の照明光を用いて観察対象を順次撮影することにより、上記各色の画像を得ることができる。
【００３９】
プロセッサ装置１６は、照明光選択部５１と、制御部５２と、画像取得部５４と、画像処理部６１と、表示制御部６６と、を有する。
【００４０】
照明光選択部５１は、コンソール１９からの設定入力等に基づいて、観察対象のなかで注目する注目構造にしたがって、特殊観察モードにおいて使用する第１照明光及び第２照明光を選択する。注目構造とは、観察対象が含む血管等の組織ピットパターン等の構造等のうち、診断のために観察の目的として注目する組織や構造等である。例えば、観察対象が含む血管のうち、特定の深さ範囲にある血管が注目構造である。
【００４１】
コンソール１９を用いて注目構造の観察等に適した第１照明光及び第２照明光の各波長を設定入力すると、照明光選択部５１は、システム的に選択可能な光のなかかから、設定入力した第１照明光及び第２照明光の各波長に近い適切な照明光を第１照明光及び第２照明光に選択する。例えば、粘膜下の比較的浅い深さ範囲にある血管（以下、表層血管という）のうち、特に浅い深さ範囲にある血管（以下、極表層血管という）が注目構造である場合、極表層血管の観察等に適した第１照明光の波長（例えば４００ｎｍ）、波長帯域、または、色等と、第２照明光の波長（例えば４５０ｎｍ）、波長帯域、または色等を設定入力する。内視鏡システム１０がシステム的に紫色光Ｖ、青色光Ｂ、緑色光Ｇ、または赤色光Ｒの４種類の光のなかから任意に第１照明光及び第２照明光を選択可能であるとすれば、照明光選択部５１は、設定入力にしたがって、紫色光Ｖを第１照明光に選択し、青色光Ｂを第２照明光に選択する。設定入力は注目構造にしたがって行われるので、上記のように第１照明光及び第２照明光を選択することは、注目構造にしたがって第１照明光及び第２照明光を選択することに等しい。
【００４２】
制御部５２は、モード切り替えスイッチ１３ａからモード切り替え信号の入力を受けて、光源制御部２２及びイメージセンサ４８に制御信号を入力することにより、観察モードを切り替える。また、特殊観察モードの場合、制御部５２は、照明光選択部５１が選択した第１照明光及び第２照明光に応じた制御信号を光源制御部２２に入力する。これにより、光源制御部２２は、光源部２０を用いて照明光選択部５１が選択した第１照明光及び第２照明光を発光する。この他、制御部５２は、照明光の照射タイミングと撮影のタイミングの同期制御等もする。
【００４３】
画像取得部５４は、イメージセンサ４８から各色の画像を取得する。具体的には、通常観察モードの場合、画像取得部５４は、イメージセンサ４８からＢ画像、Ｇ画像、及びＲ画像を取得する。一方、特殊観察モードの場合、画像取得部５４は、イメージセンサ４８から第１照明光を用いて観察対象を撮影して得る第１画像と、第１照明光とは異なる第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得る第２画像と、を取得する。例えば、第１照明光が紫色光Ｖであり、第２照明光が青色光Ｂの場合には、画像取得部５４は、Ｖ画像とＢ画像を順次取得する。
【００４４】
また、画像取得部５４は、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、変換部５９と、を有し、これらを用いて、取得した画像に各種処理を施す。
【００４５】
ＤＳＰ５６は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種処理を施す。
【００４６】
欠陥補正処理は、イメージセンサ４８の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理（等方化処理や同時化処理とも言う）は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列のため、イメージセンサ４８において他の色の画素を配置しているために、画素値がない画素である。例えば、Ｂ画像はＢ画素を用いて観察対象を撮影して得る画像なので、イメージセンサ４８のＧ画素やＲ画素に対応する位置の画素には画素値がない。デモザイク処理は、Ｂ画像を補間して、イメージセンサ４８のＧ画素及びＲ画素の位置にある画素の画素値を生成する。ＹＣ変換処理は、デモザイク処理後の画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒに変換する処理である。
【００４７】
ノイズ低減部５８は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５９は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色の画像に再変換する。
【００４８】
画像処理部６１は、通常処理部６２と、特殊処理部６３とを有する。通常処理部６２は、通常観察モード時に作動し、ＢＧＲ各色の画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施し、通常画像を生成する。色変換処理は、ＢＧＲ各色の画像に対して３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（ルックアップテーブル）処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の組織や構造を強調する処理である。表示制御部６６は、通常処理部６２から通常画像を順次取得し、取得した通常画像を表示に適した形式に変換してモニタ１８に順次出力表示する。これにより、通常観察モードの場合、医師等は、通常画像の動画を用いて観察対象を観察することができる。
【００４９】
特殊処理部６３は、特殊観察モード時に作動し、特殊観察モードにおいて取得した画像を用いて、特定深さ（例えば、観察対象の粘膜の表面を基準とした深さが特定の深さ）にある血管を、他の血管に対して色の違いを用いて表す画像を生成する。図３に示すように、特殊処理部６３は、位置合わせ部７１、精度変更部７２、明るさ補正部７３、演算画像生成部７４、低解像度化部７６、及び、画像生成部７７を備える。
【００５０】
位置合わせ部７１は、第１画像と第２画像の位置合わせを行う。第１画像と第２画像の位置合わせ（以下、単に位置合わせという）とは、第１画像が表す観察対象と第２画像が表す観察対象の対応する部分の位置（座標）を概ね一致させる処理である。具体的には、位置合わせは、第１画像及び第２画像のマッチングにより両画像が表す観察対象の動きベクトルを推定し、推定した動きベクトルに基づいて第１画像及び第２画像のうち少なくとも一方を変形して行うことができる。
【００５１】
位置合わせ部７１が行う位置合わせの精度は変更可能である。具体的には、位置合わせ部７１は、推定する動きベクトルの密度（いわゆる格子密度）を変えることで、位置合わせの精度を変更することができる。推定する動きベクトルの密度が高い（動きベクトルの数が多い）ほど、位置合わせの精度は高くなる。例えば、１画素ずつ動きベクトルを推定する場合と、２画素ごとに動きベクトルを推定する場合とでは、１画素ずつ動きベクトルを推定する場合の方が位置合わせの精度が高い。また、位置合わせ部７１は、動きベクトルの終点を求める精度を変更し、その結果として、位置合わせの精度を変更することができる。例えば、動きベクトルの終点を、サブピクセルレベルにおいて求めると位置合わせの精度が高くなる。同様に、動きベクトルの終点を、１／８サブピクセルレベルにおいて求める場合と、１／２サブピクセルレベルにおいて求める場合とで比較すれば、１／８サブピクセルレベルにおいて動きベクトルの終点を求める場合の方が位置合わせの精度が高い。また、画像間のマッチングを多重解像度に分解して階層毎（分解した解像度毎）に行う場合は、高解像度の階層でのマッチングをスキップすることでも位置合わせの精度を変更できる。
【００５２】
精度変更部７２は、少なくとも観察対象において注目する注目構造にしたがって、位置合わせ部７１が行う位置合わせの精度を変更する。本実施形態においては、精度変更部７２は、照明光選択部５１が選択した第１照明光、第２照明光、または、第１照明光と第２照明光の組み合わせ（以下、選択照明光という）にしたがって、位置合わせの精度を設定する。照明光選択部５１は、注目構造にしたがって第１照明光及び第２照明光を選択するので、選択照明光にしたがって位置合わせの精度を変更することは、注目構造にしたがって位置合わせの精度を変更するのと同じことである。
【００５３】
「第１照明光にしたがって位置合わせの精度を変更する」とは、第１照明光の中心波長、ピーク波長、波長帯域の広さ、または分光スペクトルを加味した平均波長等に基づいて位置合わせの精度を変更することをいう。「第２照明光にしたがって位置合わせ精度を変更する」の意味も同様である。「第１照明光と第２照明光の組み合わせにしたがって位置合わせの精度を変更する」とは、第１照明光と第２照明光の中心波長、ピーク波長、波長帯域の広さ、または分光スペクトルを加味した波長等の統計量（平均値、中央値等）に基づいて位置合わせの精度を変更することをいう。
【００５４】
また、精度変更部７２は、選択照明光（第１照明光、第２照明光、または、第１照明光と第２照明光の組み合わせ）が短波長であるほど、位置合わせの精度を高くする。「第１照明光が短波長」とは、第１照明光の中心波長、ピーク波長、波長帯域の広さ、または、分光スペクトルを加味した平均波長等が短いことを表す。第２照明光についても同様である。「第１照明光と第２照明光の組み合わせが短波長である」とは、第１照明光と第２照明光の中心波長、ピーク波長、波長帯域の広さ、または分光スペクトルを加味した波長等の統計量（平均値、中央値、または標準偏差等）が、短いことまたは小さいことを表す。
【００５５】
精度変更部７２が上記３パターンのうち第１照明光にしたがって位置合わせの精度を決めるとする。この場合、例えば、第１照明光が紫色光Ｖである場合と、第２照明光が青色光Ｂである場合を比較すると、青色光Ｂよりも紫色光Ｖの方が、中心波長等が短い。したがって、精度変更部７２は、第１照明光に紫色光Ｖを使用する場合の方が青色光Ｂを使用する場合よりも、位置合わせの精度を高くする。精度変更部７２が第２照明光にしたがって位置合わせの精度を決める場合も同様である。
【００５６】
精度変更部７２が、上記３パターンのうち、第１照明光と第２照明光の組み合わせにしたがって位置合わせの精度を決めるとする。この場合、例えば、第１照明光及び第２照明光の組み合わせが、紫色光Ｖ及び青色光Ｂである場合と、青色光Ｂ及び緑色光Ｇである場合とを比較すると、中心波長の平均値は、青色光Ｂ及び緑色光Ｇの組み合わせよりも、紫色光Ｖ及び青色光Ｂの組み合わせの方が短い。したがって、精度変更部７２は、第１照明光及び第２照明光に青色光Ｂ及び緑色光Ｇを使用する場合よりも、第１照明光及び第２照明光に紫色光Ｖ及び青色光Ｂを使用する場合の方が位置合わせの精度を高くする。
【００５７】
いずれにしても、例えば、図４に示すように、精度変更部７２は、特殊観察モードにおいて使用する照明光が全体として短波長であるほど、位置合わせの精度を高くする。これは、特殊観察モードにおいて使用する照明光が全体として長波長であるほど、位置合わせ精度を低くすることでもある。
【００５８】
一般に、観察対象が生体の場合、粘膜下の深さが浅いほど、組織や構造等は細く小さくなり、粘膜下の深さが深いほど組織や構造は太く大きくなる傾向にある。また、観察対象中への深達度は、短波長の光ほど小さく、長波長の光ほど大きいので、短波長の光を使用するほど粘膜下の浅い位置にある構造等を観察しやすく、長波長の光を使用するほど粘膜下の深い位置にある構造等を観察しやすい。したがって、特殊観察モードにおいて使用する照明光を全体として短波長にするケースは、注目構造が概ね細く小さい組織や構造であるから、第１画像と第２画像の間にわずかな位置ずれがあるだけでも、その後の演算等において無視できないアーチファクトになりやすい。逆に、観察モードにおいて使用する照明光を全体として長波長にするケースは、注目構造が概ね太く大きい組織や構造であるから、第１画像と第２画像の間に多少の位置ずれがあったとしても相対的にアーチファクトは小さい。この場合、特に観察対象を、動画を用いて観察すると、アーチファクトに起因する画像の乱れ等はほとんど視認されない。
【００５９】
こうしたことから、精度変更部７２は、特殊観察モードで使用する照明光の波長等（すなわち注目構造が何であるか）にしたがって、上記のように位置合わせの精度を変更することで、必要に応じて位置合わせ部７１の処理負荷を低減し、位置合わせの処理が早く完了するようにしているのである。これにより、特殊観察モードにおいて生成及び表示する画像のフレームレートが維持しやすくする。
【００６０】
なお、位置合わせの精度の変更には、位置合わせのオンオフの切り替えを含む。すなわち、精度変更部７２は、位置合わせの精度を下げる場合、位置合わせをオフに設定することにより、位置合わせ部７１が行う処理をスキップして、位置合わせを行わないようにすることができる。また、位置合わせの精度の変更を、オンオフの切り替えてする場合、位置合わせをオンにした場合の精度は、一定の精度に設定してもよく、上記と同様に選択照明光の波長にしたがって設定することもできる。
【００６１】
明るさ補正部７３は、位置合わせ部７１が位置合わせした第１画像または第２画像のうち少なくとも一方の明るさを補正し、第１画像及び第２画像の明るさを特定の比率にする。例えば、明るさ補正部７３は、第１照明光と第２照明光の光量比を用いて、第１画像または第２画像のうち少なくともいずれか一方をゲイン補正することにより、第１画像及び第２画像の相対的な明るさを補正することができる。
【００６２】
第１画像を得たときの第１照明光の光量と、第２画像を得たときの第２照明光の光量は、第１画像及び第２画像を得た時点でいずれも既知であるから、第１照明光と第２照明光の光量比は、明るさ補正部７３が明るさの補正をする段階で既知である。このため、例えば、第１照明光が紫色光Ｖであり、第２照明光が青色光Ｂであり、紫色光Ｖの光量と青色光Ｂの光量が２：１の場合、明るさ補正部７３は、Ｖ画像（第１画像）の明るさをゲイン補正により１／２倍にし、または、Ｂ画像（第２画像）の明るさをゲイン補正により２倍して、Ｖ画像（第１画像）の明るさとＢ画像（第２画像）の明るさの比率を１：１（特定の比率）にする。
【００６３】
また、第１画像の輝度の平均値は、第１画像が表す観察対象の粘膜の明るさに概ね相当する。第２画像でも同様である。このため、上記のように、第１照明光と第２照明光の比を用いる代わりに、明るさ補正部７３は、第１画像及び第２画像の輝度の平均値を算出し、これらの比を用いて、第１画像または第２画像のうち少なくとも一方にゲイン補正をして、第１画像及び第２画像の相対的な明るさを特定の比率に補正することができる。
【００６４】
演算画像生成部７４は、明るさを補正した第１画像及び第２画像を用いて演算し、演算画像Δを生成する。具体的には、演算画像生成部７４は、第１画像と第２画像の差または比を表す演算画像を生成する。本実施形態においては、演算画像生成部７４は、第１画像及び第２画像を対数変換し、対数変換後の第１画像及び第２画像の差を表す演算画像Δ（より具体的には第２画像から第１画像を減算した演算画像Δ）を生成する。第１画像と第２画像を対数変換せずに使用する場合には、第１画像と第２画像の比（より具体的には第２画像に対する第１画像の比）を表す演算画像Δを生成する。第１画像及び第２画像の各画素の画素値は受光量を表すが、対数変換をすると、画素値は濃度を表すことになるので、各画像を得たときの照明光の照度によらず、安定した演算結果を得ることができる。
【００６５】
上記のように演算画像生成部７４が、演算画像Δを生成することは、第１画像と第２画像を用いて特定深さにある血管を強調することに相当する。例えば、図５に示すように、紫色光Ｖ及び青色光Ｂを第１照明光及び第２照明光に使用すると、どちらの照明光の場合も、概ね表層血管（Ａｓ及びＡｄの全深さ範囲の血管）を観察可能である。しかし、紫色光Ｖは、青色光Ｂと比較して波長が短いので深達度が小さい。このため、紫色光Ｖを照明光に使用すると、青色光Ｂを照明光に使用する場合と比較して、相対的に粘膜下の浅い深さ範囲Ａｓにある血管しか写し出せない。その代わり、深さ範囲Ａｓにある血管のコントラスト（周辺の粘膜からの反射光量に対する血管からの反射光量の比）は、青色光Ｂを照明光に使用する場合よりも大きい。逆に、青色光Ｂは、紫色光Ｖと比較して波長が長いので深達度が大きい。このため、青色光Ｂを照明光に使用すると、紫色光Ｖを照明光に使用する場合と比較して、相対的に深い深さ範囲Ａｄにある血管まで写し出せる。その代わり、浅い深さ範囲Ａｓにある血管のコントラストは紫色光Ｖを使用した場合よりも小さい。
【００６６】
したがって、紫色光Ｖを照明光に使用して得るＶ画像から、青色光Ｂを照明光に使用して得るＢ画像を減算して演算画像Δを生成すると、この演算画像Δにおいては、表層血管のなかでも特に粘膜下の浅い深さ範囲Ａｓにある極表層血管を表す画素の画素値は大きい値（白色）になり、表層血管の中でも深い深さ範囲Ａｄにある血管を表す画素の画素値は小さい値（黒色）になる。このため、注目構造が極表層血管の場合には、第１照明光を紫色光Ｖにし、第２照明光を青色光Ｂにすることで、Ｖ画像からＢ画像を減算して演算画像Δを生成すると、この演算画像Δは、特定の深さ範囲Ａｓにある極表層血管を強調した画像となる。
【００６７】
なお、Ｂ画像からＶ画像を減算して演算画像Δを生成すると、この演算画像Δにおいては、深さ範囲Ａｓにある極表層血管を表す画素の画素値は小さい値（黒色）になり、深さ範囲Ａｄにある血管を表す画素の画素値が大きい値（白色）になる。このため、上記と同じ紫色光Ｖ及び青色光Ｂの組み合わせを第１照明光及び第２照明光にする場合でも、第１照明光を青色光Ｂにし、第２照明光を紫色光Ｖにして、Ｖ画像からＢ画像を減算して演算画像Δを生成すると、この演算画像Δは、特定の深さ範囲Ａｄにある血管を強調した画像となる。
【００６８】
演算画像生成部７４が上記のように演算画像Δを生成する際には、演算画像生成部７４の演算精度に起因する誤差の他に、第１画像と第２画像の位置合わせの精度に起因したアーチファクトが生じる。演算画像生成部７４の演算精度は一定であるため、演算画像Δの変動し得る実質的の誤差は、第１画像と第２画像の位置合わせの精度に起因したアーチファクトである。第１画像と第２画像の位置合わせの精度に起因したアーチファクトは、精度変更部７２が制御しているので、結果として、精度変更部７２が演算画像Δの生成精度を制御している。
【００６９】
低解像度化部７６は、いわゆるローパスフィルタ（以下、ＬＰＦという）であり、演算画像Δを低解像度化する。低解像度化部７６が演算画像Δに施す低解像度化の処理強度は、ＬＰＦのカットオフ周波数で定まる。ＬＰＦのカットオフ周波数は予め設定され、少なくとも、元の演算画像Δの解像度よりは低解像度化する。
【００７０】
画像生成部７７は、第１画像または第２画像のうちのいずれかと、低解像度化した演算画像Δとを用いて、輝度チャンネルＹと、２つの色差チャンネルＣｂ，Ｃｒとを有する画像を生成する。具体的には、画像生成部７７は、第１画像と第２画像のうち、注目構造のコントラストがより高い方の画像を輝度チャンネルＹに割り当て、低解像度化した演算画像Δを２つの色差チャンネルＣｂ，Ｃｒに割り当てることにより、注目構造を、色を用いて強調した注目構造強調画像を生成する。
【００７１】
例えば、注目構造が極表層血管であり、第１照明光に紫色光Ｖを使用し、第２照明光に青色光Ｂを使用する場合、Ｖ画像（第１画像）とＢ画像（第２画像）を比較すると、相対的にＶ画像の方が注目構造である極表層血管のコントラストが高い。このため、図６に示すように、画像生成部７７は、相対的に極表層血管のコントラストが高いＶ画像を輝度チャンネルＹに割り当てる。また、演算画像Δを色差チャンネルＣｂ，Ｃｒに割り当てる際には、それぞれ係数α（例えばα＝０．１６９）と係数β（例えばβ＝０．５）を乗じ、表層血管等を強調観察する他の内視鏡システムが表示する画像と色味を揃える。このようにして生成した注目構造強調画像は、全体としての色味は従来の内視鏡システムの血管等を強調する画像とほぼ同じで、粘膜や深さ範囲Ａｄ等の他の血管に対して、注目構造である極表層血管を色の違いで強調した画像になる。なお、係数α及び係数βは、注目構造にしたがって、すなわち選択照明光にしたがって異なる。
【００７２】
表示制御部６６は、特殊観察モードの場合、画像生成部７７から上記注目構造強調画像を順次取得し、モニタ１８への表示に適した形式に変換して順次出力する。これにより、特殊観察モードの場合、医師等は、注目構造強調画像の動画を用いて観察対象を観察することができる。
【００７３】
次に、特殊観察モードにおける内視鏡システム１０の画像処理の流れを図７に沿って説明する。まず、医師等は、コンソール１９等を用いて、特殊観察モードにおいて他の組織等と峻別して観察する注目構造の設定をする（Ｓ１０）。具体的には、注目構造に応じて、特殊観察モードにおいて使用する照明光の波長を、例えば数値を設定入力することにより、注目構造の設定をする。以下においては、一例として、注目構造が極表層血管であり、極表層血管を強調観察するために、第１照明光の波長を４００ｎｍに、第２照明光の波長を４５０ｎｍにする設定にしたとする。
【００７４】
注目構造の設定がされた状態において特殊観察モードに切り替えると、あるいは、特殊観察モードに切り替えた後に注目構造の設定入力をすると、照明光選択部５１が、注目構造の設定にしたがって、特殊観察モードにおいて使用する第１照明光及び第２照明光を選択する（Ｓ１１）。簡単のために、内視鏡システム１０が、第１照明光及び第２照明光に、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒのうちのいずれかを選択可能であるとすると、照明光選択部５１は、注目構造の設定入力にしたがって、紫色光Ｖを第１照明光に選択し、青色光Ｂを第２照明光に選択する。
【００７５】
上記のように照明光選択部５１が第１照明光及び第２照明光を選択すると、精度変更部７２が、注目構造にしたがって、位置合わせ部７１において行う位置合わせの精度を変更する（Ｓ１２）。具体的には、精度変更部７２は、第１照明光である紫色光Ｖ、第２照明光である青色光Ｂ、または、これらの組み合わせの波長が短波長であるほど位置合わせの精度を高く設定変更し、逆に、波長が長波長であるほど位置合わせの精度を低く設定変更する。これにより、結果として、精度変更部７２は、注目構造である極表層血管の強調に適した位置合わせの精度を設定する。
【００７６】
一方、照明光選択部５１が第１照明光及び第２照明光を選択すると、光源部２０が、まず第１照明光である紫色光Ｖを発光する（Ｓ１３）。そして、イメージセンサ４８が、この紫色光Ｖが照射された観察対象を撮影することにより、画像取得部５４が第１照明光に対応した第１画像であるＶ画像１１０を取得する（Ｓ１４）。図８に示すように、ここで得るＶ画像１１０は、観察対象の起伏等の形状１１２の他、極表層血管１２４が観察可能である。また、極表層血管１２４よりも粘膜下の深い位置にある表層血管１２３も、Ｖ画像１１０を用いて観察可能である。
【００７７】
こうしてＶ画像１１０を取得すると、光源部２０が、第２照明光である青色光Ｂを発光し（Ｓ１５）、イメージセンサ４８がこの青色光Ｂが照射された観察対象を撮影することにより、画像取得部５４が第２照明光に対応した第２画像であるＢ画像を取得する（Ｓ１６）。図９に示すように、Ｂ画像１２０は、観察対象の形状１１２の他、比較的深い位置にある表層血管１２３が観察可能である。また、極表層血管１２４もＢ画像１２０を用いて観察可能である。但し、Ｖ画像１１０とＢ画像１２０を比較すると、Ｖ画像１１０の方が極表層血管１２４のコントラストが高く、Ｂ画像１２０の方が極表層血管１２４よりも深い位置にある表層血管１２３のコントラストが高い。
【００７８】
上記のように、画像取得部５４がＶ画像１１０とＢ画像１２０を取得すると、位置合わせ部７１は、第１画像であるＶ画像１１０と、第２画像であるＢ画像１２０とを位置合わせする（Ｓ１７）。位置合わせ部７１は、Ｖ画像１１０とＢ画像１２０の位置合わせを、精度変更部７２がステップＳ１２において設定変更した精度で行う。すなわち、位置合わせ部７１は、常に高精度で位置合わせをするのではなく、注目構造が何であるかにしたがって位置合わせに要する時間を必要最小限にし、迅速に位置合わせを完了する。
【００７９】
位置合わせが完了すると、明るさ補正部７３が、第１画像であるＶ画像１１０と第２画像であるＢ画像１２０の明るさを補正し（Ｓ１８）、演算画像生成部７４が、第１画像であるＶ画像１１０から第２画像であるＢ画像１２０を減算して、演算画像Δを生成する（Ｓ１９）。演算画像Δは、元のＶ画像１１０及びＢ画像１２０に対して、粘膜下の比較的深い位置にある表層血管１２３の画素値は小さくなり、かつ、極表層血管１２４の画素値は大きくなる。このため、図１０に示すように、演算画像Δにおいては、極表層血管１２４と、粘膜下の比較的深い位置にある表層血管１２３の違いが、Ｖ画像１１０よりも顕著になる。
【００８０】
演算画像生成部７４が生成した演算画像Δは、低解像度化部７６が低解像度化する（Ｓ２０）。図１１に示すように、低解像度化した演算画像Δは、極表層血管１２４や表層血管１２３はぼやけた状態になる。
【００８１】
その後、画像生成部７７は、第１画像であるＶ画像１１０を輝度チャンネルＹに割り当て、低解像度化した演算画像Δを色差チャンネルＣｂ，Ｃｒに割り当てることにより、注目構造強調画像１３０を生成する（Ｓ２１）。図１２に示すように、注目構造強調画像１３０においては、比較的深い位置にある表層血管１２３がシアン系の色に着色し、極表層血管１２４がマゼンタ系の色に着色する。このため、注目構造強調画像１３０は、注目構造である極表層血管１２４を、比較的深い位置にある表層血管１２３に対して色の違いで強調しており、注目構造である極表層血管１２４が識別しやすくなっている。
【００８２】
内視鏡システム１０は、注目構造の設定変更をしなければ、上記ステップＳ１３〜Ｓ２１の動作を繰り返し行う。このため、表示制御部６６は、上記のように生成する注目構造強調画像１３０を順次取得し、モニタ１８に表示する。これにより、医師等は、特殊観察モードの場合に、注目構造強調画像１３０の動画を観察することができる。注目構造の設定を変更した場合には、再び上記ステップＳ１０から行う。
【００８３】
上記のように、内視鏡システム１０は、特殊観察モード時に、第１照明光と第２照明光を用いてそれぞれ異なるタイミングにおいて観察対象を撮影して取得する第１画像と第２画像を位置合わせする。このように、第１画像と第２画像の位置合わせをするのは、注目構造を正確に強調するためである。したがって、注目構造を正確に強調することだけを追求するだけであれば、可能な限り高い精度で、第１画像と第２画像を位置合わせするのが良い。しかし、位置合わせは処理負荷が高く、時間がかかる処理なので、高精度にするほど、位置合わせのためにモニタ１８に表示する動画のフレームレートが低下する。こうしたことから、内視鏡システム１０においては、むやみに高い精度で第１画像と第２画像を位置合わせするのではなく、上記のように精度変更部７２が位置合わせの精度を適切に変更する。これにより、内視鏡システム１０は、モニタ１８に表示する動画のフレームレートをできる限り維持しつつ、かつ、必要十分な精度で第１画像と第２画像の位置合わせすることができる。
【００８４】
なお、上記第１実施形態においては、照明光選択部５１が選択した選択照明光の波長の長短にしたがって直線的に位置合わせの精度を変更しているが（図４）、選択照明光の波長に応じて、曲線や単調に変化する関数にしたがって位置合わせの精度を変更してもよい。この他、選択照明光の波長にしたがって、段階的に位置合わせの精度を変更してもよい。
【００８５】
［第２実施形態］
上記第１実施形態においては、特殊観察モードにおいて使用する第１照明光及び第２照明光の波長等を設定入力し、その結果、照明光選択部５１が適切な照明光を選択するが、この代わりに、注目構造の深さ等の情報を設定入力し、照明光選択部５１は、この注目構造の深さ等の情報を用いて第１照明光及び第２照明光を選択しても良い。
【００８６】
この場合、図１３に示すように、コンソール１９に深さ指定部２０１を設ける。深さ指定部２０１は、コンソール１９等からの操作入力を受け、照明光選択部５１に対して注目構造の粘膜下の深さを指定する。例えば、粘膜表面等を基準として、その基準からの距離（深さ）を数値または数値の範囲において入力する。また、「極表層血管」、「表層血管」、「中層血管」、または、「深層血管」等の予め定める深さの情報を含むメニューの選択にしたがって、簡易的に注目構造の深さを指定することもできる。
【００８７】
照明光選択部５１は、深さ指定部２０１が指定した深さを用いて第１照明光及び第２照明光を指定する。例えば、注目構造が極表層血管１２４である場合、極表層血管１２４がある深さの数値の入力や「極表層血管」メニューの選択により、深さ指定部２０１は照明光選択部５１に深さを指定するので、照明光選択部５１は、第１照明光に紫色光Ｖを選択し、第２照明光に青色光Ｂを選択する。
【００８８】
上記のように、注目構造の深さの指定にしたがって特殊観察モードが動作するようにすれば、医師等は、注目構造を適切に観察するための第１照明光及び第２照明光の波長等を検討しなくても良いので、より簡便に特殊観察モードを使用することができる。
【００８９】
なお、精度変更部７２は、第１実施形態と同様に、照明光選択部５１が選択した選択照明光にしたがって位置合わせ部７１が行う位置合わせの精度を変更する。但し、上記のように深さ指定部２０１を設ける場合には、精度変更部７２は、選択照明光の代わりに、深さ指定部２０１が指定する深さの情報を用いて位置合わせ部７１が行う位置合わせ精度を変更することができる。この場合、図１４に示すように、精度変更部７２は、深さ指定部２０１が指定した注目構造の深さが浅いほど位置合わせの精度を高くし、深さ指定部２０１が指定した注目構造の深さが深いほど位置合わせ精度の精度を低くする。これは、選択照明光が短波長であるほど位置合わせの精度を高くし、選択照明光が長波長であるほど位置合わせの精度を低くするのとほぼ等しい。
【００９０】
また、上記のように深さ指定部２０１を設ける場合、照明光選択部５１が選択した選択照明光と、深さ指定部２０１が指定した深さを用いて、位置合わせ部７１が行う位置合わせの精度を変更することができる。この場合も、選択照明光が短波長であるほど位置合わせの精度を高くし、選択照明光が長波長であるほど位置合わせの精度を低くし、指定した深さが浅いほど位置合わせの精度を高くし、かつ、指定した深さが深いほど位置合わせの精度を低くするのは上記第１実施形態及び第２実施形態と同様である。このように、選択照明光と、深さ指定部２０１が指定した深さとにしたがって位置合わせの精度を変更すると、上記第１実施形態及び上記第２実施形態よりも、さらに適切に位置合わせの精度を設定変更することができる。
【００９１】
なお、上記第２実施形態においては、指定した注目構造の深さを用いて直線的に位置合わせの精度を変更しているが（図１４）、指定した注目構造の深さを用いて、曲線や単調に変化する関数にしたがって位置合わせの精度を変更してもよい。この他、指定した注目構造の深さを用いて、段階的に位置合わせの精度を変更することができる。また、上記第２実施形態においては、プロセッサ装置１６に深さ指定部２０１を設けているが、深さ指定部２０１は特殊処理部６３に組み込んでも良い。
【００９２】
［第３実施形態］
上記第１実施形態及び第２実施形態においては、精度変更部７２は、照明光選択部５１が選択した選択照明光や深さ指定部２０１が指定した注目構造の深さを用いて、位置合わせ部７１が行う位置合わせの精度を変更するが、これらの代わりに、精度変更部７２は、第１画像と第２画像間の観察対象の動きの大きさ（以下、動き量という）を用いて位置合わせ部７１が行う位置合わせの精度を変更することができる。
【００９３】
この場合、図１５に示すように、特殊処理部６３に動き量算出部３０１を設ける。動き量算出部３０１は、画像取得部５４から第１画像と第２画像を取得し、これらの間の観察対象の動き量を算出する。具体的には、動き量算出部３０１は、第１画像と第２画像のマッチングにより、第１画像の観察対象と第２画像の観察対象の間の動きベクトルを求め、動きベクトルの大きさの統計量（平均値、中央値、または最大値等）を算出し、動き量とする。
【００９４】
精度変更部７２は、第１実施形態と同様に、照明光選択部５１が選択した選択照明光にしたがって位置合わせ部７１が行う位置合わせの精度を変更する。但し、本実施形態においては、さらに、動き量算出部３０１が算出した動き量を用いても、位置合わせ部７１が行う位置合わせの精度を変更する。具体的には、精度変更部７２は、選択照明光が短波長であるほど位置合わせの精度を高くし、選択照明光が長波長であるほど位置合わせの精度を低くし、動き量が小さいほど位置合わせの精度を高くし、かつ、動き量が大きいほど位置合わせの精度を低くする。便宜的に選択照明光の波長がλ１、λ２、及びλ３（λ３＞λ２＞λ１）の場合を比較すると、例えば、図１６に示すグラフにしたがって精度変更部７２は位置合わせの精度を変更する。すなわち、選択照明光の波長ごとに、動き量が小さいほど位置合わせの精度を高くし、かつ、動き量が大きいほど位置合わせの精度を低くする。これは、動き量が大きい場合、位置合わせの精度が低いためにアーチファクトがあったとしても、モニタ１８に表示する動画においてはアーチファクトがあることに気付き難く、高精度の位置合わせが実質的には功を奏しないからである。
【００９５】
上記のように、動き量をさらに考慮すると、より適切に位置合わせの精度を設定変更でき、モニタ１８に表示する動画のフレームレートが維持しつつ、必要十分な精度で第１画像と第２画像の位置合わせしやすくなる。
【００９６】
上記第３実施形態は、第１実施形態だけでなく、第２実施形態とも組み合わせることができる。また、上記第３実施形態は、第１実施形態及び第２実施形態と組み合わせることができる。第２実施形態のように深さ指定部２０１を設ける場合には、深さ指定部２０１が指定した注目構造の深さが浅いほど位置合わせの精度を高くし、深さ指定部２０１が指定した注目構造の深さが深いほど位置合わせの精度を低くし、動き量が小さいほど位置合わせの精度を高くし、かつ、動き量が大きいほど位置合わせの精度を低くする。
【００９７】
なお、図１６においては、λ１、λ２、及びλ３のグラフがほぼ平行であり、各照明光選択部５１が選択した選択照明光の波長によらず、動き量を用いて一律に位置合わせの精度を変更しているが、例えば図１７及び図１８に示すように、選択照明光の波長にしたがって動き量に応じた位置合わせの精度の変化率を変えても良い。第２実施形態の深さ指定部２０１と組み合わせる場合も同様である。
【００９８】
上記第３実施形態においては、動き量を用いて直線的に位置合わせの精度を変更しているが（図１６〜図１８）、動き量に応じて、曲線や単調に変化する関数にしたがって位置合わせの精度を変更してもよい。この他、動き量を用いて段階的に位置合わせの精度を変更してもよい。これらのことは、第２実施形態の深さ指定部２０１と組み合わせる場合も同様である。
【００９９】
動き量を用いて段階的に位置合わせの精度を変更する場合、例えば図１９に示すように、選択照明光の波長が最も短波長のλ１である場合には、動き量ＴＭ１を閾値とし、動き量がＴＭ１以下の場合に、位置合わせの精度をＡｃ２からＡｃ１（Ａｃ１＞Ａｃ２）に変更する。そして、選択照明光の波長がλ１よりも長波長のλ２である場合には、より小さい動き量ＴＭ２（＜ＴＭ１）を閾値とし、動き量がＴＭ２以下の場合に、位置合わせの精度をＡｃ２からＡｃ１に変更する。同様に、選択照明光の波長がλ２よりもさらに長波長のλ３である場合には、さらに小さい動き量ＴＭ３（＜ＴＭ２）を閾値とし、動き量がＴＭ３以下の場合に位置合わせの精度をＡｃ２からＡｃ１に変更する。このように、動き量を用いて段階的に位置合わせの精度を変更する場合は、選択照明光の波長が短波長であるほど、位置合わせの精度を変更する動き量の閾値を大きくする。選択照明光の波長が短波長であるほど、注目構造が細かくかつ浅い位置にあるので、位置合わせの精度に起因したアーチファクトの影響が相対的に大きいからである。
【０１００】
図１９においては、位置合わせの精度をＡｃ１とＡｃ２の２段階に変化させているが、３以上の段階に位置合わせの精度を変更する場合も同様である。また、図１９においては、段階的に変更する位置合わせの精度が選択照明光の波長によらず共通であるが、段階的に変更する位置合わせの精度は、選択照明光の波長毎に変えることができる。第２実施形態の深さ指定部２０１と組み合わせる場合も同様である。
【０１０１】
［第４実施形態］
上記第３実施形態においては、精度変更部７２は、動き量、すなわち第１画像と第２画像との間の相対的な観察対象の動きの大きさにしたがって位置合わせ部７１が行う位置合わせの精度を変更しているが、精度変更部７２は、第１画像内における観察対象の動きの大きさ、第２画像内における観察対象の動きの大きさ、または、第１画像内における観察対象の動きの大きさと第２画像内における観察対象の動きの大きさにしたがって、位置合わせ部７１が行う位置合わせの精度を変更することが好ましい。第１画像内（または第２画像内）における観察対象の動きとは、第１画像（または第２画像）を撮影した際の観察対象の移動または観察対象と内視鏡１２との相対的な動きである。したがって、第１画像内（または第２画像内）における観察対象の動きの大きさとは、第１画像（または第２画像）のいわゆるブレの大きさ（以下、ブレ量という）である。
【０１０２】
精度変更部７２が第１画像のブレ量、第２画像のブレ量、または、第１画像のブレ量と第２画像のブレ量を用いて、位置合わせ部７１が行う位置合わせの精度を変更する場合、図２０に示すように、例えば、特殊処理部６３にブレ量を算出するブレ量算出部４０１を設ける。ブレ量算出部４０１は、例えば、周波数解析を用いてブレ量を算出する。より具体的には、第１画像（または第２画像）をフーリエ変換してスペクトルを求め、低周波成分と高周波成分の強度比を算出することにより、第１画像（または第２画像）のブレ量を算出する。低周波成分が大きい場合または高周波成分が小さい場合にブレ量は大きくなり、低周波成分が小さい場合または高周波成分が大きい場合にブレ量は小さくなる。
【０１０３】
精度変更部７２は、第１実施形態と同様に、照明光選択部５１が選択した選択照明光にしたがって位置合わせ部７１が行う位置合わせの精度を変更する。但し、本実施形態においては、さらに、ブレ量算出部４０１が算出したブレ量を用いても、位置合わせ部７１が行う位置合わせの精度を変更する。
【０１０４】
ブレ量を用いて位置合わせの精度を変更する際、精度変更部７２は、ブレ量算出部４０１が算出したブレ量を予め設定した閾値と比較する。具体的には、精度変更部７２は、ブレ量が小さいほど位置合わせの精度を高くし、ブレ量が小さいほど位置合わせの精度を低くする。便宜的に選択照明光の波長がλ１、λ２、及びλ３（λ３＞λ２＞λ１）の場合を比較すると、例えば、図２１に示すグラフにしたがって精度変更部７２は位置合わせの精度を変更する。すなわち、動き量を用いて位置合わせの精度を変更する場合（第３実施形態、図１６参照）と同様に、ブレ量を用いて位置合わせの精度を変更する。本実施形態の精度変更部７２は、第３実施形態の変形例（図１７または図１８）と同様に、選択照明光の波長にしたがってブレ量に応じた位置合わせの精度の変化率を変えてもよい。また、本実施形態の精度変更部７２は、第３実施形態の別の変形例（図１９）と同様に、ブレ量を用いて段階的に位置合わせの精度を変更できる。
【０１０５】
なお、ブレ量を用いて位置合わせの精度を変更する場合、精度変更部７２は、ブレ量を用いて位置合わせ部７１が行う位置合わせのオンオフを切り替えると良い。具体的には、ブレ量が閾値よりも大きい場合、精度変更部７２は、位置合わせ部７１が行う第１画像と第２画像の位置合わせをオフにする。これにより、位置合わせ部７１は、位置合わせをスキップする。ブレ量が閾値以下の場合には、精度変更部７２は、位置合わせ部７１が行う位置合わせをオンにし、第１実施形態と同様に、選択照明光が短波長であるほど位置合わせの精度を高くし、選択照明光が長波長であるほど位置合わせの精度を低くする。この場合、位置合わせ部７１は、精度変更部７２が設定変更した精度で第１画像と第２画像の位置合わせを行う。
【０１０６】
モニタ１８に表示する動画のフレームレートに対してブレ量が大きすぎると、その中の１フレーム分の画像を静止画として視認したとしても、アーチファクトの有無にかかわらず注目構造を観察できない。このため、上記のように、ブレ量が大きい場合に位置合わせをスキップしてアーチファクトが生じたとしても、注目構造が観察できないという点では観察には何ら影響しない。したがって、精度変更部７２は、上記のようにブレ量が大きい場合には、モニタ１８に表示する動画のフレームレートを優先し、位置合わせをスキップする。
【０１０７】
便宜的に選択照明光の波長がλ１、λ２、及びλ３（λ３＞λ２＞λ１）の場合を比較すると、例えば、図２２に示すグラフにしたがって精度変更部７２は位置合わせのオンオフを切り替える。すなわち、選択照明光の波長が最も短波長のλ１の場合、最も小さいブレ量ＴＢ１を閾値とし、ブレ量が閾値ＴＢ１以下のときに位置合わせをオンにし、ブレ量が閾値ＴＢ１より大きい場合には位置合わせをオフにする。次いで選択照明光の波長が短波長であるλ２の場合、λ１用の閾値ＴＢ１よりも大きなブレ量ＴＢ２を閾値とし（ＴＢ２＞ＴＢ１）、ブレ量が閾値ＴＢ２以下の場合に位置合わせをオンにし、ブレ量が閾値ＴＢ２よりも大きい場合に位置合わせをオフにする。同様に、選択照明光の波長が最も長波長であるλ３の場合、λ２用の閾値ＴＢ２よりも更に大きいブレ量ＴＢ３を閾値とし（ＴＢ３＞ＴＢ２）、ブレ量が閾値ＴＢ３以下の場合に位置合わせをオンにし、ブレ量が閾値ＴＢ３よりも大きい場合に、位置合わせをオフにする。
【０１０８】
このように、精度変更部７２が選択照明光の波長が短波長である場合に位置合わせのオンオフを切り替えるブレ量の閾値を小さくするのは、選択照明光の波長が短波長であるほど、注目構造が小さく細かいので、比較的小さなブレでも、モニタ１８に表示する動画では観察対象のブレにしたがって注目構造が観察できなくなるからである。
【０１０９】
精度変更部７２は、ブレ量を位置合わせの具体的な精度の決定と、位置合わせのオンオフの切り替えに使用することができるが、上記のように、ブレ量は、位置合わせのオンオフにだけ使用してもよい。
【０１１０】
上記第４実施形態は、第１実施形態だけでなく、第２実施形態及び第３実施形態とも組み合わせることができる。ブレ量を用いて位置合わせのオンオフを切り替える上記第４実施形態の変形例についても同様である。但し、上記第４実施形態及び変形例のように、ブレ量は、位置合わせの具体的な精度の決定と、位置合わせのオンオフの切り替えに使用することができるが、第１〜第３実施形態と上記第４実施形態の変形例を組み合わせる場合、ブレ量を位置合わせのオンオフの切り替えにだけ使用することができる。
【０１１１】
例えば、第２実施形態の深さ指定部２０１を設け、かつ、ブレ量を用いて位置合わせのオンオフを切り替える場合は、位置合わせのオンオフを切り替えるブレ量の閾値は、深さ指定部２０１が指定する注目構造の深さを用いて切り替えることができる。具体的には、深さ指定部２０１が指定する注目構造の深さが浅いほど、位置合わせのオンオフを切り替える閾値を小さくし、深さ指定部２０１が指定する注目構造の深さが深いほど、位置合わせのオンオフを切り替える閾値を大きくすれば良い。ブレ量を用いた位置合わせのオンオフの切り替えを、第１実施形態及び第２実施形態と組み合わせる場合には、選択照明光の波長が短波長である場合に位置合わせのオンオフを切り替えるブレ量の閾値を小さし、かつ、深さ指定部２０１が指定する注目構造の深さが浅いほど、位置合わせのオンオフを切り替える閾値を小さくすれば良い。
【０１１２】
第３実施形態の動き量算出部３０１を設け、かつ、ブレ量を用いて位置合わせのオンオフを切り替える場合は、図２３に示すように、まずブレ量算出部４０１がブレ量を算出し（Ｓ５１０）、精度変更部７２が位置合わせのオンオフを決める閾値とブレ量を比較する（Ｓ５１１）。ブレ量が閾値以下であった場合には（Ｓ５１１：ＹＥＳ）、動き量算出部３０１が動き量を算出して（Ｓ５１２）、精度変更部７２が動き量等に基づいて位置合わせの精度を決定する（Ｓ５１３）。そして、位置合わせ部７１は、精度変更部７２が決定した精度で第１画像と第２画像を位置合わせする。一方、ブレ量が閾値よりも大きい場合には（Ｓ５１１：ＮＯ）、動き量の算出もスキップする。このように、第１画像と第２画像を位置合わせする際に、最初に位置合わせをするか否かを決め、位置合わせをしない場合には位置合わせだけでなく、動き量の算出もスキップすれば、無駄な演算を省くことができるので、モニタ１８に表示する動画のフレームレートを維持しやすい。
【０１１３】
上記第１〜第４実施形態においては、注目構造を強調した注目構造強調画像１３０を生成及び表示しているが、本発明は、注目構造を強調する場合の他、注目構造を抽出する場合や、注目構造に関する生体機能情報（酸素飽和度等）を算出する場合にも好適である。すなわち、本発明は、異なるタイミングにおいて観察対象を撮影して得る第１画像と第２画像を用いて演算をする場合に好適である。
【０１１４】
上記第１〜第４実施形態においては、イメージセンサ４８が設けられた内視鏡１２を被検体内に挿入して観察を行う内視鏡システムにおいて本発明を実施しているが、カプセル内視鏡システムにおいても本発明は好適である。図２４に示すように、例えば、カプセル内視鏡システムにおいては、カプセル内視鏡７００と、プロセッサ装置（図示しない）とを少なくとも有する。
【０１１５】
カプセル内視鏡７００は、光源部７０２と制御部７０３と、イメージセンサ７０４と、画像処理部７０６と、送受信アンテナ７０８と、を備えている。光源部７０２は、光源部２０に対応する。制御部７０３は、光源制御部２２及び制御部５２と同様に機能する。また、制御部７０３は、送受信アンテナ７０８を用いて、カプセル内視鏡システムのプロセッサ装置と無線を用いて通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記第１〜第４実施形態のプロセッサ装置１６とほぼ同様であるが、画像取得部５４及び画像処理部６１に対応する画像処理部７０６はカプセル内視鏡７００に設けられ、生成した注目構造強調画像１３０等は、送受信アンテナ７０８を介してプロセッサ装置に送信される。イメージセンサ７０４はイメージセンサ４８と同様に構成される。
【符号の説明】
【０１１６】
１０  内視鏡システム
１２  内視鏡
１２ａ  挿入部
１２ｂ  操作部
１２ｃ  湾曲部
１２ｄ  先端部
１２ｅ  アングルノブ
１３ａ  スイッチ
１３ｂ  ズーム操作部
１４  光源装置
１６  プロセッサ装置
１８  モニタ
１９  コンソール
２０，７０２  光源部
２０ａ  Ｖ光源
２０ｂ  Ｂ光源
２０ｃ  Ｇ光源
２０ｄ  Ｒ光源
２２  光源制御部
３０ａ  照明光学系
３０ｂ  撮影光学系
４１  ライトガイド
４５  照明レンズ
４６  対物レンズ
４７  ズームレンズ
４８，７０４  イメージセンサ
５１  照明光選択部
５２，７０３  制御部
５４  画像取得部
５６  ＤＳＰ
５８  ノイズ低減部
５９  変換部
６１，７０６  画像処理部
６２  通常処理部
６３  特殊処理部
６６  表示制御部
７１  位置合わせ部
７２  精度変更部
７３  明るさ補正部
７４  演算画像生成部
７６  低解像度化部
７７  画像生成部
１１０  Ｖ画像
１１２  形状
１２０  Ｂ画像
１２３  表層血管
１２４  極表層血管
１３０  注目構造強調画像
２０１  深さ指定部
３０１  動き量算出部
４０１  ブレ量算出部
７００  カプセル内視鏡
７０８  送受信アンテナ
Ａｄ，Ａｓ  範囲
ＴＭ１，ＴＭ２，ＴＭ３，ＴＢ１，ＴＢ２，ＴＢ３  閾値
【図１】
0006654038.tif 000002
【図２】
0006654038.tif 000003
【図３】
0006654038.tif 000004
【図４】
0006654038.tif 000005
【図５】
0006654038.tif 000006
【図６】
0006654038.tif 000007
【図７】
0006654038.tif 000008
【図８】
0006654038.tif 000009
【図９】
0006654038.tif 000010
【図１０】
0006654038.tif 000011
【図１１】
0006654038.tif 000012
【図１２】
0006654038.tif 000013
【図１３】
0006654038.tif 000014
【図１４】
0006654038.tif 000015
【図１５】
0006654038.tif 000016
【図１６】
0006654038.tif 000017
【図１７】
0006654038.tif 000018
【図１８】
0006654038.tif 000019
【図１９】
0006654038.tif 000020
【図２０】
0006654038.tif 000021
【図２１】
0006654038.tif 000022
【図２２】
0006654038.tif 000023
【図２３】
0006654038.tif 000024
【図２４】
0006654038.tif 000025