(57)【要約】【課題】  通常光画像と特殊光画像を同時に撮影しつつ、高精度な特殊光画像を取得する事を可能とした制御装置、内視鏡装置及びプログラム等を提供すること。【解決手段】  制御装置３００は、白色光の波長帯域の光を含む第１の照明光と、白色光の波長帯域の光及び特定の波長帯域の光を合成した第２の照明光と、を時系列的に異ならせて照射する制御を行う照射制御部３０２と、第１の照明光の第１のタイミングでの照射により取得された第１照明光画像と、第２の照明光の第２のタイミングでの照射により取得された第２照明光画像とに基づいて、特定の波長帯域における情報を有する被写体像を含む特殊光画像を生成する処理を行う画像処理部３０１と、を含む。【選択図】      図１
2011234844.tif 000002
【特許請求の範囲】
【請求項１】
白色光の波長帯域の光を含む第１の照明光と、白色光の波長帯域の光及び特定の波長帯域の光を合成した第２の照明光と、を時系列的に異ならせて照射する制御を行う照射制御部と、
前記第１の照明光の第１のタイミングでの照射により取得された第１照明光画像と、前記第２の照明光の第２のタイミングでの照射により取得された第２照明光画像とに基づいて、特定の波長帯域における情報を有する被写体像を含む特殊光画像を生成する処理を行う画像処理部と、
を含むことを特徴とする制御装置。
【請求項２】
請求項１において、
前記画像処理部は、
前記第１のタイミングにおける前記第１照明光画像と、前記第２のタイミングにおける前記第２照明光画像とに基づいて、前記第２のタイミングにおける前記特殊光画像を取得することを特徴とする制御装置。
【請求項３】
請求項２において、
前記画像処理部は、
前記第１のタイミングにおける前記第１照明光画像に基づいて、前記第２のタイミングにおける中間画像を取得し、
取得した前記第２のタイミングにおける前記中間画像と、前記第２のタイミングにおける前記第２照明光画像とに基づいて、前記第２のタイミングにおける前記特殊光画像を生成することを特徴とする制御装置。
【請求項４】
請求項３において、
前記画像処理部は、
前記第２のタイミングにおける前記中間画像と、前記第２のタイミングにおける前記第２照明光画像との差分を用いて、前記第２のタイミングにおける前記特殊光画像を生成することを特徴とする制御装置。
【請求項５】
請求項４において、
前記画像処理部は、
前記第１のタイミングにおける前記第１照明光画像と、前記第２のタイミングにおける前記第２照明光画像とに基づいて、被写体の移動量を算出する移動量算出部を含み、
前記画像処理部は、
前記移動量算出部により算出された前記被写体の移動量に基づいて、前記第１のタイミングにおける前記第１照明光画像を補正することで、前記第２のタイミングにおける前記中間画像を取得することを特徴とする制御装置。
【請求項６】
請求項５において、
前記移動量算出部は、
前記第１のタイミングにおける前記第１照明光画像の画素値の平均値と、前記第２のタイミングにおける前記第２の照明光画像の画素値の平均値とに基づいて、前記第１照明光画像と前記第２照明光画像の画素値の平均値を同等にするイコライジング補正を行い、イコライジング補正された前記第１照明光画像と前記第２照明光画像とに基づいて、前記被写体の移動量を算出することを特徴とする制御装置。
【請求項７】
請求項６において、
前記移動量算出部は、
前記第１のタイミングにおける前記第１照明光画像に含まれる所定の色成分信号と、
前記所定の色成分信号に対応する、前記第２のタイミングにおける前記第２照明光画像に含まれる所定の色成分信号と、に基づいて、前記被写体の移動量を算出することを特徴とする制御装置。
【請求項８】
請求項７において、
前記所定の色成分信号の波長帯域は、Ｂ成分であることを特徴とする制御装置。
【請求項９】
請求項７において、
前記所定の色成分信号の波長帯域は、Ｇ成分であることを特徴とする制御装置。
【請求項１０】
請求項７において、
前記所定の色成分信号の波長帯域は、Ｒ成分であることを特徴とする制御装置。
【請求項１１】
請求項２において、
前記画像処理部は、
前記第２のタイミングにおける前記第２照明光画像と、前記第２のタイミングにおける前記特殊光画像とに基づいて、前記第２のタイミングにおける、白色光の波長帯域の情報を有する被写体像を含む白色光画像を生成することを特徴とする制御装置。
【請求項１２】
請求項１において、
前記第１の照明光は、
前記白色光の波長帯域の光であり、
前記第２の照明光は、
前記白色光の波長帯域の光と、第１の特定波長帯域の光と、第２の特定波長帯域の光を合成した光であることを特徴とする制御装置。
【請求項１３】
請求項１において、
前記第１の照明光は、
前記白色光の波長帯域の光と、第１の特定波長帯域の光を合成した光であり、
前記第２の照明光は、
前記白色光の波長帯域の光と、第２の特定波長帯域の光を合成した光であることを特徴とする制御装置。
【請求項１４】
請求項１２又は１３において、
前記第１の特定波長帯域の光及び前記第２の特定波長帯域の光は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする制御装置。
【請求項１５】
請求項１４において、
前記第１の特定波長帯域は、３９０ナノメータ〜４４５ナノメータの波長帯域であり、
前記第２の特定波長帯域は、５３０ナノメータ〜５５０ナノメータの波長帯域であることを特徴とする制御装置。
【請求項１６】
請求項１において、
前記第２の照明光は、
前記白色光の波長帯域の光と、第３の特定波長帯域の光と、第４の特定波長帯域の光を合成した光であることを特徴とする制御装置。
【請求項１７】
請求項１６において、
前記第３の特定波長帯域の光及び前記第４の特定波長帯域の光は、赤外光の波長帯域であることを特徴とする制御装置。
【請求項１８】
請求項１７において、
前記第３の特定波長帯域は、７９０ナノメータ〜８２０ナノメータの波長帯域であり、
前記第４の特定波長帯域は、９０５ナノメータ〜９７０ナノメータの波長帯域であることを特徴とする制御装置。
【請求項１９】
請求項１において、
前記第１の照明光は、
前記白色光の波長帯域の光であり、
前記第２の照明光は、
前記白色光の波長帯域の光と、第１の特定波長帯域の光と、第２の特定波長帯域の光と、第３の特定波長帯域の光を合成した光、或いは、
前記白色光の波長帯域の光と、前記第１の特定波長帯域の光と、前記第２の特定波長帯域の光と第４の特定波長帯域の光を合成した光であることを特徴とする制御装置。
【請求項２０】
請求項１において、
前記第１の照明光は、
前記白色光の波長帯域の光と、第１の特定波長帯域の光を合成した光であり、
前記第２の照明光は、
前記白色光の波長帯域の光と、第２の特定波長帯域の光と、第３の特定波長帯域の光を合成した光、或いは、
前記白色光の波長帯域の光と、前記第２の特定波長帯域の光と第４の特定波長帯域の光を合成した光であることを特徴とする制御装置。
【請求項２１】
請求項１９又は２０において、
前記第１の特定波長帯域の光及び前記第２の特定波長帯域の光は、血液中のヘモグロビンに吸収される波長の波長帯域であり、
前記第３の特定波長帯域の光及び前記第４の特定波長帯域の光は、赤外光の波長帯域であることを特徴とする制御装置。
【請求項２２】
請求項１９又は２０において、
前記画像処理部は、
前記第１の照明光と前記第２の照明光との差分を求めることで、差分画像を取得し、取得した前記差分画像の色成分のうち、Ｇ成分とＢ成分とに基づいて、第１の特殊光画像を取得するとともに、
前記差分画像の色成分のうち、Ｒ成分に基づいて、第２の特殊光画像を取得することを特徴とする制御装置。
【請求項２３】
請求項１２において、
前記画像処理部は、
前記第２照明光画像と、前記特殊光画像とに基づいて、前記特殊光画像に対応する、白色光の波長帯域の情報を有する被写体像を含む白色光画像を生成することを特徴とする制御装置。
【請求項２４】
請求項２３において、
前記画像処理部は、
前記第２照明光画像と、前記特殊光画像との差分を用いて、前記白色光画像を生成することを特徴とする制御装置。
【請求項２５】
請求項１３において、
前記画像処理部は、
前記第１照明光画像と、前記特殊光画像とに基づいて、前記特殊光画像に対応する、白色光の波長帯域の情報を有する被写体像を含む白色光画像を生成することを特徴とする制御装置。
【請求項２６】
請求項２５において、
前記第１照明光画像中のＢ成分信号と、前記特殊光画像中のＢ成分信号とに基づいて、前記白色光画像中のＢ成分信号を生成し、
生成した前記白色画像中のＢ成分信号と、前記第１照明光画像中のＢ成分以外の色成分信号とに基づいて、前記白色光画像を生成することを特徴とする制御装置。
【請求項２７】
請求項１３において、
前記画像処理部は、
前記第２照明光画像と、前記特殊光画像とに基づいて、前記特殊光画像に対応する、白色光の波長帯域の情報を有する被写体像を含む白色光画像を生成することを特徴とする制御装置。
【請求項２８】
請求項２７において、
前記第２照明光画像中のＧ成分信号と、前記特殊光画像中のＧ成分信号とに基づいて、前記白色光画像中のＧ成分信号を生成し、
生成した前記白色画像中のＧ成分信号と、前記第１照明光画像中のＧ成分以外の色成分信号とに基づいて、前記白色光画像を生成することを特徴とする制御装置。
【請求項２９】
請求項１において、
前記特殊光画像の画素の画素値に基づいて、注目すべき領域である注目領域を検出する検出部をさらに含むことを特徴とする制御装置。
【請求項３０】
請求項２９において、
前記検出部による検出結果に基づく情報を提示する制御を行う提示制御部を含むことを特徴とする制御装置。
【請求項３１】
請求項２９において、
前記検出部による検出結果に基づく情報を前記白色光画像に重畳する重畳部を含むことを特徴とする制御装置。
【請求項３２】
請求項２９において、
前記注目領域は、病変領域であることを特徴とする制御装置。
【請求項３３】
白色光を照射する第１の光源と、
少なくとも１つの特定の波長帯域の光を照射する第２の光源と、
前記第１の光源の照射による白色光の波長帯域の光を含む第１の照明光と、前記第１の光源の照射による白色光の波長帯域の光及び前記第２の光源の照射による特定の波長帯域の光を合成した第２の照明光と、を時系列的に異ならせて照射するよう制御する照射制御部と、
前記第１の照明光の第１のタイミングでの照射により取得された第１照明光画像と、前記第２の照明光の第２のタイミングでの照射により取得された第２照明光画像とに基づいて、特定の波長帯域の情報を有する被写体像を含む特殊光画像を生成する画像処理部と、
を含むことを特徴とする内視鏡装置。
【請求項３４】
白色光の波長帯域の光を含む第１の照明光と、白色光の波長帯域の光及び特定の波長帯域の光を合成した第２の照明光と、を時系列的に異ならせて照射するよう制御する照射制御部と、
前記第１の照明光の第１のタイミングでの照射により取得された第１照明光画像と、前記第２の照明光の第２のタイミングでの照射により取得された第２照明光画像とに基づいて、特定の波長帯域の情報を有する被写体像を含む特殊光画像を生成する画像処理部として、
コンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、内視鏡装置及びプログラム等に関する。
【背景技術】
【０００２】
従来、体腔内の組織に対して回転フィルタを用いてＲ１，Ｇ１，Ｂ１の３色の光を順次照射し、それらの反射光画像から作成した画像（白色光画像）を用いて診断を行う面順次式の内視鏡システムが広く使用されている。さらに、体腔内の組織に対して前述の３色の光とは特性が異なる２種類の狭帯域光Ｇ２とＢ２を順次照射し、それらの反射光画像から作成した狭帯域画像を用いて診断を行う内視鏡システムが提案されている（例えば、特許文献１）。
【０００３】
特許文献１のような狭帯域画像を取得する内視鏡システムを用いて診断を行うことで、例えば白色光観察による視認が困難な扁平上皮癌等の病変部が、正常部とは異なる褐色の領域として描出されるため、その発見が容易になることが知られている。
【０００４】
しかしこのような狭帯域画像（以降、照明光が白色光以外で撮影した画像を特殊光画像と呼ぶ）は、一般的に通常光画像と比較してかなり異なる色みを有しており、さらに照明光が不足するため非常に暗い画像となるため、特殊光画像のみを用いて診断を行うことは難しいという欠点を持っている。
【０００５】
このような通常光画像と特殊光画像を取得できる内視鏡システムでは、それらの画像を同時には撮影する事ができず、通常光観察モード、特殊光観察モードといったモード切換により、別々に観察するというのが一般的である。
【０００６】
上記欠点を補うために照明光を切換える事なく白色光画像と特殊光画像を同時に生成する方法が特許文献２に示されている。
【０００７】
この方法は白色光と共に対象物からの蛍光を得るための励起光を合成した照明光を使用し、通常光画像と、前記励起光により得られる蛍光画像（特殊光画像の一種）を同時に取得するというものである。この方法の特徴は合成した照明光で撮影された画像から、被写体の分光特性を推定することにより通常光画像と共に蛍光画像を取得するというものである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−６８１１３号公報
【特許文献２】特開２００９−１４２４１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献２のように通常光画像と蛍光画像を同時に取得可能であれば、蛍光画像で検出された病変部を通常光画像に重ねて表示する事でドクターの診断精度を向上させることが可能となる。しかし特許文献２の方法は分光推定を用いて被写体の分光特性を求めているため、その算出精度は十分には得られない。
【００１０】
特に特許文献１のような特殊光観察（ＮＢＩ観察）を分光推定で実現する場合には、ヘモグロビンの吸光特性に基づく分光反射率を高精度に再現する必要がある。しかし、Ｒ１，Ｇ１，Ｂ１の３色の光からなる撮影画像からでは高精度な分光推定は困難であり本来の特殊光画像を得る事が出来ないという課題がある。
【００１１】
本実施形態の幾つかの態様によれば、白色光画像と特殊光画像を同時に撮影しつつ、高精度な特殊光画像を取得する事を可能とした制御装置、内視鏡装置及びプログラム等を提供することができる。
【００１２】
また、本実施形態の幾つかの態様によれば、高精度な特殊光画像を用いて白色光画像の表示形態を制御する事でドクターの診断精度を向上させること可能な制御装置、内視鏡装置及びプログラム等を提供することができる。
【課題を解決するための手段】
【００１３】
本発明の一態様は、白色光の波長帯域の光を含む第１の照明光と、白色光の波長帯域の光及び特定の波長帯域の光を合成した第２の照明光と、を時系列的に異ならせて照射する制御を行う照射制御部と、前記第１の照明光の第１のタイミングでの照射により取得された第１照明光画像と、前記第２の照明光の第２のタイミングでの照射により取得された第２照明光画像とに基づいて、特定の波長帯域における情報を有する被写体像を含む特殊光画像を生成する処理を行う画像処理部と、を含む制御装置に関係する。
【００１４】
本発明の一態様では、第１の照明光と第２の照明光を、時系列的に異ならせて照射する。そして、第１照明光による第１照明光画像と、第２照明光による第２照明光画像とに基づいて特殊光画像を生成する。よって、照明光の照射による照明光画像に基づいて特殊光画像を生成するため、分光推定等の手法により生成した特殊光画像に比べて、より高精度な特殊光画像を生成できる。
【００１５】
本発明の他の態様は、白色光を照射する第１の光源と、少なくとも１つの特定の波長帯域の光を照射する第２の光源と、前記第１の光源の照射による白色光の波長帯域の光を含む第１の照明光と、前記第１の光源の照射による白色光の波長帯域の光及び前記第２の光源の照射による特定の波長帯域の光を合成した第２の照明光と、を時系列的に異ならせて照射するよう制御する照射制御部と、前記第１の照明光の第１のタイミングでの照射により取得された第１照明光画像と、前記第２の照明光の第２のタイミングでの照射により取得された第２照明光画像とに基づいて、特定の波長帯域の情報を有する被写体像を含む特殊光画像を生成する画像処理部と、を含む内視鏡装置に関係する。
【００１６】
本発明の他の態様は、白色光の波長帯域の光を含む第１の照明光と、白色光の波長帯域の光及び特定の波長帯域の光を合成した第２の照明光と、を時系列的に異ならせて照射するよう制御する照射制御部と、前記第１の照明光の第１のタイミングでの照射により取得された第１照明光画像と、前記第２の照明光の第２のタイミングでの照射により取得された第２照明光画像とに基づいて、特定の波長帯域の情報を有する被写体像を含む特殊光画像を生成する画像処理部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【００１７】
【図１】第１の実施形態において特殊光画像を取得する手法の説明図。
【図２】第１の実施形態において白色光画像を取得する手法の説明図。
【図３】第２の実施形態において特殊光画像（Ｇ２成分）を取得する手法の説明図。
【図４】第２の実施形態において白色光画像を取得する手法の説明図。
【図５】第２の実施形態において特殊光画像（Ｂ２成分）を取得する手法の説明図。
【図６】第２の実施形態において白色光画像を取得する手法の説明図。
【図７】本実施形態のシステム構成例。
【図８】白色光の波長と照明光量の関係図。
【図９】特殊光（ＮＢＩ）の波長と照明光量の関係図。
【図１０】合成光の波長と照明光量の関係図。
【図１１】各タイミングにおける照明光の説明図。
【図１２】撮像素子の構成例。
【図１３】画像処理部の構成例。
【図１４】特殊光画像生成部の構成例。
【図１５】各タイミングにおいて画像処理部が取得する画像と出力する画像の説明図。
【図１６】通常光画像補正部の構成例。
【図１７】合成処理部の構成例。
【図１８】本実施形態の他のシステム構成例。
【図１９】図１９（Ａ）、図１９（Ｂ）は撮像素子の他の構成例。
【図２０】画像処理部の他の構成例。
【図２１】ソフトウェア処理で用いられるコンピュータの構成例。
【図２２】ソフトウェア処理で用いられるコンピュータの構成例。
【図２３】本実施形態の処理を説明するためのフローチャート。
【図２４】図２４（Ａ）は合成光（白色光とＮＢＩのＧ２成分）の波長と照明光量の関係図。図２４（Ｂ）は合成光（白色光とＮＢＩのＢ２成分）の波長と照明光量の関係図。
【図２５】各タイミングにおける照明光の説明図。
【図２６】画像処理部の他の構成例。
【図２７】特殊光画像生成部の他の構成例。
【図２８】各タイミングにおいて画像処理部が取得する画像と出力する画像の説明図。
【図２９】通常光画像補正部の他の構成例。
【図３０】第３の実施形態において特殊光画像（ＮＢＩ＋Ｒ２成分）を取得する手法の説明図。
【図３１】第３の実施形態において特殊光画像（ＮＢＩ＋Ｒ３成分）を取得する手法の説明図。
【図３２】第３の実施形態において白色光画像を取得する手法の説明図。
【図３３】本実施形態の他のシステム構成例。
【図３４】狭帯域光源の分光特性。
【図３５】回転フィルタの構成例。
【図３６】ＮＢＩ及びＩＲＩ（Ｒ２成分）の波長と照明光量の関係図。
【図３７】ＮＢＩ及びＩＲＩ（Ｒ３成分）の波長と照明光量の関係図。
【図３８】白色光の波長と照明光量の関係図。
【図３９】合成光（白色光＋ＮＢＩ＋Ｒ２成分）の波長と照明光量の関係図。
【図４０】合成光（白色光＋ＮＢＩ＋Ｒ３成分）の波長と照明光量の関係図。
【図４１】各タイミングにおける照明光の説明図。
【図４２】画像処理部の他の構成例。
【図４３】第１特殊光画像生成部の構成例。
【図４４】各タイミングにおいて画像処理部が取得する画像と出力する画像の説明図。
【発明を実施するための形態】
【００１８】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１９】
１．本実施形態の手法
まず、本実施形態の手法について説明する。従来、面順次の方式を用いた内視鏡装置では、白色光画像と特殊光画像を同時に取得することは困難であった。これは、面順次とは白色光と特殊光を交互に照射する（さらに細かいケースでは白色光を構成するＲ，Ｇ，Ｂ及び特殊光を構成するＧ２，Ｂ２を順番に１つずつ照射する）方式であるためである。
【００２０】
しかし、特殊光画像は白色光画像と同時に取得することが望まれる。なぜなら、特殊光画像は、扁平上皮癌等の一部の病変や血管構造等を強調して表示することができる反面、独特な色味をしており、また非常に暗い画像になってしまうため、単独で用いるのではなく、白色光画像とあわせて利用することが望ましいからである。つまり、白色光画像をサポートする画像として、特殊光画像を取得することが想定されるのであるが、取得タイミングが異なるのでは、観察している領域も異なってしまう可能性があり、ドクターの診断等を補助する上で有用ではない。
【００２１】
上述の問題を解決するために、分光推定を用いて特殊光画像を生成する手法が提案されている。これは、白色光を照射して白色光画像を取得するとともに、分光推定技術を用いて白色光画像から被写体の分光反射率を推定し、特殊光画像を生成するものである。この手法によれば、取得した白色光画像に基づいて特殊光画像を生成するため、白色光画像と特殊光画像を同時に取得することが可能になる。
【００２２】
しかし、分光推定に基づく手法では、高精度の画像を取得することが難しい。特に狭帯域光の照射による画像である特殊光画像（ＮＢＩ画像等）を、白色光画像のＲ，Ｇ，Ｂの各信号から再現することは非常に困難である。
【００２３】
そこで、本出願人は図１のような手法を提案する。本実施形態では、図１に示すように複数の照明光（図１の例では白色光と、白色光＋特殊光）を時系列的に異なるタイミングで照射し、複数の照明光の照射により得られた画像（図１の例ではＷｉｍｇ（ｔ）とＷＮｉｍｇ（ｔ＋１）等）に基づいて、特殊光画像を取得する。
【００２４】
このように照明光を制御することで、第１のタイミングにおいて、基準となる信号を有する画像（特殊光に対応する信号を含まない画像、以下適宜基準画像と呼ぶ）を取得できるとともに、第２のタイミングにおいて比較対象となる信号を有する画像（特殊光に対応する信号を含む画像、以下適宜比較画像と呼ぶ）を取得できる。そのため、基準画像と比較画像を比べることで、特殊光画像に対応する信号を取り出すことが可能になる。
【００２５】
後述する図１５に白色光画像と特殊光画像の取得タイミングの例を示す。上述の手法を用いることで、本実施形態では、図１５に示したように、白色光画像と特殊光画像を同じタイミングで取得することができる。また、特殊光に対応する照明光（図１の例でいえば白色光＋特殊光となる照明光）の照射による画像に基づいて、特殊光画像を取得しているため、分光推定等の手法に比べて高精度な特殊光画像を取得することができる。
【００２６】
以下、第１の実施形態及び第２の実施形態の手法について簡単に説明する。第１の実施形態においては、照明光として後述する図１１に示すパターンを用いる。具体的な処理の流れを図１及び図２を用いて説明する。
【００２７】
図１に示すように、第１の実施形態では第１のタイミング（ｔ）において図８に示す照明光(白色光)を照射し、第２のタイミング（ｔ＋１）において図１０に示す照明光（白色光＋Ｂ２＋Ｇ２）を照射する。第１のタイミングにおいてはＷｉｍｇ（ｔ）を取得し、第２のタイミングにおいてはＷＮｉｍｇ（ｔ＋１）を取得する。そして、Ｗｉｍｇ（ｔ）とＷＮｉｍｇ（ｔ＋１）とに基づいて、第２のタイミング（ｔ＋１）における特殊光画像Ｎｉｍｇ（ｔ＋１）を取得する。
【００２８】
比較画像であるＷＮｉｍｇ（ｔ＋１）が白色光と特殊光を合成した照明光による画像であり、基準画像であるＷｉｍｇ（ｔ）が白色光の照明光による画像であることから、差分を求めることで白色光部分がキャンセルされ、特殊光画像を取得することができると考えられる。
【００２９】
しかし、ＷＮｉｍｇ（ｔ＋１）は第２のタイミングにおける画像であり、Ｗｉｍｇ（ｔ）は第１のタイミングにおける画像である。そのため、第１のタイミングと第２のタイミングとで、撮影している領域が大きく異なる場合等は、単純に差分を取ることは好ましくない。
【００３０】
そこで、本出願人の提案する手法では、図１のＡ１に示すように、動きベクトルＶを用いてＷｉｍｇ（ｔ）に対して動き補償処理を行い、ｃＷｉｍｇ（ｔ＋１）を取得してから、ＷＮｉｍｇ（ｔ＋１）との差分を求めている。
【００３１】
また、図１に示すように、動きベクトルＶを求めるためにマッチング処理を行っているが、マッチング処理に関しても、Ｗｉｍｇ（ｔ）とＷＮｉｍｇ（ｔ＋１）とをそのまま用いて行うことは好ましくない。なぜなら、ＷＮｉｍｇ（ｔ＋１）はＷｉｍｇ（ｔ）に比べて、特殊光に対応する信号が含まれている分、明るい画像になっているためである。そこで、本出願人の提案する手法では、マッチングを正確に行うために、２つの画像の明るさ情報を同等にするイコライジング補正を行っている。
【００３２】
具体的には、図１のＡ２に示すように、それぞれの画像の信号値（図１の例ではＧ成分）の比からゲイン量Ｇｇを求めて、ＷＮｉｍｇ（ｔ＋１）に乗ずる処理を行う。
【００３３】
上述したように、イコライジング補正及び動き補償処理を行った上で、差分を求めることで、第２のタイミングにおける特殊光画像Ｎｉｍｇ（ｔ＋１）を取得できる。その後、図２に示すように、ＷＮｉｍｇ（ｔ＋１）とＮｉｍｇ（ｔ＋１）の差分を求めることで、第２のタイミングにおける白色光画像Ｗｉｍｇ（ｔ＋１）を取得することができる。これは、取得したＮｉｍｇ（ｔ＋１）は第２のタイミングにおける特殊光画像に相当し、第２のタイミングにおける白色光と特殊光の合成光による画像であるＷＮｉｍｇ（ｔ＋１）との差分を求めることで、特殊光部分がキャンセルされ、白色光に対応する信号が残るからである。
【００３４】
つまり、第１の実施形態においては、図１５に示したように、全てのタイミングで白色光画像を取得できるとともに、２タイミングに１回の割合で特殊光画像を取得することができる。
【００３５】
また、第２の実施形態においては、照明光として後述する図２５に示すパターンを用いる。具体的な処理の流れを図３〜図６を用いて説明する。第１の実施形態とは、照明光のパターンが異なるほか、第１の実施形態では同時に求めていた特殊光画像のＧ２成分とＢ２成分を交互に求める点が異なる。
【００３６】
第１の照明光は白色光とＢ２を合成した光であり、第２の照明光は白色光とＧ２を合成した光である。第１の照明光の照射タイミングにおける特殊光画像（Ｂ２成分）及び白色光画像を求める場合と、第２の照明光の照射タイミングにおける特殊光画像（Ｇ２成分）及び白色光画像を求める場合とに分けられる。
【００３７】
まず、第２の照明光の照射タイミングの場合を図３及び図４を用いて説明する。なお、第２の実施形態においては、特殊光画像及び通常光画像を求めるタイミングにおける取得画像をＷＣｉｍｇと表記し、１タイミング前で取得した画像をＷＰｉｍｇと表記する。ここで、ＷＣｉｍｇが第１の実施形態における比較画像に対応し、ＷＰｉｍｇが基準画像に対応する。
【００３８】
図３に示すように、第１のタイミング（ｔ）において図２４（Ａ）に示す照明光(白色光＋Ｂ２)を照射し、第２のタイミング（ｔ＋１）において図２４（Ｂ）に示す照明光（白色光＋Ｇ２）を照射する。ここで求めようとしているのはｔ＋１における特殊光画像及び白色光画像であるため、第１のタイミングにおいてはＷＰｉｍｇ（ｔ）を取得し、第２のタイミングにおいてはＷＣｉｍｇ（ｔ＋１）を取得する。
【００３９】
ここで、求めるものは、第２のタイミングにおける特殊光画像のＧ成分（Ｇ２成分）である。そのため、ＷＣｉｍｇ（ｔ＋１）のＧ成分と、ＷＰｉｍｇのＧ成分との差分を求めればよい。その際、図３のＢ１に示したように動きベクトルＶで動き補償を行う点及び図３のＢ２に示したようにゲイン量Ｇｇを求めてイコライジング補正を行う点は、第１の実施形態と同様である。
【００４０】
以上の処理により、ｔ＋１における特殊光画像のＧ２成分であるＮｉｍｇ＿Ｇ（ｔ＋１）を取得することができる。なぜなら、ＷＣｉｍｇ（ｔ＋１）が白色光とＧ２成分を合成した照明光による画像であるため、Ｇ成分に含まれるのは白色光（のＧ成分）とＧ２成分である。また、ｃＷＰｉｍｇ（ｔ＋１）は白色光＋Ｂ２成分の照明光による画像に相当する画像であるため、Ｇ成分に含まれるのは白色光（のＧ成分）である。よって、差分を取ることで白色光に相当する信号がキャンセルされ、特殊光のＧ２成分が残るからである。
【００４１】
その後、図４に示すように、ＷＣｉｍｇ（ｔ＋１）とＮｉｍｇ＿Ｇ（ｔ＋１）の差分を求めることで、第２のタイミングにおける白色光画像Ｗｉｍｇ（ｔ＋１）を取得することができる。
【００４２】
同様に図５及び図６に示すように、第１の照明光の照射タイミングにおいては、特殊光画像のＢ２成分と、白色光画像とが取得できる。
【００４３】
つまり、第２の実施形態においては、図２８に示したように、全てのタイミングで白色光画像及び特殊光画像を取得することができる。ただし、前述したように各タイミングにおいて取得できるのは特殊光画像のＧ２成分とＢ２成分のどちらか一方である。そのためｔでＢ２、ｔ＋１でＧ２、ｔ＋２でＢ２を取得するような場合には、ｔ＋１においては、ｔで取得したＢ２とｔ＋１で取得したＧ２とから特殊光画像を構成する。また、ｔ＋２においては、ｔ＋１で取得したＧ２とｔ＋２で取得したＢ２とから特殊光画像を構成することになる。
【００４４】
以上、本実施形態の手法について、第１の実施形態及び第２の実施形態を例に説明した。また、第３の実施形態においては、ＮＢＩに加えてＩＲＩによる観察を同時に行う手法について説明する。詳細については第３の実施形態において、後述する。
【００４５】
２．第１の実施形態
図７は本実施形態にかかる制御装置を含む内視鏡装置の全体構成を示すブロック図である。内視鏡装置は、光源部１００と撮像部２００と制御装置３００と表示部４００と外部Ｉ／Ｆ部５００からなる。
【００４６】
光源部１００は白色光源１０１とＩＲ・ＵＶカットフィルタ１０２とハーフミラー１０３と第１の狭帯域光源１０５と第２の狭帯域光源１０６と第１と第２の狭帯域光源の発光を制御する発光制御部１０４とダイクロイックプリズム１０７とハーフミラー１０３で合成された合成光源をライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０８からなる。
【００４７】
発光制御部１０４は照射制御部３０２と接続されており、照射制御部３０２からの発光タイミング信号に基づき第１の狭帯域光源１０５と第２の狭帯域光源１０６の発光タイミングを制御する。
【００４８】
ここで狭帯域光源１０５、及び狭帯域光源１０６はＬＥＤや半導体レーザーを使用して良いし、通常の白色光源に狭帯域のみ透過する干渉フィルタとの組合せにより構成しても良い。
【００４９】
ＩＲ・ＵＶカットフィルタ１０２を透過した白色光源１０１の光は例えば図８に示すように波長帯域が３８０〜６５０ｎｍの範囲で一定となる白色光とする。（一般的な白色光源１０１の分光放射特性は波長依存無く均一ではないので厳密には前記波長帯域内で一定とは言えないが説明を簡単にするために一定を表現した）
第１の狭帯域光源１０５は図９のＢ２に相当する分光特性の狭帯域光を放射し、第２の狭帯域光源１０６は図９のＧ２に相当する分光特性の狭帯域光を放射するものとする。
【００５０】
ダイクロイックプリズム１０７は第１の狭帯域光源１０５からの光を反射し、第２の狭帯域光源１０６からの光を透過する特性を有しており、これら２つの狭帯域光源１０５、１０６の合成光がダイクロイックプリズム１０７から出力される。ここで前記合成光は図９の通りの特性となる。
【００５１】
ハーフミラー１０３はＩＲ・ＵＶカットフィルタ１０２を透過した白色光源１０１の白色光とダイクロイックプリズム１０７から出力された合成光が更に合成され図１０に示す通りの特性の合成光を出力する。
【００５２】
また照射制御部３０２からの発光タイミング信号により発光制御部１０４が制御する第１の狭帯域光源１０５と第２の狭帯域光源１０６の発光ＯＮ／ＯＦＦによりハーフミラー１０３から出力される照明光の分光特性が図１１のように変化する。前記発光タイミング信号がＯＦＦの場合は、タイプＡであり、前記発光タイミング信号がＯＮの場合は、タイプＢとなる。また前記発光タイミング信号の期間は撮像素子２０４の撮像期間と同期している。
【００５３】
撮像部２００は例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００には、光源部１００で集光された合成光を導くためのライトガイドファイバ２０１と、該ライトガイドファイバ２０１により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２０２と、観察対象から戻る反射光を集光する対物レンズ２０３と、対物レンズ２０３で集光した反射光を検出するための撮像素子２０４と撮像素子２０４からの光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２０５を備えている。ここで撮像素子２０４は図１２に示すようなモザイク状に色フィルタが各画素に配列された原色単板撮像素子であり、ＣＣＤやＣＭＯＳ等が利用できる。本実施例ではモザイク状の配列として一般的なベイヤ配列のものを使用する。
【００５４】
制御装置３００は画像処理部３０１と照射制御部３０２とから構成される。
【００５５】
表示部４００はＣＲＴや液晶モニタ等の動画表示可能な表示装置である。
【００５６】
外部Ｉ／Ｆ部５００は、この撮像装置に対するユーザーからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を照射制御部３０２へ出力するようになっている。
【００５７】
次に画像処理部３０１の詳細について図１３のブロック図に基づいて説明する。
【００５８】
画像処理部３０１は前処理部３１１、同時化補間処理部３１２、選択部３１３、フレームメモリ３１４、特殊光画像生成部３１５、通常光画像補正部３１６、通常色処理部３１７、特殊色処理部３１８、通常後処理部３１９、特殊後処理部３２０、合成処理部３２１から構成されている。
【００５９】
続いて各構成部間のデータの流れを説明する。Ａ／Ｄ変換部２０５から出力された画像データ（各画素あたり１色の色信号からなるベイヤ配列画像）は画像処理部３０１の前処理部３１１に入力される。前処理部３１１は更に照射制御部３０２と接続されており、照射制御部３０２に予め保存されているＯＢクランプ値、ゲイン補正値、ＷＢ係数値が前処理部３１１に入力される。それらの入力値に基づき入力された画像データはＯＢクランプ処理、ゲイン補正、ＷＢ処理が施され同時化補間処理部３１２へ出力される。
【００６０】
同時化補間処理部３１２に入力される画像データは各画素あたり１色の色信号からなるベイヤ配列画像であるので、公知の補間により各画素あたりＲ、Ｇ、Ｂ３色の信号からなるタイプＡとタイプＢの補間済画像（以降、カラー画像と記す）を生成する。同時化補間処理部３１２で生成されたカラー画像は選択部３１３と通常光画像補正部３１６へ出力される。
【００６１】
選択部３１３は同時化補間処理部３１２、及び照射制御部３０２と接続されており、照射制御部３０２からは発光制御部１０４に対して発光タイミングを制御する発光タイミング信号が入力される。選択部３１３は入力される発光タイミング信号がＯＦＦの場合は同時化補間処理部３１２から出力されるカラー画像をフレームメモリ３１４へ出力する。一方、発光タイミング信号がＯＮの場合は同時化補間処理部３１２から出力されるカラー画像を特殊光画像生成部３１５へ出力する。
【００６２】
フレームメモリ３１４は特殊光画像生成部３１５と接続されており、特殊光画像生成部３１５からの読み出しに応答してフレームメモリ３１４に格納されているカラー画像を特殊光画像生成部３１５へ出力する。
【００６３】
特殊光画像生成部３１５にはフレームメモリ３１４に格納されているカラー画像と選択部３１３から出力されるカラー画像が入力される。
【００６４】
以下、特殊光画像生成部３１５の処理の詳細を図１４に基づいて説明する。
【００６５】
まず入力される２つのカラー画像を以下のように定義する。
【００６６】
図１５に示すようにフレームメモリ３１４から出力されるカラー画像はＷｉｍｇ（ｔ）とし、選択部３１３から出力されるカラー画像をＷＮｉｍｇ（ｔ＋１）とする。ここでｔは時間を意味し、取り得る値は整数値で偶数のみである。時間ｔと時間ｔ＋１との間の期間は発光タイミングの切り替え期間である。
【００６７】
特殊光画像生成部３１５はレベル補正部３４１と移動量算出部３４２と動き補償差分画像生成部３４３とから構成される。
【００６８】
レベル補正部３４１は選択部３１３とフレームメモリ３１４が接続しており、移動量算出部３４２はレベル補正部３４１が接続しており、動き補償差分画像生成部３４３は選択部３１３と移動量算出部３４２とフレームメモリ３１４が接続している。続いて信号の流れと処理の内容を説明する。
【００６９】
レベル補正部３４１には選択部３１３から出力されるカラー画像ＷＮｉｍｇ（ｔ＋１）とフレームメモリ３１４からカラー画像Ｗｉｍｇ（ｔ）が入力される。レベル補正部３４１は２つのカラー画像のＧ信号画像（以降、ＷＮｉｍｇ＿Ｇ（ｔ＋１）、Ｗｉｍｇ＿Ｇ（ｔ）と記す）に対してそれぞれ画像内平均値を算出する。そして２つの画像の平均値を一致させるゲイン量Ｇｇを以下のように算出する。
【００７０】
Gg=Wimg_G(t)の画像内平均値/WNimg_G(t+1)の画像内平均値  ・・・・・（１）
算出したゲイン量ＧｇをＷＮｉｍｇ＿Ｇ（ｔ＋１）に乗算し、Ｗｉｍｇ＿Ｇ（ｔ）と共に移動量算出部３４２へ出力する。移動量算出部３４２は入力されたＧｇ×ＷＮｉｍｇ＿Ｇ（ｔ＋１）と、Ｗｉｍｇ＿Ｇ（ｔ）の画面全体の移動量を算出する。移動量の算出方法はＧｇ×ＷＮｉｍｇ＿Ｇ（ｔ＋１）とＷｉｍｇ＿Ｇ（ｔ）に対して、Ｇｇ×ＷＮｉｍｇ＿Ｇ（ｔ＋１）の中央部分の所定サイズ領域を抽出しＷｉｍｇ＿Ｇ（ｔ）に対して一般的なブロックマッチング処理を行う。画像中央位置を原点としてブロックマッチング処理により自乗誤差が最小となる位置の位置ベクトルを画像全体の動きベクトルとして動き補償差分画像生成部３４３へ出力する。ここで動きベクトルの算出にＧ信号を用いたがＢ信号を用いても良い。
【００７１】
動き補償差分画像生成部３４３はフレームメモリ３１４からのカラー画像Ｗｉｍｇ（ｔ）、及び移動量算出部３４２からの動きベクトルが入力され、カラー画像Ｗｉｍｇ（ｔ）を動きベクトルに基づき補正した、動き補正画像ｃＷｉｍｇ（ｔ＋１）を生成する。更に選択部３１３からのカラー画像ＷＮｉｍｇ（ｔ＋１）と前記動き補正画像ｃＷｉｍｇ（ｔ＋１）とに基づき特殊光画像Ｎｉｍｇ（ｔ＋１）を以下の通りに算出する。
【００７２】
Nimg(t+1)=WNimg(t+1)-cWimg(t+1)  ・・・・・（２）
算出した特殊光画像Ｎｉｍｇ（ｔ＋１）は単位時間の２倍の間隔で生成され通常光画像補正部３１６と特殊色処理部３１８に出力される。
【００７３】
通常光画像補正部３１６は同時化補間処理部３１２と照射制御部３０２と特殊光画像生成部３１５に接続されており、同時化補間処理部３１２から出力されたＷｉｍｇ（ｔ）或いはＷＮｉｍｇ（ｔ＋１）と、特殊光画像生成部３１５からの特殊光画像Ｎｉｍｇ（ｔ＋１）が入力される。
【００７４】
以下、通常光画像補正部３１６の詳細を図１６に基づき説明する。
【００７５】
通常光画像補正部３１６は選択部３５１と減算部３５２から構成されており、選択部３５１には同時化補間処理部３１２と照射制御部３０２とが接続され、減算部３５２には選択部３５１と特殊光画像生成部３１５が接続されている。続いて信号の流れを説明する。
【００７６】
選択部３５１に入力される照射制御部３０２からの発光タイミング信号がＯＦＦの場合は、選択部３５１に入力されたカラー画像Ｗｉｍｇ（ｔ）がそのまま通常色処理部３１７へ出力される。
【００７７】
一方、照射制御部３０２からの発光タイミング信号がＯＮの場合は選択部３５１に入力されたカラー画像ＷＮｉｍｇ（ｔ＋１）が減算部３５２に出力される。減算部３５２には更に特殊光画像生成部３１５からの特殊光画像Ｎｉｍｇ（ｔ＋１）が入力され、以下の式によりＷｉｍｇ（ｔ＋１）を生成する。
【００７８】
Wimg(t+1)=WNimg(t+1)-Nimg(t+1)  ・・・・・（３）
生成されたＷｉｍｇ（ｔ＋１）は通常色処理部３１７へ出力される。図１５には時系列的に出力される画像の種類を示した。
【００７９】
通常色処理部３１７は入力されるＷｉｍｇ（ｔ）、Ｗｉｍｇ（ｔ＋１）に対して出力モニタの色域（例えば色空間の国際標準規格であるsＲＧＢ（standard RGB））に合わせるための色変換処理を行い、通常後処理部３１９へ出力する。
【００８０】
特殊色処理部３１８は入力される特殊光画像Ｎｉｍｇ（ｔ＋１）に対してＡＧＣ（オートゲインコントロール）が施され、平均信号レベルを所定レベルまで持ち上げた後、Ｇ信号をＲ信号に置換え、Ｂ信号を所定係数倍してＧとＢ信号にコピーする事で擬似カラー画像を生成し、特殊後処理部３２０へ出力する。
【００８１】
通常後処理部３１９は通常色処理部３１７からの色変換後の通常光画像が入力され、モニタの出力特性に基づいた階調変換、更に輪郭強調処理等の強調処理が後処理として実行された通常光画像が合成処理部３２１へ出力される。
【００８２】
一方、特殊後処理部３２０は特殊色処理部３１８にて生成された擬似カラー画像が入力され、モニタの出力特性に基づいた階調変換、更に輪郭強調処理等の強調処理が後処理として実行された擬似カラー画像が合成処理部３２１へ出力される。
【００８３】
合成処理部３２１の詳細は図１７に基づいて説明する。
【００８４】
合成処理部３２１は通常後処理部３１９から出力された通常光画像Ｗｉｍｇ（ｔ）、Ｗｉｍｇ（ｔ＋１）と特殊後処理部３２０から出力された特殊光画像Ｎｉｍｇ（ｔ＋１）が入力される。通常光画像Ｗｉｍｇ（ｔ）、Ｗｉｍｇ（ｔ＋１）は病変領域合成部３７４、および選択部３７５に入力され、一方、特殊光画像Ｎｉｍｇ（ｔ＋１）は領域分割部３７１と選択部３７５に入力される。
【００８５】
領域分割部３７１は入力される特殊光画像Ｎｉｍｇ（ｔ＋１）を照射制御部３０２からのブロックサイズ信号に基づき複数ブロックに分割し特定色判定部３７２へ出力する。
【００８６】
特定色判定部３７２は入力されるブロック内に所定色相領域となる画素を含むかどうかを判定し、その判定結果フラグとブロック位置を病変部検出部３７３へ出力する。
【００８７】
病変部検出部３７３は入力される前記判定結果フラグとブロック位置から所定色相領域を含むブロックの２次元的な連結状態を判定し、連結しているブロックをグルーピングする。グルーピング後の面積が照射制御部３０２から出力される判定閾値と比較され、面積が所定閾値以上と判定された場合には、グルーピング領域を囲む矩形、或いは円形領域を病変領域として設定して病変領域情報を病変領域合成部３７４へ出力する。
【００８８】
病変領域合成部３７４は入力された通常光画像に対して前記病変領域を照射制御部３０２にて指定された所定形態（例えば輪郭のみ、或いは網掛け等）でスーパーインポーズして病変領域表示された通常光画像を生成し、選択部３７５へ出力する。
【００８９】
選択部３７５は照射制御部３０２からのモード情報に基づき、通常光画像、或いは特殊光画像、或いは病変領域がスーパーインポーズされた通常光画像のどれかが選択されて表示部４００へ出力される。
【００９０】
上記第１実施例の特殊光画像生成部３１５の動き補正画像ｃＷｉｍｇ（ｔ＋１）の生成方法であるが、上記した方法以外にもいくつかの方法が考えられる。一番簡単な例としては、ｃＷｉｍｇ（ｔ＋１）＝Ｗｉｍｇ（ｔ）とする事であるが、この場合は前記発光タイミング切り替え期間が短く、この期間内では対象物と内視鏡先端部との間の移動距離を無視できる条件で有効となる。またより精度を高める例としては、画素単位に動きベクトルを算出し、この動きベクトルに基づいてＷｉｍｇ（ｔ）の画像から前記動きベクトルが示す画素を抽出、或いは生成（ハーフピクセル精度の動きベクトルの場合）し、動き補正画像ｃＷｉｍｇ（ｔ＋１）を生成することも可能である。
【００９１】
また、以上の説明において、撮像素子は１つ（撮像素子２０４）であるとしたが、これに限定されるものではない。図１８に示すように、撮像素子が２つあってもよい。
【００９２】
図１８に示した構成について説明する。撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２０１と、該ライトガイドファイバ２０１により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２０２と、観察対象から戻る反射光を集光する対物レンズ２０３と、対物レンズ２０３で集光した反射光を緑の波長帯域とそれ以外の赤及び青の波長帯域に分離するダイクロイックプリズム２０６と、２つに分離された反射光をそれぞれ検出するための撮像素子２０４、及び撮像素子２０７と、撮像素子２０４からの光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２０５と撮像素子２０７からの光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２０８とを含んでもよい。
【００９３】
ここで撮像素子２０４は図１９（Ａ）に示すようなモノクロ単板撮像素子であり、ダイクロイックプリズム２０６から透過した緑色光を検出するのに使用する。また撮像素子２０７は図１９（Ｂ）に示すようなＲ（赤）とＢ（青）の色フィルタが市松状に各画素の表面に配列した単板撮像素子であり、ダイクロイックプリズム２０６で反射した赤色光と青色光を検出するのに使用する。これらの撮像素子２０４、２０７はＣＣＤやＣＭＯＳ等が利用できる。
【００９４】
次に画像処理部３０１の詳細について図２０のブロック図に基づいて説明する。
【００９５】
画像処理部３０１は前処理部３１１ａ及び３１１ｂ、同時化補間処理部３１２、選択部３１３、フレームメモリ３１４、特殊光画像生成部３１５、通常光画像補正部３１６、通常色処理部３１７、特殊色処理部３１８、通常後処理部３１９、特殊後処理部３２０、合成処理部３２１から構成されている。
【００９６】
続いて各構成部間のデータの流れを説明する。Ａ／Ｄ変換部２０５とＡ／Ｄ変換部２０８から出力された２つの画像データは画像処理部３０１の前処理部３１１ａ、前処理部３１１ｂにそれぞれ入力される。前処理部３１１ａ、及び前処理部３１１ｂは更に照射制御部３０２と接続されており、照射制御部３０２に予め保存されているＯＢクランプ値、ゲイン補正値が前処理部３１１ａに、ＯＢクランプ値、ゲイン補正値、ＷＢ係数値が前処理部３１１ｂにそれぞれ入力される。前処理部３１１ａに入力されたＧ信号の画像データは照射制御部３０２からの入力値に基づきＯＢクランプ処理、ゲイン補正が施され同時化補間処理部３１２へ出力される。また前処理部３１１ｂに入力されたＲＢ信号の画像データは照射制御部３０２からの入力値に基づきＯＢクランプ処理、ゲイン補正、ＷＢ補正が施され同時化補間処理部３１２へ出力される。
【００９７】
同時化補間処理部３１２に入力される画像データは、前処理部３１１ａからＧ信号の画像データ、そして前処理部３１１ｂからＲとＢ信号が各画素あたり１色の色信号からなる市松配列画像であり、同時化補間処理部３１２にて、市松配列画像に対して公知の補間処理（例えば欠落している信号の画素位置に対する欠落信号の生成はその隣接４画素を用いた補間処理により行なう）を行う事により１画素あたりＲＧＢ３色の信号からなるタイプＡとタイプＢのカラー画像を生成する。同時化補間処理部３１２で生成されたカラー画像はフレームメモリ３１４と特殊光画像生成部３１５と通常光画像補正部３１６へ出力される。
【００９８】
以降の処理は撮像素子が１つの場合と同様であるので、詳細な説明は省略する。
【００９９】
また、本実施の形態では、制御装置３００を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、カプセル内視鏡などの撮像装置を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【０１００】
撮像部とＡＤ変換部を別体とし、ＡＤ変換部を除く制御装置３００の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピューターシステムを画像処理装置として用いることができる。そして、制御装置３００の各部が行う処理を実現するためのプログラム（制御プログラム）を予め用意し、この画像処理プログラムをコンピューターシステムのＣＰＵが実行することによって実現できる。
【０１０１】
図２１は、本変形例におけるコンピューターシステム６００の構成を示すシステム構成図であり、図２２は、このコンピューターシステム６００における本体部６１０の構成を示すブロック図である。図２１に示すように、コンピューターシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピューターシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。
【０１０２】
また、このコンピューターシステム６００における本体部６１０は、図２２に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を備える。
【０１０３】
さらに、このコンピューターシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピューターシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。
【０１０４】
そして、このコンピューターシステム６００は、所定の記録媒体に記録された制御プログラム（例えば図２３を参照して後述する処理手順を実現するための制御プログラム）を読み出して実行することで制御装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピューターシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【０１０５】
すなわち、制御プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピューターシステム６００は、このような記録媒体から制御プログラムを読み出して実行することで制御装置を実現する。なお、制御プログラムは、コンピューターシステム６００によって実行されることに限定されるものではなく、他のコンピューターシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【０１０６】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と特殊光画像に対して、図７の画像処理部３０１の処理をソフトウェアで実現する場合の処理手順を、図２３のフローチャートを用いて説明する。
【０１０７】
この処理を開始すると、まず画像処理部３０１は撮像部２００から画像データを取得する（Ｓ１０）。ここで画像データの取得とは前処理や同時化処理も含まれるものとする。そして、照明光の判定を行い、照明光がタイプＡ（白色光）であるか、タイプＢ（白色光＋ＮＢＩ）であるかで処理を分岐させる（Ｓ１１）。
【０１０８】
照明光がタイプＡであった場合には、タイプＡの照明光による画像を時刻ｔのカラー画像（白色光画像）Ｗｉｍｇ（ｔ）として取得する（Ｓ１２）。
【０１０９】
一方、照明光がタイプＢであった場合には、タイプＢの照明光による画像を時刻ｔ＋１のカラー画像ＷＮｉｍｇ（ｔ＋１）として取得する（Ｓ１３）。そして、Ｓ１２で取得したＷｉｍｇ（ｔ）とＳ１３で取得したＷＮｉｍｇ（ｔ＋１）とから動きベクトルを算出する（Ｓ１４）。
【０１１０】
取得した動きベクトルに基づいて、Ｗｉｍｇ（ｔ）に対して動き補償処理を行い、ｔ＋１における白色光画像に相当するｃＷｉｍｇ（ｔ＋１）を生成する（Ｓ１５）。その上で、ｃＷｉｍｇ（ｔ＋１）とＷＮｉｍｇ（ｔ＋１）の差分を求めることで、ｔ＋１における特殊光画像Ｎｉｍｇ（ｔ＋１）を生成する（Ｓ１６）。
【０１１１】
そして、Ｓ１６で取得したＮｉｍｇ（ｔ＋１）とＷＮｉｍｇ（ｔ＋１）の差分を求めることで、ｔ＋１における白色光画像Ｗｉｍｇ（ｔ＋１）を生成する（Ｓ１７）。
【０１１２】
Ｓ１２或いはＳ１７の処理の後は、画像処理の全体の処理を終了させるか否かの判定が行われ（Ｓ１８）、終了しない場合には再度Ｓ１０に戻り画像データの取得を行う。
【０１１３】
以上のように第１実施の形態によれば、通常光画像と特殊光画像を同時に取得でき、更に特殊光画像を高精度に撮像することができるので、高精度な特殊光画像を用いて通常光画像の表示形態を制御する事でドクターの診断精度を向上させることができる。
【０１１４】
以上の本実施形態では、制御装置３００は、図７に示したように、照射制御部３０２と画像処理部３０１を含む。照射制御部３０２は、第１の照明光と第２の照明光を時系列的に異ならせて照射する制御を行う。また、画像処理部３０１は第１照明光の照射による第１照明光画像と、第２の照明光の照射による第２照明光画像とに基づいて特殊光画像を生成する処理を行う。
【０１１５】
ここで、第１照明光は少なくとも白色光を含む光であり、第２照明光は白色光と特定の波長帯域の光を合成した光である。また、第１照明光は第１のタイミングで照射され、第２照明光は第２のタイミングで照射される。
【０１１６】
これにより、タイミングを異ならせて第１の照明光と第２の照明光を照射することができるとともに、第１照明光画像と第２照明光画像とに基づいて、特殊光画像を取得することが可能になる。よって、照明光画像に基づいて特殊光画像を取得するため、分光推定等の方法で求めた特殊光画像に比べて、非常に高精度な特殊光画像を取得することができる。
【０１１７】
また、画像処理部３０１は、第１のタイミングにおける第１照明光画像と、第２のタイミングにおける第２照明光画像とに基づいて、第２のタイミングにおける特殊光画像を取得する。これは図１５の例でいえば、Ｗｉｍｇ（ｔ）とＷＮｉｍｇ（ｔ＋１）とからＮｉｍｇ（ｔ＋１）を求めることに相当する。
【０１１８】
これにより、白色光と特定の波長帯域の光を合成した光である第２照明光の照射タイミングにおいて、特殊光画像を取得することが可能になる。第２照明光は前述の通り、白色光と特定波長帯域の光の合成光であるため、そのままでは、白色光画像も特殊光画像も取得することができないが、本実施形態の手法によれば、特殊光画像を取得することが可能になる。
【０１１９】
また、画像処理部３０１は、第１のタイミングにおける第１照明光画像に基づいて、第２のタイミングにおける中間画像を取得する。具体的には例えば、画像処理部３０１は図１４に示すように、移動量算出部３４２を含み、移動量算出部３４２は、被写体の移動量（動きベクトル）を算出し、算出した動きベクトルに基づいて、中間画像を取得する。
【０１２０】
そして、取得した中間画像と第２のタイミングにおける第２照明光画像とに基づいて、第２のタイミングにおける特殊光画像を取得する。具体的には例えば、中間画像と第２のタイミングにおける第２照明光画像との差分を用いる手法が考えられる。
【０１２１】
これは、図１の例でいうと、第１のタイミングにおける第１照明光画像であるＷｉｍｇ（ｔ）に対して動きベクトルＶで動き補償を行った画像であるｃＷｉｍｇ（ｔ＋１）が中間画像に相当する。そして、ｃＷｉｍｇ（ｔ＋１）とＷＮｉｍｇ（ｔ＋１）とから、具体的には例えば図１に示したように差分を用いて、特殊光画像Ｎｉｍｇ（ｔ＋１）を取得する。
【０１２２】
これにより、単純に第１のタイミングにおける第１照明光画像と、第２のタイミングにおける第２照明光画像の差分を取るのではなく、何らかの補正（上述の例でいえば動きベクトルを用いた動き補償）を行った上で、特殊光画像を取得することが可能になる。そのため、補正を行わない場合に比べて、より精度の高い特殊光画像を取得できる。
【０１２３】
また、移動量算出部３４２は、第１のタイミングにおける第１照明光画像の画素値の平均値と、第２のタイミングにおける第２照明光画像の画素値の平均値とに基づいて、平均値同士を同等にするイコライジング補正を行う。そして補正された第１照明光画像と第２照明光画像とから、動きベクトルを算出する。
【０１２４】
なお、動きベクトルの算出の際には、第１照明光画像に含まれる所定の色成分と、それに対応する第２照明光画像に含まれる色成分とに基づいて信号を算出してもよい。具体的には、色成分はＢ成分でもよいし、Ｇ成分でもよいし、Ｒ成分でもよい。
【０１２５】
図１の例においては、色成分としてＧ成分を用いている。Ｗｉｍｇ（ｔ）のＧ成分であるＷｉｍｇ＿Ｇ（ｔ）と、ＷＮｉｍｇ（ｔ＋１）のＧ成分であるＷＮｉｍｇ＿Ｇ（ｔ＋１）からゲイン量Ｇｇを求め、求めたＧｇをＷＮｉｍｇ（ｔ＋１）に乗ずることでイコライジング補正を行い、マッチング（移動量算出）に用いる画像を求めている。
【０１２６】
これにより、動きベクトルを求める際に、第１照明光画像と第２照明光画像の画素値（明るさに関する情報といってもよい）を同等にする補正を行う。よって、移動ベクトル算出のためのマッチング処理が容易になり、移動ベクトルを高精度に求めることが可能になる。また、イコライジング補正に用いる色成分としてＲ，Ｇ，Ｂを自由に採用することもできる。Ｇ成分は最も明るく、正確なイコライジング補正が可能である。Ｒ成分は狭帯域光源の影響を受けないため、補正誤差を小さくすることができ、また、高周波成分を多く含まないため、画像を縮小しても影響が少ないため、画素間引き等を行い、計算コストを抑えることができる。また、Ｇ，Ｒに限定することなく、Ｂ成分を用いてもよい。
【０１２７】
また、画像処理部３０１は、第２のタイミングにおける第２照明光画像と、第２のタイミングにおける特殊光画像に基づいて、第２のタイミングにおける白色光画像を生成する。
【０１２８】
これは、図１５の例でいえば、ＷＮｉｍｇ（ｔ＋１）とＮｉｍｇ（ｔ＋１）とに基づいてＷｉｍｇ（ｔ＋１）を求めることに相当する。
【０１２９】
これにより、図１５に示したように、第２のタイミング（ｔ＋１）において、白色光画像と特殊光画像を同時に取得することが可能になる。よって、例えば特殊光画像において検出した病変部に関する情報等を、白色光画像に重畳するような場合において、位置に関する情報の正確性を、同時取得をしない場合に比べて高くすることができる。病変に関する情報が正確になれば、ドクターの診断を容易にすること等が可能である。
【０１３０】
また、第１の照明光は図８に示すような白色光の波長帯域の光であり、第２の照明光は図１０に示すような、白色光と、第１の特定波長帯域の光と、第２の特定波長帯域の光を合成した光である。具体的には第１の特定波長帯域及び第２の特定波長帯域は、血液中のヘモグロビンに吸収される波長帯域である。さらに具体的には、第１の特定波長帯域は３９０ナノメータ〜４４５ナノメータであり、第２の特定波長帯域は５３０ナノメータ〜５５０ナノメータである。第１の特定波長帯域が図９のＢ２に相当し、第２の特定波長帯域が図９のＧ２に相当する。
【０１３１】
これにより、第１照明光画像と第２照明光画像から、特殊光画像を求めることで、ＮＢＩ（Narrow Band Imaging）と呼ばれる狭帯域光観察が可能になり、生体の表層部及び、深部に位置する血管の構造を観察することができる。また得られた信号を特定のチャンネル（Ｇ２→Ｒ、Ｂ２→Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた波長である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０１３２】
また、画像処理部３０１は、第２照明光画像と特殊光画像に基づいて、特殊光画像に対応する白色光画像を生成する。具体的には、第２照明光画像と特殊光画像の差分を用いる。図２の例でいえば、第２照明光画像であるＷＮｉｍｇ（ｔ＋１）と、特殊光画像であるＮｉｍｇ（ｔ＋１）とから、具体的には例えば差分を用いて、白色光画像Ｗｉｍｇ（ｔ＋１）を求めることに相当する。
【０１３３】
これにより、第２照明光画像と特殊光画像から、白色光画像を生成することが可能になる。具体例として差分を用いるのは、図２に示したように、第２照明光画像ＷＮｉｍｇ（ｔ＋１）は白色光と特殊光の合成光による画像であり、特殊光画像Ｎｉｍｇ（ｔ＋１）は特殊光による画像であることから、差分を求めれば特殊光の信号がキャンセルされ、白色光の信号が残るためである。
【０１３４】
また、制御装置３００は、特殊光画像の画素値に基づいて、注目すべき領域である注目領域を検出する検出部を含んでもよい。また、検出部の検出結果に基づく情報を提示する制御を行う提示制御部を含んでもよく、検出結果に基づく情報を白色光画像に重畳する重畳部を含んでもよい。
【０１３５】
ここで、注目領域とは例えば、生体内画像における病変領域等であることが考えられる。この場合の検出部は、図１７における病変部検出部３７３に相当する。
【０１３６】
これにより、例えば病変部等の注目領域を検出し、検出結果に基づく情報を提示したり、白色光画像に重畳したりすることが可能になる。よって、例えばドクターによる病変部の見逃し等を抑止することができる。
【０１３７】
また、本実施形態は、白色光を照射する第１の光源と、少なくとも１つの特定の波長帯域の光を照射する第２の光源と、照射制御部３０２と、画像処理部３０１とを含む内視鏡装置にも適用できる。前述したように照射制御部３０２は、第１の照明光と第２の照明光とを時系列的に異ならせて照射する制御を行い、画像処理部３０１は、第１照明光画像と第２照明光画像とに基づいて特殊光画像を生成する。
【０１３８】
これにより、制御装置にとどまらず、照明光画像に基づいて特殊光画像を取得するため、分光推定等の方法で求めた特殊光画像に比べて、非常に高精度な特殊光画像を取得することができる内視鏡装置を実現することができる。
【０１３９】
また、本実施形態は、照射制御部３０２と、画像処理部３０１としてコンピュータを機能させるプログラムにも適用できる。前述したように照射制御部３０２は、第１の照明光と第２の照明光とを時系列的に異ならせて照射する制御を行い、画像処理部３０１は、第１照明光画像と第２照明光画像とに基づいて特殊光画像を生成する。
【０１４０】
これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うことが可能になる。
【０１４１】
３．第２の実施形態
図７は第２の実施形態にかかる制御装置を含む内視鏡装置の全体構成を示すブロック図である。本発明を構成する撮像装置は第１の実施形態と同様に光源部１００と撮像部２００と制御装置３００と表示部４００と外部Ｉ／Ｆ部５００からなる。
【０１４２】
第１の実施形態と異なるのは光源部１００の発光制御部１０４と、制御装置３００の画像処理部３０１であり、これらの部分についてその詳細を説明する。
【０１４３】
光源部１００の発光制御部１０４は照射制御部３０２の発光タイミング信号により第１の狭帯域光源１０５と第２の狭帯域光源１０６の発光を制御するが、第１の実施形態と異なるのは時間的に同時に２つの狭帯域光源１０５、１０６の発光をＯＮ／ＯＦＦするのではなく、どちらか一方を必ず発光するように制御する。つまりハーフミラー１０３から出力される最終的な照明光の分光特性は図２４（Ａ）或いは図２４（Ｂ）に示すようになる。図２４（Ａ）に示す分光特性となるのは発光制御部１０４が第１の狭帯域光源１０５の発光をＯＮにし、第２の狭帯域光源１０６の発光をＯＦＦとした場合に対応する。また図２４（Ｂ）に示す分光特性となるのは発光制御部１０４が第１の狭帯域光源１０５の発光をＯＦＦとし、第２の狭帯域光源１０６の発光をＯＮとした場合に対応する。
【０１４４】
上記したように照射制御部３０２からの発光タイミング信号により発光制御部１０４が制御する第１の狭帯域光源１０５と第２の狭帯域光源１０６の発光を交互に切換えることでハーフミラー１０３から出力される合成光の分光特性は図２５のように変化する。
【０１４５】
次に画像処理部３０１の詳細について図２６のブロック図に基づいて説明する。
【０１４６】
画像処理部３０１は前処理部３１１、同時化補間処理部３１２、フレームメモリ３１４、特殊光画像生成部３６３、通常光画像補正部３６４、通常色処理部３１７、特殊色処理部３１８、通常後処理部３１９、特殊後処理部３２０、合成処理部３２１から構成されている。
【０１４７】
続いて各構成部間のデータの流れを説明する。同時化補間処理部３１２までの処理の流れは第１の実施形態と同様であるため、詳細な説明は省略する。同時化補間処理部３１２で生成されたカラー画像はフレームメモリ３１４と特殊光画像生成部３６３と通常光画像補正部３６４へ出力される。
【０１４８】
フレームメモリ３１４は、特殊光画像生成部３６３からの読み出しに応答してフレームメモリ３１４に格納されている１フレーム期間前のカラー画像を特殊光画像生成部３６３へ出力すると共に現在撮影されたカラー画像を逐次格納する事ができるように２フレーム分の容量を持ったリングバッファ構成となっている。
【０１４９】
特殊光画像生成部３６３はフレームメモリ３１４から格納されているカラー画像と同時化補間処理部３６２から出力されるカラー画像が入力される。
【０１５０】
以下、特殊光画像生成部３６３の処理の詳細を図２７に基づいて説明する。
【０１５１】
まず入力される２つのカラー画像を以下のように定義する。
【０１５２】
フレームメモリ３１４から出力されるカラー画像はＷＰｉｍｇ（ｔ）とし、同時化補間処理部３６２から出力されるカラー画像をＷＣｉｍｇ（ｔ＋１）とする。ここでｔは時間を意味し、整数値で偶数をとる。時間ｔと時間ｔ＋１との間の期間は発光タイミングの切り替え期間となる。
【０１５３】
特殊光画像生成部３６３はレベル補正部３４４と移動量算出部３４５と動き補償差分画像生成部３４６とから構成される。
【０１５４】
レベル補正部３４４には照射制御部３０２とフレームメモリ３１４が接続しており、移動量算出部３４５にはレベル補正部３４４が接続しており、動き補償差分画像生成部３４６には照射制御部３０２と同時化補間処理部３１２と移動量算出部３４５とフレームメモリ３１４が接続している。続いて信号の流れと処理の内容を説明する。
【０１５５】
レベル補正部３４４には同時化補間処理部３１２から出力されるカラー画像ＷＣｉｍｇ（ｔ＋１）とフレームメモリ３１４からのカラー画像ＷＰｉｍｇ（ｔ）が入力される。レベル補正部３４４は２つのカラー画像のＧ信号画像（以降、ＷＣｉｍｇ＿Ｇ（ｔ＋１）、ＷＰｉｍｇ＿Ｇ（ｔ）と記す）に対してそれぞれ画像内平均値を算出する。これらの画像内平均値を使って２つの画像の前記平均値を一致させるゲイン量Ｇｇを照射制御部３０２からの発光タイミング信号の状態に基づいて以下のように算出し、どちらか一方のＧ信号画像を補正して移動量算出部３４５へ出力する。
【０１５６】
照射制御部３０２からの発光タイミング信号が第１の狭帯域光源１０５がＯＮで第２の狭帯域光源１０６がＯＦＦの場合、
Gg=WCimg_G(t+1)の画像内平均値/WPimg_G(t)の画像内平均値  ・・・・・（４）
この場合、Ｇｇを乗算したＷＰｉｍｇ＿Ｇ（ｔ）とＷＣｉｍｇ＿Ｇ（ｔ＋１）を移動量算出部３４５へ出力する。
【０１５７】
照射制御部３０２からの発光タイミング信号が第１の狭帯域光源１０５がＯＦＦで第２の狭帯域光源１０６がＯＮの場合、
Gg=WPimg_G(t)の画像内平均値/WCimg_G(t+1)の画像内平均値  ・・・・・（５）
この場合、Ｇｇを乗算したＷＣｉｍｇ＿Ｇ（ｔ＋１）とＷＰｉｍｇ＿Ｇ（ｔ）を移動量算出部３４５へ出力する。
【０１５８】
移動量算出部３４５は入力される２つのＧ信号画像の画面全体の移動量を算出する。移動量の算出方法はＷＣｉｍｇ＿Ｇ（ｔ＋１）とＷＰｉｍｇ＿Ｇ（ｔ）（厳密には、どちらか一方はＧｇにより補正された画像である）に対して、ＷＣｉｍｇ＿Ｇ（ｔ＋１）の中央部分の所定サイズ領域を抽出しＷＰｉｍｇ＿Ｇ（ｔ）に対して一般的なブロックマッチング処理を行う。画像中央位置を原点としてブロックマッチング処理により自乗誤差が最小となる位置の位置ベクトルを画像全体の動きベクトルとして動き補償差分画像生成部３４６へ出力する。
【０１５９】
上記説明では動きベクトルはＧ信号で行なっているが、それに限定されず、Ｂ信号でもＲ信号でも可能である。特にＲ信号は狭帯域光源からの狭帯域光の影響を受けない信号となるので、２つの画像間でのレベル差の補正誤差は少なく、また内視鏡画像の場合、Ｒ信号は高周波成分を多く含まないので画素間引き等で画像を縮小する事で動きベクトル算出時のコストを抑えて画像全体の動きベクトルを算出できる。
【０１６０】
動き補償差分画像生成部３４６はフレームメモリ３１４からのカラー画像ＷＰｉｍｇ（ｔ）、及び移動量算出部３４５からの動きベクトルが入力され、カラー画像ＷＰｉｍｇ（ｔ）を動きベクトルに基づき動きを補正した動き補正画像ｃＷＰｉｍｇ（ｔ＋１）を生成する。更に同時化補間処理部３１２からのカラー画像ＷＣｉｍｇ（ｔ＋１）と動き補正画像ｃＷＰｉｍｇ（ｔ＋１）とに基づき特殊光画像のＧ２成分であるＮｉｍｇ＿Ｇ（ｔ＋１）を以下の通りに算出する。
【０１６１】
Nimg_G(t+1)=WCimg_G(t+1)-cWPimg_G(t+1)  ・・・・・（６）
算出された特殊光画像Ｎｉｍｇ（ｔ＋１）は通常光画像補正部３６４と特殊色処理部３１８に出力される。
【０１６２】
また、タイミングｔ＋２においては、ＷＣｉｍｇ（ｔ＋２）（図２４（Ａ）に相当）とｃＷＰｉｍｇ（ｔ＋１）とに基づいて下式（７）から、特殊光画像のＢ２成分を取得する。
【０１６３】
Nimg_B(t+2)=WCimg_B(t+2)-cWPimg_B(t+2)  ・・・・・（７）
上述したように、本実施形態の特殊光画像は、Ｇ２成分とＢ２成分とが交互に取得されることになる。
【０１６４】
通常光画像補正部３６４には同時化補間処理部３１２と照射制御部３０２と特殊光画像生成部３６３とが接続されており、同時化補間処理部３１２から出力されたカラー画像ＷＣｉｍｇ（ｔ＋１）と、特殊光画像生成部３６３からの特殊光画像Ｎｉｍｇ（ｔ＋１）が入力される。
【０１６５】
以下、通常光画像補正部３６４の詳細を図２９に基づき説明する。
【０１６６】
通常光画像補正部３６４は信号選択部３５３と信号選択部３５４と減算部３５５と信号合成部３５６とから構成されており、信号選択部３５３へは同時化補間処理部３１２と照射制御部３０２とが接続され、信号選択部３５４には特殊光画像生成部３６３と照射制御部３０２が接続され、減算部３５５には信号選択部３５３と信号選択部３５４が接続され、信号合成部３５６は信号選択部３５３と減算部３５５と照射制御部３０２が接続されている。続いて信号の流れを説明する。
【０１６７】
まず照射制御部３０２からの発光タイミング信号が第１の狭帯域光源１０５がＯＦＦで第２の狭帯域光源１０６がＯＮの場合について説明する。
【０１６８】
この場合は照射制御部３０２からの前記発光タイミング信号に基づき信号選択部３５３に入力されるカラー画像ＷＣｉｍｇ（ｔ＋１）の内、Ｒ信号ＷＣｉｍｇ＿Ｒ（ｔ＋１）とＢ信号ＷＣｉｍｇ＿Ｂ（ｔ＋１）がそのまま信号合成部３５６へ出力され、Ｇ信号ＷＣｉｍｇ＿Ｇ（ｔ＋１）が減算部３５５へ出力される。
【０１６９】
また照射制御部３０２からの前記発光タイミング信号に基づき信号選択部３５４に入力されるカラー画像Ｎｉｍｇ（ｔ＋１）の内、Ｇ信号Ｎｉｍｇ＿Ｇ（ｔ＋１）が減算部３５５へ出力される。
【０１７０】
減算部３５５では以下の式により白色光画像のＧ信号Ｗｉｍｇ＿Ｇ（ｔ＋１）を生成する。
【０１７１】
Wimg_G(t+1)=WCimg_G(t+1)-Nimg_G(t+1)  ・・・・・（８）
生成されたＷｉｍｇ＿Ｇ（ｔ＋１）は信号合成部３５６へ出力される。
【０１７２】
信号合成部３５６では入力されたＷＣｉｍｇ＿Ｒ（ｔ＋１）、ＷＣｉｍｇ＿Ｂ（ｔ＋１）とＷｉｍｇ＿Ｇ（ｔ＋１）により、白色光画像Ｗｉｍｇ（ｔ＋１）を構成して通常色処理部３１７へ出力する。
【０１７３】
続いて照射制御部３０２からの発光タイミング信号が第１の狭帯域光源１０５がＯＮで第２の狭帯域光源１０６がＯＦＦの場合について説明する。
【０１７４】
照射制御部３０２からの前記発光タイミング信号に基づき信号選択部３５３に入力されるカラー画像ＷＣｉｍｇ（ｔ＋２）の内、Ｒ信号ＷＣｉｍｇ＿Ｒ（ｔ＋２）とＧ信号ＷＣｉｍｇ＿Ｇ（ｔ＋２）がそのまま信号合成部３５６へ出力され、Ｂ信号ＷＣｉｍｇ＿Ｂ（ｔ＋２）が減算部３５５へ出力される。
【０１７５】
また照射制御部３０２からの前記発光タイミング信号に基づき信号選択部３５４に入力されるカラー画像Ｎｉｍｇ（ｔ＋２）の内、Ｂ信号Ｎｉｍｇ＿Ｂ（ｔ＋２）が減算部３５５へ出力される。
【０１７６】
減算部３５５では以下の式により白色光画像のＢ信号Ｗｉｍｇ＿Ｂ（ｔ＋２）を生成する。
【０１７７】
Wimg_B(t+2)=WCimg_B(t+2)-Nimg_B(t+2)  ・・・・・（９）
生成されたＷｉｍｇ＿Ｂ（ｔ＋２）は信号合成部３５６へ出力される。
【０１７８】
信号合成部３５６では入力されたＷＣｉｍｇ＿Ｒ（ｔ＋２）、ＷＣｉｍｇ＿Ｇ（ｔ＋２）とＷｉｍｇ＿Ｂ（ｔ＋２）により、白色光画像Ｗｉｍｇ（ｔ＋２）を構成して通常色処理部３１７へ出力する。
【０１７９】
第２の実施形態では、特殊光画像は単位時間の間隔で生成されることとなる。図２８には時系列的に出力される第２の実施形態の画像の種類を示した。
【０１８０】
第２の実施形態の特殊光画像生成部３６３の動き補正画像ｃＷＰｉｍｇ（ｔ＋１）に関しては第１実施形態と同様にｃＷＰｉｍｇ（ｔ＋１）＝ＷＰｉｍｇ（ｔ）としても良いし、またより精度を高めた、画素単位に動きベクトルを算出し、この動きベクトルに基づいてＷＰｉｍｇ（ｔ）の画像から前記動きベクトルが示す画素を抽出、或いは生成し、動き補正画像ｃＷＰｉｍｇ（ｔ＋１）を生成するようにしても良い。
【０１８１】
また、撮像素子を１つではなく２つ用いてもよい点も、第１の実施形態と同様である。
【０１８２】
以上のように第２実施の形態によれば、通常光画像と特殊光画像を同時に取得でき、更に特殊光画像を通常光画像と同一期間で高精度に撮像することができるので、高精度な特殊光画像を用いて通常光画像の表示形態を制御する事でドクターの診断精度を向上させることができる。
【０１８３】
以上の本実施形態においては、第１の照明光は白色光の波長帯域の光と第１の特定波長帯域の光を合成した図２４（Ａ）に示すような光であり、第２の照明光は白色光と、第１の特定波長帯域の光と、第２の特定波長帯域の光を合成した図２４（Ｂ）に示すような光である。
【０１８４】
これにより、図２５に示すようなパターンで照明光を照射することが可能になり、これらの照明光から特殊光画像を求めることで、ＮＢＩと呼ばれる狭帯域光観察が可能になる。ＮＢＩについては第１の実施形態において上述したとおりなので、詳細な説明は省略する。
【０１８５】
また、画像処理部３０１は、第１照明光画像と特殊光画像とに基づいて、特殊光画像に対応する白色光画像を生成する。具体的には、第１照明光画像のＢ成分と特殊光画像のＢ成分から白色光画像のＢ成分を取得する。そして、第１照明光画像のＧ成分とＲ成分から白色光画像のＧ成分とＲ成分を取得する。
【０１８６】
これは図６の例でいえば、第１照明光画像ＷＣｉｍｇ（ｔ＋２）のＢ成分（含まれるのは白色光のＢ成分とＢ２成分）と、特殊光画像Ｎｉｍｇ（ｔ＋２）のＢ成分（含まれるのはＢ２成分）とから、具体的には差分を求めることで、Ｂ２成分がキャンセルされ、白色光のＢ成分を求めることに相当する。また、ＷＣｉｍｇ（ｔ＋２）は、Ｂ成分以外には特殊光による成分を含んでいないため、Ｇ成分、Ｒ成分についてはＷＣｉｍｇ（ｔ＋２）をそのまま、白色光画像の成分として用いることができる。
【０１８７】
これにより、第１照明光の照射タイミングにおいて、白色光画像を取得することが可能になる。
【０１８８】
また、画像処理部３０１は、第２照明光画像と特殊光画像とに基づいて、特殊光画像に対応する白色光画像を生成する。具体的には、第２照明光画像のＧ成分と特殊光画像のＧ成分から白色光画像のＧ成分を取得する。そして、第２照明光画像のＢ成分とＲ成分から白色光画像のＢ成分とＲ成分を取得する。
【０１８９】
これは図４の例でいえば、第２照明光画像ＷＣｉｍｇ（ｔ＋１）のＧ成分（含まれるのは白色光のＧ成分とＧ２成分）と、特殊光画像Ｎｉｍｇ（ｔ＋１）のＧ成分（含まれるのはＧ２成分）とから、具体的には差分を求めることで、Ｇ２成分がキャンセルされ、白色光のＧ成分を求めることに相当する。また、ＷＣｉｍｇ（ｔ＋１）は、Ｇ成分以外には特殊光による成分を含んでいないため、Ｂ成分、Ｒ成分についてはＷＣｉｍｇ（ｔ＋１）をそのまま、白色光画像の成分として用いることができる。
【０１９０】
これにより、第２照明光の照射タイミングにおいても、白色光画像を取得することが可能になる。
【０１９１】
４．第３の実施形態
第３の実施形態においては、ＮＢＩ画像に加えてＩＲＩ画像も同時に取得する手法について説明する。本実施形態においては、照明光として後述する図４１に示すパターンを用いる。具体的な処理の流れを図３０〜図３２を用いて説明する。
【０１９２】
図３０に示すように、本実施形態では第１のタイミング（ｔ、ｔ＋２、・・・）において図３８に示す照明光(白色光)を照射し、第２のタイミング（ｔ＋１、ｔ＋３、・・・）において図３９に示す照明光（白色光＋Ｂ２＋Ｇ２＋Ｒ２）或いは図４０に示す照明光（白色光＋Ｂ２＋Ｇ２＋Ｒ３）を照射する。第１のタイミングにおいてはＷｉｍｇを取得し、第２のタイミングにおいてはＷＭｉｍｇを取得する。Ｗｉｍｇが基準画像となり、ＷＭｉｍｇが比較画像となる。
【０１９３】
本実施形態においては、タイプＥの照射タイミングでの白色光画像及び特殊光画像を求める場合と、タイプＦの照射タイミングでの白色光画像及び特殊光画像を求める場合とで、処理の結果が異なってくる。
【０１９４】
まず、タイプＥの場合を説明する。図３０に示すように、Ｗｉｍｇ（ｔ）とＷＭｉｍｇ（ｔ＋１）とからタイミングｔ＋１における特殊光画像Ｎｉｍｇ（ｔ＋１）を求める。
【０１９５】
考え方は第１の実施形態及び第２の実施形態と同様であり、Ｗｉｍｇ（ｔ＋１）と、ＷＭｉｍｇ（ｔ＋１）との差分を取ることでｔ＋１における特殊光画像Ｎｉｍｇ（ｔ＋１）を取得することができる。なぜなら、ＷＮｉｍｇ（ｔ＋１）が白色光と特殊光を合成した照明光による画像であり、Ｗｉｍｇ（ｔ）は白色光の照明光による画像であるため、その差分を取ることで白色光に相当する信号がキャンセルされ、特殊光部分が残るからである。
【０１９６】
また、図３０のＤ１に示したように、Ｗｉｍｇ（ｔ）に対して動きベクトルＶを用いて動き補償を行う点と、図３０のＤ２に示したように、マッチング処理を行うために、ゲイン量Ｇｇを求めてイコライジング補正を行う点も第１、第２の実施形態と同様である。
【０１９７】
以上の処理で求めることができるのは、特殊光画像のＢ２成分、Ｇ２成分及びＲ２成分である。図３０に示したように、Ｂ２成分とＧ２成分からＮＢＩ画像を生成する。また、Ｒ２成分とｔ−１のタイミングで取得しておいたＲ３成分とあわせることで、ＩＲＩ画像を生成する。
【０１９８】
タイプＦの場合も処理の流れは同様であるが、図３１に示したように、処理の結果として得られるｔ＋３における特殊光画像の成分はＢ２成分、Ｇ２成分及びＲ３成分となる。Ｂ２成分とＧ２成分からＮＢＩ画像を生成し、Ｒ３成分と上述したｔ＋１におけるＲ２成分とからＩＲＩ画像を生成する。
【０１９９】
以上の処理により、特殊光画像を取得することができるため、図３２に示したように、各タイミングにおける特殊光画像と、タイプＡの照明光による画像との差分を求めることで、タイプＥ及びタイプＦを照射するタイミングにおける白色光画像を取得することができる。なお、タイプＡの照射による画像は白色光画像であるため、タイプＡの照射タイミングでの白色光画像は、照射による画像をそのまま用いればよい。
【０２００】
つまり、本実施形態においては、図４４に示したように、全てのタイミングで白色光画像を取得できるとともに、２タイミングに１回特殊光画像（ＮＢＩ画像及びＩＲＩ画像）を取得することができる。
【０２０１】
図３３は第３の実施形態にかかる制御装置を含む内視鏡装置の全体構成を示すブロック図である。本実施形態の内視鏡装置は第１の実施形態と同様に光源部１００と撮像部２００と制御装置３００と表示部４００と外部Ｉ／Ｆ部５００からなる。
【０２０２】
第１、２の実施形態と異なるのは光源部１００の発光制御部１０４と、制御装置３００の画像処理部３０１であり、これらの部分についてその詳細を説明する。
【０２０３】
光源部１００の発光制御部１０４は照射制御部３０２の発光タイミング信号により第１の狭帯域光源１０５と第２の狭帯域光源１０６の他に新たに第３の狭帯域光源１１０の発光を第１実施の形態同様に時間的に同時にＯＮ／ＯＦＦの制御を行なう。ここで第３の狭帯域光源１１０の分光特性は図３４に示す通りで７９０〜９７０ｎｍの赤外領域の特性を持つ。更に照射制御部３０２は図３５が示す回転狭帯域フィルタ１１１のモータ８０３に、フィルタ選択信号を送り回転を制御してフィルタを所定位置に移動する。
【０２０４】
ここで回転狭帯域フィルタ１１１は図３６のＲ２の分光特性を持つ狭帯域フィルタ８０１と、図３７のＲ３の分光特性のフィルタを持つ狭帯域フィルタ８０２で構成されており、第３の狭帯域光源１１０の狭帯域光の一部の狭帯域光のみを透過させるように第３の狭帯域光源１１０とクロスプリズム１０９との間に配置されている。クロスプリズム１０９は３つの狭帯域光源１０５、１０６、１１０からの狭帯域光を合成し、ハーフミラー１０３に出力する。
【０２０５】
ハーフミラー１０３から出力される最終的な照明光の分光特性は図３８、図３９、図４０に示すようになる。図３８に示す分光特性となるのは発光制御部１０４が３つの狭帯域光源１０５、１０６、１１０の発光をＯＦＦにした場合に対応する。また図３９に示す分光特性となるのは発光制御部１０４が３つの狭帯域光源１０５、１０６、１１０の発光をＯＮとし、回転狭帯域フィルタ１１１のフィルタ８０１が狭帯域光源１１０の前面に置かれるように回転狭帯域フィルタ１１１を回転制御した場合に対応する。更に図４０に示す分光特性となるのは、発光制御部１０４が３つの狭帯域光源１０５、１０６、１１０の発光をＯＮとし、回転狭帯域フィルタ１１１のフィルタ８０２が狭帯域光源１１０の前面に置かれるように回転狭帯域フィルタ１１１を回転制御した場合に対応する。
【０２０６】
上述したように照射制御部３０２からの発光タイミング信号により、発光制御部１０４が３つの狭帯域光源１０５、１０６、１１０の発光と回転狭帯域フィルタ１１１の回転を制御することでハーフミラー１０３から出力される合成光の分光特性は図３８、図３９、図４０の３つのパターンが得られる。図４１に示すように時系列的に３つの合成光が切り替わる。
【０２０７】
スコープ２００は撮像装置を２つ有する構成とする。もちろん撮像素子が１つであってもよい。
【０２０８】
次に画像処理部３０１の詳細について図４２のブロック図に基づいて説明する。
【０２０９】
画像処理部３０１は前処理部３１１ａ、前処理部３１１ｂ、同時化補間処理部３６２、フレームメモリ３１４、第１特殊光画像生成部３８１、通常光画像補正部３１６、通常色処理部３１７、第２特殊光画像生成部３８２、フレームメモリ３８３、特殊色処理部３１８、通常後処理部３１９、特殊後処理部３２０、第２特殊色処理部３８４、第２特殊後処理部３８５、合成処理部３８６から構成されている。
【０２１０】
続いて各構成部間のデータの流れを説明する。Ａ／Ｄ変換部２０５とＡ／Ｄ変換部２０８から出力された２つの画像データは画像処理部３０１の前処理部３１１ａ、前処理部３１１ｂにそれぞれ入力される。前処理部３１１ａ、及び前処理部３１１ｂは更に照射制御部３０２と接続されており、照射制御部３０２に予め保存されているＯＢクランプ値、ゲイン補正値が前処理部３１１ａに入力され、ＯＢクランプ値、ゲイン補正値、ＷＢ係数値が前処理部３１１ｂに入力される。前処理部３１１ａに入力されたＧ信号の画像データは照射制御部３０２からの入力値に基づきＯＢクランプ処理、ゲイン補正が施され同時化補間処理部３６２へ出力される。また前処理部３１１ｂに入力されたＲＢ信号の画像データは照射制御部３０２からの入力値に基づきＯＢクランプ処理、ゲイン補正、ＷＢ補正が施され同時化補間処理部３６２へ出力される。
【０２１１】
同時化補間処理部３６２に入力される画像データは、前処理部３１１ａからＧ信号の画像データ、そして前処理部３１１ｂからＲとＢ信号が各画素あたり１色の色信号からなる市松配列画像である。同時化補間処理部３６２において、市松配列画像に対して公知の補間処理（例えば欠落している信号の画素位置に対する欠落信号の生成はその隣接４画素を用いた補間処理により行なう）を行う事により１画素あたりＲＧＢ３色の信号からなるタイプＡとタイプＥとタイプＦの補間済画像（以降、カラー画像と記す）を生成する。同時化補間処理部３６２で生成されたカラー画像はフレームメモリ３１４と第１特殊光画像生成部３８１と通常光画像補正部３１６へ出力される。
【０２１２】
フレームメモリ３１４は、第１特殊光画像生成部３８１からの読み出しに応答してフレームメモリ３１４に格納されている１フレーム期間前のカラー画像を第１特殊光画像生成部３８１へ出力すると共に現在撮影されたカラー画像を逐次格納する事ができるように２フレーム分の容量を持ったリングバッファ構成となっている。
【０２１３】
第１特殊光画像生成部３８１はフレームメモリ３１４から格納されているカラー画像と同時化補間処理部３６２から出力されるカラー画像が入力される。
【０２１４】
以下、第１特殊光画像生成部３８１の処理の詳細を図４３に基づいて説明する。
【０２１５】
まず入力される２つのカラー画像を以下のように定義する。
【０２１６】
フレームメモリ３１４から出力されるカラー画像はＷｉｍｇ（ｔ）とし、同時化補間処理部３６２から出力されるカラー画像をＷＭｉｍｇ（ｔ＋１）とする。ここでｔは時間を意味し、整数値で偶数をとる。時間ｔと時間ｔ＋１との間の期間は発光タイミングの切り替え期間となる。
【０２１７】
第１特殊光画像生成部３８１はレベル補正部３４１と移動量算出部３４２と動き補償差分画像生成部３４３とから構成される。
【０２１８】
レベル補正部３４１にはフレームメモリ３１４が接続しており、移動量算出部３４２にはレベル補正部３４１が接続しており、動き補償差分画像生成部３４３には選択部３１３と移動量算出部３４２とフレームメモリ３１４が接続している。続いて信号の流れと処理の内容を説明する。
【０２１９】
レベル補正部３４１には選択部３１３から出力されるカラー画像ＷＭｉｍｇ（ｔ＋１）とフレームメモリ３１４からのカラー画像Ｗｉｍｇ（ｔ）が入力される。レベル補正部３４１は２つのカラー画像のＧ信号画像（以降、ＷＭｉｍｇ＿Ｇ（ｔ＋１）、Ｗｉｍｇ＿Ｇ（ｔ）と記す）に対してそれぞれ画像内平均値を算出する。これらの画像内平均値を使って２つの画像の前記平均値を一致させるゲイン量Ｇｇを照射制御部３０２からの発光タイミング信号の状態に基づいて以下のように算出し、どちらか一方のＧ信号画像を補正して移動量算出部３４２へ出力する。下式（１０）は例としてＷｉｍｇ（ｔ）＿Ｇ信号画像を補整する場合の式である。
【０２２０】
Gg=WMimg_G(t+1)の画像内平均値/Wimg_G(t)の画像内平均値  ・・・・・（１０）
Ｇｇを乗算したＷｉｍｇ＿Ｇ（ｔ）とＷＭｉｍｇ＿Ｇ（ｔ＋１）を移動量算出部３４２へ出力する。
【０２２１】
移動量算出部３４２は入力される２つのＧ信号画像の画面全体の移動量を算出する。移動量の算出方法はＷＭｉｍｇ＿Ｇ（ｔ＋１）とＧｇ×Ｗｉｍｇ＿Ｇ（ｔ）に対して、ＷＭｉｍｇ＿Ｇ（ｔ＋１）の中央部分の所定サイズ領域を抽出し、Ｇｇ×Ｗｉｍｇ＿Ｇ（ｔ）に対して一般的なブロックマッチング処理を行う。画像中央位置を原点としてブロックマッチング処理により自乗誤差が最小となる位置の位置ベクトルを画像全体の動きベクトルとして動き補償差分画像生成部３４３へ出力する。
【０２２２】
上記説明では動きベクトルの算出はＧ信号で行なっているが、それに限定されない。Ｂ信号でも或いはＲ信号で行なっても良い。
【０２２３】
動き補償差分画像生成部３４３はフレームメモリ３１４からのカラー画像Ｗｉｍｇ（ｔ）、及び移動量算出部３４２からの動きベクトルが入力され、カラー画像Ｗｉｍｇ（ｔ）を前記動きベクトルに基づき動きを補正した動き補正画像ｃＷｉｍｇ（ｔ＋１）を生成する。更に選択部３１３からのカラー画像ＷＭｉｍｇ（ｔ＋１）と前記動き補正画像ｃＷｉｍｇ（ｔ＋１）とに基づき特殊光画像Ｎｉｍｇ（ｔ＋１）を以下の通りに算出する。
【０２２４】
Nimg(t+1)=WMimg(t+1)-cWimg(t+1)  ・・・・・（１１）
算出された特殊光画像Ｎｉｍｇ（ｔ＋１）は通常光画像補正部３１６と特殊色処理部３１８と第２特殊光画像生成部３８２へ出力される。
【０２２５】
通常光画像補正部３１６は第１実施の形態と同様であるため、詳細な説明は省略する。
【０２２６】
特殊色処理部３１８には第１特殊光画像生成部３８１で算出されたＮｉｍｇ（ｔ＋１）の内のＢ信号であるＮｉｍｇ＿Ｂ（ｔ＋１）とＧ信号であるＮｉｍｇ＿Ｇ（ｔ＋１）が入力されて第１実施の形態と同様の処理がされる。
【０２２７】
第２特殊光画像生成部３８２には第１特殊光画像生成部３８１で算出されたＮｉｍｇ（ｔ＋１）の内のＲ信号であるＮｉｍｇ＿Ｒ（ｔ＋１）が入力される。更に照射制御部３０２からのフィルタ選択信号が入力される。
【０２２８】
第２特殊光画像生成部３８２は照射制御部３０２からのフィルタ選択信号が入力された場合にはフレームメモリ３８３に入力されるＮｉｍｇ＿Ｒ（ｔ＋１）を一時保存すると共にＮｉｍｇ＿Ｒ（ｔ＋１）はフレームメモリ３８３に保存されているＮｉｍｇ＿Ｒ（ｔ−１）とに基づいて２つの色信号からなる画像ＩＲｉｍｇ２（ｔ＋１）を生成し、第２特殊色処理部３８４へ出力する。第２特殊色処理部３８４では、入力されたＩＲｉｍｇ２（ｔ＋１）を擬似カラー化したＩＲｉｍｇ（ｔ＋１）を生成し、第２特殊後処理部３８５へ出力する。
【０２２９】
第２特殊後処理部３８５は特殊色処理部３８４にて生成された擬似カラー画像が入力され、モニタの出力特性に基づいた階調変換、更に輪郭強調処理等の強調処理が後処理として実行された擬似カラー画像が合成処理部３８６へ出力される。
【０２３０】
合成処理部３８６の処理は入力される白色光画像Ｗｉｍｇと特殊光画像Ｎｉｍｇと第２特殊光画像ＩＲｉｍｇに基づき表示部４００に表示する出力画像を生成する。
【０２３１】
以上のように第３の実施形態によれば、図４４に示すように、通常光画像と２つの特殊光画像を同時に取得でき、更に特殊光画像を通常光画像と同一期間で高精度に撮像することができるので、異なる特徴量に基づく多角的な病変検出が行なえて、病変部の検出精度が向上するのでドクターの診断精度を向上させることができる。
【０２３２】
以上の本実施形態では、第２の照明光は、白色光と、第３の特定波長帯域の光と、第４の特定波長帯域の光を合成した光であってもよい。具体的には、第３の特定波長帯域の光と第４の特定波長帯域の光は、赤外光の波長帯域である。さらに具体的には、第３の特定波長帯域は７９０ナノメータ〜８２０ナノメータであり、第４の特定波長帯域は９０５ナノメータ〜９７０ナノメータである。第３の特定波長帯域が図３６のＲ２に相当し、第４の特定波長帯域が図３７のＲ３に相当する。
【０２３３】
これにより、第１照明光画像と第２照明光画像から、特殊光画像を求めることで、ＩＲＩ（Infra Red Imaging）と呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるＩＣＧ（インドシアニングリーン）を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお、７９０ｎｍ〜８２０ｎｍという波長は赤外指標薬剤の吸収がもっとも強いという特性から求められ、９０５ｎｍ〜９７０ｎｍという波長は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０２３４】
また、第１の照明光は、図３８に示すように白色光である。そして、第２の照明光は、図３９に示すように白色光と第１の特定波長帯域の光と第２の特定波長帯域の光と第３の特定波長帯域の光を合成した光、或いは、図４０に示すように白色光と第１の特定波長帯域の光と第２の特定波長帯域の光と第４の特定波長帯域の光を合成した光である。
【０２３５】
さらに変形例としては、第１の照明光は、白色光と第１の特定波長帯域の光を合成した光であってもよい。そして、第２の照明光は、白色光と第２の特定波長帯域の光と第３の特定波長帯域の光を合成した光、或いは、白色光と第２の特定波長帯域の光と第４の特定波長帯域の光を合成した光であってもよい。
【０２３６】
ここで、第１の特定波長帯域の光及び第２の特定波長帯域の光は、血液中のヘモグロビンに吸収される波長帯域であり、第３の特定波長帯域の光及び第４の特定波長帯域の光は、赤外光の波長帯域である。
【０２３７】
これにより、第１の照明光及び第２の照明光から特殊光画像を求めることで、ＮＢＩ及びＩＲＩによる観察が可能になる。ＮＢＩ及びＩＲＩについては上述したとおりなので、詳細な説明は省略する。具体的には図４４の例でいえば、特殊光画像であるＮｉｍｇ（ｔ＋１）がＮＢＩ画像に対応し、特殊光画像２であるＩＲｉｍｇ（ｔ＋１）がＩＲＩ画像に対応する。図４４に示したとおり、２タイミングに１回、２種類の特殊光画像を白色光と同時に取得することができる。
【０２３８】
また、画像処理部３０１は、第１照明光画像と第２照明光画像の差分を求めることで、差分画像を取得し、差分画像の色成分のうち、Ｇ成分とＢ成分から第１の特殊光画像を取得し、Ｒ成分から第２の特殊光画像を取得する。
【０２３９】
これにより、第１照明光画像と第２照明光画像の差分から、２種類の特殊光画像（具体的にはＮＢＩ画像及びＩＲＩ画像）を取得することが可能になる。具体的には上述したように図４４に示すタイミングで２種類の特殊光画像を取得することができる。分光推定等を用いる場合に比べて高精度な特殊光画像を白色光画像と同時に取得できる上に、２種類の性質の異なる（例えば検出しやすい病変の種類が異なる）特殊光画像を取得できるため、ドクターの診断や治療を容易にすることが可能になる。
【０２４０】
以上、本発明を適用した３つの実施の形態１〜３およびその変形例について説明したが、本発明は、各実施の形態１〜３やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜３や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜３や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０２４１】
１００  光源部、２００  撮像部、３００  プロセッサ部、４００  表示部、
５００  外部Ｉ／Ｆ部、１０１  白色光源、１０２  ＩＲ・ＵＶカットフィルタ、
１０３  ハーフミラー、１０４  発光制御部、１０５  第１の狭帯域光源、
１０６  第２の狭帯域光源、１０７  ダイクロイックプリズム、１０８  集光レンズ、
１０９  クロスプリズム、１１０  第３の狭帯域光源、１１１  回転狭帯域フィルタ、
２００  撮像部、２００  スコープ、２０１  ライトガイドファイバ、
２０２  照明レンズ、２０３  対物レンズ、２０４，２０７  撮像素子、
２０５  Ａ／Ｄ変換部、２０６  ダイクロイックプリズム、２０８  Ａ／Ｄ変換部、
３００  制御装置、３０１  画像処理部、３０２  照射制御部、３１１  前処理部、
３１２  同時化補間処理部、３１３  選択部、３１４  フレームメモリ、
３１５，３６３  特殊光画像生成部、３１６，３６４  通常光画像補正部、
３１７  通常色処理部、３１８  特殊色処理部、３１９  通常後処理部、
３２０  特殊後処理部、３２１  合成処理部、３４１，３４４  レベル補正部、
３４２，３４５  移動量算出部、３４３，３４６  動き補償差分画像生成部、
３５１，３７５  選択部、３５２，３５５  減算部、３５３，３５４  信号選択部、
３５６  信号合成部、３６０，３６１  前処理部、３６２  同時化補間処理部、
３７１  領域分割部、３７２  特定色判定部、３７３  病変部検出部、
３７４  病変領域合成部、３８１  第１特殊光画像生成部、
３８２  第２特殊光画像生成部、３８３  フレームメモリ、
３８４  第２特殊色処理部、３８５  第２特殊後処理部、３８６  合成処理部、
４００  表示部、５００  外部Ｉ／Ｆ部、８０１，８０２  狭帯域フィルタ
【図１】
2011234844.tif 000003
【図２】
2011234844.tif 000004
【図３】
2011234844.tif 000005
【図４】
2011234844.tif 000006
【図５】
2011234844.tif 000007
【図６】
2011234844.tif 000008
【図７】
2011234844.tif 000009
【図８】
2011234844.tif 000010
【図９】
2011234844.tif 000011
【図１０】
2011234844.tif 000012
【図１１】
2011234844.tif 000013
【図１２】
2011234844.tif 000014
【図１３】
2011234844.tif 000015
【図１４】
2011234844.tif 000016
【図１５】
2011234844.tif 000017
【図１６】
2011234844.tif 000018
【図１７】
2011234844.tif 000019
【図１８】
2011234844.tif 000020
【図１９】
2011234844.tif 000021
【図２０】
2011234844.tif 000022
【図２１】
2011234844.tif 000023
【図２２】
2011234844.tif 000024
【図２３】
2011234844.tif 000025
【図２４】
2011234844.tif 000026
【図２５】
2011234844.tif 000027
【図２６】
2011234844.tif 000028
【図２７】
2011234844.tif 000029
【図２８】
2011234844.tif 000030
【図２９】
2011234844.tif 000031
【図３０】
2011234844.tif 000032
【図３１】
2011234844.tif 000033
【図３２】
2011234844.tif 000034
【図３３】
2011234844.tif 000035
【図３４】
2011234844.tif 000036
【図３５】
2011234844.tif 000037
【図３６】
2011234844.tif 000038
【図３７】
2011234844.tif 000039
【図３８】
2011234844.tif 000040
【図３９】
2011234844.tif 000041
【図４０】
2011234844.tif 000042
【図４１】
2011234844.tif 000043
【図４２】
2011234844.tif 000044
【図４３】
2011234844.tif 000045
【図４４】
2011234844.tif 000046