(57)【要約】【課題】通常部位と特定部位とを識別しやすい状態にする。【解決手段】複数の波長帯域の光を発光する光源と、蛍光画像を撮像する第一撮像部と、通常画像を撮像する第二撮像部と、第一撮像部の蛍光画像の撮像により生成された蛍光画像信号に対して処理を行う第一画像処理部と、第二撮像部の通常画像の撮像により生成された通常画像信号に対して処理を行う第二画像処理部と、第一画像処理部で処理された蛍光画像信号と第二画像処理部で処理された通常画像信号とを加算して合成画像信号を生成する画像合成部と、を備え、第二画像処理部は、蛍光画像信号が有する色の成分または蛍光画像信号に対して付与された色の成分を、通常画像信号から低減する。【選択図】図４
2020185202.tif 000002
【特許請求の範囲】
【請求項１】
複数の波長帯域を撮像する撮像装置であって、
前記複数の波長帯域の光を発光する光源と、
蛍光画像を撮像する第一撮像部と、
通常画像を撮像する第二撮像部と、
前記第一撮像部の前記蛍光画像の撮像により生成された蛍光画像信号に対して処理を行う第一画像処理部と、
前記第二撮像部の前記通常画像の撮像により生成された通常画像信号に対して処理を行う第二画像処理部と、
前記第一画像処理部で処理された前記蛍光画像信号と前記第二画像処理部で処理された通常画像信号とを所定の割合で加算し、合成画像信号を生成する画像合成部と、
を備え、
前記第二画像処理部は、前記蛍光画像信号が有する色の成分、または、前記蛍光画像信号に対して前記第一画像処理部で付与された色の成分を、前記通常画像信号から低減する
撮像装置。
【請求項２】
前記蛍光画像信号が可視光帯域内のいずれかの色を有する場合、
前記第二画像処理部は、前記蛍光画像信号が有する色を前記通常画像信号から低減し、前記蛍光画像信号が有する色の補色を前記通常画像信号において強調する
請求項１に記載の撮像装置。
【請求項３】
前記光源は、
前記蛍光画像を生じさせる励起光と、前記通常画像を生じさせる通常光とを照射する際に、
前記蛍光画像信号が有する色の成分を前記通常光から低減し、前記蛍光画像信号が有する色の補色の成分を前記通常光において強調する
請求項２に記載の撮像装置。
【請求項４】
前記第一画像処理部は、可視光帯域外の前記蛍光画像信号に対して色を付与し、
前記第二画像処理部は、前記蛍光画像信号に対して付与された前記色を前記通常画像信号から低減し、前記蛍光画像信号に対して付与された前記色の補色を前記通常画像信号において強調する
請求項１に記載の撮像装置。
【請求項５】
前記光源は、前記蛍光画像を生じさせる励起光と、前記通常画像を生じさせる通常光とを照射する際に、前記蛍光画像信号に付与された色の成分を前記通常光から低減し、前記蛍光画像信号に付与された色の補色の成分を前記通常光において強調する
請求項４に記載の撮像装置。
【請求項６】
前記蛍光画像信号が可視光帯域内のいずれかの色を有する場合、または可視光帯域外の前記蛍光画像信号に対して前記第一画像処理部が色を付与する場合、
前記第二画像処理部は、前記通常画像信号の色信号を抑制して処理する
請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、被観察部への可視光の照射によって取得された通常画像と、被験体への励起光の照射によって取得された蛍光画像とに基づいて合成画像を生成する医療用あるいは産業用の撮像装置に関する。
【背景技術】
【０００２】
従来、体腔内の組織を観察する内視鏡システムが広く知られている。この内視鏡システムとして、白色光の照射によって体腔内の被観察部を撮像して通常画像を得て、この通常画像をモニタ画面上に表示する、電子式内視鏡システムが実用化されている。
【０００３】
また、以上のような内視鏡システムとして、励起光の照射によって被観察部から発せられた自家蛍光に基づく蛍光画像を撮像して蛍光画像を得て、この蛍光画像と通常画像とを合成してモニタ画面上に表示する蛍光内視鏡システムが実用化されている。
【０００４】
特にインドシアニングリーン（Indocyanine Green）の静脈投与による血管血流と病変組織での蛍光観察が以前より行われており、７５０〜７９０ｎｍの励起光照射に対して８３０〜８４０ｎｍの蛍光が得られることが一般で知られている。ただし、得られる蛍光の波長帯は近赤外のため、蛍光により得られる画像はモノクロになる。
【０００５】
蛍光内視鏡システムにおいて通常画像と蛍光画像とを合成することについて、以下の特許文献１に各種の提案がなされている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−７５１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載の蛍光内視鏡システムは、通常画像と蛍光画像の輝度を単純に所定の比率で合成している。このため、蛍光画像から得られる特徴的情報を的確に得られていないだけでなく、不必要な情報が多く含まれている問題がある。たとえば、インドシアニングリーンが投与された組織は、励起光の照射によって血流部分が自家蛍光を発するが、血流部分の周辺部位に対し自家蛍光が反射することで、周辺部位までも蛍光発光するかのように見える場合が多い。そのため、本来は不必要な周辺部位までもが表示され、自家蛍光を発する所望の特定部位のみの表示がされない状態の、見にくい合成画像となる。この結果、合成画像の表示を観察する際に、通常画像と蛍光画像との識別が困難になるという問題があった。
【０００８】
この発明は、上記の問題に鑑みてなされたものであり、通常画像と蛍光画像との識別が容易な状態の合成画像を生成することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明は、複数の波長帯域を撮像する撮像装置であって、複数の波長帯域の光を発光する光源と、蛍光画像を撮像する第一撮像部と、通常画像を撮像する第二撮像部と、前記第一撮像部の前記蛍光画像の撮像により生成された蛍光画像信号に対して処理を行う第一画像処理部と、前記第二撮像部の前記通常画像の撮像により生成された通常画像信号に対して処理を行う第二画像処理部と、前記第一画像処理部で処理された前記蛍光画像信号と前記第二画像処理部で処理された通常画像信号とを所定の割合で加算し、合成画像信号を生成する画像合成部と、を備え、前記第二画像処理部は、前記蛍光画像信号が有する色の成分、または、前記蛍光画像に対して前記第一画像処理部で付与された色の成分を、前記通常画像信号から低減するものである。
【発明の効果】
【００１０】
この発明によれば、通常画像と蛍光画像との識別が容易な状態の合成画像を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の撮像装置を硬性鏡システムに適用した実施の形態を示す構成図である。
【図２】本発明の実施の形態における硬性鏡システムに含まれる撮像ユニットの構成を示す構成図である。
【図３】本発明の実施の形態における硬性鏡システムに含まれる画像処理装置と光源装置の構成を示す構成図である。
【図４】本発明の実施の形態における画像処理装置の主要部の詳細な構成を示す構成図である。
【図５】本発明の実施の形態における蛍光画像に階調補正する際の特性の一例を示す説明図である。
【図６】本発明の実施の形態における通常画像と蛍光画像とが合成された合成画像の一例を示す説明図である。
【図７】本発明の実施の形態における色信号変換の具体例を示す説明図である。
【図８】本発明の実施の形態における色信号変換の具体例を示す説明図である。
【図９】本発明の実施の形態における通常画像の画像処理の様子を示す説明図である。
【図１０】本発明の実施の形態における光源の発光成分の一例を示す説明図である。
【発明を実施するための形態】
【００１２】
以下、この発明による撮像装置を硬性鏡システム１に適用した実施の形態につき、図面を用いて説明する。なお、各図において、同一部分には同一符号を付している。
【００１３】
実施の形態１．
はじめに、本発明の実施の形態における撮像装置を硬性鏡システム１に適用した構成について、図１を参照して説明する。図１は、本発明の撮像装置を硬性鏡システムに適用した実施の形態を示す構成図である。なお、以下の実施の形態の説明において、「通常画像」は照射する可視光の反射により得られる画像であり、「蛍光画像」は励起光を照射して発生する蛍光により得られる画像である。
【００１４】
［硬性鏡システムの構成］
図１に示される硬性鏡システム１は、光源装置２と、画像処理装置３と、モニタ４と、硬性鏡装置１０とを備える。光源装置２は、通常光および励起光を同時に発生する。画像処理装置３は、通常画像と蛍光画像を合成して生成した合成画像をモニタ４に供給する。モニタ４は通常画像と蛍光画像とが合成された合成画像を表示する。硬性鏡装置１０は、光源装置２から発生された通常光および励起光を光ケーブルＬＣを介して受けて硬質挿入部３０により導光して図示されない被観察部に照射すると共に、通常光および励起光が照射された被観察部に生じる通常画像と蛍光画像とをケーブル５を介して画像処理装置３に導く。
【００１５】
硬性鏡装置１０は、撮像ユニット２０と、硬質挿入部３０とを備える。硬性鏡装置１０において、撮像ユニット２０と、硬質挿入部３０とは、硬質挿入部３０側の接続部３０Ｍが、撮像ユニット２０側に形成された開口部に嵌め合わされることにより、脱着可能に接続される。なお、接続部３０Ｍと撮像ユニット２０側の開口部とは、例えば、Ｃマウントのような一般的な規格に基づいて嵌め合わされる。
【００１６】
硬質挿入部３０は、被観察部内の撮影を行う際に被観察部内に挿入される部分であって、硬質な材料から形成され、たとえば、直径略５ｍｍの円柱形状を有している。硬質挿入部３０は、被観察部内に挿入され、通常光と励起光とを被観察部に照射すると共に、通常光および励起光が照射された被観察部に生じる通常画像と蛍光画像とを撮像ユニット２０に導く。
【００１７】
硬質挿入部３０の内部には、被観察部の像を結像するためのレンズ群が収容されている。そして、硬質挿入部３０の先端３０Ｙから入射された被観察部の通常画像および蛍光画像は、レンズ群を介して接続部３０Ｍの撮像ユニット２０側に入力される。
【００１８】
硬性鏡装置１０の側面にはケーブル接続口が設けられており、光ケーブルＬＣが機械的に接続される。これにより、光源装置２と硬質挿入部３０とが光ケーブルＬＣを介して光学的に接続される。光源装置２からの通常光および励起光は、硬質挿入部３０内部のライトガイドを通して照射窓３０ｄより被観察部に照射される。
【００１９】
［撮像ユニットの構成］
以下、本発明の実施の形態における硬性鏡システム１に用いられる撮像ユニット２０の構成について、図２を参照して説明する。図２は、本発明の実施の形態における硬性鏡システム１に含まれる撮像ユニット２０の構成を示す構成図である。撮像ユニット２０は、共通励起フィルタ２１、ダイクロイックプリズム２２、励起光カットフィルタ２３、第一結像光学系２４、撮像素子２５、第二結像光学系２６、撮像素子２７、撮像制御ユニット２８を備える。
【００２０】
撮像ユニット２０は、硬質挿入部３０内のレンズ群より結像された被観察部の蛍光画像を撮像して被観察部の蛍光画像信号を生成する第一の撮像系と、硬質挿入部３０内のレンズ群により結像された被観察部の通常画像を撮像して通常画像信号を生成する第二の撮像系とを備える。これらの撮像系は、ダイクロイックプリズム２２によって、互いに直交する２つの光軸に分けられることで構成される。
【００２１】
第一の撮像系は、共通励起フィルタ２１とダイクロイックプリズム２２を介して、励起光をカットする励起光カットフィルタ２３と、ダイクロイックプリズム２２および励起光カットフィルタ２３を透過した蛍光画像Ｌ４を結像する第一結像光学系２４と、第一結像光学系２４により結像された蛍光画像Ｌ４を撮像する撮像素子２５とを備える。共通励起フィルタ２１は、蛍光造影剤の励起光を第一と第二の撮像系に対して共通に抑制するもので、必要応じて着脱が可能である。撮像素子２５は、蛍光画像Ｌ４の波長帯域の光を高感度に検出し、蛍光画像信号に変換して出力する。
【００２２】
第二の撮像系は、共通励起フィルタ２１とダイクロイックプリズム２２を介して、通常画像Ｌ３を結像する第二結像光学系２６と、第二結像光学系２６により結像された通常画像Ｌ３を撮像する撮像素子２７を備える。すなわち、第一の撮像系と第二の撮像系が、複数の波長帯域を撮像する撮像装置を構成している。
【００２３】
第二の撮像系の撮像素子２７は、通常画像の波長帯域の光を検出し、通常画像信号に変換して出力する。撮像素子２７の撮像面には、３原色の赤（Ｒ）、緑（Ｇ）および青（Ｂ）、またはシアン（Ｃ）、マゼンタ（Ｍ）およびイエロー（Ｙ）のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。
【００２４】
撮像制御ユニット２８は、撮像素子２５から出力された蛍光画像信号および撮像素子２７から出力された通常画像信号に対し、相関二重サンプリング、自動利得制御、Ａ／Ｄ変換処理を施し、ケーブル５を介して画像処理装置３に出力する。
【００２５】
［光源装置と画像処理装置の構成］
以下、本発明の実施の形態における硬性鏡システム１に用いられる光源装置２と画像処理装置３の構成について、図３を参照して説明する。図３は、本発明の実施の形態における硬性鏡システム１に含まれる光源装置２と画像処理装置３の構成を示す構成図である。
【００２６】
光源装置２は、ＬＤドライバ２ａ、ＬＤ光源２ｂ、色処理部２ｃ、通常光源２ｄ、調光処理部２ｅ、絞り２ｆ、集光レンズ２ｇ、ミラー２ｈ、集光レンズ２ｉ、ダイクロイックミラー２ｊを有する。ここで、ＬＤドライバ２ａは、ＬＤ光源２ｂを発光駆動する。ＬＤ光源２ｂは、ＬＤドライバ２ａにより発光駆動され、励起光Ｌ２を射出する。色処理部２ｃは、通常光源２ｄの発光波長整分を調整する。通常光源２ｄは、色処理部２ｃにより調整された波長の通常光Ｌ１を射出する。調光処理部２ｅは、絞り２ｆを制御して通常光Ｌ１の光量を調整する。絞り２ｆは、調光処理部２ｅに制御され絞りの開口を調整し、通常光Ｌ１の光量を調整する。集光レンズ２ｇは、ＬＤ光源２ｂからの励起光Ｌ２を集光する。ミラー２ｈは、集光された励起光Ｌ２をダイクロイックミラー２ｊ方向に反射する。集光レンズ２ｉは、通常光源２ｄからの通常光Ｌ１を集光する。ダイクロイックミラー２ｊは、通常光Ｌ１を透過し、励起光Ｌ２を反射することで、通常光Ｌ１と励起光Ｌ２とを重畳する。すなわち、光源装置２は、複数の波長帯域の光を発光する光源を構成している。
【００２７】
通常光源２ｄは、キセノンランプ、ＬＥＤ、もしくはレーザによるＲＧＢ光源が使用され、４００〜７００ｎｍの広帯域の波長からなる通常光Ｌ１を射出する。ＬＤ光源２ｂは、約４００ｎｍ〜８００ｎｍの可視から近赤外帯域あたりまでで蛍光造影剤用の励起光を射出する。たとえば、ＬＤ光源２ｂは、蛍光造影剤としてインドシアニングリーンを用いた場合には７５０〜７９０ｎｍの近赤外光を励起光Ｌ２として射出し、蛍光造影剤としてフルオレセインを用いた場合には４７０ｎｍ近辺の青色光を励起光Ｌ２として射出する。
【００２８】
励起光Ｌ２としては、広帯域の波長からなる通常光よりも狭帯域の波長が用いられる。そして、励起光Ｌ２としては上記波長域の光に限定されず、蛍光色素の種類もしくは自家蛍光させる生体組織の種類によって適宜決定される。なお、ＬＤ光源２ｂは、ＬＥＤもしくはレーザによるＲＧＢ光源が使用されるが、通常光源２ｄがＲＧＢ光源を用いる場合、ＲＧＢ光源に励起光を含ませてＬＤ光源と共通で構成することも可能である。
【００２９】
画像処理装置３は、ＣＰＵ３１、タイミングジェネレータ３２、操作部３３、通常画像入力コントローラ３４、蛍光画像入力コントローラ３５、画像処理部３６、メモリ３７、ビデオ出力部３８を備える。ＣＰＵ３１は、画像処理において各部を制御する制御部であり、プログラムとデータを格納した記憶部を含むマイクロコンピュータからなり、操作部３３からの指示入力も可能なもので構成する。
【００３０】
タイミングジェネレータ３２は、撮像ユニット２０の撮像素子２５、撮像素子２７および光源装置２のＬＤドライバ２ａを駆動するための駆動パルス信号を出力する。操作部３３は、種々の操作指示の入力と制御パラメータの入力とを受け付ける。
【００３１】
通常画像入力コントローラ３４および蛍光画像入力コントローラ３５は、所定容量のラインバッファを備えており、撮像ユニット２０の撮像制御ユニット２８から出力された１フレーム毎の通常画像信号および蛍光画像信号をそれぞれ一時的に記憶する。そして、通常画像入力コントローラ３４に記憶された通常画像信号および蛍光画像入力コントローラ３５に記憶された蛍光画像信号はバスを介してメモリ３７に格納される。画像処理部３６は、メモリ３７から読み出された１フレーム毎の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力する。ビデオ出力部３８は、画像処理部３６から出力された通常画像信号、蛍光画像信号および合成画像信号がバスを介して入力され、所定の処理を施して表示用信号を生成し、その表示用信号をモニタ４に出力する。
【００３２】
［画像処理部の構成］
以下、本発明の実施の形態における硬性鏡システム１の画像処理装置３に含まれる画像処理部３６の具体的な構成について、図４を参照して説明する。図４は、本発明の実施の形態における画像処理装置３の主要部の詳細な構成を示す構成図である。
【００３３】
図４において、画像処理部３６は、通常画像処理部３６ａと、蛍光画像処理部３６ｂと、通常画像色処理部３６ｃと、蛍光画像補正処理部３６ｄと、画像合成部３６ｅを備える。ここで、通常画像処理部３６ａは、入力された通常画像信号に対し通常画像に適した所定の画像処理を施す。蛍光画像処理部３６ｂは、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施す。通常画像色処理部３６ｃは、通常画像処理部３６ａから出力される通常画像信号に対し、通常画像と蛍光画像との識別が容易になるように、通常画像について色の調整を行う。蛍光画像補正処理部３６ｄは、蛍光画像処理部３６ｂで所定の処理を施された蛍光画像信号に対し、蛍光画像から必要情報を抽出するため所定の処理と各種補正処理とを行う。画像合成部３６ｅは、通常画像色処理部３６ｃから出力される通常画像信号に対し、蛍光画像補正処理部３６ｄから出力される蛍光画像信号を合成する。ここで、蛍光画像処理部３６ｂと蛍光画像補正処理部３６ｄが、第一画像処理部を構成する。通常画像処理部３６ａと通常画像色処理部３６ｃが、第二画像処理部を構成する。
【００３４】
また、蛍光画像補正処理部３６ｄは、階調補正処理部３６ｆと、ゲイン調整部３６ｇと、２値化処理部３６ｈと、輝度信号を色信号に変換する色処理部３６ｉと、を備える。ここで、階調補正処理部３６ｆは、階調補正処理により蛍光画像信号から特定部位を抽出する。ゲイン調整部３６ｇは、特定部位が抽出された蛍光画像信号に対し信号を増幅する。２値化処理部３６ｈは、ゲイン調整が施された蛍光画像信号に対し信号を、最小値と最大値との２つの値に変換する。色処理部３６ｉは、蛍光画像信号に色を付する処理を行う。
【００３５】
なお、本実施の形態で使用する励起光と蛍光の波長は、以下に説明する観察モードに応じて決定されるため、観察モードに合わせて光源装置２と撮像ユニット２０とを構成する必要がある。ここで、インドシアニングリーン蛍光観察モードでは、励起光は近赤外光（７５０〜７９０ｎｍ）、蛍光は近赤外光（８３０〜８４０ｎｍ）である。フルオレセイン蛍光観察モードでは、励起光は可視光の青色（４７０ｎｍ）、蛍光は可視光の緑色（５３０ｎｍ近辺）である。そして、５ＡＬＡ蛍光観察モードでは、励起光は可視光の紫色（４０５ｎｍ）、蛍光は可視光の赤色（６３５ｎｍ近辺）である。
【００３６】
［全体動作］
次に、本発明の撮像装置が適用された硬性鏡システム１の実施の形態について動作の説明を行う。動作開始時には、光ケーブルＬＣが接続された硬質挿入部３０とケーブル５が撮像ユニット２０に取り付けられた後、光源装置２と画像処理装置３と撮像ユニット２０の電源が投入される。
【００３７】
始めに、硬質挿入部３０が被観察部内に挿入され、硬質挿入部３０の先端３０Ｙが被観察部の近傍に設置される。そして、光源装置２の通常光源２ｄから射出された通常光Ｌ１が、集光レンズ２ｉ、ダイクロイックミラー２ｊおよび光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に照射される。
【００３８】
一方、光源装置２のＬＤ光源２ｂから射出された励起光Ｌ２が、集光レンズ２ｇ、ミラー２ｈ、ダイクロイックミラー２ｊおよび光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に通常光と同時に照射される。なお、同時に照射するとは、必ずしも照射期間が完全に一致している必要はなく、少なくとも一部の照射期間が重複していればよい。
【００３９】
そして、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常画像が撮像されるとともに、励起光Ｌ２の照射によって被観察部から発せられた蛍光に基づく蛍光画像が通常画像と同時に撮像される。
【００４０】
より具体的には、通常画像の撮像の際には、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常画像Ｌ３が硬性鏡装置１０の先端３０Ｙから入射し、内部のレンズ群により導光されて撮像ユニット２０に向けて射出される。
【００４１】
撮像ユニット２０に入射された通常画像Ｌ３は、ダイクロイックプリズム２２により撮像素子２７に向けて直角方向に反射され、第二結像光学系２６により撮像素子２７の撮像面上に結像され、撮像素子２７によって所定間隔を空けて順次撮像される。なお、本実施の形態においては、通常画像は３０ｆｐｓのフレームレートで撮像されるものとする。なお、ダイクロイックプリズム２２、第二結像光学系２６、及び撮像素子２７が、通常画像を撮像する第二撮像部を構成する。
【００４２】
撮像素子２７から順次出力された通常画像信号は、撮像制御ユニット２８において相関二重サンプリング、自動利得制御、及びＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。
【００４３】
一方、蛍光画像の撮像の際には、励起光の照射によって被観察部から発せられた蛍光に基づく蛍光画像Ｌ４が硬性鏡装置１０の先端３０Ｙから入射し、内部のレンズ群により導光されて撮像ユニット２０に向けて射出される。
【００４４】
撮像ユニット２０に入射された蛍光画像Ｌ４は、ダイクロイックプリズム２２および励起光カットフィルタ２３を通過した後、第一結像光学系２４により撮像素子２５の撮像面上に結像され、撮像素子２５によって所定間隔を空けて撮像される。なお、本実施の形態においては、通常画像はたとえば５〜３０ｆｐｓのフレームレートで撮像されるものとする。なお、ダイクロイックプリズム２２、励起光カットフィルタ２３、第一結像光学系２４、及び撮像素子２５が、蛍光画像を撮像する第一撮像部を構成する。
【００４５】
撮像素子２５から順次出力された蛍光画像信号は、撮像制御ユニット２８において相関二重サンプリング、自動利得制御、及びＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。
【００４６】
［通常画像と蛍光画像の生成処理手順］
以下、撮像ユニット２０において撮像された通常画像信号および蛍光画像信号に基づいて、画像処理部３６において合成画像を生成する処理手順を、図３と図４を参照して説明する。
【００４７】
まず、通常画像信号の前処理について説明する。画像処理装置３に入力された通常画像信号は、通常画像入力コントローラ３４において一時的に格納された後、メモリ３７に格納される。そして、メモリ３７から読み出された１フレーム毎の通常画像信号は、画像処理部３６へ出力される。画像処理部３６へ入力された通常画像信号は、通常画像処理部３６ａにて階調処理補正とノイズ除去処理が施され、通常画像色処理部３６ｃにて通常画像の色処理が行われる。
【００４８】
［蛍光画像の処理］
次に蛍光画像信号の前処理について説明する。画像処理装置３に入力された蛍光画像信号は、蛍光画像入力コントローラ３５において一時的に格納された後、メモリ３７に格納される。そして、メモリ３７から読み出された１フレーム毎の蛍光画像信号は、画像処理部３６へ出力される。画像処理部３６へ入力された蛍光画像信号は、蛍光画像処理部３６ｂにてノイズ除去処理が施される。蛍光画像処理部３６ｂにてノイズ除去処理が施された蛍光画像信号は、蛍光画像補正処理部３６ｄに送られる。
【００４９】
蛍光画像信号については、通常画像信号と合成される前に、蛍光画像補正処理部３６ｄにおいて、必要情報の抽出処理が行われ、補正済みの蛍光画像信号が生成される。その処理手順について以下に説明する。
【００５０】
撮像素子２５から得られる蛍光画像は、本来の特定部位のみならず、特定部位の周辺の情報も少なからず含んでいる。蛍光観察では、インドシアニングリーン投与にて血漿内蛋白と結合した血流及び病変組織等の特定部位が自家蛍光を発する自家蛍光信号を撮像素子２５にて得るが、特定部位近傍の周辺部位に反射する蛍光反射成分についても撮像素子２５が信号として拾ってしまう。ただし、この周辺部位の蛍光反射信号は微弱であるため、以下に説明する階調補正を行うことで削減または遮断することが可能である。
【００５１】
階調補正処理部３６ｆは、図５に示す階調補正処理の入出力特性を有しており、蛍光画像信号から血管及び病変組織等の特定部位の信号を必要情報として抽出する。図５は、本発明の実施の形態における蛍光画像に階調補正する際の特性の一例を示す説明図である。
【００５２】
図５に示される階調補正特性は、破線で示される直線的比例特性ではなく、実線で示されるような低レベル遮断型の２段階特性Ａである。ここで、しきい値Ｔｈ未満のＬｖ１の入力は、特性ａ１により出力が遮断される。一方、しきい値Ｔｈ以上のＬｖ２の入力は、特性ａ２により出力に現れる。この図５の階調補正処理により、血管及び病変組織等の特定部位の蛍光画像信号は出力され、周辺部位の蛍光反射信号は遮断される。これによって、血管血流及び病床部位等の特定部位の自家蛍光部分のみを抽出することができる。
【００５３】
階調補正処理部３６ｆにて階調処理がなされた蛍光画像信号は、ゲイン調整部３６ｇにてゲインを適切に調整された状態で増幅される。階調補正された蛍光画像信号が微弱〜強力のいずれのレベルであっても、ゲイン調整部３６ｇにて一定範囲の信号強度になるように調整される。
【００５４】
ゲイン調整部３６ｇにて蛍光画像信号にゲイン調整が施された後、必要情報をさらに抽出する目的で、２値化処理部３６ｈに入力されて閾値処理が施される。この閾値処理により、蛍光画像信号は、最低値と最大値の２つの値に変換される。閾値の決定方法としては、モード法または微分ヒストグラム法等の既知の手法を用いるが、操作部３３から閾値を直接入力するようにしてもよい。また、必ずしも２値化処理を施す必要はなく、そのまま、色処理部３６ｉへ出力してもよい。
【００５５】
階調補正処理とゲイン調整と２値火処理された蛍光画像信号は、色処理部３６ｉに入力され、蛍光画像信号に対して色処理が施される。蛍光が近赤外光である場合は、蛍光画像信号が輝度信号のみであるため、色処理部３６ｉが色処理により蛍光画像信号に色を付すことが望ましい。
【００５６】
［蛍光画像の色処理の具体例］
蛍光画像信号は色処理部３６ｉに入力され、蛍光画像信号に対して色処理が施される。色処理せずにそのまま通常画像信号と合成処理してもよいが、蛍光画像信号はたとえば近赤外蛍光の場合はモノクロ信号であるため、合成後の蛍光画像部分が目立ちにくい可能性がある。
【００５７】
そこで、色処理部３６ｉは、輝度信号を色信号に変換する。色の選択は対象となる通常画像信号の色成分から合成後に蛍光部分が目立つような色を自動的に選択して付与するようにしてもよい。また、操作部３３から直接入力するようにしてもよい。この場合、特定部位の視認性と解像度の両立を考慮し、たとえば輝度信号の全てを色信号に変換するのではなく、輝度レベルのままにする領域と、色信号に変換する領域があってもよい。
【００５８】
すなわち、図７に示す色変換の具体例では、蛍光輝度が高い自家蛍光の特定部位ＦＬ１を色信号に変換し、低輝度の反射が生じる周辺部位ＦＬ２は輝度のままとし、特定部位ＦＬ１である自家蛍光部分の視認性を上げている。このとき輝度信号から変換する色信号を、操作部３３から任意に選択可能とすれば、特定部位をさらに明示しやすくなる。また、蛍光画像に含まれる特定部位の点滅、輝度レベルまたは色相の可変、といった手法で制御して表示することで、特定部位に対してさらに視認性を向上させることができる。
【００５９】
また、図８に示す色変換の具体例では、特定部位ＦＬ１の全て色信号に変換するのではなく、表示画素単位で輝度信号Ｙと色信号Ｃに分けで変換し表示することができる。これにより、色信号のみでは飽和してしまい見えなくなる可能性のある輝度信号のディテール部分も同時に表示することができる。なお、図８に示す輝度Ｙと色Ｃの配分またはレベルは状況に合わせて適当な値で設定すればよく、図８中の輝度部分をゼロとして可視画像と重畳してもよい。一方、蛍光が可視光であり色を有する場合は、色処理部３６ｉは蛍光画像信号に色処理を付さなくてもよい。
【００６０】
［画像合成処理］
以下、画像合成部３６ｅにおける画像合成処理を、詳細について説明する。画像合成部３６ｅには、通常画像色処理部３６ｃから通常画像信号Ｃｖと、蛍光画像補正処理部３６ｄから蛍光画像信号Ｃｉ１とが入力される。画像合成部３６ｅは、通常画像信号Ｃｖと蛍光画像信号Ｃｉ１とを、以下に説明する所定の割合にて合成する。
【００６１】
合成画像信号Ｃｓは、通常画像信号Ｃｖ、蛍光画像信号Ｃｉ１を、重み付け（α１，β１）加算することにより生成される。
たとえば、合成画像信号Ｃｓは、以下の演算式により生成される。
Ｃｓ＝α１×Ｃｖ＋β１×Ｃｉ１
なお、この演算におけるα１とβ１とは任意に定めることができる。
【００６２】
そして、画像合成部３６ｅにおいて生成された合成画像信号は、ビデオ出力部３８に出力される。ビデオ出力部３８は、入力された合成画像信号に所定の処理を施して表示用信号を生成し、その表示用信号をモニタ４に出力する。そして、モニタ４は、入力された表示用信号に基づいて、図６（ｄ）のような合成画像を表示する。
【００６３】
すなわち、画像合成部３６ｅは、通常画像（図６（ａ））に階調補正蛍光画像（図６（ｃ））を合成することにより、通常部位Ｎ（図６（ａ））と特定部位ＦＬ１（図６（ｃ））を含む合成画像（図６（ｄ））を得ることができる。この合成画像（図６（ｄ））において、血管及び病変組織等の特定部位ＦＬ１が明確に表示された画像を得ることができる。以上の実施の形態によれば、通常部位Ｎを含む通常画像（図６（ａ））と、特定部位ＦＬ１を含む蛍光画像（図６（ｃ））との識別が容易な状態の合成画像（図６（ｄ））を生成することができる。
【００６４】
［通常画像、蛍光画像、合成画像］
以下、通常画像と蛍光画像の階調処理と、画像合成の様子を、図６を参照して具体的に説明する。図６は、本発明の実施の形態における通常画像と蛍光画像とが合成された合成画像の一例を示す説明図である。
【００６５】
ここで、図６（ａ）は、可視画像による通常画像である。被観察部に対して通常光Ｌ１として白色光を照射した場合、一様に白色光を反射するため、通常部位Ｎを含む通常画像（図６（ａ））が第二の撮像系に得られる。
【００６６】
一方、被観察部に対して励起光を照射した場合、血管、病変組織等の特定部位より自家蛍光が発生するため、第一の撮像系に蛍光画像（図６（ｂ））が得られる。蛍光画像（図６（ｂ））は、特定部位ＦＬ１に生じる自家蛍光と、特定部位の周辺部位ＦＬ２に生じる自家蛍光の反射による蛍光反射を含んでいる。蛍光画像（図６（ｂ））は階調補正され、周辺部位ＦＬ２の蛍光反射が削減され、特定部位ＦＬ１の自家蛍光を含む階調補正蛍光画像（図６（ｃ））が得られる。
【００６７】
そして、通常画像（図６（ａ））に階調補正蛍光画像（図６（ｃ））が合成され、通常部位Ｎと特定部位ＦＬ１を含む合成画像（図６（ｄ））が生成される。
【００６８】
［通常画像色処理と光源色調整］
以下、通常画像と蛍光画像との識別が容易な状態の合成画像を生成するため、通常画像側での色処理、これに連動した光源の色調整について、図９と図１０を参照して説明する。図９は、本発明の実施の形態における通常画像の画像処理の様子を示す説明図である。図１０は、本発明の実施の形態における光源の発光成分の一例を示す説明図である。
【００６９】
通常画像は、通常画像処理部３６ａで階調処理補正、ノイズ除去等の処理が施されたち、通常画像色処理部３６ｃにて色処理が施される。具体的には、画像合成後の画面上で蛍光部分がより分かりやすく観察できるよう、蛍光画像との画像合成処理の前に必要な色調整を行う。
【００７０】
従来の一般的なインドシアニングリーン蛍光観察モードでは、図９（ａ）の特性にて通常画像色処理部３６ｃで処理を行っていた。また、インドシアニングリーン蛍光観察モードでは、光源装置２は、近赤外の励起光とともに、通常可視領域の光を照射すべく、図１０（ａ）に示す特性にて発光していた。
【００７１】
ここで、フルオレセイン蛍光観察モードにおいて緑色（５３０ｎｍ近辺）の蛍光が生じる動作モードの場合、合成後に緑色の蛍光部分が識別しやすいように、人間の目による識別性を利用して、通常画像色処理部３６ｃは、緑色の補色である赤色を強調する特性（図９（ｂ））にて処理を行う。このとき、通常画像に元々含まれている青色または緑色は、蛍光画像の緑色を目立たせるため、あるレベル以下に抑制する方向で調整される。
【００７２】
また、光源装置２は、フルオレセイン蛍光観察モードにおいて緑色（５３０ｎｍ近辺）の蛍光が生じる動作モードの場合、図１０（ｂ）のように、励起光としての青色（４７０ｎｍ）とともに周辺術野の撮像のため赤色（たとえば６４０ｎｍ）を低いレベルで発光させる。つまり、通常画像側は、光源装置２による照明と、通常画像色処理部３６ｃの画像処理の双方で、蛍光画像に相当する緑色成分を一定レベル以下に抑制し、蛍光成分とは補色の関係にある赤色成分を一定レベル以上に調整する。
【００７３】
これらの処理により、蛍光画像の緑色が強調されるため、合成画面上にて蛍光部分が認識しやすい合成画像を得ることができる。なお、このとき、フルオレセインは可視蛍光造影剤であるため、蛍光観察モード時は共通励起フィルタ２１がＯＮ状態となり入射光からフルオレセインの励起光成分をカットする方向に制御され、逆に通常撮像モード時は共通励起フィルタ２１がＯＦＦ状態となり入射光の波長全てが入力される方向に制御される。
【００７４】
さらに異なる蛍光造影剤の一例で、５ＡＬＡ蛍光観察モードの場合、蛍光波長が赤色（６３５ｎｍ近辺）のため、通常画像側は、図９（ｃ）のように青色と赤色成分をあるレベル以下に抑制し、蛍光成分とは補色の関係にある緑色成分をあるレベル以上残すように、通常画像色処理部３６ｃにて処理を行う。そして、光源装置２は、図１０（ｃ）のように、励起光としての紫色（４０５ｎｍ）とともに、周辺術野の撮像のため緑色（たとえば５３０ｎｍ）を低いレベルで発光させる。
【００７５】
これらの処理にて、蛍光（赤色系）が強調されるため、合成画面上にて蛍光部分が認識しやすい合成画像を得ることができる。このときの共通励起フィルタ２１の動作はフルオレセインと同様である。共通励起フィルタ２１のカット波長は、蛍光造影剤ごとで異なる励起波長のものを装着必要となるが、フルオレセイン（４７０ｎｍ）と５ＡＬＡ（４０５ｎｍ）を共通で使用する場合、たとえば５００ｎｍ以下の波長をまとめてカットするような特性でもよい。
【００７６】
さらに、人間の目の識別性を利用した別の例として、通常画像のうち色信号を抑制することで蛍光画像を強調することが可能となる。たとえば、通常画像の利得特性が図９（ａ）のところ、図９（ｂ）のように色信号のみを全帯域に渡って抑制することで実現できる。また、この抑制方法を利用した極端な手法としては、通常画像を輝度信号のみのモノクロ画像となるようにする。この場合、通常画像色処理部３６ｃにて図９（ｄ）のような画像処理を行い、蛍光画像は色信号を含むカラー画像となるよう色処理部３６ｉにて画像処理を行ったのち、画像合成部３６ｅにて画像合成を行う。これにより、モノクロの周辺画像上において観察に必要な蛍光部分がカラーで表示されるため、明らかに識別しやすくなる。
【００７７】
また、上述の展開例として、蛍光画像側の色処理としては、たとえば緑色や赤色等の単独色を付加してもよいが、輝度の強度によって色調を変えたり、通常画像側の色を検知したうえでその補色関係にある色に変更可能とすることで、観察しやすさと視認性がさらに向上する。
【００７８】
すなわち、通常画像色処理部３６ｃは、蛍光画像信号が有する色の成分、または、蛍光画像信号に対して付与された色の成分を、通常画像信号から低減する。また、通常画像色処理部３６ｃは、蛍光画像信号が有する色を通常画像信号から低減し、蛍光画像信号が有する色の補色を通常画像信号において強調する。また、通常画像色処理部３６ｃは、蛍光画像信号に対して付与された色を通常画像信号から低減し、蛍光画像信号に対して付与された色の補色を通常画像信号において強調する、また、通常画像色処理部３６ｃは、蛍光画像信号が可視光帯域内のいずれかの色を有する場合、または可視光帯域外の蛍光画像信号に対して色を付与する場合、通常画像信号を無彩色のモノクロ画像信号として処理する。また、光源装置２は、蛍光画像信号が有する色の成分を通常光から低減し、蛍光画像信号が有する色の補色の成分を通常光において強調する。また、光源装置２は、蛍光画像信号に付与された色の成分を通常光から低減し、蛍光画像信号に付与された色の補色の成分を通常光において強調する。
【００７９】
［その他の実施形態］
以上の実施の形態の説明では、撮像装置を被観察部鏡等の硬性鏡システム１に適用した具体例を示したが、硬性鏡システム１以外への適用も当然可能である。図１の撮像ユニット２０の外部光学系接続部である接続部３０Ｍが、たとえばＣマウント等の一般規格に適用したものとして、その規格対応の外付け機器を接続することで、硬性鏡以外の利用が可能となる。適用例としては、可変焦点距離のズームレンズ接続として撮像範囲をワイドから狭角まで変更できるシステムを構築してもよいことは言うまでも無い。別のシステムとして、撮像装置を顕微鏡への接続に対応してもよい。そのなかでも医療用顕微鏡の場合、インドシアニングリーン励起光用光源を持つシステムがすでに存在し、この発明の撮像装置の適用例としては双方の機能を生かした推奨システム例である。
【００８０】
また、システム構成として、図１〜３に示すように撮像用の光源が一体式の例もあるが、これに限ったものではなく、外部から光を照射もしくはファイバーにより注入されるタイプのものであってもよい。また、その光源種類についても、キセノン等の放電タイプに留まらず、高輝度ＬＥＤ等の半導体デバイスであってもよく、レーザ光源を用いてもよいことは言うまでもない。広帯域な可視にはキセノン、近赤外には安価なＬＥＤ、もしくは高効率を考慮したレーザを使用することにより、それぞれの利点を生かした光源配置としてもよい。
【００８１】
また、画像信号より必要情報を抽出するには上述した手法でなくとも、同様の効果があれば、いずれの手法を用いてもよい。たとえば、パターン認識等により血管のみを検出する機能と組合せることで、血流部分等の必要部分の抽出を行ってもよい。
【００８２】
また、所望の合成画像を得るために、加算による画像合成手法、重ね合わせによる画像重畳手法等があるが、これに限らずいずれの手法であってもよい。あるいは、所定の割合での画像合成する具体例を実施の形態として挙げているが、これに限定されるものではない。たとえば、この場合の所定の割合はとくに重要ではなく、この発明の実施の形態の内容にて限定されるものではないため、必要情報抽出の後、所望の合成画像が得られるのであればいずれの割合の合成であっても問題はない。
【００８３】
上述の画像処理ブロック図はこの発明の一例であり、必要情報の抽出の後、合成画像を生成するものであれば、いずれの方法であってもよいことは言うまでもない。電気的に画像処理を行う場合、専用デバイス、個々の回路等のハードウエアで処理するものであっても、各種プロセッサを利用したソフトウエアでの処理であっても、あるいはその双方を利用したものであってもよい。
【００８４】
また、図２のような光学系構成には限定されることはなく、たとえば、ダイクロイックミラーにて反射側が近赤外光路で透過側が可視光路であってもよく、個々の撮像画像が得られる構成であればよい。
【符号の説明】
【００８５】
１  硬性鏡システム、２  光源装置、２ａ  ＬＤドライバ、２ｂ  ＬＤ光源、２ｃ  色処理部、２ｄ  通常光源、２ｅ  調光処理部、２ｆ  絞り、２ｇ  集光レンズ、２ｈ  ミラー、２ｉ  集光レンズ、２ｊ  ダイクロイックミラー、３  画像処理装置、４  モニタ、５  ケーブル、１０  硬性鏡装置、２０  撮像ユニット、２１  共通励起フィルタ、２２  ダイクロイックプリズム、２３  励起光カットフィルタ、２４  第一結像光学系、２５  撮像素子、２６  第二結像光学系、２７  撮像素子、２８  撮像制御ユニット、３０  硬質挿入部、３０ｄ  照射窓、３０Ｍ  接続部、３０Ｙ  先端、３１  ＣＰＵ、３２  タイミングジェネレータ、３３  操作部、３４  通常画像入力コントローラ、３５  蛍光画像入力コントローラ、３６  画像処理部、３６ａ  通常画像処理部、３６ｂ  蛍光画像処理部、３６ｃ  通常画像色処理部、３６ｄ  蛍光画像補正処理部、３６ｅ  画像合成部、３６ｆ  階調補正処理部、３６ｇ  ゲイン調整部、３６ｈ  ２値化処理部、３６ｉ  色処理部、３７  メモリ、３８  ビデオ出力部、ＦＬ１  特定部位、ＦＬ２  周辺部位、Ｎ  通常部位。
【図１】
2020185202.tif 000003
【図２】
2020185202.tif 000004
【図３】
2020185202.tif 000005
【図４】
2020185202.tif 000006
【図５】
2020185202.tif 000007
【図６】
2020185202.tif 000008
【図７】
2020185202.tif 000009
【図８】
2020185202.tif 000010
【図９】
2020185202.tif 000011
【図１０】
2020185202.tif 000012