(57)【要約】【課題】医療もしくは産業用カメラにおいて通常部位と特定部位の識別を容易にすることができる撮像装置を提供する。【解決手段】複数の波長帯域を撮像する撮像装置において、近赤外光帯域の光像を撮像する第一の撮像手段と、可視光帯域の光像を撮像する第二の撮像手段と、前記第一の撮像手段により取得した近赤外画像に対し、必要情報の抽出処理を行う画像処理手段と、前記第二の撮像手段により取得した可視画像と、前記画像処理手段にて得られた画像を所定の割合にて加算し合成画像を生成する合成画像生成手段と、を備えた。【選択図】図５
2015029841.tif 000002
【特許請求の範囲】
【請求項１】
複数の波長帯域を撮像する撮像装置において、
複数の波長帯域の光像を撮像するための複数の撮像手段と、
前記複数の撮像手段により取得した複数の波長帯域の画像のうち、第一の波長帯域の画像に対し必要情報の抽出処理を行う画像処理手段と、
前記複数の撮像手段により取得した前記第一の波長帯域の画像を除く第二の波長帯域の画像と、前記画像処理手段にて得られた第一の波長帯域の画像を所定の割合で加算し合成画像を生成する合成画像生成手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
複数の波長帯域を撮像する撮像装置において、
近赤外光帯域の光像を撮像する第一の撮像手段と、
可視光帯域の光像を撮像する第二の撮像手段と、
前記第一の撮像手段により取得した近赤外画像に対し、必要情報の抽出処理を行う画像処理手段と、
前記第二の撮像手段により取得した可視画像と、前記画像処理手段にて得られた画像を所定の割合にて加算し合成画像を生成する合成画像生成手段と、
を備えたことを特徴とする撮像装置。
【請求項３】
複数の波長帯域を撮像する撮像装置において、
近赤外光帯域の光像を撮像する第一の撮像手段と、
可視光帯域の光像を撮像する第二の撮像手段と、
前記第一の撮像手段により取得した近赤外画像に対し、輪郭部分を抽出する処理を行う輪郭画像抽出手段と、
前記第二の撮像手段により取得した可視画像と、前記輪郭画像抽出手段による輪郭抽出処理にて得られた輪郭画像を所定の割合にて加算し合成画像を生成する合成画像生成手段と、
備えたことを特徴とする撮像装置。
【請求項４】
複数の波長帯域を撮像する撮像装置において、
近赤外光帯域の光像を撮像する第一の撮像手段と、
可視光帯域の光像を撮像する第二の撮像手段と、
前記第一の撮像手段により取得した近赤外画像に対し、階調補正処理を行う階調補正処理手段と、
前記第二の撮像手段により取得した可視画像と、前記階調補正処理手段にて得られた補正処理画像を所定の割合にて加算し合成画像を生成する合成画像生成手段と、
備えたことを特徴とする撮像装置。
【請求項５】
合成させる近赤外画像の輝度信号を２値化する閾値処理手段を備えたことを特徴とする請求項３または４に記載の撮像装置。
【請求項６】
合成させる近赤外画像の輝度信号を色信号に変換する色処理手段を備えたことを特徴とする請求項３または４に記載の撮像装置。
【請求項７】
合成させる近赤外画像の色を設定する画像設定手段を備えたことを特徴とする請求項３から６までのいずれか１項に記載の撮像装置。
【請求項８】
合成させる近赤外画像の輝度信号および色信号の少なくとも一方を点滅させる画像点滅手段を備えたことを特徴とする請求項３から６までのいずれか１項に記載の撮像装置。
【請求項９】
合成させる近赤外画像の色を可変させる色可変手段を備えたことを特徴とする請求項３から６までのいずれか１項に記載の撮像装置。
【請求項１０】
複数の波長帯域を撮像する撮像装置において、
近赤外光帯域の光像を撮像する第一の撮像手段と、
可視光帯域の光像を撮像する第二の撮像手段と、
前記第一の撮像手段により取得した近赤外画像に対し、必要情報の抽出処理を行う画像処理手段と、
前記第二の撮像手段により取得した可視画像に対し、前記画像処理手段にて得られた画像を重畳させて出力画像を生成する重畳画像生成手段と、
を備えたことを特徴とする撮像装置。
【請求項１１】
重畳させる近赤外画像の輝度信号を２値化する閾値処理手段を備えたことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
重畳させる近赤外画像の輝度信号を色信号に変換する色処理手段を備えたことを特徴とする請求項１０に記載の撮像装置。
【請求項１３】
重畳させる近赤外画像の色を設定する画像設定手段を備えたことを特徴とする請求項１０から１２までのいずれか１項に記載の撮像装置。
【請求項１４】
重畳させる近赤外画像の輝度信号および色信号の少なくとも一方を点滅させる画像点滅手段を備えたことを特徴とする請求項１０から１２までのいずれか１項に記載の撮像装置。
【請求項１５】
重畳させる近赤外画像の色を可変させる色可変手段を有することを特徴とする１０から１２までのいずれか１項に記載の撮像装置。
【請求項１６】
得られた近赤外画像信号を電光変換にて近赤外可視光像へ変更する近赤外画像信号変換手段を備えたことを特徴とする請求項３から１５までのいずれか１項に記載の撮像装置。
【請求項１７】
得られた近赤外画像信号を電光変換にて近赤外可視光像へ変更し、実際の可視光像に重畳させる近赤外可視光像重畳手段を備えたことを特徴とする請求項３から１５までのいずれか１項に記載の撮像装置。
【請求項１８】
前記色処理手段が、近赤外画像の輝度信号のうち少なくとも一部を色信号に変換することを特徴とする請求項６または１２に記載の撮像装置。
【請求項１９】
複数の波長帯域を撮像する撮像装置において、
複数の撮像手段で複数の波長帯域の光像を撮像する工程と、
前記複数の撮像手段により取得した複数の波長帯域の画像のうち、第一の波長帯域の画像に対し必要情報の抽出処理を行う工程と、
前記複数の撮像手段により取得した前記第一の波長帯域の画像を除く第二の波長帯域の画像と、前記抽出処理にて得られた第一の波長帯域の画像を所定の割合で加算し合成画像を生成する工程と、
を備えことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、医療用あるいは産業用のカメラ等において、可視光の被検体への照射によって取得した通常画像と、特殊光の被検体への照射によって取得した特殊画像とに基づいて合成画像を取得する撮像装置等に関する。
【背景技術】
【０００２】
従来、たとえば体腔内の組織を観察する内視鏡システムが広く知られており、白色光の照射によって体腔内の被観察部を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。
【０００３】
また、上記のような内視鏡システムとしては、通常画像とともに、励起光の照射によって被観察部から発せられた自家蛍光画像を撮像して自家蛍光画像を得、これらの画像を適宜合成して、モニタ画面上に表示する蛍光内視鏡システムが広く実用化されている。
【０００４】
特にインドシアニングリーン(ＩＣＧ)の静脈投与による血管血流や病変組織での蛍光観察は以前より行われており、７５０〜７９０ｎｍの励起光照射に対して８３０〜８４０ｎｍの蛍光が得られることが一般で知られている。ただし、波長帯は近赤外のためここで得られる画像はモノクロであり、且つそのままでは可視部分が同時に見えないため、その特徴的な血流蛍光画像やセンチネルリンパ節などの病変組織での観察・診断にはある程度の経験や勘が必要である。
【０００５】
そこでたとえば、下記特許文献１に記載の蛍光内視鏡システムにおいては、通常画像(照明光画像)と白色光画像(蛍光画像)とを合成し、モニタ画面上に表示することが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−７５１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載の蛍光内視鏡システムのように、可視光画像である照明光画像と蛍光画像の輝度を単純に所定の割合で合成させるものであり、蛍光画像から得られる特徴的情報を的確に得られていないだけでなく、不必要な情報が多く含まれている。たとえば、インドシアニングリーン(ＩＣＧ)投与により励起光源によって血流部分が自己蛍光光を発するが、このときその周辺部位に対し自己蛍光波長光が反射することで、血流部分以外の部位までもがあたかも蛍光発光するかのように見える場合が多い。そのため、得られる合成画像としては所望の特定部位が明示されないどころか、不必要な部位までもが表示される見にくい合成画像となる。
【０００８】
この発明は、上記の問題に鑑みてなされたものであり、撮像対象の状態をより分かり易く表示する合成画像を取得することができる撮像装置等を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明は、複数の波長帯域を撮像する撮像装置において、複数の波長帯域の光像を撮像するための複数の撮像手段と、前記複数の撮像手段により取得した複数の波長帯域の画像のうち、第一の波長帯域の画像に対し必要情報の抽出処理を行う画像処理手段と、前記複数の撮像手段により取得した前記第一の波長帯域の画像を除く第二の波長帯域の画像と、前記画像処理手段にて得られた第一の波長帯域の画像を所定の割合で加算し合成画像を生成する合成画像生成手段と、を備えたことを特徴とする撮像装置等にある。
【発明の効果】
【００１０】
この発明によれば、撮像対象の状態を分かり易く表示する合成画像を取得することができる。
【図面の簡単な説明】
【００１１】
【図１】この発明の一実施の形態による撮像装置を適用した硬性鏡システムの構成図である。
【図２】図１の撮像ユニットの概略構成の一例を示す図である。
【図３】図１の画像処理装置、光源装置の概略構成の一例を示す図である。
【図４】この発明の実施の形態１における図３の画像処理部のより具体的な構成の一例を示す図である。
【図５】この発明の実施の形態１における通常画像と蛍光画像から抽出した輪郭抽出画像との合成過程の一例を示した図である。
【図６】この発明の実施の形態２における図３の画像処理部のより具体的な構成の一例を示す図である。
【図７】この発明の実施の形態２における補正処理の特性の一例を示す図である。
【図８】この発明の実施の形態２における通常画像と蛍光画像から抽出した階調補正画像との合成過程の一例を示した図である。
【図９】この発明の実施の形態３における図３の画像処理部のより具体的な構成の一例を示す図である。
【図１０】この発明の実施の形態３における画像重畳処理部の動作の一例を示す図である。
【図１１】この発明における出力画像の一例を示す図である。
【図１２】この発明における蛍光輝度による色信号変換表示例を示す図である。
【図１３】この発明における画素表示位置による色信号変換表示例を示す図である。
【図１４】この発明における光学系を含めた画像重畳の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、この発明による撮像装置等を硬性鏡システムに適用した場合の各実施の形態に従って図面を用いて説明する。なお、各実施の形態において、同一もしくは相当部分は同一符号で示し、重複する説明は省略する。
【００１３】
実施の形態１．
図１はこの発明の一実施の形態による撮像装置を適用した硬性鏡システムの構成図、図２〜４は図１の各部の構成図、図５はこの発明の画像合成の一例をそれぞれ示す。
【００１４】
図１の硬性鏡システム１は、白色の通常光および特殊光を同時に発生する光源装置２と、光源装置２から発生された通常光および特殊光を導光して被観察部(図示省略)に照射するとともに、通常光の照射により被観察部から反射された反射光に基づく通常画像および特殊光の照射により被観察部から発せられた蛍光に基づく蛍光画像を撮像する硬性鏡撮像装置１０と、硬性鏡撮像装置１０によって撮像された画像信号に所定の処理を施す画像処理装置３と、画像処理装置３において生成された表示制御信号に基づいて被観察部の通常画像、蛍光画像および合成画像を表示するモニタ４とを備えている。
【００１５】
硬性鏡撮像装置１０は、図１に示すように、腹腔内に挿入される硬質挿入部３０と、硬質挿入部３０によって導光された被観察部の通常画像および蛍光画像を撮像する撮像ユニット２０とを備えている。
【００１６】
硬性鏡撮像装置１０は、硬質挿入部３０と、撮像ユニット２０とが着脱可能に接続されている。硬性鏡撮像装置１０は、その接続部がカメラ側３０Ｘに設けられており、例えば撮像ユニット２０側に形成された開口部に嵌め合わされることにより、撮像ユニット２０と硬性鏡撮像装置１０とが脱着可能に接続される。
【００１７】
硬質挿入部３０は、腹腔内の撮影を行う際に腹腔内に挿入される部分であって、硬質な材料から形成され、たとえば、直径略５ｍｍの円柱形状を有している。内部には、被観察部の像を結像するためのレンズ群が収容されており、先端側３０Ｙから入射された被観察部の通常画像および蛍光画像はレンズ群を介してカメラ側３０Ｘの撮像ユニット２０側に入力される。
【００１８】
硬性鏡撮像装置１０の側面にはケーブル接続口が設けられており、光ケーブルＬＣが機械的に接続される。これにより、光源装置２と硬質挿入部３０とが光ケーブルＬＣを介して光学的に接続される。光源装置２からの通常光および特殊光は、内部のライトガイドを通して照射窓３０ｄより被観察部に照射されるものである。
【００１９】
図２は、撮像ユニット２０の概略構成の一例を示す図である。撮像ユニット２０は、硬質挿入部３０内のレンズ群より結像された被観察部の蛍光像を撮像して被観察部の蛍光画像信号を生成する第一の撮像系と、硬質挿入部３０内のレンズ群により結像された被観察部の通常像を撮像して通常画像信号を生成する第二の撮像系とを備えている。これらの撮像系は、通常画像に反射するとともに、蛍光像を透過する分光特性を有するダイクロイックプリズム２１によって、互いに直交する２つの光軸に分けられる。
【００２０】
第一の撮像系は、被観察部において反射し、ダイクロイックプリズム２１を透過した特殊光をカットする特殊光カットフィルタ２２と、硬質挿入部３０から照射され、ダイクロイックプリズム２１および特殊光カットフィルタ２２を透過した蛍光像Ｌ４を結像する第一結像光学系２３と、第一結像光学系２３により結像された蛍光像Ｌ４を撮像する高感度撮像素子２４とを備えている。
【００２１】
第二の撮像系は、硬質挿入部３０から噴射され、ダイクロイックプリズム２１を反射した通常像Ｌ３を結像する第二結像光学系２５と、第二結像光学系２５により結像された通常像Ｌ３を撮像する撮像素子２６を備えている。
【００２２】
高感度撮像素子２４は、蛍光像Ｌ４の波長帯域の光を高感度に検出し、蛍光画像信号に変換して出力するものである。高感度撮像素子２４はモノクロの撮像素子である。
【００２３】
撮像素子２６は、通常像の波長帯域の光を検出し、通常画像信号に変換して出力するものである。撮像素子２６の撮像面には、３原色の赤(Ｒ)、緑(Ｇ)および青(Ｂ)、またはシアン(Ｃ)、マゼンタ(Ｍ)およびイエロー(Ｙ)のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。
【００２４】
また、撮像ユニット２０は、撮像制御ユニット２７を備えている。撮像制御ユニット２７は、高感度撮像素子２４から出力された蛍光画像信号および撮像素子２６から出力された通常画像信号に対し、ＣＤＳ／ＡＧＣ(相関二重サンプリング／自動利得制御)処理やＡ／Ｄ変換処理を施し、ケーブル５(図１参照)を介して画像処理装置３に出力するものである。
【００２５】
図３は、画像処理装置３、光源装置２の概略構成の一例を示す図である。画像処理装置３は、通常画像入力コントローラ３１、蛍光画像入力コントローラ３２、画像処理部３３、メモリ３４、ビデオ出力部３５、操作部３６、ＴＧ(タイミングジェネレータ)３７およびＣＰＵ３８を備えている。なお、ＣＰＵ３８は実際にはプログラムやデータを格納したメモリ(図示省略)等を含むマイクロコンピュータからなり、操作部３６からの指示入力も可能なもので構成する。
【００２６】
通常画像入力コントローラ３１および蛍光画像入力コントローラ３２は、所定容量のラインバッファを備えており、撮像ユニット２０の撮像制御ユニット２７から出力された１フレーム毎の通常画像信号および蛍光画像信号をそれぞれ一時的に記憶するものである。そして、通常画像入力コントローラ３１に記憶された通常画像信号および蛍光画像入力コントローラ３２に記憶された蛍光画像信号はバスを介してメモリ３４に格納される。
【００２７】
画像処理部３３は、メモリ３４から読み出された１フレーム毎の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力するものである。画像処理部３３のより具体的な構成の一例を図４に示す。
【００２８】
画像処理部３３は、図４に示すように、入力された通常画像信号に対し、通常画像に適した所定の画像処理を施して出力する通常画像処理部３３ａと、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力する蛍光画像処理部３３ｂと、蛍光画像処理部３３ｂで所定の処理を施された蛍光画像信号に対し、輪郭成分を抽出して輪郭画像信号を生成するエッジ抽出ユニット３３ｃと、通常画像処理部３３ａから出力される通常画像信号に対し、エッジ抽出ユニット３３ｃから出力される輪郭画像信号を合成する画像合成処理部３３ｌから構成される。
【００２９】
また、エッジ抽出ユニット３３ｃは蛍光画像信号から輪郭成分を抽出するエッジ抽出部３３ｄと、輪郭成分が抽出された蛍光画像信号に対し、信号を増幅するゲイン調整部３３ｅと、ゲイン調整が施された蛍光画像信号に対し、信号を黒或いは白の２つの値に変換する２値化処理部３３ｆと、２値化処理が施された蛍光画像信号に対し、輝度信号を色信号に変換する色処理部３３ｇから構成される。画像処理部３３の各部の詳細な処理内容については後述する。
【００３０】
ビデオ出力部３５は、画像処理部３３から出力された通常画像信号、蛍光画像信号および合成画像信号がバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力するものである。
【００３１】
操作部３６は、種々の操作指示や制御パラメータなどの操作者による入力を受け付けるものである。また、ＴＧ３７は、撮像ユニット２０の高感度撮像素子２４、撮像素子２６および後述する光源装置２のＬＤドライバ４５を駆動するための駆動パルス信号を出力するものである。また、ＣＰＵ３６は装置全体を制御するものである。
【００３２】
光源装置２は、図３に示すように、約４００〜７００ｎｍの広帯域の波長からなる通常光(白色光)Ｌ１を射出する通常光源４０と、通常光源４０から射出された通常光Ｌ１を集光する集光レンズ４２と、集光レンズ４２によって集光された通常光Ｌ１を透過するとともに、後述する特殊光Ｌ２を反射し、通常光Ｌ１および特殊光Ｌ２とを光ケーブルＬＣの入射端に入射させるダイクロイックミラー４３とを備えている。なお、通常光源４０としては、たとえばキセノンランプが用いられる。
【００３３】
また、光源装置２は、７００ｎｍ〜８００ｎｍの可視から近赤外帯域の光であり、たとえば蛍光色素としてインドシアニングリーン(ＩＣＧ)を用いた場合には７５０〜７９０ｎｍの近赤外光を特殊光Ｌ２として射出するＬＤ光源４４と、ＬＤ光源４４を駆動するＬＤドライバ４５と、ＬＤ光源４４から射出された特殊光Ｌ２を集光する集光レンズ４６と、集光レンズ４６によって集光された特殊光Ｌ２をダイクロイックミラー４３に向けて反射するミラー４７とを備えている。
【００３４】
なお、特殊光Ｌ２としては、広帯域の波長からなる通常光よりも狭帯域の波長が用いられる。そして、特殊光Ｌ２としては上記波長域の光に限定されず、蛍光色素の種類もしくは自家蛍光させる生体組織の種類によって適宜決定される。
【００３５】
また、光源装置２は、光ケーブルＬＣを介して硬性鏡撮像装置１０に光学的に接続されている。
符号４１，４８で示される部分は、ＣＰＵ３８で制御される通常光の制御部を示す。
【００３６】
次に、本実施の形態１のシステムの動作について説明する。まず、光ケーブルＬＣが接続された硬質挿入部３０およびケーブル５が撮像ユニット２０に取り付けられた後、光源装置２および撮像ユニット２０および画像処理装置３の電源が投入され、これらが駆動される。
【００３７】
次に、操作者により硬質挿入部３０が腹腔内に挿入され、硬質挿入部３０の先端が被観察部の近傍に設置される。
【００３８】
そして、光源装置２の通常光源４０から射出された通常光Ｌ１が、集光レンズ４２、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に照射される。一方、光源装置２のＬＤ光源４４から射出された特殊光Ｌ２が、集光レンズ４６、ミラー４７、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に通常光と同時に照射される。なお、同時に照射するとは、必ずしも照射期間が完全に一致している必要はなく、少なくとも一部の照射期間が重複していればよい。
【００３９】
そして、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像が撮像されるとともに、特殊光Ｌ２の照射によって被観察部から発せられた蛍光に基づく蛍光像が通常像と同時に撮像される。
【００４０】
より具体的には、通常像の撮像の際には、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像Ｌ３が硬性鏡撮像装置１０の先端側３０Ｙから入射し、内部のレンズ群により導光されて撮像ユニット２０に向けて射出される。
【００４１】
撮像ユニット２０に入射された通常像Ｌ３は、ダイクロイックプリズム２１により撮像素子２６に向けて直角方向に反射され、第２結像光学系２５により撮像素子２６の撮像面上に結像され、撮像素子２６によって所定間隔を空けて順次撮像される。なお、本実施の形態においては、通常画像は３０ｆｐｓのフレームレートで撮像されるものとする。
【００４２】
撮像素子２６から順次出力された通常画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ(相関二重サンプリング／自動利得制御)処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。
【００４３】
一方、蛍光像の撮像の際には、特殊光の照射によって被観察部から発せられた蛍光に基づく蛍光像Ｌ４が先端３０Ｙから入射し、内部のレンズ群により導光されて撮像ユニット２０に向けて射出される。
【００４４】
撮像ユニット２０に入射された蛍光像Ｌ４は、ダイクロイックプリズム２１および特殊光カットフィルタ２２を通過した後、第１結像光学系２３により高感度撮像素子２４の撮像面上に結像され、高感度撮像素子２４によって所定間隔を空けて撮像される。なお、本実施の形態においては、通常画像はたとえば５〜３０ｆｐｓのフレームレートで撮像されるものとする。
【００４５】
高感度撮像素子２４から順次出力された蛍光画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ(相関二重サンプリング／自動利得制御)処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。
【００４６】
次に、上記のようにして撮像ユニット２０において撮像された通常画像信号および蛍光画像信号に基づいて合成画像を生成する方法を図３と図４を用いて説明する。まず、画像合成が施される前の処理について説明する。
【００４７】
まず通常画像信号の前処理について説明する。画像処理装置３に入力された通常画像信号は、通常画像入力コントローラ３１において一時的に格納された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の通常画像信号は、画像処理部３３へ出力される。
【００４８】
画像処理部３３へ入力された通常画像信号は、通常画像処理部３３ａにて階調処理補正やノイズ除去などの処理が施される。
【００４９】
次に蛍光画像信号の前処理について説明する。画像処理装置３に入力された蛍光画像信号は、蛍光画像入力コントローラ３２において一時的に格納された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の蛍光画像信号は、画像処理部３３へ出力される。
【００５０】
画像処理部３３へ入力された蛍光画像信号は、蛍光画像処理部３３ｂにてノイズ除去などの処理が施される。
【００５１】
蛍光画像信号については、通常画像信号と合成される前にまず必要情報の抽出処理を行う。その過程について説明する。
【００５２】
蛍光画像信号はエッジ抽出部３３ｄにて必要情報として血管や病変組織などの輪郭成分が抽出される。
【００５３】
輪郭成分が抽出された後、蛍光画像信号はゲイン調整部３３ｅにて増幅される。検出された輪郭成分が微弱な場合はゲイン調整部３３ｅにて調整する。
【００５４】
ゲイン調整が施された後、必要情報をさらに抽出する目的で２値化処理部３３ｆに入力され、閾値処理が施される。閾値処理により蛍光画像信号は黒色と白色の２つの値に変換される。閾値の決定方法としては、モード法や微分ヒストグラム法を用いるが、操作部３６から閾値を直接入力するようにしてもよい。また、必ずしも２値化処理を施す必要はなく、そのまま、色処理部３３ｇへ出力してもよい。
【００５５】
２値化処理が施された後、蛍光画像信号は色処理部３３ｇに入力され、蛍光画像信号に対して色処理が施される。色処理せずにそのまま通常画像信号と合成処理してもよいが、蛍光画像信号はモノクロ信号であるため、蛍光画像の輪郭が目立ちにくい可能性がある。そこで、輝度信号を色信号に変換する。色の選択は合成の対象となる通常画像信号の色成分から合成後に輪郭部分が目立つような色を自動的に選択するようにしてもよい(例えば通常画像信号の色成分に対する適当な目立つ色のテーブルをＣＰＵ３８がメモリに格納し、テーブルに従って色処理部３３ｇを制御して実行される)。また、操作部３６から直接入力するようにしてもよい。この場合、特徴部分の視認性と解像度の両立などを考慮し、たとえば輝度信号の全てを色信号に変換するのではなく、図１２のように輝度レベルや図１３のように撮像位置により、色信号に変換する部分としない部分があってもよい。すなわち、図１２の蛍光輝度レベルによる色信号変換表示例(１８０)では、自家蛍光信号(１８２)で示される、蛍光輝度が高く自己蛍光の部分を色信号に変換し、蛍光反射輝度信号(１８１)で示される、低輝度は反射部分として輝度のままとし、特定部位である自己蛍光部分の視認性を上げている。もしくは、図１３の近赤外蛍光画像の表示画素配置例(１８３)のように、蛍光高輝度部分を全て色信号に変換するのではなく、表示画素単位で輝度信号と色信号に分けで変換・表示することで、近赤外自己蛍光部分(１８４)、近赤外自己蛍光部分の輝度部分(１８５)のように、画像色信号のみでは飽和してしまい見えなくなる可能性のある輝度信号のディテール部分も同時に表示することができる。なお、図１３の輝度と色の配分やレベルは状況に合わせて適当な値で設定すればよく、図中の輝度部分をゼロとして可視画像と重畳してもよいのは当然である。
【００５６】
次に画像合成処理について説明する。画像合成処理部３３ｌには通常画像処理部３３ａから通常画像信号、エッジ抽出ユニット３３ｃから輪郭画像信号が入力される。画像合成処理部３３ｌでは輪郭画像信号と通常画像信号とを所定の割合にて合成する。
【００５７】
合成画像信号Ｃｓは通常画像信号Ｃｖ、蛍光画像信号Ｃｉを重み付け(α、β)加算することにより生成される。(ここでは輪郭画像信号を便宜上、蛍光画像信号としている)
たとえば合成画像信号は以下の演算式により生成される。
Ｃｓ＝α×Ｃｖ＋β×Ｃｉ
【００５８】
そして、画像合成処理部３３ｌにおいて生成された合成画像信号は、ビデオ出力部３５に出力される。ビデオ出力部３５は、入力された合成画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて図５のような合成画像を表示する。
【００５９】
図５は、通常画像(１４６)と蛍光画像(１４７)から抽出した輪郭抽出画像(１４８)との合成過程を図示したものである。通常画像(１４６)は可視画像である。輪郭抽出画像(１４８)は、蛍光画像(１４７)から必要情報として特定部位(１５０)の輪郭部分を得たものである。これらを合成することで特定部位(１５０)と通常部位(１４９)を含む合成画像Ａ(１５１)を得る。
【００６０】
図５に示すように、白色光を照射した場合、一様に白色光を反射するため、第二の撮像系より通常画像(１４６)が得られる。一方、励起光を照射した場合、血管や病変組織などの特定部位(１５０)より自家蛍光が照射されるため、第一の撮像系より蛍光画像(１４７)が得られる。そして、合成画像を生成する前に、蛍光画像(１４７)から所定の輝度変化を検出して必要情報として輪郭画像信号を抽出し輪郭抽出画像(１４８)を得たのち、通常画像(１４６)に合成することにより、血管や病変組織などの特定部位(１５０)の輪郭部分が明確に表示された画像を得ることができる。
【００６１】
また、蛍光画像(１４７)は輝度信号であるため、抽出した信号を通常画像(１４６)と合成した場合に見難い場合が考えられる。このため、たとえば輝度信号の状態を一部または全てを色信号へ変換したのち合成することで、病変組織などの特定部位の明示がさらに容易となる。このとき変換する色信号を外部より任意に選択可能とすればさらに明示しやすくなる。また、抽出信号を合成する際、所定の時間で点滅をさせたり、輝度レベルや色相を可変させて制御することで、特定部位に対してさらに視認性を向上させることができる。これらは例えばＣＰＵ３８、操作部３６からの制御により、色処理部３３ｇ、画像合成処理部３３ｌ，画像合成処理部３３ｑ(実施の形態２)、画像重畳処理部３３ｐ(実施の形態３)で行われる(色可変手段、画像点滅手段、画像設定手段)。
【００６２】
この実施の形態では、腹腔鏡等の硬性鏡システムでの例を示したが、硬性鏡以外への適用も当然可能である。図１の撮像ユニット２０の外部光学系接続部であるカメラ側３０Ｘが、たとえばＣマウントなどの一般規格に適用したものとして、その規格対応の外付け機器を接続することで、硬性鏡以外の利用が可能となる。適用例としては、ＺＯＯＭ(ズーム)レンズ接続として撮像範囲をワイドから狭角まで変更できるシステムを構築してもよいことは言うまでも無い。さらに、まったく別のシステムとして顕微鏡への接続に対応してもよい。そのなかでも医療用顕微鏡の場合、ＩＣＧ励起光用光源を持つシステムがすでに存在し、この発明の撮像装置の適用例としては双方の機能を生かした推奨システム例である。
【００６３】
また、システム構成として、図１〜３に示すように撮像用の光源が一体式の例もあるが、これに限ったものではなく外部から光を照射もしくはファイバーにより注入されるタイプのものであってもよい。また、その光源種類についても、キセノンなどの放電タイプに留まらず、高輝度ＬＥＤなどの半導体デバイスであってもよく、安全性確保が可能な前提であればレーザーを用いてもよいことは言うまでもない。広帯域な可視にはキセノン、近赤外には安価なＬＥＤ、もしくは高効率を考慮したレーザー、を使用するなど、それぞれの利点を生かした光源配置としてもよい。
【００６４】
もしくは、画像信号より必要情報を抽出するには記載の方法でなくとも、同様の効果があれば、いずれであってもよい。たとえば、パターン認識などにより血管のみを検出する機能と組合せることで、血流部分などの必要部分の抽出を行ってもよい。
また、所望の出力画像を得るために、加算による画像合成手法や重ね合わせによる画像重畳手法があるが、これに限らずいずれの手法であってもよい。あるいは、所定の割合での画像生成例を実施の例として挙げているが、この場合の所定の割合はとくに重要ではなくこの発明の内容にて規定されるものではないため、必要情報抽出の後、所望の出力画像が得られるのであればいずれであっても問題はない。
【００６５】
上述の画像処理ブロック図はこの発明の一例であり、必要情報の抽出の後、出力画像を生成するものであれば、いずれの方法であってもよいことは言うまでもない。電気的に画像処理を行う場合、専用デバイスや個々の回路などハードウエアで処理するものであっても、中央制御装置(ＣＰＵ)を利用したソフトウエアでの処理であっても、あるいはその双方を利用したものであってもよい。
【００６６】
また、図２のような光学系構成には限定されることはなく、たとえば、ダイクロイックミラーにて反射側が近赤外光路で透過側が可視光路であってもよく、個々の撮像画像が得られる構成であればよい。
【００６７】
さらに、たとえば図１４のように、抽出された画像信号を光学系へフィードバックさせるため表示用モニタを利用し可視領域の光像に変換したのち、顕微鏡の対物レンズ９３より得られる本来(実際の)の可視光像に重畳させるようにしてもよい。図１４では、重畳する手段に重畳ミラーＬ８８、重畳ミラーＲ８９を利用しているが、同様に重畳できればいずれの手法であってもよく、このようにすることで、例えば顕微鏡接眼部で近赤外と可視の重畳画像が観察することが可能となる。図１４では、次元表示のためフィードバックモニタＬ８６、フィードバックモニタＲ８７の２台を使用しているが１台でもかまわず、また、近赤外画像だけでなく可視との重畳画像を接眼部にフィードバックしてもよい。その際は、重畳ミラーでの重畳を行っても行わなくてもよく、さらに、実際の光像とフィードバックされた画像とを、図１１のように位置をずらして同時表示してもかまわない。これによりさらに特定部位に対し視認性のよい且つ高機能な画像表示が可能となる。図１１では通常画像(実際の光像と同じ)(１４６)、階調補正画像(輪郭抽出画像)(１４８)、重畳画像(１７２)が同時表示されている。
なお、フィードバックモニタＬ８６、フィードバックモニタＲ８７は、得られた近赤外画像信号を電光変換にて近赤外可視光像へ変更する近赤外画像信号変換手段を構成する。さらに、フィードバックモニタＬ８６、フィードバックモニタＲ８７、および重畳ミラーＬ８８、重畳ミラーＲ８９により、得られた近赤外画像信号を電光変換にて近赤外可視光像へ変更し、本来の可視光像に重畳する近赤外可視光像重畳手段を構成する。
【００６８】
図１４について簡単に説明すると、対物レンズ９３からの本来の可視光像(実際の光像)は重畳ミラーＬ８８、重畳ミラーＲ８９によりそれぞれ接眼部Ｌ９０、接眼部Ｒ９１に反射されると共に撮像ユニット２０、画像処理装置３側にも反射される。操作者は接眼部Ｌ９０、接眼部Ｒ９１の図１４の図面の下側から本来の可視光像を見る。撮像ユニット２０、画像処理装置３側で上述のように処理された通常、蛍光、合成の各画像または各画像の表示制御信号は、重畳・切替部９２へ入力され、重畳・切替部９２では、所定のレイアウトで通常、蛍光、合成の各画像をフィードバックモニタＬ８６およびフィードバックモニタＲ８７に表示するように、画像の重畳・切替を行い、その表示制御信号を出力する。そしてフィードバックモニタＬ８６、フィードバックモニタＲ８７で重畳・切替部９２からの表示制御信号に基づいて表示を行うことで、接眼部Ｌ９０、接眼部Ｒ９１の図１４の図面の下側から画像を見るオペレータは、本来の可視光像と、フィードバックモニタＬ８６、フィードバックモニタＲ８７の画像とを一緒に見ることができる。
【００６９】
さらに上記説明では、撮像手段を２種使用したが、この発明の本質である画像から特徴的情報を抽出して出力画像を生成ことが実現できるものであれば、撮像素子の数量や種類・画素サイズなどに制限されるものではない。また、所望の出力画像を得るために撮像手段にとどまらず、入力される画像信号から必要情報を抽出して出力画像を得るシステムであってもよい。
【００７０】
実施の形態２．
以下、この発明の実施の形態２による撮像装置について説明する。実施の形態２による撮像装置を適用した硬性鏡システムの基本的構成は図１のものと同じであり、光源装置２、画像処理装置３の基本的構成は図２、３のものと同じである。図６はこの実施の形態における画像処理装置３の画像処理部３３の具体的な構成の一例、図７はこの実施の形態における補正処理の特性の一例、図８はこの実施の形態における画像合成の一例をそれぞれ示す。
【００７１】
図６において、画像処理部３３は、入力された通常画像信号に対し、通常画像に適した所定の画像処理を施して出力する通常画像処理部３３ａと、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力する蛍光画像処理部３３ｂと、蛍光画像処理部３３ｂで所定の処理を施された蛍光画像信号に対し、蛍光画像から必要情報を抽出するため所定の処理を行う階調補正処理ユニット３３ｍと、通常画像処理部３３ａから出力される通常画像信号に対し、階調補正処理ユニット３３ｍから出力される階調補正画像信号を合成する画像合成処理部３３ｑから構成される。
【００７２】
また、階調補正処理ユニット３３ｍは蛍光画像信号から特定部位を抽出する階調補正処理部３３ｎと、特定部位が抽出された蛍光画像信号に対し、信号を増幅するゲイン調整部３３ｅと、ゲイン調整が施された蛍光画像信号に対し、信号を黒或いは白の２つの値に変換する２値化処理部３３ｆと、２値化処理が施された蛍光画像信号に対し、輝度信号を色信号に変換する色処理部３３ｇから構成される。
【００７３】
次に、本実施の形態２のシステムの作用について説明する。全体的な動作は上記実施の形態と同じであり、ことなる部分および特徴部分について以下に説明する。
【００７４】
蛍光画像信号については、通常画像信号と合成される前にまず必要情報の抽出処理を行う。その過程について説明する。
【００７５】
蛍光画像信号は階調補正処理部３３ｎにて必要情報として血管や病変組織などの特定部位の信号が抽出される。階調補正処理部３３ｎは図７に示す入出力特性を有する。第一の撮像素子(高感度撮像素子)２４から得られる蛍光画像は特定部位のみならず周辺それ以外の情報も少なからず持っている。蛍光観察では、インドシアニングリーン投与にて血漿内蛋白と結合した血流や病変組織が自家蛍光を発する自家蛍光信号を第一の撮像素子２４にて得るが、近傍の周辺部位に反射する蛍光反射成分についても高感度である第一の撮像素子２４が信号として拾ってしまう。ただし、この周辺の蛍光反射信号は微弱であるためある程度の階調補正を行うことで削減することが可能である。
【００７６】
図７は階調補正処理部３３ｎの特性例を示す特性図である。図７の階調補正特性は、入力に対する出力の特性で現される。入力と出力が１対１(比例)の関係である破線で示されたリニア特性６３に対して、この発明による階調補正処理部３３ｎの例では、たとえば実線で示される専用階調補正特性６４となっている。すなわち、入力信号に含まれる自家蛍光信号レベル６６に対して、蛍光反射信号レベル６５が十分小さいことを利用して、蛍光反射信号レベル６５が出力されない特性とする。これによって、血管血流や病床部位など本来の自家蛍光部分のみを抽出することができる。
【００７７】
階調処理がなされた後、その抽出信号はゲイン調整部３３ｅにて増幅される。検出された抽出信号が微弱な場合はゲイン調整部３３ｅにて調整する。
【００７８】
ゲイン調整が施された後、必要情報をさらに抽出する目的で２値化処理部３３ｆに入力され、閾値処理が施される。閾値処理により蛍光画像信号は黒色と白色の２つの値に変換される。閾値の決定方法としては、モード法や微分ヒストグラム法を用いるが、操作部３６から閾値を直接入力するようにしてもよい。また、必ずしも２値化処理を施す必要はなく、そのまま、色処理部３３ｇへ出力してもよい。
【００７９】
２値化処理が施された後、蛍光画像信号は色処理部３３ｇに入力され、蛍光画像信号に対して色処理が施される。色処理せずにそのまま通常画像信号と合成処理してもよいが、蛍光画像信号はモノクロ信号であるため、蛍光画像が目立ちにくい可能性がある。そこで、輝度信号を色信号に変換する。色の選択は対象となる通常画像信号の色成分から合成後に蛍光部分が目立つような色を自動的に選択するようにしてもよい。また、操作部３６から直接入力するようにしてもよい。この場合、特徴部分の視認性と解像度の両立などを考慮し、たとえば輝度信号の全てを色信号に変換するのではなく、図１２のように輝度レベルや図１３のように撮像位置により、色信号に変換する部分としない部分があってもよい。すなわち、図１２では、蛍光輝度が高く自己蛍光の部分(１８２)を色信号に変換し、低輝度は反射部分(１８１)として輝度のままとし、特定部位である自己蛍光部分の視認性を上げている。もしくは、図１３では、蛍光高輝度部分を全て色信号に変換するのではなく、表示画素単位で輝度信号と色信号に分けで変換・表示することで(１８３)、色信号のみでは飽和してしまい見えなくなる可能性のある輝度信号のディテール部分も同時に表示することができる(１８４，１８５)。なお、図１３の輝度と色の配分やレベルは状況に合わせて適当な値で設定すればよく、図中の輝度部分をゼロとして可視画像と重畳してもよい。
【００８０】
次に画像合成処理について説明する。画像合成処理部３３ｑには通常画像処理部３３ａから通常画像信号、階調補正処理ユニット３３ｍから階調補正画像信号が入力される。画像合成処理部３３ｑでは階調補正画像信号と通常画像信号とを所定の割合にて合成する。
【００８１】
合成画像信号Ｃｓは通常画像信号Ｃｖ、蛍光画像信号Ｃｉ１を重み付け(α１，β１)加算することにより生成される。(ここでは階調補正画像信号を便宜上、蛍光画像信号としている)
たとえば合成画像信号は以下の演算式により生成される。
Ｃｓ＝α１×Ｃｖ＋β１×Ｃｉ１
【００８２】
そして、画像合成処理部３３ｑにおいて生成された合成画像信号は、ビデオ出力部３５に出力される。ビデオ出力部３５は、入力された合成画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて図８のような合成画像を表示する。
【００８３】
図８は、通常画像(１４６)と蛍光画像(１４７ａ)から抽出した階調補正画像(１６８)との合成過程を図示したものである。通常画像(１４６)は可視画像である。階調補正画像(１６８)は、蛍光画像(１４７ａ)から必要情報として自家蛍光信号(１６６)(特定部位Ｂ１７０)を得たものである。これらを合成することで特定部位Ｂ(１７０)と通常部位(１４９)を含む出力画像(１６９)を得る。
【００８４】
図８に示すように、白色光を照射した場合、一様に白色光を反射するため、第二の撮像系より通常画像(１４６)が得られる。一方、励起光を照射した場合、血管や病変組織などの特定部位より自家蛍光が照射されるため、第一の撮像系より蛍光画像(１４７ａ)が得られる。そして、合成画像を生成する前に、蛍光画像(１４７ａ)から図７に示す階調特性に従い階調補正処理を行い必要情報として階調補正画像(１６８)を得た後、通常画像(１４６)に合成することにより、血管や病変組織などの特定部位Ｂ(１７０)が明確に表示された画像を得ることができる。
【００８５】
また、蛍光画像(１４７ａ)は輝度信号であるため、抽出した信号を通常画像(１４６)と合成した場合に見難い場合が考えられる。このため、たとえば輝度信号の状態を色信号へ変換したのち合成することで、病変組織などの特定部位の明示がさらに容易となる。このとき変換する色信号を外部より任意に選択可能とすればさらに明示しやすくなる。また、抽出信号を合成する際、所定の時間で点滅をさせたり、輝度レベルや色相を可変させたり制御することで、特定部位に対してさらに視認性を向上させることができる。
【００８６】
なおその他の変形例については上記実施の形態と同じであり、説明を省略する。
【００８７】
実施の形態３．
以下、この発明の撮像装置の実施の形態３による撮像装置について説明する。実施の形態３による撮像装置を適用した硬性鏡システムの基本的構成は図１のものと同じであり、光源装置２、画像処理装置３の基本的構成は図２、３のものと同じである。図９はこの実施の形態における画像処理装置３の画像処理部３３の具体的な構成、図７はこの実施の形態における補正処理の特性、図８はこの実施の形態における生成画像の一例、図１０は画像重畳処理部の動作の一例をそれぞれ示す。
【００８８】
図９において、画像処理部３３は、入力された通常画像信号に対し、通常画像に適した所定の画像処理を施して出力する通常画像処理部３３ａと、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力する蛍光画像処理部３３ｂと、蛍光画像処理部３３ｂで所定の処理を施された蛍光画像信号に対し、蛍光画像から必要情報を抽出するため所定の処理を行う階調補正処理ユニット３３ｍと、通常画像処理部３３ａから出力される通常画像信号に対し、階調補正処理ユニット３３ｍから出力される階調補正信号を合成する画像重畳処理部３３ｐから構成される。
【００８９】
また、階調補正処理ユニット３３ｍは蛍光画像信号から特定部位を抽出する階調補正処理部３３ｎと、特定部位が抽出された蛍光画像信号に対し、信号を増幅するゲイン調整部３３ｅと、ゲイン調整が施された蛍光画像信号に対し、信号を黒或いは白の２つの値に変換する２値化処理部３３ｆと、２値化処理が施された蛍光画像信号に対し、輝度信号を色信号に変換する色処理部３３ｇから構成される。
【００９０】
さらに、文字画像生成部３３ｔは、文字画像制御信号３３ｕとフォントデータ格納部３３ｓとの接続を持ち、その出力は画像重畳処理部３３ｐへ送られる。
【００９１】
次に、本実施の形態３のシステムの作用について説明する。全体的な動作は上記実施の形態と同じであり、ことなる部分および特徴部分について以下に説明する。
【００９２】
この実施の形態の特徴である画像重畳処理について説明する。画像重畳処理以前の処理は基本的に実施の形態２と同じである。
【００９３】
画像重畳処理部３３ｐには通常画像処理部３３ａから通常画像信号、階調補正処理ユニット３３ｍから階調補正画像信号が入力される。また、文字画像生成部３３ｔは、ＣＰＵ３８より文字画像制御信号３３ｕを介してフォントデータ格納部３３ｓの文字情報を用い、文字画像を生成する。文字画像は操作者に対し必要情報を画面表示にて知らしめるものである。画像重畳処理部３３ｐではこれら階調補正画像信号と通常画像信号と文字画像信号などを重ね合わせることで１つの画像として表示させる。
【００９４】
そして、画像重畳処理部３３ｐにおいて生成された重畳(合成)画像信号は、ビデオ出力部３５に出力される。ビデオ出力部３５は、入力された合成画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて図１０のような重畳画像(１７２)を表示する。
【００９５】
図１０(環連する図８も参照)は、通常画像(１４６)と蛍光画像(１４７ａ)から抽出した階調補正画像(１６８)との重畳過程を図示したものである。通常画像(１４６)は可視画像である。階調補正画像(１６８)は、蛍光画像(１４７ａ)から必要情報として自家蛍光信号(１６６)(特定部位Ｂ７０)を得たものである。これらを重ねあわせることで重畳画像(１７２)を得る。
【００９６】
図８に示すように、白色光を照射した場合、一様に白色光を反射するため、第二の撮像系より通常画像(１４６)が得られる。一方、励起光を照射した場合、血管や病変組織などの特定部位より自家蛍光が照射されるため、第一の撮像系より蛍光画像(１４７ａ)が得られる。そして、合成画像を生成する前に、蛍光画像(１４７ａ)から図７に示す階調特性に従い階調補正処理を行い必要情報として階調補正画像(１６８)を得た後、通常画像(１４６)に重畳することにより、血管や病変組織などの特定部位Ｂ(１７０)が明確に表示された画像を得ることができる。
【００９７】
また、蛍光画像(１４７ａ)は輝度信号であるため、抽出した信号を通常画像(１４６)と重畳した場合に見難い場合が考えられる。このため、たとえば輝度信号の状態を色信号へ変換したのち重畳することで、病変組織などの特定部位の明示がさらに容易となる。このとき変換する色信号を外部より任意に選択可能とすればさらに明示しやすくなる。また、抽出信号を合成する際、所定の時間で点滅をさせたり、輝度レベルや色相を可変させたり制御することで、特定部位に対してさらに視認性を向上させることができる。
【００９８】
図１０に示すように、たとえば、各レイヤーごとで以下の順番にて画像を重ね合わせる。最下層に通常画像(１４６)、中間層に階調補正画像(１６８)、最上層に文字画像(１７１)。画像重畳処理部３３ｐは、単なる加算のような合成処理ではなく、前記のような各画像が独立したレイヤー構造を持ったうえで重ねるため、出力画像にどの画像を重畳して表示するかについては制御信号である重畳制御信号３３ｒにより自動もしくはユーザー選択が可能である。これは例えばＰＣＴ３８、操作部３６により実現される。これにより、必要に応じて文字画像(１７１)が重畳されるので便利であり。また、前記のような各画像が独立して存在する構造のため、図１１のように各画像を任意のサイズで任意の位置に重ね合せて表示することが可能である。これにより、例えば手術中の操作者の所望の画像がさらに得られやすくなる。
【００９９】
その他の変形例については、上記実施の形態と同じであり、説明を省略する。
【０１００】
なお、この発明は上記各実施の形態に限定されるものではなく、これらの可能な組み合わせ全て含むものである。
【０１０１】
また、第一の撮像系である、特殊光カットフィルタ２２、第一結像光学系２３、高感度撮像素子２４が第一の撮像手段を構成し、
第二の撮像系である、第二結像光学系２５、撮像素子２６が第二の撮像手段を構成し、  エッジ抽出部３３ｄ、階調補正処理部３３ｎが画像処理手段を構成し、
画像合成処理部３３ｌ，３３ｑが合成画像生成手段を構成し、
画像重畳処理部３３ｐが重畳画像生成手段を構成し、
２値化処理部３３ｆが閾値処理手段を構成し、
色処理部３３ｇが色処理手段を構成し、
ＣＰＵ３８、操作部３６、色処理部３３ｇ、画像合成処理部３３ｌ，３３ｑ、画像重畳処理部３３ｐが色可変手段、画像設定手段、画像点滅手段を構成し、
フィードバックモニタＬ８６、フィードバックモニタＲ８７が近赤外画像信号変換手段を構成し、
フィードバックモニタＬ８６、フィードバックモニタＲ８７、および重畳ミラーＬ８８、重畳ミラーＲ８９が近赤外可視光像重畳手段を構成する。
【符号の説明】
【０１０２】
１  硬性鏡システム、２  光源装置、３  画像処理装置、４  モニタ、５  ケーブル、１０  硬性鏡撮像装置、２０  撮像ユニット、２１  ダイクロイックプリズム、２２  特殊光カットフィルタ、２３  第一結像光学系、２４  高感度撮像素子、２５  第二結像光学系、２６  撮像素子、２７  撮像制御ユニット、３０  硬質挿入部、３０ｄ  照射窓、３１  通常画像入力コントローラ、３２  蛍光画像入力コントローラ、３３  画像処理部、３３ａ  通常画像処理部、３３ｂ  蛍光画像処理部、３３ｃ  エッジ抽出ユニット、３３ｄ  エッジ抽出部、３３ｅ  ゲイン調整部、３３ｆ  ２値化処理部、３３ｇ  色処理部、３３ｌ，３３ｑ  画像合成処理部、３３ｍ  階調補正処理ユニット、３３ｎ  階調補正処理部、３３ｐ  画像重畳処理部、３３ｓ  フォントデータ格納部、３３ｔ  文字画像生成部、３４  メモリ、３５  ビデオ出力部、３６  操作部、３８  ＣＰＵ、４０  通常光源、４２  集光レンズ、４３  ダイクロイックミラー、４４  ＬＤ光源、４５  ＬＤドライバ、４６  集光レンズ、４７  ミラー、８６  フィードバックモニタＬ、８７  フィードバックモニタＲ、８８  重畳ミラーＬ、８９  重畳ミラーＲ、９０  接眼部Ｌ、９１  接眼部Ｒ、９２  重畳・切替部、９３  対物レンズ、ＬＣ  光ケーブル。
【図１】
2015029841.tif 000003
【図２】
2015029841.tif 000004
【図３】
2015029841.tif 000005
【図４】
2015029841.tif 000006
【図５】
2015029841.tif 000007
【図６】
2015029841.tif 000008
【図７】
2015029841.tif 000009
【図８】
2015029841.tif 000010
【図９】
2015029841.tif 000011
【図１０】
2015029841.tif 000012
【図１１】
2015029841.tif 000013
【図１２】
2015029841.tif 000014
【図１３】
2015029841.tif 000015
【図１４】
2015029841.tif 000016