(57)【要約】【課題】流量が小さいリンパ管或いはリンパ節に対する内視鏡画像中に、流量が大きい血管走行の推定ができる画像を合成できる観察システムを提供する。【解決手段】蛍光画像メモリ４３ａから検出された蛍光リンパ節等の画像データを参照画像として、ＣＴ画像メモリ４３ｂから検出されたＣＴリンパ節等の３次元の画像データはＣＰＵ４４による調整処理機能で構成されるＸＹＺ処理部４６で断面方向のパラメータに対応する２次元画像データに変換され、第１判定部４７で両画像データのサイズ等の一致が判定され、一致しない場合には縮尺処理部４８で拡大若しくは縮小の処理を行う等して両画像が一致するように調整処理した後、蛍光画像にＣＴ血管画像を重畳した合成画像を生成し、この合成画像をモニタ８に表示する。【選択図】図２
2007244746.tif 000002
【特許請求の範囲】
【請求項１】
蛍光物質が投与された生体における血液の流量が小さいリンパ節及びリンパ管の少なくとも一方と血液の流量が大きい血管とを含む対象部位に対して励起光が照射された状態における前記蛍光物質が発生する蛍光を内視鏡の蛍光撮像手段により受光し、前記蛍光撮像手段から光電変換されて出力される撮像信号が入力され、前記撮像信号に対する信号処理を行い、前記リンパ節及びリンパ管の少なくとも一方の基準画像を含む蛍光画像を第１の画像として生成する映像信号を生成する映像処理手段と、
３次元画像生成手段により、前記対象部位における前記リンパ節及びリンパ管の少なくとも一方と前記血管とを含む３次元の画像が入力され、前記３次元の画像から２次元の第２の画像を生成すると共に、前記第２の画像における前記基準画像に対応する対応画像を、前記基準画像の位置及びサイズに合わせる調整処理を行う調整処理手段と、
前記調整処理手段により調整処理された後の調整状態で、前記２次元の画像における少なくとも前記血管部分の画像を前記蛍光画像に合成する合成手段と、
を具備したことを特徴とする観察システム。
【請求項２】
さらに、前記蛍光物質が投与された生体における前記対象部位に対して、前記蛍光物質を選択的に励起させる所定の波長帯の励起光を照射する励起光照射手段と、
前記蛍光物質が発生する蛍光を受光して、前記蛍光の強度がピークとなる波長帯を透過し、かつ前記励起光の波長帯の透過を抑制するフィルタ手段を備えた前記蛍光撮像手段と、
を有することを特徴とする請求項１に記載の観察システム。
【請求項３】
前記調整処理手段は、前記対応画像を、前記基準画像の位置及びサイズに合わせる調整処理を行う際、対応画像の方向を調整する方向調整処理を行うことを特徴とする請求項１に記載の観察システム。
【請求項４】
血管、リンパ節、リンパ管を含む対象部位に照射する光を発生する光発生手段と、
前記光発生手段と対象部位との間に配置され、蛍光物質を励起する励起光を透過する第１フィルタと、
前記蛍光物質の蛍光ピーク付近を含み、前記励起光をカットする特定の波長領域のみを透過する第２のフィルタと、
前記第２のフィルタを透過した光を受光し、リンパ管及びリンパ節が撮像された第１画像を取得する撮像手段と、
予め前記対象部位の血管、リンパ管、リンパ節の位置を記憶した第２画像を、前記第１画像のサイズ及び位置合わせして重畳する調整処理手段と、
を有することを特徴とする観察システム。
【請求項５】
さらに前記第１画像内の所定のリンパ節又はリンパ管をマーキングするマーキング手段と、前記マーキング手段によりマーキングされたリンパ節又はリンパ管が、時間的に異なるフレームの第１画像内においてどの位置になるかの位置補正を行う位置補正手段とを有することを特徴とする請求項４に記載の観察システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体における対象部位の脂肪の下層側に存在するリンパ管、リンパ節、血管などを同定するのに適した観察システムに関する。
【背景技術】
【０００２】
近年、内視鏡装置は、医療分野において広く用いられるようになった。また、従来より、血管走行を反射観察によって同定する技術として、近赤外域でのヘモグロビンの吸光ピークを用いて観察する方法がある。しかしながら、この技術では臓器表層面の血管同定は可能であるが、脂肪下層に存在するリンパ管、リンパ節、血管などを同定することは困難となる。  
また、特開２００１−２９９６７６号公報には、インドシアニングリーン（ＩＣＧと略記）を、観察の対象部位に注入し、このＩＣＧが発する蛍光画像を撮像することにより、リンパ節を可視画像として表示する装置が開示されている。
【特許文献１】特開２００１−２９９６７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記公報の従来例の装置は、脂肪下のリンパ管、リンパ節を同定することはできても、流量の大きい血管に対しては有効に機能しない。つまり、ＩＣＧが注入されても流量が大きい血管部分では、注入の時間から急速にＩＣＧが観察対象部位から散逸してしまうため、血管の位置道程もしくは走行位置の推定が困難になる欠点があった。  
このため、内視鏡により得られる流量が小さいリンパ管、リンパ節に対する蛍光画像のみでは、内視鏡下の手術等を円滑に行い難い問題があった。
【０００４】
（発明の目的）
本発明は上述した点に鑑みてなされたもので、流量が小さいリンパ管或いはリンパ節に対する内視鏡画像中に、流量が大きい血管走行の推定ができる画像を合成できる観察システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の観察システムは、蛍光物質が投与された生体における血液の流量が小さいリンパ節及びリンパ管の少なくとも一方と血液の流量が大きい血管とを含む対象部位に対して励起光が照射された状態における前記蛍光物質が発生する蛍光を内視鏡の蛍光撮像手段により受光し、前記蛍光撮像手段から光電変換されて出力される撮像信号が入力され、前記撮像信号に対する信号処理を行い、前記リンパ節及びリンパ管の少なくとも一方の基準画像を含む蛍光画像を第１の画像として生成する映像信号を生成する映像処理手段と、
３次元画像生成手段により、前記対象部位における前記リンパ節及びリンパ管の少なくとも一方と前記血管とを含む３次元の画像が入力され、前記３次元の画像から２次元の第２の画像を生成すると共に、前記第２の画像における前記基準画像に対応する対応画像を、前記基準画像の位置及びサイズに合わせる調整処理を行う調整処理手段と、
前記調整処理手段により調整処理された後の調整状態で、前記２次元の画像における少なくとも前記血管部分の画像を前記蛍光画像に合成する合成手段と、
を具備したことを特徴とする。  
上記構成により、内視鏡を用いて得られる蛍光画像と、３次元画像生成手段により生成され、前記蛍光画像における基準画像に対応する２次元の対応画像の位置及びサイズをその基準画像に合わせる調整処理後における前記３次元画像生成手段により生成される血管部分の画像を前記蛍光画像に重畳等で合成するようにしているので、流量が小さいリンパ節或いはリンパ管の蛍光画像と共に、蛍光撮像では得にくい流量が大きい血管部分の画像を合成して、内視鏡画像上で血管部分を推定できるようにしている。
【発明の効果】
【０００６】
本発明によれば、流量が小さいリンパ管或いはリンパ節の蛍光画像に、流量が大きく蛍光画像として得にくい血管走行を推定できる画像を合成できる。従って、本発明によれば、内視鏡下での手術等を円滑に行い易くなる効果もある。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して本発明の実施例を説明する。  
【実施例１】
【０００８】
図１ないし図５は本発明の実施例１に係り、図１は本発明の実施例１の観察システムの全体構成を示し、図２はカメラコントロールユニットによる画像処理回路の構成を示し、図３は励起フィルタ及び励起光カットフィルタの透過率特性等を示し、図４はＣＴ装置及び内視鏡等により得られる画像を示し、図５は実施例１による処理内容を示す。  
図１に示すように本発明の実施例１の観察システム１は、腹部等の患者２内部に先端側が挿入される例えば光学式内視鏡３に、撮像手段を内蔵したカメラヘッド４を装着したカメラ装着内視鏡（以下では、単に内視鏡と略記）５と、光学式内視鏡３に照明光を供給する光源装置６と、カメラヘッド４に内蔵された撮像手段に対する信号処理を行うカメラコントロールユニット（ＣＣＵと略記）７と、このＣＣＵ７から出力される標準的な映像信号が入力されることにより、撮像手段で撮像された内視鏡画像を表示するモニタ８と、患者２の３次元ＣＴ像を得るＣＴ（コンピュータトモグラフィ）装置９とを有する。
【０００９】
光学式内視鏡３は、例えば硬性の挿入部１１と、この挿入部１１の後端に設けられた把持部１２と、この把持部１２の後端に設けられた接眼部１３とを有し、把持部１２の口金にはライトガイドケーブル１４が接続される。  
挿入部１１内には照明光を伝送するライトガイド１５が挿通され、このライトガイド１５は把持部１２の側部の口金に接続されるライトガイドケーブル１４を介してその端部に設けたライトガイドコネクタ１６が光源装置６に着脱自在に接続される。  
光源装置６内にはランプ点灯制御回路１７から供給されるランプ点灯電源により点灯するキセノンランプ等のランプ１８が設けてあり、このランプ１８は、可視領域の波長帯から近赤外の波長帯をカバーする光を発生する。
【００１０】
このランプ１８の光は、照明光路上に配置された励起フィルタ１９により励起光のみが透過し、さらに集光レンズ２０で集光されてライトガイドケーブル１４のライトガイドを経て、光学式内視鏡３のライトガイド１５に照明光が入射される。そして、このライトガイド１５に入射された照明光は、その先端側に導光（伝送）される。そして、上記ライトガイド１５の先端面から、この励起光がライトガイド１５の先端面から患者２の内部の観察する対象部位２１側に照射される。  
本実施例においては、インドシアニングリーン（ＩＣＧと略記）を観察の対象部位に注入するため、この励起フィルタ１９は、図３に示すように例えば６８０ｎｍ〜７８０ｎｍ付近の波長帯域を透過するように設定されている。なお、図３における点線で示す符号２２で示す特性はリンパ液と混合したＩＣＧの吸光特性を示す。また、１点鎖線で示す符号２３の特性がＩＣＧが発生する蛍光の強度分布を示している。
【００１１】
このように励起フィルタ１９による略７３０ｎｍ付近を中心波長した上記６８０ｎｍ〜７８０ｎｍ付近の波長帯域の透過特性は、蛍光物質としてのＩＣＧを選択的に励起させるように、ＩＣＧの吸光特性と蛍光を発生する特性を考慮して設定されている。なお、６８０ｎｍ〜７８０ｎｍ付近の波長帯域は、後で説明する図３に示すような励起光カットフィルタ２９と重なり合わないように、かつできるだけＩＣＧの吸収ピーク波長帯を含むように、ＩＣＧの最大の吸収ピークとなる波長から少し離れた波長帯でかなり吸収が大きい波長帯となっている。  
また、挿入部１１の先端部は、例えばリング状にライトガイド１５が配置されており、そのリング内の中央に対物レンズ２４が配置されている。この対物レンズ２４の結像位置側には、光学像を伝送するリレーレンズ系２５が配置されている。  
そして、この対物レンズ２４は、対象部位２１側から入射される光を集光して、その結像位置に光学像を結び、その光学像は、挿入部１１内に配置されたリレーレンズ系２５により、挿入部１１の後方の接眼部１３側に伝送される。
【００１２】
伝送された光学像は、図１に示すように接眼部１３に設けた接眼レンズ２６を経て拡大観察可能となる。この接眼部１３にカメラヘッド４が装着された場合には、カメラヘッド４内の撮像レンズ２７を介して伝送された光学像が、近赤外まで受光感度のある撮像素子としての例えば、電荷結合素子（ＣＣＤと略記）２８に結像される。また、このＣＣＤ２８の直前となる撮像光路中には、励起光をカットし、ＩＣＧによる蛍光波長を透過する励起光カットフィルタ２９が配置されている。  
この励起光カットフィルタ２９は、図３に示すように対象部位２１に注入されたＩＣＧが発生する蛍光の強度ピークを透過し、かつ励起光を透過しない特性に設定されている。  
このため、図３の例では、励起光カットフィルタ２９は、ＩＣＧの蛍光の強度ピークとなる波長の８３０ｎｍを含むようにこの波長より少し短波長の値から８３０ｎｍよりも長波長側、例えば１０００ｎｍまでを透過する特性に設定されている。図３においては、１０００ｎｍより長波長側も透過する例で示している。
【００１３】
従って、カメラヘッド４側には、対象部位２１側から励起光で反射された反射光と共にＩＣＧが発生する蛍光が入力されてくるが、この励起光カットフィルタ２９により、反射光は遮光され、ＣＣＤ２８に実際に結像される光学像は、蛍光による画像、つまり蛍光画像となる。このように、ＣＣＤ２８は蛍光撮像手段を構成している。  
また、カメラヘッド４から延出されたカメラケーブル３０は、ＣＣＵ７に接続される。ＣＣＵ７は、ＣＣＤ駆動回路３１と、画像処理回路３２とを備え、ＣＣＤ駆動回路３１は、ＣＣＤ２８に対してＣＣＤ駆動信号を印加する。  
そして、このＣＣＤ駆動信号の印加によりＣＣＤ２８により光電変換され、蛍光撮像に相当する撮像信号（蛍光撮像信号）は、画像処理回路３２に入力される。この画像処理回路３２は、入力される蛍光撮像信号に対して映像信号を生成する映像処理手段を構成している。
【００１４】
そして、画像処理回路３２により生成された映像信号は、モニタ８に出力され、モニタ８の表示面には、ＣＣＤ２８により撮像された蛍光画像が表示される。  
また、このＣＣＵ７の画像処理回路３２には、ＣＴ装置９により撮像された患者２の術前の３次元のＣＴ画像が格納される。そして、後述するように、画像処理回路３２により調整処理が行われ、ＣＴ画像における血管の２次元画像が、ＣＣＤ２８により撮像された内視鏡画像としての蛍光画像に、例えば重畳により合成されてモニタ８に表示される。    なお、図１に模式的に示すように患者２内の対象部位２１を実質的に構成する脂肪組織３４の内部に血管３５とリンパ管３６及びリンパ節３７とが混在して走行している場合、後述するように内視鏡５は、血液の流量の小さいリンパ管３６及びリンパ節３７の蛍光画像を撮像する。一方、血液の流量の大きい血管３５部分に対しては、蛍光画像として得にくい。
【００１５】
このため、画像処理回路３２は、この蛍光画像に、３次元画像生成手段としてのＣＴ装置９により得られる血管３５に対する３次元画像情報を、蛍光画像に位置及びサイズを合わせる調整処理を行った２次元画像にして、蛍光画像に重畳してモニタ８に表示する画像処理を行う。  
このように画像の例えば重畳を行うことにより、内視鏡５により得られる蛍光画像上に、流量の大きい血管３５の２次元画像を合成して表示することにより、術者は内視鏡画像中において、血管の走行状態を把握若しくは推定できるようにする。  
図２は、このように蛍光画像に、ＣＴ装置９による血管３５の画像を合成する機能を備えた画像処理回路３２の構成を示す。ＣＣＤ２８からの蛍光撮像信号は、第１の入力端からＡ／Ｄ変換器４１によりアナログ信号からデジタルの信号（画像）に変換された後、前処理回路４２に入力される。
【００１６】
この前処理回路４２は、入力される画像における例えばハレーション部分を除去する等の前処理を行う。この前処理回路４２から出力される蛍光画像は、蛍光画像メモリ４３ａに入力され、蛍光画像メモリ４３ａに格納される。  
この蛍光画像メモリ４３ａに格納された蛍光画像は、蛍光リンパ節検出回路４５ａにより、蛍光画像中における蛍光リンパ節及び蛍光リンパ管部分が抽出（検出）され、抽出された蛍光リンパ節及び蛍光リンパ管部分の画像データは、例えばＣＰＵ４４による調整処理機能により構成されるＸＹＺ処理部４６に参照される基準画像として入力される。  
蛍光リンパ節及び蛍光リンパ管部分の抽出（検出）は、特徴量の抽出機能を備えた画像処理手段により自動で行っても良いが、術者等のユーザがキーボードなどから、抽出する部分、範囲等をマーキング（指定）して、そのマーキングされた部分、範囲等を抽出するようにしても良い。
【００１７】
なお、以下の説明では、蛍光リンパ節検出回路４５ａにより、蛍光画像中における蛍光リンパ節及び蛍光リンパ管部分を抽出するとして説明するが、これらにおける一方のみでも良いし、さらにその一方における代表的な位置或いは部分でも良い。例えば蛍光リンパ節検出回路４５ａにより、蛍光画像中における蛍光リンパ節のみ或いはこの蛍光リンパ節の一部でも良い。同様に蛍光リンパ節検出回路４５ａにより、蛍光画像中における蛍光リンパ管部分やその一部のみを抽出するようにしても良い。また、本実施例は、蛍光画像として、蛍光リンパ節及び蛍光リンパ管の一方のみを観察するような場合にも適用できる。  また、ＣＴ装置９から出力される３次元の画像データは、第２の入力端からＣＴ画像メモリ４３ｂに格納される。なお、ＣＴ装置９は、ＣＴ撮影により、血管３５、リンパ管３６，リンパ節３７の３次元のＣＴ画像データを生成することができる。
【００１８】
ＣＴ画像メモリ４３ｂに格納された３次元のＣＴ画像データは、ＣＴリンパ節検出回路４５ｂにより、ＣＴ画像中におけるＣＴリンパ節及びＣＴリンパ管部分の３次元画像データが抽出（検出）され、切替スイッチＳＷを介して、例えばＣＰＵ４４の調整処理機能により構成されるＸＹＺ処理部４６に入力される。  
上記ＣＴリンパ節検出回路４５ｂにより、ＣＴ画像中におけるＣＴリンパ節及びＣＴリンパ管部分の３次元画像データを抽出（検出）する場合、特徴量の抽出機能を備えた画像処理手段により自動で行っても良いが、術者等のユーザがキーボードなどから、抽出する部分、範囲等をマーキング（指定）して、そのマーキングされた部分、範囲等を抽出するようにしても良い。特にこの場合には、蛍光リンパ節及び蛍光リンパ管部分側の基準画像と対応する対応部分を対応画像として抽出することが望ましい。
【００１９】
ＣＴ画像メモリ４３ｂからＣＴリンパ節検出回路４５ｂにより、ＣＴリンパ節等の３次元画像データを最初に抽出する場合、例えば患者２の体位等の方向に関連する処理回数を示すパラメータｉを初期値ｉ＝１に設定して、そのパラメータの状態で抽出されたＣＴリンパ節及びＣＴリンパ管部分の３次元画像データがＸＹＺ処理部４６に出力される。  
また、ＣＴ画像メモリ４３ｂに格納されたＣＴ画像は、ＣＴ血管検出回路４５ｃにより、ＣＴ画像中におけるＣＴ血管部分の３次元画像データが抽出（検出）され、切替スイッチＳＷを介してＸＹＺ処理部４６に入力される。  
この場合、ＸＹＺ処理部４６には、（位置及びサイズ合わせの）調整処理時には、ＣＴリンパ節検出回路４５ｂ側からの３次元画像データが入力され、第１判定部４７から一致の判定信号が出力されると、この判定信号により切替スイッチＳＷが切り替えられてＣＴ血管検出回路４５ｃの３次元画像データが入力される。
【００２０】
上記のように、ＸＹＺ処理部４６には、調整処理時にはＣＴリンパ節及びＣＴリンパ管部分の３次元画像データが入力され、このＸＹＺ処理部４６は、ＣＴリンパ節及びＣＴリンパの断面方向のパラメータｊにより２次元画像データに変換する。  
つまり、蛍光リンパ節及び蛍光リンパ管の２次元画像データと比較できるようにするため、ＸＹＺ処理部４６は、断面方向のパラメータｊ（初期値ｊ＝１）で設定された断面で蛍光リンパ節及び蛍光リンパ管の３次元画像データを２次元画像データに変換し、その変換した２次元画像データを第１判定部４７に出力する。  
この第１判定部４７は、ＸＹＺ処理部４６から出力されるＣＴリンパ節及びＣＴリンパ管の画像データと、蛍光リンパ節及び蛍光リンパ管の画像データとの比較判定を行う。そして、閾値Ｖｔ以内で一致していると、第１判定部４７は、一致の判定信号を重畳処理部５０に出力すると共に、切替スイッチＳＷを切り替える。
【００２１】
なお、第１判定部４７は、両画像データの比較判定を行う場合、各画像データにおける代表的な複数の点間の距離が両画像データで一致するか否かの比較、つまりサイズが一致しているか否かの比較を行い、この比較判定が閾値Ｖｔ以内で一致すると、その後両画像データでの代表点の位置が平行移動のみで例えば閾値Ｖｔ以内で一致するか否かの位置の比較判定を行う。そして、サイズ及び位置が一致していると、第１判定部４７は、一致の判定信号を出力する。  
この場合には、ＣＴ血管検出回路４５ｃにより検出されたＣＴ血管部分の３次元の画像データがＸＹＺ処理部４６での断面方向の２次元画像データに変換され、この２次元画像データが第１判定部４７を介して重畳処理部５０に出力される。なお、この場合、第１判定部４７は、平行移動により位置合わせするオフセット調整を行う。
【００２２】
一方、閾値Ｖｔ以内で一致しないと判定された場合には、ＸＹＺ処理部４６から出力されるＣＴリンパ節及びＣＴリンパ管の画像データは、第１判定部４７を経て縮尺処理部４８に送られ、この縮尺処理部４８は判定結果（比較結果）に応じて、ＣＴリンパ節及びＣＴリンパ管の画像データに対して拡大或いは縮小する処理を行う。なお、位置のみが一致していない場合には、第１判定部４７から第２判定部４９にその情報が送られる。  
つまり、縮尺処理部４８は、ＣＴリンパ節側が蛍光リンパ節側より大きいと判定された場合には所定の縮小率で縮小処理を行い、逆にＣＴリンパ節側が蛍光リンパ節側より小さいと判定された場合には所定の拡大率で拡大処理を行う。  
この縮尺処理部４８で縮尺処理された画像データは、再び第１判定部４７に入力され、比較判定され、拡大或いは縮小の処理及び判定処理が繰り返される。
【００２３】
そして、第１判定部４７が閾値Ｖｔ以内で一致する判定した場合には、第１判定部４７は、上記のように一致の判定信号を重畳処理部５０に出力する。この場合には、この状態での断面方向及び縮尺で、ＣＴ血管の画像データが縮尺処理部４８を経て重畳処理部５０に入力され、重畳処理部５０は、ＣＴ血管の画像データと蛍光リンパ節検出回路４５ａの蛍光画像データとを重畳した重畳画像を出力する。  
一方、第１判定部４７は縮尺処理部４８による縮尺処理を繰り返し行っても、閾値Ｖｔ以内で一致しないと判定した場合には、ＸＹＺ処理部４６の断面方向のパラメータｊを変更する。そして、異なる方向で同様の処理を行う。このようにしてＸＹＺ処理部４６の断面方向のパラメータｊを変更して処理する回数が所定回数ｎを超えた場合、及びサイズは一致するが位置が一致しない場合には、第１判定部４７はその判定結果の情報を第２判定部４９に出力する。
【００２４】
第２判定部４９は、体位の方向等に関連する処理パラメータｉがｍ以内である場合には、このパラメータｉを変更する信号をＣＴ画像メモリ４３ｂに送り、ＣＴリンパ節検出回路４５ｂにより抽出されるＣＴリンパ節等の方向を変更してＸＹＺ処理部４６に出力させる。このようにして、処理パラメータｉを変更してＣＰＵ４４は同様の処理を行う。  
重畳処理部５０は、第１判定部４７から一致の判定信号が出力されると、上記重畳画像をＤ／Ａ変換器５１に送り、このＤ／Ａ変換器５１は、重畳画像データをアナログの画像信号（映像信号）に変換してモニタ８に出力し、モニタ８の表示面には蛍光画像とＣＴ画像とが重畳された重畳画像が表示される。  
なお重畳処理部５０は、第１判定部４７から一致の判定信号が入力されていない場合には、蛍光画像メモリ４３ａに格納された蛍光画像を重畳処理することなくスルーしてＤ／Ａ変換器５１に出力する。或いは、蛍光画像メモリ４３ａに格納されている蛍光画像は、重畳処理部５０から出力する重畳画像とずらした状態でモニタ８に常時出力されるようにし、この蛍光画像がモニタ８に常時表示される構成にしても良い。
【００２５】
このような構成による本実施例の動作を図５のフローチャートを参照して以下に説明する。  
図５の最初のステップＳ１において、内視鏡５による外科手術を行おうとする患者２に対して、手術を行おうとする対象部位周辺部を含むようにして、ＣＴ装置９によってＣＴ撮影が行われ、ＣＴ装置９は３次元ＣＴ画像を生成する。この３次元ＣＴ画像は、ＣＴ装置９と接続されたＣＣＵ７のＣＴ画像メモリ４３ｂに格納される。  
図４（Ａ）は、ＣＴ装置９により得られるＣＴ画像例を示す。なお、図４（Ａ）は所定方向から見た場合のＣＴ画像例を模式的に示している。例えば、図１に示す対象部位２１内に血管３５、リンパ管３６及びリンパ節３７が含まれている場合には、これに対応して血管３５ａ、リンパ管３６ａ、リンパ節３７ａのＣＴ画像が得られる。
【００２６】
次のステップＳ２において、外科手術を行う術者は、患者２の対象部位２１周辺部に蛍光物質としてのＩＣＧを注射等で投与若しくは注入する処置を行う。次のステップＳ３において術者は、患者２の体内に内視鏡５の挿入部１１を挿入し、対象部位２１に対する蛍光観察を開始する。  
この蛍光観察を開始すると、ＣＣＵ７により、内視鏡５で得られる蛍光画像がモニタ８に内視鏡画像として表示される。この場合には、図４（Ｂ）に示すようにＩＣＧの投与による蛍光を撮像することにより、血液の流量が小さい部分、つまりＩＣＧも滞留し易いリンパ管３６ｂ及びリンパ節３７ｂの蛍光画像が表示される。なお、参考の画像表示例として図４（Ｄ）は、蛍光観察でなく、反射光による通常観察の場合の画像表示例を示す。この場合には、励起フィルタ１９を透過した励起光を、励起光カットフィルタ２９で全てカットして撮像を行っているので、画像は殆ど得られない撮像条件となっており、観察したい画像を２点鎖線で示している。
【００２７】
上記蛍光画像の表示と共に、ＣＣＵ７内の画像処理回路３２は、ステップＳ４以下の処理を開始し、ＣＴ装置９により得られるＣＴ画像（より具体的にはＣＴ血管画像）を内視鏡５により得られる蛍光画像のサイズ及び位置合わせした重畳画像を生成する処理を行う。  
つまり、ステップＳ４に示すようにＣＴリンパ節検出回路４５ｂは、ＣＴ画像メモリ４３ｂからＣＴリンパ節及びＣＴリンパ管の３次元の画像データを抽出して、ＣＰＵ４４のＸＹＺ処理部４６に出力する。この場合、ＣＴリンパ節検出回路４５ｂにより抽出される３次元の画像データは、患者２の体位等の方向に関連した処理パラメータｉが初期値１に設定されたものとなる。このパラメータｉの値を変更することにより、異なる方向（方位）の３次元の画像データがＣＴリンパ節検出回路４５ｂにより抽出される。
【００２８】
ステップＳ５に示すようにＸＹＺ処理部４６は、３次元から２次元のＣＴリンパ節及びＣＴリンパ管の画像データに変換し、その画像データを第１判定部４７に出力する。  
この場合、ＸＹＺ処理部４６は、断面方向のパラメータｊを初期値１に設定している。第１判定部４７はステップＳ６ａに示すように、ＣＴリンパ節側の画像データと蛍光リンパ節側の画像データとがサイズ及び（平行移動のみの調整で）位置が閾値Ｖｔ以内で一致しているか否かの比較判定を行う。  
そして、一致していると判定した場合には、ステップＳ７に示すように第１判定部４７は、一致しているとの判定信号により切替スイッチＳＷを切替える。そして、ＣＴ画像メモリ４３ｂからＣＴ血管検出回路４５ｃで抽出されたＣＴ血管画像の３次元画像データがＸＹＺ処理部４６で２次元画像データに変換され、第１判定部４７，縮尺処理部４８を経て重畳処理部５０に入力されるようにする。
【００２９】
つまり、ステップＳ６ａの判定結果により、ＣＰＵ４４によるサイズ及び位置合わせの調整処理状態（パラメータｉ，ｊ，ｋの設定状態）は、蛍光画像と、これに対応する対応画像としてのＣＴ画像（２次元画像）とが一致した状態となっているので、この調整処理状態のままでＣＴ画像における血管の２次元画像をＣＰＵ４４部分で生成し、この２次元画像を重畳処理部５０に送る。なお、両画像がサイズが一致し、平行移動のみによる位置ずれ分は、その平行移動量のオフセット補正で解消される。  
次のステップＳ８に示すように重畳処理部５０によりＣＴ血管画像と、蛍光リンパ節検出回路４５ａを経て抽出された蛍光リンパ節側の蛍光画像とが重畳され、モニタ８には図４（Ｃ）に示すような合成画像が表示されるようになる。なお、図５においてステップＳ８の処理の後、再びステップＳ３に戻り、異なるフレームでの内視鏡画像（蛍光画像）に対して同様の処理を行うようにしても良い。
【００３０】
一方、第１判定部４７は、ステップＳ６ａにおける判定処理において、一致していないと判定した場合には、ステップＳ６ｂに示すようにサイズが一致しているか否かの判定を行う。サイズが一致しており、平行移動においても位置が一致しない場合には、（ＣＴ画像の方位の変更が必要になるため）、第１判定部４７、パラメータｉを１つ増大する処理（ステップＳ１５）を経てステップＳ４の処理に戻す。  
一方、サイズが一致していない場合には、ステップＳ９に示すように第１判定部４７は、比較結果の情報と共に、ＣＴリンパ節側の画像データを縮尺処理部４８に送る。  
縮尺処理部４８は、比較結果に応じて、ＣＴリンパ節側の画像データを一定比率で拡大或いは縮小する処理を行い、第１判定部４７に戻す。
【００３１】
第１判定部４７は、縮尺処理部４８から拡大或いは縮小処理されたＣＴリンパ節側の画像データが入力される縮尺処理回数のパラメータｋの初期値を１から順次計数し、そのパラメータｋの値が例えば所定回数ｐ以上か否かの判定を行う（ステップＳ１０）。そして、ｋ≧ｐを満たさない場合には、第１判定部４７は、ｋ＝ｋ＋１（ステップＳ１１）にして、ステップＳ６ａの比較処理を繰り返す。  
一方、ｋ≧ｐの条件を満たす場合には、ステップＳ１２に示すように第１判定部４７は、パラメータｊが所定回数ｎ以上か否か、つまりｊ≧ｎか否かの判定を行う。そして、このｊ≧ｎを満たさない場合には、第１判定部４７は、ｊ＝ｊ＋１（ステップＳ１３）にして、ステップＳ５の処理に戻るようにする。この場合には断面方向のパラメータを変更して同様の処理を繰り返すことになる。
【００３２】
また、ステップＳ１２の条件を満たす場合には、ステップＳ１４に示すように第１判定部４７は、パラメータｉが所定回数ｍ以上か否か、つまりｉ≧ｍか否かの判定を行う。そして、このｉ≧ｍを満たさない場合には、第１判定部４７は、ｉ＝ｉ＋１（ステップＳ１５）にして、ステップＳ４の処理に戻るようにする。この場合には処理パラメータｉを変更して同様の処理を繰り返すことになる。  
また、ステップＳ１４の判定処理において、ｉ≧ｍの条件を満たす場合には、サイズを調整して重畳するための処理を終了する。この場合は、例えば設定されたパラメータの範囲、条件下では、ＣＴ画像と蛍光画像とを重畳する条件に適した条件に設定することができなかったような場合に相当する。従って、この場合には、術者は、パラメータの範囲等を変更することにより、解消することができる。
【００３３】
このように動作する本実施例は、ＣＴ装置９により得られたＣＴ画像中のＣＴリンパ節及びリンパ管のサイズ及び位置を、内視鏡５により得られる蛍光画像中の蛍光リンパ節及びリンパ管のサイズ及び位置に合わせる調整処理を行う。そして、本実施例は、この調整処理された状態でＣＴ血管の画像を内視鏡５により得られる蛍光画像に重畳してモニタ８で表示する構成にしている。  
従って本実施例によれば、内視鏡５により蛍光観察の状態においても血管の画像が蛍光リンパ節及び蛍光リンパ管と共に同時に表示できるようになる。つまり蛍光画像中に血管の走行状態を推定若しくは把握できる画像が合成されて表示されるので、術者は外科手術等を適切に行い易くなる。
【００３４】
なお、上述の説明においては、蛍光リンパ節及び蛍光リンパ管に、ＣＴリンパ節及びＣＴリンパ管のサイズ及び位置を合わせる調整処理を行うようにしているが、これらの一方のサイズ及び位置を合わせる調整処理を行うようにしても良い。例えば、蛍光リンパ節に対し、対応画像となるＣＴリンパ節のサイズ及び位置を合わせる調整処理を行うようにしても良い。  
なお、内視鏡５により得られる蛍光画像と、この蛍光画像にＣＴ装置９による蛍光画像のサイズ及び位置合わせした２次元の少なくとも血管を含むＣＴ画像を重畳した合成画像とを隣接して表示するようにしても良い。  
また、この場合、合成画像における２次元ＣＴ画像側としては、血管以外のリンパ節、リンパ管も同時に重畳等して合成しても良い。
【実施例２】
【００３５】
次に図６から図８を参照して、本発明の実施例２を説明する。  
図６は本発明の実施例２の観察システム１Ｂの全体構成を示す。この観察システム１Ｂは、光学式内視鏡３及びカメラヘッド４Ｂからなる内視鏡５Ｂと、光源装置６Ｂと、ＣＣＵ７Ｂと、モニタ８と、ＣＴ装置９とから構成される。なお、実施例１と同じ構成要素には、同じ符号を付け、その説明を省略する。  
本実施例は、実施例１の観察システム１において、さらに通常観察も行えるようにしたものである。このため、図６に示す観察システム１Ｂにおいては、図１のカメラヘッド４に設けた励起光カットフィルタ２９の代わりに、例えばモータ６１により光路中に配置されるフィルタが切り替えられる切替フィルタ６２が設けたカメラヘッド４Ｂが採用されている。
【００３６】
この切替フィルタ６２は、図７に示すように励起光カットフィルタ２９と通常フィルタ６３とがモータ６１（図６参照）の回転軸の周方向に設けてある。そして、カメラヘッド４Ｂに設けた観察モード切替スイッチ６４の切替操作により、光路中に配置されるフィルタを、これらのフィルタ２９、６３の一方となるように切り替えることができる。なお、通常フィルタ６３は、可視領域の光を透過するフィルタで構成されている。  
また、本実施例における光源装置６Ｂは、図１の光源装置６において、励起フィルタ１９の代わりに、モータ６５により照明光路中に配置されるフィルタが切り替えられる切替フィルタ６６が設けてある。  
この切替フィルタ６６は、図８に示すように通常フィルタ６３と励起フィルタ１９とが設けたものである。つまり、この切替フィルタ６６は、図７に示した切替フィルタ６２において、励起光カットフィルタ２９の代わりに励起フィルタ１９が設けられたもので構成されている。
【００３７】
図６に示すように観察モード切替スイッチ６４により切替操作が行われると、その切替指示信号は、モータ６１を駆動すると共に、ＣＣＵ７Ｂを経て光源装置６Ｂ内のモータ６５も連動して駆動する。  
つまり、術者等のユーザは、観察モード切替スイッチ６４を切替操作して、通常観察モードを選択すると、光源装置６Ｂ内及びカメラヘッド４Ｂ内の切替フィルタ６６及び６２は、それぞれ通常フィルタ６３が光路中に配置される状態になる。  
一方、ユーザが蛍光観察モードを選択すると、光源装置６Ｂ内の切替フィルタ６６は光路中に励起フィルタ１９が、カメラヘッド４Ｂ内の切替フィルタ６２は光路中に励起光カットフィルタ２９が配置される状態となる。この場合には、実質的に実施例１と同様の構成となる。
【００３８】
また、本実施例におけるＣＣＵ７Ｂは、図１のＣＣＵ７において、さらに通常画像に対する通常画像処理機能を備えた構成となっている。具体的には、図２に示す画像処理回路３２において、前処理回路４２の出力端に設けられた蛍光画像メモリ４３ａと並列に通常観察モードでＣＣＤ２８で撮像した場合の画像（通常画像）を一時記憶する通常画像メモリを設けた画像処理回路３２Ｂが設けてある。  
そして、通常観察モードが選択された場合には、ＣＣＤ２８で撮像した通常画像を通常画像メモリに格納し、この通常画像メモリに格納された通常画像を所定周期で読み出し、Ｄ／Ａ変換器５１を経てモニタ８に出力する。
【００３９】
また、本実施例においては、画像処理回路３２Ｂには、キーボード６８が接続されており、術者等のユーザは、このキーボード６６から図５に示した処理を行う場合における各種のパラメータの値、範囲の指定などを行うことができるようにしている。  
また、実施例１においても述べたように、図５の処理を行う場合、蛍光画像からサイズ及び位置合わせに際に比較される部分の基準画像として使用される蛍光リンパ節及び蛍光リンパ管の画像部分を抽出する場合、ユーザはキーボード６８からマーキングを行い、このマーキングされた部分を抽出することができるようにしている。また、ＣＴ画像側に対しても基準画像にサイズ及び位置合わせする際の対応画像となるＣＴリンパ節及びＣＴリンパ管部分を抽出する場合にも、上記基準画像に対応する部分をマーキングして、その部分を抽出できるようにしている。
【００４０】
なお、キーボード６８の他に、マウスやジョイスティック等のポインチングデバイスなどを設けて、ユーザはマウスなどを操作してパラメータ等の設定を行うようにしても良い。  
ユーザは、各種のパラメータを手動入力することにより、ＣＴ画像を蛍光画像のサイズ及び位置合わせする調整処理を行う場合、無駄なパラメータの設定条件で処理することを少なくし、サイズ及び位置合わせの処理を短時間で行うことができるようになる。  
また、上記のようにユーザがサイズ及び位置合わせする際における基準画像及び対応画像を指定（マーキング）することにより、時間的に異なるフレームにおける蛍光画像に対してもサイズ及び位置合わせする処理を円滑に行うことができる。  
また、この場合、最初にサイズ及び位置合わせした際のパラメータ等の条件を、時間的に後のフレーム（１／３０ｓｅｃの後のフレームに限らず、適宜の周期のフレーム）で同様にサイズ及び位置合わせする際の初期値に設定（例えばＣＰＵ４４はその情報を不揮発性のメモリとしての例えばＥＥＰＲＯＭに記憶しておき、前記後のフレームにおいてその情報を読み出して使用）して、サイズ及び位置合わせの調整処理を行うことにより、短時間にサイズ及び位置合わせすることができる。
【００４１】
また、このように時間的に異なるフレームにおいて、サイズ及び位置合わせを行う場合、例えば時間的に位置が移動する可能性がある基準画像側における最初にマーキングされた部分を、時間的に異なるフレームにおける対応する部分に位置補正させる処理を例えばＣＰＵ４４で行うようにしても良い。  
このようにして、基準画像側で最初にマーキングされた部分が、時間的に後になる蛍光画像において位置が移動しても基本的に同じマーキングされた部分が基準画像として保持できると、ＣＴ画像側でこれにサイズ及び位置を一致させる調整処理が、簡単になる。
【００４２】
つまり、ＣＴ画像側でサイズ及び位置合わせする際、最初に蛍光画像における基準画像部分とＣＴ画像側での対応画像とのマーキングを行っておけば、その後は蛍光画像が移動して基準画像も移動しても、その基準画像が位置補正して保持される。このため、ＣＴ画像側における対応画像部分として（基準画像に対応するものかの判別を行うことを不用として）同じものを使用でき、サイズ及び位置を一致させる調整処理が、簡単になる。  
上記位置補正を行う処理の方法は、例えばＭＰＥＧ２或いは４等における領域の動きベクトルを検出する方法で実現できる。つまり、基準画像部分におけるマーキングされた部分を含む所定領域のブロック部分が異なるフレームにおいてどのブロックに移動しているかを、例えばブロックマッチング法で検出することにより、位置補正ができる。この場合、サイズが変化する場合には、さらにサイズを若干変更する処理も行うようにすると、さらに高精度の位置補正ができる。
【００４３】
従って、本実施例によれば、通常画像での観察ができると共に、蛍光観察モードに設定した場合には実施例１のように蛍光画像にＣＴ装置９で得られる血管画像を合成表示することができる。従って、血管の走行状態を推定若しくは把握でき、内視鏡観察下での手術を円滑に行うことができる。  
また、本実施例の場合、ユーザ側において、調整処理する際のパラメータ、つまり調整処理を行う際の条件、範囲を適切にでき、無駄な調整処理を省くことができる。  
なお、３次元画像生成手段としてＣＴ装置９の場合で説明したが、本発明はこれに限定されるものでなく、例えばＭＲＩ装置による３次元画像を採用しても良い。  
また、上述した実施例においては、光源装置６側において励起光を発生する構成にしているが、例えば内視鏡５の先端部に励起光用発光ダイオード（ＬＥＤ）を設け、この励起光用ＬＥＤから励起光を対象部位２１側に照射する構成にしても良い。この場合、可視光で観察するモードがある場合には、可視光で発光する可視光用ＬＥＤを設け、モード切替スイッチで発光させるＬＥＤを切り替えるようにしても良い。
【産業上の利用可能性】
【００４４】
内視鏡により得られる蛍光画像中に、その蛍光画像と同じサイズ及び位置で血管の画像を重畳して表示できるようにしているので、内視鏡観察下で外科手術等を行う場合、血管の走行状態を把握でき、円滑な手術ができるようになる。
【図面の簡単な説明】
【００４５】
【図１】図１は本発明の実施例１の観察システムの全体構成図。
【図２】図２はカメラコントロールユニットによる画像処理回路の構成を示すブロック図。
【図３】図３は励起フィルタ及び励起光カットフィルタの透過率特性等を示す特性図。
【図４】図４はＣＴ装置及び内視鏡等により得られる画像を示す図。
【図５】図５は実施例１による処理内容を示すフローチャート図。
【図６】図６は本発明の実施例２の観察システムの全体構成図。
【図７】図７はカメラヘッド内の切替フィルタの構成を示す図。
【図８】図８は光源装置内の切替フィルタの構成を示す図。
【符号の説明】
【００４６】
１…観察システム
２…患者
３…光学式内視鏡
４…カメラヘッド
５…内視鏡
６…光源装置
７…ＣＣＵ
８…モニタ
９…ＣＴ装置
１９…励起フィルタ
２８…ＣＣＤ
２９…励起光カットフィルタ
３２…画像処理回路
４３ａ…蛍光画像メモリ
４３ｂ…ＣＴ画像メモリ
４４…ＣＰＵ
４５ａ…蛍光リンパ節検出回路
４５ｂ…ＣＴリンパ節検出回路
４５ｃ…ＣＴ血管検出回路
４６…ＸＹＺ処理部
４７…第１判定部
４８…縮尺処理部
４９…第２判定部
５０…重畳処理部
【図１】
2007244746.tif 000003
【図２】
2007244746.tif 000004
【図３】
2007244746.tif 000005
【図４】
2007244746.tif 000006
【図５】
2007244746.tif 000007
【図６】
2007244746.tif 000008
【図７】
2007244746.tif 000009
【図８】
2007244746.tif 000010