(57)【要約】  合成部は、可視画像における各ピクセルのＲＧＢ値や、輝度、明度、彩度、色相のいずれかのパラメータを含む色空間における、一つ以上のパラメータと、インドシアニングリーンからの蛍光を撮影した近赤外画像の画素値とを用いて第１の補正画像を作成し、この第１の補正画像と、着色後の近赤外画像である第２の補正画像とを合成することにより、合成画像を作成する。
2016042892.tif 000002
【特許請求の範囲】
【請求項１】
被写体に注入された蛍光色素を励起させるための励起光を、前記被写体に向けて照射する励起用光源と、
前記被写体に向けて可視光を照射する可視光源と、
励起光が照射されることにより前記蛍光色素から発生した蛍光と、前記被写体の表面で反射した可視光とを撮影するための、蛍光と可視光とを検出可能なカメラと、
前記カメラにより撮影した前記被写体の可視画像と前記被写体の蛍光画像とを合成することにより、合成画像を作成する合成部と、
を備えたイメージング装置において、
前記合成部は、前記可視画像と前記蛍光画像とを用いて演算することにより得た第１の補正画像と、前記蛍光画像を着色して得た第２の補正画像とを合成することにより前記合成画像を作成するイメージング装置。
【請求項２】
請求項１に記載の赤外イメージング装置において、
前記合成部は、前記可視画像から前記蛍光画像を基にした画像を減算して得た第１の補正画像と、前記蛍光画像を着色して得た第２の補正画像とを合成することにより前記合成画像を作成するイメージング装置。
【請求項３】
請求項２に記載の赤外イメージング装置において、
前記可視画像の色空間の値から、前記蛍光画像の画素値に０より大きく１より小さい係数を乗算した画素値を減算することにより、前記第１の補正画像を作成するイメージング装置。
【請求項４】
請求項２または請求項３に記載のイメージング装置において、
前記励起光および前記蛍光は、近赤外光であるイメージング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、被写体に注入された蛍光色素に対して励起光を照射し、蛍光色素から発生した蛍光を撮影するイメージング装置に関する。
【背景技術】
【０００２】
近年、近赤外蛍光イメージングと呼称される手法が外科手術に利用されている。この近赤外蛍光イメージングにおいては、蛍光色素としてのインドシアニングリーン（ＩＣＧ）を患部に注入する。そして、このインドシアニングリーンにおおよそ６００〜８５０ｎｍ（ナノメータ）の近赤外光を励起光として照射すると、インドシアニングリーンはおおよそ８１０ｎｍをピークとする近赤外領域の蛍光を発する。この蛍光を、近赤外光を検出可能なカメラで撮影し、その画像を液晶表示パネル等の表示部に表示する。この近赤外蛍光イメージングによれば、体表から２０ｍｍ程度までの深さに存在する血管やリンパ管等の観察が可能となる。【０００３】
特許文献１には、インドシアニングリーンが投与された生体の被検臓器に対して、インドシアニングリーンの励起光を照射して得られた、近赤外蛍光の強度分布イメージと、インドシアニングリーン投与前の被検臓器に対して、Ｘ線、核磁気共鳴または超音波を作用させて得られた、癌病巣分布イメージと、を比較し、近赤外蛍光の強度分布イメージで検出されるが、癌病巣分布イメージでは検出されない領域のデータを、癌の副病巣領域データとして収集するデータ収集方法が開示されている。【０００４】
また、特許文献２には、血管造影剤が投与された被検体に対して励起光と可視光とを交互に照射し、撮像手段によって励起光が照射された蛍光画像と可視画像とを交互に取得するとともに、蛍光画像を所定の閾値により閾値処理して血管画像を抽出し、可視画像と抽出した血管画像を重畳させた合成画像を作成する手術支援方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２００９／１３９４６６号公報
【特許文献２】特開２００９−２２６０７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献２に記載されたように、可視画像と蛍光画像とを合成した合成画像を作成する場合においては、白黒の蛍光画像に着色をした上で、可視画像と着色後の蛍光画像とを、例えば、加算合成やスクリーン合成などの手法を用いて合成している。このとき、可視画像と着色後の蛍光画像とを単純に合成した場合においては、可視画像と着色された蛍光画像との判別が困難となるという問題が生ずる。【０００７】
すなわち、単純に合成を行った場合には、可視画像の下地の色と、着色後の蛍光画像の色とが混ざり合い、蛍光画像が本来の色とかけ離れてしまうことから、蛍光画像における蛍光領域がどこまでであるのかを判別することが困難となる。【０００８】
この発明は上記課題を解決するためになされたものであり、被写体の可視画像と蛍光画像とを合成して合成画像を作成するときに、蛍光画像の視認性を向上することが可能なイメージング装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
第１の発明では、被写体に注入された蛍光色素を励起させるための励起光を、前記被写体に向けて照射する励起用光源と、前記被写体に向けて可視光を照射する可視光源と、励起光が照射されることにより前記蛍光色素から発生した蛍光と、前記被写体の表面で反射した可視光とを撮影するための、蛍光と可視光とを検出可能なカメラと、前記カメラにより撮影した前記被写体の可視画像と前記被写体の蛍光画像とを合成することにより、合成画像を作成する合成部と、を備えたイメージング装置において、前記合成部は、前記可視画像と前記蛍光画像とを用いて演算することにより得た第１の補正画像と、前記蛍光画像を着色して得た第２の補正画像とを合成することにより前記合成画像を作成する。【００１０】
第２の発明では、前記合成部は、前記可視画像から前記蛍光画像を基にした画像を減算して得た第１の補正画像と、前記蛍光画像を着色して得た第２の補正画像とを合成することにより前記合成画像を作成する。【００１１】
第３の発明では、前記可視画像の色空間の値から、前記蛍光画像の画素値に０より大きく１より小さい係数を乗算した画素値を減算することにより、前記第１の補正画像を作成する。【００１２】
第４の発明では、前記励起光および前記蛍光は、近赤外光である。
【発明の効果】
【００１３】
請求項１から請求項４に記載の発明によれば、被写体の可視画像と蛍光画像とを合成して合成画像を作成するときに、可視画像と蛍光画像とを用いて演算した第１の補正画像と、蛍光画像を着色して得た第２の補正画像とを合成することから、蛍光画像の視認性を向上させることが可能となる。
【図面の簡単な説明】
【００１４】
【図１】この発明に係るイメージング装置の概要図である。
【図２】照明・撮影部１２の斜視図である。
【図３】この発明に係るイメージング装置の主要な制御系を示すブロック図である。
【図４】この発明に係るイメージング装置により可視画像と近赤外画像とを合成して合成画像を作成する画像合成工程のフロー図である。
【図５】この発明に係るイメージング装置により可視画像と近赤外画像とを合成して合成画像を作成する他の実施形態に係る画像合成工程のフロー図である。
【発明を実施するための形態】
【００１５】
以下、この発明の実施の形態を図面に基づいて説明する。図１は、この発明に係るイメージング装置の概要図である。
【００１６】
このイメージング装置は、タッチパネル等の入力部１１を備え、後述する制御部３０等を内蔵した本体１０と、アーム１３により移動可能に支持された照明・撮影部１２と、液晶表示パネル等から構成される表示部１４と、患者１７を載置する治療台１６とを備える。なお、照明・撮影部１２はアーム１３によって支持されたものに限定されず、術者が手に携帯するものであってもよい。
【００１７】
図２は、上述した照明・撮影部１２の斜視図である。
【００１８】
この照明・撮影部１２は、近赤外線および可視光を検出可能なカメラ２１と、このカメラ２１の外周部に配設された多数のＬＥＤよりなる可視光源２２と、この可視光源２２の外周部に配設された多数のＬＥＤよりなる励起用光源２３とを備える。可視光源２２は、可視光を照射する。励起用光源２３は、インドシアニングリーンを励起させるための励起光であるその波長が７６０ｎｍの近赤外光を照射する。
【００１９】
図３は、この発明に係るイメージング装置の主要な制御系を示すブロック図である。
【００２０】
このイメージング装置は、論理演算を実行するＣＰＵ、装置の制御に必要な動作プログラムが格納されたＲＯＭ、制御時にデータ等が一時的にストアされるＲＡＭ等から構成され、装置全体を制御する制御部３０を備える。この制御部３０は、後述する各種の画像処理を実行する、合成部３２を有する画像処理部３１を備える。また、この制御部３０は、上述した入力部１１および表示部１４と接続されている。また、この制御部３０は、カメラ２１、可視光源２２および励起用光源２３を備えた照明・撮影部１２と接続されている。さらに、この制御部３０は、カメラ２１により撮影された画像を記憶する画像記憶部３３とも接続されている。この画像記憶部３３は、近赤外画像を記憶する近赤外画像記憶部３４と、可視画像を記憶する可視画像記憶部３５とから構成される。なお、近赤外画像記憶部３４及び可視画像記憶部３５を備える代わりに、可視画像と近赤外画像とを合成した画像を記憶する合成画像記憶部を備えていても良い。
【００２１】
以下、この発明に係るイメージング装置を使用して外科の手術を行う場合の動作について説明する。なお、以下の説明においては、患者１７に対して乳癌の手術を行う場合について説明する。
【００２２】
この発明に係るイメージング装置を使用して乳癌の手術を行う場合には、治療台１６上の仰臥した患者１７の乳房にインドシアニングリーンを注射により注入する。そして、患部を含む被写体に向けて、励起用光源２３から近赤外線を照射するとともに可視光源２２から可視光を照射する。なお、励起用光源２３から照射される近赤外光としては、上述したように、インドシアニングリーンが蛍光を発するための励起光として作用する７６０ｎｍの近赤外光が採用される。これにより、インドシアニングリーンは、約８１０ｎｍをピークとする近赤外領域の蛍光を発生する。
【００２３】
そして、患者１７の患部付近をカメラ２１により撮影する。このカメラ２１は、近赤外光と可視光とを検出することが可能となっている。患者１７に可視光を照射し、これをカメラ２１により撮影した画像が可視画像となり、患者１７に近赤外光を照射し、インドシアニングリーンからの蛍光をカメラ２１により撮影した画像が近赤外画像となる。カメラ２１により撮影された近赤外画像および可視画像は、図３に示す画像処理部３１に送られる。画像処理部３１においては、近赤外画像および可視画像を表示部１４に表示可能な画像データに変換する。近赤外画像のデータは画像記憶部３３における近赤外画像記憶部３４に記憶される。また、可視画像のデータは、画像記憶部３３における可視画像記憶部３５に記憶される。
【００２４】
この状態において、画像処理部３１における合成部３２は、後述するように、近赤外画像データと可視画像データとを利用して、可視画像と近赤外画像とを融合させた合成画像を作成する。そして、画像処理部３１は、表示部１４に、近赤外画像、可視画像および合成画像を、領域を分けて同時に、あるいは、選択的に表示する。
【００２５】
次に、この発明の特徴部分である合成画像の作成動作について説明する。図４は、この発明に係るイメージング装置により可視画像と近赤外画像とを合成して合成画像を作成する画像合成工程のフロー図である。
【００２６】
画像処理部３１における合成部３２は、可視画像における各ピクセルのＲＧＢ値、輝度、明度、彩度、及び、色相のいずれかを含む色空間における、一つ以上のパラメータと、インドシアニングリーンからの蛍光を撮影した近赤外画像における各ピクセルの画素値とを用いて第１の補正画像を作成し、この第１の補正画像と、着色後の近赤外画像である第２の補正画像とを合成することにより、合成画像を作成している。以下、ＲＧＢ色空間における３つのパラメータＲ、Ｇ、Ｂを使用して合成画像を作成する場合の実施形態について説明する。
【００２７】
可視画像における各画素の画素値（つまり、可視画像における各ピクセルのＲＧＢ値、輝度、明度、彩度、及び、色相のいずれかを含む色空間における、一つ以上のパラメータの値）をＰ１０ｉとし、近赤外画像における各画素の画素値をＰ２０ｖとする。また、後述する減算処理を行った後の第１の補正画像の画素値をＰ１１ｉとし、近赤外画像を着色して得た第２の補正画像の画素値をＰ２１ｉとする。さらに、可視画像と近赤外画像とを合成した合成画像の画素値をＰ３０ｉとする。ここで、ｉはＲＧＢのいずれかを示し、また、ｖは画素値を示す０から２５５までの整数値である。
【００２８】
第１の補正画像の各画素の画素値Ｐ１１ｉは、下記の式（１）に示すように、可視画像の画素値Ｐ１０ｉから、近赤外画像の画素値に１より小さい自然数からなる係数αを乗算した画素値を減算することにより得られる。ここで、αは０より大きく１より小さい係数である。また、［］は、ガウス記号を表す。
【００２９】
Ｐ１１ｉ＝Ｐ１０ｉ−［α×Ｐ２０ｖ＋０．５］  ・・・（１）
【００３０】
そして、下記の式（２）で示すように、第１の補正画像の画素値Ｐ１１ｉと着色後の近赤外画像である第２の補正画像の画素値Ｐ２１ｉとを利用してスクリーン合成を実行することにより、合成画像の画素値Ｐ３０ｉを演算する。なお、下地となる可視画像において赤の領域が多い場合には、近赤外画像への着色すべき色としては、例えば、視認性の良い青色を選択することができる。
【００３１】
Ｐ３０ｉ＝（Ｐ１１ｉ＋Ｐ２１ｉ）−（Ｐ１１ｉ×Ｐ２１ｉ）／２５５  ・・・（２）
【００３２】
このような演算を行うことにより、下地となる可視画像を近赤外画像により前処理することで、着色された近赤外画像の色を保ったままで可視画像と近赤外画像とを合成することができる。すなわち、可視画像から蛍光に相当する近赤外画像の部分を差し引いた上で、可視画像と近赤外画像とを合成することができる。このため、近赤外画像の視認性を向上させることが可能となる。
【００３３】
次に、この発明の特徴部分である合成画像の他の実施形態に係る作成動作について説明する。図５は、この発明に係るイメージング装置により可視画像と近赤外画像とを合成して合成画像を作成する他の実施形態に係る画像合成工程のフロー図である。
【００３４】
上述した実施形態においては、第１の補正画像の各画素の画素値Ｐ１１ｉを、可視画像の画素値Ｐ１０ｉから、近赤外画像の画素値に１より小さい自然数からなる係数αを乗算した画素値を減算することにより得ている。これに対して、この実施形態においては、下記の式（３）により、第１の補正画像の各画素の画素値Ｐ１１ｉを演算する構成となっている。なお、第１の補正画像を作成する工程以外のその他の各工程については、上述した第１実施形態と同様である。
【００３５】
Ｐ１１ｉ＝２５５−［２５５×（２５５−Ｐ１０ｉ）／（２５５−Ｐ２０ｖ＋１）  ・・・  （３）
【００３６】
このような実施形態を採用した場合においても、可視画像から蛍光に相当する近赤外画像の部分を差し引いた上で、可視画像と近赤外画像とを合成することができることから、近赤外画像の視認性を向上させることが可能となる。
【００３７】
なお、上述した実施形態においては、いずれも、ＲＧＢ色空間をパラメータとして第１の補正画像を作成しているが、ＲＧＢ色空間に替えて、ＨＳＶ色空間で使用される色相（ｈｕｅ）、彩度（ｓａｔｕｒａｔｉｏｎ）、明度（ｖａｌｕｅ）、あるいは、ＨＬＳ色空間で使用される色相、彩度、輝度（ｌｕｍｉｎａｎｃｅ）など、その他の色空間におけるいずれかの１つ以上のパラメータを使用して、第１の補正画像を作成するようにしてもよい。
【００３８】
また、上述した実施形態においては、第１の補正画像と第２の補正画像とをスクリーン合成を実行することにより合成画像を作成しているが、スクリーン合成の代わりに、加算合成等の、その他の合成手法を使用してもよい。
【００３９】
また、上述した実施形態においては、いずれも、励起用光源２３として、波長が７６０ｎｍの近赤外光を照射するものを使用しているが、励起用光源２３としては、インドシアニングリーンを励起させて励起光を発生させることが可能な７５０ｎｍ〜８１０ｎｍ程度の近赤外光を照射させるものを使用することができる。
【００４０】
また、上述した実施形態においては、いずれも、蛍光色素を含む材料としてインドシアニングリーンを使用し、このインドシアニングリーンに対して７６０ｎｍの近赤外光を励起光として照射することにより、インドシアニングリーンからおおよそ８１０ｎｍをピークとする近赤外領域の蛍光を発光させる場合について説明したが、近赤外線以外の光を使用してもよい。
【００４１】
例えば、蛍光色素として、５−ＡＬＡ（５−アミノレブリン酸／５−Ａｍｉｎｏｌｅｖｕｌｉｎｉｃ  Ａｃｉｄ）を使用することができる。この５−ＡＬＡを使用した場合には、患者１７の体内に侵入した５−ＡＬＡが蛍光物質であるプロトポルフィリン（ｐｒｏｔｏｐｏｒｐｈｙｒｉｎＩＸ／ＰｐＩＸ）に変化する。このプロトポルフィリンに向けて４００ｎｍ程度の可視光を照射すると、プロトポルフィリンから赤色の可視光が蛍光として照射される。このため、５−ＡＬＡを使用する場合には、励起用光源としてはその波長が４００ｎｍ程度の可視光を照射するものを使用すればよい。
【符号の説明】
【００４２】
１０    本体
１１    入力部
１２    照明・撮影部
１３    アーム
１４    表示部
１６    治療台
１７    患者
２１    カメラ
２２    可視光源
２３    励起用光源
３０    制御部
３１    画像処理部
３２    合成部
３３    画像記憶部
３４    近赤外画像記憶部
３５    可視画像記憶部
【図１】
2016042892.tif 000003
【図２】
2016042892.tif 000004
【図３】
2016042892.tif 000005
【図４】
2016042892.tif 000006
【図５】
2016042892.tif 000007
【国際調査報告】
2016042892.tif 000008
2016042892.tif 000009