(57)【要約】【課題】  マーカを使用することなく、正確に時間強度曲線を得ることが可能な時間強度曲線測定装置を提供する。【解決手段】  画像処理部４４は、グレースケール画像作成部６１と、テカリ領域除去部６２と、関心領域追跡部６３と、時間強度曲線測定部６４とを備える。また、時間強度曲線測定部６４は、蛍光用撮像素子５６により撮影した蛍光画像における特定点の画素値を測定する画素値測定部７６と、この画素値測定部７６における画素値の測定位置を、関心領域追跡部６３により追跡した関心領域に対応させて移動させる測定位置移動部７７とを備える。【選択図】        図５
2018126234.tif 000002
【特許請求の範囲】
【請求項１】
被検者の体内の投与された蛍光色素からの発光の画素値の経時的な変化を示す時間強度曲線を測定する時間強度曲線測定装置であって、
被検者の体内に投与された蛍光色素を励起させるための励起光を前記被検者に向けて照射する励起用光源と、
前記蛍光色素からの蛍光画像と前記被検者の組織を含むカラー画像とを撮影する撮像手段と、
前記撮像手段により撮影したカラー画像に基づいて、関心領域を追跡する関心領域追跡部と、
前記撮像手段により撮影した蛍光画像における予め設定された測定点の画素値を測定する画素値測定部と、
前記画素値測定部における画素値の測定位置を、前記関心領域追跡部により追跡した関心領域に対応させて移動させる測定位置移動部と、
を備えたことを特徴とする時間強度曲線測定装置。
【請求項２】
請求項１に記載の時間強度曲線測定装置において、
前記撮像手段は、前記蛍光色素からの蛍光画像を撮影する第１撮影素子と、前記被検者の組織を含むカラー画像を撮影する第２撮像素子と、を有する時間強度曲線測定装置。
【請求項３】
請求項１に記載の時間強度曲線測定装置において、
組織を含むカラー画像に基づいて組織表面におけるテカリ領域を除去するテカリ領域除去部をさらに備え、
前記グレースケール画像作成部は、前記テカリ領域除去部によりテカリ領域を除去された後のカラー画像に基づいて、グレースケール画像を作成する時間強度曲線測定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、被検者の体内の投与された蛍光色素からの発光の画素値の経時的な変化を示す時間強度曲線を測定する時間強度曲線測定装置に関する。
【背景技術】
【０００２】
近赤外蛍光イメージングと呼称される手法が、外科手術における血管やリンパ管の造影に利用されている。この近赤外蛍光イメージングにおいては、蛍光色素であるインドシアニングリーン（ＩＣＧ）をインジェクタ等により被検者の体内に注入することで患部に投与する。そして、このインドシアニングリーンにその波長が６００〜８５０ｎｍ（ナノメータ）程度の近赤外光を励起光として照射すると、インドシアニングリーンは７５０〜９００ｎｍ程度の波長の近赤外蛍光を発する。この蛍光を、近赤外光を検出可能な撮像素子で撮影し、その画像を液晶表示パネル等の表示部に表示する。この近赤外蛍光イメージングによれば、体表から２０ｍｍ程度までの深さに存在する血管やリンパ管等の観察が可能となる。
【０００３】
また、近年、腫瘍を蛍光標識して手術ナビゲーションに利用する手法が注目されている。腫瘍を蛍光標識するための蛍光標識剤としては、５−アミノレブリン酸（５−ＡＬＡ／５−Ａｍｉｎｏｌｅｖｕｌｉｎｉｃ  Ａｃｉｄ）が使用される。この５−アミノレブリン酸（以下、これを略称するときは「５−ＡＬＡ」という）を被検者に投与した場合、５−ＡＬＡは蛍光色素であるＰｐＩＸ（ｐｒｏｔｏｐｏｒｐｈｙｒｉｎＩＸ／プロトポルフィリンナイン）に代謝される。なお、このＰｐＩＸは癌細胞に特異的に蓄積する。そして、５−ＡＬＡの代謝物であるＰｐＩＸに向けて４１０ｎｍ程度の波長の可視光を照射すると、ＰｐＩＸからおよそ６３０ｎｍ程度の波長の赤色の可視光が蛍光として発光される。このＰｐＩＸからの蛍光を撮像素子で撮影して観察することにより、癌細胞を確認することが可能となる。
【０００４】
このような体内に侵入させた蛍光色素からの蛍光を撮影するイメージング装置では、関心領域の蛍光の強度の時間方向の信号変化曲線を描画する時間強度曲線（Ｔｉｍｅ  Ｉｎｔｅｎｓｉｔｙ  Ｃｕｒｖｅ：ＴＩＣ）の解析を行い、関心領域（ＲＯＩ：Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）の画素値がピークとなるまでの時間を求めることにより、インドシアニングリーン等の蛍光色素の造影時間を定量的に評価することが可能となる。このような場合においては、移動する関心領域を経時的に追跡する必要がある。
【０００５】
このような時間強度曲線を得るためには、被検者の血管の領域を関心領域とし、その関心領域の近赤外画像の画素値を経時的に測定する必要がある。一方、被検者の関心領域は、被検者の体動等により移動する。このため、正確な時間強度曲線を測定するためには、被検者の体動等に対応させて関心領域を追跡する必要がある。
【０００６】
特許文献１には、一対のマーカを利用して血管の移動を認識する撮影装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００９−５３８１７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載の方法においては、マーカを留置する必要がある。このため、被検者の体内にマーカを留置するための特別な施術を行う必要がある。また、マーカを留置しうる部位は限定されており、マーカの留置が困難な部位に対しては関心領域の追跡を実行することが不可能となる。
【０００９】
この発明は上記課題を解決するためになされたものであり、マーカを使用することなく、正確に時間強度曲線を得ることが可能な時間強度曲線測定装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は、被検者の体内の投与された蛍光色素からの発光の画素値の経時的な変化を示す時間強度曲線を測定する時間強度曲線測定装置であって、被検者の体内に投与された蛍光色素を励起させるための励起光を前記被検者に向けて照射する励起用光源と、前記蛍光色素からの蛍光画像と前記被検者の組織を含むカラー画像とを撮影する撮像手段と、前記撮像手段により撮影したカラー画像に基づいて、関心領域を追跡する関心領域追跡部と、前記撮像手段により撮影した蛍光画像における予め設定された測定点の画素値を測定する画素値測定部と、前記画素値測定部における画素値の測定位置を、前記関心領域追跡部により追跡した関心領域に対応させて移動させる測定位置移動部と、を備えたことを特徴とする。
【００１１】
ここで、「組織」とは、被検者の内臓器官である臓器等の組織を意味する。また、「組織」には、皮膚移植時に移植される皮膚等の臓器以外の組織を含む。この出願の明細書等においては、被検者における臓器を含む各種の組織を、単に「組織」と言う。
【００１２】
請求項２に記載の発明は、請求項１に記載の発明において、前記撮像手段は、前記蛍光色素からの蛍光画像を撮影する第１撮影素子と、前記被検者の組織を含むカラー画像を撮影する第２撮像素子と、を有する。
【００１３】
請求項３に記載の発明は、請求項１に記載の発明において、組織を含むカラー画像に基づいて組織表面におけるテカリ領域を除去するテカリ領域除去部をさらに備え、前記グレースケール画像作成部は、前記テカリ領域除去部によりテカリ領域を除去された後のカラー画像に基づいて、グレースケール画像を作成する。
【発明の効果】
【００１４】
請求項１および請求項２に記載の発明によれば、カラー画像に基づいて関心領域を追跡することにより、関心領域が被検者の体動等により移動した場合においても、常に一定の位置の画素値を測定することができる。このため、正確な時間強度曲線を得ることが可能となる。
【００１５】
請求項３に記載の発明によれば、テカリ領域を除去した後の画像に基づいて関心領域を追跡することから、関心領域をより精度よく追跡することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】この発明に係る関心領域追跡装置を備えたイメージング装置１を、表示装置２とともに示す斜視図である。
【図２】照明・撮影部１２の概要図である。
【図３】照明・撮影部１２におけるカメラ２１の概要図である。
【図４】この発明に係るイメージング装置１の主要な制御系を、表示装置２とともに示すブロック図である。
【図５】制御部４０における画像処理部４４のブロック図である。
【図６】画像処理部４４により得た被検者の関心部位を含む画像の推移を示す模式図である。
【図７】画像処理部４４により得た被検者の関心部位を含む画像の推移を示す模式図である。
【図８】画像処理部４４により得た被検者の関心部位を含む画像の推移を示す模式図である。
【図９】画像処理部４４により得た被検者の関心部位を含む画像の推移を示す模式図である。
【図１０】画像処理部４４により得た被検者の関心部位を含む画像の推移を示す模式図である。
【図１１】テカリ除去処理のフローを示すブロック図である。
【図１２】テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。
【図１３】テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。
【図１４】テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。
【図１５】テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。
【図１６】テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。
【図１７】テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。
【図１８】テカリ領域から抽出した領域を概念的に示す模式図である。
【図１９】テカリ領域から抽出した領域を概念的に示す模式図である。
【図２０】テカリ領域から抽出した領域を概念的に示す模式図である。
【図２１】テカリ領域から抽出した領域を概念的に示す模式図である。
【図２２】テカリ領域から抽出した領域を概念的に示す模式図である。
【図２３】輪郭追跡法により、除外領域の画素を除外領域の外周部の画素に基づいて補完する工程を模式的に示す説明図である。
【図２４】移動ベクトル算出法により特徴画像の移動量を複数のフレームにわたって検出する動作を模式的に示す説明図である。
【図２５】時間強度曲線（ＴＩＣ）を示すグラフである。
【発明を実施するための形態】
【００１７】
＜装置構成＞
以下、この発明の実施の形態を図面に基づいて説明する。図１は、この発明に係る関心領域追跡装置を備えたイメージング装置１を、表示装置２とともに示す斜視図である。
【００１８】
表示装置２は、大型の液晶表示装置等から構成される表示部５２を、支持機構５１により支持する構成を有する。
【００１９】
イメージング装置１は、被検者の体内に注入された蛍光色素としてのインドシアニングリーンに対し励起光を照射し、このインドシアニングリーンから放射される蛍光を撮影するとともに、その蛍光画像を被検者の可視画像であるカラー画像とともに表示装置２に表示するためのものである。そして、このイメージング装置１は、特に、上述した蛍光画像およびカラー画像の表示とともに、被検者の関心領域における蛍光の強度を経時的に測定することにより、被検者の関心領域における蛍光の時間強度曲線（Ｔｉｍｅ  Ｉｎｔｅｎｓｉｔｙ  Ｃｕｒｖｅ：ＴＩＣ）を得るためのものである。
【００２０】
このイメージング装置１は、４個の車輪１３を備えた台車１１と、この台車１１の上面における台車１１の進行方向の前方付近に配設されたアーム機構３０と、このアーム機構３０にサブアーム４１を介して配設された照明・撮影部１２と、モニター１５とを備える。台車１１の進行方向の後方には、台車１１を移動するときに使用されるハンドル１４が付設されている。また、台車１１の上面には、このイメージング装置１の遠隔操作に使用される図示しない操作部を装着するための凹部１６が形成されている。
【００２１】
上述したアーム機構３０は、台車１１の進行方向の前方側に配設されている。このアーム機構３０は、台車１１の進行方向の前方側に立設された支柱３６上に配設された支持部３７に対して、ヒンジ部３３により連結された第１アーム部材３１を備える。この第１アーム部材３１は、ヒンジ部３３の作用により、支柱３６および支持部３７を介して、台車１１に対して揺動可能となっている。なお、上述したモニター１５は、支柱３６に付設されている。
【００２２】
この第１アーム部材３１の上端には、第２アーム部材３２がヒンジ部３４により連結されている。この第２アーム部材３２は、ヒンジ部３４の作用により、第１アーム部材３１に対して揺動可能となっている。このため、第１アーム部材３１と第２アーム部材３２とは、図１に示す第１アーム部材３１と第２アーム部材３２とが第１アーム部材３１と第２アーム部材３２との連結部であるヒンジ部３４を中心として所定の角度開いた撮影姿勢と、第１アーム部材３１と第２アーム部材３２とが近接する待機姿勢とをとることが可能となっている。
【００２３】
第２アーム部材３２の下端には、支持部４３がヒンジ部３５により連結されている。この支持部４３は、ヒンジ部３５の作用により、第２アーム部材３２に対して揺動可能となっている。この支持部４３には、回転軸４２が支持されている。そして、照明・撮影部１２を支持したサブアーム４１は、第２アーム部材３２の先端に配設された回転軸４２を中心に回動する。このため、照明・撮影部１２は、このサブアーム４１の回動により、図１に示す撮影姿勢または待機姿勢をとるためのアーム機構３０に対して台車１１の進行方向の前方側の位置と、台車１１を移動させる時の姿勢であるアーム機構３０に対して台車１１の進行方向の後方側の位置との間を移動する。
【００２４】
図２は、照明・撮影部１２の概要図である。
【００２５】
この照明・撮影部１２は、後述する近赤外線および可視光を検出可能な複数の撮像素子を備えたカメラ２１と、このカメラ２１の外周部に配設された６個のＬＥＤよりなる可視光源２２と、６個のＬＥＤよりなる励起用光源２３と、１個のＬＥＤよりなる確認用光源２４とを備える。可視光源２２は、可視光を照射する。励起用光源２３は、インドシアニングリーンを励起させるための励起光であるその波長が７６０ｎｍの近赤外光を照射する。また、確認用光源２４は、インドシアニングリーンから発生する蛍光の波長と近似するその波長が８１０ｎｍの近赤外光を照射する。なお、励起用光源２３の波長は、７６０ｎｍに限定されず、インドシアニングリーンを励起できる波長であればよい。確認用光源２４の波長は、８１０ｎｍに限定されず、インドシアニングリーンが発する波長以上であってもよい。
【００２６】
図３は、照明・撮影部１２におけるカメラ２１の概要図である。
【００２７】
このカメラ２１は、焦点合わせのために往復移動する可動レンズ５４と、波長選択フィルター５３と、可視光用撮像素子５５と、蛍光用撮像素子５６とを備える。可視光用撮像素子５５と蛍光用撮像素子５６とは、ＣＭＯＳやＣＣＤから構成される。なお、可視光用撮像素子５５は、可視光の画像をカラー画像として撮影することが可能なものが使用される。
【００２８】
カメラ２１に対して、その光軸Ｌに沿って同軸で入射した可視光および蛍光は、焦点合わせ機構を構成する可動レンズ５４を通過した後、波長選択フィルター５３に到達する。同軸状に入射した可視光および蛍光のうち、可視光は、波長選択フィルター５３により反射され、可視光用撮像素子５５に入射する。また、同軸状に入射した可視光および蛍光のうち、蛍光は、波長選択フィルター５３を通過して蛍光用撮像素子５６に入射する。このとき、可動レンズ５４を含む焦点合わせ機構の作用により、可視光は可視光用撮像素子５５に対して焦点合わせされ、蛍光は蛍光用撮像素子５６に対して焦点合わせされる。可視光用撮像素子５５は、可視画像を、カラー画像として、所定のフレームレートで撮影する。また、蛍光用撮像素子５６は、近赤外画像である蛍光画像を所定のフレームレートで撮影する。
【００２９】
図４は、この発明に係るイメージング装置１の主要な制御系を、表示装置２とともに示すブロック図である。
【００３０】
このイメージング装置１は、論理演算を実行するＣＰＵ、装置の制御に必要な動作プログラムが格納されたＲＯＭ、制御時にデータ等が一時的にストアされるＲＡＭ等から構成され、装置全体を制御する制御部４０を備える。この制御部４０は、後述する各種の画像処理を実行する画像処理部４４を備える。この制御部４０は、上述した表示装置２と接続されている。また、この制御部４０は、カメラ２１、可視光源２２、励起用光源２３および確認用光源２４を備えた照明・撮影部１２と接続されている。さらに、この制御部４０は、カメラ２１により撮影された画像を記憶する画像記憶部４５と接続されている。この画像記憶部４５は、近赤外画像を記憶する近赤外画像記憶部４６と、可視画像（カラー画像）を記憶する可視画像記憶部４７とから構成される。
【００３１】
図５は、制御部４０における画像処理部４４のブロック図である。
【００３２】
この画像処理部４４は、グレースケール画像作成部６１と、テカリ領域除去部６２と、関心領域追跡部６３と、時間強度曲線測定部６４とを備える。
【００３３】
上述したグレースケール画像作成部６１は、可視光用撮像素子５５により撮影したカラー画像に基づいて、グレースケール画像を作成する。また、テカリ領域除去部６２は、グレースケール画像作成部６１により作成したグレースケール画像における画素値が閾値より大きな領域と、この画素値が閾値より大きな領域の外周領域とを加算して、テカリ領域より大きな除外領域を設定する除外領域設定部７１と、カラー画像から除外領域を除外した後、その除外領域の画素を当該除外領域の外周部の画素に基づいて補完する補完部７２と、を備える。また、関心領域追跡部６３は、グレースケール画像作成部６１で作成されたグレースケール画像に基づいて、組織における特徴画像を抽出する特徴画像抽出部７３と、グレースケール画像を二値化して二値化画像を作成する二値化部７４と、この二値化部７４で作成された二値化画像における特徴画像の移動量を複数のフレームにわたって検出することにより、関心領域を追跡する追跡部７５と、を備える。さらに、時間強度曲線測定部６４は、蛍光用撮像素子５６により撮影した蛍光画像における特定点の画素値を測定する画素値測定部７６と、この画素値測定部７６における画素値の測定位置を、上述した関心領域追跡部６３により追跡した関心領域に対応させて移動させる測定位置移動部７７と、を備える。
【００３４】
以上のような構成を有するイメージング装置１を使用して被検者に対する手術を行う場合には、最初に、照明・撮影部１２における確認用光源２４を点灯するとともに、その照射領域の画像をカメラ２１により撮影する。確認用光源２４からは、インドシアニングリーンから発生する蛍光の波長と近似する、その波長が８１０ｎｍの近赤外光が照射される。この近赤外光は、人の目では確認することができない。一方、確認用光源２４から波長が８１０ｎｍの近赤外光を照射するとともに、この照射領域の画像をカメラ２１により撮影した場合、カメラ２１が正常に動作していた場合においては、近赤外光が照射された領域の画像がカメラ２１により撮影され、その画像が表示装置２における表示部５２に表示される。これにより、カメラ２１の動作確認を容易に実行することが可能となる。
【００３５】
しかる後、被検者にインドシアニングリーンを注射により注入する。そして、被検者の組織における患部に向けて、照明・撮影部１２における励起用光源２３から近赤外線を照射するとともに可視光源２２から可視光を照射する。なお、励起用光源２３から照射される近赤外光としては、上述したように、インドシアニングリーンが蛍光を発するための励起光として作用する７６０ｎｍの近赤外光が採用される。これにより、被検者の体内に注入されたインドシアニングリーンは、約８００ｎｍをピークとする近赤外領域の蛍光を発生させる。
【００３６】
そして、被検者の組織における患部付近を照明・撮影部１２におけるカメラ２１により、所定のフレームレートで撮影する。このカメラ２１は、上述したように、近赤外光と可視光とを検出することが可能となっている。カメラ２１により所定のフレームレートで撮影された近赤外画像およびカラー画像は、画像処理部４４により、近赤外画像およびカラー画像を表示装置２における表示部５２に表示可能な画像データに変換され、表示部５２に表示される。また、必要に応じ、画像処理部４４は、近赤外画像データとカラー画像データとを利用して、カラー画像と近赤外画像とを融合させた合成画像を作成する。さらに、カメラ２１により撮影された近赤外画像およびカラー画像は、必要に応じ、画像記憶部４５における近赤外画像記憶部４６および可視画像記憶部４７に記憶される。
【００３７】
このようなイメージング装置１においては、被検者の組織における患部のカラー画像と近赤外画像とを同時に動画として記憶し、ビデオレコーダで記録した撮影画像を動画再生する構成となっている。すなわち、このようなイメージング装置１は、所定のフレームレートで撮影した画像を動画として録画・再生することで、明るい外部照明環境下での、ＩＣＧ等の蛍光色素投与後の血管・リンパ管の走行の観察や癌病巣領域の確認ができるものである。このような録画データは、参照用に使用し得るだけではなく、解析に利用することにより新しい知見を得ることができる。すなわち、関心領域の時間方向の信号変化曲線を描画する時間強度曲線（ＴＩＣ）の解析においては、関心領域の近赤外画像の画素値がピークとなるまでの時間を求めることにより、インドシアニングリーン等の蛍光色素の造影時間を定量的に評価することが可能となる。
【００３８】
このような時間強度曲線を得るためには、被検者の血管の領域を関心領域とし、その関心領域の近赤外画像の画素値を経時的に測定する必要がある。一方、被検者の関心領域は、被検者の体動等により移動する。このため、このイメージング装置１においては、関心領域を追跡することにより、関心領域の移動にかかわらず、正確な時間強度曲線を測定する構成を採用している。すなわち、このイメージング装置１においては、被検者の組織を含むカラー画像からテカリ領域を除去した後、そのカラー画像を用いて関心領域を追跡することにより、常に同一位置の画素値を測定している。
【００３９】
以下、このイメージング装置１を使用して時間強度曲線を得るための動作について説明する。図６から図１０は、この発明に係るイメージング装置１において、画像処理部４４により得た被検者の関心部位を含む画像の推移を示す模式図である。なお、これらの図においては、被検者の心臓付近の画像の推移を模式的に示している。
【００４０】
＜テカリ除去＞
これらの図のうち、図６は、可視光用撮像素子５５により撮影した被検者の組織のカラー画像を模式的に示している。手術を行っているときの被検者の組織は、体液や手術時に使用される生理食塩水などの液体によりテカリが発生しやすい状況となっている。一方、照明・撮影部１２は、被検者の直上から可視光を照射してカラー画像を撮影することが多く、可視光源２２による可視光の照射方向と可視光用撮像素子５５によるカラー画像の撮影方向とが一致することになる。このため、被検者の組織を撮影したカラー画像中には、テカリ領域Ｇが生ずることになる。図６においては、テカリ領域Ｇを白抜きの領域として図示している。なお、図６においては、多数のテカリ領域のうちの一部のテカリ領域にのみ符号Ｇを付している。ここで、テカリ領域とは、液体の存在により、組織の一部が他の領域と比較して光って見える領域を意味する。
【００４１】
カラー画像における関心領域は、術野において医師が診る関心領域と一致している。このため、カラー画像上には、医師の視野には見られないテカリ領域が表示されることになる。従って、カラー画像と医師による視野とが異なることになる。また、カラー画像においてテカリ領域が存在したときには、エッジ強調や特徴画像抽出等の各種の画像処理に支障をきたす。
【００４２】
このため、このイメージング装置１においては、最初に、画像処理部４４におけるテカリ領域除去部６２により、カラー画像に対するテカリ除去処理を実行している。このテカリ領域除去部６２によるテカリ除去処理においては、グレースケール画像作成部６１によりカラー画像から作成されたグレースケール画像を使用する。そして、除外領域設定部７１により、グレースケール画像における画素値が閾値より大きな領域と、この画素値が閾値より大きな領域の外周領域とを加算して、テカリ領域より大きな除外領域を設定する。しかる後、補完部７２により、カラー画像から除外領域を除外した後、その除外領域の画素を当該除外領域の外周部の画素に基づいて補完する。
【００４３】
以下、このテカリ除去処理について詳細に説明する。図１１は、テカリ除去処理のフローを示すブロック図である。また、図１２から図１７は、テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。さらに、図１８から図２２は、テカリ領域から抽出した領域を概念的に示す模式図である。なお、図１２から図１７においては、縦軸は画素値を示し、横軸は位置を示している。
【００４４】
テカリ除去処理を行うときには、最初に、図５に示すグレースケール画像作成部６１により、可視光用撮像素子５５により撮影したカラー画像をグレースケール化する。このカラー画像のグレースケール化は、ＢＴ．６０１、ＢＴ．７０９、Ｒ値抽出、Ｇ値抽出、Ｂ値抽出、ＲＢ値平均、ＲＧ値平均、ＧＢ値平均、ＲＧＢ値平均、ＭＡＸ値、ＭＩＮ値、ＭＡＸ・ＭＩＮ平均値、ＭＡＸ−ＭＩＮ値、２５５×（ＭＡＸ−ＭＩＮ）／ＭＡＸ値、ＲＧＢ中間値等の、一般的な方法を使用すればよい。
【００４５】
そして、グレースケール画像に対して、平滑化処理を行う。図１２は、平滑化処理を行う前後のテカリ領域から抽出した領域の画素値と大きさを示している。この図において、Ｇ１は平滑化処理前のテカリ領域から抽出した領域の画素値と大きさを示し、Ｇ２は平滑化処理後のテカリ領域から抽出した領域の画素値と大きさを示している。この平滑化処理により、グレースケール画像におけるノイズを除去することが可能となる。
【００４６】
次に、平滑化処理後の画像に対して、閾値を抽出する。この閾値の抽出は、グレースケール画像における各画素値から閾値に相当する画素値を減算することにより行われる。図１３におけるＧ２は、閾値抽出前のテカリ領域から抽出した領域の画素値と大きさを示し、図１４におけるＧ３は、閾値抽出後のテカリ領域から抽出した領域の画素値と大きさを示している。しかる後、閾値抽出後の画像に対して膨張化処理を行う。図１５におけるＧ３は膨張化処理前のテカリ領域から抽出した領域の画素値と大きさを示し、図１５におけるＧ４は膨張化処理後のテカリ領域から抽出した領域の画素値と大きさを示している。また、図１８および図１９におけるＥ３は、膨張化処理前のテカリ領域から抽出した領域を示し、図１９におけるＥ４は膨張化処理後のテカリ領域から抽出した領域を示している。
【００４７】
また、図１１に示すように、これと並行して、平滑化処理後の画像に対して、エッジ抽出処理を行う。このエッジ抽出処理においては、例えば、平滑化処理後の画像に対して３×３のミーンフィルタ（Ｍｅａｎ  Ｆｉｌｔｅｒ）処理を二回連続して適用し、一回目の処理結果から二回目の処理結果を減算する。図１６におけるＧ５は、エッジ抽出処理後のテカリ領域から抽出した領域の画素値と大きさを示している。テカリ領域から抽出した領域の画素値と大きさは、図１３に示す状態から図１６に示す状態となる。そして、エッジ抽出処理後の画像に対して閾値を抽出する。この閾値の抽出は、グレースケール画像における各画素値から閾値に相当する画素値を減算することにより行われる。図１７におけるＧ６は、閾値抽出後のテカリ領域から抽出した領域の画素値と大きさを示している。また、図２０におけるＥ６は、閾値抽出後のテカリ領域から抽出した、中央部に空き領域が形成された略ドーナツ状の領域を示している。
【００４８】
しかる後、閾値を抽出して膨張化処理を行った後の画像と、エッジ抽出後に閾値抽出を行った画像とを加算する。すなわち、閾値を抽出して膨張化処理を行った後の画像と、エッジ抽出後に閾値抽出を行った画像とをあわせて、一つの画像とする。図２１においては、領域Ｅ４と領域Ｅ６とを加算した状態を示している。この図に示すように、領域Ｅ６の中央部の空き領域が領域Ｅ４によりうめられている。
【００４９】
しかる後、加算後の画像に対して膨張処理を実行する。図２２においては、図２１に示す領域Ｅ６から膨張した領域Ｅ７を示している。この領域Ｅ７は、図７に示すテカリ領域Ｇよりも大きな領域となっている。そして、図１１に示すように、この領域を除外領域として、元のカラー画像から減算することにより除外する。
【００５０】
図７は、可視光用撮像素子５５により撮影した被検者の組織のカラー画像から、テカリ領域より大きな領域である除外領域が除外された状態を模式的に示している。なお、図７においては、除外された領域を黒塗りの領域として図示している。図７においては、除外された領域に対して、テカリ領域と同じ符号Ｇを付している。なお、図７においては、多数の除外領域のうちの一部の除外領域にのみ符号Ｇを付している。
【００５１】
被検者の組織のカラー画像から、テカリ領域より大きな領域である除外領域を除外した後には、この除外領域の画素を、除外領域の外周部の画素に基づいて補完する。この補完は、例えば、輪郭追跡法により実行することができる。
【００５２】
図２３は、輪郭追跡法により、除外領域の画素を除外領域の外周部の画素に基づいて補完する工程を模式的に示す説明図である。なお、この図においては、補完が必要な領域、すなわち、上述した除外領域を白抜きとし、それ以外の領域に対してハッチングを付している。
【００５３】
この輪郭追跡法は、画像における所定の領域に対して矢印Ａで示すように走査を行い、矢印Ｂに示すように、補完が必要な領域、すなわち、上述した除外領域の輪郭を追跡しながら、周囲から中央部に向かって補完していく方法である。各々の補完が必要な領域に対しては、注目画素に対する周囲の画素の平均値、あるいは、中央値で補完を行う。ここで、注目画素に対する周囲の画素とは、例えば、注目画素の左右２画素、上下２画素、あるいは、周囲８画素である。なお、図２３においては、二次元的に輪郭を追跡して補完を行っているが、１ラインで輪郭を追跡して補完を行うようにしてもよい。
【００５４】
なお、上述した輪郭追跡法にかえて、画像縮小法により補完を行ってもよい。画像縮小法は、補完が必要な領域の中心で、上下左右１画素分画像全体を縮小することにより、輪郭部分と同じ座標に色が現れることを利用し、その色で補完を行う方法である。縮小時のロジックはリニア、バイキュービックなどいずれでも良い。
【００５５】
また、上述した輪郭追跡法にかえて、直線近似・周囲補正法により補完を行ってもよい。直線近似・周囲補正法は、１ラインに注目し、輪郭よりも１画素離れた始点、終点画素の色を使い、リニアに補完する方法である。リニアに補完を行った後、隣り合うラインで色が存在するときは、それらとの平均値を採用する周囲補正を実行する。
【００５６】
図８は、被検者の組織のカラー画像に対して、上述したテカリ除去を行った後の状態を模式的に示している。上述したテカリ除去を実行することにより、被検者の組織のカラー画像から、テカリ領域を違和感なく除去することが可能となる。
【００５７】
＜関心領域追跡＞
以上のテカリ除去工程が終了すれば、次に、被検者の組織を含むカラー画像に基づいて組織における関心領域を追跡する関心領域追跡工程を実行する。この関心領域追跡工程は、主として、図５に示す関心領域追跡部６３により実行される。
【００５８】
このときには、最初に、上述したテカリ除去工程によりテカリ領域を除去したカラー画像を、グレースケール化し、グレースケール画像を作成する。このグレースケール画像の作成は、図５に示すグレースケール画像作成部６１により実行される。このカラー画像のグレースケール化は、上述したテカリ除去工程と同様、ＢＴ．６０１、ＢＴ．７０９、Ｒ値抽出、Ｇ値抽出、Ｂ値抽出、ＲＢ値平均、ＲＧ値平均、ＧＢ値平均、ＲＧＢ値平均、ＭＡＸ値、ＭＩＮ値、ＭＡＸ・ＭＩＮ平均値、ＭＡＸ−ＭＩＮ値、２５５×（ＭＡＸ−ＭＩＮ）／ＭＡＸ値、ＲＧＢ中間値等の、一般的な方法を使用すればよい。図９は、このようにして作成された被検者の組織のグレースケール画像を模式的に示している。
【００５９】
次に、図５に示す特徴画像抽出部７３により、グレースケール画像から特徴画像を作成する。この特徴画像は、被検者の血管やしわなどを特徴量として抽出した画像である。特徴画像の抽出は、特徴抽出は、単純なコンボリューション（畳み込み積分：ｃｏｎｖｏｌｕｔｉｏｎ）、ラプラシアンフィルタ、アンシャープマスク、エネルギー関数を用いる方法など、各種の手法を使用することができる。このとき、リアルタイム処理を実行するためには、コンボリューションやラプラシアン、アンシャープマスクなどを使用することが好ましい。
【００６０】
この特徴画像の抽出に、アンシャープマスクを使用する場合について説明する。アンシャープマスクを使用する場合においては、ぼかし係数をｓとし、重みをｗとした場合（但し、０＜ｗ＜１）、グレースケール画像をｓ×ｓの平均、もしくは、ガウシアンフィルタをかけてぼかすことにより、ぼかし画像を作成する。そして、以下の式により特徴画像を抽出した出力画像を演算する。
出力画像  ＝  （原画  −  ｗ × ぼかし画像）／（１ − ｗ）
【００６１】
特徴画像の抽出後には、図５に示す二値化部７４により、二値化処理を実行する。図１０においては、特徴画像を抽出し、二値化した後の出力画像を模式的に示している。なお、図１０においては、通常明るく表示される特徴画像を線で表現している。
【００６２】
次に、図５に示す追跡部７５により、二値化後の特徴画像を用いて、特徴画像の移動量を複数のフレームにわたって検出することにより、関心領域を追跡する。この関心領域の追跡は、例えば、移動ベクトル算出法や、パターンマッチング法を利用して実行することができる。
【００６３】
図２４は、移動ベクトル算出法により特徴画像の移動量を複数のフレームにわたって検出する動作を模式的に示す説明図である。なお、これらの図形における矩形領域の横軸は位置を示し、縦軸は画素値を示している。
【００６４】
この図において、図中左側のＦｔは特徴画像の現在のフレームを示し、Ｆｔ−１は特徴画像の過去の（一つ前の）フレームを示している。また、図中中央のＡＣＣは、特徴画像の現在フレームから過去フレームを減算した結果を示し、ＤＥＣは、特徴画像の過去フレームから現在フレームを減算した結果を示している。そして、図中右側は、ｋ１、ｋ２、ｋ３を任意の係数（但し、ｋ１＞ｋ２＞ｋ３）としたときの下記の式の演算結果を示している。
ｋ１・ｋ２＋ｋ２・ＡＣＣ＋ｋ３・ＤＥＣ
【００６５】
図２４において、図中右側に示すように、演算後の差分画像は右側に行くに従って、画素値が大きくなっている。例えば、ｋ１＝２、ｋ２＝１、ｋ３＝−１とし、二値化画像の最大値を１としたときには、画像のバックグラウンドは０、画像が移動してバックグラウンドとなった消失画素は１、変化していない画素は２、新たに現れた出現画像は３となり、差分画像の画素値は右に行くほど１、２、３と増加していく。これにより、図中右側において矢印Ｍで示すように、この画像は時間の経過とともに右側に移動していることが認識できる。このような演算を複数フレームにわたって連続して実行する。そして、関心領域の角や中央の画素を基準座標とし、上述した差分画像を利用して、例えば、基準座標の上下左右方向の消失画素と出現画素の数や比を利用して、移動ベクトルを算出することが可能となる。
【００６６】
また、上述した移動ベクトル算出法のかわりに、パターンマッチング法を利用して関心領域を追跡することも可能である。この場合においては、関心領域のうちのＮ×Ｎ領域の画素をテンプレートとして使用するパターンとする。そして、ＭをＮより大きい整数とし、関心領域を含む領域のうちＭ×Ｍの領域に対してパターンマッチングを実行する。このパターンマッチングは、相関関数や、分散、標準偏差等の方法を利用して類似度を算出することにより行う。このパターンマッチングにより、特徴画像の移動量を複数フレームにわたって検出することが可能となる。
【００６７】
このようにして、特徴画像の全域に対して特徴画像の移動量を検出することにより、関心領域を追跡することが可能となる。このため、特徴画像における特定の位置の移動を、複数フレームにわたって追跡することが可能となる。
【００６８】
＜時間強度曲線測定＞
次に、上述した関心領域の追跡結果を利用することにより、関心領域の蛍光の強度の時間方向の信号変化曲線を描画する時間強度曲線の解析を行う時間強度曲線測定工程について説明する。
【００６９】
この時間強度曲線の測定には、上述した関心領域の追跡結果を利用する。すなわち、時間強度曲線測定は、図５に示す時間強度曲線測定部６４における画素値測定部７６により測定する蛍光画像の画素値の測定位置を、時間強度曲線測定部６４における測定位置移動部７７により、関心領域追跡部６３により追跡した関心領域に対応させて移動させることにより実行される。
【００７０】
時間強度曲線の解析を行う場合においては、蛍光用撮像素子５６により撮影した蛍光画像におけるインドシアニングリーンからの蛍光の強度を経時的に測定したい位置を測定点として予め設定する。そして、画素値測定部７６によりこの測定点における蛍光の強度を測定する。この測定点の位置は、被検者の体動等に伴って移動する。このため、測定位置移動部７７により、画素値測定部７６における画素値の測定位置を、上述した関心領域追跡部６３により追跡した関心領域に対応させて移動させる。このような構成を採用することにより、測定点が移動した場合においても、その測定点を追跡して、画素値の測定を実行することが可能となる。
【００７１】
図２５は、このようにして測定した時間強度曲線（ＴＩＣ）を示すグラフである。この図において、縦軸は測定点の画素値、すなわち、インドシアニングリーンからの蛍光の強度を示し、横軸は時間を示している。
【００７２】
ＴＩＣ解析においては、関心領域におけるインドシアニングリーンからの蛍光の画素値がピークとなるまでの時間を求めることにより、インドシアニングリーンの造影時間を定量的に評価することが可能となる。そして、このイメージング装置１においては、画素値測定部７６により測定する画素値の測定位置を、関心領域追跡部６３により追跡した関心領域に対応させて、測定位置移動部７７により移動させることにより、関心領域が被検者の体動等により移動した場合においても、常に一定の位置の画素値を測定することができ、正確な時間強度曲線を得ることが可能となる。
【００７３】
なお、上述した実施形態において、蛍光画像の多数の領域において組織の移動を認識し、それらの領域において時間強度曲線を測定してマップを表示することにより、関心領域だけではなく、術野全体に対して定量的な評価を行うことも可能となる。
【００７４】
上述した実施形態においては、カメラ２１として、被検者の組織を含むカラー画像を撮視する可視光用撮像素子５５と、インドシアニングリーンからの蛍光画像を撮影する蛍光用撮像素子５６とを個別に備えたものについて説明したが、単一の撮像素子等により、被検者の組織を含むカラー画像とインドシアニングリーンからの蛍光画像とを撮影する構成を採用してもよい。
【符号の説明】
【００７５】
１      イメージング装置
２      表示装置
１２    照明・撮影部
２１    カメラ
２２    可視光源
２３    励起用光源
２４    確認用光源
３０    アーム機構
４０    制御部
４４    画像処理部
４５    画像記憶部
４６    近赤外画像記憶部
４７    可視画像記憶部
５２    表示部
５５    可視光用撮像素子
５６    蛍光用撮像素子
６１    グレースケール画像作成部
６２    テカリ領域除去部
６３    関心領域追跡部
６４    時間強度曲線測定部
７１    除外領域設定部
７２    補完部
７３    特徴画像追跡部
７４    二値化部
７５    追跡部
７６    画素値測定部
７７    測定位置移動部
【図１】
2018126234.tif 000003
【図２】
2018126234.tif 000004
【図３】
2018126234.tif 000005
【図４】
2018126234.tif 000006
【図５】
2018126234.tif 000007
【図６】
2018126234.tif 000008
【図７】
2018126234.tif 000009
【図８】
2018126234.tif 000010
【図９】
2018126234.tif 000011
【図１０】
2018126234.tif 000012
【図１１】
2018126234.tif 000013
【図１２】
2018126234.tif 000014
【図１３】
2018126234.tif 000015
【図１４】
2018126234.tif 000016
【図１５】
2018126234.tif 000017
【図１６】
2018126234.tif 000018
【図１７】
2018126234.tif 000019
【図１８】
2018126234.tif 000020
【図１９】
2018126234.tif 000021
【図２０】
2018126234.tif 000022
【図２１】
2018126234.tif 000023
【図２２】
2018126234.tif 000024
【図２３】
2018126234.tif 000025
【図２４】
2018126234.tif 000026
【図２５】
2018126234.tif 000027