(57)【特許請求の範囲】
【請求項１】
対象物から発せられた蛍光を撮像することによって蛍光画像を生成する蛍光画像生成装置であって、
励起光を出力する光源を有し、第１の期間において前記対象物に対して励起光を照射し、前記第１の期間と異なる第２の期間において前記励起光の照射を停止し、前記励起光の照射と停止とを繰り返す光照射部と、
２次元的に配列された複数の画素を含む受光部と、駆動クロックに基づいて前記受光部の露光を制御する制御部とを有し、前記対象物を撮像することによって、前記第１の期間に対応する第１の画像データ及び前記第２の期間に対応する第２の画像データを出力する撮像部と、
前記第１の画像データ及び前記第２の画像データに基づいて、蛍光画像データを生成する画像処理部と、
前記受光部の露光時間を可変に設定する設定部と、
を備え、
前記第１の期間及び前記第２の期間は、前記露光時間に応じて設定され、同一の時間に設定されている、蛍光画像生成装置。
【請求項２】
前記設定部は、前記露光時間に相当する前記駆動クロックのカウント数を可変に設定し、
前記制御部は、前記受光部の前記露光時間を制御するために、設定された前記カウント数に基づいて前記駆動クロックをカウントする、
請求項１記載の蛍光画像生成装置。
【請求項３】
前記第１の画像データ、前記第２の画像データ、及び前記蛍光画像データのうち少なくとも１つの画像データに基づいて、前記複数の画素に対応する画素値を解析する解析部をさらに備え、
前記解析部は、前記複数の画素のうち画素値が飽和した画素を特定する、
請求項１又は２記載の蛍光画像生成装置。
【請求項４】
前記解析部は前記飽和した画素の数を算出し、
前記設定部は、前記飽和した画素の数に基づいて前記露光時間を設定する、
請求項３記載の蛍光画像生成装置。
【請求項５】
前記第１の画像データ、前記第２の画像データ、及び前記蛍光画像データのうち少なくとも１つの画像データに基づいて、前記複数の画素に対応する画素値を解析する解析部をさらに備え、
前記解析部は、画素が飽和したことを示す飽和画素値と、前記複数の画素に対応する画素値の最大値との差である差分値を算出する、
請求項１又は２記載の蛍光画像生成装置。
【請求項６】
前記設定部は、前記差分値に基づいて前記露光時間を設定する、
請求項５記載の蛍光画像生成装置。
【請求項７】
前記光照射部は、前記第１の期間及び前記第２の期間の長さを可変に設定可能に構成されている、
請求項１〜６のいずれか１項に記載の蛍光画像生成装置。
【請求項８】
前記設定部は、前記露光時間を、少なくとも１ｍｓｅｃ以上３０ｍｓｅｃ未満の範囲で可変に設定する、
請求項１〜７のいずれか１項に記載の蛍光画像生成装置。
【請求項９】
前記画像処理部は、前記第１の期間及び前記第２の期間の繰り返しによって得られた複数の前記第１の画像データ及び複数の前記第２の画像データのそれぞれを加算し、加算後の複数の前記第１の画像データと加算後の複数の前記第２の画像データとの差分を算出し、前記蛍光画像データを生成する、
請求項１〜８のいずれか１項に記載の蛍光画像生成装置。
【請求項１０】
前記画像処理部は、前記第１の画像データと前記第２の画像データとの差分を算出して差分画像データを繰り返し生成し、繰り返し生成された複数の前記差分画像データを加算し、前記蛍光画像データを生成する、
請求項１〜８のいずれか１項に記載の蛍光画像生成装置。
【請求項１１】
前記画像処理部は、３０ｍｓｅｃの間に少なくとも１つの前記蛍光画像データを生成する、
請求項１〜１０のいずれか１項に記載の蛍光画像生成装置。
【請求項１２】
前記解析部によって解析された結果を表示する表示部をさらに備える、
請求項３又は５に記載の蛍光画像生成装置。
【請求項１３】
対象物から発せられた蛍光を撮像することによって蛍光画像を生成する蛍光画像生成方法であって、
前記対象物に対して励起光を照射する光照射部を用いて、第１の期間において前記励起光を照射し、前記第１の期間と異なる第２の期間において前記励起光の照射を停止するステップと、
前記励起光の照射と停止とを繰り返すステップと、
２次元的に配列された複数の画素を含む受光部と、駆動クロックに基づいて前記受光部の露光を制御する制御部とを有する撮像部を用いて前記対象物を撮像することによって、前記第１の期間に対応する第１の画像データ及び前記第２の期間に対応する第２の画像データを出力するステップと、
画像処理部を用いて、前記第１の画像データ及び前記第２の画像データに基づいて、蛍光画像データを生成するステップと、
前記受光部の露光時間を可変に設定するステップと、
を備え、
前記第１の期間及び前記第２の期間は、前記露光時間に応じて設定され、同一の時間に設定されている、蛍光画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、測定対象の蛍光を撮像することにより蛍光画像を生成する蛍光画像生成装置及び蛍光画像生成方法に関する。
【背景技術】
【０００２】
従来から、生体等から励起光の照射に応じて生じる蛍光像を観察する観察装置が用いられている。このような観察装置では、照明光によって生じた蛍光を撮像装置で撮像することにより画像データを生成する。このような観察装置を使用する際には、蛍光以外の光の画像データへの影響を極力取り除くことが望ましい。例えば、下記特許文献１に記載された画像診断装置では、手術室での蛍光像の撮像時に、スイッチによって光源の近赤外波長成分を遮断するフィルタを挿入することにより、光源から照射される励起光のスペクトル特性を蛍光像撮像に影響の無い状態に切り換えている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−０００５４０号公報
【特許文献２】特開平７−１５５２９２号公報
【特許文献３】特表２００３−５１０１２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載の装置においては、スイッチによりフィルタの出し入れを行う必要があるため、操作が煩雑であった。また、手術室等の使用環境には無影灯のほか、蛍光灯等の他の照明器具も存在していることが多いため、それらの影響を取り除くことは困難であった。【０００５】
そこで、本発明は、かかる課題に鑑みて為されたものであり、簡易な操作で使用環境による影響が低減された適切な蛍光画像を得ることが可能な蛍光画像生成装置及び蛍光画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の一形態に係る蛍光画像生成装置は、対象物から発せられた蛍光を撮像することによって蛍光画像を生成する装置であって、励起光を出力する光源を有し、第１の期間において対象物に対して励起光を照射し、第１の期間と異なる第２の期間において励起光の照射を停止し、励起光の照射と停止とを繰り返す光照射部と、２次元的に配列された複数の画素を含む受光部と、駆動クロックに基づいて受光部の露光を制御する制御部とを有し、対象物を撮像することによって、第１の期間に対応する第１の画像データ及び第２の期間に対応する第２の画像データを出力する撮像部と、第１の画像データ及び第２の画像データに基づいて、蛍光画像データを生成する画像処理部と、受光部の露光時間を可変に設定する設定部と、を備える。【０００７】
或いは、本発明の他の形態に係る蛍光画像生成方法は、対象物から発せられた蛍光を撮像することによって蛍光画像を生成する方法であって、対象物に対して励起光を照射する光照射部を用いて、第１の期間において励起光を照射し、第１の期間と異なる第２の期間において励起光の照射を停止するステップ（照射ステップ）と、励起光の照射と停止とを繰り返すステップ（繰返しステップ）と、２次元的に配列された複数の画素を含む受光部と、駆動クロックに基づいて受光部の露光を制御する制御部とを有する撮像部を用いて対象物を撮像することによって、第１の期間に対応する第１の画像データ及び第２の期間に対応する第２の画像データを出力するステップ（撮像ステップ）と、画像処理部を用いて、第１の画像データ及び第２の画像データに基づいて、蛍光画像データを生成するステップ（生成ステップ）と、受光部の露光時間を可変に設定するステップ（設定ステップ）と、を備える。【０００８】
このような蛍光画像生成装置、或いは蛍光画像生成方法によれば、対象物への励起光の照射が第１の期間及び第２の期間で繰り返しオン／オフされ、それぞれの期間で複数の画素を含む受光部を有する撮像部を用いて対象物を撮像することにより、第１の画像データ及び第２の画像データが出力され、それらの画像データを基に蛍光画像データが生成される。この際、受光部の露光時間が可変にされているので、撮像時の使用環境に応じて適切な露光時間を設定することにより、簡易な操作で使用環境による影響が低減された適切な蛍光画像を得ることができる。【０００９】
ここで、上記一形態に係る蛍光画像生成装置においては、設定部は、露光時間に相当する駆動クロックのカウント数を可変に設定し、制御部は、受光部の露光時間を制御するために、設定されたカウント数に基づいて駆動クロックをカウントする、ことでもよい。また、上記他の形態に係る蛍光画像生成方法においては、設定ステップでは、露光時間に相当する駆動クロックのカウント数を可変に設定し、撮像ステップでは、受光部の露光時間を制御するために、設定されたカウント数に基づいて駆動クロックをカウントする、ことでもよい。この場合、設定部で可変に設定された露光時間に基づいて受光部の露光時間を適切に制御することができる。【００１０】
また、第１の画像データ、第２の画像データ、及び蛍光画像データのうち少なくとも１つの画像データに基づいて、複数の画素に対応する画素値を解析する解析部をさらに備え、解析部は、複数の画素のうち画素値が飽和した画素を特定する、ことでもよい。また、第１の画像データ、第２の画像データ、及び蛍光画像データのうち少なくとも１つの画像データに基づいて、複数の画素に対応する画素値を解析するステップ（解析ステップ）をさらに備え、解析ステップでは、複数の画素のうち画素値が飽和した画素を特定する、ことでもよい。この場合、画像データにおける画素値の飽和状態に応じて受光部の露光時間を適切な値に設定することができる。その結果、使用環境による影響が低減された適切な蛍光画像を得ることができる。【００１１】
また、解析部及び解析ステップは、飽和した画素の数を算出し、設定部及び設定ステップでは、飽和した画素の数に基づいて露光時間を設定する、ことでもよい。かかる構成を採れば、画像データにおける画素値の飽和状態に応じて受光部の露光時間を自動で適値に設定することができる。その結果、より簡易な操作で使用環境による影響が低減された適切な蛍光画像を得ることができる。【００１２】
さらに、第１の画像データ、第２の画像データ、及び蛍光画像データのうち少なくとも１つの画像データに基づいて、複数の画素に対応する画素値を解析する解析部をさらに備え、解析部は、画素が飽和したことを示す飽和画素値と、複数の画素に対応する画素値の最大値との差である差分値を算出する、ことでもよい。また、第１の画像データ、第２の画像データ、及び蛍光画像データのうち少なくとも１つの画像データに基づいて、複数の画素に対応する画素値を解析するステップ（解析ステップ）をさらに備え、解析ステップでは、画素が飽和したことを示す飽和画素値と、複数の画素に対応する画素値の最大値との差である差分値を算出する、ことでもよい。こうすれば、画像データにおける画素値の最大値と飽和画素値との差に応じて受光部の露光時間を適切な値に設定することができる。その結果、使用環境による影響が低減された適切な蛍光画像を得ることができる。【００１３】
またさらに、設定部及び設定ステップは、差分値に基づいて露光時間を設定する、ことでもよい。この場合、画像データにおける画素値の最大値と飽和画素値との差に応じて受光部の露光時間を自動で適値に設定することができる。その結果、より簡易な操作で使用環境による影響が低減された適切な蛍光画像を得ることができる。【００１４】
さらにまた、光照射部は、第１の期間及び第２の期間の長さを可変に設定可能に構成されていてもよい。かかる光照射部を備えれば、励起光の照射時間を撮像部の露光時間に対応して設定することができる。【００１５】
第１の期間及び第２の期間は、露光時間に応じて設定されていてもよい。こうすれば、励起光の照射時間を撮像部の露光時間に対応して設定されることで、蛍光像を効率的に撮像することができる。【００１６】
また、第１の期間と第２の期間とは、同一の時間に設定されていてもよい。この場合、第１の画像データと第２の画像データから蛍光画像データを得る際に処理を簡略化できる。【００１７】
またさらに、設定部及び設定ステップは、露光時間を、少なくとも１ｍｓｅｃ以上３０ｍｓｅｃ未満の範囲で可変に設定してもよい。【００１８】
さらにまた、画像処理部及び生成ステップは、第１の期間及び第２の期間の繰り返しによって得られた複数の第１の画像データ及び複数の第２の画像データのそれぞれを加算し、加算後の複数の第１の画像データと加算後の複数の第２の画像データとの差分を算出し、蛍光画像データを生成する、ことでもよい。かかる構成を備えれば、加算された複数の第１の画像データと加算された複数の第２の画像データとの差分から蛍光画像データが生成されるので、個々の露光時間が短くても明瞭な蛍光画像を得ることができる。【００１９】
画像処理部及び生成ステップは、第１の画像データと第２の画像データとの差分を算出して差分画像データを繰り返し生成し、繰り返し生成された複数の差分画像データを加算し、蛍光画像データを生成する、ことでもよい。かかる構成を備えれば、第１の画像データと第２の画像データとの差分画像データが繰り返し生成されてそれらの差分画像データが加算されることにより蛍光画像データが生成されるので、個々の露光時間が短くても明瞭な蛍光画像を得ることができる。【００２０】
また、画像処理部及び生成ステップは、３０ｍｓｅｃの間に少なくとも１つの蛍光画像データを生成するものであってもよい。【００２１】
さらに、画像解析部によって解析された結果を表示する表示部をさらに備えてもよい。また、解析ステップによって解析された結果を表示部に表示するステップ（表示ステップ）をさらに備えてもよい。かかる表示部及び表示ステップを備えれば、撮像部の露光時間を調整する際の判断材料としての解析結果を可視化することができ、露光時間の設定が容易となる。
【発明の効果】
【００２２】
本発明によれば、簡易な操作で使用環境による影響が低減された適切な蛍光画像を得ることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の好適な一実施形態に係る蛍光画像取得システム１の概略構成を示すブロック図である。
【図２】図１のカメラコントローラ１５によって制御される各種動作のタイミングを示すタイミングチャートである。
【図３】図１のカメラコントローラ１５によって制御される各種動作のタイミングを示すタイミングチャートである。
【図４】図１の画像処理部１１によってオン画像データ及びオフ画像データを基に生成された蛍光画像データのイメージを示す図である。
【図５】図１の画像解析部１３によって算出された画像データの輝度値のヒストグラムを示すグラフである。
【図６】図１の画像解析部１３による画像解析処理及び制御部９による露光時間の調整処理の手順を示すフローチャートである。
【図７】図１の画像解析部１３によって算出された画像データの輝度値のヒストグラムを示すグラフである。
【図８】図１の画像解析部１３によって算出された画像データの輝度値のヒストグラムを示すグラフである。
【図９】図１の蛍光画像取得システム１による蛍光画像データの生成処理の手順を示すフローチャートである。
【図１０】本発明の変形例にかかる蛍光画像取得システムにおける露光時間調整処理の手順を示すフローチャートである。
【図１１】図１０の処理時の蛍光画像取得システムの表示装置における表示例を示す図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しつつ本発明に係る蛍光画像生成装置及び蛍光画像生成方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。
【００２５】
図１は、本発明の好適な一実施形態に係る蛍光画像取得システム１の概略構成を示すブロック図である。図１に示す蛍光画像取得システム１は、所定のフレームレートで時系列に観察対象物Ｐについての観察画像を取得することで、ユーザが観察対象物Ｐを動画で観察できるように構成されている。観察対象物Ｐは、例えば生体組織であり、予めインドシアニングリーンなどの蛍光色素が導入されている。蛍光画像取得システム１を用いれば、蛍光色素が生体の血管やリンパ管などを流れる様子や生体内の臓器やリンパ節などに蛍光色素が蓄積される様子を観察することができる。蛍光画像生成装置の一形態である蛍光画像取得システム１は、撮像装置（撮像部）３と光照射装置（光照射部）５とを内蔵するカメラユニット７と、カメラユニット７に電気的に結合され、カメラユニット７を制御する制御部９とカメラユニット７から出力された画像データを処理する画像処理部１１及び画像解析部（解析部）１３とを有するカメラコントローラ（設定部）１５と、カメラコントローラ１５に電気的に結合された、表示装置（表示部）１７、入力装置１９、及び記憶装置２１とを備えている。
【００２６】
光照射装置５は、観察対象物Ｐに対して蛍光観察のために蛍光色素を励起するための励起光Ｌ１を出力する光源５ａと、光源５ａの励起光Ｌ１の出力をＯＮ／ＯＦＦを制御する光源制御部５ｂとを内蔵する。光源５ａは、ＬＥＤ（発光ダイオード）、ＬＤ（レーザダイオード）、あるいはＳＬＤ（スーパールミネッセントダイオード）等の発光素子などであり、蛍光色素を励起する波長の光を出力する。光源制御部５ｂは、カメラユニット７と電気的に結合されたカメラコントローラ１５による制御により、光源５ａの励起光出力のＯＮ（出力の状態）とＯＦＦ（出力停止の状態）とを交互に繰り返し切り換える制御回路である。また、この光源制御部５ｂを含むことにより、光照射装置５は、カメラコントローラ１５の制御により、励起光出力のＯＮの期間の長さと、励起光出力のＯＦＦの期間の長さとを独立に可変に設定可能にされる。なお、光源５ａから出力される光の波長は蛍光の波長を含まないことが好ましいが、光源５ａから出力される光の波長が蛍光の波長を含む場合、光照射装置５は、光源５ａから出力される光のうち蛍光の波長と同じ波長の光を遮光する光学フィルタ（不図示）を備えてもよい。
【００２７】
撮像装置３は、カメラコントローラ１５の制御によって観察対象物Ｐからの光像を撮像する装置である。この撮像装置３は、蛍光色素が発する蛍光Ｌ２の波長の光を透過させ、励起光Ｌ１の波長の光を遮断する光学フィルタ３ａと、光学フィルタ３ａを透過した蛍光Ｌ２および観察対象物Ｐの蛍光像の背景からの光である背景光を受光し、それらの光を光電変換することにより画像データを出力する撮像素子３ｂと、カメラコントローラ１５の制御により撮像素子３ｂの露光タイミングおよび露光時間を調整する撮像制御部（設定部）３ｃとを含んで構成される。撮像素子３ｂは、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等のエリアイメージセンサであり、２次元的に配列された複数の画素（光電変換素子）を有する受光部４ａと、受光部４ａの露光を制御する露光制御部４ｂを有する。露光制御部４ｂは、カメラコントローラ１５（または、撮像制御部３ｃ）が設定した露光時間に相当するカウント数を受けて、設定された露光時間に相当するカウント数だけ駆動クロックをカウントすることにより、受光部４ａの露光を制御する。カメラコントローラ１５（または、撮像制御部３ｃ）は、露光時間に相当するカウント数を可変に設定できるため、蛍光画像取得システム１は、受光部４ａの露光時間を可変に設定することができる。なお、受光部４ａの露光時間の制御は、これに限らず、カメラコントローラ１５（または、撮像制御部３ｃ）が駆動クロックの周波数を可変に設定し、撮像素子３ｂの露光制御部４ｂは設定された周波数の駆動クロックに基づいて受光部４ａの露光を制御してもよい。この場合、露光時間に相当するカウント数が同じであっても、駆動クロックの周波数を変更することで、蛍光画像取得システム１は、受光部４ａの露光時間を可変に設定することができる。また、カメラコントローラ１５（または、撮像制御部３ｃ）は、駆動クロックを停止時間だけ停止させてもよい。この場合、露光時間に相当するカウント数や駆動クロックの周波数が同じであっても、停止時間の長さを変更することで、蛍光画像取得システム１は、受光部４ａの露光時間を可変に設定することができる。なお、光学フィルタ３ａは、蛍光Ｌ２の波長の光のほか、外部の照明装置から出力される照明光によって観察対象物Ｐにおいて生じる反射光の波長の光も透過するように構成されているので、撮像素子３ｂは観察対象物Ｐからの反射光を背景光として受光する。すなわち、手術室等の使用環境には無影灯、蛍光灯等の光照射装置５以外の照明装置も存在しうるので、それらの照明装置からの光による観察対象物Ｐにおける反射光には蛍光Ｌ２と同じ波長帯付近の光も含まれ、その光が背景光として撮像素子３ｂの受光部４ａによって受光される。
【００２８】
上記構成のカメラユニット７では、光源５ａの励起光出力のＯＮの期間（以下、単に「オン期間」と言う。）においては、撮像素子３ｂは観察対象物Ｐからの蛍光および背景光を受光（撮像）し、それに応じて画像データとしてオン画像データを出力する一方、光源５ａの励起光出力のＯＦＦの期間（以下、単に「オフ期間」と言う。）においては、撮像素子３ｂは観察対象物Ｐからの背景光を受光（撮像）し、それに応じて画像データとしてオフ画像データを出力する。撮像制御部３ｃは、撮像素子３ｂの露光制御部４ｂに対し駆動クロックを出力する。撮像素子３ｂの露光制御部４ｂは、露光時間に相当するクロック数だけ駆動クロックをカウントする。カメラユニット７の出力する画像データのフレームレートが例えば３０フレーム／ｓｅｃに設定されている場合には、露光制御部４ｂは、露光時間が例えば３０ｍｓｅｃになるように設定された露光時間に相当するクロック数に基づいて駆動クロックをカウントし、カメラユニット７の設定変更によりフレームレートが１５フレーム／ｓｅｃ〜１０００フレーム／ｓｅｃの範囲で調整された場合には、それに応じて露光時間が６０ｍｓｅｃ〜１ｍｓｅｃの範囲で可変となるように設定された露光時間に相当するクロック数に基づいて駆動クロックをカウントする。露光時間の調整可能な範囲は、上記範囲に限定されるものではないが、様々な使用環境下で最適な蛍光画像を得るためには、撮像装置３が少なくとも露光時間を１ｍｓｅｃ〜３０ｍｓｅｃの範囲で可変に設定可能に構成される。なお、カメラコントローラ１５から撮像素子３ｂの露光制御部４ｂに駆動クロックが出力されてもよい。
【００２９】
カメラコントローラ１５は、ＣＰＵ等の演算処理回路、メモリ等を含むデータ処理装置であり、このデータ処理装置内に制御部９、画像処理部１１、及び画像解析部１３が機能的に実装されている。ただし、制御部９、画像処理部１１、及び画像解析部１３は、同一装置内に構成される場合には限定されず、複数の装置に分散されて構成されていてもよい。
【００３０】
カメラコントローラ１５の制御部９は、撮像装置３及び光照射装置５の動作を制御する。すなわち、制御部９は、光照射装置５による励起光出力のＯＮ／ＯＦＦと、撮像素子３ｂの露光タイミングとを互いに同期するように制御する。さらに、制御部９は、後述する画像解析部１３の解析結果に基づいて、撮像装置３の撮像素子３ｂの露光時間を撮像制御部３ｃを介して調整するように制御する。例えば、カメラコントローラ１５の制御部９は、画像解析部１３の解析結果に基づいて、撮像素子３ｂの受光部４ａの露光期間に相当するカウント数を設定する。
【００３１】
カメラコントローラ１５の画像処理部１１は、撮像素子３ｂから出力されたオン画像データとオフ画像データを画像処理することにより、観察対象物Ｐからの光像のうちの蛍光が結ぶ像である蛍光像が反映された蛍光画像データと観察対象物Ｐからの光像のうちの背景光が結ぶ像である背景像が反映された背景画像データとを作成する。具体的には、画像処理部１１は、オン画像データとオフ画像データとの間で各画像データの同一の画素位置での差分を算出することにより、蛍光画像データを作成する。また、画像処理部１１は、オフ画像データをそのまま用いて背景画像データを作成する。さらに、画像処理部１１は、蛍光画像データと背景画像データとを用いて、観察対象物Ｐからの背景像と観察対象物Ｐからの蛍光像とが重畳された像が反映された重畳画像データを作成し、作成した重畳画像データを出力用の画像データとして表示装置１７および記憶装置２１に送出する。
【００３２】
カメラコントローラ１５の画像解析部（アナライザー）１３は、撮像装置３から出力されたオン画像データ、オフ画像データ、及び画像処理部１１によって作成された蛍光画像データのうちの少なくとも１つの画像データを対象に、その画像データ中の画素に対応する受光感度を示す画素値を解析する。すなわち、画像解析部１３は、解析対象の画像データ中の複数の画素のうち画素値が飽和している画素を特定し、特定した画素の画素数を算出し、その画素数を解析結果として制御部９に通知する。それとともに、画像解析部１３は、解析対象の画像データ中の複数の画素の画素値の最大値を特定し、その最大値と画素が飽和したことを示す飽和画素値との差分値を算出し、その差分値も解析結果として制御部９に通知する。
【００３３】
表示装置１７は、カメラコントローラ１５に結合されたディスプレイ装置等の画像出力装置であり、画像処理部１１から送出された表示用の画像データと、画像解析部１３によって解析された解析結果とを表示する。また、入力装置１９は、カメラコントローラ１５に結合されたキーボート、マウス、あるいはタッチパネルディスプレイ等のデータ入力装置であり、カメラユニット７における撮像条件を指定するためのパラメータ、及び画像処理部１１における画像処理の条件を示すパラメータを入力する。例えば、入力装置１９は、撮像装置３の露光時間、光照射装置５の照射強度、及び画像処理部１１における重畳画像の作成時の作成条件等の設定値の入力を受け付け、これらのパラメータをカメラコントローラ１５に設定する。これに対応して、カメラコントローラ１５の制御部９は、撮像装置３の露光時間、及び光照射装置５の照射強度を調整するように制御し、カメラコントローラ１５の画像処理部１１は、重畳画像の作成条件を調整する。例えば、カメラコントローラ１５の制御部９は、入力装置１９に入力された露光時間に関する情報に基づき、撮像素子３ｂの受光部４ａの露光時間に相当するカウント数を設定する。そして、カウント数に関する情報を撮像素子３ｂの露光制御部４ｂに出力する。また、記憶装置２１は、カメラコントローラ１５に結合されたデータ記憶装置であり、表示用の画像データ及び解析結果のデータ、カメラコントローラ１５で処理される各種画像データ、及び入力装置１９によって設定される各種パラメータを記憶する。
【００３４】
ここで、光源５ａの励起光出力のＯＮ／ＯＦＦタイミングと、撮像素子３ｂの露光タイミングと、画像処理部１１による蛍光画像データの作成タイミングとの時間的関係について、図２及び図３を参照しながら説明する。図２は、カメラコントローラ１５によって制御される各種動作のタイミングを示すタイミングチャートであり、（ａ）は光源５ａの励起光出力のＯＮ／ＯＦＦタイミング、（ｂ）は撮像素子３ｂの露光タイミング、（ｃ）は画像処理部１１の画像データの保存タイミング、（ｄ）は画像処理部１１の蛍光画像データの作成タイミングをそれぞれ示している。
【００３５】
図２（ａ），（ｂ）に示すように、制御部９は、撮像素子３ｂの１フレームの露光期間に同期して交互にオン期間およびオフ期間が繰り返されるように、光源５ａの励起光のＯＮ／ＯＦＦタイミングを制御する。つまり、オン期間の長さ及びオフ期間の長さと露光期間の長さ（露光時間）はほぼ同一とされ、オン期間と同じ長さで異なる期間となるようにオフ期間が設定される。例えば、オン期間、オフ期間の長さとして３０ｍｓｅｃが設定される。そして、画像処理部１１は、オン期間において撮像素子３ｂの露光に応じて蓄積された電荷に基づいて出力された画像データをオン画像データＡとして取得する。その後、画像処理部１１は、後続するオフ期間において撮像素子３ｂの露光に応じて蓄積された電荷に基づいて出力された画像データをオフ画像データＢとして取得する。このとき、最初のオン画像データＡは取得された時点で画像処理部１１内のメモリに記憶され、その後取得されるオフ画像データＢは画像処理部１１内の差分回路に入力されるとともにメモリに保存される。オフ画像データＢが差分回路に入力されるタイミングでメモリ内のオン画像データＡも差分回路に入力されることにより、２つの画像データの差分が算出されて蛍光画像データＡ−Ｂが作成される。続いて、後続して得られたオン画像データＡ’が差分回路に入力されるとともにメモリに保存さる。オン画像データＡ’が差分回路に入力されるタイミングでメモリ内のオフ画像データＢも差分回路に入力されることにより、２つの画像データの差分が算出されて蛍光画像データＡ’−Ｂが作成される。このような処理が繰り返されることで、画像処理部１１において撮像素子３ｂの露光期間（フレーム）毎に時系列の蛍光画像データを取得することができる。
【００３６】
また、図３には、制御部９により撮像装置３の露光時間が調整された場合の撮像素子３ｂの露光タイミングと画像処理部１１による蛍光画像データの作成タイミングとの時間的関係を示している。図３は、図２に比較して露光時間が短く調整された際にカメラコントローラ１５によって制御される各種動作のタイミングを示すタイミングチャートであり、（ａ）は光源５ａの励起光出力のＯＮ／ＯＦＦタイミング、（ｂ）は撮像素子３ｂの露光タイミング、（ｃ）は画像処理部１１の画像データの保存タイミング、（ｄ）は画像処理部１１の蛍光画像データの作成タイミングをそれぞれ示している。このように、オン画像データＡ及びオフ画像データＢを取得する際の露光時間が短く調整されるに伴って、光源５ａの励起光に関するオン期間及びオフ期間も露光期間に同期して短くなるように制御される。例えば、オン期間、オフ期間の長さとして１５ｍｓｅｃが設定される。
【００３７】
図４は、画像処理部１１によってオン画像データＧＯＮ及びオフ画像データＧＯＦＦを基に生成された蛍光画像データのイメージＧＦを示す図である。このように、蛍光像ＩＭＦと背景像ＩＭＢとが反映されたオン画像ＧＯＮと、背景像ＩＭＢが反映されたオフ画像ＧＯＦＦの差分が取られることにより、蛍光像ＩＭＦが反映された蛍光画像データを得ることができる。
【００３８】
なお、画像処理部１１により１枚のオン画像データ及び１枚のオフ画像データから作成される蛍光画像データの輝度値（画素値）が小さい場合には、次のようにして加算した画像データを基に蛍光画像データを生成することも可能とされる。すなわち、画像処理部１１は、オン期間及びオフ期間の繰り返しに伴って得られた複数の同数枚のオン画像データ及び複数の同数枚のオフ画像データのそれぞれを加算し、加算後のオン画像データと加算後のオフ画像データとの差分画像データを蛍光画像データとして算出する。例えば、図３の例によれば、３枚のオン画像データＡ，Ａ’，Ａ’’を加算することにより加算後のオン画像データＡ＋Ａ’＋Ａ’’が生成されるとともに、３枚のオフ画像データＢ，Ｂ’，Ｂ’’を加算することにより加算後のオフ画像データＢ＋Ｂ’＋Ｂ’’が生成され、それらの差分を計算することで蛍光画像データ｛（Ａ＋Ａ’＋Ａ’’）−（Ｂ＋Ｂ’＋Ｂ’’）｝が生成される。加算する画像データの枚数は、入力装置１９によって設定されるパラメータで指定される。ただし、蛍光画像データを時間分解能の高い動画像として取得する観点から、３０ｍｓｅｃの間に少なくとも１枚の蛍光画像データが得られるように露光時間及び加算枚数が設定されることが好適である。
【００３９】
続いて、カメラコントローラ１５の画像解析部１３による画像解析処理及び制御部９による露光時間の調整処理の詳細について説明する。図５は、画像解析部１３によって算出された画像データの輝度値のヒストグラムを示すグラフ、図６は、画像解析部１３による画像解析処理及び制御部９による露光時間の調整処理の手順を示すフローチャートである。
【００４０】
まず、露光時間の調整処理が開始されると、制御部９によって記憶装置２１に記憶された露光時間の初期値を基に撮像装置３の露光時間が設定される（ステップＳ０１）。この状態で画像解析部１３により解析対象の画像データが取得される。この解析対象の画像データは、光源５ａの励起光出力がＯＦＦされた状態で画像処理部１１によって取得されるオフ画像データが挙げられるが、光源５ａの励起光出力がＯＮされた状態で画像処理部１１によって取得されるオン画像データであってもよいし、画像処理部１１で生成される蛍光画像データであってもよいし、これらのうちからいずれかを選択して重畳した重畳画像データであってもよい。
【００４１】
次に、画像解析部１３により、処理対象の画像データを対象に、画像データ中の画素の輝度値が集計されることにより、輝度値の度数分布を示すヒストグラムデータが算出される（ステップＳ０３）。図５には、画像解析部１３によって算出されたヒストグラムデータの一例を示している。このように、輝度値の最小値である０から飽和した輝度を示す輝度値の最大値（飽和輝度値）ＶＳまでの範囲での度数分布が計算される。
【００４２】
さらに、画像解析部１３により、算出したヒストグラムデータを基に、処理対象の画像データ中の画素のうちで飽和輝度値ＶＳを有する画素の画素数Ｎが特定される（ステップＳ０４）。その後、画像解析部１３により、特定した画素数Ｎが予め規定されている閾値以上であるか否かが判定される（ステップＳ０５）。判定の結果、画素数Ｎが閾値以上であると判定された場合には（ステップＳ０５；ＹＥＳ）、制御部９により撮像装置３の露光時間を現在の設定値よりも所定時間だけ短くするように再設定され（ステップＳ０６）、処理がステップＳ０２に戻される。
【００４３】
一方、画像解析部１３により、画素数Ｎが閾値未満であると判定された場合には（ステップＳ０５；ＮＯ）、ヒストグラムデータを基に、処理対象の画像データ中の画素の輝度値のうちで最大値である最大輝度値ＶＭが特定される（ステップＳ０７）。さらに、画像解析部１３により、飽和輝度値ＶＳと最大輝度値ＶＭとの差分値である差分輝度値ＶＳ−ＶＭが計算される（ステップＳ０８）。その後、画像解析部１３により、差分輝度値ＶＳ−ＶＭが予め規定されている閾値以上であるか否かが判定される（ステップＳ０９）。判定の結果、差分輝度値ＶＳ−ＶＭが閾値以上であると判定された場合には（ステップＳ０９；ＹＥＳ）、制御部９により撮像装置３の露光時間を現在の設定値よりも所定時間だけ長くするように再設定され（ステップＳ１０）、処理がステップＳ０２に戻される。一方、画像解析部１３により差分輝度値ＶＳ−ＶＭが閾値未満であると判定された場合には（ステップＳ０９；ＮＯ）、その時点で設定されている露光時間が最終的な露光時間として決定され（ステップＳ１１）、露光時間の調整処理を終了する。その後、制御部９は、調整された露光時間に基づいて、例えば、露光時間に相当するカウント数または駆動クロックの周波数、停止時間のうち少なくとも１つを設定する。
【００４４】
上記の露光時間の調整処理は、露光時間の初期値の長短に対応できるような処理とされている。すなわち、ステップＳ０４〜Ｓ０６までの調整処理では、露光時間の初期値が一般的なフレームレートである３０ｆｐｓに対応した露光時間３０ｍｓｅｃに設定された場合に、露光時間を最適な値にまで短くして調整することを可能にしている。これに対して、ステップＳ０７〜Ｓ１０までの調整処理では、露光時間の初期値が十分小さい時間（例えば、１ｍｓｅｃ）に設定された場合に、露光時間を最適な値にまで長くして調整することを可能にしている。ここで、ステップＳ０４〜Ｓ０６までの処理と、ステップＳ０７〜Ｓ１０までの処理は必ずしも両方実行される場合には限られず、露光時間の初期値が予め固定されている場合には、いずれかの処理が省略されていてもよい。
【００４５】
図７には、露光時間の初期値が比較的大きな値に設定されていた場合に露光時間の調整処理に伴って算出されたヒストグラムデータの変化の例を示している。露光時間が初期値に設定された時点では、図７のヒストグラムＨ１に示すように飽和輝度値ＶＳに対応する画素数Ｎが閾値ＮＴｈを超えているが、その後の調整処理により露光時間が調整される結果、画素数Ｎが減少して閾値ＮＴｈ未満となり、０と飽和輝度値ＶＳとの間の輝度値の度数分布が上昇したヒストグラムＨ２，Ｈ３が得られるように調整される。また、図８には、露光時間の初期値が比較的小さな値に設定されていた場合に露光時間の調整処理に伴って算出されたヒストグラムデータの変化の例を示している。露光時間が初期値に設定された時点では、図８のヒストグラムＨ４に示すように差分輝度値ＶＳ−ＶＭが閾値を超えているが、その後の調整処理により露光時間が調整される結果、差分輝度値ＶＳ−ＶＭが小さくなって閾値未満となり、輝度値の度数分布が飽和輝度値ＶＳ側によったヒストグラムＨ５が得られるように調整される。
【００４６】
以下、上述した蛍光画像取得システム１による蛍光画像データの生成処理の手順を説明するとともに、本実施形態の蛍光画像生成方法について詳述する。図９は、蛍光画像取得システム１による蛍光画像データの生成処理の手順を示すフローチャートである。蛍光画像取得システム１では、図９に示す処理が繰り返されることで、時系列に観察対象物Ｐの蛍光画像が取得できるように構成されている。
【００４７】
まず、ユーザの指示入力により蛍光画像の取得処理が開始されると、撮像装置３の露光時間の調整処理が実行される（ステップＳ２１）。そして、制御部９の制御により、撮像素子３ｂの露光期間に同期したタイミング（オン期間、オフ期間）において光源５ａからの励起光のＯＮＮ／ＯＦＦの切り換えが開始される（ステップＳ２２）。このオン期間に同期して、画像処理部１１により撮像装置３からオン画像データが取得される（ステップＳ２３）。続いて、オフ期間に同期して、画像処理部１１により撮像装置３からオフ画像データが取得される（ステップＳ２４）。その後、画像処理部１１により、オン画像データとオフ画像データとの差分が計算されることにより、蛍光画像データが作成される（ステップＳ２５）。さらに、画像処理部１１により、オフ画像データと蛍光画像データとを重畳することにより重畳画像データが作成される（ステップＳ２６）。この重畳画像データは表示装置１７に表示される。
【００４８】
以上説明した蛍光画像取得システム１によれば、観察対象物Ｐへの励起光の照射がオン期間及びオフ期間で繰り返しオン／オフされ、それぞれの期間で複数の画素を有する撮像素子３ｂを用いて観察対象物Ｐを撮像することにより、オン画像データ及びオフ画像データが出力され、それらの画像データを基に蛍光画像データが生成される。この際、撮像素子３ｂの複数の画素の露光時間が可変にされているので、撮像時の使用環境に応じて適切な露光時間を設定することにより、簡易な操作で使用環境による影響が低減された適切な蛍光画像を得ることができる。
【００４９】
また、本実施形態では、画像データにおける画素値の飽和状態に応じて撮像素子３ｂの露光時間を適切な値に設定することができる。その結果、使用環境による影響が低減された適切な蛍光画像を得ることができる。すなわち、露光時間が長すぎた場合に画素が飽和してしまうことが防止されるとともに、露光時間が短すぎることによって蛍光画像データにおいてノイズが支配的になるといった事態も防止できる。例えば、手術室等の使用環境で無影灯等の照明器具が存在する場合であっても、画素の飽和及びノイズ発生を防止して明瞭な蛍光像を観察することができる。無影灯はＬＥＤタイプ、蛍光灯タイプ、ランプタイプなどの様々な出力波長及び照度を有するものが存在する。露光時間がカメラコントローラ１５の制御により可変に設定可能に構成されることにより、無影灯の種類に関係なく最適な露光時間が自動で設定される。
【００５０】
ここで、本実施形態では、オン期間及びオフ期間は、露光時間に応じて設定され、同一の時間に設定されている。こうすれば、励起光の照射時間を撮像素子３ｂの露光時間に対応して設定されることで蛍光像を効率的に撮像することができるとともに、オン画像データとオフ画像データの露光条件が揃うのでこれらから蛍光画像データを得る際に処理を簡略化できる。
さらに、画像処理部１１は、加算したオン画像データと加算したオフ画像データとの差分を算出することにより、蛍光画像データを生成する。これにより、オン画像データ及びオフ画像データの個々の露光時間が短くても明瞭な蛍光画像を得ることができる。
【００５１】
なお、本発明は、前述した実施形態に限定されるものではない。
【００５２】
例えば、カメラコントローラ１５による露光時間の調整処理は、画像解析部１３の解析結果に応じて自動で制御されることには限定されず、ユーザによって入力装置１９に入力された指示入力に応じて、露光時間が調整されるように実行されてもよい。
【００５３】
図１０は、本発明の変形例にかかる蛍光画像取得システム１Ａにおける露光時間の調整処理の流れを示すフローチャートである。まず、露光時間の調整処理が開始されると、制御部９によって記憶装置２１に記憶された露光時間の初期値を基に撮像装置３の露光時間が設定される（ステップＳ３１）。この状態で画像解析部１３により解析対象の画像データが取得される。次に、画像解析部１３により、処理対象の画像データを対象に、画像データ中の画素の輝度値が集計されることにより、輝度値の度数分布を示すヒストグラムデータが算出されるとともに、画素数Ｎ、差分輝度値ＶＳ−ＶＭ等の解析結果が算出される（ステップＳ３３）。
【００５４】
その後、画像解析部１３により算出されたヒストグラムデータ、及び画像解析部１３により作成された解析結果のデータが表示装置１７に表示される（ステップＳ３４）。図１１には、このときに表示装置１７に出力される情報のレイアウトの一例を示している。図１１（ａ）に示されるように、表示装置１７の画面上において、領域Ａ１にはオフ画像データを基に外観画像が表示され、領域Ａ２には蛍光画像データを基に蛍光画像が表示され、領域Ａ３にはオフ画像データを基に算出されたヒストグラムがグラフ形式で表示され、領域Ａ４には蛍光画像データを基に算出されたヒストグラムがグラフ形式で表示され、領域Ａ５には、画素数Ｎ、差分輝度値ＶＳ−ＶＭ等の解析結果を含む各種パラメータが表示される。また、表示装置１７には、図１１（ｂ）に示すようなレイアウトで情報が表示されてもよい。すなわち、表示装置１７の画面上において、領域Ａ６には重畳画像データを基に重畳画像が表示され、領域Ａ７にはオフ画像データを基に算出されたヒストグラムがグラフ形式で表示され、領域Ａ８には蛍光画像データを基に算出されたヒストグラムがグラフ形式で表示され、領域Ａ９には、画素数Ｎ、差分輝度値ＶＳ−ＶＭ等の解析結果を含む各種パラメータが表示される。
【００５５】
これに対して、ユーザによって表示装置１７上に出力された表示情報を基に露光時間調整の要否が判断され、入力装置１９にユーザから露光時間の変更の指示入力が為される。カメラコントローラ１５の制御部９は、ユーザによって露光時間の変更の指示入力が為されたか否かを判定する（ステップＳ３５）。判定の結果、露光時間の変更指示が為されたと判定された場合には（ステップＳ３５；ＹＥＳ）、制御部９により撮像装置３の露光時間が再設定され（ステップＳ３６）、処理がステップＳ３２に戻される。一方、露光時間の変更指示が無かったと判定された場合には（ステップＳ３５；ＮＯ）、その時点で設定されている露光時間が最終的な露光時間として決定され（ステップＳ３７）、露光時間の調整処理を終了する。その後、制御部９は、調整された露光時間に基づいて、例えば、露光時間に相当するカウント数または駆動クロックの周波数、停止時間のうち少なくとも１つを設定する。
【００５６】
このような変形例によれば、撮像素子３ｂの露光時間を調整する際の判断材料としての解析結果を可視化することができ、ユーザによる露光時間の設定が容易となる。これにより、簡易な操作で使用環境による影響が低減された適切な蛍光画像を得ることができる。
【００５７】
また、上述した実施形態においては、１枚のオン画像データ及び１枚のオフ画像データから作成される蛍光画像データの輝度値が小さい場合には、次のようにして蛍光画像データが生成されてもよい。すなわち、画像処理部１１は、オン期間及びオフ期間の繰り返しに伴って交互に得られるオン画像データ及びオフ画像データを基に、それらの差分を算出することにより差分画像データを繰り返し生成し、それらの差分画像データを加算することにより蛍光画像データを算出してもよい。例えば、図３の例によれば、オン画像データＡ、及びオフ画像データＢの差分を算出することにより差分画像データＡ−Ｂを算出し、その後同様な処理を繰り返すことにより差分画像データＡ’−Ｂ、及び差分画像データＡ’−Ｂ’を算出し、それらの差分画像データを加算することにより蛍光画像データ｛（Ａ−Ｂ）＋（Ａ’−Ｂ）＋（Ａ’−Ｂ’）｝を生成する。このような処理によっても、露光時間が比較的短い場合でも明瞭な蛍光画像が得られる。
【産業上の利用可能性】
【００５８】
本発明は、測定対象の蛍光を撮像することにより蛍光画像を生成する蛍光画像生成装置及び蛍光画像生成方法を使用用途とし、簡易な操作で使用環境による影響が低減された適切な蛍光画像を得ることを可能にするものである。
【符号の説明】
【００５９】
１…蛍光画像取得システム、３…撮像装置（撮像部）、３ｂ…撮像素子、４ａ…受光部、４ｂ…露光制御部、３ｃ…撮像制御部（設定部）、５…光照射装置（光照射部）、５ａ…光源、１１…画像処理部、１３…画像解析部、１５…カメラコントローラ（設定部）、１７…表示装置、１９…入力装置、２１…記憶装置、Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｈ５…ヒストグラム、Ｌ１…励起光、Ｌ２…蛍光、Ｐ…観察対象物。
【図１】
0006450832.tif 000002
【図２】
0006450832.tif 000003
【図３】
0006450832.tif 000004
【図４】
0006450832.tif 000005
【図５】
0006450832.tif 000006
【図６】
0006450832.tif 000007
【図７】
0006450832.tif 000008
【図８】
0006450832.tif 000009
【図９】
0006450832.tif 000010
【図１０】
0006450832.tif 000011
【図１１】
0006450832.tif 000012