(57)【特許請求の範囲】
【請求項１】
画像処理ユニット（１８）を含む医用検査装置（１）であって、
前記画像処理ユニット（１８）は、
対象物（２）の可視光画像（４９）を表す可視光画像データ（１１）を受信するように構成された第１の入力セクション（３１）と、
前記対象物（２）の蛍光画像（５１）を表す蛍光画像データ（１２）を受信するように構成された第２の入力セクション（３２）と、
前記対象物（２）の擬似色画像（５３）を表す擬似色画像データ（３４）を出力するように構成された出力セクション（３３）と、
を含み、
前記画像処理ユニット（１８）は、前記擬似色画像（５３）の出力ピクセル（５４）の色（ｒｏ，ｇｏ，ｂｏ）を、特定の蛍光発光色に割り当てられた擬似色（ｒｐ，ｇｐ，ｂｐ）と、前記可視光画像（４９）の第１の入力ピクセル（５０）の色（ｒｉ，ｇｉ，ｂｉ）と、前記蛍光画像（５１）の第２の入力ピクセル（５２）の輝度（ｆ）と、から計算するように構成されている、
医用検査装置（１）。
【請求項２】
前記蛍光画像（５１）は、少なくとも２つの異なる蛍光発光色（７２，７３）を含み、
前記画像処理ユニット（１８）は、種々異なる擬似色（７０，７１）を前記異なる蛍光発光色のそれぞれに割り当てるように構成されている、
請求項１に記載の医用検査装置（１）。
【請求項３】
前記出力ピクセル（５４）の色（ｒｏ，ｇｏ，ｂｏ）は、色空間（ＲＧＢ）において、第１の入力ピクセル（５０）の色（ｒｉ，ｇｉ，ｂｉ）と前記少なくとも１つの擬似色（ｒｐ，ｇｐ，ｂｐ）との間に線形に配置されており、
前記出力ピクセル（５４）の色から前記第１の入力ピクセル（５０）の色までの距離は、前記蛍光画像（５１）の前記第２の入力ピクセル（５２）の輝度（ｆ）に比例する、
請求項１又は２に記載の医用検査装置（１）。
【請求項４】
前記画像処理ユニット（１８）は、均一化モジュール（４１）を含み、
前記均一化モジュールは、前記可視光画像（４９）及び前記蛍光画像（５１）の少なくとも一方における口径食及び不均一な照明の少なくとも一方を補償するように構成されている、
請求項１から３までのいずれか１項に記載の医用検査装置（１）。
【請求項５】
前記均一化モジュール（４１）は、前記可視光画像（４９）及びデータと前記蛍光画像（５１）とに対して異なる均一化フィルタ（４２）を含む、
請求項４に記載の医用検査装置（１）。
【請求項６】
前記画像処理ユニット（１８）は、前記第２の入力ピクセル（５２）が閾値（ｆｍｉｎ）を下回る輝度（ｆ）を有する場合に、前記蛍光画像（５１）の前記第２の入力ピクセル（５２）を空白化するように構成された閾値調整モジュール（４７）を含む、
請求項１から５までのいずれか１項に記載の医用検査装置（１）。
【請求項７】
前記画像処理ユニット（１８）は、前記可視光画像（４９）及び前記蛍光画像（５１）を互いに合同となるように移動させるべく構成された空間調整モジュール（４５）を含む、
請求項１から６までのいずれか１項に記載の医用検査装置（１）。
【請求項８】
前記空間調整モジュール（４５）は、前記可視光画像（４９）及び前記蛍光画像（５１）の少なくとも一方に対して、クロップ、回転、シフト及びストレッチのうち少なくとも１つを行うように構成されている、
請求項７に記載の医用検査装置（１）。
【請求項９】
画像処理ユニット（１８）を含む医用検査装置の作動方法であって、
前記画像処理ユニット（１８）が、対象物（２）の可視光画像（４９）を表す可視光画像データ（１１）を取得するステップと、
前記画像処理ユニット（１８）が、前記対象物の蛍光画像（５１）を表す蛍光画像データ（１２）を取得するステップと、
前記画像処理ユニット（１８）が、前記可視光画像データ（１１）と、前記蛍光画像データ（１２）と、特定の蛍光発光色に割り当てられた擬似色とを結合して、擬似色画像（５３）を表す擬似色画像データ（３４）を取得するステップと、
を含み、
前記擬似色画像（５３）の出力ピクセル（５４）の色（ｒｏ，ｇｏ，ｂｏ）は、前記擬似色（ｒｐ，ｇｐ，ｂｐ）と、前記可視光画像（４９）の第１の入力ピクセル（５０）の色（ｒｉ，ｇｉ，ｂｉ）と、前記蛍光画像（５１）の第２の入力ピクセル（５２）の輝度（ｆ）と、に依存する、
医用検査装置の作動方法。
【請求項１０】
前記画像処理ユニット（１８）が、種々異なる擬似色（７０，７１）を前記蛍光画像（５１）の種々異なる蛍光発光色（７２，７３）に割り当てるステップをさらに含む、
請求項９に記載の医用検査装置の作動方法。
【請求項１１】
結合によって擬似色画像（５３）を取得する前記ステップの前に、前記画像処理ユニット（１８）が、前記可視光画像（４９）及び前記蛍光画像（５１）の少なくとも一方を相互に合同となるように移動させるステップをさらに含む、
請求項９又は１０に記載の医用検査装置の作動方法。
【請求項１２】
少なくとも１つの前記可視光画像（４９）及び少なくとも１つの前記蛍光画像（５１）に対して、前記可視光画像（４９）が前記蛍光画像（５１）と合同となるように、前記画像処理ユニット（１８）が、クロップ、シフト、ストレッチ及び回転のうち少なくとも１つを行う、
請求項１１に記載の医用検査装置の作動方法。
【請求項１３】
前記第２の入力ピクセル（５２）の輝度が閾値（ｆｍｉｎ）を下回る場合、前記画像処理ユニット（１８）が、前記第２の入力ピクセル（５２）を前記蛍光画像（５１）において空白化する、
請求項９から１２までのいずれか１項に記載の医用検査装置の作動方法。
【請求項１４】
前記出力ピクセル（５４）の色（ｒｏ，ｇｏ，ｂｏ）を、色空間（ＲＧＢ）において、前記擬似色（ｒｐ，ｇｐ，ｂｐ）と前記第１の入力ピクセル（５０）の色（ｒｉ，ｇｉ，ｂｉ）との間で線形に補間する、
請求項９から１３までのいずれか１項に記載の医用検査装置の作動方法。
【請求項１５】
非一時性のコンピュータで読み出し可能な媒体であって、
医用検査装置（１）に請求項９から１４までのいずれか１項に記載の方法を実行させるためのプログラムを記憶した、媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡又は内視鏡などの医用検査装置、及び、顕微鏡検査又は内視鏡検査などの医用検査方法に関する。
【発明の概要】
【発明が解決しようとする課題】
【０００２】
顕微鏡及び内視鏡は、所定のタイプの組織を良好に認識するために、蛍光体の蛍光を用いることが知られている。本発明の目的は、外科医に表示される画像の品質を、既存の顕微鏡又は内視鏡に比べて改善することである。
【課題を解決するための手段】
【０００３】
顕微鏡又は内視鏡などの医用検査装置に対して、上記目的は、画像処理ユニットを含む、顕微鏡又は内視鏡などの医用検査装置において達成される。画像処理ユニットは、対象物の可視光画像を表す可視光画像データを受信するように構成された第１の入力セクションと、対象物の蛍光画像を表す蛍光画像データを受信するように構成された第２の入力セクションと、対象物の擬似色画像を表す擬似色画像データを出力するように構成された出力セクションとを含み、画像処理ユニットは、擬似色画像の出力ピクセルの色を、少なくとも１つの擬似色と、可視光画像の第１の入力ピクセルの色と、蛍光画像の第２の入力ピクセルの輝度とから計算するように構成されている。
【０００４】
本発明の医用検査方法は、対象物の可視光画像を表す可視光画像データを取得するステップと、対象物の蛍光画像を表す蛍光画像データを取得するステップと、可視光画像データと蛍光画像データと少なくとも１つの擬似色とを結合して、擬似色画像を表す出力データを取得するステップとを含み、ここで、擬似色画像の出力ピクセルの色は、少なくとも１つの擬似色と、可視光画像の第１の入力ピクセルの色と、蛍光画像の第２の入力ピクセルの輝度とに依存する。
【０００５】
また、上記課題は、医用視覚化装置に上記方法を実行させるためのプログラムを記憶した、非一時性のコンピュータで読み出し可能な媒体によって解決される。
【０００６】
本発明の解決手段では、少なくとも１つの擬似色が自然に見えるように可視光画像に混合された擬似色画像が形成される。よって、蛍光色で色づけされた対象物のセクションがより自然に表現される。蛍光画像が可視光画像に単純にオーバレイされるのではなく、むしろ少なくとも１つの擬似色を用いて蛍光画像が可視光画像に統合され、対象物の蛍光部分が表示される。
【０００７】
本発明は、さらに、以下の特徴によって改善でき、各特徴は単独でも任意に組み合わせても有利である。
【０００８】
以下で「画像」及び「データ」なる語又は「画像」もしくは「データ」の演算について言及する場合、画像とは自身を形成するデータの全体を表すので、「画像」及び「データ」なる語はほぼ同義に使用できるものと理解されたい。また、画像データはピクセルとしてグループ化できる。よって、「ピクセル」は、「データ」の序列化されたグループに相当する。画像及びデータは処理及び／又はディジタル記憶され、それら自体がディジタルとなる。
【０００９】
少なくとも１つの擬似色は、蛍光体の蛍光色に対応させる必要はなく、顕微鏡又は内視鏡のユーザによって選択可能である。好ましくは、擬似色とは、可視光領域における、観察すべき対象物に自然には生じない色である。
【００１０】
本発明の別の特徴によれば、医用視覚化装置は実体式である。実体顕微鏡もしくは実体内視鏡では、僅かに異なる視点から記録された個別の擬似色画像が観察者の片方ずつの目に提供される。つまり、実体顕微鏡もしくは実体内視鏡では、２つの個別の擬似色画像が２つの異なる可視光画像と２つの蛍光画像とから計算される。２つの実体チャネルのそれぞれに対して、単眼顕微鏡の単眼チャネルに使用されるのと同じ装置及び同じ処理を使用できる。
【００１１】
蛍光画像はディジタルＮＩＲカメラでサンプリング可能であり、可視光画像は標準カメラでサンプリング可能である。画像処理ユニットは、画像データを記憶するメモリを含んでよい。画像処理ユニットは、例えばソフトウェアによって顕微鏡又は内視鏡のための制御処理システムを形成するように構成された汎用コンピュータの一部であってよい。また、画像処理ユニットは、顕微鏡又は内視鏡での使用のみのために専用に設計された電子装置であってもよい。
【００１２】
本発明の別の特徴によれば、顕微鏡又は内視鏡は、２つ以上の蛍光チャネルを含むことができる。例えば、それぞれ異なる励起波長で励起されて異なる発光波長で蛍光発光する２つ以上の蛍光体を使用可能である。２つ以上の蛍光体を使用して、調査される対象物の種々の特性を識別することができる。例えば、第１種の蛍光体を使用して血管をマーキングし、第２種の蛍光体を使用してがん細胞をマーキングすることができる。他の蛍光体を用いて例えば神経細胞をマーキングすることもできる。
【００１３】
本発明の別の特徴によれば、蛍光画像データは、少なくとも２つの異なる蛍光発光色を含み、処理ユニットは、種々異なる擬似色を種々異なる蛍光発光色のそれぞれに割り当てるように構成可能である。したがって、種々のタイプの蛍光体によってマーキングされる種々のタイプの組織は、擬似色画像において異なる擬似色によって識別可能である。本発明によれば、蛍光画像の第１の入力ピクセルの色と第２の入力ピクセルの輝度との双方を考慮して、種々の擬似色が全て可視光画像へ自然に混合される。
【００１４】
出力ピクセルの色を計算するために、第１の入力ピクセルと第２の入力ピクセルとは対象物の同じ特徴に対応しなければならない。例えば、蛍光画像、可視光画像及び擬似色画像は、同じ寸法を有しており、すなわち、同数のピクセル行列を含むことができる。可視光画像と蛍光画像とが互いに合同である場合、すなわち、対象物の寸法、配向及び位置が２つの画像において等しい場合、第１の入力ピクセルと第２の入力ピクセルとは各画像の同じ行列に位置することになる。
【００１５】
混合の度合を高めるため、出力ピクセルの色を、色空間において、第１の入力ピクセルの色と少なくとも１つの擬似色との間に線形に配置することができ、出力ピクセルの色から第１の入力ピクセルの色までの距離は、第２の入力ピクセルの輝度に比例する。典型的な色空間はＨＳＶ，ＨＳＩ，ＲＧＢ及びＹＭＣＫであるが、これらの色空間のみに限定されない。当該色空間では、各色は位置ベクトルによって表現することができる。したがって、出力ピクセルの色計算を、ベクトル算術によって高い計算効率で行うことができる。
【００１６】
ＲＧＢ色空間を例として用いると、画像処理ユニットは、出力ピクセルの色を取得するために、第２の入力ピクセルの輝度に依存して、可視光の第１の入力ピクセルのＲＧＢ値を選択された擬似色値へ線形補間するように構成可能である。第１の入力ピクセルがＲＧＢ値（ｒｉ，ｇｉ，ｂｉ）を有し、蛍光輝度がｆであり、補間係数（ｈ＝ｆ／ｆｍａｘ、ここでｆｍａｘは予測される最大蛍光輝度）は選択可能であるとする。特定の蛍光体に対してユーザが選択した擬似色がＲＧＢ値（ｒｐ，ｇｐ，ｂｐ）を有する場合、出力ピクセルの色（ｒｏ，ｇｏ，ｂｏ）は
ｒｏ＝ｒｉ＋ｈ・（ｒｐ−ｒｉ）
ｇｏ＝ｇｉ＋ｈ・（ｇｐ−ｇｉ）
ｂｏ＝ｂｉ＋ｈ・（ｂｐ−ｂｉ）
となる。つまり、蛍光輝度がｆ＝０の場合、ｈ＝０であり、出力ピクセルの色は可視光画像の色に対応する。蛍光画像のピクセルの輝度が増大するにつれて、出力ピクセルの色は擬似色に近づく。
【００１７】
上掲の式では、係数ｈは、係数ｋ＝ａ・ｈで置換可能であり、ここで、ａは、当該擬似色が擬似色画像においてどの程度不透明であるかを定める、擬似色の不透明度係数である。当該擬似色の不透明度係数ａは、ユーザが選択可能である。不透明度係数を、例えば１を下回るきわめて小さい値に設定すると、ｆ＝ｆｍａｘであっても、擬似色画像にはきわめて弱い擬似色が生じる。
【００１８】
擬似色画像の品質を改善し、雑音アーティファクトを回避するために、処理ユニットは、蛍光画像内のピクセルが閾値を下回る輝度を有する場合に当該ピクセルを空白化するように構成された閾値調整モジュールを含むことができる。閾値は、ユーザが調整して画像処理ユニットのメモリ部に記憶させることができる。医用視覚化装置の動作において、ｆｍｉｎを下回る輝度を有する蛍光画像のピクセルは、ゼロに設定できる。閾値フィルタは暗色雑音及びクロストークを低減する。閾値フィルタ又は閾値調整モジュールを用いると、それぞれ、係数ｈは、
ｆ＜ｆｍｉｎに対してｈ＝０、かつ、
ｆ＞ｆｍｉｎに対してｈ＝ｆ
となる。
【００１９】
さらに、画像処理ユニットは、蛍光画像データ及び可視光画像データの少なくとも一方に対してガンマ補正を適用するように構成されたガンマ補正モジュールを含むことができる。特に、ガンマ補正は、蛍光画像をモノクロ蛍光画像のごとく見せるために、蛍光画像データに適用される。
【００２０】
本発明の別の特徴によれば、処理ユニットは、可視光画像データ及び蛍光画像データの少なくとも一方における口径食及び不均一な照明の少なくとも一方を補償するように構成された少なくとも１つの均一化モジュールを含むことができる。例えば、均一化モジュールは、可視光画像データ及び／又は蛍光画像データに対してフラットフィールドフィルタを適用することができる。
【００２１】
照明の不均一及び撮像光学系の口径食によって、視野において不均一な輝度が生じる。典型的には、顕微鏡もしくは内視鏡の視野の周辺のほうが中央よりも著しく暗く、そのため、典型的には顕微鏡もしくは内視鏡でのディジタルイメージングには視野の中央部しか使用できない。しかし、外科医は尚、顕微鏡もしくは内視鏡の接眼部を介して、視野全体を視覚的に観察しうる。よって、擬似色画像に使用される一方の視野と、外科医が観察している他方の視野との不整合が生じうる。当該不整合を回避するために、ディジタル均一化フィルタを可視光画像データ及び／又は蛍光画像データに適用できる。均一化フィルタは、照明の不均一及び／又は撮像光学系の口径食を補正するように構成されている。均一化フィルタを適用した後、得られる中間画像は、視野全体を通して同じ輝度を有する。均一化フィルタでは、作業距離、顕微鏡もしくは内視鏡の光学系の焦点距離、焦点、及び、照明輝度設定の全てを考慮することができる。
【００２２】
特に、均一化フィルタは、キャリブレーションによって、例えばキャリブレーション画像の取得元であるグレー又は白の均一色のターゲットを対象物として使用することで、取得可能である。白の均一色のターゲットは、口径食及び照明の不均一の双方を明示する。
【００２３】
均一化フィルタは、可視光画像及び／又は蛍光画像での空間分布に沿ってＲＧＢ値を好ましくは別個に測定することによって、キャリブレーション画像から求めることができる。空間分布は、例えば、対角線又はキャリブレーション画像の中央を通る他の直線であってよい。当該空間分布は、反転によって均一化フィルタに生じる２次元の不均一性マップを形成するために、多項式に適合化しかつ画像中心の周囲を回転可能である。
【００２４】
均一化フィルタは、画像処理ユニットのメモリ部に記憶可能である。均一化モジュールは、可視光画像データ及び蛍光画像データのための種々の均一化フィルタを含むことができ、これにより、一方では可視光画像の種々の光学系及び照明部、他方では蛍光画像の種々の光学系及び照明部を考慮することができる。
【００２５】
可視光画像が蛍光画像とは異なるカメラによって記録される場合、可視光画像及び蛍光画像に対して２つの異なる視野角又はアライメント誤差が発生しうる。したがって、蛍光画像と可視光画像とは厳密には相互に合同でない。例えば、可視光画像は、蛍光画像に対して僅かに回転していてよい。また、蛍光画像は、可視光画像に対してずれていてよい。さらに、可視光画像と蛍光画像とは相互にアナモルフィックであってもよい。
【００２６】
よって、可視光画像と蛍光画像とを相互に自然に混合するには、処理ユニットが、可視光画像及び蛍光画像を相互に合同となるように移動させるべく構成された空間調整モジュールを含むようにすると有利である。空間調整モジュールにより、第１の入力ピクセルと第２の入力ピクセルとが対象物上の同じ点をマッピングすることが保証される。特に、空間調整モジュールは、可視光画像及び蛍光画像の少なくとも一方に対してクロップ、回転、シフト及びストレッチの少なくとも１つを行うように構成することができる。
【００２７】
２つ以上の蛍光チャネルが使用される場合、各蛍光発光色に対して個別のカメラを使用することができる。蛍光画像を記録する単独カメラが２つ以上の蛍光発光色を使用している場合には、好ましくは色感応性のカメラ又は記録方法を用いて、種々の蛍光帯域を相互に区別できる。種々の蛍光体の発光波長のみを通過させる帯域通過フィルタを使用することができる。
【００２８】
顕微鏡もしくは内視鏡の幾つかの特徴を画像処理ユニットのモジュールに関連して説明したが、これらのモジュールは、少なくとも部分的に、画像処理ユニットが実行するソフトウェアとして実現された機能ユニットであってよい。これに加えて又はこれに代えて、モジュールを少なくとも部分的にハードウェアとして表現してもよい。
【００２９】
以下に、本発明の例示的な実施形態を図に関連して説明する。上述したように、これらの実施形態に示される各特徴の組み合わせは、特定の適用分野の必要に応じて変化させることができる。例えば、所定の適用分野でここに示す実施形態の特定の特徴の技術的効果が必要とされない場合、当該特徴を省略することができる。逆に、所定の実施形態で上述した特徴の技術的効果が必要とされる場合、当該特徴をここに示す実施形態に加えることができる。
【００３０】
なお、各図を通して、少なくとも１つの構造及び機能において相互に対応する要素には、同じ参照番号を使用している。
【図面の簡単な説明】
【００３１】
【図１】本発明による医用視覚化装置の概略表現を示す図である。
【図２】本発明の医用視覚化装置の画像処理ユニットの概略表現を示す図である。
【図３Ａ】均一化フィルタを較正するための、均一に色づけされた対象物の概略表現を示す図である。
【図３Ｂ】均一化フィルタの概略表現を示す図である。
【図４】画像データでの画像処理効果の概略表現を示す図である。
【図４Ａ】入力画像データで実行される画像処理ステップの概観を示す図である。
【図５】画像内での擬似色の割り当ての概略表現を示す図であり、図６は、２つ以上の蛍光体を用いて得られる擬似色画像の概略表現を示す図である。
【発明を実施するための形態】
【００３２】
図１に関連して、本発明の医用検査装置１の全体的構造を説明する。図１には、例示の目的のみにおいて、顕微鏡としての医用検査装置１が示されている。
【００３３】
顕微鏡１は、手術準備中もしくは手術中に、対象物２、例えばヒトもしくは動物の体組織などを視覚的に検査するために用いられる。このために、対象物２は、少なくとも１つの光源４を含む照明サブシステム３によって照明される。光源４からの光５は、対象物２を通って透過可能であるか又は対象物２によって反射可能である。蛍光体６すなわち蛍光性の液体もしくは固体もしくは懸濁液は、対象物２内に存在しうる。光源は、少なくとも１つの蛍光体６の蛍光を励起する波長帯域のエネルギを有する光５を放出することができる。
【００３４】
照明サブシステム３は、少なくとも１つの光源４からの光５を配向する１つもしくは複数の照明フィルタ７を含むことができる。例えば、照明フィルタ７は、少なくとも１つの蛍光体の励起帯域及び可視光領域の光のみ通過を許容する帯域通過フィルタを含むことができる。特に、少なくとも１つの照明フィルタ７は、光源４からの、少なくとも１つの蛍光体が蛍光を発光する波長の光を阻止することができる。
【００３５】
これに加えて又はこれに代えて、照明フィルタ７は照明を均一化するためにも利用でき、アパーチャを有してもよい。
【００３６】
対象物２で反射された光８及び／又は対象物２から放出された光８は、例えば増倍ズームレンズとしての光学サブシステム９によって受信される。
【００３７】
光学サブシステム９からの光は、撮像サブシステム１０を通過する。当該撮像サブシステム１０は、可視光画像データ１１及び蛍光画像データ１２を、電気信号の形態で、対象物２及びこの対象物２の表面もしくは内部の蛍光材料で反射された光８及び／又はそこから放出された光８から抽出するように構成されている。
【００３８】
可視光画像データ１１は、対象物２の可視光画像、すなわち、人間の観察者の目に認識可能な画像に対応するディジタル画像を表している。蛍光画像データ１２は、蛍光画像を表している。蛍光画像は、対象物２の少なくとも１つの蛍光体６の発光波長における対象物のディジタル画像に対応する。
【００３９】
可視光画像データ１１における可視光スペクトルの全体を利用できるようにするために、少なくとも１つの蛍光体の励起帯域及び発光帯域の双方が可視光領域にないことが好ましい。例えば、発光帯域及び励起帯域の双方が近赤外領域（ＮＩＲ）にあってよい。適切な蛍光体は、代謝物質中で蛍光性を有するプロトポルフィリンＩＸとインドシアニングリーンとを生じる５‐アミノレブリン酸であってよい。
【００４０】
撮像サブシステム１０は、入射光８を可視光１４とＮＩＲ光１５とへ分離するダイクロイックもしくはポリクロイックのビームスプリッタ１３を含み、後者のＮＩＲ光１５は、対象物２で反射された励起波長と、対象物２内の少なくとも１つの蛍光体からの発光波長と、の双方を含む。撮像サブシステム１０は可視光撮像アセンブリ１６及び蛍光撮像アセンブリ１７を含むが、これらのアセンブリにおいては、可視光画像データ１１及び蛍光画像データ１２が顕微鏡１の画像処理ユニット１８において結合され、出力データ１９によって表される擬似色画像が形成されて画像処理ユニット１８で利用可能となるまで、可視光１４とＮＩＲ光１５とが光学的にも信号レベルの点でも区別されて扱われる。
【００４１】
可視光撮像アセンブリ１６には、可視光以外の全ての光を阻止する１つもしくは複数の可視光観察フィルタ２０を設けることができる。また、可視光観察フィルタ２０は、光学サブシステム９によって観察される視野２１の輝度をより均一にレンダリングする光学均一化フィルタを含むことができる。可視光１４は可視光カメラ２２で記録され、可視光画像データ１１へ変換される。
【００４２】
蛍光画像データ１２を取得するために、ＮＩＲ光１５は、蛍光観察フィルタ２３によってフィルタリングされ、ついで、ＮＩＲカメラであってよい蛍光カメラ２４へ配向される。蛍光観察フィルタ２３は、少なくとも１つの蛍光体６の発光波長の光以外の全ての光を阻止する帯域通過フィルタとして構成可能である。このため、ＮＩＲカメラ２４は、発光波長のみの情報を含む画像を記録する。ＮＩＲカメラは、モノクロカメラ又は色感応性カメラであってよい。後者の色感応性カメラは、種々の蛍光体の励起波長として使用される２つ以上の蛍光体が蛍光画像の種々の色によって識別可能である場合に、特に有効である。この場合、蛍光観察フィルタは、種々の蛍光波長を通過させることのできるマルチ帯域通過フィルタであってよい。
【００４３】
撮像サブシステム１０は、可視光カメラ２２から可視光画像データ１１を形成し、かつ、蛍光カメラ２４から蛍光画像データ１２を形成して、顕微鏡１の他のサブシステムに提供する、データインタフェース２５を含むことができる。
【００４４】
撮像サブシステム１０は、光学サブシステム９で受信された光学画像に対する遅延が全くないか又は殆ど存在しない可視光画像データ１１及び蛍光画像データ１２を形成することにより、リアルタイムで動作する。
【００４５】
撮像サブシステム１０のデータインタフェース２５は、可視光画像データ１１及び蛍光画像データ１２をビデオストリーム用の標準データフォーマットで形成することができる。また、蛍光撮像サブシステム１０のデータインタフェース２５は、例えばカメラ設定を制御するための制御信号２６を受信するように構成可能である。さらに、撮像サブシステム１０は、可視光観察フィルタ２０及び蛍光観察フィルタ２３の少なくとも一方が調整可能である場合に、可視光観察フィルタ２０及び蛍光観察フィルタ２３の少なくとも一方の設定を変更するように構成可能である。
【００４６】
顕微鏡１は、実体顕微鏡であってよい。このケースでは、撮像サブシステム１０は各実体チャネルに対して設けることができる。
【００４７】
図１の実施形態では、制御処理サブシステム２７は、例えば動作中に可視光画像データ１１及び蛍光画像データ１２を受信しかつ制御信号２６を交換する一方向もしくは双方向でのデータ伝送のために、蛍光撮像サブシステム１０に接続される。
【００４８】
さらに、制御処理サブシステム２７は、制御信号２６によって光学サブシステム９を制御するように、及び／又は、同様に制御信号２６によって照明サブシステム３を制御するように構成できる。照明フィルタが調整可能である場合、制御及び処理サブシステム２７は、同様に照明フィルタ７を制御するように構成可能である。
【００４９】
制御処理サブシステム２７は、汎用コンピュータ、例えばパーソナルコンピュータであってもよいし、又は、顕微鏡１の要求に特に適した専用の電子システムであってもよい。顕微鏡１の種々のサブシステム及びアセンブリ及び他のデバイス間のデータ伝送は、ディジタル通信バスが使用される場合に実現可能である。
【００５０】
制御処理サブシステム２７は、ハードウェア及び／又はソフトウェアとして実現可能な複数のユニットを含んでよい。
【００５１】
例えば、コントローラユニット３０は、顕微鏡１の動作パラメータの設定を記憶、変更及び制御するために用いることができる。動作パラメータは、これらに限定されるものではないが、光学サブシステム９の各パラメータ、例えばアパーチャ、焦点、焦点距離、照明サブシステム３の各パラメータ、例えば照明フィルタ設定、光源輝度、蛍光撮像サブシステム１０の各パラメータ、例えばカメラ設定、観察フィルタ設定、及び、画像処理ユニット１８の各パラメータを含むことができる。コントローラユニット３０は、動作に応じて動作パラメータを変更するユーザインタラクション用のエレメントを含むことができる。こうしたエレメントは、スクリーン上もしくはタッチパネル上のグラフィックユーザインタフェース、及び／又は、スライダ、プッシュボタン、スイッチ及び／又はノブなどの機械エレメントを含むことができる。
【００５２】
画像処理ユニット１８は、可視光画像データ１１を受信するように構成された第１の入力セクション３１を含む。画像処理ユニット１８の第２の入力セクション３２は、蛍光画像データ１２を受信するように構成されている。出力データ１９は、画像処理ユニット１８の出力セクション３３で形成される。
【００５３】
出力セクション３３では、出力データ１９を、対象物２の擬似色画像を表す擬似色画像データの形態で利用可能である。
【００５４】
擬似色画像では、可視光画像が蛍光画像に統合され、可視光画像から蛍光画像への平滑な色遷移が形成される。ここで、蛍光画像が割り当てられ、擬似色において表示される。擬似色画像の出力ピクセルの色は、画像処理ユニット１８により、少なくとも１つの擬似色と、可視光画像の第１の入力ピクセルの色と、蛍光画像の第２の入力ピクセルの輝度とから計算される。２つ以上の蛍光体が使用される場合、各蛍光体もしくは蛍光の発光する波長帯域のそれぞれに、１つずつ異なる擬似色が好ましくはユーザによって又は自動的に割り当てられる。
【００５５】
さらに、図１から見て取れるように、全ての画像データ又は選択された画像データと好ましくは顕微鏡設定との双方を記憶するためのドキュメンテーションサブシステム３５が顕微鏡１に設けられているか又は顕微鏡１に接続されている。また、顕微鏡１は、好ましくは複数のディスプレイ、例えば接眼ディスプレイ３７及び顕微鏡モニタ３８などを含むモニタリングサブシステム３６を有してよい。顕微鏡１には、（図示されていない）外部モニタへビデオデータを供給するように構成されたディスプレイインタフェース３９を設けることができる。
【００５６】
図２には、画像処理ユニット１８の構造が概略的に示されている。画像処理ユニット１８は、リアルタイムで画像データ１１，１２についての種々の画像処理機能を実行する複数のモジュールを含む。画像処理ユニット１８の各モジュールは、ハードウェア及び／又はソフトウェアにおいて実行可能である。同じ機能を実行する種々のモジュールは、例えば、種々のデータが供給される同一のソフトウェアルーチンとして実現可能である。各モジュールは、同時に実行可能であるし、又は、連続実行において出力をリアルタイムで利用できる場合には連続的にも実行可能である。
【００５７】
画像処理ユニット１８は、可視光画像データ１１及び蛍光画像データ１２の少なくとも一方における少なくとも１つの口径食及び不均一照明を補償するように構成された均一化モジュール４１を含むことができる。均一化モジュール４１はさらに、画像のコントラスト領域を完全に利用できるようにするために、画像データ１２のヒストグラム正規化及び最適化を行うように構成することができる。
【００５８】
均一化モジュール４１はディジタル均一化フィルタ４２を含むことができ、この均一化フィルタ４２は可視光画像データ１１と蛍光画像データ１２とに対して異なっていてよい。というのは、可視光と少なくとも１つの蛍光体の励起帯域の光とに対して照明分布が異なりうるからである。また、カメラは、個別の補償の必要な、種々の口径食特性及び歪み特性を呈することがある。
【００５９】
均一化フィルタ４３は、例えば均一に色づけされたキャリブレーション対象物、例えば白、グレーもしくは別の均一色で色づけされたプレートなどでのキャリブレーションを利用して決定可能であり、画像処理ユニット１８又は付属のメモリに電子的に記憶可能である。図３のＡには、均一に色づけされたこうしたキャリブレーション対象物４３の画像が示されている。不均一照明及び口径食は、キャリブレーション対象物の画像では、視野２１の周辺が中央部よりも著しく暗くなるため、明らかに可視である。均一化モジュール４１では、図３のＢに示されている均一化フィルタ４２が、可視光画像及び蛍光画像の少なくとも一方に対してリアルタイムで適用される。均一化フィルタ４２は、キャリブレーション対象物の画像の、空間分布４４に沿ったＲＧＢ値から得られる。すなわち、色空間の各座標に対して、個別の分布が得られる。異なる分布に複数の多項式を適用可能である。多項式の曲線を画像中心の周囲で回転させることにより、対象物２から対応するカメラ２２，２４のセンサまでの各光路における不均一性の２次元マップが形成される。均一化フィルタ４２は、均一性マップを反転させることによって得られる。
【００６０】
さらに、画像処理ユニット１８は、好ましくは蛍光画像データ１２及び可視光画像データ１１の一方のみ、好ましくは蛍光画像データ１２のみに作用する空間調整モジュール４５を含むことができる。これは、蛍光画像データ１２が低い色深度のために可視光画像データ１１よりも少なくてよいからである。空間調整モジュール４５は、可視光画像及び蛍光画像の少なくとも一方にクロップ、回転、シフト及びストレッチの少なくともいずれかを行うように構成されている。空間調整モジュール４５の目的は、可視光画像及び蛍光画像を相互に合同となるように移動させることにより、可視光画像の所定位置のピクセルを蛍光画像の同じ位置のピクセルとしての対象物２の同じ位置に対応させることにある。空間調整モジュール４５では、可視光画像と蛍光画像とにおける対応構造を一致させ、２つの画像を互いに整合させるのに必要なクロップ量、シフト量、ストレッチ量及び／又は回転量を計算するために、相関アルゴリズムとパターン識別アルゴリズムとを実行可能である。
【００６１】
さらに、画像処理ユニット１８は、可視光画像データ１１及び蛍光画像データ１２の少なくとも一方に作用するように構成されたガンマ補正モジュール４６を含むことができる。ガンマ補正を用いることにより、画像を人間の視覚に適合させることができる。
【００６２】
画像処理ユニット１８はさらに、好ましくは蛍光画像データ１２のみに作用するように構成された閾値調整モジュール４７を含むことができる。閾値調整モジュール４７は、蛍光画像データ１２のピクセルが閾値ｆｍｉｎを下回る輝度ｆを有する場合にこのピクセルを空白化するように構成されており、すなわち、ｆ＞ｆｍｉｎのときｆ＝ｆとなり、ｆ＜ｆｍｉｎのときｆ＝０となる。コントローラユニット３０（図１）は、ユーザによる閾値調整が許容されるように構成可能である。
【００６３】
ピクセルの空白化には、ピクセルの色を所定の色、例えば黒に設定すること、ピクセルの色をゼロに設定すること、及び、ピクセルを透明にすることのいずれかが含まれる。
【００６４】
さらに、画像処理ユニット１８は、可視光画像と蛍光画像とを統合して、出力セクション３３で利用可能な擬似色画像を形成するように構成された擬似色画像発生器４８を含むことができる。
【００６５】
以下では、擬似色画像発生器４８の色空間、例えばＲＧＢ色空間に対する機能を説明する。ＲＧＢ色空間では、デカルト座標系が３つの色成分である赤（ｒ）、緑（ｇ）、青（ｂ）によって形成されている。これに代えて他の色空間を使用することもでき、これらはＣＭＹＫ色空間又はＨＳＬもしくはＨＳＶ色空間であってよい。
【００６６】
ＲＧＢ色空間では、どの色も３成分（ｒ，ｇ，ｂ）によって表されるので、３次元の色空間の所定の位置に対応する。当該位置は、色空間の原点から特定の色へ向かう位置ベクトルに対応する。
【００６７】
擬似色画像発生器４８は、第２の入力ピクセルの輝度に依存して、擬似色画像の出力ピクセルの色を擬似色から可視光画像の第１の入力ピクセルの色へ線形補間するように構成されている。したがって、色空間では、出力ピクセルの色（ｒｏ，ｇｏ，ｂｏ）は、可視光画像の第１の入力ピクセルの色（ｒｉ，ｇｉ，ｂｉ）と少なくとも１つの擬似色（ｒｐ，ｇｐ，ｂｐ）との間に線形に配置されており、つまり（ｒｉ，ｇｉ，ｂｉ）から（ｒｐ，ｇｐ，ｂｐ）へ向かうベクトル上に位置している。出力ピクセルの色（ｒｏ，ｇｏ，ｂｏ）から第１の入力ピクセルの色（ｒｉ，ｇｉ，ｂｉ）までの距離は、蛍光画像の第２の入力ピクセルの輝度ｆに比例するように計算されている。これにより、第１の入力ピクセルと第２の入力ピクセルとの双方が（図１の）対象物２の同じ位置に対応する。色空間を用いることにより、計算効率の良いベクトル算術を用いて線形補間を行うことができる。
【００６８】
特に、出力ピクセルの色（ｒｏ，ｇｏ，ｂｏ）は、擬似色画像発生器４８において、
ｒｏ＝ｒｉ＋ｈ・（ｒｐ−ｒｉ）
ｇｏ＝ｇｉ＋ｈ・（ｇｐ−ｇｉ）
ｂｏ＝ｂｉ＋ｈ・（ｂｐ−ｂｉ）
ここで、係数ｈ＝ｆ／ｆｍａｘであり、ｆｍａｘは予測される蛍光最大輝度である
により、計算可能である。
【００６９】
このように、第２の入力ピクセルの蛍光輝度により、所定の色成分に対して、出力色から入力色までの距離が求められる。蛍光輝度がｆ＝０の場合、すなわち、蛍光が生じない場合、出力ピクセルの色は可視光画像の第１の入力ピクセルの色に対応するはずである。第２の出力ピクセルの蛍光色が最大値すなわちｆ＝ｆｍａｘである場合、出力ピクセルの色は擬似色（ｒｐ，ｇｐ，ｂｐ）に対応するはずである。
【００７０】
さらなるバリエーションでは、不透明度係数を係数ｆ／ｆｍａｘに組み合わせて用いることができ、代替の係数ｈ＝ａ・（ｆ／ｆｍａｘ）が形成される。不透明度係数ａは、制御処理サブシステム２７とのインタラクションに応じてユーザが調整可能であり、擬似色の透明度が増減される。係数ａがゼロに近づくと、蛍光画像の蛍光部分が大きくても擬似色画像において擬似色が殆ど見えなくなる。係数ａが増大すると、擬似色の可視性も増大する。
【００７１】
図４に、蛍光画像データの輝度と可視光画像データの対応するピクセルの色（ｒｉ，ｇｉ，ｂｉ）とに基づいて、出力データに色（ｒｏ，ｇｏ，ｂｏ）を割り当てるプロセスが例示されており、ここでは例えば緑色が擬似色（ｒｐ，ｇｐ，ｂｐ）＝（０，２５６，０）として用いられる。上方の正方形は、４×４の第１の入力ピクセル５０を有する（概略的な）可視光画像４９を表している。例示のためにすぎないが、サンプル可視光画像４９は、可視光画像の全ての列と一貫して同一の４色のみを有する。
【００７２】
左下方の四角形は、４×４のサンプル蛍光画像５１の輝度を概略的に示している。蛍光画像は４×４の第２の入力ピクセル５２から成る。例示のためにすぎないが、蛍光画像５１の各行の輝度は一定である。蛍光画像５１の第２の入力ピクセル５２の最上行はゼロ輝度を有し、これに対して、蛍光画像５１の第２の入力ピクセル５２の最下行は最大輝度を有する。
【００７３】
上述したＲＧＢ線形補間スキーマを用いると、４×４の擬似色画像５３が得られる。またも見て取れるように、第２の入力ピクセル５２の輝度がゼロである場合、可視光画像４９のオリジナルの色は、擬似色画像５３の対応する出力ピクセル５４において再現される。第２の入力ピクセル５２の輝度が最大である場合、擬似色画像５３の色は、上述したように、不透明度係数ａに応じて定められる。
【００７４】
図４Ａには、可視光画像４９と蛍光画像５１とを統合して擬似色画像５３を取得するための種々のステップが示されている。
【００７５】
第１のステップ６０では、可視光画像４９と蛍光画像５１とが可視光カメラ２２と蛍光カメラ２４とによってそれぞれサンプリングされる。第２のステップ６１では、均一化モジュールを用いて、対応する画像４９，５１が均一化される。
【００７６】
第３のステップ６２では、均一化蛍光画像５１が可視光画像と合同となるように移動され、２つの画像４９，５１の物理的構造が寸法及び位置の双方において互いに対応する。空間調整は、好ましくは、蛍光画像５１が閾値調整モジュール４７の動作にかけられる前に行われ、これにより、空間調整アルゴリズムはパターンマッチングに利用可能なより多くのデータを有する。
【００７７】
第４のステップ６３では、蛍光画像５１の閾値フィルタリングによって、輝度閾値ｆｍｉｎを下回る蛍光画像５１の全ての第２の入力ピクセル５２の空白化が行われる。
【００７８】
第５のステップ６４では、擬似色画像５３が、擬似色画像発生器４８を用いて、上述した線形色補間によって計算される。
【００７９】
図５には、２つの擬似色７０，７１を含む擬似色画像５３の形成が示されている。２つの擬似色は、対象物２内で、２つの異なる発光帯域で発光するために２つの異なる蛍光色７２，７３を有する２つの蛍光体を使用することで生じる。こうしたケースでは、擬似色７０，７１が蛍光画像５１において第２の入力ピクセル５２の蛍光色７２，７３に基づいてこの第２の入力ピクセル５２に割り当てられた後に、線形補間が行われる。当該割り当ての後、色空間での線形補間が、特定のピクセル５０，５２，５４に割り当てられた擬似色と第１の入力ピクセル５０の色との間で、上述したように行われる。
【００８０】
本発明を顕微鏡に即して説明したが、本発明は内視鏡にも適用可能である。顕微鏡１と比較した内視鏡のケースでの相違点は、光学サブシステム９が光ファイバを含むということのみである。
【符号の説明】
【００８１】
１  顕微鏡
２  対象物
３  照明サブシステム
４  光源
５  照明サブシステムからの光
６  蛍光体
７  照明フィルタ
８  対象物からの反射光又は放出光
９  光学サブシステム
１０  撮像サブシステム
１１  可視光画像データ
１２  蛍光画像データ
１３  ビームスプリッタ
１４  可視光
１５  ＮＩＲ光
１６  可視光撮像アセンブリ
１７  蛍光撮像アセンブリ
１８  画像処理ユニット
１９  画像処理ユニットの出力データ
２０  可視光観察フィルタ
２１  視野
２２  可視光カメラ
２３  蛍光観察フィルタ
２４  蛍光カメラ
２５  蛍光撮像サブシステムのデータインタフェース
２６  制御信号
２７  制御処理サブシステム
３０  コントローラユニット
３１  第１の入力セクション
３２  第２の入力セクション
３３  出力セクション
３５  ドキュメンテーションサブシステム
３６  モニタリングサブシステム
３７  接眼ディスプレイ
３８  顕微鏡モニタ
３９  ディスプレイインタフェース
４１  均一化モジュール
４２  均一化フィルタ
４３  均一化フィルタを取得するためのキャリブレーション対象物
４４  空間分布
４５  空間調整モジュール
４６  ガンマ補正モジュール
４７  閾値調整モジュール
４８  擬似色画像発生器
４９  可視光画像
５０  第１の入力ピクセル
５１  蛍光画像
５２  第２の入力ピクセル
５３  擬似色画像
５４  出力ピクセル
６０  第１のステップ
６１  第２のステップ
６２  第３のステップ
６３  第４のステップ
６４  第５のステップ
７０  第１の擬似色
７１  第２の擬似色
７２  第１の蛍光色
７３  第２の蛍光色
【図１】
0006456416.tif 000002
【図２】
0006456416.tif 000003
【図３Ａ】
0006456416.tif 000004
【図３Ｂ】
0006456416.tif 000005
【図４】
0006456416.tif 000006
【図４Ａ】
0006456416.tif 000007
【図５】
0006456416.tif 000008