(57)【要約】  本発明は、測定ノイズにロバストなアンミックスを行うスペクトル画像処理方法、及びスペクトル画像処理プログラムを提供する。本発明のスペクトル画像処理方法は、被観察物から取得された観測スペクトル画像と、その被観察物に含まれる複数物質の各々の発光スペクトルデータとに基づき、前記観測スペクトル画像に対する前記複数物質の各々の寄与をアンミックス（Ｓ４）するスペクトル画像処理方法において、前記観測スペクトル画像の予測スペクトル画像に基づき、その観測スペクトル画像の各成分の信頼性を評価する評価手順（Ｓ１，Ｓ２）と、前記評価の結果を前記アンミックスの内容に反映させる反映手順（Ｓ３）とを含むことを特徴とする。
2007097171.tif 000002
【特許請求の範囲】
【請求項１】
被観察物から取得された観測スペクトル画像と、その被観察物に含まれる複数物質の各々の発光スペクトルデータとに基づき、前記観測スペクトル画像に対する前記複数物質の各々の寄与をアンミックスするスペクトル画像処理方法において、
前記観測スペクトル画像の予測スペクトル画像に基づき、その観測スペクトル画像の各成分の信頼性を評価する評価手順と、
前記評価の結果を前記アンミックスの内容に反映させる反映手順と
を含むことを特徴とするスペクトル画像処理方法。
【請求項２】
請求項１に記載のスペクトル画像処理方法において、
前記予測スペクトル画像は、
前記観測スペクトル画像を空間方向に平滑化してできるスペクトル画像である
ことを特徴とするスペクトル画像処理方法。
【請求項３】
請求項１又は請求項２に記載のスペクトル画像処理方法において、
前記評価手順では、
前記観測スペクトル画像の信頼性を波長成分毎に評価する
ことを特徴とするスペクトル画像処理方法。
【請求項４】
請求項１又は請求項２に記載のスペクトル画像処理方法において、
前記評価手順では、
前記観測スペクトル画像の信頼性を波長成分毎かつ空間成分毎に評価する
ことを特徴とするスペクトル画像処理方法。
【請求項５】
請求項１〜請求項４の何れか一項に記載のスペクトル画像処理方法において、
前記反映手順では、
前記観測スペクトル画像のうち前記信頼性が低いと評価された成分を、前記アンミックスの演算対象から除外する
ことを特徴とするスペクトル画像処理方法。
【請求項６】
請求項１〜請求項４の何れか一項に記載のスペクトル画像処理方法において、
前記アンミックスは、
前記観測スペクトル画像の各成分の誤差に重み付した上で前記寄与を推計する前記重み付き最小二乗法からなり、
前記反映手順では、
前記重みの付けの内容を前記評価の結果に応じて設定する
ことを特徴とするスペクトル画像処理方法。
【請求項７】
請求項１〜請求項６の何れか一項に記載のスペクトル画像処理方法をコンピュータに実行させることを特徴とするスペクトル画像処理プログラム。
【請求項８】
被観察物から観測スペクトル画像を取得するスペクトルイメージング装置と、
前記取得されたスペクトル画像を取り込み、請求項１〜請求項７の何れか一項に記載のスペクトル画像処理方法を実行するスペクトル画像処理装置と
を備えたことを特徴とするスペクトルイメージングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡などで取得されたスペクトル画像を処理するスペクトル画像処理方法、及びコンピュータ実行可能なスペクトル画像処理プログラムに関する。また、本発明は、スペクトルイメージング蛍光レーザ顕微鏡などのスペクトルイメージングシステムに関する。
【背景技術】
【０００２】
生細胞の動態観察では、蛍光試薬や蛍光タンパクなどの蛍光物質で標本を標識し、それを蛍光レーザ顕微鏡等の光学顕微鏡で観察することがある。複数の蛍光物質を同時に使用したときには、波長成分毎の画像（スペクトル画像）を検出する必要がある。
しかし、複数の蛍光物質の発光波長が重複している場合、それら物質毎の画像を光学顕微鏡で分離することはできないので、光学顕微鏡が検出したスペクトル画像をコンピュータへ取り込み、それを物質毎の画像に分離（アンミックス）する解析方法が有効となる（特許文献１等参照）。因みに、このアンミックスでは、試薬メーカ等が公開している各物質の発光スペクトルデータが用いられる。
【特許文献１】Timo Zimmermann,JensRietdorf,Rainer Pepperkok,"Spectral imaging and its applications in live cell microsopy",FEBS Letters 546(2003),P87-P92,16 May 2003
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、実測データであるスペクトル画像には、光学顕微鏡の光源の不安定性、光学顕微鏡の光検出素子の電気ノイズなどが原因で測定ノイズが重畳されており、それはアンミックスの精度に強く影響する。
そこで本発明は、測定ノイズにロバストなアンミックスを行うスペクトル画像処理方法、及びスペクトル画像処理プログラムを提供することを目的とする。また、本発明は、高性能なスペクトルイメージングシステムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明のスペクトル画像処理方法は、被観察物から取得された観測スペクトル画像と、その被観察物に含まれる複数物質の各々の発光スペクトルデータとに基づき、前記観測スペクトル画像に対する前記複数物質の各々の寄与をアンミックスするスペクトル画像処理方法において、前記観測スペクトル画像の予測スペクトル画像に基づき、その観測スペクトル画像の各成分の信頼性を評価する評価手順と、前記評価の結果を前記アンミックスの内容に反映させる反映手順とを含むことを特徴とする。【０００５】
なお、前記予測スペクトル画像は、前記観測スペクトル画像を空間方向に平滑化してできるスペクトル画像であってもよい。
また、前記評価手順では、前記観測スペクトル画像の信頼性を波長成分毎に評価してもよい。
また、前記評価手順では、前記観測スペクトル画像の信頼性を波長成分毎かつ空間成分毎に評価してもよい。【０００６】
また、前記反映手順では、前記観測スペクトル画像のうち前記信頼性が低いと評価された成分を、前記アンミックスの演算対象から除外してもよい。
また、前記アンミックスは、前記観測スペクトル画像の各成分の誤差に重み付した上で前記寄与を推計する前記重み付き最小二乗法からなり、前記反映手順では、前記重みの付けの内容を前記評価の結果に応じて設定してもよい。【０００７】
また、本発明のスペクトル画像処理プログラムは、本発明の何れかのスペクトル画像処理方法をコンピュータに実行させることを特徴とする。
また、本発明のスペクトルイメージングシステムは、被観察物から観測スペクトル画像を取得するスペクトルイメージング装置と、前記取得されたスペクトル画像を取り込み、本発明の何れかのスペクトル画像処理方法を実行するスペクトル画像処理装置とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、測定ノイズにロバストなアンミックスを行うスペクトル画像処理方法、及びスペクトル画像処理プログラムが実現する。また、本発明は、高性能なスペクトルイメージングシステムが実現する。
【図面の簡単な説明】
【０００９】
【図１】実施形態のシステムの構成図である。
【図２】第１実施形態のＣＰＵ２３の動作フローチャートである。
【図３】ステップＳ１（正規化処理）を説明する図である。
【図４】ステップＳ１（平滑化処理及び逆正規化処理）を説明する図である。
【図５】ステップＳ２を説明する図である。
【図６】ステップＳ３を説明する図である。
【図７】蛍光試薬の発光スペクトルＳ1，Ｓ2，Ｓ3の例を示す図である。
【図８】第２実施形態のＣＰＵ２３の動作フローチャートである。
【図９】ステップＳ３’を説明する図である。
【発明を実施するための最良の形態】
【００１０】
［第１実施形態］
本発明の第１実施形態を説明する。本実施形態は、スペクトルイメージング蛍光レーザコンフォーカル顕微鏡システムの実施形態である。
先ず、本システムの構成を説明する。
図１は、本システムの構成図である。図１に示すとおり、本システムには、顕微鏡本体１０と、それに接続されたコンピュータ２０と、それに接続された入力器３０及び表示器４０とが備えられる。入力器３０は、マウスやキーボードなどであり、表示器４０は、ＬＣＤなどである。【００１１】
顕微鏡本体１０には、レーザ光源１１と、ダイクロイックミラー１２と、光スキャナ１３と、対物レンズ１４と、標本１５と、観察レンズ１６と、ピンホールマスク１７と、分光素子１８と、多チャンネル光検出器１９とが配置される。標本１５は、複数種類（例えば３種類）の蛍光試薬で標識されており、多チャンネル光検出器１９は、多数（例えば３２個）の波長チャンネルを有している。【００１２】
コンピュータ２０には、ＣＰＵ２３と、ＣＰＵ２３の基本的動作プログラムが書き込まれたＲＯＭ２４と、ＣＰＵ２３の動作中の一時的な記憶手段として使用されるＲＡＭと、データを長期保存するためのハードディスクドライブ２６と、入力器３０及び表示器４０とのインタフェースをとるインタフェース回路２７と、多チャンネル光検出器１９の波長チャンネルと同数のＡ／Ｄ変換回路２１1，２１2，…，２１32と、それと同数のフレームメモリ２２1，２２2，…，２２32とが備えられる。フレームメモリ２２1，２２2，…，２２32、ハードディスクドライブ２６、ＣＰＵ２３、ＲＯＭ２４、ＲＡＭ２５、インタフェース回路２７は、バス２０Ｂを介して接続されている。ハードディスクドライブ２６には、本システムに必要なＣＰＵ２３の動作プログラムが予め格納されている。【００１３】
顕微鏡本体１０のレーザ光源１１からは、レーザ光（例えば、波長４８８ｎｍ）が発せられる。このレーザ光は、ダイクロイックミラー１２を反射し、光スキャナ１３及び対物レンズ１４を順に介して標本１５上の１点に集光する。その集光点では蛍光（例えば、波長５１０〜５５０ｎｍ）が生じ、その蛍光は、対物レンズ１４及び光スキャナ１３を順に介してダイクロイックミラー１２へ入射すると、そのダイクロイックミラー１２を透過し、観察レンズ１６を介してピンホールマスク１７へと入射する。このピンホールマスク１７は、観察レンズ１６及び対物レンズ１４により標本１５と共役関係に結ばれており、標本１５で発生した蛍光のうち、必要な光線のみを通過させる働きがある。これによって、顕微鏡本体１０の共焦点効果が得られる。ピンホールマスク１７を通過した蛍光は、分光素子１８へ入射すると、複数の波長成分に分離される。それらの各波長成分は、多チャンネル光検出器１９の互いに異なる波長チャンネルへ入射し、独立かつ同時に検出される。【００１４】
多チャンネル光検出器１９の各波長チャンネル（ここでは３２個の波長チャンネル）は、例えば、５１０ｎｍ〜５５０ｎｍの波長範囲の５ｎｍずつ異なる３２種類の波長成分を検出する。それら３２個の波長チャンネルから出力される各信号は、コンピュータ２０へ並列に取り込まれ、Ａ／Ｄ変換回路２１1，２１2，…，２１32を介してフレームメモリ２２1，２２2，…，２２32へ個別に入力される。【００１５】
この多チャンネル光検出器１９と光スキャナ１３とは同期駆動され、これによって、標本１５上を集光点で二次元的に走査している期間に、多チャンネル光検出器１９から繰り返し信号が出力される。このとき、フレームメモリ２２1，２２2，…，２２32には、標本１５の各波長チャンネルの画像が徐々に蓄積されることになる。フレームメモリ２２1，２２2，…，２２32に蓄積された各波長チャンネルの画像（チャンネル画像Ｄ1，Ｄ2，…，Ｄ32）は、適当なタイミングでＣＰＵ２３によって読み出され、１つのスペクトル画像Ｆに纏められてから、ハードディスクドライブ２６へ格納される。【００１６】
なお、コンピュータ２０のハードディスクドライブ２６には、このスペクトル画像Ｆの他に、標本１５に使用された蛍光試薬の発光スペクトルデータが予め格納されている。この発光スペクトルデータは、蛍光試薬のメーカ等が公開しているものであって、例えばインターネットや記憶媒体などを介してコンピュータ２０へ取り込まれたものである。
次に、スペクトル画像Ｆの取得後のＣＰＵ２３の動作を説明する。【００１７】
図２は、ＣＰＵ２３の動作フローチャートである。図２に示すとおり、ＣＰＵ２３は、予測スペクトル画像の作成処理（ステップＳ１）、評価処理（ステップＳ２）、間引き処理（ステップＳ３）からなる前処理を実行した後に、アンミックス処理（ステップＳ４）、表示処理（ステップＳ５）を実行する。以下、これらのステップを順に説明する。
予測スペクトル画像の作成処理（ステップＳ１）：
本ステップでは、先ず、ＣＰＵ２３は、図３（Ａ）に示すとおり、スペクトル画像Ｆの各画素のスペクトルを参照する。図３（Ａ）には、或る４画素（第１画素、第２画素、第３画素、第４画素）のスペクトルカーブを示した。図３（Ａ）の横軸は波長チャンネルであり、縦軸は輝度値である。【００１８】
次に、ＣＰＵ２３は、図３（Ｂ）に示すとおり、各画素のスペクトルを、その輝度積分値Ａ（スペクトルカーブと横軸とで囲まれた領域の面積）が１となるように正規化する。各スペクトルの正規化では、スペクトルの各波長チャンネルの輝度値に対し、正規化係数＝（１／現在の輝度積分値）を乗算すればよい。
ここで、図３の右側に示すように、正規化後のスペクトルが成すスペクトル画像をＦ’とおき、そのスペクトル画像Ｆ’の各波長成分（チャンネル画像）を、Ｄ1’，Ｄ2’，…，Ｄ32’とおく。【００１９】
続いて、ＣＰＵ２３は、図４（Ａ）に示すとおり、チャンネル画像Ｄ1’，Ｄ2’，…，Ｄ32’の各々に対し平均フィルタ処理を施す。これにより、チャンネル画像Ｄ1’，Ｄ2’，…，Ｄ32’の各々は、空間方向にかけて平滑化される。
チャンネル画像Ｄ’に対する平均フィルタ処理では、例えば、縦３画素・横３画素の開口を有したマスク（演算上のマスクである。）が使用される。このマスクがチャンネル画像Ｄ’に当てはめられ、マスクの開口中心に位置する着目画素の輝度値が、開口内の全画素の輝度平均値に置換される。この処理が、チャネル画像Ｄ’上のマスク位置をずらしながら繰り返し行われることによって、チャンネル画像Ｄ’の全体が平滑化される。【００２０】
ここで、図４の左下に示すように、平滑化後の各チャンネル画像をＤ1”，Ｄ2”，…，Ｄ32”とおき、それらチャンネル画像Ｄ1”，Ｄ2”，…，Ｄ32”が成すスペクトル画像をＦ”とおく。このスペクトル画像Ｆ”では、図４（Ｂ）に示すとおり、各画素のスペクトルカーブが滑らかになっている。
続いて、ＣＰＵ２３は、図４（Ｃ）に示すとおり、スペクトル画像Ｆ”を構成する各画素のスペクトルを、その輝度積分値が正規化前の輝度積分値（図３（Ａ）参照）に戻るように逆正規化する。各スペクトルの逆正規化では、スペクトルの各波長チャンネルの輝度値に対し、逆正規化係数＝（正規化前の輝度積分値／現在の輝度積分値）を乗算すればよい。【００２１】
ここで、図４の右下に示すように、逆正規化後のスペクトルが成すスペクトル画像を、予測スペクトル画像Ｅとする。以下、この予測スペクトル画像Ｅとの区別を図るために、元のスペクトル画像Ｆを、「観測スペクトル画像Ｆ」と称す。
評価処理（ステップＳ２）：
本ステップでは、先ず、ＣＰＵ２３は、図５（Ａ）に示すとおり、予測スペクトル画像Ｅの或る画素のスペクトル（予測スペクトル）と、観測スペクトル画像Ｆの同じ画素のスペクトル（観測スペクトル）とを参照する。図５（Ａ）に示すとおり、予測スペクトルと観測スペクトルとの間では、スペクトルカーブの両者の大まかな形状は似ているが、前者は平滑化されているのに対し、後者には誤差が乗った状態という相違がある。【００２２】
そこで、ＣＰＵ２３は、図５（Ｂ）に示すとおり、観測スペクトルの各波長チャンネルの評価置として、それら各波長チャンネルと、予測スペクトルの対応する波長チャンネルとの距離｜ｄ1｜，｜ｄ2｜，…，｜ｄ32｜を算出する。距離｜ｄi｜は、ｉ番目の波長チャンネルの輝度差の絶対値である。この距離｜ｄ｜の小さい波長チャンネルほど信頼性が高く、距離｜ｄi｜の大きい波長チャンネルほど信頼性が低いことになる。よって、以下では、距離｜ｄ｜を、「評価値｜ｄ｜」と称す。【００２３】
さらに、ＣＰＵ２３は、以上の処理を各画素についてそれぞれ行い、各画素の各波長チャンネルの評価値｜ｄ｜を算出すると、本ステップを終了する。
間引き処理（ステップＳ３）：
図６（Ａ）には、幾つかの画素の評価値｜ｄ｜の例を示した。本ステップでは、先ず、ＣＰＵ２３は、或る画素の各波長チャンネルの評価値｜ｄ｜を、図６（Ａ）に示すとおり予め決められた閾値ｄTと比較し、その中から閾値ｄTを超過しているものを見出し、それに対応する波長チャンネルを、この画素の中で特に評価の低い波長チャンネルとみなす。以下、この波長チャンネルを「ノイズチャンネル」と称す。【００２４】
さらに、ＣＰＵ２３は、以上の処理を全ての画素についてそれぞれ行い、全ての画素のノイズチャンネルを見出す。その結果、各画素のノイズチャンネルが、例えば、図６（Ｂ）に示すとおりＣＰＵ２３によって認識される。
図６（Ｂ）にも示したように、ノイズチャンネルの数は、画素によって１つの場合もあれば、複数の場合もある。但し、或る画素のノイズチャンネルの数が多過ぎると、その画素に関するアンミックス（後述）が困難になるので、図６（Ａ）中の閾値ｄTは、実験又はシミュレーションにより、アンミックスが困難にならない程度の値に予め設定されることが望ましい。【００２５】
続いて、ＣＰＵ２３は、観測スペクトル画像Ｆの各画素から、ノイズチャンネルとみなされた波長チャンネルのデータを間引く。但し、観測スペクトル画像Ｆからデータを実際に排除してしまうと、観測スペクトル画像Ｆの元データが保存されなくなるので、ここでは、ＣＰＵ２３は、データを実際に排除する代わりに、そのデータを演算上でマスクするマスク行列Ｍを作成し、それを後続のステップで適用することとする。このマスク行列Ｍでは、マスクすべき成分に対応する要素が０となっており、それ以外の成分に対応する要素が１となっている。ＣＰＵ２３は、このマスク行列Ｍの作成を以て、本ステップを終了する。【００２６】
アンミックス処理（ステップＳ４）：
本ステップでは、先ず、ＣＰＵ２３は、ハードディスクドライブ２６から蛍光試薬の発光スペクトルデータを読み出す。
発光スペクトルデータは、図７（Ａ），（Ｂ），（Ｃ）に示すとおり、３種類の蛍光試薬（第１試薬、第２試薬、第３試薬）の発光スペクトルＳ1，Ｓ2，Ｓ3を表す。これらの発光スペクトルＳ1，Ｓ2，Ｓ3は、式（１）のような一次元行列で表現される。【００２７】
【数１】
2007097171.tif 000003
【００２８】
但し、式（１）中の要素ｓijは、第ｊ試薬のｉ番目の波長の輝度値である。その波長の番号ｉは、観測スペクトル画像Ｆの波長チャンネルの番号ｉに対応している。
一方、観測スペクトル画像Ｆの或る画素のスペクトルｆは、式（２）のような一次元行列で表現される。要素ｆiは、この画素のｉ番目の波長チャンネルの輝度値である。【００２９】
【数２】
2007097171.tif 000004
【００３０】
よって、この画素に対する第１試薬の寄与率をｐ1とおき、第２試薬の寄与率をｐ2とおき、第３試薬の寄与率をｐ3とおくと、この画素のスペクトルｆと寄与率ｐ1，ｐ2，ｐ3との間には、式（３）が成り立つ。【００３１】
【数３】
2007097171.tif 000005
【００３２】
さらに、発光スペクトルＳ1，Ｓ2，Ｓ3を、式（４）に示すとおり１つの行列Ｓで纏めて表し、寄与率ｐ1，ｐ2，ｐ3を、式（５）に示すとおり１つの行列Ｐで纏めて表すと、式（３）は式（６）のとおり変形される。【００３３】
【数４】
2007097171.tif 000006
【００３４】
【数５】
2007097171.tif 000007
【００３５】
【数６】
2007097171.tif 000008
【００３６】
以下、この行列Ｓを「発光スペクトルＳ」と称し、この行列Ｐを「寄与率Ｐ」と称す。
よって、観測スペクトル画像Ｆの或る画素のアンミックスでは、観測スペクトル画像Ｆに含まれるこの画素のスペクトルｆのデータと、発光スペクトルデータが示している発光スペクトルＳのデータとを式（６）へ当てはめ、それを寄与率Ｐについて解けばよい。
但し、本システムでは、波長チャンネルの数（ここでは３２）が蛍光試薬の種類数（ここでは３）よりも十分に多く設定されたので、最小二乗法が適用される。【００３７】
最小二乗法は、式（６）において誤差εを考慮した式（７）を用意し、その誤差εの二乗値が最小となるような寄与率Ｐを求めるものである。【００３８】
【数７】
2007097171.tif 000009
【００３９】
この最小二乗法による寄与率Ｐの算出式を具体的に示すと、式（８）の通りである。【００４０】
【数８】
2007097171.tif 000010
【００４１】
但し、ＳTは、Ｓの転置行列である。
したがって、観測スペクトル画像Ｆの或る画素のアンミックスでは、ＣＰＵ２３は、観測スペクトル画像Ｆに含まれるこの画素のスペクトルｆのデータと、発光スペクトルデータが示している発光スペクトルＳのデータとを式（８）へ当てはめることにより、寄与率Ｐを算出する。但し、その際にＣＰＵ２３は、マスク行列Ｍ（図６（Ｂ）参照）を適用し、その画素のノイズチャンネルに関する項を、式（８）から排除する。これによって、式（８）の項数（式（７）の次数に相当する。）は低減するが、上述した閾値ｄT（図６（Ａ）参照）が適当に設定されたので、寄与率Ｐを算出するのに必要な項数（式（７）の次数）は、確保されるものとする。したがって、この画素のアンミックスにより、この画素に関する寄与率Ｐは、確実に求まる。【００４２】
そして、ＣＰＵ２３は、以上のアンミックスを、観測スペクトル画像Ｆの各画素についてそれぞれ行い、各画素の寄与率Ｐをそれぞれ算出する。これによって、本ステップが終了する。
以上、本ステップのアンミックス処理は、周知の最小二乗法によるものであるが、マスク行列Ｍ（図６（Ｂ））の適用により、観測スペクトル画像Ｆのうち信頼性の低い成分は、アンミックス処理の演算に全く反映されないことになる。したがって、このアンミックス処理の精度は、従来のそれよりも高くなる。【００４３】
表示処理（ステップＳ５）：
本ステップでは、ＣＰＵ２３は、アンミックス処理で求まった各画素の寄与率Ｐ（各蛍光試薬の寄与率）のデータを、表示器４０へ表示する。各画素の寄与率Ｐのデータは、数値データとして表示してもよいが、ユーザへ直感的に知らせるため、ＣＰＵ２３は、各画素の寄与率Ｐに応じて色づけされたアンミックス画像を作成し、それを表示することが望ましい。【００４４】
以上、本システムのコンピュータ２０は、観測スペクトル画像Ｆの各成分（ここでは、各画素の各波長チャンネル）の信頼性を評価し、その評価の結果をアンミックス処理に反映させるので、測定ノイズにロバストなアンミックス処理を行うことができる。したがって、アンミックス処理の精度、すなわち本システムの性能は、確実に向上する。
［第２実施形態］
本発明の第２実施形態を説明する。本実施形態は、スペクトルイメージング蛍光レーザコンフォーカル顕微鏡システムの実施形態である。ここでは、第１実施形態との相違点のみ説明する。相違点は、ＣＰＵ２３の動作にある。【００４５】
図８は、本実施形態のＣＰＵ２３の動作フローチャートである。図８に示すとおり、本実施形態のＣＰＵ２３は、間引き処理（ステップＳ３）の代わりに、重み行列の作成処理（ステップＳ３’）を実行し、最小二乗法によるアンミックス処理（ステップＳ４）の代わりに、重み付き最小二乗法によるアンミックス処理（ステップＳ４’）を実行する。以下、これらのステップＳ３’，Ｓ４’を順に説明する。【００４６】
重み行列の作成処理（ステップＳ３’）：
本ステップの開始時点では、各画素、各波長チャンネルの評価値｜ｄ｜は、既に算出されている（図５参照）。本ステップのＣＰＵ２３は、この中から、或る画素に関する評価値｜ｄ｜を参照し、図９（Ａ）に示すとおり、その画素の各波長チャンネルの重み値を生成する。各波長チャンネルの重み値は、各波長チャンネルの評価値｜ｄ｜の逆数である。そして、ＣＰＵ２３は、各波長チャンネルの重み値（１／｜ｄ｜）により、その画素に関する重み行列Ｗを作成する。【００４７】
ここで、ｉ番目の波長チャンネルの重み値を１／｜ｄi｜とおくと、重み行列Ｗは、以下の式（９）で表される。【００４８】
【数９】
2007097171.tif 000011
【００４９】
さらに、ＣＰＵ２３は、以上の処理を全ての画素についてそれぞれ行い、図９（Ｂ）に示すとおり、全ての画素の重み行列Ｗ1，Ｗ2，…，ＷL（Ｌ：画素数）を作成し、本ステップを終了する。
アンミックス処理（ステップＳ４’）：
本ステップでは、ＣＰＵ２３は、各画素のアンミックスを、重み付き最小二乗法により行う。重み付き最小二乗法では、寄与率Ｐの算出式として、式（８）の代わりに式（１０）が用いられる。【００５０】
【数１０】
2007097171.tif 000012
【００５１】
但し、Ｗは、アンミックス対象となった画素の重み行列である。
つまり、ＣＰＵ２３は、観測スペクトル画像Ｆの或る画素のアンミックスでは、観測スペクトル画像Ｆに含まれるこの画素のスペクトルｆのデータと、発光スペクトルデータが示している発光スペクトルＳのデータと、その画素ついて作成された重み行列Ｗ（式（９）参照）とを式（１０）に当てはめることにより、寄与率Ｐを算出する。【００５２】
この式（１０）によると、重み行列Ｗにより、各波長チャンネルの誤差（式（７）のεに相当する。）に対し重み付けがなされる。しかも、この重み行列Ｗ（式（９）参照）によると、各波長チャンネルの誤差に対し、その信頼性が低いほど大きい重みが付与されることになる。
したがって、本ステップによれば、アンミックス対象となった画素のうち、信頼性の高い波長チャンネルのデータほど、アンミックス結果に対して強く影響することになる。【００５３】
以上、本実施形態でも、第１実施形態と同様、観測スペクトル画像Ｆの各成分（ここでは、各画素の各波長チャンネル）の信頼性を評価し、その評価の結果をアンミックス処理に反映させるので、アンミックス処理の精度、すなわち本システムの性能は、確実に向上する。
しかも、本実施形態では、観測スペクトル画像Ｆの一部のデータを排除する代わりに、各データの影響度に差異を設けるので、観測スペクトル画像Ｆの全データが最大限に生かされる。【００５４】
［各実施形態の変形例］
なお、上述した実施形態の予測スペクトル画像Ｅの作成処理（ステップＳ１）では、スペクトルの正規化及び逆正規化の基準を輝度積分値としたが、輝度積分値の代わりに輝度最大値や輝度中間値などとしてもよい。
また、上述した各実施形態の予測スペクトル画像Ｅの作成処理（ステップＳ１）では、平滑化処理に平均フィルタ処理を適用したが、平均フィルタ処理の代わりに、重み付き平均フィルタ処理、メディアンフィルタ処理などの他の空間フィルタ処理を適用してもよい。【００５５】
また、上述した各実施形態の予測スペクトル画像Ｅの作成処理（ステップＳ１）では、平滑化処理におけるマスクのサイズ（フィルタのサイズ）が３画素×３画素＝９画素であったが、他のサイズに代えてもよい。
また、上述した各実施形態の予測スペクトル画像Ｅの作成処理（ステップＳ１）では、（１）スペクトルの正規化、（２）スペクトルの空間方向の平滑化、（３）スペクトルの逆正規化、の３手順によって予測スペクトル画像Ｅを作成したが、予測スペクトル画像Ｅは、他の手順によって作成されてもよい。例えば、予測スペクトル画像Ｅは、観測スペクトル画像Ｆを空間方向にかけて単純に平滑化しただけのものであってもよい。【００５６】
また、上述した各実施形態の予測スペクトル画像Ｅの作成処理（ステップＳ１）では、予測スペクトル画像Ｅを、観測スペクトル画像Ｆのみに基づき作成したが、他のスペクトル画像に基づき作成されてもよい。例えば、観測スペクトル画像Ｆとは異なるタイミングで１又は複数のスペクトル画像Ｆtを取得し、そのスペクトル画像Ｆtと観測スペクトル画像Ｆとの間で平滑化すること（つまり時間方向にかけて平滑化すること）により、予測スペクトル画像Ｅを作成してもよい。【００５７】
また、上述した各実施形態では、ＣＰＵ２３の動作プログラムがハードディスクドライブ２６に予め格納されていたが、そのプログラムの一部又は全部は、インターネットや記憶媒体などを介して外部からコンピュータ２０へインストールされたものであってもよい。
また、上述した各実施形態では、各処理がコンピュータ２０によって実行されたが、コンピュータ２０の一部又は全部の動作は、顕微鏡本体１０に専用の装置（制御・画像処理装置）によって実行されてもよい。【００５８】
また、上述した各実施形態の顕微鏡本体１０は、入射光の各波長成分を検出するために多チャンネル光検出器１９を使用しているが、多チャンネル光検出器１９の代わりに、１チャンネル光検出器と可動マスクとの組み合わせ、複数の１チャンネル光検出器と複数のフィルタとの組み合わせなどを使用してもよい。但し、多チャンネル光検出器１９を使用すると、各チャンネルの同時検出と省スペース化との双方が可能である。【００５９】
また、上述した各実施形態の顕微鏡本体１０は、標本１５で生じた蛍光を検出する蛍光顕微鏡であるが、標本１５を照明する光の透過光又は反射光を検出する顕微鏡であっても構わない。その場合、ダイクロイックミラー１２の代わりにビームスプリッタが使用される。
また、上述した各実施形態の顕微鏡本体１０は、標本１５からの光を共焦点検出する顕微鏡（共焦点顕微鏡）であるが、その共焦点検出の機能を省略しても構わない。その場合、ピンホールマスク１７は不要となる。【００６０】
また、上述した各実施形態の顕微鏡本体１０は、標本１５上を光走査する走査型顕微鏡であるが、非走査型顕微鏡に変形しても構わない。その場合、光スキャナ１３は不要となる。
すなわち、本発明は、スペクトルイメージングを行う各種の装置に適用することが可能である。
【図１】
2007097171.tif 000013
【図２】
2007097171.tif 000014
【図３】
2007097171.tif 000015
【図４】
2007097171.tif 000016
【図５】
2007097171.tif 000017
【図６】
2007097171.tif 000018
【図７】
2007097171.tif 000019
【図８】
2007097171.tif 000020
【図９】
2007097171.tif 000021
【手続補正書】
【提出日】平成19年10月9日(2007.10.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被観察物から取得された観測スペクトル画像と、その被観察物に含まれる複数物質の各々の発光スペクトルデータとに基づき、前記観測スペクトル画像に対する前記複数物質の各々の寄与をアンミックスするスペクトル画像処理方法において、
前記観測スペクトル画像の予測スペクトル画像に基づき、その観測スペクトル画像の各成分の信頼性を評価する評価手順と、
前記評価の結果を前記アンミックスの内容に反映させる反映手順と
を含むことを特徴とするスペクトル画像処理方法。
【請求項２】
請求項１に記載のスペクトル画像処理方法において、
前記予測スペクトル画像は、
前記観測スペクトル画像を空間方向に平滑化してできるスペクトル画像である
ことを特徴とするスペクトル画像処理方法。
【請求項３】
請求項１又は請求項２に記載のスペクトル画像処理方法において、
前記評価手順では、
前記観測スペクトル画像の信頼性を波長成分毎に評価する
ことを特徴とするスペクトル画像処理方法。
【請求項４】
請求項１又は請求項２に記載のスペクトル画像処理方法において、
前記評価手順では、
前記観測スペクトル画像の信頼性を波長成分毎かつ空間成分毎に評価する
ことを特徴とするスペクトル画像処理方法。
【請求項５】
請求項１〜請求項４の何れか一項に記載のスペクトル画像処理方法において、
前記反映手順では、
前記観測スペクトル画像のうち前記信頼性が低いと評価された成分を、前記アンミックスの演算対象から除外する
ことを特徴とするスペクトル画像処理方法。
【請求項６】
請求項１〜請求項４の何れか一項に記載のスペクトル画像処理方法において、
前記アンミックスは、
前記観測スペクトル画像の各成分の誤差に重み付した上で前記寄与を推計する重み付き最小二乗法からなり、
前記反映手順では、
前記重みの付けの内容を前記評価の結果に応じて設定する
ことを特徴とするスペクトル画像処理方法。
【請求項７】
請求項１〜請求項６の何れか一項に記載のスペクトル画像処理方法をコンピュータに実行させることを特徴とするスペクトル画像処理プログラム。
【請求項８】
被観察物から観測スペクトル画像を取得するスペクトルイメージング装置と、
前記取得されたスペクトル画像を取り込み、請求項１〜請求項６の何れか一項に記載のスペクトル画像処理方法を実行するスペクトル画像処理装置と
を備えたことを特徴とするスペクトルイメージングシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡などで取得されたスペクトル画像を処理するスペクトル画像処理方法、及びコンピュータ実行可能なスペクトル画像処理プログラムに関する。また、本発明は、スペクトルイメージング蛍光レーザ顕微鏡などのスペクトルイメージングシステムに関する。
【背景技術】
【０００２】
生細胞の動態観察では、蛍光試薬や蛍光タンパクなどの蛍光物質で標本を標識し、それを蛍光レーザ顕微鏡等の光学顕微鏡で観察することがある。複数の蛍光物質を同時に使用したときには、波長成分毎の画像（スペクトル画像）を検出する必要がある。
【０００３】
しかし、複数の蛍光物質の発光波長が重複している場合、それら物質毎の画像を光学顕微鏡で分離することはできないので、光学顕微鏡が検出したスペクトル画像をコンピュータへ取り込み、それを物質毎の画像に分離（アンミックス）する解析方法が有効となる（非特許文献１等参照）。因みに、このアンミックスでは、試薬メーカ等が公開している各物質の発光スペクトルデータが用いられる。
【非特許文献１】Timo Zimmermann,JensRietdorf,Rainer Pepperkok,"Spectral imaging and its applications in live cell microscopy",FEBS Letters 546(2003),P87-P92,16 May 2003
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、実測データであるスペクトル画像には、光学顕微鏡の光源の不安定性、光学顕微鏡の光検出素子の電気ノイズなどが原因で測定ノイズが重畳されており、それはアンミックスの精度に強く影響する。
【０００５】
そこで本発明は、測定ノイズにロバストなアンミックスを行うスペクトル画像処理方法、及びスペクトル画像処理プログラムを提供することを目的とする。また、本発明は、高性能なスペクトルイメージングシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のスペクトル画像処理方法は、被観察物から取得された観測スペクトル画像と、その被観察物に含まれる複数物質の各々の発光スペクトルデータとに基づき、前記観測スペクトル画像に対する前記複数物質の各々の寄与をアンミックスするスペクトル画像処理方法において、前記観測スペクトル画像の予測スペクトル画像に基づき、その観測スペクトル画像の各成分の信頼性を評価する評価手順と、前記評価の結果を前記アンミックスの内容に反映させる反映手順とを含むことを特徴とする。
【０００７】
なお、前記予測スペクトル画像は、前記観測スペクトル画像を空間方向に平滑化してできるスペクトル画像であってもよい。
【０００８】
また、前記評価手順では、前記観測スペクトル画像の信頼性を波長成分毎に評価してもよい。
【０００９】
また、前記評価手順では、前記観測スペクトル画像の信頼性を波長成分毎かつ空間成分毎に評価してもよい。
【００１０】
また、前記反映手順では、前記観測スペクトル画像のうち前記信頼性が低いと評価された成分を、前記アンミックスの演算対象から除外してもよい。
【００１１】
また、前記アンミックスは、前記観測スペクトル画像の各成分の誤差に重み付した上で前記寄与を推計する重み付き最小二乗法からなり、前記反映手順では、前記重みの付けの内容を前記評価の結果に応じて設定してもよい。
【００１２】
また、本発明のスペクトル画像処理プログラムは、本発明の何れかのスペクトル画像処理方法をコンピュータに実行させることを特徴とする。
【００１３】
また、本発明のスペクトルイメージングシステムは、被観察物から観測スペクトル画像を取得するスペクトルイメージング装置と、前記取得されたスペクトル画像を取り込み、本発明の何れかのスペクトル画像処理方法を実行するスペクトル画像処理装置とを備えたことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、測定ノイズにロバストなアンミックスを行うスペクトル画像処理方法、及びスペクトル画像処理プログラムが実現する。また、本発明は、高性能なスペクトルイメージングシステムが実現する。
【発明を実施するための最良の形態】
【００１５】
［第１実施形態］
本発明の第１実施形態を説明する。本実施形態は、スペクトルイメージング蛍光レーザコンフォーカル顕微鏡システムの実施形態である。
【００１６】
先ず、本システムの構成を説明する。
【００１７】
図１は、本システムの構成図である。図１に示すとおり、本システムには、顕微鏡本体１０と、それに接続されたコンピュータ２０と、それに接続された入力器３０及び表示器４０とが備えられる。入力器３０は、マウスやキーボードなどであり、表示器４０は、ＬＣＤなどである。
【００１８】
顕微鏡本体１０には、レーザ光源１１と、ダイクロイックミラー１２と、光スキャナ１３と、対物レンズ１４と、標本１５と、観察レンズ１６と、ピンホールマスク１７と、分光素子１８と、多チャンネル光検出器１９とが配置される。標本１５は、複数種類（例えば３種類）の蛍光試薬で標識されており、多チャンネル光検出器１９は、多数（例えば３２個）の波長チャンネルを有している。
【００１９】
コンピュータ２０には、ＣＰＵ２３と、ＣＰＵ２３の基本的動作プログラムが書き込まれたＲＯＭ２４と、ＣＰＵ２３の動作中の一時的な記憶手段として使用されるＲＡＭ２５と、データを長期保存するためのハードディスクドライブ２６と、入力器３０及び表示器４０とのインタフェースをとるインタフェース回路２７と、多チャンネル光検出器１９の波長チャンネルと同数のＡ／Ｄ変換回路２１1，２１2，…，２１32と、それと同数のフレームメモリ２２1，２２2，…，２２32とが備えられる。フレームメモリ２２1，２２2，…，２２32、ハードディスクドライブ２６、ＣＰＵ２３、ＲＯＭ２４、ＲＡＭ２５、インタフェース回路２７は、バス２０Ｂを介して接続されている。ハードディスクドライブ２６には、本システムに必要なＣＰＵ２３の動作プログラムが予め格納されている。
【００２０】
顕微鏡本体１０のレーザ光源１１からは、レーザ光（例えば、波長４８８ｎｍ）が発せられる。このレーザ光は、ダイクロイックミラー１２を反射し、光スキャナ１３及び対物レンズ１４を順に介して標本１５上の１点に集光する。その集光点では蛍光（例えば、波長５１０〜５５０ｎｍ）が生じ、その蛍光は、対物レンズ１４及び光スキャナ１３を順に介してダイクロイックミラー１２へ入射すると、そのダイクロイックミラー１２を透過し、観察レンズ１６を介してピンホールマスク１７へと入射する。このピンホールマスク１７は、観察レンズ１６及び対物レンズ１４により標本１５と共役関係に結ばれており、標本１５で発生した蛍光のうち、必要な光線のみを通過させる働きがある。これによって、顕微鏡本体１０の共焦点効果が得られる。ピンホールマスク１７を通過した蛍光は、分光素子１８へ入射すると、複数の波長成分に分離される。それらの各波長成分は、多チャンネル光検出器１９の互いに異なる波長チャンネルへ入射し、独立かつ同時に検出される。
【００２１】
多チャンネル光検出器１９の各波長チャンネル（ここでは３２個の波長チャンネル）は、例えば、５１０ｎｍ〜５５０ｎｍの波長範囲の５ｎｍずつ異なる３２種類の波長成分を検出する。それら３２個の波長チャンネルから出力される各信号は、コンピュータ２０へ並列に取り込まれ、Ａ／Ｄ変換回路２１1，２１2，…，２１32を介してフレームメモリ２２1，２２2，…，２２32へ個別に入力される。
【００２２】
この多チャンネル光検出器１９と光スキャナ１３とは同期駆動され、これによって、標本１５上を集光点で二次元的に走査している期間に、多チャンネル光検出器１９から繰り返し信号が出力される。このとき、フレームメモリ２２1，２２2，…，２２32には、標本１５の各波長チャンネルの画像が徐々に蓄積されることになる。フレームメモリ２２1，２２2，…，２２32に蓄積された各波長チャンネルの画像（チャンネル画像Ｄ1，Ｄ2，…，Ｄ32）は、適当なタイミングでＣＰＵ２３によって読み出され、１つのスペクトル画像Ｆに纏められてから、ハードディスクドライブ２６へ格納される。
【００２３】
なお、コンピュータ２０のハードディスクドライブ２６には、このスペクトル画像Ｆの他に、標本１５に使用された蛍光試薬の発光スペクトルデータが予め格納されている。この発光スペクトルデータは、蛍光試薬のメーカ等が公開しているものであって、例えばインターネットや記憶媒体などを介してコンピュータ２０へ取り込まれたものである。
【００２４】
次に、スペクトル画像Ｆの取得後のＣＰＵ２３の動作を説明する。
【００２５】
図２は、ＣＰＵ２３の動作フローチャートである。図２に示すとおり、ＣＰＵ２３は、予測スペクトル画像の作成処理（ステップＳ１）、評価処理（ステップＳ２）、間引き処理（ステップＳ３）からなる前処理を実行した後に、アンミックス処理（ステップＳ４）、表示処理（ステップＳ５）を実行する。以下、これらのステップを順に説明する。
【００２６】
予測スペクトル画像の作成処理（ステップＳ１）：
本ステップでは、先ず、ＣＰＵ２３は、図３（Ａ）に示すとおり、スペクトル画像Ｆの各画素のスペクトルを参照する。図３（Ａ）には、或る４画素（第１画素、第２画素、第３画素、第４画素）のスペクトルカーブを示した。図３（Ａ）の横軸は波長チャンネルであり、縦軸は輝度値である。
【００２７】
次に、ＣＰＵ２３は、図３（Ｂ）に示すとおり、各画素のスペクトルを、その輝度積分値Ａ（スペクトルカーブと横軸とで囲まれた領域の面積）が１となるように正規化する。各スペクトルの正規化では、スペクトルの各波長チャンネルの輝度値に対し、正規化係数＝（１／現在の輝度積分値）を乗算すればよい。
【００２８】
ここで、図３の右側に示すように、正規化後のスペクトルが成すスペクトル画像をＦ’とおき、そのスペクトル画像Ｆ’の各波長成分（チャンネル画像）を、Ｄ1’，Ｄ2’，…，Ｄ32’とおく。
【００２９】
続いて、ＣＰＵ２３は、図４（Ａ）に示すとおり、チャンネル画像Ｄ1’，Ｄ2’，…，Ｄ32’の各々に対し平均フィルタ処理を施す。これにより、チャンネル画像Ｄ1’，Ｄ2’，…，Ｄ32’の各々は、空間方向にかけて平滑化される。
【００３０】
チャンネル画像Ｄ’に対する平均フィルタ処理では、例えば、縦３画素・横３画素の開口を有したマスク（演算上のマスクである。）が使用される。このマスクがチャンネル画像Ｄ’に当てはめられ、マスクの開口中心に位置する着目画素の輝度値が、開口内の全画素の輝度平均値に置換される。この処理が、チャネル画像Ｄ’上のマスク位置をずらしながら繰り返し行われることによって、チャンネル画像Ｄ’の全体が平滑化される。
【００３１】
ここで、図４の左下に示すように、平滑化後の各チャンネル画像をＤ1”，Ｄ2”，…，Ｄ32”とおき、それらチャンネル画像Ｄ1”，Ｄ2”，…，Ｄ32”が成すスペクトル画像をＦ”とおく。このスペクトル画像Ｆ”では、図４（Ｂ）に示すとおり、各画素のスペクトルカーブが滑らかになっている。
【００３２】
続いて、ＣＰＵ２３は、図４（Ｃ）に示すとおり、スペクトル画像Ｆ”を構成する各画素のスペクトルを、その輝度積分値が正規化前の輝度積分値（図３（Ａ）参照）に戻るように逆正規化する。各スペクトルの逆正規化では、スペクトルの各波長チャンネルの輝度値に対し、逆正規化係数＝（正規化前の輝度積分値／現在の輝度積分値）を乗算すればよい。
【００３３】
ここで、図４の右下に示すように、逆正規化後のスペクトルが成すスペクトル画像を、予測スペクトル画像Ｅとする。以下、この予測スペクトル画像Ｅとの区別を図るために、元のスペクトル画像Ｆを、「観測スペクトル画像Ｆ」と称す。
【００３４】
評価処理（ステップＳ２）：
本ステップでは、先ず、ＣＰＵ２３は、図５（Ａ）に示すとおり、予測スペクトル画像Ｅの或る画素のスペクトル（予測スペクトル）と、観測スペクトル画像Ｆの同じ画素のスペクトル（観測スペクトル）とを参照する。図５（Ａ）に示すとおり、予測スペクトルと観測スペクトルとの間では、スペクトルカーブの両者の大まかな形状は似ているが、前者は平滑化されているのに対し、後者には誤差が乗った状態という相違がある。
【００３５】
そこで、ＣＰＵ２３は、図５（Ｂ）に示すとおり、観測スペクトルの各波長チャンネルの評価置として、それら各波長チャンネルと、予測スペクトルの対応する波長チャンネルとの距離｜ｄ1｜，｜ｄ2｜，…，｜ｄ32｜を算出する。距離｜ｄi｜は、ｉ番目の波長チャンネルの輝度差の絶対値である。この距離｜ｄi｜の小さい波長チャンネルほど信頼性が高く、距離｜ｄi｜の大きい波長チャンネルほど信頼性が低いことになる。よって、以下では、距離｜ｄ｜を、「評価値｜ｄ｜」と称す。
【００３６】
さらに、ＣＰＵ２３は、以上の処理を各画素についてそれぞれ行い、各画素の各波長チャンネルの評価値｜ｄ｜を算出すると、本ステップを終了する。
【００３７】
間引き処理（ステップＳ３）：
図６（Ａ）には、幾つかの画素の評価値｜ｄ｜の例を示した。本ステップでは、先ず、ＣＰＵ２３は、或る画素の各波長チャンネルの評価値｜ｄ｜を、図６（Ａ）に示すとおり予め決められた閾値ｄTと比較し、その中から閾値ｄTを超過しているものを見出し、それに対応する波長チャンネルを、この画素の中で特に評価の低い波長チャンネルとみなす。以下、この波長チャンネルを「ノイズチャンネル」と称す。
【００３８】
さらに、ＣＰＵ２３は、以上の処理を全ての画素についてそれぞれ行い、全ての画素のノイズチャンネルを見出す。その結果、各画素のノイズチャンネルが、例えば、図６（Ｂ）に示すとおりＣＰＵ２３によって認識される。
【００３９】
図６（Ｂ）にも示したように、ノイズチャンネルの数は、画素によって１つの場合もあれば、複数の場合もある。但し、或る画素のノイズチャンネルの数が多過ぎると、その画素に関するアンミックス（後述）が困難になるので、図６（Ａ）中の閾値ｄTは、実験又はシミュレーションにより、アンミックスが困難にならない程度の値に予め設定されることが望ましい。
【００４０】
続いて、ＣＰＵ２３は、観測スペクトル画像Ｆの各画素から、ノイズチャンネルとみなされた波長チャンネルのデータを間引く。但し、観測スペクトル画像Ｆからデータを実際に排除してしまうと、観測スペクトル画像Ｆの元データが保存されなくなるので、ここでは、ＣＰＵ２３は、データを実際に排除する代わりに、そのデータを演算上でマスクするマスク行列Ｍを作成し、それを後続のステップで適用することとする。このマスク行列Ｍでは、マスクすべき成分に対応する要素が０となっており、それ以外の成分に対応する要素が１となっている。ＣＰＵ２３は、このマスク行列Ｍの作成を以て、本ステップを終了する。
【００４１】
アンミックス処理（ステップＳ４）：
本ステップでは、先ず、ＣＰＵ２３は、ハードディスクドライブ２６から蛍光試薬の発光スペクトルデータを読み出す。
【００４２】
発光スペクトルデータは、図７（Ａ），（Ｂ），（Ｃ）に示すとおり、３種類の蛍光試薬（第１試薬、第２試薬、第３試薬）の発光スペクトルＳ1，Ｓ2，Ｓ3を表す。これらの発光スペクトルＳ1，Ｓ2，Ｓ3は、式（１）のような一次元行列で表現される。
【００４３】
【数１】
2007097171.tif 000022
【００４４】
但し、式（１）中の要素ｓijは、第ｊ試薬のｉ番目の波長の輝度値である。その波長の番号ｉは、観測スペクトル画像Ｆの波長チャンネルの番号ｉに対応している。
【００４５】
一方、観測スペクトル画像Ｆの或る画素のスペクトルｆは、式（２）のような一次元行列で表現される。要素ｆiは、この画素のｉ番目の波長チャンネルの輝度値である。
【００４６】
【数２】
2007097171.tif 000023
【００４７】
よって、この画素に対する第１試薬の寄与率をｐ1とおき、第２試薬の寄与率をｐ2とおき、第３試薬の寄与率をｐ3とおくと、この画素のスペクトルｆと寄与率ｐ1，ｐ2，ｐ3との間には、式（３）が成り立つ。
【００４８】
【数３】
2007097171.tif 000024
【００４９】
さらに、発光スペクトルＳ1，Ｓ2，Ｓ3を、式（４）に示すとおり１つの行列Ｓで纏めて表し、寄与率ｐ1，ｐ2，ｐ3を、式（５）に示すとおり１つの行列Ｐで纏めて表すと、式（３）は式（６）のとおり変形される。
【００５０】
【数４】
2007097171.tif 000025
【００５１】
【数５】
2007097171.tif 000026
【００５２】
【数６】
2007097171.tif 000027
【００５３】
以下、この行列Ｓを「発光スペクトルＳ」と称し、この行列Ｐを「寄与率Ｐ」と称す。
【００５４】
よって、観測スペクトル画像Ｆの或る画素のアンミックスでは、観測スペクトル画像Ｆに含まれるこの画素のスペクトルｆのデータと、発光スペクトルデータが示している発光スペクトルＳのデータとを式（６）へ当てはめ、それを寄与率Ｐについて解けばよい。
【００５５】
但し、本システムでは、波長チャンネルの数（ここでは３２）が蛍光試薬の種類数（ここでは３）よりも十分に多く設定されたので、最小二乗法が適用される。
【００５６】
最小二乗法は、式（６）において誤差εを考慮した式（７）を用意し、その誤差εの二乗値が最小となるような寄与率Ｐを求めるものである。
【００５７】
【数７】
2007097171.tif 000028
【００５８】
この最小二乗法による寄与率Ｐの算出式を具体的に示すと、式（８）の通りである。
【００５９】
【数８】
2007097171.tif 000029
【００６０】
但し、ＳTは、Ｓの転置行列である。
【００６１】
したがって、観測スペクトル画像Ｆの或る画素のアンミックスでは、ＣＰＵ２３は、観測スペクトル画像Ｆに含まれるこの画素のスペクトルｆのデータと、発光スペクトルデータが示している発光スペクトルＳのデータとを式（８）へ当てはめることにより、寄与率Ｐを算出する。但し、その際にＣＰＵ２３は、マスク行列Ｍ（図６（Ｂ）参照）を適用し、その画素のノイズチャンネルに関する項を、式（８）から排除する。これによって、式（８）の項数（式（７）の次数に相当する。）は低減するが、上述した閾値ｄT（図６（Ａ）参照）が適当に設定されたので、寄与率Ｐを算出するのに必要な項数（式（７）の次数）は、確保されるものとする。したがって、この画素のアンミックスにより、この画素に関する寄与率Ｐは、確実に求まる。
【００６２】
そして、ＣＰＵ２３は、以上のアンミックスを、観測スペクトル画像Ｆの各画素についてそれぞれ行い、各画素の寄与率Ｐをそれぞれ算出する。これによって、本ステップが終了する。
【００６３】
以上、本ステップのアンミックス処理は、周知の最小二乗法によるものであるが、マスク行列Ｍ（図６（Ｂ））の適用により、観測スペクトル画像Ｆのうち信頼性の低い成分は、アンミックス処理の演算に全く反映されないことになる。したがって、このアンミックス処理の精度は、従来のそれよりも高くなる。
【００６４】
表示処理（ステップＳ５）：
本ステップでは、ＣＰＵ２３は、アンミックス処理で求まった各画素の寄与率Ｐ（各蛍光試薬の寄与率）のデータを、表示器４０へ表示する。各画素の寄与率Ｐのデータは、数値データとして表示してもよいが、ユーザへ直感的に知らせるため、ＣＰＵ２３は、各画素の寄与率Ｐに応じて色づけされたアンミックス画像を作成し、それを表示することが望ましい。
【００６５】
以上、本システムのコンピュータ２０は、観測スペクトル画像Ｆの各成分（ここでは、各画素の各波長チャンネル）の信頼性を評価し、その評価の結果をアンミックス処理に反映させるので、測定ノイズにロバストなアンミックス処理を行うことができる。したがって、アンミックス処理の精度、すなわち本システムの性能は、確実に向上する。
【００６６】
［第２実施形態］
本発明の第２実施形態を説明する。本実施形態は、スペクトルイメージング蛍光レーザコンフォーカル顕微鏡システムの実施形態である。ここでは、第１実施形態との相違点のみ説明する。相違点は、ＣＰＵ２３の動作にある。
【００６７】
図８は、本実施形態のＣＰＵ２３の動作フローチャートである。図８に示すとおり、本実施形態のＣＰＵ２３は、間引き処理（ステップＳ３）の代わりに、重み行列の作成処理（ステップＳ３’）を実行し、最小二乗法によるアンミックス処理（ステップＳ４）の代わりに、重み付き最小二乗法によるアンミックス処理（ステップＳ４’）を実行する。以下、これらのステップＳ３’，Ｓ４’を順に説明する。
【００６８】
重み行列の作成処理（ステップＳ３’）：
本ステップの開始時点では、各画素、各波長チャンネルの評価値｜ｄ｜は、既に算出されている（図５参照）。本ステップのＣＰＵ２３は、この中から、或る画素に関する評価値｜ｄ｜を参照し、図９（Ａ）に示すとおり、その画素の各波長チャンネルの重み値を生成する。各波長チャンネルの重み値は、各波長チャンネルの評価値｜ｄ｜の逆数である。そして、ＣＰＵ２３は、各波長チャンネルの重み値（１／｜ｄ｜）により、その画素に関する重み行列Ｗを作成する。
【００６９】
ここで、ｉ番目の波長チャンネルの重み値を１／｜ｄi｜とおくと、重み行列Ｗは、以下の式（９）で表される。
【００７０】
【数９】
2007097171.tif 000030
【００７１】
さらに、ＣＰＵ２３は、以上の処理を全ての画素についてそれぞれ行い、図９（Ｂ）に示すとおり、全ての画素の重み行列Ｗ1，Ｗ2，…，ＷL（Ｌ：画素数）を作成し、本ステップを終了する。
【００７２】
アンミックス処理（ステップＳ４’）：
本ステップでは、ＣＰＵ２３は、各画素のアンミックスを、重み付き最小二乗法により行う。重み付き最小二乗法では、寄与率Ｐの算出式として、式（８）の代わりに式（１０）が用いられる。
【００７３】
【数１０】
2007097171.tif 000031
【００７４】
但し、Ｗは、アンミックス対象となった画素の重み行列である。
【００７５】
つまり、ＣＰＵ２３は、観測スペクトル画像Ｆの或る画素のアンミックスでは、観測スペクトル画像Ｆに含まれるこの画素のスペクトルｆのデータと、発光スペクトルデータが示している発光スペクトルＳのデータと、その画素ついて作成された重み行列Ｗ（式（９）参照）とを式（１０）に当てはめることにより、寄与率Ｐを算出する。
【００７６】
この式（１０）によると、重み行列Ｗにより、各波長チャンネルの誤差（式（７）のεに相当する。）に対し重み付けがなされる。しかも、この重み行列Ｗ（式（９）参照）によると、各波長チャンネルの誤差に対し、その信頼性が低いほど大きい重みが付与されることになる。
【００７７】
したがって、本ステップによれば、アンミックス対象となった画素のうち、信頼性の高い波長チャンネルのデータほど、アンミックス結果に対して強く影響することになる。
【００７８】
以上、本実施形態でも、第１実施形態と同様、観測スペクトル画像Ｆの各成分（ここでは、各画素の各波長チャンネル）の信頼性を評価し、その評価の結果をアンミックス処理に反映させるので、アンミックス処理の精度、すなわち本システムの性能は、確実に向上する。
【００７９】
しかも、本実施形態では、観測スペクトル画像Ｆの一部のデータを排除する代わりに、各データの影響度に差異を設けるので、観測スペクトル画像Ｆの全データが最大限に生かされる。
【００８０】
［各実施形態の変形例］
なお、上述した実施形態の予測スペクトル画像Ｅの作成処理（ステップＳ１）では、スペクトルの正規化及び逆正規化の基準を輝度積分値としたが、輝度積分値の代わりに輝度最大値や輝度中間値などとしてもよい。
【００８１】
また、上述した各実施形態の予測スペクトル画像Ｅの作成処理（ステップＳ１）では、平滑化処理に平均フィルタ処理を適用したが、平均フィルタ処理の代わりに、重み付き平均フィルタ処理、メディアンフィルタ処理などの他の空間フィルタ処理を適用してもよい。
【００８２】
また、上述した各実施形態の予測スペクトル画像Ｅの作成処理（ステップＳ１）では、平滑化処理におけるマスクのサイズ（フィルタのサイズ）が３画素×３画素＝９画素であったが、他のサイズに代えてもよい。
【００８３】
また、上述した各実施形態の予測スペクトル画像Ｅの作成処理（ステップＳ１）では、（１）スペクトルの正規化、（２）スペクトルの空間方向の平滑化、（３）スペクトルの逆正規化、の３手順によって予測スペクトル画像Ｅを作成したが、予測スペクトル画像Ｅは、他の手順によって作成されてもよい。例えば、予測スペクトル画像Ｅは、観測スペクトル画像Ｆを空間方向にかけて単純に平滑化しただけのものであってもよい。
【００８４】
また、上述した各実施形態の予測スペクトル画像Ｅの作成処理（ステップＳ１）では、予測スペクトル画像Ｅを、観測スペクトル画像Ｆのみに基づき作成したが、他のスペクトル画像に基づき作成されてもよい。例えば、観測スペクトル画像Ｆとは異なるタイミングで１又は複数のスペクトル画像Ｆtを取得し、そのスペクトル画像Ｆtと観測スペクトル画像Ｆとの間で平滑化すること（つまり時間方向にかけて平滑化すること）により、予測スペクトル画像Ｅを作成してもよい。
【００８５】
また、上述した各実施形態では、ＣＰＵ２３の動作プログラムがハードディスクドライブ２６に予め格納されていたが、そのプログラムの一部又は全部は、インターネットや記憶媒体などを介して外部からコンピュータ２０へインストールされたものであってもよい。
【００８６】
また、上述した各実施形態では、各処理がコンピュータ２０によって実行されたが、コンピュータ２０の一部又は全部の動作は、顕微鏡本体１０に専用の装置（制御・画像処理装置）によって実行されてもよい。
【００８７】
また、上述した各実施形態の顕微鏡本体１０は、入射光の各波長成分を検出するために多チャンネル光検出器１９を使用しているが、多チャンネル光検出器１９の代わりに、１チャンネル光検出器と可動マスクとの組み合わせ、複数の１チャンネル光検出器と複数のフィルタとの組み合わせなどを使用してもよい。但し、多チャンネル光検出器１９を使用すると、各チャンネルの同時検出と省スペース化との双方が可能である。
【００８８】
また、上述した各実施形態の顕微鏡本体１０は、標本１５で生じた蛍光を検出する蛍光顕微鏡であるが、標本１５を照明する光の透過光又は反射光を検出する顕微鏡であっても構わない。その場合、ダイクロイックミラー１２の代わりにビームスプリッタが使用される。
【００８９】
また、上述した各実施形態の顕微鏡本体１０は、標本１５からの光を共焦点検出する顕微鏡（共焦点顕微鏡）であるが、その共焦点検出の機能を省略しても構わない。その場合、ピンホールマスク１７は不要となる。
【００９０】
また、上述した各実施形態の顕微鏡本体１０は、標本１５上を光走査する走査型顕微鏡であるが、非走査型顕微鏡に変形しても構わない。その場合、光スキャナ１３は不要となる。
【００９１】
すなわち、本発明は、スペクトルイメージングを行う各種の装置に適用することが可能である。
【図面の簡単な説明】
【００９２】
【図１】実施形態のシステムの構成図である。
【図２】第１実施形態のＣＰＵ２３の動作フローチャートである。
【図３】ステップＳ１（正規化処理）を説明する図である。
【図４】ステップＳ１（平滑化処理及び逆正規化処理）を説明する図である。
【図５】ステップＳ２を説明する図である。
【図６】ステップＳ３を説明する図である。
【図７】蛍光試薬の発光スペクトルＳ1，Ｓ2，Ｓ3の例を示す図である。
【図８】第２実施形態のＣＰＵ２３の動作フローチャートである。
【図９】ステップＳ３’を説明する図である。
【国際調査報告】
2007097171.tif 000032
2007097171.tif 000033
2007097171.tif 000034
2007097171.tif 000035