(57)【要約】【課題】【解決手段】例示的なイメージング装置は、光源、イメージング分光計、画像センサ、制御回路、および処理回路を備える。光源は、少なくとも１００ｍＷを含むことができる、分子サンプルに供給するため出力を生成する。イメージング分光計は、分子サンプルから放出された光を複数の異なる成分波長に分離する。制御回路は、イメージング分光計が画像センサと位置合わせを維持しながら、画像センサに分子サンプルの１つ以上の領域を走査させ、複数の異なる成分波長に対応して放出された光から分子サンプルのハイパースペクトル画像データを収集する。処理回路は、ハイパースペクトル画像データを、分子サンプルの１つ以上の領域に存在する発光体、吸収体、および／または散乱体の定量化を表すデータに変換することによって画像処理パイプラインを実行する。【選択図】        図１Ａ
2019520574.tif 000002
【特許請求の範囲】
【請求項１】
分子サンプルに供給するための光パワーを生成するように構成および配置された光源と、
前記光源が前記光パワーを生成することに応答して、前記光パワーによって照らされた前記分子サンプルの１つ以上の領域から放出された光を複数の異なる成分波長に分離するように構成および配置されたイメージング分光計と、
前記複数の異なる成分波長に対応する光路に沿って放出された光を収集するように構成および配置された、回路を含む画像センサと、
前記イメージング分光計と前記画像センサとの位置合わせを維持しながら、前記画像センサに前記分子サンプルの１つ以上の領域を走査させ、前記複数の異なる成分波長に対応して放出された光から前記分子サンプルのハイパースペクトル画像データを収集することにより、前記分子サンプルを走査するように前記画像センサと共に構成され配置された制御回路と、
前記ハイパースペクトル画像データを、前記分子サンプルの１つ以上の領域に存在する発光体、吸収体、および／または散乱体の定量化を表すデータに変換することによって画像処理パイプラインを実行するように構成および配置された処理回路と、
を含むイメージング装置。
【請求項２】
前記光源は、前記分子サンプルに少なくとも１００ミリワット（ｍＷ）の光パワーを供給するのに十分な出力を生成するように構成および配置されている請求項１に記載のイメージング装置。
【請求項３】
前記制御回路は、前記画像センサに、前記分子サンプルの１つ以上の領域の、前記複数の異なる成分波長に対応して放出された光を複数回サンプリングさせることにより、前記分子サンプルの２００ｎｍ〜１０００ｎｍの範囲の前記ハイパースペクトル画像データを収集するように、前記画像センサとともに構成および配置されている請求項１記載のイメージング装置。
【請求項４】
前記処理回路が、前記ハイパースペクトル画像データに存在する歪みを考慮するように前記ハイパースペクトル画像データを修正することにより、前記ハイパースペクトル画像データを変換するように構成および配置されている請求項１に記載のイメージング装置。
【請求項５】
前記光源からの光を、照明ラインにおよび分子サンプル上に集束させるように構成および配置された光学系をさらに含む、請求項１に記載のイメージング装置。
【請求項６】
前記処理回路は、並行化処理を用いて、前記異なる成分波長のスペクトル強度を、存在する前記発光体、吸収体、および／または散乱体の定量化に分解することにより、前記ハイパースペクトル画像データを変換するように構成および配置されている請求項１に記載のイメージング装置。
【請求項７】
前記処理回路は、前記異なる成分波長のスペクトル強度を、部分発光体、吸収体、および／または散乱体の定量化に分解することにより、および前記部分発光体、吸収体、および／または散乱体の定量化を、前記発光体、吸収体、および／または散乱体の定量化に分解することにより、前記ハイパースペクトル画像データを変換するように構成および配置されている請求項１に記載のイメージング装置。
【請求項８】
前記処理回路は、歪みを考慮するように前記ハイパースペクトル画像データを修正するようにさらに構成および配置され、前記歪みはキーストーン現象およびスマイル現象を含む請求項１に記載のイメージング装置。
【請求項９】
前記処理回路が、位相補正を含むノイズまたは歪みを考慮するように前記ハイパースペクトル画像データを修正するようにさらに構成および配置されている請求項１に記載のイメージング装置。
【請求項１０】
前記処理回路は、歪みを考慮するように前記ハイパースペクトル画像データを修正するように構成および配置され、前記歪みは、キーストーン現象、スマイル現象、ピクセルの位置ずれ、不均一な照明、位相補正およびそれらの組み合わせからなる群から選択される現象を含む請求項１に記載のイメージング装置。
【請求項１１】
前記制御回路は、前記分子サンプル中に存在する発光体、吸収体、および／または散乱体を示す第１の較正データと、前記イメージング装置に存在する歪みを示す第２の較正データとを生成するようにさらに構成および配置され、
前記処理回路は、前記第１および第２の較正データを使用して画像処理パイプラインを実行するようにさらに構成および配置されている請求項１に記載のイメージング装置。
【請求項１２】
前記処理回路は、通常の最小二乗法を含む第１の技術を使用し、前記第１の技術を使用してサンプリングされたデータ点が負の発光体、吸収体、および／または散乱体の量を生成すること、または閾値誤差の範囲外で残留誤差を示すと決定されたことに応答し、第２の技術を使用することにより、前記画像処理パイプラインを実行するように構成および配置されている請求項１に記載のイメージング装置。
【請求項１３】
前記処理回路は、測定された前記異なる成分波長のスペクトル強度を、発光体、吸収体、および／または散乱体の強度へ分解し、不均一な強度パターンに基づいて光源の光パワーを調整することにより、前記光源に起因する前記不均一な強度パターンを用いて、前記ハイパースペクトル画像データの照明を較正するように構成および配置されている請求項１に記載のイメージング装置。
【請求項１４】
前記処理回路は、複数の光源のそれぞれについて前記不均一な強度パターンを識別するように構成および配置されている請求項１３に記載のイメージング装置。
【請求項１５】
前記制御回路および処理回路が、前記複数の光源のそれぞれについて、前記不均一な強度パターンを用いて前記ハイパースペクトル画像データの照明を較正するようにさらに構成および配置され、
前記それぞれの光源の照明ラインの方向への分子サンプルの移動を制御し、その方向の各ピクセルについて、前記複数の異なる成分波長に対応して放出された光を収集し、
前記照明ラインの方向において、収集した各ピクセルについて前記放出された光を使用して、前記それぞれの光源に対応する前記不均一な強度パターンを識別する、
請求項１４に記載のイメージング装置。
【請求項１６】
前記処理回路は、前記画像センサの量子効率または発光光路のスペクトル効率の変動を考慮して、前記ハイパースペクトル画像データを修正するようにさらに構成および配置され、
前記画像センサの量子効率または前記発光光路のスペクトル効率は、前記複数の異なる成分波長の波長と共に変化する、
請求項１に記載のイメージング装置。
【請求項１７】
前記制御回路が、前記画像センサからの測定されたピーク信号を閾値飽和範囲内に維持するようにさらに構成および配置されている請求項１に記載のイメージング装置。
【請求項１８】
分子サンプルに供給するための光パワーを生成するように構成および配置されるマルチモードレーザーダイオードと、
前記マルチモードレーザーダイオードが光パワーを生成することに応答して、前記光パワーによって照らされた前記分子サンプルから放出された光を複数の異なる成分波長に分離するように構成および配置されたイメージング分光計と、
前記複数の異なる成分波長に対応する光路に沿って放出された光を収集するように構成および配置された、回路を含む画像センサと、
前記イメージング分光計と前記画像センサとの位置合わせを維持しながら、前記画像センサに前記分子サンプルを走査させ、前記複数の異なる成分波長に対応して放出された光から前記分子サンプルのハイパースペクトル画像データを収集することにより、前記分子サンプルを走査するように前記画像センサと共に構成および配置された制御回路と、
を含むイメージング装置。
【請求項１９】
前記マルチモードレーザーダイオードが、前記分子サンプルに少なくとも１００ミリワット（ｍＷ）の前記光パワーを供給するのに十分なパワーを生成するように構成および配置され、
前記制御回路が、照明ラインに対して前記光パワーをフィルタリングし、焦点外光を減少させるために、前記マルチモードレーザーダイオードの速軸と遅軸との位置合わせを維持しながら、前記画像センサに前記分子サンプルを走査させることにより、前記分子サンプルを走査するように前記画像センサと共に構成および配置されている請求項１８記載のイメージング装置。
【請求項２０】
前記イメージング分光計が、撮像された１つ以上の異なる領域でラインに放出、反射、透過、または散乱された光をフィルタリングするように構成および配置された光学スリットをさらに含む、請求項１８に記載のイメージング装置。
【請求項２１】
前記マルチモードレーザーダイオードから供給された光パワーを照明ラインに集束させ、前記照明ラインを前記分子サンプルに供給するように構成および配置された少なくとも１つの光学素子を含む光学系をさらに含む、請求項１８に記載の撮像装置。
【請求項２２】
前記イメージング分光計は、前記マルチモードレーザーダイオードの速軸および遅軸と位置合わせされた光学スリットをさらに含み、
前記光学スリットは、放出、反射、透過、または散乱された光をラインにフィルタリングし、焦点外光を低減するように構成および配置されている請求項１８に記載のイメージング装置。
【請求項２３】
前記制御回路は、前記イメージング装置の画像モードと露光時間とに基づいて、前記光学スリットの幅を制御するように構成および配置されている請求項２２に記載のイメージング装置。
【請求項２４】
前記イメージング分光計は、複数のスリットを有する光学スリットをさらに含み、
前記複数のスリットは、撮像された１つ以上の異なる領域において１つのラインに放出、反射、透過、または散乱された光をフィルタリングするように前記光路に沿って構成および配置されている請求項１８に記載のイメージング装置。
【請求項２５】
並行処理を使用して、前記異なる成分波長のスペクトル強度を、存在する発光体、吸収体、および／または散乱体の定量化にスペクトル分解することにより、前記ハイパースペクトル画像データを、前記分子サンプル中に存在する発光体、吸収体、および／または散乱体の定量化を表すデータに変換するように構成および配置された処理回路をさらに含む請求項１８に記載のイメージング装置。
【請求項２６】
前記制御回路は、前記マルチモードレーザーダイオードの前記光パワーの不均一な強度パターンを識別し、前記ハイパースペクトル画像データの照明を較正するために不均一な強度パターンを使用することにより、前記ハイパースペクトル画像データの前記照明を較正するようにさらに構成および配置されている請求項１８に記載のイメージング装置。
【請求項２７】
前記制御回路は、前記マルチモードレーザーダイオードの照射ラインの方向へ前記分子サンプルの移動を制御し、その方向の各ピクセルについて、前記複数の異なる成分波長に対応して放出された光を収集することにより、前記不均一な強度パターンを識別するようにさらに構成および配置されている、請求項２６に記載のイメージング装置。
【請求項２８】
前記ハイパースペクトル画像データを調整するために、前記不均一な強度パターンを使用して、前記分子サンプル中に存在する発光体、吸収体、および／または散乱体の定量化を表すデータを生成するように構成および配置された処理回路をさらに含む請求項２７に記載のイメージング装置。
【請求項２９】
スマイルおよびキーストーン補正の実行を含む、前記ハイパースペクトル画像データに対応するハイパースペクトル現象を補正することにより、前記分子サンプル中に存在する発光体、吸収体、および／または散乱体の定量化を表すデータを生成するように構成および配置された処理回路をさらに含む請求項２７に記載のイメージング装置。
【請求項３０】
前記制御回路は、
前記マルチモードレーザーダイオードによって励起されたラベルを用いて分子サンプルの区画を識別し、
照射ラインの方向への前記分子サンプルの移動を制御し、その方向の各ピクセルについて、分子サンプルの一区画に関連する複数の異なる成分波長に対応して放出された光を収集し、
前記照射ラインの方向における各ピクセルの前記複数の異なる成分波長に対応する収集された光を使用して、前記マルチモードレーザーダイオードに対応する前記不均一な強度パターンを識別することにより、
前記不均一な強度パターンを識別するように構成および配置されている請求項２７に記載のイメージング装置。
【請求項３１】
複数の光源を有する光源配置をさらに含み、前記複数の光源のうちの少なくとも１つは前記マルチモードレーザーダイオードを含む請求項１８に記載のイメージング装置。
【請求項３２】
分子サンプルに複数の照明ラインを供給するための光パワーを生成するように構成および配置された少なくとも１つの光源を有する光源配置と、
前記少なくとも１つの光源が前記光パワーを生成することに応答して、複数の照明ラインによって照らされた分子サンプルから放出された光を複数の異なる成分波長に分離するように構成および配置されたイメージング分光計であって、分子サンプルの異なる部分でラインに放出された光をフィルタリングするように構成および配置されたイメージング分光計と、
前記複数の異なる成分波長に対応する分子サンプルから光路に沿って放出された光を収集するように構成および配置された、回路を含む画像センサと、
前記イメージング分光計と前記画像センサとの位置合わせを維持しながら、前記画像センサに前記分子サンプルを走査させ、前記複数の異なる成分波長に対応して放出された光から前記分子サンプルのハイパースペクトル画像データを収集することにより、前記分子サンプルを走査するように前記画像センサと共に構成され配置された制御回路と、
を含むイメージング装置。
【請求項３３】
前記イメージング分光計が、撮像された１つ以上の異なる領域でラインに放出、反射、透過、または散乱された光をフィルタリングするように構成および配置された複数の光学スリットを含む請求項３２に記載のイメージング装置。
【請求項３４】
前記光源配置は、前記複数の光学スリットごとに一組の光源を含む請求項３３に記載のイメージング装置。
【請求項３５】
前記光源構成は、前記複数の光学スリットごとに２つの光源を含む請求項３３に記載のイメージング装置。
【請求項３６】
複数の画像センサをさらに含み、各画像センサは、前記複数の光学スリットのうちの１つと共に構成および配置されている請求項３３に記載のイメージング装置。
【請求項３７】
複数の画像センサを含み、各画像センサは、前記複数の光学スリットのうちの一組と共に構成および配置されている請求項３３に記載の撮像装置。
【請求項３８】
前記光源配置は複数の光源を含み、前記複数の光源のうちの少なくとも２つは重ならない組の波長を有する請求項３２に記載の撮像装置。
【請求項３９】
前記少なくとも１つの光源は、前記分子サンプルにおける前記複数の照明ラインのそれぞれに少なくとも１００ミリワット（ｍＷ）の光パワーを供給するのに十分なパワーを生成するように構成および配置されている請求項３２に記載のイメージング装置。
【請求項４０】
分子サンプルに少なくとも１００ミリワット（ｍＷ）の光パワーを供給するのに十分なパワーを生成するように構成および配置された光源と、
前記光源が十分なパワーを生成することに応答して、前記光パワーにより照らされた前記分子サンプルの領域から放出された光を複数の異なる成分波長に分離するように構成および配置されたイメージング分光計と、
前記複数の異なる成分波長に対応する前記分子サンプルの領域から光路に沿って放出された光を収集するように構成および配置された、回路を含む画像センサと、
前記イメージング分光計と前記画像センサとの位置合わせを維持しながら、オンザフライで走査中に、前記画像センサに前記分子サンプルの前記領域を走査させ、前記分子サンプルの前記領域のまたはその領域の後に走査される別の領域の深さ位置を決定し、前記分子サンプルを前記深さ位置に移動させて光路の有効長を変更し、前記分子サンプルの前記領域または前記別の領域に対する焦点面の質を向上させることを繰り返し実行することにより、前記分子サンプルを走査するように前記画像センサと共に構成され配置された制御回路と、
を含むイメージング装置。
【請求項４１】
前記制御回路は、前記画像センサに前記分子サンプルの複数の領域の前記領域を走査させながら、同時に前記複数の領域のうちの前記領域または他の領域に対する最適焦点面を決定し、前記領域の少なくとも一部を走査した後、前記分子サンプルを前記深さ位置に移動させることにより、前記分子サンプルを走査するようにさらに構成および配置される請求項４０に記載のイメージング装置。
【請求項４２】
収集された前記分子サンプルの前記領域から放出された光から、前記分子サンプルのハイパースペクトル画像データを生成するように構成および配置された処理回路をさらに含む、請求項４０に記載の撮像装置。
【請求項４３】
前記光源および前記画像センサを介して、１００〜６０００ｍＷの間の光パワーで、１００フレーム毎秒（ＦＰＳ）〜４０００ＦＰＳで、および毎秒２５０メガバイト（ＭＢ／ｓ）から１ギガバイト（ＧＢ／ｓ）の転送または記憶速度で、前記分子サンプルを照らすように構成および配置される請求項４０に記載のイメージング装置。
【請求項４４】
前記画像センサは、複数のラインを収集するようにさらに構成および配置され、前記複数のラインのそれぞれは、前記イメージング装置の像面から異なるｚ距離離れ、
前記制御回路は、前記複数のラインを使用することにより、前記分子サンプルの前記領域または前記他の領域に対する最適焦点面を決定するように構成および配置されている請求項４０に記載のイメージング装置。
【請求項４５】
前記光源は、少なくとも１００ｍＷの光パワーを照射ラインとして前記分子サンプル上に供給するのに十分なパワーを生成するように光学系と共に構成および配置され、
前記光学系は、少なくとも１つの光学要素を含み、前記光源を介して放射される光プロファイルを、その幅に沿って拡大して前記照明ラインを生成するように構成および配置され、
前記画像センサを複数の異なる画像距離に傾斜させ、それにより前記画像センサを前記像面から異なるｚ距離にさせるように構成および配置されたオートフォーカス制御回路をさらに含む請求項４４に記載のイメージング装置。
【請求項４６】
表面に反射コーティングを有し、前記分子サンプルを収容するように構成および配置された基板をさらに含み、
制御回路は、前記反射コーティングから反射された光を使用することにより、前記分子サンプルの前記領域または前記他の領域に対する最適焦点面を決定するようにさらに構成および配置されている請求項４０に記載のイメージング装置。
【請求項４７】
前記反射コーティングは、イメージングスペクトル領域外で反射性であり、前記イメージングスペクトル領域内で透過性であり、
前記イメージング装置は、前記基板に供給するために、前記イメージングスペクトル領域外で光パワーを生成するように構成および配置される別の光源をさらに含む請求項４６に記載のイメージング装置。
【請求項４８】
前記分子サンプルを保持するように構成および配置されたステージと、
前記分子サンプルから放出された光を前記イメージング分光計に伝達するように構成および配置された光学対物レンズと、をさらに含み、
前記制御回路は、前記光学対物レンズに対する前記分子サンプルの複数の位置を連続的に制御することにより、前記分子サンプルの領域の走査させるように構成および配置されている請求項４０に記載のイメージング装置。
【請求項４９】
前記イメージング分光計は、前記光源から放出された光を、撮像された１つ以上の異なる領域のラインにフィルタリングするように構成および配置された光学スリットをさらに含む請求項４０に記載のイメージング装置。
【請求項５０】
前記画像センサは、前記イメージング分光計によって前記分子サンプルの前記領域で各成分波長に分離された前記複数の異なる成分波長を、前記分子サンプル中の少なくとも４つのラベルの間を識別するのに十分なフレームレートおよび光量で収集するように構成および配置されている請求項４０に記載のイメージング装置。
【請求項５１】
円筒レンズまたはミラーおよび前記画像センサと共に、前記分子サンプルの前記他の領域を表す前記画像センサにおける複数のラインを収集するように構成および配置されたオートフォーカス制御回路をさらに含み、
前記画像センサにおける前記複数のラインのそれぞれは、前記イメージング装置の像面から異なるｚ距離である請求項４０に記載のイメージング装置。
【請求項５２】
前記オートフォーカス制御回路が、
焦点距離と前記画像センサにおける前記複数のラインとに基づいて、前記分子サンプルの前記他の領域に対する最適焦点面を決定し、
前記制御回路に前記分子サンプルのｚ位置を調整させるように、
さらに構成および配置されている請求項５１に記載のイメージング装置
【請求項５３】
同時にまたは順次にパワーを出力するように構成された複数の光源をさらに含む請求項４０に記載のイメージング装置。
【請求項５４】
収集された前記複数の異なる成分波長に対応して放射された光から前記分子サンプルのハイパースペクトル画像データを収集し、
前記ハイパースペクトル画像データを、前記分子サンプル中に存在する発光体、吸収体、および／または散乱体の定量化を表すデータに変換するように構成および配置され、並行処理を行う処理回路をさらに含む請求項４０に記載のイメージング装置。
【請求項５５】
前記処理回路は、並列化処理を用いて、前記異なる成分波長のスペクトル強度を、存在する発光体、吸収体、および／または散乱体の定量化にスペクトル分解することにより、前記ハイパースペクトル画像データを前記データに変換するように構成および配置されている請求項５４に記載のイメージング装置。
【請求項５６】
不均一な光強度で複数の光線を放射するように構成および配置された複数の光源をさらに含み、
前記制御回路は、前記複数の光源に起因する不均一な強度パターンを使用して、前記ハイパースペクトル画像データの照明を較正するようにさらに構成および配置されている請求項４０に記載のイメージング装置。
【請求項５７】
前記制御回路が、
それぞれの光源の照射ラインの方向への分子サンプルの移動を制御し、
その方向の各ピクセルについて、前記複数の異なる成分波長に対応する前記分子サンプルの前記領域から放出された光を収集することによって、
前記複数の光源のそれぞれについて、前記不均一な光強度を識別するようにさらに構成および配置される請求項５６に記載のイメージング装置。
【請求項５８】
前記制御回路が、前記画像センサからの測定ピーク信号を、閾値飽和範囲内に維持するようにさらに構成および配置されている請求項４０に記載のイメージング装置。
【発明の詳細な説明】
【背景技術】
【０００１】
生物医学研究などの研究において、定量的多重測定法に対する需要が高まっている。定量的多重測定法では、多数の生体分子（例えば、これに限定されないが、循環腫瘍細胞（ＣＴＣ）、ラベル組織切片、およびエキソソームなど）を同時に分析することができる。複数のタンパク質、核酸、または他の細胞構造（以下、「検体」と呼ぶ）を並行して分析することは、創薬、診断、基礎研究、その他の用途のために、複雑な生物系の個々の成分がどのように相互作用するかなどの情報を理解するのに役立つ。多重測定は、ゲノミクスまたはプロテオミクスおよび他の新たな分野の分野において、１つまたは複数のサンプル中の異なる生体分子を分析するために使用することができる。しかしながら、そのような技術は、時間的制約ならびに収集および分析されるデータの量が原因で、リアルタイムで実行することが困難である。リアルタイム分析は、医薬および／または診断の実施など、様々な用途に有益であり得る。
【発明の概要】
【発明が解決しようとする課題】
【０００２】
これらおよび他の事項は、様々な用途に対して、イメージング装置の実装効率の課題に直面している。
【０００３】
様々な実施形態の態様は、分子サンプルのハイパースペクトル画像を生成するための方法および装置に関し、より具体的には、特定の実施形態において、少なくとも毎分１２０億のデータ点を収集するために使用される高速ハイパースペクトルイメージング装置に関する。
【課題を解決するための手段】
【０００４】
様々な例示的実施形態は、上記および／またはその他に記載される問題を対象とし、その問題は以下の開示から明らかになり得る。様々な実施形態の態様は、分子サンプルのハイパースペクトル画像を、高速で、生成、較正、サンプルフォーカス、および処理するための方法および装置を対象とする。装置の２つの例示的なクラスには、ライン走査装置とステアリング装置とが含まれる。両方の装置のクラスは、十分な照明、高いデータ取得率、効率的なデータ処理、および較正の検討事項を有する。
【０００５】
特定の例示的な実施形態では、本開示の態様は、分子サンプルを表すハイパースペクトル画像データを生成し、サンプル中に存在する発光体、吸収体、および／または散乱体の定量化を表すデータを出力することを含む。
【０００６】
より具体的な態様では、方法は、収集された複数の異なる成分波長から分子サンプルのハイパースペクトル画像を生成することを含む。成分波長は、分子サンプルの照らされた関心領域の表示に対応する。例示的な分子サンプルは、限定はしないが、循環腫瘍細胞（ＣＴＣ）、ラベル組織切片、タンパク質、およびエキソソームなどの複数の生体分子を含み得る。収集された異なる成分波長は、光源によって励起された分子サンプルから放出された光のスペクトル強度を示す。例えば、顕微鏡が、光源を用いて分子サンプルを照らすことにより、成分波長を収集し転送することに用いられる。ハイパースペクトル画像に応答して、分子サンプル中のラベルの定量化を表すデータを生成し出力することができる。
【０００７】
クロストークを軽減し、ダイナミックレンジを最大にして多数のラベルを画像化するために、従来のまたはマルチスペクトルイメージングよりも優れたスペクトル分解能を有するハイパースペクトルイメージング装置が使用される。生体分子の撮像は、内因性蛍光（サンプルに固有のもの、例えば、ＮＡＤＨまたはフラビン）の吸収（例えば、オキシヘモグロビン、デオキシヘモグロビン、またはメラニンによる吸収）に直接基づいて、あるいは、蛍光（蛍光染料、量子ドット、蛍光物質、または他のナノ粒子）、化学発光、散乱（金属または他のナノ粒子）、または吸収（染料）のように分子の存在を示すラベルを使用して間接的に行われる。参照を容易にするために、これらの様々な蛍光団、発色団、または散乱体（例えば、発光体、吸収体、および／または散乱体）は、たとえラベルそれ自体が関心の分子であっても、ラベルと呼ぶことができる。高スループットでラベルの定量的な多重化画像を生成するために、イメージング装置、データ取得、およびデータ処理は、閾値速度で動作する。様々な特定の態様において、ハイパースペクトルイメージングシステムは、毎分１２０億以上のデータ点を処理することができるが、実施形態はそれに限定されない。
【０００８】
ハイパースペクトルイメージングは、電磁スペクトルにおける情報を収集し処理することを示すまたは含む。具体的には、ハイパースペクトルイメージングでは、画像内の各ピクセルに対するスペクトルを得ることができる。スペクトルは、可視スペクトルにおける、スペクトルピクセルを表すいくつかの間隔または波長帯に分割される。スペクトルの範囲は特定の用途に合わせて調整することができる。例えば、分子サンプル中に存在することが知られている蛍光団が、５００〜７００ｎｍの間の光を放出する場合、本明細書中でさらに説明されるように、収集される成分波長は５００〜７００ｎｍの間であり得、対象領域を低減し得る。
【０００９】
分子サンプル中のラベル（例えば、存在する発光体、吸収体、および／または散乱体）の定量化を示すデータを出力するために、成分波長を測定されたスペクトル強度から分解して個々のラベルの定量化を提供することができる。イメージング装置は、例えばイメージング分光計を介して、分子サンプルから放出された光を異なる成分波長に分離（例えば、分散または干渉）することによって成分波長を集めることができる。いくつかの例では、イメージング分光計は、フーリエ変換スペクトルイメージングの場合、プリズムまたはグレーティングを用いて分散、または場合によっては干渉により光を分離する。分離された光は収集され、可視スペクトル内の多数（例えば６０）の間隔において転送される。特定の例として、イメージング分光計は、４００〜８００ｎｍの範囲の光を６０個のスペクトルピクセルに分離することができ、６０個の成分波長をもたらす。そのような例では、第１の成分波長に関連する第１のスペクトル強度は４００〜４０６．６７ｎｍの間にある。分子サンプル中の１つ以上の発光体、吸収体、および／または散乱体は、複数のスペクトルピクセルに広がっても良い。例えば、特定の蛍光団は、３７５〜６００ｎｍの波長の光を発し得る。スペクトル強度（例えば、ハイパースペクトルデータ）を部分ラベル定量化にスペクトル分解すること、および部分ラベル定量化をラベル定量化に分解することによって、スペクトルピクセルを各ラベルに対する強度に低減することができる。
【００１０】
高速で撮像を実行することは、様々な相互に関連する要因を含む。例えば、適切な照明パワーおよび照明スループット効率、ならびに複数のラベルからの光子の効率的な捕捉は、画像積分または露光時間がより短いため有益である。データ処理速度および効率も、データ帯域幅が大きく、ボトルネックを回避し、待ち時間を最小限に抑えるために有益である。画像補正方法は、照明の不均一性による画像の品質低下を最小限に抑えるまたは軽減するために、あるいはハイパースペクトルイメージングシステムからの画像の歪みを補償するために使用される。データ圧縮は、データ処理を支援し、ファイルの記憶要件を最小限に抑えるために重要である。オートフォーカスに向けての戦略は、イメージング時間を最大化し、走査システムのオーバーヘッド時間を最小化するために重要である。
【００１１】
本明細書中に開示されるハイパースペクトルイメージング装置は、観察された分子サンプルから大量の情報を抽出するために使用することができる。特定の方法の実施形態は、閾値を超えた感度および特異性ならびにクロストークの低減を可能にするとともに、蛍光団などの５つ以上のラベルの使用を可能にする。同じ装置を用いて選択および分析を行う能力は、取扱いおよび運搬に起因するサンプルの交差汚染の危険性を低減または最小化することができる。複数の蛍光団を検出することに関する特定の例として、本明細書中に開示される装置は、４つ以上、あるいは狭い発光スペクトルを有する蛍光団の利用によりそれ以上、の蛍光団を検出することができる。検出およびリアルタイム分析はビデオレートで実行することができる。この方法の用途には、顕微鏡法、ハイスループットインビトロ分析、およびインビボイメージングが含まれる。顕微鏡法の場合、この方法は、希少細胞型の高速イメージングサイトメトリーまたは高速同定を可能にし得る。インビトロ診断の場合、遺伝子またはタンパク質の配列、マイクロ流体液滴列、または大判多層プレートなどの大判分析でより多くのラベルを正確に使用することを可能にし得る。インビボイメージングの場合、多重ラベル濃度のリアルタイムモニタリングを可能にし得る。
【００１２】
本開示のいくつかの関連する特定の態様は、並行処理を実行することによってハイパースペクトル画像データを提供するために使用されるイメージング装置を対象とする。イメージング装置は、光源、イメージング分光計、画像センサ、制御回路、および処理パイプラインを実行する処理回路を含む。光源は分子サンプルに供給するための光パワーを生成し、光源の光パワーの生成に応答して、イメージング分光計は光パワーによって照らされた分子サンプルの１つ以上の領域から放出された光を、複数の異なる成分波長に分離する。特定の態様では、光源は分子サンプルに少なくとも１００ミリワット（ｍＷ）の光パワーを供給するのに十分な出力を生成することができる。回路を含む画像センサは、複数の異なる成分波長に対応する光路に沿って放出された光を収集する。様々な態様において、画像センサは、少なくとも１０秒間、少なくとも毎秒１００，０００，０００波長ピクセル測定の速度で、データ搬送経路に沿って、複数の異なる成分波長を示すデータを制御回路および処理回路に供給する。画像センサに分子サンプルの１つ以上の領域を走査させることによって分子サンプルを走査するために、制御回路は画像センサと共に構成され、イメージング分光計は、画像センサおよび／または発光源（例えば、照明ライン）と位置合わせされ、複数の異なる成分波長に対応する放出された光から、２００〜１０００ｎｍの範囲の分子サンプルのハイパースペクトル画像データを収集する。処理回路（例えば、データを並行して処理する処理回路）は、ハイパースペクトル画像データを、分子サンプルの１つ以上の領域に存在する発光体、吸収体、および／または散乱体の定量化を表すデータに変換することによって画像処理パイプラインを実行する。そして、特定の実施形態では、それにより、他の方法で取得可能または達成可能な分子サンプルの画像のデータ取得速度および／またはデータ処理速度を、改善または最適化する。特定の態様では、処理回路は、少なくとも毎秒１００，０００，０００波長ピクセル測定の速度で画像処理パイプラインを実行することができる。上記の装置は、様々な態様で、ライン走査および／またはステアリング走査を実行するために使用することができる。
【００１３】
処理回路は、ハイパースペクトル画像データに存在するノイズおよび／または歪みを説明するためにハイパースペクトル画像データを修正することによってハイパースペクトル画像データをさらに変換することができる。歪みおよび／またはノイズは、キーストーン現象、スマイル現象、ピクセルの位置ずれ、不均一な照明、位相補正、およびそれらの組み合わせを含み得る。いくつかの実施形態では、制御回路は、分子サンプル中に存在する発光体、吸収体、および／または散乱体を示す第１の較正データと、イメージング装置に存在する歪みを示す第２の較正データとを生成し、処理回路は、第１および第２の較正データを使用して画像処理パイプラインを実行する。他の特定の態様は、通常の最小二乗法を含む第１の技術を用いて画像処理パイプラインを実行すること、および第２の技術を用いて、負のラベル量を生成することまたは第１の技術を使用して決定されたしきい値誤差から外れた残差を示すことを含み得る。そして、特定の態様では、スペクトル強度の分解は、本明細書でさらに説明されるように、光源の不均一な強度パターンに基づいて光源の光パワーを調整することを含むことができる。
【００１４】
他の特定の実施形態は、光源としてマルチモードレーザーダイオードと、イメージング分光計と、画像センサと、制御回路とを含むイメージング装置を対象とする。マルチモードレーザーダイオードは、分子サンプルに供給するための光パワーを生成する。マルチモードダイオードは、分子サンプルに少なくとも１００ミリワット（ｍＷ）の光パワーを供給するのに十分なパワーを発生させることができ、例えば、光パワーを発生させるマルチモードレーザーダイオードに応じて、イメージング分光計は、光パワーによって照らされた分子サンプルから放出された光を複数の異なる成分波長に分離する。回路を含む画像センサは、複数の異なる成分波長に対応する光路に沿って放出された光を収集する。そして、制御回路は、画像センサとともに配置され、イメージング分光計と画像センサおよび／または発光源との位置合わせを維持しながら、画像センサに分子サンプルを走査させることによって分子サンプルを走査し、収集された複数の異なる成分波長に対応して放出された光から分子サンプルのハイパースペクトル画像データを収集する。そして、特定の実施形態では、それにより、他の方法で取得可能または達成可能な分子サンプルの画像のデータ取得速度を、改善または最適化する。特定の態様では、制御回路は、マルチモードレーザーダイオードの速軸と遅軸の位置合わせを維持しながら画像センサに分子サンプルを走査させて、照明ラインの光パワーをフィルタリングし、焦点外光を低減させる。
【００１５】
様々な関連する態様において、イメージング装置は光学スリットをさらに含む。光学スリットは、画像化された１つ以上の異なる領域におけるラインに、放射、反射、透過、または散乱された光をフィルタリングすることができる。例えば、イメージング分光計は、マルチモードレーザーダイオードの速軸および遅軸と位置合わせされた光学スリットを含むことができ、この光学スリットは、放出された光をフィルタリングし、そして焦点外光を低減する。光学スリットは任意に調整することができる。一例として、制御は、イメージ装置の画像モードと露光時間とに基づいて光学スリットの幅を制御することができる。さらに、イメージング分光計は、いくつかの態様では、複数のスリットを含む。複数のスリットは、光路に沿って配置されて、画像化された１つ以上の異なる領域でラインに放射、反射、透過、または散乱された光をフィルタリングする。
【００１６】
イメージング装置は、上述のように、光学系および処理回路などの様々な任意の構成要素を含むことができる。例えば、光学系は、マルチモードレーザーダイオードからの供給された光パワーを照明ラインに集束させ、その照明ラインを分子サンプルに供給する少なくとも１つの光学素子を含む。処理回路は、分子サンプル中に存在する発光体、吸収体、および／または散乱体の定量化を表すデータを生成することができる。
【００１７】
様々な態様は、分子サンプルの異なる部分において、光源によって照明ラインに放出された光をフィルタリングするために使用されるイメージング装置を対象とする。例えば、装置は、光源配置、イメージング分光計、画像センサ、および制御回路を含む。光源配置は、分子サンプルに複数の照明ラインを供給するための光パワーを生成する少なくとも１つの光源を有する。少なくとも１つの光源の光パワーの生成に応答して、イメージング分光計は、複数の照明ラインによって照らされた分子サンプルから放出された光を複数の異なる成分波長に分離する。イメージング分光計は、さらに、分子サンプルの異なる部分において、照明ラインに放出された光をフィルタリングすることができる。様々な態様において、イメージング分光計は、放射、反射、透過、または散乱された光をフィルタリングする光学スリットを含む。他の関連する態様では、光源配置は複数の光源を含み、複数の光源のうちの少なくとも２つは重ならない組の波長を有する。回路を含む画像センサは、複数の異なる成分波長に対応する分子サンプルから光路に沿って放出された光を収集する。そして、制御回路は、画像センサと共に配置され、イメージング分光計と画像センサおよび／または発光源との位置合わせを維持しながら、画像センサに分子サンプルを走査させることによって分子サンプルを走査し、複数の異なる成分波長に対応して放出された光から分子サンプルのハイパースペクトル画像データを収集する。そして、特定の実施形態では、それにより、他の方法で取得可能または達成可能な分子サンプルの画像のデータ取得速度を、改善または最適化する。
【００１８】
いくつかの特定の態様では、イメージング分光計は、画像化された１つ以上の異なる領域でラインに放射、反射、透過、または散乱された光をフィルタリングするために使用される複数の光学スリットを含む。例えば、光源配置は、複数の光学スリットごとに１組の光源および／または複数の光学スリットごとに２つの光源を含むことができる。他の態様では、イメージング装置は、複数の画像センサを含み、各画像センサは、複数の光学スリットのうちの１つおよび／または複数の光学スリットの１組とともに構成および配置される。他の態様では、光源配置は複数の光源を含み、複数の光源のうちの少なくとも２つは重複しない組の波長を有する。
【００１９】
様々な実施形態は、高スループットのハイパースペクトルイメージングを実行するために使用され、光源と、イメージング分光計と、画像センサと、制御回路とを含むイメージング装置を対象とする。光源は、蛍光イメージングのために、分子サンプルに少なくとも１００ミリワット（ｍＷ）の光パワーを供給するのに十分なパワーを生成することができる。光源から放射された光は、励起光路を伝って進み、分子サンプルの少なくとも一領域を照らすことができる。光源が少なくとも１００ｍＷの光パワーを生成するのに応答して、分子サンプルから放出された光は発光光路に沿って進むことができる。イメージング分光計は、光パワーによって照らされた分子サンプルの領域から放出された光を複数の異なる成分波長に分離することができる。回路を含む画像センサは、複数の異なる成分波長に対応する、分子サンプルの領域からの光路に沿って放出された光を集めることができる。制御回路は、分子サンプルを走査するために、画像センサと共に配置される。制御回路は、サンプルの領域を走査しながら、同じ領域または別の領域でオートフォーカスを実行するのに用いることができる。いくつかの態様では、制御回路は、イメージング分光計と画像センサおよび／またはその領域からの発光源とを位置合わせしながら、かつオンザフライで走査の間にその領域のまたはその領域の後に走査される生体領域の別の領域の深さ位置を決定（オートフォーカス）しながら、画像センサに分子サンプルの領域を走査させ、そして分子サンプルを深さ位置に移動させて光路の有効長を変更し、そこで分子サンプルのその領域または別の領域に対する焦点面の質を向上させる、動作を繰り返し実行することにより、分子サンプルを走査する。制御回路は、分子サンプルの続く領域に対して動作を繰り返すことができる。
【００２０】
いくつかの態様では、制御回路は、画像センサに分子サンプルの複数の領域の領域を走査させながら、同時に複数の領域におけるその領域および／または別の領域に対する最適焦点面を決定し、そして領域またはその一部を走査した後などに、分子サンプルを深さ位置に移動させることにより、分子サンプルを走査する。関連する態様では、イメージング装置は、光源により放射された光プロファイルを、その幅に沿って拡大し照明ラインを生成する少なくとも１つの光学素子を含む光学系をさらに含む。光学系は、任意に照明ラインを含むことができる分子サンプルから放出された光をイメージング分光計に伝達する光学対物レンズを含むことができる。イメージング分光計は、光源から放射、反射、透過、または散乱された光を、画像化された１つ以上の異なる領域のラインにフィルタリングする光学スリットを含むことができる。
【００２１】
関連する態様では、オートフォーカスは、傾斜およびオートフォーカス制御回路を有する別の画像センサを使用して実行することができる。例えば、傾斜した画像センサは、複数のラインを収集することができ、複数の線のそれぞれは、イメージング装置の像面から離れた異なるｚ距離である。制御回路は、複数の線を使用することによって分子サンプルのその領域または他の領域に対する最適焦点面を決定することができる。傾斜は、複数の異なる撮像距離を生じさせ、それにより画像センサを像面から異なるｚ距離とすることができる。
【００２２】
他の代替および関連する態様では、分子サンプルを保持する基板は、光源の放射経路とは反対側の表面に反射コーティングを有し、これは最適焦点面を決定するために使用される。反射コーティングは、イメージングスペクトル領域外で反射性であり、イメージングスペクトル領域内で透過性であることができる。関連する態様では、イメージング装置は、イメージングスペクトル領域外で光パワーを生成し、基板に伝達する別の光源をさらに含む。
【００２３】
特定の態様では、画像センサは、イメージング分光計により各成分波長について分子サンプルの領域において分離された複数の異なる成分波長を、フレームレートで、かつ分子サンプル中の少なくとも４つのラベルの間を識別するのに十分な光量で、収集することができる。イメージング装置は、処理回路をさらに含むことができる。処理回路は、ハイパースペクトル画像データを並行して処理することができ、当該処理は、収集された複数の異なる成分波長に対応して放出された光から分子サンプルのハイパースペクトル画像データを収集することと、ハイパースペクトル画像データを分子サンプル中に存在する発光体、吸収体、および／または散乱体の定量化を表すデータに変換することを含む。
【００２４】
多くの態様では、イメージング装置は、オートフォーカス制御回路と、円筒レンズまたはミラーと、追加の画像センサとをさらに含む。分子サンプルから放出された光は、分割され、２つの異なる光路に沿ってオートフォーカス制御回路と分光計の両方に伝達される。円筒レンズまたはミラーは、放出された光の幅を広げ、放出された光を追加の画像センサに伝達するために用いられる。追加の画像センサは、画像センサへの光路が変化するように、機械的または光学的に傾いている。例えば、追加の画像センサ上の各列は、放出された光を異なるｚ平面上に結像することができる。追加の画像センサは、分子サンプル内の線を表す複数の線を画像センサに収集し、追加の画像センサの複数の線のそれぞれは、像面から異なるｚ距離である。焦点距離を最大にするｚ平面が特定され、分子サンプルのｚ位置を調整するためにステージにフィードバックされ得る。他の実施形態では、オートフォーカスは、分子サンプルを保持する基板上に配置された反射フィルムを使用して行われる。追加的および／または代替的に、制御回路は、画像センサから測定されたピーク信号を閾値飽和範囲内に維持することによって、オンザフライ照明制御を実行することができる。
【００２５】
上記の説明／要約は、本開示の各実施形態またはあらゆる実装例を説明することを意図していない。以下の図および詳細な説明もまた、様々な実施形態を例示する。
【００２６】
様々な例示的な実施形態は、添付の図面と関連して以下の詳細な説明を考慮することでより完全に理解され得る。
【図面の簡単な説明】
【００２７】
【図１Ａ−１Ｅ】本開示の実施形態に係る、ハイパースペクトル画像を生成する装置の例を示す図である。
【図２Ａ−２Ｂ】本開示の実施形態に係る、装置のマルチモードレーザーダイオードの軸を示す図である。
【図２Ｃ−２Ｄ】本開示の実施形態に係る、マルチモードレーザーダイオードのマルチモードの例、および照明を較正する装置の一連の動作の一例を示す図である。
【図３】本開示の実施形態に係る、回折格子の効率の説明図である。
【図４】本開示の実施形態に係る、イメージング装置のイメージング分光計からの光のグラフの一例を示す図である。
【図５Ａ−５Ｂ】本開示の実施形態に係る、装置を使用する走査パターンの異なる例を示す図である。
【図６】本開示の実施形態に係る、ハイパースペクトル画像を生成する装置のオートフォーカス構成要素の一例を示す図である。
【図７】本開示の実施形態に係る、ハイパースペクトル画像を生成する装置のオートフォーカス構成要素の一例を示す図である。
【図８】本開示の実施形態に係る、図１Ａと一致する方法で実装されるタイプの装置の例示的な一連の動作を示すフローチャートである。
【図９Ａ−９Ｂ】本開示の実施形態に係る、装置によって補正された歪みの例を示す図である。
【図１０】本開示の実施形態に係る、オーバーサンプリングの説明を示すグラフである。
【図１１Ａ−１１Ｆ】本開示の実施形態に係る、光源の不均一な照明パターンに基づいてハイパースペクトルデータを較正するプロセスの一例を示す図である。
【図１２Ａ】本開示の実施形態に係る、イメージング装置によって実行されるデータ処理の一例を示す。
【図１２Ｂ】本開示の実施形態に係る、ノイズの存在下における蛍光ラベルのスペクトルの一例を示す図である。
【図１２Ｃ】本開示の実施形態に係る、ノイズが低減または除去されたときの蛍光ラベルのスペクトルの一例を示す図である。
【図１２Ｄ−１２Ｈ】本開示の実施形態に係る、ノイズの影響を除去または低減する方法の一例を示す図である。
【図１３Ａ】本開示の実施形態に係る、ハイパースペクトル画像を生成する装置の一例である。
【図１３Ｂ】本開示の実施形態に係る、ハイパースペクトル画像を生成する装置の一例である。
【図１４】本開示の実施形態に係る、分子サンプルの多重化画像を生成するプロセスの一例を示す。
【図１５】本開示の実施形態に係る、二成分プリズムの一例を示す図である。
【図１６Ａ−１６Ｂ】本開示の実施形態に係る、複数のスリットを有する光学スリットの一例を示す図である。
【図１７Ａ−１７Ｂ】本開示の実施形態に係る、調整可能な光学スリットの一例を示す図である。
【図１８】本開示の実施形態に係る、イメージング装置の他の構成を示す図である。
【図１９Ａ−１９Ｃ】本開示の実施形態に係る、ピクセルの飽和およびその補正の例を示す図である。
【図２０Ａ−２０Ｂ】本開示の実施形態に係る、ハイパースペクトル画像データを生成するプロセスの一例を示す図である。
【図２１Ａ−２１Ｄ】本開示の実施の形態に係る、高速および高スループットのイメージング装置の構成の一例を示す図である。
【図２２】本開示の実施形態に係る、ハイパースペクトル画像を生成する装置の一例である。
【図２３】本開示の実施形態に係る、ハイパースペクトル画像を生成する装置の分光計の一例を示す図である。
【図２４】本開示の実施形態に係る、蛍光団でラベルされている分子サンプル内のターゲットの一例を示す。
【図２５Ａ−２５Ｅ】本開示の実施形態に係る、図２４により示される発蛍団の装置の光源による励起の一例を示す図である。
【発明を実施するための形態】
【００２８】
本明細書に記載される様々な実施形態は、設計変更および代替形態に適し、それらの態様は、例として図面に示されており、詳細に説明される。しかしながら、その意図は、開示を記載された特定の実施形態に限定することではないことが理解されるべきである。寧ろ、その意図は、特許請求の範囲に規定された態様を含む本開示の範囲内に含まれるすべての設計変更、均等形態、および代替形態を網羅することである。さらに、本願を通して使用される「例」という用語は例示のためだけのものであり、限定的なものではない。
【００２９】
本開示の態様は、分子サンプルのハイパースペクトル画像の生成を含む様々な異なる種類の装置、システム、および方法に適用可能である。特定の実施態様では、本開示の態様は、複数の光源を、同時にまたは連続的に使用して分子サンプルを照らし、ハイパースペクトル画像を生成するという状況で使用するときに有益であることが示されている。必ずしもそのように限定されるわけではないが、例示的な状況を使用する非限定的な例に関する以下の説明を通して様々な態様が理解され得る。
【００３０】
したがって、以下の説明では、本明細書に提示された特定の例を説明するために様々な特定の詳細が記載される。しかしながら、当業者には明らかなように、１つまたは複数の他の例および／またはこれらの例の変形は、以下に与えられる全ての具体的な詳細なしに実施されてもよい。他の例では、本明細書の実施例の説明を曖昧にしないために、周知の特徴は詳細には説明されていない。説明を容易にするために、異なる図において同じ要素または同じ要素の追加例を指すために同じ参照番号を使用することがある。また、場合によっては態様および特徴を個々の図に記載することがあるが、組み合わせが明示的に示されていない、または明示的に組み合わせとして示されていたとしても、１つの図または実施形態からの特徴を、別の図または実施形態の特徴と組み合わせることができる。
【００３１】
様々な実施形態は、ハイパースペクトルイメージングおよびその装置を対象とする。ハイパースペクトルイメージングは、サンプル中の各点について比較的多数の波長（数十または数百の波長）で電磁スペクトルの一部の情報を収集し処理することを指すまたは含む。前述のように、複数のタンパク質、核酸、または他の細胞構造（例えば、検体）を並行に分析するための潜在的な用途が増え続けている。本開示によるハイパースペクトルイメージングは、分子サンプル中の４つを超える検体を同時に撮像するために使用することができる。分子サンプルのハイパースペクトル画像を生成するために、取得されるデータ点の総数は、サンプル中の各点について数個の波長を取得する従来のイメージングよりも著しく多い。例えば、標準的な組織スライド（１５ｍｍ×１５ｍｍ）を撮像する場合、２０倍の顕微鏡対物レンズおよびサンプル点当たり９６波長を使用してサンプルのハイパースペクトル画像を生成するために、１２６０億のデータ点が得られる。さらに、複数の検体は、スペクトルの重なりを有し得る蛍光団または他のラベルを使用して分析され得る。スペクトルの重なりのために、観察された信号が、所望の蛍光団から生じたものか、またはその発光スペクトルが所望の蛍光団と重なった蛍光団から生じたものかを区別するために、スペクトルイメージング技術を使用することができる。スペクトルイメージング技術は、分子サンプル中の各空間点について多数の波長測定結果を取得すること、およびそれらのデータ点を使用して、スペクトル非混合またはスペクトル分解と呼ばれる処理でスペクトルの重なりを緩和することを含み得る。この処理において、波長測定結果（例えば、スペクトルデータ）はラベル定量化に変換される。生物医学的研究および医薬などの用途に対してハイパースペクトルイメージングを実用化するために、ハイパースペクトルイメージング装置のデータ取得速度を増加させることが不可欠になる。
【００３２】
本開示によるイメージング装置は、分子サンプルの高スループット、高多重化、および高分解能イメージングを実行することができる。様々な実施形態は、毎分１２０億以上のデータ点を取得することができ、１０分で全サンプルを撮像することができるハイパースペクトルイメージングシステムを対象とする。例示的なハイパースペクトルイメージング装置は、毎秒２億４０００万のスペクトルデータ点、または毎分１４０億のデータ点の速度でスペクトルデータを取得することができる。さらに、イメージング装置を拡張して毎秒９億６０００万のスペクトルデータ点まで取得し、さらに高い多重化および／またはサンプルイメージング速度を得ることが可能である。
【００３３】
分解能、速度、および多重化機能を達成するために、本開示によるイメージング装置は、様々な機能を含む、および／または様々な処理を実行することができる。例えば、装置の光源（通常５００ｍＷの出力）から放射された光は、放射された光をラインに集束させることによってサンプルにわたって平行化することができ、それによってサンプル内の各点は、撮像に十分な光で照らされ、システム全体の光スループットを１２〜５０倍向上させる。装置は、大きなサンプルを撮像するときに、画像センサによって収集される信号を最大にし、イメージング装置がデータを能動的に取得していない時間を最小にするために、複数の波長範囲にわたる光を透過効率で同時に集めることができる。さらに、機器がサンプルを撮像していない時間を最小にするために、オートフォーカスを撮像と並行して実行することができる。さらに、画像センサによって取得された生ハイパースペクトルデータは、データをラベル定量化データに変換するために並行して処理することができ、それはデータ取得および処理速度を改善し、したがって、例えば、一つの実施形態では毎秒２億４０００万〜９億６０００万データ点の速度でデータを変換するが、実施形態はそのように限定されず、様々な速度を含むことができる。
【００３４】
サンプル中の１点当たりに対して取得する波長の数が固定されている場合、データ取得速度を上げるには、いくつかの要因を考慮することができる。そのような要因としては、サンプルを照らす光のパワー密度、イメージング装置内の光学系の透過、収集、および反射効率、および／またはサンプルから光を収集している画像センサのフレームレートを含む。オートフォーカスまたは撮像される次の領域への移動に対して、画像センサが能動的に撮像している総走査時間の割合を増加させることもまた適切である。様々な実施形態では、イメージング後処理パイプラインは、上記の要因によって決定される取得レートで入力されるデータを処理することができる。
【００３５】
イメージング装置の速度は、光源の出力、画像センサのフレームレート、および処理回路の転送または記憶速度に依存し得る。特定の実施形態では、装置は、２００ｍＷ〜６Ｗの出力で分子サンプルを照らすことができ、１００フレーム毎秒（ＦＰＳ：ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）〜４０００ＦＰＳの間のフレームレートで画像データを取り込むことができ、毎秒２５０ＭＢ〜１ＧＢの間の速度で画像データを転送および／または保存することができる高速高出力ハイパースペクトル顕微鏡である。例えば、本明細書でさらに説明されるように、上記の走査速度を達成するのに十分な光を提供する高出力光源を使用することができる。光学系は、少なくとも１つの光源を介して放射された光プロファイルをその幅に沿って成形して、照明ラインを生成することができる。
【００３６】
様々な実施形態はイメージング装置を対象とする。イメージング装置は、光源と、イメージング分光計と、画像センサと、制御回路とを含む。光源は、分子サンプルに少なくとも１００ミリワット（ｍＷ）の光パワーを供給するのに十分な出力を生成することができる。分子サンプルから放出された光は、サンプルからイメージング分光計、そして次に画像センサへの光路に沿って進むことができる。イメージング分光計は、光パワーによって照射された分子サンプルの領域から放出された光を複数の異なる成分波長に分離する。画像センサは、分子サンプルの領域から光路に沿う、複数の異なる成分波長に対応して放出された光を収集することができる。制御回路は、サンプルの領域を走査しながら、同じまたは別の領域上でオートフォーカスを実行するために使用される。特定の例では、制御回路は、イメージング分光計と画像センサおよび／または発光源と位置合わせを維持しながら、かつオンザフライで走査の間にその領域の後に走査される生体領域の領域または別の領域の深さ位置を決定しながら、画像センサに分子サンプルの領域を走査させ、第２のステップにおいて分子サンプルを深さ位置に移動させて光路の有効長を変更することによって、分子サンプルを走査させ、そこで分子サンプルのその領域および／または他の領域についての焦点面の質を改善する。制御回路は、分子サンプルの続く領域に対して上記の動作を繰り返すことができる。次の撮像面の位置は、現在の画像領域（例えば、撮像ストリップ）および／または既に撮像されている以前の画像領域（例えば、隣接ストリップ）上で取得された最近のデータ点を用いた推定法によって決定され得る。ストリップとは、照明ラインに対して垂直にサンプルを一回通過させることを指すまたは含む。走査中に照明ラインに沿って複数のピクセルが取得されるので、ストリップは典型的なラスタ走査における行とは異なり得る。
【００３７】
様々な実施形態において、ハイパースペクトルイメージングシステムは、蛍光イメージングに使用することができる。より具体的には、このシステムは、ハイパースペクトルライン走査型イメージング装置、または代替的に、ステアリング装置を含むことができる。例えば、ハイパースペクトルライン走査型イメージング装置は、１つ以上の光源と、１つ以上の光源からの光を１つ以上の蛍光ラベルを有する分子サンプルを照らすラインに集束させる一連の光学系とを含み得る。照明ラインからの照明は、これらの蛍光ラベルに蛍光を発光し、蛍光は結像レンズ（例えば、顕微鏡対物レンズ）によって集められ、そしてイメージング分光計に送達される。次いで、イメージング分光計は、照明ラインをその成分波長に分離し、画像センサに送る。
【００３８】
特定の実施形態では、サンプルを照らす光のパワー密度は、与えられた露光時間中に画像センサによって収集された蛍光信号がノイズ閾値を上回る一方で画像センサの飽和限界を下回る程度に十分に大きいものである。パワー密度の量は少なくとも１００ｍＷの光パワーを含み得る。いくつかの特定の実施形態では、１つ以上の光源による出力は１００ｍＷから６Ｗの間であり得る。その照明ラインの出力密度が増加すると、より短い露光時間で同じ画像が取得され、それにより装置が毎秒走査できるサンプル点の数が増加する。さらに、光は、未使用の光を軽減するために、イメージング分光計により撮像されている幅に一致させることができる。イメージング分光計によって収集された光よりも広い領域を光が照らす場合、（１）イメージングに利用可能な光が少なくなり、（２）撮像されていないサンプルはイメージングのための光を提供する利点なしに光退色を受ける。
【００３９】
高出力光源の使用を例示するために、２０ｍＷオーダーの出力を有するレーザーでサンプルの各点を撮像するポイント走査（共焦点）顕微鏡の一例は、毎秒１０００万サンプル点の走査速度で撮像し、検出のために４つの光検出器を有する。各サンプル点は２ｎＪのエネルギーによって照らされ、発光した蛍光信号は４つの光検出器の間で分割される。比較すると、様々な実施形態によるハイパースペクトルライン走査装置は、毎秒２００万サンプル点の走査速度を有し、蛍光信号はサンプル点毎に９６のスペクトルデータ点の間で分割される。これらのスペクトルデータ点のそれぞれについて十分なＳＮ比を達成するために、光源の出力は少なくとも５倍、またはこの例では１００ｍＷ大きい。サンプル中の様々なラベルの濃度が低い場合があることを考えると、１００ｍＷを超える最大出力を有する光源を有することは有益であり得る。様々な実施形態では、０．５以下の負荷サイクルで光源をパルス駆動することによって被写体ブレを低減すること、または（本明細書でさらに説明されるように）画像センサ上の関心領域の縮小を用いてサンプルイメージング速度を上げることが有益であり得る。
【００４０】
イメージング装置は、分子サンプルのプッシュブルームおよび／またはステアリングイメージングに使用することができる。イメージング装置は、少なくとも１つの光源を有する光源配置を用いて分子サンプルを走査するように構成された光学対物レンズおよび制御回路を含む。光源配置は、発光ダイオード（ＬＥＤ）、レーザー、およびシングルモードおよび／またはマルチモードレーザーダイオードなどのランプ、ならびにそれらの様々な組み合わせを含むことができる。光源配置は１つ以上の光線を放射し、２つ以上の光線は異なる光強度で放射され得る。本明細書でさらに説明されるように、複数の光源は、それぞれ、不均一な強度で少なくとも１つの光線を放射することができる。各光源は、例えば２００ｍＷ〜６Ｗの（レーザー）光パワーを放射するなど、比較的高出力であり得る。
【００４１】
特定の実施形態では、装置はステージを含む。ステージは、走査のために分子サンプルを保持する。ステージ、光学対物レンズ、および／または他の装備は、光学対物レンズに対する分子サンプルの位置を制御するために動かされ得る。特定の実施形態では、ステージは、常に移動して分子サンプル全体を走査、ステージの加速および減速に関連するデッドタイムを回避する。ステージを常に動かすことは、サンプルの走査にかかる時間を最小限に抑えることができる。例えば、撮像装置は、２．２分で９ウェルのマイクロタイタープレートを撮像、８．８分で３８４ウェルのプレートを撮像、および／または３．２分で顕微鏡スライドの１５ｍｍ×１５ｍｍ領域を撮像するために使用することができる。分子サンプルの種類（例えば、スライド、マイクロアレイ、組織アレイ）に応じて、本明細書でさらに説明するように、異なる特定の走査パターンを使用することができる。あるいは、光線は、ステージの代わりにおよび／またはステージに加えて移動することができる。
【００４２】
光源（または複数の光源）からの光は、分子サンプルを照らし、分子サンプルから放出された光が収集される。放出された光は、光源によるラベル（例えば、蛍光団）の励起に対して反応するまたはそれを示すものである。前述のように、ラベルは、光を放射する（例えば発光体）、吸収する（例えば吸収体）、および／または散乱する（例えば散乱体）サンプル中に存在する物体を含むことができる。ラベルは、光源配置による励起、または分子サンプル中に存在するかまたは分子サンプルに添加され得る別の起源による励起（例えば、化学反応、生化学反応、電気化学反応）に応答して発光、吸収、または散乱することができる。様々な実施形態は、例えば、フォトルミネッセンス用途（例えば、蛍光、リン光、またはラマン発光）、化学発光用途、および他の発光用途を対象とする。
【００４３】
イメージング装置は、分子サンプルから画像センサへの発光光路を有する。この経路は、イメージング分光計、ビームスプリッタ、および／またはミラーなど、サンプルから放出された光を画像センサに向ける様々な異なる構成要素を含むことができる。イメージング分光計は、分子サンプルから放出された光を複数の異なる成分波長に分離する。成分波長は、異なる波長範囲を含むおよび／またはそれを示し、ラベル（例えば、蛍光団）のスペクトル強度を表すことができる。特定の実施形態では、イメージング分光計は、プリズムと１つ以上のレンズ（例えばレンズ−プリズム−レンズ系）を含む。他の実施形態では、イメージング分光計は、回折格子および／または当業者によって理解され得る他の構成要素を含む。他の実施形態では、イメージング分光計は、干渉計またはフーリエ変換スペクトルイメージングの場合のように光を分離する他の手段を含む。
【００４４】
イメージング分光計は、任意の光学スリットを含むことができる。光学スリットは、分子サンプルから放射、反射、透過、または散乱された光を、撮像された１つ以上の領域（たとえば、撮像されたサンプルの領域および/または光の領域）で１つ以上のラインにフィルタリングし、焦点外光を低減させる。次いで、照明ラインから放出された光は、イメージング分光計の他の構成要素（例えば、プリズム）に供給されて、照明ラインに応答して放出された光を成分波長に分離する。
【００４５】
光学スリットは、様々な方法で光をフィルタリングすることができる。いくつかの実施形態では、光学スリットは、光学系（例えば、結像光学系）と共に、放射、反射、透過、または散乱された光をフィルタリングすることができる。例えば、光学スリットは、光を空間的にフィルタリングし、分子サンプルの好ましいラインからの光を優先的に集めることができる（例えば、横方向および縦方向に隣接する領域からの光、すなわち焦点外光を減少させる）。他の実施形態では、光学スリットは、イメージング分光計と共に、光源から放出、反射、透過、または散乱された光をフィルタリングすることができる。例えば、光学スリットは、光を画像センサ上の異なる波長位置にフィルタリングすることができる。様々な実施形態では、イメージング装置は、１つの光学スリットを含み、他の実施形態では複数の光学スリットを含む。光学スリットまたは複数の光学スリットのそれぞれは、撮像された１つの領域または撮像された複数の異なる領域に光をフィルタリングすることができる。
【００４６】
光学スリットは、調整可能な光学スリットとすることができる。例えば、光学スリットの幅は、イメージング装置の制御回路によって（および／または手動で）制御することができる。光学スリットの幅は、分子サンプル中の関心領域の寸法、画像モード、および使用される露光時間に基づいて調整することができる。スリットの幅は、空間分解能またはスペクトル分解能を含み、分子サンプル中の対象物質を認識するのに十分な光量を提供するように制御される。制御回路は、異なる関心領域、対象を認識するためのＳＮ値、画像モード、および露光時間を含むルックアップテーブルを含むまたはそれを利用することができ、使用するスリットの幅を決定または出力するために使用できる。さらに、本明細書でさらに説明するように、光学スリットは複数の光学スリットを含むことができる。
【００４７】
イメージング装置は、画像センサをさらに備える。例示的な画像センサは、他の例示的な画像センサの中でも、相補型金属酸化膜半導体（ＣＭＯＳ）エリア画像センサ、数ピクセル幅のラインセンサ、電荷結合素子（ＣＣＤ）ベースのセンサを含む。画像センサは、関心領域内の複数の異なる成分波長を収集する。いくつかの特定の例では、関心領域は、別個のラインから形成された異なる領域を含むことができる。例えば、各別個のラインは、分子サンプル中の同じラインを表すが異なる波長にある（例えば、第１のラインは４００〜４０５ｎｍであり、第２のラインは４０５〜４１０ｎｍであるなど）。特定の例では、関心領域は、それぞれ空間方向およびスペクトル方向に対応する２０４８×６０ピクセルを含むことができる。センサ全体を使って（そして余分なデータを捨てて）撮像する代わりに、関心領域をフル解像度から縮小して、速度を１桁以上向上させることができる。（例えば、２０４８×１５３６のフル解像度から２０４８×６０ピクセルまで）縮小された関心領域を使用することにより、特定の実施形態では、イメージング装置を使用して１，５００フレーム毎秒以上の速度で撮像することができる。そのような速度でのイメージングは、十分な光を提供するために比較的高出力の光源（例えば、マルチモードレーザーダイオードおよび／または２００ｍＷ〜６Ｗの出力で放射する他の光源）によって得ることができる。
【００４８】
収集された成分波長は処理回路に供給される（例えば転送される）。処理回路は、制御回路および／またはイメージング装置の一部であるかまたは別体であり得る。いくつかの実施形態では、処理回路は、制御回路の一部である回路と、制御回路の外部にあり制御回路と通信する他の回路（別の装置の一部であり得る）とを含む。処理回路を使用して、制御回路と並行して、収集した画像データに対して様々な処理を実行し、分子サンプル中に存在する蛍光体、吸収体、および／または散乱体の定量化を表すデータを生成することができる。処理回路は、例えば関心領域と重なる収集した成分波長（例えば、異なる別個のライン）をつなぎ合わせることによって、収集された複数の異なる成分波長から分子サンプルのハイパースペクトル画像を生成することができる。
【００４９】
光源の出力を増加させることは、データ取得速度を向上させるために使用され得る。高出力ダイオード励起固体レーザー、高出力発光ダイオード（ＬＥＤ）、およびスーパールミネセントダイオードを使用するなど、これを達成するために使用できるいくつかの可能な方法がある。いくつかの特定の実施形態では、マルチモードレーザーダイオードを光源として、そして生体イメージングのために使用することができる。その光を狭いラインに集束させるための適切なビーム成形光学系と組み合わせて、イメージング装置は、１ｍｓ以下のオーダーの露光時間で、多種多様な蛍光サンプルのライン毎のイメージングを実行することができる。
【００５０】
様々な実施形態は、光源としてマルチモードレーザーダイオードと、イメージング分光計と、画像センサと、制御回路とを含むイメージング装置を対象としている。マルチモードレーザーダイオードは、分子サンプルに供給する光パワーを生成する。マルチモードレーザーダイオードの光パワーの生成に応答して、イメージング分光計は、光パワーにより照らされた分子サンプルから放出された光を複数の異なる成分波長に分離する。画像センサは、複数の異なる成分波長に対応する光路に沿って放出された光を収集する。制御回路は、イメージング分光計と画像センサおよび／または発光源（例えば照明ライン）との位置合わせを維持しながら、画像センサに分子サンプルを走査させることによって、分子サンプルを走査するように画像センサと共に構成され、収集された複数の異なる成分波長に対応した放出された光から、分子サンプルのハイパースペクトル画像データを収集する。
【００５１】
ラインイメージングでは、イメージング分光計の光学スリット上に撮像された領域の外側にある光は使用されないかまたは無駄にされ：（１）無駄な照明による効率の低下および（２）無駄な光が有用な信号を提供するという利点なしに光退色をもたらしているので、過剰なサンプル劣化が起こる、という２つの問題をもたらす。様々な実施形態において、光源は、無駄な光に関連するこれら２つの問題を回避するために回折限界に近い照明を提供する。いくつかの実施形態では、ダイオードレーザーは、効率的、低コスト、およびコンパクトであり得るので、光源として使用される。より具体的な実施形態では、より高い出力（１Ｗオーダー）を提供するマルチモードダイオードレーザーを使用することができるが、これらのダイオードのマルチモード特性は、ビームを回折限界のスポットに集束させることを妨げる。これとは対照的に、シングルモードダイオードレーザーは、一般に１００ｍＷ未満の出力を供給する。そのため、ダイオードレーザーには、パワーと回折限界性能との間にはトレードオフがあり、回折限界性能が必要とされる場合、高出力マルチモードレーザーは使用され得ない。マルチモードレーザーは、遅軸と呼ばれる一方向のみでは性能が良くない。遅軸では、マルチモードレーザーは複数のレーザービームを放射しているように動作する。その結果、マルチモードレーザーダイオードは、遅軸におけるビーム品質が悪くなり、回折限界点に集束させることができない。
【００５２】
ハイパースペクトルライン走査装置は、照明ラインに垂直な一方向に良好な焦点を使用する。マルチモードレーザーを使用して、速軸において回折限界に近い性能を提供することができる。特定の実施形態では、次に、レーザーは、最高性能および最小の無駄な光を達成するために、速軸が照明ラインに対して垂直になるように向けられる。使用可能な市販のレーザーの例には、Ｕｓｈｉｏ ＨＬ４００３３Ｇ Ｒ３（１０００ｍＷ出力、４０５ｎｍ波長）、およびＵｓｈｉｏ ＨＬ６３１９３ＭＧ（７００ｍＷ出力、６３８ｎｍ波長）が含まれる。これらはすべて高出力（７００ｍＷ〜１０００ｍＷ）を提供する。ただし、マルチモードレーザーのように、製造元の仕様書には、ビームが高速方向に回折限界であるかどうかは記載されていない。様々な実施形態では、４つのレーザーが試験され、ビーム品質が高速方向で回折限界近くであることが判明している。これにより、これらのレーザーは高速走査ハイパースペクトルイメージングシステムでの使用に適している。回折限界に近い速軸は、狭いラインを生成するために集束される。遅軸はうまく集束しないが、ラインの長さが光学スリット全体に及ぶため、結果に影響を与え得ない。実際、典型的には、円筒レンズが、遅れ方向のビームをさらに広げるために使用される。マルチモードレーザーダイオードの高出力は、ほぼ回折限界であり照明ラインの太さに対応する速軸を集束させることによって活用することができる。次に、照明ラインの長さに対応する遅軸が拡大される。このようにして、有用な光が最大化され、無駄な光が最小化される。
【００５３】
蛍光団（または他の種類のラベル）は、不均一な強度パターンを有する光源を使用して励起されるので、結果として生じるハイパースペクトル画像は、照明の変動を反映する（例えば、照明の変動を使用して生成される）。様々な実施形態において、処理回路は、複数の光源に起因する不均一な強度パターンを使用してハイパースペクトル画像の照明を較正することによって（例えば、不均一な強度パターンを使用して不均一な光強度を補正する）、分子サンプル中のラベルの定量化を表すデータを出力する。分子サンプル中のラベルの定量化を表すデータは、複数の異なる成分波長の測定したスペクトル強度を部分ラベル定量化（例えば、相対濃度）へ分解することによって生成および出力することができる。部分ラベル定量化は、照明を較正し、ラベル定量化を表すデータを生成するために使用される。例えば、処理回路は、不均一な強度パターンに基づいて複数の光源のパワーを調整することによって、ハイパースペクトル画像内の複数の異なる成分波長のスペクトル強度に対応するラベル強度を、ラベル定量化へ分解することができる。
【００５４】
多くの関連した特定の実施形態は、並行処理を実行することによってハイパースペクトル画像データを提供するために使用されるイメージング装置を対象としている。イメージング装置は、光源と、イメージング分光計と、画像センサと、制御回路と、処理パイプラインを実行する処理回路とを含む。光源は分子サンプルに供給する光パワーを生成し、光源の光パワーの生成に応答して、イメージング分光計は光パワーにより照らされた分子サンプルの１つ以上の領域から放出された光を複数の異なる成分波長に分離する。回路を含む画像センサは、複数の異なる成分波長に対応する光路に沿って放出された光を収集する。様々な実施形態において、画像センサは、少なくとも１０秒間、少なくとも毎秒１００，０００，０００波長ピクセル測定の速度で、データ搬送経路に沿って複数の異なる成分波長を示すデータを制御回路および処理回路に供給する。制御回路は、画像センサと共に配置され、イメージング分光計と画像センサおよび／または発光源との位置合わせを維持しながら、画像センサに分子サンプルの１つ以上の領域を走査させることによって分子サンプルを走査し、複数の異なる成分波長に対応して放出された光から２００〜１０００ｎｍの間の範囲の分子サンプルのハイパースペクトル画像データを収集する。処理回路は、ハイパースペクトル画像データを、分子サンプルの１つ以上の領域中に存在する発光体、吸収体、および／または散乱体の定量化を表すデータに変換することによって、画像処理パイプラインを実行する。特定の実施形態では、処理回路は、少なくとも毎秒１００，０００，０００波長ピクセル測定の速度で、画像処理パイプラインを実行することができる。例えば、処理回路は、データを並行処理することができ、複数の処理回路を含むことができる。
【００５５】
様々な実施形態は、分子サンプルの異なる部分において、光源から放射された光を照明ラインにフィルタリングするイメージング装置を対象とする。例えば、装置は、光源配置と、イメージング分光計と、画像センサと、制御回路とを含む。光源配置は、分子サンプルに複数の照明ラインを供給するための光パワーを生成する少なくとも１つの光源を有する。少なくとも１つの光源の光パワーの生成に応答して、イメージング分光計は、複数の照明ラインによって照らされた分子サンプルから放出された光を複数の異なる成分波長に分離する。イメージング分光計は、分子サンプルの異なる部分において、光源から放射された光を照明ラインにフィルタリングする。様々な実施形態において、イメージング分光計は、放出、反射、透過、または散乱された光をフィルタリングするための光学スリットを含む。他の実施形態では、光源配置は、複数の光源を含み、複数の光源のうちの少なくとも２つは重複しない組の波長を有する。画像センサは、複数の異なる成分波長に対応する分子サンプルからの光路に沿って放出された光を収集する。制御回路は、画像センサと共に配置され、イメージング分光計と画像センサおよび／または発光源との位置合わせを維持しながら、画像センサに分子サンプルを走査させることによって、分子サンプルを走査し、複数の異なる成分波長に対応して放出された光から分子サンプルのハイパースペクトル画像データを収集する。
【００５６】
様々な特定の実施形態では、イメージング装置は、オートフォーカス制御回路、円筒レンズまたはミラー、および／または機械的または光学的傾斜を有する追加の画像センサをさらに含むことができる。傾斜を有する追加の画像センサを使用して、それぞれが分子サンプル中の領域を表す複数のラインを収集することができる。追加の画像センサの傾斜は、複数のラインの各々を像面から異なるｚ距離にさせる。このようにして、分子サンプル中の同じ領域は、同時に複数のｚ平面上に効果的に結像される。イメージング装置が分子サンプルを横切って走査するので、ｚスタックは、垂直画像を用いて構築されるまたは他の方法で形成され、リアルタイムで焦点面を決定するために用いられる（例えば、サンプルのイメージング中にオートフォーカスが実行されるので、ｚスタックは余分な時間を使用して取得される必要はない）。連続するｚスタックは（例えば、２０４８×２０４８×１２０ピクセル）、焦点距離に基づいて焦点面を計算するために保持及び使用することができる。焦点面の識別に応答して、制御回路は、対物レンズに対する分子サンプルのｚ位置を調整してイメージング装置の焦点を合わせることができる。
【００５７】
特定の実装において、イメージング装置は、単一の分子サンプル中の複数の生体分子を分析するために使用され得る。そのような状況の具体例は、エキソソームの分析に存在する。エキソソームは、血液、唾液などのほとんどの体液に見られる細胞外小胞の一種である。研究によると、エキソソームは健康や病気の状態の信号伝達メカニズムに重要な役割を担う可能性がある。エキソソームはエンドソーム起源のものであり、したがってこの経路に関連するタンパク質（カーゴ）を運ぶ及び示す。エキソソームは、通常、起源の細胞または組織に関連するタンパク質および核酸（ｍＲＮＡ、ｍｉＲＮＡ、ＤＮＡ）カーゴも含む。エキソソームの構造は、タンパク質が小胞の表面に多く見られるのに対して、ＲＮＡが内側に見られるような構造である。タンパク質は分子の起源についての情報を運び、ＲＮＡは遺伝情報または制御情報を含む。タンパク質およびＲＮＡの組み合わせは、病状についての有用な診断情報を提供すると考えられている。様々な実施形態によれば、ハイパースペクトル顕微鏡などの装置を使用して、タンパク質とカーゴ（ＲＮＡ）を同時に分析することができる。さらに、複数の分子を分析する利益について再び言及すると、この使用はエキソソームに特に関連しており、なぜなら、これらの多くは与えられるサンプル中に通常存在するからである。本開示による装置は、多数の（例えば、エキソソームあたり４つ以上のラベル、いくつかの実施形態では１２以上の）エキソソームを同時に分析することができる。
【００５８】
他の具体例として、本開示におけるイメージング装置は、異なるラベルを同時に分析するために使用され得る。エキソソームおよび他の生体分子の分析は、抗体、アプタマー、ペプチドなどへの共役などにより、それぞれの種類が１種類の分子のみに結合するように操作された、異なる種類の蛍光団の使用を伴うことが多い。蛍光団またはラベルの例には、蛍光染料、蛍光ナノ粒子、および特定の周波数の照明下で蛍光を発する量子ドットが含まれる。結合および蛍光特性は、抗体、アプタマーなどにより標的とされる生体分子の同定に利用される。蛍光団は、適切な光学フィルタリングにより検出される特定の波長（例えば、波長範囲）で発光する。イメージング装置は、同時に複数の蛍光団を検出および測定するために使用することができる。
【００５９】
様々な具体例において、本開示におけるイメージング装置は、リアルタイムイメージングを実行するために使用され得る。様々な研究および診断分析が、リアルタイムイメージングから恩恵を受ける可能性がある。一例として、低侵襲手術中に、多数の分子を同時に監視することができる。これらの測定は、上記のような蛍光測定、または内因性もしくは外因性の発色団の反射もしくは透過吸収測定であり得る。分子は組織についてのより多くの情報を提供し、そして外科的処置を導くのに有用であり得る。本明細書に記載の実施形態によるイメージング装置は、高いフレームレート（例えば、１００ＦＰＳから４０００ＦＰＳ）で、複数の異なる波長（例えば、４つ以上、いくつかの実施形態では１２以上）を並行して分析するために使用することができる。従来のシステムは、数百以上の波長を使用して高いスペクトル範囲で情報を取得する傾向があるが、毎分１以下のオーダーのイメージングレートを有する、または固定波長フィルタを使用して高いフレームレートおよび低いスペクトル範囲（例えば、一握りの波長で３０フレーム毎秒以上のビデオレート）を有する。
【００６０】
次に、図面を参照すると、図１Ａ−１Ｄは、本開示に係るハイパースペクトル画像を生成するための例示的な装置を示す。装置は、分子サンプルの走査に使用されるイメージング装置であるまたはそれを含む。イメージング装置は、内部処理回路および外部処理回路を有する顕微鏡を含み得る。本明細書中で使用される場合、分子サンプルは、１つ以上の異なる分子を有するまたはそれから構成されるサンプルを含むまたはそれを示す。分子サンプルは、合成的に作成されたサンプル（例えば、合成的に作成された材料、組織、または細胞）、他の種類の液体（例えば、川または湖などの水源からのサンプル）および表面（例えば、表面から綿棒で採取する）からなど他のサンプル源における、例えば血液、尿、唾液および他の流体などの生物サンプル、細胞、組織切片、エキソソーム、タンパク質、遺伝物質、細菌、農業または食品材料、を含み得る。
【００６１】
様々な実施形態において、図１Ａ−１Ｄによって示される例示的な装置は、イメージング装置のスループットを向上させるために、１つ以上のレベルの並行化を提供するために使用することができる。並行化は、一連のデータの変換、データの処理、および／または複数スレッドのデータの物理現象、データの処理、および／または物理現象を含むまたはそれらを指す。本明細書でさらに説明するように、１つ以上の異なるレベルの並行化は、光源から放射された光を並行化すること、画像センサによって収集された光を並行化すること、および画像処理を並行化することを含むことができる。光源から放射された光を並行化することは、光源から放射された光、例えば光プロファイルを、領域内に、および／またはサンプルの複数の波長もしくはピクセルにわたって、広げることを含むまたはそれを示す。画像センサによって収集された光を並行化することは、複数の波長の光にわたって同時に、（例えば、画像センサによって）イメージング装置から出力された光を収集および／または記録することを含むまたはそれを示す。照明を並行化することは、複数の光源および／または複数の照明ラインを使用することを含む。イメージング処理を並行化することは、イメージング装置から出力された生画像データを、並行に、そして異なる処理リソースを使用して処理することを含むことができる。いくつかの特定の実施形態では、２つ以上、または３つ全部など、２つ以上のレベルの並行化が発生し得る。
【００６２】
図１Ａに示すように、イメージング装置は、光源１０６と、専用制御回路１１２と、イメージング分光計１０８と、画像センサ１１１と、光学対物レンズ１０４とを含む。光学対物レンズは、撮像されている物体からの光を集め、その光を集束させて画像を生成することができる光学システムを含むまたはそれを指す。例としては、レンズ、ガラスもしくはミラー、および／または様々なレンズ、ガラスもしくはミラーの組み合わせが挙げられる。様々な実施形態では、光学対物レンズ１０４は複数のレンズを含み、各レンズは光の経路内のその位置に応じて異なるフォーカス特性を有する。他の実施形態においておよび／またはそれに加えて、光学対物レンズ１０４は、分子サンプル１０２からの光を通過させる顕微鏡対物レンズまたはカメラレンズを含むことができる。通過した光は、発光、蛍光、りん光、吸収、または散乱を介して観察されるように、分子サンプル１０２によって透過、散乱、および／または反射され得る。いくつかの実施形態では、マシンビジョンに使用されるものなどのカメラレンズが使用される。多重分解能の光学系は、分子サンプル１０２の２回の走査を用いる用途にとって有益であり得る。第１の走査は、第１の分解能および分子サンプル１０２全体の走査を含み、第１の分解能よりも高い分解能および（サンプル全体よりも小さい）関心領域の第２以上の走査が続く。いくつかの実施形態では、光学対物レンズ１０４は、取り付けられた複数の顕微鏡レンズを有する対物レンズタレットの一部である。
【００６３】
光学対物レンズ１０４および制御回路は、分子サンプル１０２を走査するために光源１０６を使用する。光源１０６は、光としても知られる電磁スペクトルの特定の部分内の電磁放射線を放射する装置または構成要素を含むまたはそれを示す。光源１０６は、分子サンプル１０２を照らすために使用される光を放射し、本明細書では「励起光」と呼ぶ場合もある。光源によって放射される光の形状は、本明細書では「光プロファイル」と呼ばれる。本明細書では「発光」と呼ぶ場合がある、分子サンプル１０２から放出された光は、様々な構成要素（例えば、ミラー１１４、イメージング分光計１０８）を使用して放出される光の光路に沿って画像センサ１１１に送られる。光路は、光がイメージング装置を通って、またはそれによって伝達される経路を含むまたは示す。サンプルを照らすために使用される光は、光源から分子サンプルまでの経路を通過可能であり、「励起光」と呼ばれ「励起光路」に沿って伝達される。生体サンプルからイメージング分光計および画像センサに伝達される光路から放出された光は、「発光」と呼ばれ「発光光路」に沿って伝達される。光の吸収、反射、および／または散乱を測定するために使用されるイメージング、およびフォトルミネッセンス用途（例えば、蛍光、りん光、またはラマン放射）には、分子サンプル１０２の照明が有益である。ただし、化学発光および他の発光用途を対象とする用途は、光を発生させるために光源を使用しなくてもよいことを理解されたい。ランプ、発光ダイオード（ＬＥＤ）、およびレーザーなどの様々な異なる種類の光源を使用することができる。（高速）ハイパースペクトルイメージングには、レーザーが有益であり得、そして明視野イメージングの用途には、より長い寿命を提供するＬＥＤおよびより広いスペクトル帯域を提供する白熱灯など、ランプまたはＬＥＤが使用され得る。落射蛍光イメージングの場合、光源１０６は、分子サンプル１０２のイメージング分光計１０８と同じ側にあり、励起光および発光は単一のレンズまたは顕微鏡対物レンズを通過する。励起光と発光とを分離するために、ダイクロイックフィルタ１１６または他の手段が使用される。
【００６４】
図１Ａに示された光源１０６は、分子サンプル１０２のイメージング分光計１０８と同じ側にあるが、多くの場合、光源は、関連してさらに図２１Ａに図示および説明されるように、サンプルのイメージング分光計１０８と反対の側にある。
【００６５】
制御回路１１２は、出力、温度、および任意に光源１０６のパルスを制御するために使用することができる。様々な実施形態によれば、制御回路１１２（例えば、高速ＤＳＰなどのマイクロコンピュータ、ＣＰＵ、またはコンピュータ処理チップ、またはプログラマブル論理アレイ（ＰＬＡ）などの論理回路）は、様々な動作を実行する。例えば、様々な動作は、出力、温度、および任意に光源１０６のパルスの上述の制御を含む。本明細書中でさらに記載されるように、他の実施形態では、動作は、オンザフライで走査の間に、分子サンプルの領域および／または別の領域に関連する焦点面を決定し（およびサンプルを焦点面に移動させ）ながら、画像センサに分子サンプルの領域を走査させることを含む。本明細書では、オンザフライとは、イメージング装置が動作している間、または別の処理が進行している間に行われる処理を含むまたはそれを示す。特定の実施形態では、オンザフライは、領域を走査する処理の進行中に（例えば、リアルタイムまたはほぼリアルタイムで）、領域および／または他の領域の焦点面を決定することを指すことができる。リアルタイムとは、データがフィードバックとして利用可能であるように、閾値の時間量、例えば、数秒またはミリ秒内に、入力データを処理することを指すまたは含む。
【００６６】
出力は、画像センサ１１１が飽和することなく信号を記録することができるように、画像センサ１１１と直列になるように構成することができる。受動的または能動的冷却を使用して、イメージング処理全体を通して温度を一定に（例えば、閾値温度範囲内に）維持する。（画像センサ１１１の露光時間を変更することとは対照的に）光源１０６には、モーションブラーを低減するようにパルスをかけることができる。特定の実施形態では、光源は、それぞれ１００ｍＷ〜６Ｗの間の光パワーを出力することができる。他の特定の実施形態では、光源は、１２０ｍＷ〜６Ｗの光パワーまたは２００ｍＷ〜６Ｗの光パワーを出力する。光源１０６および／または複数の光源のそれぞれは、分子サンプル１０２に少なくとも１００ｍＷの光パワーを供給するのに十分な光パワーを出力する。
【００６７】
いくつかの実施形態では、出力パワー（例えば、光プロファイル）は、本明細書でさらに説明されるように、光学スリットを任意に含むことができる光学システムを使用して照明ラインに、分子サンプル１０２上に集束することができる。パワーを照明ラインに集束させることは、分子サンプル１０２の複数のピクセルにわたる出力パワーを効果的に平行化することができる。照明ラインは、分子サンプル上の光ラインを含むまたは示す。様々な実施形態において、照明ラインは、光源１０６によって放射されたそれぞれの光プロファイルから修正された光の形状である。例えば、光源から放射された光プロファイルは、幅または長さで複数のピクセルにわたる照明ラインに広がるように修正することができる。放射された光を照明ラインに集束させることによって、サンプル１０２内の各点は、イメージングのために十分な光で照らされ、かつより低出力の光源と比較して、装置の全体の光スループットを１２〜５０倍向上させる。例えば、光源１０６からの出力は、イメージングを依然として可能にしつつ、光を複数の空間ピクセルにわたって広げるのに十分な光を提供することができ、分子サンプル１０２に対する出力のリスクまたは影響を軽減することができる。
【００６８】
一例として、１００ｍＷ〜６Ｗの光パワーがサンプル中の単一の点に供給される場合、供給されたパワーは、光が一点に集束されるので分子サンプルの少なくとも一部を損傷または燃焼させる可能性がある。出力は、ピクセルの各点が総出力の一定の割合を受け取るように、分子サンプル１０２の多くの点またはピクセルにわたるライン、本明細書では「照明ライン」とも呼ぶ、に拡大または拡張することができる。他の実施形態では、制御回路１１２は、光源１０６が、閾値期間より短い間、異なる点で（総出力を使用して）光パワーを供給するように出力のアライメントを移動させることができ、サンプル１０２の損傷および／または燃焼を防止または軽減することができる。特定の実施形態では、音響光学または電気光学変調器などを用いて、点を非常に高速に走査してラインを形成することにより照明ラインを形成することができる。
【００６９】
様々な実施形態において、イメージング装置は複数の光源を含むことができる。複数の光源は、マルチモード光源および／またはシングルモード光源、ランプ、白色光源、有色光源などであり得る。例えば、複数の光源は、複数のマルチモードレーザーダイオード、複数のシングルモードレーザーダイオード、ならびに１つ以上のマルチモードレーザーダイオードと１つ以上のシングルモードレーザーダイオードとの組み合わせを含むことができる。特定の実施形態では、装置は、１〜４個のマルチモードレーザーダイオードを有する光源配置を含む。分子サンプル１０２を照らすために、複数の光源を同時に（例えば、すべて同時に）使用することができる。他の実施形態では、光源を用いて分子サンプル１０２を順次照らすことができる。例えば、分子サンプル１０２は、第１の光源を使用して撮像され、次に第２の光源を使用して撮像され、これは全ての光源が使用されるまで続けられる。光源１０６は、不均一な強度で複数の光線を放射することができる。
【００７０】
本明細書で例示され、さらに理解されるように、マルチモードレーザーダイオードは、ダイオードの「遅軸」と呼ばれることもある、ダイオードの軸に沿ういくつかのレーザービームを放射する。同様に、同程度ではないが、シングルモードレーザーダイオードは、完全に均一ではないライン強度を有し、不均一なレーザー強度（例えば、異なる強度のいくつかのレーザービーム）を放射することがある。その結果、光源の強度パターンは不均一になり得る。光源の強度パターンは、光源から放射された１つ以上の光線の強度パターンおよび／または経時的な光線の強度パターンを示すまたは含む。マルチモードレーザーダイオードの場合、ダイオードの「速軸」に沿って、レーザービームの品質は、ほぼガウス分布および近回折限界になる可能性があり、これらのダイオードはラインイメージングに有利である。
【００７１】
制御回路１１２は、処理回路を含むことができ、分子サンプル１０２の位置を制御するために１つ以上の行為を実行するのに使用されるステージを制御することができる。装置は、光学対物レンズ１０４に対する分子サンプル１０２の位置を制御することによって分子サンプル１０２を走査することができる。分子サンプル１０２は、ステージ１１０に位置決めおよび固定され、ステージ１１０は、Ｘ方向およびＹ方向に沿ってなど、少なくとも２つの自由度で移動させることができる。様々な特定の実施形態では、ステージ１１０は、Ｘ、Ｙ、およびＺ方向に沿って３つの自由度で移動させることができる。例えば、ステージ１１０は、分子サンプル１０２のＸ、Ｙ、およびＺ位置を同時に制御するピエゾステージであり得る。あるいはおよび／またはさらに、装置は２つのステージを含む。第１のステージは分子サンプル１０２をＸおよびＹ方向に移動させ、第２のステージは光学対物レンズ１０４と分子サンプル１０２との間のＺ距離を調整するために光学対物レンズ１０４に取り付けられる。
【００７２】
制御回路１１２（および／または他の処理回路）は、Ｘ、Ｙ、および／またはＺ方向であってよい、光学対物レンズ１０４に対する分子サンプル１０２の相対位置を制御することができる。例えば、制御回路１１２およびステージ１１０を使用して、分子サンプル１０２は走査パターンを使用して走査される。走査パターンは、走査中にステージ１１０が連続移動するライン走査手法を使用して、分子サンプル１０２全体および／または関心領域を走査するために使用することができる。分子サンプル１０２の位置が、光学対物レンズ１０４に対して移動すると、画像センサ１１２は成分波長範囲を記録する。分子サンプル１０２を走査し移動させる処理は、分子サンプル１０２全体を含み得る、分子サンプル１０２の関心領域が走査されるまで続く。実施形態はそのように限定されないが、ステージ１１０は、ステアリング手法などによって絶えず移動することはなく、および／またはイメージング装置はステージ１１０に対して移動することができる。
【００７３】
分子サンプル１０２から放出された光は、図１Ａの破線により示されるように、発光光路に沿って伝わる。ダイクロイックフィルタ１１６、ビームスプリッタ、および１つ以上のミラー１１４などの様々な構成要素を使用して、発光を光路に沿ってイメージング分光計１０８に向けることができる。イメージング分光計は、分子サンプル１０２のスペクトル回転画像データ（例えば、ハイパースペクトル画像データ）を取得するために使用される機器を含むまたはそれを示す。イメージング分光計１０８は、プリズムと１つ以上のレンズ（例えば、レンズ−プリズム−レンズ系）を含むことができる。他の実施形態では、イメージング分光計１０８は、回折格子および／または当業者によって理解され得る他の構成要素を含む。あるいは、イメージング分光計は、フーリエ変換分光イメージングの場合のように、波長を分離する干渉法を使用することができる。イメージング分光計１０８は、分子サンプル１０２から放出された光を複数の異なる成分波長に分離する。
【００７４】
いくつかの実施形態では、発光は、蛍光発光中にレーザービームを分子サンプル１０２上に集束することなどによって、イメージング分光計１０８に到達する前に照明ラインに集束される、または明視野イメージング中に分子サンプルをＬＥＤで照らす場合などのように明るい領域である。例えば、光源１０６から放射された光は、分子サンプル１０２と光源１０６との間に配置されたレンズによって、ラインに集束および変換されることができる。他の実施形態では、イメージング分光計１０８は、放出、反射、透過、または散乱された光を１つ以上のラインとなるようにフィルタリングし、焦点外光を減少させる光学スリットを含む。光学スリットは、光路に沿って伝わる発光または励起光をフィルタリングするために使用される、ラインに沿いかつ材料または表面内にあり得る開口を含むまたは指す。例えば、放出された光は、イメージング分光計１０８のプリズムに入射する前に、イメージング分光計１０８の光学スリットに入射すし、光をＹ軸に沿って制限する。プリズムは、光をその成分波長（例えば、色）に分離し、そして成分波長に対応して放出された光を発光光路に沿って画像センサ１１１に伝える。
【００７５】
特定の実施形態では、光学スリットの幅は、制御回路１１２によっておよび／または手動で制御することができる。例えば、光学スリットの幅は、分子サンプル１０２内の関心領域の寸法、画像モード、および使用されている露光時間に基づいて調整することができる。スリットの幅は、分子サンプル１０２内の対象物質を認識するのに十分な光量を提供するように制御される。光学スリットの幅が広いほど収集される光が多くなり、幅が狭いほど焦点外光が減少する。制御回路１１２は、異なる関心領域、対象を認識するためのＳＮ値、画像モード、および露光時間を含むルックアップテーブルを含む、またはそれを利用することができ、使用するスリットの幅を決定または出力するために使用できる。さらに、特定の実施形態では、光学スリットは複数のスリットを含むことができる。
【００７６】
分離された成分波長（例えば色）に対応して放出された光は、イメージング分光計１０８から画像センサ１１１への発光光路に沿って伝わる。画像センサは、光波を信号に変換することにより画像を構成する情報を検出し伝達するために使用される回路を含むまたはそれを示す。画像センサ１１１は、他のセンサの中では、ＣＭＯＳエリア画像センサ、２次元（２Ｄ）ＣＣＤアレイを有するカメラ、２ＤＣＣＤアレイを有するモノクロカメラ、および／または数ピクセル幅のラインセンサであり得る。成分波長は、画像センサ１１１の異なる位置（例えば、アレイの一次元に沿ったＣＣＤアレイの位置）に入射することがある。画像センサ１１１は、複数の異なる成分波長に対応して放出された光を収集し、任意に、成分波長を制御回路１１１の記憶域に格納する、またはハイパースペクトル画像データを並行処理する行列回路などの他の処理回路に転送することができる。
【００７７】
イメージング装置は、装置からの出力光を並行処理することができる。例えば、制御回路１１２および画像センサ１１１を使用して、発光が複数の成分波長にわたって同時に（例えば一度に／同時に）収集される。画像センサ１１１は、イメージング分光計１０８によって分離された光を収集および記録する。複数の異なる成分波長に対応する光は、矩形の関心領域として画像センサ１１１上に記録され得る。関心領域は別個のラインで形成される。例えば、画像センサ１１１のそれぞれの別個のラインは、分子サンプル１０２内の同じラインであるが、異なる波長を表し（例えば、第１のラインは４００〜４０５ｎｍ、第２のラインは４０５〜４１０ｎｍなど）、本明細書ではしばしば「スペクトルピクセル」と呼ぶ。関心領域は、２０４８×１５３６のフル解像度から減らすことができる。特定の例では、関心領域は、空間およびスペクトル方向（例えば、ピクセル）にそれぞれ対応する２０４８×６０ピクセルを含むことができる。このような例では、２０４８ピクセルの長さの６０本の別個のラインがあり、それぞれの別個のラインが異なる成分波長を記録する。センサ全体を使って（そして余分なデータを捨てて）撮像する代わりに、関心領域を減らして速度を１桁以上向上させる。（例えば、２０４８×１５３６のフル解像度から２０４８×６０ピクセルまで）減らされた関心領域を使用することにより、イメージング装置を使用して１，５００フレーム毎秒以上の速度で撮像することができる。そのような速度でのイメージングは、十分な光を提供するために、比較的高出力の光源（例えば、マルチモードレーザーダイオードおよび／または１００ｍＷ〜６Ｗのパワーで放射する他の光源）によって得ることができる。
【００７８】
関心領域、画像モード、照明強度および／またはパルス幅、ならびに露光時間を含む、様々な設定は、分子サンプル１０２を走査する前に変更することができる。関心領域は、異なる数の波長を収集するように（例えば、より小さくまたはより大きく）調整され得る）。例えば、（４００〜８００ｎｍの代わりに）４００〜６００ｎｍの蛍光を撮像する場合、関心領域は、画像センサ１１２上の２０４８×３０ピクセルの関心領域に調整することができる。これにより２０４８×６０ピクセルの関心領域をキャプチャする場合と比較して、データのスループットを約５０％向上させることができる。多くの画像センサは選択可能な異なる画像モードを有する。具体的な例として、Ｐｏｉｎｔ  Ｇｒｅｙ  ＩＭＸ  ２５２には、低ノイズモード（より高いダイナミックレンジを提供）と通常モード（より高速）がある。さらに、撮像時のモーションブラーを調整する、および／または画像センサのピクセルの過飽和を調整するために、露光時間、照明強度、および／またはパルス幅を変更できる。露光時間の短縮はモーションブラーや過飽和を低減できるのに対し、露光時間の延長はこれらのパラメータを増加させ得る。
【００７９】
画像センサ１１１によって収集された成分波長は、さらなる処理のために処理回路に（例えば、転送されるかまたは記憶域にアクセスすることにより）伝わる。処理回路は、顕微鏡の外部（例えば、デスクトップコンピュータ、ラップトップコンピュータ、サーバなどの独立型中央処理装置（ＣＰＵ））、内部、および／またはその両方とすることができる。様々な実施形態において、制御回路は、第１の処理回路および第２の処理回路を含む。第２の処理回路は、制御回路および第１の処理回路を使用して、データを収集するイメージング装置と並行して出力データを処理するために使用される。制御回路１１２は、ステージ１１０を制御して画像センサ１１１とインターフェースで接続させるために使用することができる。さらに、第１の処理回路を含む制御回路１１２は、光源１０６、光学配置、および光学対物レンズ１０４を制御するために使用することができる。特定の実施形態では、第１の処理回路は、分子サンプル１０２を移動させる時間と場所をステージ１１０に指示し、分子センサ１０２をいつ撮像するかを画像センサ１１１に指示する。第２の処理回路は、画像データの格納、およびスペクトル分解、圧縮、バックグラウンド補正、ハイパースペクトルスマイルおよびキーストーン補正、ならびに光源強度補正を含むがこれらに限定されない、画像データの様々な後処理を実行するために使用することができる。しかしながら、実施形態はそのように限定されず、処理回路は２つより多いまたは少ない処理回路を含むことができる。様々な実施形態において、第２の処理回路は、ＧＰＵ、ＣＰＵ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および／または他の独立型処理装置を含み得る。第２の処理回路は、ディスプレイを有し、ユーザーが特定の撮像アプリケーションを選択および構成し、撮像の結果を見ることを可能にする装置の一部であるかまたはそれと通信することができる。
【００８０】
処理回路（例えば、第１、第２の処理回路、またはそれ以上）を使用して、分子サンプル１０２のハイパースペクトル画像を生成することができる。例えば、処理回路は、関心領域を表し、異なる波長を表す、空間ピクセルの異なる別個のラインをつなぎ合わせることにより、ハイパースペクトル画像を生成することができる。処理回路は、ハイパースペクトル画像に応答して、分子サンプル１０２中のラベルの定量化を表すデータを出力する。処理回路に提供される収集された成分波長（例えばスペクトル強度）は、生の画像データを含み、様々な歪みを補正しない。歪みは、他の歪み中でも、光源１０６に起因する（および照明ラインに沿う）光強度の変動、スマイルおよびキーストーンなどのハイパースペクトル現象、ピクセルの位置ずれを含むことができる。以下でさらに説明されるように、処理回路は、上記の処理を実行するために使用される。例えば、光が可視スペクトル内の複数の異なる間隔（例えば６０間隔）にわたって収集されると、処理回路は、スマイルおよびキーストーン補正を実行し、収集された成分波長をスペクトル強度から別個のラベル定量化に分解する。いくつかの特定の実施形態では、本明細書でさらに説明されるように、ハイパースペクトル画像データは歪みを考慮するように修正され、それは光源１０６の不均一な照明を補正することを含み得る。
【００８１】
ラベルの定量化を表すデータは、生の画像データに対してスマイルおよびキーストーン補正を実行し、次いで収集された成分波長をスペクトル強度からラベル定量化に分解することによって出力および／または生成することができる。分解に使用されるラベルは、ユーザーが画像化した別個の蛍光団または他の発光体であり得る。前述のように、いくつかの特定の実施形態では、複数の（異なる波長の）光源を使用して分子サンプル１０２を同時に照らすことができる。そのような実施形態では、２つ以上の光源が同時に同じラベルを励起することがある。成分波長をラベル定量化に分解すると、２つ以上の光源による励起が補正される。他の実施形態では、分子サンプル１０２を順次照射するために複数の（異なる波長の）光源を使用することができ、収集された成分波長をラベル定量化に分解するステップは任意に実行されなくてもよい。
【００８２】
本明細書でさらに説明されるように、制御回路１１２は、分子サンプル中の各空間点について多数の波長測定値を取得すること、およびスペクトルアンミキシングまたはスペクトル分解として知られるプロセスにおいてスペクトル重複を緩和するためにデータ点を使用すること、を含むスペクトルイメージング技法を実行するために使用できる。このプロセスにおいて、波長測定値（すなわちスペクトルデータ）はラベル定量化に変換される。スペクトル強度からラベル定量化への成分波長の分解は、空間ピクセルで与えられる各成分波長（例えば、２０４８×６０ピクセルの場合は６０成分波長）で記録された強度を入力すること、および本明細書では「ラベルの部分的または相対的定量化」とも呼ばれる撮像されている特定のラベルの相対濃度を出力すること、を含む空間ピクセルごとの処理を有し得る。
【００８３】
特定の実施形態では、光源は、本明細書でさらに説明および図示されるように、不均一な照明パターンを有することがある。部分ラベル定量化に分解した後（または任意で実行されない場合）、光源１０６の不均一性を補正することができる。ハイパースペクトル画像は、後述のスペクトル分解の後、照明、スマイル、およびキーストーン補正された複数のチャンネルを有するハイパースペクトル画像である。特定のチャンネル数は、撮像された別個のラベルの数による。例えば、分子サンプル内の９個の蛍光団が撮像されている場合、照明、スマイル、およびキーストーン補正されたハイパースペクトル画像は９個のチャンネルを有する。各チャンネルは、撮像するために選択されたラベルの量に対応する。処理回路は、光源１０６に起因する不均一な強度パターンを用いて、ハイパースペクトル画像（例えば画像データ）の照明を較正（例えば補正）する。特定の実施形態では、光源の各光源は不均一な強度パターンを有しており、これは処理回路により既知であるおよび／または識別され得る。不均一な強度パターンを用いて、処理回路は、不均一な光強度に基づいて光源の（レーザー）パワーを調整することにより、部分ラベル定量化をラベル定量化に分解する。スリット、分光計、または画像センサの可変スループットまたはレスポンスに対する補正も同様に実行することができる。
【００８４】
いくつかの実施形態では、不均一な強度パターンを識別することができる。特定の光源についてのパターンを識別するために、処理回路は、特定の光源によって励起される分子サンプル１０２の部分を識別する。図１１Ａ〜図１１Ｆに関連してさらに図示および説明されるように、分子サンプル１０２は、ステージ１１０および制御回路１１２を使用して、それぞれの光源の照明ラインの方向に移動させられる。その方向における各ピクセル（例えば、２０４８ピクセル長）において、画像センサ１１１は、同じ区画（例えば、サンプル内の同じ点）で分子サンプル１０２によって放出された成分波長を収集するように指示される。照明ラインの方向に、成分波長を移動して収集することにより、（プロセスの終わりに）照明ライン上の各点が、サンプル内の同じ点を一度撮像したことになる。一連の画像データを使用して、光源の強度パターンが構築され、較正に使用される。様々な実施形態において、プロセスは各光源に対して繰り返される。較正に応じて、処理回路は、ディスプレイを介しておよび／または印刷することなどにより、分子サンプル１０２内のラベルの定量化を表すデータを出力することができる。様々な実施形態において、分子サンプル中の複数の点は、測定のノイズレベルを減少させるために使用され得る同じ照明ラインを使用して撮像することができる。
【００８５】
様々な実施形態において、図１Ａに図示される装置は、画像データの取り込み中にオートフォーカスを実行するために使用することができる。例えば、装置は、分子サンプル１０２の走査中にオートフォーカスを実行する（制御回路１１２の一部であり得る）オートフォーカス制御回路を含み得る。オートフォーカスは、本明細書でさらに説明されるように、分子サンプル１０２内のラインのｚスタック内の焦点面を決定し、その焦点面に基づいて光学対物レンズ１０４に対する分子サンプル１０２のｚ位置を調整することを含むことができる。「焦点面（ｆｏｃａｌ  ｐｌａｎｅ）」とも呼ばれる焦点の面（ｐｌａｎｅ  ｏｆ  ｆｏｃｕｓ）は、分子サンプル１０２の領域の焦点が得られる画像センサ（例えば、カメラ）からの距離を示すまたはそれを含む。特定の実施形態では、焦点の面は、例えば、最も鮮明な焦点が得られる画像センサおよび／または対物レンズからの距離などの最適面を含むことができる。
【００８６】
上記および本明細書のさらなる説明から理解されるように、処理回路を含む制御回路は、イメージング装置の様々な機能および設定を制御するために使用される。制御回路１１２は、イメージング装置の内部、通信可能なイメージング装置の外部、および／またはその両方（例えば、処理は顕微鏡の内部および外部で行われる）とすることができる。制御回路１１２は、（例えば、各光源の）光源配置の出力、（例えば、各光源の）光源配置の温度、Ｚ軸ステージを介した分子サンプル１０２に対する光学対物レンズ１０４のＺ位置、ＸＹステージを介したサンプル１０２のＸおよびＹ位置の制御、電動対物レンズタレットを介したアクティブ光学対物レンズ１０４（例えば対物レンズ）の切り替え、サンプル１０２のＸ、Ｙ、およびＺ位置に関する外部回路へのフィードバックの提供、フレームレートを達成するためにオートフォーカス制御回路および画像センサ１１１に命令を送信することなど、異なる用途に合わせて制御およびカスタマイズすることができる。特定の実施形態では、本明細書でさらに説明するように、制御回路１１２は、（各レーザーダイオードなどの）レーザーのレーザー出力、（各光源などの）各レーザー配置の温度、およびＬＥＤモジュールの出力を制御することができる。
【００８７】
制御回路１１２は、ステージ１１０を制御し、画像センサ１１１とインターフェースで接続させるために使用することができる。また、システム構成および用途に応じて、光源１０６、光学配列、および光学対物レンズ１０４を任意に制御する。具体的には、制御回路１１２は、サンプル１０２を移動させる位置をステージ１１０に、サンプル１０２を撮像する時を画像センサ１１１に指示することができる。制御回路は、また、画像データを格納、画像データの後処理を実行、および／または後処理を実行するために他の処理回路に画像データを提供することができる。実行される後処理は、スペクトル分解、圧縮、バックグラウンド補正、ハイパースペクトルスマイル補正、光源強度補正などを含み得る。制御回路１１２または他の外部回路は、ユーザーがアプリケーションを選択および構成し、手順の最終結果を閲覧することを可能にするディスプレイを有する装置の一部であるかまたはそれと通信することができる。
【００８８】
いくつかの特定の実施形態によれば、制御回路は、固有のＸＹ走査パターンをステージ１１０に送信する。加えて、オートフォーカスのための異なるアルゴリズムが異なる用途のために必要となり得る。制御回路は、また、画像センサ１１１のフレームレート、および画像がどのように格納されるかを制御することができる。例えば、データは、高速（例えば、固体）ディスクに直接書き込まれるか、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理装置（ＧＰＵ）、および／または中央処理装置（ＣＰＵ）のような制御回路と並行に動作する他の処理回路によって後処理および圧縮されてもよい。そして、最終出力をユーザーに表示することができ、それは用途（例えば、画像、チャート、表など）に応じて異なり得る。
【００８９】
ユーザーによる入力に基づいて、様々な用途および／または撮像プロセスのために顕微鏡を較正するために、（イメージング装置の顕微鏡部分の外部にある回路などの）処理回路を使用することができる。飽和およびＳＮ比、または顕微鏡モードなど、様々な要因が画質に影響を与え得る。イメージング装置は、蛍光モードと明視野を含む異なるモードで動作することができる。蛍光モードで動作する場合に、画質を画像化するいくつかの例示的な要因を、以下にさらに説明する。サンプル１０２を照らすためにレーザー（例えば、マルチモードおよび／またはシングルモードレーザーダイオード）を使用する場合、出力は画像データの画質に影響を及ぼし得る。例えば、レーザー出力は、サンプル１０２中の蛍光ラベルを励起する光子の数を決定する。サンプル１０２をラベルするために用いる蛍光団の品質もまた、蛍光団の量がサンプル上の異なる点で変動し得るので、画質に影響を及ぼし得る。例えば、タンパク質特異的抗体に結合された蛍光団は、サンプル中の特定の点でタンパク質の量に比例して発光する。ユーザーは、サンプル全体にわたって撮像されている各蛍光団について、最小量および最大量を考慮することがある。これは、ユーザーが撮像することを選択したサンプル１０２に依存する。蛍光団の量子収率も画像品質に影響を及ぼし得る。撮像されている各蛍光団は固有の量子収率を有し、これは励起光が蛍光発光を引き起こす効率である。これもまた、蛍光団自体ならびにレーザーの波長に依存する。これは、ユーザーが撮像することを選択した蛍光団に依存する。また、光退色は画質に影響を与え得る。光に長時間さらされると、蛍光団が光退色することがあり、蛍光団はそれ以降蛍光発光を生成できなくなる。したがって、不必要な露光を最小限に抑えることが有効となり得る。これはまた、ユーザーが撮像することを選択した蛍光団に依存する。
【００９０】
明視野モードで動作する場合に、データ画質に影響を与えるいくつかの例示的な要因を、以下にさらに説明する。ＬＥＤの出力は画質に影響を与え得る。ＬＥＤ出力は、サンプルを透過または反射する光子の数を決定する。サンプルの吸収および散乱係数は画質に影響を与え得る。透過光は明視野モードで測定されているため、吸収または散乱される光の割合は、最終的に画像センサに到達する光子の数に影響を与え得る。これは、ユーザーが撮像することを選択したサンプル１０２に依存する。
【００９１】
様々な画像センサの要因もまた、どちらのモードにおいても画像データの品質に影響を及ぼし得る。そのような例示的な要因には、カメラ読み取りノイズ、ウェル深さ、露光時間、ダイナミックレンジ、および量子効率も含まれ、画像データの品質にも影響を及ぼし得る。蛍光モードでは、読み取りノイズが支配的なノイズとなり得、各光源に選択された最小出力を通知するのに役立ち得る。これは、使用される画像センサに基づいて事前に決定される。ウェル深さは、各画像フレームについて単一のピクセルが格納できる電子の最大数を示し、各光源について選択された最大出力を通知するのに役立ち得る。これは、使用される画像センサに基づいて事前に決定される。露光時間を長くすることにより、各ピクセルが集光しなければならない時間が長くなる。露光時間を長くすると、信号が大きくなり得る。ただし、走査速度も遅くなり得る。このパラメータはイメージング時に調整可能である。画像センサ１１１（例えば、カメラ）は、それ自体の固有のダイナミックレンジを有する。較正の観点からは、ダイナミックレンジを最大限に活用することは有益であり得る。すなわち、イメージング装置は、記録される信号の大部分が画像センサ１１１のダイナミックレンジ内に収まるように、光源の出力と画像センサ１１１の露光時間とを設定することができる。光子が画像センサに衝突すると、それらは可変効率で電子に「変換」される。この効率は、光子の波長に依存し、使用される画像センサに基づいて事前に決定される。
【００９２】
撮像時には、光源の出力および／またはパルス幅、ならびに画像センサ１１１の露光時間など、様々な要因を制御することができる。多くの実施において、できるだけ速くイメージングを完了することは有益であり、そのため露光時間は画像センサ１１１（例えば、カメラ）の最大フレームレートより大きくならないように設定することができる。したがって、調整されるパラメータは光源の出力であり得る。ユーザーがレーザーパワーを設定できる一方、イメージング装置は自動最適化を実行し得る。
【００９３】
図１Ｂおよび様々な追加の図に示されるイメージング装置は、比較的高速かつ高出力で画像データを収集するために使用することができる。図１Ｂに示す装置は、様々な実施形態において、図１Ａに示すような装置および様々な構成要素を含むことができるが、実施形態はそのように限定されない。図示のように、装置は、光源１０６、イメージング分光計１０８、および画像センサ１１１、ならびに制御回路１１３を含むことができる。様々な実施形態では、装置は、同時または順次に出力を発する複数の光源を含む。図１Ｂに示された装置は、特定の光源、イメージング分光計に基づいて、および任意にオンザフライでオートフォーカスを実行することによって、高スループット、例えばデータ取得速度が可能であり得る。
【００９４】
光源１０６は、分子サンプル１０２に少なくとも１００ｍＷの光パワーを供給するのに十分なパワーを発生させることができる。前述のように、光源からの出力を照明ラインに集束させて、光源１０６から放射された光を平行にすることができる。光源１０６から放射された光は、分子サンプル１０６に向けられ、分子サンプルを照らすために使用される。前述のように、サンプルを照らす光のパワー密度は、所与の露光時間中に画像センサによって収集された蛍光信号がノイズ閾値を上回るが画像センサの飽和限界を下回るように十分に大きい。
【００９５】
画像センサ１１１によって収集される光量は、システム内に存在する様々な光学系の効率によっても影響を受ける可能性がある。波長可変フィルタを使用するマルチスペクトルイメージング装置は、含まれる偏光要素により、しばしばはるかに低い光透過率（場合によっては＜１０％）を有する。さらに、そのような装置は、バンドパスフィルタを切り替えている間に１つの励起光を点灯する。２０ｎｍのバンドパスフィルタ（４００−８００ｎｍをカバー）で１つの視野を２０枚撮像すると、１視野あたり１枚の画像を得るのに比較して、２０倍の過剰な光退色が発生する可能性がある。ハイパースペクトルライン走査装置は、これらのトレードオフを作り出し得ず、より短い露光時間、サンプルの光退色の減少、およびより速いデータ取得をもたらすことができる。
【００９６】
イメージング分光計１０８は、光パワーにより照らされた分子サンプル１０２の領域から放出された光を分離する。放出された光は、複数の異なる成分波長に分離され、分子サンプル１０２の領域から画像センサ１１１への光路に沿って通過する。画像センサ１１１は、複数の異なる成分波長に対応する光路に沿って放出された光を収集する。より具体的には、複数の異なる成分波長に対応する放出された光は、異なる成分波長にわたって同時に収集され、それによりイメージング装置から出力される光の収集を並行化する。
【００９７】
様々な実施形態において、イメージング分光計は、分散要素を含む分散イメージング分光計である。分散イメージング分光計に使用される分散要素は、画像センサ１１１によって収集される蛍光の量に影響を及ぼし得る。集められる光が多いほど、良好なＳＮ比を得ながら利用できる画像センサ１１１の露光時間が短くなり、ハイパースペクトルイメージングシステムがサンプルからデータをより早く取得することができる。イメージング分光計に使用される分散要素の例には、プリズムおよび回折格子が含まれる。しかしながら、回折格子は全ての波長にわたって同等に効率的ではない。図３は、選択された格子の効率が、蛍光イメージングにおける重要な波長である６００〜８００ｎｍの間で５０％未満に低下することを示している。効率が５０％低下すると、ハイパースペクトル装置の全体のスループットが５０％低下するだけでなく、ハイパースペクトルライン走査装置は、単一フレーム内のサンプル点のラインについて全てのスペクトルデータ点を撮像するので、効率が関心波長（約３５０〜９００ｎｍ）で可変であるということは、システムのダイナミックレンジに悪影響を及ぼす。結果として、イメージングシステムのスループットと性能を最大にするために、プリズムのような、高い透過効率かつ可視光スペクトルにわたって一定の両方を有する分散要素が使用される。
【００９８】
ガラスなどのプリズムを製造するために使用される典型的な材料は、赤色領域においてよりも青色領域においてより強い分散を有する。この結果、画像センサ上で検出された波長間の間隔は、赤色領域よりも青色領域の方がはるかに大きく、３倍以上になる。場合によっては、プリズムがより線形のレスポンスを生じさせることに有利であり得る。一つの実施形態では、多要素プリズムを使用して、より均一なスペクトル分散を生成するか、または他の利点を達成する。プリズムおよび多要素プリズムに関するより一般的かつ具体的な情報については、Ｎ．ＨａｇｅｎおよびＴ．Ｓ．Ｔｋａｃｚｙｋの「Ｃｏｍｐｏｕｎｄ  ｐｒｉｓｍ  ｄｅｓｉｇｎ  ｐｒｉｎｃｉｐｌｅｓ、Ｉ」Ａｐｐｌ．Ｏｐｔ５０、４９９８−５０１１（２０１１）、 Ｎ．ＨａｇｅｎおよびＴ．Ｓ．Ｔｋａｃｚｙｋの「Ｃｏｍｐｏｕｎｄ  ｐｒｉｓｍ  ｄｅｓｉｇｎ  ｐｒｉｎｃｉｐｌｅｓ、ＩＩ：ｔｒｉｐｌｅｔ  ａｎｄ  Ｊａｎｓｓｅｎ  ｐｒｉｓｍｓ」Ａｐｐｌ．Ｏｐｔ５０、５０１２〜５０２２（２０１１）、Ｎ．ＨａｇｅｎおよびＴ．Ｓ．Ｔｋａｃｚｙｋの「Ｃｏｍｐｏｕｎｄ  ｐｒｉｓｍ  ｄｅｓｉｇｎ  ｐｒｉｎｃｉｐｌｅｓ、ＩＩＩ：ｌｉｎｅａｒ−ｉｎ−ｗａｖｅｎｕｍｂｅｒ  ａｎｄ  ｏｐｔｉｃａｌ  ｃｏｈｅｒｅｎｃｅ  ｔｏｍｏｇｒａｐｈｙ  ｐｒｉｓｍｓ」Ａｐｐｌ．Ｏｐｔ５０、５０２３〜５０３０（２０１１）に記載されており、これらはその教示のために完全に組み込まれる。
【００９９】
画像センサ１１１は、分子サンプル１０２中の６〜１０個またはそれ以上のラベルを識別するのに十分な光量（例えば、認識するのに十分に高いＳＮ比）で、イフレームレートで各成分波長について関心領域においてメージング分光計１０８により分離された複数の異なる成分波長を収集することができる。装置は、照明ラインを使用してサンプル１０２の領域を走査し、照明ラインから放出されたまたはそれに応答する光を、画像センサ１１１上にそれぞれの波長について分離することができる。光プロファイルは、光源１０６により放射された光の形状（例えば、光源から放射された光の分布パターン）を含むまたはそれを示す。照明ラインは、前述のように、サンプル上の光のラインを含み、光学系を用いた光プロファイルの修正を含むことができる。提供された例のようなフレームレートは、関心領域をフル解像度から減らす（例えば、２０４８×１５３６ピクセルから２０４８×６０ピクセルに）ことによって達成することができる。イメージング速度のために、サンプル１０２内のラベルを認識するために十分に低い信号対ノイズを有する画像データを提供するためには大量の光が有益であり得る。光源１０６は１００ｍＷ〜６Ｗの間のレーザーパワーを出力することができる。さらに、上述のライン走査手法を使用して、ステージ１１０の移動を停止させることなくサンプル１０２全体を走査し、走査時間を最小限に抑えることができる。具体的な実装形態では、イメージング装置を使用して、２．２分で９ウェルマイクロタイタープレートを撮像し、８．８分で３８４ウェルプレートを撮像し、および／または３．２分で顕微鏡スライドの１５ｍｍ×１５ｍｍ領域を撮像することができる。例えば、装置は、１秒あたり合計３，０７２，０００空間ピクセルについて２０４８×１５００ピクセルでサンプルを撮像し、１秒あたり合計１８４，３２０，０００ピクセルについて２０４８×６０×１５００ピクセルでサンプルを撮像することができる。そのような例では、１９０秒またはわずかに３分を超えて、サンプル全体がイメージ装置を使用して撮像される。他の特定の実施形態では、イメージング装置は、光源および画像センサを介して、１００〜６０００ｍＷの間の光パワーで、１００フレーム毎秒（ＦＰＳ）〜４０００ＦＰＳの間のフレームレートで、一秒当たり２５０メガバイト（ＭＢ／ｓ）から一秒当たり１ギガバイト／秒（ＧＢ ／ｓ）の間の転送または記憶速度で、分子サンプルを照らす。実施形態は、上記の様々な速度、ピクセル、フレームレート、および／またはサンプルタイプに限定されない。
【０１００】
制御回路１１３は、分子サンプル１０２の走査を制御するために使用することができる。上述のように、画像センサによりキャプチャされる関心領域は、ｍ×ｎピクセルであり、ここで、ｍはライン内の空間点の数であり、ｎは各サンプル点について取得するスペクトル点の数である。ｎ個の点のそれぞれは、装置が設計されるときに予め決定される電磁スペクトルの領域内のスペクトル帯域にマッピングする。装置が現場に入ると、１つの動作モードで、ｍ×ｎ個の関心領域全体を撮像することができる。あるいは、画像センサは、ｍ×ｏ個の関心領域を取得することができ、ここで、ｏ＜ｎである。画像センサはより小さな関心領域を取得しているので、結果として得られる画像センサのフレームレート、ひいてはサンプル走査レートを高めることができる。様々な実施形態において、画像センサは、約１１００フレーム毎秒で、完全な２０４８×９６の関心領域（可視スペクトルの４００〜８００ｎｍへのマッピング）を取得する。ただし、関心領域が２０４８×６４（可視スペクトルの４００〜６６７ｎｍにマッピング）に縮小されている場合、画像センサは１５００フレーム毎秒でデータを取得できる。これにより、増加した光スループットの要求に応じて光源パワーを調整できる限り、サンプルの走査速度が３６％速くなる。
【０１０１】
この技術は、エンドユーザーが、撮像されるサンプル中に存在する蛍光団を特定するときに有用であり得る。これらのラベルのそれぞれに関して周知の発光スペクトルを用いて、ユーザーが蛍光信号の検出を期待する電磁スペクトルの全範囲を計算することができる。この範囲は、画像センサの関心領域内の特定のピクセルをマッピングし直すことができ、必要に応じて設定可能である。これは、エンドユーザーが１つまたは数個の蛍光団を撮像する用途において有益である。後者の場合、プログラムを実行する処理回路を使用して、ピークが互いに近い発光スペクトルを有する蛍光団を選択するための実験設計アドバイスをエンドユーザーに提供することができる。ユーザーは、スペクトルのクロストークを回避するために、ピークが遠く離れている蛍光団を選択するように訓練され得るので、これはエンドユーザーにとって直感に反する可能性があり、そして当業者にとって驚くべきことである。しかしながら、ハイパースペクトルライン走査装置はスペクトルのクロストークを克服することができるので、互いに近いピークを有する蛍光団を選択することはイメージング速度にとって有利であり得る。
【０１０２】
特定の実施形態では、制御回路１１３を使用して、オートフォーカスプロセスを実行することにより分子サンプル１０２の走査を制御することができる。オーバーヘッドの１つの原因は、特に高倍率でサンプルをオートフォーカスするのにかかる時間である。オートフォーカスは、イメージング装置がサンプルの所与の視野に対して最良の焦点面または最適な焦点面を特定するプロセスである。高開口数顕微鏡対物レンズは、しばしば小さな被写界深度を有し（例えば４０倍対物レンズは１．０μｍの被写界深度を有し得る）、それは焦点面が非常に正確であることを必要とする。
【０１０３】
制御回路１１３は、様々な動作を実行することによって走査を制御するために使用され得る。動作は、イメージング分光計１０８と画像センサおよび／または照明光（例えば光源）との位置合わせを維持しながら、かつオンザフライで走査の間に、生体領域１０２の領域および／またはその領域の後に走査される他の領域の深さ位置を決定しながら、画像センサ１１１に分子サンプル１０２の領域を走査させることを含む。制御回路１１３は、また、分子サンプルを深さ位置に移動させて光路の有効長を変更し、分子サンプルの領域および／または他の（次の）領域の焦点面の質を改善する動作を実行することもできる。焦点面の質の改善は、様々な実施形態において、サンプルの領域の焦点面、またはその領域の以前に使用された（例えば、前の領域の）焦点面、および／または最適な焦点面に対して相対的であり得る。様々な実施形態では、イメージングとオートフォーカスの両方を実行するために単一の走査（例えば、照明ライン）が使用されるが、実施形態はそのように限定されない。理解され得るように、オートフォーカスを実行している間に実行される走査は、現在の領域からのデータを使用して現在の領域または他の（例えば、次の）領域に対する焦点を推定することを示すまたは含み、例えば、１つの領域を撮像しながら、次の領域に対する焦点を決定する（例えば、予測する）することを含むことができる。この動作は、分子サンプルの連続する領域に対して制御回路１１３によって繰り返すことができる。様々な実施形態において、制御回路１１３は、サンプルの領域を撮像しながら、同時にそれぞれの領域および／または深さ位置に関連する別の領域に対する最適焦点面を決定しそしてその領域を走査した後、分子サンプル１０２または光学系を深さ位置に移動させる。このプロセスは、分子サンプル１０２の一部および／または全体が走査されるまで繰り返される。
【０１０４】
本明細書に記載されているように、分子サンプル１０２の制御された走査は、画像センサ１１１、イメージング分光計１０８、および照明ライン（例えば放射光源）が静止かつ互いに位置合わせされた状態で、サンプル１０２を移動することを含むことができる。サンプル１０２の走査中、画像センサは、イメージ分光計１０８および照明ラインとの位置合わせを維持する。しかしながら、実施形態はそのように限定されず、画像センサ１１１を動かすことなど、イメージング装置の他の構成要素を動かすことを含むことができる。
【０１０５】
本明細書にさらに示されるように、オートフォーカスは、制御回路１１３の一部であるまたは制御回路１１３とは別の、オートフォーカス制御回路などのオートフォーカスモジュールを使用して実行され得る。さらに、本明細書でさらに説明するように、オートフォーカスは、傾斜させることができる別の画像センサを使用して、および／または反射オートフォーカスを介して実行することができる。イメージング装置は、図１Ａに関連して前述したように、様々な構成要素および特徴を含むことができる。例えば、ステージ１１０は、分子サンプル１０２を保持することができ、光学対物レンズ１０４は分子サンプル１０２から放出された光をイメージング分光計１０８に伝えることができる。様々な実施形態における制御回路１１３は、Ｘ、Ｙ、およびＺ位置を含むことができる、光学系に対する分子サンプルの複数の位置を連続的に制御することにより走査をさせる。
【０１０６】
特定の実施形態では、オートフォーカスは、複数のラインを収集する（傾斜している）画像センサを含むことができ、複数の線のそれぞれは、イメージング装置の像面から異なるｚ距離離れている。制御回路１１３は、本明細書でさらに説明されるように、複数のラインを使用することにより、分子サンプルのその領域および／または別の領域に対する最適焦点面を決定する。オートフォーカス制御回路は、（例えば、ある角度で画像センサを傾けることによって）画像センサを複数の異なる撮像距離まで傾けさせ、それにより画像センサを像面から異なるｚ距離にすることができる。さらに具体的かつ関連する実施形態では、イメージング装置は、分子サンプルの領域を表す複数のラインを画像センサに収集するために、画像センサおよびオートフォーカス制御回路と共に配置された円柱レンズまたはミラーをさらに含み、画像センサにおける複数のラインのそれぞれは、イメージング装置の像面から異なるｚ距離である。オートフォーカス制御回路および／または制御回路１１３は、焦点距離と画像センサにおける複数のラインとに基づいて、分子サンプルの他の領域に対する最適な焦点面を決定し、分子サンプルのｚ位置を調整することができる。
【０１０７】
他の実施形態では、オートフォーカスは、その表面に反射コーティングを有して分子サンプルを収容し、ステージ１１０上に配置される基板を使用して実行される。基板は、分子サンプルが配置される表面または材料を含むまたはそれを示す。基板の例としては、他の基板の中でも、ガラススライド、マイクロまたはナノアレイ、ペトリ皿、マイクロタイタープレートなどが挙げられる。制御回路１１３は、反射コーティングから反射された光を使用することによって、分子サンプルのその領域および／または他の領域に対する最適焦点面を決定することができる。反射コーティングは、イメージングスペクトル領域外では反射性であり、イメージングスペクトル領域内では透過性であり得る。装置は、基板に供給しおよびオートフォーカスを実行するために、イメージングスペクトル領域外の光パワーを生成する別の光源をさらに含むことができる。
【０１０８】
サンプルのハイパースペクトル画像を取得するために使用される全時間に関して、装置は、全時間に亘ってハイパースペクトルデータを能動的に取得していなくてもよい。これは、オートフォーカスを実行すること、光源パワーなどの他の画像取得設定を較正すること、またはサンプル上の１つの撮像領域から次の撮像領域に移動すること、の利点に起因し得る。そのような動作は、参照を容易にするために「オーバーヘッド」と呼ばれることがある。オーバーヘッドは、サンプルの走査中にイメージングシステムが能動的に撮像していない時間と関連付けることができる。一度に１つの矩形の視野を撮像するイメージング装置（すなわち、「ステップアンドステア」撮像を実行する「ステアリング」装置）では、ステージは現在の視野から次の視野に移動する。これにより、ステージは静止位置からその最高速度まで加速し、一定速度で移動し、その後静止するまで減速して、次の視野を撮像することができる。長さおよび幅が両方とも５つの視野であるサンプルについては、装置はこの移動ステップを合計２５回実行し、それはサンプルを撮像するための合計時間にオーバーヘッドを加える。
【０１０９】
様々な実施形態において、ハイパースペクトルライン操作装置は、サンプルをラインごとに撮像することができ、この撮像は「ラインスキャニング」とも呼ばれる。これにより、ステージ１１０が停止して現在の視野を撮像し、そして次の視野に移動する必要はない（この動作ではステージは加速し、次いで減速する必要がある）。例示的なハイパースペクトルライン走査装置は、イメージング分光計１０８および画像センサ１１１が全時間にわたってハイパースペクトルデータを捕捉しながら、ステージ１１０が、一定速度で移動などして連続的に移動できるように設計されている。これにより、イメージング装置がイメージング領域全体の幅のストリップの撮像を終了するとき、またはマイクロタイタープレートを撮像する場合には新しいウェルに移動するとき、オーバーヘッドが生じる。上記の例では、長さが５視野であるサンプル１０２を５つのストリップに分割することができる。装置は、１つのストリップの終わりから次のストリップの始まりまで、合計５回移動するときにオーバーヘッドを経験する。
【０１１０】
ステージ１１０は、走査のために分子サンプル１０２を保持する。ステージ１１０、対物レンズ１０４、および／または他の機器を移動させて、光学対物レンズ１０４または光学システムに対する分子サンプル１０２の位置を制御することができる。特定の実施形態では、ステージ１１０を常に移動させて分子サンプル１０２全体を走査する。ステージ１１０を常に移動させると、サンプルの走査にかかる時間を最小限に抑えることができる。例えば、イメージング装置を使用して、９６ウェルマイクロタイタープレートを２．２分で撮像し、３８４ウェルプレートを８．８分で撮像し、および／または顕微鏡スライドの１５ｍｍ×１５ｍｍの領域を３．２分で撮像することができる。
【０１１１】
装置は処理回路をさらに含むことができる。処理回路は、複数の異なる成分波長に対応する放出された光からハイパースペクトル画像データを収集し、ハイパースペクトル画像データを、分子サンプル１０２中に存在するラベル（例えば、発光体、吸収体、および／または散乱体）の定量化を表すデータに変換するために使用される。前述のように、処理は並行化することができる。例えば、制御回路１１３は、複数の異なる成分波長に対応する放出された光からハイパースペクトル画像データを収集することができる。ハイパースペクトル画像データは、複数の異なる成分波長についてのスペクトル成分推定値を含むことができ、他の処理回路によってさらに処理することができる。様々な実施形態において、本明細書でさらに説明するように、処理回路は、並行化プロセスを使用して、異なる成分波長のスペクトル強度を存在する発光体、吸収体、および／または散乱体の定量化へスペクトル分解することにより、ハイパースペクトル画像データを発光体、吸収体、および／または散乱体の定量化を表すデータに変換する。いくつかの特定の実施形態では、並行化プロセスは非反復的であるが、実施形態はそのように限定されない。
【０１１２】
ハイパースペクトルイメージング装置によって取得されるハイパースペクトル画像データは不完全である可能性がある。ハイパースペクトルライン走査装置の場合、データは、キーストーンおよびスマイル、バレル、ピンクッション、ならびに点広がり関数（ＰＳＦ）の変動によるピクセルの位置ずれなどの歪みを含み得る。データは、サンプル１０２を照らす照明ラインのあらゆる不均一性も反映する。さらに、画像センサ１１１によって取得される強度は、画像センサ１１１の量子効率および波長の関数としての光学系の効率またはスループットの変化によって影響を受ける。フーリエ変換イメージングを実行しているステアリングシステムでは、位相補正が必要な場合がある。さらに、画像の各チャネルが単一のラベルに対応する画像に関心があるエンドユーザーにとって有用であるために、取得されたハイパースペクトルデータのスペクトル分解が実行される。イメージング装置のデータ取得速度が向上したため、イメージング装置は、連続的にまたは長期間（例えば１０秒を超える）において、毎秒約２億以上のデータ点の速度で画像データを取得する。ＣＰＵ、ＧＰＵ、ＦＰＧＡ、または他の電子回路によって提供される並行処理を活用するデータ処理を行うために様々な動作を使用することができる。したがって、様々な実施形態において、本明細書でさらに説明するように、上述の装置は、関心領域をダイナミックに修正し、１つ以上の光源に起因する不均一な強度パターンを考慮し、他の歪みを考慮することができる。
【０１１３】
制御回路１１３は、さらなる並行処理のために他の処理回路に送信されるデータ量を減らす処理回路を含むことができる。処理回路は、収集した分子サンプル１０２の１つ以上の領域から放出された光から、分子サンプル１０２のハイパースペクトル画像データを生成することができる。データ削減プロセスは、一般に、高速画像センサ１１１からフレームを受信し、これらのフレームを処理して、本明細書でさらに説明する数式２に指定されるスペクトル成分推定値
2019520574.tif 000003
を計算処理するための処理回路（例えば、ＦＰＧＡ）からなる。ハイパースペクトル画像データは、異なる成分波長のスペクトル強度および／またはスペクトル成分推定値を含み得る。このプロセスはデータレートをＬ／Ｋの係数で減少させる。したがって、Ｌが６０でＫが１０の場合、データレートの６倍の削減が達成できる。これを概念化する別の方法は、さらなる処理のために６０の数字を送信する代わりに、６０の波長のそれぞれにおいて測定された強度を表す各数字が１０個送信されることである。これらの１０の数字は、１０個の発光体、吸収体、または散乱体のそれぞれがどれだけ存在するかを表す。（一例として）６０の代わりに１０の数字のみを送信し、他の処理回路を使用してリアルタイムでさらなるデータ解析を実行すると、顕著な利点が得られ得る。１つの利点は、下流アプリケーションに対する処理要求が少なくなることである。組織サンプルの大きな画像がディスプレイ上に表示される状況では、１０チャンネルからのデータを組み合わせることは、６０からのデータを組み合わせることよりも速くなり得る。このようなイメージング装置は、おそらく手術中の内視鏡にも使用することができ、これらの状況では、やはり待ち時間が短くなるように高いスループットを有することが有利である。別の例では、ポイントオブケアシステムでは、ケアを迅速に提供できるように高いスループットが非常に有利である。
【０１１４】
ラベルが利用される生体イメージングにおいて、エンドユーザーは、一般に、各チャンネルがサンプル中の各ラベルの定量化を表すマルチチャンネル画像に関心がある。そのため、ハイパースペクトル画像データに対する変換が行われ、これは一般にスペクトル分解またはスペクトルアンミキシングとして知られている。１ラベルあたりの波長数をより多くすることで、ハイパースペクトルイメージングは、クロストークの補正を改善し、ダイナミックレンジを広げ、ブラインドスペクトル分解を使用するなど未知のスペクトル源を識別し、自己蛍光によるものなどのバックグラウンドの寄与を補正する機能を有することができる。以下の議論は、蛍光イメージングの観点におけるスペクトル分解を説明するが、同様の方法が発光体、吸収体、または散乱体のような他の種類のラベルに適用され得る。
【０１１５】
データ取得の条件に応じて、この変換を線形または非線形問題として扱うスペクトル分解に関して記載された多くの方法がある。スペクトル分解またはアンミキシングに関するより一般的かつ具体的な情報およびその具体的な技術については、Ｎ．Ｋｅｓｈａｖａの「Ａ  Ｓｕｒｖｅｙ  ｏｆ  Ｓｐｅｃｔｒａｌ  Ｕｎｍｉｘｉｎｇ  Ａｌｇｏｒｉｔｈｍｓ」、Ｌｉｎｃｏｌｎ  Ｌａｂｏｒａｔｏｒｙ  Ｊｏｕｒｎａｌ １４（１）５５−７８（２００３）に記載されており、参照により本明細書に完全に組み込まれる。様々な実施形態において、ハイパースペクトルイメージング装置は変換問題を線形システムとしてモデル化することができる。すなわち、取得されたハイパースペクトル画像データは、サンプル中に存在する（自己蛍光を含む）個々のラベルの発光スペクトルの線形結合である。スマイルやキーストーンのようなスペクトル歪みが小さい場合、または補正されている場合は、サンプル内の各点を他のあらゆる点とも無関係に扱うことができるため、計算は並行化に適している。存在する各ラベルの量を推定するための様々な例示的プロセスが、本明細書でさらに説明される。
【０１１６】
図１Ｃは、比較的高速かつ高出力で画像データを収集するために使用することができる例示的なイメージング装置を示す。図１Ｃに示された装置は、様々な実施形態において、図１Ａに示すような装置およびその様々な構成要素を含むことができるが、実施形態はそれに限定されない。図示のように、イメージング装置はマルチモードレーザーダイオード１２５を含む。マルチモードレーザーダイオードは、分子サンプル１０２に供給する光パワーを生成する。マルチモードレーザーダイオード１２５から放射された光は、照明ラインにフィルタリングされる又は集束されることができ、それは、焦点外光に対する感度を減少させ、無駄な光を減少させることができる。さらに、図１Ａおよび図１Ｂの光源１０６と同様に、マルチモードレーザーダイオードは、分子サンプル１０２に少なくとも１００ミリワット（ｍＷ）の光パワーを供給するのに十分なパワーを生成することができる。様々な実施形態において、イメージング装置は複数の光源を有する光源配置を含み、複数の光源の少なくとも１つはマルチモードレーザーダイオード１２５を含むことができる。
【０１１７】
図１Ａに関連して前述したように、マルチモードレーザーダイオードから放出された光は、光路に沿って分子サンプル１０２に伝わる。光パワーによって照射された分子サンプルから放出された光は、分子サンプル１０２から光を複数の異なる成分波長に分離するイメージング分光計１０８への発光光路に沿って供給される。画像センサ１１１は、複数の異なる成分波長に対応する光路に沿って放出された光を収集し、特定の実施形態においては、それにより、他の方法で取得可能または達成可能な分子サンプルの画像のデータ取得速度を改善または最適化する。データ取得速度は、ハイパースペクトル画像データを取得および／または出力する速度を含むまたはそれを示す。データ取得速度の改善は、異なる種類の光源および／またはより低レベルの光パワーを使用する装置に関連し得る。
【０１１８】
図１Ｃには示されていないが、前述および図１Ａに示すように、制御回路は、画像センサ１１１とともに配置され、分子サンプル１０２を走査するために用いられる。図１Ａと同様に、制御回路は、イメージング分光計と画像センサ１１１（および／または発光源）との位置合わせを維持しながら、画像センサ１１１に分子サンプル１０２を走査させ、収集した複数の異なる成分波長に対応して放出された光からハイパースペクトル画像を収集することにより、分子サンプル１０２を走査できる。光学システムは、マルチモードレーザーダイオード１２５からの生成された光パワー、例えば光プロファイルを照明ラインに集束させ、その照明ラインを分子サンプル１０２に伝えるように構成することができる。光学系は、機器または装置を通過する光に作用し、レンズ、プリズム、グレーティング、およびミラーなどの１つ以上の光学要素を含むことができる光学機器または装置の一部を含むまたはそれを示す。
【０１１９】
特定の実施形態では、制御回路は、マルチモードレーザーダイオード１２５の速軸と遅軸の位置合わせを維持しながら、画像センサ１１１に分子サンプル１０２を走査させることにより分子サンプルをさらに走査して、光パワーを（狭い）照明ラインに供給し、焦点外光および／または無駄な光を減らす。マルチモードレーザーダイオードの軸は、図２Ａおよび図２Ｂに関連して以下にさらに図示および説明される。
【０１２０】
いくつかの実施形態において、装置は、マルチモードレーザーダイオード１２５の軸に位置合わせされた光学スリットをさらに含む。光学スリットは、撮像された異なる領域において１つ以上のラインに放出、反射、透過または散乱された光をフィルタリングすることができる。光学スリットは、放出された光をフィルタリングして焦点外光を減少させるために、マルチモードレーザーダイオードの速軸および遅軸と位置合わせされ得る。
【０１２１】
いくつかの実施形態によれば、光学的スリットは様々な変形例を有することができる。例えば、光学スリットは、ユーザーによって手動で調整および／または制御回路を介して調整されてよい。特定の実施形態では、制御回路は、イメージング装置の画像モードおよび露光時間に基づいて、光学スリットの幅を調整することができる。他の実施形態では、装置は複数の光学スリットおよび／または複数のスリットを有する光学スリットを含む。図１７Ａに示すような固定幅のスリットまたは複数のスリットを使用することができる。各スリット（１つの光学スリットまたは多数のスリット）は、分子サンプル１０２から放出、反射、透過または散乱された光の光路に沿って配置されて、光を１つ以上のラインにフィルタリングすることができる。
【０１２２】
収集されたハイパースペクトルデータは、ハイパースペクトルイメージング装置からのデータの処理を並行化するために使用される追加の処理回路などにより、さらに処理されることができる。処理回路は、並列化プロセスを用いて、異なる成分波長のスペクトル強度を、存在する発光体、吸収体、および／または散乱体の定量化にスペクトル分解することにより、ハイパースペクトル画像データを分子サンプル中に存在する発光体、吸収体、および／または散乱体の定量化を表すデータに変換し得る。本明細書でさらに説明するように、処理は、光スループット量子効率のスペクトル依存性を補正することも含むことができる。
【０１２３】
前述のように、マルチモードレーザーダイオード１２５（および様々な実施形態における他の光源）から放射される光は均一ではない場合がある。そのような実施形態では、制御回路および／または追加の処理回路は、不均一な強度パターンを補正することができる。いくつかの実施形態では、制御回路は、マルチモードレーザーダイオード１２５の光パワーの不均一な強度パターンを識別し、その不均一な強度パターンを用いてハイパースペクトル画像データの照明を較正することにより、ハイパースペクトル画像データの照明を較正する。不均一な強度パターンは、本明細書でさらに説明されるようなプロセスを使用して識別することができる。追加の処理回路は、スマイルおよびキーストーン補正を実行することを含むハイパースペクトル画像データに対応する歪みをさらに補正することができる。
【０１２４】
特定の実施形態では、制御回路は、マルチモードレーザーダイオード１２５の照明ラインの方向への分子サンプル１０２の移動を制御し、その方向の各ピクセルについて、複数の異なる成分波長に対応して放出された光を収集することができる。次いで、制御回路は、不均一な強度パターンを識別することができる。例えば、パターンは、マルチモードレーザーダイオード１２５によって励起された蛍光団（または他のラベル）を用いて分子サンプルの区画を識別し、照射ラインの方向への分子サンプルの移動を制御し、その方向の各ピクセルについて、分子サンプルの区画に関連する複数の異なる成分波長に対応する放出された光を収集し、そして、照明ラインの方向における各ピクセルの収集された複数の異なる成分波長を用いて、マルチモードレーザーダイオード１２５に対応する不均一な強度パターンを識別することにより識別できる。
【０１２５】
図１Ｄは、比較的高速かつ高出力で画像データを収集するために使用することができる例示的なイメージング装置を示す。図１Ｄに示された装置は、様々な実施形態において、図１Ａに示すような装置およびその様々な構成要素を含むことができるが、実施形態はそれに限定されない。例えば、装置は、分子サンプルに供給される光パワーを発生する光源１０６と、光パワーによって照らされた分子サンプルの１つ以上の領域から放出される光を複数の異なる成分波長に分離するイメージング分光計１０８と、複数の異なる成分波長に対応する光路に沿って放出された光を収集する画像センサ１１１と、制御回路１１５と、処理回路１１７とを含む。光源１０６は、前述のように、分子サンプルに少なくとも１００ミリワット（ｍＷ）の光パワーを供給するのに十分な出力を発生させることができ、光学システムを用いて分子サンプル１０２上の照明ラインに集束させることができる。
【０１２６】
制御回路１１５は、分子サンプル１０２を走査するために画像センサ１１１と共に配置される。例えば、制御回路１１５は、イメージング分光計１０８と画像センサ１１１との位置合わせを維持しながら、画像センサに分子サンプル１０２の１つ以上の領域を走査させ、複数の異なる波長成分に対応する放出された光から、分子サンプルの２００〜１０００ｎｍの範囲のハイパースペクトル画像データを収集することができる。前述のように、収集されたハイパースペクトル画像データは、スペクトル発光またはスペクトル成分推定値を含み得る。さらに、本明細書でさらに説明されるように、制御回路１１５は、１つの発光体、吸収体、または散乱体あたり２つ以上の波長を取得するために、画像センサに異なる成分波長をオーバーサンプリングさせることができる。制御回路１１５は、画像サンプル１１１に、分子サンプル１０２の１つ以上の領域の複数の異なる成分波長に対応する放出された光を、複数回サンプリングさせることができる。
【０１２７】
前述のように、装置から出力されたデータを並行して処理するために、処理回路１１７を用いることができる。処理回路１１７は、イメージング装置の内部および／または外部にあり得る、複数の処理回路を含み得る。いくつかの実施形態では、少なくとも１つの処理回路は、制御回路１１５（または他の処理回路）の内部またはその一部であり得、ＧＰＵなどの他の回路は、制御回路１１５の外部にあり得る。画像センサ１１１は、複数の異なる成分波長を示すハイパースペクトル画像データを、データ搬送経路に沿って、並行化された処理回路へ提供することができ、特定の実施形態では、少なくとも毎秒１００，０００，０００波長ピクセル測定の速度で、少なくとも１０秒間、データを提供することができる。
【０１２８】
処理回路１１７は、ハイパースペクトル画像データを、分子サンプルの１つ以上の領域に存在する発光体、吸収体、および／または散乱体の定量化を表すデータに変換することにより画像処理パイプラインを実行する。そして、特定の実施形態では、それにより、他の方法で取得可能または達成可能なデータ取得速度および／または分子サンプルの画像のデータ処理速度を改善または最適化する。データ処理速度は、ラベルの定量化を表すデータを取得および／または出力する速度を含むまたはそれを示す。データ取得速度および／または処理速度の向上は、より低レベルの光パワーを使用するおよび／またはデータを非並行的に処理する装置に関連し得る。例えば、処理回路１１７は、異なる成分波長のスペクトル強度を、一部の発光体、吸収体、および／または散乱体の定量化へ分解し、ならびに一部の発光体、吸収体、および／または散乱体の定量化を、発光体、吸収剤、および/または散乱体の定量化に分解することによってハイパースペクトル画像データを変換することができる。一部の定量化は、サンプル中に存在するラベルの相対濃度を含むまたはそれを示し、ハイパースペクトル画像データの歪みまたは不完全性によって影響を受ける可能性がある。ラベルの定量化は、サンプル中に存在するラベルの公称値または絶対値の表現を含むまたはそれを示す。特定の実施形態では、処理回路は、少なくとも毎秒１００，０００，０００波長ピクセル測定の速度で、少なくとも１０秒間、画像処理パイプラインを実行することができる。
【０１２９】
ハイパースペクトルイメージング装置によって取得されるハイパースペクトル画像データは不完全である可能性がある。ハイパースペクトルライン走査装置の場合、データは、キーストーンおよびスマイル、ならびに点広がり関数（ＰＳＦ）の変動によるピクセルの位置ずれなどの歪みを含むことがある。データは、サンプルを照らす照明ラインのあらゆる不均一性も反映する。さらに、画像センサによって取得される強度は、発光航路の光学効率または波長の関数としての画像センサの量子効率の変化によって影響を受ける。さらに、画像の各チャンネルが単一のラベルに対応する画像に関心があるエンドユーザーにとって有用であるために、取得されたハイパースペクトルデータのスペクトル分解が実行される。
【０１３０】
ハイパースペクトルデータに対する変換が実行され、スペクトル分解またはスペクトルアンミキシングと呼ぶことができる。以下の説明は、蛍光イメージングの観点におけるスペクトル分解について説明する。
【０１３１】
以下は、撮像された分子サンプル中に存在する各ラベルの量を推定するための詳細な例示的プロセスである。各サンプル点について、そのサンプル点に存在する各ラベルの量の決定がなされる。「制約なし最小二乗法」と呼ばれる、そのような方法の１つを以下に説明する。この方法では、まずデータモデルについて説明する。 数式１はこのデータモデルについて説明する。
【数１】
2019520574.tif 000004
【０１３２】
数式１において、Ｐｍ（λ）は、波長λにおける所与のサンプル点に対するハイパースペクトルデータの測定信号である。Ｋは、測定中に存在する可能性のあるラベルの数である。Ｐｋ（λ）は、波長λにおけるｋ番目の成分の規格化スペクトルである。ａｋは、ｋ番目のラベルの寄与度（係数、ラベル濃度に比例）であり、ａｋ≧０である。ｎ（λ）は波長λにおける測定ノイズである。規格化は、各ラベルの推定された寄与度の一貫した解釈を確実にするために用いることができる。単位出力規格化
2019520574.tif 000005
または単位ピーク規格化
2019520574.tif 000006
など、様々な規格化関数が利用され得る。
【０１３３】
このモデルでは、特定の波長でのハイパースペクトルデータの測定信号は、Ｋ個の成分の合計であると仮定され、各成分は、Ｋ個のラベルのそれぞれがその波長での測定信号に寄与する程度の結果である。各ラベルは特有のスペクトル応答を有し、すなわち、その発光スペクトルは先験的に知られている。各測定ごとに、各ラベルのスペクトルの特定の部分（係数ａｋで表される）が信号全体に寄与する。最小二乗法を使用して測定値を取得し、そして先験的な成分を知ることにより、係数の推定値を取得できる。その方法を以下に簡単に説明する。
【０１３４】
数式１から開始すると、Ｌ個の固有の波長を各サンプル点測定について解析することができる。解析する固有の波長の数は、ラベルの組のスペクトル範囲、ラベルの数、およびラベル間のスペクトルの重なりの程度に応じて選択することができる。ハイパースペクトルライン走査装置の場合、Ｌは、関心領域を変えることにより、および／または画像センサ内のピクセルをビニングすることにより、変えることができる。ハイパースペクトルステアリング装置の場合、長波長と短波長を制限する光学フィルタを用いて波長領域を制限することができ、サンプル間の光路距離を変えることによって最短波長を変えることができる。両方の場合において、ピクセル積分時間は、画像センサを飽和させることなくダイナミックレンジを最大にするように変えることができる。その後、数式１を使用して、各波長測定について１つずつ、Ｌ個の式を書き出すことができる。この方程式の組は、行列形式で書くことができる。一般的には、数式１は、過剰決定系の方程式であり、未知数（サンプル中のラベルの数）よりも多くの方程式（スペクトルピクセルの数に等しい）がある。ゼロ平均の測定ノイズを仮定すると、成分寄与レベルの制約なし最小二乗（ＬＳ）推定値は、数式２によって与えられる。行列から解に至る過程はよく知られており、ここでは繰り返さない。
【数２】
2019520574.tif 000007
【０１３５】
数式２では、
2019520574.tif 000008
であり、Ｋ個の発光スペクトル成分の推定寄与レベルのＫ×１ベクトルである。
2019520574.tif 000009
であり、Ｌ個の固有の波長において、ハイパースペクトルイメージング装置によって行われた測定値を含むＬ×１ベクトルである。そして、
2019520574.tif 000010
はＫ×Ｌ行列であり、各行は、特定の波長で評価された各ラベルの既知の規格化スペクトルを含みます。参考として、ノイズがスペクトル的に平坦、ゼロ平均、ガウス分布の場合、制約なし最小二乗解も最尤解である。存在するラベルが既知の場合、制約なし最小二乗解がうまく機能することが発見された。また、制約付き最小二乗解法などの、より複雑な解法も利用できることに留意されたい。使用されるアルゴリズムの種類にかかわらず、これらの技術は下流に送信されるデータ量を減らす方法を提供する。したがって、係数ａｋの推定値が計算され、さらなる処理のために処理回路１１７に送信される。
【０１３６】
様々な実施形態は、ハイパースペクトルステアリング装置を対象とする。内視鏡検査などのステアリングイメージング用途には、待ち時間が極めて重要であり、１つの実施形態では、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を用いて短い待ち時間で処理を実行することができる。
【０１３７】
上述のように、ＦＰＧＡは高速画像センサからフレームを受信し、これらのフレームを処理してスペクトル成分推定値
2019520574.tif 000011
を計算する。ＦＰＧＡは、以下の数式３によって定義される行列Ｃを入力されるデータに適用する。
【数３】
2019520574.tif 000012
画像センサは、連続するラインベクトルｍを読み出すように構成することができ、固有のｍは、光学スリット（走査システム）または行／列番号（ステアリングシステム）に沿ってオフセットされた固有の位置に対応する。各ラインベクトルｍの要素は、Ｐｍ（λ１）からＰｍ（λＬ）まで順番にＦＰＧＡに記録され、図２１Ｄに示される仕組みによって処理され得る。この仕組みでは、必要な積和（ＭＡＣ）レートはピクセルレートのＫ倍である。この図で簡単に説明すると、ｍ１…ｍＬは上で定義したｍの要素であり、Ｃ行列はＦＰＧＡ内の記憶部に保持される。ｍの要素がＦＰＧＡに読み込まれると、それらに対応するＣ行列の要素が乗算される。結果は積算登録器により累積される。推定値
2019520574.tif 000013
は上述のように計算され、処理回路１１７に送信される。
【０１３８】
実施を証明するために、実験的な実施形態では、Ｖｉｓｉｏｎ  Ｒｅｓｅａｒｃｈ  Ｐｈａｎｔｏｍ  ７．３カメラを４ＤＳＰ  ＶＰ７８０  ＦＰＧＡプロセッサボードに直接入力するために使用することができる。他のカメラやＦＰＧＡボードも使用可能である。このカメラの最大データレートは１．７ＧＢ/秒である。２バイトピクセルとデータプロトコルのオーバーヘッドを考慮して、１秒間に約８億データ点が読み出され、ＦＰＧＡに入力される。毎秒約８億データ点かつＫ＝１０のネットピクセルレートで、上記のハードウェアを実施するための全体の複雑性は８Ｇｉｇａ−ＭＡＣ／秒になり得る。ＦＰＧＡは、処理および後述するフーリエ処理のために、計算および記憶の両方について十分なリソースを有する。
【０１３９】
ハイパースペクトルライン走査装置の別の実施形態では、スペクトル分解を実行するためにＧＰＵが利用される。上述したように、ラベルの発光スペクトル行列Ｖを前もって取得することができる。この行列は固定されているので、行列Ｃを計算し、ＮＶＩＤＩＡ  ＧＰＵ用の共有メモリなど、ＧＰＵ上のメモリに格納することができる。その後、イメージング分光計を使用してハイパースペクトルデータを取得するときに、連続するフレームをバッファ内で取得することができる。バッファがいっぱいになると、バッファ内のデータはホスト（たとえばメインメモリ）からＧＰＵ（たとえばデバイスメモリ）に転送されて良い。各サンプル点は他のどのサンプル点からも独立して扱うことができるので、画像データの各列、Ｐｍ（λ）を別々のスレッドに割り当てることができる。スレッドは、サンプル上の各点でラベルａｋの定量化に到達するために行列乗算を計算することができる
【０１４０】
様々な実施形態では、ラベルスペクトルの先験的知識を必要としない、またはスペクトル分解に追加の制限を与えない方法が使用されてもよい。これらの方法は、ブラインドスペクトル分解、非負最小二乗法、非負主成分解析、ファジーＫ平均分割アルゴリズム、独立成分解析、またはペナルティに基づいたシュリンクラップなどの様々な名前の様々なアルゴリズムに基づいて、ハイパースペクトルデータからラベルスペクトルを復元することができる。分解に関するより一般的かつ具体的な情報については、Ｎ．Ｋｅｓｈａｖａの「Ａ  Ｓｕｒｖｅｙ  ｏｆ  Ｓｐｅｃｔｒａｌ  Ｕｎｍｉｘｉｎｇ  Ａｌｇｏｒｉｔｈｍｓ」、Ｌｉｎｃｏｌｎ  Ｌａｂｏｒａｔｏｒｙ  Ｊｏｕｒｎａｌ  １４（１）５５−７８（２００３）、Ｈ．ＳｈｉｒａｋａｗａおよびＳ．Ｍｉｙａｚａｋｉの「Ｂｌｉｎｄ  Ｓｐｅｃｔｒａｌ  Ｄｅｃｏｍｐｏｓｉｔｉｏｎ  ｏｆ  Ｓｉｎｇｌｅ−ｃｅｌｌ  ｆｌｕｏｒｅｓｃｅｎｃｅ  ｂｙ  ｐａｒａｌｌｅｌ  ｆａｃｔｏｒ  ａｎａｌｙｓｉｓ」、Ｂｉｏｐｈｙｓ．Ｊ．８６、１７３９〜１７５２（２００４）に記載されており、これらはそれぞれ参照によりその全体が組み込まれる。高速ハイパースペクトルイメージングは、大きなデータセットを迅速に取得することができる。より大きなデータセットは、より強く過決定された逆問題を提供し、そしてスペクトル成分のより良い回復を可能にし得る。これは、個々のスペクトルの収集を事前に回避すること、またはスペクトル応答が変化し得るラベルを用いてイメージングすることにおいて有益であり得る（例えば、量子ドット発光スペクトルは量子ドットのサイズに依存し、バッチごとに変化し得、自己蛍光はサンプルに依存し得る）。
【０１４１】
様々な実施形態では、推定値
2019520574.tif 000014
が許容可能であるかどうかを判定するために、事後解析ステップを実施することができる。許容性を判定するために様々な基準を利用することができる。一例として、推定値を１つまたはいくつかの閾値と比較することができ、推定値が許容基準内にある場合、推定値はホストコンピュータに出力される。閾値の一例は、最小値閾値であり、推定値はこの最小値と比較されてもよく、推定値が特定の値を上回る場合、推定値はホストコンピュータに渡されてもよい。閾値は波長ごとに異なり得る。また、閾値は、解析されたラベルまたは照明条件に応じて調整されてもよい。許容基準は、事前設定されたプログラムによって、またはユーザーインターフェースを通じて修正することができる。
【０１４２】
他の実施形態では、入力される測定値ｍを予備解析中に解析して、さらなる処理に対する許容性を判定することができる。この場合もやはり、許容性を判定するために様々な基準を利用することができる。例えば、ｍのすべての要素がゼロであるまたは閾値より小さい場合、さらなる解析は実行されず、対象内の次の位置が解析される。別の例では、画像フィールド内の対象の位置を決定するために高速予備走査を実行することができる。予備走査のために、対象が特定の位置に存在するかどうかを決定するために、ＦＰＧＡまたは他の種類の処理回路内で異なるアルゴリズムが使用されてもよい。対象の位置はメモリに格納されてもよい。解析のための走査が実行されるときに、対象がある場所に存在しない場合、数式１−３に表されるような詳細な解析は実行されなくても良い。このタイプの解析はスループットの向上をもたらし得る。
【０１４３】
様々な特定の実施形態では、ビット幅を減らすことができる。一般に、Ｋ個のスペクトル成分および成分当たりｎビットの場合、各ピクセルはＫ×ｎビットを使用することができる。しかしながら、いくつかのスペクトル成分が、主にノイズである閾値を下回る場合、ピクセル当たりのビット数を減らすことができる。これは、どの要素が存在するかを示すために追加のビットを使用するが、全体的なデータ要求を減らす。データ圧縮は、データ転送および記憶要求を減らすので有利である。
【０１４４】
いくつかの実施形態では、イメージング装置は再走査を可能にする。解析により特定の場所に対象が含まれていると判定されたが、結果がいくつかの基準に基づいて不適切と判断された場合は、その特定の場所を再走査できる。一例として、推定値がノイズのために信頼できないと事後解析部によって決定された場合、光源パワーはより多くの光を放射するように命令され得る。さらに、積分時間を長くすることができる。これらまたは他の同様の技術を用いて、ノイズを減少させることができる。
【０１４５】
再走査のコンセプトは他の方法で利用されてもよい。イメージング領域内の対象に応じて、走査速度および分解能などの、これらに限定されない取得パラメータを修正することができる。これらのパラメータは、予備走査または以前に「２走査」と呼ばれた手法の結果として修正されてもよい。この結果を使用して、各対象またはイメージング小区画について、速度および分解能を決定することができる。解析のための走査中に、予備走査からの情報を用いて取得パラメータを変更することができる。
【０１４６】
図１Ｄに示されるイメージング装置は、様々な実施形態において、様々な後処理ステップを実行するために用いることができる。本明細書で前述およびさらに説明するように、後処理ステップは、位相補正、量子効率補正、光学系スペクトル効率補正、歪み補正（例えば、キーストーン、スマイル、位置ずれ）、および光源に起因する不均一な強度パターンの補正を含むことができる。例えば、処理回路１１７（および／または制御回路１１５）は、異なる成分波長の測定されたスペクトル強度を、発光体、吸収体、および／または散乱体強度へ分解し、不均一な強度パターンに基づいて光源の光パワーを調整することにより、光源に起因する不均一な強度パターンを使用してハイパースペクトル画像データの照明を較正することができる。特定の実施形態では、処理回路１１７および／または制御回路１１５は、複数の光源のそれぞれについて不均一な強度パターンを識別する。例えば、処理回路１１７および／または制御回路１１５は、光源の照明ラインの方向の、および／または光源に関連する分子サンプルの移動を制御し、その方向の各ピクセルについて、複数の異なる成分波長に対応して放出された光を収集し、照明ラインの方向において各ピクセルについて収集した放出された光を使用して、複数の光源のそれぞれに対応する不均一な強度パターンを識別することができる。
【０１４７】
関連する実施形態では、処理回路１１７は、ハイパースペクトル画像データを修正して、画像センサの量子効率の変動を解析することができる。画像センサの量子効率は、複数の異なる成分波長の波長と共に変化し得る。より具体的には、処理回路１１７は、電磁スペクトルにわたって画像センサの量子効率変動をモデル化し、そのモデルを使用して量子効率変動を補正することができる。一例として、処理回路１１７は、電磁スペクトルにわたって画像センサの量子効率の公称値を得ることにより量子効率変動をモデル化することができ、電磁スペクトルは、画像センサの関心領域内の各スペクトルピクセルによって測定されるスペクトル領域にある。発光光路のスペクトル効率変動を補正するために同様の方法を適用することができる。
【０１４８】
図１Ａ〜図１Ｄ（および図１Ｅ）に示される上記の装置は、ライン走査手法と走査手法の両方に使用することができる。そのような装置は、ライン走査手法のために、分子サンプルにおいて照明ラインに集束される少なくとも１００ミリワット（ｍＷ）の光パワーを供給するために使用され得る。ステアリング手法では、光源から発せられた光プロファイルは照明ラインに集束されないことがある。画像センサ１１１は、複数の異なる成分波長に対応する光路に沿って放出された光を収集し、少なくとも１０秒間、少なくとも毎秒１００，０００，０００波長ピクセル測定の速度で、データ搬送経路に沿って、複数の異なる成分波長を示すデータを制御回路および処理回路に供給する。複数の異なる成分波長に対応する放出された光から収集された分子サンプルのハイパースペクトル画像データは、２００〜１０００ｎｍの範囲内にあり得る。さらに、画像処理パイプラインは、少なくとも毎秒１００，０００，０００波長ピクセル測定の速度で処理回路によって実行され得る。ライン走査手法の場合、イメージング装置は、データ内に存在するスマイルおよびキーストーンを防止または軽減するか、またはそれらを補正することができる。ステアリング手法の場合、処理回路はハイパースペクトル画像データに存在する位相歪みを解析することができる。さらに、ステアリング手法では、処理回路は、２５０ミリ秒未満の待ち時間で、分子サンプル中に存在する発光体、吸収体、および／または散乱体の定量化を表すデータをディスプレイに提供することができる。
【０１４９】
本明細書でさらに説明されるように、図１Ｄ（および図１Ａ〜図１Ｃ）によって示されるイメージング装置は、スペクトル分解の混合またはハイブリッド法を実行するために用いることができる。混合方法は、通常の最小二乗法を含む第１の技術と、第１の技術を使用して決定される負のラベル定量を生成するまたは閾値誤差外の残留誤差を示すサンプリングデータ点とに応答する第２の技術とを用いて、画像処理パイプラインを実行する処理回路を含み得る。通常の最小二乗法などの第１の技術は、第２の技術と比較してより高速のスペクトル分解を含むことができる。より時間のかかる第２の技術は、第１の技術を使用して負の数を生成するまたは閾値レベルを超える残留誤差を示すサンプル点に対して使用することができる。
【０１５０】
ハイブリッド法は、スペクトルが画像の一部から回収され、次いで画像の残りの部分に適用される場合に有利であり得、最初は処理速度を犠牲にしてブラインドスペクトルの回復を可能にするが、残りの画像についてはより速い処理を可能にする方法である。ブラインドスペクトル回収は、組織または細胞の自己蛍光または吸収がサンプルごとに異なる可能性がある分子サンプルへの適用に特に有利であり得る。
【０１５１】
ハイブリッド法が有益であり得る別の例は、通常の最小二乗法が、推定された発光体、吸収体、または散乱体濃度に対して負の係数
2019520574.tif 000015
を生成するときである。物理系はサンプル中に負の量の発光体、吸収体、または散乱体を有することができないため、係数が負になることはあり得ない。このシナリオでは、負の係数を生成したサンプル点にフラグを立てることができ、生のハイパースペクトルデータは、サンプル走査が完了したときなど、後で再処理するために保持できる。システムがこれらのフラグが立てられたサンプル点からのデータを再処理する準備ができた場合、本質的に反復的でありリアルタイム処理に適していない、非負最小二乗法のような他の方法が適用され得る。
【０１５２】
スペクトル分解のハイブリッド方法の用を促進可能なさらなる条件は、分解の残留誤差が特定の閾値を超える場合、または生のハイパースペクトルデータが部分的または完全に飽和している場合を含む。これらのシナリオでは、サンプル点は互いに独立して扱うことができるという仮定を捨てることが役に立ち得る。言い換えれば、隣接サンプル点からのラベル定量化推定値は、ラベル定量化の推定を補助するために使用することができる。特に、問題のサンプル点の生のハイパースペクトルデータがラベルの発光スペクトルと一致するスペクトル領域で飽和している場合は、隣接するサンプル点からのデータを使用して特定の発光体、吸収体、または散乱体の量を補間できる。
【０１５３】
理想的なシステムでは、ハイパースペクトルイメージング装置は、いかなる収差、歪み、またはピクセルの位置ずれもなく、サンプルを撮像することができる。装置は、サンプル上の空間ピクセルを画像センサ１１１の列上に完全に分離することができる。しかしながら、多くの場合、イメージング分光計１０８が光を画像センサ上に分離するとき、いくつかの現象が起こり得る。いくつかの実施形態によれば、処理回路１１７は、ノイズおよび／または歪みの存在を解析するために、データを修正することにより、ハイパースペクトルイメージングデータを変換することができる。ノイズおよび／または歪みは、キーストーンおよびスマイル現象、位相補正、ピクセルの位置ずれ、不均一な照明、およびそれらの様々な組み合わせを含み得る。ハイパースペクトルライン走査装置の場合、これらはキーストーンとスマイルを含むことができる。ハイパースペクトルステアリング装置の場合、これらは、波長依存倍率、バレル、またはピンクッション変動などの位相補正を含むことができる。キーストーンとスマイルの補正については、以下で詳しく説明する。当業者は、他の効果に対して同様の補正がどのように実行され得るかを認識することができる。
【０１５４】
キーストーン歪みは、波長に対する光学倍率の変化を示すまたは含む。より具体的には、キーストーン歪みは、異なる波長におけるサンプル中の空間ピクセル間の空間的シフトを含む。これは、以下の図９Ａにおいて視覚化される。スマイル歪みは、アレイのトラック横断方向の波長シフトを示すまたは含む。より具体的には、スマイル歪みは、異なる空間ピクセルにおける波長（またはスペクトル）シフトを伴う。例えば、歪みは、視野内の位置の関数として、スペクトルチャンネルの中心波長の変化をもたらし得る。さらに、点広がり関数によって説明され得るシステム内の任意の光学ブラーは、空間的およびスペクトル的に変化する可能性があり、その結果さらなるピクセルの位置ずれが生じる。
【０１５５】
これらの歪みおよび位置ずれを軽減可能な光学設計があるが、イメージング装置は、画像処理動作を介してこれらの歪みを補正することができる。これには、較正データの取得と、サンプルの撮像中に画像センサによって記録されるハイパースペクトルデータの補正という、２段階の処理が必要である。例えば、制御回路１１５は、分子サンプル１０２中に存在する発光体、吸収体、および／または散乱体を示す第１の較正データ、およびイメージング装置に存在する歪みを示す第２の較正データを生成することができる。処理回路１１７は、第１および第２の較正データを使用して画像処理パイプラインを実行することができる。しかしながら、実施形態はそのように限定されず、様々な実施形態において、処理回路１１７の第１の処理回路は較正データを生成することができ、処理回路１１７の第２処理回路は較正データを用いてハイパースペクトル画像データを変換することができる。必要な較正データを取得するには多くの方法がある。以下は、空間の位置ずれおよびスペクトルの位置ずれに関するそのような方法の一例である。
【０１５６】
空間の位置ずれ較正データを取得するために、多色点光源を以下のステップに利用することができる。まず、点光源をスリットの最初の「ピクセル」に設定する。これにより、画像センサ上に曲線を形成することができ、これはキーストーンと空間の位置ずれを反映する。ライン応答関数ＬＳＦ（ｘ、ｙ）は、画像センサ上の各ピクセルに対して構築され、ｘは空間次元に沿ったピクセル位置であり、ｙはスペクトル次元に沿ったピクセル位置である。ライン応答関数は、点光源の空間位置と、位置（ｘ、ｙ）におけるピクセルの強度との間の関係を測定する。ＬＳＦ（ｘ、ｙ）の最大強度を有する空間位置は、そのピクセルの中心空間位置となる。この処理は、その後の各「ピクセル」ごとに繰り返され、各ピクセルは、最初のピクセルに隣接またはピクセル数個分離れていても良い。後者を選択した場合、較正処理の最後にキーストーンを補間できる。
【０１５７】
いくつかの実施形態では、スペクトルの位置ずれ較正データを取得するために、複数の波長の単色広視野光源、または単一の波長可変光源を使用することができる。まず、スリットが第１の波長で照らされる。次いで、スペクトル応答関数ＳＲＦ（ｘ、ｙ）が画像センサ上の各ピクセルに対して構築され、ｘは空間次元に沿ったピクセル位置であり、ｙはスペクトル次元に沿ったピクセル位置である。スペクトル応答関数は、点光源の波長と、位置（ｘ、ｙ）におけるピクセルの強度との間の関係を測定する。ＳＲＦ（ｘ、ｙ）の最大強度を有する波長は、そのピクセルの中心波長となる。この処理は、その後の各波長について繰り返される。較正用に選択された波長が数ナノメートル離れている場合は、較正処理の最後にスマイルを補間することができる。
【０１５８】
較正データを使用して、生のハイパースペクトルデータＲを、等間隔のグリッドＧ上において再サンプリングすることができ、△ａは画像センサのピクセルサイズであり、△ｂはイメージング装置の平均スペクトル分解能である。
【０１５９】
Ｇ（ａ、ｂ）の空間位置ｐおよび中心波長λは、較正データから算出された空間位置および波長を使用して、生ハイパースペクトルデータグリッドＲ内の（ｘ、ｙ）の値を補間するために使用することができる。これを再サンプリング点として使用できる。
【０１６０】
このとき、Ｇ（ａ、ｂ）の正しい強度を決定するために、最近傍補間、双一次補間、および双三次補間を含む、任意の数の補間方法を使用することができる。この処理は、Ｇ内のすべての点に対して繰り返すことができる。これらの補間は、各スレッドが生のハイパースペクトルデータグリッドＲからの必要なデータ点にアクセスできる限り、並行に計算することができる。
【０１６１】
量子効率補正、発光光路スペクトル効率補正、不均一な照明補正、位相補正、および／またはデータ分解能を向上させるフィードバックなど、他の様々な補正を、処理回路１１７を使用して実行することができる。それぞれについてさらに説明する。
【０１６２】
画像センサは、一般に、測定された光の波長と共に変化する量子効率を有する。典型的には、シリコンベースの画像センサは、青または赤の領域よりも可視スペクトルの緑の領域に対してより敏感である。青、緑、または赤の領域で発光することがある蛍光団の相対的定量化を提供する場合、この可変量子効率を補正することは有益であり得る。ハイパースペクトルイメージング装置は、電磁スペクトルにわたる画像センサの量子効率変動をより正確にモデル化する一組の補正係数を適用することができるので、量子効率を補正する優れた能力を有する。
【０１６３】
画像センサ１１１のデータシート、または画像センサを使用して取得された実験データから、画像センサ１１１の量子効率についての０．０から１．０の間の値は、画像センサの関心領域内の各スペクトルピクセルにより測定されるスペクトル領域で得ることができる。これらの値は規格化可能であり、次にこれらの値の逆数をベクトルｑに格納し、量子効率を補正するために使用できる。ハイパースペクトルライン走査装置の例示的実施形態では、画像センサのｘ軸はサンプル上の様々な空間点に対応し、ｙ軸はサンプル上の所与の空間点に対する様々なスペクトル測定値に対応する。このデータが上述のようにキーストーンおよびスマイルのような光学的歪みについて補正されると、ハイパースペクトルデータの各列とｑとの要素ごとの乗算、すなわち量子効率補正係数の算出を実行することができる。ハイパースペクトルデータの各列は、異なるスレッドによって同時に要素毎にｑで乗算することができるので、この手順は並行して実行することができる。センサ量子効率および発光光路スペクトル効率の補正は、１つのスペクトル応答関数として一緒に実行することができる。
【０１６４】
ベクトルｑの長さは測定されている波長の数に対応するので、この補正はハイパースペクトルイメージングにおいてより正確である。電磁スペクトルの一定領域に対して測定される波長が多いほど、ｑの各要素が表すスペクトル領域は狭くなる。言い換えれば、画像センサの量子効率が連続関数としてモデル化される場合、ハイパースペクトルイメージング装置は、マルチスペクトルまたは従来のイメージング装置と比較して、その関数をより細かく抽出することができる。これにより、測定されたハイパースペクトルデータに量子効率補正係数を適用すると、より正確な結果が得られる。
【０１６５】
画像センサを用いて分子サンプルを撮像する場合、画像センサによって検出される信号（例えば、蛍光、透過光）は、照明の強度に比例する。ビーム整形に使用される光学系に応じて生じる照明ラインは、ほとんど均一な照明を有する場合もあれば、有さない場合もある。これは、カスタム設計のＰｏｗｅｌｌレンズ、レーザービーム発生器、またはその他の光学設計を使用して光学的に実現可能である。それ以外には、これは、追加の較正ステップを実行することによりソフトウェアで補正することができる。
【０１６６】
分子サンプルの光学特性を反映する補正画像を生成するために、後処理ステップが、画像センサによって記録された画像に対して実行され、これは本明細書では照明較正または不均一照明補正と呼ばれる。様々な実施形態では、サンプルから反射して戻る任意のレーザー光を遮断するための発光フィルタは存在しない（ただし、レーザー光の一部を遮断するダイクロイックフィルタがあってもよい）。この場合、サンプル１０２の空の領域（例えば、サンプルを保持するスライドだけ）を撮像する場合、反射されたレーザー光はイメージング分光計１０８により分離されることができ、その結果、画像センサ１１１によって記録されるハイパースペクトル画像は照明ラインの不均一な照明を反映することができる。
【０１６７】
図１Ｅは、比較的高速かつ高出力で画像データを収集するために使用することができる例示的なイメージング装置を示す。図１Ｅに示される装置は、様々な実施形態において、図１Ａに示すような装置およびその様々な構成要素を含むことができるが、実施形態はそのように限定されない。装置は、光源配置１２１と、イメージング分光計１２４と、画像センサ１１１と、制御回路１１５とを含むことができる。光源配置１２１は、複数の光源を有する装置および／または構成要素を含むまたは示す。
【０１６８】
図１Ａに関連して前述したように、光源配置１２１から放射された光は、光路に沿って分子サンプル１０２に伝わる。光パワーによって照らされた分子サンプル１０２から放出された光は、分子サンプル１０２から光を複数の異なる成分波長に分離するイメージング分光計１２４への発光光路に沿って供給される。画像センサ１１１は、複数の異なる成分波長に対応する光路に沿って放出された光を収集する。いくつかの特定の実施形態では、光源配置１２１から発生した光パワーを１つまたは複数の照明ラインに集束させ、その照明ラインを分子サンプル１０２に供給する光学システムを構成することができる。
【０１６９】
イメージング分光計１２４は、１つ以上の異なる画像化領域でラインに放出された光をフィルタリングするために使用することができる。光源配置１２１は、分子サンプル１０２に複数の照明ラインを供給する光パワーを生成する少なくとも１つの光源を有する。少なくとも１つの光源が光パワーを生成することに応答して、イメージング分光計１２４は、複数の照明ラインによって照らされた分子サンプル１０２から放出された光を複数の異なる成分波長に分離する。いくつかの実施形態では、イメージング分光計１２４は、光学系と、放出、反射、透過、または散乱された光をフィルタリングする光学スリットとを使用して、それぞれのラインに放出された光をフィルタリングする。他の実施形態では、光源配置１２１は複数の光源を含み、複数の光源のうちの少なくとも２つは重ならない波長の組を有し、放射、反射、透過、または散乱された光が、撮像された異なる領域に対応するそれぞれのラインに効果的にフィルタリングされる。
【０１７０】
画像センサ１１１は、分子サンプル１０２からの光路に沿って放出された複数の異なる成分波長に対応する光を収集する。制御回路１１５は、イメージング分光計１２４と画像センサ１１１との位置合わせを維持しながら、画像センサ１１１に分子サンプル１０２を走査させ、複数の異なる波長成分に対応する放出された光から分子サンプル１０２のハイパースペクトル画像データを収集し、特定の実施形態では、これにより他の方法で取得可能または達成可能な分子サンプルの画像のデータ取得速度を改善または最適化する。データ取得速度の向上は、光をラインにフィルタリングしない、および／またはより低レベルの光パワーを使用する装置に関連し得る。
【０１７１】
いくつかの実施形態では、本明細書でさらに説明されるように、光学システムおよび光学スリットは、１つまたは複数のラインに放出された光をフィルタリングする。イメージング分光計１２４は、撮像された異なる領域（例えば、光の領域）において、放射、反射、透過、または散乱された光をそれぞれにフィルタリングするために使用される複数の光学スリットを含むことができる。例えば、複数の光学スリットは、光を画像センサ上の異なる波長位置にフィルタリングするためにイメージング分光計１２４と共に配置され、複数の光学スリットのそれぞれは、光を画像センサ上の異なる波長位置、すなわち撮像された１つの領域にフィルタリングする。さらなる特定の実施形態では、光源配置１２１は、複数の光学スリットごとに一組の光源を含むことができる。例えば、光源配置１２１は、複数の光学スリットごとに２つの光源を含むことができる。関連する特定の実施形態では、装置は複数の画像センサを含み、各画像センサは、複数の光学スリットのうちの１つまたは複数の光学スリットの一組とともに配置される。他の実施形態では、光源配置１２１は複数の光源を含み、複数の光源のうちの少なくとも２つは、ラインに異なる領域（例えば、画像センサ上の異なる波長位置）で、放出、反射、透過、または散乱された光をフィルタリングするために使用される重複しない組の波長を有する。他の実施形態と同様に、１つまたは複数の光源は、分子サンプルにおける複数の照明ラインのそれぞれについて、少なくとも１００ｍＷの光パワーを供給するのに十分なパワーを生成することができる。
【０１７２】
前述のように、収集されたハイパースペクトル画像データは、ハイパースペクトルイメージング装置からのデータの処理を並行化するために使用される追加の処理回路などによってさらに処理することができる。処理回路は、並行化処理を使用して異なる成分波長のスペクトル強度を存在する発光体、吸収体、および／または散乱体の定量化にスペクトル分解することによって、およびいくつかの特定の実施形態では並列化処理を実行することによって、ハイパースペクトル画像データを分子サンプル中に存在する発光体、吸収体、および／または散乱体の定量化を表すデータに変換し得る。本明細書でさらに説明するように、処理は、量子効率および／またはスペクトル応答について補正することも含むことができる。
【０１７３】
様々な実施形態において、光源配置１２４の１つ以上の光源（および様々な実施形態における他の光源）から放射される光は均一ではない場合がある。そのような実施形態では、制御回路１１５および／または追加の処理回路は、不均一な強度パターンを補正することができる。いくつかの実施形態では、制御回路は、マルチモードレーザーダイオード１２５の光パワーの不均一な強度パターンを識別し、ハイパースペクトル画像データの照明を較正するために不均一な強度パターンを使用することによって、ハイパースペクトル画像データの照明を較正する。
【０１７４】
図２Ａ〜図２Ｂは、本開示の実施形態に係る装置のマルチモードレーザーダイオードの軸の図を示す。例えば、図２Ａは遅軸を示し、図２Ｂは集束光学系によって集束されたマルチモードレーザーダイオードの速軸を示す。集束光学系は、光を集束させることによって通過する光に作用する光学系を含むまたはそれを示す。図示のように、集束光学系２０３は光源から放射された光を集束させて照明ラインを生成する。マルチモードレーザーダイオードは、ダイオードの遅軸に沿っていくつかのレーザービームを放射する。同様に、同程度ではないが、シングルモードレーザーダイオードは、完全に均一ではないライン強度を有し、不均一なレーザー強度（例えば、異なる強度のレーザービーム）を放射することがある。その結果、光源の強度パターンは不均一になり得る。
【０１７５】
図２Ｃ〜図２Ｄは、本開示の実施形態に係るマルチモードレーザーダイオードのマルチモードの例、および装置が照明を較正するための一組の動作例を示す。図２Ｃは、マルチモードダイオードレーザーからの異なる強度を有する複数の光線を有する光源の一例を示す。ハイパースペクトルイメージング装置は高速である（例えば、１５００ＦＰＳ以上で動作する）ため、記録される各フレームの露光時間は非常に短い（例えば、例えば１０ｍｓ以下または６００マイクロ秒以下など１０００ｍｓ以下）。使用される光源は、高い出力密度（例えば、１００ｍＷから６Ｗの出力）を提供する。１つの選択肢は、マルチモードレーザーダイオードを使用することである。理解され得るように、記述子「マルチモード」は、レーザーダイオードが実際にはダイオードの遅軸２１７に沿っていくつかのレーザービームを放射しているという事実を示す。結果として、光線のパターンは、図２Ｄにおいて「平行」と付された遠視野像によって示されるように、不均一である。照準レンズおよび円筒レンズ（または他の線集束光学系）を通過した後、照明ラインの強度パターンは不均一なままである。しかしながら、速軸２１５に沿って、ビーム品質はほぼガウス分布で回折限界に近く、これらのダイオードをライン結像の理想的な候補にする。
【０１７６】
画像センサを用いて分子サンプルを撮像するとき、画像センサによって検出された結果である信号（例えば、蛍光、透過光）は、照明の強度に直接関係している。何も補正しなければ、結果のハイパースペクトル画像は光源に起因する照明の変動を反映する。分子サンプルの光学的性質を反映する補正画像を生成するために、後処理工程が画像センサによって記録された画像に対して実行され、これは本明細書では照明較正または不均一な照明補正と呼ばれることがあり、さらに本明細書に記載される。
【０１７７】
図３は、本開示の実施形態による、回折格子およびプリズムの効率の説明図である。図示されているように、プリズムの効率は一定であり、４００〜１０００ｎｍの範囲の波長において閾値を超えている。前述のように、イメージング分光計で使用される分散要素は、センサによって収集される蛍光の量に影響を与える可能性がある。より多くの光を収集するほど、良好なＳＮ比を得ながら画像センサのより短いセンサ露光時間が利用可能となり、ハイパースペクトルイメージングシステムがより高速にサンプルからデータを取得することが可能となる。
【０１７８】
図４は、本開示の実施形態に係る、走査装置などのイメージング装置のイメージング分光計によって分離された光の例示的グラフを示す。図示のように、イメージング分光計は、入力された光を異なる成分波長に分離する。様々な実施形態では、サンプルを撮像する撮像速度を上げるために画像センサ上の関心領域（例えば、複数の成分波長の範囲）が修正され得る。
【０１７９】
イメージング装置は、様々な実施形態により、様々な異なる種類の分子サンプルを走査するために使用することができる。そのような分子サンプルは、顕微鏡スライド、シャーレ、マイクロタイタープレート、組織マイクロアレイなどに収容されていてもよい。図５Ａ〜５Ｂは、本開示に係る、装置を使用した異なる種類の走査を示す図である。
【０１８０】
図５Ａは、ステアリング走査手法を実行するための例示的なパターンを示す。各正方形は、走査された分子サンプルの一区画を示し、次に分子サンプルは光学対物レンズに対して移動して次の区画を走査する。様々な実施形態では、各正方形を視野内に持ってくるためにステージが移動され、その結果、システムのオーバーヘッドが生じる可能性がある。
【０１８１】
図５Ｂは、ライン走査ベースの走査手法を実行するための例示的なパターンを示す。各矩形は、ステージを移動させて全区画（例えばストリップ）を捕捉することにより走査される分子サンプルの区画を示す。次に、ステージが移動して次の区画の開始点を視野に入れる。
【０１８２】
図１Ａ〜１Ｄに関連して前述したように、本開示に係るハイパースペクトルイメージング装置は、生体画像を走査しながらオートフォーカスを実行することができる。オートフォーカスは、イメージング装置がサンプルの所与の視野に対する最良の焦点面を特定する処理である。
【０１８３】
図６は、本開示の実施形態に係るハイパースペクトルまたは他の画像を生成するための装置の例示的なオートフォーカス構成要素を示す。いくつかの実施形態では、傾斜を有する追加の画像センサ６２２を使用してオートフォーカスを実行することができる。分子サンプルから放出された光のラインは、ビームスプリッターなどの構成要素を使用して、発光光路から伝達され、オートフォーカス制御モジュール上に結像される。オートフォーカス制御モジュールは、円筒レンズ６２０（またはいくつかの代替実施形態ではミラー）および傾斜を有する画像センサ６２２（本明細書では、簡単にするために「オートフォーカスモジュール」と呼ばれることがある）を含み得る。発光光路からの光プロファイルは、傾斜を有する画像センサ６２２に光を通過させる円筒レンズ６２０を使用して拡大される。例えば、ライン走査イメージングを実行すると、光は、長さ２０４８ピクセル、幅１ピクセルのラインで顕微鏡から発することができる。円筒レンズ６２０を使用して、各ラインの幅は、例えば１ピクセル幅から９６ピクセル幅まで拡大される。球面および円筒レンズの他の組み合わせもまた、光プロファイルを一方向に拡大するために使用されてよい。物理的または光学的機構を介して画像センサ６２２に傾斜が加えられ、それにより、拡大された光プロファイル（例えば、照明ライン）から画像センサ６２２までの光路長が変化する。画像センサ６２２が傾斜を有するので、画像センサ６２２上の各ラインは像面から離れた異なるｚ距離となる。図６に示すように、傾斜を有する画像６２２センサは、分子サンプル中の同じラインを、同時に複数のｚ平面上に効果的に撮像することができる。
【０１８４】
オートフォーカスモジュールは、各ｚ平面（例えば、コントラスト、グラジエントのエネルギー）について一次元焦点距離または焦点性能指数を計算し、最良焦点距離値を有するｚ平面を選択することができるオートフォーカス制御回路を含むことができる。他の実施形態では、オートフォーカスモジュールはデータを処理のために制御回路に伝達することができる。このｚ平面に移動せよという命令は、ハイパースペクトルイメージング装置が走査処理中に常に焦点が合っていることを保証するために、制御回路によりステージに送られることができる。
【０１８５】
様々な実施形態において、ハイパースペクトルイメージング装置が分子サンプルを横断して走査する場合、（ラインとは対照的な）ある領域のｚスタックは、後続のライン画像をバッファに格納することによって構築され得る。バッファの動作は先入れ先出し（ＦＩＦＯ）である。ラインの新しいｚスタックを取得すると、そのラインｚスタックが「最新の」ラインｚスタックになる。バッファがいっぱいになると、「最も古い」ラインｚスタックが削除される。このバッファのサイズは、新しいデータに対するオートフォーカスモジュールの応答を調整するために変更可能である。ハイパースペクトルイメージング装置がサンプルを撮像するときにオートフォーカスをリアルタイムで実行することができる。これは、オートフォーカス用にｚスタックを取得するための追加の時間が不要となる可能性を示し、オーバーヘッドを削減する。分子サンプルが走査されると、連続するｚスタックが記憶され（例えば、２０４８×２０４８×９６ピクセル）、最適焦点面がコントラストまたは焦点距離に基づいて計算され、それに応じてそのｚ位置を調整するためにコマンドが（例えば、制御回路を介して）顕微鏡に与えられる。様々な実施形態において、これは、非常に短い待ち時間を有するハードウェアベースのソリューションとして実装することができる。
【０１８６】
オートフォーカスがリアルタイムで実行される場合、ステージがある点またはラインに達する前に、サンプルの点またはラインの焦点面を決定することが有益である。焦点面がゆっくり変化する実施形態では、ハイパースペクトルイメージング装置は、最近の焦点面の決定を使用して、焦点面内のどこが後の時点にあり得るかを推定し、システムが応答し正しい焦点面を設定する時間をもたらす。画像内の最初のストリップについては、そのストリップから推定に利用可能な焦点面データのみがある（例えば、図５Ｂの左端の矩形）。２番目以降のストリップ（例えば、図５Ｂの左端の矩形の右側の矩形）については、そのストリップ内の前のラインと、すでに走査された隣接するストリップの焦点面の双方から、利用可能な焦点面データがある。そのような場合、焦点面推定を改善するために推定を二次元で実行することができる（例えば、図５Ｂの垂直方向と水平方向の両方）。推定に大きなデータセットを使用すると、焦点面の推定が向上し、焦点面の決定に使用される画像の鏡面反射やその他のノイズの影響が軽減される。焦点面の推定がより困難である多くの実装において、二次元推定の欠如を補償するためのより良い焦点面推定を提供するために、第１のストリップまたは第１のストリップ上の複数のパスについてより遅い走査を実行することは有益であり得る。
【０１８７】
特定の実施形態では、オートフォーカスは、それぞれが分子サンプル内のラインを表す複数のラインを、傾斜を有する画像センサ６２２に収集することを含む。前述のように、画像センサ６２２における複数のラインのそれぞれは、システムの像面から異なるｚ距離である。具体的には、画像センサ６２２は、画像センサ６２２の複数のラインを使用して分子サンプル中のラインのｚスタックを捕捉する。ｚスタックは、関心領域にわたって取得することができる。分子サンプル中のラインの焦点面は、コントラストまたは他の焦点距離に基づいて決定することができる。焦点面に基づいて、イメージング装置は、顕微鏡レンズに対する分子サンプルのｚ位置を調整するように制御回路に命令するオートフォーカス制御回路によりオートフォーカスされる。
【０１８８】
さらなる特定の実施形態において、傾斜を有する画像センサ６２２（例えば、オートフォーカス画像センサ）は、ｚスタック内の各画像が取得されるｚ位置と共に、分子サンプルのｚスタックを取得する。各画像のコントラストまたは他の焦点距離が計算され、最良の焦点距離値を有する画像が選択される。その後、直ちにイメージングを実行する場合、ｚ軸ステージはイメージングのために生体サンプルを対応するｚ位置に移動させる。そうでなければ、ｚ位置は後で使用するためにオートフォーカスマップに記憶される。
【０１８９】
図７は、本開示の実施形態に係るハイパースペクトルまたは他の画像を生成するための装置の例示的なオートフォーカス構成要素を示す。リアルタイムオートフォーカスの代替的な方法は、基板表面の焦点面を決定するためにサンプルからのレーザービームの反射を使用する。前述のように、サンプルは基板７３１に収容することができる。基板７３１はその表面に反射コーティング７３１を有する。イメージング装置の制御回路は、反射コーティングから反射された光を使用することにより、分子サンプルのその領域および／または他の領域に対する最適焦点面を決定することができる。例えば、オートフォーカスモジュールは、基板７３１に向けられる光を放射する他の光源（例えばレーザー７３３）と、反射光を検出する他の画像センサ（例えば検出器７３５）とを含むことができる。
【０１９０】
反射光のスポット位置の監視は、いつ基板表面に焦点が合っているかの指標を提供する。そのようなレーザー反射オートフォーカス方法はよく理解されている。反射レーザーを監視するセンサの位置を調整または監視することにより、基板表面からの定点において結像が可能となる。これらの方法の主な制限は、例えば反射スポットの強度が表面の両側の屈折率の差に依存するため、スライドと水またはスライドとマウント媒体との間の界面でうまく機能しないことである。この制限を克服するために、反射コーティングは、イメージングスペクトル領域外では反射性であり、イメージングスペクトル領域内では透過性であり、追加の光源（例えば、レーザー７３３）はイメージングスペクトル領域外で基板７３１に供給する光パワーを発生させる。 例えば、基板は、赤外域では反射率が高いが、可視波長では透過率が高い層で被覆されている。これは、ロバストなオートフォーカス制御に非常に強く反映される。赤外域では高反射性であるが可視／近赤外域では高透過率である材料の例は、酸化インジウムスズ（ＩＴＯ）の薄層である。基板平面の決定には、ＩＴＯにより反射される赤外線レーザーが使用される。光学素子とフィルタを適切に選択すると、赤外線レーザーおよびＩＴＯはいずれもハイパースペクトルイメージングに干渉しない。
【０１９１】
他の関連する実施形態では、位相検出オートフォーカスは、２つの空間的にオフセットされた画像を記録するために二重ピンホールを使用することによって実行される。ソフトウェアまたはハードウェアでは、位相オフセットを使用して空間オフセットを計算し得る。空間オフセットの量は、最良の焦点面を達成するためにＺ軸ステージをどれだけ動かすかに対応する。この方法は、Ｚスタック全体ではなく視野ごとに１つの画像を必要とするので、従来のＺスタック画像焦点距離法よりも高速であり得る。さらに、これは分子サンプルを保存し、光退色を防ぐことができる。
【０１９２】
実行されるオートフォーカスは、撮像されている分子サンプルに依存し得る。以下に、オートフォーカスに関するいくつかの例示的なサンプル、（本明細書でさらに説明されるような）イメージングタイプ、および検討事項を記載する。第１の例示的なサンプルタイプは、顕微鏡が全スライドイメージングを実行する顕微鏡スライドである。走査中に十分な速度でオートフォーカス処理を実行するために、イメージング装置はフォーカスマップを作成することができる。フォーカスマップは、設定された数の視野に対する最良の焦点面の位置を識別し、このフォーカスマップに基づいて他の視野に対する最良の焦点面を補間するために使用することができる。別の例示的なサンプルタイプは、イメージング装置がライブ撮像を実行する顕微鏡スライドである。そのような例では、ユーザーは、単一の視野を撮像することに興味がある可能性があるが、焦点面は分子サンプルが動くにつれて時間とともに変化し得る。この変化は非常に急速であり得、また、サンプルが視野から外れる可能性があるのでリアルタイムの対象検出を必要とする場合がある。顕微鏡もまた、マイクロタイタープレートのウェルあたり１つの画像を撮像するために使用され得る。サンプル調製手順に応じて、マイクロタイタープレートの各ウェルは異なる焦点面を有することがある。その結果、各ウェルの焦点面は幾分独立して決定され得る。他の例では、顕微鏡はマイクロタイタープレートのウェル毎に複数の画像を撮像する。１ウェルあたり１つの画像のケースで記載されているように、各ウェルの最良の焦点面は他から独立している場合がある。しかしながら、同じウェル内の隣接する視野は、極めて近接している焦点面を有することがあり、これは顕微鏡スライド上で全スライドイメージングを実行するときに使用されるものと同じ仮定である。さらに、顕微鏡はマイクロタイタープレート上で全ウェルイメージングを行うことができる。
【０１９３】
図８は、本開示の実施形態に係る図１Ａと一致する方法で実施されるタイプのイメージング装置のための一連の動作例を示すフローチャートである。図示のように、８１５において、処理は、少なくとも１つの光源、イメージング分光計、画像センサ、および制御回路を含むハイパースペクトルイメージング装置を使用して分子サンプル８０５を走査することを含む。イメージング装置は、複数の光源を有する光源配置を含むことができる。前述のように、１つ以上の光源は、不均一な光強度で複数の光線を放射する、および／または別の方法で不均一な光パターンを有する。特定の実施形態では、複数の光源は同時に（例えば、一緒にまたは同時に）サンプルを照らす。他の実施形態では、複数の光源はサンプルを順次照らす。いくつかの特定の実施形態では、ステージおよび制御回路を使用して装置の光学対物レンズに対するサンプルの複数の位置を制御することにより、分子サンプル８０５を連続的に走査して画像データを収集することができる。
【０１９４】
いくつかの実施形態では、処理は、分子サンプル８０５の走査中のオートフォーカスを含むことができる。サンプルはしばしば完全に平面ではない。その結果、光学対物レンズとサンプルとの間の距離は、サンプルが走査されるときにサンプルに焦点を合わせるように調整することができる。これらのレンズ（例えば対物レンズ）はより小さな被写界深度を有するので、高倍率に対して特に有益である。オートフォーカスを実行しない結果、ぼやけてピントがずれた画像になる可能性がある。前述のように、オートフォーカスを実行する方法はいくつかある。
【０１９５】
特定の実施形態では、分子サンプル８０５内のラインのｚスタック内の焦点面を決定し、焦点面に基づいて対物レンズに対する分子サンプルのｚ位置を調整することにより、サンプルをオートフォーカスすることができる。ｚスタック内の焦点面は、追加の画像センサで収集された複数のラインを使用して、分子サンプル８０５内のラインのｚスタックを捕捉することにより、決定され得る。以前に図示および記載したように、追加の画像センサを傾けて配置することができる。ｚスタックは、（水平画像とは反対の）複数の垂直画像を含むことができる。様々な実施形態において、ｚスタックは、分子サンプル８０５内の同じラインを表す複数のラインを、（傾斜している）追加の画像センサで収集することによって捕捉される。追加の画像センサにおける複数のラインのそれぞれは、像面から異なるｚ距離である。分子サンプル８０５内のラインの焦点面は、コントラストなどの焦点距離に基づいて決定され得、装置は、分子サンプル８０５のｚ位置を光学対物レンズに対して、および決定された焦点面に基づいて変化させる制御回路によってオートフォーカスされる。
【０１９６】
８１７において、発光航路に沿って分子サンプルから放出された光は、イメージング分光計を用いて複数の異なる成分波長に分離される。異なる成分波長は、発光光路に沿って通過し、次いで画像センサ８０７に入射する。関心領域内の複数の異なる成分波長に対応する放出された光は、８１９において、画像センサ８０７に収集される。画像センサは、収集した成分波長に対応する放出された光を格納すること、および／またはハイパースペクトル画像データを外部処理回路に直接転送することができる。８０９において、データ圧縮およびバックグラウンド減算などの、ハイパースペクトル画像データを使用した後処理を実行することができる。
【０１９７】
８１１において、前述のスマイルおよびキーストーン補正または位相補正、ならびにデータ圧縮およびバックグラウンド減算を含むさらなる後処理が実行される。そして、さらに前述したように、８２１において、不均一な光強度を有するハイパースペクトル画像データの照明は、光源配置に起因する不均一な強度パターンを用いて較正される。較正は、複数の光源のそれぞれについて（レーザー出力の）不均一な強度パターンを識別することを含むことができる。特定の実施形態では、不均一な強度パターンを識別することは、それぞれの光源の照明ラインの方向における分子サンプルの移動を制御することと、その方向の各ピクセルについて、分子サンプルに関連する複数の異なる成分波長を収集することとを含む。光源に対応する不均一な強度パターンは、照明ラインの方向における収集された各ピクセルの複数の異なる成分波長を使用して識別（および再構成）することができる。
【０１９８】
８２３において、分子サンプル中の発光体の定量化を表すデータが、ハイパースペクトル画像の照明の較正に応答して生成されおよび／または別の方法で出力される。後処理は、サンプル中の蛍光団または他のラベルの定量化を出力するために、不均一な強度パターンの使用を含み得る。例えば、後処理は、他の技術の中でも、不均一な強度パターン（例えば、照明較正）に基づいて複数の光源のレーザー出力を調整することにより、異なる成分波長の測定されたスペクトル強度の部分ラベル（例えば、発光団）定量化への分解の実行、および部分ラベル定量化のラベル定量化への分解の実行を含み得る。
【０１９９】
図９Ａ〜９Ｂは、本開示の実施形態に係る装置によって補正される歪みの例を示す。より具体的には、図９Ａは、キーストーン現象の例を示し、図９Ｂは、ピクセルの位置ずれの例を示す。キーストーンとスマイルは波長依存の歪みを伴う。キーストーンとは、波長の関数としての空間倍率の変動を示す。 スマイルは、画像センサ上の空間位置に沿った中心波長位置の変位を示す。様々な実施形態では、点広がり関数によって説明することができるシステム内の光学的ブラーは、空間的およびスペクトル的に変化する可能性があり、その結果さらなるピクセルの位置ずれが生じる。
【０２００】
図１０は、本開示の実施形態に係るオーバーサンプリングを表したグラフである。前述のように、画像センサは、一般に、測定される光の波長と共に変化する量子効率を有する。図１９に示すグラフに示されている各ドットは、波長に対する連続量子効率の離散サンプルを表す。より多くのサンプルが得られるほど、収集されたデータ中の量子効率を補正するためのより高い精度が得られる。
【０２０１】
前述のように、画像センサの量子効率に関する０．０から１．０の間の値は、画像センサの関心領域内の各スペクトル画素により測定されるスペクトル領域で取得可能である。これらの値は規格化することができ、次にこれらの値の逆数をベクトルｑに格納し、量子効率を補正するために使用することができる。ハイパースペクトルライン走査装置の例示的な実施形態では、画像センサのｘ軸はサンプル上の様々な空間点に対応し、ｙ軸はサンプル上の所与の空間点に対する様々なスペクトル測定値に対応する。上述のように、キーストーンおよびスマイルのような光学的歪みについてこのデータが補正されると、ハイパースペクトルデータの各列のｑによる要素ごとの乗算、量子効率補正係数、を実行することができる。ハイパースペクトルデータの各列は、異なるスレッドによって同時に要素毎にｑで乗算することができるので、この手順は並行して実行することができる。発光光路のスペクトル依存性の補正も同様にして行うことができる。量子効率と発光光路のスペクトル依存性の組み合わせは、較正された光源を用いて測定することができる。
【０２０２】
上述のように、マルチモードまたはシングルモードの光源を用いた照明は、照明ラインの長さにわたって不均一な照明をもたらす可能性がある。分子サンプルの光学的性質を反映する画像を生成するために、照明の変動は補正される。シングルモード光源は、マルチモード光源よりは少ないが、不均一なレーザー強度を有することもある。以下の説明では、例としてマルチモードレーザーダイオードを使用するが、これはシングルモード光源（例えば、レーザーダイオード）を含む他の形態の不均一な光源にも適用することができる。
【０２０３】
様々な実施形態において、処理回路は較正を実行する。処理回路は、レーザーの設定温度および出力パワーにおいて、レーザーにより生成される照明パターンが経時的に一定であると仮定することができる。較正は各光源について実行され、それぞれの光源の不均一な強度パターンを識別するために使用され得る。
【０２０４】
以下は、それぞれの光源の不均一な強度パターンをどのように識別するかの一例を示す。まず、分子サンプルの走査が少なくとも１つのラインについて行われる。分子サンプルを走査した後、各光源について以下が行われる。それぞれの光源によって励起されたラベルを有する分子サンプルの区画は、走査中に使用して捕捉された画像データから識別される。分子サンプルは、照射ラインの長さに沿った方向に移動され、その方向の各ピクセルについて、分子サンプルの区画に関連する複数の異なる成分波長が収集される。照明ラインの方向における各ピクセルの収集された複数の異なる成分波長を使用して、それぞれの光源に対応する不均一な強度パターンが識別される（例えば、その後の後処理の使用のために構築され記憶される）。
【０２０５】
図１１Ａ〜１１Ｆは、様々な実施形態に係る生成されたハイパースペクトル画像内の照明を較正するための例示的な処理を示す図である。上述のように、マルチモードまたはシングルモード光源を用いた照明は、照明ラインの長さにわたって不均一な照明をもたらす可能性がある。分子ベースのサンプルの光学特性を反映する画像を作成するために、照明の変動は補正される。
【０２０６】
様々な実施形態において、処理回路は較正を実行する。処理回路は、設定温度および出力において、レーザービーム照射パターンが経時的に一定であると仮定することができる。較正は各光源について実行され、それぞれの光源の不均一な強度パターンを識別するために使用され得る。
【０２０７】
以下は、それぞれの光源の不均一な強度パターンをどのように識別するかの一例を示す。まず、分子サンプルの走査が実行される。分子サンプルを走査した後、各光源について以下が行われる。それぞれの光源によって励起されたラベルを有する分子サンプルの区画は、走査中に使用して捕捉された画像データから識別される。分子サンプルは、照射ラインの長さに沿った方向に移動され、その方向の各ピクセルについて、分子サンプルの区画に関連する複数の異なる成分波長が収集される。照明ラインの方向における各ピクセルの収集された複数の異なる成分波長を使用して、それぞれの光源に対応する不均一な強度パターンが識別される（例えば、その後の後処理の使用のために構築され記憶される）。
【０２０８】
より具体的には、図１１Ａ〜図１１Ｆは、特定の光源によって励起された分子サンプルの区画１１１４の例示的な走査を示す。図示のように、時間＝１において、サンプルの区画１１１４の画像データが補足される。時間＝２において、分子サンプルの区画１１１４の相対位置は、特定の光源の照明ライン１１１２の長さに沿った方向に移動される。位置はステージ１１１６および制御回路を介して移動させることができる。処理は、時間＝３、時間＝４、時間＝５、および時間＝６の間継続する。各時間区分において、画像データ（例えば、成分波長）が記録される。いくつかの実施形態では、不均一な強度パターンを識別するために使用される画像データを捕捉しながら、特定の光源のみが分子サンプルを照射するために使用される。したがって、処理は各光源に対して繰り返されてもよい。処理が完了した後、分子サンプルの同じ区画１１１４が撮像され、照明ライン１１１２上の各点が全く同じ区画１１１４を一度撮像する、一組の画像が収集されている。ピクセルの強度は、照射ラインにわたって強度を再構成するために使用することができる。
【０２０９】
１つの光源のみが使用されるようないくつかの実施形態では、これらの強度は０．０から１．０の間の値に規格化され、規格化された値の逆数はベクトルｎの補正係数要素として格納され得、ここで、ｎの長さは、画像センサにより撮像されるライン内のピクセル数に対応する。いくつかの実施形態では、画像センサのｘ軸はサンプル上の様々な空間点に対応し、ｙ軸はサンプル上の所与の空間点に対する様々なスペクトル測定値に対応する。上述のように、キーストーンおよびスマイルのような光学的歪みについて、このデータが補正されると、ハイパースペクトルデータの各列のｎによる要素ごとの乗算、不均一な照明補正係数のベクトル、を実行することができる。ハイパースペクトルデータの各列は、異なるスレッドによって同時に要素毎にｎで乗算することができるので、この手順は並行して実行することができる。
【０２１０】
不均一な照明を有する複数の光源が同時に使用されるような他の実施形態では、補正は、蛍光団または他のラベルの総発光スペクトルに対する各光源の寄与についての知識を必要とする。上述のようにして得られた補正係数を使用して、スペクトル分解が実行される場合に照明ラインに沿った各点が、ハイパースペクトルデータをラベル定量化に変換するために、その特定の点での不均一な照明を補償するそれ自身のバージョンの行列Ｃを使用するように、照明ラインに沿った各点について別個の行列Ｃが生成される。
【０２１１】
しかしながら、照明の較正はそれほど限定されず、様々な方法で実行することができる。いくつかの実施形態では、光源照明パターンが出力および温度（のみ）に依存する（消耗には依存しない）場合、較正は、工場内で、特定の用途および／または使用の前に、実行することができる。光源の温度の設定は一定である（そしてエンドユーザーによって変更することはできない）ので、特定の実施形態では、特定の用途の前の較正は、光源出力（例えば、レーザーパワー）に関する異なる選択肢のそれぞれについて反復することができる。特定の例として、０〜１０００ｍＷの間のレーザー出力を有するレーザーダイオードの場合、イメージング装置は、１ｍＷ刻みで照明パターンを記録するために使用することができる。これにより、１０００×６０の補正係数/レーザー×４のレーザー＝２４０，０００データ点が保存され、これは、２ＭＢのデータに相当する。あるいは、レーザー出力は５または１０ｍＷ刻みで調整可能であり、これは較正のための時間を短縮し得る。
【０２１２】
上記の例は蛍光イメージングについて述べているが、類似の工程を他の種類のイメージングおよび照明源に使用することができる。さらに、各ピクセルに分子サンプルの単一点を撮像させる代わりに、ラインを撮像して結果を平均することも可能である。これにより、ノイズの影響を軽減し、光退色などの外的影響を軽減できる。ノイズを低減するためのこの方法の他の変形は、照明ライン上の各点に対して複数のカメラフレームを取得することである。異なるレーザーによって励起される複数の蛍光団または他のラベルを含む画像のための補正工程は、わずかにより複雑である。
【０２１３】
いくつかの特定の実施形態では、不均一な強度パターンはスペクトル分解を支援するために使用され得る。前述のように、スペクトル分解を実行する場合、サンプルの自己蛍光と同様に、ｆ個のラベル（例えば、蛍光団）の発光スペクトルが使用される。これらのラベル発光スペクトルを構築するために、発光スペクトルに対する各光源（例えば、レーザー）の寄与が識別される。寄与を決定するための例示的な式は、以下の：
【数４】
2019520574.tif 000016
を含み得る。数式４において、Ｅｆ、ｔｏｔａｌは、全てのレーザが存在する場合にスペクトル分解に使用される総発光スペクトルである。Ｅｆ、４０５ｎｍは、第１の光源（例えば、４０５ｎｍのレーザ）のみが励起に使用される場合のラベルの発光スペクトルである。これは、標準レーザー出力を使用するラベル発光スペクトル取得処理中に計算される。同様に、残りの光源のそれぞれを使用して励起されたラベルの発光スペクトルが計算される（例えば、Ｅｆ、４６２ｎｍ、Ｅｆ、５２０ｎｍ、およびＥｆ、６３８ｎｍ）。Ｐ４０５ｎｍは、ハイパースペクトルイメージングを実行する場合に使用される、ラベル発光スペクトル取得処理中に使用される標準レーザー出力に対する、相対レーザー出力である。
【０２１４】
以下は、Ｅｆ、４０５ｎｍ、Ｅｆ、４６２ｎｍ、Ｅｆ、５２０ｎｍ、およびＥｆ、６３８ｎｍを取得するための実験的な実施形態の例である。ユーザーは、（例えば、顕微鏡のステージを介して）関心の蛍光団を含有するサンプルをイメージング装置上に挿入することができる。サンプルは、特定の実施形態において、関心の蛍光団のみを含む。イメージング装置は、光源配置の１つの光源を使用してサンプルの中心の走査を実行する。走査は、サンプルのハイパースペクトル立方体（画像）を取得するために使用され得る。いくつかの実施形態では、イメージング装置は、４０５ｎｍレーザーなどの第１の光源を使用してサンプルの２０４８×２０４８ピクセルの走査を実行し、２０４８×２０４８×６０ピクセルのハイパースペクトル立方体をもたらす。
【０２１５】
データ（例えば、ハイパースペクトル立方体）を発光スペクトルに縮小するために、６０個のスペクトルピクセルのそれぞれの連続強度合計が保持される。各空間ピクセルについて、処理回路は、そのそれぞれのスペクトルピクセルに、（例えば、閾値量を超える）信号があるかどうかを判定することができる。閾値を超える信号がある場合、各スペクトルピクセルの強度値は、連続スペクトルピクセル合計のそれぞれに加算される。そうでなければ、空間ピクセルは廃棄されるかまたは使用されない。これは、各空間ピクセル（例えば、２０４８×２０４８ピクセル）に対して実行される。さらに、サンプルの同じ領域についてハイパースペクトル立方体を取得し、連続強度合計を構築するこの処理は、光源配置の各光源について繰り返される。
【０２１６】
光源に関する連続強度合計を取得することに応答して、上述の較正処理を実行することができる（例えば、不均一な強度パターンを使用した照明の較正または規格化）。上述の特定の実験的実施形態では、１レーザーにつき６０強度の合計が取得され、したがって４つのレーザーでは、合計２４０である。各強度合計（例えば、スペクトル合計）は、（例えば、２４０個のスペクトル合計の）総合計の最大強度合計で除算することができる。これは、上述のように、各強度合計を０．０から１．０の間の規格化値に効果的に変換することができる。
【０２１７】
特定の実施形態では、照明の較正は、光源配置の各光源についてのデータを取得した後で、かつサンプルの同じ領域を撮像しながら行われる。較正が、各光源について独立してデータを取得した後に実行される場合、異なる光源の異なる発光スペクトルは互いに比較することがより困難であり得る。例えば、処理回路は、４０５ｎｍの発光スペクトルを、４６２、５２０、または６３８ｎｍの発光スペクトルと比較することができない可能性がある。
【０２１８】
以下は、ハイパースペクトル画像に反映される照明を較正するための特定の実験的な実施形態を例示する。ハイパースペクトルイメージング中に、各アクティブ光源の照明ラインのピクセルにわたって出力が変化すると（例えば、レーザー出力がレーザービームの２０４８ピクセルにわたって変化すると）、発光体（例えば、蛍光団）の発光スペクトルＥｆ、ｔｏｔａｌが、照明ラインにわたって変化する。発光体の発光スペクトルを同定するための例示的な式は、数４によって上記に例示されている。スペクトル分解を実行する場合、ハイパースペクトルイメージングを実行する前に、照明ライン補正係数（たとえば、照明ライン上の観測強度の位置を考慮して、どの程度観測強度を調整するかを含む単一の２０４８要素ベクトルで表される光源の不均一な強度パターン）を取得することは有益であり得る。イメージング装置が生のハイパースペクトルデータをソリッドステートドライブに格納し、その後ハイパースペクトルデータを取得した後にスペクトル分解を実行する場合、ハイパースペクトルデータを取得する前に照明ライン補正係数を取得するよりも処理全体が遅くなる。これは、ＳＳＤが制限された読み取り速度（例えば、４００〜４５０ＭＢ／ｓ）を有するという事実に起因し得るイメージング装置は、おおよそ３７０ＭＢ／ｓでデータを取得し、取得されるのとほぼ同じレートでスペクトル分解のためのデータを読み取ることができるが、実施形態はそのように限定されず、様々な速度およびレートを含むことができる。例えば、ハイパースペクトルデータの取得に１５分かかる場合は、スペクトル分解を実行するのにも約１５分かかり得る。撮像の前に照明ライン補正係数（例えば、照明ライン上の観測強度の位置を考慮して、どの程度観測強度を調整するかを含む単一の２０４８要素ベクトルで表される不均一な強度パターン）を取得することは、スペクトル分解をリアルタイムで実行することを可能とする。
【０２１９】
イメージング装置は、設定温度および出力において、光源の強度パターンは経時的に一定であるという仮定に基づいてスペクトル分解を実行することができる。前述のように、サンプルは走査される。走査後の各光源について、それぞれの光源によって励起された発光体を有する分子サンプルの区画は、走査中に捕捉された画像データから識別される。分子サンプルは、照射ラインの方向に移動され、その方向の各ピクセルについて、分子サンプルの区画に関連する複数の異なる成分波長が収集される。照明ラインの方向における収集された各ピクセルの複数の異なる成分波長を使用して、それぞれの光源に対応する不均一な強度パターンが識別される（例えば、その後の後処理の使用のために構築され記憶される）。
【０２２０】
ラベルを有するサンプルの区画は、前述のように、走査から識別することができる。以下は、ハイパースペクトルイメージングが行われる前に、サンプルの区画を識別し、不均一な照明強度パターン（例えば、補正係数）を識別するための例示的な処理である。最初に、ユーザーによって指定されたラベル（例えば、蛍光団）を使用して、イメージング装置は、ラベルが存在するサンプルの領域内で（ｚ−スタック）オートフォーカスを実行する。特定の実施形態では、この領域は、サンプルの中央２０４８×２０４８領域（または蛍光団または他のラベルが存在することが知られているサンプルの別の領域）を含み得る。特定の例として、発光体は４０５ｎｍの一次励起波長を有してもよく、オートフォーカスはサンプルの２０４８×２０４８領域の中心で行われる。さらなる特定の例として、４倍の対物レンズがオートフォーカスを実行するために使用することができ、（既知または識別されている）発光体のピーク発光波長を使用して、イメージング装置は画像センサ上の２０４８×２ピクセル領域を使用でき、ここで、２つのピクセルは発光体のピーク発光波長を測定する。第２に、特定の光源（例えば、４０５ｎｍのレーザー）について、上述のように補正係数が取得される。イメージング装置は特定の発光体を使用してオートフォーカスしたので、ラベルを用いてサンプルの区画を見つけることおよび／または補正係数を取得することに問題はないはずである。第３に、補正係数の取得は、撮像のためにアクティブな（例えば、使用される）光源（例えば、４０５ｎｍ、４６２ｎｍ、５２０ｎｍ、および６３８ｎｍのレーザー）のそれぞれについて繰り返される。これらの光源によって励起される発光体の存在は保証されていないので、イメージング装置はこの発光体を見つけるためにサンプルの他の領域をさらに探索することができる。追加の探索が実行される場合、イメージング装置は、サンプルの特定の区画（例えば、中央領域）内に発光体を見つけることができない各光源について工程１〜２を繰り返すことができる。
【０２２１】
図１２Ａは、インターフェログラム画像のスペクトル画像へのフーリエ変換転換中に位相補正を実行するために、本開示に係るイメージング装置によって実行されるデータ処理の一例を示す。フーリエ変換スペクトルイメージングは、ハイパースペクトルイメージングのためのステアリングシステムを提供することができる。画像スタック１２０５は、各フレームが調整可能ミラーの特定の距離に関連付けられた、いくつかのデータフレームからなり得る。ほんの数フレーム、１２０５Ａ、１２０５Ｂ、１２０５Ｃ、および１２０５Ｄのみが示されている。Ｘ軸とＹ軸の方向は、スタックの左下に向かって表示されており、これらの方向は、分子サンプルを収容するスライドのＸおよびＹ方向に対応する。各フレームはいくつかのピクセルからなる。フレーム１２０５Ａ内のそのようなピクセルの１つが１２０７Ａとして示されている。フレーム１２０５Ｂ、１２０５Ｃ、および１２０５Ｄ内のピクセル１２０７Ｂ、１２０７Ｃ、および１２０７Ｄは、ピクセル１２０５Ａと同じ座標位置に現れる。イメージングスタック内のすべてのフレームを通る矢印１２０３は、インターフェログラムがこのラインに沿ったピクセル値で構成され得ることを示す。各スタックがｍ×ｎピクセルからなる場合、ｍ×ｎのインターフェログラムを各ピクセル位置に対して１つずつ構築することができる。データ処理チェーンの次のステップは、波数スタック１２１５を計算することである。波数スタックは、ｍ×ｎ個のインターフェログラムのそれぞれのフーリエ変換を取得することにより生成される。参考として、インターフェログラムのフーリエ変換は、一般にインターフェログラムと同数のデータ点を有することができることに留意されたい。イメージングスタックの数が「Ｐ」である場合、各インターフェログラムは「Ｐ」個の点または縦座標を有することができ、各フーリエ変換は「Ｐ」個の点または縦座標を有することができる。高速フーリエ変換を実行するため、またはアーティファクトを低減するために、２の累乗に達するように点の数を詰めることができる。各点または縦座標は特定の波数に対応する。したがって、波数スタック１２１５は「Ｐ」個のフレームを有することができ、少数のフレーム１２１５Ａ、１２１５Ｂ、１２１５Ｃ、および１２１５Ｄのみが示されている。ライン１２１０は、各フレーム内の各ピクセルが波数を表すインターフェログラムのフーリエ変換を表す。フーリエ変換は複素数からなり、したがって、２つのスタック１２２５−１および１２２５−２によって示される処理の次のステップは、実数および虚数成分への分離を示す。スタック１２２５−１はフーリエ変換の実数部であり、スタック１２２５−２’はフーリエ変換の虚数部である。
【０２２２】
データ処理の１つの有利な態様が、以下に説明される。検体から受け取った蛍光の自然変動のために、画像スタックは、ＳＮ比が変化するエリアからの領域またはピクセルを含むことがある。いくつかの領域は、ＳＮ比が良好であるエリアから生じ得るが、他の領域は、ＳＮ比が低いエリアから生じ得る。ＳＮ比が良好な領域とＳＮ比が低い領域とを区別するために、いくつかの基準が利用され得る。そのような基準の１つは、ピクセル値によって測定される信号強度であり得る。ピクセル値の最大値を２５５と仮定すると、１２８以上の値はＳＮ比が良好なピクセルと見なすことができる。他の基準もまた利用され得る。後述の技術は、ＳＮ比が低い領域がある場合のデータ分析を実行する方法を説明する。特に、この技術は、干渉計ベースのイメージング分光計を使用するシステムで一般的に利用される位相補正ステップに適用される。位相補正ステップは、ＳＮ比が低い領域における蛍光スペクトルを改善する目的で複素フーリエ変換に適用される。図１２Ｂおよび１２Ｃはこの概念を例示する。
【０２２３】
図１２Ｂは、本開示の実施形態に係るノイズの存在下での蛍光ラベルの例示的なスペクトルを示す（例えば、グラフ１２１０）。この特定の例では、２つのピーク１２３０および１２３５が明確に見られるが、複数のより小さなピーク１２４０、１２５０、１２６０も見られる。これらのピークの強度レベルは低いので、これらのピークが蛍光ラベルの存在によって生じたのか、またはノイズに起因するのかを決定することは容易ではない可能性がある。
【０２２４】
位相補正を適用すると、図１２Ｃに示すように、ノイズフロアを低減することが可能であり（例えばグラフ１２２０）、これで蛍光ラベルの存在をより確実に判断できるようになる。
【０２２５】
ノイズを低減するための位相補正は周知の技術である。磁気共鳴イメージングの分野における、位相補正および位相補正の特定の応用に関する一般的かつ具体的な情報については、Ｄ．Ｐｒａｈ、Ｅ．Ｐａｕｌｓｏｎ、Ａ．Ｎｅｎｃｋａ、Ｋ．Ｓｃｈｍａｉｎｄａの「Ａ  ｓｉｍｐｌｅ  ｍｅｔｈｏｄ  ｆｏｒ  ｒｅｃｔｉｆｉｅｄ  ｎｏｉｓｅ  ｆｌｏｏｒ  ｓｕｐｐｒｅｓｓｉｏｎ：  ｐｈａｓｅ  ｃｏｒｒｅｃｔｅｄ  ｒｅａｌ  ｄａｔａ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｄｉｆｆｕｓｉｏｎ  ｗｅｉｇｈｔｅｄ  ｉｍａｇｉｎｇ」Ｍａｇｎ  Ｒｅｓｏｎ  Ｍｅｄ、  ２０１０  Ａｕｇｕｓｔ  ６４（２）:４１８−４２９に記載されており、これらはその教示のために参照により本明細書に完全に組み込まれる。図１２Ａに関連して説明したように、フーリエ変換は、ライン１２０３の方向に沿ってイメージングスタック１２０５内の全てのピクセルに対して実行される。インターフェログラムのフーリエ変換は、インターフェログラムが、ゼロパス差（ＺＰＤ）、または干渉計の２つの経路が同じである点を中心に対称である場合にのみ実数である。一般に、（１）光学系における分散または他の種類の分離のためにＺＰＤがすべての波長において同じではなく、（２）インターフェログラムサンプル点がＺＰＤと正確に整列しないため、インターフェログラムは対称的ではない。したがって、各インターフェログラムのフーリエ変換は複素数であり、波数スタックは複素数である。フーリエ変換における各点またはサンプルは、ゼロ平均ガウス確率分布を有するホワイトノイズの影響を含む。実数および虚数スタックのノイズも、ゼロ平均とガウス確率分布のこの特性を保持できる。蛍光スペクトルは実量である。各ピクセルで実数スペクトルを得る最も簡単な方法は、フーリエ変換された点の大きさを取得することである。大きさ画像は、実数および虚数画像の二乗和平方根を取得することにより計算され、これは、ノイズ分布を組み合わせる非線形演算である。このように大きさを取得すると、ノイズはライス確率分布を持つパラメータに変換される。ライス確率分布を有する変数は、正の期待値を持ち、結果としてゼロではなく、ノイズフロアが高くなる。ノイズフロアが高くなると、複数のピーク１２３０、１２５０、および１２３５を有する図１２Ｂに示すような曖昧さが生じる。図１２Ｄから図１２Ｈは、ノイズの影響を軽減または除去するための有利な一つの方法を示している。
【０２２６】
図１２Ｄ−Ｈは、本開示の実施形態に係るノイズの影響を除去または低減するための例示的な方法を示す。説明を明確にするために、図１２Ｄ−図１２Ｈは、フーリエ空間内の信号およびノイズベクトルであることを述べる。「フーリエ空間内」という用語は繰り返されないが、これらの図について理解されるべきである。この理解のもと、図１２Ｄでは、信号ベクトルは１２５１で示され、ノイズベクトルは１２５５で示される。得られる（測定された）ベクトルは１２４５で示されており、図から１２４５は１２５１にほぼ等しいことが分かる。フーリエ変換の大きさを取得すると、ベクトル１２５１が得られる。位相補正では、選択された値は、真の位相の方向（ベクトル１２５１の方向）の単位ベクトルのドット積です。言い換えれば、信号が強く、ノイズが小さい場合、得られるベクトルは元の信号ベクトルの良好な近似値であり、測定ベクトルの位相は真の位相の良好な近似値である。図１２Ｅは、（例として）信号１２５９が小さく、ノイズ１２５５が図１２Ｄと同じである場合を示しており、得られるベクトル１２６４に対してより多くの影響がある。その結果、測定されたベクトルの位相は、真の位相の不良な推定値である。さらに、測定されたベクトル１２６４（位相補正なし）の大きさの使用は、同じおよび直交領域の両方のノイズを測定に組み込み、その結果、ノイズは常に正になり、小さい信号に対して２＾１／２倍も増加する。この例は位相補正の値を示す。誤った位相を使用して位相補正を実行すると、単一の直交領域のみが寄与するため、ノイズを減らすことができる。しかしながら、この場合、信号は、真の位相角と誤った位相角との間のドット積に比例して減少する。
【０２２７】
図１２Ｆ−図１２Ｈは、真の位相の推定に対する位相ノイズの影響がどのように軽減または除去され得るかの概念を示す。概念を説明する目的のために、図１２Ｆ、図１２Ｇ、および図１２Ｈに示された信号およびノイズベクトルは、実際には多くのピクセルであり得るが、３つの連続するピクセルと関連していると仮定する。図１２ＦのＳＮ比は、図１２Ｅおよび図１２ＨのＳＮ比と比較して劣っていることが分かる。しかしながら、分析される検体を収容するスライドガラス上を含むいかなる環境でも起こるように、少なくともピクセルレベルでの急速な空間的変化は通常は起こらない。したがって、位相補正が図１２の結果１２８２に適用される場合、この一般化された観察が位相推定に適用され、その結果、複数の小さなピークを有する図１２Ｂに示される影響を軽減または除去することが可能であり得る。そうするために、位相補正は、図１２Ｆおよび図１２Ｈのピクセルの位相を検査し、図１２Ｇのピクセルの位相を推定するためにこれらの位相の間を補間することにより計算される。図１２Ｇの位相が推定されると、位相補正が適用されることができ、結果として得られるベクトル１２８２を１２７８の方向（実際の信号）に実際に投影する。従って、位相補正値は実際の信号により近い。図１２Ｇに純粋なノイズが存在するとき、位相補正されたノイズの期待値はゼロであるので、図１２Ｂにおける複数のピークは、軽減されるかまたは削除され得る。
【０２２８】
イメージングスタックへの位相補正ステップの応用をここで説明する。図１２Ａの１２２５−１および１２２５−２を参照すると、蛍光画像の変動に起因して、ＳＮ比は画像全体にわたって変動し得る。特に、いくつかの領域では、ＳＮ比が悪くなる可能性があり、蛍光ピークがこれらの領域に存在するかどうかを判断するのが困難になる可能性がある。蛍光ピークの検出可能性を改善するために、以下に説明されるように位相補正が適用される。この方法では、ＳＮ比が良好である領域からの位相が、ＳＮ比が不良である領域の位相を計算するために使用される。これをどのように実装することができるかの一例として、ＳＮ比が悪い領域がＳＮ比が良い領域内に位置する場合、ＳＮ比が良い領域からの位相の空間平均を使用して、ＳＮ比が悪い領域の位相を推定することができる。１２２５Ａ’〜１２２５Ｄ’および１２２５Ａ’’〜１２２５Ｄ’’を参照すると、円形領域は１２２７’〜１２２７Ｄ’および１２２７Ａ’’〜１２２７Ｄ’’で示されている。これらの領域は、以下で説明する処理のための基本サポートまたはカーネルである。説明を提供するために、円形カーネル上のピクセルは良好なＳＮ比を有し、円内の１つまたは複数のピクセルは不良なＳＮ比を有するとの仮定のもと、ピクセル内の位相を見つけるために線形二次元補間またはガウス平滑化が実行され得る。この動作は実数および虚数スタックで別々に実行される。補間が実行されると、（図示されていない）修正された実数および虚数スタックが生成される。これらのスタックから、各ピクセルに対する位相が計算され、位相スタック１２３０が計算される。このように、この技術では、ＳＮ比が不良である領域の位相が計算される。カーネルの形状は円形のみに限定されず、矩形、正方形、または他の形状などの他の形状が使用されてもよいことに留意されたい。さらに、ＳＮ比が不良である領域の位相を見つける方法は、線形補間に限定される必要はなく、これらに限定されないが３次スプライン補間などの他の種類の補間方法を実行することができる。さらに、カーネルのサイズは調整可能であり得、自動的に導出され得る。したがって、適切なＳＮ比の領域がすぐ隣のピクセルではない場合、（全方向に）２ピクセル離れたピクセルが使用され、この処理は、適切な領域が見つかるまで、または領域が遠く離れており補間は有益ではないと判断されるまで続けられ得る。２つの直交領域に対する平滑化操作の利点は、最終位相が信号の強い領域によって支配されることである。すなわち、平滑化は、強い信号を有する領域からの大きな寄与と、小さい信号を有する領域からの小さい寄与とを有する。
【０２２９】
位相スタックが全てのピクセルについて計算されると、この位相スタックは波数スタックに適用される。言い換えれば、フーリエスペクトルの位相が修正される。次に、逆フーリエ変換が実行され、修正されたスペクトログラム（または修正画像スタック）がその後に計算される。後続のステップでは、修正された画像スタックはアポダイゼーション関数でアポダイズされる。最後のステップで、フーリエ変換が再び見いだされる。このステップは、次に、位相補正が適用された蛍光ピークを明らかにする。このステップの後、前述のデータ低減技術を適用することができる。
【０２３０】
並行処理は、フィードバックを提供するためにも使用することができる。フィードバックは、ダイナミックレンジ補正、イベント検出、サンプルマッピング、および照明／露光制御（高速予備走査を使用したダイナミックレンジ補正の別バージョン）、欠けている要素の補正、その他など、さまざまな方法でデータ結果を改善できる。イベント検出とダイナミックレンジ補正については他で説明されている。サンプルマッピングの場合、高速予備走査でサンプルがスライド上のどこにあるのか決定されるため、その領域だけが低速モードで撮像される。サンプルマッピングは、従来の直線走査、または走査がサンプルの端部のみを見つけようとする修正走査（境界マッピング）で行うことができる。高速予備走査中の様々な種類の境界マッピングでは、イメージング装置は、最初にサンプルの中心に移動し、次にサンプルの端部を見つけるために外側に移動し、そして境界を埋めるために繰り返すことができる。他の例では、イメージング装置はスライドの中心または端部のいずれかで開始し、サンプルの端部を見つけるために移動し、次に追跡運動を調整するためにフィードバックを使用して端部を追跡する。照射／露光制御の場合、高速予備走査はサンプルのより明るい領域およびより暗い領域を見つけ、そしてより遅い後続の走査の間に適切に照射／露光を調整する。これは、最初に低速走査を行い、次に飽和領域の省略走査を行うダイナミックレンジ補正の逆である。様々な実施形態において、高速モード走査は、レーザーが常にオンであり（例えば、パルスがない）、ステージがフレーム当たり１解像度要素よりも速く走査する「ブラー」モードで実行され得る。このモードは、解像度を犠牲にして速度を重視しており、走査速度は空間解像度によって決定されない。オートフォーカスは、予備走査中に疎グリッド上で実行することもでき、焦点位置は、疎グリッド焦点位置間の補間によって決定される。
【０２３１】
欠けている要素のフィードバックの場合、欠けているラベル（例えば、蛍光団、発色団、または散乱体）の兆候があるかどうかを確かめるために、誤差または残余がチェックされるスペクトル分解のステップがある。要素が欠けている場合、欠けている要素を抽出するために方法（例えば、必要に応じて先験的なスペクトルを含むブラインドスペクトル分解、またはスペクトルライブラリ検索）が用いられ、その要素を使用してデータを再処理する。フィードバック制御はソフトウェアを介して実装することができるが、ソフトウェアは、どのように進めるかを尋ねるオペレータへのメッセージを生成することもできる。
【０２３２】
本開示に係る例示的なハイパースペクトルイメージング装置は、１つ以上のラベルを有するサンプルのより正確な相対的および絶対的定量化を実行するために使用することができる。以下の説明は、蛍光団のイメージング用途とともに記載されているが、他の種類のラベルにも同様に適用することができる。
【０２３３】
サンプル中の蛍光団ベースのラベルを撮像するとき、ラベルからの蛍光信号に干渉するバックグラウンド蛍光が測定される。このバックグラウンドの１つの原因は自己蛍光であり、これは分子サンプル、サンプル容器基材、またはイメージング媒体に起因し得る。記載されたハイパースペクトル装置の場合、サンプル中の蛍光団について既知の発光スペクトルの組が与えられると、スペクトル分解はハイパースペクトルデータを蛍光団の定量化に変換することができる。自己蛍光を補償するために、各自己蛍光源についての自己蛍光スペクトルを測定することができ、これらのスペクトルを追加の「蛍光団」としてスペクトル分解処理に加えることができる。最終的な結果は、自己蛍光源とは無関係の、各蛍光団ラベルについての定量化の組である。これらの定量化の精度は、サンプル点ごとに多数の波長を取得するハイパースペクトルシステムの場合のほうが高くなる。言い換えれば、バックグラウンドの自己蛍光は、スペクトル分解処理によって低減または除去される。いくつかの実施形態において、自己蛍光源の定量化は、下流の用途のために保存され得る。例えば、組織サンプルにおいて、自己蛍光は、組織の異なる領域を識別するのを補助するために使用され得る。
【０２３４】
自己蛍光スペクトルは、任意の数の方法で測定することができ、そのうちの１つが以下の手法である。一般に、スペクトルは、自己蛍光のみを示すことが知られている対照サンプルを撮像し、ブラインドスペクトル分解法を使用して発光スペクトルを決定することによって得ることができる。例えば、サンプル容器基材の自己蛍光は、空のサンプル容器を撮像することによって得ることができる。イメージング媒体のみが自己蛍光を示す場合、イメージング媒体の発光スペクトルは、イメージング媒体のみが存在する状態でサンプル容器を撮像することによって得ることができる。サンプルの自己蛍光がある場合、その発光スペクトルは、サンプル容器中のラベル化されていないサンプルを撮像することによって得ることができる。この手法は、例えばそれぞれが独自の蛍光発光スペクトルを示す複数のタンパク質がある場合のように、自己蛍光源が複数ある場合にも有効である。
【０２３５】
組織の蛍光イメージングにおいて、ＳＮ比を改善するために信号増幅を行うために、関心の分子の二次または三次ラベルさえも使用することが一般的である。しかしながら、自己蛍光の効果を打ち消すことは、信号増幅なしにこれらの蛍光ラベルの検出を可能にし得る。前述のように、ハイパースペクトルイメージング装置が高い集光効率を有する場合、直接結合されたラベルを検出する能力は向上する。
【０２３６】
結合されたラベルを使用することの利点は２つある。第一に、イメージング装置によって測定される蛍光ラベルに対する関心の分子の比例は、増幅を伴う二次または三次ラベルと比較して、直線的である可能性が高い。第二に、関心の分子に結合するために使用される抗体の場合、二次ラベル方法は、種間の反応性のために、同じサンプル中で使用され得るラベルの数を制限する。直接結合されたラベルを撮像できることは、実験計画の観点からより高度の多重化を実行可能にするとともに、より正確な定量化の二重の利点を与える。
【０２３７】
ハイパースペクトルイメージング装置がサンプルからデータを取得するとき、収集された信号は、照明の不均一性、および波長の関数としての画像センサの可変量子効率の影響を受けやすい。これらは、それぞれ、データに空間的およびスペクトル的な不完全性を引き起こす可能性がある。前述のように、不均一な照明および量子効率補正を適用することによって、本開示に係るハイパースペクトルイメージングシステムは、これらの不完全性を補正し、物理サンプルにおける真の値をより正確に表すラベル定量化の推定値を生成することができる。スペクトル分解能がより細かく、波長の関数として画像センサの量子効率変動をより正確にモデル化することができるので、ハイパースペクトルイメージングは、量子効率補正または発光光路スペクトル補正のためのマルチスペクトルおよび従来のイメージング方法よりも優れている。
【０２３８】
ラベル定量化をより正確に測定するハイパースペクトルイメージングの能力を考慮すると、関心の分子の絶対濃度を測定することが可能である。いくつかの実施形態において、濃度既知の分子を有する対照サンプルは、直接結合されたラベルによって結合される。対照サンプルは、光源強度および画像センサ露光時間などの所定の組の画像取得設定を用いて、ハイパースペクトルイメージング装置によって撮像される。次いで、濃度未知の関心の分子を有するサンプルを撮像する。不均一な照明および量子効率に対する補正が行われ、そしてスペクトル分解が、あらゆるバックグラウンド蛍光の影響を打ち消すために実行される。最後に、画像取得設定の変更に対する補償が行われる。例えば、光源強度の１／２が試験サンプルを撮像するために使用され、そして測定された信号が対照サンプルの信号と等しい場合、未知のサンプルの濃度は対照サンプルの濃度の２倍であると予想される。
【０２３９】
様々な実施形態において、ラベルは既知の濃度で適用され、そして別のラベルの濃度を定量するために使用される。光学系、スリット、および画像センサの蛍光収集効率についても補正が行われる。濃度既知のラベルは、サンプル基材の一部であり得、またはラベルの総濃度が分かるように洗浄工程なしで適用される。濃度既知のラベルが適用されるが、濃度が均一ではない場合、スライド全体にわたるラベルの画像を使用してラベルを定量化しても良い。
【０２４０】
図１３Ａは、本開示の実施形態に係るハイパースペクトル画像を生成するための例示的な装置である。装置は、顕微鏡を含み、様々な実施形態では、図１Ａ〜１Ｄに示すイメージング装置を含むことができる。
【０２４１】
図示および前述のように、イメージング装置は、ステージ１３３９と、分子サンプル１３４３と、光学系１３４５と、分光計１３４６と、画像センサ１３５４と、オートフォーカスモジュール７４２と、様々な他の任意の構成要素とを含む。分光計１３４７は、前述のように、レンズ１３５２−プリズム１３５５−レンズ１３５３の配置および光学スリット１３５１を含むことができる。図１３Ａは、また、様々な実施形態による光源配置およびその構成を含む光源モジュール１３４０の一例を示す。図示の特定の例では、４つの光源１３４７、１３４８、１３４９、１３５０は、先に図示し説明したように、４０５ｎｍ、４６２ｎｍ、６３８ｎｍ、および５２０ｎｍで発光するレーザーダイオードであるが、実施形態はそのように限定されない。
【０２４２】
光源配置は、一組の光源１３４７、１３４８、１３４９、１３５０を含むことができ、これらは分子サンプル１３４３上にラインに集束される。光源による励起に応答するサンプルからの発光は、分光計１３４６によって画像センサ１３５４上に分離される。画像センサ１３５４は、分子サンプル１３４３のｙ軸における空間ピクセルと、画像センサ１３５４上の垂直軸におけるスペクトルピクセル（例えば、波長）とを記録する新しいフレームを連続的に取り込む。
【０２４３】
照明ラインは、任意に、１組の４ｆレンズによって分子サンプル１３４３の平面上に結像されてもよい。高速方向における近回折限界の解像度を維持するために、球面収差およびビーム欠落を防止または軽減するために、約０．６０の高い開口数（ＮＡ）を有する非球面または円筒レンズを用いて速軸コリメーションが行われる。通常、速軸コリメーションは、対物レンズの後瞳をほぼ満たすビーム径を提供するために行われる。スリットに沿って照明ライン幅を分散型イメージング分光計の画像幅に一致させるために、遅軸を個別に調整することが必要である。この調整は、円筒レンズを使って実行できる。別の選択肢において、速軸コリメーションは非球面レンズを用いて実行され、１つ以上の円筒レンズがレーザーを遅軸方向に発散および／または収束させて必要な照射ライン幅を提供するために使用される。別の選択肢では、速軸コリメーションが非円筒レンズを用いて実行され、１つ以上の円筒レンズが必要な照明ライン幅を提供するために使用される。ロングパスダイクロイックは、それらが同じ光路を共有するように複数のレーザーからのビームを組み合わせるために使用され得る。４レーザー構成では、３つのダイクロイックを使用することができる。３レーザー構成では、２つのダイクロイックを使用することができる。４ｆレンズは、レーザービームの像をサンプルの平面上に効果的に伝達する色収差を補正した複レンズであり得る。これらは設計上のオプションである。
【０２４４】
特定の実施形態では、光源１３４７、１３４８、１３４９、１３５０の各光線はレンズによって平行にされ、次に１つ以上の正および／または負の円筒レンズによって１つの軸に拡大されて照明ラインを形成する。対物レンズを通して全てのレーザーを集束させて遅軸方向にレーザーを拡大するために、単一の正の円筒レンズを使用することができる。このレンズの正確な角度アライメントは、照明ラインを分光計スリットと整列させるために必要とされる。この最後の円筒レンズのほぼ１つ前の焦点距離で、別の光学スリットまたはアイリスを使用して、光線の縁部を切り取り、分散型イメージング分光計のイメージング領域の外側に光がほとんどないようにすることができる。これは、無駄な光による光退色を最小限にする。様々な実施形態において、光源を使用して分子サンプル７４３を同時に照明することができる。例えば、ロングパスダイクロイック（カットオフ４２５ｎｍ）を用いて、４０５ｎｍと４６２ｎｍのレーザービームを組み合わせることができ、第２のロングパスダイクロイック（カットオフ６０５ｎｍ）を用いて５２０ｎｍと６３８ｎｍのレーザービームを組み合わせることができる。最後に、これらのダイクロイックの出力は、第３のロングパスダイクロイック（５０５ｎｍ）によって結合される。他の実施形態では、分子サンプル７４３を順次（例えば一度に１つずつ）または分子サンプル上の異なる位置を照らすために、光源が使用される。
【０２４５】
図１３Ｂは、本開示の実施形態に係るハイパースペクトル画像を生成するための例示的な装置である。より具体的には、図１３Ｂに示される装置は、本開示によれば、明視野モードで動作している。イメージング装置の明視野モードは、病理学におけるヘマトキシリンおよびエオシン（Ｈ＆Ｅ）染色を可視化すること、例えば、酵素的色染色を用いて細胞を撮像すること、およびオートフォーカスを含む様々な用途に使用することができる。装置は、イメージング装置を含み、様々な実施形態では、図１Ａ〜１Ｄに示すイメージング装置を含むことができる。この図では、光源は、白色ＬＥＤ、複数のＬＥＤ、またはイメージング分光計として分子サンプル１３３２の反対側に配置された白熱灯（例えば、プリズム１３６５およびレンズ１３６６、１３６７）を含むことができる。
【０２４６】
様々な実施形態において、明視野撮像モードのための照明を提供するために白色ＬＥＤが使用される。実施形態はそのように限定されないが、様々な実施形態は、照明を提供するために使用されるランプを含むことができる。ＬＥＤ配置は、表面実装ダイオード１３３１、コリメーションレンズ１３３４、および受動冷却からなることができる。ＬＥＤの明るさおよびオンオフ状態は、ＬＥＤコントローラまたはカスタム電子機器によって制御することができる。ＬＥＤの利点は、例えばモーションブラーを最小限にするために素早く点滅させることができることである。白熱灯の利点は、それが単一の光源から広くてほぼ連続的なスペクトル照明を提供することである。
【０２４７】
図１４は、本開示の実施形態に係る分子サンプルの多重画像を生成するための例示的な処理を示す。前述のように、そして当業者によって認識されるように、サンプル中の蛍光団ベースのラベルを撮像するとき、バックグラウンド蛍光は測定されたラベルからの蛍光信号に干渉する。自己蛍光スペクトルは、いくつもの方法で測定することができ、そのうちの１つが以下の手法である。一般に、スペクトルは、自己蛍光のみを示すことが知られている対照サンプルを撮像し、そしてブラインドスペクトル分解法を使用して発光スペクトルを決定することにより得ることができる。例えば、サンプル容器基材の自己蛍光は、空のサンプル容器を撮像することによって得ることができる。イメージング媒体のみが自己蛍光を示す場合、イメージング媒体の発光スペクトルは、イメージング媒体のみが存在する状態でサンプル容器を撮像することによって得ることができる。サンプルの自己蛍光がある場合、その発光スペクトルは、サンプル容器中のラベルされていないサンプルを撮像することによって得ることができる。
【０２４８】
様々な特定の実施形態において、上述のイメージング装置は、サンプルの多重化画像を生成するために使用され得る。多重画像化は、４つ以上の生体分子であり得る。例えば、抗体、アプタマー、ペプチド、および他の特異的結合試薬を用いて、蛍光団に直接結合させることができる。イメージング装置は、上述のように、ハイパースペクトル画像データを収集し、スペクトル分解を行ってバックグラウンドの蛍光を打ち消し、各生体分子の量を定量する。
【０２４９】
図１５は、本開示の実施形態に係る二成分プリズムの一例を示す。図示のように、プリズムは、前述のように、改善された分散線形性を提供することができる２つの構成要素を含むことができる。
【０２５０】
様々な実施形態において、ハイパースペクトルイメージング装置は１つ以上の光学スリットを含み得る。レーザーで照射されたラインと分散型イメージング分光計の入射スリットとの間の正確な位置合わせは有益であり得る。例えば、３．５ミクロンのスリット幅および７５ｍｍのチューブレンズ焦点距離では、角度公差は３．５／７５，０００、または４７マイクロラジアン未満である。以下は、この公差を達成するための２つの例示的な方法を説明するが、実施形態はそのように限定されない。１つ目は、一度システムが初期に位置合わせされると、それが位置合わせされたままであるような機械的および熱的安定性を有するシステムを設計することである。他の選択肢は、システムを自動アライメントにすることである。位置合わせは、スリットに対して垂直な一方向にすることができる。自己アライメントのために、ミラーまたは他の手段を動かしてスリットに対するレーザーの位置を変えるために、モーターまたは他のサーボを使用する。分散型イメージング分光計の後ろにある画像センサからのフィードバックは、蛍光テストスライドからの信号またはスライドからの反射を最適化するためにモーターまたはサーボを駆動するために使用され、最適なアライメントが得られる。この手順は、スリットに焦点を合わせて蛍光または反射面を用いて実施することができる。
【０２５１】
前述のように、様々な実施形態は、分子サンプルの異なる部分で照明ラインに放出された光をフィルタリングするために使用することができるイメージング分光計を含む。例えば、装置は、光源配置と、イメージング分光計と、画像センサと、制御回路とを含む。光源配置は、分子サンプルに複数の照明ラインを供給するための光パワーを生成するための少なくとも１つの光源を有する。少なくとも１つの光源が光パワーを生成することに応答して、イメージング分光計は、複数の照明ラインによって照らされた分子サンプルから放出された光を、複数の異なる成分波長に分離する。イメージング分光計は、分子サンプルの異なる部分にあるまたはそれと関連している可能性がある放出された光をフィルタリングするように構成および配置されている。イメージング分光計は、放出、反射、透過、または散乱された光を画像センサ上の異なる波長位置にフィルタリングするための光学スリットを含むことができる。他の実施形態では、光源配置は複数の光源を含み、複数の光源のうちの少なくとも２つは重複しない組の波長を有する。回路を含む画像センサは、複数の異なる成分波長に対応する分子サンプルから光路に沿って放出された光を収集する。制御回路は、画像センサとともに配置され、イメージング分光計と画像センサとの位置合わせを維持しながら、画像センサに分子サンプルを走査させ、複数の異なる成分波長に対応して放出された光から分子サンプルのハイパースペクトル画像データを収集することによって分子サンプルを走査する。
【０２５２】
いくつかの実施形態では、以下に記載されるように、光学スリットは、画像化された１つ以上の領域でラインに放出された光をフィルタリングすることができる。例えば、イメージング分光計は、放出、反射、透過、または散乱された光をフィルタリングするために使用される複数の光学スリットを含むことができる。光源配置は、複数の光学スリットごとに一組の光源を含むことができる。例えば、光源配置は、複数の光学スリットごとに２つの光源を含む。関連する特定の実施形態では、装置は複数の画像センサを含み、各画像センサは複数の光学スリットのうちの１つまたは一組の複数の光学スリットとともに配置される。他の実施形態では、光源配置は複数の光源を含み、複数の光源のうちの少なくとも２つは、画像センサで異なる成分波長に放出される光をフィルタリングするために使用される重複しない波長の組を有する。他の実施形態と同様に、１つ以上の光源は、分子サンプルにおける複数の照明ラインのそれぞれに少なくとも１００ｍＷの光パワーを供給するのに十分なパワーを生成することができる。
【０２５３】
図１６Ａ〜１６Ｂは、本開示の実施形態に係る複数のスリットを有する例示的な光学スリットを示す図である。撮像することができる同時ラベルの数を増加させ、ダイナミックレンジを改善し、そしてクロストークを減少させるために、単一のスリットの代わりにマルチスリット配置を高速ハイパースペクトルイメージングに使用することができる。図１６Ａは、複数のスリット１６７１、１６７２、１６７３、１６７４を有する光学スリット１６７０を示す。
【０２５４】
複数のスリット１６７１、１６７２、１６７３、１６７４は、図１６Ａに示すように互いに平行である。４つのスリット１６７１、１６７２、１６７３、１６７４（Ａ〜Ｄ）のそれぞれは、レンズまたは曲面ミラー１６７５、１６７７、１６７９によって異なる位置１６８１、１６８２、１６８３、１６８４（Ａ〜Ｄ）で画像センサ１６８０上に結像される。分光計のプリズム（またはグレーティング）は、光を分離して、画像センサ１６８０上の各位置１６８１、１６８２、１６８３、１６８４（Ａ〜Ｄ）にスペクトルを形成する。プリズムまたはグレーティングのスリット位置および分散は、スペクトルが重ならないように選択される。必要に応じて、スペクトル間の重なりを減らすために、ロングまたはショートパスフィルターを撮像経路に配置することができる。照明に使用される光源は示されていない。 イメージング装置が適切な照明ラインを適切なスリット１６７１、１６７２、１６７３、１６７４上に結像するように、各光源を適切な間隔で分子サンプル上の別々のライン上に集束させることができる。各光源からの蛍光は別々に検出されたスペクトルに拡散されるので、異なる光源によって励起されたラベル（例えば、蛍光団）間の重なりを減少または緩和することができる。これにより、より多数の蛍光団または他のラベルを同時に撮像することが可能になり得る。例えば、短波長の青色光を用いて、より長い波長で励起される色素と重なることなく、量子ドットから広範囲の色を励起することができる。代替の構成では、１つの画像センサ当たり１つのスリット（例えば４つの画像センサ）または１つのセンサ当たり複数のスリット（例えば４つのスリットと２つのセンサ）と共に、１つ以上の画像センサを使用できる。スリットの前または後にビーム経路を異なる分光計または画像センサ上に分割するために、ミラー、グレーティング、および／またはプリズムを使用することができる。
【０２５５】
複数のスリットを有する光学スリット１６７０を使用する場合、各スリットは、図１６Ｂに示されるように、分子サンプルの異なる部分を撮像することができる。走査１６８７の間、各スリット上に結像された光源または領域は、各スリットが異なる時間に分子サンプル１６８６の同じ部分を結像するように、光源／スリットに対して垂直に走査される。各スリットについて撮像された領域は、異なる光源および／またはスリット位置によりわずかに異なり得る。全てのスリットによって撮像された領域は、共通領域１６８５と呼ぶことができる。共通領域１６８５内の各スリットについて組み立てられた画像の画像レジストレーションは、わずかに異なる撮像時間を補償することができる。このレジストレーションは、既知のスリット間隔およびステージ速度に基づいて、分子サンプル１６８６の画像内の撮像された特徴に基づいて、またはレジストレーションマークによって、実行することができる。分子サンプル全体の走査の終わりに、いくつかのスリットが共通領域１６８５を越えて広がることがある。例えば、図１６Ｂでは、右への走査はちょうど終了している。スリットＡ  １６８７は依然として共通領域１６８５内にあり、一方スリットＢ−Ｄは共通領域１６８５を越えて広がっている。共通領域１６８５を超えたこの広がりのために、走査領域は単一のスリットを使用する走査領域よりも大きくなり得る。 スリット間の間隔は、共通撮像領域１６８５のサイズと比較して小さく（多くのｍｍと比較して数百μｍ）、そして多数のスリットを用いたより広い走査のためには非常にわずかな追加時間しか必要とされない。共通領域１６８５を超えて領域を照らすことが懸念される場合、各スリットが共通領域１６８５を離れる度に光源を消してもよい。同様に、複数の画像センサを使用する場合、共通領域１６８５を離れたときに画像取得を停止することができる。
【０２５６】
図１７Ａ〜１７Ｂは、それぞれ本開示の実施形態に係る固定光学スリットおよび調整可能光学スリットの一例を示す。固定光学スリット（図１７Ａ）は、非常に高い公差でフォトリソグラフィによって製造されたスリットの縁部を有することができ、これは利点となり得る。前述のように、調整可能光学スリットの幅は、手動でまたはイメージング装置の制御回路を使用して変更することができる。スリットの幅は、分子サンプル中の対象物体を認識するのに十分な光量を提供するように制御される。例えば、光学スリットの幅が大きいほど収集される光が多くなり、幅が狭くなるほど焦点外光が減少する。図示されるように、図１７Ｂは、図１７Ａで示される幅よりも広い幅の光学スリットを示す。
【０２５７】
図１８は、本開示の実施形態に係るフーリエ変換スペクトルイメージングに基づくステアリングイメージング装置の別の構成を図示する。図１８に示すように、蛍光または反射率／吸光度測定用の光源は、発光ダイオード（ＬＥＤ）１８１０、ランプ、および／またはレーザーであり得る。蛍光測定については以下に記載されるが、反射率、吸光度、および／または散乱の測定もまた、照明および検出光路を修正すれば可能である。この図では光線は破線として示されている。（複数の）レンズ１８１２およびダイクロイックミラー１８３０ならびに顕微鏡対物レンズ１８１５を介して、分析される必要がある検体を含むスライド１８０５上のスポット１８１０上に光が集束される。破線１８２０は、ＬＥＤまたはランプから検体への光の経路を表す。破線１８２５は、検体からの蛍光信号に関連した光の経路を表す。この光は、レンズ１８３２などの集束光学系を通って進み、ミラー１８５０に入射するように配置されている。この光は、次に、干渉計１８４５に入る。マイケルソン干渉計が示されているが、マッハツェンダーまたはファブリーペロー干渉計のような他の種類の干渉計もまた使用され得る。ダイクロイックミラー１８４７、固定ミラー１８３５、および調整可能ミラー１８４０などの干渉計の構成要素が示されている。図に示されたパラメータ「ｄ」は、既知の基準位置からの調整可能ミラーの距離を表す。干渉計については十分に説明されているので、ここではこれ以上説明しない。「インターフェログラム」と呼ばれる干渉計の出力は、次に、カメラ１８５５によって捕捉される。前述のように、カメラ１８５５は２ＤＣＣＤアレイを含み得る。したがって、スポット１８１０などの特定のスポットおよび調整可能ミラー１８４０の特定の距離ｄに関連するインターフェログラムは、連続するフレームでカメラ上の単一のピクセルによって捕捉され得る。ＣＣＤの読み出された情報は、光ファイバケーブル１８６０などのケーブルを介して流出する。干渉計はサーボまたはピエゾ電気結晶を用いて走査されてもよい。走査の直線性は、サーボまたはピエゾへの較正された駆動信号を通して、または光源または電気変位センサからの干渉縞のような、追加の信号からのフィードバックを使用することにより、制御することができる。干渉縞信号の選択肢は、画像センサによって検出されないレーザーを使用することである。例えば、シリコンベースのセンサでは、１．５ミクロンに近いレーザーまたはランプなどの近赤外光源を使用し、ＩｎＧａＡｓまたはゲルマニウムに基づくものなどの近赤外検出器を使用して干渉縞を検出することができる。次に、計算装置１８７５によってデータに対して計算が行われる。ＦＰＧＡなどであるがこれに限定されない、いくつかの計算装置を利用することができる。最後に、処理されたデータは、表示またはさらなる分析のためにコンピュータに出力される。前述のように、データ処理は、スペクトル分解および位相補正のためのいくつかの有利な概念を含む。
【０２５８】
図１９Ａ−１９Ｃは、本開示の実施形態に係るピクセル飽和およびその補正の例を示す図である。いずれの画像センサにおいても、各ピクセルは、飽和容量としても知られる特定のウェル深さを有するウェル内に電子を集める。イメージング処理の過程を通して、サンプルから光を収集するピクセルは、サンプル内のある点または領域に集中する大きな光信号に起因して飽和することがある。この飽和は、単一の空間点、空間領域、または視野全体に対して発生する可能性がある。さらに、飽和は波長に対して変化し得る。これらのシナリオが発生した場合、ハイパースペクトルイメージングシステムは飽和を過程補正することができる。
【０２５９】
サンプル中の空間点について測定されたスペクトルが部分的に飽和している実施形態では、例として図１９Ａを参照すると、測定から基礎となるラベル定量化を回収することができる。これは、システムがそのピークだけではなく、その全発光スペクトルにわたってラベルの発光を測定しているので可能となる。したがって、測定値が発光スペクトルのピークで飽和している多くの状況では、発光スペクトルの左右の尾部は飽和していない可能性がある。そのため、スペクトル分解を実行するとき、飽和スペクトル点は省略することができ、いまだ過決定系の方程式を有することができる。これは、各ラベルの発光スペクトルと組み合わされる一組のラベル定量化をもたらし得、そして飽和が存在しなかった場合の測定を再構成するために使用され得る。言い換えれば、不飽和データを使用して、飽和データを効果的に補間することができる。
【０２６０】
他の実施形態において、飽和領域がラベルの全発光スペクトルを包含する場合、上記の方法はもはや適用されない。これは、隣接する空間点からの情報などの空間データの使用、および／または修正された画像取得設定を用いたサンプル点の再撮像をもたらす。
【０２６１】
飽和空間点（例えば、図１９Ａ）が一組の不飽和空間点によって囲まれる場合などのいくつかの実施形態では、三次スプライン補間などの二次元補間アルゴリズムを使用して、特定のラベルの量を予測することができる。残りのラベル定量化は、飽和データが省略されている通常のスペクトル分解方法を使用して決定することができる。
【０２６２】
正確な量子化が重要であるか、または全空間領域が飽和している（例えば、図１９Ｂ）他の関連実施形態では、調整された１組の画像取得設定で再撮像するために、これらの点にフラグを立てることが適切であり得る。設定調整の例は、光源の強度またはデューティ周期を減少させること、あるいは露光時間または画像センサのゲインを減少させることを含む。
【０２６３】
上記の各実施形態では、ステージは飽和点の現在位置を制御回路に送り、次に制御回路は飽和点のマップを構築する（単一領域ではなくサンプル領域が飽和している場合）。現在の領域の撮像が完了すると、またはサンプル走査が完了すると、制御回路は、調整された画像取得設定を用いて、この飽和点のマップを再走査するようにステージに命令を出す。取得されたデータがまだ飽和している場合、データがもはや飽和しなくなるまで、新しい一連の画像取得設定を用いて（例えば、低減された画像センサ露光時間を用いて）処理が繰り返される。
【０２６４】
この一連の再取得データは、一連の画像レジストレーション方法を使用して、元の画像と位置合わせすることができる。そして、初回走査と再走査との間の画像取得設定の変更に対して、データの数値を補正することができる。例えば、画像センサから出力される強度値が０〜４０９５である１２ビットのイメージングシステムを想定する。再走査の記録強度が２４００であるが、再走査が初回走査の露光時間の５０％を使用した場合、調整された強度は４８００になり得、これは１２ビットのシステムのダイナミックレンジを超える。この新しいデータを飽和データの代わりに使用することができ、そしてサンプル中の各ラベルの量を決定するためにスペクトル分解法を使用することができる。
【０２６５】
図２０Ａ〜２０Ｂは、本開示の実施形態に係る飽和ピクセルを考慮してハイパースペクトル画像データを生成するための例示的な処理を示す図である。図２０Ａを参照すると、２０５１において、サンプルピクセルについてのハイパースペクトル画像データが上述のように取得される。制御回路（または他の処理回路）は、データが飽和しているかどうかを判定することができる。データが飽和していないことに応答して、データは上述のように分解される。データが飽和していることに応答して、２つの異なる処理が発生し得る。１つ目は、以下にさらに説明されるように、再撮像を含む。２つ目は、２０５３において、飽和していない隣接サンプル点からの情報を使用して、飽和ピクセルに対してスペクトル分解を実行することを含む。いずれの処理においても、飽和しているピクセルにはさらなる処理のためにフラグを立てることができる。
【０２６６】
再撮像処理は、２０５５において、光量または露光時間を調整することを含み得る。例えば、出力または露光時間を低減することができ、そして２０５７において、サンプルピクセルは、そのサンプルピクセルについて再取得されたハイパースペクトル画像データに再撮像される。２０５９において、サンプルピクセルのハイパースペクトル画像データが再構築され、そして２０６７において、スペクトル分解が実行される。例えば、飽和ハイパースペクトル画像データは、異なる照明および／または露光時間に対して適切に補正された非飽和画像データと置き換えることができる。次に、補正されたデータを用いて、ハイパースペクトル画像データを分子サンプル中のラベルの定量化に変換する。図２０Ｂは、光量および／または露光時間を調整することにより生じる飽和レベルの調整の一例を示す。
【０２６７】
代替的に及び／又は追加的に、様々な実施形態は、オンザフライの照明制御を介して飽和を回避するために、走査中にレーザ強度又はパルス幅を調整することを対象とする。例えば、制御回路を使用して、画像センサからの測定ピーク信号を、飽和の５０パーセントから７５パーセントなどの飽和閾値範囲内に維持することができる。走査の過程において、測定されたピーク信号がこの範囲外になった場合、ピーク画像センサ信号をこの範囲内に保つようにレーザ強度またはパルス幅を変更することができる。画像センサからの各フレームは、ｍＷ当たりのカウント数またはミリ秒当たりのカウント数で一定の画像信号を維持するために、変化する強度またはパルス幅により分割することができる。これは、変化する強度またはパルス幅にかかわらず、走査を通して定量化を可能にし得る。典型的な生体サンプルは不連続なラベル濃度を有しないので、徐々に変化するラベル濃度は、画像センサが飽和に達する前にシステムが応答することを可能にし得る。さらに、この手法は、照明（強度またはパルス幅）を大きくして非常に弱い信号を回避することにより、ダイナミックレンジを改善するのに役立ち得る。
【０２６８】
図２１Ａ〜図２１Ｄは、本開示の実施形態に係る分散型イメージング分光計を使用する高速、高スループットのイメージング装置の例示的な構成を示す。図２１Ａは、高速、高スループットのイメージング装置２１１０の構成例を示す。レーザーは２１１５として示されており、そこからレーザーエネルギーが発生し、破線で２１２０として示されている。この装置は、一般に２１２５−１、２１２５−２、２１２５−３として列挙されている複数のレンズを有する。各レンズは、光路内のその位置に応じて異なる集束特性を有し得ることを理解されたい。様々なレンズを選択するこれらの詳細は周知であり、ここでは説明しない。レーザー光は、円筒レンズ２１３０により集光されてラインに変換される。したがって、そのような集束およびフィルタリング（図示せず）を介して、光はライン２１３７に沿ってスライド３３５を照らす。スライドは、分析される必要がある１つ以上の生体分子を含み得る。スライドは高解像度ステージに位置決めおよび固定され、ステージはＸとＹ方向に沿って２つの自由度で移動することができる。ステージは、Ｙ方向の動きが非常に速くなり得、Ｘ方向の動きが遅くなり得るように構成することができる。あるいは、両方向への走査が速くてもよい。スライドは適度に平面されるべきである。より広い領域（例えば、約８６ｍｍ×１２８ｍｍ）を走査するとき、走査の焦点を維持する方法を使用することは有益であり得る。これは、（１）高開口数レンズが蛍光団からの最良の集光を提供し、高開口数が被写界深度を低減し、（２）図２１Ａのライン走査は一方向に共焦点であり、これも被写界深度を制約するからである。
【０２６９】
レンズの焦点を維持する方法は、焦点を維持するためのフィードバックを伴うスライド表面からの赤外線ビームの反射を使用する方法を含む。あるいは、焦点をスライド上の粗い間隔でテストし、焦点におけるこれらのｘ−ｙ−ｚ間の補間を用いて焦点を保持することができる。様々な実施形態において、イメージング装置は、分子サンプルの走査が行われているときにオートフォーカスを実行するために使用されるオートフォーカス制御回路を含むことができる。
【０２７０】
スライドは、細胞、組織切片、エキソソーム、または他の物体を表面に有することができる。走査中に移動しないように、物理吸着、化学吸着、電荷、化学反応、固定、または結合媒体などによって、撮像されるサンプルがスライドに確実に付着することが有利である。次に、光は、プリズム２１５５に入射する前に、光をＹ軸に沿って制限するスリット２１４５に入射する。一点鎖線のビーム２１６０で示すように、プリズムは光をその成分色に分離する。次に、成分色は、二次元（２Ｄ）ＣＭＯＳまたはＣＣＤ画像センサを有するモノクロカメラに入射する。成分色は、画像センサの一次元に沿ってＣＭＯＳ画像センサの異なる位置に入射する。
【０２７１】
よく知られているが（一般に分散型イメージング分光計と呼ばれている）、この最後の概念は図２１Ｂに記載され、本明細書に記載の新しい概念の背景を提供する。図２１Ｂにおいて、光がプリズムを通過した後に光がその成分色に分割されることが分かる。３つの成分は、２１６１−１、２１６１−２、および２１６１−３として示される。実際には、蛍光に依存して、画像センサに入射するゼロまたは１つ以上の複数の波長に、検出可能なパワーが存在し得る。図から明らかなように、各波長はＣＭＯＳ画像センサ内の「波長」寸法に沿って異なる位置にある。励起されたピクセルの位置を読み取ることによって、波長が計算される。したがって、図２１Ａに戻り、光線が円筒レンズ２１３０によってラインに沿って集束されることに注目すると、蛍光を発しているＸ次元に沿った物体は、図２１Ｂに示される「位置」軸に沿ってピクセルを励起することができる。ライン２１３７に沿った各位置は、「位置」軸に沿った位置に対応し、各位置に対して、成分色は「波長」軸に沿って配置される。ＣＭＯＳ画像センサが読み取られた後、ステージ２１４０はＹ次元に沿った他の位置に移動され、スペクトル分析が異なるラインの物体に対して実行される。ビームおよびスライドガラス２１３５の使用可能な幅によっては、ステージをＸ次元に移動させる必要があり得る。ＣＭＯＳ読み出し情報は、光ファイバケーブル２１８０などのケーブルを介して流出する。
【０２７２】
次に、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）のようないくつかの種類の処理回路２１８５がデータを処理する。処理されたデータは、表示またはさらなる分析のために外部回路（例えば、デスクトップコンピュータ、ラップトップコンピュータ、サーバなどの独立型中央処理装置（ＣＰＵ））に出力することができる。図２１Ａおよび２１Ｂは、レンズおよびプリズムを使用するイメージング分光計を示す。他の分光計は、レンズの代わりにミラー、またはプリズムの代わりにグレーティングを備える。図２１Ａのレーザーは、分光計からの分子サンプルと反対の側にあり、多くの場合、レーザーは、励起光と発光は単一のレンズまたは顕微鏡対物レンズを通過するように、同じ側にある。この場合、ダイクロイックフィルタまたは他の手段を用いて励起および放射光を分離する。
【０２７３】
高スループットイメージングのために、本開示において言及される２つの注目すべき挑戦が含まれる。１つ目は、各ピクセルで多数の波長が必要なため、データを非常に高速に取得しなければならないことである。一例として、５１２×５１２ピクセルを有し、各ピクセルにおいて１２８の波長が３０フレーム／秒で測定される画像の場合、全体の取得速度は約１ギガピクセル／秒または１０億測定／秒である。２つ目の挑戦は、一度取得した大量のデータの分析と表示に関する。原則として、データを保存することは可能である。ただし、データサイズが大きいと、保存、アクセス、および分析に時間がかかる。迅速な結果が必要とされる状況（低待ち時間）、またはそのようなシステムがリアルタイムイメージング用途で利用される場合、（パイプラインとして）リアルタイムでデータを高速に処理することが有益になる。以下に説明される概念は、これがどのように達成され得るかを説明する。しかしながら、高度な概念を明確にする他の１つの背景概念がまず説明される。この背景概念は、図２１Ｃを用いてまず説明される。
【０２７４】
図２１Ｃでは、複数の蛍光ラベルのスペクトルが示されている。これらのラベルは蛍光染料または量子ドットまたは他のラベルであり得る。図の各曲線は、ラベルからの個々のスペクトルに関連付けられている。多くの分子診断機器における一般的な目的は、特定の波長の検出に基づいてこれらのラベルの有無を検出することである。これらの市販のシステムの制限により、わずか数波長しか検出できないことが多々ある。一例として、光電子倍増管（ＰＭＴ）を使用する従来のシステムは、フィルタを用いるなどしてＰＭＴが特定の周波数に同調され、一般にＰＭＴが追加されるにつれてシステムのコストが増加するため、限られた数の波長しか検出できない。波長をサンプリングする装置は他の制限に直面する。これらのシステムによって生成されるデータ量は、これらのシステム構造を圧倒する可能性がある。上記の例に戻って参照すると、５１２×５１２ピクセル以上の画像では、各ピクセルについて１２８の波長が測定され、生成されるデータ量はほぼ１０億の測定値である。したがって、従来のシステムは、分析される波長の数を制限することによりこの問題に対処することが多い。分析できる波長の数を制限することは、いくつかの結果を招く。１つの結果は、分析する可能な蛍光団の数を制限することである。他の結果は、より少ない波長測定により、蛍光団の区別が、より困難になることである。言い換えれば、図２１Ｃから分かるように、発光スペクトルが狭い間隔で配置されている場合、１つの蛍光団を別の蛍光団と区別することは困難であり得る。利用可能な検出波長範囲が限られているので、この問題は蛍光団の数が増えると共に悪化する。上述のように、多くの波長を測定する結果は、システムが波長を密にサンプリングする構造を有する場合、処理および表示ユニットにわたって分析および転送される必要があるデータ量が莫大になることである。以下の概念は上記の制限を克服する。
【０２７５】
制限を克服するために、図２１Ａに記載されている装置は、データ削減の概念と共に波長空間におけるオーバーサンプリングの概念を利用する。図２１Ｄは、オーバーサンプリングの概念を示す。この図は、簡略化のために２つのスペクトルのみを示すことを除いて、図２１Ｃと同様である。これらの２つのスペクトルは、３０９と３１７と名付けられる。垂直の破線は、波長がサンプリングされる場所を示す。曲線３０９上の黒丸は、曲線３０９に関連するサンプルを表し、曲線３１７上の白丸は曲線３１７に関連するサンプルを表す。波長をオーバーサンプリングすることは、いくつかの利点をもたらす。１つの利点は、基礎となる曲線がより適切に推定および識別できることである。第２の利点は、オーバーラップを除去するために、必要に応じて曲線を互いに区別することがより容易であるということであり、さもなければクロストークにつながる。この利点の結果は、互いに波長が非常に近い発光スペクトルを有する蛍光団を使用できることである。したがって、同じ波長範囲でより多くの発蛍光団を使用することができ、より多くの対象分子を診断することができる。最後に、オーバーサンプリングは、自己蛍光または散乱光などからのバックグラウンド信号レベルのより良い補正を可能にする。図２１Ａおよび図２１Ｂに戻ると、波長のサンプリングはＣＭＯＳアレイ７７で行われる。このサンプリングは、撮像された物体内のあらゆる位置に対して行われる。撮像された物体内のあらゆる位置に対して、波長成分、またはサンプリングされた各波長のエネルギー量が測定される。サンプリングされた各波長のエネルギー量を使用して、その特定の位置に存在する各蛍光団の量を推定する計算を実行できる。推定手順は、以下でさらに説明される。
【０２７６】
図２２は、本開示の実施形態に係るハイパースペクトル画像を生成するための例示的な装置である。装置は、ハイパースペクトルイメージング装置および処理回路を含み、様々な実施形態において、図１Ａ〜１Ｄによって示されるイメージング装置を含み得る。この図は、簡略化のために前述の顕微鏡構成要素が顕微鏡モジュール２２３０として示されている点を除いて、図１Ｃと同様である。顕微鏡モジュール２２３０は、ステージ、サンプル、光学レンズ、分光計、画像センサ、オートフォーカスモジュール、および前述のような他の様々な任意の構成要素を指すことができる。図２２は、様々な実施形態による光源配置およびその構成のより詳細な例を含む。図２２は、複数のレーザーダイオードを含む構成例を示すことができる。
【０２７７】
図２２に示されるように、様々な特定の実施形態において、光源配置は４つの光源２２２１、２２２２、２２２３、２２２４を含む。４つの光源２２２１、２２２２、２２２３、２２２４のそれぞれは、異なる波長の光を放射するように構成されている。図示の特定の例では、４つの光源２２２１、２２２２、２２２３、２２２４は、それぞれ４０５ｎｍ、４６２ｎｍ、６３８ｎｍ、および５２０ｎｍで光を放射するレーザーダイオードであるが、実施形態はそのように限定されない。この配置は、光源からの光を顕微鏡モジュール２２３０に通過させるために使用される様々なレンズ、ダイクロイックフィルタ、およびミラーを含むことができる。各光源は、同時にまたは順次に分子サンプルを照らすために使用することができる。前述のように、顕微鏡モジュールの制御回路を使用して、撮像処理中に、光源の出力、温度、および任意でパルスを制御することができる。
【０２７８】
図２３は、本開示の実施形態に係るハイパースペクトル画像を生成するための装置の分光計の例を示す。図示のように、放出された光は、顕微鏡モジュール２３２０から分光計への発光光路に沿って通過する。ステージは、サンプル全体が走査されるまで、ジグザグ（蛇行または牛耕）またはラスター方式で走査する。顕微鏡モジュール２３２０が分子サンプルにわたって走査するにつれて、ライン画像は分光計を使用して分離され、分離された光は画像センサ２３２７によって収集される。特定の構成では、イメージング分光計は、光学スリット２３２２、一対の複レンズ２３２３、２３２４、および光を分離するように作用するプリズム２３２６からなる。
【０２７９】
画像センサ２３２７によって記録された生画像は、照明ラインに沿った光強度の変動、ならびにスマイルやキーストーンのようなハイパースペクトル現象については補正されていない。さらに、収集された光は全可視スペクトル内の多くの（例えば、６０）間隔にわたり、それは次にユーザーが撮像した別個のラベルに分解される。最終的な結果は、９つのチャンネルを有する照明、スマイル、およびキーストーンが補正された画像であり、そのそれぞれは、図１Ａに関連して前述したように、各ラベルの量に対応する。
【０２８０】
イメージング分光計は、画像センサ２３２７の幅にわたる空間ラインが収集および記録され（「Ｙ」とラベル付けされる）、波長が直交軸（「λ」とラベル付けされる）に記録されるように、様々な波長の光を画像センサ２３２７上に空間的に分離する役目を担う。換言すれば、上記の具体的な類推法を続けると、幅２０４８ピクセル（空間ライン）×６０ピクセル（波長）が撮像される。画像センサ２３２７は、一方の次元にＹ軸を記録し、他方の次元に波長を記録する。そして、（上述の）ＸＹステージが連続的にＸ軸を走査するので、イメージング装置は、Ｘ、Ｙ、及びλ次元からなるハイパーキューブを蓄積することができる。
【０２８１】
分光計では、光学スリット２３２２が顕微鏡モジュール２３２０の結像面に配置されている。その機能は、結像面での焦点外光を減らし、スペクトル分解能を向上させることである。スリットの後には、波長を分離するように作用するウェッジプリズム２３２６を間に有する一対の色消し複レンズ２３２３、２３２４が続く。
【０２８２】
図２４は、本開示の実施形態に係る蛍光団でラベル付けされた分子サンプル内の対象の例を示す図である。特に、図２４は、イメージング装置を用いて乳癌組織サンプルの多重免疫蛍光染色を実施する実験例の実施形態を示す。この用途では、サンプル内の核を染色するＤＡＰＩに加えて、サンプル内の８つの個別の対象タンパク質を撮像のために識別した。そのような対象タンパク質の例には、ＰＤ−Ｌ１、ＣＤ３ｃ、ＣＤ８α、ＦｏｘＰ３、ＥＲ、ＰＲ、Ｋｉ−６７、およびＨｅｒ−２／ｎｅｕが含まれる。合計で、イメージング装置は９個の別個の蛍光団を撮像している。
【０２８３】
対象タンパク質をラベル付けするために、これらのタンパク質のそれぞれを対象とする抗体に蛍光ラベルを結合させる。結合のための方法は先行技術において知られており、一次抗体結合、二次抗体結合、またはチラミドに基づく結合のような方法を含む。
【０２８４】
図２５Ａ〜図２５Ｅは、本開示の実施形態に係る、装置の光源による、図２４に示される蛍光団の励起の例を示す。具体的には、図２５Ａ〜２５Ｅは、図２４により説明および図示された実験的な実施形態からの実験結果の例を示す。選択された各抗体について、固有のスペクトルを有する蛍光団が使用される。これは、ハイパースペクトルイメージング処理の一部として、これらの蛍光団をスペクトル的に分離するのに有益である。例えば、以下の市販の蛍光団、ＤＡＰＩ、Ａｌｅｘａ  Ｆｌｕｏｒ  ４８８、Ａｌｅｘａ  Ｆｌｕｏｒ  ５１４、Ａｌｅｘａ  Ｆｌｕｏｒ  ５３２、Ａｌｅｘａ  Ｆｌｕｏｒ  ５４６、Ａｌｅｘａ  Ｆｌｕｏｒ  ６３３、Ａｌｅｘａ  Ｆｌｕｏｒ  ６６０、Ａｌｅｘａ  Ｆｌｕｏｒ  ７００、およびＡｌｅｘａ  Ｆｌｕｏｒ  ７５０を使用することができるが、実施形態はそのように限定されない。
【０２８５】
ハイパースペクトルイメージング装置（例えば顕微鏡）内の一組のレーザーによって励起することができる、これらの蛍光団の励起スペクトルを図２５Ａに示す。具体的には、４０５ｎｍ、４６２ｎｍ、５２０ｎｍ、および６３８ｎｍの光を放射するレーザーダイオードが使用される（図２５Ａ〜２５Ｅの垂直線）。選択された蛍光団は単なる例であり、量子ドットを含む任意の蛍光ラベルを使用することが可能であるに留意されたい。
【０２８６】
各蛍光団の励起効率は、そのスペクトルとレーザーとの間の交差点として定義することができる。図２５Ａに示すように、各蛍光団の励起効率は可変である。いくつかの例は、赤色レーザー波長（例えば、６３８ｎｍ）に沿った星形で示されている。効率は、赤色レーザーによって励起される蛍光団について、２０パーセントから９０パーセントまで変化し得る。
【０２８７】
図２５Ｂは、４０５ｎｍレーザーに対して、９つ全ての蛍光団について得られた発光スペクトルを示す。図に示すように、信号はすべての蛍光団に対して極めて弱く、ＤＡＰＩのみが有意な信号をもたらす。
【０２８８】
図２５Ｃは、４６２ｎｍレーザーに対して、９つ全ての蛍光団について得られた発光スペクトルを示す。Ａｌｅｘａ  ４８８について比較的高い強度が示され、その後にＡｌｅｘａ  Ｆｌｕｏｒ ５１４、５３２、および５４６についてより低い強度が示される。
【０２８９】
図２５Ｄは、５２０ｎｍレーザーに対して、９つ全ての蛍光団について得られた発光スペクトルを示す。Ａｌｅｘａ  Ｆｌｕｏｒ  ５１４、５３２、および５４６からより強い信号が、またいくつかの赤色蛍光団についてはより弱い信号が示される。
【０２９０】
図２５Ｅは、６３８ｎｍレーザーに対して、９つ全ての蛍光団について得られた発光スペクトルを示す。Ａｌｅｘａ  Ｆｌｕｏｒ ６３３については強いシグナルが、その後にＡｌｅｘａ  Ｆｌｕｏｒ  ６６０、７００、および７５０についてはより弱い信号が示される。
【０２９１】
満足のいくＳＮ比を有する画像を生成するために、ユーザーが各対象タンパク質と一致する正しい蛍光団を選択することが不可欠である。具体的には、ユーザーは、低効率の蛍光団を、関心の分子サンプルに最も豊富に含まれるタンパク質と一致させる必要がある。
【０２９２】
例えば、図２５Ｅでは、Ａｌｅｘａ  ７５０の相対強度は約１８％である。シリコンベースのＣＭＯＳ画像センサの量子効率を考慮すると、７８０ｎｍでの量子効率は約２５％であることが示される。それは、画像センサにより記録された光の相対強度が４．５％であることを意味する。しかしながら、この問題は、ユーザーが撮像したいタンパク質の組の中で最も豊富なタンパク質を対象とする抗体に、蛍光団を結合させることを選択することにより軽減することができる。ユーザーが、関心のタンパク質および蛍光団を選択した場合、このマッチング処理は顕微鏡に関連するソフトウェアによっても推奨され得る。
【０２９３】
蛍光団が選択されて結合されると、ユーザーは既知の方法を使用してサンプルを染色することができる。この時点で、上述のように分子サンプルを撮像することができる。例えば、分子サンプルのプッシュブルームイメージングのために、（図１Ａによって示されるような）イメージング装置は、各光源からの光線を、２０４８ピクセルの長さの関心領域に対する長さ２０４８ピクセル、幅１ピクセルの照明ラインなどの、照明ラインに拡大する。関心領域の長さは２０４８ピクセルなので、光源の出力はこれらの各ピクセルを覆うように広げられる。これは、レーザーの全出力を単一のピクセルに集束させるポイント走査顕微鏡（共焦点顕微鏡など）とは対照的である。
【０２９４】
イメージング装置は、高フレームレート（例えば、１５００フレーム毎秒以上）でサンプルを撮像するために使用され、高フレームレートに適用するために分子サンプル中の各空間ラインについての露光時間は短い（例えば、６００マイクロ秒以下）。具体例として、２０００フレーム毎秒のフレームレートでは、最大露光時間は１／２０００ｆｐｓ、または０．５ｍｓ（５００μｓ）である。モーションブラーを回避または軽減するために、ピクセルの露光時間は、約１００μｓまでなど、さらに短縮される。理解される通り、実施形態は上述のフレームレートおよび露光時間に限定されず、様々なフレームレートおよび露光時間を含み得る。
【０２９５】
上記に提供されたイメージングタンパク質の実験例を使用する場合、分子サンプル中のタンパク質濃度は低濃度であり得る。なぜなら、分子サンプル中の濃度が低いため、タンパク質に結合するために利用できる抗体は（存在する他のタンパク質よりも）少なく、その結果より少ない蛍光信号が生じることが期待される。さらに、ユーザーの蛍光団の選択は、イメージング装置の光源によって非効率的に励起される可能性がある。そして、利用可能な光／レーザー波長の組は限られている。さらに、使用される特定の蛍光団は、画像センサによって非効率的に収集され得る。具体的には、シリコンベースの画像センサは、緑色領域の波長を収集するのに最も効率的であり、紫、赤、および赤外領域ではより低い。通常、２番目と３番目のポイントは、より優れた蛍光団を選択することにより軽減され得る。しかしながら、ユーザーが多数の蛍光団、例えば８つを撮像することに興味がある場合、全可視スペクトルが使用されてもよい。これは、特定の実施形態では、装置が低効率の蛍光団で機能していることを意味する。
【０２９６】
前述のように、イメージング装置は、サンプル全体が走査されるまで、ジグザグまたはラスターパターンなどで分子サンプルを走査する。分子サンプルが走査されるにつれて、ライン画像は、イメージング分光計を用いて成分波長に分離され、画像センサによって収集される。画像センサによって記録された生画像は、照明ラインに沿った光強度の変動、ならびにスマイルやキーストーンのようなハイパースペクトル現象については補正されていない。さらに、画像センサは、全可視スペクトルにおいて６０の間隔で光を収集しており、それらはその後にユーザーが撮像した別個の蛍光団に分解される。照明の較正（例えば、不均一な強度パターンの補正）、ハイパースペクトル現象の補正、およびスペクトル分解の実行後、最終結果は、９チャンネルを有する、照明、スマイル、キーストーンが補正された画像になり、各チャンネルは、ユーザーが選択した各蛍光団（および結果としてタンパク質）の量に対応する。
【０２９７】
様々な実施形態において、イメージング装置は、複数のＺ平面における照明ラインの焦点距離を同時に測定することによリ、リアルタイムで（例えば、分子サンプルのオンザフライ走査として）オートフォーカスを実行し、これはＸスタックオートフォーカスと呼ばれ得る（ｘ方向に走査し、連続するＹＺ画像を取得すると仮定する）。対照的に、ｙ方向を走査してＸＺ画像を取得する場合、オートフォーカスはＹスタックオートフォーカスと呼ぶことができる。イメージング装置がライン走査イメージングを実行している場合、光は、長さ２０４８ピクセル、幅１ピクセルのラインで顕微鏡モジュールを（オートフォーカス回路に）出る。円筒レンズまたはミラーを使用して、照明ラインの幅は６０ピクセルに拡大される。これはライン画像を一次元に引き伸ばすことと等しい。画像センサの傾きは、画像センサ上の各行が異なるＺ平面上で照明ラインを撮像しているように、拡大された照明ラインから画像センサまでの光路長を効果的に変更する。イメージング装置は、処理回路および／またはオートフォーカス制御回路を介して、各Ｚ平面について１Ｄ焦点距離（例えば、規格化分散などの勾配のエネルギー）を決定し、コントラストを最大にするＺ平面を識別する。この最良のＺ平面は、走査処理中にイメージング装置が常に焦点が合っていることを保証するために、ステージにフィードバックされる。
【０２９８】
上記の実験的な実施形態は、分子サンプルの全スライドイメージングを高解像度で行うことを含むことができ、画像中の各ピクセルは分子サンプル上で１μｍ未満を表す。例示の画像センサは３．４５μｍピクセルを有し、顕微鏡レンズは１０倍顕微鏡対物レンズおよび０．５６倍カメラアダプタであり、０．６２μｍ／ピクセルのピクセル解像度が達成される。組織サンプルの典型的なサンプルサイズは１５ｍｍ×１５ｍｍであり、これは２２５ｍｍ２の面積に相当する。つまり、１０倍対物レンズを使用してサンプル全体を撮像するためには、５億８４４０万個の空間ピクセルが撮像されることを意味する。さらに、ハイパースペクトルイメージングを実行し、サンプル上の空間ピクセルあたり６０の個別の波長を収集する場合、１つのスライドに対して合計３５０億ピクセルが撮像されます。画像が１６ビット画像として保存されている場合、１つのスライド全体画像は、非圧縮で７０ＧＢである。従来のイメージング技術を使用して、この分子サンプルは５分以内に走査可能である。様々な実施形態に係る様々なハイパースペクトルイメージング装置は、このスライド全体をわずか３分超で撮像することができる。この速度は、照明ラインから放射された光を画像センサ上にそれぞれの波長に分離するライン走査方式により達成され、関心領域をフル解像度から（例えば２０４８×６０ピクセルまで）減らし、大量の光を提供する光源（例えば、それぞれ１００ｍＷ〜６Ｗの出力）、および／または分子サンプルを走査しながら連続的に移動するステージにより、画像センサの全体のフレームレートを向上させる。
【０２９９】
本開示によるいくつかの方法は、ハイパースペクトルライン走査装置による光学区画化を使用することにより、サンプルの４次元再構成を生成するために使用することができる。そのような方法を使用して、サンプルは、４つ以上（例えば、いくつかの実施形態では、６つ以上、１２以上）のラベルを用いてＸ、Ｙ、およびＺに構築されることができる。
【０３００】
共焦点顕微鏡法では、焦点外光を排除するために空間ピンホールが一般的に使用される。これにより、軸方向の分解能が向上し、イメージング装置が、近接近にある複数のｚ位置で画像を取得する処理である光学区画化が容易になる。
【０３０１】
様々な実施形態において、ハイパースペクトルライン走査装置は、一方向への焦点外れ光を減少させ、それにより部分的な共焦点性を達成する光学スリットを含むことができる。システムのこの態様は、再構成を生成するための以下の手法と共に使用することができる。
【０３０２】
最初に、サンプルの関心領域がＸ、Ｙ、およびＺで識別され、連続する光学区画間の間隔（ミクロン）が決定される。次に、システムの制御回路は、顕微鏡が第１の光学区画のｚ位置に移動し、関心領域のｘｙ平面を走査するように命令する。別の実施形態では、制御回路は、ｘ位置に移動し、そして関心領域のｙｚ平面を走査する。あるいは、それはｙ位置に移動し、関心領域のｘｚ平面を走査する。次に、制御回路は、次の光学区画を走査し、処理の始めに指定された画像取得設定に従って三次元サンプル全体が撮像されるまでこの処理を繰り返す。
【０３０３】
この時点で、個々の光学区画はイメージング装置により取得されている。しかしながら、システムの多くの実施形態では、電動ステージは完全な再現性を有さない。例えば、ＴｈｏｒＬａｂｓ  ＭＬＳ２０３電動ステージの再現性は０．２５μｍである。光学区画化に一般的である高倍率対物レンズ（例えば、６０倍顕微鏡対物レンズ）で撮像するとき、取得された画像中の各ピクセルは、０．０５μｍ程度の長さおよび幅を有するサンプル上のピクセルに対応し得る。結果として、光学区画のスタックは画像レジストレーションを受けることができ、これは、多くのステアリングベースの装置がするように関心領域全体の画像を取得するのではなく、各光学区画のライン走査を実行するので、ライン走査システムに特有である。
【０３０４】
この画像レジストレーション問題は、位置合わせを実行するために画像強度または画像特徴を利用する一組のアルゴリズムで対処することができる。画像レジストレーションが、移動動作、ならびに光学区画画像内の多数のチャネルを利用し得るという先験的な知識は、レジストレーション処理の精度を高めるために使用することができる。
【０３０５】
いくつかの生体用途において、単一または少数の細胞、ビーズ、または他の関心の対象を識別するために、大きな集団をふるいにかけることが有用である。「希少物体検出」と呼ばれ得るこれらの用途は、集団の残りがノーマルであると考えられるので、希少物体自体についてのみ高解像度イメージングを利用することができる。
【０３０６】
数十億の細胞を含む血液サンプルから腫瘍細胞を見つけることが目的である、循環腫瘍細胞（ＣＴＣ）の用途について検討する。これらの用途のための検出を短縮するための１つの方法は、走査が始まる前に、イメージング装置のユーザーに、制御システムに対して一連の基準を識別することを可能にすることである。循環腫瘍細胞の場合、単純な一連の基準の組は、サイトケラチンに対して陽性であるがＣＤ４５に対して陰性である細胞であり得る。次に、制御回路は、サンプルの画像を取得するために、通常走査するよりも速い速度で走査するようにステージに命令を出すことができる。さらに、光源は、１に近いか等しい（すなわち、もはやパルス化されていない）デューティ周期を有し、その動作フレームレートを考慮し、画像センサの露光時間は最大化される。次いで、イメージング装置は、走査方向に線形のブラーを受けるサンプルの疑似画像を得ることができる。
【０３０７】
ステージがサンプルを２倍速く走査する場合を考える。これは、画質を犠牲にして、１秒間に走査される細胞数を効果的に２倍にすることができる。ただし、基準が満たされている領域は、フラグが立てられ、より高い解像度で再撮像される。
【０３０８】
いくつかの実施形態では、再撮像は走査の完了後に行われる。別の実施形態では、基準のフラグ付けはリアルタイムで行われ、ステージが停止し、フラグ付けされた領域を再撮像する。この手法の利点は、結果がより迅速にユーザーに表示されること、およびフラグ付けされた領域間でステージを移動することによるオーバーヘッドが削減されることである。さらに、視野全体とは対照的に、フラグ付けされた領域の幅だけが再撮像を必要とするので、装置のライン走査能力が活用される。
【０３０９】
例示的な画像処理パイプラインの走査から取得したデータをほぼリアルタイムで処理する機能により、最後に取得したデータが設定された基準に一致するかどうかを確認するのに必要な計算を実行することが可能になる。さらに、同じ走査で多数のラベルを撮像する機能により、走査開始前に、ユーザーは、より高度な一連の基準を設計させ得る。
【０３１０】
様々な実施形態において、本明細書に記載されているイメージング装置は、様々なサンプル走査用途に使用することができる。前述のように、制御回路を使用して、光学対物レンズに対する分子サンプルの位置を制御することができる。いくつかの実施形態では、制御は、Ｘ方向およびＹ方向を含み、他の実施形態ではＸ、Ｙ、およびＺ方向を含む。この走査は、走査パターンを用いて分子サンプルを走査し、分子サンプルにわたる画像のストリップまたはラインを取得するライン走査を含む。ライン走査手法は、２０４８×１ピクセルの画像ラインを効果的に取得する。ライン走査手法を使用してサンプルを走査するために、分子サンプルまたは関心領域は１ピクセル幅のストリップに分割されるが、実施形態はそのように限定されず、異なるサイズのストリップを含み得る。様々な実施形態における分子サンプルの走査は、サンプルの左上から移動し、行の終わりに達しするまで左から右に走査し、次の２つの移動が起こり得る。
【０３１１】
様々な特定の実施形態において、走査パターンは、全サンプルまたはスライドの撮像を実行するために使用され得る。全サンプルまたはスライドの撮像は、一般に、２０倍または４０倍などの高解像度で行われる。これは、ユーザーが分子サンプルの特定の領域を高解像度で観察することから利益を得る場合、イメージング装置はサンプルを再撮像する必要がないためである。ライン走査手法を使用して、イメージング装置は、２０４８×１ピクセルのラインのような分子サンプルのラインを撮像する。全スライドの撮像を実行するための１つの手法は、前述のように、サンプルをストリップに分割することである。スライド全体（または他のサンプル）の撮像処理は、本明細書中にさらに記載され、異なる倍率での２走査手法を含み得る。
【０３１２】
例示的な走査パターンは、ジグザグまたは蛇行走査を含むことができる。顕微鏡は、左上隅から始めて分子サンプルを走査し、行の終わりに達するまで最初の行を左から右（例えば上）に走査する。次に、顕微鏡が分子サンプルの右側（例えば、第２の行の端部）において、第２の行の中央に位置するように分子サンプルの位置が移動され、右から左へと撮像を開始する。この処理はジグザグパターンで繰り返され、最も時間効率の良いパターンとなり得る。
【０３１３】
他の例示的な走査パターンはラスター走査を含む。顕微鏡は分子サンプルの左上隅から始めてサンプルを走査し、行の終わりに達するまで最初の行を左から右（例えば上）に走査する。次に、顕微鏡がサンプルの左端において、第２の行の中央に位置するように分子サンプルの位置が移動され、左から右へと撮像を開始する。この処理はラスターパターンで繰り返され、これはジグザグパターンよりも遅くなり得るが、リニアエンコーダ有しない電動ステージでは行間のドリフトまたはヒステリシスが少なくなる可能性がある。
【０３１４】
理解され得るように、走査パターンはサンプルの左上隅から開始する場合に限定されず、実施形態はそのように限定されない。例えば、本開示による走査パターンは、サンプルの任意の隅（例えば、左下、右下、左上、右上の隅）および／またはサンプルの中央部分で始まり得る。さらに、走査パターンは、左から右への走査、右から左への走査、および両方の組み合わせを含むことができる。
【０３１５】
実施形態は、上記に列挙されたものに限定されず、それらの様々な組み合わせを含むことができる。例えば、いくつかの実施形態は、光源と、イメージング分光計と、画像センサと、制御回路とを備えるライン走査型イメージング装置に関する。光源は、生体サンプルにおいて照明ラインに集束される少なくとも１００ミリワット（ｍＷ）の光パワーを供給するのに十分なパワーを発生する。様々な実施形態において、装置は、光源の光プロファイルを照明ラインに集束させるために使用される光学系を含む。光源が十分なパワーを生成するのに応答して、イメージング分光計は、光パワーによって照らされた生体サンプルから放出された光を複数の異なる成分波長に分離する。回路を含む画像センサは、イメージング分光計からの複数の異なる成分波長に対応する光路に沿って放出された光を収集し、少なくとも１０秒間、少なくとも毎秒１００，０００，０００波長ピクセル測定の速度で、データ搬送経路に沿って複数の異なる成分波長を示すデータを制御回路および処理回路に供給する。制御装置は、イメージング分光計が画像センサとの位置合わせを維持しながら、画像センサに生体サンプルを走査させ、複数の異なる成分波長に対応する放出された光から、生体サンプルの２００〜１０００ｎｍの範囲の間のハイパースペクトル画像データを収集することにより、生体サンプルを走査するように画像センサと共に構成および配置されている。装置は、ハイパースペクトル画像データを、生体サンプルに存在する発光体、吸収体、および／または散乱体の定量化を表すデータに変換することによって、毎秒少なくとも１００，０００，０００波長ピクセル測定の速度で画像処理パイプラインを実行するために使用される処理回路をさらに含み得る。そして、特定の実施形態では、それにより、他の方法で取得可能または達成可能なデータ取得速度および／または分子サンプルの画像のデータ処理速度を改善または最適化する。
【０３１６】
いくつかの実施形態では、前述のように、イメージング装置は、それらの様々な組み合わせを含む、以下のうちの１つまたは複数を実行または含むように構成および配置される。処理回路は、ハイパースペクトル画像データに存在するスマイルおよびキーストーン歪みを考慮するためにハイパースペクトル画像データを修正することにより、ハイパースペクトル画像データを変換するようにさらに構成および配置され、画像センサは、ハイパースペクトル画像データに存在するスマイルおよびキーストーン歪みを防止または軽減するようにさらに構成および配置され、制御回路は、本明細書に記載のようにオンザフライオートフォーカスを実行するようにさらに構成および配置される。
【０３１７】
いくつかの実施形態は、光源と、イメージング分光計と、画像センサと、制御回路とを備えるステアリング走査型イメージング装置に関する。光源は、生体サンプルに少なくとも１００ミリワット（ｍＷ）の光パワーを供給するのに十分な出力を生成する。光源が十分なパワーを発生するのに応答して、イメージング分光計は、光パワーによって照らされた生体サンプルから放出された光を複数の異なる成分波長に分離する。回路を含む画像センサは、イメージング分光計からの複数の異なる成分波長に対応する光路に沿って放出された光を収集し、少なくとも１０秒間、少なくとも毎秒１００，０００，０００波長ピクセル測定の速度で、データ搬送経路に沿って複数の異なる成分波長を示すデータを制御回路および処理回路に供給する。制御装置は、イメージング分光計が画像センサとの位置合わせを維持しながら、画像センサに生体サンプルを走査させ、複数の異なる成分波長に対応する放出された光から、生体サンプルの２００〜１０００ｎｍの範囲の間のハイパースペクトル画像データを収集することにより、生体サンプルを走査するように画像センサと共に構成および配置されている。制御装置は、ハイパースペクトル画像データを、生体サンプルに存在する発光体、吸収体、および／または散乱体の定量化を表すデータに変換することによって、毎秒少なくとも１００，０００，０００波長ピクセル測定の速度で画像処理パイプラインを実行するように構成および配置されている。
【０３１８】
いくつかの実施形態では、前述のように、イメージング装置は、それらの様々な組み合わせを含む、以下のうちの１つまたは複数を実行または含むように構成および配置されている。処理回路は、ハイパースペクトル画像データに存在する位相歪みを考慮するようにハイパースペクトル画像データを修正することにより、ハイパースペクトル画像データを変換するようにさらに構成および配置され、ディスプレイをさらに含み、処理回路は、２５０ミリ秒未満の待ち時間で、生体サンプル中に存在する発光体、吸収体、および／または散乱体の定量化を表すデータをディスプレイに提供するように構成および配置される。
【０３１９】
いくつかの実施形態は、オートフォーカスのための方法を対象とする。例示的な方法は、イメージング装置の光源を使用して、分子サンプルに少なくとも１００ミリワット（ｍＷ）の光パワーを供給するために十分な出力を生成すること、光源が十分なパワーを発生するのに応答して、光パワーにより照らされた分子サンプルの領域から放出された光をイメージング分光計を介して複数の異なる成分波長に分離すること、画像センサを介して、複数の異なる成分波長に対応する分子サンプルの領域から光路に沿って放出された光を収集すること、を含むことができる。方法は、イメージング分光計が画像センサとの位置合わせを維持しながら、およびオンザフライで走査中に、制御回路を使用して画像センサに分子サンプルの領域を走査させること、その領域および／またはその領域の後に走査される分子サンプルの別の領域の深さ位置を決定すること、分子サンプルを深さ位置に移動させて光路の有効長を変更し、分子サンプルのその領域および／または他の領域に対する焦点面の質を改善すること、を含むことができる。
【０３２０】
いくつかの実施形態では、上記の方法は、それらの様々な組み合わせを含む、以下のうちの、画像センサに、分子サンプルの複数の領域のうちの１つの領域を走査させると同時に、その領域および／または複数の領域のうちの他の領域に対する最適焦点面を決定させること、制御回路を用いて領域の少なくとも一部分を走査した後、分子サンプルを深さ位置に移動させること、複数のラインを収集し、複数のラインのそれぞれは、イメージング装置の像面から異なるｚ距離であること、複数のラインを使用することにより、分子サンプルの領域および／または他の領域に対する最適焦点面を決定すること、画像センサまたは他の画像を複数の異なる画像距離まで傾斜させることにより、オートフォーカス制御回路を使用して画像センサを像面から異なるｚ距離にすること、分子サンプルを含む基板の表面上の反射コーティングから反射された光を収集して使用することにより、分子サンプルの他の領域に対する最適焦点面を決定すること、反射コーティングは、イメージングスペクトル領域外で反射性であり、イメージングスペクトル領域内で透過性であること、基板に供給するために、別の光源を使用してイメージングスペクトル領域外で光パワーを生成すること、光学対物レンズに対する分子サンプルの複数の位置を連続的に制御すること、円筒レンズまたはミラーと画像センサと共に構成および配置されたオートフォーカス制御回路を使用して、分子サンプルの他の表す領域を複数のラインを画像センサで収集し、画像センサにおける複数のラインのそれぞれは、イメージング装置の像面から異なるｚ距離であること、焦点距離と画像センサにおける複数のラインとに基づいて、分子サンプルの他の領域に対する最適焦点面を決定し、制御回路に分子サンプルのｚ位置を調整させること、収集した分子サンプルの領域から放出された光から、分子サンプルのハイパースペクトル画像データを生成すること、光源および画像センサを介して、５００〜１０００ｍＷの間の光パワーで、１００フレーム毎秒（ＦＰＳ）〜４０００ＦＰＳの間のフレームレートで、および毎秒２５０メガバイト（ＭＢ／ｓ）から毎秒１ギガバイト（ＧＢ/ｓ）の転送または格納レートで、分子サンプルを照らすこと、照明ラインとして少なくとも１００ｍＷの光パワーを分子サンプルに供給するのに十分なパワーを生成し、光源を介してその幅に沿って放射される光プロファイルを拡大して照明ラインを生成すること、光源から放射された光を分子サンプルの異なる領域で照明ラインにフィルタリングすること、分子サンプル中の少なくとも４つのラベルを識別するのに十分なフレームレートおよび光量で、イメージング分光計により分子サンプルの領域で各成分波長について分離された複数の異なる成分波長を収集すること、複数の光源からの出力を並行にまたは順次に出力すること、収集された複数の異なる成分波長に対応して放出された光から分子サンプルのハイパースペクトル画像データを収集し、ハイパースペクトル画像データを分子サンプル内に存在する発光体、吸収体、および／または散乱体の定量化を表すデータに変換すること、並行化された処理を使用して、存在する発光体、吸収体、および／または散乱体の定量化への、異なる成��波長のスペクトル強度のスペクトル分解を実行すること、不均一な光強度で複数の光線を放射し、複数の光源に起因する不均一な強度パターンを使用してハイパースペクトル画像データの照明を較正すること、複数の光源のそれぞれについて、不均一な光強度を識別すること、それぞれの光源の照射ラインの方向における分子サンプルの移動を制御し、その方向の各ピクセルについて、複数の異なる成分波長に対応して分子サンプルの領域から放出された光を収集すること、の１つ以上を実行することを含むことができる。
【０３２１】
他の方法の実施形態は、マルチモードダイオードを使用してハイパースペクトル画像データを取り込むことを対象とし、それはデータ取得レートを改善することができる。例示的な方法の実施形態は、分子サンプルに供給するのに十分な光パワーを生成するためにマルチモードレーザーダイオードを使用し、マルチモードレーザーダイオードが光パワーを生成することに応答して、光パワーによって照らされた分子サンプルから放出される光を、イメージング分光計を介して複数の異なる成分波長に分離することを含む。この方法は、イメージング分光計と分子サンプルから放出された光との位置合わせを維持しながら、画像センサに分子サンプルを走査させることにより、複数の異なる成分波長に対応する光路に沿って放出された光を、画像センサを介して収集し、収集された複数の異なる成分波長に対応して放出された光から分子サンプルのハイパースペクトル画像データを収集することをさらに含み得る。
【０３２２】
いくつかの実施形態では、上記の方法は、それらの様々な組み合わせを含む、以下の、分子サンプルに少なくとも１００ミリワット（ｍＷ）の光パワーを供給するのに十分な出力を生成すること、マルチモードレーザーダイオードの速軸と遅軸の位置合わせを維持しながら、画像センサに分子サンプルを走査させて、照明ラインへの光パワーをフィルタリングし、焦点外光を低減させること、光学スリットを使用して、分子サンプルの異なる部分に供給された光パワーをラインにフィルタリングすること、マルチモードレーザーダイオードから供給された光パワーを照射ラインに集束させ、光学系を用いて分子サンプルに照射ラインを供給すること、光パワーをラインにフィルタリングし、焦点外光を低減すること、イメージング装置の画像モードと露光時間とに基づいて、光学スリットの幅を変更または制御すること、複数の光学スリットを使用して、分子サンプルの異なる部分で放出された光をラインにフィルタリングすること、並行化処理を用いて、異なる成分波長のスペクトル強度を、存在する発光体、吸収体、および／または散乱体の定量化にスペクトル分解することにより、ハイパースペクトル画像データを分子サンプル中に存在する発光体、吸収体、および／または散乱体の定量化を表すデータに変換すること、ハイパースペクトル画像データの照明を較正すること、マルチモードレーザーダイオードの光パワーの不均一な強度パターンを識別し、ハイパースペクトル画像データの照明を較正するために不均一な強度パターンを使用すること、マルチモードレーザーダイオードの照射ラインの方向へ分子サンプルの移動を制御し、その方向の各ピクセルについて、複数の異なる成分に対応する放出された光を収集することにより、不均一な強度パターンを識別すること、マルチモードレーザーダイオードによって励起された蛍光団を用いて分子サンプルの区画を識別し、照射ラインの方向への分子サンプルの移動を制御し、その方向の各ピクセルについて、分子サンプルの区画に関連した複数の異なる成分波長に対応して放出された光を収集し、収集された照明ラインの方向の各ピクセルの複数の異なる成分波長に対応する光を用いて、マルチモードレーザーダイオードに対応する不均一な強度パターンを識別すること、により、不均一な強度パターンを識別すること、ハイパースペクトル画像データを調整するために不均一な強度パターンを使用することにより、分子サンプル中に存在する発光体、吸収体、および／または散乱体の定量化を表すデータを生成すること、スマイルおよびキーストーン補正を行うことを含むハイパースペクトル画像データに対応するハイパースペクトル現象を補正することにより、分子サンプル中に存在する発光体、吸収体、および／または散乱体の定量化を表すデータを生成すること、のうちの１つまたは複数を実行することを含むことができる。
【０３２３】
いくつかの実施形態は、データ取得および処理速度を改善するようにハイパースペクトル画像データに対してデータ画像処理を実行するための方法を対象とする。例示的な実施形態は、分子サンプルに供給するのに十分な光パワーを発生させるために光源を使用すること、および光源が光パワーを発生させることに応答して、光パワーによって照らされた分子サンプルの１つ以上の領域から放出された光を、イメージング分光計を介して複数の異なる成分波長に分離することを含む。複数の異なる成分波長に対応する光路に沿って放出された光は、イメージング分光計と画像センサとの位置合わせを維持しながら、画像センサに分子サンプルの１つ以上の領域を走査させ、複数の異なる成分波長に対応して放出された光から分子サンプルのハイパースペクトル画像データを収集することにより、画像センサを介して収集される。実施形態は、ハイパースペクトル画像データを、分子サンプルの１つ以上の領域に存在する発光体、吸収体、および／または散乱体の定量化を表すデータに変換することにより、画像処理パイプラインを実行することをさらに含む。
【０３２４】
いくつかの実施形態では、上記の方法は、それらの様々な組み合わせを含む、以下の、分子サンプルの２００〜１０００ｎｍの範囲のハイパースペクトル画像データを収集すること、分子サンプルに少なくとも１００ミリワット（ｍＷ）の光パワーを供給するのに十分なパワーを生成すること、画像センサに、分子サンプルの１つ以上の領域の複数の異なる成分波長に対応して放出された光を複数回サンプリングさせること、ハイパースペクトル画像データに存在する歪みを考慮してハイパースペクトル画像データを修正することにより、ハイパースペクトル画像データを変換すること、光源からの光を、光学系を介して照明ラインにおよび分子サンプル上に集束させること、並行処理を用いて、異なる成分波長のスペクトル強度を存在する発光体、吸収体、および／または散乱体の定量化に分解することによより、ハイパースペクトル画像データを変換すること、異なる成分波長のスペクトル強度を、部分発光体、吸収体、および／または散乱体の定量化へ分解すること、ならびに部分発光体、吸収体、および／または散乱体の定量化を発光体、吸収体、および／または散乱体の定量化へ分解すること、歪みを考慮してハイパースペクトル画像データを修正し、その歪みはキーストーン現象およびスマイル現象を含むこと、歪みを考慮してハイパースペクトル画像データを修正し、その歪みは、キーストーン現象、スマイル現象、位相歪み、ピクセルの位置ずれ、不均一な照明、およびそれらの組み合わせからなる群から選択される現象を含むこと、分子サンプル中に存在する発光体、吸収体、および／または散乱体を示す第１の較正データと、存在する歪みを示す第２の較正データとを生成し、第１および第２の較正データを使用して画像処理パイプラインを実行すること、通常の最小二乗法を含む第１の技術を用いて画像処理パイプラインを実行し、第１の技術を用いて、サンプリングされたデータ点が負のラベル量を生成するまたは閾値誤差を超えて残留誤差を示すと決定されたことに応答して、第２の技術を用いること、測定された異なる成分波長のスペクトル強度を、発光体、吸収体、および／または散乱体強度へ分解し、光源の光パワーを不均一な強度パターンに基づいて調整することにより、光源に起因する不均一な強度パターンを使用してハイパースペクトル画像データの照明を較正すること、複数の光源のそれぞれについて不均一な強度パターンを識別すること、複数の光源のそれぞれについて、不均一な強度パターンを有するハイパースペクトル画像データの照明を較正すること、それぞれの光源の照射線の方向への分子サンプルの移動を制御し、その方向の各ピクセルについて、複数の異なる成分波長に対応する放射された光を収集し、照明ラインの方向の各ピクセルについて放射された光を使用して、光源のそれぞれに対応する不均一強度パターンを識別すること、発光光路および画像センサのスペクトル効率の変動を考慮してハイパースペクトル画像データを修正し、ここで、画像センサおよび発光光路の量子効率は、複数の異なる成分波長の波長と共に変化すること、電磁スペクトルにわたって画像センサの量子効率変動をモデル化し、そのモデルを使用して量子効率変動を補正すること、電磁スペクトルにわたって画像センサの量子効率の公称値を取得することにより、画像センサの量子効率変動をモデル化し、ここで、電磁スペクトルは、画像センサの関心領域内の各スペクトルピクセルによって測定されるスペクトル領域にあること、および／または電磁スペクトルにわたって０．０〜１．０の公称値を取得し、公称値を規格化し、規格化された値の逆数をベクトルに格納し、ベクトルを使用して量子効率を補正すること、のうちの１つ以上を実行することを含むことができる。
【０３２５】
いくつかの実施形態は、データ取得速度を向上させるように、放出された光を１つ以上のラインにフィルタリングすることによってハイパースペクトル画像データを収集するための方法を対象とする。例示的な実施形態は、分子サンプルに複数の照明ラインを供給するのに十分な光パワーを発生するように構成された光源を使用することを含む。光源が光パワーを生成することに応答して、方法は、分子サンプルの異なる部分で照明ラインに放射された光を整形することと、光パワーによって照らされた分子サンプルの１つ以上の領域から放出された光を、イメージング分光計を介して複数の異なる成分波長に分離することとを含む。複数の異なる成分波長に対応する光路に沿って放出された光は、イメージング分光計と画像センサとの位置合わせを維持しながら、画像センサに分子サンプルの１つ以上の領域を走査させ、複数の異なる成分波長に対応して放出された光から分子サンプルのハイパースペクトル画像データを収集することにより、画像センサを介して収集される。
【０３２６】
いくつかの実施形態では、上述の方法は、それらの様々な組み合わせを含む、以下の、分子サンプルの２００〜１０００ｎｍの範囲のハイパースペクトル画像データを収集すること、分子サンプルにおける複数の照明ラインのそれぞれに対して少なくとも１００ミリワット（ｍＷ）の光パワーを供給するのに十分なパワーを生成すること、光学スリットを使用して、分子サンプルの異なる部分で照明ラインから放出された光をフィルタリングすること、複数の光源のうちの、重複しない組の波長を有する少なくとも２つを使用すること、のうちの１つ以上を実行することを含むことができる。
【０３２７】
２０１６年６月２１日に出願された「Ｈｉｇｈ  Ｓｐｅｅｄ  Ｈｙｐｅｒｓｐｅｃｔｒａｌ  Ｉｍａｇｉｎｇ  ｗｉｔｈ  Ｐｉｐｅｌｉｎｅ  Ｐｒｏｃｅｓｓｉｎｇ」と題された基礎となる米国仮特許出願（出願番号６２／３５２，９３１）に従って様々な実施形態が実施され、それに対して利益が主張され、参照により本明細書に完全に組み込まれる。例えば、（その中の付録を含む）本明細書および／または仮出願における実施形態は、（全部を含め）様々な程度で組み合わせることができる。基礎となる仮出願に記載された実験的教示および基礎となる参考文献も参照し得、それらのそれぞれは具体的かつ一般的な教示について本明細書に完全に組み込まれる。仮出願において論じられている実施形態は、特に記載されていない限り、技術的開示全体、または特許請求されている発明のいずれかの部分に限定することを決して意図しない。
【０３２８】
理解され得るように、上記の方法のそれぞれは、本明細書全体に記載されているように、サンプルのライン走査、ステップアンドステア、データの並行処理、傾斜を有する別の画像センサを用いたオートフォーカス、反射面を用いたオートフォーカス、高出力光源、マルチモードダイオード、関心領域のダイナミック修正、連続ライン走査、歪み補正、スペクトル分解のための様々な方法、ｚスタックイメージング、イベント検出、オンザフライ照明制御、ラベルの定量化、４つ以上の生体分子のイメージング、自己蛍光の取り消し、ラベルの絶対濃度の決定、マルチスリット、およびフィードバックの提供、の様々な組み合わせを含み得る。
【０３２９】
上側／下側、左／右、上端／下端および上／下などの向きを例示する用語は、本明細書では、図に示されるような要素の相対位置を指すために使用されることがある。用語は表記上の便宜のためだけに使用されており、実際の使用において、開示された構造は図に示されている向きとは異なる向きとなり得ることが理解されたい。したがって、これらの用語は限定的に解釈されるべきではない。
【０３３０】
本明細書（特許請求の範囲を含む）で使用される様々な専門用語は、他に指示がない限り、当技術分野における明らかな意味を暗示することを当業者は認識するであろう。例として、本明細書は、ブロック、モジュール、デバイス、システム、ユニット、コントローラ、配置、および／または他の回路タイプの描写（例えば、図４および図６の参照番号４２０および６３０は、本明細書に記載のブロック／モジュールを描写）などによって図示されるまたは用語として使用されることができる様々な回路または電気回路（により、特許請求の開示を実装するために有用な態様を説明および／または例示する。そのような回路または電気回路は、他の要素と一緒に使用され、特定の実施形態がどのような形式または構造、ステップ、機能、操作、動作などにおいて実行され得るかを例示する。例えば、上述の特定の実施形態のいくつかにおいて、この文脈における１つ以上の例示された項目は、図２Ａおよび図２Ｂに示される手法で実行され得るように、これらの操作／動作を実行するように構成および配置された回路（例えば、個別論理回路または（半）プログラマブル回路）を表す。特定の実施形態において、そのような例示された項目は、関連するステップ、機能、操作、動作などを実行するために、図２Ｂに記載された基本的なアルゴリズム（例えば、ハイパースペクトル画像を生成し、分子サンプル中の発光体の定量化を示すデータを出力する）またはより複雑な処理／アルゴリズムを実行するためのコード（命令のセット／複数のセットとして実行されるプログラム）を格納するメモリ回路を含むと理解されるコンピュータ回路（例えば、マイクロコンピュータまたは他のＣＰＵ）の１つ以上の要素を表す。を本明細書は、構造の属性を意味しない形容詞（「第１の［構造の種類］」および「第２の［構造の種類］」）も参照し得、その場合、形容詞は単に英語の先行語に使われ、同様の名称の構造を別の同様の名称の構造と区別する（例えば、「光を放射するように構成された第１の光源…」は「光を放射するように構成された光源…」と解釈される）。一方、本明細書は、構造体（例えば、モニタサーバ）の属性を暗示することを意図した形容詞を参照してもよく、その場合、形容詞（例えば、モニタ）は、その属性を有する／実行するように構成される（例えば、制御回路は、制御の属性を含む／実行する処理回路の少なくとも一部を指す）指定された構造（例えば、回路）の少なくとも一部を指すように修正される。
【０３３１】
上記説明および例示に基づいて、当業者は、本明細書に例示および記載された例示的な実施形態および用途に厳密に従うことなく、様々な修正および変更が様々な実施形態に対してなされ得ることを容易に認識できる。例えば、図面に例示されている方法は、本明細書の実施形態の１つ以上の態様を保持したまま様々な順序で実行されるステップを含み得るか、またはより少ないもしくはより多いステップを含み得る。例えば、図２Ａに示され説明された処理は、追加のステップおよび回路を含むことができ、そのようなステップは図１Ｂに示すイメージング装置によって実行される。他の例として、図１Ａに示すイメージング装置は、図１Ｂ−１Ｅに示される様々な構成要素などの追加の構成要素を含み得る。そのような修正は、特許請求の範囲に記載の態様を含む、本開示の様々な態様の真の精神および範囲から逸脱するものではない。
【図１Ａ】
2019520574.tif 000017
【図１Ｂ】
2019520574.tif 000018
【図１Ｃ】
2019520574.tif 000019
【図１Ｄ】
2019520574.tif 000020
【図１Ｅ】
2019520574.tif 000021
【図２Ａ】
2019520574.tif 000022
【図２Ｂ】
2019520574.tif 000023
【図２Ｃ】
2019520574.tif 000024
【図２Ｄ】
2019520574.tif 000025
【図３】
2019520574.tif 000026
【図４】
2019520574.tif 000027
【図５Ａ】
2019520574.tif 000028
【図５Ｂ】
2019520574.tif 000029
【図６】
2019520574.tif 000030
【図７】
2019520574.tif 000031
【図８】
2019520574.tif 000032
【図９Ａ】
2019520574.tif 000033
【図９Ｂ】
2019520574.tif 000034
【図１０】
2019520574.tif 000035
【図１１Ａ−１１Ｆ】
2019520574.tif 000036
【図１２Ａ】
2019520574.tif 000037
【図１２Ｂ】
2019520574.tif 000038
【図１２Ｃ】
2019520574.tif 000039
【図１２Ｄ−１２Ｈ】
2019520574.tif 000040
【図１３Ａ】
2019520574.tif 000041
【図１３Ｂ】
2019520574.tif 000042
【図１４】
2019520574.tif 000043
【図１５】
2019520574.tif 000044
【図１６Ａ】
2019520574.tif 000045
【図１６Ｂ】
2019520574.tif 000046
【図１７Ａ】
2019520574.tif 000047
【図１７Ｂ】
2019520574.tif 000048
【図１８】
2019520574.tif 000049
【図１９Ａ】
2019520574.tif 000050
【図１９Ｂ】
2019520574.tif 000051
【図１９Ｃ】
2019520574.tif 000052
【図２０Ａ】
2019520574.tif 000053
【図２０Ｂ】
2019520574.tif 000054
【図２１Ａ】
2019520574.tif 000055
【図２１Ｂ】
2019520574.tif 000056
【図２１Ｃ】
2019520574.tif 000057
【図２１Ｄ】
2019520574.tif 000058
【図２２】
2019520574.tif 000059
【図２３】
2019520574.tif 000060
【図２４】
2019520574.tif 000061
【図２５Ａ】
2019520574.tif 000062
【図２５Ｂ】
2019520574.tif 000063
【図２５Ｃ】
2019520574.tif 000064
【図２５Ｄ】
2019520574.tif 000065
【図２５Ｅ】
2019520574.tif 000066
【国際調査報告】
2019520574.tif 000067
2019520574.tif 000068