(57)【特許請求の範囲】
【請求項１】
非同期トリガー取得により取得した画像を補正する方法であって、
前記画像取得は、画像センサによって撮像されたサンプルを支持する可動ステージの動きまたは位置に基づいてトリガー信号によってトリガーされるものであり、
前記方法は、
前記ステージの位置を示す、位置信号を出力し、当該位置信号は、前記ステージが遷移毎に既知かつ一定距離だけ移動したことを示すクワドラチャエンコーダ信号であり、
前記画像センサによる前記画像取得のために前記位置信号に基づいてトリガー信号を出力し、
前記トリガー信号に基づいて、露光時間を決定し、
ユーザによって定義された露光時間と前記決定した露光時間の比に基づいて、取得した画像の画素ごとの強度をスケーリングすることで、前記取得した画像を補正し、
必要な数のトリガーを生成するために必要とされる距離を前記ステージが移動するために要する時間は、前記ユーザによって定義された露光時間に等しい
方法。
【請求項２】
前記画像センサはＴＤＩ−ＣＣＤである
請求項１に記載の方法。
【請求項３】
前記画像センサはライン走査センサである
請求項１に記載の方法
【請求項４】
前記画像センサはインターラインＣＣＤである
請求項１に記載の方法。
【請求項５】
前記画像センサはフレーム転送ＣＣＤである
請求項１に記載の方法。
【請求項６】
前記画像センサはＣＭＯＳ画像センサである
請求項１に記載の方法。
【請求項７】
前記非同期トリガー取得は時間遅延積分（ＴＤＩ）スキャンに基づくものである
請求項１に記載の方法。
【請求項８】
前記トリガー信号は、顕微鏡ステージの動きを制御するコントローラによって生成される、請求項１に記載の方法。
【請求項９】
撮像すべきサンプルを支持する可動ステージと、
前記ステージの移動を制御し、  前記ステージの位置を示す、位置信号を出力するステージコントローラであって、当該位置信号は、前記ステージが遷移毎に既知かつ一定距離だけ移動したことを示すクワドラチャエンコーダ信号であるものと、
非同期トリガー取得により前記サンプルの画像を取得する画像センサと、
前記位置信号に基づいてトリガー信号を出力することにより、前記画像センサの画像取得をトリガーする画像センサコントローラと、
前記トリガー信号に基づいて、前記画像センサの露光時間を測定し、測定により得られた露光時間を得る露光測定装置と、
前記取得した画像を処理する画像処理装置であって、ユーザによって定義された露光時間と前記測定により得られた露光時間の比に基づいて、取得した画像の画素ごとの強度をスケーリングすることで、前記取得した画像の補正を行うものと、を含み、
必要な数のトリガーを生成するために必要とされる距離を前記ステージが移動するために要する時間は、前記ユーザによって定義された露光時間に等しい
撮像装置。
【請求項１０】
前記画像センサはＴＤＩ−ＣＣＤ、ラインスキャンセンサ、インターラインＣＣＤ、フレーム転送ＣＣＤ、またはＣＭＯＳ画像センサである
請求項９に記載の撮像装置。
【請求項１１】
前記非同期トリガー取得は、時間遅延積分（ＴＤＩ）スキャンに基づいて行われる
請求項９に記載の撮像装置。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１３年１１月６日に出願された米国仮特許出願第６１／９００，８０４号の利益を主張する。米国仮特許出願第６１／９００，８０４号の開示は、参照により本明細書に組み込まれる。
【技術分野】
【０００２】
本発明は、画像取得と処理の分野に関し、特に、非同期トリガー取得により取得した画像を補正する方法に関する。
【背景技術】
【０００３】
外部刺激が所望の露光時間と正確な積分期間との間に誤差を発生させる可能性があるので、積分期間（露光時間）がイメージャで定義されていないシステムにおいては、高品質の色々な画像を生成するために各画像を補正する必要がある。これは、特に、時間遅延積分（ＴＤＩ）撮像システムにおける強度補正に適用される。
【０００４】
いくつかのＴＤＩシステムでは、ＴＤＩスキャンを行う際に画像強度の著しい変動がある。この作用は、ステージ速度の各変化に強く相関している。スナップショットＴＤＩは所望の露光時間をステージ速度、対応するトリガーカウント、そしてトリガー当たりの対応する各エンコーダカウントに変換するので、ある物理的効果（すなわち、ステージ速度、摩擦、伝搬遅延、クロック・ジッタ等における変化）が、実際の露光時間に影響を与える可能性がある。画像強度のこのような変動の主な原因は、実世界のシステムに適用されたモデル計算の結果にある。
【０００５】
正確な露光がわかった状態で強度を補正する方法は、当該分野において当業者にとって公知である。簡潔に言えば、照度が一定であるので、焦点面アレイにおける強度の蓄積は時間と共に直線的に増加する。それ故、実際の露光時間に対する所望の露光時間の比をフレームごとに前記取得された強度に乗算することは比例的に強度の差を補正する。
【０００６】
しかしながら、特にＴＤＩの場合、露光時間を取得するための方法はほとんど検討されていない。スナップショットＴＤＩに露光補正を適用することは、今まで決して行われてきたことがなかった。ＴＤＩ使用への従来の種々のアプローチは、基本的に連続露光を使用しており、離散的なフレームの定義を有していない（すなわち、従来のＴＤＩは連続した画像を形成するデータの多くのライン生み出す結果となった）。しかしながら、スナップショットＴＤＩは、いくつかの離散的な露光期間から構成されており、それにより、各離散的なフレームが存在するため露光時間の定義を考慮に入れている。それ故、例えばＴＤＩスキャンなどの非同期トリガー取得により取得される各画像を補正するための方法に対する需要が存在する。
【発明の概要】
【０００７】
ＴＤＩスライド走査システムは、それ自体がＸＹステージの動きによってトリガーされるカメラのトリガー機構を使用している。これは、カメラの取得が前記ステージの位置によってトリガーされるため、既に空間的に「タイルされて」いる各画像を生成するという利点を有する。欠点は、画像の露光時間が、フレームの距離だけ前記ステージを移動させるのに必要な時間よって定義される一方で、当該ステージの速度は完全に安定しているわけではないという点である。この位置ベースのカメラトリガと前記各ステージ速度変動は最終的に、非常に正確な空間的な見当の一致を有するが、タイルからタイルへの画像強度の変動性を有する各合成画像を生成することとなる。
【０００８】
この問題を解決するために、本発明の一実施の形態は、各光子を露光してキャプチャしている間にカメラがトグルを行うような「ストロボ」信号を実施する。このストロボパルスの幅は、キャプチャされた各フレームに対して測定され、そして得られた画像を補正するために使用される。たとえば、各フレームに対する所望の露光時間が５０００ｍｓであり、そして任意のフレームのための前記ストロボパルスが４２００ｍｓである場合、その時そのフレームに対する各画素値のすべては、５０００／４２００が乗算されて、それらの強度をあるべきレベルに調節する。
【０００９】
一実施の形態において、その実装は、前記各パルスを測定し、そして色々なシリアル通信によりホストＰＣに当該情報を送信する外部デバイスを使用するというものである。その後の処理は、次いで前記ホストＰＣ上で実行される。好ましい実施の形態では、カメラのプロセッサにストロボ信号自体を監視させ、そして例えばＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）などの他のオンボードプロセッサとの画素毎の乗算を実行させるように実装する。
【００１０】
本発明の一実施の形態は、画像センサによって撮像されるサンプルの動きおよび／もしくは位置に基づいたトリガー信号によって画像取得がトリガーされる非同期トリガー取込みにより取得される各画像を補正するための方法を提供するもので、当該方法は：前記サンプルの前記動きおよび／または位置を測定し；前記測定に基づいて露光時間を決定し；当該決定した露光時間と所望の露光時間に基づいて取得画像を補正することを含む。
【００１１】
本発明の他の実施の形態は、撮像されるべきサンプルを支持する可動ステージと、当該ステージの移動を制御するステージコントローラと、非同期トリガー取得により前記サンプルの画像を取得する画像センサと、当該画像センサの画像取得をトリガーする画像センサーコントローラと、前記画像センサの露光時間を測定する露光測定装置と、前記取得した画像を処理する画像処理装置とを含む撮像装置であって、前記ステージコントローラは前記ステージの位置を示す位置信号を出力し、前記画像センサーコントローラは前記位置信号に基づいてトリガー信号を出力し、前記露光時間は前記位置信号に基づいて決定され、前記画像処理装置は前記決定した露光時間および所望の露光時間に基づいて前記取得した画像に対する補正を行う撮像装置を提供する。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の一実施の形態に係る露光補正を備えたＴＤＩシステムのブロック図を示す。
【００１３】
【図２】図２は、本発明の一実施の形態に係るステージ移動とＴＤＩコントローラ処理を示す。
【００１４】
【図３】図３は、本発明の一実施の形態に係るトリガー信号とストロボ信号との関係を示す。
【発明を実施するための形態】
【００１５】
本発明の原理による例示的な各実施の形態の説明は、全体の明細書の一部とみなされるべき添付図面に関連して読まれることを意図されている。本明細書に開示された本発明の各実施の形態の説明では、方向または配向への任意の参照は、単に説明の便宜のために意図されたものであり、本発明の範囲を限定することを決して意図されていない。例えば、「下部」、「上部」、「水平」、「垂直」、「上方」、「下方」」、「上」、「下」、「頂部」及び「底部」並びにその派生的用語（例えば、「水平に」、「下方に」、「上方に」等）の相対的用語は、次いで記載されるようにもしくは議論の下で図面において示されるように前記配向に言及するように解釈されるべきである。これらの相対的な用語は説明の便宜のためだけのものであり、そしてそれ自体明示的に示されない限り、装置が特定の配向において構成されるべきまたは操作されるべきであることを要求しない。例えば、「取り付けられた」、「添付された」、「接続された」、「結合された」、「相互接続された」及び類似表現等の用語は、各構造体が直接または介在する各構造体を介して間接的に互いに固着もしくは取り付けられている関係並びにさもなければ明確に記載されない限り双方の可動的もしくは剛体的な取り付け方もしくは関係に言及している。また、本発明の各特徴及び各利点は、例示される各実施の形態を参照して説明される。従って、本発明は単独にもしくは特徴の他の組合せにおいて存在する可能性がある各特徴のいくつかの可能な非限定的な各特徴の他の組み合わせを例示するそのような例示的な各実施の形態に明確に限定されるべきではない。本発明の範囲は、明細書に添付の特許請求の範囲によって定義される。
【００１６】
この開示は、現在考えられるように、本発明を実施する最良の形態または複数の形態について説明する。この説明は、限定的な意味で理解されることを意図されるものではなく、本発明の利点および構成を当業者に助言するために添付の図面を参照して例示目的のためだけに提示される本発明の実施例を提供する。各図面の様々な図では、同様な参照符号は同様なもしくは類似の部分を指定する。
【００１７】
本明細書に記載されているインターラインＴＤＩは、インターライン転送デバイスのための古典的なＴＤＩアプローチの変形例である。この方法では、電荷はフォトダイオードアレイから、（垂直ＣＣＤまたはＶＣＣＤとも呼ばれる）記憶領域内に転送され、次いで、フレーム転送ＴＤＩセンサー内の電荷のシフト動作と同じように、外部信号に応答して、１つもしくはそれ以上の行だけシフトされる。このプロセスが繰り返されるにつれて、電荷はこれらの連続した転送とシフトによって蓄積される。当該インターラインＴＤＩの１つの主要な利点は、２次元画像が静止被写体で生成することができ、そしてこの装置はＴＤＩモードと従来のビデオすなわちスナップショットモードとの間で前後に切り替えることができるということである。
【００１８】
前記ＴＤＩ方式を可能にするデバイスが本明細書に記載されている。図１において、例えばＴｈｏｒｌａｂｓ社ＭＬＳ２０３等の電動式ＸＹステージ１０１は、顕微鏡（簡略化のため図示せず）に実装され、そしてスライド１０２を支持している。また、例えばＴＤＩ性能を持つＴｈｏｒｌａｂｓ社１５００Ｍ−ＧＥのようなデジタルカメラ１０３は前記カメラ部に実装されている。いくつかの実施の形態では、カメラで使用される画像センサは、ＴＤＩ−ＣＣＤ、ラインスキャンセンサ、インターラインＣＣＤ、フレーム転送ＣＣＤ、またはＣＭＯＳ画像センサである。当該ステージからの各エンコーダパルスは、前記ステージコントローラ１０５への経路が定められ、そしてこれらのエンコーダパルスはバッファリングされて、さらに設定のための必要な通信チャネルと一緒に前記ＴＤＩコントローラ１０６に送信される。前記カメラ１０３と前記ステージコントローラ１０５は、ホストコンピュータまたは全体のシステムコントロール、画像データの取得、およびユーザインタフェースを提供するプロセッサ１０７に接続される。このカメラは、ステージの動きの一方の軸がＴＤＩの電荷転送の方向と平行であるように設置され、そして各顕微鏡光学系は前記スライドを照射し、そして前記カメラの焦点面上の当該スライドの拡大像を集束するために適切な方式で調整される。
【００１９】
スナップショットＴＤＩスキャン中に、ホストコンピュータ１０７は、トリガーの期待数、エンコーダカウントの数、および所望の速度で前記カメラ１０３、ＴＤＩコントローラ１０６、およびステージコントローラ１０５を設定する。当該ステージコントローラ１０５は、ステージ１０１の動きを制御し、そしてステージ１０１の位置を示すクワドラチャエンコーダ信号を出力する。この信号は、前記ステージが各遷移毎に既知および一定距離だけ移動したことを示す信号の遷移を意味するインクリメンタルクワドラチャ信号である。本発明の一実施の形態にとっては、その距離は、おおよそナノメートル単位である。
【００２０】
ＴＤＩコントローラ１０６はこの位置信号を取得し、そしてホストコンピュータ１０７から受信した設定に基づいてそれを処理して、カメラ１０３へのトリガー信号を生成する。この処理は理想的には前記ステージがカメラ１０３内の前記センサの画素間の間隔だけ移動する度に発生するカメラ１０３へのトリガー信号となる。このトリガー信号の受信は、上述したように、カメラ１０３にその焦点面アレイ上で各ＴＤＩシフトを実行させる。
【００２１】
カメラ１０３は、トリガーを受信する度に前記焦点面アレイ上で各ＴＤＩシフトを実行する。トリガーを受信すると、カメラ１０３は、内部カウンタを増加させる（インクリメントする）。このカウンタが設定値に達すると、前記カメラは前記センサをクロックして当該センサによって収集された前記画像を読み出す。これにより露光は終了する。前記センサデータは、前記カメラによりデジタル化され、そして各画素の強度を表す数の配列として前記ホストに供給される。
【００２２】
ホストコンピュータ１０７によって実行される前記各計算は、前記ステージが前記画素距離を横断する度に前記各トリガーパルスがカメラ１０３に到達するようにステージ１０１の完全に安定した速度を前提としている。また、ホストコンピュータ１０７は、必要な数のトリガーを生成するために必要とされる距離を移動するのに前記ステージが要する時間が、ユーザによって定義された露光時間に等しくなるように、総トリガーカウントでカメラ１０３を、更にステージ速度でステージコントローラ１０５を設定する。
【００２３】
しかしながら、以前に言及したように、この仮想的な計算は、多数の物理的な不正確さを免れ得ない。たとえば、前記ステージが遅くなる場合、必要な距離を移動する為に、より長く時間がかかるようになるにつれて、結果として得られる露光時間がより長くなってしまう。同様に、当該ステージが加速する場合、当該距離がより迅速に移動されることになるにつれて、前記結果として得られる露光時間がより短くなってしまう。ステージ速度におけるこれらの変動は、ステージコントローラ１０５の仕様内で適切であるが、カメラ１０３によって生成された前記画像の品質に影響を与えるのに十分な変化を引き起こす可能性がある。
【００２４】
これらの変動を補正するために、前記カメラに送信された前記各トリガー信号は露光測定装置１０８にも送られる。この装置は、他の構成要素のいずれかの１つまたはそれ以上内に含まれていてもよい。ＴＤＩスキャン中に、この装置は、前記露光時間を測定する。
【００２５】
ＴＤＩスキャンが実行される際、それは各ストリップで行われる。図２は、各ストリップで行わるステージ移動とＴＤＩコントローラプロセスを例示している。最初に、前記ステージは（Ｘ、Ｙ）ホームで表されるホームポジション２００に移動するように指令される。このホームポジションは、そこから更なる絶対位置が参照される絶対原点として使用することができる。このステージは、最初のフレームの開始位置２０２に到達する前に、加速路２０１に沿って所望の速度に加速する。前記ＴＤＩコントローラはＮ個のＴＤＩ積分シーケンスが位置２０４で完了するまで、ＴＤＩ積分フェーズ２０３中各デコーダパルスを各トリガーパルスに変換する動作を開始する。この時点で、前記ＴＤＩコントローラはそれ以上のトリガーパルスを禁止し、そして前記カメラは各有効ラインの読み出しを開始する。読み出しは、読み出しフェーズ２０５中継続し、そして前記ステージは移動し続ける。読み出しは、ＴＯＴＡＬ＿ＲＯＷＳ−Ｎ行が読み出された時に、完了する。前記コントローラは、すべての後続のＴＤＩ開始位置の前記各絶対位置についてプログラムされる。ＴＯＴＡＬ  ＲＯＷＳ−Ｎ行の読み出しが完了した後に発生する前記設定によって保証されているＴＤＩ開始位置２０６に前記ステージが達すると、処理は反復する。この処理は当該ステージが、前記所望のスキャン２０７の終了に相当する前記絶対位置に到達するまで、反復を継続する。
【００２６】
大きな面積が望まれる場合、前記ステージは、次の加速領域２０８の原点に指令される。当該ステージは前記加速領域２０９を通して加速し、そして前記ＴＤＩシーケンスは、新たな第１のフレーム開始位置２１０の開始部において再開する。このプロセスは、必要な限り多くのストリップのために、第１のストリップと同じように繰り返す。このようにして得られた各画像は、それらが格納されそしてユーザのために表示される前記ホストコンピュータへフレームごとに転送される。
【００２７】
所与のストリップ２１１について、いくつかのトリガー期間２０３とそれに続いくつかの読み出し期間２０５が存在する。所与のフレームの露出は前記トリガー期間の持続時間によって定義される。その結果、位置２０６での前記カメラから読み出されたフレームは位置２０２と位置２０４との間で発生する各ＴＤＩ積分シフトにより収集される。位置２０２と２０４との間の距離を移動するのに必要な時間が正確な露光時間である。以前に述べてきたように、このシステムは前記トリガー期間が経過するするこの時間が所望の露光時間に等しくなるように設定される。
【００２８】
図３は、本発明の一実施の形態に係る前記トリガー信号と前記ストロボ信号との関係を示している。（図２の２１１に類似した）ストリップ３００の期間に、多くの急速に発生したトリガー３０１は、前記カメラに供給される。これらは前記センサ上の前記各ＴＤＩ積分シフトに対応する各トリガーである。「ストロボ」と呼ばれる露光時間を示す信号３０２は、最初のトリガー３０４のアクティブ立ち上がりエッジでアクティブ状態に遷移し、そして最後のフレームのトリガー３０５の非アクティブな立ち上がりエッジで非アクティブ状態に遷移することによって発生させられる。前記カメラに供給される前記各トリガーを観察することによって、露光測定装置１０８は、前記露光時間に相当するストロボ信号３０２を生成する。露光測定装置１０８はこのパルスの持続時間を測定し、そしてその測定値を前記ホストコンピュータ１０７に送信する。画像取得のために使用されるホストコンピュータ１０７によって実行されているソフトウェアは、前記画像データにおける前記各値の乗算により前記所望の露光時間において期待される強度に対する露光時間に起因した強度のばらつきを補正することができる。一実施の形態では、前記サンプルの動きおよび／または位置は、前記露光時間を決定するために測定される。他の実施の形態では、前記測定が推定される。
【００２９】
本発明の一実施の形態は、一例として、スナップショットＴＤＩ方法に適用されるものの、本発明は露光時間を制御する各信号の生成が、実時間の物理的な色々な不完全性によって望ましくないやり方で影響を受ける任意の非同期トリガー取得モードに適用することが可能である。
【００３０】
本発明はいくつかの記載された実施の形態について、いくつかの長さで、そしていくつか詳細と共に説明してきたが、本発明は任意のそのような特定の各形態や各実施の形態もしくは任意の特定の実施の形態に限定されるべきであることは意図されないが、本発明は従来技術の観点でそのような特許請求の範囲の最も広い可能な解釈を提供するために、そしてそれ故に本発明の意図された範囲を効果的に包含するために添付された特許請求の範囲を参照して解釈されるべきである。また、前述のことは、現在予測されない本発明の実質的でない各変更がその同等物をなにも表さない可能性があるにも関わらず、可能にする説明が入手可能であった発明者によって予測される色々な実施の形態の立場で本発明を記載している。
【図１】
0006576922.tif 000002
【図２】
0006576922.tif 000003
【図３】
0006576922.tif 000004