(57)【要約】  本発明は、生物試料の向上された被写界深度を持つ合成２Ｄ画像を生成するためのシステムに関するものである。顕微鏡スキャナ２０により、当該生物試料の第１横方向位置における第１画像データ及び該生物試料の第２横方向位置における第２画像データを取得すること（１１０）が記載されている。上記顕微鏡スキャナは、第１横方向位置における第３画像データ及び第２横方向位置における第４画像データを取得する（１２０）ために使用され、第３画像データは第１画像データに対するものとは異なる深度において取得され、第４画像データは第２画像データに対するものとは異なる深度において取得される。第１横方向位置に関する第１作業画像データが生成され（１３０）、該生成は第１画像データ及び第３画像データを焦点合成アルゴリズムにより処理することを含む。第２横方向位置に関して第２作業画像データが生成され（１４０）、該生成は前記焦点合成アルゴリズムにより第２画像データ及び第４画像データを処理することを含む。画像取得の間において、第１作業画像データ及び第２作業画像データが組み合わされて（１５０）、当該生物試料の向上された被写界深度を持つ合成２Ｄ画像を生成する。
2019507384.tif 000002
【特許請求の範囲】
【請求項１】
生物試料の向上された被写界深度を持つ合成２Ｄ画像を生成するためのシステムであって、
顕微鏡スキャナと、
処理ユニットと、
を有し、
前記顕微鏡スキャナは、当該生物試料の第１横方向位置における第１画像データ及び該生物試料の第２横方向位置における第２画像データを取得し、
前記顕微鏡スキャナは、前記第１横方向位置における第３画像データ及び前記第２横方向位置における第４画像データを取得し、前記第３画像データは前記第１画像データに対するものとは異なる深度において取得され、前記第４画像データは前記第２画像データに対するものとは異なる深度において取得され、
前記処理ユニットは前記第１横方向位置に関する第１作業画像データを生成し、該生成は前記第１画像データ及び前記第３画像データの焦点合成アルゴリズムによる処理を含み、前記処理ユニットは前記第２横方向位置に関する第２作業画像データを生成し、該生成は該第２横方向位置に関する第２作業画像データを生成するための前記焦点合成アルゴリズムによる前記第２画像データ及び前記第４画像データの処理を含み、
前記処理ユニットは、画像データの取得の間において、前記第１作業画像データ及び前記第２作業画像データを組み合わせて当該生物試料の向上された被写界深度を持つ合成２Ｄ画像を生成する、
システム。
【請求項２】
前記顕微鏡スキャナが前記生物試料の斜め断面の画像データを取得する検出器を有する、請求項１に記載のシステム。
【請求項３】
前記検出器が少なくとも２つの活性領域を有する２Ｄ検出器である、請求項２に記載のシステム。
【請求項４】
前記顕微鏡スキャナが、前記第１画像データ及び前記第２画像データを取得するために前記生物試料の第１断面の画像データを取得し、該顕微鏡スキャナが、前記第３画像データ及び前記第４画像データを取得するために該生物試料の第２断面の画像データを取得する、請求項１ないし３の何れか一項に記載のシステム。
【請求項５】
前記顕微鏡スキャナは、前記生物試料の前記第１横方向位置において且つ第１深度において前記第１画像データを取得すると同時に、該生物試料の前記第２横方向位置において且つ第２深度において前記第２画像データを取得し、ここで、前記第１深度は前記第２深度とは相違し、前記顕微鏡スキャナは、前記第１横方向位置において且つ第３深度において前記第３画像データを取得すると同時に、前記第２横方向位置において且つ第４深度において前記第４画像データを取得し、ここで、前記第３深度は前記第４深度とは相違する、請求項１ないし４の何れか一項に記載のシステム。
【請求項６】
前記顕微鏡スキャナが、前記第１横方向位置において、及び、前記第２横方向位置において、前記第１画像データが取得される深度と前記第２画像データが取得される深度との間の深さの距離よりも何れも大きくはない焦点深度を有する、請求項１ないし５の何れか一項に記載のシステム。
【請求項７】
前記生物試料が前記第１画像データ及び前記第２画像データを取得するために前記顕微鏡スキャナの光軸に対して第１位置にあり、該生物試料が前記第３画像データ及び前記第４画像データの取得のために該光軸に対して第２位置にある、請求項１ないし６の何れか一項に記載のシステム。
【請求項８】
前記画像データが複数のカラーを有し、前記処理ユニットが、該複数のカラーのうちの１以上を有する画像データに基づいて、画像データを前記焦点合成アルゴリズムによって処理する、請求項１ないし７の何れか一項に記載のシステム。
【請求項９】
生物試料の向上された被写界深度の合成２Ｄ画像を生成する方法であって、
ａ）  顕微鏡スキャナにより前記生物試料の第１横方向位置における第１画像データを取得し、前記顕微鏡スキャナにより該生物試料の第２横方向位置における第２画像データを取得するステップと、
ｂ）  前記顕微鏡スキャナにより前記第１横方向位置における第３画像データを取得すし、前記顕微鏡スキャナにより前記第２横方向位置における第４画像データを取得するステップであって、前記第３画像データを前記第１画像データに対するものとは異なる深度において取得し、前記第４画像データを前記第２画像データに対するものとは異なる深度において取得するステップと、
ｅ）  前記第１横方向位置に関する第１作業画像データを生成するステップであって、該生成するステップが前記第１画像データ及び前記第３画像データを焦点合成アルゴリズムにより処理するステップを有するステップと、
ｆ）  前記第２横方向位置に関する第２作業画像データを生成するステップであって、該生成するステップが前記第２画像データ及び前記第４画像データを前記焦点合成アルゴリズムにより処理するステップを有するステップと、
ｌ）  画像データの取得の間において前記第１作業画像データ及び前記第２作業画像データを組み合わせて、前記生物試料の向上された被写界深度の合成２Ｄ画像を生成するステップと、
を有する、方法。
【請求項１０】
前記取得するステップａ）が、前記生物試料の前記第１横方向位置において且つ第１深度において前記第１画像データを取得すると同時に該生物試料の前記第２横方向位置において且つ第２深度において前記第２画像データを取得するステップを有し、ここで、前記第１深度は前記第２深度とは相違し、前記取得するステップｂ）が、前記第１横方向位置において且つ第３深度において前記第３画像データを取得すると同時に前記第２横方向位置において且つ第４深度において前記第４画像データを取得するステップを有し、ここで、前記第３深度は前記第４深度とは相違する、請求項９に記載の方法。
【請求項１１】
ｃ）  前記第１画像データに関する第１エネルギデータを計算し、前記第３画像データに関する第３エネルギデータを計算するステップと、
ｄ）  前記第２画像データに関する第２エネルギデータを計算し、前記第４画像データに関する第４エネルギデータを計算するステップと、
を有し、
前記生成するステップｅ）は、前記第１画像データ又は前記第３画像データの何れかを前記第１作業画像として選択するステップを有し、該選択するステップは前記第１エネルギデータ及び前記第３エネルギデータの関数を含み、
前記生成するステップｆ）は、前記第２画像データ又は前記第４画像データの何れかを前記第２作業画像として選択するステップを有し、該選択するステップは前記第２エネルギデータ及び前記第４エネルギデータの関数を含み、
画像データにおける周波数情報がエネルギデータを表す、請求項９又は請求項１０に記載の方法。
【請求項１２】
ｇ）  前記第１画像データが前記第１作業画像として選択される場合に第１作業エネルギデータを前記第１エネルギデータとして生成するか、又は前記第３画像データが前記第１作業画像として選択される場合に前記第１作業エネルギデータを前記第３エネルギデータとして生成するステップと、
ｈ）  前記第２画像データが前記第２作業画像として選択される場合に第２作業エネルギデータを前記第２エネルギデータとして生成するか、又は前記第４画像データが前記第２作業画像として選択される場合に前記第２作業エネルギデータを前記第４エネルギデータとして生成するステップと、
を有する、請求項１１に記載の方法。
【請求項１３】
ｉ）  前記第１横方向位置において第５画像データを取得し、前記第２横方向位置において第６画像データを取得するステップであって、前記第５画像データは前記第１及び第３画像データに対するものとは異なる深度において取得され、前記第６画像データは前記第２及び第４画像データに対するものとは異なる深度において取得されるステップと、
ｊ）  前記第５画像データ及び前記第１作業画像データを前記焦点合成アルゴリズムにより処理して、前記第１横方向位置に関して新たな第１作業画像データを生成するステップであって、前記新たな第１作業画像データが該第１作業画像データとなるステップと、
ｋ）  前記第６画像データ及び前記第２作業画像データを前記焦点合成アルゴリズムにより処理して、前記第２横方向位置に関して新たな第２作業画像データを生成するステップであって、前記新たな第２作業画像データが該第２作業画像データとなるステップと、
を更に有する、請求項９ないし１２の何れか一項に記載の方法。
【請求項１４】
請求項１ないし８の何れか一項に記載のシステムを制御するためのコンピュータプログラムであって、プロセッサにより実行された場合に、請求項９ないし１３の何れか一項に記載の方法を実行する、コンピュータプログラム。
【請求項１５】
請求項１４に記載のコンピュータプログラムを記憶した、コンピュータ読取可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生物試料の向上された被写界深度の合成２Ｄ画像を生成するシステム、生物試料の向上された被写界深度の合成２Ｄ画像を生成する方法、コンピュータプログラム要素及びコンピュータ読取可能な媒体に関する。
【背景技術】
【０００２】
伝統的癌診断においては、組織サンプルの（組織）病理学的画像が病理学者により視覚的に分析される。病理学者は、顕微鏡を用いて組織を検査する。これらのサンプル（試料）は３Ｄ構造を含み、顕微鏡の被写界深度は限られているので、全ての部分にピントが合うとは限らない。焦点ノブを回転することにより、病理学者は当該組織をｚ方向に（深さ方向に）調べることができる。しかしながら、デジタル顕微鏡を使用する場合、組織サンプルは自動的にスキャンされる。組織が単一の深さ（深度）でスキャンされる場合、該組織の全ての部分に焦点が合い得るとは限らない。スライドを複数の深度でスキャンすることは、著しい量のデータを収集及び記憶することにつながる。
【０００３】
米国特許出願公開第2005/0089208号は、顕微鏡スライドの画像を得るためのシステム及び方法を記載している。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
病理学者により視覚的に分析されるべき生物試料の画像を生成するための改善された技術を有することが有益であろう。
【課題を解決するための手段】
【０００５】
本発明の目的は、独立請求項の主題により解決され、更なる実施態様は従属請求項に含まれる。以下に記載される本発明の態様は、生物試料の向上された被写界深度の合成２Ｄ画像を生成するためのシステム、生物試料の向上された被写界深度の合成２Ｄ画像を生成するための方法、並びにコンピュータプログラム要素及びコンピュータ読取可能な媒体に対しても当てはまることに注意すべきである。
【０００６】
第１態様によれば、生物試料（サンプル）の向上された被写界深度を持つ合成２Ｄ画像を生成するためのシステムが提供され、該システムは、
−  顕微鏡スキャナと、
−  処理ユニットと、
を有する。
【０００７】
前記顕微鏡スキャナは、当該生物試料の第１横方向位置における第１画像データ及び該生物試料の第２横方向位置における第２画像データを取得するように構成される。該顕微鏡スキャナは、前記第１横方向位置における第３画像データ及び前記第２横方向位置における第４画像データを取得するようにも構成され、その場合において、前記第３画像データは前記第１画像データに対するものとは異なる深度（depth）において取得され、前記第４画像データは前記第２画像データに対するものとは異なる深度において取得される。前記処理ユニットは、前記第１横方向位置に関する第１作業画像データ（first working image data）を生成するように構成され、該生成は、前記第１画像データ及び前記第３画像データを焦点合成アルゴリズム（focus stacking algorithm）により処理することを含む。前記処理ユニットは、前記第２横方向位置に関する第２作業画像データを生成するように構成され、該生成は、該第２横方向位置に関する第２作業画像データを生成するために前記焦点合成アルゴリズムにより前記第２画像データ及び前記第４画像データを処理することを含む。前記処理ユニットは、画像データの取得の間において前記第１作業画像データ及び前記第２作業画像データを組み合わせて当該生物試料の向上された被写界深度を持つ合成２Ｄ画像を生成するように構成される。
【０００８】
焦点合成に関する説明は、https://en.wikipedia.org/wiki/Focus_stackingなるウェブページで見付けることができる。
【０００９】
このようにして、向上された被写界深度を持つ２Ｄ画像を“オンザフライで（その場で）”取得することができる。言い換えると、該向上された被写界深度の２Ｄ画像をストリーミングモードで取得することができる。全系列の完全な画像ファイルが、キャプチャ及び記憶され、全てが取得された後に後処理されることは必要とされず、むしろ、向上された画像は画像データが取得される際に生成される。
【００１０】
言い換えると、ｘ及びｙ方向に延びる２Ｄ画像は、異なるｘ，ｙ位置においてピントの合った特徴構造（features）を有し得、これら特徴構造は特定のｘ、ｙ位置における当該顕微鏡スキャナの焦点深度より大きな深度ｚの範囲にわたり焦点が合う。そして、この向上された被写界深度の２Ｄ画像はオンザフライで生成される。
【００１１】
一例において、当該顕微鏡スキャナは前記第１画像データ及び第２画像データを取得するために当該生物試料の第１断面の画像データを取得するように構成される一方、該顕微鏡スキャナは前記第３画像データ及び第４画像データを取得するために該生物試料の第２断面の画像データを取得するように構成される。
【００１２】
言い換えると、当該顕微鏡スキャナはサンプルを介して上方に（又は下方に）スキャンすることができるか、又は該サンプルを介して横方向にスキャンすることができる。このようにして、向上された被写界深度を持つ２Ｄ画像を、当該サンプルの異なる深度における画像データを取得し、該サンプルの横方向部分が検出器の同一の部分により又は検出器の異なる部分により撮像されるようにすることにより、オンザフライで取得することができる。
【００１３】
一例において、前記顕微鏡スキャナは前記生物試料の斜め断面の画像データを取得するように構成された検出器を有する。一例において、該生物試料は病理学スライドの一部である。
【００１４】
このように、斜め断面の画像データを取得することにより、水平又は横方向スキャンは、垂直（深さ）方向のデータも取得する。横方向スキャンは、第２断面が当該顕微鏡スキャナの光軸に対して垂直な方向において第１断面から水平に又は横方向に変位される場合にもたらされ得る。例えば、当該断面を横方向に変位させるために撮像レンズが横方向に移動され、及び／又は該断面を横方向に変位させるためにサンプルが当該顕微鏡スキャナの撮像及び取得部分に対して横方向に移動される。言い換えると、当該顕微鏡スキャナはサンプルにわたって、異なる深度及び同時に異なる横方向位置においてデータを取得するセンサによりスキャンする。当該センサは斜め断面を取得するので、当該センサは、前の取得に対して同一の横方向位置におけるものであるが異なる深度におけるデータを取得することができる。このようにして、同一の横方向位置におけるものであるが異なる深度における画像データを比較して、何の画像データが最良に焦点の合った特徴構造を含んでいるかを決定することができる（当該特徴構造は当該サンプル内の或る深さにおけるものである）。言い換えると、細胞核が特徴構造である場合、該細胞核の異なる部分は異なる深度で焦点が合い得る。この場合、当該横方向位置における最良のピントの画像データを、出現する画像に向上された被写界深度を移植するために使用することができる。一例において、当該センサが横方向にスキャンされる間に、該センサの異なる領域が活性化され、かくして、該センサの或る領域が前記第１画像データを取得し、該センサの別の領域が前記第３画像データを取得するようにする。
【００１５】
一例において、前記検出器は少なくとも２つの活性領域を有する２Ｄ検出器である。一例において、各活性領域は時間遅延積分（ＴＤＩ）センサとして構成される。
【００１６】
ＴＤＩ検出器を設けることにより、信号対雑音比を向上させることができる。
【００１７】
一例において、前記顕微鏡スキャナは前記生物試料の前記第１横方向位置において且つ第１深度において前記第１画像データを取得すると同時に、該生物試料の前記第２横方向位置において且つ第２深度において前記第２画像データを取得するように構成され、ここで、前記第１深度は前記第２深度とは相違し、前記顕微鏡スキャナは前記第１横方向位置において且つ第３深度において前記第３画像データを取得すると同時に、前記第２横方向位置において且つ第４深度において前記第４画像データを取得するように構成され、ここで、前記第３深度は前記第４深度とは相違する。
【００１８】
言い換えると、当該顕微鏡スキャナはデータを異なる横方向位置において及び異なる深度において同時に取得しており、次いで、同一の横方向位置におけるものであるが異なる深度におけるデータは比較されて、向上された被写界深度の２Ｄ画像の生成のための作業画像として使用されるべき当該横方向位置における特徴構造の最良の画像データ（即ち、最良にピントの合ったもの）を決定することができる。このようにして、横方向における当該サンプルに対する当該検出器の単一スキャン内で、画像データは深さ方向においても取得され、これを、全ての画像データを記憶すると共に後処理することを要せずに、向上された被写界深度の２Ｄ画像を決定するために効率的に使用することができる。言い換えると、向上された被写界深度の２Ｄ画像のオンザフライでの生成が、効率的に進行し得る。
【００１９】
一例において、前記顕微鏡スキャナは、前記第１横方向位置において及び前記第２横方向位置において、前記第１画像データが取得される深度と前記第２画像データが取得される深度との間の深さ距離よりも何れも大きくはない焦点深度を有する。
【００２０】
このようにして、異なる深度における画像データを当該顕微鏡スキャナの固有の焦点深度より大きな当該サンプルの深さに最適に跨がって効率的に取得することができる一方、特定の横方向位置における画像データを、当該カメラの焦点深度より大きな深度の範囲におけるものであるが、これらの横方向位置において焦点の合っている画像データを供給するように処理することができる。このように、異なる深度における異なる特徴構造は全て当該向上された被写界深度を有する２Ｄ画像にわたってピントが合ったものとなり得、この向上された画像は、最良の画像データを決定するために取得される全ての画像データを記憶することを要せずに、オンザフライで取得することができる。
【００２１】
一例において、前記サンプルは前記第１画像データ及び前記第２画像データを取得するために前記顕微鏡の光軸に対して第１位置にある一方、該サンプルは前記第３画像データ及び前記第４画像データの取得のために該光軸に対して第２位置にある。
【００２２】
一例において、前記画像データは複数のカラーを有し、前記処理ユニットは画像データを前記焦点合成アルゴリズムにより該複数のカラーのうちの１以上を有する画像データに基づいて処理するように構成される。
【００２３】
一例において、上記複数のカラーは赤、緑及び青であり得る。一例において、前記処理ユニットは特定のカラー（例えば、当該サンプルにおける特徴構造又は複数の特徴構造を着色するために使用される染料に関連するカラー）に対応する画像データを処理するように構成される。このようにして、固有の特徴構造を向上された被写界深度で取得することができる。他の例において、例えばRGB2Y処理を用いて異なるカラーチャンネルを結合することができる。このようにして、信号対雑音比を向上させることができる。また、カラー分離ステップを適用することにより、異なる最大に最適化された２Ｄ平滑化カーネルを利用することができる。
【００２４】
第２態様においては、生物試料の向上された被写界深度の合成２Ｄ画像を生成する方法が提供され、該方法は、
ａ）  顕微鏡スキャナにより前記生物試料の第１横方向位置における第１画像データを取得し、前記顕微鏡スキャナにより該生物試料の第２横方向位置における第２画像データを取得するステップと、
ｂ）  前記顕微鏡スキャナにより前記第１横方向位置における第３画像データを取得し、前記顕微鏡スキャナにより前記第２横方向位置における第４画像データを取得するステップであって、前記第３画像データが前記第１画像データに対するものとは異なる深度において取得され、前記第４画像データが前記第２画像データに対するものとは異なる深度において取得されるステップと、
ｅ）  前記第１横方向位置に関する第１作業画像データを生成するステップであって、該生成するステップが前記第１画像データ及び前記第３画像データを焦点合成アルゴリズムにより処理するステップを有するステップと、
ｆ）  前記第２横方向位置に関する第２作業画像データを生成するステップであって、該生成するステップが前記第２画像データ及び前記第４画像データを前記焦点合成アルゴリズムにより処理するステップを有するステップと、
ｌ）  画像データの取得の間において前記第１作業画像データ及び前記第２作業画像データを組み合わせて、前記生物試料の向上された被写界深度の合成２Ｄ画像を生成するステップと、
を有する。
【００２５】
一例において、前記ステップａ）は、前記生物試料の前記第１横方向位置において且つ第１深度において前記第１画像データを取得すると同時に該生物試料の前記第２横方向位置において且つ第２深度において前記第２画像データを取得するステップを有し、ここで、前記第１深度は前記第２深度とは相違し；前記ステップｂ）は、前記第１横方向位置において且つ第３深度において前記第３画像データを取得すると同時に前記第２横方向位置において且つ第４深度において前記第４画像データを取得するステップを有し、ここで、前記第３深度は前記第４深度とは相違する。
【００２６】
一例において、当該方法は、
ｃ）  前記第１画像データに関する第１エネルギデータを計算すると共に前記第３画像データに関する第３エネルギデータを計算するステップと、
ｄ）  前記第２画像データに関する第２エネルギデータを計算すると共に前記第４画像データに関する第４エネルギデータを計算するステップと、
を有し、
前記ステップｅ）は、前記第１画像データ又は前記第３画像データの何れかを前記第１作業画像として選択するステップを有し、該選択するステップは前記第１エネルギデータ及び前記第３エネルギデータの関数を含み、
前記ステップｆ）は、前記第２画像データ又は前記第４画像データの何れかを前記第２作業画像として選択するステップを有し、該選択するステップは前記第２エネルギデータ及び前記第４エネルギデータの関数を含み、
画像データにおける周波数情報がエネルギデータを表す。
【００２７】
このようにして、向上された画像を、特定の位置において該位置における最良にピントの合った特徴構造を有するようにして効率的に生成することができる。言い換えると、深度とは無関係に当該画像にわたって、最良に焦点の合った特徴構造が、画像データに関するエネルギデータの関数として選択され、これをストリーミングモードにおいてオンザフライで実行することができる。
【００２８】
一例において、当該方法は、
ｇ）  前記第１画像データが前記第１作業画像として選択される場合に第１作業エネルギデータを前記第１エネルギデータとして生成するか、又は前記第３画像データが前記第１作業画像として選択される場合に前記第１作業エネルギデータを前記第３エネルギデータとして生成するステップと、
ｈ）  前記第２画像データが前記第２作業画像として選択される場合に第２作業エネルギデータを前記第２エネルギデータとして生成するか、又は前記第４画像データが前記第２作業画像として選択される場合に前記第２作業エネルギデータを前記第４エネルギデータとして生成するステップと、
を有する。
【００２９】
このようにして、当該検出器により既に掃引（又はスキャン）された領域の背後に位置する、向上された被写界深度を持つ既に生成された２Ｄ画像しか記憶されることを要さず（前記作業画像）、更新され得る該２Ｄの向上された画像のピクセルに関連する作業エネルギデータファイルも記憶されることを要するのみである。従って、データの記憶は最小限のものとされ、向上された被写界深度の２Ｄ画像は、向上された画像を更新するための現在取得されたエネルギデータの記憶されたエネルギデータとの比較に基づいて更に更新することができる。
【００３０】
一例において、当該方法は、
ｉ）  前記第１横方向位置において第５画像データを取得すると共に前記第２横方向位置において第６画像データを取得するステップであって、前記第５画像データが前記第１及び第３画像データに対するものとは異なる深度において取得され、前記第６画像データが前記第２及び第４画像データに対するものとは異なる深度において取得されるステップと、
ｊ）  前記第１横方向位置に関して新たな第１作業画像データを生成するステップであって、前記第５画像データ及び前記第１作業画像データを前記焦点合成アルゴリズムにより処理するステップを有し、この場合において、前記新たな第１作業画像データが該第１作業画像データとなるステップと、
ｋ）  前記第２横方向位置に関して新たな第２作業画像データを生成するステップであって、前記第６画像データ及び前記第２作業画像データを前記焦点合成アルゴリズムにより処理するステップを有し、この場合において、前記新たな第２作業画像データが該第２作業画像データとなるステップと、
を更に有する。
【００３１】
言い換えると、或る横方向位置に関する作業画像データを、当該横方向位置において取得される新たな画像データに基づいて更新して、全ての以前の画像データを記憶することを要せずに当該横方向位置における最良の画像を形成することができ、このことは、当該データが取得される間に実現することができる。当該検出器が特定の横方向位置を過ぎて完全に掃引したなら、該横方向位置において取得された最良の画像データから当該画像データが形成され、これは、個々の画像データが記憶されることを要さずにオンザフライで決定されるものであり、当該横方向位置に対して作業画像データが記憶されることが必要とされるのみである。
【００３２】
他の態様によれば、前述したシステムを制御するためのコンピュータプログラムであって、処理ユニットにより実行された場合に前述した方法ステップを実行するように構成されたコンピュータプログラム要素が提供される。
【００３３】
他の態様によれば、上述したコンピュータプログラム要素を記憶したコンピュータ読取可能な媒体が提供される。
【００３４】
有利には、上述した態様及び例の何れかによりもたらされる利点は他の態様及び例にも等しく当てはまり、その逆もある。
【００３５】
上述した態様及び例は、後述する実施態様から明らかとなり、斯かる実施態様を参照して解説される。
【図面の簡単な説明】
【００３６】
【図１】図１は、生物試料の向上された被写界深度を持つ合成２Ｄ画像を生成するシステムの一例の概略構成を示す。
【図２】図２は、生物試料の向上された被写界深度を持つ合成２Ｄ画像を生成する方法を示す。
【図３】図３は、組織サンプルにおける焦点変化の例示的画像を示す。
【図４】図４は、図３に示された画像の内容を図解的に示す。
【図５】図５は、２以上の画像が単一の画像に合成される焦点合成の一例を概略的に示す。
【図６】図６は、組織スライドアセンブリの断面の２つの図を概略的に示す。
【図７】図７は、顕微鏡スキャナの一例を概略的に示す。
【図８】図８は、サンプルの断面を概略的に示すもので、２Ｄ検出器アレイの投影が２つの垂直位置に示されている。
【図９】図９は、サンプルの断面を概略的に示すもので、２Ｄ検出器アレイの投影が２つの水平方向（横方向）位置に示されている。
【図１０】図１０は、組織スライドアセンブリ及び２Ｄ検出器アレイの投影を概略的に示す。
【図１１】図１１は、組織スライドアセンブリの断面を概略的に示すもので、２Ｄ検出器アレイの投影が示されている。
【図１２】図１２は、例示的な２Ｄ検出器アレイを概略的に示す。
【図１３】図１３は、オーバーサンプリングの一例を概略的に示す。
【図１４】図１４は、複数の撮像された領域又は層を概略的に示す。
【図１５】図１５は、生物試料の向上された被写界深度の合成２Ｄ画像を生成するためのシステムの一例を概略的に示す。
【図１６】図１６は、焦点合成のための例示的ワークフローを示す。
【図１７】図１７は、左側に向上された被写界深度を有さない例示的画像を示し、右側には向上された被写界深度の合成２Ｄ画像が示されている。
【図１８】図１８は、図１７に示された画像の内容を概略的に示す。
【発明を実施するための形態】
【００３７】
以下、図面を参照して例示的実施態様を説明する。
【００３８】
図１は、生物試料（サンプル）の向上された被写界深度を持つ合成２Ｄ画像を生成するためのシステム１０を示す。システム１０は、顕微鏡スキャナ２０及び処理ユニット３０を有する。顕微鏡スキャナ２０は、当該生物試料の第１の横方向位置における第１画像データ及び該生物試料の第２の横方向位置における第２画像データを取得するように構成される。顕微鏡スキャナ２０は、更に、前記第１横方向位置における第３画像データ及び前記第２横方向位置における第４画像データを取得するようにも構成される。第３画像データは第１画像データに対するものとは異なる深度（深さ）において取得され、第４画像データは第２画像データに対するものとは異なる深度において取得される。処理ユニット３０は、第１横方向位置に関する第１作業画像データを生成するように構成され、該生成は第１画像データ及び第３画像データを焦点合成（フォーカススタッキング）アルゴリズムにより処理するステップを有する。処理ユニット３０は、更に、第２横方向位置に関する第２作業画像データを生成するように構成され、該生成は第２画像データ及び第４画像データを前記焦点合成アルゴリズムにより処理して第２横方向位置に関する第２作業画像データを生成するステップを有する。該処理ユニット３０は、画像取得の間において上記第１作業画像データ及び第２作業画像データを組み合わせて、当該生物試料の向上された被写界深度を持つ合成２Ｄ画像を生成するように構成される。
【００３９】
一例において、前記顕微鏡スキャナは、前記第１横方向位置において、前記第１画像データが取得される深度と前記第３画像データが取得される深度との間の深さ距離より大きくない焦点深度を有する。
【００４０】
一例において、前記第１横方向位置から第２横方向位置への移動は、当該システムのスキャン方向と実質的に平行である。
【００４１】
一例によれば、前記顕微鏡スキャナは前記第１画像データ及び第２画像データを取得するために当該生物試料の第１断面の画像データを取得するように構成される。該顕微鏡スキャナは前記第３画像データ及び第４画像データを取得するために該生物試料の第２断面の画像データを取得するようにも構成される。
【００４２】
一例において、前記第２断面は当該顕微鏡スキャナの光軸に対して平行な方向において前記第１断面から垂直に変位される。一例においては、当該断面を垂直に変位させるために対物レンズが垂直方向に移動される。一例においては、当該断面を垂直に変位させるために前記サンプルが該顕微鏡スキャナの撮像及び取得部に対して垂直方向に移動される。
【００４３】
一例において、前記第２断面は当該顕微鏡スキャナの光軸に対して垂直な方向において前記第１断面から水平に又は横方向に変位される。一例においては、当該断面を横方向に変位させるために対物レンズが横方向に移動される。一例においては、当該断面を横方向に変位させるために前記サンプルが該顕微鏡スキャナの撮像及び取得部に対して横方向に移動される。
【００４４】
一例によれば、当該顕微鏡スキャナは、当該生物試料の斜め断面の画像データを取得するよう構成された検出器４０を有する。一例において、当該サンプルは（病変）スライドである。言い換えると、病理学スライドが検査される。
【００４５】
一例において、当該センサの領域は、例えば国際特許出願公開第WO2011/161594号に記載されたオートフォーカスセンサから導出される情報を用いて活性化される。言い換えると、特徴構造（フィーチャ）を、該特徴構造が当該サンプル内で深さが変化するにつれて該特徴構造を適切に良好な合焦（ピント）度合いで取得して向上された被写界深度の画像の一部を形成するために該センサの適切な領域が活性化されることを可能にすることにより、深度的に追跡することができる。
【００４６】
一例において、第２断面は第１断面から垂直方向及び横方向の両方に変位される。一例においては、対物レンズが当該断面を変位させるために垂直方向に移動されると共に横方向に移動される。一例においては、投影された画像が当該撮像システムの視野内に留まることを保証するために、対物レンズが横方向に移動されるにつれて検出器も横方向に移動される。一例においては、当該断面を変位させるために当該サンプルが前記顕微鏡スキャナの撮像及び取得部に対して垂直方向に移動されると共に横方向に移動される。一例においては、当該断面を移動させるために、対物レンズが垂直方向に移動されると共にサンプルが当該顕微鏡スキャナの撮像及び取得部に対して横方向に移動される。一例においては、当該断面を移動させるために、対物レンズが横方向に移動されると共にサンプルが当該顕微鏡スキャナの撮像及び取得部に対して垂直方向に移動される。一例においては、投影された画像が当該撮像システムの視野内に留まることを保証するために、対物レンズが横方向に移動されるにつれて検出器も横方向に移動される。一例において、向上された焦点深度の画像を取得する前に、特徴構造又は複数の特徴構造の位置を深度の関数として推定するためにサンプルが該サンプルに跨がる異なる横方向（ｘ，ｙ）位置において撮像される。この場合、当該サンプルが向上された焦点深度の画像を生成するためにスキャンされる際に、対物レンズを異なる横方向位置において垂直に移動させることができ、及び／又は該サンプルを垂直方向に、特徴構造がサンプル内で深さを変化させる際に該特徴構造を追跡して該特徴構造を適切に良好な合焦度合いで取得し、これにより、該特徴構造の深度が当該サンプル内で変化する際に向上された被写界深度の画像の一部を形成するように当該センサの同一の領域を活性化することができるように、移動させることができる。
【００４７】
一例においては、前記斜め断面を提供するために前記検出器が傾斜される。一例において、前記検出器は当該顕微鏡スキャナの光軸に対して傾斜される。言い換えると、通常の“非傾斜”顕微鏡構成において、被写体からの放射は、該放射が当該検出器と検出器面に対して実質的に垂直な方向で作用し合うように該検出器上に結像される。しかしながら、斜め断面を提供するように傾斜された検出器によれば、当該放射は該検出器と検出器面に対して垂直でない方向で作用し合う。
【００４８】
一例において、上記斜め断面は、例えばプリズムの使用により光学的に得られる。
【００４９】
一例において、前記第１画像データ及び第３画像データは当該検出器の異なる部分により取得され、前記第２画像データ及び第４画像データは該検出器の異なる部分により取得される。
【００５０】
一例によれば、検出器４０は少なくとも２つの活性領域を有する２Ｄ検出器である。一例において、上記活性領域の各々は時間遅延積分（ＴＤＩ）センサとして構成される。
【００５１】
一例において、当該検出器は少なくとも４つの活性領域を有する。言い換えると、サンプルにおける該検出器の投影が横方向に移動される際に、該投影は垂直方向にも移動することができ、その場合、２つの活性領域は前記第１、第２、第３及び第４画像データを取得することができる。しかしながら、当該検出器の投影が横方向に移動される際に該投影は同じ垂直位置に留まることもでき、その場合、４つの活性領域は第１、第２、第３及び第４画像データを取得することができる。
【００５２】
一例において、当該検出器は少なくとも２つのライン画像を提供するように構成され、その場合、前記第１画像データは斯かるライン画像のうちの第１のものの部分組から形成され、第２画像データは斯かるライン画像のうちの第２のものの部分組から形成される。
【００５３】
一例において、活性領域は当該サンプル内の実質的に同一の深度における一列の画像データを取得するように構成される。
【００５４】
言い換えると、２Ｄ検出器は当該生物試料の断面を取得するもので、或る範囲のｘ、ｙ座標にわたり画像を取得する。複数のｘ座標において、該検出器はｙ方向に延びる複数のラインセンサを有する。該検出器が斜め断面を取得している場合、これらラインセンサの各々は異なるｚ座標（深度）においてデータを取得し、当該断面が１つの軸の周りでのみ傾斜されている場合、各ライン画像は同一の深度において画像データを取得することができる。ラインセンサの長さに沿う画像が利用された場合、結果として滲んだ画像となり、従ってライン画像の或る区間が利用される。しかしながら、一例において、ラインセンサに沿う画像データは合計され、次いで帯域フィルタによりフィルタ処理される（詳細については、米国特許第4141032号を参照されたい）。
【００５５】
一例においては、ライン区間に沿う全ての区間が利用される。このようにして、各ｘ，ｙ位置において、特定のｚ位置（深度）において最良にピントの合った画像データを、ストリーム化される２Ｄ増強画像に、生成されている向上された焦点深度を移植するために選択することができる。
【００５６】
一例において、当該検出器は、各々が当該被写体内の異なる深度における画像データを取得するように構成された３以上の活性領域を有し、その場合において、或る活性領域が当該サンプルの一部を撮像する深度は隣接する活性領域が該サンプルの一部を撮像する深度とは相違し、この深度の差は少なくとも当該顕微鏡の焦点深度に等しい。言い換えると、当該検出器が横方向にスキャンされる際に、斯かる活性領域の各々は、特徴構造に焦点が合うであろう“層”を掃引する。というのは、この層は当該顕微鏡の焦点深度に等しい深さを有し、当該活性領域は該層のデータを取得するからである。例えば、当該サンプルにわたって８枚の層を掃引することができ、この場合、該８枚の層は深さにおいて少なくとも当該検出器の焦点深度の８倍に等しい距離だけ延在する。言い換えると、当該検出器が垂直にはスキャンしない（即ち、当該レンズ又はサンプルが深さ方向には移動しない）簡単なケースに関して該検出器が横方向にスキャンを開始する際、特定のｘ位置において最初に、異なるが隣接する深度において活性領域１及び２により取得された２つの画像（該検出器の断面は画像取得の間に横方向に移動されている）は、作業画像を形成する１又は２からの最良の画像と比較される。当該検出器の断面は横方向に移動し、ここで、活性領域３により位置ｘにおいて且つ画像２に関するものとは隣接するが異なる深度において取得された画像は前記作業画像と比較され、該作業画像は、そのままに留まるか又は画像３が該作業画像より良好に焦点が合っている場合は画像３となる（このように、作業画像は今や画像１、２及び３の何れかとなり得る）。当該検出器の断面は再び横方向に移動し、活性領域４により、位置ｘにおいてであるが、ここでも、異なる隣接した深度において取得された画像が、当該作業画像と比較される。このように、８番目の活性領域により取得された画像が当該作業画像と比較され、該作業画像が該８番目の画像になるか又は該作業画像のままとなった後、位置ｘにおいては、画像１〜８のうちの最良に焦点が合ったものが、今や焦点の合った作業画像を形成する。上記において、活性領域は当該顕微鏡の焦点深度より大きく隔てられることができ、又は８より多くの活性領域が存在し得る。このようにして、特徴構造を当該検出器の１つのスキャンにおいて撮像することができ、その場合において、当該サンプルにおける該特徴構造の深さは当該サンプルの焦点深度より大きく変化し、向上された被写界深度の２Ｄ画像が、作業画像のみを記憶すると共に該作業画像を目下取得されている画像と比較して、向上された画像がオンザフライで（実行しながら）取得されるようにすることにより、“層”画像の各々を保存することを要せずにもたらされる。一例において、当該システムはオートフォーカスシステムを有し、これによれば、当該断面（サンプルにおける検出器の投影）は垂直に及び水平に移動し、例えば、それ自体がｚ方向に変化するサンプルに追従するようにする（例えば、組織サンプルを湾曲された顕微鏡スライド内に、該スライドの中央部分が該スライドの周辺部と比較して当該検出器に向かって垂直に湾曲されるようにして保持することができる）。
【００５７】
一例において、当該顕微鏡スキャナは、当該断面が横方向に（例えば、スキャン方向に）傾斜されるようにして斜め断面が形成されるように構成される。言い換えると、検出器が１つの断面を形成する場合に該検出器の各ラインセンサは異なるｘ位置及び異なる深度ｚにあるが、ｙ座標の実質的に同一の範囲にわたって延在する。これを別の言い方にすると、各ラインセンサは当該スキャンの横方向に対して実質的に垂直であり、このようにして、当該サンプルに対する該検出器の各スキャンにおいて最大のボリュームを掃引することができる。
【００５８】
一例によれば、当該顕微鏡スキャナは、当該生物試料の第１横方向位置において且つ第１深度において第１画像データを取得すると同時に、該生物試料の第２横方向位置において且つ第２深度において第２画像データを取得するように構成され、ここで、第１深度は第２深度とは相違する。また、該顕微鏡スキャナは、第１横方向位置において且つ第３深度において第３画像データを取得すると同時に、第２横方向位置において且つ第４深度において第４画像データを取得するようにも構成され、ここで、第３深度は第４深度とは相違する。
【００５９】
一例によれば、当該顕微鏡スキャナは、第１横方向位置及び第２横方向位置において、第１画像データが取得される深度と第２画像データが取得される深度との間の深さ距離よりも何れも大きくはない焦点深度を有する。
【００６０】
一例によれば、当該サンプルは前記第１画像データ及び第２画像データを取得するために当該顕微鏡の光軸に対して第１位置にある一方、該サンプルは第３画像データ及び第４画像データの取得のために該光軸に対して第２位置にある。
【００６１】
一例において、当該サンプルは上記光軸に対して横方向に移動されるように構成され、その場合において、該サンプルは第１及び第２画像データの取得のために第１位置にある一方、該サンプルは第３及び第４画像データの取得のために第２位置にある。
【００６２】
一例によれば、当該画像データは複数のカラーを有し、前記処理ユニットは前記焦点合成アルゴリズムにより該複数のカラーのうちの１以上を有する画像データに基づいて画像データを処理するように構成される。
【００６３】
一例において、上記複数のカラーは赤、緑及び青であり得る。一例において、前記処理ユニットは特定のカラー（例えば、当該サンプルにおける特徴構造又は複数の特徴構造を着色するために使用される染料に関連するカラー）に対応する画像データを処理するように構成される。このようにして、固有の特徴構造を向上された被写界深度で取得することができる。他の例において、例えばRGB2Y処理を用いて異なるカラーチャンネルを結合することができる。このようにして、信号対雑音比を向上させることができる。また、カラー分離ステップを適用することにより、異なる最大に最適化された２Ｄ平滑化カーネルを利用することができる。
【００６４】
一例において、前記第１作業画像データは第１画像データ又は第３画像データの何れかであり、前記第２作業画像データは第２画像データ又は第４画像データの何れかである。
【００６５】
言い換えると、特定の特徴構造の最良合焦位置が取得され、これが、生成されているストリーム化された向上された画像に移植するために用いられる。
【００６６】
一例において、前記処理ユニットは第１画像データに関する第１エネルギデータを計算すると共に第３画像データに関する第３エネルギデータを計算するよう構成され、前記第１作業画像を生成するステップは第１画像データ又は第３画像データの何れかを上記第１エネルギデータ及び第３エネルギデータの関数として選択するステップを有し、前記処理ユニットは第２画像データに関する第２エネルギデータを計算すると共に第４画像データに関する第４エネルギデータを計算するよう構成され、前記第２作業画像を生成するステップは第２画像データ又は第４画像データの何れかを上記第２エネルギデータ及び第４エネルギデータの関数として選択するステップを有する。ここでも、“画像データ”は例えばライン画像に沿って当該検出器により取得される全ての画像データを必ずしも意味するものではないことに注意すべきである。むしろ、上記選択はピクセルに基づくものであり、例えば１つのラインスキャンの一部が第１画像データを形成することができる。その理由はラインスキャンの複数の部分がピントの合ったものであり得、これらが作業画像におけるピントの合った異なる関連部分と結合されるべきであるからである。
【００６７】
一例においては、上記エネルギデータを計算するためにハイパスフィルタが使用される。一例において、該ハイパスフィルタはラプラシアンフィルタである。このようにして、各横方向位置において、特定の深度において最良にピントの合った特徴構造を選択し、向上された被写界深度の２Ｄ画像に用いることができる。
【００６８】
一例においては、フィルタ処理の後に、平滑化処理が適用される。このようにして、ノイズを低減することができる。
【００６９】
一例においては、ラプラシアンフィルタを適用するというより、取得されたデータはウェーブレットドメインに変換され、該ドメインにおいて高周波サブバンドをエネルギの表現として使用することができる。これは、iSyntax圧縮（例えば、米国特許第6711297号又は米国特許第6553141号参照）と組み合わせることができる。
【００７０】
一例においては、第１画像データ又は第３画像データを選択するというより、第１画像データ及び第３画像データは、該第１画像データ及び第３画像データのエネルギの分布に基づく特定の加重を用いて合成される。
【００７１】
一例において、前記処理ユニットは、第１画像データが第１作業画像として選択される場合に第１作業エネルギデータを第１エネルギデータとして生成するか、又は第３画像データが第１作業画像として選択される場合に第１作業エネルギデータを第３エネルギデータとして生成するよう構成される一方、該処理ユニットは、第２画像データが第２作業画像として選択される場合に第２作業エネルギデータを第２エネルギデータとして生成するか、又は第４画像データが第２作業画像として選択される場合に第２作業エネルギデータを第４エネルギデータとして生成するよう構成される。
【００７２】
一例において、前記顕微鏡スキャナは第１横方向における第５画像データ及び第２横方向位置における第６画像データを取得するように構成され、その場合において、第５画像データは第１及び第３画像データに対するものとは異なる深度において取得される一方、第６画像データは第２及び第４画像データに対するものとは異なる深度において取得され、前記処理ユニットは第１横方向位置に関する新たな第１作業画像データを生成するように構成され、該生成は第５画像データ及び第１作業画像データを前記焦点合成アルゴリズムにより処理することを含み、その場合において上記新たな第１作業画像データが第１作業画像データとなり、当該処理ユニットは第２横方向位置に関する新たな第２作業画像データを生成するように構成され、該生成は第６画像データ及び第２作業画像データを前記焦点合成アルゴリズムにより処理することを含み、その場合において上記新たな第２作業画像データが第２作業画像データとなる。
【００７３】
一例において、前記処理ユニットは第５画像データに関する第５エネルギデータを計算すると共に第６画像データに関する第６エネルギデータを計算するように構成され、その場合において、該処理ユニットは第１作業画像が第５作業画像として選択される場合に新たな第１作業エネルギデータを第５エネルギデータとして生成するか、又は第１作業画像が既存の第１作業画像として選択される場合に新たな第１作業エネルギデータを既存の第１作業エネルギデータとして生成するよう構成され、該処理ユニットは第２作業画像が第６作業画像として選択される場合に新たな第２作業エネルギデータを第６エネルギデータとして生成するか、又は第２作業画像が既存の第２作業画像として選択される場合に新たな第２作業エネルギデータを既存の第２作業エネルギデータとして生成するよう構成される。
【００７４】
一例において、特定の横方向位置における（即ち、ｘ座標における）エネルギの合計の量が決定される。このようにして、当該組織の厚さを決定することができる。何故なら、これは各画像におけるエネルギに関係する（例えば、各層におけるエネルギに関係する）ものであるからである。
【００７５】
図２は、生物試料の向上された被写界深度の合成２Ｄ画像を生成する方法１００を基本的ステップで示す。該方法は、以下のものを有する。
【００７６】
取得ステップ１１０（ステップａ）とも称する）において、顕微鏡スキャナ２０が使用されて、当該生物試料の第１横方向位置における第１画像データを取得すると共に該生物試料の第２横方向位置における第２画像データを取得する。
【００７７】
取得ステップ１２０（ステップｂ）とも称される）において、前記顕微鏡スキャナが使用されて、第１横方向位置における第３画像データを取得すると共に第２横方向位置における第４画像データを取得し、その場合において、第３画像データは第１画像データに対するものとは異なる深度において取得され、第４画像データは第２画像データに対するものとは異なる深度において取得される。
【００７８】
生成ステップ１３０（ステップｅ）とも称する）において、第１横方向位置に関して第１作業画像データが生成され、該生成ステップは第１画像データ及び第３画像データを焦点合成アルゴリズムにより処理するステップを有する。
【００７９】
生成ステップ１４０（ステップｆ）とも称する）において、第２横方向位置に関して第２作業画像データが生成され、該生成ステップは第２画像データ及び第４画像データを上記焦点合成アルゴリズムにより処理するステップを有する。
【００８０】
組み合わせステップ１５０（ステップｌ）とも称する）において、画像データの取得の間に第１作業画像データ及び第２作業画像データが組み合わされて、当該生物試料の向上された被写界深度の合成２Ｄ画像を生成する。
【００８１】
一例において、前記顕微鏡スキャナは前記第１画像データ及び第２画像データを取得するために当該生物試料の第１断面の画像データを取得するよう構成され、該顕微鏡スキャナは前記第３画像データ及び第４画像データを取得するために該生物試料の第２断面の画像データを取得するように構成される。
【００８２】
一例において、当該顕微鏡スキャナは生物試料の斜め断面の画像データを取得するように構成された検出器を有する。
【００８３】
一例において、該検出器は少なくとも２つの活性領域を有する２Ｄ検出器である。一例において、各活性領域は時間遅延積分（ＴＤＩ）センサとして構成される。
【００８４】
一例によれば、ステップａ）は、当該生物試料の第１横方向位置において且つ第１深度において第１画像データを取得すると同時に、該生物試料の第２横方向位置において且つ第２深度において第２画像データを取得するステップを有し、第１深度は第２深度とは相違する一方、ステップｂ）は、第１横方向位置において且つ第３深度において第３画像データを取得すると同時に、第２横方向位置において且つ第４深度において第４画像データを取得するステップを有し、第３深度は第４深度とは相違する。
【００８５】
一例において、当該サンプルは前記第１画像データ及び第２画像データを取得するために当該顕微鏡の光軸に対して第１位置にある一方、該サンプルは第３画像データ及び第４画像データの取得のために該光軸に対して第２位置にある。
【００８６】
一例において、当該サンプルは上記光軸に対して横方向に移動されるように構成され、その場合において、該サンプルは第１及び第２画像データの取得のために第１位置にある一方、該サンプルは第３及び第４画像データの取得のために第２位置にある。
【００８７】
一例において、当該画像データは複数のカラーを有し、前記処理ユニットは前記焦点合成アルゴリズムにより該複数のカラーのうちの１以上を有する画像データに基づいて画像データを処理するように構成される。
【００８８】
一例において、前記第１作業画像データは第１画像データ又は第３画像データの何れかであり、前記第２作業画像データは第２画像データ又は第４画像データの何れかである。
【００８９】
一例によれば、当該方法は以下のステップを有する。
【００９０】
計算ステップ１６０（ステップｃ）とも称する）において、前記第１画像データに関する第１エネルギデータが計算されると共に前記第３画像データに関する第３エネルギデータが計算される。
【００９１】
計算ステップ１７０（ステップｄ）とも称する）において、前記第２画像データに関して第２エネルギデータが計算されると共に前記第４画像データに関して第４エネルギデータが計算され、その場合において、
前記ステップｅ）は第１画像データ又は第３画像データの何れかを第１作業画像として選択するステップを有し、該選択するステップは上記第１エネルギデータ及び第３エネルギデータの関数を有し、前記ステップｆ）は第２画像データ又は第４画像データの何れかを第２作業画像として選択するステップを有し、該選択するステップは上記第２エネルギデータ及び第４エネルギデータの関数を有する。思い返すと、この選択はピクセルの完全なラインに対するというより局部的（ピクセル又は数ピクセルの）レベルにおける（言い換えると、ピクセルのラインの部分に関するレベルにおける）ものであり得る。
【００９２】
一例によれば、当該方法は以下のステップを有する。
【００９３】
生成ステップ（ステップｇ）とも称する）において、第１画像データが第１作業画像として選択される場合は第１作業エネルギデータが第１エネルギデータとして生成され（１８０）、又は第３画像データが第１作業画像として選択される場合は第１作業エネルギデータが第３エネルギデータとして生成される（１９０）。
【００９４】
生成ステップ（ステップｈ）とも称する）において、第２画像データが第２作業画像として選択される場合は第２作業エネルギデータが第２エネルギデータとして生成され（２００）、又は第４画像データが第２作業画像として選択される場合は第２作業エネルギデータが第４エネルギデータとして生成される（２１０）。
【００９５】
思い返すと、当該検出器は第１画像が当該ライン画像データの部分組である等のようにしてライン画像データを取得することができ、選択は、これら画像を組み合わせて入力画像の各々から到来するピントの合った新たな作業画像を生成することができるように局部的（ピクセル）レベルで進行することができる。
【００９６】
一例によれば、当該方法は以下のステップを更に有する。
【００９７】
取得ステップ（ステップｉ）とも称する）において、第５画像データが第１横方向位置において取得される（２２０）と共に、第６画像データが第２横方向位置において取得され（２３０）、その場合において、第５画像データは第１及び第３画像データに対するものとは異なる深度において取得され、第６画像データは第２及び第４画像データに対するものとは異なる深度において取得される。
【００９８】
生成ステップ２４０（ステップｊ）とも称する）において、第１横方向位置に関して新たな第１作業画像データが生成され、該生成するステップは第５画像データ及び第１作業画像データを前記焦点合成アルゴリズムにより処理するステップを有し、ここで、前記新たな第１作業画像データが該第１作業画像データとなる。
【００９９】
生成ステップ２５０（ステップｋ）とも称する）において、第２横方向位置に関して新たな第２作業画像データが生成され、該生成するステップは第６画像データ及び第２作業画像データを前記焦点合成アルゴリズムにより処理するステップを有し、該新たな第２作業画像データが前記第２作業画像データとなる。
【０１００】
生物試料（サンプル）の向上された被写界深度の合成２Ｄ画像を生成するシステム及び方法を、図３〜図１８を参照して更に詳細に説明する。
【０１０１】
図３及び図４は、生物試料の向上された被写界深度の合成２Ｄ画像を生成する当該システム及び方法により対処される問題を示す助けとなるものである。病理学においては、組織サンプル又は塗抹標本の画像が顕微鏡を用いて分析される。組織病理学及び／又は細胞病理学において、病理学者は診断に到るために組織を調べる。組織サンプルは、２枚のガラススライドの間に設けられた組織の薄いスライスである。この組織は完全に平面ではなく、典型的に、当該撮像システムの焦点面と完全に整列されることはない。それに加えて、組織の細胞は当該組織層において異なる高さに位置される。従って、２Ｄ組織画像における細胞の相当の部分は焦点が外れることになるであろう。これが図３及び図４に示されており、これら図は２０倍の倍率で観察された組織サンプルにおける焦点変化を示している。これら図の両方における左側の図において、実線は適切にピントの合った幾つかの細胞核を示している。これら図の両方における右側の図においては、左側の図のズームイン（拡大）区域がピントの合った細胞核及びピントの外れた細胞核を示している。この画像を取得するために使用される顕微鏡は、焦点の合った細胞核が位置する深度に合焦されている。該顕微鏡は焦点深度を有し、かくして、該焦点深度内の特徴構造（フィーチャ）は多かれ少なかれ焦点が合う。しかしながら、右側の拡大された画像の上部における細胞核は、この焦点深度の外側にある深度に位置し、結果としてピントが外れている。
【０１０２】
実際において、病理学者はｚ方向の正しい面にナビゲートするために顕微鏡の微調整フォーカスノブを使用する。現在、病理学者は、益々、デジタル的ワークフローに移行している。この場合、画像データはデジタルスキャナにより取得されてサーバに記憶され、病理学者は斯かる画像をスクリーン上で分析する。デジタルスキャナの光学系も限られた被写界深度しか有さないので、組織サンプルの３Ｄスキャンが必要とされる。しかしながら、このことは大量のデータが記憶されることにつながる。
【０１０３】
図５は焦点合成技術の一例を概略的に示す。蠅の画像を取得するために顕微鏡が使用されており、該蠅は該顕微鏡の焦点深度より大きな深さ（奥行き）を有している。該蠅の異なる部分が別々の画像において焦点が合うようにして、複数のデジタル画像が異なる焦点位置で取得される。１つの画像においては該蠅の前部に焦点合う一方、該蠅の後部は焦点が外れる。他の画像においては、該蠅の前のピントが外れる一方、該蠅の後部はピントが合う。言い換えると、画像の３Ｄの積み重ねが、各画像が特定の焦点深度における２Ｄ画像であるようにして取得される。これら画像が取得された後、これら画像は、当該蠅の何の部分が何の画像でピントが合っているかを決定するために比較することができる。次いで、異なる画像からの該蠅のピントの合った部分から複合画像が生成される。しかしながら、異なる焦点深度の全ての画像は記憶されねばならず、このことは非常に大きな画像バッファを必要とする一方、向上された画像は全ての画像が取得された後でしか決定されず、各画像は１つの奥行きに関するものでしかない。
【０１０４】
生物試料の向上された被写界深度を持つ合成２Ｄ画像を生成するための当該システム及び方法は、画像データが取得されている際に該画像データを向上された被写界深度の人工（合成）２Ｄ画像に変換するために適用することができるストリーミング焦点合成技術を備えることにより、上記問題に対処する。このことは、中間画像ファイルが記憶されることを要さずに“その場で（オンザフライで）”実行され、非常に大きな画像バッファの必要性をなくす。一例において、画像データは複数のｚ位置（深度）から同時に取得される。生物試料の向上された被写界深度を持つ合成２Ｄ画像を生成する当該システム及び方法を、図６〜図１８を参照して詳細に説明する。
【０１０５】
図６は、組織スライドアセンブリの断面の２つの図を概略的に示す。当該組織スライドアセンブリは、１ｍｍなる典型的な厚さを有する顕微鏡スライド１、０.１７ｍｍなる典型的厚さのカバーガラス（coverslip）２、並びに組織層４を固定及び密閉するための封入剤（mounting medium）３を有する。組織層４は１０〜２０μｍ厚程度とすることができ、封入剤３は１５〜３０μｍ厚とすることができる層を形成する。当該封入剤は、スライドにカバーガラスが取り付けられる前に、当該組織層と共に該スライドに液体状態で塗布することができ、次いで、該封入液（封入剤）は固まり、かくして、上記組織層を機械的に固定すると共に外部環境から密閉し、汚染に対する安定性を提供する。当該組織層の深さ位置は上記封入剤内で変化し得ると共に、該組織スライドアセンブリ自体も完全に平らではないこともあるか、又は例えば傾斜されることにより誤整列され得る（例えば、図６の下側の図に示されるように）。更に、撮像されるべき病理学的特徴構造（例えば、組織病理学的な及び／又は細胞病理学的な）それ自体が、１０〜２０μｍ厚の組織層内で異なる深度にあり得る。
【０１０６】
図７は、図６に示されたような生物試料等の向上された被写界深度の合成２Ｄ画像を生成するために使用される顕微鏡スキャナの一例を概略的に示す。この顕微鏡スキャナは図６に示された様な組織層（例えば、生物試料）を撮像するように配置される。組織スライドアセンブリは、図には示されていないサンプルホルダの保持面に配置される。撮像経路Ｐに沿い且つ当該組織スライドアセンブリから開始して、当該顕微鏡スキャナは、顕微鏡対物レンズ２２（典型的には、複数のレンズ２２ａ，ｂ，ｃから形成される）、及び放射を阻止するための開口（絞り）２１を有する。該顕微鏡スキャナは、チューブレンズ２３及び２Ｄ検出器アレイ４０の形態のセンサも有している。上記検出器は上記顕微鏡対物レンズの光軸Ｏに対して傾斜され、これが、当該被写体（サンプル）内に該検出器の斜め投影（断面）を形成する。このような斜め断面は、例えば検出器を光軸に対して傾斜させる代わりにプリズムを使用することにより、光学的に形成することもできる。他の例において、当該検出器が生物試料の斜め断面の画像データを取得するように構成されることは、顕微鏡対物レンズの光軸が検出器表面の法線に対して平行な場合に達成される。むしろ、サンプルステージ自体が上記光軸Ｏに対して傾斜され、該サンプルは該サンプルの傾斜角に平行にスキャンされる。当該顕微鏡スキャナは、制御モジュール２５を有し、該制御モジュールは、プロセッサ３０の一部とすることができ、当該スキャナの動作過程及び当該サンプルを撮像するためのスキャン過程を制御する。スライド１、カバーガラス２、封入剤３及び組織層４を通過した光は、対物レンズ２２により捕捉され、チューブレンズ２３により２Ｄ検出器アレイ４０上に結像される。前記光軸に対して“傾斜される”とは、サンプルからの検出器に当たる放射が垂直には当たらない（前述したように、このことはセンサ自体を傾斜させることにより又は非傾斜センサの場合に光学的に達成することができる）ことを意味することに注意すべきである。
【０１０７】
図８は、生物試料の向上された被写界深度の合成画像を生成する当該システム及び方法の一例を説明する助けとなるものである。図８は、組織スライドアセンブリに跨がって横方向に延びる組織層４の一部等の特徴構造を概略的に示している。該組織層は、当該組織スライドアセンブリに跨がって、該被写体（サンプル）における当該検出器の投影（断面５；異なる時点で取得される２つの断面５ａ及び５ｂとして示されている）を横切る位置において当該顕微鏡スキャナの焦点深度より大きな距離にわたり深度が変化する。横方向位置ｘ１において、組織層４は撮像されるべき特徴構造Ａ（緑色光を透過することにより特徴付けられるような染料により着色された組織の特定部分等）を有している。横方向位置ｘ２において、組織層４は撮像されるべき特徴構造Ｂ（緑色光を透過することにより特徴付けられるような染料により着色された組織の特定部分等）を有している。言い換えると、特徴構造Ａ及びＢは同じタイプの材料であり得る。しかしながら、特徴構造Ｂは位置ｘ１におけるものとは異なるタイプの材料とすることもでき、その場合、位置ｘ２には位置ｘ２におけるものと同一の材料は存在せず、むしろ、特徴構造Ｂは、例えば、赤色光を透過することにより特徴付けられるような染料により着色されている。しかしながら、全体の組織サンプルを見る場合、病理学者は当該組織スライドアセンブリにわたって特徴構造Ａ及び特徴構造Ｂの両方を同時に見ることができることを欲するものである。本システム及び方法の一例を、以下の様に説明することができる。当該顕微鏡スキャナは、画像データが当該サンプルの断面５ａについて取得されるように構成される。言い換えると、当該顕微鏡スキャナの検出器の投影は、図８に示される位置（ａ）に位置される。該顕微鏡スキャナは、断面５ａの両側の短い距離内の特徴構造にピントが合うような焦点深度を有する。従って、断面５ａに関して取得された第１画像において、組織層４は位置ｘ１ではピントが外れ、該ピンぼけ特徴構造はＡ’と称する。しかしながら、断面５ａに関して取得された第１画像において、組織層４は位置ｘ２では焦点が合い、該ピントの合った特徴構造はＢと称される。取得された該画像は作業画像となる。次いで顕微鏡対物レンズは移動され、かくして、データが必要とされる断面５は当該サンプルにおける新たな位置５ｂへと垂直に移動される。対物レンズを移動させる代わりに、サンプル自体を下方に移動させることもできる（図７に示される光軸Ｏに対して平行に）。この第２画像において、位置ｘ１においては、今度は、特徴構造Ａにピントが合い、特徴構造Ｂはピントが外れる（Ｂ’）。この場合、処理ユニット（図示略）は前記作業画像を、位置ｘ１における画像データが第１画像において取得されたものから第２画像において取得されたものに変更される（Ａ’がＡになる）一方、位置ｘ２における画像データは変更されないように、更新する。この処理は、当該検出器に沿う複数の位置において、且つ、当該サンプルを経る複数の垂直位置において実行することができる。この場合、当該作業画像は全ての横方向位置（ｘ）において、当該横方向位置における最もピントの合った特徴構造により、その場で、連続的に更新される。作業画像のみが、記憶されねばならないと共に、たった今取得された画像と比較されねばならないだけで、全ての以前に取得された画像を記憶する必要はない。このようにして、当該作業画像は、焦点が合っているのみならず、当該顕微鏡の焦点深度より大きな深度における特徴構造を含む。当該サンプルを介して垂直方向に進行したら、全体のサンプル自体を横方向に平行移動させることができ、当該処理が当該サンプルの未だ撮像されていない部分に関して繰り返される。従って、当該サンプルがスキャンされる間に、向上された焦点深度を持つその場での画像が生成され、このことは大量のデータを節約することを可能にする。図８に示された例において、当該サンプルにおける検出器の投影（断面５）は光軸Ｏに対して垂直に示されているが、向上された被写界深度の画像を生成するための、ここに記載されるストリーミング技術は、サンプルにおける検出器の投影が、断面５が斜めとなる（即ち、光軸Ｏに対して垂直でない）ものである場合にも機能することができることは明らかである。
【０１０８】
図９は、生物試料の向上された被写界深度の合成画像を生成する当該システム及び方法の他の一例を説明する助けとなるものである。図９は、図８に示された様な組織層４の一部等の特徴構造を概略的に示している。この場合も、該組織層は、当該組織スライドアセンブリに跨がって、該被写体（サンプル）における当該検出器の投影（断面５；異なる時点で取得される２つの断面５ａ及び５ｂとして示されている）を横切る位置において当該顕微鏡スキャナの焦点深度より大きな距離にわたり深度が変化する。横方向位置ｘ１において、組織層４は撮像されるべき特徴構造Ａ（緑色光を透過することを特徴とする染料により着色された組織の特定部分等）を有している。ここで、当該顕微鏡スキャナは当該生物試料の斜め断面５ａ，５ｂの画像データを取得するように構成された検出器を有している。前述したように、このことは該検出器の傾斜を介して又は光学的に達成することができる。断面５ａに関して取得された第１画像（ａ）において、当該組織層４は位置ｘ１においてはピントが合い、これを特徴構造Ａと称する。しかしながら、断面５ａの第１画像において、組織層４は位置ｘ２では焦点が外れ、これを特徴構造Ｂ’と称する。図８に関して説明した例と同様に、取得された画像は作業画像となる。この場合、当該顕微鏡スキャナは、検出器の断面（断面５）を斜め断面５ａが横方向に移動して斜め断面５ｂとして示されるように移動させるよう構成される。斜め断面の画像データが当該サンプル内の異なる横方向位置で取得されるようにするためにサンプルステージが横方向に移動する。しかしながら、当業者により理解されるように、当該レンズ及び／又は検出器の移動も、この斜め断面の移動に影響を与え得る。（ｂ）と称される新たな位置において、当該検出器は位置ｘ１及び位置ｘ２におけるデータを再び取得する一方、該検出器の別の部分は該データを該斜め断面が横方向にのみ移動した状況に関して取得している。該第２画像において、位置ｘ１においては、今度は、組織層４はピントが外れ、取得された画像はＡ’と称される一方、位置ｘ２における組織層４はピントが合い、これは特徴構造Ｂと称される。この場合、処理ユニット（図示略）は前記作業画像を、位置ｘ１における画像データはそのままに留まる一方、位置ｘ２における画像データが第２画像において取得されたものに変更される（Ｂ’がＢになる）ように、更新する。この処理は、各々が当該サンプルを介しての異なる垂直位置と等しい当該検出器に沿う複数の位置において実行することができる。斜め断面５が当該サンプルを介して横方向にスキャンされるにつれて、当該作業画像は全ての横方向位置（ｘ）において、当該横方向位置における最もピントの合った特徴構造により、その場で、連続的に更新される。作業画像のみが、記憶されねばならないと共に、たった今取得された画像と比較されねばならないだけであり、全ての以前に取得された画像を記憶する必要はない。このようにして、当該作業画像は、焦点が合っているのみならず、当該顕微鏡の焦点深度より大きな深度における特徴構造も含む。当該サンプルを介して横方向に進行したら、全体の被写体自体を横方向に、前のスキャン方向に対して垂直に平行移動させることができ、当該処理は当該サンプルの未だ撮像されていない部分に関して繰り返される。言い換えると、当該サンプルがスキャンされる間に、向上された焦点深度を持つその場での画像が生成され、このことは大量のデータを節約することを可能にする。図９において、斜め断面５はｘ方向に横方向にのみ移動するように示されているが、同様に、サンプルステージを該斜め断面が横方向に移動するように移動させることも、顕微鏡対物レンズを該斜め断面が横方向及び垂直方向の両方に移動するように当該光軸の方向に垂直に移動させることもできる。このようにして、当該顕微鏡スキャナは層４の垂直位置の大きな偏差に追従することができる。
【０１０９】
図１０は、組織スライドアセンブリ及び２Ｄ検出器アレイの投影を概略的に示すもので、向上された被写界深度の合成２Ｄ画像の生成のための当該システム及び方法の一例を更に説明する助けとなるものである。図１０は、ここでも、ガラススライド１，カバーガラス２、封入剤３及び組織層４を備えた組織スライドアセンブリを図示している。当該検出器の２Ｄアレイの投影は断面５として示されており、該断面は当該センサが実際に像を検出することができる当該組織スライドアセンブリ（及びサンプル）の領域に対応する。デカルト座標系Ｘ’，Ｙ，Ｚが示されており、当該検出器はＸ’軸に対して３０°なる角度β’だけ傾斜されている。一例において、Ｘ’及びＹは水平面内に位置する一方、Ｚは垂直方向に延びている。言い換えると、当該検出器は上記水平面から傾斜されたＸ−Ｙ面内に位置する。これらの軸は、当該検出器が光軸に沿って一直線上にある図７に示されたような概略システムに関して説明されるものであるが、当業者であれば理解するように、当該検出器が図７に示されるような垂直の向きから傾斜されることがないようにミラー又は複数のミラーを使用することもできると理解されるべきである。軸Ｘ’は横方向であり、該方向はスキャン方向であると共に、この例では、光軸Ｏに対して垂直である。当該サンプルが屈折率を有する故に、断面５は該サンプルにおいて当該検出器の傾斜角β’とは異なる角度βを形成し得る（水に半分入り半分出ている棒が空気と水との境界で曲がって見えるのと同様の態様で）。当該斜め断面５は図１０に示される交差部Ｉにおいて組織層４と交差し、この場合、交差部Ｉにはピントが合う。図１２を参照して更に詳細に説明するように、当該検出器はラインスキャンモードで動作される。言い換えると、一行のピクセル又は複数の隣接する行のピクセルを活性化することができ、その場合において、各行は横方向位置ｘ’にあり、Ｙ軸に沿って図１０の頁内へと延びる。組織層４がＹ方向に傾斜されなかった場合、交差部ＩはＹに沿って同一の深度Ｚにあり、該交差部Ｉは１以上の活性化された行によりピントが合って撮像される。しかしながら、交差部Ｉは自身の長さに沿ってＸ’及びＹ座標が変化し得るのみならず、撮像されるべき異なる特徴構造が当該サンプルのＹ軸方向に存在し得る。従って、図８及び図９並びに作業画像が如何にして連続的に生成されるかを振り返ると、これらの図は図１０に示される組織スライドアセンブリを介しての１つのＹ座標におけるスライスを表すと見なすことができる。この場合、図８及び図９を参照して説明された処理が、異なるＹ座標における全てのスライスに対して実行される。言い換えると、異なる斜め断面５関して取得される、異なるＺ座標によるものであるが各Ｘ’，Ｙ位置における画像データは、該Ｘ’，Ｙ座標において最良にピントの合った特徴構造を有するように連続的に更新され、該更新は、新たな画像データが一層良いピントを有する場合は作業画像内の対応する画像を今取得された画像における画像が置換し、又は作業画像の方が良いピントを有する場合は該作業画像が当該Ｘ’，Ｙ座標における画像に対してそのままに残存することの何れかを意味し得る。
【０１１０】
図１１は、２Ｄ検出器アレイの投影が図示された組織スライドアセンブリの断面を概略的に示すもので、当該システムの構成を説明する助けとなるものである。図１１から分かるように、傾斜された検出器は当該組織スライドアセンブリの斜め断面５の像を形成する。該傾斜は、スキャン方向６（横方向Ｘ’）におけるものである。Ｘ軸に沿って当該検出器はＮｘのピクセルを有し、当該被写体をスキャン（横）方向Ｘ’においてピクセル当たりΔｘ’でサンプリングすると共に光軸Ｏに平行な（垂直）方向７（Ｚ）においてピクセル当たりΔｚでサンプリングする。Ｘ方向において、各ピクセルは長さＬを有する。前述したように、当該検出器は角度β’傾斜されているので、当該被写体における横方向及び軸方向サンプリングは：
【数１】
2019507384.tif 000003
により示され、ここで、Ｍは倍率であり、ｎは当該被写体の屈折率である。
【０１１１】
図１２は、向上された被写界深度の画像を生成するために使用されるデータを取得する例示的な２Ｄ検出器アレイを概略的に示す。白で示されたピクセルは、光に対して感応性であって、活性化された場合に信号取得のために使用することができ、図示されていない他のピクセルは暗電流及び信号オフセットのために使用される。図示されていない複数のピクセルは、ピクセル電子回路を示す。複数の行（又はライン）のピクセルが、個々のライン撮像検出器を形成し、該ライン撮像検出器は、図１０を参照すると、１つのＸ’，Ｚ座標にあり、Ｙ軸に沿って頁内へと延びる。隣接するラインのピクセルからなるピクセルの細条は、時間遅延積分（ＴＤＩ）を用いて単一ラインのピクセル値に合成することができる。異なる例示的検出器においては異なる数のラインを合成することができ、例えば、２，３，４，５，１０又はそれ以上の隣接するラインのピクセルを、ＴＤＩを用いて合成することができる。事実上、ピクセルの各細条は個々のＴＤＩセンサとして作用することができ、これにより、信号対雑音比を改善する。このような検出器の場合、各ライン撮像検出器は、Ｙ方向に延びる数千ものピクセルの長さを有し、これは、例えば、図１０に図示されたラインＩを示す。例えば、該長さは１０００，２０００，３０００，４０００，５０００又は他の数のピクセルとすることができる。横方向スキャンの間において対物レンズを移動させるためにフォーカスアクチュエータが使用されない場合、各ライン検出器は当該サンプルを一定の深度において約１μｍである当該顕微鏡スキャナの焦点深度にわたって撮像する。前述したように、ピクセルの各細条は、ＴＤＩが起動された場合、単一のＴＤＩブロックの複数の行を表し得る。当該検出器は、読出電子回路により分離された複数の斯かるブロックを含む。例えば、当該検出器は１００，２００又は３００のブロックを含み得る。当該検出器は、他の数のブロックを有することもできる。当該サンプルにおける検出器の投影である断面５に関する場合、各ＴＤＩブロックの間のｚ方向の距離は、前記式を用いて計算することができる。従って、約１μｍの焦点深度によれば、この焦点深度内に分散される複数のＴＤＩブロックが存在し得る。当該検出器は、ブロック間のｚ方向の距離を変化させることができると共に、ブロック間で距離が変化し得るように構成することができる。これらのＴＤＩブロックのうちの１つ、又は、確かなことに、これらブロックのうちの該焦点深度内の複数を、特定の深度における画像データを供給するために個別に又は幾つかを一緒に使用することができる。この場合、Ｘに沿う当該検出器の異なる位置における１以上のＴＤＩブロックを、焦点深度にわたる当該サンプルの異なる深度に関する画像データを取得するために活性化することができる。第２の深度は第１深度から少なくとも前記焦点深度（約１μｍ）だけ隔てられる。特定の深度において焦点深度にわたる各ＴＤＩブロック又は複数のＴＤＩブロックは、事実上、当該サンプル内の画像データの層を掃引し、該層は当該顕微鏡の焦点深度に略等しい厚さを有する（〜１μｍ）。従って、８μｍなる厚さを持つサンプルに関して画像データを取得することは、該サンプルから画像��ータを取得するために、当該検出器に沿う異なる位置におけるものであって、各々は異なる深度及び横方向位置にあるが、自身の長さに沿っては同一の深度にあるような８つの斯様なＴＤＩブロックを使用することができることを意味する。撮像されるべき特徴構造は、この８μｍなる深さ内の何処かに位置し得る。従って、断面５が当該サンプルを介して横方向に掃引される際に、これら８つのＴＤＩブロックの各々が該サンプルの同一のＸ’，Ｙ位置においてではあるが、異なる深度Ｚにおいて画像データを取得する。従って、データを取得するために使用される活性ＴＤＩブロックはデータを取得している他のＴＤＩブロックから、データを取得していない複数のＴＤＩブロックにより離隔され得ることに注意すべきである。これら８つのＴＤＩブロックからの画像データを有する第１画像は、撮像される各Ｘ’，Ｙ位置に関する画像データを有する作業画像を形成するために使用される。断面５が当該サンプル内で横方向に移動される場合、画像データは、既に撮像されたＸ’，Ｙ位置の大部分に関するものであるが、これらＸ’，Ｙ位置に対して異なる深度において取得される。図８及び図９を参照して前述したように、作業画像は当該Ｘ’，Ｙにおいて今まで取得された最良のピントの画像を含むように更新される。このことは、作業画像ファイルが記憶され、たった今取得された画像と比較され、必要な場合に更新されることにより、全ての画像データを記憶することを要せずに、オンザフライで実行することができる。これにより、合成２Ｄ画像が向上された被写界深度で生成され、その場合において、当該サンプルの或る深度における特徴構造にピントが合い得ると共に該サンプルの別の深度における別の特徴構造にもピントが合った状態になり得、これら深度は当該システムの焦点深度より大きく、従って、通常の装置（当該システムの焦点深度にわたって１つの深度においてのみデータを取得する）においては両方にピントを合わせることはできないものである。言い換えると、複数の病理学的特徴構造は、これら特徴構造が当該サンプル内で深度が異なって変化するとしても、焦点が合い得る。当該作業画像ファイルが新たな画像データとなるか又は元の作業画像データを維持するかを選択する代わりに、更新された作業画像を形成するために、該新たな画像データと既存の作業画像データとの加重和を用いることもできる。当該検出器はライン撮像モードで動作しているが、ライン画像に沿う個々の区域は別々に使用されることに注意すべきである。これは、ライン画像に沿う或る点における特定の特徴構造はピントが合い得る一方、該ライン画像に沿う他の点における他の特徴構造は、焦点深度の外側の別の深度にあることにより、焦点が外れ得る故である。従って、もっと局部的（ピクセル）レベルでの選択がなされ、その場合、ピクセルとは、作業画像との比較を行って当該横方向位置における何のデータ（特定のＸ’，Ｙ座標範囲）が最良のピント状態であるかを決定するために十分な数個のピクセルを意味し得る。互いに対して固定されるというより、データを取得するために使用されるＴＤＩブロックは、当該検出器を上下に移動し得ると共に、互いに対しても移動し得る。データを取得するために使用されるＴＤＩブロック間の間隔は斯かるＴＤＩブロックが移動する際に同一に留まることができるか、又はＴＤＩブロックの間の間隔はＴＤＩブロックが移動する際に変化することができ、隣接するＴＤＩブロックの間の間隔は異なるＴＤＩブロックに関して異なって変化する。このことは、サンプルを異なる解像度レベルでスキャンすると共に、該サンプル全体を通して異なる解像度レベルを有するようにする能力を提供する。例えば、サンプルにわたって、撮像されるべき特徴構造は主に当該サンプルの上部及び該サンプルの底部に主にあり得る。この場合、複数のＴＤＩブロックを当該サンプルの上部をスキャンするために配置し、複数を該サンプルの底部をスキャンするために配置し、僅かなＴＤＩブロックが該サンプルの中央部をスキャンするように配置することができる。
【０１１２】
図１３は、オーバーサンプリングの一例を概略的に示すもので、向上された被写界深度の画像が中央の明瞭な領域に関して取得されねばならない場合である。以前の図に関する説明から、当該サンプルの特定の横方向ポイントに関する全ての利用可能な深度における画像データは、該サンプルにおける検出器の投影（即ち、断面５）が該ポイントを通り超えて完全にスキャンされたならば、生成することができることが明らかである。言い換えると、検出器の最初の部分が一方の極限の深度における画像データを取得し、当該サンプルが十分に移動された場合、該検出器の最後の部分が他方の極限の深度におけるデータを取得する。当該検出器の中間の部分は、中間の深度における画像データを取得する。しかしながら、このことは、特定の領域を全ての利用可能な深度にわたりスキャンするために、検出器の投影は、図１３に示されるように、スキャンされるべき領域の一方の側から直ぐに開始し、スキャンされるべき領域の他方の側の直前の所で終了しなければならないことを意味する。言い換えると、スキャンされるべき領域の両端に幾らかの量のオーバーサンプリングが存在する。図１１に関する説明に関する場合、このようなオーバーサンプリングがどの様なものであることを要するかは容易に決定することができる。
【０１１３】
図１４は、複数の撮像された領域又は層を概略的に示している。言い換えると、各層は、各ＴＤＩブロック（又は複数のブロック）が当該顕微鏡の焦点深度にわたり特定の深度において撮像するものに対応する。前述したように、当該組織スライドアセンブリは誤整列されているかも知れず、又は撮像されるべき当該サンプルは深さ方向において大幅に変化し得る。従って、生物試料の向上された被写界深度の合成２Ｄ画像を生成する際に使用されるべき像を取得する前に、該組織スライドアセンブリの相対的に低い解像度の画像が取得される。これは、組織ボリュームのｚ位置（深さ）を推定するために使用される。言い換えると、１以上の位置（Ｘ’，Ｙ）において、最適な焦点（Ｚ）が決定される。次いで、ストリーミングモードにおいて向上された被写界深度の合成２Ｄ画像を生成する像の取得の間に、各位置において当該対物レンズが光軸Ｏに沿って適切に移動される（又はサンプルが光軸に沿って移動される）と共に、上述したデータの取得のために複数のＴＤＩが活性化される。一例においては、対物レンズ又はサンプルステージの移動により断面５の位置を変える代わりに、ＴＤＩの位置が必要に応じて当該検出器の上下に移動される。この場合、断面５は一定の深度でスキャンし得るが、当該検出器の異なる部分がデータを取得することができる。代替例として、先行する低解像度画像を取得する代わりに、例えば国際特許出願公開第WO2011/161594号に記載されているような自己フォーカス（オートフォーカス）センサを使用することができる。このようなオートフォーカス構成において、図１２に示されるような検出器自体をオートフォーカスセンサとして構成することができるか、又は別のオートフォーカスセンサを使用することができる。このことは、向上された焦点深度の画像を生成するために画像データが取得されている位置毎に、当該サンプルの位置を決定し、必要に応じてＴＤＩを活性化することができるということを意味する。その結果が図１４に示され、該図はスキャンの間において別個のＴＤＩにより撮像されるサンプル内の深度を示している。上述したように、各横方向位置において、向上された画像が特定の深度における特徴構造が当該合成向上画像内に存在するようにして生成され、かくして、異なる深度における（従って、異なる層における）特徴構造が結果的向上画像内に存在するようになる。上述したように、当該向上された画像は、別個の画像の全てが記憶されることを要せず、むしろ、作業画像のみが記憶されると共に今し方取得された画像と比較されることにより生成され、これにより、向上された被写界深度を持つ画像が大きな画像バッファを要せずにオンザフライで生成されることを可能にする。
【０１１４】
このようにして、当該システムは、サンプル内の異なる深度にある複数の病理学的特徴構造であって、焦点の合った複数の病理学的特徴構造を有し得るような画像をオンザフライで生成することができる。
【０１１５】
図１５は、生物試料の向上された被写界深度の合成２Ｄ画像を生成するシステムの一例を概略的に示す。概要として、当該ステージはサンプルを水平及び垂直に移動させることができる。低解像度カメラLRCAMは事前スキャンを取得して、当該組織スライドアセンブリにわたって撮像されるべきサンプルの概略位置を決定する。向上された被写界深度の画像を生成するための画像取得の間において、対物レンズHROBJ及びチューブレンズHRTUBが前述したように使用される。HRCAMは、前述したような傾斜センサを有するカメラである。対物レンズHROBJは、フォーカスアクチュエータHRFOCACTにより深さ方向に移動させることができる。当該顕微鏡スキャナの全体的機能は以下の通りである。スライドが当該スキャナのステージSTAGE上に配置され、次いで、該スライド上の組織を高解像度でスキャンする前に、低解像度カメラLRCAMが該スライドの画像を形成する。このＬＲ画像は、とりわけ、関心領域（又は複数の関心領域）を導出するために、即ち、当該スライド上のスキャンされることを要する領域（又は複数の領域）を見付けるために使用される。各関心領域は、高解像度カメラHRCAMによる１以上のスキャン工程を実行することによりスキャンされる。焦点距離は、HRCAMを介して測定されると共に、フォーカスアクチュエータHRFOCACTを介して自動的に制御される。当該スキャニング手順の間において、ＨＲ画像は当該スキャナからイーサネット（登録商標）インターフェースＧｂＥを介して宛先（例えば、ＩＭＳ）に伝送される。
【０１１６】
焦点合成は図５を参照して簡単に説明された。図１６には、向上された被写界深度の合成画像を生成する際に使用される焦点合成のための例示的ワークフローが示されている。説明の容易化のために、焦点合成は図８に示されたようなデータを取得するシステムに関して説明されるが、該焦点合成は斜め断面を提供する傾斜検出器に対しても適用可能である。以下の説明において、層とは、先にも説明されたように、当該顕微鏡スキャナがサンプルの特定の深度において該深度における焦点深度にわたり撮像しているものに関するものである。ここで、当該説明は非傾斜検出器に関するものである故に、当該層は当該サンプル内の同一の深度にあるものであるが、上述したように、この焦点合成処理は傾斜検出器及びデータが取得される斜め断面にも等しく当てはまるものである。かくして、層ｎの画像が取得される。最初に、ｚ位置ｎにおいて取得された入力画像のエネルギ量が決定される。該エネルギ量は平滑化処理（ノイズ量を低減するための）により後続されるハイパスフィルタ（即ち、ラプラシアンフィルタ）の適用により決定される。第２に、この算出された層ｎのエネルギ量は層≦(n-1)のエネルギと比較される。個々の全てのピクセルに関して、現在の層（即ち、層ｎの画像データ）又は合成結果（即ち、層≦(n-1)の組み合わされた画像データ：先に説明した作業画像）が使用されるべきかが決定され、この結果が図１６の“層選択”である。第３に、２つのバッファ、即ち合成画像データ（即ち、層≦ｎの画像データ）及び合成エネルギデータ（即ち、層≦ｎのエネルギデータ）が記憶されねばならない。次いで、次の層をスキャンすることができ、当該処理は、最後の層が取得されて処理されるまで反復する。前記層選択（即ち、何の層から何の部分を選択するか）は、層ｎの画像データ及び合成画像≦(n-1)の画像データからの並びに同様にエネルギに関する情報を合成するために使用されることに注意すべきである。
【０１１７】
従って、一例においては、ストリーミングモードにおいて傾斜センサが焦点合成と組み合わされる。この場合、中間結果を完全に（即ち、層≦(n-1)の画像データ及び層≦(n-1)のエネルギ）記憶する必要は無く、使用される画像フィルタ（即ち、高周波フィルタ及び平滑フィルタ）のフットプリントにより決まる当該画像及びエネルギデータの限られた履歴しか必要とされない。当該傾斜センサにより新たな（傾斜）画像が取得される毎に、この画像の行当たりの（即ち、ｚ位置当たりの）エネルギが決定される。該傾斜画像は、前述したように、Ｙ（該画像の行）及びＸ’/Ｚ（該画像の列）における面内にある。これらのエネルギ値は、以前に取得されたものと比較される。該比較は合致する（ｘ’，ｙ）位置に関して実行される。言い換えると、該比較は、局部レベル（上記エネルギ分析を適用することができるのに十分なピクセル）においであって、１つの画像としての全体のライン画像に対してではない。一層大きなフォーカスエネルギが見付かった場合、当該画像データは更新される。（x’,y）位置の全てのｚ位置が評価されたなら、該（合成された；“作業”）画像データは伝送することができる。このことは、数十ＧＢもの中間結果を記憶する必要性をなくす一方、最終結果（即ち、向上された焦点深度層）は当該組織サンプルの最後の部分をスキャンした直後に、（依然として）利用可能となる。
【０１１８】
図１７及び図１８は、最終結果、即ち向上された被写界深度の画像（右側の画像である）を示す。左側の図は、従来の顕微鏡により取得されるであろう１つの深度における単一の画像である。右側の図においては、従来のように取得されたものと比較して、一層多くの特徴構造、細胞に焦点が合っている。
【０１１９】
[代替例]
上記処理においては、各ピクセルに対して、最適な画像層がエネルギ量により決定される（即ち、ハイパスフィルタ）。可能性のある構成例は、高周波情報を決定する前に異なるカラーチャンネルが併合される（即ち、RGB2Y処理を用いて）というものである。一代替例として、病理学的情報（即ち、ＬＩＳ／ＨＩＳ等の外部ソースからの又は画像分析により決定された）は、特定のカラーに一層注目するように使用することができる。このことは、追加のカラー分離ステップ又はカラー逆畳み込み（デコンボリューション）ステップと組み合わせることさえできる。この場合、最適な層は、１つの（又は複数の）特定のカラー着色を用いた（例えば、細胞核の染色質パターンに着目した）エネルギ量により局部的に決定することができる。更に、カラー分離ステップを追加すれば、異なる２Ｄ平滑化カーネルを使用することができるようになる。例えば、細胞核は、細胞質より大幅に小さな細部を含み、従って、より小さな平滑化カーネル（σ＜２）から利益を得る。
【０１２０】
上記処理においては、ラプラシアン高周波フィルタが使用される。一代替例として、取得されたデータはウェーブレットドメインに変換することができ、該ドメインにおいて高周波副帯域をエネルギの表現として使用することができる。これはiSyntax圧縮（例えば、米国特許第6711297号及び米国特許第6553141号参照）と組み合わせることができる。
【０１２１】
上記処理において、向上された被写界深度を持つ単一の画像層への変換は、当該画像をサーバに送信する前に適用される。単一層への変換がサーバ上で実行され、センサの出力がサーバに直接伝送されるようにすることも可能である。
【０１２２】
各ピクセルに関して最適層を選択する代わりに、複数の層のピクセル値が、当該ピクセルのエネルギの分布に基づいて特定の重み付けを用いて結合されることも可能である。
【０１２３】
各ピクセルに関して最適層を選択する代わりに、同一のｚ方向の傾斜センサの全ピクセルを合計することも可能である。その結果はぼやけた総和画像となるが、該画像は次いで簡単な帯域フィルタによりフィルタ処理することができる。デジタル画像の和に関する情報に関しては、米国特許第4141032号を参照されたい。
【０１２４】
本方法は、各層のエネルギに関するものであるから、組織の厚さを測定するために使用することもできる。
【０１２５】
他の例示的実施態様においては、コンピュータプログラム又はコンピュータプログラム要素が提供され、該コンピュータプログラム又はコンピュータプログラム要素は、上述した実施態様の１つによる方法の方法ステップを適切なシステム上で実行するように構成されることを特徴とする。
【０１２６】
上記コンピュータプログラム要素は、従って、一実施態様の一部とすることもできるコンピュータユニットに記憶することができる。このコンピュータユニットは、上述した方法のステップの実行を行い又は誘起するよう構成することができる。更に、該コンピュータユニットは、前述した装置の構成要素を動作させるように構成することができる。該コンピュータユニットは、自動的に動作し及び／又はユーザの指令を実行するように構成することができる。コンピュータプログラムは、データプロセッサのワーキングメモリにロードすることができる。該データプロセッサは、このように、前述した実施態様の１つによる方法を実行するように装備することができる。
【０１２７】
本発明の該例示的実施態様は、本発明を最初から使用するコンピュータプログラム及び更新により既存のプログラムを、本発明を使用するプログラムに変えるコンピュータプログラムの両方をカバーするものである。
【０１２８】
更に、前記コンピュータプログラム要素は、前述した方法の例示的実施態様の手順を満たすために必要な全てのステップを提供することができる。
【０１２９】
本発明の他の例示的実施態様によれば、ＣＤ−ＲＯＭ等のコンピュータ読取可能な媒体が提供され、該コンピュータ読取可能な媒体は先の段落により説明されたコンピュータプログラム要素を記憶している。
【０１３０】
コンピュータプログラムは、光記憶媒体又は他のハードウェアと一緒に供給され若しくは他のハードウェアの一部として供給される固体媒体等の適切な媒体により記憶及び／又は分配することができるのみならず、インターネット又は他の有線若しくは無線通信システムを介してのように、他の形態で分配することもできる。
【０１３１】
しかしながら、上記コンピュータプログラムは、ワールドワイドウェブ等のネットワークを介して提供することもでき、斯様なネットワークからデータプロセッサのワーキングメモリにダウンロードすることもできる。本発明の他の例示的実施態様によれば、コンピュータプログラム要素をダウンロードのために利用可能にする媒体も提供され、該コンピュータプログラム要素は本発明の前述した実施態様の１つによる方法を実行するように構成される。
【０１３２】
本発明の実施態様は異なる主題に関して説明されていることに注意されたい。特に、幾つかの実施態様は方法のタイプの請求項に関して説明されている一方、他の実施態様は装置のタイプの請求項に関して説明されている。しかしながら、当業者であれば、上記及び以下の記載から、そうでないと明示されない限り、１つのタイプの主題に属するフィーチャの如何なる組み合わせにも加えて、異なる主題に関係するフィーチャの間の如何なる組み合わせも本出願により開示されていると見なされることが分かるであろう。しかしながら、全てのフィーチャは、斯かるフィーチャの単なる寄せ集め以上の相乗効果を提供するように組み合わせることができるものである。
【０１３３】
以上、本発明を図面及び上記記載において詳細に図示及び説明したが、斯かる図示及び説明は解説的又は例示的なものであって、限定するものではないと見なされるべきである。本発明は、開示された実施態様に限定されるものではない。開示された実施態様に対する他の変形例は、当業者によれば、請求項に記載の本発明を実施するに際して図面、本開示及び従属請求項の精査から理解し、実施することができるものである。
【０１３４】
尚、請求項において“有する”なる文言は他の要素又はステップを排除するものではなく、単数形は複数を排除するものではない。また、単一のプロセッサ又は他のユニットは、請求項に記載された幾つかの項目の機能を満たすことができる。また、特定の手段が互いに異なる従属請求項に記載されているという単なる事実は、これら手段の組み合わせを有利に使用することができないということを示すものではない。また、請求項における如何なる符号も当該範囲を限定するものと見なしてはならない。
【図１】
2019507384.tif 000004
【図２】
2019507384.tif 000005
【図３】
2019507384.tif 000006
【図４】
2019507384.tif 000007
【図５】
2019507384.tif 000008
【図６】
2019507384.tif 000009
【図７】
2019507384.tif 000010
【図８】
2019507384.tif 000011
【図９】
2019507384.tif 000012
【図１０】
2019507384.tif 000013
【図１１】
2019507384.tif 000014
【図１２】
2019507384.tif 000015
【図１３】
2019507384.tif 000016
【図１４】
2019507384.tif 000017
【図１５】
2019507384.tif 000018
【図１６】
2019507384.tif 000019
【図１７】
2019507384.tif 000020
【図１８】
2019507384.tif 000021
【国際調査報告】
2019507384.tif 000022
2019507384.tif 000023
2019507384.tif 000024