(57)【要約】生物検体のデジタル画像の焦点の質を判定するための方法が、検体画像処理装置を用いて検体のデジタル画像を取得するステップを有している。画像のテクスチャの測定が２つの異なるスケールで計算され、画像が低分解能のデータと比較してどのくらい高分解能のデータを含んでいるのかを判定するためにこの測定値が比較される。テクスチャの測定は、例えば、高分解能測定に関して隣接するピクセル対の平均から計算され、低分解能測定に関して隣接する３つのピクセルの平均から計算されるブレナー（Ｂｒｅｎｎｅｒ）自動焦点スコアである。そして、低分解能及び高分解能の測定値の関数に基づいて焦点の質を示すスコアを確立し、自動画像処理装置がスコアを用いて容認し得る画像の質を変え、又は容認できないと見なされた画像を取り替えるために焦点を変えて新たな画像を取得する。【選択図】図１
2010512545.tif 000002
【特許請求の範囲】
【請求項１】
生物検体のデジタル画像の焦点の質を判定するための方法であって、
（ａ）検体画像処理装置を用いて複数のピクセルを具える前記検体のデジタル画像を取得するステップと；
（ｂ）前記画像の小スケールのテクスチャの計測を計算するステップと；
（ｃ）前記画像の大スケールのテクスチャの計測を計算するステップと；
（ｄ）前記小スケール及び大スケールのテクスチャの計測値の比較に基づいて前記画像の焦点の質の推定値を定めるステップと；
を具えていることを特徴とする方法。
【請求項２】
前記小スケールのテクスチャが、前記デジタル画像全体にわたって隣接するピクセル対の平均の差を自乗することによって計測されることを特徴とする請求項１に記載の方法。
【請求項３】
前記大スケールのテクスチャが、前記デジタル画像全体にわたって隣接する３つのピクセルの平均の差を自乗することによって計測されることを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記小スケールの及び大スケールのテクスチャ計測の関数が、理想的な焦点高さから推定されるズレ量を判定するよう設定される実験的に得られるデータと一致することを特徴とする請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
前記実験的に得られるデータセットに関して最も適合する式が計算され、その逆関数を使用して、計測したスコアを予測されるズレ量にマッピングすることを特徴とする請求項４に記載の方法。
【請求項６】
前記小スケールの及び大スケールのテクスチャの計測に適用される関数が、それらの商を取り入れていることを特徴とする請求項４又は５に記載の方法。
【請求項７】
釣鐘型の曲線が前記実験的に得られるデータに適合することを特徴とする請求項５又は６に記載の方法。
【請求項８】
自動化した画像処理装置が、検体の中の様々な場所における複数のデジタル画像を取得し、
前記画像の少なくともいくつかに関する前記焦点の質を推定することを特徴とする請求項１乃至７のいずれか１項に記載の方法。
【請求項９】
前記推定した焦点の質に基づいて前記画像を容認又は否認することを特徴とする請求項８に記載の方法。
【請求項１０】
画像の否認により、同じ場所であるが異なる焦点面での新たな画像を取得することを特徴とする請求項９に記載の方法。
【請求項１１】
さらに、否認された画像全ての場所を保存するステップと、
前記装置が前記検体の残りの部分の走査を終了した時点で、これらの場所の画像を再取得するステップと、
を具えていることを特徴とする請求項９又は１０に記載の方法。
【請求項１２】
所定の検体に関して否認された画像の数を監視し、
この数が特定の閾値を超える場合に、前記画像処理装置が前記検体全体を再処理することを特徴とする請求項９に記載の方法。
【請求項１３】
さらに、前記推定した質の少なくとも一部に基づいて焦点高さを調整するステップと、
次の画像を取得するステップと、
を具えていることを特徴とする請求項８に記載の方法。
【請求項１４】
前記画像処理装置が、そうでなければ前記画像処理装置が各画像を取得したであろう前記高さにオフセットを加え、前の調整が焦点の質の向上又は低下をもたらすか否かに応じてこのオフセットを上下に調整することを特徴とする請求項１３に記載の方法。
【請求項１５】
前記自動化された画像処理装置が、焦点の質の推定値を監視し、当該監視に基づいてハードウェアの異常を識別することを特徴とする請求項８に記載の方法。
【請求項１６】
疑わしいハードウェアの異常により、前記画像処理装置が処理された検体の結果にフラグを立てることを特徴とする請求項１５に記載の方法。
【請求項１７】
さらに、前記疑わしい異常をユーザに警告するステップを具えていることを特徴とする請求項１５又は１６に記載の方法。
【請求項１８】
さらに、前記推定されるズレ量の値の少なくとも一部に基づいて前記焦点高さを調整するステップと、
次の画像を取得するステップと、
を具えていることを特徴とする請求項４に記載の方法。
【請求項１９】
前記焦点高さを調整するステップが、前記焦点高さが前記理想的な焦点高さに収束するまで繰り返されることを特徴とする請求項１８に記載の方法。
【請求項２０】
自動化した画像処理装置を用いて検体の焦点を合わせる方法であって、当該方法が：
（ａ）前記画像処理装置を用いて異なる焦点高さにおける複数のピクセルを具える前記検体の３つのデジタル画像を取得するステップと；
（ｂ）前記３つのデジタル画像のそれぞれについてブレナー（Ｂｒｅｎｎｅｒ）自動焦点スコアを計算するステップと；
（ｃ）前記３つの焦点高さ及び対応する画像の前記ブレナースコアによって形成される（ｘ，ｙ）点に累乗二次関数を適合させるステップと；
（ｄ）ステップ（ｃ）の前記関数に基づいて新たな焦点高さに移動させ、新たな画像を取得し、前記新たな画像に関する前記ブレナースコアを計算するステップと；
（ｅ）理想的な焦点高さに達するまでステップ（ｄ）を繰り返すステップと；
を具えていることを特徴とする方法。
【請求項２１】
前のデータ点から計算される前記適合関数のピークでそれぞれ新たな画像を取得することを特徴とする請求項２０に記載の方法。
【請求項２２】
前記適合の中に最も新しいデータ点を取り込むときに推定される前記適合関数の高さが、推定される前の関数の高さの特定の閾値の範囲内であるときに、前記理想的な焦点高さに達することを特徴とする請求項２１に記載の方法。
【請求項２３】
それまでに見付けられた最も高いスコアを具えたデータ点、
前記それまでに見付けられた最も高いスコアを具えたデータ点に最も近いがこれを下回る前記焦点高さを具えたデータ点、及び
前記それまでに見付けられた最も高いスコアを具えたデータ点に最も近いがこれを上回る前記焦点高さを具えたデータ点、
のみを用いて前記適合関数を計算することを特徴とする請求項２０に記載の方法。
【請求項２４】
前記焦点高さが、それぞれの手順とともに、それまでにチェックされた全ての焦点高さから少なくとも特定の距離だけ離しつつ、前記適合関数のピークにできる限り近い高さに調整されることを特徴とする請求項２３に記載の方法。
【請求項２５】
前記適合に使用された３つの点が全て互いに特定の距離内にあるときに、前記理想的な焦点高さに達することを特徴とする請求項２３に記載の方法。
【請求項２６】
検体画像処理装置の焦点を合わせる方法であって、
（ａ）前記検体画像処理装置を用いて複数のピクセルを具える前記検体のデジタル画像を取得するステップと；
（ｂ）隣接するピクセル対の平均の差を自乗し、前記デジタル画像の中の一連のピクセルわたって前記自乗した差を合計することによって、高分解能ブレナースコアを計算するステップと；
（ｃ）隣接する３つのピクセルの平均の差を自乗し、前記デジタル画像の中の一連のピクセルにわたって前記自乗した差を合計することによって、低分解能ブレナースコアを計算するステップと；
（ｄ）前記高分解能ブレナースコアを前記低分解能ブレナースコアで割ったものから成る比を計算するステップと；
（ｅ）前記比に基づいて前記検体画像処理装置の前記焦点の長さを調整するステップと；
を具えていることを特徴とする方法。
【請求項２７】
さらに、前記調節した焦点の長さで前記検体のデジタル画像を取得するステップと、
ステップ（ｂ）からステップ（ｅ）までを繰り返すステップと、
を具えていることを特徴とする請求項２６に記載の方法。
【請求項２８】
ステップ（ｂ）からステップ（ｅ）までを、前記調整した焦点の長さで様々な画像について複数回繰り返すことを特徴とする請求項２７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の技術分野は、全体的に、電子画像処理システムの分野に関し、特にコンピュータ制御された顕微鏡画像処理システム及びその中で使用される焦点システムに関する。
【背景技術】
【０００２】
病理学の分野では、内在する病的状態又は疾患状態に関する組織の検体を検査することが多くの場合必要である。いくつかのケースでは、組織の検体又は他の生体物質が、包埋剤の中に埋め込まれ非常に薄切りにされる。そして、これらの薄切りを後に続く画像処理及び解析のためにスライドといった検体ホルダの上に載せる。他の適用例では、細胞又は他の生体物質が液体ベースの液体製剤の中でスライドに運ばれる。例えば、細胞が標的部位（例えば、組織）から擦り取られ、任意に溶液で洗浄される。代替的に、体液（例えば、尿）から細胞を直接的に採取する。細胞をスライドに直接的に移送してもよく、例えば、血液検体をスライド上に直接的に塗り付けることができる。また、細胞を採取して及びスライド上に配置するための自動化装置が開発されている。例えば、ＴｈｉｎＰｒｅｐ（登録商標）Ｓｙｓｔｅｍ（Ｃｙｔｙｃ  Ｃｏｒｐｏｒａｔｉｏｎ，Ｍａｒｌｂｏｒｏｕｇｈ，ＭＡ）が、細胞懸濁液を含む液体をろ過する。そして、その後の処理及び観察のために、フィルタ上に堆積した細胞の薄膜がスライド上に移される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
自動化された画像処理又は走査システムが、検体のデジタル画像を取り込むのに益々採用されている。そして、病理学者又は他の熟練技術者によって、組織に内在する病的状態又は疾患状態に関するデジタル画像を分析し得る。自動化画像処理システムは、多くの場合、検体の１又はそれ以上の焦点画像を取得するために自動的に制御されるステージ及び光学部品を使用するコンピュータ制御される顕微鏡を採用する。例えば、このようなシステムは、スライド上に用意された検体全体の画像を取得するよう使用する。代替的に（又は組み合わせて）、このようなシステムは、関心のある特定の領域又は区域の１又はそれ以上の拡大画像を取得する。検体又はその拡大領域の高質の画像を取得するために、このようなシステムは、検体又は領域に迅速に焦点を合わせ得る必要がある。
【０００４】
このような要請は、いくつかの技術的な障害を引き起こしている。画像を観察する際に、人間は焦点が合っているか否かを素早く認識し得る。コンピュータ化されたシステムは、このような作業が困難である。異なる焦点高さの同じ検体の２つの画像を与えると、コンピュータ作動の焦点システムは、焦点が良く合っている方の画像を特定し得る。しかしながら、１つの画像のみを与えた場合、コンピュータが焦点の質を自動的に評価するのは困難である。さらに、コンピュータが理想的な又は最適な焦点高さから結像される焦点面までの距離を判定するのは困難である。
【０００５】
１つの画像の焦点の質を評価する多くの既存の方法は、フーリエ変換を用いている。雑音が無い場合には、焦点合わせが不完全な画像は、特定の周波数を超えるフーリエ信号を含んでいない。このようなカットオフ周波数の位置は、テクスチャのスケールを与える。都合の悪いことに、実画像は雑音を含んでおり、これがフーリエ変換の実用性を制限している。フーリエ変換に基づく方法は、低い信号対雑音比（ＳＮＲ）を有すす画像で不完全に実行する。また、使用されるフーリエ変換による方法は、コンピュータ的に集約されており、強靱な計算ハードウェア及びソフトウェアを要する。
【０００６】
自動化した顕微鏡では、焦点高さを変えることによって、コンピュータが、検体の中の所定の場所に関する最適な焦点面を概略的に見付け、各高さでの画像を取り込む。様々な「自動焦点関数」のうちの１つを用いて、それぞれ取得された画像のスコアを計算する；最もスコアの高い画像は理想的な焦点高さに対応する。自動焦点関数の値は視野にある検体に依存し、同じ検体の他の画像に対する１と画像の質の判定のみにこれらの関数を使用することができ、絶対的な質の評価をすることができない。ある種類の自動焦点関数が画像の区別に基づいて機能する。点広がり関数（ＰＳＦ）がいくつかのピクセルの中で各ピクセル強度に分布しているため、それらをぼかして階調レベルを平均化し、焦点の合っていない画像は、通常、互いに隣接するピクセル間のわずかな差のみを有している。画像の相対的な焦点の質の測定として異なるタイプの画像の区別を使用する。例えば、ブレナー（Ｂｒｅｎｎｅｒ）は、全てのピクセル及びそれらに隣接する２点間の差の二乗の合計の使用を提案した。例えば、ブレナーらによる、Ａｎ  Ａｕｔｏｍａｔｅｄ  Ｍｉｃｒｏｓｃｏｐｅ  Ｆｏｒ  Ｃｙｔｏｌｏｇｉｃａｌ  Ｒｅｓｅａｒｃｈ，Ｊ．Ｈｉｓｔｏｃｈｅｍ．Ｃｙｔｏｃｈｅｍ．２４，１００−１１１（１９７１）を参照されたい。
【０００７】
ブレナー関数は、コンピュータ制御される画像処理システムが焦点高さを変えつつスライドの画像を取得する際に、焦点の質の基準として使用される。従来の方法は、複数の焦点高さで取得した画像についてのブレナー関数のスコアを比較する。ある画像に関する焦点の質の判定は、ある焦点高さでのある視野のブレナー関数スコアに対する異なる焦点高さでの同じ視野でのブレナー関数スコアの比較に依存している。ブレナー関数のスコアは、画像のテクスチャの測定である。焦点の合った画像は高いブレナー関数スコアを有しており、焦点の合っていない画像よりも小さなスケールのテクスチャを含んでいる。逆に、焦点の合っていない画像は低いブレナー関数スコアを有しており、小さなスケールのテクスチャを含んでいない。焦点高さは、理想的な高さよりも高い所からそれを下回るよう変化するため、ブレナー関数は低い値から始まって、理想的な焦点高さで画像の焦点が合う際にピーク値に達し、焦点が合わなくなると減少する。ブレナー関数の形状は、焦点高さに対してプロットされた場合に、釣鐘型の曲線である。
【０００８】
ステージを優に上回る焦点高さを初めに設定し、光学装置を例えば、数ミクロンずつ検体に段階的に近づけることによって、非常にシンプルな自動焦点方法を実施し得る。このようなプロセスを、ブレナースコアが最大値に達するまで続ける。ピークの焦点高さを見付けるには、連続的な焦点高さで取り込まれた画像のブレナースコアを比較することを要する。しかしながら、大量の検体を処理しなければならない多くの医療上の画像処理の適用例において、この種の自動焦点を実行するのに、多くの場合非常に時間が掛かる。理想的には、自動化した画像処理システムは、各視野について１の画像のみを取り込むが、システムが依然として画像の質を保証する何らかの方法を有する必要がある。１の画像の焦点の質をチェックする効果的且つ精度の高い方法により、所定の画像の焦点の質が条件を満たしていないと判定されるときのみに、このような画像処理システムがさらなる自動焦点画像を取得することが可能となり、精度が低くなるリスクをもたらすことなく効果を最大限にするであろう。
【課題を解決するための手段】
【０００９】
一実施例では、生物検体のデジタル画像の焦点の質を判定するための方法が、検体画像処理装置を用いて検体のデジタル画像を取得するステップを有している。このデジタル画像は複数のピクセルを具えている。画像の小スケールのテクスチャの測定を計算する。例えば、画像の小スケールのテクスチャが、デジタル画像全体にわたって隣接するピクセル対の平均の差を自乗することによって測定される。次に、画像の大スケールのテクスチャの測定を計算する。大スケールのテクスチャが、デジタル画像全体にわたって隣接する３つのピクセルの平均の差を自乗することによって測定される。そして、小スケール及び大スケールのテクスチャの測定値の比較に基づいて画像の焦点の質の推定を定める。
【００１０】
一実施例では、生物検体のデジタル画像の焦点の質を判定するための方法が、検体画像処理装置を用いて複数のピクセルを具える検体のデジタル画像を取得するステップを有している。高分解能のブレナースコアが、デジタル画像の中の一連のピクセルにわたって隣接するピクセル対の平均の差を自乗し、自乗した差を合計することによって計算される。低分解能のブレナースコアが、デジタル画像の中の一連のピクセルにわたって隣接する３つのピクセルの平均の差を自乗し、自乗した差を合計することによって計算される。そして、高分解能のブレナースコアを低分解能のブレナースコアで割った比、又は低分解能のブレナースコアを高分解能のブレナースコアで割った比を計算する。本書で使用されているように、比は、高分解能のテクスチャスコアを低分解能のテクスチャスコアで割ること、又は代替的に、低分解能のテクスチャスコアを高分解能のテクスチャスコアで割ることに言及するために用いられている。そして、計算した比に基づいて、焦点の質を示す焦点スコアを定める。この焦点スコアは、例えば、理想的な焦点高さからの推定されるズレを有している。
【００１１】
別の実施例では、検体の焦点を合わせる方法が、検体画像処理装置を用いて複数のピクセルを具える検体のデジタル画像を取得するステップを有している。高分解能のブレナースコアが、デジタル画像の中の一連のピクセルにわたって隣接するピクセル対の平均の差を自乗し、自乗した差を合計することによって計算される。低分解能のブレナースコアが、デジタル画像の中の一連のピクセルにわたって隣接する３つのピクセルの平均の差を自乗し、自乗した差を合計することによって計算される。低分解能のブレナースコアに対する高分解能のブレナースコアの比を計算する。そして、検体画像処理装置の焦点の長さをこの比に基づいて調整する。
【００１２】
焦点を合わせる方法が、検体の１又はそれ以上のデジタル画像を取得し、ブレナースコア又はブレナー比を再計算して焦点の改善を評価するさらなるステップを有している。さらなるデジタル画像を取得して、焦点面が最適な又は実際の焦点高さに又はその近くになるまで解析する。焦点高さの関数としてのブレナースコアは釣鐘型の曲線（二次の指数関数）であるため、焦点スコアの対数に放物線の逆補間を用いて３又はそれ以上の点からそのピークの位置を推定することが可能である。
【００１３】
さらに別の実施例では、検体ホルダに含まれる検体のデジタル画像の質の検査を実行する方法が、複数のピクセルを具える検体のデジタル画像を取得するステップを具えている。高分解能のブレナースコアが、デジタル画像の中の一連のピクセルにわたって隣接するピクセル対の平均の差を自乗し、自乗した差を合計することによって計算される。低分解能のブレナースコアが、デジタル画像の中の一連のピクセルにわたって隣接する３つのピクセルの平均の差を自乗し、自乗した差を合計することによって計算される。次に、高分解能のブレナースコアに対する低分解能のブレナースコアの比を計算する。デジタル画像は、計算した比に基づいて容認又は否認される。自動化画像処理システムは、焦点の質が満足できないと判定されたときに焦点を迅速に調整して新たな画像を取得し、又は焦点が合っていない画像の数が所定の閾値を超える場合に、画像処理を続けるが検体全体を最処理する。
【００１４】
別の実施例では、自動化した画像処理装置を用いて検体の焦点を合わせる方法が、画像処理装置を用いて異なる焦点高さにおける検体の３つのデジタル画像を取得するステップを有している。デジタル画像は複数のピクセルから形成されている。３つのデジタル画像のそれぞれについてブレナー自動焦点スコアを計算する。３つの焦点高さ及び対応する画像のブレナースコアによってによって形成される（ｘ，ｙ）点に累乗二次関数を適合させる。データに適合した関数に基づいて新たな焦点高さで新たな画像を取得する。新たな画像について新たなブレナースコアを計算する。理想的な焦点高さに達するまで様々な新たな（例えば、修正した）焦点高さでさらなる画像を取得する。当然ながら、理想的な焦点高さ（例えば、±ズレ値）に近づいたことを画像処理装置が検出した時に、処理を止める。
【図面の簡単な説明】
【００１５】
ここで、添付図面の使用を介してより特異的且つ詳細に本発明に係る実施例を記載及び説明することとする。
【００１６】
【図１】図１は、典型的な検体画像処理装置を示す。
【図２】図２Ａは、小スケールテクスチャ（例えば、２つのピクセルのブロック）についてのブレナースコアの計算の図式的な表現である。図２Ｂは、大スケールテクスチャ（例えば、ピクセルの３つのブロック）についてのブレナースコアの計算の図式的な表現である。
【図３】図３は、理想的な焦点高さからのズレ量の関数としての大スケール（低分解能）のブレナースコアに対する小スケール（高分解能）のブレナースコアの比の散布図である。
【図４】図４は、図３の１２，０００画像についての実際のズレ量と比較した、予測したズレ量の二乗平均平方根誤差を示すグラフである。
【図５】図５は、初期高さ（中実のデータ点）から０，−４，及び−８ミクロンのオフセットで取得されるブレナースコアを示すグラフである。点線は、３つのデータ点のみを使用して計算される最良の適合である。中空のデータ点は、１ミクロンずつの移動で取得された追加的なブレナースコアを示す。
【発明を実施するための形態】
【００１７】
図１は、本発明の一実施例に係る検体の画像処理装置３２の典型的な実施例を示す。画像処理装置３２は、第１の光学系３８と、それに対して可動なスライドステージ４０とを有している。検査ステーション３６が設けられており、第２の光学系４４を有して、サーバ３４を介して画像処理システム３２に接続されている。内部コンピュータシステム４６が第１の光学系３８を制御し、サーバ３４に接続されている。
【００１８】
第１の光学系３８は、ＣＣＤカメラ４８といったデジタルカメラ４８と、顕微鏡５０とを有している。顕微鏡５０は、好適には、自動化された顕微鏡である。自動化された顕微鏡５０は、オートフォーカス機構５４といった顕微鏡５０の光路５１に位置決めされたスライド１０の領域の高速且つ精密な画像処理を提供する特徴を有している。第１の光学系３８は、１又はそれ以上のレンズ系５２を有している。照明器４２が、スライド１０上に配置された検体１４を照らし、全体的にステージ４０の下方からスライド１０を照らす。
【００１９】
ステージ４０は、内部コンピュータシステム４６からの適切な命令に応じて、顕微鏡５０の光路５１の中に検体スライド１０を運ぶ。一実施例では、ロボットのスライドハンドラー６４が、コンピュータシステム４６からの適切な命令を受けて、検体の細胞を画像処理すべくスライド保持カセットから可動ステージ４０に検体スライド１０を移動させ、画像処理のあとにカセットに戻る。スライドホルダ６５が、ステージ４０上の正確な位置及び方向にスライド１０を固定的且つ取り外し可能に繰り返して位置決めする。ステージ４０は電動式であり、１又はそれ以上のステージモータ５６によって駆動する。ステージ４０はベアリング５８上に取り付けられており、ベアリング５８は同様に顕微鏡５０の基部５９に取り付けられている。一実施例では、ステージ４０がｘ−ｙ面で可動である。
【００２０】
一実施例では、可動ステージ４０と通信可能なインタフェースコントローラ６０が、光路５１及び顕微鏡５０の表示画面に対するスライド１０の制御された正確な移動を提供する。インタフェースコントローラ６０は、コンピュータシステム４６からの命令を、ステージ４０を上記の場所に移動させるようモータ５６を移動させる適切な信号に変換することによってステージモータ５６を制御する。位置エンコーダ６２がステージ４０の正確な位置を検出し、コンピュータシステム４６にステージの移動又は位置を示すパルスを与える。当技術分野で知られているように、これらのパルスをコンピュータシステム４６によって復号化し、画像処理ステーション座標システムにおけるステージ４０の位置を特定する。
【００２１】
画像処理システム３２は、スライド１０がロボットのスライドハンドラー６４によって可動ステージ４０に運ばれたとき、又は手で装着されたときに、バーコードを含んだスライドの領域を調べるよう配置された光学バーコードリーダ６６を有している。画像処理システム３２は、潜在的に異常な細胞が存在する可能性のある検体の中の関心のある領域にドット、マーク、又は他の可視的サインを自動的に設置するマーカ６８を有している。
【００２２】
検査ステーション３６は、サーバ３４を介して画像処理システム３２に接続されており、遠くに配置される。検査ステーション３６は第２の光学系４４を有している。第２の光学系４４は、第１の光学系３８のいずれか又は全ての態様を有している。一実施例では、第２の光学系４４が、可動ステージに接続され画像処理システム３２によって特定された関心のある領域の外観検査のために人間のオペレータによって使用するよう構成された顕微鏡５０を有している。
【００２３】
動作時に、画像処理システム３２が、細胞検体１４が配置されたスライド１０の初期の観察及びスクリーニングを実行し、検体１４の予備的な評価をする。画像処理システム３２は、細胞検査技師又は病理学者が次に観察するために、可能性として最も関連のあるスライド上の関心のあるこれらの領域の場所を特定する。パパニコロースミアスクリーンで偽陰性の見解を防ぐために、予備的なスクリーニングにおいて画像処理システム３２によって特定される領域の場所は、容認できる許容誤差の範囲内でなければならない。走査処理中の誤ったスライドの扱い又は位置決めにより、特定の領域の場所の誤りが発生し、検査ステーション３６でのその後の読み間違いにつながる。
【００２４】
画像処理システム３２の動作に関するさらなる詳細が米国特許７，００６，６７４号に見られる。本書に記載の方法を、生物検体の画像処理に使用される他の画像処理システムで使用してもよい。
【００２５】
本発明の一実施例では、画像処理システム３２を用いて取得されたデジタル画像の焦点の質を判定するための方法が提供されている。この方法はまず、検体１４のデジタル画像を取得するステップを有している。デジタル画像がカメラ４８を用いて取得される。検体１４のデジタル画像が、ピクセル１００の配列によって形成される。図２Ａ及び２Ｂは、デジタル画像の中の隣接するピクセル１００の一部を示す。画像の中の各ピクセル１００は、特定のピクセルの強度又は明るさを表す８ビット（例えば、バイト）の数で表されている。各ピクセルの値は、シャッタが開放されたときにカメラ４８の対応する容器に当たった光子の数に対して線形比例する。例えば、８ビットのシステムでは、各ピクセル１００が、ピクセルの明るさ又は強度を示す２５６の可能な値のうちの１つを割り当てられる。これに関連して、画像システムが８ビットのグレースケール画像を解析する。本発明の一実施例によれば、デジタル画像の高分解能のテクスチャが、高分解能のブレナー（Ｂｒｅｎｎｅｒ）スコア（ＢＲＨＲ）を計算することによって取得される。高分解能のブレナースコアは、隣接するピクセル対の平均の差を自乗して、デジタル画像の中の一連のピクセル１００にわたって自乗した差を合計することによって計算される。高分解能のブレナースコアは式１を用いて計算され、ｒｏｗｓ及びｃｏｌｓは、画像の中のピクセルの行及び列の数であり、Ｐｉ，ｊは、ｉ行ｊ列におけるピクセルの値である。この式は、図２Ａに示すように視覚的に説明される。
2010512545.tif 000003
【００２６】
デジタル画像の高分解能のテクスチャに加えて、低分解能のブレナースコア（ＢＲＬＲ）を計算することによって、画像の低分解能のテクスチャを取得する。低分解能のブレナースコアは、隣接する３つのピクセルの平均の差を自乗して、デジタル画像の中の一連のピクセル１００にわたって自乗した差を合計することによって計算される。低分解能ブラナースコアは、以下に説明され図２Ｂで視覚的に示されている式２を用いて計算される。
2010512545.tif 000004
【００２７】
低分解能のブラナースコアは、２つのピクセルから３つのピクセルに平均化窓の幅を増やすことによって得られる。平均化窓を広くすることによって画像の分解能を効果的に減らす。
【００２８】
本発明の一実施例では、デジタル画像の焦点の質が、高分解能ブレナースコアと低分解能ブレナースコアとを比較することによって推定される。例えば、高分解能スコアを低分解能スコアで割ることができる（ＢＲＨＲ／ＢＲＬＲ）。代替的に、低分解能スコアを高分解能スコアで割ることができる（ＢＲＬＲ／ＢＲＨＲ）。スコアの計算及び比較が、検体画像処理装置３２に動作可能に接続された内部コンピュータシステム４６によって又は他のコンピュータ装置によって行われる。
【００２９】
次に計算した比に基づいて焦点スコアを確立する。本発明に係る一実施例では、最適な又は実際の焦点からのズレ量の程度に関する実験的に得られたデータを用いて、低分解能ブレナースコアに対する高分解能ブレナースコアの比の関数として焦点スコアが得られる。最も適合する関数がこのデータに対して計算される。そして、この関数の逆関数を使用して推定したズレ量に対する測定した比をマッピングする。例えば、０．４５（ＢＲＨＲ／ＢＲＬＲ）の比が、画像処理装置３２の焦点が実際の焦点に対して±１２．５μｍであることを示す焦点スコアに対応する。焦点スコアは実際のズレ量の値（すなわち、距離）である。代替的に、焦点スコアは割合であってもよい。
【００３０】
様々なスライドに関する異なる場所における様々な焦点高さでの１組のデジタル画像が実験的に得られた。４０の異なる焦点高さで１２，０００画像を取り込んだ。３０の異なるスライドに関して１０の異なる場所で画像を取り込んだ。そして、低分解能ブレナースコアに対する高分解能ブレナースコアの比を判定した。図３は、理想的な焦点からのズレ量の関数としてプロットされた、１２，０００画像のそれぞれについての比の散布図である。図３のグラフのｙ軸が（ＢＲＨＲ／ＢＲＬＲ）を示す一方、グラフのｘ軸が最適な焦点からのズレ量の程度を示している（正及び負のズレ量の双方で表される）。図３に示すように、データは、通常は最適な焦点高さに対応する曲線のピークを具えた釣鐘型の曲線を示す。散布図に見られるように、数の幅広いバリエーション及び各場所における検体のタイプに拘わらず、比は異なるスライドに関して一致した。このように、ブレナー比（高分解能／低分解能及び低高分解能／高分解能）は、異なるスライドから取り込まれた画像の焦点の質を評価するのに比較的一定の計測値を与える。
【００３１】
図３に示すデータに最も良く適合する式は釣鐘曲線である。式３は、ｙ軸に中心がある釣鐘曲線に関する式であり、パラメータａ及びｃはピークの幅及び高さを制御し、ｄは理想的な焦点高さからのズレ量である。
2010512545.tif 000005
【００３２】
図３に示すデータに関しては、最も良好な適合を与えるパラメータａ及びｃは、ａ＝−０．００１５４５９で、ｃ＝−０．５８８３５である。式３を用いたズレ量から実測の比と予測される比との間の自乗誤差の総和を最小限にすることによって、パラメータを判定し得る。ｙが測定した比（ＢＲＨＲ／ＢＲＬＲ）の自然対数と等しいと仮定し、
2010512545.tif 000006
が予測される比の自然対数であるとすると：
2010512545.tif 000007
となる。
【００３３】
検体における各画像に関して、ｙ及び
2010512545.tif 000008
の値を計算し得る。ｉ番目の画像では、ｙｉ及び
2010512545.tif 000009
が一致する値とし、ｄｉがその画像のズレ量とする。理想的なパラメータの値ａ及びｃは、セットされた検体全ての画像に関する自乗誤差の総和を最小限にするものであり：
2010512545.tif 000010
となる。
【００３４】
ａ及びｃに関する偏導関数をゼロに設定することによって、ａ及びｃの値を判定し得る。
2010512545.tif 000011
【００３５】
行列形式に式を変換することによって、この連立方程式を容易に解くことができる。
2010512545.tif 000012
【００３６】
そして、図３のデータに関しては、ａ＝−０．００１５４５９及びｃ＝−０．５８８３５となる。
【００３７】
そして、予測される理想的な焦点からのズレ量を、低／高ブレナー比の関数として以下のように表すことができる。
2010512545.tif 000013
【００３８】
この式で予測される仮想のズレ量をゼロにマッピングできる。図４は、１２，０００の画像に関して実際のズレ量の値と比較した、式９を用いて予測されるズレ量の二乗平均平方根（ＲＭＳ）の誤差を示す。ＲＭＳ値をｙ軸で示し、ズレ量をｘ軸で示す。図４に見られるように、５μｍよりも小さいズレ量では視覚上の効果があまりなく、偏差を識別するのが難しい。しかしながら約５μｍと１２μｍとの間では、誤差が１μｍに近づき又はそれよりも小さくなる。１２μｍを超えると偏差が大きくなる。また、このような限界を超えるデータ点の顕著な分散を示す図３からもこのようなことが見てとれる。
【００３９】
このため、１つのデジタル画像から焦点の質を判定することが可能となる。そして、（ＢＲＨＲ／ＢＲＬＲ）比（又は高分解能に対する低分解能の比）を計算することによって、理想的な焦点からのズレ量を判定し得る。理想的な焦点高さからのズレ量を、上記の式３のようなモデル式に基づいて特定の比から推定する。所定の比が２つの可能なズレ量の値−正の値及び負の値、を与えることに留意されたい。
【００４０】
上記のような方法で取得される焦点スコア又は測定値を多くの方法で使用してもよい。まず、本方法を使用して、１つのデジタル画像が容認又は否認されたかを判定する。例えば、ズレ量が所定の閾値に収まらない場合、画像は否認される。これは、様々な焦点高さで同じ場所から新たな画像を取得する必要があることを意味する。検体画像処理装置３２に装填される複数の検体からの画像に関する焦点スコアを取得してもよい。例えば、所定のスライドからの全ての画像の焦点スコアの平均値、又はそれらの標準偏差を測定してもよい。代替的に、所定のスライドに関する所定の閾値を超える画像の数を測定し得る。そして、焦点スコアが容認できないと見なされる場合、あるバッチの中の特定のスライドを再処理する。代替的に、周期的又は累積的スコアをあるバッチの中で複数のスライドに与えてもよい。周期的又は累積的スコアが所定の閾値を超える場合、これらのスライドは疑わしいものと見なされ、結果として再走査する必要がある。閾値は、現在のズレ量の値、標準偏差値、割合、又は他の測定基準でよい。
【００４１】
本発明に係る一実施例では、自動化された画像処理装置が、所定の範囲の条件を満たしたスコアから外れる所定のスライドの画像の数を追跡する。これらの基準を満たさない画像の数が特定の数を超える場合、スライドを再処理する。例えば、画像処理装置は、スライドから得られる２０００画像のうちの１００以上が条件を満たした範囲から外れるスライドを再処理する。代替的に、それぞれの焦点スコアが所定の閾値又は範囲を超える場合、個々のスライド又はスライドのバッチにフラグを立てる。そして、ユーザは、スライドを容認するか又はそれらを再び画像処理装置３２に通すことを選ぶ。本発明に係る別の実施例では、あるパーセントを超えるスライドがこのような方法で否認された場合に、検体画像処理装置がそれ自身を再検査し又はメンテナンスを要することをユーザに知らせる。
【００４２】
本発明に係る別の実施例では、自動化された画像処理装置が、条件を満たした画像についてブレナー比のスコアを計算し、スコアが条件を満たさない場合にはいつでも同じ場所で新たな画像を受け入れる。本装置は、エラーを発見する場合に即座にその場所に戻り、又は画像が条件を満たさない全ての場所を思い出し、残りのスライドが走査された後にそれらの場所に戻って新たな画像を受け入れる。
【００４３】
本発明に係る別の実施例では、自動化された画像処理装置が比のスコアの動向を認識し、その動向に基づいて今後の焦点の移動を修正しようと試みる。例えば、全ての画像が４μｍのズレ量を有すると推定される場合、本装置は、そうでなければ１μｍを超える高さで取得したであろうがここでは１μｍの高さで次の画像を取得する。次の画像の推定されたズレ量が減少する場合、本装置は、焦点の質がこれ以上良く成らなくなるまで、１μｍずつ高さのオフセットを増やし続ける。一方、次の画像の推定されたズレ量がより大きい場合、本装置は反対の向きにオフセットを増加させる。
【００４４】
一定の間隔で又は二分探索のパターンで高さを変えることによって理想的な焦点高さを検索し、各高さで自動焦点スコアを比較することは、自動化された画像処理で一般的な方法である。本発明に係る一実施例では、自動焦点スコアに曲線を適合させこのような曲線に基づいて焦点高さを調整するよって、このようなプロセスが、より効果的且つ精度よくなる。様々な焦点高さで取得された各デジタル画像によって複数のデジタル画像を取得する。そして、各画像についてブレナースコアを計算し、スコアに適合しブレナー関数のピーク（最適又は理想的な焦点高さ）を推定することができる関数（例えば、曲線）を作成する。そして、データに関して作成した曲線を用いて焦点長さを調整する。
【００４５】
本発明に係る別の実施例では、検体１４のデジタル画像を取得する。次に、隣接するピクセル対の平均の差を二乗し、デジタル画像の中の一連のピクセル１００にわたって二乗した差を合計することによって、高分解能のブレナースコアを計算する。近くの３つのピクセルの平均の差を二乗し、デジタル画像の中の一連のピクセルにわたって二乗した差を合計することによって、低分解能のブレナースコアを計算する。そして、高分解能のブレナースコアを低分解能のブレナースコアで割ることによって、比を計算する。代替的に、低分解能のブレナースコアを高分解能のブレナースコアで割ることによって、比を計算する。上述の比のうちの一方に基づいて、焦点長さを調整する。調整の程度は、実験的なデータによって又は理想的な焦点からのズレ量の程度に対する比に関する式３のようなモデル化した式を通して決められる。
【００４６】
所定の比については、２つのズレ量の値（正の値及び負の値）があるため、検体画像処理装置３２は２つの選択肢のうちの一方をランダムに選びそれに応じて動く。そして、第２の（又は追加的な）画像を取得して最適な焦点に達しているか否かをチェックする。代替的に、初期画像が焦点面の一方の既知の側であると予測されるように、システムがセットされる。例えば、検体が光学素子にもっと近付くよう移動することを要すると推定するのが理にかなうように、初期の画像を所定の位置で取り込む。これに関連して、システムは、別の調整又は追加的な調整を行って光学焦点位置に達するよう焦点長さを減らす。
【００４７】
検体画像処理装置３２のコンピュータシステム４６は、計算した比の関数としてズレ量の値を有する参照テーブル又はデータベースを有してよい。これに関連して、実際の焦点からの推定されるズレ量に関して迅速な判定を行うことができる。データベース又は参照テーブルから推定されるズレ量の値を取得すると、検体１４を（ステージ４０を介して）光学装置に向けて又はそれから遠ざけるよう移動できる。代替的に、式９といった式の係数をデータセットに基づいて計算し、式の逆関数を用いて計算した比の関数としてズレ量を予測してもよい。
【００４８】
検体１４（及び／又は光学装置）が予測された正しい焦点面を調整するよう移動すると、検体画像処理装置３２を介して検体の別の画像を取得する。別の画像を使用して新たな場所が光学焦点位置に有るか又はそれに十分近いか否かを確認する。本書に記載されているようなブレナースコア又は比を再び計算することによって、これを判定することができる。例えば、別の新たな場所が最適な焦点位置から依然として離れている場合、検体１４及び／又は光学装置を新たなスコア又は比に従って所定量（すなわち、ズレ量）移動させる。装置３２が最適な（又はほとんど最適な）焦点面に達するまで、このようなプロセスを任意の回数繰り返す。
【００４９】
本発明に係る一実施例では、様々な焦点高さで複数の画像を取得するための標準的な自動焦点方法を使用する装置を改良して、釣鐘曲線の式をこれらの複数の画像からのスコアに適合し、データから釣鐘曲線のピークを補間し得る。このような方法を使用して、比較的大きなオフセット（例えば、４μｍ）でデータ点を集めることができるが、非常に細かい分解能で理想的な高さを推定することができる。図５は、ズレ量の関数としてのブレナースコア（ｙ軸）のグラフを示す。３つの中実のダイヤモンドは、４μｍずつのステップを用いて収集されたデータ点を表している。点線は、この３つのデータ点（中実のダイヤモンド）を用いた最良な適合を表している。最良な適合は、式３のような指数関数を用いてモデル化又は近似し得る釣鐘型の曲線である。複数の高さでの同じフィールドについて焦点スコアを適合させると、焦点スコア曲線のピーク（又は光学焦点位置）を見付けることができる。これは、個々のフレーム間のステップ高よりも細かい分解能で推定する。また、図５は、焦点面を１μｍと小さくステッピングすることによって取得された実測データを示している。図５に示すように、最良な適合曲線が、焦点面の１μｍの段階的な調整から得られるデータと完璧に近い整合を示している。これは、広い間隔の中実の点からピークを推定することで、狭い間隔でより多くの画像を取得することによって得られるのと同じように、これらの画像を取得するのに要するさらなる時間なしにかなりの精度向上をもたらすことを示している。
【００５０】
複数のデータ点の最良の曲線適合を用いて釣鐘型曲線のピークを推定することによって、検体画像処理装置の焦点動作の速さ及び精度を高めることができる。最良の焦点高さのために一定の間隔又は二分探索で移動させるのではなく、焦点アルゴリズムが、曲線を存在するポイントのセットに適合し、推定された曲線のピークで次の画像を取得することができ、より迅速にピークに収束し得る。
【００５１】
本実施例は、デジタル画像における小スケール及び大スケールのテクスチャを計算及び測定するためのブレナースコアの使用について説明している。しかしながら、当業者に既知の他の自動焦点スコア法もまた使用して小スケール及び大スケールのテクスチャの分解能を数値化してもよいことに留意されたい。
【図１】
2010512545.tif 000014
【図２】
2010512545.tif 000015
【図３】
2010512545.tif 000016
【図４】
2010512545.tif 000017
【図５】
2010512545.tif 000018
【国際調査報告】
2010512545.tif 000019
2010512545.tif 000020
2010512545.tif 000021
2010512545.tif 000022