(57)【要約】  プロセッサ（３０１）を用いて画像（１３５，１７１）中の少なくとも１つの粒子（１４０）の粒子境界（１６５）を識別することにより粒子（１４０）を特徴付ける方法である。該方法は、閾値法を用いて画像（１３５，１７１）を処理し、少なくとも１つの粒子（１４０）に対応する第１の境界（１６０ａ）を決定することと、エッジ検出法を用いて画像（１３５，１７１）を処理し、少なくとも１つの粒子（１４０）に対応する第２の境界（１６０ｂ）を決定することとを含む。第１の境界（１６０ａ）と第２の境界（１６０ｂ）とを組み合わせて結合境界（１６０）を作成する。結合境界を用いて少なくとも１つの粒子（１４０）の粒子境界（１６５）を決定する。エッジ検出法で用いられるパラメータは適応的であり、画像（１３５，１７１）を参照して決定される。
2019526865.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサを用いて画像中の少なくとも１つの粒子の粒子境界を識別することにより粒子を特徴付ける方法であって、
閾値法を用いて前記画像を処理して、前記少なくとも１つの粒子に対応する第１の境界を決定するステップと、
エッジ検出法を用いて前記画像を処理して、前記少なくとも１つの粒子に対応する第２の境界を決定するステップと、
前記第１の境界と前記第２の境界とを組み合わせて結合境界を作成するステップと、
前記結合境界を用いて前記少なくとも１つの粒子の粒子境界を決定するステップとを含み、
前記エッジ検出法で用いられるパラメータが適応的であり、前記画像を参照して決定される方法。
【請求項２】
前記閾値法が、適応的閾値法であり、閾値は、前記画像に基づき決定または修正される、請求項１に記載の方法。
【請求項３】
前記適応的閾値法が、前記画像中の強度の範囲を計測するステップと、前記画像中の前記強度の範囲のパーセンテージを参照して前記閾値を決定するステップとを含む、請求項２に記載の方法。
【請求項４】
前記適応的閾値法が、ピクセル強度の上位及び下位パーセンタイルを決定するステップと、その後、前記上位及び下位パーセンタイル間の差を用いて前記閾値を決定するステップとを含む、請求項２または３に記載の方法。
【請求項５】
前記上位パーセンタイルが８０パーセンタイルと９９パーセンタイルの間のパーセンタイルであり、かつ／または、前記下位パーセンタイルが１パーセンタイルと２０パーセンタイルの間のパーセンタイルである、請求項４に記載の方法。
【請求項６】
前記エッジ検出法が、キャニーによるエッジ検出法である、前記請求項のいずれかに記載の方法。
【請求項７】
前記画像を参照して、キャニーによるエッジ検出法のための低閾値及び／または高閾値を決定する、請求項６に記載の方法。
【請求項８】
前記低閾値が前記画像の強度の標準偏差を参照して決定され、前記高閾値が前記低閾値の倍数である、請求項７に記載の方法。
【請求項９】
前記結合境界を含む画像に対し閉じ操作を実行するステップを含む、先行請求項のいずれかに記載の方法。
【請求項１０】
プロセッサを用いて取り込み画像中の少なくとも１つの粒子の粒子境界を識別することにより粒子を特徴付ける方法であって、
閾値法を用いて前記取り込み画像を処理し、強度閾値に基づき粒子に対応する画像特性を識別するステップと、
前記画像特性の連続したピクセルの周りに境界ボックスを描くことにより、前記取り込み画像中の関心領域であって、粒子に対応する少なくとも１つの識別された画像特性をそれぞれが備える関心領域を識別するステップと、
前記取り込み画像から、それぞれ前記取り込み画像より小さくかつ関心領域に対応する少なくとも１つの画像領域を抽出するステップと、
各画像領域に対し先行請求項のいずれかに記載の処理方法を用いて、少なくとも１つの粒子の前記粒子境界を決定するステップとを含む方法。
【請求項１１】
前記取り込み画像を処理して粒子に対応する画像特性を識別するステップの前に、フラットフィールド補正を実行することにより照明変動を補正するステップを更に含む、請求項１０に記載の方法。
【請求項１２】
各画像領域を処理して粒子境界を決定するべきか判断するための拒否基準を適用して、粒子を含む可能性が低い画像領域を除去するステップを含む、請求項９から１１のいずれかに記載の方法。
【請求項１３】
前記取り込み画像を処理して粒子に対応する画像特性を識別するステップの前に、シグマフィルタ等の、エッジ保存フィルタを用いて前記取り込み画像を処理するステップを更に含む、請求項９から１２のいずれかに記載の方法。
【請求項１４】
先行請求項のいずれかの方法を実行するように構成されたプロセッサを含む、粒子を特徴付けるための装置。
【請求項１５】
請求項１から１３のいずれかの方法を実行するようにプロセッサを構成するための命令を含む機械可読不揮発性メモリ。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
本発明は、画像処理、特に粒子のエッジを識別するための画像データ処理に関する。
粒子特性評価の一方法には、少なくとも１つの粒子を含む画像を取得するステップと、その画像を処理し粒子を識別かつ特徴付けるステップとが含まれる。画像のどの部分が粒子であり、どの部分が非粒子であるかは識別する必要がある。この問題は、セグメンテーションと呼ばれる、背景（非粒子）からの前景（単数または複数の粒子）の分離である。背景は、例えばノイズにより、あるいは照度の変化により、強度のばらつきを含む可能性がある。
【０００２】
この背景から前景を分離する問題、すなわち、粒子境界を識別する問題は、粒子と背景との間のコントラストが低い場合に特に難しくなる。例えば、タンパク質を含むバイオ医薬品化合物は、（典型的な撮像波長で）通常は大量の光を吸収したり散乱したりせず、標準的な顕微鏡技術で背景と区別するのは難しい。そのため、コントラストの低い画像が生じる。
【０００３】
既存のセグメンテーション法は、例えばオオツの手法（Ｏｔｓｕ，Ｎｏｂｕｙｕｋｉ．“Ａ  ｔｈｒｅｓｈｏｌｄ  ｓｅｌｅｃｔｉｏｎ  ｍｅｔｈｏｄ  ｆｒｏｍ  ｇｒａｙ−ｌｅｖｅｌ  ｈｉｓｔｏｇｒａｍｓ．”Ａｕｔｏｍａｔｉｃａ  １１．２８５−２９６（１９７５）：２３−２７）に基づく閾値分析を含む。この方法は、計算コストは低いが、低コントラスト粒子のセグメンテーションには適さない可能性がある。
【０００４】
最近になって、「動的輪郭」（Ｄｕａｎ，Ｄ．Ｚ．Ｈ．Ｑ．Ｃ．＆．Ｘ．Ｓ．，２０１５．Ａ  ｒｅｖｉｅｗ  ｏｆ  ａｃｔｉｖｅ  ｃｏｎｔｏｕｒ  ｍｏｄｅｌ  ｂａｓｅｄ  ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ａｌｇｏｒｉｔｈｍｓ，Ｃｈｉｎｅｓｅ  Ｊｏｕｒｎａｌ  ｏｆ  Ｂｉｏｍｅｄｉｃａｌ  Ｅｎｇｉｎｅｅｒｉｎｇ，３４（４），ｐｐ．４４５−４５４）と呼ばれる、一群のセグメンテーション技術が開発されている。このような技術は、セグメンテーション問題をエネルギー最小化問題として提起する。効果的なセグメンテーションが可能であるが、これらの技術には２つの主たる欠点がある。第一に、一般的にランダムシードが用いられるため、解決法が一意ではなく結果が再現できない。第二に、これらの方法の反復性により、実行にある程度の時間が必要であり、その時間は、画像の複雑さ及び利用可能な演算能力によって決まる。現在の技術では、演算能力に相当な投資をせずに、非常に短い時間（例えば、数秒、もしくは１秒未満）で解決法を得ることは不可能である。
【０００５】
計算ソースを効率的に用いると同時に（例えば低コントラストの画像において）良質な粒子境界識別を提供する解決策が望まれている。
本発明の第１の態様では、画像における少なくとも１つの粒子の境界を、プロセッサを使って識別することにより粒子を特徴付ける方法が提供される。該方法は、
強度ベース法を用いて画像を処理し、少なくとも１つの粒子に対応する第１の境界を決定するステップと、
勾配ベース法を用いて画像を処理し、少なくとも１つの粒子に対応する第２の境界を決定するステップと、
第１の境界と第２の境界とを組み合わせて結合境界を作成するステップと、
結合境界を使って少なくとも１つの粒子の粒子境界を決定するステップとを含む。
【０００６】
強度ベース法と勾配ベース法との組み合わせは出願人により発見され、その結果、粒子境界の迅速かつ信頼性のある識別が可能になった。
第１の境界と第２の境界とを組み合わせるのにＯＲ演算子を使ってもよい。
【０００７】
該方法がさらに、粒子境界（例えば、形状またはサイズ、あるいは複数の粒子にわたるこれらの特性の分布）を使って画像における粒子の特徴を決定するステップを含んでもよい。
【０００８】
該方法が、画像における粒子の特徴、例えば粒子サイズ分布、あるいは形状及びサイズに関係するパラメータの平均値及び／または中央値、の概要を決定するステップを含んでもよい。
【０００９】
該方法が、カメラを使って画像を取得するステップを含んでもよい。
強度ベース法は、画像の強度に基づく任意の方法であってもよく、例えば閾値法（例えば予め定められた閾値を持つもの）またはオオツの手法のような、適応的閾値法（閾値が画像に基づき決定または修正される）であってもよい。
【００１０】
適応的閾値法は、画像の強度の範囲を計測するステップと、画像の強度の範囲のパーセンテージを参照して閾値を決定するステップとを含んでもよい。
適応的閾値を決定するステップは、ピクセル強度（または明るさ）の上位及び下位パーセンタイル（例えば、それぞれ９５及び５パーセンタイル）を決定するステップを含んでもよい。適応的閾値は、上位及び下位パーセンタイル間の差のあるパーセンテージ（例えば、差の８０％）でもよい。他の実施形態では、異なる値を用いてもよい。下位パーセンタイルは１から２０パーセンタイルでもよい。上位パーセンタイルは８０と９９の間のパーセンタイルでもよい。差のパーセンテージは６０％から１００％の間でもよい。
【００１１】
勾配ベース法は、画像の強度勾配を参照して計算される任意の方法でよい。勾配ベース法は、エッジ検出法でもよい。画像中の強度の一次または二次勾配に基づく勾配ベースの技術が適しており、さらに任意の適切な平滑化フィルタを使ってもよい。特定の勾配ベース法の例として、キャニーによるエッジ検出（Ｃａｎｎｙ，Ｊ．，１９８６．Ａ  ｃｏｍｐｕｔａｔｉｏｎ  ａｐｐｒｏａｃｈ  ｔｏ  ｅｄｇｅ  ｄｅｔｅｃｔｉｏｎ．ＩＥＥＥ  Ｔｒａｎｓ．Ｐａｔｔｅｒｎ  Ａｎａｌ．Ｍａｃｈ．  Ｉｎｔｅｌｌ．，  ８（６），ｐｐ．７６９−７９８．）があるが、それ以外の勾配ベース法、たとえば、ゼロ交差法、ソーベル（Ｓｏｂｅｌ）またはプレヴィット（Ｐｒｅｗｉｔｔ）演算子を使って決定される勾配に対して実行される方法、ウォーターシェッド法及び／またはガウス演算子のラプラシアンを決定するステップを含む方法を用いてもよい。
【００１２】
勾配ベース／エッジ検出法のパラメータは適応的であってもよく、画像を参照して決定されてもよい。
エッジ検出法（例えば、キャニーエッジ検出法）の１つ以上のパラメータ（閾値など）を、画像を参照して決定してもよい。キャニーエッジ検出法で用いられる二重閾値のうちの一方または両方を、画像を参照して決定してもよい。二重閾値のうちの一方または両方を、画像統計値に基づき調整してもよい。閾値のうちの一方または両方を調整（または決定）するのに用いられる画像統計値は、画像強度の標準偏差（あるいはその倍数）でもよい。
【００１３】
例えば、キャニー法の低閾値を、画像強度の標準偏差のパーセンテージとして決定してもよい。
ある実施形態では、最大可能画像強度（例えば、８ビットグレースケール画像の場合は２５５）と画像ピクセルの強度の上位パーセンタイル（例えば９９パーセンタイル）との間の差を見つけることにより、低閾値を決定してもよい。
【００１４】
（低閾値がどのように決定されるかにかかわらず）低閾値から、高閾値を（例えば、低閾値の所定倍数として）決定してもよい。
該方法が、エッジ保存フィルタを使って画像を処理するステップを含んでもよい。第１及び第２のセグメント化画像が決定される前に、エッジ保存フィルタを適用してもよい。エッジ保存フィルタは、リーのシグマフィルタ（“Ｄｉｇｉｔａｌ  ｉｍａｇｅ  ｎｏｉｓｅ  ｓｍｏｏｔｈｉｎｇ  ａｎｄ  ｔｈｅ  ｓｉｇｍａ  ｆｉｌｔｅｒ”ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  Ｇｒａｐｈｉｃｓ  ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  ｖｏｌ．２４，２５５−２６９（１９８３））などのシグマフィルタを含んでもよい。これにより画像ノイズが減じられると同時に粒子エッジが効果的に強化されることがわかっており、強度法及び勾配法を用いて第１及び第２のセグメント化画像を決定する次に続く処理ステップが支援される。
【００１５】
該方法は、結合境界を含む画像に対し閉じ操作を実行すること（例えば、境界の不完全な検出による境界の穴を埋める）を含んでもよい。閉じ操作は、３×３正方形構造化要素を用いるステップを含んでもよい。閉じ操作は、侵食操作が後に続く拡張操作として定義されてもよく、拡張及び侵食操作は同じ構造化要素（例えば３×３正方形）を用いて実行される。４×４正方形や５×５正方形などの、他の構造化要素を用いてもよい。
【００１６】
本発明の第２の態様では、プロセッサを使って、取り込み画像中の少なくとも１つの粒子の粒子境界を識別することにより粒子を特徴付ける方法が提供される。取り込み画像を処理して、粒子に対応する（あるいは粒子と対応する可能性が高い）画像特性を識別する。取り込み画像においては、粒子に対応する少なくとも１つの識別された特徴をそれぞれが含む関心領域を識別する。取り込み画像の少なくともいくつかは、関心領域のいずれにも含まれない可能性がある。取り込み画像から、取り込み画像より小さく、関心領域に対応する少なくとも１つの画像領域を抽出する。少なくとも１つの画像領域の少なくともいくつかを、本発明の第１の態様の発明に従って処理して、少なくとも１つの粒子の粒子境界を決定する。
【００１７】
該方法はさらに、（取り込み画像を処理して粒子に対応する画像特性を識別するステップの前に）フラットフィールド補正を実行することにより照明変動を補正するステップを含んでもよい。粒子を何ら含まない、照明が当てられたキャリブレーション画像を参照して、フラットフィールド補正を決定してもよい。（例えば閾値強度に基づき）粒子に関連しない可能性が高いと判断されるピクセルのみをフラットフィールド補正に用いることで、粒子を含む複数の照明が当てられたキャリブレーション画像を参照して、フラットフィールド補正を決定してもよい。
【００１８】
フラットフィールド補正はさらに、照明なしで撮られた暗い画像を用いてイメージング検出器における固定パターンノイズを補正するステップを含んでもよい。
該方法は、取り込み画像を処理して粒子に対応する特性を識別する前に、（上述した）エッジ保存フィルタを使って取り込み画像を処理することを含んでもよい。
【００１９】
取り込み画像を処理して粒子に対応する画像特性を識別するステップは、閾値操作を適用して、（明視野画像用の）閾値より低い明るさ（または強度）を持つ画像特性または（暗視野画像用の）閾値より高い明るさを持つ画像特性を識別するステップを含んでもよい。閾値操作は、取り込み画像で見出された明るさの分布に基づき閾値を決定するステップを含んでもよい。より一般的にいえば、閾値は、取り込み画像に対し適応的及び反応的であっても（あるいは取り込み画像を参照して決定されても）よい。ある実施形態において、明るさの分布の統計的性質を参照して（例えば、モード値または平均値からの標準偏差の倍数を参照して）、閾値を決定してもよい。取り込み画像中の粒子に対応する画像特性を識別するために、第１の態様に関して説明したのと同じ適応的閾値法を適用してもよい。
【００２０】
取り込み画像から一連のより小さな画像領域を取得し、取り込み画像それぞれを別々にセグメント化することにより、粒子の周りの特定の画像領域に基づき適応的閾値基準を設定でき、その結果、該方法の整合性及び正確性が向上するとともに、計算のオーバーヘッドが縮小する。勾配または閾値ベース法のいずれかによって粒子境界を識別するために、取り込み画像の大部分を処理しなくてもよい。画像領域（もしくは関心領域）の一部でない取り込み画像の領域を、さらなる処理を行うことなく廃棄してもよい。
【００２１】
ある実施形態では、各画像領域は、画像領域が第１の態様に従って処理されるかまたは（例えば、特性が単にノイズである画像領域、あるいは焦点が合っていない画像領域を除去するために）処理されないかを判断する拒否基準の対象であってもよい。拒否基準は、画像領域内の明るさ（または強度）の範囲に基づいてもよく、また、例えば、閾値よりも明るさの範囲が小さい各画像領域を拒否するというように、閾値に基づいてもよい。拒否基準はまた、強度の標準偏差のような統計値に基づいてもよい。明るさの範囲を、明るさの上位パーセンタイル及び下位パーセンタイル（例えば、それぞれ９９パーセンタイル及び１パーセンタイル）間の明るさの差として決定してもよい。閾値は、明るさの上位パーセンタイルのパーセンテージ（例えば、１％、すなわち９９パーセンタイルの１％）であってもよい。この計算の上位パーセンタイルは８０と９９の間、下位パーセンタイルは１と２０の間であってもよい。上位パーセンタイルのパーセンテージは、１％から１０％であってもよい。
【００２２】
取り込み画像は、イメージング顕微鏡の視野を備えてもよい。該方法は、カメラから画像を取得することを含んでもよい。
別の実施形態によれば、粒子を特徴付けるための装置が提供され、該装置は、第１または第２の態様の方法を実行するように構成されたプロセッサを備える。第１または第２の態様の方法を実行するようにプロセッサを構成するための命令を含む不揮発性の機械可読メモリ（例えば、ＣＤ−ＲＯＭ）が提供されてもよい。
【００２３】
該装置は、粒子を含む画像を取得するように構成されたカメラと、前述の方法に従って画像を処理し、画像中の粒子の特徴（例えば、その形状またはサイズ、あるいはこれらの特性の分布）を決定するように構成されたプロセッサを備えてもよい。該装置は、ユーザに粒子の特徴を示すためのスクリーンを備えてもよい。
【００２４】
該装置は、実施形態に従って処理された画像領域をそれぞれ含むサムネイル画像の配列をユーザに提示するように構成されてもよい。該装置は、粒子の特徴、例えば、粒子サイズ分布、または形状及びサイズに関連するパラメータの平均値及び／または中央値、の概要を提示するように構成されてもよい。
【００２５】
該装置を、ユーザが、どのように画像の処理を実行して粒子境界を決定するかを変更できるように構成してもよい。例えば、ユーザは、閾値パラメータの調整及び／または具体的な勾配ベース法の選択が可能であってもよい。
【００２６】
各実施形態及び／または各態様のそれぞれすべての特徴は、他の実施形態及び／または態様のそれぞれすべての特徴と組み合わせることができる。
以下に添付の図面を参照しながら例示的な実施形態を説明する。
【図面の簡単な説明】
【００２７】
【図１】一実施形態による方法のフロー図であり、画像が処理されて粒子境界が識別される。
【図２】別の実施形態による方法のフロー図であり、最初に取り込み画像が処理されて関心領域が識別され、その後、各関心領域が処理されて粒子境界が識別される。
【図３】フラットフィールド補正に用いられる画像のスタックである。
【図４】エッジ保存シグマフィルタの適用前の粒子の画像である。
【図５】エッジ保存シグマフィルタの適用後の図４の画像である。
【図６】取り込み画像から作成されたバイナリマスクであり、（閾値強度基準に基づき）粒子に対応するものとして識別されたすべての画像特性を示す。
【図７】図５を作成するのに用いられた取り込み画像であり、関心領域に分割されたものである。
【図８】（Ａ）タンパク質顕微鏡写真画像、（Ｂ）アンダーセグメント設定でエッジ検出法を適用することにより生じる検出エッジ、（Ｃ）オーバーセグメント設定でエッジ検出法を適用することにより生じる検出エッジ、を示す一連の画像である。
【図９】ａ）勾配ベース法を用いてエッジを識別するために生成された画像、ｂ）適応的強度閾値ベース法を用いる同じ画像処理、である。
【図１０】強度法及び勾配法により得られた境界の組み合わせを示し、検出エッジがどのように補完されて、実質的に正確な結合外部粒子境界を生成するかを示している。
【図１１】粒子を含む未処理の取得画像の領域である。
【図１２】一実施形態に従って画像を処理することにより得られた図１０に示す領域の境界を示す。
【図１３】一実施形態による装置の概略ブロック図である。
【発明を実施するための形態】
【００２８】
図１に、例示的な方法を示す。初期画像が当該方法の出発点であり、より大きな画像から関心領域として取得してもよいし、あるいは画像検出器からのフレームキャプチャであってもよい。
【００２９】
ステップ１１１で、強度ベース法を適用して第１の境界を決定する。上述したように、強度ベース法は、閾値法のような、画像の強度に基づき境界を識別する任意の方法である。
【００３０】
強度ベース法の結果を、論理（二値化）画像を決定するのに使用してもよい。論理画像では、各ピクセルを、閾値より「上」の場合は「粒子」、閾値より「下」の場合は「非粒子」と分類する。「上」という用語は、暗視野イメージングの場合は、閾値強度よりも高い強度値を有することを意味し、明視野イメージングの場合は低い強度値を有することを意味してもよい。第１の境界を、論理画像において「粒子」と識別された領域の境界から決定してもよい。
【００３１】
ステップ１１２で、勾配ベース法を採用して第２の境界を決定する。上述したように、勾配法は、強度勾配を参照して計算する任意の方法であってよい。
ステップ１０４で、この例ではＯＲ演算子を使って、第１の境界を第２の境界と結合することにより、結合境界を決定する。ピクセルが第１の境界または第２の境界にある場合（あるいは両方にある場合）、それらを結合境界に追加する。第１または第２の境界のどちらにもないピクセルは結合境界に含まない。
【００３２】
ステップ１０５で、結合境界から粒子境界を決定する。結合境界を処理して粒子境界を決定してもよく、例えば、偽の内部エッジを排除し、及び／または（上述したように、例えば閉じ操作を用いて）境界中の小さな隙間を閉鎖してもよい。
【００３３】
図２には、イメージング検出器から取り込まれる画像フレームにおける粒子の境界を識別するための方法が開示されている。この方法では、最初に画像フレームを処理して関心領域を識別し、その後、各関心領域を処理してその中の粒子境界を識別する。
【００３４】
ステップ１０１で、取り込み画像に対しフラットフィールド補正を実行する。フラットフィールド補正を実行する方法の１つは（例えば、粒子がない状態で）静的補正を用いることである。処理対象の画像の取り込みに用いられる照明設定に従って「ブランク」画像を取り込む。通常、検出器から固定パターンノイズを除去するのに照明なしの暗画像が用いられるが、これは必須ではない。
【００３５】
補正画像は以下の式から決定されてもよい。
【００３６】
【数１】
2019526865.tif 000003
【００３７】
上記式において、Ｉμは、取り込み画像の平均強度である。
あるいは、フラットフィールド補正は、（例えば、粒子が存在する状態でまたはイメージングフレームを通して流れている状態で）処理対象の画像を取り込んだ時間またはその付近で得られた多くのフレームから動的に決定されてもよい。例えば、１０個のフレームを取り込んでもよい。取り込むフレームが多ければ多いほど、動的フラットフィールド補正は正確になる。
【００３８】
図３は、動的フラットフィールド補正を決定するのに用いられる取り込まれたフレーム１２５のスタック(stack)１２０を示している。ｘ軸及びｙ軸は各フレームの画像寸法、ｚ軸はフレーム番号である。
【００３９】
動的フラットフィールド補正は、粒子に関連付けられているとして拒否されていない各ピクセルのｚ軸における平均強度及び標準偏差を決定するステップを含んでもよい。これには、取り込んだ各画像の最初のピクセルの平均強度を決定するステップ等が含まれる。フラットフィールド補正のためにどのピクセルを保持して平均化し、またどれを廃棄するかを決定するために、例えば次のように、各ピクセル位置(pixel position)について、各ピクセル位置での平均強度(average intensity)マイナスまたはプラス何らかの係数(SCALE)を掛けた各位置での標準偏差(std)、として上限(upper bound)及び下限(lower bound)を計算してもよい。
【００４０】
For all pixel positions
Lower_bound (pixel posn) = average_intensity(pixel posn) - SCALE*std(pixel posn)
Upper bound (pixel posn) = average_intensity(pixel posn) + SCALE*std(pixel posn)
各ピクセル位置について、これらの限界内である各画像中の位置のピクセルの平均強度を決定してマスクを作成してもよい。これらの限界内にないピクセルは、フラットフィールド補正に寄与しない。なぜならそれらは粒子に関連しているか、または、何らかの別の理由で偽物である可能性があるからである。以下の擬似コードに従ってマスク(mask)を決定してもよい。
【００４１】
For all positions in x,y
For images in stack z
If Lower bound <= pixel(x,y,z) <= Upper bound
pixel_average += pixel(x,y,z)
Count++
End for
Mask(x,y) = pixel_average/count
Average_mask_intensity += mask(x,y)
End for
Average_mask_intensity /= image_size
平均マスク強度(average_mask_intensity)は、すべてのマスク強度(mask intensity)の合計を単一の画像中のピクセルの数で割ったものである。マスク強度でこの平均強度を割ることにより最終的なフラットフィールド補正マスク(correction_mask)を決定してもよい。
【００４２】
correction_mask(x,y) = average_mask_intensity/mask(x,y)
上述したフラットフィールド補正を図１に記載した方法において使用してもよい（ただし、画像領域に有効に適用される可能性は低い）。
【００４３】
図２を参照すると、例示的な方法における次のステップは、エッジ保存フィルタで画像を処理するステップである。これは必須ではないが、取り込み画像のノイズを削減し、粒子と粒子境界の誤検知を避けるのに役立つ。好適なエッジ保存フィルタの例は、シグマフィルタである。これは、各ピクセルの周りにウインドウを取り、ウインドウ内の現ピクセルのシグマ内の強度を有するピクセルを互いに識別する。現ピクセルはその後、ウインドウ内のそのシグマ内にあるすべてのピクセルの平均に設定される。
【００４４】
７から１１までのサイズ（つまり、現ピクセルを中心に幅７から１１ピクセル）で、約５のシグマの正方形のウインドウが、８ビットの強度の深さを持つ１８メガピクセルカメラで撮られた低コントラストの画像にうまく機能することがわかっている。このようなフィルタの動作を図４及び図５に示す。図４及び図５はそれぞれ、シグマフィルタが適用される前後の取り込み画像の領域１３５を示す。粒子１４０及びその境界は保存されているが、背景１４５のノイズはかなり削減されている。
【００４５】
図２に戻り、例示的な方法の次のステップ１０３は、粒子を含む可能性のある取り込み画像中の関心領域を決定するステップである。上述したように、これを行うのに、境界を識別するための強度ベース法を参照して、上述したいずれかの特徴を含み得る閾値法を利用してもよい。
【００４６】
本実施形態において、これは９５及び５パーセンタイルピクセル強度間の差を計算することと、その差に０．８を掛けることとを含む。その目的は、すべての粒子と、後に拒否され得るいくらかのノイズを取り込む閾値を生成することである。閾値は、オオツの手法、または他の任意のふさわしい方法を使って生成することもできる。
【００４７】
この閾値は、ピクセルが、閾値より「上」の場合は「粒子」とラベル付けされる論理画像を生成するのに用いられる。図６は論理画像１２６を示す。閾値強度に基づき、黒は「非粒子」と分類されたピクセルを表し、白は「粒子」１４１に分類されたピクセルを表す。
【００４８】
図７を参照すると、各連続した「粒子」ピクセルの領域の周りに境界ボックスを描くことにより、ボックス１３５で示される関心領域を定義できる。各関心領域１３５は、例えば、境界ボックスから離れる各方向に予め定められた数のピクセルを含むことによって、境界ボックスより大きくてもよい。これらの関心領域１３５のそれぞれを別々に取り扱い、関心領域外のものをもはや不要のものとして廃棄してもよい。
【００４９】
関心領域（または画像領域）を作成したため、前述したように、これらのいくつかはノイズとして拒否できる。例示的な方法では、拒否基準は、画像領域中の強度の範囲に基づく。９９及び１パーセンタイルのピクセル強度間の差として計算された強度の範囲が、９９パーセンタイルのピクセル強度値の１％未満である場合、画像領域はノイズとして拒否される。画像領域を拒否することにより、取り込み画像を処理して粒子を識別する速度が向上する。
【００５０】
図２に戻り、その後、強度法１１１及び勾配ベース法１１２を用いて、各画像領域（または関心領域）を別々に処理し（１１０）、上述したように第１及び第２境界を決定する。これも上述したように、その後、ＯＲ演算子を使って第１及び第２境界を結合する。その後、（例えば、内部境界を廃棄することにより、また境界中の隙間を閉鎖することにより）各画像領域における粒子境界を結合境界から決定する。
【００５１】
この結果、取り込み画像（または画像フレーム）中の各関心領域について、粒子境界が決定される。この方法で決定された粒子境界を結合して、すべての粒子境界が存在する状態のフレームレベル画像を製造してもよい。このような結合画像の領域を図１１に示し、後で詳しく説明する。
【００５２】
図８Ａは、タンパク質１８０の顕微鏡写真画像を示す。タンパク質１８０の特性を特徴付けるために、タンパク質１８０の境界を正確に決定するのが望ましい。この課題（上述したように、第２の境界を決定すること）にエッジ検出法を適用すると、しばしば、多すぎる境界の識別（オーバーセグメンテーション）または不完全な／少なすぎる境界の識別（アンダーセグメンテーション）という結果になる。図８Ｂは、アンダーセグメンテーションを生じるパラメータ（低及び高閾値）を用いて、画像にキャニーエッジ検出法を適用して得られた境界１８１を示す。図８Ｃは、オーバーセグメンテーションを生じるパラメータを用いて、画像にキャニーエッジ検出法を適用して得られた境界１８２を示す。粒子分析という観点で確実にセグメント化されなければならない典型的な画像の範囲にふさわしいエッジ検出法のための固定パラメータを決定することは難しい。
【００５３】
出願人は、数多くの異なるエッジ検出法を検討し、適応的閾値を有するキャニーエッジ検出法（画像を参照して少なくとも１つの閾値を決定する）が、粒子分析の観点で優れた結果を提供することを発見した。大部分のエッジ検出法は、粒子画像のオーバーセグメンテーションを生じやすい。例えばウォーターシェッド法は、オーバーセグメンテーションを生じやすく、ゼロ交差法（Ｍａｒｒ−Ｈｉｌｄｒｅｔｈ法など）は「偽エッジ」を返しやすい。
【００５４】
適用可能かつ利用可能なエッジ検出法のうち、出願人は、適応的閾値法のエッジ検出が、偽のエッジ検出を最小化すると同時に、粒子の画像領域と関連する可能性のある広いコントラストの範囲を扱う柔軟性を提供するのに特に有利であることを確認した。特に、この方法は、粒子コントラストが高くなりやすい一般的なサンプルについて高いパフォーマンスを維持すると同時に、低コントラスト及び混合コントラストのサンプルに適応できる。
【００５５】
粒子分析に対し特に関心のある低コントラストのサンプルは、インスリン、ヒト成長ホルモン、インターフェロン、エリスロポエチン等に関連する、医薬品に用いられ得る可能性のあるバイオシミラーを含む。
【００５６】
分析用の完全なフレームは、高コントラスト及び低コントラスト粒子の両方に対応する画像領域を含んでもよく、セグメンテーション用に本明細書で開示される方法は、その両方を、高い信頼性で識別される粒子境界に適応させることができる。この性能に大きく貢献するのは、各関心領域において異なるセグメンテーションパラメータを使うことである。特に、適応的閾値と適応的エッジ検出法の組み合わせ（例えば、画像領域に基づき調整された閾値を有するキャニー法）が特に有利であることがわかっている。
【００５７】
図９に、勾配ベース法ａ）及び強度ベース法ｂ）を用いて決定される境界の例を示す。この例では、勾配ベース法はキャニーエッジ検出法であり、粒子１４０の低コントラストエッジの検出に失敗する。この場合は（上述したように）適応的閾値法である強度ベース法は、閾値強度に基づき、粒子１６１及び非粒子１６２として画像中のピクセルを分類することで、粒子１４０の境界１６０を正しく識別する。
【００５８】
これは勾配及び強度ベース境界検出がどのようにして補完し合い得るかを示す。この例では、結合境界は、単純に第１の境界であり、強度ベース法を用いて決定される。
強度及び勾配ベース法を用いてそれぞれ決定される第１及び第２の境界から結合境界を決定するさらなる例を図１０に示す。図１０は、強度ベース法を用いて処理されて第１の境界１６０ａを決定する第１画像１５３、勾配ベース法を用いて処理されて第２の境界１６０ｂを決定する第２画像１５４、結合境界１６０を示す第３画像を示す。
【００５９】
この例の第１の境界１６０ａは、上述したように、適応的閾値法を用いて決定される。この例の第２の境界１６０ｂはキャニーエッジ検出法を用いて決定される。第３画像１５５に示す結合境界１６０は、第１の境界及び第２の境界からのピクセルを含む（すなわち、第１及び第２の境界の論理ＯＲである）。
【００６０】
結合境界１６０をさらに処理して、例えば内部境界を廃棄し、結合境界に存在し得るいかなる小さな開口部をも接合する閉じ操作を実行することにより、粒子境界を決定してもよい。上述したように、閉じ操作は、３×３正方形構造要素（または５×５正方形構造要素）の使用を含んでもよい。
【００６１】
例示的な実施形態に係る取り込み画像の処理の結果を図１１及び図１２に示す。図１１及び図１２はそれぞれ、処理１７１の前の取り込み画像の一部と、粒子境界を決定するための処理１７２の後の取り込み画像の同じ部分を示している。粒子境界１６５は図１２に黒い実線で示されている。
【００６２】
本明細書に開示された方法の実施形態により、画像中で比較的低いコントラストを与える粒子であっても、画像中でサンプルの境界を迅速かつ確実に識別することができる。境界を使って、サイズ及び形状などの粒子の特性を決定してもよい。粒子の境界から粒子サイズ分布を決定し、（例えばグラフの形で）ユーザに提示してもよい。
【００６３】
不揮発性機械可読メモリ（例えばＣＤ−ＲＯＭ）を提供することで本方法を実行するプロセッサを構成してもよい。
一実施形態による粒子特性評価装置３００を図１３に概略的に示す。装置３００は、プロセッサ３０１、カメラ３０２、ディスプレイ３０３を備える。プロセッサ３０１は一実施形態による方法を実行するように構成される。カメラ３０２は、粒子を含む画像を取得してプロセッサ３０１にその画像を提供するように構成される。プロセッサ３０１は該方法に従って画像を処理し、画像中の粒子の特徴（例えば、形状またはサイズ、あるいはそれらの特徴の分布）を粒子の境界から決定する。プロセッサ３０１はスクリーン３０３を使ってユーザに対して粒子の特徴を表示するように構成される。
【００６４】
装置３００は、ユーザに対して（例えばディスプレイ３０３上で）サムネイル画像の配列を提示するように構成されてもよく、各サムネイルは画像領域を備え、実施形態に従って処理される。装置３００は、粒子の特徴の概要、例えば、粒子サイズ分布、または形状及びサイズに関連するパラメータの平均値及び／または中央値を提示するように構成されてもよい。
【００６５】
装置３００は、ユーザがどのように画像の処理を実行して粒子境界を決定するかを変更できるように構成されてもよい。例えば、ユーザは、閾値パラメータを調整可能であったり、または具体的な勾配ベース法を選択可能であったりしてもよい。
【００６６】
本明細書に記載の例は限定を意図するものではない。当業者は、添付の特許請求の範囲によって決定される本発明の範囲内で、他の多くの変形が可能であることを理解するだろう。
【図１】
2019526865.tif 000004
【図２】
2019526865.tif 000005
【図３】
2019526865.tif 000006
【図４】
2019526865.tif 000007
【図５】
2019526865.tif 000008
【図６】
2019526865.tif 000009
【図７】
2019526865.tif 000010
【図８Ａ】
2019526865.tif 000011
【図８Ｂ】
2019526865.tif 000012
【図８Ｃ】
2019526865.tif 000013
【図９ａ）】
2019526865.tif 000014
【図９ｂ）】
2019526865.tif 000015
【図１０】
2019526865.tif 000016
【図１１】
2019526865.tif 000017
【図１２】
2019526865.tif 000018
【図１３】
2019526865.tif 000019
【国際調査報告】
2019526865.tif 000020
2019526865.tif 000021