(57)【特許請求の範囲】
【請求項１】
解析用の細胞画像を向上させる方法であって、
細胞画像に多重閾値処理を行って前記細胞画像の複数の画像を生成する工程と、
前記複数の画像の各画像内における各細胞領域を平滑化する工程と、
前記平滑化した細胞領域をマージレイヤーにマージする工程と、
前記マージレイヤーの前記細胞領域を凸細胞領域と凹細胞領域に分類する工程と、
対応する前記凹細胞領域の各々に対する細胞境界線を当該凹細胞領域と結合して、前記凹細胞領域の各々について滑らかな形状の輪郭を生成する工程と、
前記凸細胞領域と滑らかな形状の輪郭を有する前記凹細胞領域を結合することによって出力画像を生成する工程と、
を備えることを特徴とする方法。
【請求項２】
前記多重閾値処理は、以下のステップを備えることを特徴とする請求項１に記載の方法。
【数１】
0006745691.tif 000004
[上記ステップにおいて、βは細胞を異なるレイヤーに分ける初期サイズであり、α１及びα２はイテレーションごとの増分を表す。]
【請求項３】
β＝１０００，α１＝２０及びα２＝５００であり、最大イテレーションは６に設定されることを特徴とする請求項２に記載の方法。
【請求項４】
前記複数の細胞画像の各画像内における各細胞領域を平滑化する工程は、各細胞領域にガウシアン平滑化のアルゴリズムを適用する工程を備えることを特徴とする請求項１に記載の方法。
【請求項５】
前記凸細胞領域及び前記凹細胞領域を以下の式に基づいて決定する工程を備えることを特徴とする請求項１に記載の方法。
【数２】
0006745691.tif 000005
[上記式中、ｒは、凹みの程度を示す閾値である。]
【請求項６】
穴を有する凹細胞領域にエッジを加えて、前記穴を前記細胞画像上にマッピングする工程と、
内部に単一細胞領域がある穴のみを埋める工程と、
を備えることを特徴とする請求項１に記載の方法。
【請求項７】
解析用の細胞画像を向上させるためのコンピューター読み取り可能コードを有し、コンピューターによって実行されることで当該コンピューターに処理を行わせるコンピュータープログラムであって、
前記処理は、
細胞画像に多重閾値処理を行って前記細胞画像の複数の画像を生成する工程と、
前記複数の画像の各画像内における各細胞領域を平滑化する工程と、
前記平滑化した細胞領域をマージレイヤーにマージする工程と、
前記マージレイヤーの前記細胞領域を凸細胞領域と凹細胞領域に分類する工程と、
対応する前記凹細胞領域の各々に対する細胞境界線を当該凹細胞領域と結合して、前記凹細胞領域の各々について滑らかな形状の輪郭を生成する工程と、
前記凸細胞領域と滑らかな形状の輪郭を有する前記凹細胞領域を結合することによって出力画像を生成する工程と、
を備えることを特徴とするコンピュータープログラム。
【請求項８】
前記多重閾値処理は、以下のステップを備えることを特徴とする請求項７に記載のコンピュータープログラム。
【数３】
0006745691.tif 000006
[上記ステップにおいて、βは細胞を異なるレイヤーに分ける初期サイズであり、α１及びα２はイテレーションごとの増分を表す。]
【請求項９】
β＝１０００，α１＝２０及びα２＝５００であり、最大イテレーションは６に設定されることを特徴とする請求項８に記載のコンピュータープログラム。
【請求項１０】
前記複数の細胞画像の各画像内における各細胞領域を平滑化する工程は、各細胞領域にガウシアン平滑化のアルゴリズムを適用する工程を備えることを特徴とする請求項７に記載のコンピュータープログラム。
【請求項１１】
前記処理は、前記凸細胞領域及び前記凹細胞領域を以下の式に基づいて決定する工程を備えることを特徴とする請求項７に記載のコンピュータープログラム。
【数４】
0006745691.tif 000007
[上記式中、ｒは、凹みの程度を示す閾値である。]
【請求項１２】
前記処理は、
穴を有する凹細胞領域にエッジを加えて、前記穴を前記細胞画像上にマッピングする工程と、
内部に単一細胞領域がある穴のみを埋める工程と、
を備えることを特徴とする請求項７に記載のコンピュータープログラム。
【請求項１３】
細胞画像を向上させるためのシステムであって、
細胞画像を生成するように構成される入力モジュールと、
前記細胞画像を向上させるように構成される少なくとも一つのモジュールと、を備え、
前記少なくとも一つのモジュールは、
前記細胞画像に多重閾値処理を行って前記細胞画像の複数の画像を生成し、
前記複数の画像の各画像内における各細胞領域を平滑化し、
前記平滑化した細胞領域をマージレイヤーにマージし、
前記マージレイヤーの前記細胞領域を凸細胞領域と凹細胞領域に分類し、
対応する前記凹細胞領域の各々に対する細胞境界線を当該凹細胞領域と結合して、前記凹細胞領域の各々について滑らかな形状の輪郭を生成し、
前記凸細胞領域と滑らかな形状の輪郭を有する前記凹細胞領域を結合することによって出力画像を生成するように構成されるプロセッサーを備えることを特徴とするシステム。
【請求項１４】
前記多重閾値処理は、以下のステップを備えることを特徴とする請求項１３に記載のシステム。
【数５】
0006745691.tif 000008
[上記ステップにおいて、βは細胞を異なるレイヤーに分ける初期サイズであり、α１及びα２はイテレーションごとの増分を表す。]
【請求項１５】
β＝１０００，α１＝２０及びα２＝５００であり、最大イテレーションは６に設定さ
れることを特徴とする請求項１４に記載のシステム。
【請求項１６】
前記複数の細胞画像の各画像内における各細胞領域を平滑化する工程は、各細胞領域にガウシアン平滑化のアルゴリズムを適用する工程を備えることを特徴とする請求項１３に記載のシステム。
【請求項１７】
前記プロセッサーは、前記凸細胞領域及び前記凹細胞領域を以下の式に基づいて決定するように構成されることを特徴とする請求項１３に記載のシステム。
【数６】
0006745691.tif 000009
[上記式中、ｒは、凹みの程度を示す閾値である。]
【請求項１８】
前記プロセッサーは、
穴を有する凹細胞領域にエッジを加えて、前記穴を前記細胞画像上にマッピングし、
内部に単一細胞領域がある穴のみを埋めるように構成されることを特徴とする請求項１３に記載のシステム。
【請求項１９】
前記出力画像を表示するためのディスプレイを備えることを特徴とする請求項１３に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、細胞解析を向上させるための方法及びシステムに関し、特に、例えば病理学画像から細胞体領域を抽出するための方法及びシステムに関する。
【背景技術】
【０００２】
病理学画像の定量解析では、分類アルゴリズムによる単一細胞の分類を行う前に、当該単一細胞について特徴の定量化を行う。しかしながら、例えば、図１Ａ及び図１Ｂに示すように、蛍光像上の細胞がギザギザの形状の輪郭を有することがあり、また、細胞体の内部が均一に埋まっていないことがある。
【０００３】
細胞体の正確な抽出は、例えばがん細胞の解析といった更なる病理学的解析のために細胞の特徴を定量化することに役立つ。しかしながら、従来のモルフォロジー演算は、細胞の分割時に別々の細胞をマージしたり重要な細胞領域を消去したりするため、一般的にこのような細胞画像に適用できない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の点を考慮すると、細胞体領域の正確な抽出に役立つシステム及び方法を有することが望ましい。
【課題を解決するための手段】
【０００５】
実施形態の例として、解析用の細胞画像を向上させる方法であって、細胞画像に多重閾値処理を行って前記細胞画像の複数の画像を生成する工程と、前記複数の画像の各画像内における各細胞領域を平滑化する工程と、非オーバーラップ法に従って前記平滑化した細胞領域をマージレイヤーにマージする工程と、前記マージレイヤーの前記細胞領域を凸細胞領域と凹細胞領域に分類する工程と、対応する前記凹細胞領域の各々に対する細胞境界線を当該凹細胞領域と結合して、前記凹細胞領域の各々について滑らかな形状の輪郭を生成する工程と、前記凸細胞領域と滑らかな形状の輪郭を有する前記凹細胞領域を結合することによって出力画像を生成する工程と、を備えることを特徴とする方法が開示される。
【０００６】
実施形態の例として、解析用の細胞画像を向上させるためのコンピューター読み取り可能コードを有し、コンピューターによって実行されることで当該コンピューターに処理を行わせるコンピュータープログラムであって、前記処理は、細胞画像に多重閾値処理を行って前記細胞画像の複数の画像を生成する工程と、前記複数の画像の各画像内における各細胞領域を平滑化する工程と、非オーバーラップ法に従って前記平滑化した細胞領域をマージレイヤーにマージする工程と、前記マージレイヤーの前記細胞領域を凸細胞領域と凹細胞領域に分類する工程と、対応する前記凹細胞領域の各々に対する細胞境界線を当該凹細胞領域と結合して、前記凹細胞領域の各々について滑らかな形状の輪郭を生成する工程と、前記凸細胞領域と滑らかな形状の輪郭を有する前記凹細胞領域を結合することによっ
て出力画像を生成する工程と、を備えることを特徴とするコンピュータープログラムが開示される。
【０００７】
実施形態の例として、細胞画像を向上させるためのシステムであって、細胞画像を生成するように構成される入力モジュールと、前記細胞画像を向上させるように構成される少なくとも一つのモジュールと、を備え、前記少なくとも一つのモジュールは、前記細胞画像に多重閾値処理を行って前記細胞画像の複数の画像を生成し、前記複数の画像の各画像内における各細胞領域を平滑化し、非オーバーラップ法に従って前記平滑化した細胞領域をマージレイヤーにマージし、前記マージレイヤーの前記細胞領域を凸細胞領域と凹細胞領域に分類し、対応する前記凹細胞領域の各々に対する細胞境界線を当該凹細胞領域と結合して、前記凹細胞領域の各々について滑らかな形状の輪郭を生成し、前記凸細胞領域と滑らかな形状の輪郭を有する前記凹細胞領域を結合することによって出力画像を生成するように構成されるプロセッサーを備えることを特徴とするシステムが開示される。
【０００８】
上述した概要及び以下の詳細な説明は共に、例示的かつ説明的なものであって、特許請求の範囲に記載された本発明について更なる説明を提供することを意図するものである。
【図面の簡単な説明】
【０００９】
【図１Ａ】均一に埋まっていない細胞領域における画素を示す図である。
【図１Ｂ】例えば、ギザギザを有する細胞境界線を示す図である。
【図２Ａ】機械学習プログラム又はアルゴリズムから出力されたマップを示す細胞領域画像の図である。
【図２Ｂ】実施形態の例による、境界イメージング処理から得られた細胞境界線を示す図である。
【図３】実施形態の例によるプロセス図を示している。
【図４】実施形態の例によるマルチレベル閾値処理の図を示している。
【図５】実施形態の例による二つの成分図のマージを示す図である。
【図６】実施形態の例による細胞の平滑化処理を示す図である。
【図７】実施形態の例による細胞のグループ分けを示す図である。
【図８Ａ】実施形態の例による凸細胞を示している。
【図８Ｂ】実施形態の例による凹細胞を示している。
【図９】実施形態の例による、欠落領域を回復する処理を示す図である。
【図１０】実施形態の例による、細胞境界線を追加して細胞の形状を修正する処理を示している。
【図１１】実施形態の例による、別々の細胞に囲まれていて埋めてはならない穴（丸で記した部分）を示す図である。
【図１２】穴（ライトグレーの領域）を有する細胞をオリジナル画像上に示して、穴領域に単一成分がある場合に穴を埋めたマップを示している。
【発明を実施するための形態】
【００１０】
本発明の好適な実施形態についてここに詳細に言及される。実施形態の例が、添付された図面により示されている。同じ又は類似の部分を指すために、図面及び明細書において可能な限り同じ参照番号が使用されている。
【００１１】
実施形態の例によれば、入力画像として、例えば、背景を除去した蛍光像や機械学習処理又はアルゴリズムから出力された画像がある。実施形態の例によれば、図２Ａに示すように、領域や外縁の強度関数によって領域が排他的に画定される。一般的に、上記画像は不完全な境界線や不規則な穴を有する細胞を含むことがあり、これらの境界線や穴には互いに接触して一つになっているものも含まれる。例えば、細胞を背景から分離して抽出した細胞の形状がオリジナル画像における実際の形状と同じであるような細胞画像が出力画像であることが期待される。実施形態の例により、望ましい細胞画像を取得するために、細胞境界線の平滑化、穴埋め、欠落領域の回復及び互いに接触している細胞の分離を備える方法及びシステムが開示される。
【００１２】
実施形態の例により、図３に示すような以下のモジュール３１０、３２０、３３０及び３４０を含む方法が開示される。上記モジュールは、閾値処理モジュール３１０、平滑化モジュール３２０、細胞グループ分けモジュール３３０及び欠落領域回復モジュール３４０を含む。入力画像３０２は、例えば、図１Ａ及び図１Ｂに示すような背景を除去した蛍光画像又は細胞画像から機械学習により出力したものである。
【００１３】
実施形態の例によれば、閾値処理モジュール３１０は、入力画像３０２に対してマルチレベル閾値法４００（図４）を行う。マルチレベル閾値法４００より出力されたものは平滑化モジュール３２０に供給され、平滑化モジュール３２０は閾値処理モジュール３１０から出力された細胞に対して細胞の平滑化処理６００（図６）を行う。
【００１４】
そして、細胞グループ分けモジュール３３０は、上記細胞を凹細胞３４２と凸細胞３４４に分類する。実施形態の例によれば、欠落領域回復モジュール３４０は、凹細胞３４２と機械学習モジュール３５２により生成された関連する細胞境界線を結合する。そして、欠落領域回復モジュール３４０により得られた滑らかな形状の輪郭を有する凹細胞と凸細胞３４４を結合して３５０、出力画像３６０を結合する。
【００１５】
実施形態の例によれば、閾値処理モジュール３１０、平滑化モジュール３２０、細胞グループ分けモジュール３３０及び欠落領域回復モジュール３４０は、メモリー、プロセッサー、オペレーティングシステム及び/又はソフトウェア及び/又はオプションのグラフィカル・ユーザー・インターフェース（ＧＵＩ）及び/又はディスプレイを有する１以上のコンピューター又は処理デバイスを含む。実施形態の例によれば、例えば、モジュール３１０、３２０、３３０及び３４０は、一つのコンピューター、例えばスタンドアロンのコンピューター内で組み合わせたり、１以上のコンピューターデバイス内に備えたりすることができる。当該１以上のコンピューターデバイスの各々は、メモリー、プロセッサー、オペレーティングシステム及び/又はソフトウェア及びグラフィカル・ユーザー・インターフェース（ＧＵＩ）又はディスプレイを有する。
[閾値処理]
【００１６】
領域が強度関数によって排他的に画定された図２Ａで示す尤度画像のような画像において、誤検出された領域のなかには、通常、確率の低いものがあるので、そのような誤検出を除去するために閾値処理を行う。画像内の全ての細胞に対するグローバル閾値を決めることは困難なため、図４に示すように、例えば、ある範囲の閾値を用いて、複数回、画像３０２に閾値処理を行うマルチレベル閾値法４００を用いる。実施形態の例によれば、例えば、接触している大きな細胞成分に対する閾値を最大にする一方で、小さな細胞成分を保持する。
【００１７】
実施形態の例によれば、閾値処理において、細胞は異なるレイヤーにグループ分けされ、各レイヤーにおいて、細胞成分が各々検出される。このため、各細胞成分は別々に処理される。実施形態の例によれば、閾値処理アルゴリズムは以下のように記載される。
【数１】
0006745691.tif 000002
上記ステップにおいて、βは細胞を異なるレイヤーに分ける初期サイズであり、α１及びα２はイテレーションごとの増分を表す。例えば、実施形態の例によれば、β＝１０００，α１＝２０及びα２＝５００であり、最大イテレーションは、例えば、６に設定される。
[平滑化]
【００１８】
図６は、実施形態の例による細胞の平滑化処理６００の図である。上記モジュールから複数のレイヤーを取得後、図６のステップ６１０において、各レイヤーで連結成分の解析を行い、ステップ６２０において、イメージング処理アルゴリズム、例えばガウシアン平滑化を適用して各成分を別々に平滑化する。全ての成分を平滑化後、ステップ６３０において、個々の連結成分は同じレイヤーで個別に（つまり一つずつ）同じ画像上にマージされる。マージする際に成分が別の成分と重なり合う場合は、重なった境界線を図５に示すように分離線で印づけし、隣接する細胞との接触を効果的に避ける。最後に、ステップ６４０において、各レイヤーの平滑化された連結成分は、図５に示すように一つの画像上で結合される。
[細胞のグループ分け]
【００１９】
実施形態の例によれば、単一細胞への過剰処理を避けるため、平滑化処理後の画像における全ての細胞を、凸細胞領域３４４及び凹細胞領域３４２の二つのカテゴリーに分類する。図８Ａ及び図８Ｂは、それぞれ凸細胞及び凹細胞の例を示す。凹みのある領域は、欠落した部分又は領域を有することがある。このため、実施形態の例によれば、次のセクションで記載するように、欠落部分を回復するために更なる処理が必要となることがある。
【００２０】
図７は、実施形態の例による細胞のグループ分け７００を示す図である。図６で示す処理で得られた結果から、結合画像６４０が受領され、ステップ７１０において連結成分が検出される。ステップ７２０において、各連結成分の凸包を抽出する。例えば、実施形態の例によれば、ステップ７３０において、以下の基準を用いて凸細胞領域７４０及び凹細胞領域７５０を決定する。
【数２】
0006745691.tif 000003
上記式中、ｒは凹みの程度を示す閾値である。Ｒが大きい場合、例えば、当該成分はより多くの凹みを有する。このことはまた、細胞領域が欠落している可能性がより高いことを意味し、例えば、ｒ＝２を用いることができる。最終的に、凸細胞領域に分類された細胞を一つのバッファー（画像）に移し、凹細胞領域に分類された細胞を別のバッファー（画像）に移す。
[欠落領域の回復]
【００２１】
凹細胞領域７５０の抽出後、細胞境界線が凹細胞領域上のオーバーレイに付加され、領域内の全ての穴が検出される。図９は、欠落領域回復モジュール３４０のプロセス図９００である。図９に示すように、ステップ９１０において、凹細胞領域を有する接触している細胞と細胞境界線オーバーレイが結合され、接触細胞（又は接触している細胞）を形成する。ステップ９２０において接触細胞の連結成分が取得され、ステップ９３０において各連結成分内の穴が検出される。ステップ９４０において、各穴について、穴の大きさが所定の大きさ（又は最大サイズ）より大きいか否かが判定される。穴の大きさが所定の大きさより小さい場合、ステップ９４２において当該穴は埋められる。穴の大きさが所定の大きさより大きい場合、ステップ９４４において当該穴内部に成分があるか否かが判定され、成分があると判定された場合、ステップ９４２において当該穴が埋められる。穴内部に成分がないと判定された場合、処理はステップ９４０に戻る。いったん穴が埋められると、ステップ９５０において、最終的な凹細胞画像が得られる。
【００２２】
実施形態の例によれば、完全な境界線を有する穴のみを埋めるので、例えば図１０に示すように、エッジを追加することで境界線が閉じる可能性は上がる。しかしながら、図１１に示すように、別々の細胞に囲まれた空間が埋められる場合もある。このような空間が埋められるのを避けるため、実施形態の例によれば、穴がオリジナル画像にマッピングされ、調べられて、穴内部に単一成分があるか否かが判定される。実施形態の例によれば、例えば、図１２に示すように穴の内部に成分がある場合のみ、穴は埋められる。
【００２３】
実施形態の例によれば、解析用の細胞画像を向上させるためのコンピューター読み取り可能コードを有し、コンピューターによって実行されることで当該コンピューターに処理を行わせるコンピュータープログラムであって、前記処理は、細胞画像に多重閾値処理を行って前記細胞画像の複数の画像を生成する工程と、前記複数の画像の各画像内における各成分を平滑化する工程と、前記平滑化した成分をマージレイヤーにマージする工程と、前記マージレイヤーの前記成分を凸細胞領域と凹細胞領域に分類する工程と、対応する前記凹細胞領域の各々に対する細胞境界線を当該凹細胞領域と結合して、前記凹細胞領域の各々について滑らかな形状の輪郭を生成する工程と、前記凸細胞領域と滑らかな形状の輪郭を有する前記凹細胞領域を結合することによって出力画像を生成する工程と、を備えることを特徴とするコンピュータープログラムが開示される。
【００２４】
コンピューター読み取り可能な記憶媒体は、磁気記録媒体、光磁気記録媒体又は将来開発されるだろう他の記録媒体であることができ、これらのすべては、本発明をすべて同様な方法で適用できると考えられる。そのような媒体の、最初の及び二次的な複製製品その他を含む複製物は上記媒体と同等と考えられることは疑いもない。さらに、本発明の実施形態がソフトウェアとハードウェアとの組合せである場合でも、本発明の概念から全く逸脱しない。本発明は、そのソフトウェア部分が事前に記録媒体に記載されることにより実行されることができ、作業において要求されるときに読み出される。
【００２５】
当業者にとっては、本発明の範囲や趣旨から逸脱しない範囲で、本発明の構成に様々な改良や変更を行うことが可能であることは明らかであろう。上記に鑑みて、本発明は、以下の特許請求の範囲やその均等物の範囲内となる改良や変更を包含するものである。
【００２６】
添付の図面は、本発明の更なる理解を提供するために含まれ、本明細書に組み込まれて当該明細書の一部を構成する。図面は本発明の実施形態を図示し、本明細書と共に、本発明の原理を説明することに寄与する。
【００２７】
本願は、２０１５年９月３０日に出願された米国仮特許出願第６２/２３５，１５７号を基礎出願とする優先権を主張するものであり、当該基礎出願の内容は全て本願に取り込まれる。
【図１Ａ】
0006745691.tif 000010
【図１Ｂ】
0006745691.tif 000011
【図２Ａ】
0006745691.tif 000012
【図２Ｂ】
0006745691.tif 000013
【図３】
0006745691.tif 000014
【図４】
0006745691.tif 000015
【図５】
0006745691.tif 000016
【図６】
0006745691.tif 000017
【図７】
0006745691.tif 000018
【図８Ａ】
0006745691.tif 000019
【図８Ｂ】
0006745691.tif 000020
【図９】
0006745691.tif 000021
【図１０】
0006745691.tif 000022
【図１１】
0006745691.tif 000023
【図１２】
0006745691.tif 000024