(57)【要約】  デジタル画像を複数の対象オブジェクトにセグメンテーションする方法は、画像の確率分布図を複数生成し、各確率分布図は異なるセグメンテーション分類子から得られ、結合した確率分布図を複数の確率分布図に基づき生成し、複数の画像ポイントを１つ以上のローカルオブジェクト極大値に基づいてマッピングし、マッピングしたポイントの少なくとも一部をベースとした１つ以上のオブジェクト制約を適用してローカルオブジェクト情報を識別し、ローカルオブジェクト情報及び背景マスクが与えられると、結合した確率分布図に１つ以上の領域閾値を適用して、画像を領域にセグメンテーションし、セグメンテーションした領域を対応するローカルオブジェクト極大値とマージすることによって少なくとも一部をセグメンテーションした画像を生成し、セグメンテーションした画像をデジタルデバイスに、少なくとも一時的に格納又は表示することを含む。【選択図】  図１
2013524361.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像を複数の対象オブジェクトにセグメンテーションする方法であって、
画像の確率分布図を複数生成し、各確率分布図は異なるセグメンテーション分類子から得られ、
結合した確率分布図を前記複数の確率分布図に基づき生成し、
複数の画像ポイントを１つ以上のローカルオブジェクト極大値に基づいてマッピングし、
前記マッピングしたポイントの少なくとも一部をベースとした１つ以上のオブジェクト制約を適用してローカルオブジェクト情報を識別し、
前記ローカルオブジェクト情報及び背景マスクが与えられると、前記結合した確率分布図に１つ以上の領域閾値を適用して、前記画像を領域にセグメンテーションし、
セグメンテーションした領域を対応するローカルオブジェクト極大値とマージすることによって少なくとも一部をセグメンテーションした画像を生成し、
前記セグメンテーションした画像をデジタルデバイスに、少なくとも一時的に格納又は表示する
ことを含んでなる方法。
【請求項２】
前記オブジェクト制約のうちの少なくとも１つは形態学的制約である、請求項１記載の方法。
【請求項３】
前記形態学的制約は細胞核に基づいている、請求項２記載の方法。
【請求項４】
前記対象オブジェクトは生物学的細胞である、請求項１記載の方法。
【請求項５】
セグメンテーション分類子は、大きさ、形状、強度、質感、ウェーブレット、及びフラクタルからなる群から選択される、請求項１記載の方法。
【請求項６】
前記結合した確率分布図は、前記複数の確率分布図の加重平均に基づく、請求項１記載の方法。
【請求項７】
前記加重平均は経験的に定義される、請求項６記載の方法。
【請求項８】
前記加重平均は予め定義されている、請求項６記載の方法。
【請求項９】
前記セグメンテーション分類子のうちの少なくとも１つはオブジェクト曲率に基づく、請求項１記載の方法。
【請求項１０】
前記セグメンテーション分類子のうちの少なくとも１つは、ガウス関数及び調和関数のから少なくとも部分的に得られる１組のデジタルフィルタである、請求項９記載の方法。
【請求項１１】
前記セグメンテーション分類子の１つ以上は、勾配、強度、ウェーブレット、又はフラクタルに基づく、請求項９記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、デジタル画像に関し、より具体的には、画像からコンテンツを抽出するための、デジタル画像の中にあるオブジェクトのセグメンテーションに関する。
【背景技術】
【０００２】
複雑な３次元物質の画像を、分析のために離散的及び同一視可能なオブジェクト又はターゲットにセグメンテーションすることは難しい問題であり、なぜなら、物質と関連した高度な可変性、並びに画像化システム自体の間の不一致、及び画像化システム自体によって引き起こされた例外のためである。
【０００３】
例えば、生物組織サンプルの画像を細胞及び細胞核等の構成要素にセグメンテーションすること又は描写することは、生物学的物質を染色する場合及び蛍光ベースの顕微鏡法による画像化と関連した、付加的に引き起こされた可変性による、特に重要な問題を引き起こす。薄い組織部分の３次元性は、１０倍以上の倍率において、ピント外れによる画像の乱れを引き起こす。１つの例として、細胞小器官レベルでのタンパク発現量の定量化は、組織サンプルのタンパク発現量の定量化に対する画像分析処理における必須のステップである。このタイプの定量分析は、生物学者及び病理学者が、高レベルの詳細さで、所与のがん腫瘍内における数千の細胞の分子地図を分析することを可能にする。タンパク発現量の複雑な経路に新しい見通しも提供する。ＧｅｎｅｒａｌＥｌｅｃｔｒｉｃのＩｎＣｅｌｌ２０００ａｎａｌｙｚｅｒ等の自動化された画像収集プラットフォームの出現と共に、組織サンプルからそのようなコンテンツを抽出し、分析するための自動化された方法の形態において、高いコンテンツ画像分析に対するニーズが増加した。
【０００４】
具体的には、生物学的サンプル分析に関し、細胞核を検出し、描写することと関連した多数の問題がある。細胞は３次元のオブジェクトであり、そのような細胞の画像は、組織の所与の薄片に対応する２次元投影を捕らえる。焦点面の外にある一部の細胞容量は、一般的に観察される。核の形状と大きさも、異なる組織タイプにわたり広く異なり、同じ組織タイプ内でも広く異なる。例えば、肺組織における上皮細胞核の形状は、肺組織における間質細胞核の形状と異なる。所与のがんの悪性度も、核の形状及び大きさに著しく影響する可能性がある。例えば、乳がんにおける細胞核の大きさは、診断上の指標となる。
【０００５】
細胞の多様性に加え、染色品質や組織処理もサンプル毎に異なり、非特異的結合及び組織の自己蛍光は減らすことができるが、通常は除去することができず、更に、画像収集システムは、特に、例えば、画像収集カメラがそれほど冷えていない場合、ノイズを引き起こし、ほとんどの顕微鏡は照射の不均一性の許容差を２０％までとして製造されている。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明による方法は極めて堅実な強化アプローチであり、技術的効果は、離散オブジェクト又は対象オブジェクトに画像をセグメンテーションすることである。本方法は、複数の、一般的に弱く、又は低品質で一様なセグメンテーション結果から、強固で又は信頼性のある一様なセグメンテーション結果を構築する。各弱いセグメンテーション方法により、異なるが補足的な情報を捕らえる確率分布図が生成される。強いセグメンテーションにより、例えば、加重平均又は加重和等の様々なパラメータ又は所定の規則に基づいて、弱いセグメンテーション方法からの確率結果を統合する。統合されたがより強固に結合したセグメンテーションまで、１つ以上の形態学的制約と共に、ウォーターシェッド法を適用し、画像の核領域を識別、及びセグメンテーションする。本方法は、まず、弱いセグメンテーションアルゴリズムを結合し、強いセグメンテーションアルゴリズムを生成する、様々な目的に対し様々な画像に適用され得る、より一般的なワークフローを用いて、本明細書に記載される。その後、一般的な方法が、生物学的サンプルの画像が細胞にセグメンテーションされる、具体的であるが限定的ではない例に適用される。具体的な例は、曲率ベースのセグメンテーション、画像勾配、ガボールフィルタ、及び強度を含み、特に生物学的物質の画像を用いるセグメンテーションアルゴリズムのサブセットを使用するが、本発明の方法は、他のタイプの発明の主題に適用することができ、そのため、アルゴリズムの代替サブセットを含むことができる。
【０００７】
デジタル画像を複数の対象オブジェクトにセグメンテーションするための本発明の方法の実施形態は、画像の確率分布図を複数生成し、各確率分布図は異なるセグメンテーション分類子から得られ、結合した確率分布図を複数の確率分布図に基づき生成し、複数の画像ポイントを１つ以上のローカルオブジェクト極大値に基づいてマッピングし、マッピングしたポイントの少なくとも一部をベースとした１つ以上のオブジェクト制約を適用してローカルオブジェクト情報を識別し、ローカルオブジェクト情報及び背景マスクが与えられると、結合した確率分布図に１つ以上の領域閾値を適用して、画像を領域にセグメンテーションし、セグメンテーションした領域を対応するローカルオブジェクト極大値とマージすることによって少なくとも一部をセグメンテーションした画像を生成し、セグメンテーションした画像をデジタルデバイスに、少なくとも一時的に格納又は表示することを含む。
【０００８】
本発明のこれら及び他の特徴、態様、及び利点は、以下の詳細な記述を、図面全体を通じ同様の特徴は同様の部分を表す添付図面を参照して読むと、より理解されるであろう。
【図面の簡単な説明】
【０００９】
【図１】画像をセグメンテーションするための、本発明の方法及びシステムの一例に関する系統線図である。
【図２】画像をセグメンテーションするための、本発明の方法及びシステムの具体的な例に関する系統線図である。
【図３】４つの弱い分類子をベースとした確率分布図の例である。図３Ａは曲率ベースの分類子を用いて作られ、図３Ｂはガボールフィルタバンクを用いて作られ、図３Ｃは勾配分類子を用いて作られ、図３Ｄは強度分類子を用いて作られた。
【図４】図４Ａは強いセグメンテーション分類子の例を用いて作られた確率分布図の例であり、図４Ｂは検出したオブジェクト中心を示すマップの例であり、図４Ｃは形態学的制約を使った強調画像の例であり、図４Ｄはセグメンテーションした画像の例であり、図４Ｅはマッピングした核とマージした最終的なセグメンテーションをした画像の例である。
【図５】図５Ａは一部を赤い四角形で囲んだ、元のセグメンテーションしていない画像の例であり、図５Ｂは同じ対応する部分を赤で囲んだ、本発明の方法の一例を用いて生成した、最終的なセグメンテーションをした画像の例であり、図５Ｃは図５Ａの囲んだ部分の拡大図であり、図５Ｄは図５Ｂの対応する囲んだ部分の拡大図である。
【図６】図６Ａは一部を赤い四角形で囲んだ異種移植モデルの、元のセグメンテーションしていない他の例であり、図６Ｂは同じ対応する部分を赤で囲んだ、本発明の方法の一例を用いて作られた、最終的なセグメンテーションをした画像の例であり、図６Ｃは図６Ａの囲んだ部分の拡大図であり、図６Ｄは図６Ｂの対応する囲んだ部分の拡大図である。
【発明を実施するための形態】
【００１０】
本方法及びシステムは、デジタル画像をセグメンテーションするためのこれまでの方法に優位な改良を提供する。本方法の一部は、複数（Ｎ）の弱い分類子から強い分類子を構築する。用語「弱い分類子」は、単独で使用された場合、個別の弱い分類子を複数結合したものを備える本発明の強い分類子でもたらされるような、再現可能で強固な、一様なセグメンテーションをした画像をもたらさない分類子を意味するために、単に本記述で用いられる。弱い分類子のそれぞれは、記載された実施形態の１つ以上で使われ、細胞の核等の対象オブジェクトに所与のピクセルが属するかどうかの確率推定の形式で、特有で異なる情報を提供する。本発明の組合せ分類子は、弱い個別の分類子結果の結果を結合する。強い分類子は、弱いセグメンテーションから得られたグローバル及びローカル情報を統合し、より一様で正確な、セグメンテーションした画像を生成する。１つ以上の実施形態において、ウォーターシェッドアルゴリズムは、１つ以上のローカル制約と共に、強いデータに適用され、細胞核等の個別の対象オブジェクトを識別し、マッピングする。
【００１１】
特許請求される発明の内容をより明確により簡潔に説明し、指摘するために、以下の定義を以下の説明及び添付の特許請求の範囲で使用される具体的な用語に与える。本明細書を通して、具体的な用語の例示は、限定的な例ではないと考えるべきである。
【００１２】
本明細書で用いる用語「対象オブジェクト」は、セグメンテーションしたデジタル画像からコンテンツを抽出する目的のために、複数の異なる分類子又は定義を適用することができる、任意の関心項目のことを言う。
【００１３】
本明細書で用いる用語「分類子」は、アルゴリズムとして表現することができるデジタル画像の１つ以上のパラメータのことを言う。
【００１４】
本明細書で用いる用語「確率分布図」は、デジタル画像におけるピクセル又は画像ポイントの全部又は一部のマップのことを言い、所与のピクセルが前にデジタル画像に適用された分類子に基づく分類に属する可能性を示す。マップは、所与のアプリケーション又はシステムに応じて、仮想の、現実の、格納した、又は一時的なものであり得る。
【００１５】
本明細書で用いる用語「ローカルオブジェクト極大値」は、デジタル画像における離散的な対象オブジェクトと関連したピクセル又は画像ポイントの中で、所与の分類子によって定義された、最も高い値又は程度のことを言う。
【００１６】
本明細書で用いる用語「オブジェクト制約」は、オブジェクトの状況又は様子、オブジェクトの特性、属性、又は特徴、並びに状態又は表現修飾子を定義又は制限するものを含むが、これらに限定されないオブジェクトに適用することができる、１つ以上のアルゴリズムステートメント又はルールのことを言う。
【００１７】
本明細書で用いる用語「ローカルオブジェクト情報」は、オブジェクトと関連した事実、データ、結論、推定、統計、変形、及び状態を含むが、必ずしもこれらに限定されない、所与のオブジェクトと関連した任意の情報のことを言う。
【００１８】
本明細書で用いる用語「領域閾値」は、例えば、ウォーターシェッド又はウォーターシェッドベースのアルゴリズム等の、画像に適用され、画像を領域にセグメンテーションするルール又はステートメントのことを言う。
【００１９】
本明細書で用いる用語「デジタルデバイス」は、少なくとも一時的にデジタル画像を格納、表示、生成、処理、修正、又は印刷することができる任意のデバイスのことを言う。
【００２０】
本方法及びシステムは、デジタル画像内にあるオブジェクトの広い分類をセグメンテーションするために使うことができる。本方法及びシステムは、例えば、工業検査並びに医学的及び生物学的画像化と関連した画像において見られるような、楕円形状のオブジェクトをセグメンテーションするために使うことができる。
【００２１】
本方法の１つ以上の実施形態により、少なくとも１つのオブジェクト制約と共に、ウォーターシェッドアルゴリズムが適用される新しいブースティングアプローチを用いて確率分布図が作成される。強い分類子は、１つ以上の形態学的制約と共に、形状、強度、及び質感情報等であるが、これらに限定されない補足的な情報をもたらす複数の弱い分類子に基づいて構成される。
【００２２】
１つの例において、細胞核を検出することには、細胞における形状、強度、及び質感等の様々な核の属性をモデル化することが含まれる。例えば、多くのタイプの細胞核の全体的な形状は、円形又は楕円形であり、組織タイプ及び形態に応じて大きさと形状に相当な違いがある。質感に関して、細胞を画像化する場合、核の質感は、細胞物質又は組織サンプルに適用される蛍光色素の一様ではない結合及び分布のため、一部、変化する可能性がある。強度も、画像間、及び単一の画像内で変化し、顕微鏡法システムそれ自体と関連した任意の様々な要因によってもたらされる可能性がある。
【００２３】
１つの例において、３次元の組織部分から得られた２次元の細胞核を検出することには、細胞における形状、強度、及び質感等の様々な核の属性をモデル化することが含まれる。例えば、多くのタイプの細胞核の全体的な形状は、円形又は楕円形であり、組織タイプ及び形態に応じて大きさと形状に相当な違いがある。質感に関して、細胞を画像化する場合、核の質感は、細胞物質又は組織サンプルに適用される蛍光色素の一様ではない結合及び分布のため、一部、変化する可能性がある。強度も、画像間、及び単一の画像内で変化し、顕微鏡法システムそれ自体と関連した任意の様々な要因によってもたらされ得る。
【００２４】
本発明の方法の一実施形態は、様々なモダリティと目的に容易に適用可能であり、概して、方法１０として図１の系統線図に示され、説明される。この実施形態において、３つのセグメンテーション分類子１２Ａ、１２Ｂ、及び１２Ｃは、ステップ１４において画像１６に適用される。一例として、そのような分類子は、形状、強度、及び質感プリミティブを有することができる。３つの弱いセグメンテーション分類子１２Ａ〜１２Ｎによって作られた結果としての確率分布図Ｐ１〜ＰＮを用いて、弱い分類子の重み付き結合に基づいて、強いセグメンテーション分類子１８を生成する。本方法は、具体的な数の弱い分類子（例えば、Ｓ１〜ＳＮ）又は具体的な数の形態学的制約（例えば、Ｍ１〜ＭＮ）の使用に限定されず、任意の適切なタイプ及び数の、個別の分類子及び制約に拡張することができ、又は向上させることができる。個別の、弱い分類子は、形状特徴（例えば、規則的及び不規則的な楕円形、円形、半円形状）、強度特徴（例えば、均一性、ヒストグラムベースの方法）、質感特徴（例えば、フラクタル、ウェーブレット、２次又はさらに高次の統計量）を有することができるが、これらに限定されない。結合分類子１８は、結合した形態学的制約２０Ａ、２０Ｂ、及び２０Ｃと共に、その後、１つ以上の領域閾値アルゴリズムを用いて画像１６に適用され、ステップ２２において、１つ以上のローカル制約と共に、対象オブジェクト（例えば、細胞核）に少なくとも一部をセグメンテーションした結果画像２４を生成する
以下は、本方法及びシステムの様々な実施形態を示すために使われる、限定的ではない実施例である。
【実施例】
【００２５】
以下は、画像３２をセグメンテーションするための本発明の方法の実施例であり、概して、方法３０として図２に示され、説明されるこの実施例では、識別された細胞核を有する細胞に組織サンプルの画像をセグメンテーションする。本実施例では、４つの異なる弱いセグメンテーション３４Ａ〜３４Ｄ（分類子）の結果を、強いセグメンテーション３６（結合した分類子）（図４Ａ）に結合する。第１のステップには、複数の弱いセグメンテーションアルゴリズムを用いて、強いセグメンテーション分類子を生成することが含まれる。この実施例において、強い分類子は、曲率ベースのセグメンテーションアルゴリズム、２つの異なる勾配ベースのセグメンテーションアルゴリズム、及び強度ベースのアルゴリズムを用いて生成され、次の通りに表すことができる。
【００２６】
【数１】
2013524361.tif 000003
ここで、ｐＣＢＳは曲率ベースのセグメンテーションアルゴリズムを用いて計算した確率分布図を表し、ｐＧａｂｏｒはガボールフィルタベースのセグメンテーションアルゴリズムを用いて計算した確率分布図を表し、ｐＧｒａｄｉｅｎｔは勾配セグメンテーションを用いて計算した確率分布図を表し、ｐＩは強度ベースのセグメンテーションを用いて計算した確率分布図を表す。結果としての確率分布図は、個別の弱いセグメンテーションアルゴリズムによって生成された、個別の確率分布図の加重平均である。重み付けは、経験的な方法で、又は教師付き分類アルゴリズムを用いて決定することができる。
【００２７】
【数２】
2013524361.tif 000004
この実施例において、細胞核は明るい小塊状の形態を有するので、結果として固有値はマイナスであり、π／２よりも小さな角度を有する。確率分布図ｐＣＢＳは、反復的に推定され、ピクセルが小塊状構造に属する確率は、そのピクセルが小塊構造の中央にある場合、最大となる。その後、閾値を選択し、バイナリーマスクの距離変換を推定することによってバイナリーマスクが推定され、距離変換の応答は、小塊状構造の中央において最大となり、この実施例における細胞又は核の、境界又は膜組織に対して外側に向けて低下する。
【００２８】
次に、この実施例において、細胞核の構造に関する幾何学的情報を、ガウス関数の乗法から得られた１組のデジタルフィルタ、及び以下に示す調和関数であるガボールフィルタバンク３４Ｂを用いて統合する（図３Ｂ）。
【００２９】
【数３】
2013524361.tif 000005
【００３０】
【数４】
2013524361.tif 000006
【００３１】
【数５】
2013524361.tif 000007
この実施例において、推定（図３Ｃ）も、勾配セグメンテーションアルゴリズム３４Ｃに基づいて生成される。勾配セグメンテーションは、勾配の大きさに基づいており、オブジェクトの境界（例えば、この実施例において、核の膜組織）で最大応答を有し、オブジェクトの内側（例えば、核）で最小応答を有する。これは、核を分離するために使われるペナルティ要素又は識別要素である。勾配についての情報は、確率分布図に対し補足的である。
【００３２】
確率分布図の生成に加え、シードポイントも決まる（図４Ｂ）。シードポイントＩＳｅｅｄｓは、この実施例において、通常は核の中央となるローカル最大確率に位置し、以下の通り定義される。
【００３３】
【数６】
2013524361.tif 000008
ひとたびシードポイントが決定すると、形態学的制約４０がシードポイントから得られ、核が効果的に分離されることを確実にする。図４Ｂは、検出した核の中央ポイントＩＳｅｅｄｓを示す。これらは、セット４２として使われ、ウォーターシェッドアルゴリズムにおいて、ローカル極小値の領域に課される。背景も除外され、そのため、ローカル極小値に対応する領域は、前景においてのみ課される。背景は、個別の弱いセグメンテーションから生成された、結合した強い確率分布図から推定される。
【００３４】
図２に示すように、決定したシードポイント及び背景マスクが与えられると、その後、以下に示すように、形態学的制約を強調画像（図４Ｃ）に適用することによって、ウォーターシェッドステップ４４が実行される。
【００３５】
【数７】
2013524361.tif 000009
ここで、ｐｓ，αは確率画像ｐｓからの閾値αを適用した後のバイナリー画像４６（図４Ｄ）である。
【００３６】
図４Ｃは、ローカル制約画像であり、核の中央はローカル極小値に対応するため黒くなっており、細胞の境界はローカル極大値に対応するため明るくなっていることが分かる。図４Ｄは、検出した核領域を描いており、図４Ｅは、同じ核に対応するそれらの領域をマージした後の最終的なセグメンテーションを描いている。
【００３７】
実施例
本方法は、異種移植モデルに適用された場合、図５Ａ〜図５Ｄに示すように同様の結果をもたらす。図５Ａ〜図５Ｄは、異種移植モデルに対応するＤＡＰＩ画像を示す。図５Ａ及び図５Ｂは、それぞれ、元の画像及びセグメンテーションした画像である。図６Ｃ及び図６Ｄは、それぞれ、元の画像及びセグメンテーションである。示されている形状、大きさ、及び外観の違いは、蛍光色素の不均一性のためである。本方法からのセグメンテーション結果は、細胞核が集まり、重なり、頻繁に接している画像においてでさえ、極めて正確で一様である。図６に示すように、細胞５０、３６、３７は、明確に区別可能である。
【００３８】
本発明の特定の特徴のみを本明細書で図示し記載してきたが、当業者は多くの修正及び変更を思いつくだろう。したがって、添付の特許請求の範囲は、本発明の真の精神の範囲内にあるような修正及び変更の全てを包含するよう意図されていることを理解されるべきである。
【図１】
2013524361.tif 000010
【図２】
2013524361.tif 000011
【図３】
2013524361.tif 000012
【図４】
2013524361.tif 000013
【図５】
2013524361.tif 000014
【図６】
2013524361.tif 000015
【国際調査報告】
2013524361.tif 000016
2013524361.tif 000017
2013524361.tif 000018
2013524361.tif 000019