(57)【要約】  デジタルヒストパソロジー機械の能力が増大するにつれて、こうした画像内で関心を引く構造を見出す病理学専門家にかかる負担を軽減するニーズの増加が存在する。デジタルヒストパソロジー画像は、サイズが少なくとも数ギガバイトである可能性があり、それらの画像は、数百万もの関心の細胞構造を含む。動的輪郭モデル（ＡＣＭ）等の、こうした画像内で構造を見出すための自動化アルゴリズムが提案されてきた。ＡＣＭアルゴリズムは、変動性の色又はテキスチャー分布を有する画像内で領域を検出することに困難さを有する可能性がある。こうした領域は、しばしば、細胞核を含む画像において見出される。その理由は、核が、常に均一な外観を持つわけではないからである。本出願は、デジタルヒストパソロジー情報内で、不均一構造、例えば、細胞核を識別する技法を述べる。候補対象物を識別するために、形状−コンパクト化メトリック等の形態変数を使用して、予め計算されたスーパーピクセル情報を探索することが提案される。
2019522276.tif 000002
【特許請求の範囲】
【請求項１】
処理ユニットを備える、画像情報内の生物学的対象物の輪郭を識別する診断支援システムであって、
前記処理ユニットは、スーパーピクセルに分割されている画像情報を受信し、前記画像情報内の初期ロケーションにおいて前記画像情報内のスーパーピクセルの初期セットを選択し、スーパーピクセルの前記初期セットの第１の形態変数を決定し、前記画像情報内の更なるロケーションにおいてスーパーピクセルの前記初期セットの１つのスーパーピクセルに隣接するスーパーピクセルの更なるセットを識別し、スーパーピクセルの前記初期セット及び前記更なるセットの結合体の第２の形態変数を生成し、前記初期セット及び前記更なるセットの前記結合体が、増加した形状コンパクト化を有することを前記第２の形態変数と前記第１の形態変数との比較が示す場合、前記画像情報内の生物学的対象物の前記輪郭をスーパーピクセルの前記初期セット及び前記更なるセットの前記結合体の境界として規定する、
診断支援システム。
【請求項２】
入力ユニットを更に備え、
前記入力ユニットは、ユーザから前記初期ロケーションにスーパーピクセルを有する前記画像情報内の前記初期ロケーションの指示を受信し、
前記処理ユニットは、前記初期ロケーションにおいて開始する探索アルゴリズムを適用することから得られる前記輪郭を規定する、
請求項１に記載の診断支援システム。
【請求項３】
前記処理ユニットは、さらに、ランダムプロセスを使用して前記初期ロケーションを生成し、スーパーピクセルの前記初期セットは、前記初期ロケーションにスーパーピクセルを有する、
請求項１に記載の診断支援システム。
【請求項４】
前記処理ユニットは、さらに、前記初期ロケーション及び／又は前記更なるロケーションに探索エリアを設置することによって、スーパーピクセルの前記初期セット及び／又はスーパーピクセルの前記更なるセットを選択し、スーパーピクセルの前記初期セット及び／又はスーパーピクセルの前記更なるセットを、前記初期ロケーション及び／又は前記更なるロケーションの前記探索エリアに接触するスーパーピクセル領域のセットとして選択する、
請求項１乃至３のいずれか一項に記載の診断支援システム。
【請求項５】
前記処理ユニットは、さらに、前記画像情報内の前記探索エリアの設置を制限する探索経路を提供するために前記初期ロケーション及び前記更なるロケーションを選択し、前記探索経路は、外方への螺旋パターン、ランダムウォーク、又は外方に拡張する円のセットのうちの１つである、
請求項１乃至４のいずれか一項に記載の診断支援システム。
【請求項６】
前記処理ユニットは、さらに、前記第２の形態変数が停止値に達するまで、又は、プリセットされた回数の反復が終了するまで、反復する、
請求項１乃至５のいずれか一項に記載の診断支援システム。
【請求項７】
前記処理ユニットは、さらに、複数の初期ロケーションを生成し、前記複数の初期ロケーションのそれぞれの各初期ロケーションから開始する前記画像情報内の生物学的対象物の複数の候補輪郭を規定し、前記複数の候補輪郭をユーザに表示し、前記複数の候補輪郭内で輪郭のサブセットを選択するユーザ入力を受信し、前記複数の候補輪郭及び選択された前記輪郭のサブセットに基づいて教師あり学習情報を生成する、
請求項１乃至６のいずれか一項に記載の診断支援システム。
【請求項８】
前記第１の形態変数は前記初期セットの等周商であり、前記第２の形態変数は、前記初期セット及び前記更なるセットの前記結合体の等周商である、
請求項１乃至７のいずれか一項に記載の診断支援システム。
【請求項９】
前記画像情報は組織試料の顕微鏡画像であり、前記輪郭は細胞核の壁に対応する、
請求項１乃至８のいずれか一項に記載の診断支援システム。
【請求項１０】
画像情報内の生物学的対象物の輪郭を識別するための画像処理方法であって、前記画像処理方法は、
ａ）スーパーピクセルに分割されている画像情報を受信するステップと、
ｂ）前記画像情報内の初期ロケーションにおいて前記画像情報内のスーパーピクセルの初期セットを選択するステップと、
ｃ）スーパーピクセルの前記初期セットの第１の形態変数を決定するステップと、
ｄ）前記画像情報内の更なるロケーションにおいてスーパーピクセルの前記初期セットの１つのスーパーピクセルに隣接するスーパーピクセルの更なるセットを識別するステップと、
ｅ）スーパーピクセルの前記初期セット及び前記更なるセットの結合体の第２の形態変数を生成するステップと、
ｆ）前記初期セット及び前記更なるセットの前記結合体が、増加した形状コンパクト化を有することを前記第２の形態変数と前記第１の形態変数との比較が示す場合、前記画像情報内の生物学的対象物の前記輪郭をスーパーピクセルの前記初期セット及び前記更なるセットの前記結合体の境界として規定するステップと
を有する、画像処理方法。
【請求項１１】
ステップｂ）及び／又はステップｄ）にて、スーパーピクセルの前記初期セット及び／又はスーパーピクセルの前記更なるセットの選択は、
ｂ１）前記初期ロケーション及び／又は前記更なるロケーションに探索エリアを設置すること、
ｂ２）スーパーピクセルの前記初期セット及び／又は前記更なるセットを、前記初期ロケーション及び／又は前記更なるロケーションにおいて前記探索エリアに接触するスーパーピクセル領域のセットとして選択することに基づく、請求項１０に記載の画像処理方法。
【請求項１２】
前記第１の形態変数は前記初期セットの等周商であり、前記第２の形態変数は、前記初期セット及び前記更なるセットの前記結合体の等周商である、
請求項１０又は１１に記載の画像処理方法。
【請求項１３】
前記初期ロケーション及び前記更なるロケーションは、前記画像情報内の前記探索エリアの設置を制限する探索経路を提供するために選択され、前記探索経路は、外方への螺旋パターン、ランダムウォーク、又は外方に拡張する円のセットのうちの１つである、
請求項１０乃至１２のいずれか一項に記載の画像処理方法。
【請求項１４】
処理ユニット及び／又はコンピュータによって実行されると、請求項１０乃至１３のいずれか一項に記載の方法を実施する、請求項１乃至９のいずれか一項に記載の診断支援システムを制御するためのコンピュータプログラム。
【請求項１５】
請求項１４に記載のコンピュータプログラムを記憶した、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、画像情報内の生物学的対象物の輪郭を識別するように構成される診断支援システム、画像情報内の生物学的対象物の輪郭を識別するための画像処理方法、更には、処理ユニットを制御するためのコンピュータプログラム要素及びコンピュータ可読媒体に関する。
【背景技術】
【０００２】
デジタルパソロジーは、ヒト又は動物の患者から取得される試料を含む病理スライド内で対象物を識別する難しいプロセスの自動化を増加させようとする。デジタルパソロジーは、採取ハードウェアの改良によって数ギガバイトのサイズの病理スライドを記録することを可能にしてきていることから難しい。こうしたスライドは、通常、医療専門家にとって何十万又は何百万の考えられる関心の対象物を含む。
【０００３】
デジタルパソロジー画像内の対象物の境界を検出する１つのアプローチは、いわゆる「シード領域（ｓｅｅｄ  ｒｅｇｉｏｎ）」の使用による。これらのシード領域は、通常、ピクセル強度解析とそれに続く形態画像処理ステップに基づく。初期シード領域がデジタル画像内で識別されると、対象物境界が探索され得る。これを行う典型的なアプローチは、動的輪郭モデル（ＡＣＭ：Ａｃｔｉｖｅ  Ｃｏｎｔｏｕｒ  Ｍｏｄｅｌ）を使用する。ＡＣＭは、デジタルパソロジー画像内の対象物の境界を正確に見出し得る。ＡＣＭ技法は、考えられる関心の対象物の境界上に平滑性を与えることによって機能する。エネルギー最小化関数は、対象物の最終的な境界を見出すために使用され得る。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＡＣＭ法は一般に有用であり得るが、その成功は、選択される初期シード領域の品質及び境界の正確な強度パターンに依存する。「開細胞構造（ｏｐｅｎ−ｃｅｌｌ  ｓｔｒｕｃｔｕｒｅ）」を有する病理画像の場合、ＡＣＭアプローチは、正しい境界を常に見出すわけではない。更に、ＡＣＭは、常に計算効率的であるわけではなく、また、その理由で、相互作用的な対象物選択システムにとって良い選択ではない。
【０００５】
米国特許出願公開第２００６／００５０９４７（Ａ１）号は、考えられる細胞核を識別する組織病理学的評価法を論じている。この方法は、単色画像データを導出する主成分分析と、それに続く、２値画像を作成するＯｔｓｕの閾値処理とを使用する。しかし、デジタルパソロジー画像処理法は、更に改良され得る。
【課題を解決するための手段】
【０００６】
第１の態様によれば、画像情報内の生物学的対象物の輪郭を識別するように構成される診断支援システムが提供される。診断支援システムは、処理ユニットを備える。
【０００７】
処理ユニットは、スーパーピクセルに分割されている画像情報を受信し、画像情報内の初期ロケーションにおいて画像情報内のスーパーピクセルの初期セットを選択し、スーパーピクセルの初期セットの第１の形態変数を決定し、画像情報内の更なるロケーションにおいてスーパーピクセルの初期セットの１つのスーパーピクセルに隣接するスーパーピクセルの更なるセットを識別し、スーパーピクセルの初期セット及び更なるセットの結合体の第２の形態変数を生成し、初期セット及び更なるセットの結合体が、増加した形状コンパクト化を有することを第２の形態変数と第１の形態変数との比較が示す場合、画像情報内の生物学的対象物の輪郭をスーパーピクセルの初期セット及び更なるセットの結合体の境界として規定するように構成される。
【０００８】
効果は、生物学的画像情報における輪郭検出の精度の改善である。その理由は、アプローチが、テキスチャー又は強度解析に基づくスーパーピクセルのグループ化に主に基づいていないからである。これは、例えば、デジタルパソロジー画像内の細胞核の検出の場合に有利である。デジタルパソロジー画像内に含まれると、細胞核は、細胞核を規定するエリア内で変動性の色及び強度領域を有するように見え得る。ＡＣＭアプローチは、核の境界を識別することに失敗する可能性がある。したがって、提案されるアプローチは、例えば、グループ化内の２つのスーパーピクセルが異なる色強度を有するか否かに依存しない。そのため、このアプローチによる診断システムの適用は、細胞核等の、非均一な色又はテキスチャー分布を有する生物学的対象物の境界のより正確な検出をもたらす。
【０００９】
本技法の別の効果は、スーパーピクセルがオフラインで予め計算され、それが、形状コンパクト化メトリックの効率的な評価を可能にすることである。こうして、計算効率的な核発見アルゴリズムが提供され、モバイルデバイス（例えば、スマートフォン等）上で、低レイテンシー相互作用モードで本技法が働くことを可能にし得る。したがって、画像情報内の生物学的対象物の輪郭は、計算効率的な方式で識別される。
【００１０】
本技法の別の効果は、色強度の大きな内部変動を有する核が確実に検出され得ることである。こうした核の境界は、より容易に検出される。その理由は、アプローチが、隣接するスーパーピクセルをグループ化するときに、強度又はテキスチャー基準ではなく、形態変数を検出用の基準として使用するからである。
【００１１】
第１の態様の一実施形態によれば、診断支援システムは、第１の態様に規定されるように提供され、入力ユニットを更に備える。
【００１２】
入力ユニットは、ユーザから初期ロケーションにスーパーピクセルを有する画像情報内の初期ロケーションの指示を受信するように構成され、処理ユニットは、初期ロケーションにおいて開始する探索アルゴリズムを適用することから得られる輪郭を規定するように更に構成される。
【００１３】
したがって、診断支援システムは、最適なアルゴリズム開始ポイントを識別するために、ユーザの助けを借りて生物学的対象物の輪郭を識別する。そのため、生物学的対象物、例えば、細胞核を見出すために、少数の計算サイクルが必要とされる。
【００１４】
第１の態様の一実施形態によれば、診断支援システムが提供され、処理ユニットは、ランダムプロセスを使用して初期ロケーションを生成するように更に構成され、スーパーピクセルの初期セットは、初期ロケーションにスーパーピクセルを有する。
【００１５】
したがって、画像情報内で生物学的対象物の輪郭を見出すためのアルゴリズムは、ユーザ入力なしで自動的に適用される。
【００１６】
第１の態様の一実施形態によれば、診断支援システムが上述したように提供され、処理ユニットは、初期ロケーション及び／又は更なるロケーションに探索エリアを設置することによって、スーパーピクセルの初期セット及び／又はスーパーピクセルの更なるセットを選択し、スーパーピクセルの初期セット及び／又は更なるセットを、初期ロケーション及び／又は更なるロケーションの探索エリアに接触するスーパーピクセル領域のセットとして選択するように更に構成される。
【００１７】
したがって、画像情報内で識別される生物学的対象物の輪郭を示すために取得される、スーパーピクセルのセットに含むための候補であるスーパーピクセルは、スーパーピクセルの境界が探索エリアに交差する場合に識別され得る。
【００１８】
第１の態様の一実施形態によれば、診断支援システムが提供され、処理ユニットは、画像情報内の探索エリアの設置を制限する探索経路を提供するために初期ロケーション及び更なるロケーションを選択するように更に構成され、探索経路は、外方への螺旋パターン、ランダムウォーク、又は外方に拡張する円のセットのうちの１つである。
【００１９】
したがって、より少数の計算ステップで生物学的画像情報内の更なるスーパーピクセルの識別の可能性がより高まり、又は、識別が可能になる。その理由は、異なる探索パターンが、或るタイプの生物学的画像情報において有利な特性を有するからである。特に、ランダムウォークは細長い核を見出す利点を有し、一方、外方に拡張する螺旋又は円パターンは、円形核を見出す利点を有する。
【００２０】
第１の態様の一実施形態によれば、診断支援システムが上述したように提供され、処理ユニットは、第２の形態変数が停止値に達するまで、又は、プリセットされた回数の反復が終了するまで、反復するように更に構成される。
【００２１】
したがって、第２の形態変数が停止値に達するまで反復が実施される場合、第２の形態変数の最適値が識別され、関心の生物学的対象物が画像情報内で識別されているという確実性をより高いものにできる。代替的に、プリセットされた回数の反復が終了している場合、画像情報内の対象物の第２の形態変数は、十分な回数の反復によって識別され、アルゴリズムの計算効率を改善し得る。
【００２２】
第１の態様の一実施形態によれば、診断支援システムが上記で論じたように提供され、処理ユニットは、複数の初期ロケーションを生成し、複数の初期ロケーションのそれぞれの各初期ロケーションから開始する画像情報内の生物学的対象物の複数の候補輪郭を規定し、複数の候補輪郭をユーザに表示し、複数の候補輪郭内で輪郭のサブセットを選択するユーザ入力を受信し、複数の候補輪郭及び選択された輪郭のサブセットに基づいて教師あり学習情報を生成するように更に構成される。
【００２３】
したがって、関心の生物学的対象物の多数の輪郭が、画像情報内で識別される。これらの輪郭はユーザに提示され、システムは、画像情報内の関心の生物学的対象物の輪郭の識別を改善するために自動化学習原理を適用する。
【００２４】
第１の態様の一実施形態によれば、診断支援システムが上述したように提供され、第１の形態変数は初期セットの等周商（等尺度商、isoperimetric quotient）であり、第２の形態変数は、初期セット及び更なるセットの結合体の等周商である。
【００２５】
等周商は、形状コンパクト化の尺度である。隣接するスーパーピクセル対についてエッジ長を予め計算し記憶することによって、輪郭の識別が効率的に行われる可能性があり、そのことは、画像ファイルが極端に大きく、識別される生物学的対象物の輪郭の数が同様に大きいときに、特に重要である。
【００２６】
第１の態様の一実施形態によれば、第１の形態変数は初期セットの境界曲率であり、第２の形態変数は、初期セット及び更なるセットの結合体の境界曲率である。任意選択で、境界曲率は、初期セット及び／又は更なるセットの輪郭上の全てのポイントにわたって境界曲率を加算することによって見出される。
【００２７】
第１の態様の一実施形態によれば、診断支援システムが上記で述べたように提供され、画像情報は組織試料の顕微鏡画像を含み、輪郭は細胞核の壁に対応する。
【００２８】
したがって、デジタルパソロジー画像は、細胞核画像についてずっと効率的に探索される。
【００２９】
第２の態様によれば、画像情報内の生物学的対象物の輪郭を識別するための画像処理方法が提供される。画像処理方法は、
ａ）スーパーピクセルに分割されている画像情報を受信するステップと、
ｂ）画像情報内の初期ロケーションにおいて画像情報内のスーパーピクセルの初期セットを選択するステップと、
ｃ）スーパーピクセルの初期セットの第１の形態変数を決定するステップと、
ｄ）画像情報内の更なるロケーションにおいてスーパーピクセルの初期セットの１つのスーパーピクセルに隣接するスーパーピクセルの更なるセットを識別するステップと、
ｅ）スーパーピクセルの初期セット及び更なるセットの結合体の第２の形態変数を生成するステップと、
ｆ）初期セット及び更なるセットの結合体が、増加した形状コンパクト化を有することを第２の形態変数と第１の形態変数との比較が示す場合、画像情報内の生物学的対象物の輪郭をスーパーピクセルの初期セット及び更なるセットの結合体の境界として規定するステップと
を有する。
【００３０】
したがって、画像情報内の生物学的対象物の輪郭、例えば、細胞核の壁の輪郭の識別を、より大きな計算効率で可能にする画像処理方法が提供される。
【００３１】
第２の態様の一実施形態によれば、上記第２の態様による画像処理方法が提供され、ステップｂ）及び／又はステップｄ）にて、スーパーピクセルの初期セット及び／又はスーパーピクセルの更なるセットの選択は、
ｂ１）初期ロケーション及び／又は更なるロケーションに探索エリアを設置すること、
ｂ２）スーパーピクセルの初期セット及び／又は更なるセットを、初期ロケーション及び／又は更なるロケーションにおいて探索エリアに接触するスーパーピクセル領域のセットとして選択すること
に基づく。
【００３２】
第２の態様の一実施形態によれば、第２の態様又はその実施形態に従って論じられる画像処理方法が提供され、第１の形態変数は初期セットの等周商であり、第２の形態変数は、初期セット及び更なるセットの結合体の等周商である。
【００３３】
第２の態様の一実施形態によれば、上述した第２の態様又はその実施形態のうちの１つによる画像処理方法が提供され、初期ロケーション及び更なるロケーションは、画像情報内の探索エリアの設置を制限する探索経路を提供するために選択され、探索経路は、外方への螺旋パターン、ランダムウォーク、又は外方に拡張する円周長のセットのうちの１つである。
【００３４】
第３の態様によれば、第１の態様又はその実施形態において規定される処理ユニット及び／又はデバイスを制御するためのコンピュータプログラム要素が提供され、コンピュータプログラム要素は、処理ユニット及び／又はコンピュータによって実行されると、第２の態様又はその実施形態の方法を実施するように適合される。
【００３５】
第４の態様によれば、第３の態様のコンピュータプログラム要素を記憶したコンピュータ可読媒体が提供される。
【００３６】
したがって、例えば、組織病理スライドから取得される、スーパーピクセルに分割されている生物学的対象物のデジタル画像情報を受信することが基本的な考えとしてわかる。そして、スーパーピクセルに分割されているデジタル画像情報において、生物学的対象物、例えば、細胞核の輪郭を検出することが提案される。検出は、形態変数の値がどれだけ変化したかに応じて、生物学的画像情報内のスーパーピクセルを共に連続的にグループ化することによって実施される。形態変数は、スーパーピクセルの所与のグループ化について決定される。
【００３７】
以下の説明において、用語「生物学的対象物の輪郭（ｃｏｎｔｏｕｒ  ｏｆ  ａ  ｂｉｏｌｏｇｉｃａｌ  ｏｂｊｅｃｔ）」は、画像の或るロケーションにおいて細胞核等のアイテムの境界を規定する、デジタル画像情報内で検出可能な差を意味する。細胞核の場合、単一核は、例えば、円の、楕円の、又はその他の等、変動性の形状を有する。核のサイズは変動する。上皮細胞の核は、例えば、浸潤免疫細胞の核よりずっと大きい（５倍まで大きい）可能性がある。したがって、輪郭は、細胞核等の生物学的対象物の内部と外部とを識別し得る、生物学的に導出されるデジタル画像情報内の任意の線である。こうした線は、更に、バースト核に対応する「破断（ｂｒｏｋｅｎ）」（不連続）線である。
【００３８】
以下の説明において、用語「画像情報（ｉｍａｇｅ  ｉｎｆｏｒｍａｔｉｏｎ）」は、デジタル情報であって、適切な画像化規格に従ってレンダリングされると、生物学的対象物を示すディスプレイ画像のピクセルを提供するために再び１つにまとめられ得る、デジタル情報を指す。画像情報は、例えば、ＲＡＷ規格に従って圧縮される。画像情報は、ＢＩＴＭＡＰ又はＪＰＥＧ形式であり、他の形式が当業者に知られている。
【００３９】
以下の説明において、用語「スーパーピクセル」は、スーパーピクセル分割アルゴリズムを使用して隣接領域として規定されている画像情報内のピクセルの隣接領域を指す。こうしたアルゴリズムは、デジタル画像情報を、例えば、色及び／又はテキスチャーの点で空間的に均一である領域に区分化するために使用される。高分解能において、細胞核は、例えば、ヘマトキシリン・アンド・エオジン（Ｈ＆Ｅ：ｈａｅｍａｔｏｘｙｌｉｎ  ａｎｄ  ｅｏｓｉｎ）画像において明瞭に見える。スーパーピクセル分割は、Ｈ＆Ｅ画像内の細胞核の部分を分割し認識するのに役立ち得る。換言すれば、スーパーピクセルは、生物学的画像情報ピクセルのセット内で、均一な色及び／又はテキスチャーを有するピクセルの隣接サブセットである。
【００４０】
以下の説明において、用語「探索エリア（ｓｅａｒｃｈ  ａｒｅａ）」は、画像情報の幾つかのスーパーピクセルをオーバラップし得る又は１つのスーパーピクセルを覆うだけである画像情報の部分を指す。代替的に、「探索エリア」は、探索ローカスと考えられる。スーパーピクセルの境界が探索ローカスに交差する場合、探索エリアは、同様に、スーパーピクセルに「接触している」と考えられる。
【００４１】
以下の説明において、用語第１及び第２の「形態変数（ｍｏｒｐｈｏｌｏｇｉｃａｌ  ｖａｒｉａｂｌｅ）」は、スーパーピクセル又はスーパーピクセルのセットの形状に関する情報を与えるメトリックを規定する。
【００４２】
以下の説明において、用語「形状コンパクト化」は、形状の面積をその形状の周長で割ったものを示す数量を指す。非常に異なる半軸を有する楕円（偏心楕円）は低い形状コンパクト化を有すると規定され、一方、完全な円は高い形状コンパクト化を有する。こうしたメトリックは、全ての幾何学的形状に適用可能であり、スケール及び／又は配向に無関係である。一般的なコンパクト化尺度は等周商である。これは、或る形状の面積と、同じ周長を有する円の面積との比である。
【００４３】
例示的な実施形態を、以下の図面を参照して説明する。
【図面の簡単な説明】
【００４４】
【図１】スーパーピクセル領域への変換の前と後での、シミュレートされた生物学的画像情報のセットを示す図である。
【図２】第１の態様による診断支援システムを示す図である。
【図３】一例による探索アルゴリズムの働きを示す画像のシーケンスを示す図である。
【図４】探索パターンの特定の例を示す図である。
【図５】提案される探索アルゴリズムの例を使用した典型的な結果を示す図で
【図６】第２の態様による方法を示す図である。
【図７】診断支援システムの適用を示す図である。
【図８】診断支援システムのクライアント・サーバ適用を示す図である。
【発明を実施するための形態】
【００４５】
核検出は、Ｈ＆Ｅ画像について、また免疫組織化学染色（ＩＨＣ：ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ）画像について共に難しい問題である。典型的なアプローチは、細胞核の境界を正確に規定するために、画像強度を使用して初期ロケーションを検出し、輪郭ロケーション及び形状を初期化し、動的輪郭モデル（ＡＣＭ）を適用することである。このアプローチは、有用な核候補が既に検出されていることを仮定する。更に、候補核からの核の最終境界は、エネルギー最小化関数によって表現されるように、平滑性を境界に与えることによって見出され得るだけである。
【００４６】
このアプローチは、頑健性又はアルゴリズムの効率の点で好ましい解決策ではない。ＡＣＭアプローチにおける輪郭の初期化は、解析下の細胞が開構造からなるとき、換言すれば、細胞又は核の異なる部分が、例えば、細胞質の浸潤によって非常に異なる色強度を有するとき、困難に遭遇し得る。
【００４７】
こうした場合、従来技術のアプローチは、核等の生物学的対象物の輪郭を検出することに失敗する。その理由は、初期シード領域が、ＡＣＭ初期化ステップのために不利に位置決めされる、又は、考えられる初期シード領域が全く検出されないからである。換言すれば、細胞核等の生物学的対象物は、しばしば変動性形状を有する。生物学的対象物は、サイズが変動し、内部テキスチャー及び色の変動を示すので、ＡＣＭアルゴリズムを適用すると、不正確な境界を見出す機会の増加をもたらす。
【００４８】
上記問題を解決するアプローチは、上述した態様に従って提供される。そのアプローチは、画像情報内の生物学的対象物の輪郭を識別するための画像処理方法である第２の態様に従って最初に導入されるであろう。
【００４９】
第２の態様による方法は、
ａ）スーパーピクセルに分割されている画像情報を受信するステップと、
ｂ）画像情報内の初期ロケーションにおいて画像情報内のスーパーピクセルの初期セットを選択するステップと、
ｃ）スーパーピクセルの初期セットの第１の形態変数を決定するステップと、
ｄ）画像情報内の更なるロケーションにおいてスーパーピクセルの初期セットの１つのスーパーピクセルに隣接するスーパーピクセルの更なるセットを識別するステップと、
ｅ）スーパーピクセルの初期セット及び更なるセットの結合体の第２の形態変数を生成するステップと、
ｆ）初期セット及び更なるセットの結合体が、増加した形状コンパクト化を有することを第２の形態変数と第１の形態変数との比較が示す場合、画像情報内の生物学的対象物の輪郭をスーパーピクセルの初期セット及び更なるセットの結合体の境界として規定するステップと
を有する。
【００５０】
したがって、検出は、画像情報内の生物学的対象物のエリアの色又はテキスチャー特性に依存しない。代わりに、検出は、スーパーピクセルがセットに連続して付加されるため、スーパーピクセルのグループの形状コンパクト化に依存する。
【００５１】
以下、画像処理アプローチの原理を、第２の態様の方法から説明する。
【００５２】
図１ａ）は、組織病理スライドから取得された典型的な未処理デジタル画像情報の合成インプレッションを示す。図１ａ）は、例えば、免疫細胞核１２並びに１４及び１６等の上皮細胞核等の複数の生物学的対象物を有する組織病理スライド１０を示す。上皮細胞核１４及び１６は、異なるサイズ及びテキスチャーを有する複数の対象物を含む。カラー画像において、核の内部の対象物は、同様に異なる色を有する。
【００５３】
図１ｂ）は、図１ａ）の画像情報の結果として得られるスーパーピクセル分割を示す。色、テキスチャー、及びサイズが異なる結果として、核本体は、図１ｂ）において１４ａ及び１６ａに見られるように、生物学的画像情報に適用されたスーパーピクセル分割アルゴリズムを使用して、スーパーピクセルのグループに区分化される。多くの核が核の内部で色強度及びテキスチャーの大きな変動を示すため、色又はテキスチャー類似度尺度のみに基づいて近傍のスーパーピクセルをグループ化することが、一般に、核１４及び１６の確実な識別を可能にしないことに留意されたい。
【００５４】
有効な細胞核境界を得るために、新しいスーパーピクセルグループ化アプローチを適用することが提案されている。スーパーピクセル分割アルゴリズムを使用して分割されている生物学的画像情報が受信された後、細胞核境界１４、１６、例えば、１４ａ及び１６ａの周りのスーパーピクセル領域に対応するデジタル画像情報内のスーパーピクセルのセットは、通常、デジタル画像情報１０の別の部分（ｐａｒｔ）内のスーパーピクセルの任意の他のセットよりコンパクトな形状を形成する。したがって、デジタル画像情報１０のスーパーピクセル分割においてスーパーピクセルの複数のセットの形状コンパクト化を評価し、有意の形状コンパクト化をもたらすスーパーピクセルのセットを、デジタル画像情報の領域を細胞核として規定するスーパーピクセルのセットであるとして規定することが提案されている。
【００５５】
形態変数として使用され得る形状コンパクト化の１つの尺度は、いわゆる等周商であるが、他の形状コンパクト化尺度が適用される可能性があることを当業者は理解するであろう。
【００５６】
形態変数として使用され得る、形状を記述するための代替の尺度は、スーパーピクセル又はスーパーピクセルのセットの境界曲率である。輪郭上の全てのポイントにわたって境界曲率を加算することによって、単一の積分値が得られ、その値が同様に、形状を記述することになる。
【００５７】
２次元形状の場合、等周商は、その面積と、同じ周長を有する円の面積との比として規定される。等周商の式は、（１）に規定される：
【数１】
2019522276.tif 000003
【００５８】
変数Ａは２次元形状の面積を示し、Ｌは２次元形状の周長である。形状コンパクト化ｑは領域［０，１］に存在する。
【００５９】
したがって、非常に長い形状は、０に近いｑを有することになり、一方、円の場合、ｑ＝１である。本出願において、第１の形態変数はスーパーピクセルの初期セットの形状コンパクト化であり、第２の形態変数はスーパーピクセルの更なるセットの形状コンパクト化である。しかし、第１及び第２の形態変数を評価するための他のメトリックが存在することが認識されるであろう。
【００６０】
特に、現在のところ述べられている技法が２次元デジタル画像事例に限定されず、実施形態が、例えば球形度等の形状コンパクト化尺度を使用して３次元生物学的画像情報に適用され得ることに留意されたい。
【００６１】
したがって、形状コンパクト化を評価するために形態変数として等周商を使用することは、好ましいが不可欠でない。
【００６２】
ｑの低い値を有するスーパーピクセルの別のセットと比べてｑの高い値を有するスーパーピクセルの１つのセットを選択することは、探索アルゴリズムの構築についての基礎である。スーパーピクセルの候補セット（提案グループ化）を形成することに対する多くの異なるアプローチが存在する。アルゴリズムの共通要素は、スーパーピクセルのセットが、形状コンパクト化ｑを最大にする目的で修正されることである。任意選択で、スーパーピクセルのセットにおける探索は、最大反復においてｑが十分に高いとき、又は、何らかの他の停止基準が満たされるときに、終了する。
【００６３】
第２の態様による本アルゴリズムの探索プロシージャの詳細な例をここで提供する。
【００６４】
形式上、Ｓが、その結合体が細胞核を規定するにちがいないスーパーピクセル領域のセットを示すとする。デジタル画像情報内の初期入力ロケーション（ｘ０，ｙ０）が提供される。初期セットＳは、ロケーション（ｘ０，ｙ０）に探索エリア（半径Ｒを有する円等の形状である）を設置することによって始動される。
【００６５】
スーパーピクセルが探索エリア内に存在するまた探索エリア内に存在しないことの識別は、多くの異なるやり方で決定される。例えば、或るスーパーピクセル内に含まれるピクセルが探索エリア内に存在する場合、その或るスーパーピクセル全体が、初期セット内にあるとして指定され得る。別の例として、スーパーピクセルの境界が探索エリアに交差する場合、境界のいずれかの側のスーパーピクセルが初期セット内にあるとして指定され得る。
【００６６】
この例において、その境界が探索エリアに交差（接触）する全てのスーパーピクセル領域は、セットＳに付加される。
【００６７】
初期セットＳについて、Ｓの形状コンパクト化を示す第１の形態変数が計算される。例えば、初期セットＳのスーパーピクセルであると規定される形状の面積は、初期セットＳ内のピクセルの数を計数することによって計算される。例えば、初期セットＳの周長は、初期セットＳの境界上に存在するピクセルの数を計数することによって計算される。一例として、ｑは、上記（１）に従って計算され、初期セットＳの等周商ｑを見出す。もちろん、Ａ及びｌの値を評価する他の方法が考えられる。
【００６８】
これは、関連する形状コンパクト化ｑ０を第１の形態変数として有する初期セットＳ０をもたらす。
【００６９】
更なるステップにて、ロケーション（ｘ１，ｙ１）の後続の探索エリア（この例では、円）が、初期入力ロケーション（ｘ０，ｙ０）の近くに設置される。
【００７０】
ここで、Ｓ１が、後続の探索エリアに交差する全てのスーパーピクセル領域のセットを示すとする。第２の形態変数（例えば、等周商のような形状コンパクト化尺度）が、セットＳ０及びセットＳ１の結合体について見出される。
【００７１】
第１の形態変数及び第２の形態変数が、その後比較される。第２の形態変数が第１の形態変数より大きい場合、Ｓは、セットＳ０及びセットＳ１の結合体として再規定される。第２の形態変数が第１の形態変数と比較して一定のままである又は減少する場合、この例では、Ｓは修正されない。いろいろな停止基準が設けられることが当業者によって認識されるであろう。
【００７２】
探索エリアは、好ましくは、核を見出す良好な尤度を可能にするように設計される予め規定された探索パターン内に付加される。探索パターンの幾つかの実装は、後で論じられるであろう。
【００７３】
図２は、第２の態様による方法を示す。
【００７４】
図３ａ）〜図３ｆ）は、上述したアプローチによるデジタル画像情報における核検出シーケンスの反復を示す。
【００７５】
図３ａ）は、小さな細胞核２１ａ、２１ｂ、及び２１ｃによって囲まれるデジタル画像情報内の細胞核２０、並びに細胞外マトリックス領域１９ａ及び１９ｂを示す。デジタル画像情報は、前もってスーパーピクセルＡ〜Ｒに分割されている。
【００７６】
スーパーピクセルＣ及びＥは、核内境界である。この場合、スーパーピクセル分割アルゴリズムは、核エリアの内部に付加された領域Ｃ及びＥを有し、細胞核２０を正しく規定するプロセスを更に複雑にする。
【００７７】
この例で関心を引くのは、細胞核２０の輪郭である。これは、細胞核２０の境界を示す。
【００７８】
図３ｂ）は、探索法の最初の反復を示す。画像情報における初期ロケーションは、（例えば、ユーザ又は初期開始ロケーションのランダム設置によって）２２に規定されている。第１の探索エリア２４（この場合、円探索エリア）の境界は、この場合、点線で示されている。
【００７９】
スーパーピクセルの初期セットは、領域Ａ、Ｂ、及びＤとして規定され、領域Ａ、Ｂ、及びＤは全て、第１の探索エリア２４に接触するスーパーピクセルエリアを有する（換言すれば、スーパーピクセル境界が探索エリアに交差する）。スーパーピクセルＡ、Ｂ、及びＤは、スーパーピクセルの初期セットとして規定される。
【００８０】
Ａ、Ｂ、及びＤの境界は、太線２６で規定される。分割されているＣ及びＥが、核境界２０の内部に含まれるスーパーピクセルであることに留意されたい。しかし、第１の探索エリア２４は、Ｃ及びＥの境界に接触しない。したがって、その周長ではないがＣ及びＥの面積が、Ａ、Ｂ、及びＤの境界２６の形状コンパクト化を計算するために使用される。初期セットＡ、Ｂ、及びＤの形状コンパクト化は、Ａ、Ｂ、及びＤの面積、並びにＡ、Ｂ、及びＤの総周長を使用して第１の形態変数として生成される。
【００８１】
図３ｃ）は、デジタル画像情報内の第２の開始ロケーション２６の後続の設置を有する後続の反復を示し、第２の開始ロケーション２６に、第２の探索エリア２７（この場合、円）が中心を持つ。探索エリア２７はスーパーピクセルＦ及びＤに接触する。そのため、Ｆ及びＤは、スーパーピクセルの更なるセットを形成する。したがって、スーパーピクセルの初期セット及び更なるセットの結合体は、太線２８で示す周長を有するＡ、Ｆ、Ｄ、及びＢである。スーパーピクセルの初期セット及び更なるセットの結合体（Ａ、Ｆ、Ｄ、及びＢ）の第２の形態変数が、その後、生成される。セットＡ、Ｆ、Ｄ、及びＢの形状コンパクト化がＡ、Ｂ、及びＤの形状コンパクト化より大きいため、第２の形態変数は第１の形態変数より大きく、セットＡ、Ｆ、Ｄ、及びＢは、一時的に細胞核２０の輪郭の最も適した推定値であると規定される。
【００８２】
図３ｄ）は、第３の初期ロケーション３０に中心を持つ第３の探索エリア３２が設置されている後続の反復を示す。第３の探索エリア３２は、スーパーピクセルＢ、Ｄ、及びＥに接触する。したがって、スーパーピクセルＥがスーパーピクセルの更なるセットに付加される。スーパーピクセルのこの更なるセットの第３の形態変数が計算される。この場合、第３の形態変数は増加する。
【００８３】
図３ｅ）は、第４の初期ロケーション３６に中心を持つ第４の探索エリア３４が付加されている後続の反復を示す。第４の探索エリアを付加することが、細胞核２０の形状コンパクト化の更なる増加をもたらすことが見られ得る。
【００８４】
図３ｆ）は、第５の初期ロケーション４０に中心を持つ探索エリア３８が設置される後続の反復を示し、更なるセット（スーパーピクセルＧ及びＨを有する）と現在の初期セット（スーパーピクセルＡ〜Ｆを有する）との結合体を含む形態変数を生成させる。細胞核２０の境界の外の大きなスーパーピクセルＧ及びＨの更なるセットの付加が、形状コンパクト化の劇的な減少をもたらすことが見られ得る。その理由は、スーパーピクセルＧ及びＨの特別な長さ（全長は示されない）が、スーパーピクセルＧ及びＨの特別な面積よりずっと大きいからである。
【００８５】
したがって、最初の４つの円の設置の場合に、最終的な候補核領域境界を提供するこの状況における最適形状コンパクト化に達する。
【００８６】
図３の例は、初期開始ロケーションから増加する距離に設置された、外方に成長する円のパターンに従って連続する探索エリアを設置した。
【００８７】
図４ａ）は、ロケーション（ｘ０，ｙ０）が第１の初期ロケーションであり、探索エリアが初期ロケーションに中心を持つ円であるオプションの探索パターンを示す。
【００８８】
図４ｂ）は、探索経路４４が、長方形パターンに制限されるのではなく、代わりに、円形探索エリアが中心を持つ初期ロケーション（ｘ０，ｙ０）で開始する外方螺旋（カタツムリの殻）パターンに追従する別のオプションの探索パターンを示す。
【００８９】
図４ｃ）は、探索エリアがその上で生成されるランダム経路４６を示す。ランダム経路は、例えば、「ランダムウォーク（ｒａｎｄｏｍ  ｗａｌｋ）」アルゴリズムを使用して初期ロケーション（ｘ０，ｙ０）から開始して生成される。
【００９０】
多くの他の探索経路が探索アルゴリズムにおいて設けられることが当業者に明らかになるであろう。
【００９１】
多くの異なる形状の探索エリアが、実施形態に従って設けられる。例えば、円である代わりに、探索エリアは、正方形、長方形、又は三角形である。任意選択で、探索エリアの直径は、アルゴリズムが進行するにつれて連続ステップで増加する。代替的に、探索エリアの直径は、アルゴリズムが進行するにつれて減少する。これは、特定の核タイプに対するアルゴリズムのカスタム化を可能にする。
【００９２】
方法の一実施形態において、ステップａ）にて、スーパーピクセルに分割されている画像情報が受信される。スーパーピクセルへの画像の分割が、画像処理においてよく知られている前処理ステップであることを当業者は認識するであろう。それは、細胞膜、細胞質、及び細胞核等の組織部分の検出に対する幾つかの代替のアプローチのうちの１つのアプローチである。スーパーピクセル分割アプローチは、近傍ピクセルが、同様の特性を有しており、スーパーピクセルにグループ化されクラスター化され、更なる解析のためにデータの量を効率的に減少させ得ることを仮定する。
【００９３】
任意選択で、一実施形態において、スーパーピクセルに分割されていないデジタルパソロジー画像情報を受信し、受信されたデジタルパソロジー画像情報を、方法のステップａ）で使用するための画像情報に分割する初期ステップが存在する。
【００９４】
したがって、一実施形態によれば、画像処理方法が提供され、ステップｂ）及び／又はステップｄ）にて、スーパーピクセルの初期セット及び／又はスーパーピクセルの更なるセットの選択は、
ｂ１）初期ロケーション及び／又は更なるロケーションに探索エリアを設置すること、
ｂ２）スーパーピクセルの初期セット及び／又は更なるセットを、初期ロケーション及び／又は更なるロケーションの周りで探索エリアに接触するスーパーピクセル領域のセットとして選択すること
に基づく。
【００９５】
一実施形態によれば、第１の形態変数は初期セットの等周商であり、第２の形態変数は、初期セット及び更なるセットの結合体の等周商である。
【００９６】
一実施形態によれば、第１の形態変数は初期セットの境界曲率であり、第２の形態変数は、初期セット及び更なるセットの結合体の境界曲率である。任意選択で、境界曲率は、初期セット及び／又は更なるセットの輪郭上の全てのポイントにわたって境界曲率を加算することによって見出される。
【００９７】
一実施形態によれば、初期ロケーション及び更なるロケーションは、画像情報内の探索エリアの設置を制限する探索経路を提供するために選択され、探索経路は、外方への螺旋パターン、ランダムウォーク、又は外方に拡張する円周長のセットのうちの１つである。
【００９８】
一実施形態によれば、
ａ１）ユーザインタフェースを介して、初期ロケーションの指示を受信する
更なるステップが提供され、
ステップｂ）にて、スーパーピクセルの初期セットは、初期ロケーションのスーパーピクセルを有する。
【００９９】
ユーザによる初期位置の選択は、良好な候補開始位置が迅速に見出されることを可能にする。好ましくは、ユーザインタフェースはタッチスクリーンである。そして、ユーザが、タッチスクリーンを使用して画像情報の周りで「スクロール（ｓｃｒｏｌｌ）」し、初期ロケーションの指示を画像情報内の関心ロケーションに設置することが可能である。
【０１００】
任意選択で、ユーザは複数の初期位置を設置する。任意選択で、ユーザインタフェースは、コンピュータマウスポインタ、キーボード、又はコンピュータトラックパッドである。
【０１０１】
一実施形態によれば、
ｂ３）ランダムプロセスを使用して初期ロケーションを生成する更なるステップ
が提供される。ステップｂ）にて、スーパーピクセルの初期セットは初期ロケーションのスーパーピクセルを有する。
【０１０２】
したがって、アルゴリズムは、ユーザ監視なしで開始され得る。
【０１０３】
一実施形態によれば、ステップａ）〜ステップｆ）は、第２の形態変数が停止値に達するまで、又は、プリセットされた数の反復が終了するまで、反復して繰返される。
【０１０４】
したがって、第１の場合に、例えば、真正の核が識別されていることを保証するために、アルゴリズムが停止する前に特定の形状因子又は形状因子範囲が必要とされる。代替的に、アルゴリズムは、処理サイクルを節約するために、或るタイプの組織病理コンテキストに特有の或る数の反復後に停止する。
【０１０５】
一実施形態によれば、
ｇ）複数の初期開始位置からステップａ）〜ステップｆ）を繰返す更なるステップであって、したがって、複数の候補輪郭を識別する、繰返す更なるステップと
ｇ１）複数の候補輪郭をユーザに表示する更なるステップと、
ｇ２）複数の候補輪郭内で輪郭のサブセットを選択するユーザ入力を受信する更なるステップと、
ｇ３）複数の候補輪郭及び選択された輪郭のサブセットに基づいて教師あり学習情報を生成する更なるステップと
が提供される。
【０１０６】
等周商は、こうした核に対する良好な基準を提供するが、アプローチは、複数の候補核を生成することによって更に改善され得る。例えば、単一ピクセルにおいて、そこから選択すべき異なる核境界が存在する。
【０１０７】
したがって、候補核のセットから真の境界を抽出するために教師あり学習アプローチを提供することが、一実施形態において同様に提案される。これの利点は、候補核が、しばしば既に正しい分割を可能にし、それにより、核境界吸収特徴及びサイズ特徴が最終分類タスクにおいて正確に評価され得ることである。
【０１０８】
一実施形態によれば、
ｈ）ユーザインタフェース上で輪郭を表示する更なるステップ
が提供される。
【０１０９】
更なる態様によれば、画像情報内の生物学的対象物の輪郭を識別するように構成されるユーザインタフェースが設けられる。ユーザインタフェースは、スーパーピクセルに分割されている画像情報を受信し、画像情報内の初期ロケーションにおける画像情報内のスーパーピクセルの初期セットのユーザ選択を可能にし、ユーザ選択を処理ユニットに通信するように構成される。
【０１１０】
ユーザインタフェースは、初期セット及び更なるセットの結合体が、初期セットと比較して増加した形状コンパクト化を有することを、処理ユニットによる第２の形態変数と第１の形態変数との比較が示す場合、画像情報内の生物学的対象物の輪郭を表示するように更に構成される。
【０１１１】
ユーザインタフェースは、例えば、タッチパッドディスプレイ又はＰＣモニターを備える。
【０１１２】
したがって、識別された輪郭は、例えば、更なる検査を可能にするために、識別された輪郭を強調することができるように、識別された輪郭を独特の色で色付けすることによって、ユーザに対してハイライトされ得る。
【０１１３】
任意選択で、識別された輪郭は、より多くの候補輪郭が発見されるにつれて、表示される生物学的画像情報内で「存続する（ｐｅｒｓｉｓｔ）」ように配置される。任意選択で、識別された輪郭は、ユーザがユーザインタフェースを使用して画像の周りでスクロールするにつれて、表示される生物学的画像情報内で「存続する」ように配置される。任意選択で、輪郭がタッチスクリーン上に表示されるときの、輪郭上でのタッピング等の作動事象は、輪郭を視野から隠ぺいさせる。任意選択で、核等のターゲット対象物のように形作られたユーザインタフェースのエリア上でのタッピングは、輪郭を表示させる。
【０１１４】
第２の態様の一実施形態によれば、ユーザインタフェースは、タッチスクリーンが画像情報を表示しているタッチスクリーン表面上でのタップ等の作動事象を受信する。タップは、第２の態様の上述した方法を使用して輪郭の探索を始動し、初期ロケーションは、タッチスクリーン上のタップが行われたロケーションによって提供される。輪郭は、上述したアプローチを使用して識別されると、ユーザに表示される。こうして、ユーザインタフェースは、スーパーピクセルを含む初期画像情報から輪郭を「要求に応じて（ｏｎ  ｄｅｍａｎｄ）」応答しかつ迅速に生成するように構成される。
【０１１５】
一実施形態によれば、ユーザインタフェースは、ユーザが画像情報の視野の周りで「パンニングする（ｐａｎｎｉｎｇ）」ことを示す、タッチパッド上の指スワイプ又はマウス移動等の追跡情報を受信する。その後、自動アプローチを通して、視野内の複数の候補ロケーションが識別される。任意選択で、候補ロケーションはランダムに識別される。任意選択で、候補ロケーションは、画像情報内の色及び／又はテキスチャー情報に基づいて候補開始ロケーションを識別するシーディングアルゴリズムに従って識別される。その後、複数の候補核、好ましくは全ての核は、「目下の（ｃｕｒｒｅｎｔ）」視野内で識別される。
【０１１６】
そのため、ユーザが周りをスクロールすると、スーパーピクセルを含む視野内の輪郭を生成することが可能である。論じたように、輪郭発見アプローチの計算効率は、ヒューマングラフィカルユーザインタフェース（ＧＵＩ）相互作用において重要な考慮事項である低レイテンシーで輪郭が生成されることを可能にする。
【０１１７】
一実施形態によれば、画像情報は組織試料の顕微鏡画像であり、輪郭は細胞核の壁に対応する。
【０１１８】
一実施形態によれば、画像情報は組織試料の顕微鏡画像であり、輪郭は破断した細胞核の壁に対応する。
【０１１９】
図５ａ）及び図５ｂ）は、合成Ｈ＆Ｅ画像を示す。色類似度が基準として使用されなかったため、異なる色を有するスーパーピクセルがグループ化された。
【０１２０】
図５ａ）にて、収束したアルゴリズム結果を規定する淡い色の線によって見られるように、０．５８の比較的高い形状コンパクト化が達成された。この輪郭は、形状コンパクト化が比較的高いため受容されることになる。
【０１２１】
図５ｂ）は、核４９から「逃げる（ｅｓｃａｐｉｎｇ）」線４７によって見られるように、アルゴリズムが、０．３３の形状コンパクト化、比較的低い結果に収束した状況を示す。この境界は、形状コンパクト化が低いため排除される。
【０１２２】
第１の態様によれば、画像情報内の生物学的対象物の輪郭を識別するように構成される診断支援システム５０が提供される。診断支援システムは、処理ユニット５２を備える。
【０１２３】
処理ユニットは、スーパーピクセルに分割されている画像情報を受信し、画像情報内の初期ロケーションにおいて画像情報内のスーパーピクセルの初期セットを選択し、スーパーピクセルの初期セットの第１の形態変数を決定し、画像情報の更なるロケーションにおいてスーパーピクセルの初期セットの１つのスーパーピクセルに隣接するスーパーピクセルの更なるセットを識別し、スーパーピクセルの初期セット及び更なるセットの結合体の第２の形態変数を生成し、初期セット及び更なるセットの結合体が、増加した形状コンパクト化を有することを第２の形態変数と第１の形態変数との比較が示す場合、画像情報内の生物学的対象物の輪郭をスーパーピクセルの初期セット及び更なるセットの結合体の境界として規定するように構成される。
【０１２４】
図６は、第１の態様による診断支援システムを示す。診断支援システム５０は処理ユニット５２を備える。
【０１２５】
任意選択で、診断支援システムは、パーソナルコンピュータ等のデスクトップコンピューティングデバイスとして具現化される。代替的に、診断支援システムは、「ｉＰａｄ（登録商標）」又はスマートフォン等のタッチスクリーンコンピューティングデバイスとして具現化される。任意選択で、診断支援システムは、「クラウドコンピューティング（ｃｌｏｕｄ  ｃｏｍｐｕｔｉｎｇ）」システム内のサーバとして具現化される。
【０１２６】
処理ユニット５２は、画像情報に関する演算を実施することが可能な多くのデジタル処理デバイスのうちの１つである。例えば、処理ユニット５２は汎用中央処理ユニット（ＣＰＵ）である。代替的に、処理ユニットは、デジタル信号プロセッサ（ＤＳＰ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）である。任意選択で、処理ユニット５２は、グラフィクス処理ユニット（ＧＰＵ）である。任意選択で、処理ユニット５２は、上記で挙げた要素の組合せである。こうして、画像情報内の生物学的対象物の輪郭の識別は、より計算上好適なデバイスに「オフロード（ｏｆｆｌｏａｄ）」される。
【０１２７】
図７は、複数の試料スロット５６及び１つの相互作用的ユーザインタフェース５４を備えるデジタルヒストパソロジー機械５５を示す。任意選択で、デジタルヒストパソロジー機械５５はＰＣ６０に接続され、ＰＣ６０は、輪郭識別操作の結果をディスプレイスクリーン６２上に表示する。したがって、デジタルヒストパソロジー結果は、試料が機械に入れられた後に迅速に解析される。
【０１２８】
上記で論じた輪郭識別を使用して可能な計算の複雑さの低減は、「クライアント−サーバ（ｃｌｉｅｎｔ−ｓｅｒｖｅｒ）」方式での画像処理の区分化を可能にする。スーパーピクセル生成アプローチは、一般に、比較的計算集約的である。
【０１２９】
代替的に、本明細書で詳述される輪郭発見アルゴリズムは、計算の複雑さが比較的小さい。そのため、１つのアプローチは、好適な計算集約型ハードウェアを有する第１のデバイス上でスーパーピクセル発見ステップを前処理し、スーパーピクセルを有する画像情報を、輪郭を見出し表示する第２のデバイスに提供することであり、これは、第２のデバイスが重い計算負荷を担う必要性を低減する。
【０１３０】
そのため、第１の更なる態様によれば、デジタルパソロジー画像を処理するサーバ側方法が提供される。方法は、
ＳＰ）デジタルパソロジー画像化情報を受信するステップと、
ＳＱ）スーパーピクセル構成アルゴリズムをデジタルパソロジー画像化情報に適用することであって、したがって、スーパーピクセル画像を提供する、適用するステップと、
ＳＲ）スーパーピクセル画像を、診断支援システムを備えるクライアント側デバイスに送信するステップと
を有する。
【０１３１】
任意選択で、サーバ側方法は、デジタルパソロジー機械５７の内部に設けられる。代替的に、サーバ側方法は、デジタルパソロジー機械から、データベースへ、又は、スーパーピクセルの生成が行われる「クラウド（ｃｌｏｕｄ）」コンピューティングサービスへの画像の暗号化されたアップロードを実現する。
【０１３２】
第２の更なる態様によれば、デジタルパソロジー画像を処理するクライアント側方法が提供される。方法は、
ＣＡ）サーバ側デバイスにおいてスーパーピクセルに分割されているスーパーピクセル画像を受信するステップと、
ＣＢ）スーパーピクセル画像内の初期ロケーションにおいてスーパーピクセル画像内のスーパーピクセルの初期セットを選択するステップと、
ＣＣ）スーパーピクセルの初期セットの第１の形態変数を決定するステップと、
ＣＤ）画像情報内の更なるロケーションにおいてスーパーピクセルの初期セットの１つのスーパーピクセルに隣接するスーパーピクセルの更なるセットを識別するステップと、
ＣＥ）スーパーピクセルの初期セット及び更なるセットの結合体の第２の形態変数を生成するステップと、
ＣＦ）初期セット及び更なるセットの結合体が、増加した形状コンパクト化を有することを第２の形態変数と第１の形態変数との比較が示す場合、スーパーピクセル画像内の生物学的対象物の輪郭をスーパーピクセルの初期セット及び更なるセットの結合体の境界として規定するステップと
を有する。
【０１３３】
第３の更なる態様によれば、サーバ側通信装置が設けられ、サーバ側通信装置は、第１の更なる態様の方法に従って、スーパーピクセル画像を、診断支援システムを備えるクライアント側デバイスに送信するように構成される。任意選択で、スーパーピクセル画像は、クラウドサーバから暗号化形式でダウンロードされる。
【０１３４】
第４の更なる態様によれば、クライアント側通信装置が設けられ、クライアント側通信装置は、第２の更なる態様の方法に従って、サーバ側デバイスにおいてスーパーピクセルに分割されているスーパーピクセル画像を受信し、スーパーピクセル画像内の生物学的対象物の輪郭をスーパーピクセルの初期セット及び更なるセットの結合体の境界として規定するように構成される。
【０１３５】
第１〜第４の更なる態様の実施形態は、第１〜第４の態様又はそれらの実施形態に関連して本明細書で論じた主題のうちの任意の主題を有する。
【０１３６】
したがって、スーパーピクセル画像がサーバにおいて予め計算されていると、輪郭は、例えば、タッチパッド又はスマートフォンを使用してスーパーピクセル画像において迅速に見出される。
【０１３７】
図８は、一実施形態におけるデジタルヒストパソロジー機械５７を示し、デジタルヒストパソロジー機械５７は、デジタルパソロジー画像を処理するサーバ側方法の機能を実施する。スーパーピクセル情報は、無線送受信機６２を使用してデジタルヒストパソロジー機械５７（この例ではサーバとして機能する）から無線通信される。手持ち式クライアントデバイス６４（この場合、タブレットコンピュータ）は、スーパーピクセル情報を受信するためにデジタルヒストパソロジー機械５７と通信するように構成される。ユーザは、受信されたスーパーピクセル情報の周りでスクロールし、クライアント側アルゴリズムは、スーパーピクセル画像内の画像輪郭を、最小レイテンシーの状態でリアルタイムに識別する。その理由は、計算によるスーパーピクセル生成ステップがサーバ側で前もって終了しており、かつ、複雑さを低減した輪郭発見アルゴリズムが、手持ち式タブレット上で見出される中程度の計算ハードウェアで実行されるのに適切な複雑さであるからである。
【０１３８】
第３の態様によれば、第１の態様又はその実施形態において請求される、処理ユニット及び／又はシステムを制御するためのコンピュータプログラム要素が提供され、コンピュータプログラム要素は、処理ユニットによって実行されると、第２の態様又はその実施形態のうちの１つの方法を実施するように適合される。
【０１３９】
第４の態様によれば、第３の態様のコンピュータプログラム要素を記憶したコンピュータ可読媒体が提供される。
【０１４０】
したがって、コンピュータプログラム要素は、同様に本発明の一実施形態であるコンピュータユニット上に記憶される。このコンピューティングユニットは、上述した方法のステップを実施する又はステップの性能を引出すように適合される。更に、このコンピューティングユニットは、上述した装置の構成要素を動作させるように適合される。
【０１４１】
コンピューティングユニットは、ユーザの命令を自動的に操作する及び／又は実行するように適合され得る。コンピュータプログラムは、データプロセッサの作業メモリ内にロードされる。そのため、データプロセッサは、本発明の方法を実施するように装備される。
【０１４２】
本発明のこの例示的な実施形態は、本発明が最初からインストールされているコンピュータプログラムと、既存のプログラムを、更新によって本発明を使用するプログラムに変換するコンピュータプログラムの両方をカバーする。コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される、光記憶媒体又は固体媒体等の好適な媒体上に記憶及び／又は分配されるが、インターネット或いは他の有線又は無線の電気通信システムを介して等、他の形態で同様に配信される。
【０１４３】
しかし、コンピュータプログラムは、ワールドワイドウェブのようなネットワークを通じても提示され、こうしたネットワークからデータプロセッサの作業メモリ内にダウンロードされ得る。本発明の更なる例示的な実施形態によれば、コンピュータプログラム要素をダウンロードするために利用可能にするための媒体が設けられ、そのコンピュータプログラム要素は、本発明の上記で述べた実施形態のうちの１つの実施形態による方法を実施するように構成される。
【０１４４】
本発明の実施形態が、異なる主題を参照して述べられていることに留意されるべきである。特に、幾つかの実施形態は方法タイプ請求項を参照して述べられ、一方、他の実施形態はデバイスタイプ請求項を参照して述べられる。しかし、別途通知されない限り、１つのタイプの主題に属する特徴の任意の組合せに加えて、異なる主題に関連する特徴の間の他の組合せが、本出願に関して開示されていると考えられることを、当業者は、上記説明及び以下の説明から認識するであろう。
【０１４５】
全ての特徴は、特徴の単純な加算より大きな相乗効果を提供するために組み合わされ得る。
【０１４６】
本発明は、図面及び上記の説明において詳細に示され述べられてきたが、こうした図示及び説明は、限定的ではなく、例証的又は例示的なものであると考えられる。本発明は開示された実施形態に限定されない。
【０１４７】
開示された実施形態に対する他の変形形態は、図面、開示、及び従属請求項の検討から、特許請求の範囲に記載される発明を実施する当業者によって理解され行われ得る。
【０１４８】
特許請求の範囲において、単語「備える（ｃｏｍｐｒｉｓｉｎｇ）」は、他の要素又はステップを排除せず、不定冠詞「１つの（ａ）」又は「１つの（ａｎ）」は、複数を排除しない。単一プロセッサ又は他のユニットは、請求項で挙げる幾つかのアイテムの機能を達成する。或る尺度が互いに異なる従属請求項において挙げられるという単なる事実は、これらの尺度の組合せが有利に使用され得ないことを示さない。請求項におけるいかなる参照符号も、その範囲を限定するものと解釈されるべきでない。
【図１ａ）】
2019522276.tif 000004
【図１ｂ）】
2019522276.tif 000005
【図２】
2019522276.tif 000006
【図３ａ】
2019522276.tif 000007
【図３ｂ】
2019522276.tif 000008
【図３ｃ】
2019522276.tif 000009
【図３ｄ】
2019522276.tif 000010
【図３ｅ】
2019522276.tif 000011
【図３ｆ】
2019522276.tif 000012
【図４ａ】
2019522276.tif 000013
【図４ｂ】
2019522276.tif 000014
【図４ｃ】
2019522276.tif 000015
【図５ａ）】
2019522276.tif 000016
【図５ｂ）】
2019522276.tif 000017
【図６】
2019522276.tif 000018
【図７】
2019522276.tif 000019
【図８】
2019522276.tif 000020
【国際調査報告】
2019522276.tif 000021
2019522276.tif 000022