(57)【要約】  本発明は、医療画像において対象を検出することに関する。医療画像における対象の改善された検出を提供するために、画像データ入力部１２及び処理ユニット１４を有する医療画像検出装置１０が、提供される。前記画像データ入力部は、生物学的サンプルの画像データを受信するように構成される。前記処理ユニットは、検出器１６及び分類器１８を有する。前記検出器は、前記画像データにおける少なくとも１つの所定の所定の対象フィーチャの検出により前記サンプルにおいて関心対象を検出するように構成される。前記検出された対象は、候補対象であり、前記候補対象は、真陽性及び可能な偽陽性を有する。更に、前記分類器は、前記可能な偽陽性を偽陽性及び真陽性として分類するように構成される。前記分類器は、前記検出器の偽陽性を認識するように特定的にトレーニングされた分類器である。
2020518045.tif 000002
【特許請求の範囲】
【請求項１】
画像データ入力部と、
処理ユニットと、
を有する医療画像検出装置において、
前記画像データ入力部が、生物学的サンプルの画像データを受信するように構成され、
前記処理ユニットが、検出器及び分類器を有し、
前記検出器が、前記画像データにおける少なくとも１つの所定の対象フィーチャの検出により前記サンプルにおいて関心対象を検出するように構成され、前記検出された対象が、候補対象であり、前記候補対象が、真陽性及び可能な偽陽性を有し、真陽性が、グラウンドトゥルースと比較される場合に真の関心対象として正しく識別される候補対象に関し、
可能な偽陽性は、前記検出器による識別がアルゴリズムの中間分析から生じ、偽陽性に対するグラウンドトゥルースと比較される場合に決定的であると見なされない可能性があるので、まだ偽陽性であると見なされない可能性がある候補対象に関し、偽陽性が、グラウンドトゥルースと比較される場合に偽の関心対象として識別される候補対象に関し、
前記分類器が、前記可能な偽陽性を偽陽性又は真陽性として分類するように構成され、前記分類器が、偽陽性に対してトレーニングされたモデルを有するトレーニングされた分類器である、
装置。
【請求項２】
前記処理ユニットが、前記分類された偽陽性を除外するように構成される、請求項１に記載の装置。
【請求項３】
前記分類器が動作する解像度レベルが、前記検出器が動作する解像度レベルより高い、請求項１又は２に記載の装置。
【請求項４】
前記モデルが、前記検出器からの偽陽性に対してトレーニングされる、請求項１乃至３のいずれか一項に記載の装置。
【請求項５】
組織プローブスキャナ装置と、
請求項１乃至４のいずれか一項に記載の医療画像検出装置と、
を有する医療撮像システムにおいて、
前記組織プローブスキャナ装置が、生物学的サンプルをスキャンし、前記スキャンの画像データを前記画像データ入力部に提供するように構成される、
システム。
【請求項６】
デジタル撮像において所定の生物学的フィーチャを検出する方法において、
ａ）生物学的サンプルの画像データを受信するステップと、
ｂ）前記画像データにおける少なくとも１つの所定の対象フィーチャの検出により前記サンプルにおいて関心対象を検出するステップであって、前記検出された対象が、候補対象であり、前記候補対象が、真陽性及び可能な偽陽性を有し、真陽性が、グラウンドトゥルースと比較される場合に真の関心対象として正しく識別される候補対象に関し、
可能な偽陽性は、前記検出器による識別が、アルゴリズムの中間分析から生じ、偽陽性に対するグラウンドトゥルースと比較される場合に決定的であると見なされない可能性があるので、まだ偽陽性であると見なされない可能性がある候補対象に関し、偽陽性が、グラウンドトゥルースと比較される場合に偽の関心対象として識別される候補対象に関する、ステップと、
ｃ）前記可能な偽陽性を偽陽性又は真陽性として分類するステップであって、前記分類が、偽陽性に対してトレーニングされたモデルを有するトレーニングされた分類である、ステップと、
を有する方法。
【請求項７】
ステップｃ）において、前記分類された偽陽性が、除外される、請求項６に記載の方法。
【請求項８】
ステップｃ）における動作の解像度レベルが、ステップｂ）における動作の解像度レベルより高い、請求項６又は７に記載の方法。
【請求項９】
完全な画像が、所定数の画像タイルからなり、ステップｂ）における前記検出が、前記画像タイルにおいて実行される、請求項６乃至８のいずれか一項に記載の方法。
【請求項１０】
前記分類が、第１のステップにより検出された前記関心対象を検証するようにトレーニングベースのアプローチを使用する、請求項６乃至９のいずれか一項に記載の方法。
【請求項１１】
ステップｂ）において、前記検出が、前記関心対象としてリンパ球の候補位置を検出するように関心点検出を使用することにより達成される、請求項６乃至１０のいずれか一項に記載の方法。
【請求項１２】
前記検出が、ＳＩＦＴベースの検出器アルゴリズムを使用しており、前記分類が、画素ベースの分類器を使用している、請求項６乃至１１のいずれか一項に記載の方法。
【請求項１３】
前記検出が、前記分類より高い感度及び／又は高い速度を持つように提供され、
前記分類は、前記分類において偽陽性が拒絶され、真陽性が保持されるように、前記検出より高い特異性を持つように構成される、
請求項６乃至１２のいずれか一項に記載の方法。
【請求項１４】
ステップａ）において、生物学的標本が、ガラススライド上に提供され、前記標本の複数の画像タイルが、取得され、前記画像データが、前記複数の画像タイルからなる、請求項６乃至１３のいずれか一項に記載の方法。
【請求項１５】
処理ユニットにより実行される場合に、請求項６乃至１４のいずれか一項に記載の方法のステップを実行するように構成される、請求項１乃至４のいずれか一項に記載の装置を制御するコンピュータプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶したコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療画像において対象を検出することに関する。特に、本発明は、医療画像検出装置、医療撮像システム及びデジタル撮像において所定の生物学的フィーチャを検出する方法に関する。
【背景技術】
【０００２】
例えば組織プローブの医療画像を分析することは、診断目的で使用されることができる。例えば、画像分析が、更なる調査のためにサンプルを選択するために提供される。画像データは、計算ステップにより対象を検出するのに使用されることができる。例えば、腫瘍細胞数及び純度の推定が、提供される。画像分析は、リンパ球を検出するためにも提供されうる。画像データを提供するために、プローブは、事前に処理されてもよく、例えばＨ＆Ｅ染色スライスとして、それぞれＨ＆Ｅ染色画像を提供されてもよい。画像は、この場合、定性的及び定量的評価のような、更なる分析ステップに対して使用されることができる。しかしながら、医療画像において対象を検出する画像分析における定量化は、複雑で時間のかかる計算手順を生じうることが示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
したがって、医療画像における対象の改善された検出を提供する必要性が存在しうる。
【課題を解決するための手段】
【０００４】
本発明の目的は、独立請求項の対象により解決され、更なる実施例が、独立請求項に組み込まれる。本発明の以下に記載される態様は、医療画像検出装置、医療撮像システム及びデジタル撮像において所定の生物学的フィーチャを検出する方法にも適用されることに注意すべきである。
【０００５】
本発明によると、医療画像検出装置が、提供される。前記装置は、画像データ入力部及び処理ユニットを有する。前記画像データ入力部は、生物学的サンプルの画像データを受信するように構成される。前記処理ユニットは、検出器及び分類器を有する。前記検出器は、前記画像データにおける少なくとも１つの所定の対象フィーチャの検出により前記サンプル内の関心対象を検出するように構成された関心点検出器である。前記検出された対象は、候補対象であり、前記候補対象は、真陽性及び可能な偽陽性（possible false positives）を有する。更に、前記分類器は、前記可能な偽陽性を偽陽性又は真陽性として分類するように構成される。前記分類器は、トレーニングされた分類器である。前記分類器は、特に前記検出器の偽陽性を認識するようにトレーニングされる。
【０００６】
第１のステップにおいて検出された前記関心対象は、したがって、可能な真陽性及び可能な偽陽性を有する。検証（verification）は、２つのグループを区別して偽陽性又は真陽性を生じる第２のステップにより提供される。
【０００７】
（第１のステップの結果としての）前記候補対象は、したがって、（第２のステップの結果として）、真に検出された関心対象及び誤って又は偽って検出された関心対象を有する。
【０００８】
前記提供された分類器は、前記検出器と前記分類器との間の密接な結合に基づく。用語「密接な」結合は、例えば、第２のステップにフィードするのに第１のステップの結果だけに使用することによる、直接的な結合を指す。
【０００９】
ここで、前記検出器は、第１の検出器とも称される。前記第１の検出器は、前記画像データにおける少なくとも１つの所定の第１の対象フィーチャの第１の検出により前記サンプル内の候補対象として関心対象を検出するように構成された関心点検出器である。
【００１０】
用語「生物学的サンプルの画像データを受信する」は、「生物学サンプルの画像データを提供する」とも称されることができる。前記画像データは、二段階手順により更なるデータ処理に対して利用可能にされる。
【００１１】
第１のステップにおいて検出された前記関心対象は、候補対象である。したがって、第１のステップにおいて検出された前記関心対象は、「可能な関心対象」又は「候補関心対象」とも称されることができる。
【００１２】
「真陽性」は、したがって、「真陽性対象」又は「真の関心対象」であり、「可能な偽陽性」は、したがって、「可能な偽陽性対象」又は「可能な偽の関心対象」である。
【００１３】
例えば、学習ベースの分類器又はトレーニングされた分類器は、前記分類器に対して提供される。
【００１４】
前記画像データにおける少なくとも１つの所定の対象フィーチャの検出は、前記画像データにおける少なくとも１つの所定の第１の対象フィーチャの第１の検出とも称される。
【００１５】
これは、前記分類器が、前記検出の識別された位置に対してのみ適用されるので、低減された労力、特に計算労力、すなわちデータ処理労力を持つ事実を提供する。第２の段階が偽陽性に対するトレーニングされたモデルである二段階アルゴリズムにおける特定のタイプを使用する特定の利点は、第１のステップが、速い選択を提供するのに対し、第２のステップが、徹底的な様式の精緻化（refinement）を提供することである。二段階の検出は、したがって、画像内の対象の改善された発見を提供する。
【００１６】
この二段階手順は、例えば、検出された関心対象又は位置の（第１の）量を提供する（第１の）検出と、分類された関心対象又は位置の（第２の）量を提供する分類（すなわち第２のステップ）とを提供する。前記分類は、例えば関心点検出器を使用することにより提供された前記検出の結果に対してのみ適用されるので、前記検出された位置の検証に対する労力は、第１のアルゴリズム及び第２のアルゴリズムの組み合わせにより低減される。
【００１７】
前記画像データ入力ユニットは、サーバ又はデータ記憶部又は他の適切なデータ提供ユニットから前記画像データを受信するように構成される。前記画像データ入力ユニットは、したがって、前記画像データを前記処理ユニットに利用可能にするように提供される。前記画像データは、撮像システムにより提供されてもよい。
【００１８】
一例において、真の候補位置を提供するように構成された識別データ出力部が、提供される。
【００１９】
一例において、前記医療画像検出装置は、デジタルパソロジ画像検出装置である。
【００２０】
用語「関心対象」は、サンプル又はその画像において探される対象／エンティティに関する。このような対象は、特定の位置を持ち、１つの特定の画像パターンのような少なくとも１つの所定のフィーチャを持つ。例えば、リンパ球は、比較的小さいコンパクトな丸い形状を持つ対象と見なされうる。
【００２１】
用語「候補対象」は、画像アルゴリズムにより関心対象として識別された対象に関する。特定の識別は、誤っているかもしれないので、前記候補対象は、「真の対象」（又は換言すると「真陽性」）及び可能な「偽の対象」（又は換言すると可能な「偽陽性」）を有しうる。
【００２２】
したがって、画像処理の分野において非常に周知の用語である、用語「真陽性」又は「真の対象」は、グラウンドトゥルース（ground truth）、例えば病理学者の意見と比較した場合に、実際に正しく識別又は分類された候補対象に関する。詳しくは、機械学習分類の分野、例えばEncyclopedia of Machine Learning, C. Sammut and G. I. Webb, Springer reference Business Media LLC 2011におけるこの用語の通常の意味を参照されたい。
【００２３】
更に、画像処理の分野において非常に周知である、用語「偽陽性」又は「偽の対象」は、誤って検出され、グラウンドトゥルース、例えば病理学者の意見と比較する場合に、実際には特定の異なるカテゴリに識別又は分類された候補対象に関する。詳しくは、機械学習の分野、例えばEncyclopedia of Machine Learning, C. Sammut and G. I. Webb, Springer reference Business Media LLC 2011におけるこの用語の通常の意味を参照されたい。
【００２４】
一例において、前記分類は、正しく識別された対象のトレーニングセットが利用可能である場合に学習に基づく。
【００２５】
一例において、好ましくは、前記分類器は、機械学習又はディープラーニングのような学習に基づくモデルである。
【００２６】
前記モデルは、偽陽性の良好なトレーニングデータベースを用いて正しくトレーニングされる。したがって、これは、「学習ベースの分類器」又は「トレーニングされた分類器」とも称されることができる。
【００２７】
用語「可能な偽陽性」は、これらの識別が、アルゴリズムの中間分析から生じ、決定的と見なされなくてもよいので、まだ偽陽性と見なされなくてもよい候補対象に関する。本発明に関して、前記中間分析は、第１の検出器により実行されてもよく、この後に使用される前記分類器は、決定的な識別を生じてもよい。
【００２８】
前記分類器による分類は、第１の選択の第２の選択、すなわち分類による第１のステップの結果の検証である。換言すると、第１の検出器は、真及び偽の選択を有しうる候補対象の第１のグループを識別する。第１のグループは、真の選択を確認、すなわち選択し、偽の選択を除外（de-select）する第２の段階として前記分類器により確認される。
【００２９】
前記分類器は、前記候補対象のいずれが真陽性であり、いずれが偽陽性であるかを検証及び確認するように構成される。
【００３０】
前記検証は、少なくとも１つの所定の第２のフィーチャの第２の識別としての分類により前記可能な候補対象を検証することに基づく。前記可能な候補対象の検証されない候補対象は、偽の候補位置として除外され、例えば、可能な候補位置の検証された候補位置は、真の候補位置として選択される。
【００３１】
換言すると、第１のステップにおいて、（可能な位置を持つ）候補対象は、画像全体において、又は前記画像の少なくとも一部において検出される。これらは、真の対象（真の位置）及び偽の対象（偽の位置）を有しうる。第２のステップにおいて、候補は、分類、すなわち検証され、偽の位置が識別され、真の対象（又は真の位置）のみを獲得する。
【００３２】
一例において、異なる解像度レベルが、二段階処理において、すなわち第１の段階（又は第１のステップ）としての候補対象の検出及び第２の段階（又は第２のステップ）としての分類に対して使用される。低解像度レベルは、速い処理を達成するように第１の段階に対して提供される。高解像度レベルは、偽陽性の改善された区別を達成するように第２の段階に対して提供される。
【００３３】
これは、ここで各々タイルからなる全体的なスライド画像が処理されるので、デジタルパソロジに対して特に適切である、速い処理時間を可能にする。更に、異なる解像度のオプションは、画像が異なる解像度を持つピラミッドのような構造に記憶される場合に、デジタルパソロジ画像における画像構造とマッチする。例えば、１つの解像度レベルは、前記処理の検出ステップにおいて使用され、他の解像度レベルは、分類ステップにおいて使用される。
【００３４】
一例によると、前記処理ユニットは、分類された偽陽性を除外するように構成される。
【００３５】
オプションにおいて、前記処理ユニットは、分類された真陽性を選択するように構成される。
【００３６】
一例によると、前記処理ユニットは、前記画像の実質的部分、好ましくは完全な画像データにおいて第１の検出を実行し、候補関心対象だけに分類を実行するように構成される。
【００３７】
用語「画像の実質的部分」は、例えば、前記画像の少なくとも４分の１に関する。一例において、前記画像の半分又は３分の２が、第１の検出に対して使用される。
【００３８】
本発明によると、医療撮像システムも提供される。前記システムは、組織プローブスキャナ装置及び先行する例による医療画像検出装置を有する。前記組織プローブスキャナ装置は、生物学的サンプルをスキャンし、前記スキャンの画像データを前記画像データ入力部に提供するように構成される。
【００３９】
一例において、前記医療撮像システムは、デジタルパソロジ撮像システムとして提供される。前記生物学的サンプルは、例えば、解剖された組織プローブである。
【００４０】
本発明によると、デジタル撮像において所定の生物学的フィーチャを検出する方法も、提供される。前記方法は、以下のステップ、すなわち、
ａ）生物学的サンプルの画像データを受信するステップと、
ｂ）前記画像データにおける少なくとも１つの所定の対象フィーチャの検出により前記サンプル内の関心対象を検出するステップであって、検出された候補対象が、候補対象であり、前記候補対象が、真陽性及び可能な偽陽性を有する、ステップと、
ｃ）前記可能な偽陽性を偽陽性として又は真陽性として分類するステップであって、前記分類が、トレーニングされた分類であり、前記分類が、特に前記検出の偽陽性を認識するようにトレーニングされる、ステップと、
を有する。
【００４１】
「生物学的サンプルの画像データを受信する」ステップａ）は、「生物学的サンプルの画像データを提供するステップ」とも称されることができる。
【００４２】
一例において、前記候補対象を偽陽性及び／又は真陽性として分類するサブステップが、提供される。
【００４３】
一例において、前記分類が、前記検出と前記分類との間の密接な結合に基づく。
【００４４】
ステップｂ）の前記検出は、関心対象の第１の検出とも称される。
【００４５】
一例において、前記デジタル撮像は、デジタルパソロジに関する。
【００４６】
一例において、前記生物学的サンプルは、関心領域を表す。
【００４７】
第１の検出は、関心点検出器であってもよく、前記分類は、第１のステップの結果を精緻化する精緻化ステップであってもよい。
【００４８】
一例によると、ステップｃ）において、前記分類された偽陽性は、除外される。
【００４９】
一例において、前記真陽性が、選択される。
【００５０】
一例によると、ステップｂ）において、第１の検出が、前記画像の実質的部分、好ましくは完全な画像データにおいて実行される。更に、ステップｃ）において、前記分類は、前記候補対象だけに実行される。
【００５１】
一例において、前記分類は、前記検出された可能な偽陽性だけに実行される。
【００５２】
一例によると、前記完全な画像は、所定の数の画像タイルからなり、ステップｂ）における第１の検出は、前記画像タイルにおいて実行される。
【００５３】
一例によると、前記分類は、第１のステップにより検出された前記候補対象を検証するようにトレーニングベースのアプローチを使用する。
【００５４】
この効果において、前記トレーニングされたアルゴリズムは、第１のステップにおいて生成された偽陽性を識別（すなわち検出）することができる。
【００５５】
結果として、１つの選択された候補対象、例えば、その位置が、前記トレーニングベースの分類器にフィードされる。
【００５６】
前記分類器は、リンパ球及び他の構造を区別するのに最適化されたフィーチャのセットを使用する従来の機械学習ベースのアプローチに基づくことができる。これらのフィーチャは、形態学的フィルタ、ブロブ検出フィルタ（ＬｏＧ、ガウシアンの差（Difference of Gaussians）（ＤｏＧ）及びヘッセ行列式（Determinant of Hessian matrix））、円ハフ変換導出フィーチャ（circular Hough transform derived feature）及びローパスフィルタを含む。前記フィーチャは、第１の検出ステップからの結果として関心点記述子をも含むことができる。
【００５７】
代替例として、前記分類器は、（畳み込み）ディープニューラルネットワークに基づくこともできる。この場合、特定のフィーチャは、設計されない。代わりに、これらは、トレーニングデータから直接的に学習される。
【００５８】
一例によると、ステップｂ）において、第１の検出は、前記関心対象としてリンパ球の候補位置を検出するのに関心点検出を適用することにより達成される。
【００５９】
前記関心点検出は、円形対象を感知できる。
【００６０】
一例によると、第１の検出は、ＳＩＦＴベースの検出器アルゴリズムを使用しており、前記分類は、画素ベースの分類器を使用している。
【００６１】
第１のステップとしての関心点検出器は、窓ベースのスキャンを避ける。前記関心点検出器は、例えばリンパ球を含む候補位置を迅速に識別する。
【００６２】
一例において、第２のトレーニングベースのステップは、前記トレーニングベースのステップが、第１のステップからの前記選択された位置において適用されることのみを必要とするので、一連のフィーチャを採用することによりリンパ球ではない候補位置を拒絶する。より複雑な分類器が、速度性能を犠牲にする必要なしに使用されることができる。前記アプローチは、いかなる後処理も必要とせずにリンパ球の位置を直接的に出力する。
【００６３】
換言すると、前記分類は、前のステップにおいてなされた選択に対して行われる。
【００６４】
上に示されたように、前記アプローチの第１のステップは、関心点検出器、例えばＳＩＦＴアプローチにおいて使用されるものを採用する。前記検出器は、リンパ球の主要な形態学的特性、この場合には、暗い小さな丸い対象を迅速に識別することを目的とする。前記検出器は、典型的にはトレーニングベースのアプローチにより行われるような、領域／スライドの完全なスキャン窓ベースのサーチを要求しない。
【００６５】
一例として、前記識別された候補位置は、生検検査のような検査手順、又は更なる画像データを取得するための目標撮像手順のような更なるステップに対して提供される。
【００６６】
一例によると、第１の検出は、前記分類より高い感度及び／又はより高い速度を提供される。更に、前記分類は、前記分類において偽陽性が拒絶され、真陽性が保持されるように第１の検出より高い特異性を持つように構成される。
【００６７】
換言すると、前記分類は、前記分類において偽の位置が拒絶され、真の位置が保持されるように構成される。
【００６８】
一例において、第１の検出は、高い感度及び／又は高い速度を提供される。前記分類は、高い特異性を提供され、偽陽性が拒絶され、真陽性が保持される。
【００６９】
一例において、第１の検出は、ＳＩＦＴベースの検出器アルゴリズム（ＳＩＦＴ：スケール不変フィーチャ変換）を使用している。これは、多数の真陽性及び多数の偽陽性を提供する。
【００７０】
一例において、前記分類は、画素ベースの分類器を使用している。
【００７１】
一例によると、ステップａ）に対して、生物学的標本が、ガラススライド上に提供され、前記標本の複数の画像タイル、例えば部分画像が、取得され、前記画像データは、前記複数の画像タイルからなる。
【００７２】
換言すると、前記サンプルは、顕微鏡の視野が前記サンプルのサイズより小さいので、複数の画像タイルからなる全体スライド画像として提供される。
【００７３】
前記生物学的標本は、組織学又は細胞学の分野に関する組織プローブとして提供される。
【００７４】
一態様によると、二段階アプローチが提供され、検出の第１のステップは、医療画像における検出された位置の第１のグループを提供する。分類の第２のステップは、次いで、第１の検出の発見を分類する第２のステップとして提供される。
【００７５】
本発明のこれら及び他の態様は、以下に記載される実施例を参照して説明され、明らかになる。
【００７６】
本発明の典型的な実施例は、以下の図面を参照して以下に記載される。
【図面の簡単な説明】
【００７７】
【図１】医療画像検出装置の一例を概略的に示す。
【図２】医療撮像システムの一例を示す。
【図３】デジタル撮像において所定のフィーチャを検出する方法の一例を示す。
【図４】二段階検出器の他の図を示す。
【図５】関心点検出に関するいくつかの態様を説明する。
【図６】第２段階分類器をトレーニングするのに使用される例のフィーチャ画像を示す。
【図７Ａ】二段階検出スキームを使用する例の結果を示す。
【図７Ｂ】二段階検出スキームを使用する例の結果を示す。
【発明を実施するための形態】
【００７８】
図１は、画像データ入力部１２及び処理ユニット１４を有する医療画像検出装置１０を示す。画像データ入力部１２は、生物学的サンプルの画像データを受信するように構成される。処理ユニット１４は、第１の検出器１６及び分類器１８を有する。第１の検出器は、前記画像データにおける少なくとも１つの所定の対象フィーチャの検出により前記サンプル内で関心対象を検出するように構成された関心点検出器である。前記検出された対象は、候補対象であり、前記候補対象は、真陽性及び可能な偽陽性を有する。前記真陽性は、真の対象とも称されることができ、前記可能な偽陽性は、可能な偽の対象とも称されることができる。更に、分類器１８は、前記可能な偽陽性を偽陽性又は真陽性として分類するように構成される。前記分類器は、トレーニングされた分類器である。前記分類器は、特に前記検出器の偽陽性、すなわち前記検出器により生成された偽陽性を認識するようにトレーニングされる。
【００７９】
図２は、医療撮像システム５０を示す。医療撮像システム５０は、組織プローブスキャナ装置５２及び先行する例による医療画像検出装置１０の一例を有する。前記組織プローブスキャナ装置は、生物学的サンプルをスキャンし、前記スキャンの画像データを画像データ入力部１２に提供するように構成される。
【００８０】
図３は、デジタル撮像において所定の生物学的フィーチャを検出する方法１００を示す。前記方法は、以下のステップ、すなわち、
‐ステップａ）とも称される第１のステップ１０２において、生物学的サンプルの画像データが、受信される。
‐ステップｂ）とも称される第２のステップ２０４において、前記サンプル内の関心対象の第１の検出が、前記画像データにおける少なくとも１つの所定の対象フィーチャの検出により提供される。前記検出された対象が、候補対象であり、前記候補対象は、真陽性及び可能な偽陽性を有する。
‐ステップｃ）とも称される第３のステップ１０６において、分類により、前記可能な偽陽性が、偽陽性又は真陽性として分類される。前記分類は、トレーニングされた分類である。前記分類は、特に前記偽陽性を認識するようにトレーニングされる。
【００８１】
点線フレーム１０８は、二段階構成を示す。
【００８２】
一例において、詳細には示されないオプションとして、ステップｃ）において、前記分類された偽陽性が、除外され１０８、更なるオプションにおいて、前記真陽性が、選択される１１０。
【００８３】
一例において、詳細には示されないが、ステップｂ）において、第１の検出が、前記画像の実質的部分、好ましくは完全な画像データにおいて実行される。
【００８４】
更なる例において、詳細には示されないが、ステップｃ）において、前記分類は、前記検出された関心対象、すなわち前記候補対象のみに実行される。
【００８５】
更なる例において、詳細には示されないが、前記分類は、第１のステップにより検出された関心対象の心の対象を検証するのにトレーニングベースアプローチを使用する。
【００８６】
更なる例において、詳細には示されないが、ステップｂ）において、第１の検出が、前記関心対象としてリンパ球の候補位置を検出するのに関心点検出を使用することにより達成される。
【００８７】
オプションとして、第１の検出が、ＳＩＦＴベースの検出器アルゴリズムを使用しており、前記分類が、画素ベースの分類器を使用していることが提供される。
【００８８】
更なる例において、詳細には示されないが、第１の検出が、前記分類より高い感度及びより高い速度を提供される。更に、前記分類は、前記分類において偽陽性が拒絶され、真陽性が保持されるように、第１の検出より高い特異性を持つように構成される。
【００８９】
更なる例において、詳細には示されないが、ステップａ）において、生物学的標本が、ガラススライド上に提供され、前記標本の複数の画像タイルが、取得され、前記画像データは、前記複数の画像タイルからなる。
【００９０】
図４は、二段階アプローチを示す図を示す。第１のフレーム６２は、（１）高い感度及び（２）高い速度を持つ第１の検出器を示す。例えば、この検出器は、ＳＩＦＴベースの検出を使用して提供される。結果として、第１の矢印６４で示されるように、多数の真陽性及び多数の可能な偽陽性が、提供される。第２のフレーム６６は、（１）高い特異性を持ち、（２）真陽性を保持しながら偽陽性を拒絶する分類器を示す。例えば、この分類器は、画素ベースの分類器として提供される。結果として、第２の矢印６８で示されるように、多数の真陽性及び少数の可能な偽陽性が、提供される。
【００９１】
図５は、関心点検出に関するいくつかの態様を説明する。三次元図７２は、それぞれの画像データの表現７４とともに、ＤｏＧフィルタを示す。右側で、スキーム７６は、ＳＩＦＴがＤｏＧスケール空間において極値を検出するように提供されることを示す。矢印７８は、スケールの方向を示す。
【００９２】
図６は、第２段階分類器をトレーニングするのに使用される例のフィーチャ画像を示す。第１の画像８２は、組織サンプルの元のＲＧＢ画像を示す。第２の画像８４は、平均化フィルタを持つ画像を示す。第３の画像８６は、ヘッセ行列式を使用することによる画像を示す。第４の画像８８は、形態学的オープン基準（morphological open criteria）による画像を示す。
【００９３】
図７Ａ及び図７Ｂは、二段階検出スキームを使用する例の結果を示す。図７Ａは、リンパ球不足領域に関する。図７Ａにおいて、左の列９０は、ＳＩＦＴのみを検出器として使用する画像を示す。右の列９２は、ＳＩＦＴ及び使用された第２段階分類器を持つ画像を示す。前記第２段階分類器を使用することは、偽陽性を大幅に取り除き、特異性を改善する。図７Ｂは、リンパ球の多い領域に関する。図７Ｂにおいて、左の列９４は、検出器としてＳＩＦＴのみを使用する画像を示す。右の列９６は、ＳＩＦＴ及び使用された第２段階分類器を持つ画像を示し、前記第２段階分類器を使用することは、感度に大幅な影響を与えない。小さな点９８は、検出された位置、すなわち対象を示す。
【００９４】
一例として、二段階検出器構成は、例えば分子診断に対するサンプル選択方法を改善するために、分子診断に対するインタフェースとして提供される。これは、腫瘍細胞数及び純度の定量的推定を容易化し、これは、病理学者に対するサポートを意味する。これは、デジタル化された画像においてコンピュータアルゴリズムを使用するアイデアに基づく。
【００９５】
一例において、注釈の後に、関心領域は、解剖を介して取り除かれることができ、更に分析されてもよい。前記解剖は、異なる処理によって提供されうる。
【００９６】
一例として、二段階アプローチは、リンパ球がサンプル選択に対する主要な汚染源を構成するので、リンパ球に対して使用される。例えば、結腸癌において、リンパ球は、通常、大きな量を備え、これらの量は、小さなサイズのため推定するのが難しい。
【００９７】
一例として、前記アルゴリズムは、全体的なスライド画像からのリンパ球の速い検出を提供する。しかしながら、Ｈ＆Ｅ画像から免疫細胞湿潤を特徴づけるような、他のアプリケーションも、提供される。
【００９８】
一例において、リンパ球は、例えばリンパ球湿潤パターンを分析することにより検出される。例えば、Ｈ＆Ｅ画像からの免疫細胞の定量化が、提供される。
【００９９】
一例において、前記使用された第１段階は、関心点検出器を含み、第２段階分類器は、フィーチャセットを使用する。例えば、リンパ球に対して、円形対象を感知できる特定のフィーチャセットが、提供される。関心点記述子が、第２段階分類器に対するフィーチャとして使用される。
【０１００】
Ｈ＆Ｅ染色画像に関して、他の細胞タイプからリンパ球を区別する特定のマーカの代わりに、これは、細胞形態学に依存する。例えば、リンパ球は、全ての細胞核のサブタイプとして扱われる。これは、第２ステップ核タイプ分類が後に続く核検出の第１のタイプを含む。これは、全ての核タイプの高度に可変の形態学を提供する。
【０１０１】
サンプル選択ワークフローを最良適合するために、二段階検出器構成は、速いが、まだ十分に正確であるように提供される。関心点検出器は、窓ベースのスキャンに対する必要性を避けるように第１のステップとして提供される。前記関心点検出器は、リンパ球を含む候補位置を迅速に識別する。分類器として、第２のトレーニングベースのステップは、第１のステップからの選択された位置において適用されることのみを必要とするので、一連のフィーチャを採用することによりリンパ球ではない候補位置を拒絶するのに使用されることができる。より複雑な分類器が、速度性能を犠牲にする必要なしに使用されることができる。このアプローチは、いかなる後処理も要求されることなしにリンパ球の位置を直接的に出力する。
【０１０２】
換言すると、二段階アプローチは、病理組織学的画像から関心対象、例えばリンパ球を検出するように提供される。このアプローチは、リンパ球又は病理組織学的画像に制限されない。これは、関心点検出器及び第２段階としての精緻化ステップを含むいかなるアプローチにも一般化されることができる。
【０１０３】
一例において、前記アプローチの第１のステップは、関心点検出器、例えばＳＩＦＴ（スケール不変フィーチャ変換）アプローチにおいて使用されるものを採用する。例えば、前記検出器は、リンパ球の主要な形態学的特性、この場合には、暗い小さな丸い対象を迅速に識別することを目的とする。前記検出器は、また、領域／スライドの完全スキャン窓ベースのサーチを要求しない。
【０１０４】
前記アプローチの第２のステップは、第１のステップにより選択された候補位置を検証するトレーニングベースのアプローチを使用する。この効果において、トレーニングされたアルゴリズムは、第１のステップにおいて生成された偽陽性を検出することができる。換言すると、選択された位置（候補対象）のみが、トレーニングベースの分類器にフィードされる。前記分類器は、リンパ球及び他の構造を区別するように最適化されたフィーチャのセットを採用する従来の機械学習ベースのアプローチに基づくことができる。これらのフィーチャは、形態学的フィルタ、ブロブ検出フィルタ（ＬｏＧ、ＤｏＧ及びヘッセ行列式）、円ハフ変換導出フィーチャ及びローパスフィルタを含む。前記フィーチャは、第１のステップからの結果として関心点記述子を含むこともできる。
【０１０５】
他の例において、前記分類器は、畳み込みディープニューラルネットワークに基づく。この場合、特定のフィーチャは、トレーニングデータから直接的に学習される。
【０１０６】
一例において、第１のステップにおいて、リンパ球の候補位置を検出する関心点検出器が、提供される。したがって、高速関心点検出器が、潜在的なリンパ球を位置特定するように第１のステップとして提供される。例えば、Ｈ＆Ｅ画像から、リンパ球は、密に染色された核及び細胞質の縁を持つ球形細胞として現れる。一例において、前記関心点検出器は、小さな丸い暗い対象を検出するのに、ガウシアンの差のスケール空間を使用する。更に、ＤｏＧスケール空間における極値は、安定した対象を見つけるようにサーチされる。これは、これらのフィーチャの超高速計算を可能にする。
【０１０７】
前記検出器は、高感度検出器であり、非常に速く動作する。これは、小さな窓で徹底的にスキャンすることを必要としない。しかしながら、これは、高い偽陽性、例えば、核において比較的一様なクロマチン分布を持つ他の細胞タイプを持つことができる。
【０１０８】
一例において、上記の検出器、又はスピードアップロバストフィーチャ（ＳＵＲＦ）及び最大安定極値領域（ＭＳＥＲ）において使用されるような例に加えて、他のタイプの関心点検出器も、使用される。
【０１０９】
入力画像のＲＧＢ空間において直接的に動作する他に、色デコンボリューションされた画像、例えばヘマトキシリンチャネルのみの画像を同様に入力として使用することを選択することができる。これは、前記画像からエオシンの多い構造を取り除き、ヘマトキシリン高濃度領域に更に集中することができる。
【０１１０】
一例において、第２のステップにおいて、トレーニングベースのアプローチは、一連の画像フィーチャを確認することにより非リンパ球を拒絶するのに使用される。第２のステップは、第１のステップから候補として選択された非リンパ球を拒絶することにより高い特異性を達成することを目的とする。画素ベースの分類器は、この段階において、低い偽陽性率及び高い真陽性率を補償するように使用される。一例の分類器は、適応ブースティング（adaptive boosting）分類器、又はサポートベクターマシン（ＳＶＭ）に基づくことができる。
【０１１１】
前記分類器の特異性を最大化するために、同じ視野からリンパ球及び非リンパ球対象を分離するのに最も弁別的であるフィーチャのセットが、提供される。一例として、陰性サンプルは、上皮細胞（正常及び癌性）、間質細胞、血液細胞（赤血球を含む）、内皮細胞、細胞片、及びスライド背景を含んでもよい。以下のフィーチャが、提供される。ｉ）ローパスフィルタは、平均化フィルタ、ガウシアン平滑化フィルタの使用を含む。これらのフィルタは、ノイズを効果的に取り除き、よりきれいな入力を後の分類器に提供することができる。異なるサイズのフィルタは、細胞核のわずかに変化するサイズを捕捉するのに使用されることができる。ｉｉ）ブロブ検出フィルタは、リンパ球の特性に適合するブロブのようなフィーチャを抽出するように設計されたフィルタのセットを含む。例えば、ガウシアンのラプラシアン（Laplacian of Gaussians）（ＬｏＧ）又はガウシアンの差（ＤｏＧ）フィルタが、使用されることができる。また、ヘッセ行列式は、暗い丸い対象を抽出するのに良好なフィーチャである。様々なサイズの一連のこのようなフィルタは、核サイズのばらつきに対処するように提供される。ｉｉｉ）激しい構造を取り除き、基本的な形状情報を保つ形態学的フィルタが、提供され、例は、開閉（open and close）演算子（operators）／フィルタである。様々なサイズの一連のこのようなフィルタは、核サイズのばらつきに対処するように一例において使用される。ｉｖ）円ハフ変換導出フィーチャは、円ハフ変換後のいわゆる蓄積アレイ（accumulation array）の平滑化バージョンとして提供される。加えて、極大フィルタは、前記画像から円形対象の中心を捕捉するように前記蓄積アレイに適用される。フィルタ処理された出力は、第２段階分類器をトレーニングするフィーチャとしても使用される。ｖ）ＳＩＦＴ記述子が、一例において提供され、ＳＩＦＴ記述子は、第１段階からのＳＩＦＴ関心点検出器から生じる。前記ＳＩＦＴ記述子は、前記関心点検出器により選択された候補位置のまわりの近隣領域におけるサンプルの配向値及び強度のヒストグラムに基づく。これは、前記対象の勾配／輪郭情報を捕捉する。
【０１１２】
オプションにおいて、適応ブースティング（Ａｄａｂｏｏｓｔ）は、機械学習アルゴリズムに対して一例として提供される。これは、上記の全てのフィーチャの弁別性能をランク付けするのに使用されることができ、最も有用なフィーチャは、完全なフィーチャセットを計算することが必要ではないように選択されることができる。
【０１１３】
一例において、リンパ球を残りの対象から区別するように分類器をトレーニングするために、陽性及び陰性サンプルの両方が、提供される。陽性サンプル（真のリンパ球）に対して、サンプルのセットからリンパ球の中心位置が、手動で注釈付けされ、陰性サンプル（非リンパ球）に対して、第１段階検出器が、まず適用され、結果として生じる全ての偽陽性が、第２段階分類器をトレーニングするように陰性サンプルとして選択される。
【０１１４】
上記の例は、デジタルパソロジ画像において細胞対象を検出するために提供され、これは、したがって、画像分析を改善する。応用例は、リンパ球及び腫瘍組織内のリンパ球の多い領域の検出である。応用例は、分子診断に対するサンプル選択のワークフローの質及び効率を更に改善するための使用である。結果は、最適化された解剖に対するワークフローに統合されることもできる。
【０１１５】
本発明の他の典型的な実施例において、適切なシステム上で先行する実施例の１つによる方法の方法ステップを実行するように構成されたコンピュータプログラム又はコンピュータプログラム素子が、提供される。
【０１１６】
前記コンピュータプログラム素子は、したがって、本発明の実施例の一部であってもよいコンピュータユニットに記憶されてもよい。この計算ユニットは、上記の方法のステップを実行する又は実行を誘導するように構成されてもよい。更に、これは、上記の装置のコンポーネントを動作するように構成されてもよい。前記計算ユニットは、自動的に動作するように及び／又はユーザのオーダを実行するように構成されることができる。コンピュータプログラムは、データプロセッサのワーキングメモリにロードされてもよい。前記データプロセッサは、したがって、本発明の方法を実行するように構成されてもよい。
【０１１７】
本発明のこの典型的な実施例は、最初から本発明を使用するコンピュータプログラムと、アップデートを用いて既存のプログラムを、本発明を使用するプログラムにするコンピュータプログラムとの両方をカバーする。
【０１１８】
更に、前記コンピュータプログラム素子は、上記の方法の典型的な実施例の手順を満たす全ての必要なステップを提供することができてもよい。
【０１１９】
本発明の更なる典型的な実施例によると、ＣＤ−ＲＯＭのようなコンピュータ可読媒体が、提示され、前記コンピュータ可読媒体は、コンピュータプログラム素子を記憶され、前記コンピュータプログラム素子は、前のセクションにより記載されている。コンピュータプログラムは、他のハードウェアと一緒に又はその一部として提供される光記憶媒体又は半導体媒体のような、適切な媒体に記憶及び／又は分配されてもよいが、インターネット又は他の有線若しくは無線電気通信システムを介するような他の形式で分配されてもよい。
【０１２０】
しかしながら、前記コンピュータプログラムは、ワールドワイドウェブのようなネットワーク上で提示されてもよく、このようなネットワークからデータプロセッサのワーキングメモリにダウンロードされることができる。本発明の更なる典型的な実施例によると、コンピュータプログラム素子をダウンロード可能にする媒体が、提供され、前記コンピュータプログラム素子は、本発明の以前に記載された実施例の１つによる方法を実行するように構成される。
【０１２１】
本発明の実施例が、異なる対象物を参照して記載されていることに注意すべきである。特に、一部の実施例は、方法型請求項を参照して記載されているのに対し、他の実施例は、装置型請求項を参照して記載されている。しかしながら、当業者は、上記及び以下の記載から、他に通知されない限り、１つのタイプの対象物に属するフィーチャの任意の組み合わせに加えて、異なる対象物に関するフィーチャの間の任意の組み合わせも、本明細書で開示されていると見なされる。しかしながら、全てのフィーチャは、結合されることができ、前記フィーチャの単純な合計より多くの相乗効果を提供する。
【０１２２】
本発明は、図面及び先行する記載において詳細に図示及び記載されているが、このような図示及び記載は、限定的ではなく、例示的又は典型的であると見なされるべきである。本発明は、開示された実施例に限定されない。開示された実施例に対する他の変形例は、図面、開示及び添付の請求項の検討から、請求された発明を実施する当業者により理解及び達成されることができる。
【０１２３】
請求項において、単語「有する」は、他の要素又はステップを除外せず、不定冠詞「ａ」又は「ａｎ」は、複数を除外しない。単一のプロセッサ又は他のユニットが、請求項に記載された複数のアイテムの機能を満たしてもよい。特定の方策が相互に異なる従属請求項に記載されているという単なる事実は、これらの方策の組み合わせが、有利に使用されることができないことを示さない。請求項内のいかなる参照符号も、範囲を限定するように解釈されるべきではない。
【図１】
2020518045.tif 000003
【図２】
2020518045.tif 000004
【図３】
2020518045.tif 000005
【図４】
2020518045.tif 000006
【図５】
2020518045.tif 000007
【図６】
2020518045.tif 000008
【図７Ａ】
2020518045.tif 000009
【図７Ｂ】
2020518045.tif 000010
【国際調査報告】
2020518045.tif 000011
2020518045.tif 000012