【手続補正書】
【提出日】平成30年12月25日(2018.12.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
生体標本のデジタル画像（５００）をセグメント化するための画像解析システムであって、前記デジタル画像は、前記生体標本の第１の組織タイプを表す第１の画像コンポーネント及び前記生体標本の第２の組織タイプ又はバックグラウンドを表す第２の画像コンポーネントを少なくとも含み、前記画像解析システムは、前記デジタル画像を受信するためのインタフェース及び前記セグメンテーションを実行するように構成されるプロセッサを含み、前記セグメンテーションは、
前記受信したデジタル画像にカラー・デコンボリューションを適用することによって、又は、前記デジタル画像のＲＧＢカラー要素を、それぞれの画像チャネルに分けることによって、複数の画像チャネルを生成することであって、それぞれの前記画像チャネルが、デジタル画像であり、前記デジタル画像のピクセル強度値が、前記それぞれのチャネルの前記カラー要素に対応するものと、
前記受信したデジタル画像の複数のスーパーピクセル（３０２、３０４）を識別することと、
それぞれの前記スーパーピクセルに対して、及び、それぞれの前記画像チャネルに対して、特徴セットを抽出することであって、前記特徴セットは、前記スーパーピクセルに含まれるピクセルのピクセル強度値を含み、かつ／又はそれに由来する、抽出することと、
ユーザによって提供される、又は、自動的に提供される、少なくとも第１（５０４）及び第２（５０２、５０６）のマーキングを受信することであって、前記第１のマーキングは、第１の前記スーパーピクセルの１つ又は複数をカバーし、前記第１のマーキングされたスーパーピクセルは、前記第１の画像コンポーネントの領域を表し、前記第２のマーキングは、第２の前記スーパーピクセルの１つ又は複数をカバーし、前記第２のマーキングされたスーパーピクセルは、前記第２の画像コンポーネントの領域を表す、受信することと、
画像チャネル特定のマーカ差分スコアを得るために、それぞれの複数の画像チャネルに対して、前記第１のマーキングされたスーパーピクセルの少なくとも１つの前記画像チャネル特定の特徴セットを、前記第２のマーキングされたスーパーピクセルの少なくとも１つの前記画像チャネル特定の特徴セットと比較することと、
前記複数のスーパーピクセルを、グラフ（400）として表すことによって、それぞれの前記識別されたスーパーピクセルの中心が、ノードとして表されるようにし、隣接するスーパーピクセルの中心を表す前記ノードが、それぞれのエッジによって接続されるようにすることであって、それぞれのエッジの前記計算が、
それぞれの前記画像チャネルに対して、前記エッジによって接続された、隣接するスーパーピクセルの前記画像チャネル特定の特徴セットを比較することによって、特徴セット距離を計算することと、
それぞれの前記エッジのために得られた、及び、それぞれの前記画像チャネルのために得られた、前記特徴セット距離を、前記画像チャネルのために計算された前記画像チャネル特定のマーカ距離スコアと乗算して、画像チャネル特定のエッジ重みを計算することと、
それぞれの前記エッジに対して、すべての画像チャネル特定のエッジ重みを集約し、前記集約されたエッジ重みを、前記エッジの前記エッジ重みとして用いることと、
を含むものと、
前記複数のスーパーピクセルのそれぞれのマーキングされていないスーパーピクセルに対して、
グラフ・トラバーサル・アルゴリズムによって、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第１のマーキングされたスーパーピクセルの間の第１の結合距離を計算することであって、前記第１の結合距離は、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第１のマーキングされたスーパーピクセルの間の特徴セット依存の距離の、また、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第１のマーキングされたスーパーピクセル間の空間距離の、導関数である、計算することと、
グラフ・トラバーサル・アルゴリズムによって、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第２のマーキングされたスーパーピクセルの間の第２の結合距離を計算することであって、前記第２の結合距離は、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第２のマーキングされたスーパーピクセルの間の特徴セット依存の距離の、また、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第２のマーキングされたスーパーピクセル間の空間距離の、導関数である、計算することと、
前記第１の結合距離が前記第２の結合距離より小さい場合、前記マーキングされていないスーパーピクセルを前記第１の画像コンポーネントに割り当て、またそうでない場合、前記マーキングされていないスーパーピクセルを前記第２の画像コンポーネントに関連付けて、それによって、前記デジタル画像をセグメント化することと
を含む、システム。
【請求項２】
グラフとしての前記複数のスーパーピクセルの前記表示が、
それぞれの前記エッジに対して、前記エッジにより接続された前記隣接するスーパーピクセルの前記特徴セットを比較することによって、特徴セット距離を計算し、それによって、前記特徴セット距離は前記比較された特徴セットの類似度と負の相関を有することを含む、請求項１に記載の画像解析システム。
【請求項３】
前記プロセッサが、前記第１及び第２のマーキングの前記受信の前に前処理動作を実行するように構成され、前記前処理動作は、
前記複数のスーパーピクセルの前記識別を実行することと、
それぞれの前記スーパーピクセルに対して、前記特徴セットの前記抽出を実行することと、
前記グラフとして前記複数のスーパーピクセルの前記表示を実行することと
を含み、
前記プロセッサは、前記前処理動作を実行した後に、
前記第１及び第２の結合距離を計算するために前記グラフを使用することと、
他の第１及び他の第２のマーキングを受信することであって、前記他の第１のマーキングは１つ又は複数の他の第１のマーキングされた前記スーパーピクセルをカバーし、前記他の第１のマーキングされたスーパーピクセルは前記第１の画像コンポーネントの他の領域を表し、前記他の第２のマーキングは１つ又は複数の他の第２のマーキングされた前記スーパーピクセルをカバーし、前記他の第２のマーキングされたスーパーピクセルは前記第２の画像コンポーネントの他の領域を表す、受信することと、
それぞれの前記スーパーピクセルに対して、前記グラフのトポロジ及び前記他の第１及び第２のマーキングを使用して他の第１及び他の第２の結合距離を計算することと、
前記他の第１の結合距離が前記他の第２の結合距離より小さい場合、マーキングされていないスーパーピクセルを前記第１の画像コンポーネントに関連付け、そうでない場合は、前記マーキングされていないスーパーピクセルを前記第２の画像コンポーネントに関連付けることによって、前記デジタル画像を再セグメント化することと
を実行するように構成される、
請求項１又は２のいずれか一項に記載の画像解析システム。
【請求項４】
それぞれの前記スーパーピクセルに対する前記特徴セットの前記抽出が、
前記スーパーピクセルに含まれる全てのピクセルから強度ヒストグラムを生成すること、及び／又は、
前記スーパーピクセルに含まれる全てのピクセルから勾配方向ヒストグラムを計算することであって、前記勾配方向は前記デジタル画像の前記強度における方向的変化の方向を表す、計算すること、及び／又は、
前記スーパーピクセルに含まれる全てのピクセルから勾配大きさヒストグラムを計算することであって、前記勾配大きさは前記デジタル画像の前記強度における方向的変化の大きさを表す、計算すること、及び／又は、
前記スーパーピクセルに含まれる全てのピクセルからテクスチャ特徴を計算すること
を含む、請求項１から３のいずれか一項に記載の画像解析システム。
【請求項５】
前記エッジの１つに割り当てられるそれぞれの前記計算された特徴セット距離は、
前記エッジにより接続された前記２つのノードに対して計算される前記２つの強度ヒストグラムの間のヒストグラム距離、
記エッジにより接続された前記２つのノードに対して計算される前記２つの勾配大きさヒストグラムの間のヒストグラム距離、
前記エッジにより接続された前記２つのノードに対して計算される前記２つの勾配方向ヒストグラムの間のヒストグラム距離、
１つ又は複数の前記ヒストグラム距離の導関数として計算される距離
である、請求項２から４のいずれか一項に記載の画像解析システム。
【請求項６】
前記マーキングされていないスーパーピクセルのいずれかに対する前記第１の結合距離の前記計算が、
それぞれの複数の第１の経路に対する第１の経路距離を計算することであって、それぞれの第１の経路は、前記マーキングされていないスーパーピクセルの中心を表す前記ノードと前記第１のマーキングされたスーパーピクセルの中心を表すノードを接続し、それぞれの第１の経路距離は、それぞれの前記第１の経路の１つに沿って隣接したスーパーピクセル対の間のエッジの重みの合計として計算される、計算することと、
最小の計算される第１の経路距離を、前記マーキングされていないスーパーピクセルに対して算出される前記第１の結合距離として使用することと
を含み、
前記マーキングされていないスーパーピクセルのいずれかに対する前記第２の結合距離の前記計算が、
それぞれの複数の第２の経路に対する第２の経路距離を計算することであって、それぞれの第２の経路は、マーキングされていないスーパーピクセルの中心を表すノードと第２のマーキングされたスーパーピクセルの中心を表すノードを接続し、それぞれの第２の経路距離は、それぞれの第２の経路の１つに沿って隣接したスーパーピクセル対の間のエッジの前記重みの前記合計である、計算することと、
最小の計算される第２の経路距離を、前記マーキングされていないスーパーピクセルに対して算出される前記第２の結合距離として使用することと
を含む、
請求項２から５のいずれか一項に記載の画像解析システム。
【請求項７】
前記マーキングされていないスーパーピクセルのいずれかに対する前記第１の結合距離の前記計算が、
それぞれの複数の第１の経路に対する第１の経路距離を計算することであって、それぞれの第１の経路は、前記マーキングされていないスーパーピクセルの中心を表す前記ノードと前記第１のマーキングされたスーパーピクセルの中心を表すノードを接続し、それぞれの第１の経路距離は、それぞれの前記第１の経路の１つに沿って隣接したスーパーピクセル対の間の前記エッジのいずれか１つに割り付けられた最大の重みとして計算される、計算することと、
前記最小の計算される第１の経路距離を、前記マーキングされていないスーパーピクセルに対して算出される前記第１の結合距離として使用することと
を含み、
前記マーキングされていないスーパーピクセルのいずれかに対する前記第２の結合距離の前記計算が、
それぞれの複数の第２の経路に対する第２の経路距離を計算することであって、それぞれの第２の経路は、前記マーキングされていないスーパーピクセルの中心を表す前記ノードと前記第２のマーキングされたスーパーピクセルの１つの中心を表すノードを接続し、それぞれの第２の経路距離は、それぞれの前記第２の経路の１つに沿って隣接したスーパーピクセル対の間の前記エッジのいずれか１つに割り付けられた最大の重みとして計算される、計算することと、
前記最小の計算される第２の経路距離を、前記マーキングされていないスーパーピクセルに対して算出される前記第２の結合距離として使用することと
を含む、
請求項２から５のいずれか一項に記載の画像解析システム。
【請求項８】
前記プロセッサが、
前記受信したデジタル画像の前記解像度を与えられて、各スーパーピクセルが細胞核の前記典型的サイズである最小サイズを有するように、前記受信したデジタル画像の前記複数のスーパーピクセルの前記識別を実行する
ように構成される、請求項１から７のいずれか一項に記載の画像解析システム。
【請求項９】
前記プロセッサが、前処理動作において、
それぞれのスーパーピクセルが第１の最小サイズを有するように前記受信したデジタル画像の前記複数のスーパーピクセルの前記識別を実行して、前記複数のスーパーピクセルの第１のグラフ内への前記表示を実行することと、
それぞれの前記更なるスーパーピクセルが前記第１の最小サイズより小さい更なる最小のサイズを有するように、前記受信したデジタル画像の更なる複数のスーパーピクセルを識別して、更なるグラフ内に前記更なる複数のスーパーピクセルを表示することと
を実行するように構成され、
前記プロセッサが、前処理動作の完了後に、
前記受信したデジタル画像内の関心領域のユーザの選択を受信することと、
前記ユーザの選択の前記受信に応答して、ハイブリッドスーパーピクセルグラフを生成することであって、前記ハイブリッドスーパーピクセルグラフは、前記更なるグラフのノード及びエッジを有する前記関心領域内のデジタル画像エリアを表し、前記第１のグラフのノード及びエッジを有する前記関心領域の外側にスーパーピクセルを表す、生成することと、
前記ハイブリッドスーパーピクセルグラフを使用して、前記第１及び第２の結合距離を計算し、そして、それぞれのマーキングされていない第１又は更なるスーパーピクセルを前記第１又は第２の画像コンポーネントに割り当てることと
を実行するように構成される、
請求項１から８のいずれか一項に記載の画像解析システム。
【請求項１０】
請求項９に記載の画像解析システムであって、当該システムによって、前記更なる最小のサイズが、細胞核の前記典型サイズの少なくとも１．５倍である、請求項９に記載の画像解析システム。
【請求項１１】
データ入力装置、特にマウス又はデータ入力スタイラスであって、前記第１及び／又は第２のマーカ、ならびに任意にまた前記関心領域が、前記データ入力装置を使用しているユーザにより選択される、前記データ入力装置
を更に含む、請求項１から１０のいずれか一項に記載の画像解析システム。
【請求項１２】
ディスプレイモニタ、特にタッチスクリーンモニタ又はペンディスプレイモニタであって、前記プロセッサが、前記１つ又は複数の第１のマーキングされたスーパーピクセルに割り当てられる全てのスーパーピクセルを第１の色でオーバレイするように、そして、前記１つ又は複数の第２のマーキングされたスーパーピクセルに割り当てられる全てのスーパーピクセルを第２の色でオーバレイするように、そして、前記表示モニタを介して前記デジタル画像及び前記オーバレイされた第１及び第２の色を表示するように構成される、前記ディスプレイモニタ
を更に含む、請求項１から１１のいずれか一項に記載の画像解析システム。
【請求項１３】
前記生体標本が組織病理学標本であり、特に生検標本である、請求項１から１２のいずれか一項に記載の画像解析システム。
【請求項１４】
生体標本のデジタル画像（５００）を自動的にセグメント化するための画像解析方法であって、前記デジタル画像は、前記生体標本の第１の組織タイプを表している第１の画像コンポーネント、及び前記生体標本又はバックグラウンドの第２の組織タイプを表している第２の画像コンポーネントを少なくとも含み、前記画像解析方法は画像解析システムにより実行され、
前記受信したデジタル画像にカラー・デコンボリューションを適用することによって、又は、前記デジタル画像のＲＧＢカラー要素を、それぞれの画像チャネルに分けることによって、複数の画像チャネルを生成することであって、それぞれの前記画像チャネルが、デジタル画像であり、前記デジタル画像のピクセル強度値が、前記それぞれのチャネルの前記カラー要素に対応するものと、
前記受信したデジタル画像内の複数のスーパーピクセル（３０２、３０４）を識別するステップと、
それぞれの前記スーパーピクセルに対して、及び、それぞれの前記画像チャネルに対して、特徴セットを抽出するステップであって、前記特徴セットは、前記スーパーピクセルに含まれるピクセルのピクセル強度値を含み、かつ／又はそれに由来する、抽出するステップと、
ユーザによって提供されるか、又は、自動的に提供される、少なくとも第１（５０４）及び第２（５０２、５０６）のマーキングを受信するステップであって、前記第１のマーキングは、第１の前記スーパーピクセルの１つ又は複数をカバーし、前記第１のマーキングされたスーパーピクセルは、前記第１の画像コンポーネントの領域を表し、前記第２のマーキングは、第２の前記スーパーピクセルの１つ又は複数をカバーし、前記第２のマーキングされたスーパーピクセルは、前記第２の画像コンポーネントの領域を表す、受信するステップと、
画像チャネル特定のマーカ差分スコアを得るために、それぞれの複数の画像チャネルに対して、前記第１のマーキングされたスーパーピクセルの少なくとも１つの前記画像チャネル特定の特徴セットを、前記第２のマーキングされたスーパーピクセルの少なくとも１つの前記画像チャネル特定の特徴セットと比較することと、
前記複数のスーパーピクセルを、グラフ（400）として表すことによって、それぞれの前記識別されたスーパーピクセルの中心が、ノードとして表されるようにし、隣接するスーパーピクセルの中心を表す前記ノードが、それぞれのエッジによって接続されるようにすることであって、それぞれのエッジの前記計算が、
それぞれの前記画像チャネルに対して、前記エッジによって接続された、隣接するスーパーピクセルの前記画像チャネル特定の特徴セットを比較することによって、特徴セット距離を計算することと、
それぞれの前記エッジのために得られた、及び、それぞれの前記画像チャネルのために得られた、前記特徴セット距離を、前記画像チャネルのために計算された前記画像チャネル特定のマーカ距離スコアと乗算して、画像チャネル特定のエッジ重みを計算することと、
それぞれの前記エッジに対して、すべての画像チャネル特定のエッジ重みを集約し、前記集約されたエッジ重みを、前記エッジの前記エッジ重みとして用いることと、
を含むものと、
前記複数のスーパーピクセルのそれぞれのマーキングされていないスーパーピクセルに対して、
グラフ・トラバーサル・アルゴリズムによって、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第１のマーキングされたスーパーピクセルの間の第１の結合距離を計算するステップであって、前記第１の結合距離は、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第１のマーキングされたスーパーピクセルの間の特徴セット依存の距離の、また、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第１のマーキングされたスーパーピクセル間の空間距離の、導関数である、計算するステップと、
グラフ・トラバーサル・アルゴリズムによって、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第２のマーキングされたスーパーピクセルの間の第２の結合距離を計算するステップであって、前記第２の結合距離は、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第２のマーキングされたスーパーピクセルの間の特徴セット依存の距離の、また、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第２のマーキングされたスーパーピクセル間の空間距離の、導関数である、計算するステップと、
前記第１の結合距離が前記第２の結合距離より小さい場合、前記マーキングされていないスーパーピクセルを前記第１の画像コンポーネントに割り当て、またそうでない場合、前記マーキングされていないスーパーピクセルを前記第２の画像コンポーネントに関連付けて、それによって、前記デジタル画像をセグメント化するステップと
を含む、画像解析方法。