(57)【特許請求の範囲】
【請求項１】
生体標本のデジタル画像（５００）をセグメント化するための画像解析システムであって、前記デジタル画像は、前記生体標本の第１の組織タイプを表す第１の画像コンポーネント及び前記生体標本の第２の組織タイプ又はバックグラウンドを表す第２の画像コンポーネントを少なくとも含み、前記画像解析システムは、前記デジタル画像を受信するためのインタフェース及びセグメンテーションを実行するように構成されるプロセッサを含み、前記セグメンテーションは、
前記受信したデジタル画像にカラー・デコンボリューションを適用することによって、又は、前記デジタル画像のＲＧＢカラー要素を、それぞれの画像チャネルに分けることによって、複数の画像チャネルを生成することであって、それぞれの前記画像チャネルが、デジタル画像であり、前記デジタル画像のピクセル強度値が、それぞれの前記画像チャネルの前記ＲＧＢカラー要素に対応するものと、
前記受信したデジタル画像の複数のスーパーピクセル（３０２、３０４）を識別することと、
それぞれの前記スーパーピクセルに対して、及び、それぞれの前記画像チャネルに対して、特徴セットを抽出することであって、前記特徴セットは、前記スーパーピクセルに含まれるピクセルのピクセル強度値を含み、かつ／又は、前記スーパーピクセルに含まれるピクセルのピクセル強度値から得られる、抽出することと、
ユーザによって提供される、又は、自動的に提供される、少なくとも第１（５０４）及び第２（５０２、５０６）のマーキングを受信することであって、前記第１のマーキングは、第１の前記スーパーピクセルの１つ又は複数をカバーし、前記第１のマーキングされたスーパーピクセルは、前記第１の画像コンポーネントの領域を表し、前記第２のマーキングは、第２の前記スーパーピクセルの１つ又は複数をカバーし、前記第２のマーキングされたスーパーピクセルは、前記第２の画像コンポーネントの領域を表す、受信することと、
画像チャネル特定のマーカ差分スコアを得るために、それぞれの複数の画像チャネルに対して、前記第１のマーキングされたスーパーピクセルの少なくとも１つの前記画像チャネル特定の特徴セットを、前記第２のマーキングされたスーパーピクセルの少なくとも１つの前記画像チャネル特定の特徴セットと比較することと、
前記複数のスーパーピクセルを、グラフ（400）として表すことによって、それぞれの前記識別されたスーパーピクセルの中心が、ノードとして表されるようにし、隣接するスーパーピクセルの中心を表す前記ノードが、それぞれのエッジによって接続されるようにすることであって、それぞれのエッジの計算が、
それぞれの前記画像チャネルに対して、前記エッジによって接続された、隣接するスーパーピクセルの前記画像チャネル特定の特徴セットを比較することによって、特徴セット距離を計算することと、
それぞれの前記エッジのために得られた、及び、それぞれの前記画像チャネルのために得られた、前記特徴セット距離を、前記画像チャネルのために計算された前記画像チャネル特定のマーカ距離スコアと乗算して、画像チャネル特定のエッジ重みを計算することと、
それぞれの前記エッジに対して、すべての画像チャネル特定のエッジ重みを集約し、前記集約されたエッジ重みを、前記エッジの前記エッジ重みとして用いることと、
を含むものと、
前記複数のスーパーピクセルのそれぞれのマーキングされていないスーパーピクセルに対して、
グラフ・トラバーサル・アルゴリズムによって、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第１のマーキングされたスーパーピクセルの間の第１の結合距離を計算することであって、前記第１の結合距離は、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第１のマーキングされたスーパーピクセルの間の特徴セット依存の距離の導関数であり、また、前記第１の結合距離は、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第１のマーキングされたスーパーピクセル間の空間距離の導関数である、計算することと、
グラフ・トラバーサル・アルゴリズムによって、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第２のマーキングされたスーパーピクセルの間の第２の結合距離を計算することであって、前記第２の結合距離は、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第２のマーキングされたスーパーピクセルの間の特徴セット依存の距離の導関数であり、また、前記第２の結合距離は、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第２のマーキングされたスーパーピクセル間の空間距離の導関数である、計算することと、
前記第１の結合距離が前記第２の結合距離より小さい場合、前記マーキングされていないスーパーピクセルを前記第１の画像コンポーネントに割り当て、前記第１の結合距離が前記第２の結合距離と同じ又はより大きい場合、前記マーキングされていないスーパーピクセルを前記第２の画像コンポーネントに関連付けて、当該割り当て又は関連付けに基づいて、前記デジタル画像をセグメント化することと
を含む、システム。
【請求項２】
グラフとしての前記複数のスーパーピクセルの表示が、それぞれの前記エッジに対して、前記エッジにより接続された前記隣接するスーパーピクセルの前記特徴セットを比較することによって、特徴セット距離を計算することを含み、
前記特徴セット距離は前記比較された特徴セットの類似度と負の相関を有する、
請求項１に記載の画像解析システム。
【請求項３】
前記プロセッサが、前記第１及び第２のマーキングの前記受信の前に前処理動作を実行するように構成され、前記前処理動作は、
前記複数のスーパーピクセルの前記識別を実行することと、
それぞれの前記スーパーピクセルに対して、前記特徴セットの前記抽出を実行することと、
前記グラフとして前記複数のスーパーピクセルの表示を実行することと
を含み、
前記プロセッサは、前記前処理動作を実行した後に、
前記第１及び第２の結合距離を計算するために前記グラフを使用することと、
他の第１及び他の第２のマーキングを受信することであって、前記他の第１のマーキングは１つ又は複数の他の第１のマーキングされた前記スーパーピクセルをカバーし、前記他の第１のマーキングされたスーパーピクセルは前記第１の画像コンポーネントの他の領域を表し、前記他の第２のマーキングは１つ又は複数の他の第２のマーキングされた前記スーパーピクセルをカバーし、前記他の第２のマーキングされたスーパーピクセルは前記第２の画像コンポーネントの他の領域を表す、受信することと、
それぞれの前記スーパーピクセルに対して、前記グラフのトポロジ及び前記他の第１及び第２のマーキングを使用して他の第１及び他の第２の結合距離を計算することと、
前記他の第１の結合距離が前記他の第２の結合距離より小さい場合、マーキングされていないスーパーピクセルを前記第１の画像コンポーネントに関連付け、前記他の第１の結合距離が前記他の第２の結合距離と同じ又はより大きい場合、前記マーキングされていないスーパーピクセルを前記第２の画像コンポーネントに関連付けることによって、前記デジタル画像を再セグメント化することと
を実行するように構成される、
請求項１又は２のいずれか一項に記載の画像解析システム。
【請求項４】
それぞれの前記スーパーピクセルに対する前記特徴セットの前記抽出が、
前記スーパーピクセルに含まれる全てのピクセルから強度のヒストグラムを生成すること、及び／又は、
前記スーパーピクセルに含まれる全てのピクセルから勾配方向のヒストグラムを計算することであって、前記勾配方向は前記デジタル画像の強度における方向的変化の方向を表す、計算すること、及び／又は、
前記スーパーピクセルに含まれる全てのピクセルから勾配大きさのヒストグラムを計算することであって、前記勾配大きさは前記デジタル画像の強度における方向的変化の大きさを表す、計算すること、及び／又は、
前記スーパーピクセルに含まれる全てのピクセルからテクスチャ特徴を計算すること
を含む、請求項１から３のいずれか一項に記載の画像解析システム。
【請求項５】
前記エッジの１つに割り当てられるそれぞれの前記計算された特徴セット距離は、
前記エッジにより接続された２つのノードに対して計算される２つの強度のヒストグラムの間のヒストグラム距離、
前記エッジにより接続された２つのノードに対して計算される２つの勾配大きさのヒストグラムの間のヒストグラム距離、
前記エッジにより接続された２つのノードに対して計算される２つの勾配方向のヒストグラムの間のヒストグラム距離、
１つ又は複数の前記ヒストグラム距離の導関数として計算される距離
である、請求項２から４のいずれか一項に記載の画像解析システム。
【請求項６】
前記マーキングされていないスーパーピクセルのいずれかに対する前記第１の結合距離の前記計算が、
それぞれの複数の第１の経路に対する第１の経路距離を計算することであって、それぞれの第１の経路は、前記マーキングされていないスーパーピクセルの中心を表す前記ノードと前記第１のマーキングされたスーパーピクセルの中心を表すノードを接続し、それぞれの第１の経路距離は、それぞれの前記第１の経路の１つに沿って隣接したスーパーピクセル対の間のエッジの重みの合計として計算される、計算することと、
最小の計算される第１の経路距離を、前記マーキングされていないスーパーピクセルに対して算出される前記第１の結合距離として使用することと
を含み、
前記マーキングされていないスーパーピクセルのいずれかに対する前記第２の結合距離の前記計算が、
それぞれの複数の第２の経路に対する第２の経路距離を計算することであって、それぞれの第２の経路は、マーキングされていないスーパーピクセルの中心を表すノードと第２のマーキングされたスーパーピクセルの中心を表すノードを接続し、それぞれの第２の経路距離は、それぞれの第２の経路の１つに沿って隣接したスーパーピクセル対の間のエッジの前記重みの前記合計である、計算することと、
最小の計算される第２の経路距離を、前記マーキングされていないスーパーピクセルに対して算出される前記第２の結合距離として使用することと
を含む、
請求項２から５のいずれか一項に記載の画像解析システム。
【請求項７】
前記マーキングされていないスーパーピクセルのいずれかに対する前記第１の結合距離の前記計算が、
それぞれの複数の第１の経路に対する第１の経路距離を計算することであって、それぞれの第１の経路は、前記マーキングされていないスーパーピクセルの中心を表す前記ノードと前記第１のマーキングされたスーパーピクセルの中心を表すノードを接続し、それぞれの第１の経路距離は、それぞれの前記第１の経路の１つに沿って隣接したスーパーピクセル対の間の前記エッジのいずれか１つに割り付けられた最大の重みとして計算される、計算することと、
前記最小の計算される第１の経路距離を、前記マーキングされていないスーパーピクセルに対して算出される前記第１の結合距離として使用することと
を含み、
前記マーキングされていないスーパーピクセルのいずれかに対する前記第２の結合距離の前記計算が、
それぞれの複数の第２の経路に対する第２の経路距離を計算することであって、それぞれの第２の経路は、前記マーキングされていないスーパーピクセルの中心を表す前記ノードと前記第２のマーキングされたスーパーピクセルの１つの中心を表すノードを接続し、それぞれの第２の経路距離は、それぞれの前記第２の経路の１つに沿って隣接したスーパーピクセル対の間の前記エッジのいずれか１つに割り付けられた最大の重みとして計算される、計算することと、
前記最小の計算される第２の経路距離を、前記マーキングされていないスーパーピクセルに対して算出される前記第２の結合距離として使用することと
を含む、
請求項２から５のいずれか一項に記載の画像解析システム。
【請求項８】
前記プロセッサが、
前記受信したデジタル画像の解像度を与えられて、各スーパーピクセルが細胞核の典型的サイズである最小サイズを有するように、前記受信したデジタル画像の前記複数のスーパーピクセルの前記識別を実行する
ように構成される、請求項１から７のいずれか一項に記載の画像解析システム。
【請求項９】
前記プロセッサが、前処理動作において、
それぞれのスーパーピクセルが第１の最小サイズを有するように前記受信したデジタル画像の前記複数のスーパーピクセルの前記識別を実行して、前記複数のスーパーピクセルの第１のグラフ内への表示を実行することと、
更なる複数のスーパーピクセルのそれぞれが前記第１の最小サイズより小さい更なる最小のサイズを有するように、前記受信したデジタル画像の前記更なる複数のスーパーピクセルを識別して、更なるグラフ内に前記更なる複数のスーパーピクセルを表示することと
を実行するように構成され、
前記プロセッサが、前処理動作の完了後に、
前記受信したデジタル画像内の関心領域のユーザの選択を受信することと、
前記ユーザの選択の前記受信に応答して、ハイブリッドスーパーピクセルグラフを生成することであって、前記ハイブリッドスーパーピクセルグラフは、前記更なるグラフのノード及びエッジを有する前記関心領域内のデジタル画像エリアを表し、前記第１のグラフのノード及びエッジを有する前記関心領域の外側にスーパーピクセルを表す、生成することと、
前記ハイブリッドスーパーピクセルグラフを使用して、前記第１及び第２の結合距離を計算し、そして、それぞれのマーキングされていない第１又は更なるスーパーピクセルを前記第１又は第２の画像コンポーネントに割り当てることと
を実行するように構成される、
請求項１から８のいずれか一項に記載の画像解析システム。
【請求項１０】
請求項９に記載の画像解析システムであって、当該システムによって、前記更なる最小のサイズが、細胞核の典型サイズの少なくとも１．５倍である、請求項９に記載の画像解析システム。
【請求項１１】
請求項９に記載の画像解析システムであって、
マウス又はデータ入力スタイラスを備えるデータ入力装置を更に備え、以下のいずれかが、前記データ入力装置を使用しているユーザにより選択される画像解析システム：
・  第１のマーカ、
・  第２のマーカ、
・  第１のマーカ、及び、第２のマーカ、
・  第１のマーカ、及び、前記関心領域、
・  第２のマーカ、及び、前記関心領域、
・  第１のマーカ、第２のマーカ、及び、前記関心領域。
【請求項１２】
タッチスクリーンモニタ又はペンディスプレイモニタを備えるディスプレイモニタであって、前記プロセッサが、前記１つ又は複数の第１のマーキングされたスーパーピクセルに割り当てられる全てのスーパーピクセルを第１の色でオーバレイするように、そして、前記１つ又は複数の第２のマーキングされたスーパーピクセルに割り当てられる全てのスーパーピクセルを第２の色でオーバレイするように、そして、前記ディスプレイモニタを介して前記デジタル画像及び前記オーバレイされた第１及び第２の色を表示するように構成される、前記ディスプレイモニタ
を更に含む、請求項１から１１のいずれか一項に記載の画像解析システム。
【請求項１３】
前記生体標本が、生検標本を含む組織病理学標本である、請求項１から１２のいずれか一項に記載の画像解析システム。
【請求項１４】
生体標本のデジタル画像（５００）を自動的にセグメント化するための画像解析方法であって、前記デジタル画像は、前記生体標本の第１の組織タイプを表している第１の画像コンポーネント、及び前記生体標本又はバックグラウンドの第２の組織タイプを表している第２の画像コンポーネントを少なくとも含み、前記画像解析方法は画像解析システムにより実行され、
受信した前記デジタル画像にカラー・デコンボリューションを適用することによって、又は、前記デジタル画像のＲＧＢカラー要素を、それぞれの画像チャネルに分けることによって、複数の画像チャネルを生成することであって、それぞれの前記画像チャネルが、デジタル画像であり、前記デジタル画像のピクセル強度値が、それぞれの前記画像チャネルの前記ＲＧＢカラー要素に対応するものと、
受信した前記デジタル画像内の複数のスーパーピクセル（３０２、３０４）を識別するステップと、
それぞれの前記スーパーピクセルに対して、及び、それぞれの前記画像チャネルに対して、特徴セットを抽出するステップであって、前記特徴セットは、前記スーパーピクセルに含まれるピクセルのピクセル強度値を含み、かつ／又は、前記スーパーピクセルに含まれるピクセルのピクセル強度値から得られる、抽出するステップと、
ユーザによって提供されるか、又は、自動的に提供される、少なくとも第１（５０４）及び第２（５０２、５０６）のマーキングを受信するステップであって、前記第１のマーキングは、第１の前記スーパーピクセルの１つ又は複数をカバーし、前記第１のマーキングされたスーパーピクセルは、前記第１の画像コンポーネントの領域を表し、前記第２のマーキングは、第２の前記スーパーピクセルの１つ又は複数をカバーし、前記第２のマーキングされたスーパーピクセルは、前記第２の画像コンポーネントの領域を表す、受信するステップと、
画像チャネル特定のマーカ差分スコアを得るために、それぞれの複数の画像チャネルに対して、前記第１のマーキングされたスーパーピクセルの少なくとも１つの前記画像チャネル特定の特徴セットを、前記第２のマーキングされたスーパーピクセルの少なくとも１つの前記画像チャネル特定の特徴セットと比較することと、
前記複数のスーパーピクセルを、グラフ（400）として表すことによって、それぞれの前記識別されたスーパーピクセルの中心が、ノードとして表されるようにし、隣接するスーパーピクセルの中心を表す前記ノードが、それぞれのエッジによって接続されるようにすることであって、それぞれのエッジの計算が、
それぞれの前記画像チャネルに対して、前記エッジによって接続された、隣接するスーパーピクセルの前記画像チャネル特定の特徴セットを比較することによって、特徴セット距離を計算することと、
それぞれの前記エッジのために得られた、及び、それぞれの前記画像チャネルのために得られた、前記特徴セット距離を、前記画像チャネルのために計算された前記画像チャネル特定のマーカ距離スコアと乗算して、画像チャネル特定のエッジ重みを計算することと、
それぞれの前記エッジに対して、すべての画像チャネル特定のエッジ重みを集約し、前記集約されたエッジ重みを、前記エッジの前記エッジ重みとして用いることと、
を含むものと、
前記複数のスーパーピクセルのそれぞれのマーキングされていないスーパーピクセルに対して、
グラフ・トラバーサル・アルゴリズムによって、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第１のマーキングされたスーパーピクセルの間の第１の結合距離を計算するステップであって、前記第１の結合距離は、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第１のマーキングされたスーパーピクセルの間の特徴セット依存の距離の導関数であり、また、前記第１の結合距離は、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第１のマーキングされたスーパーピクセル間の空間距離の導関数である、計算するステップと、
グラフ・トラバーサル・アルゴリズムによって、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第２のマーキングされたスーパーピクセルの間の第２の結合距離を計算するステップであって、前記第２の結合距離は、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第２のマーキングされたスーパーピクセルの間の特徴セット依存の距離の導関数であり、また、前記第２の結合距離は、前記マーキングされていないスーパーピクセルと前記１つ又は複数の第２のマーキングされたスーパーピクセル間の空間距離の導関数である、計算するステップと、
前記第１の結合距離が前記第２の結合距離より小さい場合、前記マーキングされていないスーパーピクセルを前記第１の画像コンポーネントに割り当て、前記第１の結合距離が前記第２の結合距離と同じ又はより大きい場合、前記マーキングされていないスーパーピクセルを前記第２の画像コンポーネントに関連付けて、当該割り当て又は関連付けに基づいて、前記デジタル画像をセグメント化するステップと
を含む、画像解析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
[1]本開示は、画像解析方法に関する。より詳しくは、本発明は、画像セグメンテーションに関する。
【背景技術】
【０００２】
[2]画像セグメンテーションは、画像処理において、最も基本的及び挑戦的な課題の１つである。セグメンテーションプロセスの間のユーザの関与を考えると、３つの主要なカテゴリ、すなわち、完全自動、半自動及び手動の方法がある。一般的に、３つのカテゴリは、ユーザインタラクションを犠牲にすることで、セグメンテーション精度及び柔軟性のレベルが増加することを示す。本記述において提案するインタラクティブ・セグメンテーション・フレームワークは、第２のカテゴリに入る。概して、本発明のコンピュータによる実施方法は、抽出される領域にユーザが大まかにラベルをつけるマーキングのセットを提供した後に、セグメンテーションを成し遂げる。このタイプのセグメンテーション方法は、複雑な画像ならびに主観的なアプリケーションにとって非常に望ましいことがわかる。
【０００３】
[3]多くのインタラクティブ・セグメンテーション・アルゴリズムが文献において、紹介されており、それには、グラフカットベースの方法［１］［２］、測地学の方法［３］［４］及びランダムウォークベースの方法［５］［６］が含まれる。全てのこれらのアルゴリズムは、画像を、画像内のピクセル及び隣接したピクセルの間に配置されているエッジに対応するノードを有する重み付けグラフとして扱う。特定のエネルギー関数が定義されてこのグラフ上で最小化され、セグメンテーションをもたらす。近年、スーパーピクセル［１０］ベースのアルゴリズムが、ますます用いられていた［７］［８］［９］。スーパーピクセル技術を用いて、ピクセルは、知覚的に意味がある極小領域にグループ化され、これはピクセルグリッドの剛性構造を置換するために用いることができる。スーパーピクセルは、画像冗長性を捕えて、画像特性を計算する便利な原始関数を提供して、後続の画像処理タスクの複雑さを大幅に減らす［１０］。
【０００４】
[4]通常、顕微鏡スライド全体のデジタル画像は、莫大なデータ密度を有して、それらの異質性及び組織病理学のコンテンツによって特徴づけられる。例えば、２０倍の解像度でデジタル化された胸部腫瘍組織のための典型的なＩＨＣで染色した画像は３０，０００×３０，０００要素であり得て、それは単一画像に対して合計でほぼ９億ピクセルとなる。スーパーピクセルに関しては、スーパーピクセルのセグメントが大きいほど、より豊かな特徴を得られるが、結果としてセグメンテーションが十分でない場合がある。反対に、セグメントのスケールが小さいほど、より特徴の判別性が劣るが、通常、より良好な境界適合を提供する［１１］。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
[5]画像セグメンテーションは、計算能力において、要求が厳しいタスクである。にもかかわらず、ユーザが手元にある画像に従って入力を提供できるセグメンテーション方法を有することが、望ましい。
【課題を解決するための手段】
【０００６】
[6]一態様では、本発明は、生体標本のデジタル画像をセグメント化するための画像解析システムに関する。このデジタル画像は、生体標本の第１の組織タイプを表している第１の画像コンポーネント及び生体標本の第２の組織タイプを表しているか又はバックグラウンドを表している第２の画像コンポーネントを少なくとも含む。画像解析システムはデジタル画像を受信するためのインタフェース及びセグメンテーションを実行するために構成されるプロセッサを含む。セグメンテーションは以下のことを含む：
−  受信したデジタル画像の複数のスーパーピクセルを識別すること。
−  それぞれのスーパーピクセルに対して、特徴セットを抽出することであって、特徴セットは、前記スーパーピクセルに含まれるピクセルのピクセル強度値を含み、かつ／又はそれに由来する、抽出すること。
−  少なくとも第１及び第２のマーキングを受信することであって、第１のマーキングは、第１のスーパーピクセルの１つ又は複数をカバーし、第１のマーキングされた（ｍａｒｋｅｄ）スーパーピクセルは、第１の画像コンポーネントの領域を表し、第２のマーキングは、第２のスーパーピクセルの１つ又は複数をカバーし、第２のマーキングされたスーパーピクセルは、第２の画像コンポーネントの領域を表す、受信すること。例えば、ユーザは、自分のマウス又は任意の他の入力デバイスを使用して、いくつかのスーパーピクセルが結合組織を表す第１の色「赤」でマーキングされなければならないことを示すことができ、入力デバイスを使用して、いくつかの他のスーパーピクセルが腫瘍組織を表す第２の色「緑」でマーキングされなければならないことを示すことができる。
−  任意には、使用する組織サンプルのタイプ及び画像セグメンテーションの間に識別される組織のタイプに応じて、ユーザは、第３及び更にマーキングさえ追加でき、前記マーキングの１つによって、全くカバーされていないか、又はその中心が前記マーキングのいずれでもカバーされていない他の全てのスーパーピクセルは、これ以降は「マーキングされていない（ｕｎｍａｒｋｅｄ）」スーパーピクセルと呼ぶ。
複数のスーパーピクセルのそれぞれのマーキングされていないスーパーピクセルに対して、セグメンテーションは以下を含む：
○  前記マーキングされていないスーパーピクセルと１つ又は複数の第１のマーキングされたスーパーピクセルの間の第１の結合距離（ｃｏｍｂｉｎｅｄ  ｄｉｓｔａｎｃｅ）を計算することであって、第１の結合距離は、前記マーキングされていないスーパーピクセルと１つ又は複数の第１のマーキングされたスーパーピクセルの間の特徴セット依存の距離（ｆｅａｔｕｒｅ−ｓｅｔ−ｄｅｐｅｎｄｅｎｔ  ｄｉｓｔａｎｃｅ）の、また、前記マーキングされていないスーパーピクセルと１つ又は複数の第１のマーキングされたスーパーピクセル間の空間距離の、導関数である、計算すること。本明細書で用いられる「特徴セット依存の距離」は、完全に、又は、少なくとも部分的に、ピクセル強度情報に由来する距離尺度である。例えば、異なるスーパーピクセルのピクセル強度値は、最初に直接比較されることができるか、又はいくつかの勾配及び／又はテクスチャに関する特徴を計算するために、そして、それから更なるステップで、２つの異なるスーパーピクセルの前記強度に由来する特徴を比較することによって、特徴セット依存の距離を計算するために、使用できる。マーキングされていないスーパーピクセルと１つ又は複数の第１のマーキングされたスーパーピクセルの間の特徴セット依存の距離は、マーキングされていないスーパーピクセルと１つ又は複数の第１のマーキングされたスーパーピクセル間の直接比較として優先して計算されるわけではなく、むしろ、スーパーピクセルの隣接した対の間の特徴セット依存の距離を計算して、その距離を、マーキングされていないスーパーピクセルと第１のマーキングされたスーパーピクセルとを接続しているグラフの経路に沿って使用して、前記マーキングされていないスーパーピクセルと１つ又は複数の第１のマーキングされたスーパーピクセル間の特徴セット依存の距離を計算する。
【０００７】
○  前記マーキングされていないスーパーピクセルと１つ又は複数の第２のマーキングされたスーパーピクセルの間の第２の結合距離を計算することであって、第２の結合距離は、前記マーキングされていないスーパーピクセルと１つ又は複数の第２のマーキングされたスーパーピクセルの間の特徴セット依存の距離の、また、前記マーキングされていないスーパーピクセルと１つ又は複数の第２のマーキングされたスーパーピクセル間の空間距離の、導関数である、計算すること。例えば、前記マーキングされていないスーパーピクセルと１つ又は複数の第２のマーキングされたスーパーピクセルの間の特徴セット依存の距離は、第１の結合距離の計算のためにすでに示されるグラフトラバーサルアルゴリズムの手段によって、計算できる。
【０００８】
○  第１の結合距離が第２の結合距離より小さい場合、マーキングされていないスーパーピクセルを第１の画像コンポーネントに割り当て、またそうでない場合、マーキングされていないスーパーピクセルを第２の画像コンポーネントに関連付けて、それによって、デジタル画像をセグメント化すること。
【０００９】
[7]更なる態様において、本発明は、本発明の実施形態による画像解析システムにより実行される対応する自動画像分析方法に関する。
[8]更なる態様において、ユーザが、画像コンポーネントタイプ、例えば組織タイプ及び／又はバックグラウンドを選択すること、そして本発明の方法によって、スーパーピクセル画像特徴データ及び空間的関係を利用したユーザの入力に従って画像をセグメント化することを可能とする、画像セグメンテーション方法を開示する。
【００１０】
[9]更なる態様において、画像セグメンテーションのためのコンピュータによる実施方法が開示され、そこにおいて、コンピュータのプロセッサは、入力画像を受信することと、画像をスーパーピクセルに分割することと、それぞれのスーパーピクセルに対する外観情報を算出することであって、外観算出のステップは、画像のそれぞれのチャネルに対して、それぞれのスーパーピクセルのピクセルに対するピクセル強度情報のヒストグラム及びベクトルの少なくとも１つを算出することを含んだ、算出することと、画像のぞれぞれのチャネルに対して、それぞれのスーパーピクセルのピクセルと関連した勾配強度情報のヒストグラム及びベクトルの少なくとも１つを算出することと、画像のぞれぞれのチャネルに対して、ぞれぞれのスーパーピクセルのピクセルと関連した勾配方向情報のヒストグラム及びベクトルの少なくとも１つを算出することと、ぞれぞれのスーパーピクセルと関連した空間情報を識別することとを含むコンピュータ命令を処理する。空間情報を識別するステップは、ぞれぞれのスーパーピクセルの中心を識別することと、ぞれぞれのスーパーピクセルの中心をぞれぞれの隣接したスーパーピクセルと関連付けることと、関連するスーパーピクセル対を形成することであって、隣接したスーパーピクセルは共通の境界を有する、形成することとを含む。方法はまた、ぞれぞれの関連するスーパーピクセル対の間の類似度を算出することと、第１のアノテーションを受信することであって、第１のアノテーションは、第１の画像コンポーネントタイプになされる第１のマーキングに対応する、受信することと、第２のアノテーションを受信することであって、第２のアノテーションは第２の画像コンポーネントタイプになされる第２のマーキングに対応し、第１の画像コンポーネントタイプは第２の画像コンポーネントタイプと異なり、第１のアノテーション及び第２のアノテーションはマーキングである、受信することと、第１のアノテーションの少なくとも一部が第１のスーパーピクセルの少なくとも一部と重なる第１の位置を識別して、第１のラベルを第１のアノテーションと関連付けることと、第２のアノテーションの少なくとも一部が第２のスーパーピクセルの少なくとも一部と重なる第２の位置を識別して、第２のラベルを第２のアノテーションと関連付けることと、第１の画像コンポーネントタイプ及び第２の画像コンポーネントタイプに従って画像をセグメント化することとを含む。画像セグメント化ステップは、第１のアノテーション又は第２のアノテーションを横切らなかったぞれぞれのスーパーピクセルの中心を識別することであって、第１のアノテーション又は第２のアノテーションを横切らなかったぞれぞれのスーパーピクセルの中心は、マーキングされていないスーパーピクセルの中心である、識別することと、空間判定及び関連するスーパーピクセル対の間の類似度を使用した重み付けに基づいて、第１のラベル又は第２のラベルをぞれぞれのマーキングされていないスーパーピクセルの中心と関連付けることとを含む。
【００１１】
[10]本発明の実施形態において、空間判定は、マーキングされていないスーパーピクセルの中心と、ぞれぞれの第１のスーパーピクセルの中心及び第２のスーパーピクセルの中心の間の経路距離を計算することを含む。経路距離は、経路に沿った関連するスーパーピクセル対の間の類似度の合計として計算される。経路距離は、経路に沿った関連するスーパーピクセル対の間の最低の類似度（又は最大の差異度）として計算することもできる。
【００１２】
[11]本発明の別の実施形態において、コンピュータによる実施方法は、マーキングされていないスーパーピクセルの中心からぞれぞれの第１及び第２のマーキングされたスーパーピクセルの中心までの最短経路距離を発見して、比較することを含み、マーキングされていないスーパーピクセルの中心が第１のマーキングされたスーパーピクセルの中心の１つに最も近いときに、マーキングされていないスーパーピクセルの中心は第１のラベルと関連付けられ、マーキングされていないスーパーピクセルの中心が第２のマーキングされたスーパーピクセルの中心の１つに最も近いときに、マーキングされていないスーパーピクセルの中心は２枚目のラベルと関連付けられる。
【００１３】
[12]本発明の別の実施形態において、半自動式のシード、アノテーション又はマーキング配置アルゴリズムが、開示される。自動的に場所が接種するコンピュータによる実施アルゴリズム又はマーキングに基づく画像又はユーザによって、設けられているアノテーション上の付加的なシードは、ユーザから必要な手の仕事をこのように更に減らす。例えば、方法はアノテーション又はシードを自動的に生成することを含み、自動アノテーションモジュールは類似性の決定に基づいて１つ又は複数のコンピュータ生成アノテーションを生成し、類似性の判定は、第１の画像コンポーネントタイプ及び第２の画像コンポーネントタイプの少なくとも１つと実質的に類似している画像の画像コンポーネント領域を識別して、類似性の判定に基づいて、画像コンポーネント領域を第１のラベル又は第２のラベルと関連付けることを含む。自動シード配置がユーザにとっては任意であり、ユーザは入力画像の複雑さに従ってそのオン／オフを決定できることに留意する。ユーザは、自動的に追加されたシードを、それらがユーザ選好と一致しない場合は、改良することもできる。図８Ａは提案される方法を使用するセグメンテーションの結果を示し、これは精巧なマーキングを手動で追加することにより取得される結果（図８Ｂ）と同等である。
【図面の簡単な説明】
【００１４】
【図１】[13]提案されるアルゴリズムの全体的なフレームワークを例示する。点境界線／点線を有するコンポーネントは、ユーザにより起動される任意の処理を表す。
【図２Ａ】[14]Ｈ＆Ｅ画像の一例のオリジナルの画像を示す。
【図２Ｂ】染色分離の後の結果として得られる染色チャネル画像の一例のイルミネーションチャネルを示す。
【図２Ｃ】染色分離の後の結果として得られる染色チャネル画像の一例のヘマトキシリンチャネルを示す。
【図２Ｄ】染色分離の後の結果として得られる染色チャネル画像の一例のエオシンチャネルを示す。
【図３】[15]２つのスケールでのスーパーピクセルの一例を示し、スケールパラメータ、すなわち、予想されるスーパーピクセルのサイズは、図３Ａで３６００ピクセル、図３Ｂで１８００ピクセルである。
【図４】[16]スーパーピクセルグラフの一例を示し、緑の線がエッジを表し、ぞれぞれのエッジ上の数が対応する重みである。
【図５】[17]ユーザが与えるマーキング及び画像森林変換（ｉｍａｇｅ  ｆｏｒｅｓｔｉｎｇ  ｔｒａｎｓｆｏｒｍ）を使用した、より大きいスケールのスーパーピクセルグラフ（図３Ａ）に基づくセグメンテーション結果の一例を示す。
【図６】[18]ヘマトキシリンで染色した腫瘍組織を有する全体スライドのＨ＆Ｅ画像の一例を示す。
【図７】[19]図７Ａはユーザが与える単純な（３つのラベルを有する）マーキング及びこれらのマーキングのみを用いた対応するセグメンテーションの結果の一例である。図７Ｂは単純なマーキングに基づいて自動的に配置されたシードだけを用いた対応するセグメンテーション結果の一例である。
【図８】[20]図８Ａは、単純な、ユーザが与えて自動的に配置されたシードを用いたセグメンテーション結果の比較を例示する。図８Ｂは、精密な、ユーザが与えるマーキングを用いたセグメンテーション結果の比較を例示する。
【図９】[21]ハイブリッドスケールのスーパーピクセルの一例を示す。左上画像領域をカバーしている（点線の）ボックスは、ユーザにより選択されたＲＯＩを示す。図９Ｃにおいて、青いスーパーピクセルは図９Ａの、より大きいスケールからであり、赤いスーパーピクセルは図９Ｂの、より小さいスケールからである。
【図１０】[22]提案されるフレームワークの主要なグラフィカルユーザインタフェース（ＧＵＩ）を例示する。
【図１１】[23]処理のための全体スライド画像又は視野（ＦＯＶ）画像を選択するＧＵＩを例示する。
【発明を実施するための形態】
【００１５】
[24]生体標本のデジタル画像をセグメント化するための画像解析システムの実施形態が、本明細書において記載される。デジタル画像は、第１の組織タイプの生体標本を表す第１の画像コンポーネント及び第２の組織タイプの生体標本又はバックグラウンド（例えばいかなる細胞も含まないキャリアスライドのガラスに対応する領域）を表す第２の画像コンポーネントを少なくとも含む。画像解析システムは、デジタル画像を受信するためのインタフェースを含み、それは例えば、インターネットもしくはイントラネットなどのネットワークを介して画像を受信するためのネットワークインタフェース、又はハードディスクドライブのような不揮発性記憶媒体から画像ファイルを読み込むための入出力インタフェース、又はカメラ、例えばスライド走査型顕微鏡のカメラからデジタル画像を直接受け取るためのインタフェースなどである。デジタル画像解析システムは、画像セグメンテーションを実行するために構成されるプロセッサを更に含む。セグメンテーションは、以下のことを含む：
−  受信したデジタル画像の複数のスーパーピクセルを識別すること。例えば、デジタル画像は分析することができ、最高水準の技術であるスーパーピクセル識別方法を適用できる。
−  ぞれぞれのスーパーピクセルに対して、特徴セットを抽出すること。特徴セットは、前記スーパーピクセルに含まれるピクセルのピクセル強度値を含み、かつ／又はそれに由来する。例えば、ピクセル強度値に由来するピクセル強度ヒストグラム、テクスチャ、強度勾配情報及び他の特徴は、受信したデジタル画像から計算できる。
−  少なくとも第１及び第２のマーキングを受信すること。例えば、第１及び第２のマーキングは、２つの異なる色のユーザの走り書きであり得る。第１のマーキングは、第１のスーパーピクセルの１つ又は複数をカバーし、第１のマーキングされたスーパーピクセルは、第１の画像コンポーネントの領域を表し、第２のマーキングは、第２のスーパーピクセルの１つ又は複数をカバーし、第２のマーキングされたスーパーピクセルは、第２の画像コンポーネントの領域を表す。
−  複数のスーパーピクセルのぞれぞれのマーキングされていないスーパーピクセルに対して：
○  前記マーキングされていないスーパーピクセルと１つ又は複数の第１のマーキングされたスーパーピクセルの間の第１の結合距離を計算することであって、第１の結合距離は、前記マーキングされていないスーパーピクセルと１つ又は複数の第１のマーキングされたスーパーピクセルの間の特徴セット依存の距離の、また、前記マーキングされていないスーパーピクセルと１つ又は複数の第１のマーキングされたスーパーピクセル間の空間距離の、導関数である、計算すること。
【００１６】
○  前記マーキングされていないスーパーピクセルと１つ又は複数の第２のマーキングされたスーパーピクセルの間の第２の結合距離を計算することであって、第２の結合距離は、前記マーキングされていないスーパーピクセルと１つ又は複数の第２のマーキングされたスーパーピクセルの間の特徴セット依存の距離の、また、前記マーキングされていないスーパーピクセルと１つ又は複数の第２のマーキングされたスーパーピクセル間の空間距離の、導関数である、計算すること。
【００１７】
○  第１の結合距離が第２の結合距離より小さい場合、マーキングされていないスーパーピクセルを第１の画像コンポーネントに割り当て、またそうでない場合、マーキングされていないスーパーピクセルを第２の画像コンポーネントに関連付けて、それによって、デジタル画像をセグメント化すること。
【００１８】
[25]スーパーピクセルの間の「距離」を計算するための強度に由来する特徴と空間特徴の組合せを使用することは、純粋に強度ベースの画像セグメンテーション方法と比較して、類似のスーパーピクセルを識別するより正確な方法が提供されるという利点を有し得る。
【００１９】
[26]本明細書で用いられる「距離尺度」は、一種の類似度であり、それによって、大きい距離は低い類似性に対応し、そして、その逆もまた同じである。
[27]本明細書で用いられる「マーキングされていないスーパーピクセル」は、例えば、マーキングの１つによって、部分的にもカバーされないスーパーピクセルである。他の実施形態によれば、マーキングされていないスーパーピクセルは、その中心が（第１又は第２又は更なる任意の）マーキングの１つによって、カバーされないスーパーピクセルである。
【００２０】
[28]実施形態によれば、プロセッサは、複数のスーパーピクセルを１つのグラフとして表すように更に構成される。このことにより、ぞれぞれの識別されたスーパーピクセルの中心は、ノードとして表される。隣接するスーパーピクセルの中心を表しているノードは、それぞれのエッジにより接続される。このように、受信したデジタル画像は、ノードが、識別されたスーパーピクセルを表す、大きな連結グラフに変換される。
【００２１】
[29]スーパーピクセルをグラフのノードとして表すことは、空間的に依存する距離尺度を計算するための空間情報を効率的に組み込むために用いることができるデータ構造が提供されるので、効果的であり得る。
【００２２】
[30]実施形態によれば、複数のスーパーピクセルのグラフとしての表現は、ぞれぞれのエッジに対して、プロセッサは、前記エッジにより接続される隣接したスーパーピクセルの特徴セットを比較することによって、重み（「エッジ重み」）を計算し、それにより、重みは比較された特徴セットの類似度と負の相関を有する、ということを含む。これは、大きなエッジ重みは、前記エッジによって、（そのノードが）接続されているスーパーピクセルが、非常に異なるピクセル強度に由来する特徴セットを有して、そのため異なる画像コンポーネント／組織タイプにおそらく帰属すること示す、ということを意味する。低いエッジ重みは、強度に由来する特徴の類似性を示す。
【００２３】
[31]実施形態によれば、プロセッサは、前処理動作を実行するように構成される。前処理動作は、第１及び第２のマーキングが受信される前に実行される。例えば、前処理は、デジタル画像を受信後に直ちに実行することができ、そして前処理の結果である、例えば１つ又は複数の画像チャネル、１つ又は複数の（チャネル特定の）特徴セット、異なるスケールのスーパーピクセルを有する１つ又は複数のセットのスーパーピクセル画像、ぞれぞれの前記スーパーピクセルのスケールに対して引き出された１つ又は複数のグラフなどは、他の処理ステップのための入力として使うために不揮発性記憶媒体上に記憶できる。前記の他の処理ステップは、「オンラインである」か「インタラクティブである」か「リアルタイムの」処理ステップと呼んでもよく、なぜなら、前記ステップが通常はインタラクティブに、すなわちユーザにより入力されたデータに応答して実行されるからである（例えば、第１及び第２のマーキング、そして、任意に、１つ又は複数の関心領域の選択は、グラフィカルユーザインタフェース（ＧＵＩ）を介して、ユーザにより行われ得る）。
【００２４】
[32]前処理動作は、（前に言及され、本明細書において、記載される実施形態のいずれか１つに従って）複数のスーパーピクセルの識別を実行することと、（前に言及され、本明細書において、記載される実施形態のいずれか１つに従って）ぞれぞれのスーパーピクセルに対して、特徴セットの抽出を実行することと、（前に言及され、本明細書において、記載される実施形態のいずれか１つに従って）グラフとして複数のスーパーピクセルの表示を実行することとを含む。
【００２５】
[33]
[34]加えて、プロセッサは、前処理動作を（例えば「オンライン」又は「リアルタイム」の処理フェーズにおいて）実行した後に、以下の動作を実行するように、構成される：
−  第１及び第２の結合距離を計算するためにグラフを使用すること。例えば、グラフは、エッジ重みの形でのピクセル強度に由来する距離情報を含むことができ、また、そのグラフトポロジ、例えばマーキングされていないスーパーピクセルと第１又は第２のマーキングされたスーパーピクセルのいずれか１つを接続している最短経路の長さの形の、空間情報を含むことができる。
−  別の第１及び別の第２のマーキングを受信することであって、他の第１のマーキングは１つ又は複数の他の第１のマーキングされたスーパーピクセルをカバーし、他の第１のマーキングされたスーパーピクセルは第１の画像コンポーネントの他の領域を表し、他の第２のマーキングは１つ又は複数の他の第２のマーキングされたスーパーピクセルをカバーし、他の第２のマーキングされたスーパーピクセルは第２の画像コンポーネントの他の領域を表す、受信すること。例えば、ユーザは、以前のステップで行った自分の第１及び第２のマーキングが、例えばいくつかの画像領域がマーキングの１つに誤って割り当てられたために、不十分なセグメンテーション結果を得ると気がつくことができた。この場合、ユーザは、以前に入力された第１及び第２のマーキングへの追加又はその置換で、新規な第１及び／又は新規な第２のマーキングを指定できる。
−  ぞれぞれのスーパーピクセルに対して、グラフのトポロジ及び他の第１及び第２のマーキングを使用して別の第１及び別の第２の結合距離を計算すること。例えば、この計算のステップは、ユーザが、画像解析システムにより提供されるＧＵＩを介して新規な第１及び／又は第２のマーキングを指定して入力することによって、起動できる。他の（新規な）第１及び第２の結合距離の計算は、本発明のそれぞれの種実施形態のために本明細書において、記載されているように、そして、すでに第１及び第２のマーキングに関して詳述したように、実行できる。
−  他の第１の結合距離が他の第２の結合距離より小さい場合、マーキングされていないスーパーピクセルを第１の画像コンポーネントに関連付け、そうでない場合は、マーキングされていないスーパーピクセルを第２の画像コンポーネントに関連付けることによって、デジタル画像を再セグメント化すること。
【００２６】
[35]前記特徴が利点を有するのは、ユーザがインタラクティブにマーキングを修正する手段を提供され、それにより起動するのが、結合距離尺度の再計算であって、優先して特徴セット又はエッジ重み及び対応するグラフの再計算ではないからである。これは、ユーザが、セグメンテーション結果を改善するためにマーキングを容易に修正することができ、新規なマーキングに基づいた新しいセグメンテーションの形で、即座のリアルタイムのフィードバックを得ることができるので、非常に有利であり得る。最もＣＰＵ能力を要求するタスク（特徴抽出及び比較、スーパーピクセル識別）が前処理ステップですでに実行されており、その結果がそれぞれの結合距離計算及びスーパーピクセル割当ての再計算において再利用されるので、新しいセグメンテーションの計算は非常に高速かつＣＰＵ節減型の方法で実行できる。
【００２７】
[36]このように、本発明の実施形態は、ユーザが必要に応じてインタラクティブにセグメンテーション結果を調整して、操作が成功している場合は即座のフィードバック情報を受信できる、インタラクティブ・セグメンテーション・フレームワークを提供する。
【００２８】
[37]実施形態によれば、ユーザが新規なマーキングを追加するか、又は対応する「ＧＵＩ要素の起動」の選択、例えば「セグメント！」ボタンの選択をすることにより生じるあらゆるユーザ入力動作は、短時間でリアルタイムに再計算することを起動する。
【００２９】
[38]実施形態によれば、プロセッサは、１つ又は複数のスーパーピクセルに複数の異なる色から選択される色でマーキングすることをユーザができるようにする、グラフィカルユーザインタフェース（ＧＵＩ）を生成するように構成される。例えば、ＧＵＩは、仮想ペンツール又は仮想ブラシツール及びカラーピッカーを含むことができ、ユーザが、特定の色、例えば「赤」を選択して、それから、例えば、組織サンプル及びそのスーパーピクセルを示している画面にわたって、ユーザのマウスの移動に従ってカーソルを移動することによって、１つ又は複数のスーパーピクセルを「赤」としてマーキングすることができるようにする。例えば、ユーザは、典型的結合組織を表しているいくつかのスーパーピクセルを第１のマーキング、例えば赤色でマーキングすることができ、典型的内皮細胞を表しているスーパーピクセルを第２の色、例えば「青」でマーキングすることができる。いくつかの実施形態では、マーキングを入力するために、例えばスタイラス又はタッチスクリーン、及び／又はセグメンテーション結果を表示するために、例えばペンモニタ又はタッチスクリーンモニタなど、特別な入出力装置を用いることができる。
【００３０】
[39]実施形態によれば、ぞれぞれのスーパーピクセルに対する特徴セットの抽出は、以下を含む：
−  前記スーパーピクセルに含まれる全てのピクセルから強度ヒストグラムを生成すること、及び／又は、
−  前記スーパーピクセルに含まれる全てのピクセルから勾配方向ヒストグラムを計算することであって、勾配方向はデジタル画像の強度における方向的変化の方向を表す、計算すること、及び／又は、
−  前記スーパーピクセルに含まれる全てのピクセルから勾配大きさヒストグラムを計算することであって、勾配大きさはデジタル画像の強度における方向的変化の大きさを表す、計算すること、及び／又は、
−  前記スーパーピクセルに含まれる全てのピクセルからテクスチャ特徴を計算すること、及び／又は
−  他のあらゆる種類のピクセル強度に由来する特徴又は１つ又は複数の前述の特徴の組合せを計算すること。
【００３１】
[40]実施形態によれば、勾配大きさヒストグラム及び／又は勾配方向ヒストグラムは、前処理動作において、勾配画像を計算し、次に、勾配画像を使用して、複数の所定の勾配大きさビンに対してスーパーピクセルに特有の勾配大きさヒストグラムを計算し、かつ、複数の所定の勾配角度ビンに対してスーパーピクセルに特有の勾配方向ヒストグラムを計算することによって、計算される。
【００３２】
[41]「ヒストグラム」は、特定のスーパーピクセルに含まれるピクセルの強度値の分布を示すデータ構造である。ヒストグラムを構築するために、第１のステップは、値の範囲を「ビニングする」こと、すなわち前記スーパーピクセルのピクセル強度値の全ての範囲を一連の間隔（「ビン」）に分割することであり、そして次に、幾つの強度値がそれぞれの間隔に入るかをカウントする。ビンは、通常、連続していて重なりのない、ヒストグラムが作られる変数（例えばピクセル強度）の間隔として、指定される。ビン（間隔）は、隣接しなければならず、通常等しいサイズである。
【００３３】
[42]本明細書で用いられる「勾配大きさ画像」は、そのピクセルがソース画像の強度又は色の方向変化の大きさをそれぞれ表す、デジタル画像である。
[43]本明細書で用いられる「勾配方向画像」は、そのピクセルがソース画像の強度又は色の方向変化の方向をそれぞれ表す、デジタル画像である。
【００３４】
[44]例えば、勾配画像はソース画像から計算することができ、勾配画像のそれぞれのピクセルが、水平及び垂直方向の画像強度関数の導関数によって、与えられるコンポーネントを有する２Ｄベクトルを割り当てている。それぞれの画像点で、勾配ベクトルはソース画像の最大の考えられる強度増加の方向を指し、勾配ベクトルの長さはその方向の変化率に対応する。前記勾配画像に含まれる情報は、勾配大きさ画像に分割されることができ、勾配方向画像又は勾配画像は、勾配大きさ画像及び勾配方向画像の組合せと実際考えることができ、それとして使用できる。例えば、画像勾配を計算する１つの方法は、ソーブル演算子又はプルウィット演算子などのカーネルで画像をコンボリューションすることである。
【００３５】
[45]実施形態によれば、それぞれのスーパーピクセルの特徴セットは、１つ又は複数のヒストグラムを含む。スーパーピクセルに対する第１の特徴セットの抽出は、ヒストグラム、そして、任意に更に、ピクセル強度に由来する特徴、例えばテクスチャ特徴を計算することを含む。
【００３６】
[46]実施形態によれば、全てのスーパーピクセルの強度ヒストグラム、勾配方向ヒストグラム及び／又は勾配大きさヒストグラムは、所定の数のビンを含むビニングされたヒストグラムである。例えば、１０個のビンを、全３種類のヒストグラムに対して使用できる。いくつかの実施形態では、異なるタイプのヒストグラムは、異なるビン数を有することができる。例えば、全てのスーパーピクセル（ＳＰ）の強度ヒストグラムは１０個のビンを有することができ、全てのＳＰの勾配方向ヒストグラムは１２個のビンを有することができ、そして、全てのＳＰの勾配大きさヒストグラムは１４個のビンを有することができる。ヒストグラムをビニングすることは、例えば前処理ステップの間のエッジ重み計算のための、特徴セットベースの距離を計算するために消費されるＣＰＵ資源を大幅に削減する。６〜１８の範囲のビン数を使用することは、強度ベースの距離計算の速度と精度の間の良好な妥協点を提供することが認められた。
【００３７】
[47]実施形態によれば、エッジの１つに割り当てられるそれぞれの計算される重みは、以下の通りである：
−  前記エッジにより接続された２つのノードに対して計算される２つの強度ヒストグラムの間のヒストグラム距離、又は、
−  前記エッジにより接続された２つのノードに対して計算される２つの勾配大きさヒストグラムの間のヒストグラム距離、又は、
−  前記エッジにより接続された２つのノードに対して計算される２つの勾配方向ヒストグラムの間のヒストグラム距離、又は、
−  １つ又は複数のヒストグラム距離及び任意に更なる特徴、例えばテクスチャ特徴の、導関数として計算される距離。ヒストグラム距離は、例えば、二次Ｃｈｉヒストグラム距離（ｑｕａｄｒａｔｉｃ−Ｃｈｉ  Ｈｉｓｔｏｇｒａｍ  Ｄｉｓｔａｎｃｅ）又は当分野で知られている他のヒストグラム距離であり得る。
【００３８】
[48]これは、ヒストグラムベースの特徴が非常に良いセグメンテーション精度を提供するのを認められた通り、利点であり得る。それらの計算は計算能力的に要求が高いが、前処理ステップで特徴抽出タスクを実行することによって、リアルタイム画像セグメンテーションを実行するためのヒストグラムに含まれる情報を利用することが可能である。
【００３９】
[49]実施形態によれば、マーキングされていないスーパーピクセルのいずれかに対する第１の結合距離の計算は、以下のことを含む：
−  それぞれの複数の第１の経路に対する第１の経路距離を計算すること。それぞれの第１の経路は、マーキングされていないスーパーピクセルの中心を表すノード及び第１のマーキングされたスーパーピクセルの１つの中心を表すノードを接続する。それぞれの第１の経路距離は、それぞれの第１の経路の１つに沿った隣接したスーパーピクセル対の間のエッジの重みの合計として計算される。
【００４０】
−  最小の計算される第１の経路距離（すなわち、前記経路を構成しているエッジのエッジ重みの最小和を有する第１の経路の１つの経路距離）を、マーキングされていないスーパーピクセルに対して算出される第１の結合距離として使用すること。
【００４１】
[50]マーキングされていないスーパーピクセルのいずれかに対する第２の結合距離の計算は、以下のことを含む：
−  それぞれの複数の第２の経路に対する第２の経路距離を計算すること。それぞれの第２の経路は、マーキングされていないスーパーピクセルの中心を表すノード及び第２のマーキングされたスーパーピクセルの１つの中心を表すノードを接続する。それぞれの第２の経路距離は、それぞれの第２の経路の１つに沿った隣接したスーパーピクセル対の間のエッジの重みの合計として計算される。
【００４２】
−  最小の計算される第２の経路距離を、マーキングされていないスーパーピクセルに対して算出される第２の結合距離として使用すること。
[51]経路に沿ってエッジ重みを合計して、経路距離を計算すること、及び最小の経路距離を有する第１及び第２の経路を識別することは、このようにして空間情報（グラフトポロジ）ならびに強度関連情報（エッジ重み）が両方とも、マーキングされていないスーパーピクセルとマーキングされたスーパーピクセルの間の距離（従って暗黙には類似性）を計算するためであると考えられるので、利点であり得る。エッジ重みを前処理ステップで計算すれることができるので、距離計算はグラフトラバーサルアルゴリズムを用いて短時間で行うことができる。経路のエッジ及びノードの数が多いほど、そして、重みが大きいほど、経路の終端を構成しているスーパーピクセルとマーキングされたスーパーピクセルの間の距離は大きい。
【００４３】
[52]実施形態によれば、マーキングされていないスーパーピクセルのいずれかに対する第１の結合距離の計算は、以下のことを含む：
−  それぞれの複数の第１の経路に対する第１の経路距離を計算することであって、それぞれの第１の経路は、マーキングされていないスーパーピクセルの中心を表すノードと第１のマーキングされたスーパーピクセルの中心を表すノードを接続し、それぞれの第１の経路距離は、それぞれの第１の経路の１つに沿って隣接したスーパーピクセル対の間のエッジのいずれか１つに割り当てられた最大重みである、計算すること。
【００４４】
−  最小の計算される第１の経路距離を、マーキングされていないスーパーピクセルに対して算出した第１の結合距離として使用すること。
[53]マーキングされていないスーパーピクセルのいずれかに対する第２の結合距離の計算は、以下のことを含む：
−  それぞれの複数の第２の経路に対する第２の経路距離を計算することであって、それぞれの第２の経路は、マーキングされていないスーパーピクセルの中心を表すノードと第２のマーキングされたスーパーピクセルの１つの中心を表すノードを接続し、それぞれの第２の経路距離は、それぞれの第２の経路の１つに沿って隣接したスーパーピクセル対の間のエッジのいずれか１つに割り当てられた最大重みである、計算すること。
【００４５】
−  最小の計算される第２の経路距離を、マーキングされていないスーパーピクセルに対して算出した第２の結合距離として使用すること。
[54]画像強度ベースの距離情報をエッジ重みにコード化して、経路内の最大エッジ重みを全体経路の距離スコアとして用いることは、このアプローチが、オブジェクトにわたる長い経路を必要とする可能性のある非常に不規則な形状を有するオブジェクトをセグメント化するのに特に適しているので、利点があり得る。
【００４６】
[55]実施形態によれば、プロセッサは、受信したデジタル画像の解像度を与えられて、それぞれのスーパーピクセルが細胞核の典型的サイズ（例えば５μｍ）である最小サイズを有するように、受信したデジタル画像の複数のスーパーピクセルの識別を実行するように構成される。
【００４７】
[56]実施形態によれば、プロセッサは、受信したデジタル画像の更なる複数のスーパーピクセルを識別し、それによって、更なる複数のスーパーピクセルのそれぞれの更なるスーパーピクセルは、受信したデジタル画像の解像度を与えられて、第２の最小のサイズを有し、第２の最小サイズは、細胞核の典型的サイズの少なくとも１．５倍であり、そして、また更なる複数のスーパーピクセルに対して、特徴セット抽出を実行するように構成される。最小サイズは、例えば、スーパーピクセル内のピクセルの最小の合計数において、計測できる。
【００４８】
[57]所与のデジタル画像に対して少なくとも２つの異なるセットのスーパーピクセルを計算し、それぞれのセットが異なる最小のスーパーピクセルサイズを用いてかつそれぞれのスケールに対応することにより識別されることは、良好な妥協が計算の資源の消費と精度の間になされることができるので、利点であり得る。好ましい実施形態によれば、スーパーピクセル識別、特徴抽出及びグラフ生成は、前処理ステップのそれぞれのスケールに対して実行され、そして、それぞれの結果（スケールに特有のスーパーピクセルセット、抽出された特徴、グラフ及びエッジ重み）は不揮発性記憶媒体に保存されて、「オンラインの」／「インタラクティブな」画像セグメンテーション処理の入力として使われる。
【００４９】
[58]実施形態によれば、プロセッサは、前処理動作で、以下を実行するように構成される：
−  それぞれのスーパーピクセルが第１の最小サイズ（例えば細胞核サイズの１．５倍）を有するように受信したデジタル画像の複数のスーパーピクセルの識別を実行して、前記複数のスーパーピクセルの第１のグラフ内への表示を実行すること。グラフ内の表示は本発明の実施形態のために本明細書において、記載されているように実行することができて、例えば、ヒストグラムと他の特徴の抽出及びエッジ重みの計算を含むことができる。
【００５０】
−  それぞれの更なるスーパーピクセルが第１の最小サイズより小さい更なる最小のサイズを有するように、受信したデジタル画像の複数の更なるスーパーピクセルを識別して、更なるグラフ内に更なる複数のスーパーピクセルを表示すること。また、グラフ内の表示は、本発明の実施形態のために本明細書において、記載されているように、今度は特徴抽出、グラフ生成及びエッジ重み計算の根拠として更なるスーパーピクセルを使用して実行できる。
【００５１】
[59]前処理動作（例えばインタラクティブな画像セグメンテーション手順の）の完了の後、プロセッサは、以下のことを実行するように構成される：
−  受信したデジタル画像内の関心領域のユーザの選択を受信すること。
【００５２】
−  ユーザの選択の受信に応答して、ハイブリッドスーパーピクセルグラフを生成することであって、ハイブリッドスーパーピクセルグラフは、更なるグラフのノード及びエッジを有する関心領域内のデジタル画像エリアを表し、第１のグラフのノード及びエッジを有する関心領域の外側にスーパーピクセルを表す、生成すること。
【００５３】
−  ハイブリッドスーパーピクセルグラフを使用して、第１及び第２の結合距離を計算し、そして、それぞれのマーキングされていない第１又は更なるスーパーピクセルを第１又は第２の画像コンポーネントに割り当てること。
【００５４】
[60]異なるスーパーピクセルスケールの少なくとも２つの事前計算されたスーパーピクセルグラフからハイブリッドグラフを生成するための動的に受信したユーザ−選択を使用することは、「デフォルト」画像セグメンテーションプロセスは、特に高速であるが最善の結果をあまり拡散組織境界に提供することのできない、より大きいスーパーピクセルを用いて実行され得るので、利点であり得る。ユーザが、画像の領域の中で画像セグメンテーションが良好に実行しなかったか又は下にある組織領域に対してあまりに粗い粒であると判断する場合、ユーザは単にこの特定領域を関心領域として選択できる。この選択はハイブリッドグラフの生成を起動し、その関心領域を表すノードは、より小さいスケールを有するスーパーピクセルグラフに由来する（すなわち、より小さい最小限のスーパーピクセルサイズを用いて作られていたスーパーピクセルの中心を表しているノードに基づく）。このように、ユーザは、画像の特定のサブ領域上の画像セグメンテーションを改良することを起動することができ、それによって、改良されたセグメンテーションはリアルタイムに計算される。
【００５５】
[61]スケールが小さいほどスーパーピクセルの合計数がより大きくなることにつながり、より高いセグメンテーション精度も得られるが、また後続の処理でのより多くの計算も伴うので、異なるセットのスーパーピクセルを計算するために複数スケールを使用することは、利点であり得る。マルチスケールベースの、ユーザ定義のハイブリッドグラフ生成をサポートすることによって、ユーザは、アプリケーションのニーズに従ってトレードオフを調整できる。
【００５６】
[62]実施形態によれば、プロセッサは、
−  受信したデジタル画像にカラー・デコンボリューションを適用することによって、又は、デジタル画像のＲＧＢカラー要素をそれぞれの画像チャネルに分けることによって、複数の画像チャネルを生成し、それぞれの画像チャネルは、そのピクセル強度値がそれぞれのチャンネルのカラー要素に対応するデジタル画像であり、そして、
−  それぞれのスーパーピクセルに対して、また、それぞれの画像チャネルに対して、それぞれの特徴セットが抽出されるように、特徴セット抽出を実行する
ように構成される。
【００５７】
[63]例えば、強度ヒストグラム、勾配方向ヒストグラム、勾配強度ヒストグラム及び／又は画像テクスチャ特徴は、それぞれの画像チャネルから抽出できる。
[64]これは、より多くの特徴が距離尺度を計算するために考慮され、それによって、セグメンテーション精度が上がるので、利点であり得る。それぞれの画像チャネルは、それぞれのバイオマーカに特有の染色及び／又は一般的な染色（例えばヘマトキシリン）に対応できる。
【００５８】
[65]実施形態によれば、プロセッサは、それぞれの複数の画像チャネルに対して、画像チャネル特定のマーカ差分スコアを取得するために、少なくとも１つの第１のマーキングされたスーパーピクセルの画像チャネル特定の特徴セットと、少なくとも１つの第２のマーキングされたスーパーピクセルの画像チャネル特定の特徴セットを比較するように構成される。本明細書において、記載されている実施形態のいずれかによるそれぞれのエッジの計算は、以下のことを含む：
−  それぞれの画像チャネルに対して、前記エッジにより接続された隣接するスーパーピクセルの画像チャネル特定の特徴セットを比較することによって、特徴セット距離を計算すること。
−  それぞれのエッジに対して、またそれぞれの画像チャネルに対して得られた特徴セット距離に、前記画像チャネルに対して計算された画像チャネル特定のマーカ差分スコアを乗算し、それによって、画像チャネル特定のエッジ重みを計算すること。
−  それぞれのエッジに対して、全ての画像チャネル特定のエッジ重みを集約して（例えば合計して）、集約したエッジ重みをエッジのエッジ重みとして使用すること。
【００５９】
[66]画像チャネル特定のマーカ差分スコアは、第１のマーキングされたスーパーピクセルと第２のマーキングされたスーパーピクセルの間の（又は第１のマーキングされたスーパーピクセルのセットから作られる第１の特徴セットの平均と第２のマーキングされたスーパーピクセルのセットから作られる第２の特徴セットの平均の間の）特定の画像チャネルにおける、ピクセル強度及び／又は勾配差分の程度を示す。異なる画像チャネルの予測能力を考慮すれば、異なる染色及びそれぞれの像チャネルの異なる予測能力を考慮したエッジ重みを計算することができ、それによって、精度の増加したセグメンテーション結果を生成する。
【００６０】
[67]実施形態によれば、画像解析システムは、データ入力装置、特にマウス又はデータ入力スタイラスを更に含む。第１及び／又は第２のマーカならびに任意に、関心領域も、データ入力装置を使用しているユーザにより選択される。例えば、マーカを追加するために、特別に適応したデータ入力ツールを使用することは、特に人間工学上の効果があり、画像セグメンテーション動作を起動するためのＧＵＩと対話する効率を増大させることができる。
【００６１】
[68]実施形態によれば、画像解析システムは、ディスプレイモニタ、特にタッチスクリーンモニタ又はペンディスプレイモニタを更に含む。１つ又は複数の第１のマーキングされたスーパーピクセルに割り当てられる全てのスーパーピクセルを第１の色でオーバレイするように、そして、１つ又は複数の第２のマーキングされたスーパーピクセルに割り当てられる全てのスーパーピクセルを第２の色でオーバレイするように、そして、ディスプレイモニタを介してデジタル画像及びオーバレイされた第１及び第２の色を表示するように、プロセッサは構成される。
【００６２】
[69]プロセッサは、ディスプレイ上にセグメンテーション結果を示すように構成され、それによって、前記スーパーピクセルが前記マーキングされたスーパーピクセルに関して最低の結合距離を示すので、マーキングされていないスーパーピクセルを、マーキングされたスーパーピクセルの１つに対応する、それらが割り当てられる色でオーバレイする。前記割り当ては、ｋ平均分類アルゴリズムに従う分類動作として実施することができ、それによって、結合距離が距離尺度として使われる。
【００６３】
[70]実施形態によれば、生体標本は、組織病理学標本であり、特に生検標本である。
[71]更なる態様において、本発明は、生体標本のデジタル画像を自動的にセグメント化するための対応する画像解析方法に関する。デジタル画像は、生体標本の第１の組織タイプを表している第１の画像コンポーネント及び生体標本又はバックグラウンドの第２の組織タイプを表している第２の画像コンポーネントを少なくとも含む。画像解析方法は、画像解析システムにより実行される。画像解析方法は、以下のことを含む：
−  受信したデジタル画像内の複数のスーパーピクセルを識別すること。
【００６４】
−  それぞれのスーパーピクセルに対して、特徴セットを抽出することであって、特徴セットは、前記スーパーピクセルに含まれるピクセルのピクセル強度値を含み、かつ／又はそれに由来する、抽出すること。
【００６５】
−  少なくとも第１及び第２のマーキングを受信することであって、第１のマーキングは、第１のスーパーピクセルの１つ又は複数をカバーし、第１のマーキングされたスーパーピクセルは、第１の画像コンポーネントの領域を表し、第２のマーキングは、第２のスーパーピクセルの１つ又は複数をカバーし、第２のマーキングされたスーパーピクセルは、第２の画像コンポーネントの領域を表す、受信すること。
【００６６】
−  複数のスーパーピクセルのそれぞれのマーキングされていないスーパーピクセルに対して、
○  前記マーキングされていないスーパーピクセルと１つ又は複数の第１のマーキングされたスーパーピクセルの間の第１の結合距離を計算することであって、第１の結合距離は、前記マーキングされていないスーパーピクセルと１つ又は複数の第１のマーキングされたスーパーピクセルの間の特徴セット依存の距離の、また、前記マーキングされていないスーパーピクセルと１つ又は複数の第１のマーキングされたスーパーピクセル間の空間距離の、導関数である、計算すること。
【００６７】
○  前記マーキングされていないスーパーピクセルと１つ又は複数の第２のマーキングされたスーパーピクセルの間の第２の結合距離を計算することであって、第２の結合距離は、前記マーキングされていないスーパーピクセルと１つ又は複数の第２のマーキングされたスーパーピクセルの間の特徴セット依存の距離の、また、前記マーキングされていないスーパーピクセルと１つ又は複数の第２のマーキングされたスーパーピクセル間の空間距離の、導関数である、計算すること。
【００６８】
○  第１の結合距離が第２の結合距離より小さい場合、マーキングされていないスーパーピクセルを第１の画像コンポーネントに割り当て、またそうでない場合、マーキングされていないスーパーピクセルを第２の画像コンポーネントに関連付けて、それによって、デジタル画像をセグメント化すること。
【００６９】
[72]概して、本発明の実施形態によるコンピュータによる実施方法は、ユーザが、抽出されるべき領域（すなわち、セグメンテーションの間に分けられるべき領域）に大まかにラベルをつけるマーキングのセットを提供した後に、セグメンテーションを成し遂げる。このタイプのセグメンテーション方法は、複雑な画像ならびに主観的なアプリケーションにとって非常に望ましいことがわかる。本発明は、２つ以上の画像コンポーネントタイプへの画像セグメント化に適用できる。本発明の例示的実施形態において、画像コンポーネントタイプは、組織タイプ及び／又はバックグラウンド（例えばスライドバックグラウンド）に対応する。
【００７０】
[73]本発明は、オフライン処理及びオンライン処理を含む。オフライン処理ユニットは、全ての前処理ステップ、すなわちユーザが画像にアノテーションをつける前に、入力画像又は入力データに実行できるステップを含み、それはユーザとのインタラクションとは独立していて、一度だけしか実行する必要がない。これらの前処理ステップにより生成される中間結果は保存され、これはユーザがオンライン処理を始めるときにロードされる。オンライン処理は入力としてユーザのインタラクションを必要とするが、そのそれぞれのステップはユーザの好みに従って複数回起動できる。この設計によって、アルゴリズム全体の大部分の計算の負荷は、オフライン処理ユニットにおいて処理され、このことにより、オンライン処理中のユーザの待ち時間を最小化する。以下に、それぞれのステップの詳細を示す。
【００７１】
[74]一般に、組織スライドは、複数の染色により染色される。例えば、ルーチンＨ＆Ｅ染色で、ヘマトキシリンは紫がかった青い色を有する塩基性染料のように反応し、それは細胞核及び細胞小器官をなどの酸性構造を染色する。一方で、エオシンは、通常は赤みがかっているかピンクの酸性染料であり、細胞質、細胞壁及び細胞外繊維などの塩基性構造を染色する。多重化された免疫組織化学（ＩＨＣ）染色などの高度な染色は、より多くの染色を使用して、単一の組織切片の複数のバイオマーカを検出できる［１２］。染色分離の一般的な目的は、画像内の異なる染色を識別することであり、それは組織病理学画像セグメンテーションにとって重要である。それぞれの染色チャネルが特定の組織タイプと関連しているので、分離されたチャネルはオリジナルのＲＧＢチャネルよりさらに関連性のある画像特徴を提供して、異なるタイプの組織を区別できる。実施形態によれば、［１３］で紹介されたカラー・デコンボリューション方法を使用して、複数の画像チャネルを生成するための本発明の実験において、染色分離を実行する。この方法では、ＲＧＢチャネルにおける光の強さは、ランベルト・ベールの法則に基づいて公式化され、すなわち、
Ｉ＝Ｉ０ｅｘｐ（−Ａｃ）
である。
【００７２】
[75]ここでＩ０は、標本に入る光の強さ（すなわち、画像の範囲内の白いピクセル値又は最高強度値）であり、Ｉは検出された光（すなわち、ＲＧＢチャネルのピクセル値）、Ａは染色の量、そしてｃは染色の吸収率に関するマトリックスである。ｃが与えられて、Ａは推定されることができ、それによって、最大で３つの染色に対する強度値を得る。一例として、図２は、染色分離の後の、Ｈ＆Ｅ画像及び結果として得られる染色チャネル画像を示す。
【００７３】
[76]４つ以上の染色を有する画像に対して、［１２］において提案されるような方法が、染色共存の事前知識に基づいて使用できる。染色分離は、望ましくはあるが、本発明のインタラクティブ・セグメンテーション・フレームワークによって、必要とはされない。多くの場合に、特に染色カラーがＲＧＢコンポーネントによって、特徴的に表されることができるときに、オリジナルのＲＧＢチャネルを使用することでまだ合理的な結果を成し遂げることができる。
【００７４】
[77]あるいは、画像は、異なる画像チャネル、例えば、ヘマトキシリン、エオシン、及びＨ＆Ｅ染色した画像のための照明チャネル、ならびに、ヘマトキシリン、ＤＡＢ及びＫｉ６７、Ｈｅｒ２又はＥＲで染色した画像のための照明チャネルに、分けるか又は分離できる。本発明が３つ以上のチャネルに適用できる点に留意されたい。
マルチスケールスーパーピクセルの生成
[78]文献では、スーパーピクセルを生成するための多くのアプローチがある［１４］［１５］［１６］［１７］。個々のピクセルよりもむしろスーパーピクセルを使用することは、画像セグメンテーションの速度及び性能、特に、セグメンテーションのためのいくつかの前処理ステップを実行する速度を用いることができるので、利点であり得る。いくつかの実施形態によれば、単純な線形反復クラスタリング（ＳＬＩＣ）方法［１０］（ｋ平均クラスタリング方法を応用する）は、効率的にスーパーピクセルを生成するために用いる。ＳＬＩＣアルゴリズムの更に２つの特徴的な特性が、それを特に本出願にとって有益なものにする。最初に、スーパーピクセルの予想される空間範囲はアルゴリズムの入力パラメータとして明示的に定義され、それは、ユーザが組織オブジェクトサイズの事前知識を、スーパーピクセルスケールを決定する際に直接適用することを可能にする。例えば、典型的乳癌腫瘍細胞の直径は通常１０μｍより大きく、それは２０倍の解像度で画像のほぼ２５ピクセルに相当する。従って、最終的なセグメンテーションが核境界に付着できるように、ユーザは核サイズに近い最小のスーパーピクセルスケールを設定できる。第２に、オリジナルのＳＬＩＣアルゴリズムは、ｌａｂｘｙ空間［１０］のデータポイントを使用し、ｌａｂはＣＩＥＬＡＢカラー空間において、表示されるピクセルカラーであり、ｘｙは画像平面のピクセル位置である。ｌａｂチャネルは分離された染色チャネルと直接的に置き換えられて、染色した組織境界により付着したセグメンテーションを成し遂げることができる。
【００７５】
[79]本発明のフレームワークにおいては、マルチスケールでスーパーピクセルを生成する。スケールの数は、組織タイプの複雑さに従って、任意にユーザが決定できる。説明を簡単にするため、本発明は２スケールのスーパーピクセルに基づいて記載されており、それは図３に示される。図３Ａは、第１の最小のスーパーピクセルサイズを用いて受信したデジタル画像において、自動的に識別されていた複数のスーパーピクセル３０２を示す。図３Ｂは第２の最小のスーパーピクセルサイズを用いて同じデジタル画像において、自動的に識別されていた更なる複数のスーパーピクセル３０４を示し、第２の最小のスーパーピクセルサイズは第１の最小のスーパーピクセルサイズより小さい。
【００７６】
[80]スーパーピクセル技術を用いて、ピクセルは、知覚的に意味がある極小領域にグループ化され、これはピクセルグリッドの剛性構造を置換するために用いることができる。スーパーピクセルは、画像冗長性を捕えて、画像特性を計算する便利な原始関数を提供し、後続の画像処理タスクの複雑さを大幅に減らす［１０］
[81]スーパーピクセルに関して、より大きなスーパーピクセルセグメントは、より豊かな特徴を提供するが、結果としてセグメンテーションが不十分となる場合がある。反対に、より小さいスケールのセグメントは、より判別可能でない特徴を有するが、より良好な境界適合を提供することが可能である［１１］。計算の複雑性の観点からは、スケールが小さいほどスーパーピクセルの合計数が大きくなることにつながり、後続の処理ではより多くの計算を伴う。上記のトレードオフは、単一スケールのモデルを使用するときには回避不可能である。従って、本発明はマルチスケールのスーパーピクセルに基づいてインタラクティブ・セグメンテーション・フレームワークを提案したが、その結果、ユーザはアプリケーションのニーズに従ってトレードオフを調整できる。このように、本発明の実施形態は、非常に柔軟な画像解析システム及び対応する方法を提供する。
特徴抽出
[82]画像特性は、それぞれの画像チャネルのそれぞれのスーパーピクセルに対して抽出される。なお、オリジナルのＲＧＢチャネル及び分離された染色チャネルの他に、特徴抽出は他の派生画像に適用することもでき、それは、勾配大きさ画像、勾配方向画像、及びガボールフィルタによって、生成したようなテクスチャ特徴画像などである。本発明のアルゴリズムにおいて、それぞれの画像チャネルでは、それぞれのスーパーピクセルに帰属しているピクセルに対するピクセル値のヒストグラムは、特徴として計算される。
【００７７】
[83]例えば、Ｈ＆Ｅで染色した画像に対して、分離されたチャネルは、ヘマトキシリン（Ｈ）チャネル、エオシン（Ｅ）チャネル及び照明（Ｌ）チャネルを含む。それぞれのチャネルに対して、強度画像の他に、勾配大きさ及び方向画像も計算される。この結果で合計９つの画像チャネルとなり、９つの対応するセットのヒストグラムデータ又はベクトルが計算されて、それぞれのスーパーピクセルを特徴づける。
【００７８】
[84]オフライン処理の最終ステップは、それぞれのスケールでスーパーピクセルのためのグラフを作ることである。無向グラフは、ノードのセット及びこれらのノードを接続する無向アーク（又は「エッジ」）のセットを含む。本発明の例示的実施形態において、ノードは、スーパーピクセルの中心に対応する。それぞれのノードはスーパーピクセルに対応し、２つの隣接するスーパーピクセルを接続しているアークの重みは、以下において、定義するような、クロス画像チャネル距離尺度Ｍｉｊ（類似度と考えることもできる）である：
【００７９】
【数１】
0006588102.tif 000002
【００８０】
[85]ここにおいて、Ｍｉｊは、前記２つのスーパーピクセルのチャネル特有の差異度を集約するにより計算されるスーパーピクセルｉとスーパーピクセルｊの間の距離である。チャネル特有の差異度はピクセル強度依存の特徴セットの導関数として計算され、Ｃは画像チャネルの合計数（例えば、上記のＨ＆Ｅ画像の例に対してはＣ＝９）であり、Ｄｃ（ｉ，ｊ）はチャネルｃの２つのヒストグラムの間のＣｈｉスクエア距離であり、それは以下の
【００８１】
【数２】
0006588102.tif 000003
【００８２】
により定義され、ここで、
【００８３】
【数３】
0006588102.tif 000004
【００８４】
と
【００８５】
【数４】
0006588102.tif 000005
【００８６】
は、画像チャネルｃのスーパーピクセルｉ及びｊのヒストグラムをそれぞれ示し、ｋはヒストグラムビンインデックスである。このように、Ｄｃ（ｉ，ｊ）は、２つのスーパーピクセルｉ及びｊに対して取得される２つのヒストグラムのヒストグラム距離である。Ｄｃ（ｉ，ｊ）がより高いほど、比較されるヒストグラムのタイプに関して、２つのスーパーピクセルは、より異なったものである。Ｍｉｊは、２つのスーパーピクセルｉ、ｊの特徴セット依存の距離である。
オンライン処理
[86]オフライン前処理の後、派生画像チャネル（例えば、分離された画像及び勾配画像）、生成されたスーパーピクセル及びグラフはユーザに利用できて、再計算することのないオンライン処理を実行する。
グラフベースのセグメンテーション
[87]本発明は、画像森林変換（ＩＦＴ）［１８］を使用してセグメンテーションを実行し、すなわち、ユーザにより提供されるマーキングに基づいてそれぞれのスーパーピクセルに対するラベルを決定する。ＩＦＴは、グラフカットに基づいて広く使われているセグメンテーション技術に勝るいくつかの利点があることが認められた［１９］。本出願のために最も関連した利点は、ＩＦＴベースの方法が、オブジェクトの数に関係なく、ほぼ線形時間において、多重オブジェクトのセグメント化が可能であるということである。
【００８７】
[88]ＩＦＴは、接続性に基づいて画像処理演算子を設計するためのツールである。経路及び適切なコスト関数を与えられると、ＩＦＴは、それぞれのノードで最低コストの終端を有する経路を定めることによって、最適経路森林（ｏｐｔｉｍｕｍ−ｐａｔｈ  ｆｏｒｅｓｔ）を作る［１８］。ＩＦＴは、古典的なダイクストラの最短経路アルゴリズム［２０］の一般化と見なすことができる。Ｇ＝（Ｎ，Ａ）を例えば、図４で表される無向グラフ４００であるとすると、ここでＮはノードのセットであり、そしてＡはこれらのノードを接続する無向アークのセットである。グラフのそれぞれのアークａ∈Ａには、負でない重み（コスト）Ｗａを割り当てる。ｔにおいて終わる経路は、一連の連続的に隣接するノードπｔ＝＜ｔ１，ｔ２，ｔ３，．．．ｔ＞であり、及び１ノードπｔ＝＜ｔ＞だけを含む経路はトリビアル経路（ｔｒｉｖｉａｌ  ｐａｔｈ）と呼ぶ。πｔ＝πｓ・＜ｓ，ｔ＞によって、エッジ＜ｓ，ｔ＞による経路πｓの拡張を示す。ｆを、Ｇのいずれかの経路に対する値ｆ（πｔ）を割り当てて経路コストを表す実数値関数であるとする。経路πｔは、もしｆ（πｔ）＜ｆ（τｔ）であれば、その起点に関係なく、Ｇの他のいかなる経路τｔに対しても最適であると言われている。Пｔ（Ｇ）をｔにおいて終わるＧの全ての経路のセットとして定義すると、ｔにおいて終わる経路に対する最適値Ｏ（ｔ）は、
【００８８】
【数５】
0006588102.tif 000006
【００８９】
により定義される。
[89]ＩＦＴにより生成される最適経路森林は、それぞれのノードのｔ∈Ｖに最適経路におけるその先行ノードのＰ（ｔ）∈Ｖ、あるいはトリビアル経路πｔ＝＜ｔ＞が最適であるときは特徴的なマーカＰ（ｔ）＝ｎｉｌを割り当てる、関数Ｐである。Ｐ（ｔ）＝ｎｉｌであるとき、ｔはルートであると言う。結果として、それぞれのノードは、Ｐを使用してその最適経路を後方に辿るり続くことによって、ルートＲ（ｔ）に関連付けられる。アルゴリズム実装の詳細は［１８］に見つけることができる。
【００９０】
[90]本発明のインタラクティブ・セグメンテーション・フレームワークにおいて、ＩＦＴに対するルートは、ユーザにより提供されるマーキング（すなわち、ラベルをつけられたスーパーピクセル）に対応する。Ｌ（ｔ）はユーザによって、スーパーピクセルｓに与えられるラベルを示すこととし、スーパーピクセルｓにラベルが付けられていないときには、Ｌ（ｔ）＝０とする。経路コスト関数ｆ（πｔ）が以下のように定義される。
【００９１】
【数６】
0006588102.tif 000007
【００９２】
ｆ（πｓ・＜ｓ，ｔ＞）＝ｍａｘ｛ｆ（πｓ），Ｗ（ｓ，ｔ）｝，（４）
[91]ここで、Ｗ（ｓ、ｔ）＝Ｍｓ，ｔ（等式（１））がスーパーピクセル（ノード）ｓ及びｔを接続しているアーク（「エッジ」）のための重みである。ＩＦＴの後、それぞれのスーパーピクセルに割り当てられるラベルは、その最適経路のルートに帰属しているラベルである。フレームワークにおいて、他の経路コスト関数、例えば、
ｆ（πｓ・＜ｓ，ｔ＞）＝ｆ（πｓ）＋Ｗ（ｓ，ｔ）  （５）
により定義される付加的経路コスト関数を用いることもできることに留意する。
【００９３】
[92]この等式（４）は、経路に沿った総ノード数にかかわらず、隣接するスーパーピクセルと起点のラベルの伝搬に対するバリアの間で大きな違いがある。これは、長い経路がオブジェクトにわたることを必要とする可能性のある非常に不規則な形状のオブジェクトをセグメント化することにとって、望ましい。
【００９４】
[93]図５は、例えばアノテーション又はその他マーキングなどの、ユーザが与えるマーキング、及びＩＦＴを用いたセグメンテーションの結果の例を示す。第１のマーキング５０４は第１の組織領域に対応するいくつかのスーパーピクセルにわたり、第２のマーキング５０６は第２の組織領域に対応するいくつかのスーパーピクセルにわたり、そして、第３のマーキング５０２はスライドのガラス（「バックグラウンド」）に対応するいくつかのスーパーピクセルにわたる。
【００９５】
[94]インタラクティブ・セグメンテーション・フレームワークの基本的な利点は、ユーザのマーキングが外観情報だけでなく空間情報も提供して、セグメンテーションを誘導するという事実にある。従って、マーキングの物理的位置は、セグメンテーション実行にとって重要である。これはまた、セグメント化されるオブジェクトが非常に点在しているか又は形態学的に非常に複雑（例えば図６の全体スライドＨ＆Ｅ画像のヘマトキシリンで染色した腫瘍組織）である場合に、ユーザに大きなチャレンジを強いることとなる。この場合、オブジェクトのそれぞれの断片的な部分は、マーキングの形で自動的に、又は、手動で特定されたラベルをつけられたシードを受け、全てのスーパーピクセルに対する画像の一部が、異なるマーキングによって、カバーされているスーパーピクセルよりも前記マーキングされたスーパーピクセルにより類似しているという点で、ラベル（すなわち、マーキング）が正しく伝播されていることを確認する。
【００９６】
[95]全ての個々の部分のためのシードを手動で配置することがユーザにとっては多大な労力を要することであり得るので、本発明の実施形態はスーパーピクセルを最も類似したマーキングされたスーパーピクセル（ｓ）に自動的に割り当てることを含む。このように、ユーザは、手動でいくつかの典型的パーツをマーキングすることしか必要とせずに、全てのパーツをマーキングすることと、同様のセグメンテーション性能を成し遂げる。
【００９７】
[96]実施形態によれば、自動のシード配置アルゴリズムは、ラベルをつけられたスーパーピクセルと非常に類似している画像で、ラベルが付けられていないスーパーピクセルを見つけ、そしてそれらを付加的なシードとして使用する。「非常に類似の」スーパーピクセルは、例えば、別の、マーキングされたスーパーピクセルに関して類似性しきい値を超えているスーパーピクセルであり得る。
【００９８】
[97]実施形態によれば、画像解析システムのプロセッサは、等式（１）で定められたものと類似した距離尺度を使用して距離を評価するように、構成される。
【００９９】
【数７】
0006588102.tif 000008
【０１００】
が、ユーザによって、ラベルＬでマーキングされたスーパーピクセルを意味するものとし、
【０１０１】
【数８】
0006588102.tif 000009
【０１０２】
を画像チャネルｃのこれらのスーパーピクセルの平均のヒストグラムであるとすると、すなわち、
【０１０３】
【数９】
0006588102.tif 000010
【０１０４】
であり、ここでｋは、ヒストグラムビンインデックスである。それから、ラベルＬを有するスーパーピクセルと比較したスーパーピクセルｊの距離Ｄｃは、
【０１０５】
【数１０】
0006588102.tif 000011
【０１０６】
として定義され、ただし、
【０１０７】
【数１１】
0006588102.tif 000012
【０１０８】
であり、
そして、
【０１０９】
【数１２】
0006588102.tif 000013
【０１１０】
はチャネルｃのラベルＬに対する重みであり、それは以下において、計算される。
[98]Γ＝｛Ｌ１，Ｌ２，．．．，Ｌ，．．．｝をユーザのマーキングにより提供された全てのラベルであるとする。チャネルｃにおける２つのラベルＬ１とＬ２の間の差異度が以下のように定義される。
【０１１１】
【数１３】
0006588102.tif 000014
【０１１２】
それから、重み
【０１１３】
【数１４】
0006588102.tif 000015
【０１１４】
が以下により算出される。
【０１１５】
【数１５】
0006588102.tif 000016
【０１１６】
[99]このことにより、ラベルＬと他のラベルの間のより大きな違いを示すチャネルはより大きい重みを割り当てられ、このようにして、ラベルＬでマーキングされたものと類似したスーパーピクセルを見つけるにあたって、より関係のある情報を取り入れる。
【０１１７】
[100]以下の２つの条件が満たされる場合、スーパーピクセルｊはラベルＬを自動的に割り当てられる。
Ｍ（ｊ，ＳＬ）＝ｍｉｎＩ∈ΓＭ（ｊ，Ｓｌ）及び、
Ｍ（ｊ，ＳＬ）＜ε  （１１）
[101]ただし、εは所定のしきい値である。
【０１１８】
[102]実施形態によれば、プロセッサは、εをゼロの近く、例えば値０．０１未満に設定するように構成される。εをゼロ近くに設定することによって、図７において、示されるように、ラベルをつけられたスーパーピクセルとほぼ同一であるスーパーピクセルを見つけることができる。
ハイブリッドスケールのスーパーピクセルグラフ
[103]一般に、より大きいスケールのスーパーピクセルは、計算機処理上はより効率的であるが、オブジェクト境界（例えば、図５の組織とバックグラウンド間の境界）では、最適セグメンテーションを生成しない可能性がある。図９Ａにおいて、より大きいスケールのスーパーピクセル（画像の左上部の長方形内／赤いマーカあり）が組織及びバックグラウンドを含み、従ってそれに対するいずれのラベルを割り当てることも誤った境界を与えることが示される。対照的に、より小さいスケールのスーパーピクセルは、非常によく組織境界に付着する（図９Ｂ）。
【０１１９】
[104]このように、本発明の実施形態によるハイブリッドスケールのスーパーピクセル方法に従う本発明の実施形態は、ユーザが、セグメンテーション改良のために領域範囲（「関心ポイント」又は「関心領域」（ＲＯＩ）とも呼ばれる）、例えば、図９の（点線の）ボックスにより示される領域を選択することを可能にする。このＲＯＩの中で、より大きいスケールのスーパーピクセルは対応するより小さいスケールのスーパーピクセルと置き換えられて、組織境界のより良好な描写を達成する。ユーザは、より大キイスケールのスーパーピクセルを使用したセグメンテーション結果が最適ではないＲＯＩを、選択できる。それから、新しいグラフを、ＲＯＩによって、カバーされるハイブリッドスケールのスーパーピクセルに基づいて、生成できる。結果として、このグラフの最も外側のノードは、ＲＯＩ境界と重なり合うより大きいスケールのスーパーピクセルに対応し、そして、内側のノードは、ＲＯＩ内部のより小さいスケールのスーパーピクセルに対応する。
【０１２０】
[105]実施形態によれば、唯一の追加的な計算は、異なるスケールのスーパーピクセル間のアーク重み（すなわち、「エッジ重み」）である。ＲＯＩの境界で、異なるスケールの隣接するスーパーピクセルが重なり合うピクセルを有する可能性は、非常に高い。これは本発明の特徴算出において、許容され、すなわち、重なり合うピクセルは両方のスケールのスーパーピクセルのためのヒストグラム計算に寄与する。最終的なセグメンテーション結果に関しては、重なり合うピクセルに割り当てられるラベルは、いずれのスケールからでもあり得るが、大部分のケースでは、境界付着性のその優位性を考慮して、より小さいスケールが好ましい。
【０１２１】
[106]グラフを作り、及び／又はグラフデータをコンパイルして格納した後に、シードはセグメンテーションを実行する必要がある。既存のマーキングがこのＲＯＩにない場合には、ユーザは、以前のセクションに記載されている方法を使用して、手動で、又は、自動的にシード（例えば１つ又は複数のマーキング）を追加できる。あるいは、ラベルをすでに割り当てられたＲＯＩ境界に沿ったより大きいスケールのスーパーピクセルは、新しいグラフ上のセグメンテーションのためのシードとして役立つことができる。この方法の背後にある理論的根拠は、ユーザにより選択されたＲＯＩが通常組織境界に集中しているということである。このように、ＲＯＩ境界は組織の内側部に位置しなければならず、それは、より大きいスケールのスーパーピクセルを使用してでも合理的なセグメンテーション結果を通常もたらす。
【０１２２】
[107]別の実施形態によれば、プロセッサはより大きいスケールを用いて生成するスーパーピクセルからセグメンテーション結果を改良するように構成され、ユーザは、いかなるセグメンテーションも実行される前に、例えばＧＵＩを介して、全ての組織境界に沿ってＲＯＩを選択することが可能となる。それから、全体画像はハイブリッドスケールのスーパーピクセルグラフにより表され、そこでは、より小さいスケールのスーパーピクセルが組織境界に沿ってあり、より大きいスケールのスーパーピクセルが、組織の範囲内にある。
【０１２３】
[108]ＲＯＩ選択は半自動とすることもでき、すなわち、ユーザは組織境界を含むＲＯＩを最初に選択して、その後、類似のＲＯＩは画像において、自動的に検索される。検索は、ＲＯＩ内のユーザにより提供されるラベルに基づくことができ、それぞれのラベルは組織タイプに対応する。それぞれのラベルに対して、セクション２．３．２に記載されている方法を使用して、画像の全体にわたって、類似のスーパーピクセルが識別され、それから、全てのラベルが代表的なスーパーピクセルを有する領域は、１つのＲＯＩとして選択される。
【０１２４】
[109]最後に、更なる別の実施形態によれば、完全自動のＲＯＩ選択が提供される。画像解析システムのプロセッサは、単に画像特性に基づいて（すなわち、スーパーピクセル距離情報ではなく、強度に由来する画像特徴情報だけを分析することによって）、境界領域を自動的に識別するように構成される。そのような特徴の１つは、ソーベルファイラ及びキャニーアルゴリズムなどの、一般的に用いられるエッジ検出器により生成されるものであり得る。エッジ検出は分離されたチャネル画像それぞれにおいて行うことができ、その後、しきい値処理及び形態学的な操作を行い、ノイズが多いエッジを除去する。結果として得られるエッジマップは結合することができ、最も重要なエッジ情報を含む領域は、画像解析システムによって、ＲＯＩとして自動的に選択できる。
【０１２５】
参照文献：
［１］Ｙ．Ｂｏｙｋｏｖ及びＭ．Ｊｏｌｌｙ著、「Ｉｎｔｅｒａｃｔｉｖｅ  ｇｒａｐｈ  ｃｕｔｓ  ｆｏｒ  ｏｐｔｉｍａｌ  ｂｏｕｎｄａｒｙ  ａｎｄ  ｒｅｇｉｏｎ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ｏｂｊｅｃｔｓ  ｉｎ  ＮＤ  ｉｍａｇｅｓ（ＮＤ画像におけるオブジェクトの最適な境界及び領域セグメンテーションのためのインタラクティブグラフカット）」、ＩＥＥＥ  ＩＣＣＶ、２００１年、ｐ．１０５−１１２
［２］Ｃ．Ｒｏｔｈｅｒ、Ｖ．Ｋｏｌｍｏｇｏｒｏｖ及びＡ．Ｂｌａｋｅ著、「Ｇｒａｂｃｕｔ：  Ｉｎｔｅｒａｃｔｉｖｅ  ｆｏｒｅｇｒｏｕｎｄ  ｅｘｔｒａｃｔｉｏｎ  ｕｓｉｎｇ  ｉｔｅｒａｔｅｄ  ｇｒａｐｈ  ｃｕｔｓ（グラブカット：繰り返しグラフカットを用いたインタラクティブなフォアグラウンド抽出）」、ＡＣＭ  ＳＩＧＧＲＡＰＨ、２００４年
［３］Ｘ．Ｂａｉ及びＧ．Ｓａｐｉｒｏ著、「Ａ  ｇｅｏｄｅｓｉｃ  ｆｒａｍｅｗｏｒｋ  ｆｏｒ  ｆａｓｔ  ｉｎｔｅｒａｃｔｉｖｅ  ｉｍａｇｅ  ａｎｄ  ｖｉｄｅｏ  ｓｅｇｍｅｎｔａｔｉｏｎ  ａｎｄ  ｍａｔｔｉｎｇ（高速でインタラクティブな画像及びビデオセグメンテーションならびにマッティングのための測地学のフレームワーク）」、ＩＥＥＥ  ＩＣＣＶ、２００７年、ｐ．１−８
［４］Ａ．Ｐｒｏｔｅｒｅ及びＧ．Ｓａｐｉｒｏ著、「Ｉｎｔｅｒａｃｔｉｖｅ  ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｖｉａ  ａｄａｐｔｉｖｅ  ｗｅｉｇｈｔｅｄ  ｄｉｓｔａｎｃｅｓ（適合型重み付き距離を介したインタラクティブ画像セグメンテーション）」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｉｎｇ  Ｐｒｏｃｅｓｓｉｎｇ、２００７年、第１６巻、第４号、ｐ．１０４６−１０５７
［５］Ｌ．Ｇｒａｄｙ著、「Ｒａｎｄｏｍ  ｗａｌｋｓ  ｆｏｒ  ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ（画像セグメンテーションのためのランダムウォーク）」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、２００６年、第２８巻、第１１号、ｐ．１７６８−１７８３
［６］Ｗ．Ｙａｎｇ、Ｊ．Ｃａｉ、Ｊ．Ｚｈｅｎｇ及びＪ．Ｌｕｏ著、「Ｕｓｅｒ−ｆｒｉｅｎｄｌｙ  ｉｎｔｅｒａｃｔｉｖｅ  ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｔｈｒｏｕｇｈ  ｕｎｉｆｉｅｄ  ｃｏｍｂｉｎａｔｏｒｉａｌ  ｕｓｅｒ  ｉｎｐｕｔｓ（統一組合せのユーザ入力によるユーザフレンドリーなインタラクティブ画像セグメンテーション）」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ、２０１０年９月、第１９巻、第９号、ｐ．２４７０−２４７９。
【０１２６】
［７］Ｐ．Ｅ．Ｒａｕｂｅｒ、Ａ．Ｘ．Ｆａｌｃａｏ、Ｔ．Ｖ．Ｓｐｉｎａ及びＲ．Ｊ．Ｄｅ  Ｒｅｚｅｎｄｅ著、「Ｉｎｔｅｒａｃｔｉｖｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｂｙ  ｉｍａｇｅ  ｆｏｒｅｓｔｉｎｇ  ｔｒａｎｓｆｏｒｍ  ｏｎ  ｓｕｐｅｒｐｉｘｅｌ  ｇｒａｐｈ（スーパーピクセルグラフ上の画像森林変換によるインタラクティブセグメンテーション）」、２６ｔｈ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｇｒａｐｈｉｃｓ，  Ｐａｔｔｅｒｎｓ  ａｎｄ  Ｉｍａｇｅｓ（ＳＩＢＧＲＡＰＩ）、２０１３年
［８］Ｈ．Ｓ．Ｌｅｅ、Ｊ．Ｋｉｍ、Ｓ．Ｊ．Ｐａｒｋ及びＪ．Ｋｉｍ著、「Ｉｎｔｅｒａｃｔｉｖｅ  ｓｅｇｍｅｎｔａｔｉｏｎｓ  ａｓ  ｓｕｐｅｒｖｉｓｅｄ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｗｉｔｈ  ｓｕｐｅｒｐｉｘｅｌｓ（スーパーピクセルを有する管理分類としてのインタラクティブセグメンテーション）」、Ｗｏｒｋｓｈｏｐｓ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｈｕｍａｎ  Ｃｏｍｐｕｔａｔｉｏｎ，ＣＶＰＲ、２０１４年
［９］Ｙ．Ａｒｔａｎ著、「Ｉｎｔｅｒａｃｔｉｖｅ  ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｕｓｉｎｇ  ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ  ｔｅｃｈｎｉｑｕｅｓ（機械学習技術を用いたインタラクティブ画像セグメンテーション）」、Ｃａｎａｄｉａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  ａｎｄ  Ｒｏｂｏｔ  Ｖｉｓｉｏｎ、２０１１年
［１０］Ｒ．Ａｃｈａｎｔａ、Ａ．Ｓｈａｊｉ、Ｋ．Ｓｍｉｔｈ、Ａ  Ｌｕｃｃｈｉ、Ｐ．Ｆｕａ及びＳ．Ｓｕｓｓｔｒｕｎｋ著、「ＳＬＩＣ  ｓｕｐｅｒｐｉｘｅｌｓ  ｃｏｍｐａｒｅｄ  ｔｏ  ｓｔａｔｅ−ｏｆ−ａｒｔ  ｓｕｐｅｒｐｉｘｅｌ  ｍｅｔｈｏｄｓ（最新技術のスーパーピクセル方法と比較したＳＬＩＣスーパーピクセル）」、Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、２０１２年
［１１］Ｎ．Ｍ．Ｔａｎ、Ｙ．Ｘｕ、Ｊ．Ｌｉｕ、Ｗ．Ｂｌ．Ｇｏｈ、Ｆ．Ｙｉｎ及びＴ．Ｙ．Ｗａｎｇ著、「Ｍｕｌｔｉ−ｓｃａｌｅ  ｓｕｐｅｒｐｉｘｅｌｓ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｆｏｒ  ｏｐｔｉｃ  ｃｕｐ  ｌｏｃａｌｉｚａｔｉｏｎ（オプティックカップ局所化のためのマルチスケールスーパーピクセル分類）」、ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｂｉｏｍｅｄｉｃａｌ  Ｉｍａｇｉｎｇ（ＩＳＢＩ）、２０１４年
［１２］Ｔ．Ｃｈｅｎ及びＣ．Ｓｒｉｎｉｖａｓ著、「Ｓｔａｉｎ  ｕｎｍｉｘｉｎｇ  ｉｎ  ｂｒｉｇｈｔｆｉｅｌｄ  ｍｕｌｔｉｐｌｅｘ  ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ  ｉｍａｇｅｓ（明視野多重免疫組織化学における染色分離）」、ＭＩＣＣＡＩ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｓｐａｒｓｉｔｙ  Ｔｅｃｈｎｉｑｕｅｓ  ｉｎ  Ｍｅｄｉｃａｌ  Ｉｍａｇｉｎｇ、２０１４年
［１３］Ｃ．Ｒｕｉｆｒｏｋ及びＤ．Ａ．Ｊｏｈｎｓｔｏｎ著、「Ｑｕａｎｔｉｆｉｃａｔｉｏｎ  ｏｆ  ｈｉｓｔｏｃｈｅｍｉｃａｌ  ｓｔａｉｎｉｎｇ  ｂｙ  ｃｏｌｏｒ  ｄｅｃｏｎｖｏｌｕｔｉｏｎ（カラー・デコンボリューションによる組織化学的染色の定量化）」、Ａｎａｌ  Ｑｕａｎｔ  Ｃｙｔｏ  Ｈｉｓｔｏ、第２３巻、第４号、２００１年８月、ｐ．２９１−２９９
［１４］Ｐ．Ｆｅｌｚｅｎｓｚｗａｌｂ及びＤ．Ｈｕｔｔｅｎｌｏｃｈｅｒ著、「Ｅｆｆｉｃｉｅｎｔ  Ｇｒａｐｈ−Ｂａｓｅｄ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ（効率的なグラフベースの画像セグメンテーション）」、ｌｎｔ’ｌ  Ｊ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ、２００４年９月、第５９巻、第２号、ｐ．１６７−１８１
［１５］Ａ．Ｌｅｖｉｎｓｈｔｅｉｎ、Ａ．Ｓｔｅｒｅ、Ｋ．Ｋｕｔｕｌａｋｏｓ、Ｄ．Ｆｌｅｅｔ、Ｓ．Ｄｉｃｋｉｎｓｏｎ及びＫ．Ｓｉｄｄｉｑｉ著、「Ｔｕｒｂｏｐｉｘｅｌｓ：  Ｆａｓｔ  ｓｕｐｅｒｐｉｘｅｌｓ  ｕｓｉｎｇ  ｇｅｏｍｅｔｒｉｃ  ｆｌｏｗｓ（ターボピクセル：幾何学的なフローを用いた高速スーパーピクセル）」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＰＡＭＩ）、２００９年
［１６］Ｊ．Ｓｈｉ及びＪ．Ｍａｌｉｋ著、「Ｎｏｒｍａｌｉｚｅｄ  ｃｕｔｓ  ａｎｄ  ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ（正規化カット及び画像セグメンテーション）」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＰＡＭＩ）２０００年８月、第２２巻、第８号、ｐ．８８８−９０５
［１７］Ｏ．Ｖｅｋｓｌｅｒ、Ｙ．Ｂｏｙｋｏｖ及びＰ．Ｍｅｈｒａｎｉ著、「Ｓｕｐｅｒｐｉｘｅｌｓ  ａｎｄ  ｓｕｐｅｒｖｏｘｅｌｓ  ｉｎ  ａｎ  ｅｎｅｒｇｙ  ｏｐｔｉｍｉｚａｔｉｏｎ  ｆｒａｍｅｗｏｒｋ（エネルギー最適化フレームワークにおけるスーパーピクセル及びスーパーボクセル）」、Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＥＣＣＶ）、２０１０年
［１８］Ａ．Ｆａｌｃ〜ａｏ、Ｊ．Ｓｔｏｌｆｉ及びＲ．ｄｅ  Ａｌｅｎｃａｒ  Ｌｏｔｕｆｏ著、「Ｔｈｅ  ｉｍａｇｅ  ｆｏｒｅｓｔｉｎｇ  ｔｏｒａｎｓｆｏｒｍ：  ｔｈｅｏｒｙ，  ａｌｇｏｒｉｔｈｍｓ，  ａｎｄ  ａｐｐｌｉｃａｔｉｏｎｓ（画像森林変換：理論、アルゴリズム及び応用）」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、２００４年、第２６巻、第１号、ｐ．１９−２９
［１９］Ｙ．Ｂｏｙｋｏｖ及びＭ．Ｐ．Ｊｏｌｌｙ著、「Ｉｎｔｅｒａｃｔｉｖｅ  ｇｒａｐｈ  ｃｕｔｓ  ｆｏｒ  ｏｐｔｉｍａｌ  ｂｏｕｎｄａｒｙ  ａｎｄ  ｒｅｇｉｏｎ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ｏｂｊｅｃｔｓ  ｉｎ  Ｎ−Ｄ  ｉｍａｇｅｓ（Ｎ―Ｄ画像におけるオブジェクトの最適な境界及び領域セグメンテーションのためのインタラクティブグラフカット）」、８ｔｈ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ、２００１年、第１巻、ｐ．１０５−１１２
［２０］Ｅ．Ｗ．Ｄｉｊｋｓｔｒａ著、「Ａ  ｎｏｔｅ  ｏｎ  ｔｗｏ  ｐｒｏｂｌｅｍｓ  ｉｎ  ｃｏｎｎｅｘｉｏｎ  ｗｉｔｈ  ｇｒａｐｈｓ（グラフに関連した２つの課題についてのメモ」、Ｎｕｍｅｒｉｓｃｈｅ  Ｍａｔｈｅｍａｔｉｋ、１９５９年、第１巻、第１号、ｐ．２６９−２７１
【０１２７】
結果
[110]提案されるフレームワークはデジタル病理学アプリケーションのために実施され、それは全部のスライド及び視野（ＦＯＶ）画像を処理できる。
【０１２８】
結論
[111]提案されるインタラクティブ・セグメンテーション・フレームワークは、デジタル病理学画像解析アプリケーションのための非常に柔軟で有効なツールである。
【図１】
0006588102.tif 000017
【図２Ａ】
0006588102.tif 000018
【図２Ｂ】
0006588102.tif 000019
【図２Ｃ】
0006588102.tif 000020
【図２Ｄ】
0006588102.tif 000021
【図３Ａ】
0006588102.tif 000022
【図３Ｂ】
0006588102.tif 000023
【図４】
0006588102.tif 000024
【図５】
0006588102.tif 000025
【図６】
0006588102.tif 000026
【図７Ａ】
0006588102.tif 000027
【図７Ｂ】
0006588102.tif 000028
【図８Ａ】
0006588102.tif 000029
【図８Ｂ】
0006588102.tif 000030
【図９Ａ】
0006588102.tif 000031
【図９Ｂ】
0006588102.tif 000032
【図９Ｃ】
0006588102.tif 000033
【図１０】
0006588102.tif 000034
【図１１】
0006588102.tif 000035