(57)【特許請求の範囲】
【請求項１】
デジタル画像内の関心領域の少なくとも１つの形状を生成するコンピュータ実施方法において、
画像処理エンジンによって、生物学的サンプルのデジタル組織画像へのアクセスを取得するステップ、
前記画像処理エンジンによって、前記デジタル組織画像を画像パッチの集合体にタイリングするステップ、
前記画像処理エンジンによって、前記画像パッチの集合体内の画素内容の関数として、前記画像パッチの集合体から標的組織パッチのセットを識別するステップ、
前記画像処理エンジンによって、前記標的組織パッチのセットの各標的組織パッチに、各標的組織パッチに対して実行されたトレーニングされた分類器によって生成され、前記標的組織パッチが関心クラス内に入る確率を示す初期クラス確率スコアを割り当てるステップ、
前記画像処理エンジンによって、第１のシード領域基準を満たす初期クラス確率スコアを有する標的組織パッチを識別することによって、前記標的組織パッチのセットのサブセットを含む組織領域シードパッチの第１のセットを生成するステップ、
前記画像処理エンジンによって、第２のシード領域基準を満たす初期クラス確率スコアを有する標的組織パッチを識別することによって、前記標的組織パッチのセットのサブセットを含む組織領域シードパッチの第２のセットを生成するステップ、
前記画像処理エンジンによって、前記組織領域シードパッチの第２のセットの近傍パッチの初期クラス確率スコア及び前記第１のセットの組織領域シードパッチ内のパッチまでの距離の関数として前記組織領域シードパッチの第２のセット内の各パッチについて関心領域スコアを算出するステップ、
前記画像処理エンジンによって、前記関心領域スコアに基づいて隣接するパッチをグループ化することによって１つ又は複数の関心領域形状を生成するステップ、
を含む方法。
【請求項２】
請求項１において、前記デジタル組織画像をタイリングするステップは、均一サイズ及び均一形状の画像パッチを作成するステップを含む方法。
【請求項３】
請求項２において、前記均一サイズ及び均一形状の画像パッチは、１，０００画素×１，０００画素以下の正方形パッチを含む方法。
【請求項４】
請求項３において、前記正方形パッチは、４００画素×４００画素以下である方法。
【請求項５】
請求項４において、前記正方形パッチは、２５６画素×２５６画素以下である方法。
【請求項６】
請求項１において、前記デジタル組織画像をタイリングするステップは、不均一なサイズ及び形状の画像パッチを作成するステップを含む方法。
【請求項７】
請求項１において、前記画像パッチの集合体は、重ならないパッチを含む方法。
【請求項８】
請求項１において、前記標的組織パッチのセットを識別するステップは、前記画像パッチ内の画素のカラーチャネルに基づいて画像パッチの集合体をフィルタリングするステップを含む方法。
【請求項９】
請求項８において、前記カラーチャンネルに関する分散の関数として前記画像パッチの集合体の画像パッチをフィルタリングするステップを更に含む方法。
【請求項１０】
請求項１において、前記トレーニングされた分類器は、トレーニングされたニューラルネットワークを含む方法。
【請求項１１】
請求項１において、前記トレーニングされた分類器は、サポートベクターマシン、ソフトマックス、判定木、ランダムフォレスト、ｋ最近傍、線形及び二次判別分析、リッジ回帰、多層パーセプトロン（ＭＬＰ）、ハイパーパイプ、ベイズネット、ｋ−ｍｅａｎｓクラスタリング、及び／又は単純ベイズのタイプの分類器のうちの少なくとも１つのトレーニングされた実装を含む方法。
【請求項１２】
請求項１において、コンピューティングデバイスに、前記関心領域の形状をディスプレイ上にレンダリングさせるステップを更に含む方法。
【請求項１３】
請求項１において、前記関心領域形状は、少なくとも１つの組織マスクを含む方法。
【請求項１４】
請求項１３において、前記少なくとも１つの組織マスクは、顕微解剖用マスクを含む方法。
【請求項１５】
請求項１において、前記関心クラスは、少なくとも１つの癌クラスを含む方法。
【請求項１６】
請求項１５において、前記少なくとも１つの癌クラスは、乳癌、膀胱癌、脳腫瘍、肺癌、膵臓癌、皮膚癌、大腸癌、前立腺癌、胃癌、肝臓癌、子宮頸癌、食道癌、白血病、非ホジキンリンパ腫、腎臓癌、子宮癌、胆汁導管癌、骨癌、卵巣癌、胆嚢癌、胃腸癌、口腔癌、喉癌、眼癌、骨盤癌、脊椎癌、精巣癌、膣癌、外陰癌、及び甲状腺癌のタイプの癌のうちの１つを含む方法。
【請求項１７】
請求項１において、前記関心クラスは、異常組織、良性組織、悪性組織、骨組織、皮膚組織、神経組織、間質組織、筋肉組織、結合組織、瘢痕組織、リンパ組織、脂肪、上皮組織、神経組織、及び血管のタイプの組織のうちの少なくとも１つを含む方法。
【請求項１８】
請求項１において、前記デジタル組織画像は、組織サンプルスライドのスライド画像を含む方法。
【請求項１９】
請求項１８において、前記スライド画像は、デジタル組織病理画像を含む方法。
【請求項２０】
請求項１において、先験的にトレーニングされた分類器のデータベースへのアクセスを取得するステップを更に含む方法。
【請求項２１】
請求項２０において、デジタル組織画像に結び付けられた生物学的サンプルメタデータに従って定義された分類器選択基準に基づいて、前記先験的にトレーニングされた分類器から前記トレーニングされた分類器を選択するステップを更に含む方法。
【請求項２２】
請求項２１において、前記生物学的サンプルメタデータは、組織のタイプ、組織の提供者、スキャナ、染色、染色技術、作成者の識別子、画像サイズ、サンプルの識別子、追跡用の識別子、バージョン番号、ファイルのタイプ、画像日付、症状、診断、治療を行っている医師の識別情報、組織提供者の病歴、組織提供者の人口統計情報、組織提供者の家族の病歴、及び組織提供者の種のうちの少なくとも１つに関連するデジタル情報を含む方法。
【請求項２３】
請求項１において、前記近傍パッチの関数として、前記組織領域シードパッチの第２のセット内の各パッチについて関心領域スコアを算出するステップは、前記近傍パッチ間の条件付き確率場（ＣＲＦ）を算出するステップを含む方法。
【請求項２４】
請求項１において、前記近傍パッチの関数として、前記組織領域シードパッチの第２のセット内の各パッチについて関心領域スコアを算出するステップは、最近傍を評価するステップを含む方法。
【請求項２５】
請求項１において、前記関心領域形状は、パッチから構成される形状を含む方法。
【請求項２６】
請求項１において、前記関心領域形状は、形状サブパッチレベルの特徴を含む方法。
【請求項２７】
請求項２６において、前記画像データは、組織画像データを含み、前記関心領域形状は、細胞レベルのサブパッチレベルの形状を含む方法。
【請求項２８】
請求項２６において、前記関心領域形状を生成するステップは、細胞レベルでトレーニングされたニューラルネットワークに基づいて前記組織領域シードパッチの第２のセットのパッチ内で細胞タイプによって細胞を分類するステップを含む方法。
【請求項２９】
請求項２７において、前記関心領域形状を生成するステップは、トレーニングされた完全畳み込みニューラルネットワークによって細胞間の境界を画定するステップを含む方法。
【請求項３０】
請求項２９において、前記トレーニングされた完全畳み込みニューラルネットワークは、トレーニングパッチ内の既知の細胞タイプについてパッチレベルでトレーニングされる方法。
【請求項３１】
請求項１において、前記標的組織パッチの初期クラス確率スコアを割り当てるステップは、前記標的組織パッチのセットの他のパッチの初期クラス確率を考慮せずに行われる方法。
【請求項３２】
請求項１において、前記組織領域シードパッチの第２のセットの近傍パッチは、前記組織領域シードパッチの第２のセットの少なくとも１つのパッチに隣接する１つ又は複数のパッチを含む方法。
【請求項３３】
請求項１において、前記トレーニング済み分類器をトレーニングするステップは、
畳み込みニューラルネットワークによって、デジタル組織画像の複数のパッチを受信するステップであって、前記複数のパッチは、複数の正常パッチと複数の陽性パッチとを含むステップ、
前記畳み込みニューラルネットワークによって、前記畳み込みニューラルネットワークのアーキテクチャの１つ又は複数の全結合層の入力サイズを、前記複数のパッチ内のパッチのタイプの濃度に基づいて決定される新しい値に設定するステップ、
前記畳み込みニューラルネットワークによって、１つ又は複数の全結合層のパラメータの値の分布をポピュレートするステップ、
前記畳み込みニューラルネットワークによって、前記１つ又は複数の全結合層のパラメータの値を調整するステップ、
前記畳み込みニューラルネットワークによって、前記標的組織パッチが正常パッチのグループ又は陽性パッチのグループ内に入る確率を示す初期クラス確率スコアを前記複数のパッチのそれぞれに割り当てるステップ、
前記複数のパッチの第１の初期クラス確率スコアが前記複数のパッチの第２の初期クラス確率スコアよりも正確であるか否かを判定するステップ、
を含む方法。
【請求項３４】
請求項３３において、前記複数のデジタル組織画像は、陽性パッチの濃度と実質的に同様の濃度の正常パッチの濃度を含む方法。
【請求項３５】
請求項３３において、前記複数のパッチの第１の初期クラス確率スコアが前記複数のパッチの第２の初期クラス確率スコアよりも正確であると判定するステップは、前記複数のパッチの第１の初期クラス確率スコアと前記複数のパッチの正しい初期クラス確率スコアとの間の差の二乗和が、前記複数のパッチの第２の初期クラス確率スコアと前記複数のパッチの正しい初期クラス確率スコアとの間の差の二乗和より小さいことを判定するステップを含む方法。
【請求項３６】
請求項３５において、前記複数のパッチの前記第２の初期クラス確率スコアの割り当ては、前記複数のパッチの前記第１の初期クラス確率スコアの割り当てよりも早く行われる方法。
【請求項３７】
請求項３３において、前記１つ以上の全結合層は、ソフトマックス層を含む方法。
【請求項３８】
請求項３３において、前記パッチのタイプは、正常パッチと陽性パッチである方法。
【請求項３９】
請求項３３において、前記新しい値は、１×１×２である方法。
【請求項４０】
請求項３３において、前記１つ又は複数の全結合層のパラメータの値の分布は、ガウス分布である方法。
【請求項４１】
デジタル画像内の関心領域の少なくとも１つの形状を生成するために分類器をトレーニングするコンピュータ実施方法であって、
畳み込みニューラルネットワークによって、複数の正常パッチと複数の陽性パッチとを含むデジタル組織画像の複数のパッチを受信するステップ、
前記畳み込みニューラルネットワークによって、前記畳み込みニューラルネットワークのアーキテクチャの１つ又は複数の全結合層の入力サイズを、前記複数のパッチ内のパッチのタイプの濃度に基づいて決定される新しい値に設定するステップ、
前記畳み込みニューラルネットワークによって、前記１つ又は複数の全結合層のパラメータの値の分布をポピュレートするステップ、
前記畳み込みニューラルネットワークによって、前記１つ又は複数の全結合層のパラメータの値を調整するステップ、
前記畳み込みニューラルネットワークによって、前記標的組織パッチが正常パッチのグループ又は陽性パッチのグループ内に入る確率を示す初期クラス確率スコアを前記複数のパッチのそれぞれに割り当てるステップ、
前記複数のパッチの第１の初期クラス確率スコアが前記複数のパッチの第２の初期クラス確率スコアよりも正確であるか否かを判定するステップ、
を含む方法。
【請求項４２】
デジタル画像内の関心領域の少なくとも１つの形状を生成するコンピュータ実施方法において、
画像処理エンジンによって、生物学的サンプルのデジタル組織画像へのアクセスを取得するステップ、
前記画像処理エンジンによって、前記デジタル組織画像を、標的組織パッチのセットを含む画像パッチの集合体にタイリングするステップ、
前記画像処理エンジンによって、前記標的組織パッチのセットの各標的組織パッチに、各標的組織パッチに対して実行されたトレーニングされた分類器によって生成され、前記標的組織パッチが関心クラス内に入る確率を示す初期クラス確率スコアを割り当てるステップ、
前記画像処理エンジンによって、第１のシード領域基準を満たす初期クラス確率スコアを有する標的組織パッチを識別することによって、前記標的組織パッチのセットのサブセットを含む組織領域シードパッチの第１のセットを生成するステップ、
前記画像処理エンジンによって、第２のシード領域基準を満たす初期クラス確率スコアを有する標的組織パッチを識別することによって、前記標的組織パッチのセットのサブセットを含む組織領域シードパッチの第２のセットを生成するステップ、
前記画像処理エンジンによって、前記組織領域シードパッチの第２のセットの近傍パッチの初期クラス確率スコア及び前記第１のセットの組織領域シードパッチ内のパッチまでの距離の関数として前記組織領域シードパッチの第２のセット内の各パッチについて関心領域スコアを算出するステップ、
前記画像処理エンジンによって、前記関心領域スコアに基づいて隣接するパッチをグループ化することによって１つ又は複数の関心領域形状を生成するステップ、
を含む方法。
【請求項４３】
デジタル画像内の関心領域の少なくとも１つの形状を生成するコンピュータ実施方法において、
画像処理エンジンによって、生物学的サンプルのデジタル組織画像へのアクセスを取得するステップ、
前記画像処理エンジンによって、前記デジタル組織画像を画像パッチの集合体にタイリングするステップ、
前記画像処理エンジンによって、前記画像パッチの集合体内の各パッチから、複数の特徴を次元として含む多次元特徴空間においてパッチ特徴ベクトルを定義する複数の特徴を取得するステップ、
前記画像処理エンジンによって、前記画像パッチの集合体内の各パッチに、前記画像パッチの集合体内の各パッチの複数の特徴を使用して前記画像パッチの集合体内の各パッチに対して実行されたトレーニングされた分類器によって生成され、前記パッチが関心クラス内に入る確率を示す初期クラス確率スコアを割り当てるステップ、
前記画像処理エンジンによって、前記画像パッチの集合体において第１の基準を満たす初期クラス確率スコアを有するパッチを識別することによって組織領域シードパッチの第１のセットを生成するステップ、
前記画像処理エンジンによって、前記画像パッチの集合体において第２の基準を満たす初期クラス確率スコアを有するパッチを識別することによって組織領域シードパッチの第２のセットを生成するステップ、
前記画像処理エンジンによって、前記画像パッチの集合体内の各パッチについて、前記組織領域シードパッチの第１のセット及び前記組織領域シードパッチの第２のセットに含まれていることの関数として１つ又は複数の関心領域形状を生成するステップ、
を含む方法。
【請求項４４】
デジタル画像関心領域生成システムにおいて、
生物学的サンプルのデジタル組織画像を保存するように構成されたデータベースと、
画像処理エンジンとを備え、前記画像処理エンジンは、
生物学的サンプルのデジタル組織画像へのアクセスを取得し、
前記デジタル組織画像を画像パッチの集合体にタイリングし、
前記画像パッチの集合体内の画素内容の関数として、前記画像パッチの集合体から標的組織パッチのセットを識別し、
前記標的組織パッチのセットの各標的組織パッチに、各標的組織パッチに対して実行されたトレーニングされた分類器によって生成され、前記標的組織パッチが関心クラス内に入る確率を示す初期クラス確率スコアを割り当て、
第１のシード領域基準を満たす初期クラス確率スコアを有する標的組織パッチを識別することによって、前記標的組織パッチのセットのサブセットを含む組織領域シードパッチの第１のセットを生成し、
第２のシード領域基準を満たす初期クラス確率スコアを有する標的組織パッチを識別することによって、前記標的組織パッチのセットのサブセットを含む組織領域シードパッチの第２のセットを生成し、
前記組織領域シードパッチの第２のセットの近傍パッチの初期クラス確率スコア及び前記第１のセットの組織領域シードパッチ内のパッチまでの距離の関数として前記組織領域シードパッチの第２のセット内の各パッチについて関心領域スコアを算出し、
前記関心領域スコアに基づいて隣接するパッチをグループ化することによって１つ又は複数の関心領域形状を生成するように構成されているデジタル画像関心領域生成システム。
【請求項４５】
デジタル画像関心領域生成システムにおいて、
生物学的サンプルのデジタル組織画像を保存するように構成されたデータベースと、
画像処理エンジンとを備え、前記画像処理エンジンは、
前記データベースから生物学的サンプルのデジタル組織画像へのアクセスを取得し、
前記デジタル組織画像を画像パッチの集合体にタイリングし、
前記画像パッチの集合体内の各パッチから、複数の特徴を次元として含む多次元特徴空間においてパッチ特徴ベクトルを定義する複数の特徴を取得し、
前記画像パッチの集合体内の各パッチに、前記画像パッチの集合体内の各パッチの複数の特徴を使用して前記画像パッチの集合体内の各パッチに対して実行されたトレーニングされた分類器によって生成され、前記パッチが関心クラス内に入る確率を示す初期クラス確率スコアを割り当て、
前記画像パッチの集合体において第１の基準を満たす初期クラス確率スコアを有するパッチを識別することによって組織領域シードパッチの第１のセットを生成し、
前記画像パッチの集合体において第２の基準を満たす初期クラス確率スコアを有するパッチを識別することによって組織領域シードパッチの第２のセットを生成し、
前記画像パッチの集合体内の各パッチについて、前記組織領域シードパッチの第１のセット及び前記組織領域シードパッチの第２のセットに含まれていることの関数として１つ又は複数の関心領域形状を生成するように構成されているデジタル画像関心領域生成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２０１６年１０月２１日に出願された米国仮出願第６２／４１１，２９０号、及び２０１７年９月１２日に出願された米国仮出願第６２／５５７，７３７号に対する優先権の利益を主張する。本明細書で参照されるこれら及び他の全ての外部文献は、全体が参照により本願に援用される。
【０００２】
本技術は、包括的に、組織病理診断、すなわち組織が罹患しているか否かを判定し及び／又は罹患組織を研究することを目的とする組織の顕微鏡検査に関する。組織は、例えば、乳房腫瘤、腸、腎臓、肝臓、子宮内膜、肺、胸部、リンパ節、筋肉、神経、皮膚、精巣、甲状腺の標本等を含む体のいかなる部位から取り出したものであってもよい。
【０００３】
ここに開示する技術は、デジタル画像内の関心領域を識別すること、例えば、背景シーンから前景オブジェクトを識別すること、又はデジタル組織病理診断画像内の癌細胞を同定することに関する。
【背景技術】
【０００４】
組織は、生検、外科手術、又は剖検を含む複数の設定で被験体から収集できる。被験体から取り出された組織は、化学的固定のためにホルマリン等の固定剤に入れられて準備され、これにより、組織の崩壊が防止される。次に、組織は凍結され又は溶融ワックス内に収容される。そして、組織の切片が切断され、スライドに載置される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
組織切片がスライド上に載置されると、病理医は、顕微鏡を介してスライドを観察し、組織が罹患しているか否かを判定し、罹患している場合には、疾患のステージを判定する。例えば、病理医は、乳房腫瘤が乳癌細胞を含むか否かを判定でき、該当する場合、病理医は、癌のグレード及び／又はステージを判定できる。しかしながら、これらの判定は、信頼性が低く、高価で時間がかかり、一般に、偽陽性及び偽陰性を含む誤判定の可能性を最小限にするために複数の病理医による検証が必要であるという技術的課題がある。
【課題を解決するための手段】
【０００６】
本発明の実施形態は、上記の技術的課題を解決し、ニューラルネットワーク、より具体的には、畳み込みニューラルネットワークを使用して、組織が罹患している可能性があるか否かを判定する技術的ソリューションを提供する。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態の１つ又は複数の側面を実施できる分散型コンピュータシステムのブロック図である。
【０００８】
【図２】本発明の実施形態の１つ又は複数の側面を実施できる電子デバイスのブロック図である。
【０００９】
【図３】本発明の一実施形態の１つ又は複数の側面を実施できる電子デバイスのアーキテクチャを示す図である。
【００１０】
【図４】本発明の一実施形態の１つ又は複数の側面を実施できる電子デバイスによって実行されるプロセスを示す図である。
【００１１】
【図５】本発明の実施形態と共に使用するために修正された層を有する畳み込みニューラルネットワークの層を示す図である。
【００１２】
【図６】本発明の一実施形態の１つ又は複数の側面を実施する電子デバイスによって実行されるプロセスを示す図である。
【００１３】
【図７】本発明の一実施形態の１つ又は複数の側面を実施する電子デバイスによって処理される２５６×２５６画素の組織のパッチを示す図である。
【００１４】
【図８】本発明の一実施形態の１つ又は複数の側面を実施する電子デバイスによって処理される４００×４００画素の組織のパッチを示す図である。
【００１５】
【図９Ａ】本発明の一実施形態の１つ又は複数の側面を実施する電子デバイスによって処理される組織のパッチを示す図である。
【図９Ｂ】本発明の一実施形態の１つ又は複数の側面を実施する電子デバイスによって処理される組織のパッチを示す図である。
【図９Ｃ】本発明の一実施形態の１つ又は複数の側面を実施する電子デバイスによって処理される組織のパッチを示す図である。
【図９Ｄ】本発明の一実施形態の１つ又は複数の側面を実施する電子デバイスによって処理される組織のパッチを示す図である。
【図９Ｅ】本発明の一実施形態の１つ又は複数の側面を実施する電子デバイスによって処理される組織のパッチを示す図である。
【図９Ｆ】本発明の一実施形態の１つ又は複数の側面を実施する電子デバイスによって処理される組織のパッチを示す図である。
【００１６】
【図１０】代替の実施形態において、図６の実施形態の少なくとも幾つかのステップに代えて又はこれに加えて使用できる条件付き確率場モデルを示す図である。
【００１７】
【図１１】本発明の一実施形態の１つ又は複数の側面を実施する電子デバイスによって生成された関心領域境界を示す図である。
【発明を実施するための形態】
【００１８】
上記の図面を参照して本発明を説明するが、これらの図面は、例示を意図するものであり、本発明の思想の範囲内で他の実施形態も想到される。
【００１９】
以下、本発明を実施できる特定の実施形態を例示的に示す添付の図面を参照して、本発明を十分に説明する。但し、本発明は、多くの異なる形態で実施でき、ここに開示する実施形態に限定されるとは解釈されず、これらの実施形態は、この開示が十分かつ完全であり、当業者が本発明の範囲を十分に理解できるように提供される。本発明は、特に、デバイス又は方法として実現できる。したがって、本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はソフトウェアとハードウェアの側面を組み合わせた実施形態の形式をとることができる。したがって、以下の詳細な説明は、限定的な意味で解釈されるべきではない。
【００２０】
本明細書及び特許請求の範囲を通して、文脈に特段の指定がない限り、以下の用語は、本明細書に明示的に関連する意味として解釈される。本明細書で使用する「一実施形態では」、「ある実施形態では」等の句は、同じ実施形態を指す場合もあるが、必ずしも同じ実施形態を指すとは限らない。更に、本明細書で使用する「別の実施形態」という句は、異なる実施形態を指すこともあるが、必ずしも異なる実施形態を指すわけではない。したがって、本発明の範囲又は思想から逸脱することなく、以下に記載する本発明の様々な実施形態を容易に組み合わせることができる。
【００２１】
更に、本明細書で使用される用語「又は」は、包括的な「ｏｒ」演算子であり、文脈に特段の指定がない限り、用語「及び／又は」と同等である。「〜に基づいて」という用語は、排他的なものではなく、文脈に特段の指定がない限り、記載されていない別の要因に基づくことを許容する。更に、本明細書を通して、冠詞類「ａ」、「ａｎ」、及び「ｔｈｅ」の意味は、複数の言及を包含する。「内（ｉｎ）」の意味は、「内（ｉｎ）」及び「上（ｏｎ）」を含む。
【００２２】
なお、ここでの説明は、広範囲な概説を意図するものではなく、したがって、明瞭さ及び簡潔さのために、概念を単純化する場合がある。
【００２３】
本願において言及する全ての文献は、その全体が参照により本明細書に援用される。本願に記載する任意のプロセスは、任意の順序で実行でき、プロセス中の任意のステップを省略してもよい。また、プロセスは、他のプロセス又は他のプロセスのステップと組み合わせてもよい。
【００２４】
本発明を実施できる環境の一実施形態の構成要素を図１に示す。本発明を実施するためにこれら全ての構成要素が必要とされるわけではなく、本発明の思想又は範囲から逸脱することなく、これらの構成要素の配置及びタイプを変更してもよい。図示のように、システム１００は、１つ又は複数のローカルエリアネットワーク（Local Area Network：ＬＡＮ）／ワイドエリアネットワーク（Wide Area Network：ＷＡＮ）１１２、１つ又は複数の無線ネットワーク１１０、１つ又は複数の有線又は無線クライアントデバイス１０６、モバイル又は他の無線クライアントデバイス１０２〜１０６、サーバ１０７〜１０９、光学顕微鏡システム１１１を含み、更に、１つ又は複数のデータストア又はデータベースを含み又はこれらと通信できる。様々なクライアントデバイス１０２〜１０６は、例えば、デスクトップコンピュータ、ラップトップコンピュータ、セットトップボックス、タブレット、携帯電話、スマートフォン等を含むことができる。サーバ１０７〜１０９は、例えば、１つ又は複数のアプリケーションサーバ、コンテンツサーバ、検索サーバ等を含むことができる。
【００２５】
光学顕微鏡システム１１１は、顕微鏡、接眼アセンブリ、カメラ、スライドプラットフォーム、並びに図２に示すような電子デバイス２００の構成要素を含むことができる。図２では、光学顕微鏡システム１１１がサーバ１０９に通信可能に接続されているように示しているが、これは、サーバ１０７〜１０９、ネットワーク１１２、無線ネットワーク１１０、及び／又は任意のクライアントデバイス１０２〜１０６のうちのいずれか又は全てに接続してもよい。
【００２６】
図２は、本発明の一実施形態に基づく対話型ビデオ生成及びレンダリングのためのシステム及び方法の１つ又は複数の側面を実施できる電子デバイス２００のブロック図を示している。電子デバイス２００の実例は、サーバ（例えば、サーバ１０７〜１０９）、光学顕微鏡システム１１１、及びクライアントデバイス（例えば、クライアントデバイス１０２〜１０６）を含むことができる。電子デバイス２００は、一般的に、プロセッサ／ＣＰＵ２０２、メモリ２３０、電源２０６、及び入出力（Ｉ／Ｏ）構成要素／デバイス２４０、例えば、マイクロフォン、スピーカ、ディスプレイ、タッチスクリーン、キーボード、マウス、キーパッド、顕微鏡、ＧＰＳコンポーネント等を含むことができ、これらは、例えば、グラフィカルユーザインタフェースを提供するように動作してもよい。
【００２７】
ユーザは、電子デバイス２００のタッチスクリーンを介して入力を提供できる。タッチスクリーンは、例えば、ユーザが自分の指等のユーザの身体の一部でタッチスクリーンに触れているか否かを判断することによって、ユーザが入力を提供しているか否かを判断できる。また、電子デバイス２００は、電子デバイス２００の前述の要素を接続する通信バス２０４を含むことができる。ネットワークインタフェース２１４は、受信機及び送信機（又は送受信機）、及び無線通信用の１つ又は複数のアンテナを含むことができる。
【００２８】
プロセッサ２０２は、例えば、中央処理デバイス（Central Processing Unit：ＣＰＵ）及びグラフィック処理デバイス（Graphics Processing Unit：ＧＰＵ）等の任意のタイプの処理デバイスのうちの１つ又は複数を含むことができる。また、例えば、プロセッサは、中央処理ロジック、又は他のロジックであってもよく、１つ以上の機能又は動作を実行し、又は１つ以上の他のコンポーネントに１つ以上の機能又は動作を実行させるためのハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせを含むことができる。また、所望の用途又は必要性に基づいて、中央処理ロジック、又は他のロジックは、例えば、ソフトウェア制御マイクロプロセッサ、ディスクリートロジック、例えば、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラム可能／プログラムされたロジックデバイス、命令を含むメモリデバイス、又はハードウェアで実現された組合せロジック等を含むことができる。更に、ロジックは、完全にソフトウェアとして実現してもよい。
【００２９】
ランダムアクセスメモリ（Random Access Memory：ＲＡＭ）２１２及び読み取り専用メモリ（Read Only Memory：ＲＯＭ）２３２を含むことができるメモリ２３０は、任意のタイプのメモリデバイス、例えば、（ＣＰＵによって直接的にアクセス可能な）一次メモリデバイス又は（ＣＰＵによって間接的にアクセス可能な）二次メモリデバイス（例えば、フラッシュメモリ、磁気ディスク、光ディスク等）のうちの１つ又は複数によって動作できる。ＲＡＭは、オペレーティングシステム２２１、１つ以上のデータベースを含むデータストレージ２２４、並びに例えば、デジタル病理組織診断及び顕微解剖システム２２３のソフトウェア側面を含むプログラム及び／又はアプリケーション２２２を含むことができる。ＲＯＭ２３２は、電子デバイスの基本入出力システム（Basic Input / Output System：ＢＩＯＳ）２２０も含むことができる。
【００３０】
デジタル組織病理診断及び顕微解剖システム２２３のソフトウェア側面は、本発明の実施形態に基づく方法及びシステムを実施又は実現するために必要な全てのプログラミング、アプリケーション、アルゴリズム、ソフトウェア及び他のツールを広く含む又は表すことを意図している。対話型ビデオ生成及びレンダリングプログラムのためのシステム及び方法の要素は、単一のサーバコンピュータ上に存在してもよく、複数のコンピュータ、サーバ、デバイス、又は広告主、出版社、データプロバイダ等を含むエンティティの間で分散させてもよい。対話型ビデオ生成及びレンダリングプログラムのためのシステム及び方法が複数のコンピュータ、サーバ、デバイス又はエンティティの間で分散されている場合、このような複数のコンピュータは、例えば、図１に示すように通信を行う。
【００３１】
電源２０６は、１つ又は複数の電力構成要素を含み、電子デバイス２００への電力の供給及び管理を行う。
【００３２】
入出力（Input / Output：Ｉ／Ｏ）インタフェース２４０を含む入出力コンポーネントは、例えば、電子デバイス２００の任意の構成要素、外部デバイスの構成要素（例えば、ネットワーク又はシステム１００の他のデバイスの構成要素）、及びエンドユーザ間の通信を実現するための任意のインタフェースを含むことができる。例えば、このような構成要素は、受信機、送信機、送受信機、及び１つ又は複数の入出力インタフェースが統合されたネットワークカードを含むことができる。例えば、ネットワークカードは、ネットワークの他のデバイスとの有線又は無線通信を実現できる。無線通信の場合、このような通信は、アンテナによって実現できる。また、入出力インタフェース２４０及びバス２０４の幾つかは、電子デバイス２００の構成要素間の通信を実現でき、一例では、プロセッサ２０２によって実行される処理を補助する。
【００３３】
電子デバイス２００がサーバである場合、これは、例えば、有線又は無線ネットワークを介して信号を送信又は受信でき、あるいは、例えば、メモリ内に物理的メモリ状態として、信号を処理又は格納できるコンピューティングデバイスを含むことができる。サーバは、１つ以上のアプリケーションを提供するための構成を含むアプリケーションサーバであってもよく、例えば、ネットワークを介して他のデバイスへの対話型ビデオ生成及びレンダリングを行うためのシステム及び方法の側面であってもよい。また、アプリケーションサーバは、例えば、対話型ビデオ生成及びレンダリングのためのシステム及び方法の例示的な側面の管理のためのユーザインタフェースを提供できるウェブサイトをホストしてもよい。
【００３４】
有線及び／又は無線ネットワークを介してデータを送信、受信、及び処理することが可能な任意のコンピューティングデバイスは、例えば、対話型ビデオ生成及びレンダリングのためのシステム及び方法の実装の側面を実現するサーバとして機能できる。したがって、サーバとして機能するデバイスには、専用ラックマウント型サーバ、デスクトップコンピュータ、ラップトップコンピュータ、セットトップボックス、前述のデバイスのうちの１つ又は複数を組み合わせた一体型デバイス等が含まれる。
【００３５】
サーバは、構成及び機能において幅広く様々な形態を有することができるが、これらは、一般的に、１つ又は複数の中央処理デバイス、メモリ、大容量データストレージ、電源、有線又は無線のネットワークインタフェース、入出力インタフェース、及びウィンドウズ(登録商標)サーバ、マックＯＳ  Ｘ、ユニックス、リナックス(登録商標)、ＦｒｅｅＢＳＤ等のオペレーティングシステムを含む。
【００３６】
サーバは、例えば、対話型ビデオ生成及びレンダリングのための例示的なシステム及び方法の側面を実現する際に１つ又は複数のネットワークを介して別のデバイスにデータ又はコンテンツを提供するように構成され又はこのような構成を含むデバイスを含むことができる。例えば、１つ又は複数のサーバを使用して、ウェブサイトｗｗｗ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ等のウェブサイトをホストできる。１つ又は複数のサーバは、例えば、ビジネスサイト、情報サイト、ソーシャルネットワーキングサイト、教育サイト、ウィキペディア、金融サイト、政府サイト、個人サイト等の様々なサイトをホストできる。
【００３７】
また、サーバは、例えば、ウェブサービス、サードパーティサービス、オーディオサービス、ビデオサービス、電子メールサービス、ＨＴＴＰ又はＨＴＴＰＳサービス、インスタントメッセージング（Instant Messaging：ＩＭ）サービス、ショートメッセージサービス（Short Message Service：ＳＭＳ）、マルチメディアメッセージングサービス（Multimedia Messaging Service：ＭＭＳ）、ファイル転送プロトコル（File Transfer Protocol：ＦＴＰ）サービス、ボイスオーバーＩＰ（Voice Over IP：ＶＯＩＰ）サービス、カレンダーサービス、電話サービス等の様々なサービスを提供してもよく、これらの全ては、対話型ビデオ生成及びレンダリングのための例示的なシステム及び方法の例示的な側面とともに機能できる。コンテンツは、例えば、テキスト、画像、オーディオ、ビデオ等を含むことができる。
【００３８】
対話型ビデオ生成及びレンダリングのためのシステム及び方法の例示的側面では、クライアントデバイスは、例えば、有線及び／又は無線ネットワークを介してデータを送信及び受信できる任意のコンピューティングデバイスを含むことができる。このようなクライアントデバイスは、デスクトップコンピュータ、並びに携帯デバイス、例えば、携帯電話、スマートフォン、ディスプレイページャ、無線周波数（Radio Frequency：ＲＦ）デバイス、赤外線（Infrared：ＩＲ）デバイス、携帯情報端末（Personal Digital Assistant：ＰＤＡ）、ハンドヘルドコンピュータ、ＧＰＳ対応デバイス、タブレットコンピュータ、センサ搭載デバイス、ラップトップコンピュータ、セットトップボックス、ウェアラブルコンピュータ、前述のデバイスのうちの１つ又は複数を組み合わせた統合型デバイス等を含むことができる。
【００３９】
対話型ビデオ生成及びレンダリングのための例示的なシステム及び方法で使用できるクライアントデバイスのタイプは、機能及び特徴に関して広範囲に亘る。例えば、携帯電話、スマートフォン又はタブレットは、数字キーパッドと、テキストのみを表示できる数行のモノクロ液晶ディスプレイ（Liquid-Crystal Display：ＬＣＤ）とを有していてもよい。別の例では、ウェブ対応クライアントデバイスは、物理キーボード又は仮想キーボード、データストレージ（フラッシュメモリ又はＳＤカード等）、加速度計、ジャイロスコープ、ＧＰＳ又はその他の位置認識機能、及びテキストとグラフィックの両方を表示できる２Ｄ又は３Ｄのタッチセンシティブカラースクリーンを有してもよい。
【００４０】
対話型ビデオ生成及びレンダリングのための例示的なシステム及び方法で使用可能なクライアントデバイス、例えば、クライアントデバイス１０２〜１０６等は、Ｗｉｎｄｏｗｓ（登録商標）、ＩＯＳ又はＬｉｎｕｘ(登録商標)等のパーソナルコンピュータオペレーティングシステム、及びＩＯＳ、Ａｎｄｒｏｉｄ、Ｗｉｎｄｏｗｓ  Ｍｏｂｉｌｅ等のモバイルオペレーティングシステムを含む様々なオペレーティングシステムを実行できる。クライアントデバイスは、他のコンピューティングデバイスからデータを送信又は受信するように構成されている１つ又は複数のアプリケーションを実行するために使用できる。クライアントアプリケーションは、テキストコンテンツ、マルチメディア情報等を提供及び受信できる。クライアントアプリケーションは、ウェブページの閲覧、ウェブ検索エンジンの使用、スマートフォンに保存されている様々なアプリとのインタラクション、電子メール、ＳＭＳ、又はＭＭＳを介したメッセージの送受信、ゲーム（ファンタジースポーツリーグ等）のプレイ、広告の受信、ローカルに保存され又はストリーミングされたビデオの視聴、ソーシャルネットワークへの参加等の動作を実行できる。
【００４１】
対話型ビデオ生成及びレンダリングのためのシステム及び方法の例示的側面では、例えば、ネットワーク１１０又は１１２等の１つ又は複数のネットワークは、サーバ及びクライアントデバイスを他のコンピューティングデバイスと接続でき、これは、無線ネットワークを介してクライアントデバイスを接続することを含む。ネットワークは、ある電子デバイスから別の電子デバイスに情報を通信するための任意の形態のコンピュータ可読媒体の使用に対応していてもよい。ネットワークは、インターネットに加えて、ローカルエリアネットワーク（Local Area Network：ＬＡＮ）、ワイドエリアネットワーク（Wide Area Network：ＷＡＮ）、例えば、ユニバーサルシリアルバス（Universal Serial Bus：ＵＳＢ）ポートを介する直接接続、他の形態のコンピュータ可読媒体、又はこれらの任意の組合せを含むことができる。異なるアーキテクチャ及びプロトコルに基づくものも含め、相互接続されたＬＡＮのセットでは、ルータは、ＬＡＮ間のリンクとして機能し、データを相互に送信できるようにする。
【００４２】
ＬＡＮ内の通信リンクには、ツイストペア線又は同軸ケーブルが含まれ、ネットワーク間の通信リンクは、アナログ電話回線、ケーブル回線、光回線、Ｔ１、Ｔ２、Ｔ３、及びＴ４を含む完全な又は部分的な専用デジタル回線、サービス総合デジタル網（Integrated Services Digital Network：ＩＳＤＮ）、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）、衛星リンクを含む無線リンク、光ファイバリンク、又は当業者に周知の他の通信リンクを利用できる。更に、遠隔コンピュータ及び他の関連する電子デバイスは、モデム及び電話リンクを介してＬＡＮ又はＷＡＮのいずれかに遠隔接続できる。
【００４３】
対話型ビデオ生成及びレンダリングのための例示的なシステム及び方法における無線ネットワーク１１０等の無線ネットワークでは、デバイスをネットワークに接続できる。無線ネットワークは、独立型アドホックネットワーク、メッシュネットワーク、無線ＬＡＮ（ＷＬＡＮ）ネットワーク、セルラネットワーク等を採用できる。
【００４４】
無線ネットワークは、無線ラジオリンク等によって接続された端末、ゲートウェイ、ルータ等の自律システムを更に含むことができる。これらのコネクタは、自由にかつランダムに移動し、自らを任意に編成して、無線ネットワークのトポロジを速やかに変更するように構成してもよい。無線ネットワークは、更に、第２世代（２Ｇ）、第３世代（３Ｇ）、第４世代（４Ｇ）、セルラシステム用のロングタームエボリューション（ＬＴＥ）無線アクセス、ＷＬＡＮ、無線ルータ（Wireless Router：ＷＲ）メッシュ、及び無線ＬＡＮを含む複数のアクセス技術を採用できる。２Ｇ、２．５Ｇ、３Ｇ、４Ｇ、及び将来のアクセスネットワーク等のアクセス技術は、様々な程度の移動性を有するクライアントデバイス等のクライアントデバイスのための広域カバレッジを提供できる。例えば、無線ネットワークは、グローバル移動体通信システム（Global System for Mobile communication：ＧＳＭ(登録商標)）、ユニバーサル移動体通信システム（Universal Mobile Telecommunications System：ＵＭＴＳ）、汎用パケット無線サービス（General Packet Radio Service：ＧＰＲＳ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment：ＥＤＧＥ）、３ＧＰＰロングタームエボリューション（Long Term Evolution：ＬＴＥ）、ＬＴＥアドバンスト、広帯域符号分割多元接続（Wideband Code Division Multiple Access：ＷＣＤＭＡ(登録商標)）、ブルートゥース(登録商標)、８０２．１１ｂ／ｇ／ｎ等の無線ネットワークアクセス技術を介して無線接続を可能にする。無線ネットワークは、クライアントデバイスと他のコンピューティングデバイス、ネットワーク等との間で情報を転送できる実質的にあらゆる無線通信メカニズムを含むことができる。
【００４５】
参加するデジタル通信ネットワークのネットワークを介してデータ通信パケットを送信するためにインターネットプロトコル（Internet Protocol：ＩＰ）を使用してもよく、これは、ＴＣＰ／ＩＰ、ＵＤＰ、ＤＥＣｎｅｔ、ＮｅｔＢＥＵＩ、ＩＰＸ、Ａｐｐｌｅｔａｌｋ等のプロトコルを含むことができる。インターネットプロトコルのバージョンは、ＩＰｖ４とＩＰｖ６を含む。インターネットは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、無線ネットワーク、並びに、ローカルエリアネットワーク間でパケットを通信することを可能にする長距離公衆ネットワークを含む。パケットは、ネットワーク内のノード間で、それぞれが固有のローカルネットワークアドレスを有するサイトに送信できる。データ通信パケットは、インターネットに接続されたアクセスノードを介して、ユーザサイトからインターネットを経由して送信してもよい。パケットのヘッダにターゲットサイトのサイトアドレスが含まれていれば、ネットワークノードを介してネットワークに接続された任意のターゲットサイトにパケットを転送できる。インターネットを介して通信される各パケットは、ターゲットアドレスとネットワークパスの可用性に従ってパケットを切り替えてターゲットサイトに接続するゲートウェイ及びサーバによって判定されたパスを介してルーティングできる。
【００４６】
パケットのヘッダは、例えば、送信元ポート（１６ビット）、宛先ポート（１６ビット）、シーケンス番号（３２ビット）、確認応答番号（３２ビット）、データオフセット（４ビット）、予備（６ビット）、チェックサム（１６ビット）、緊急ポインタ（１６ビット）、オプション（長さが８ビットの倍数の可変ビット数）、パディング（全てゼロで構成でき、ヘッダを３２ビット境界で終わらせる数のビットを含む。）を含むことができる。上記の各ビット数は、これより多い場合も少ない場合もある。
【００４７】
対話型ビデオ生成及びレンダリングのための例示的システム及び方法で使用できる「コンテンツ送達ネットワーク（content delivery network）」又は「コンテンツ配信ネットワーク（content distribution network）」（ＣＤＮ）は、包括的に、１つ又は複数のネットワークによってリンクされた自律型コンピュータの集合体を含む分散型コンピュータシステムとともに、例えば、コンテンツの保存、キャッシング、又は送信、メディアのストリーミング、及びコンテンツプロバイダに代わるアプリケーション等の様々なサービスを実現するために設計されたソフトウェア、システム、プロトコル、及び技術を指す。このようなサービスは、以下に限定されるわけではないが、「クラウドコンピューティング」、分散型ストレージ、ＤＮＳ要求処理、プロビジョニング、データの監視及び報告、コンテンツターゲティング、パーソナライゼーション、及びビジネスインテリジェンスを含む付属的な技術を利用してもよい。また、ＣＤＮは、サードパーティに代わって、事業体がサードパーティのＷｅｂサイトインフラストラクチャーの全部又は一部を運営及び／又は管理することを可能にする。
【００４８】
ピアツーピア（Ｐ２Ｐ）コンピュータネットワークは、特定の専用サーバセットに集中するのではなく、ネットワークの参加者の計算能力と帯域幅に主に依存する。Ｐ２Ｐネットワークは、通常、大部分がアドホック接続を介してノードを接続するために使用される。純粋なピアツーピアネットワークには、クライアントやサーバといった概念はなく、ネットワーク上の他のノードに対して「クライアント」と「サーバ」の両方として同時に機能する同等のピアノードが存在するのみである。
【００４９】
本発明の一実施形態は、デジタル病理組織診断及び顕微解剖に関連するシステム、方法、及び非一時的コンピュータ可読記憶媒体、又はコンピュータプロセッサによって実行されるコンピュータプログラムロジックを有形に記憶する媒体を含む。
【００５０】
上述のように、組織サンプル（「サンプル」）が罹患しているか、あるいは、特に癌に罹患しているかを検討し、判定を下すことを複数の病理医に要求することは、信頼性が低く、高価であり、時間がかかる。
【００５１】
本発明の一実施形態は、サンプルが罹患しているか否かを判定することを含む。以下の実施形態は、特に癌に関するものである。但し、本発明の実施形態は、他の疾患に関する判定を下すために使用してもよい。
【００５２】
本発明の一実施形態は、コンピュータビジョンを使用することによってサンプルが癌性であるか否かを判定することに関する。コンピュータビジョンは、１つ又は複数のデジタル画像からの有用な情報の自動抽出、分析及び理解に関わる。コンピュータビジョンは、例えば、デジタル画像内の人物の顔の位置を特定し、その人物の目の位置を判定し、及びその人物の瞳孔間距離を測定することによって写真中の人物の年齢を判定するために使用できる。
【００５３】
機械学習の分野では、コンピュータビジョンの分野で使用できる人工ニューラルネットワークとして、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）を使用できる。Ｃｈｒｉｓｔｉａｎ  Ｓｚｅｇｅｄｙ他による記事「Rethinking the Inception Architecture for Computer Vision（arXiv:1512.00567v3 [cs.CV] 11 Dec 2015）」では、コンピュータビジョンにおけるＣＮＮの使用が論じられている。図５に示すように、ＣＮＮは、複数の層、及び各層に複数のパラメータ（入力サイズ）を有する。図５は、層のタイプ、パッチサイズ、各層の入力サイズに関する情報を含む。パラメータの値は、ＣＮＮの出力を決定する。
【００５４】
ＣＮＮには、組織サンプルの画像を入力でき、ＣＮＮは、その画像が癌であるか癌でないかの確率を出力として提供できる。組織サンプルの画像は、スライド画像、特にデジタル組織病理画像であってもよい。本発明の実施形態によれば、ＣＮＮがこのような判定をする前に、関連画像（すなわち、癌細胞の画像及び癌細胞を含まない画像）を使用してＣＮＮをトレーニングできる。
【００５５】
図３は、本発明の実施形態の１つ又は複数の側面を実施できる電子デバイスのアーキテクチャを示している。図３は、画像処理エンジン３０１を含む。画像処理エンジン３０１は、図２のプログラム及び／又はアプリケーション２２２によって実現でき、これは、例えば、デジタル病理組織診断及び顕微解剖システム２２３のソフトウェア側面を含むことができる。画像処理エンジン３０１は、ＣＮＮ３１５をトレーニングするトレーニングエンジン３０２を含む。
【００５６】
図４は、トレーニングエンジン３０２によって実行されるＣＮＮトレーニングプロセスを示している。図４に示すように、トレーニングエンジン３０２によるＣＮＮ３１５のトレーニングは、幾つかのステップを含む。ステップ４０１において、ＣＮＮ３１５は、異なるタイプ／グループのデジタル組織画像の複数のパッチを受け取る。複数のパッチは、例えば、複数の正常パッチ及び複数の陽性パッチ（トレーニングパッチ３０２Ａ）を含むことができる。トレーニングパッチ３０２Ａは、より大きい画像の一部である。この場合、より大きい画像は、陽性パッチ及び正常パッチを有する生物学的サンプルのデジタル画像であってもよい。また、トレーニングパッチは、複数の大きな画像から取得してもよい。陽性パッチは、癌であることが既知のパッチであり、正常パッチは、癌ではないことが既知のパッチである（すなわち、これらは、病理医又はコンピュータビジョンによって癌である又は癌ではないと事前に判定されている）。癌のタイプは、以下に限定されるわけではないが、乳癌、膀胱癌、脳腫瘍、肺癌、膵臓癌、皮膚癌、大腸癌、前立腺癌、胃癌、肝臓癌、子宮頸癌、食道癌、白血病、非ホジキンリンパ腫、腎臓癌、子宮癌、胆汁導管癌、骨癌、卵巣癌、胆嚢癌、胃腸癌、口腔癌、喉癌、眼癌、骨盤癌、脊椎癌、精巣癌、膣癌、外陰癌、及び甲状腺癌を含むことができる。
【００５７】
ステップ４０１において、トレーニングエンジン３０２は、ＣＮＮ３１５のトレーニングされていない分類器（classifier）への入力として、多数の正常パッチ及び多数の陽性パッチ（トレーニングパッチ３０２Ａ）（例えば、１０００、５０００、１００００、２００００、３００００、４００００、５００００、７５０００、又は１０００００個の陽性パッチと、これに等しい数、異なる数、又は実質的に同じ数（１％、３％、５％、又は１０％の範囲内の数等）の正常パッチ）を供給して、入力パッチに類似した特徴を有するパッチを認識するようにＣＮＮ３１５をトレーニングする。固有の正常又は陽性パッチの数が不十分な場合、トレーニングエンジン３０２は、ランダムに選択された（又はユーザによって選択された）既存のトレーニングパッチを特定のパッチグループ（すなわち、陽性又は正常）に複製し、パッチを修正してもよい。例えば、パッチを９０、１８０又は２７０度回転させることによってパッチを修正してもよく、及び／又はパッチの配色を変更してもよく、及び／又はパッチに歪みを加えてもよく、パッチをグレースケールに変換してもよく、及び／又はパッチの一部を切り取ってもよく、及び／又はパッチを裏返してもよく、及び／又はパッチのサイズを変更してもよい。トレーニングパッチには、回転、スキューイング、アフィン、平行移動、鏡像等の変換を施してもよい。上述のように、ランダムパッチを選択した後、ランダム修正スキームを適用してもよい。変数（回転の度数等）が含まれている場合、乱数を使用して変数の値を選択してもよい。
【００５８】
結果として得られるＣＮＮ３１５のトレーニングされた分類器は、サポートベクターマシン、ソフトマックス、判定木、ランダムフォレスト、ｋ最近傍、線形及び二次判別分析、リッジ回帰、多層パーセプトロン（MultiLayer Perceptron：ＭＬＰ）、ハイパーパイプ、ベイズネット、ｋ−ｍｅａｎｓクラスタリング、及び／又は単純ベイズのタイプの分類器のうちの少なくとも１つであってもよい。
【００５９】
各パッチについて、複数の正常パッチ及び陽性パッチを供給することに加えて、トレーニングエンジン３０２は、各パッチについて正しい出力の値をＣＮＮ３１５に供給する。例えば、パッチが正常であれば０を供給し、パッチが陽性（すなわち癌又は他の疾患）であれば１を供給してもよい。
【００６０】
ステップ４０３において、トレーニングエンジン３０２は、ＣＮＮ３１５において、ＣＮＮ３１５アーキテクチャの１つ又は複数の全結合層の入力サイズを新しい値に設定し、新しい値は、複数のパッチ内のパッチのタイプの濃度（cardinality）に基づいて決定される。例えば、正常と陽性の２つタイプのパッチの場合、パッチのタイプの濃度は、２になる。より具体的には、図５の最後の行に示すように、ＣＮＮ３１５のソフトマックス層の入力サイズは、１×１×２に設定できる。
【００６１】
ステップ４０５において、トレーニングエンジン３０２は、ＣＮＮ３１５において、１つ又は複数の全結合層のパラメータの値の分布（例えば、ＣＮＮパラメータ３０９）をポピュレートする。値の分布は、ガウス分布、ポアソン分布、又はユーザが生成した分布であってもよい。ＣＮＮパラメータ３０９は、このトレーニングに基づいて、ＣＮＮがどのように分類を行うかを決定する。
【００６２】
次に、トレーニングエンジン３０２は、ＣＮＮ３１５に複数のパッチを入力してもよく、ＣＮＮ３１５は、各パッチの初期クラス確率スコアを生成し、メモリに格納する（複数のパッチの第１の初期クラス確率スコア）。初期クラス確率スコアは、特定のパッチが正常パッチのグループ又は陽性パッチのグループに含まれる確率を示す（各パッチの初期の分類を行うため）。ステップ４０５では、第１の分類を現在の分類として設定する。
【００６３】
ステップ４０７において、トレーニングエンジン３０２は、ＣＮＮ３１５において、１つ又は複数の全結合層のパラメータ３０９の値を調整する。
【００６４】
ステップ４０７でパラメータの値を調整した後、ステップ４０９において、トレーニングエンジン３０２がＣＮＮ３１５に複数のパッチを入力し、ＣＮＮ３１５は、調整後の各パッチのクラス確率スコアを判定し、割り当てを行い、調整済みクラス確率スコアとしてメモリに保存する（複数のパッチの調整済み分類を作成する）。調整前（又は最新の調整前）のパッチのクラス確率スコアは、第１の初期クラス確率スコアと呼ぶことができ、調整後パッチの確率スコアは、第２の初期クラス確率スコアと呼ぶことができる。
【００６５】
次に、ステップ４１１において、トレーニングエンジン３０２は、複数のパッチの調整されたクラス確率スコア（第１の初期クラス確率スコアとも呼ばれる）が複数のパッチの現在のクラス確率スコア（第２の初期クラス確率スコアとも呼ばれる）よりも正確であるか否かを判定する。すなわち、ステップ４１１では、ステップ４０７において調整されたパラメータが、ステップ４０７における調整の前に使用されたパラメータ値よりも正確な確率を生成するか否かを判定する。ステップ４１１の判定は、複数のパッチの調整済みクラス確率スコアと複数のパッチの正しい初期クラス確率スコアとの間の差の二乗和が、複数のパッチの現在のクラスの確率スコアと複数のパッチの正しい初期クラスの確率スコアとの間の差の二乗和よりも小さいことを判定することを含むことができる。調整されたクラスの確率スコアが現在のクラスの確率スコアよりも正確であると判断された場合、調整された分類を新しい現在の分類に設定する。プロセスは、ステップ４１１からステップ４０７に戻り、ステップ４０７〜４１１を繰り返し続けることができる。すなわち、パラメータを複数回調整して、最良のパラメータセットを見出すことができる。
【００６６】
図４のプロセスに従ってＣＮＮをトレーニングし、最適なパラメータが設定／調整されると、ＣＮＮを使用して、確率が未知である生物学的サンプルの画像のパッチに対する初期クラス確率を判定できる。すなわち、分類器が一旦トレーニングされると、これを「テスト」パッチで使用できるようになる。テストパッチは、実際の生きている患者の組織サンプルからのパッチである。
【００６７】
図６は、生物学的サンプルのデジタル組織画像を受け取り、癌を含む可能性が高い部分及びサンプル内の特定の領域が癌を有する可能性を判定するための方法を示している。この方法は、トレーニングされた分類器を使用して実行される。
【００６８】
ステップ６０１において、画像処理エンジン３０１は、生物学的サンプルのデジタル組織画像へのアクセスを取得する。デジタル画像は、様々な形式、例えば、ＳＶＳ、ＴＩＦＦ、ＶＭＳ、ＶＭＵ、ＮＤＰＩ、ＳＣＮ、ＭＲＸＳ、ＳＶＳＬＩＤＥ、ＢＩＦ、ＰＤＦ、ＪＰＧ、ＢＭＰ、ＧＩＦ、及び任意の他のデジタル画像フォーマットであってもよい。更に、デジタル画像は、サーバ（例えば、１つ又は複数のサーバ１０７〜１０９）上にあってもよく、これは、大きな画像（サイズが数ＧＢ）であってもよく、この画像は、クラウドに格納してもよく、図６の分析は、クラウドで実行してもよい。クラウドがサーバ１０７〜１０９を含んでいてもよい。また、図６のステップは、１つ又は複数のクライアントデバイス１０２〜１０６、あるいは、サーバ１０７〜１０９及び／又はクライアントデバイス１０２〜１０６の組み合わせで実行してもよい。この処理は、並行して、複数のサーバ上で行ってもよい。
【００６９】
ステップ６０３において、タイル生成エンジン３０３は、デジタル組織画像を画像パッチ３０７の集合体にタイリングする。各タイル／パッチは、例えば、１０００×１０００画素以下、４００×４００画素以下、２５６×２５６画素以下、又は任意の他の適切な数の画素であってもよい。タイリングステップは、１つ以上のコンピュータによって反復的に又は並行して実行してもよい。タイリングは、均一なサイズ及び均一な形状の画像パッチを作成することを含むことができる。パッチのサイズは、分類器がどのようにトレーニングされたかの関数であってもよい。例えば、分類器／ＣＮＮが４００×４００のパッチを使用してトレーニングされた場合、タイル生成エンジン３０３は、画像を同じサイズ（４００×４００）のパッチにタイリングしてもよく、分類器がトレーニングされたパッチのサイズの１％、３％、５％、１０％、２０％、２５％、又は３０％の範囲内にタイリングしてもよい。
【００７０】
ステップ６０３において、パッチ３０７は、均一なサイズ及び形状であってもよく、均一なサイズ及び形状ではなくてもよい。例えば、１つのパッチが４００×４００、別のパッチが３００×３００又は３００×２００であってもよい。パッチは、正方形である必要はなく、長方形、円形、楕円形又はより複雑な形状であってもよい。タイリングでは、ペンローズタイリング（Penrose tiling）、バルク排除（bulk exclusion）、及び／又はバウンドボックス（bound boxes）等の様々なプロセスを使用できる。
【００７１】
ステップ６０３において、生成されたパッチは、重なり合っていてもよいし、重なり合っていなくてもよい。すなわち、デジタル画像の同じ領域が複数のタイル／パッチに含まれてもよく、含まれなくてもよい。
【００７２】
ステップ６０５において、パッチ識別エンジン３０４は、画素内容の関数として、タイリングされたパッチから標的組織パッチのセットを識別／選択する。例えば、識別は、画像パッチ内の画素のカラーチャネルに基づいてパッチをフィルタリングすることを含むことができる。例えば、識別は、パッチの分散の関数として行ってもよい。パッチの分散は、特定のパッチにおける赤緑青（Red Green Blue：ＲＧＢ）チャネル及び／又は色相、彩度、明度（Hue, Saturation, Value：ＨＳＶ）、及び／又は色相彩度及び／又は明度（Hue Saturation and/or Luminosity：ＨＬＳ）及び／又は色相彩度強度（Hue Saturation Intensity：ＨＩＳ）の分散に基づくことができる。このステップにより、細胞を含むパッチのみが検討されることが保証される。ステップ６０５が完了すると、細胞を有するパッチのみが識別／選択される。このようなパッチを図９Ａに示す（図９Ａのパッチには、細胞を示していないが、図９Ａは、パッチの代表図であり、図９Ａの各パッチは、実際には、複数の染色された細胞を含むものとする）。
【００７３】
ＣＮＮ３１５に要求を送信する前に、ステップ６０７において、確率判定エンジン３０５は、デジタル組織画像に結び付けられた生物学的サンプルメタデータに従って定義された分類器選択基準に基づいて、ＣＮＮ３１５内の先験的にトレーニングされた分類器から、特定のトレーニングされた分類器を選択できる。生物学的サンプルメタデータは、組織のタイプ、組織の提供者、スキャナ、染色、染色技術、作成者の識別子、画像サイズ、サンプルの識別子、追跡用の識別子、バージョン番号、ファイルのタイプ、画像日付、症状、診断、治療を行っている医師の識別情報、組織提供者の病歴、組織提供者の人口統計情報、組織提供者の家族の病歴、及び組織提供者の種（species）のうちの少なくとも１つに関連するデジタル情報を含む。多重免疫組織化学（Multi-plex immune histo chemistry：ＩＨＣ）（例えば、ＰｅｒｋｉｎＥｌｍｅｒ社が提供する技術：http://www.perkinelmer.com/lab-solutions参照）を使用してもよい。ＩＨＣシステムにより、非常に複雑な組織のデジタル画像を生成できる。ＩＨＣシステムにより、異なるタイプの細胞に付着するバイオタグからの多くの異なる波長の光を捕捉できる。このシステムは、スライドを走査した後、所望の染色スライドを合成によって再作成できる。したがって、このようなシステムを使用して、バイオタグの用途に基づく光の波長、標的細胞のタイプ（例えば、腫瘍細胞、正常細胞、Ｔ細胞、ＮＫ細胞、Ｂ細胞等）に基づいてトレーニングデータを生成できる。ＣＮＮ３１５は、一旦トレーニングされると、バイオタグに基づいて関心領域を識別するために使用できる。
【００７４】
そして、確率判定エンジン３０５は、標的組織パッチが関心クラス（class of interest）内に入る確率を示す初期クラス確率スコアを割り当てる要求と共に、図９Ａの各パッチをＣＮＮ３１５（既にトレーニングされており、したがって上述のように先験的にトレーニングされた分類器のデータベースを含む。）に送信する。関心クラスは、異常組織、良性組織、悪性組織、骨組織、皮膚組織、神経組織、間質組織、筋肉組織、結合組織、瘢痕組織、リンパ組織、脂肪、上皮組織、神経組織、及び血管のタイプの組織のうちの少なくとも１つを含むことができる。また、関心クラスは、癌又は非癌（すなわち、陽性又は正常）のいずれかであってもよい。関心クラスは、癌の様々なタイプであってもよい。すなわち、これは、入力パッチが癌である確率（０から１の間）であってもよい（１は、パッチが癌を含む可能性が１００％でることを意味し、０は、パッチが癌を含む可能性が０であることを意味する）。ＣＮＮ３１５は、確率判定エンジン３０５に確率を出力する。図３は、確率判定エンジン３０５とＣＮＮ３１５との間の直接通信を示しているが、両者の間に複数のノードが存在してもよく、ＣＮＮは、複数のサーバを使用して直列又は並列に要求を処理してもよい。
【００７５】
図９Ｂは、ＣＮＮ３１５によって判定され、ＣＮＮ３１５によって確率判定エンジン３０５に伝達される２５個の代表的パッチのそれぞれの初期クラス確率スコアを示す代表図である。図９Ａ〜図９Ｆでは、参照及び説明を明瞭にすることのみを目的として、図面に列番号及び行番号のラベルを付しており、これにより、各パッチは、行番号と列番号を識別することで、（列番号，行番号）の表記法を使用して指示できる。例えば、図９Ｂに示すように、パッチ（１，１）に癌細胞が含まれる確率は、０．４、パッチ（２，２）に癌細胞が含まれる確率は、０．８、パッチ（５，１）に癌が含まれる確率は、０．０５、パッチ（４，２）に癌が含まれる確率は、０．９である。これらの確率は、特定のパッチが単独で癌細胞を有する可能性に基づいており、特定のパッチの確率を計算する際に他のパッチの確率を考慮に入れていない。各パッチの初期クラス確率は、ＲＡＭ又は他のメモリに格納される。
【００７６】
ステップ６０９において、分類エンジン３１１は、第１のシード領域基準を満たす初期クラス確率スコアを有する標的組織パッチを識別することによって組織領域シード位置パッチの第１のセットを生成する。この第１のシード領域基準は、位置基準と見なすことができる。例えば、この基準は、初期クラス確率が０．９以上の任意のパッチを識別することであってもよい。図９Ｃは、図９Ｂで割り当てられた初期クラス確率を使用して生成された組織領域シードパッチの第１のセットを示している。具体的には、図９Ｃは、生成された組織領域シードパッチの第１のセットが、パッチ（２，４）、パッチ（３，３）、パッチ（３，４）、及びパッチ（４，２）を含むことを示している。生成された組織領域シードパッチの第１のセットは、図９Ｃにおいて、パッチの初期クラス確率に下線を引くことによって、代表的に示されている。組織領域シードパッチの第１のセットの確率は、ＲＡＭ又は他のメモリに格納される。シードパッチは、関心領域がその周りに構築される初期シード位置と見なすことができる。
【００７７】
ステップ６１１において、分類エンジン３１１は、第２のシード領域基準を満たす初期クラス確率スコアを有する標的組織パッチを識別することによって組織領域シードパッチの第２のセットを生成する。ステップ６１１の処理は、ステップ６０９で生成された組織領域パッチの第１のセットの近傍（すなわち、そこから所定数の近傍内）のみで実行してもよい。この第２のシード領域基準は、形状基準と見なすことができる。すなわち、生成された組織領域シードパッチの第２のセットは、包括的に、多くの場合連続的な形状を形成する。例えば、基準は、０．５以上の初期クラス確率を有する任意のパッチを識別することであってもよい（第２のシード領域基準は、通常、第１のシード領域基準よりも低く、満たされやすいものとする）。図９Ｂに示すように割り当てられた初期クラス確率を使用して生成された組織領域シードパッチの第２のセットを図９Ｄに示す。具体的には、図９Ｄは、生成された組織領域シードパッチの第２のセットが、パッチ（１，３）、パッチ（２，２）、パッチ（２，３）パッチ（２，４）、パッチ（３，２）、パッチ（３，３）、パッチ（３，４）、パッチ（４，２）、パッチ（４，３）、パッチ（５，２）、及びパッチ（５，３）を含むことを示す。図９Ｄでは、生成されたパッチの初期クラス確率をより大きなフォントサイズで示すことによって、生成された組織領域シードパッチの第２のセットを代表的に示している。組織領域シードパッチの第２のセットは、ＲＡＭ又は他のメモリに格納される。
【００７８】
ステップ６１３において、分類エンジン３１１は、関心領域を判定し、（ステップ６１１で生成された）組織領域シードパッチの第２のセット内の各パッチについて、組織領域シードパッチの第２のセットの近傍パッチの初期クラス確率スコア及び関心領域シードパッチの第１のセット内のパッチまでの距離の関数として関心領域スコアを計算する。近傍パッチは、第１の近傍（隣接）、第２の近傍（第２の近傍パッチとの間に１つのパッチ）、第３の近傍（第３の近傍パッチとの間に２つのパッチ）、又は他のいかなるレベルの近傍を指してもよい。距離は、パッチで測定してもよく、画素で測定してもよい。このステップでは、分類エンジン３１１は、近傍に基づいて、組織領域シードパッチの第２のセット内の各パッチのスコアの精度を高める。
【００７９】
関心領域（Region of Interest：ＲＯＩ）３１３は、１つ又は複数の結合パッチのグループである。ＲＯＩ３１３は、組織領域シードパッチの第１のセット、組織領域シードパッチの第２のセット、又は組織領域シードパッチの第１及び第２のセットの組み合わせのそれぞれについて個別に計算できる。あるパッチの８つの近傍（正方形又は長方形のパッチを想定した場合、４辺の近傍及び４角の近傍）のうちの１つが同じセットの組織領域シードパッチ内にある場合、それらの２つのパッチは、結合される。パッチは、正方形又は長方形以外の形状でもあってもよい。パッチは、例えば、多角形、六角形（凸状及び凹状）、五角形、三角形、八角形、九角形、円形、楕円形、台形、楕円形、不規則形状等のいずれであってもよい。１つ以上のＲＯＩ３１３が判定されると、分類エンジン３１１は、各ＲＯＩ３１３に対する関心領域スコア（ＲＯＩスコア）を算出する。ＲＯＩ３１３スコアは、ＲＯＩ３１３のサイズ（すなわち、ＲＯＩを構成するパッチ又は画素の数）の関数であってもよい。このスコアリング法は、腫瘍細胞が集団で存在する傾向を有するという事実を利用している。すなわち、パッチに腫瘍／癌が含まれる可能性が高く、隣接するパッチの幾つかにも腫瘍が含まれる可能性が高い場合、このＲＯＩは、腫瘍である可能性が高く、ＲＯＩスコアはこの高い確率を反映する。
【００８０】
ステップ６１３の一実施形態では、分類エンジン３１１は、組織領域シードパッチの第１のセットから、結合された近傍パッチを共にグループ化し、各ＲＯＩについて重心を算出することによって、ＲＯＩのリストを生成する。これにより、ＲＯＩのリストＬ＿ｈｉｇｈが得られる。また、分類エンジン３１１は、組織領域シードパッチの第２のセットから、結合された近傍パッチをグループ化し、各ＲＯＩの重心を算出することによって、ＲＯＩのリストを生成する。これにより、ＲＯＩのリストＬ＿ｌｏｗが生成される。Ｌ＿ｈｉｇｈの各ＲＯＩには、以下のようにスコアを割り当てる。Ｌ＿ｈｉｇｈ内のパッチのサイズ（パッチ数）が１の場合、ＲＯＩには、０．２のスコアを割り当て、サイズが２の場合、ＲＯＩには、０．３のスコアを割り当て、サイズが３の場合、ＲＯＩには、０．４のスコアを割り当て、サイズが４の場合、ＲＯＩには、０．５のスコアを割り当て、サイズが５の場合、ＲＯＩには、０．６のスコアを割り当て、サイズが６の場合、ＲＯＩには、０．７のスコアを割り当て、サイズが７の場合、ＲＯＩには、０．８のスコアを割り当て、サイズが８の場合、ＲＯＩには、０．９のスコアを割り当て、サイズが９以上の場合、ＲＯＩには、１．０のスコアを割り当てる。上記のマッピングは、一例であり、異なるマッピングを使用して、（例えば、パッチのサイズの関数として）サイズにスコアを割り当ててもよい。
【００８１】
上記の初期スコアリングを実行した後、Ｌ＿ｌｏｗ内のＲＯＩがＬ＿ｈｉｇｈ内のＲＯＩに十分に近い場合、分類エンジン３１１は、Ｌ＿ｈｉｇｈ内のＲＯＩのスコアを引き上げる。これは、確率が高い（例えば、＞＝０．９）パッチが、確率が低いながらも有意の腫瘍確率を有する（例えば、＞＝０．５）パッチで囲まれている（又は近くにある）場合、Ｌ＿ｈｉｇｈ内のＲＯＩが腫瘍であるという疑いが強くなることを意味する。十分に近いとは、２つのＲＯＩの重心間の距離が所定の数のパッチ、例えば、５、６、７、８、９、１０、１１、１２、１３、１４、又は１５未満であることとして定義できる。
【００８２】
スコア引き上げは、次のように計算される。Ｌ＿ｈｉｇｈのＲＯＩに十分に近いＬ＿ｌｏｗのＲＯＩのサイズが５パッチの場合、Ｌ＿ｈｉｇｈのＲＯＩのスコアを０．０５高め、サイズが１０パッチの場合は、Ｌ＿ｈｉｇｈのＲＯＩのスコアを０．１０高め、サイズが１５パッチの場合、Ｌ＿ｈｉｇｈのＲＯＩのスコアを０．１５高める。５〜１０と１０〜１５の間のサイズは、定義されたスコアブーストの最も近いサイズに丸めてブーストを行う。スコアの上限は、１．０である（スコアが１．０より高くなった場合）。最終的な出力は、それぞれが重心位置及びスコアを有するＲＯＩのリストＬ＿ｈｉｇｈであってもよい。ＲＯＩ及びスコアは、ディスプレイ上にレンダリングしてもよい。
【００８３】
ＲＯＩは、異なるタイプのマスクを画定できる。ＲＯＩは、画像中の前景を背景から分離するために使用されるオブジェクト前景マスクを含むことができる。ＲＯＩは、例えば、組織の領域を画定し及び組織のない領域を除外する組織マスクを含むことができる。これは、処理リソースを組織のＲＯＩに集中させるために使用できる。ＲＯＩは、更なる処理のために標的ＲＯＩを切除するためにレーザ（又は他のタイプの）顕微解剖を行う際に使用できる顕微解剖マスクを含むことができる。ＲＯＩのサイズ及びＲＯＩの品質に基づいて、特定のＲＯＩのみを顕微解剖マスクとして使用してもよい。すなわち、幾つかのＲＯＩ（例えば、全体的に小さすぎるＲＯＩ、又は特定のポイントで狭すぎるＲＯＩ等）は、顕微解剖に適していない場合がある。
【００８４】
例えば、図９Ｅには、パッチ（２，４）、パッチ（３，３）、パッチ（３，４）、及びパッチ（４，２）を含むＬ＿ｈｉｇｈの単一のＲＯＩが示されている。図９Ｆには、パッチ（１，３）、パッチ（２，２）、パッチ（２，３）、パッチ（２，４）、パッチ（３，２）、パッチ（３，３）、パッチ（３，４）、パッチ（４，２）、パッチ（４，３）、パッチ（５，２）、パッチ（５，３）を含むＬ＿ｌｏｗの単一のＲＯＩが示されている。
【００８５】
Ｌ＿ｈｉｇｈのＲＯＩのサイズ（パッチ数）は４であるため、初期のＲＯＩスコアは、０．５になる。ただし、上記のスコアブーストルールに基づくと、Ｌ＿ｈｉｇｈとＬ＿ｌｏｗのＲＯＩの重心は、１０パッチ以内であり、Ｌ＿ｌｏｗのＲＯＩのサイズは、１１（パッチ（１，３）、パッチ（２，２）、パッチ（２，３）、パッチ（２，４）、パッチ（３，２）、パッチ（３，３）、パッチ（３，４）、パッチ（４，２）、パッチ（４，３）、パッチ（５，２）及びパッチ（５，３））であるため、１１を１０に丸めた後、スコアは、０．５から０．１０高められ、最終スコアは、０．６になる。
【００８６】
変形例として、ステップ６０９、６１１、６１３によって果たされる目的は、図１０に示すような条件付き確率場モデル（conditional random field model）を使用してより包括的に実現してもよい。条件付き確率場モデルは、入力変数間の依存関係を明示的に表す必要がない条件付き確率分布である。これは、ステップ６０９、６１１、６１３で実行される明示的表現とは対照的である。条件付き確率場の出力は、入力ラベルと初期クラス確率スコアの関係性を考慮に入れた修正確率スコアである。具体的には、初期クラス確率の関係性は、図１０においてｋ（ｆｉ，ｆｊ）によって表され、これは、例えば、入力データｘｊが、位置（ｐ）と特徴（Ｉ）の両方に関して、ｘｉから離れるほど増加する。図１０に示す条件付き確率場パラメータのトレーニングは、ラベルデータμと、入力データｐ及びＩが与えられたとき、パラメータｗ及びθについてＥ（ｘ）を最小化することによって達成される。新しいデータの推論は、反復メッセージパッシングアルゴリズム（iterative message passing algorithm）を使用して行われる。そして、修正された確率スコアを使用して、関心領域の形状及びスコアを生成できる。なお、図１０の最下行（「近傍が異なるクラスであればｕ＝１」）の記号ｕは、式内のμを指している。この手法は、Ｐｈｉｌｉｐ  Ｋｒａｈｅｎｂｕｈｌらによる「Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials (Advances in Neural Information Processing Systems 24 (2011) 109-117)」に詳細に説明されている。
【００８７】
ステップ６１５において、分類エンジン３１１は、これらの関心領域スコアに基づいて近傍パッチをグループ化することによって関心領域形状を生成する。
【００８８】
ＲＯＩが算出されると、分類エンジン３１１は、関心領域スコアに基づいて隣接するパッチをグループ化することによって関心領域形状を生成する。
【００８９】
ステップ６０９、６１１、６１３及び／又は条件付き確率場モデルを使用して「パッチ層」においてＲＯＩが確立されると、「細胞層」において追加の処理を実行できる。具体的には、形状内の各境界パッチ（すなわち、組織領域シードパッチの第２のセットの結合パッチ）に対して、ＣＮＮ３１５のトレーニングされた分類器を用いることにより、細胞レベルでのトレーニング情報が利用可能な場合（すなわち、（パッチではなく）細胞を使用して先験的にトレーニングされたデータベースが存在する場合）、ＣＮＮ３１５の分類器を使用して、パッチ内の各細胞を陽性又は陰性として分類できる。
【００９０】
具体的には、ＣＮＮ３１５の分類器が１細胞パッチ（単一の細胞、又は他の細胞と非細胞の小さな部分を含む単一の細胞とを含む小さいパッチ）でトレーニングされた場合、細胞が識別され、単一の細胞を含むパッチが分類のためにＣＮＮ３１５の分類器に送信され、癌の確率が出力として返される。
【００９１】
変形例では、各境界パッチに対して完全畳み込みニューラルネットワーク（fully convolutional neural network：ＦＣＮＮ）を使用して、腫瘍細胞と非腫瘍細胞とを区別する正確な境界線を識別できる。具体的には、ＦＣＮＮは、各画素が腫瘍を含む確率を記述する画素単位の予測を出力する。トレーニング中、ＦＣＮＮは、アクティベーションを画素単位の予測に変換するためのアップサンプリングの重みを学習する。これについては、Ｊｏｎａｔｈａｎ  Ｌｏｎｇらによる「Fully Convolutional Networks for Semantic Segmentation」及びその図１に示されている画素単位の予測に説明されている。
【００９２】
上記の「細胞層」処理の結果として、組織領域シードパッチの第２のセットの結合パッチを含む形状の境界パッチの幾つかは、小さくなる。例えば、図９Ｆを参照すると、パッチ（１，３）の左半分に非癌細胞が含まれ、パッチ（１，３）の右半分に癌細胞が含まれる場合、「細胞層」処理の後、形状が縮小され、パッチ（１，３）の左半分が含まれなくなる。このように、ＲＯＩの形状は、「細胞層」処理によって高精度化される。
【００９３】
図１１は、本発明の実施形態の１つ又は複数の側面を実施する電子デバイスによって生成された関心領域境界を示している。
【００９４】
本発明の実施形態の技術は、他の用途に用いてもよい。例えば、用途の一例として、背景オブジェクトに対して前景を検出してもよい。例えば、この技術／システムは、自律型車両又は部分的自律型車両における車両障害物回避に使用できる。ＣＮＮ３１５は、運転中に車両によって又は車両の近くで撮影された写真を使用してトレーニングできる。トレーニングは、パッチにタイリングされた画像を含み、各トレーニングパッチは、パッチが前景にあるか背景にあるかに関するデータ（例えば、背景の場合１．０、前景の場合０．０）を含む。
【００９５】
ＣＮＮ３１５が一旦トレーニングされると、ＣＮＮ３１５を使用して、移動する車両によって又は車両の近くで撮影された画像のパッチ内のオブジェクトが背景又は前景にあるかを判定できる。システムは、車両に又は車両の近く（例えば、標識、信号機等）に取り付けられた複数のカメラを含むことができる（カメラからの情報は、例えば、無線電気通信を介してシステムによってリアルタイムで受信される）。トレーニングされたＣＮＮ３１５のシステムは、画像を処理し、画像のパッチが背景にあるか前景にあるかを判断できる。すなわち、システムは、特定のオブジェクトが草、空、建物、又は道路等の背景にあることを認識できる。また、システムは、物体が車両から遠く離れていると判断することもできる。更に、システムは、特定のオブジェクトが近くの車両、歩行者、又は穴等の前景にあると判断できる。前景にあるものを判断することによって、車両は、衝突を避けるために前景のオブジェクトを避ける必要があるが、背景のオブジェクトを避ける必要はないと判断できる。
【００９６】
上述のように、ＣＮＮ３１５は、３つ以上のクラス／タイプのオブジェクト／画像についてトレーニングしてもよい。すなわち、２つのクラスのパッチ（上述のように癌／非癌等）についてのみＣＮＮ３１５をトレーニングすることに代えて、例えば、癌のグレードＧ１、Ｇ２、Ｇ３、Ｇ４、…ＧＮのパッチを使用してＣＮＮ３１５をトレーニングしてもよい。次に、ＣＮＮ３１５は、パッチがグレードＧ１、Ｇ２、Ｇ３、Ｇ４、…ＧＮのうちの１つである確率を識別するようにトレーニングされる。これは、２つの方法のうちの１つによって達成できる。第１に、離散出力法を使用してもよい。離散出力法では、パッチレベル分類のアーキテクチャは、ＣＮＮ３１５の最後の（ソフトマックス）層が図５に示すような２個のクラスからＮ個のクラスに変更され、ＣＮＮ３１５がＮ個のクラスについてトレーニングされる点を除いて、上記のものと同様である。Ｎ個のクラスが順序付けられていない場合（例えば、クラスが犬、猫、豚等の動物の場合）、システムは、ステップ６０７でＮ個のクラスのそれぞれについて結果を返し、次にＮ個のクラスのそれぞれについてステップ６０９、６１１、６１３、６１５を繰り返す。
【００９７】
これに代えて、連続出力法を使用してもよい。連続出力法では、ソフトマックス層において、分類の代わりに回帰を使用できる。回帰の例として、最小二乗法（least square fitting）又は任意の曲線法（curve fitting）を用いてもよい。例えば、５つのクラス（癌のグレードＧ１、Ｇ２、Ｇ３、Ｇ４、Ｇ５）を有する場合、クラスを表すために０．０から５．０の範囲を使用できる。すなわち、例えば、ＣＮＮ３１５は、パッチがタイプＧ１である可能性が高いと判定した場合、１．０に近い浮動小数点数を出力してもよく、ＣＮＮ３１５は、パッチがタイプＧ２である可能性が高いと判定した場合、２．０に近い浮動小数点数を出力してもよく、以下同様である。２．１等の値は、パッチが２（Ｇ２）に関連付けられたタイプである可能性が高いが、１．０（Ｇ１）よりも３．０（Ｇ３）である可能性が高いことを示す。この連続分類法は、順序付きクラスでのみ使用される。
【００９８】
このシステムは、土地測量にも使用できる。例えば、ＣＮＮ３１５は、様々な土地及び／又は水の特徴（建物、野原、河川、湖等）の画像／パッチを使用してトレーニングしてもよい。ＣＮＮ３１５は、一旦トレーニングされると、複数の航空写真を受信及び分類し、画像の特定のパッチが湖、川、野原、森林、道路等であるかを判定できる。
【００９９】
また、このシステムは、特定の歯が虫歯及び／又は感染若しくは他の問題を含むか否かを判定するためにも使用できる。トレーニングされたＣＮＮ３１５は、１つ又は複数の角度から及び／又は１つ又は複数の角度からのＸ線から、１つ又は複数の歯の１つ又は複数の画像を入力として受け取ることができる。次に、システムは、トレーニングされたＣＮＮ３１５を使用して、このような画像及び／又はＸ線の幾つかのパッチが空洞を含む可能性があるかを判定できる。
【０１００】
また、このシステムは、Ｘ線、ＭＲＩ、ＣＴ等を分析するためにも使用できる。例えば、システムは、骨折した骨／骨折していない骨についてトレーニングされ、例えば、Ｘ線画像が骨折した骨を含むか否かを判定できる。このシステムは、ＭＲＩ及び／又はＣＴ出力についても同様にトレーニングできる。
【０１０１】
ＣＮＮ３１５は、黒色腫等の皮膚疾患についてもトレーニングできる。ＣＮＮ３１５は、陽性（黒色腫）及び非黒色腫（正常）のパッチでトレーニングされ、トレーニングが終わると、皮膚生検の切片又は皮膚の写真に黒色腫が含まれる可能性があるか否かを判定できる。
【０１０２】
また、ＣＮＮ３１５は、ビデオゲーム内のオブジェクトについてトレーニングしてもよい。レンダリングされたビデオゲームの各フレームは、前景オブジェクトと背景シーンを有することがある。ＣＮＮ３１５は、上述したように、両者を区別するようにトレーニングできる。このシステムは、拡張現実感（Augmented Reality：ＡＲ）ゲーム用のマスクを作成するためにも使用できる。例えば、関心点の周囲の領域（例えば、ランドマーク等）を識別してもよい。そして、この領域をマスクして、ＡＲコンテンツ又は他のオーバーレイに置き換えることができる。更に、関心領域に基づいてゲームをプレイすることを学習するＡＩプロセスを作成してもよい。そして、ＡＩプロセスは、プレイヤに挑戦するためのゲーム内の非プレイヤエンティティになる。
【０１０３】
本明細書では、特定の例示的な実施形態を記載したが、これらの実施形態は、例示のみを目的としており、限定を意図するものではない。実施形態を具体的に図示し説明してきたが、形態及び詳細に様々な変更を加えることができることは明らかである。様々な実施形態が特定の特徴及び／又は構成要素の組み合わせを有するものとして説明したが、上述した任意の実施形態からの任意の特徴及び／又は構成要素の組み合わせを有する他の実施形態も想到される。
【図１】
0006955004.tif 000002
【図２】
0006955004.tif 000003
【図３】
0006955004.tif 000004
【図４】
0006955004.tif 000005
【図５】
0006955004.tif 000006
【図６】
0006955004.tif 000007
【図７】
0006955004.tif 000008
【図８】
0006955004.tif 000009
【図９Ａ】
0006955004.tif 000010
【図９Ｂ】
0006955004.tif 000011
【図９Ｃ】
0006955004.tif 000012
【図９Ｄ】
0006955004.tif 000013
【図９Ｅ】
0006955004.tif 000014
【図９Ｆ】
0006955004.tif 000015
【図１０】
0006955004.tif 000016
【図１１】
0006955004.tif 000017