(57)【特許請求の範囲】
【請求項１】
ラインベースの組織マッチング画像位置合わせ方法を実行して、第１の画像及び第２の画像を共通グリッドに、グローバルに位置調整するステップを含み、前記第１の画像が、組織切片のデジタル画像であり、前記第２の画像が、近接の組織切片のデジタル画像であり、
前記ラインベースの組織マッチング画像位置合わせ方法が、粗い位置合わせモードを含み、前記粗い位置合わせモードが、前記組織の境界を有する第１の前景画像を前記第１のデジタル画像から生成するステップと、前記組織の境界を有する第２の前景画像を前記第２のデジタル画像から生成するステップと、ラインベースの特徴の第１のセットを、前記第１の前景画像の前記境界から計算するステップであって、ラインセグメントを用いて前記第１の前景画像の前記境界をモデリングすることを含む、ラインベースの特徴の第１のセットを計算するステップと、ラインベースの特徴の第２のセットを、前記第２の前景画像の前記境界から計算するステップであって、ラインセグメントを用いて前記第２の前景画像の前記境界をモデリングすることを含む、ラインベースの特徴の第２のセットを計算するステップと、グローバル変換パラメータを、ラインベースの特徴の前記第１のセットと、ラインベースの特徴の前記第２のセットとの間で計算するステップと、前記第１のデジタル画像を、前記第２のデジタル画像と、前記グローバル変換パラメータに基づいてグローバルに位置調整するステップとを含む、コンピュータ化された方法。
【請求項２】
前記第１のデジタル画像が、染色及び画像化モードを使用して取得される画像から導出され、前記第２のデジタル画像が、前記第１のデジタル画像と比較しての、異なる染色、異なる画像化モード、又は両方を使用して取得される画像から導出され、及び／又は、
前記染色が、ヘマトキシリン及びエオシン染色（「ＨＥ」染色）、ならびに免疫組織化学染色（「ＩＨＣ」染色）から選定される、請求項１に記載のコンピュータ化された方法。
【請求項３】
ａ．前記組織切片の前記第１のデジタル画像を、単一の患者の近接の組織切片のデジタル画像のセットから選択するステップと、
ｂ．前記近接の組織切片の前記第２のデジタル画像を、前記セットから選択するステップと
をさらに含む、請求項１又は２に記載のコンピュータ化された方法。
【請求項４】
ａ．第１の前景画像を生成するステップが、第１の滑らかに重み付けされた前景画像を前記第１のデジタル画像から生成するステップと、前記第１の滑らかに重み付けされた前景画像をＯＴＳＵしきい値処理して、第１の滑らかに重み付けされたバイナリマスクを生成するステップと、第１の勾配振幅画像を前記第１のデジタル画像から生成するステップと、前記第１の勾配振幅画像をＯＴＳＵしきい値処理して、第１の勾配バイナリマスクを生成するステップと、前記第１の滑らかに重み付けされたバイナリマスクを、前記第１の勾配バイナリマスクと、バイナリＯＲ演算を使用して結合して、前記第１の前景画像を生成するステップとを含み、
ｂ．第２の前景画像を生成するステップが、第２の滑らかに重み付けされた前景画像を前記第２のデジタル画像から生成するステップと、前記第２の滑らかに重み付けされた前景画像をＯＴＳＵしきい値処理して、第２の滑らかに重み付けされたバイナリマスクを生成するステップと、第２の勾配振幅画像を前記第２のデジタル画像から生成するステップと、前記第２の勾配振幅画像をＯＴＳＵしきい値処理して、第２の勾配バイナリマスクを生成するステップと、前記第２の滑らかに重み付けされたバイナリマスクを、前記第２の勾配バイナリ画像と、バイナリＯＲ演算を使用して結合して、前記第２の前景画像を生成するステップとを含む、
請求項３に記載のコンピュータ化された方法。
【請求項５】
前記第１のデジタル画像、及び前記第２のデジタル画像の位置調整を緻密化するための微細な位置合わせモードをさらに含み、前記微細な位置合わせモードが、前記第１のデジタル画像に注釈するステップと、共通大グリッド上の前記注釈を、前記第２のデジタル画像内の対応する位置にマッピングするステップと、前記位置を、勾配振幅ドメインでの相関ベースの距離マッチングを使用して更新するステップとを含む、請求項４に記載のコンピュータ化された方法。
【請求項６】
グローバル変換パラメータを計算するステップが、ラインの前記第１のセットと、ラインの前記第２のセットとの間の距離を最小化する変換パラメータを、第１の条件、第２の条件、及び第３の条件の各々に対して計算するステップであって、前記第１の条件が、反転することを併せもたない回転及び並進を想定し、第２の条件が、水平反転することを併せもつ回転及び並進を想定し、前記第３の条件が、垂直反転することを併せもつ回転及び並進を想定する、計算するステップと、前記第１の条件、第２の条件、又は第３の条件のどれが最小コストを有するかを決定するステップとを含む、請求項４又は５に記載のコンピュータ化された方法。
【請求項７】
ａ．プロセッサと、
ｂ．前記プロセッサによる実行のための命令を内包するメモリであって、
前記命令が、実行される場合に、近接の組織切片の１つ又は複数の画像を、ラインベースの組織マッチング画像位置合わせ方法に基づいて位置調整することであって、前記１つ又は複数の画像の各々が、異なる染色、異なる画像化モード、又は両方を使用して用意される、位置調整すること、及び、ユーザにより、前記位置調整された画像の１つ上で作製された注釈を、前記位置調整された画像の少なくとも別のもの上に複製することの、１つ又は複数を結果として生じさせ、
画像を位置調整するための命令が、粗い位置合わせプロセスを含む位置合わせモジュールを含み、
前記位置合わせモジュールが、前記組織の境界を有する第１の前景画像を、前記１つ又は複数の画像のうちの第１の画像から生成することと、前記組織の境界を有する第２の前景画像を、前記１つ又は複数の画像のうちの第２の画像から生成することと、ラインベースの特徴の第１のセットを、前記第１の前景画像の前記境界から計算することであって、ラインセグメントを用いて前記第１の前景画像の前記境界をモデリングすることを含む、ラインベースの特徴の第１のセットを計算することと、ラインベースの特徴の第２のセットを、前記第２の前景画像の前記境界から計算することであって、ラインセグメントを用いて前記第２の前景画像の前記境界をモデリングすることを含む、ラインベースの特徴の第２のセットを計算することと、グローバル変換パラメータを、ラインベースの特徴の前記第１のセットと、ラインベースの特徴の前記第２のセットとの間で計算することと、前記第１のデジタル画像を、前記第２のデジタル画像と、前記グローバル変換パラメータに基づいてグローバルに位置調整することとを行うための命令を含む、
メモリと、
ｃ．前記命令を実行するように前記プロセッサをトリガするためのクライアントユーザインターフェイスと、
ｄ．前記クライアントユーザインターフェイス、近接の組織切片の前記１つ又は複数の画像、前記結果、及び、それらの組合せを表示することが可能であるモニタと
を備える、画像位置合わせシステム。
【請求項８】
前記位置合わせモジュールが、微細な位置合わせプロセスをさらに含み、前記微細な位置合わせプロセスが、第１の位置調整された画像上の注釈を囲む第１の領域を識別することと、第２の位置調整された画像内の第２の領域を識別することであって、前記第２の領域が、前記第１の領域より大きく、共通グリッド上で前記第１の領域とともに同じ場所に位置する、識別することと、前記第２の領域内の前記第１の領域の前記位置を、マルチ分解能プロセスを使用して、勾配振幅ドメインでの正規化相関に基づいて最適化することとを行うための命令を含む、請求項７に記載の画像位置合わせシステム。
【請求項９】
画像を位置調整し、１つの位置調整された画像から、別の位置調整された画像に注釈をマッピングするためのコンピュータ可読プログラムコードが埋め込まれた有形コンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムコードが、組織構造を、ラインベースの画像位置合わせ手順を使用して、近接の組織切片のデジタル画像のセットからの第１のデジタル画像と、近接の組織切片のデジタル画像の前記セットからの第２のデジタル画像との間でマッチングすることであって、前記セット内の各々の画像が、異なる染色、異なる画像化モード、又は両方を使用して取得される、マッチングすることと、前記第１のデジタル画像から、前記第２のデジタル画像に、前記マッチングされた組織構造に基づいて注釈を転送することとを行うように構成され、
組織構造をマッチングすることが、滑らかに重み付けされた前景画像を、前記第１及び第２のデジタル画像の各々に対して計算することと、勾配振幅画像を、前記第１及び第２のデジタル画像の各々に対して計算することと、最終的なバイナリマスク画像を、前記滑らかに重み付けされた前景画像、及び、前記勾配振幅画像から、バイナリＯＲ演算を使用して、前記第１及び第２のデジタル画像の各々に対して生成することと、ラインベースの特徴の第１のセットを、前記第１の最終的なバイナリマスクの組織境界から計算することであって、ラインセグメントを用いて前記第１の最終的なバイナリマスクの前記境界をモデリングすることを含む、ラインベースの特徴の第１のセットを計算することと、ラインベースの特徴の第２のセットを、前記第２の最終的なバイナリマスクの組織境界から計算することであって、ラインセグメントを用いて前記第２の最終的なバイナリマスクの前記境界をモデリングすることを含む、ラインベースの特徴の第２のセットを計算することと、グローバル変換パラメータを、ラインベースの特徴の前記第１及び第２のセットに基づいて計算することと、前記第１の画像、及び前記第２の画像を、共通グリッドに、前記グローバル変換パラメータに基づいてマッピングすることとを含む、有形コンピュータ可読記憶媒体。
【請求項１０】
注釈を転送することが、前記第１のデジタル画像上の注釈を、前記第２の画像上の対応する位置に、前記共通グリッドにより決定されるようにマッピングすることを含む、請求項９に記載の有形コンピュータ可読記憶媒体。
【請求項１１】
前記注釈を前記転送することが、微細な位置合わせプロセスに基づいて、前記第２の画像上の前記注釈の前記位置を調整することをさらに含み、前記微細な位置合わせプロセスが、前記第１の画像上の前記注釈の周囲で第１のウィンドウを定義するステップと、前記第２の画像上の前記注釈の周囲で第２のウィンドウを定義するステップであって、前記第２のウィンドウが前記第１のウィンドウより大きい、定義するステップと、前記第１のウィンドウと同じサイズを有する第３のウィンドウを、前記第２のウィンドウの内部で反復してシフトさせるステップと、前記第３のウィンドウに対する最適化された位置を、勾配振幅ドメインでの正規化相関に基づいて計算するステップと、前記第２の画像内の前記注釈の前記位置を、前記第３のウィンドウの前記最適化された位置に基づいて調整するステップとを含む、請求項１０に記載の有形コンピュータ可読記憶媒体。
【請求項１２】
近接の組織切片のデジタル画像のセットからの第１のデジタル画像から、近接の組織切片のデジタル画像の前記セットの第２のデジタル画像に注釈をマッピングするための方法であって、
ａ．前記第１の画像を前記セットから選択するステップと、
ｂ．前記第２の画像を前記セットから選択するステップと、
ｃ．前記第１の画像に、随意に注釈するステップと、
ｄ．コンピュータプロセッサに命令を実行するように命令して、前記第１の画像と前記第２の画像との間のミスマッチに対してロバストである、ラインベースの組織マッチング位置合わせプロセスを使用して、前記第１の画像を前記第２の画像と共通グリッド上で位置調整するステップを結果として生じさせるステップと、
ｅ．前記コンピュータプロセッサに、前記第１の画像から前記第２の画像に注釈を転送するステップを行うように命令するステップと
を含み、
前記命令が、前記第１の画像、及び前記第２の画像が位置調整されるときに自動的に行われ、
位置調整するステップが、前記組織の境界を有する第１の前景画像を前記第１の画像から生成するステップと、前記組織の境界を有する第２の前景画像を前記第２の画像から生成するステップと、ラインベースの特徴の第１のセットを、前記第１の前景画像の前記境界から計算するステップであって、ラインセグメントを用いて前記第１の前景画像の前記境界をモデリングすることを含む、ラインベースの特徴の第１のセットを計算するステップと、ラインベースの特徴の第２のセットを、前記第２の前景画像の前記境界から計算するステップであって、ラインセグメントを用いて前記第２の前景画像の前記境界をモデリングすることを含む、ラインベースの特徴の第２のセットを計算するステップと、グローバル変換パラメータを、ラインベースの特徴の前記第１のセットと、ラインベースの特徴の前記第２のセットとの間で計算するステップと、前記第１のデジタル画像を、前記第２のデジタル画像と、前記グローバル変換パラメータに基づいてグローバルに位置調整するステップとを含む、方法。
【請求項１３】
前記注釈を転送するステップが、最初に、前記第１の画像上の注釈を前記共通グリッドにマッピングするステップと、次いで、前記共通グリッド注釈を、前記第２の画像上の対応する位置にマッピングするステップとを含む、請求項１２に記載の方法。
【請求項１４】
注釈するステップが、微細な位置合わせプロセスに基づいて、前記第２の画像上の前記注釈の前記位置を調整するステップをさらに含み、前記微細な位置合わせプロセスが、前記第１の画像内の前記注釈の周囲で第１のウィンドウを定義するステップと、前記第２の画像内の第２のウィンドウを定義するステップであって、前記第２のウィンドウが、前記第１のウィンドウより大きく、ただし、前記第１のウィンドウとともに前記共通グリッド上で実質的に同じ場所に位置する、定義するステップと、最適化された位置を、前記第２のウィンドウ内の前記第１のウィンドウに対して、反復するプロセスを使用して、距離変換及びコスト関数算出に基づいて計算するステップとを含む、請求項１３に記載の方法。
【請求項１５】
前記ミスマッチが、回転、並進、水平反転、及び垂直反転に起因するものであり得、及び／又は、
前記ミスマッチが、関心エリアミスマッチに起因するものであり得るものであり、位置調整するステップが、前記第１の画像内の第１のサブセットを計算するステップと、前記第２の画像内の第２のサブセットを計算するステップと、前記第１のサブセットを、前記第２の画像内の前記第２のサブセットと位置調整するステップとを含む、請求項１２から１４のいずれかに記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書は、組織試料のデジタル化された画像の操作及び／又は分析のためのデバイス、システム、及び方法に関する。本明細書はさらには、近隣の組織切片試料のデジタル化された画像のセットの画像位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）のためのデバイス、システム、及び方法に関する。本明細書はさらには、近接の組織切片試料の画像のセット内の１つの画像から、近接の組織切片試料の画像のセット内の他の画像に注釈を転送するためのデバイス、システム、及び方法に関する。
【背景技術】
【０００２】
デジタル病理は、デジタル環境での病理情報の管理及び解釈を指すものである。スキャニングデバイスが、染色され得る組織切片のスライドを画像化するために使用され、そのことによって、デジタルスライド、例えば、全体的なスライド画像（ｗｈｏｌｅ  ｓｌｉｄｅ  ｉｍａｇｅ）が生成される。デジタル病理ソフトウェアによって、デジタルスライドは、コンピュータメモリデバイス内に記憶され、コンピュータモニタ上で観視され、病理情報のために分析されることが可能になる。
【０００３】
デジタル病理によって、数ある中でも、紙の、及び電子的な、記録、臨床背景情報、前の症状、画像、及び結果などの、病理環境の様々な態様の統合が可能になり得るということが予想される。デジタル病理によって、数ある可能性のある効率の中でも、増大される作業負荷能力、しかるべき病理医へのしかるべき時間でのアクセス、症状及び診断の迅速な索出、ならびに、改善される作業フローなどの、増大される効率が可能になり得るということが、さらには予想される。しかしながら、画像化性能、スケーラビリティ、及び管理など、デジタル病理の広範囲に及ぶ採用、及び、その様々な利益の保証に対しては、いくつかの障害が存在する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明はこのような課題を解決するものである。
【課題を解決するための手段】
【０００５】
或る新規の特徴が下記で示され説明され、それらの特徴の一部又はすべては、特許請求の範囲で指摘され得るが、本開示のデバイス、システム、及び方法は、指定される詳細に限定されることは意図されないものであり、その理由は、関連性のある技術分野の当業者であれば、例解される実施形態の形式及び詳細での、ならびに、それらの動作での、様々な省略、修正、置換、及び変更が、本開示の趣旨から決して逸脱することなく行われ得るということを理解することになるからというものである。本明細書で説明される特徴は、それが明確に「決定的」又は「本質的」であると明言されない限り、決定的又は本質的ではない。
【０００６】
本開示は、組織試料のデジタル化された画像の操作及び／又は分析のためのデバイス、システム、及び方法を提供する。例えば本開示は、近接の組織切片に対応するデジタルスライドのコンピュータ化された画像位置合わせのための、及び／又は、デジタルスライドの少なくとも１つから、デジタルスライドの少なくとも１つの他のものに注釈を転送するための、デバイス、システム、及び方法を提供する。
【０００７】
全体的には、一部の実施形態では、デバイス、システム、及び方法は、スライド内に反映される組織試料の境界領域をラインセグメントによってモデリングし、次いで、ラインセグメントのセットを組織試料間で（すなわち、スライド画像間で）マッチングして、全体としてのグローバル変換を取得すること（粗いマッチング）に基づく。一部の実施形態では、ラインベースの粗いマッチング手法は、ラインの５０％より大であるものが２つの画像間でマッチングされ得るときなどの、画像間のミスマッチの事例（例えば、自然消耗（ｗｅａｒ−ａｎｄ−ｔｅａｒ）の影響、高分解能スキャニングのためにスキャナにより捕えられる物理スライドのエリアがスライスごとに変動するときに起こり得る関心エリアミスマッチ、回転（最高で１８０度にも）、ならびに、水平及び垂直反転）でも、画像を位置調整する（ａｌｉｇｎ）ことが可能である。さらなる実施形態では、デバイス、システム、及び方法はさらには、グローバルに位置調整された画像間のローカルな緻密化を計算するための、追加的なより微細なサブ画像位置合わせプロセス（一部の実施形態では、勾配振幅画像上の正規化相関ベースのブロックマッチングを伴う）に基づく。一部の実施形態では、提案される位置合わせフレームワークは、以下の利点の１つ又は複数を提供する：ｉ）（組織内容物の見地での）挿入／欠落に対処する；ｉｉ）反転に対してロバストである；ｉｉｉ）関心エリア（「ＡＯＩ」）ミスマッチに対してロバストである（ただしＡＯＩは、高分解能でスキャンされる物理スライド上のエリアである）；ｉｖ）内部的な内容物に対して敏感でない（一部の実施形態では、対称的な形状に対して、多重の向きが、ラインベースのマッチングで同様のマッチングスコアを生む場合があるとき、エッジマップベースのマッチングが、内部的な構造を使用して、最適な変換を決定するために使用され得る）；及び、ｖ）セカンドパスのより微細な分解能マッチングに対して、ロバストな判定基準が、高分解能の内部的な構造がより精密なマッチングを提供するかどうかを判断するために使用される。
【０００８】
一部の実施形態ではデバイスは、近接の組織切片のデジタル画像のセットの部分である画像を位置調整する、及び／又は、位置調整された画像間で注釈をマッピングするためのコンピュータプログラム製品を含む。セット内の各々の画像は、異なる染色（又はラベル、本明細書では以降「染色」）、異なる画像化モード、もしくは両方を使用して取得され得るものであり、又は、セット（又は、位置合わせされることになる画像）内の１つもしくは複数は、同じもしくは異なるスキャナ上で、同じ染色及び画像化モードを使用してスキャンされ得る。一部の実施形態ではコンピュータプログラム製品は、コンピュータ可読プログラムコードが埋め込まれた有形コンピュータ可読記憶媒体を含み、コンピュータ可読プログラムコードは、組織構造をマッチングすることに基づく画像位置合わせプロセス（すなわち、例えば、データの異なるセットを１つの座標系に変換するように指図されるプロセス）を使用して、セット内の選択されたデジタル画像を位置調整して、位置調整されたデジタル画像のセットを結果として生じさせるように構成され、コンピュータ可読プログラムコードはさらには、位置調整されたデジタル画像のセット内の少なくとも１つのデジタル画像から、位置調整された画像のセット内のデジタル画像の少なくとも別の１つに注釈を転送するように構成され得る。他の実施形態ではコンピュータプログラム製品は、コンピュータ可読プログラムコードが埋め込まれた有形コンピュータ可読記憶媒体を含み、コンピュータ可読プログラムコードは、組織構造をマッチングすることに基づく画像位置合わせプロセスを使用して、近接の組織切片のデジタル画像のセットからの第１のデジタル画像、及び、セットからの第２のデジタル画像を位置調整して、位置調整された画像対を結果として生じさせるように構成され、コンピュータ可読プログラムコードはさらには、位置調整された対内の第１のデジタル画像又は第２のデジタル画像の一方から、位置調整された対内の第１のデジタル画像又は第２のデジタル画像の他方に注釈を転送するように構成され得る。一部の実施形態では組織マッチング画像位置合わせプロセスは、位置調整されることになる画像間のミスマッチに対してロバストである。一部の実施形態では組織マッチング画像位置合わせプロセスは、ラインベースの画像位置合わせプロセスである。一部の実施形態では組織マッチング画像位置合わせプロセスは、例えば、ラインベースの画像位置合わせプロセスが、５０％より大であるマッチングするラインを、位置調整が所望される２つの画像間で生み出すときに、画像間のミスマッチに対してロバストである、ラインベースの画像位置合わせプロセスである。
【０００９】
さらなる実施形態では、組織構造をマッチングすることは、滑らかに重み付けされた（ｓｏｆｔ  ｗｅｉｇｈｔｅｄ）前景画像から導出されるバイナリ画像マスク、及び、勾配振幅画像から導出されるバイナリ画像マスクをＯＲ結合することにより、近接の組織切片のデジタル画像のセット内の選択された画像の各々に対して前景画像マスクを生成することと、ラインベースの特徴の第１のセットを、第１の画像の前景画像マスクの境界から計算することと、ラインベースの特徴の第２のセットを、第２の画像の前景画像マスクの境界から計算することと、グローバル変換パラメータを、ラインベースの特徴のマッチングに基づいて、ラインベースの特徴の２つのセット間で計算することと、２つの画像を、変換パラメータに基づいてグローバルに位置調整することとを伴う。さらなる実施形態では、グローバルに位置調整することは、変換された第１の画像（第１の画像は、計算された変換パラメータにより変換される）を、その画像グリッドから、第２の画像の画像グリッドにマッピングすることを含む。
【００１０】
他の実施形態では、注釈を転送することは、位置調整された画像の少なくとも１つから（例えば、第１の画像又はソース画像から）、位置調整された画像の少なくとも別のもの（例えば、第２の画像又は目標画像）上の対応する位置に、共通グリッド（一部の実施形態では、目標画像などの特定の画像のグリッドであり得る）に基づいて注釈をマッピングすることを含む。さらなる実施形態では、注釈を転送することは、転送される注釈の位置を、微細な位置合わせプロセスに基づいて緻密化することをさらに含む。さらなる実施形態では、微細な位置合わせプロセスは、ソース画像（例えば、画像の位置調整された対の第１の画像）内の元の注釈の周囲のウィンドウを識別することと、目標画像（例えば、画像の位置調整された対の第２の画像）内の対応する位置で、第２の、ただしより大きなウィンドウを識別することと、第１のウィンドウに対応する第３のウィンドウを、第２のウィンドウの内部で反復してシフトさせることと、第３のウィンドウに対する最適な位置を、目標画像に対して位置調整される、変換されたソース画像グリッドで識別することとを含む。さらなる実施形態では、最適な位置を識別することは、勾配振幅ドメインでの正規化相関に基づく。
【００１１】
一部の実施形態ではシステムは、プロセッサと、プロセッサによる実行のための命令を内包するメモリであって、それらの命令が、プロセッサにより実行される場合に、以下の結果：第１の画像及び第２の画像を組織構造に基づいて位置調整することであって、第１の画像及び第２の画像が、近接の組織切片の画像のセットの部分であり、セット内の各々の画像が、異なる染色、異なる画像化モード、もしくは両方を使用して用意され得る、位置調整すること、ならびに／又は、少なくとも第１の画像もしくは第２の画像の一方上の注釈（例えば、既存の注釈、及び／又は、ユーザによりマーキングされた注釈）を、少なくとも第１の画像もしくは第２の画像の他方上に複製することを提供する、メモリと、命令を実行するようにプロセッサをトリガするためのクライアントユーザインターフェイスと、クライアントユーザインターフェイス、画像、結果、又は、それらの組合せを表示するためのモニタとを含む。一部の実施形態ではシステムは、コンピュータワークステーション上で実現される。一部の実施形態ではシステムは、コンピュータネットワークを使用して実現される。
【００１２】
一部の実施形態では方法は、近接の組織切片のデジタル画像のセットから画像を選択するステップと、選択された画像を、組織マッチングに基づく位置合わせプロセスを使用して位置調整するステップとを伴う画像位置合わせプロセスを含む。各々のデジタル画像は、セット内の別のデジタル画像と比較しての、異なる染色、異なる画像化モード、又は両方を使用して取得され得る。さらなる実施形態では画像位置合わせプロセスは、第１の組織切片の第１のデジタル画像を、単一の患者の近接の組織切片のデジタル画像のセットから選択するステップと、第２の組織切片の第２のデジタル画像をセットから選択するステップと、位置合わせプロセスを、第１のデジタル画像と第２のデジタル画像との間で組織構造をマッチングすることに基づいて実行するステップとを含む。一部の実施形態では位置合わせプロセスは、粗い位置合わせモードを含む。一部の実施形態では位置合わせプロセスはさらには、微細な位置合わせモードを含む。
【００１３】
一部の実施形態では粗い位置合わせモードは、第１の前景画像マスクを第１のデジタル画像から生成するステップと、第２の前景画像マスクを第２のデジタル画像から生成するステップと、ラインベースの特徴の第１のセットを、第１の前景画像マスクの境界から計算するステップと、ラインベースの特徴の第２のセットを、第２の前景画像マスクから計算するステップと、グローバル変換パラメータを、ラインベースの特徴の第１のセットと第２のセットとの間で計算するステップと、第１のデジタル画像及び第２のデジタル画像を共通グリッドに、グローバル変換パラメータに基づいてマッピングするステップとを伴う。一部の実施形態では共通グリッドは、第２の、又は目標画像のグリッドである。一部の実施形態では、グローバル変換パラメータを計算するステップは、ラインベースの特徴の第２のセットに対して、第１のセット内のラインの５０％以上をマッチングし（又は一部の実施形態では、ラインの５０％より大のものをマッチングし）、グローバル変換パラメータを、ラインのマッチングされたセットから計算するステップを含む。一部の実施形態では、前景マスク（第１の画像からの第１の前景マスクであろうと、又は、第２の画像からの第２の前景マスクであろうと、又は両方であろうと）を生成するステップは、滑らかに重み付けされた前景画像をデジタル画像から生成するステップと、ＯＴＳＵしきい値処理を、滑らかに重み付けされた前景画像に適用することを、滑らかに重み付けされたバイナリマスクを生成することに対して行うステップと、勾配ドメイン画像をデジタル画像から生成するステップと、ＯＴＳＵしきい値処理を勾配ドメイン画像に適用して、勾配ドメインバイナリマスクを生成するステップと、滑らかに重み付けされたバイナリマスク及び勾配ドメインバイナリマスクを、論理演算、例えばバイナリＯＲ演算（２つのバイナリ画像Ａ及びＢが、第３の画像Ｃを生み出すためにバイナリＯＲ演算を受けるとき、画像Ｃ内の或る画素は、Ａ内の対応する画素が１であるか、Ｂ内の対応する画素が１であるか、Ａ及びＢ内の対応する画素の両方が１であるかのいずれかであるとき１である）を使用して結合して、前景マスクを生み出すステップとを含む。一部の実施形態では、微細な位置合わせプロセスは、第１のデジタル画像に注釈するステップと、共通グリッド上の注釈を、第２のデジタル画像上の対応する位置にマッピングするステップと、第２の画像上の注釈の位置を、勾配振幅ドメインでの正規化相関を使用して更新するステップとを含む。
【００１４】
一部の実施形態では方法は、近接の組織切片のデジタル画像のセットからの第１のデジタル画像から、セット内の第２のデジタル画像に注釈をマッピングするための方法である。一部の実施形態では方法は、位置調整されているデジタル画像の対を選択するステップと、選択された画像のどれも前に注釈されていない場合に、対内のデジタル画像の１つに注釈するステップ（又は、画像に、それが前に注釈されている場合に、随意にさらに注釈するステップ）と、注釈を対内の他方のデジタル画像に転送するステップとを伴う。一部の実施形態ではマッピング方法は、第１の画像を、近接の組織切片のデジタル画像のセットから選択するステップと、第２の画像をセットから選択するステップと、コンピュータプロセッサに命令を実行するように命令して、組織構造をマッチングすることに基づく粗い位置合わせプロセス、例えば、本明細書でさらに説明されるような、ラインベースの組織マッチング画像位置合わせプロセスを使用して、第１の画像を第２の画像と共通グリッド上で位置調整するステップを結果として生じさせるステップと、第１の画像に、それがすでに注釈されていない場合に注釈するステップ（又は、第１の画像に、それがすでに注釈されている場合に、随意にさらに注釈するステップ）と、コンピュータプロセッサに、注釈又は注釈データを第２の画像に転送するように命令するステップとを伴う。一部の実施形態では、注釈を転送するステップは、自動的に行われ、位置合わせされることになる対内の画像が注釈されている場合に、初期位置合わせプロセス（例えば、粗い位置合わせプロセス）と実質的に同時に行われ得るものであり、又はその注釈を転送するステップは、第１の画像に注釈するステップと実質的に同時に行われ得る。一部の実施形態では、注釈を転送するステップは、第１及び第２の画像が位置調整された後に行われる。一部の実施形態では、注釈を転送するステップは、第２の画像上の注釈の位置を、例えば本明細書でさらに説明されるような、微細な位置合わせプロセスに基づいて調整するステップをさらに含む。ラインベースの位置合わせモジュールの後で、ユーザは、索出される注釈を、その注釈がより良好な適合となることをそのユーザが知覚する場合に、わずかに修正又は調整する能力を有する。
【００１５】
本開示は或る特定の実施形態を提供するが、本発明はそれらの実施形態に限定されない。当業者であれば、本明細書での説明から、修正が、説明される実施形態に対して行われ得るということ、及び、したがって、本明細書の内容は、説明される実施形態より範囲において広範であるということを認識するであろう。したがって、すべての例は非限定的である。
【図面の簡単な説明】
【００１６】
【図１】本開示によるデバイス、システム、及び方法が実現され得る、医用画像化ワークステーションシステムの実施形態の斜視の図形による表現の図である。
【図２】本開示によるデバイス、システム、及び方法が実現され得る、ネットワーク化されたシステムの実施形態を例解するネットワーク線図である。
【図３】対話型メニューバー及びウィンドウで構成されるホームスクリーンのスクリーンショットの図であり、そのホームスクリーンは、本開示による画像分析プログラムの実施形態に関連付けられる、ウィンドウ化されたグラフィカルクライアントユーザインターフェイスの部分であり得る。
【図４】異なるメニューオプションが選択される、図３のホームスクリーンの別のスクリーンショットの図である。
【図５】さらに別のメニューオプションがハイライト表示される、図３のホームスクリーンの別のスクリーンショットの図である。
【図６】中でデジタルスライドが観視及び注釈され得るものであり、図３のホームスクリーンから起動され得る、注釈モジュールＧＵＩの実施形態のスクリーンショットの図である。
【図７】デジタルスライドが注釈された後の、図６の注釈モジュールＧＵＩの別のスクリーンショットの図である。
【図８】画像位置合わせを実行した後の、図５のスクリーンの別のスクリーンショットの図である。
【図９】注釈モジュールＧＵＩのスクリーンショットの図であり、例解される実施形態でのそのスクリーンは、位置合わせが実行された後に自動的に開く。
【図１０】位置合わせされる画像の対に対する、所望される視野（「ＦＯＶ」）を表示する、図９の注釈モジュールＧＵＩの別のスクリーンショットの図である。
【図１１】ユーザが、図８に示されるホームスクリーンの画像位置合わせタブの下の表示ボタン３１０を選択するときに開かれる、ウィンドウのスクリーンショットの図である。
【図１２】本開示による画像分析ソフトウェアプログラムにより実行される方法の実施形態を例解するフロー線図である。
【図１３】本開示の実施形態による、ラインベースのグローバル画像位置合わせプロセスを例解するフロー線図である。
【図１４Ａ】図１３のグローバル画像位置合わせプロセスの部分であり得る、前景マスクを生成することの実施形態の基本ステップを例解する図である。
【図１４Ｂ】図１４ａに示される基本ステップの一部のより大きなスケールの例解の図である。
【図１４Ｃ】図１４ａに示される基本ステップの一部のより大きなスケールの例解の図である。
【図１５】図１４ａの滑らかに重み付けされた前景画像を生成するためのプロセスの部分であり得る、カラーデコンボリューションプロセスを例解する図である。
【図１６】Ｈチャネル画像に対する、図１４の滑らかな重み付けプロセスの実施形態を例解する図である。
【図１７Ａ】ＩＨＣ画像、及び、その対応する滑らかに重み付けされた前景画像、ならびに、図１３の粗い位置合わせプロセスで前景マスクを生成する実施形態の基本ステップ、又は、基本ステップの小部分の詳細を例解する図である。
【図１７Ｂ】ＩＨＣ画像、及び、その対応する滑らかに重み付けされた前景画像、ならびに、図１３の粗い位置合わせプロセスで前景マスクを生成する実施形態の基本ステップ、又は、基本ステップの小部分の詳細を例解する図である。
【図１７Ｃ】ＩＨＣ画像、及び、その対応する滑らかに重み付けされた前景画像、ならびに、図１３の粗い位置合わせプロセスで前景マスクを生成する実施形態の基本ステップ、又は、基本ステップの小部分の詳細を例解する図である。
【図１８】図１７のＩＨＣ画像に対する、図１４の滑らかな重み付けプロセスの実施形態を例解する図である。
【図１９】前景マスクから生成される、ラインベースの境界マップを例解する図である。
【図２０Ａ】前景マスクから、ラインベースの境界マップを生成する方法を例解する図である。
【図２０Ｂ】前景マスクから、ラインベースの境界マップを生成する方法を例解する図である。
【図２０Ｃ】前景マスクから、ラインベースの境界マップを生成する方法を例解する図である。
【図２０Ｄ】前景マスクから、ラインベースの境界マップを生成する方法を例解する図である。
【図２０Ｅ】前景マスクから、ラインベースの境界マップを生成する方法を例解する図である。
【図２１Ａ】ＡＯＩミスマッチを有するスライドに対する、本開示による粗い位置合わせプロセスの実施形態の適用可能性を例解する図である。
【図２１Ｂ】ＡＯＩミスマッチを有するスライドに対する、本開示による粗い位置合わせプロセスの実施形態の適用可能性を例解する図である。
【図２１Ｃ】ＡＯＩミスマッチを有するスライドに対する、本開示による粗い位置合わせプロセスの実施形態の適用可能性を例解する図である。
【図２２】回転及びシフトミスマッチを有するスライドに対する、本開示による粗い位置合わせプロセスの実施形態の適用可能性を例解する図である。
【図２３】回転ミスマッチを有するスライドに対する、本開示による粗い位置合わせプロセスの実施形態の適用可能性の別の例解の図である。
【図２４】自然消耗ミスマッチを有するスライドに対する、本開示による粗い位置合わせプロセスの実施形態の適用可能性を例解する図である。
【図２５】図１２の方法の部分であり得る、グローバル位置合わせプロセスの実施形態のフロー線図である。
【図２６】検索ウィンドウが、粗い位置合わせの後に返される注釈領域の周囲に示される、本開示による微細な位置合わせプロセスの実施形態の基本概念を例解する図である。
【図２７】本開示による位置合わせプロセスの実施形態が成功裏に適用され得る、スライドＡＯＩミスマッチの例を例解する図である。
【図２８】２つの近接の組織画像のセット内の第１のカラー画像のグレースケールバージョンから計算される勾配振幅画像を例解する図である。
【図２９】図２９は、画像２のグリッド内に変換された後の図１の勾配振幅画像を、変換された画像１からマッピングされた注釈をもつ画像２の勾配振幅との並びで例解する図である。図２９Ａは、変換され、画像２のグリッドに位置調整された勾配振幅画像１を示す。図２９Ｂは、画像１のグリッド内の画像２の勾配振幅ドメインで復元された（変換及びマッピングされた）画像１でマーキングされた点を示す。
【図３０】いくつかのＦＯＶをもつＨＥソース画像、及び、本開示の実施形態による粗い位置合わせの後の復元されたＦＯＶをもつＩＨＣ目標画像を例解する図である。
【図３１】本開示の実施形態による粗い位置合わせプロセスを経験した後の画像の対を、本開示の実施形態による微細な位置合わせプロセスをさらに経験した後の画像の同じ対と比較する図である。
【図３２】本開示の実施形態による粗い位置合わせプロセスを経験した後の画像の対の、本開示の実施形態による微細な位置合わせプロセスをさらに経験した後の画像の同じ対との別の比較の図である。
【図３３】本開示による微細な位置合わせの実施形態のフロー線図である。
【図３４Ａ】本開示の実施形態による微細な位置合わせプロセスの実現形態を例解する図であり、変換された画像１のグリッド内に、ユーザによりマーキングされた注釈が示され、画像２のグリッド内に、索出された注釈領域の周囲の検索ウィンドウが示され、そのウィンドウで、詳細な検索が、より微細な位置合わせに対して実行されるものであり、両方の画像に対して勾配振幅画像が示され、その場合勾配は、カラー画像から取得されるグレースケール画像に基づいて計算される。
【図３４Ｂ】本開示の実施形態による微細な位置合わせプロセスの実現形態を例解する図であり、変換された画像１のグリッド内に、ユーザによりマーキングされた注釈が示され、画像２のグリッド内に、索出された注釈領域の周囲の検索ウィンドウが示され、そのウィンドウで、詳細な検索が、より微細な位置合わせに対して実行されるものであり、両方の画像に対して勾配振幅画像が示され、その場合勾配は、カラー画像から取得されるグレースケール画像に基づいて計算される。
【図３４Ｃ】本開示の実施形態による微細な位置合わせプロセスの実現形態を例解する図であり、変換された画像１のグリッド内に、ユーザによりマーキングされた注釈が示され、画像２のグリッド内に、索出された注釈領域の周囲の検索ウィンドウが示され、そのウィンドウで、詳細な検索が、より微細な位置合わせに対して実行されるものであり、両方の画像に対して勾配振幅画像が示され、その場合勾配は、カラー画像から取得されるグレースケール画像に基づいて計算される。
【図３４Ｄ】本開示の実施形態による微細な位置合わせプロセスの実現形態を例解する図であり、変換された画像１のグリッド内に、ユーザによりマーキングされた注釈が示され、画像２のグリッド内に、索出された注釈領域の周囲の検索ウィンドウが示され、そのウィンドウで、詳細な検索が、より微細な位置合わせに対して実行されるものであり、両方の画像に対して勾配振幅画像が示され、その場合勾配は、カラー画像から取得されるグレースケール画像に基づいて計算される。
【発明を実施するための形態】
【００１７】
１つ又は複数の実施形態の詳細な説明が、本明細書で提供される。しかしながら、本開示によるデバイス、システム、及び方法は、様々な形式で実施され得るということが理解されるべきである。したがって、本明細書で開示される特定の詳細は、限定的とではなく、むしろ、特許請求の範囲に対する代表的な基盤と解釈されるべきものであり、当業者に、本デバイス、システム、及び方法を任意の適切な様式で用いることを教示するためのものである。
【００１８】
別段に定義されない限り、本明細書で使用されるすべての技術用語及び科学用語は、本開示が属する技術分野の当業者により共通に理解されるのと同じ意味を有する。本明細書での用語に対して複数の定義が存在する場合は、本セクションでの定義が、別段に明言されない限り優先する。
【００１９】
語句「例えば」、「など」、「含む」、及び類するものが本明細書で使用される場合はいつでも、語句「及び限定なしで」が、明示的に別段に明言されない限り、後に続くと理解される。同様に「例」、「例示的な」、及び類するものは、非限定的であると理解される。
【００２０】
用語「実質的に」は、意図される目的に悪影響を与えない記述語からの外れを考慮に入れたものである。記述用語は、単語「実質的に」が明示的に記載されない場合でも、用語「実質的に」により修飾されると理解される。
【００２１】
用語「約」は、実験誤差に起因する変動を説明することが意味されるものである。すべての測定値又は数は、測定値又は数が単語、約、により明示的に修飾されない場合でも、単語、約、により修飾されると暗黙に理解される。
【００２２】
用語「備える（現在分詞形）」及び「含む（現在分詞形）」及び「有する（現在分詞形）」及び「伴う（現在分詞形）」及び類するものは、互換的に使用され、同じ意味を有する。同様に、「備える（３人称単数現在形）」、「含む（３人称単数現在形）」、「有する（３人称単数現在形）」、及び「伴う（３人称単数現在形）」）及び類するものは、互換的に使用され、同じ意味を有する。具体的には、用語の各々は、「備える」の共通の米国特許法定義と矛盾なく定義され、したがって、「少なくとも以下のもの」を意味するオープンな用語であると解釈され、さらには、追加的な特徴、限定、態様、その他を排除しないと解釈される。したがって例えば、「構成要素ａ、ｂ、及びｃを有するデバイス」は、デバイスが少なくとも構成要素ａ、ｂ、及びｃを含むということを意味する。同様に、語句「ステップａ、ｂ、及びｃを伴う方法」は、方法が少なくともステップａ、ｂ、及びｃを含むということを意味する。
【００２３】
用語「ａ」又は「ａｎ」が使用される場合はいつでも、「１つ又は複数の」が、明示的に別段に明言されない限り、又は、そのような解釈が文脈において無意味でない限り理解される。
【００２４】
用語「位置調整する」及び「位置合わせする」及びそれらの語形のすべて（例えば、「位置調整する（現在分詞形）」及び「位置合わせする（現在分詞形）」）は、用語「画像」に関して使用されるときは、代替物の形で使用され、同じことを意味する。例えば語句「位置調整された画像」及び「位置合わせされた画像」は、画像位置合わせプロセス（例えば、粗い位置合わせプロセス、及び／又は、微細な位置合わせプロセス）を経験したデジタル画像を説明するために、代替物の形で使用される。
【００２５】
滑らかに重み付けされた前景画像を取得するプロセスへの言及で使用されるときに、用語「スペクトルアンミキシング」（又は「アンミキシング」）及び「カラーデコンボリューション」（又は「デコンボリューション」）又は類するもの（例えば、「デコンボリューションする」、「アンミックスされる」）は、互換的に使用される。例えば明細書が、カラーデコンボリューションアルゴリズムを使用することに言及する場合、スペクトルアンミキシングアルゴリズムがさらには、具体的に別段に明言されない限り使用され得る（及び、その逆も同様である）。
【００２６】
当技術分野で理解されるように、デジタル画像ファイルは、データ（画像データ）を含む。したがって、デジタル画像への言及は、さらには画像データへの言及である。例えば、デジタル画像のセットへの言及は、暗黙に、１つ又は複数の画像データファイルを含む画像データのセットを開示する／その画像データのセットに言及するものである。
【００２７】
本開示は、デジタル病理に関係し、デジタル組織画像分析のための、コンピュータで実現されるデバイス、システム、及び方法を提供する。一部の実施形態では、デバイス、システム、及び方法は、スタンドアローンワークステーション（インターネットへのアクセスのためのモデムを含み得る）上で実現される。一部の実施形態では、デバイス、システム、及び方法は、コンピュータネットワークによって実現され得る。
【００２８】
スタンドアローンワークステーション上で実現されようと、ネットワークによって実現されようと、本開示によるシステムは、以下のハードウェア構成要素：モニタなどの画像及び／又は結果を表示するための出力デバイスと、ソフトウェアプログラムと対話するためのキーボード及びマウス又はトラックボールなどの１つ又は複数の入力デバイスとを備えるコンピュータ、ならびに、ソフトウェアプログラムを実行するためのプロセッサの、少なくとも一部を含み得る。システムはさらには、デジタル画像ファイルのセットを記憶するための記憶デバイスを含み得るものであり、各々のセットは、単一の患者の同じ組織の近接の組織切片の１つ又は複数の全体的なスライド画像を含む。セット内の各々のデジタル画像ファイルは、セット内の別のデジタル画像ファイルと比較しての、異なる画像化モード（例えば、明視野顕微鏡法、暗視野、及び蛍光顕微鏡法）を使用するガラススライド、又は、組織切片が、異なる染色（例えば、ＨＥ、ＩＨＣ、及び／又はＩＳＨ染色）を使用して用意されたガラススライド、又は両方から生成され得る。記憶デバイスは、コンピュータそれ自体の部分であり得るものであり、又はその記憶デバイスは、ネットワークアクセス可能記憶デバイスなどの別個のデバイスであり得る。システムはさらには、デジタル画像ファイルをガラススライドから生み出すためのスキャナを含み得る。本開示の範囲内の或る実施形態では、生物標本（組織標本である場合があり、又は、そうでない場合がある）は土台の上に置かれるものであり、その土台は、ガラススライドもしくは顕微鏡スライドである場合があり、又は、そうでない場合がある。本開示の範囲内の或る実施形態では、画像化及び比較される生物標本（例えば、組織標本）は、患者の同じ切片又はブロックから生じない場合がある。本開示の範囲内の或る実施形態では、本開示の範囲内の方法によって、位置合わせされ、使用のために利用可能であるデジタル画像は、単一の患者からの非近接の組織切片の画像であり得る。本開示の範囲内の或る実施形態では、本開示の範囲内の方法によって、位置合わせされ、使用のために利用可能であるデジタル画像は、異なる患者からの生物標本の画像であり得る。
【００２９】
スタンドアローンワークステーション上で実現されようと、ネットワークによって実現されようと、システムはさらには、以下のソフトウェア構成要素：位置合わせモジュール（粗い位置合わせモジュール、及び／又は、微細な位置合わせモジュールを含み得る）、注釈モジュール、又は両方を含む画像分析プログラムを含み得る。位置合わせモジュールは、プロセッサにより実行されるときに、近接の組織切片のデジタル画像のセット内の少なくとも２つのデジタル画像を位置調整し、そのことにより、位置調整されたデジタル画像を作成することを結果として生じさせる。注釈モジュールは、プロセッサにより実行されるときに、近接の組織切片のデジタル画像のセット内のデジタル画像の少なくとも１つ上の注釈を、セット内のデジタル画像の少なくとも別の１つにマッピングすることを結果として生じさせる。一部の実施形態では注釈モジュールは、プロセッサにより実行されるときに、デジタル画像の少なくとも１つに注釈すること、及び／又は、デジタル画像の少なくとも１つ上の注釈を、デジタル画像の少なくとも別のものにマッピングすることを結果として生じさせる。一部の実施形態では位置合わせモジュールは、注釈モジュールと実質的に同時に実行される。例えば、注釈を１つのスライドから別のスライドにマッピングするための要求は、プロセッサが、画像の少なくとも１つから、画像の少なくとも別のものへの注釈の、位置調整及びマッピングの両方を行うことを引き起こす。一部の実施形態では注釈は、ソース画像上の既存のものであり得る。一部の実施形態では注釈は、例えば、画像をソース画像として選択し、その画像に画像分析プログラムを使用して注釈することにより、画像分析プログラムで、ユーザにより生成される。一部の実施形態では位置合わせモジュールは、注釈モジュールに先行して実行される。例えば注釈モジュールは、プロセッサにより実行されるときに、位置調整された画像のセットの部分である少なくとも１つのデジタル画像から、位置調整された画像のセットの部分である少なくとも１つの他のデジタル画像に注釈をマッピングすることを結果として生じさせる。システムはさらには、画像観視モジュールを含み、そのモジュールは、画像分析プログラムの部分であり得るものであり、ユーザが、１つ又は複数のデジタル画像ファイルにアクセスし、ファイルをモニタ上で観視し、一部の実施形態では、クライアントユーザインターフェイスを使用してデジタルスライドを操作することを可能にするものである。
【００３０】
本開示による、コンピュータで実現される方法は、単一の患者の同じ組織ブロック、切片、又は試料からの少なくとも２つのデジタル画像を、組織構造に基づいて位置調整して、位置調整されたデジタル画像のセットを結果として生じさせるための、コンピュータで実現される位置合わせプロセスであって、セット内の各々のデジタル画像が、セット内の他のデジタル画像と比較しての、異なる染色、異なる画像化モード、又は両方を使用して取得される画像から導出され得る、コンピュータで実現される位置合わせプロセスと、位置調整されたデジタル画像のセット内のデジタル画像の少なくとも１つ上の注釈を、位置調整されたデジタル画像のセット内のデジタル画像の少なくとも別のものにマッピングするための、コンピュータで実現されるマッピングプロセスとを含む。一部の実施形態では、画像位置合わせプロセス及び注釈プロセスは、実質的に同一の広がりで行われる。例えば、注釈を１つのデジタルスライドから別のものにマッピングするための命令は、スライドを位置調整すること、及び、スライドに注釈することの両方を結果として生じさせ、例えば注釈命令は、最初に画像を位置調整し、次いで、注釈を１つの画像から他の画像に転送することを結果として生じさせる。一部の実施形態では、画像位置合わせプロセスが最初に行われ、注釈プロセスは、最初に、位置調整された画像の少なくとも対を選択し、次に、位置調整された画像の少なくとも１つの対内の画像の少なくとも１つに注釈することにより始動させられる。一部の実施形態では位置合わせプロセスは、粗い位置合わせプロセスを含む。一部の実施形態では位置合わせプロセスは、粗い位置合わせプロセス、及び、微細な位置合わせプロセスを含む。さらなる実施形態では、ソース画像の注釈は、微細な位置合わせモジュールが使用される前に、及び／又は、粗い位置合わせプロセスが使用される前に行われる。したがって例えば、ユーザがソース画像及び目標画像の両方の同時の観視を所望する一部の実施形態では、粗い位置合わせプロセスが、何らの特定の注釈も必要とすることなく、両方の画像のグローバル位置合わせを実行するために呼び出され得る。ユーザが、ソース画像の、ユーザによりマーキングされた注釈を、目標画像に返すことを所望する一部の実施形態では、微細な位置合わせプロセスが、例えばユーザ注釈に近い領域で、粗い位置合わせに依拠することだけと比較して、ソース画像及び目標画像の位置調整を改善するために呼び出され得る。
【００３１】
一部の実施形態では、粗い位置合わせプロセスは、位置調整に対するデジタル画像を選択するステップと、前景画像マスクを、選択されたデジタル画像の各々から生成するステップと、組織構造を、結果として生じた前景画像間でマッチングするステップとを伴い得る。さらなる実施形態では、前景画像マスクを生成するステップは、滑らかに重み付けされた前景画像を、染色された組織切片の全体的なスライド画像から生成するステップと、ＯＴＳＵしきい値処理を、滑らかに重み付けされた前景画像に適用して、バイナリの滑らかに重み付けされた画像マスクを生み出すステップとを伴う。他のさらなる実施形態では、前景画像マスクを生成するステップは、バイナリの滑らかに重み付けされた画像マスクを、染色された組織切片の全体的なスライド画像から生成するステップと、勾配振幅画像マスクを、同じ全体的なスライド画像から別個に生成するステップと、ＯＴＳＵしきい値処理を勾配画像マスクに適用して、バイナリ勾配振幅画像マスクを生み出すステップと、バイナリの滑らかに重み付けされた画像、及び、バイナリ勾配振幅画像マスクを、バイナリＯＲ演算を使用して結合して、前景画像マスクを生成するステップとを伴う。一部の実施形態では、組織構造をマッチングするステップは、ラインベースの特徴を、結果として生じた前景画像マスクの各々の境界から計算するステップと、グローバル変換パラメータを、第１の前景画像マスク上のライン特徴の第１のセットと、第２の前景画像マスク上のライン特徴の第２のセットとの間で計算するステップと、第１及び第２の画像を、変換パラメータに基づいてグローバルに位置調整するステップとを伴う。その上さらなる実施形態では、粗い位置合わせプロセスは、選択されたデジタル画像をグローバル変換パラメータに基づいて共通グリッドにマッピングするステップを含み、そのグリッドは、選択されたデジタル画像を包含し得るものである。一部の実施形態では、微細な位置合わせプロセスは、位置調整されたデジタル画像のセット内の第１のデジタル画像の第１のサブ領域、例えば、注釈を含む（又は例えば、注釈に対応する）サブ領域を識別するステップと、位置調整されたデジタル画像のセット内の第２のデジタル画像上の第２のサブ領域を識別するステップであって、第２のサブ領域が第１のサブ領域より大きく、第１のサブ領域が、共通グリッド上で第２のサブ領域の実質的に内部に配置される、識別するステップと、第２のサブ領域内の第１のサブ領域に対する最適化された位置を計算するステップとを伴い得る。
【００３２】
一部の実施形態ではマッピングプロセスは、位置調整された画像のセット内の第１のデジタル画像を、粗い位置合わせプロセスの後で注釈するステップと、位置調整されたデジタル画像のセット内の第２のデジタル画像に注釈をマッピングするステップとを伴い得る。さらなる実施形態では、注釈の位置は、微細な位置合わせプロセスの結果に基づいて緻密化される。
【００３３】
本明細書で説明される例は、典型的には、近接の組織試料（又は、並列スライス）の対を比較することに向けられるものであるが、作業フローは、２つの画像のみの位置合わせフレームワークを超えて、多重の層が、多重のスキャナからの画像さえも含めて、入力として提供されるフレームワークを含むように拡張され得る。一部の実施形態ではこのことは、多重の層を、最も接近した状態にある２つの層のセットで検討することにより行われ得る。例として、３つの並列スライスが入力として提供されるならば、第１の層（例えば、Ｈ＆Ｅ）は、第２の層（例えば、ＩＨＣ−１）と最初に位置合わせされ得るものであり、第２の層は次いで、第３の層（例えば、ＩＨＣ−２）と位置合わせされ得る。
【００３４】
ここで、類する参照番号が全体を通して類する部分を指す図を参照すると、図１は、本開示によるデバイス、システム、及び方法が実現され得る、医用画像化ワークステーションシステム１０の実施形態の斜視の図形による表現である。示されるように、医用画像化ワークステーションシステム１０は、コンピュータ２０を含み、そのコンピュータ２０は、プロセッサ（「ＣＰＵ」）（示されない）、記憶デバイス（示されない）、グラフィックスプロセッサユニット（「ＧＰＵ」）（示されない）、及び随意にはモデム（示されない）などの、ハードウェア構成要素３０に対するハウジングと、例解される例ではモニタ４０である第１の出力デバイスと、例解される例ではキーボード５０である第１のユーザ入力デバイスと、例解される例では、トラックボール又はマウス６０などの、表示装置と対話するためのポインティングデバイスである、第２のユーザ入力デバイスとを有する。当技術分野で知られているように、コンピュータ２０、ハードウェア構成要素３０、モニタ４０、及び、ユーザ入力デバイス５０、６０は、別個の構成要素として例解されるが、それらは、それらがすべてラップトップコンピュータの形式で統合され得るなど、より少ない部品で統合され得る。医用画像化ワークステーションシステム１０はさらには、追加的な周辺装置を含み得るものであり、それらの周辺装置は、コンピュータで実現される医用画像化システムに関連付けられることが知られている数あるデバイスの中でも、例解される例ではスライドスキャナ７０である第３の入力デバイス、例解される例ではプリンタ８０である第２の出力デバイス、バックアップ電源９０、及び、外部的な記憶デバイス（示されない）などである。一部の実施形態では医用画像化ワークステーションシステム１０は、多重のスクリーン上で多重のデジタル組織画像を同時に観視しやすいように、２つ以上のモニタ４０を含み得る。当業者であれば認識するように、特定の構成要素は、技術が変化するにつれて変化し得る。例えば周辺ポインティングデバイスは、スクリーンがユーザの指又は音声コマンドに応答するならば、必要でない場合がある。
【００３５】
医用画像化ワークステーションシステム１０はさらには、位置合わせモジュール、注釈モジュール、又は両方を含む画像分析プログラム、及び、画像分析プログラムの部分であり得る画像観視モジュールなどのソフトウェア構成要素を含む。ソフトウェア構成要素は、記憶デバイス上に記憶される１つもしくは複数のファイルであり得る（例えばソフトウェア構成要素は、内部的なハードドライブ上に記憶され得る）ものであり、及び／又は、ソフトウェア構成要素は、ＤＶＤ、ＣＤ、もしくはメモリカードなどのメモリディスク上に記憶され得るものであり、そのメモリディスクは、プロセッサにより、メモリディスクがハウジング３０内に、メモリディスク受け入れ口２５を通して挿入されるときにアクセスされ得る。
【００３６】
ＣＰＵは、記憶デバイス及びＧＰＵを含む、様々な周辺装置及びハードウェア構成要素に動作可能に接続される。記憶デバイスは、例えばスキャニングデバイスにより、システム内にインポートされ得るデジタル画像のセットを、一時的又は永続的に記憶し得る。デジタル画像のセットは、単一の患者の近接の組織切片の１つ又は複数のデジタル画像を含み、各々の画像は、別の画像と比較しての、異なる染色／ラベル／マーカ、異なる画像化モード、又は両方を使用して取得され得る。ＧＰＵは、画像表示プログラム及び画像分析プログラム（単一のプログラムに組み合わされ得る）からの命令を処理する。例えばＧＰＵにより実行されるとき、画像表示プログラムは、多重のウィンドウによって、ウィンドウ化されたグラフィカルユーザインターフェイス（「ＧＵＩ」）をモニタ４０上に提供し得るものであり、そのことによってユーザは、ＧＵＩと対話して命令を提供して、例えばＣＰＵなどのプロセッサが、画像分析プログラムの１つもしくは複数の態様を実行することを結果として生じさせることが可能であり、及び／又は、画像表示プログラムは、記憶されるデジタル画像の１つもしくは複数を、モニタ４０の１つもしくは複数上に、それらの画像の本来の（当初スキャンされた）フォーマットで、さもなければ、画像分析プログラムにより修正されたように、表示することを結果として生じさせ得る。前に述べられたように、画像分析プログラムは、位置合わせモジュール及び注釈モジュールを含む。例えばＣＰＵにより実行されるとき、位置合わせモジュールは、記憶されるデジタル画像の少なくとも２つを、異なる染色、異なる画像化モード、又は両方を使用して取得される、記憶されるデジタル画像でさえも、共通グリッド上に、組織構造に基づいて位置調整して、位置調整された画像のセットを作成することを結果として生じさせる。例えばＣＰＵにより実行されるとき、注釈モジュールは、位置調整された画像のセット内のデジタル画像の１つから、位置調整された画像のセット内のデジタル画像の少なくとも別のものに注釈をマッピングすることを結果として生じさせる。
【００３７】
図２は、本開示によるデバイス、システム、及び方法が実現され得る、ネットワーク化されたシステムの実施形態を例解するネットワーク線図である。示されるようにシステム２００は、データベースサーバ２１０と、ネットワークアクセス可能記憶デバイス２１５とを含み、それらのサーバ２１０及び記憶デバイス２１５の各々は、ネットワーク２２０に接続される。記憶デバイス２１５は、デジタル画像のセットを記憶し、各々のセットは、単一の患者の近接の組織切片の１つ又は複数のデジタル画像を含む。セット内の各々の画像は、セット内の別の画像と比較しての、異なる染色、異なる画像化モード、又は両方を使用することにより取得され得る。キーボード２３２、マウス（示されない）、及びプリンタ（示されない）などの、関連付けられる入力及び出力デバイスを有し得る、１つ又は複数のクライアントコンピュータ２３０がさらには、ネットワーク２２０に、当技術分野で知られている任意の手段（例えば、専用接続、ＤＳＬもしくはケーブルモデム、ワイヤレスインターネット接続、ダイヤルアップモデム、又は類するもの）により接続される。クライアントコンピュータ２３０は、記憶されるデバイス２１５内のデジタル画像にアクセスするために使用されるウェブブラウザを含む。本発明の例示的な実施形態では、クラウドストレージが、デジタル画像を記憶するために利用され得る。
【００３８】
クライアントコンピュータ２３０は、画像分析プログラムに関係する命令を実行するように構成される、少なくとも１つのプロセッサを含む。画像分析プログラムは、クライアントコンピュータ２３０にサーバ２１０からダウンロードされ得る。画像分析プログラムは、クライアントユーザインターフェイスを提供する画像ビューアモジュールを含み得るものであり、そのことによって、実行されるとき、画像ビューアモジュールは、多重のウィンドウによって、ウィンドウ化されたＧＵＩを提供し得るものであり、そのＧＵＩによって、ユーザは、命令を提供して、プロセッサが、画像分析プログラムの１つもしくは複数の態様を実行することを結果として生じさせることが可能になるものであり、及び／又は、画像ビューアモジュールは、記憶されるデジタル画像の１つもしくは複数を、それらの画像の当初スキャンされたフォーマットで、さもなければ、画像分析プログラムにより修正されたように、表示することを結果として生じさせ得る。画像分析プログラムによって、ユーザは、位置調整（位置合わせ）のための画像を、単一の患者の組織切片から取得される画像のセット内で選択することが可能になるが、セット内の各々の画像は、セット内の他の画像と比較しての、異なる染色、又は異なるモード、又は両方を使用して作製され得たものである。画像分析プログラムによってさらには、ユーザは、デジタル画像のセット内の１つ又は複数の選択されたデジタル画像に注釈することと、それらの注釈が、デジタル画像のセット内の他のデジタル画像の１つ又は複数にマッピングされることとが可能になる。一部の実施形態では、システム２００はさらには、全体的なスライド２５０をスキャンし、記憶デバイス２１５内に記憶されるデジタル画像を生み出すためのスキャナ２４０を含む。
【００３９】
当業者であれば理解するように、画像分析プログラムを、コンピュータ化されたネットワークの背景状況で実現することによって、そうでなければスタンドアローンワークステーションにより制限される場合がある、或る活動が可能になる。例えば、同じ場所に位置せず、実際は互いから離れている場合がある病理医が、画像を分析することで協働することが可能であり、又は、しかるべき病理医が、しかるべき時間に、位置に無関係に連絡されるということが可能である。
【００４０】
図１及び２は、１つ又は複数のコンピュータシステム又はネットワークトポロジ内に存し得る、或る要素を例解するものである。当業者であれば、本開示によるデバイス及びシステムが実現され得る、コンピュータシステム及びネットワークは、他のコンピュータシステム及びネットワークトポロジを包含し得るものであり、より多い、又はより少ない要素を、それらの他のコンピュータシステム及びネットワークトポロジ内に含み得るということを理解する。換言すれば、図１及び２の実施形態は限定的でない。例えば一部の実施形態では、クラウドストレージが、デジタル画像を記憶するために使用され得る。
【００４１】
したがって、本開示による使用のためのコンピュータシステムの例示的な実施形態は、ワークステーション、パーソナルコンピュータ、サーバ、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースの、もしくはプログラマブルな民生用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、又は、任意の他の現在もしくは将来のコンピュータなどの、任意の数のコンピュータプラットフォーム、又は、多重のタイプのコンピュータプラットフォームを含み得る。
【００４２】
例示的な実施形態はさらには、分散コンピューティング環境で実践され得るものであり、その場合タスクは、通信ネットワーク内で（例えば、ハードワイヤード接続、ワイヤレス接続、又はそれらの組合せにより）接続される、ローカル及び／又はリモート処理デバイスにより実行される。分散コンピューティング環境では、プログラムモジュールは、メモリ記憶デバイスを含む、ローカル及びリモートの両方のコンピュータ記憶媒体に配置され得る。しかしながら、本明細書で説明されるような、前に述べられたコンピュータプラットフォームは、具体的には、説明される本発明の特殊化された動作を実行するように構成されるものであり、汎用コンピュータとはみなされないということが、当業者により認識されよう。
【００４３】
コンピュータは典型的には、プロセッサ、オペレーティングシステム、システムメモリ、メモリ記憶デバイス、入出力コントローラ、入出力デバイス、及び表示デバイスなどの、知られている構成要素を含む。コンピュータの多くの可能な構成及び構成要素が存在し、それらの構成及び構成要素はさらには、キャッシュメモリ、データバックアップユニット、及び多くの他のデバイスを含み得るということが、さらには、関連性のある技術分野の当業者により理解されよう。
【００４４】
入力デバイスの例は、キーボード、カーソル制御デバイス（例えば、マウス）、マイクロホン、スキャナ等々を含む。
出力デバイスの例は、表示デバイス（例えば、モニタ又はプロジェクタ）、スピーカ、プリンタ、ネットワークカード等々を含む。表示デバイスは、視覚情報を提供する表示デバイスを含み得るものであり、この情報は典型的には、画素のアレイとして論理的及び／又は物理的に組織化され得るものである。
【００４５】
入力及び出力インターフェイスを提供するための、種々の知られている、又は将来のソフトウェアプログラムの任意のものを含み得る、インターフェイスコントローラがさらには含まれ得る。例えばインターフェイスは、１つ又は複数のグラフィカル表現をユーザに提供する、一般的には「グラフィカルユーザインターフェイス」と称される（しばしば、ＧＵＩと称される）ものを含み得る。インターフェイスは典型的には、ユーザ入力を、関係付けられる技術分野の当業者に知られている選択又は入力の手段を使用して受け付けることを可能にされる。インターフェイスはさらには、タッチスクリーンデバイスであり得る。
【００４６】
同じ又は代替的実施形態では、コンピュータ上のアプリケーションは、「コマンドラインインターフェイス」と称される（しばしば、ＣＬＩと称される）ものを含むインターフェイスを用い得る。ＣＬＩは典型的には、アプリケーションとユーザとの間のテキストベースの対話を提供する。典型的にはコマンドラインインターフェイスは、表示デバイスを通してのテキストのラインとして、出力を提示し、入力を受け取る。例えば一部の実現形態は、関係付けられる技術分野の当業者に知られているＵｎｉｘ（登録商標）シェル、又は、Ｍｉｃｒｏｓｏｆｔ  ．ＮＥＴ  ｆｒａｍｅｗｏｒｋなどのオブジェクト指向タイプ・プログラミング・アーキテクチャを用いるＭｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ  Ｐｏｗｅｒｓｈｅｌｌなどの、「シェル」と称されるものを含み得る。関係付けられる技術分野の当業者であれば、インターフェイスが、１つ又は複数の、ＧＵＩ、ＣＬＩ、又はそれらの組合せを含み得るということを認識するであろう。
【００４７】
プロセッサは、Ｉｎｔｅｌ  Ｃｏｒｐｏｒａｔｉｏｎにより作製されるＣｅｌｅｒｏｎ、Ｃｏｒｅ、もしくはＰｅｎｔｉｕｍ（登録商標）プロセッサ、Ｓｕｎ  Ｍｉｃｒｏｓｙｓｔｅｍｓにより作製されるＳＰＡＲＣプロセッサ、ＡＭＤ  Ｃｏｒｐｏｒａｔｉｏｎにより作製されるＡｔｈｌｏｎ、Ｓｅｍｐｒｏｎ、Ｐｈｅｎｏｍ、もしくはＯｐｔｅｒｏｎプロセッサなどの、市販で入手可能なプロセッサを含み得るものであり、又はそのプロセッサは、入手可能である、もしくは入手可能になる他のプロセッサの１つであり得る。プロセッサの一部の実施形態は、マルチコアプロセッサと称されるものを含み得るものであり、及び／又は、単一もしくはマルチコアの構成での並列処理技術を用いることを可能にされ得る。例えば、マルチコアアーキテクチャは典型的には、２つ以上のプロセッサ「実行コア」を備える。本例では、各々の実行コアは、多重のスレッドの並列実行を可能にする独立プロセッサとして実行し得る。加えて、関係付けられる技術分野の当業者であれば、プロセッサが、一般的には３２もしくは６４ビットアーキテクチャと称されるもの、又は、今知られている、もしくは将来開発され得る、他のアーキテクチャの構成で構成され得るということを認識するであろう。
【００４８】
プロセッサは典型的には、オペレーティングシステムを実行し、そのオペレーティングシステムは例えば、Ｍｉｃｒｏｓｏｆｔ  Ｃｏｒｐｏｒａｔｉｏｎ製のＷｉｎｄｏｗｓ（登録商標）タイプのオペレーティングシステム；Ａｐｐｌｅ  Ｃｏｍｐｕｔｅｒ  Ｃｏｒｐ．製のＭａｃ  ＯＳ  Ｘオペレーティングシステム；多くのベンダ、もしくは、オープンソースと称されるものから入手可能な、ＵｎｉｘもしくはＬｉｎｕｘ（登録商標）タイプのオペレーティングシステム；別の、もしくは将来のオペレーティングシステム；又は、それらの何らかの組合せであり得る。オペレーティングシステムは、ファームウェア及びハードウェアと、よく知られている様式でインターフェイス接続し、種々のプログラミング言語で書き記され得る様々なコンピュータプログラムの機能を協調させ実行することにおいて、プロセッサの手助けをする。典型的にはプロセッサと協力するオペレーティングシステムは、コンピュータの他の構成要素の機能を協調させ実行する。オペレーティングシステムはさらには、すべては知られている技法による、スケジューリング、入出力制御、ファイル及びデータ管理、メモリ管理、ならびに、通信制御、及び関係付けられるサービスを提供する。
【００４９】
システムメモリは、所望される情報を記憶するために使用され得る、及び、コンピュータによりアクセスされ得る、種々の知られている、又は将来のメモリ記憶デバイスの任意のものを含み得る。コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報の記憶のために、任意の方法又は技術で実現される、揮発性及び不揮発性の、リムーバブル及び非リムーバブルの媒体を含み得る。例は、任意の共通に利用可能なランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電子的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、デジタルバーサタイルディスク（ＤＶＤ）、常駐ハードディスクもしくはテープなどの磁気媒体、読み書きコンパクトディスクなどの光学媒体、又は他のメモリ記憶デバイスを含む。メモリ記憶デバイスは、コンパクトディスクドライブ、テープドライブ、リムーバブルハードディスクドライブ、ＵＳＢもしくはフラッシュドライブ、又はディスケットドライブを含む、種々の知られている、又は将来のデバイスの任意のものを含み得る。そのようなタイプのメモリ記憶デバイスは、典型的には、それぞれ、コンパクトディスク、磁気テープ、リムーバブルハードディスク、ＵＳＢもしくはフラッシュドライブ、又はフロッピー（登録商標）ディスケットなどのプログラム記憶媒体から読み出し、及び／あるいは、そのプログラム記憶媒体に書き込む。これらのプログラム記憶媒体、又は、今使用中の、もしくは後に開発され得る他のものの任意のものが、コンピュータプログラム製品とみなされ得る。
【００５０】
認識されることになるように、これらのプログラム記憶媒体は典型的には、コンピュータソフトウェアプログラム及び／又はデータを記憶する。コンピュータ制御論理とも呼ばれるコンピュータソフトウェアプログラムは、典型的には、システムメモリ、及び／又は、メモリ記憶デバイスと連関して使用されるプログラム記憶デバイス内に記憶される。一部の実施形態では、制御論理（プログラムコードを含むコンピュータソフトウェアプログラム）が記憶されたコンピュータ使用可能媒体を備える、コンピュータプログラム製品が説明される。制御論理は、プロセッサにより実行されるとき、プロセッサが、本明細書で説明される機能を実行することを引き起こす。他の実施形態では、一部の機能は、主としてハードウェアで、例えばハードウェア状態機械を使用して実現される。本明細書で説明される機能を実行するためのハードウェア状態機械の実現形態は、関連性のある技術分野の当業者には明らかであろう。
【００５１】
入出力コントローラは、人間であろうと機械であろうと、ローカルであろうとリモートであろうと、ユーザからの情報を受け付け処理するための種々の知られているデバイスの任意のものを含み得る。そのようなデバイスは例えば、モデムカード、ワイヤレスカード、ネットワークインターフェイスカード、サウンドカード、又は、種々の知られている入力デバイスの任意のものに対する、他のタイプのコントローラを含む。出力コントローラは、人間であろうと機械であろうと、ローカルであろうとリモートであろうと、情報をユーザに提示するための種々の知られている表示デバイスの任意のものに対するコントローラを含み得る。
【００５２】
現在説明される実施形態では、コンピュータの機能要素は、互いにシステムバスを介して通信する。コンピュータの一部の実施形態は、一部の機能要素と、ネットワーク又は他のタイプのリモート通信を使用して通信し得る。関連性のある技術分野の当業者には明白となるように、機器制御及び／又はデータ処理アプリケーションは、ソフトウェアで実現される場合、システムメモリ及び／又はメモリ記憶デバイス内にロードされ、そのシステムメモリ及び／又はメモリ記憶デバイスから実行され得る。機器制御及び／又はデータ処理アプリケーションの、すべて又は小部分は、さらには、メモリ記憶デバイスの、読み出し専用メモリ又は同様のデバイス内に常駐し得るものであり、そのようなデバイスは、機器制御及び／又はデータ処理アプリケーションが最初に入出力コントローラによってロードされるということを要しない。機器制御及び／もしくはデータ処理アプリケーション、又はその小部分が、プロセッサにより、知られている様式で、システムメモリ、又はキャッシュメモリ、又は両方の中に、実行のために有利であるようにロードされ得るということが、関連性のある技術分野の当業者により理解されよう。
【００５３】
さらには、コンピュータは、システムメモリ内に記憶される、１つ又は複数のライブラリファイル、実験データファイル、及びインターネットクライアントを含み得る。例えば実験データは、１つ又は複数の、合成によるシーケンシング（ＳＢＳ）実験又はプロセスに関連付けられる、検出された信号値、又は他の値などの、１つ又は複数の実験又はアッセイに関係付けられるデータを含み得る。
【００５４】
加えてインターネットクライアントは、別のコンピュータ上のリモートサービスにネットワークを使用してアクセスすることを可能にされるアプリケーションを含み得るものであり、実例として、一般的には「ウェブブラウザ」と称されるものを含み得る。本例では、一部の共通に用いられるウェブブラウザは、Ｍｉｃｒｏｓｏｆｔ  Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＭｉｃｒｏｓｏｆｔ  Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ、Ｍｏｚｉｌｌａ  Ｃｏｒｐｏｒａｔｉｏｎ製のＭｏｚｉｌｌａ  Ｆｉｒｅｆｏｘ、Ａｐｐｌｅ  Ｃｏｍｐｕｔｅｒ  Ｃｏｒｐ．製のＳａｆａｒｉ、Ｇｏｏｇｌｅ  Ｃｏｒｐｏｒａｔｉｏｎ製のＧｏｏｇｌｅ  Ｃｈｒｏｍｅ、又は、当技術分野で、現時で知られている、もしくは将来開発されることになる、他のタイプのウェブブラウザを含む。さらには、同じ又は他の実施形態では、インターネットクライアントは、生物学的アプリケーションに対するデータ処理アプリケーションなどの、リモート情報にネットワークを介してアクセスすることを可能にされる、特殊化されたソフトウェアアプリケーションを含み得る、又は、それらのソフトウェアアプリケーションの要素であり得る。
【００５５】
ネットワークは、当業者によく知られている、多くの様々なタイプのネットワークの１つ又は複数を含み得る。例えばネットワークは、共通にＴＣＰ／ＩＰプロトコルスイートと称されるものを用いて通信し得る、ローカル又はワイドエリアネットワークを含み得る。ネットワークは、共通にインターネットと称される、相互接続されるコンピュータネットワークの世界的なシステムを含むネットワークを含み得るものであり、又はさらには、様々なイントラネットアーキテクチャを含み得る。関係付けられる技術分野の当業者であれば、さらには、ネットワーク化された環境内の一部のユーザが、一般的には「ファイアウォール」と称される（さらには時には、パケットフィルタ又はボーダ保護デバイス（Ｂｏｒｄｅｒ  Ｐｒｏｔｅｃｔｉｏｎ  Ｄｅｖｉｃｅ）と称される）ものを用いて、ハードウェア及び／又はソフトウェアシステムへの、ならびに、それらのシステムからの情報トラフィックを制御することを好む場合があるということを認識するであろう。
【００５６】
図３から５は一体で、プロセッサと対話して、画像に関して管理、位置調整、及び／又は注釈を行うための、クライアントユーザインターフェイスの実施形態を例解する。例解される実施形態ではクライアントユーザインターフェイスは、２つの基本ツールによって実現され、「ＷｏｒｋＢｅｎｃｈ」はスライドプロジェクト管理ツールであり、一方で「Ｖｅｒｓｏビューア」（又は「Ｖｅｒｓｏ」）は、スライドビューア及び注釈ツールである。Ｖｅｒｓｏはさらには、画像分析アルゴリズムがＶｅｒｓｏから呼び出され得るので、分析プラットフォームとして使用され得る。ＷｏｒｋＢｅｎｃｈ及びＶｅｒｓｏは、インターフェイス及び作業フローツールの例として提示され、その例に基づいて、位置合わせフレームワークが提示される。しかしながら、位置合わせ作業フローは十分に包括的であり、そのことによって、その位置合わせ作業フローは、他の注釈／ビューアＧＵＩツール、及び、他の画像分析／管理ツールとともに使用され、ならびに／又は、それらのツールとの使用に対して適応させられ得る。
【００５７】
図３及び４は、ＷｏｒｋＢｅｎｃｈ  ＧＵＩインターフェイスに対するホームスクリーンの実施形態を例解するものであり、そのホームスクリーンは、画像分析プログラムが、例えば、位置合わせ問題に対して分析プロジェクトを作成するために起動されるときに開く。例解される実施形態ではホームスクリーンは、多重の異なるウィンドウ（示されるように、「位置合わせ」ウィンドウ３００、「ナビゲータ」ウィンドウ３０２、及び「プロジェクトブラウザ」ウィンドウ３０４）で構成される。このウィンドウ化された環境の内部で、ユーザは、様々なオプションから、それらのオプションにおいて、画像位置合わせ、画像注釈、ならびに、画像及び結果表示を最終的に呼び出し実現するために選択することが可能である。プロジェクトブラウザウィンドウ３０４は、ユーザが、例えばユーザが新しいプロジェクトを開始していない場合に、すでに作成されたプロジェクトの位置を突き止める一助となり、一方でナビゲータウィンドウ３０２は、ユーザが、例えばリモートサーバ上に配置され得る画像にアクセスする一助となる。位置合わせウィンドウ３００は様々なボタンを含み、それらのボタンの機能性は、下記でより詳細に説明される。
【００５８】
プログラムを起動した後で、一度プロジェクトが作成されると、ユーザは、図３に示されるような、画像位置合わせモジュール（例えば、位置合わせウィンドウ３００）の「画像ギャラリ」セクション３０６を選択して、位置合わせに対して検討されている画像をプレビューすることが可能である。例解される例では画像ギャラリ３０６は、２つの画像、ＨＥ画像３０８及びＩＨＣ画像３１０を内包し、それらの画像は、全体的なスライド画像のサムネイルピクチャとして、サムネイルの下に現れる全体的なスライド画像の名前とともに表示される。しかしながら画像ギャラリ３０６は、近接の組織切片からとられる画像の全体のセットを含む、（例えば、システムの記憶容量により制限される）任意の数の画像を内包し得る。画像は、画像ギャラリ３０６に、当技術分野で知られている手段によって追加され、例えば、画像ギャラリタブ３０６をクリックすると、画像は、それらの画像を、ユーザインターフェイスのエリア、又はデータベースから、画像ギャラリ３０６内にドラッグアンドドロップすることにより追加され得る。
【００５９】
図４に示されるように、位置合わせウィンドウ３００の「分析ジョブ」フォルダ３１２を選択することによって、画像ギャラリ３０６で利用可能な画像、及び、関連付けられる情報、例えば、画像ギャラリ３０６内の画像に対してすでに利用可能な異なる注釈のリストが画面に表示状態になる。本例では注釈は、画像ギャラリ３０６内の画像のいずれに対しても利用可能でない。
【００６０】
図５に示されるように、画像位置合わせタブ３１４の下で、ユーザは、プロジェクト内の画像をソース画像（ユーザ注釈を有する、又は、ユーザ注釈によって注釈されることになる）として識別することが可能であり、ユーザはさらには、プロジェクト内の画像を目標画像（位置合わせモジュールは、この画像に対して注釈を索出することになる）として識別することが可能である。例解される例ではＨＥ画像３０８は、ＨＥ画像３０８をソース画像として識別する「ソースＷＳＩ」（全体的なスライド画像）パネル３１６内にドラッグアンドドロップされており、ＩＨＣ画像３１０は、ＩＨＣ画像を目標画像として識別する「目標ＷＳＩ」パネル３１８内にドラッグアンドドロップされている。各々のＷＳＩパネル３１８の内部で、各々の画像に対する染色タイプが、「マーカタイプ」３２０で適切なタグオプションを選択することにより入力される。
【００６１】
ソース画像がすでにユーザ注釈を内包するならば、位置合わせルーチンが、画像位置合わせタブ３１４の下の「分析」ボタン３２２上でクリックすることにより呼び出され得る。やはり画像位置合わせタブ３１４の下の、並びＦＯＶ観視ボタン３２４が、ソース画像及び目標画像からのマッチングされる視野（「ＦＯＶ」）の並びの観視を提供し、そのことによってユーザは、ユーザによりマーキングされたＦＯＶを、アルゴリズムにより索出されたＦＯＶと、目標画像内で比較することが可能になる。例示される実施形態では、一度分析ボタン３２２がクリックされ、位置合わせが完了されると、Ｖｅｒｓｏビューアは、自動的に起動し、図９に示されるように、ソース３０８及び目標３１０の画像を並びで表示する。
【００６２】
ユーザ注釈が存在しないとき、ユーザは、ソース画像をビューア内で開き、関心領域をマーキングする（注釈を作成する）ことが可能である。より具体的には、図６に示されるように、ソース画像上でダブルクリックすることによって、注釈モジュールに関連付けられるビューアインターフェイス（Ｖｅｒｓｏビューア）が起動し、そのインターフェイス内で、ソース画像（例解される実施形態では、ＨＥ画像）が表示され、そのインターフェイス内で、ソース画像は操作及び／又は注釈され得る。例解されるように、ＶｅｒｓｏビューアＧＵＩは「ビューア」ウィンドウ３２６を含み、そのウィンドウ３２６は、表示される画像、注釈モジュール、ならびに、全体としての位置合わせ及び注釈プログラムとのユーザの対話の手助けをするための、メニューバー及びいくつかのアイコンを有する。例えば、インポートボタン３２８によってユーザは、注釈をインポートすることが可能になり、プレイボタン３３０によってユーザは、１つの注釈から次のものに進むことが可能になり、ズームボタン３４０及びスライダ３５０によってユーザは、全体的なスライド画像を様々な分解能で観視することが可能になる。さらに注釈が、例えば注釈ツール３６０を使用して作製され得るものであり、その注釈ツール３６０は、矩形、楕円形、又はポリラインベースの（フリーハンド描画のような）領域を、それぞれ、矩形３６２、楕円形３６４、又はフリーハンド描画３６６のボタンを使用して作製するために使用され得る。一度ソース画像が、少なくとも１つのＦＯＶがマーキングされると、及び、マーキングされた注釈が保存された後で、ユーザは、（例えば、ＷｏｒｋＢｅｎｃｈ環境での画像位置合わせタブ３１４の下の「分析」ボタン３２２上でクリックすることにより）位置合わせを続行することが可能である。
【００６３】
一部の実施形態ではＶｅｒｓｏビューアは、独立して開かれる場合がある。しかしながら、使用性に関して容易にするために、ＷｏｒｋＢｅｎｃｈで、ソース画像上でダブルクリックすることによって、画像をＶｅｒｓｏビューアタブ内で開くことが結果として生じる。例として、ビューアが最初に開かれる場合、ソース画像が、ビューアウィンドウ内にドラッグアンドドロップされる場合があり、あるいは、ファイル−＞開くメニューが、画像を開くために使用される場合がある。
【００６４】
図７は、同じＨＥソース画像３０８を例解するものであり、その画像は、やはり注釈スクリーン内に、ただし、その画像が、注釈モジュール（例えば、Ｖｅｒｓｏ）内で提供され、図で例解されるツール３６８を使用して注釈された後に表示されるものである。具体的には、３つの関心領域（矩形として図示され、ＦＯＶ１、ＦＯＶ２、及びＦＯＶ３とラベリングされる）が、ＨＥ画像３０８内でマーキングされている。ＨＥ画像３０８内のこれらの３つの領域の各々に対して、位置合わせモジュールは、目標画像（本例では、ＩＨＣ画像３１０）内の対応する注釈を返すはずである。
【００６５】
画像位置合わせモジュール（例えば、ＷｏｒｋＢｅｎｃｈ）ＧＵＩの別のスクリーンショットである図８と一体で、図５は、どのように注釈モジュール（例えば、Ｖｅｒｓｏ）での変化が、画像位置合わせモジュールに対して更新され、その画像位置合わせモジュールで反映されるかを例解する。具体的には図５に示されるように、画像位置合わせタブ３１４の下で、注釈モジュールでの注釈の後で、ＦＯＶの＃タブ３０９が、３つの異なるＦＯＶ画像（「ＦＯＶ」）がＨＥソース画像３０８に対して利用可能であるということを指示するように更新される。図８は、ユーザがプログラムに、ソース画像（例では、ＨＥ画像３０８）及び目標画像（例では、ＩＨＣ画像３１０）を位置調整するように命令する後の、画像位置合わせモジュールに対する更新を例解する。具体的には画像位置合わせタブ３１４の下で、画像位置合わせの後で、３つの異なるＦＯＶが今では、さらにはＩＨＣ目標画像３１０に対して利用可能である。
【００６６】
図９は、注釈モジュール（例えば、Ｖｅｒｓｏ）ＧＵＩの別のスクリーンショットである。示されるように、例解される実施形態では、一度画像位置合わせがＷｏｒｋＢｅｎｃｈフレームワークによって完了されると、注釈スクリーンが自動的に注釈モジュール内で開き、ＨＥソース画像３０８及びＩＨＣ目標画像３１０が、一体で同じスクリーン上に、例えば示されるように並びで、マッチングするＦＯＶとともに表示される（すなわち、ユーザによりマーキングされた注釈３１１ａ〜ｃが、ＨＥソース画像３０８上で表示され、対応する索出された注釈３１１ｄ〜ｆが、ＩＨＣ目標画像３１０上で表示される）。例解される実施形態では、全体的なスライド画像は１ｘ分解能で示され、そのことによって、すべての３つのＦＯＶは、並びで、両方の全体的なスライド画像に対して確認され得る。
【００６７】
図１０に示されるように、例解される実施形態では、Ｖｅｒｓｏビューアはさらには、注釈された領域を次々に観視するためのモードを含む。前進ボタン３３０をクリックすることによって、ユーザは、１つの注釈から次のものへと順方向に進行することが可能となり、一方で前ボタン３３２によって、ユーザは、現時に観視される注釈から、前に観視された注釈に移ることが可能となる。さらには、例解される実施形態では、ユーザが、画像１に対して、１つのＦＯＶ（例えば、第１のＦＯＶ）から別のＦＯＶ（例えば、第２のＦＯＶ）に進行する際に、右ペインでの表示は同様に、画像２に対して、対応するＦＯＶについて通しで（ここでは、第１のＦＯＶから第２のＦＯＶに）進行する。
【００６８】
図１１は、ＷｏｒｋＢｅｎｃｈの画像位置合わせタブ３１４の下で利用可能である個々のＦＯＶを観視するための代替的画像表示を例解するスクリーンショットである。並び画像ＦＯＶ観視ボタン３２４（図５）上でクリックすることによって、図１１のスクリーンが開く。Ｖｅｒｓｏビューア実現形態と同様に、ＷｏｒｋＢｅｎｃｈビューもまたスプリットスクリーンであり、注釈されたＨＥソース画像３０８の少なくとも小部分が、スクリーンの１つの部分上に表示され、注釈されたＩＨＣ目標画像３１０の対応する小部分が、スクリーンの第２の部分上に表示される。図１０及び１１は、それぞれ、注釈モジュール及び画像位置合わせモジュールでの第１の注釈ＦＯＶを図示し、マッチングされる注釈が、Ｖｅｒｓｏビューアを使用して、ＷｏｒｋＢｅｎｃｈと比較して、どのように比較され得るかを例解する。図から明らかであるように、注釈モジュール（Ｖｅｒｓｏビューア）では注釈は、各々のスプリットスクリーンの中央部に、スライド画像の他の部分に加えて表示される。対照的に画像位置合わせモジュール（ＷｏｒｋＢｅｎｃｈ）では、デジタル画像の注釈小部分のみが確認され得る。画像位置合わせモジュールでは、注釈モジュールと同様に、すべての利用可能な画像対について通しで作動するためのオプションが存在する。例では、ユーザによる独立した観視に対して選択され得る３つの画像対が存在する。したがって、第２及び第３の注釈の同様のスプリットスクリーンビューがさらには、注釈モジュール及び／又は位置合わせモジュールで起動され得るものであり、それらのビューは、位置合わせモジュールの事例では、例えば、アップ／ダウン矢印を使用して、画像の対について通しでスクロールすることによりアクセスされる。さらには例解されるように、注釈モジュールは、ユーザに、どのように結果を観視するかの見地での柔軟性を提供する。例えばユーザは、画像を観視するための分解能（４Ｘが、スクリーンショットでは例解される）を、ズームボタン３４０及び／又はズームスライダ３５０を使用して選定することが可能である。
【００６９】
図１２は、本開示による画像分析ソフトウェアプログラムの実施形態により実行される方法の実現形態を例解するフロー線図である。画像分析ソフトウェアプログラムによって、ユーザは、プロセッサに、選択されたデジタル画像（例えば、全体的なスライド画像、部分的なスライド画像、又は、全体的な、もしくは部分のスライド画像の小部分を含む、組織切片のスキャンされたスライドのデジタル画像）を位置調整すること、画像の１つもしくは複数に注釈すること、注釈を１つもしくは複数の画像から他の画像にマッピングすること、又はそれらの組合せを行うように命令することが可能になる。一部の実施形態では、グローバル位置調整のための全体としての作業フローは、滑らかに重み付けされた前景画像を入力画像から生成することであって、染色寄与がより高い（２つの有力な染色を検討する）、又は、勾配（勾配画像は、カラー画像から取得されるグレースケール画像から計算される）振幅画像がより強い場合に、領域が、より高い重みを、滑らかに重み付けされた前景画像内で割り当てられる、生成することと、バイナリマスクを、滑らかに重み付けされた前景画像から取得することと、ラインベースの特徴をバイナリマスクの境界から計算することと、変換パラメータを、ライン特徴の２つのセット間で計算することであって、変換が、回転、鏡映、及び並進によって表現される、計算することと、第１の画像を変換して、その第１の画像を第２の画像とグローバルに位置調整することとを伴う。
【００７０】
図１２に示されるように、方法６００は開始ブロック６０２で始まる。ブロック６０４で、画像データ又はデジタル画像のセットが、操作のために入手される（例えば、データベースからスキャン又は選択される）。画像データの各々のセットは、例えば、単一の患者の近接の組織切片のセットからの組織切片に対応する画像データを含む。デジタル画像の各々のセットは、単一の患者の近接の組織切片のセットからの組織切片に対応する１つ又は複数のデジタル画像を含む。各々の画像は、別の画像と比較して、異なって染色される、又は、異なる画像化モードを使用してデジタル化される、又は両方である、組織切片から導出され得る。一部の実施形態ではデジタル画像は、近接の組織切片から用意されるスライド（例えば、顕微鏡ガラススライド）をスキャンすることにより生み出される。
【００７１】
ブロック６０６で、単一の画像対のみが選択されるならば、プロセスは直接ブロック６１０に進む。画像の単一の対より多くのものが選択されるならば、選択された画像のセットは、ブロック６１０に進むことに先行して、ブロック６０８で対にグループ化される。一部の実施形態では、画像対は近接の対として選択される。したがって例えば、選択された画像のセットが、１０個の並列の近接のスライス（Ｌ１…Ｌ１０）を含むならば、Ｌ１及びＬ２が対としてグループ化される、Ｌ３及びＬ４が対としてグループ化される、などとなる。他方で、情報が、画像のどの対が互いに最も類似しているかに関して利用可能でないならば、一部の実施形態では画像は、それらの画像の離れた距離（例えば、様々な画像のエッジマップ間の面取り距離に対応する、エッジ間又は画像間距離）によってグループ化されるものであり、そのことによって、互いに最も近い画像を一体で対にする。本発明の例示的な実施形態では、エッジ間／画像間距離が、画像の対に対して利用される。一部の実施形態では、エッジベースの面取り距離が、画像間／エッジ間距離を計算するために使用され得る。画像の対が、前に粗い位置合わせプロセスを経験しており、そのことによって、画像が粗く位置調整されており、結果が保存されているならば、プロセスはブロック６１４に前進する。そうでなければブロック６１２で、粗い位置合わせプロセスが、選択された画像対上で実行される。粗い位置合わせプロセスは、下記でさらに詳細に説明される。
【００７２】
ブロック６１４に移ると、選択された、及び今では位置合わせされた（位置調整された）画像は、単一のモニタ上で、又は、いくつかのモニタにわたって広げられて、画像が単一の画像に重ねられた状態で共通グリッド上に表示される、別個の画像として表示される、又はその両方である。ブロック６１６でクライアントユーザは、画像の対からの画像の１つをソース画像として選択することが可能である。ソース画像がすでに、所望されるように注釈されているならば、プロセスはブロック６２２に進む。そうでなければクライアントユーザは、ブロック６２０で、ソース画像に所望されるように注釈する。一部の実施形態では注釈は、その選択された画像上で、例えば、ユーザが注釈を入力することと実質的に同時に再現される。一部の実施形態では、ユーザは最初にソース画像及び目標画像を識別し、ソース画像が注釈されているならば、ユーザは続いて、プログラムに、画像を位置合わせする（例えば、粗い位置合わせプロセスを経験する）ように命令することを始める。ソース画像がまだ注釈されていないならば、ユーザは、画像の対を位置合わせすることに先行して、ソース画像に注釈することが可能である。ブロック６２０と実質的に同時に行われる場合がある（又は、行われない場合がある）ブロック６２２で、注釈は、対内の他方の画像（目標画像）にマッピングされ、目標画像上でグラフィカルに再現される。注釈が、粗い位置合わせに先行して行われる実施形態では、注釈は、ソース画像から目標画像に、画像の対が位置合わせされる（位置調整される）のと実質的に同じ時間にマッピングされ得る。ブロック６２４でユーザは、微細な位置合わせプロセスに携わるべきか否かに対して選定することが可能である。ユーザが、微細な位置合わせを実行することなく結果を直接表示することを選定するならば、プロセスはブロック６２６に進む。そうでなければブロック６２４で、微細な位置合わせプロセスが、選択された画像対上で、例えば、マッピングされた注釈の位置、及び／又は、画像の位置調整を最適化するために実行される。微細な位置合わせプロセスは、下記でさらに詳細に論考される。ブロック６２６で、注釈された画像対は、微細な位置合わせプロセスの結果とともに表示される（又は、注釈された画像対は、微細な位置合わせが使用されないならば、単に粗い位置合わせプロセスの結果とともに表示され得る）。方法は次いで、最終のブロック６２８で終了する。
【００７３】
図１３は、ブロック６１２、粗い位置合わせプロセスに関するさらなる詳細を例解する。粗い位置合わせプロセスを始動させることに先行して、２つの画像が位置調整のために選択される（ブロック６１２ａ、図１３；ブロック６０４、図１２）。図１３に示されるように、一部の実施形態では、２つの画像に適用される粗い位置合わせプロセスは、１）前景画像マスクを、選択された画像の各々から取得するステップ（ブロック６１２ｂ、図１３と、２）ラインベースの特徴を前景画像マスクの境界から計算するステップ（ブロック６１２ｃ、図１３）と、３）グローバル変換パラメータ（例えば、回転、スケール、シフト）を、６１２ｂの計算から結果として生じる、ラインの２つのセット間で計算するステップ（ブロック６１２ｄ、図１３）とを伴い得る。最終的には図１３に示されるように、２つの画像は、グローバル変換パラメータを使用して位置調整され、モニタ（又は、複数のモニタ）上に、共通グリッド上に表示され得る（ブロック６１２ｅ）。
【００７４】
図１４から１９は、前景画像マスクがソース画像及び目標画像に対して取得される、ブロック６１２ｂの実施形態のさらなる詳細を例解する。一部の実施形態では方法は、滑らかに重み付けされた（連続値の）前景画像を、選択された画像の各々から取得するステップを伴う。一部の実施形態では、図１４ａに示されるように方法は、滑らかに重み付けされた前景画像を（染色成分に基づいて）目標画像及びソース画像の各々から取得するステップと、勾配振幅画像（勾配は、グレースケール画像に基づいて計算されるものであり、染色寄与が、非常に微弱であるが、より低い勾配振幅をもつ、より平滑な背景領域と比較して、より高い勾配振幅を有する、前景領域を区別する一助となり得る）を、目標画像及びソース画像の各々から別個に取得するステップと、ＯＴＳＵしきい値処理を、滑らかに重み付けされた前景画像、及び、勾配振幅画像の各々に適用して、滑らかに重み付けされた前景画像に対するバイナリマスク画像、及び、勾配振幅画像に対するバイナリマスク画像を取得するステップと、２つのバイナリマスクをＯＲ結合して、最終的なバイナリ画像マスク（最終的な前景画像マスク、又は、前景画像マスク）を取得するステップとを伴う。図１４ｂは、滑らかに重み付けされた、カラーアンミックスされた（ｃｏｌｏｒ  ｕｎｍｉｘｅｄ）、又はデコンボリューションされた画像を、滑らかに重み付けされた画像から生成されたバイナリマスクと比較する、より大きなスケールのビューを提供し、一方で図１４ｃは、勾配振幅画像、及び、その勾配振幅画像から生成されるバイナリマスクの、より大きなスケールの比較を提供する。
【００７５】
図１５から１９は、滑らかに重み付けされた画像マスクを生成するためのさらなる詳細を例解する。「滑らかに重み付けされた」画像は、より高い／より低い値が、或る染色カラーがより多く／より少なく存するということを表象する、染色画像に適用される、滑らかな重み付けに対応する画像である。滑らかな重み付け方法は、連続ドメイン値の画像を、離散値の符号なし文字画像（例えば、画素値の範囲が０〜２５５である）から取得するための方法である。一部の実施形態では、滑らかに重み付けされた前景画像を取得することの目的は、組織を非組織からデジタル画像で分離すること、ならびに、スケーリング及び並進推定への備えを行うことである。一部の実施形態では、連続値の前景画像が、カラーデコンボリューションプロセスを、選択されたデジタル画像に適用することにより取得され、それらのデジタル画像は、染色されている組織切片から用意されたガラススライドのスキャンであり得る。特定のカラーデコンボリューションプロセスは、特定の染色に依存し、本明細書では３つの例：ＨＥ染色、ＩＨＣ染色、及び蛍光画像によって説明されることになる。
【００７６】
図１５から１６は、滑らかに重み付けされたバイナリマスクをＨＥ画像から生成するためのプロセスを例解する。図１５から１６に示されるように、画像抽出プロセスは、本質的にはカラーデコンボリューションプロセスであり、カラー染色が、元のＨＥ画像から除去され（図１５Ａ〜１５Ｃ）、随意にはＯＴＳＵしきい値処理が、滑らかに重み付けされたバイナリマスクを結果として生じさせるために、カラーデコンボリューションされた画像に適用される（図１５ｄ）。
【００７７】
より具体的には、図１５に示されるように、Ｈチャネル画像及びＥチャネル画像が、図１５Ａの複合画像ＨＥ画像を形成するためにミックス／加算されていた、２つの画像成分（具体的には、Ｈ（ヘマトキシリン：青色で色付いた）及びＥ（エオシン：赤色で色付いた））を除去することにより取得される。ＨＥカラーデコンボリューションは、当技術分野で知られている任意の方法により実行され得るものであり、その任意の方法は、例えば、Ｒｕｉｆｒｏｋ  ＡＣ、Ｊｏｈｎｓｔｏｎ  ＤＡ、Ｑｕａｎｔｉｆｉｃａｔｉｏｎ  ｏｆ  ｈｉｓｔｏｌｏｇｉｃａｌ  ｓｔａｉｎｉｎｇ  ｂｙ  ｃｏｌｏｒ  ｄｅｃｏｎｖｏｌｕｔｉｏｎ（カラーデコンボリューションによる組織学的染色の定量化）、Ａｎａｌ  Ｑｕａｎｔ  Ｃｙｔｏｌ  Ｈｉｓｔｏｌ  ２３：２９１〜２９９、２００１で説明されるようなものであり、その文献は、本明細書では参照によりその全体が組み込まれている。一部の実施形態では、２つの（Ｈ及びＥ）チャネルが取得される後（例えば、カラーデコンボリューションプロセスの後）で、ＯＴＳＵ、及び、滑らかな重み付け方法が、Ｈチャネル画像及びＥチャネル画像の各々上で実行される。ＯＴＳＵ方法は、自動的にヒストグラム形状ベースのしきい値処理を実行するために使用されるしきい値処理方法であり、例えば、Ｏｔｓｕ，  Ｎｏｂｕｙｕｋｉ、「Ａ  Ｔｈｒｅｓｈｏｌｄ  Ｓｅｌｅｃｔｉｏｎ  Ｍｅｔｈｏｄ  Ｆｒｏｍ  Ｇｒａｙ−Ｌｅｖｅｌ  Ｈｉｓｔｏｇｒａｍｓ（グレーレベルヒストグラムからのしきい値選択方法）」Ａｕｔｏｍａｔｉｃａ  １１．２８５〜２９６（１９７５）：２３〜２７で説明されており、その文献は、本明細書では参照によりその全体が組み込まれている。重み付けされたＨ画像（例えば、Ｈチャネルの染色寄与を反映する画像、その場合、重み付けされたＨ画像は、Ｈチャネルの染色寄与がより高い／より低いときに、より高い／より低い値を有する）が、Ｈチャネル画像上でのＯＴＳＵベースのしきい値処理、及び、滑らかな重み付けの後で取得される。同様に、重み付けされたＥ画像が、Ｅチャネル画像上でのＯＴＳＵベースのしきい値処理、及び、滑らかな重み付けの後で取得される。最終的には、重み付けされたＨＥ画像が、後に続くように取得される：重み付けされたＨＥ画像内の各々の画素＝（Ｈチャネル画像画素、Ｅチャネル画像画素）の最大値であり、すなわち、その各々の画素は、Ｈ及びＥチャネル画像内の対応する画素値の最大値である。
【００７８】
図１６は、Ｈチャネル画像に対する、滑らかな重み付けプロセスの実施形態を例解する。ＯＴＳＵベースのしきい値処理が実行される後で、（前景を背景Ｈチャネルから分離するための）しきい値の値が、ｌｅｖｅｌＨとして選び取られる。したがってｌｅｖｅｌＨは、Ｈチャネル上で計算されるＯＴＳＵベースのしきい値であり、ｌｏｗＨは、割合＊ｌｅｖｅｌＨの値であり、ｍａｘＨは、ｍａｘ（Ｈチャネル画像）、すなわち、Ｈチャネル画像内のすべての画素の最大値である。この説明から理解され得るように、Ｈ及びＥチャネルでは、より低い強度値が、画像内のより暗い領域に対応し、さらにはより高い強度値が、画像内のより明るい領域に対応し（符号なしｃｈａｒ画像では、［０，２５５］内の画素値に対して、より暗い領域が、０に近い画素に対応し、より明るさのある領域が、２５５に近い画素に対応する）、例えばＨチャネルでは、より暗い領域は、ヘマトキシリン（青色成分）がより強く表現されるエリアを表象する。最終的な重み付けされたＨ画像では、これらのより暗い領域（より青色の領域）に対する高い強度値が予想される。同様に、重み付けされたＨ画像では、ヘマトキシリンの寄与が低い、より明るい領域に対する、低い強度値が予想される。
【００７９】
一部の実施形態では目的は、青色ヘマトキシリンチャネルの寄与が高いときに、値においてより高く、青色チャネル寄与が低いときに、値においてより低い、重み付けされたＨ画像を取得することである。図１６は、どのように、滑らかに重み付けされた画像（すなわち、画像内の染色内容物に基づいて重み付けされ、より高い染色内容物をもつ画素で、より高く重み付けされる画像；すなわち、ＨＥ画像に対しては、Ｈ又はＥチャネルからのより高い寄与をもつ領域が、より高い重み値を割り当てられる）が計算され得るかを例解する。重み付けされた画像（例えば、ＨＥに対して）を生成するために、個々の重み付けされた画像（重み付けされたＨ画像、及び、重み付けされたＥ画像）の各々の画素は、値を割り当てられる。図１６では、割合項が、Ｈ画像内の画素から、重み付けされたＨ画像への、及び、Ｅ画像内の画素から、重み付けされたＥ画像への間のマッピングを制御し、このパラメータを選択するために、本願では、実験をトレーニング画像のデータセット上で行った。割合項に対する値０．８が、本願に対して、最良の位置合わせ出力を、このデータセットからの結果に基づいて与えた。これに対して例として、Ｈ画像の画素値が、重み付けされたＨ画像に、後に続くようにマッピングされる：割合＝１であるとき、ｌｏｗＨ（ｌｏｗＨ＝割合＊ｌｅｖｅｌＨであり、ただしｌｅｖｅｌＨは、Ｈチャネル上で計算されるＯＴＳＵベースのしきい値である）＝ｌｅｖｅｌＨ（割合＝１に対応する）であり、ｌｏｗＨより少ない青色チャネル寄与（Ｈチャネルの値）を有する画像画素は、１の値を割り当てられる。したがって、割合が１であるとき、重み付けされたＨ画像は、範囲［ｌｏｗＨ＝ｌｅｖｅｌＨ，ｍａｘＨ］での非ゼロの画素強度値を有する（ただしｌｅｖｅｌＨは、Ｈチャネル上で計算されるＯＴＳＵベースのしきい値を表し、ｍａｘＨは、Ｈチャネル画像の最大値を表す）。一部のそのような実施形態では、ｌｅｖｅｌＨより低い、Ｈチャネルでの画素／画素強度値に対して、重み付けされたＨ画像は、１の値を割り当てられる。範囲［ｌｏｗＨ，ｍａｘＨ］内にあるＨチャネルでの画素値に対して、重み付けされたＨ値は、範囲［１，０］内にある。Ｈチャネルでの［ｌｏｗＨ，ｍａｘＨ］の範囲は、重み付けされたＨ画像での［１，０］の範囲にマッピングされる。一部の実施形態では割合は、０．８の経験的に選定された値である。したがって、重み付けされたＨ画像は、画素値のより広い範囲内の値を有することになり、しばしば、より微弱な画像領域では、ＯＴＳＵにより返されるしきい値は正確でない場合があり、ゆえに、より低い値が、重み付けされた画像に、ＯＴＳＵしきい値よりわずかに高い値をもつ画像画素に対して割り当てられる。
【００８０】
図１７及び１８は一体で、ＩＨＣ画像に対する、滑らかな重み付け前景画像抽出プロセスを例解する。図１７Ａに示されるように、画像抽出プロセスは本質的には、アンミキシング又はカラーデコンボリューションプロセスであり、主なカラー成分が画像から抽出される。例えば例解される実施形態では、ヘマトキシリン（青色）及びＤＡＢ（茶色）が主な染色成分であり、アンミキシング又はカラーデコンボリューションが、ＩＨＣ画像をこれらの２つのカラーチャネルに分離するために使用される。
【００８１】
ＨＥ画像に対して使用されるのと同じ、滑らかな重み付け方法がここで、ＩＨＣ画像に対して使用される。重み付けされたＤＡＢ画像が、ＤＡＢチャネル画像上でのＯＴＳＵベースのしきい値処理、及び、滑らかな重み付けの後で取得される。同様に、重み付けされたヘマトキシリン画像が、ヘマトキシリン画像上でのＯＴＳＵベースのしきい値処理、及び、滑らかな重み付けの後で取得される。最終的には、重み付けされたＩＨＣ画像は、画素ごとのｍａｘ（重み付けされたＤＡＢ画像，重み付けされたヘマトキシリン画像）であり、すなわち、重み付けされたＩＨＣ画像内の各々の画素は、ＤＡＢ及びヘマトキシリンチャネル画像内の２つの対応する画素の最大値である。
【００８２】
図１８は、ＤＡＢチャネル画像に対する、滑らかな重み付けプロセスの実施形態を例解する。ＯＴＳＵベースのしきい値処理が実行される後で、（前景を、ＤＡＢ（茶色）チャネル内の背景から分離するための）しきい値の値が、ｌｅｖｅｌＢｒとして選び取られる。したがってｌｅｖｅｌＢｒは、茶色チャネル上で計算されるＯＴＳＵベースのしきい値であり、ｌｏｗＢｒは、割合＊ｌｅｖｅｌＢｒであり（ここで、割合は０．８である）、ｍａｘＢｒは、ｍａｘ（茶色チャネル画像）であり、すなわちｍａｘＢｒは、茶色チャネル画像内のすべての画素値の最大値である。ｌｏｗＢｒより低い茶色チャネルでの値に対して、重み付けされたＤＡＢ画像は、１の値を割り当てられる。茶色チャネルでの［ｌｏｗＢｒ，ｍａｘＢｒ］の範囲は、重み付けされたＤＡＢ画像での［１，０］の範囲にマッピングされる。この説明から理解され得るように、茶色及び青色チャネルでは、より低い強度値は、画像内のより暗い領域に対応する。同様に、より高い強度値は、画像内のより明るい領域に対応する。全体としてのプロセスによって、図１７Ｃに示されるような、滑らかに重み付けされた前景画像を、図１７Ｂに示されるような元のＩＨＣ画像から生成することが結果として生じる。
【００８３】
滑らかに重み付けされた前景画像はさらには、例えば、グレースケール画像を用意し、ＯＴＳＵを適用して、グレースケール画像をバイナリ画像に変換することにより、蛍光画像から抽出され得る。一部の実施形態では、滑らかに重み付けされた前景画像を抽出することに対する開始点として、グレースケールサムネイル画像が、蛍光画像から読み取られる。次いでＯＴＳＵが、グレースケールサムネイル画像をバイナリ画像に変換するために使用される。及び次いで、連結成分（連結成分は、バイナリ画像を調査し、その画像を、多数の重ならないブロブ  −−  すなわち、連結画素により編成される領域に分離して、別個の接触しないブロブに個々にアクセスするために使用される技法である）が、バイナリ画像上で実行されるものであり、そのことは例えば、Ｓａｍｅｔ，  Ｈａｎａｎ、「Ａｎ  Ｉｍｐｒｏｖｅｄ  Ａｐｐｒｏａｃｈ  ｔｏ  Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ  Ｌａｂｅｌｉｎｇ  ｏｆ  Ｉｍａｇｅｓ（画像の連結成分ラベリングに対する改善された手法）」、Ｐｒｏｃｅｅｄｉｎｇｓ、ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｐｒｅｓｓ、１９８６で説明されるようなものであり、その文献は、本明細書では参照によりその全体が組み込まれている。一部の実施形態では連結成分分析は、バイナリ画像内の連続する領域を、標準アルゴリズムを使用して返すために使用される。連結成分決定の後で返される連続する領域から、アウトライア領域の一部が、より小さなセルサイズなどの、あらかじめ決定された判定基準に基づいて放棄される（一度すべての重ならないブロブが抽出されると、或るサイズより小さいブロブは放棄され、そのため前景は、サイズ制約を満たすブロブのみに対応する）。
【００８４】
プロセスの結果は、サムネイル画像内の前景領域を、各々の領域が、或る最小サイズを上回る場合に有するためのものである。一部の実施形態では、Ｎが前景画像内のＯＮ画素の総数であるならば（ここでＮは、前景画像内の非ゼロである画素の総数を表象し、ＯＮ画素は、０より大である前景画像内の画素である）、連結成分から取得される単一のブロブから予想される最小サイズは、少なくともＮ／２０  −  最小エリアの選定であるはずであり、ただしＮ／２０は、経験的に選定されるものである。例えばパラメータＮ／２０は、トレーニング画像のデータセットからの実験結果に基づいて選定されたものであり、このパラメータの範囲が画像上で試験され、値Ｎ／２０が最良の結果を提供した。これらの領域に対して、より高い値が、滑らかに重み付けされた前景画像に対して、サムネイル画像がより暗い場合に割り当てられる。サムネイル画像では、ガラスの強度は、全体的に領域［２４０〜２５５］内であり、組織内容物は、全体的にガラスより暗く、画素値＜２４０を有する。したがって、より低い強度をもつ領域に対応する、サムネイル画像内のより暗い領域は、組織領域である公算がより大きい。同様に、強度値が全体的に組織領域内より高い、サムネイル内のより明るい領域は、全体的にガラスに対応する。
【００８５】
一部の実施形態では前景画像は、（例えば、上記で説明された方法により取得される）滑らかに重み付けされた前景画像から生成されるバイナリマスクであるが、他の実施形態では、図１４に示されるように、前景画像は、２つのバイナリマスク  −  滑らかに重み付けされた前景画像から生成されるバイナリマスク、及び、勾配振幅画像から生成されるバイナリマスクのバイナリＯＲ結合である。一部の実施形態では勾配振幅画像は、カラー画像から取得されるグレースケール画像から、ならびにさらに、ｘ及びｙ軸に沿ってガウス１次導関数を使用して、両方の軸に沿って３の標準偏差（ガウス関数は、２つのパラメータ、平均及び標準偏差により指定され、ここでは平均は０であり、標準偏差はσにセットされる）σをもつカーネルを使用して計算される。滑らかに重み付けされた前景画像に関して、関連性のある前景領域は、背景領域と比較して、染色成分のより高い寄与を有するはずであり、勾配振幅画像に関して、染色寄与が非常に微弱であり得る前景領域が存在し得るものであり、勾配振幅が、より微弱な前景領域と、より平滑な背景領域との間で区別する一助となり得る。
【００８６】
前景画像マスクが抽出される後で、グローバル変換パラメータが推定される（ブロック６１２ｄ、図１３）。一部の実施形態では、第１の画像（例えば、ユーザ／病理医が、或る領域をマーキングしたソース画像）、及び第２の画像（例えば、ユーザ／病理医が、マーキングされた領域を索出するために選択した目標画像）が、グローバル変換を計算するために比較される。図１９〜２０に示されるように、一部の実施形態では比較は、ラインベースの特徴手法を使用して行われる（ブロック６１２ｃ、図１３）。全体的には、図１９に示されるように、並列スライス、ただし、異なる染色（マーカ）、モダリティ（明視野／蛍光）、スキャナ、その他から発生する画像間の対応を見出すために、一部の実施形態では、ラインベースの特徴が、ソース／目標画像の各々の対に対する、滑らかに重み付けされた前景画像、及び勾配振幅画像から生成される有効バイナリマスク（前景画像）の境界に沿って計算され、図１３に示されるように、変換パラメータが次いで、ラインベースの特徴の２つのセット間で計算され、変換は、回転、鏡映、及び並進によって表現される。一部の実施形態では、ラインベースの特徴は、組織の内部的な部分で計算され得るが、発明者らは、組織の自然消耗によって、境界領域と比較して、組織の内部的な部分で、より有意な変化が結果として生じる場合があるということを経験的に認めている。（「自然消耗」ミスマッチ又は反転は、染色するとき、及び、染色された組織スライドをスキャナベッド上に置くときなどの、スライド用意プロセスから結果として生じる場合がある。）したがって、ラインベースの画像位置合わせは、それでもなお、例えば、自然消耗が内部的な構造に対してのものであり、境界構造に対してのものではない場合に、ソース画像と目標画像との間の自然消耗ミスマッチの事例で使用され得るものであり（自然消耗の影響は、境界構造と比較して、内部的な構造に対して、より認められるものであり、そのため位置合わせアルゴリズムは、本願で、内部的な構造を表すラインセグメントを使用することと比較して、境界ラインを検討する場合に、結局はラインをマッチングすることになる公算がより大きいということが、経験的に認められている）、すなわち、マッチングすることがそれでもなお可能である場合に、ソース画像から抽出されるラインセグメントの５０％より大であるものが、目標画像内の対応するラインセグメントとマッチングされ得る。
【００８７】
図２０Ａから２０Ｅは、ラインベースの特徴を決定し、変換（例えば、回転に加えてｘ、ｙシフト）を見出すための方法の実施形態を例解するものであり、その変換は、第１のエリア内の第１の画像を、第２のエリア内の第２の画像に、時には、挿入、欠落、ＡＯＩミスマッチ、筋状の黒色ライン、その他などの欠陥の事例でも変換するものである。近接の組織切片のスライドの間のミスマッチは、スライドを用意することに関係させられる物理プロセスが理由で、結果として生じ得る。例えばスキャニングの間は、高分解能スキャニングのために捕えられる物理スライドの領域が、関心エリア（「ＡＯＩ」）を構成する。図２１Ａに示されるように、２つの近接のスライスがスキャンされるとき、捕えられるＡＯＩは、２つのスライド間で異なり得るものであり、２つの近接のスライド間で十分な変動が存在し得るものであり、そのことによって、これらのスライスのスキャンの間に捉えられるＡＯＩは、一方の中に、他方と比較して、追加的な／欠けている領域を有する場合がある。ゆえに一方のスキャンされた画像は、他方のサブセット／スーパーセットであり得る。結果として、図２１Ｂに示されるように、位置合わせの後の索出された領域にミスマッチが存在し得る。図２１Ｃに示されるように、本開示によるラインベースの実施形態は、それにもかかわらず、両方の画像で比較されることになる適正なサブセット領域を自動的に計算し得る。同様に図２２から２４に示されるように、ラインベースの位置合わせ方法の実施形態は、第１の画像の第１のエリアを、第２の画像の第２のエリア内に、スライド間の小さな回転角度及びｘ−ｙ並進（図２２）、又は大きな回転角度（図２３の事例では、１８０度の角度）、又は自然消耗（図２４）などの欠陥にもかかわらず、適正に変換し得る。換言すれば、本開示による位置合わせ実施形態は、例えば、第１の画像の或るサブセットの変換されたバージョンを、第２の画像の或るサブセットに対して位置調整することに基づいて、ミスマッチにもかかわらず２つの近接の画像を成功裏に位置調整することが可能であり、一方の画像の全体の、他方の画像の全体に対する位置調整を要しない。図２７は、ＡＯＩミスマッチングされたスライドであって、それでも、本明細書で説明されるラインベースの位置合わせプロセスにより適正に位置調整され得るスライドの例である。
【００８８】
図２０Ａから２０Ｄの例が例解するように、一部の実施形態では、ラインベースの特徴は、各々の画像を、適切な結果を返すように選定されているサイズをもつ、より小さなサイズ設定されたウィンドウに分けることにより計算される（すなわちウィンドウは、ラインが区別され得るようにサイズ設定される）。一部の実施形態ではウィンドウは、８０ｘ８０ウィンドウであり、ラインセグメントは、ウィンドウごとに、ｘ及びｙ軸に沿った４０画素のウィンドウシフトによって計算される。境界に沿う各々のウィンドウに対して、ラインベースの特徴が計算される。或るウィンドウがあるとして、ウィンドウの各々の行が検討される。例えば第ｉの行に対して、ＬｅｆｔＴｏＲｉｇｈｔＰｔｓ（ｉ）が、図２０Ｂに示されるような、ＯＮ画素（前景画素）（バイナリ画像内のＯＮ画素は、１の値をもつ画素であり、一方でＯＦＦ画素は、０の値をもつものである）を有する一番左の列として定義される。第ｉの行に対して、ＲｉｇｈｔＴｏＬｅｆｔＰｔｓ（ｉ）が、図２０Ａに示されるような、ＯＮ画素（前景画素）を有する、検討されるウィンドウの一番右の列として定義される。同様に、各々の列が今度は検討される。第ｉの列に対して、ＴｏｐＴｏＢｏｔｔｏｍＰｔｓ（ｉ）が、図２０Ｃに示されるような、ＯＮ前景画素を有する一番上の行として定義される。第ｉの列に対して、ＢｏｔｔｏｍＴｏＴｏｐＰｔｓ（ｉ）が、図２０Ｄに示されるような、ＯＮ前景画素を有する一番下の行として定義される。
【００８９】
説明されるモデルでは目的は、境界の近傍にある所与のウィンドウに対する最良の適合ラインが、（ＬｅｆｔＴｏＲｉｇｈｔＰｔｓにより与えられる）各々の行に沿った一番左のエッジ点のシーケンスにより、又は、（ＲｉｇｈｔＴｏＬｅｆｔＰｔｓにより与えられる）各々の行に沿った一番右のエッジ点により、又は、（ＴｏｐＴｏＢｏｔｔｏｍＰｔｓにより与えられる）各々の列に沿った一番上のエッジ点により、又は、（ＢｏｔｔｏｍＴｏＴｏｐＰｔｓにより与えられる）各々の列に沿った一番下のエッジ点により与えられるかどうかを確認することである。次いであらゆる事例に対して、どの事例が最大長間隔、すなわち、連続の点の最大数を与えるかに対して検討が与えられるものであり、そのことは、有力なエッジ方向（検討されるウィンドウ化された領域に対する境界画素を表す）が、これらの４つのエッジ  −  一番左のエッジ、一番右のエッジ、一番上のエッジ、又は一番下のエッジの１つに沿う点により表現され得るということの理解に基づくものである。
【００９０】
ラインをこれらのエッジ点に基づいて計算することの例が、図２０ａ〜ｄに示される。具体的には、図２０の実施形態では、各々の８０ｘ８０にサイズ設定されたウィンドウに対して、Ｎ個の境界点（｛（ｘｉ，ｙｉ）｝、ｉ＝１、２、…、Ｎは、Ｎ個の点のセットである）が存在するものとする。あらゆる２つの点に対して、ラインセグメントモデルが計算され得る。本願では、点の、点のランダムサンプリング（例えば、Ｍ．Ｆｉｓｃｈｌｅｒ及びＲ．Ｂｏｌｌｅｓ、「Ｒａｎｄｏｍ  ｓａｍｐｌｅ  ｃｏｎｓｅｎｓｕｓ：ａ  ｐａｒａｄｉｇｍ  ｆｏｒ  ｍｏｄｅｌ  ｆｉｔｔｉｎｇ  ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎｓ  ｔｏ  ｉｍａｇｅ  ａｎａｌｙｓｉｓ  ａｎｄ  ａｕｔｏｍａｔｅｄ  ｃａｒｔｏｇｒａｐｈｙ（ランダムサンプルコンセンサス：画像分析及び自動製図器への適用に関するモデル適合に対するパラダイム）、：Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ｏｆ  ｔｈｅ  ＡＣＭＩ、第２４巻、第６号、３８１〜３９５ページ、１９８１によるものであり、その文献は、本明細書では参照によりその全体が組み込まれている）を実行し、ラインセグメントモデルを、選択された点の所与の対に対して計算する。モデルが十分に適正であるならば、そのモデルは、点の大部分に対して当てはまることになる。例えば、２つの所与の点（ｘｍ，ｙｍ）及び（ｘｎ，ｙｎ）に対して、計算されたラインセグメントの傾きがＭｍ，ｎであり、ｙ切片がＣｍ，ｎであるとする。すべての入力境界点に対して、本願で、このラインベースのモデルを想定する場合、ｘ座標｛ｘｉ｝、ｉ＝１、２、…、Ｎに対して、対応するｙ座標｛ｙｉ｝、ｉ＝１、２、…、Ｎが、ｙ’ｉ＝Ｍｍ，ｎ（ｘｉ）＋Ｃｍ，ｎとして計算され得る。換言すれば、｛（ｘｉ，ｙｉ）｝、ｉ＝１、２、…、Ｎが、検討中のウィンドウ化された領域の境界領域から取得されるＮ個の点のセットであり、ラインセグメントが、第ｍ及び第ｎの点（ｘｍ，ｙｍ）及び（ｘｎ，ｙｎ）を使用して計算され、計算されたラインモデルが、ｙ＝Ｍｍ，ｎｘ＋Ｃ（ここで、適合ラインの傾きはＭｍ，ｎにより与えられ、ラインのｙ切片はＣにより与えられる）により表されるものとする場合、すべての点｛ｘｉ｝、ｉ＝１、２、…、Ｎは、Ｍｍ，ｎ及びＣにより与えられる、このラインモデルを使用して変換されるものであり、ｙ’ｉ＝Ｍｍ，ｎ（ｘｉ）＋Ｃとする。ラインモデルを適合させることのコストは、ｉ＝１、２、…Ｎにわたって合計される、「ｄｉｓｔ」＝Σ｜ｙｉ−ｙ’ｉ｜により与えられる。「ｄｉｓｔ」の最も小さな値を生み出すラインパラメータセット（式Ａ）（このランダムサンプリングプロセスでは、ラインセグメントの様々な対が検討され、「ｄｉｓｔ」と名付けられた適合コストが各々の事例で計算され、すべてのこれらの事例から、「ｄｉｓｔ」の最も低い値を生むラインセグメント対が、検討中のウィンドウに対する全体の境界領域に対する最良のライン適合を返すために使用される）が、最良のラインパラメータセットとして選択され、（距離の２単位の範囲内で）予測されるラインモデルに非常に近くにあるライン点が検討され、先端点が、ラインセグメントの２つの先端の端部を表すために使用される。ラインモデルは、例えば５つの数  −  ��ラインセグメントに沿った開始点のｘ−ｙ座標）、（ラインセグメントに沿った終了点のｘ−ｙ座標）、及び（ラインセグメント上にある点に沿った勾配振幅値の合計）により表される。
【００９１】
一部の事例では、所与のウィンドウに対して、例えば、図２０Ｅに示されるように、２つ以上の有力な方向が存在し、上から下へのスキャニング、及び、右から左へのスキャニングの両方が、有意に長いラインセグメントを生む場合、単一のラインセグメントが、良好な適合でない場合がある。そのような事例では、単一のラインセグメントモデルを使用して境界領域を表すことは困難であり得るものであり、ゆえに本願では、ラインモデルをそのような領域に対して強いることを差し控える。ラインセグメントモデルは、単一のラインセグメントが境界領域を適正に捉えることが可能である境界領域に対して計算される。
【００９２】
一部の実施形態では、計算されたラインセグメントは、ラインにより良好に適合させられた点のセット（式Ｂ）が、境界点の半分より多くのものをカバーするならば、有意とみなされる（式Ｃ）。所与のウィンドウに対して、単一のラインセグメントは、２つの／より多くの有力な方向が存在するならば、良好な適合でない場合がある。
【００９３】
【数１】
0006499643.tif 000002
【００９４】
Ｐ＝｛ｉ：｜Ｍｍ＊，ｎ＊ｘｉ＋Ｃｍ＊，ｎ＊｜≦２｝  （式Ｂ）
｜Ｐ｜＞（Ｎ／２）であるならば、適合させられたラインは有意である。  （式Ｃ）
Ｐ（式Ｂ）の先端の端部が、ラインセグメントを表すために使用される。（ｘ１，ｙ１）から（ｘ２，ｙ２）に伸長するラインセグメントが、下記で論考される３つの項により表される。
【００９５】
計算されたラインセグメントは、ラインにより良好に適合させられた点のセット（そのウィンドウに対する最良の適合ラインモデルの距離の２単位の範囲内にある点のセット）が、境界点の半分より多くのものをカバーするならば、有意とみなされる。したがって、本願で、単一の有力な方向を有するとき、最良の適合させられたラインセグメントは、そのラインセグメントに近い（距離の２単位の範囲内の）境界点の＞５０％を有することになり  −  ゆえに本願では、最良の適合させられたラインセグメントが、境界点の５０％より多くのものを受容し得る／それらのものに適合し得るときにのみ、単一のラインモデルを適合させる。このモデルは、実験によって経験的に決定されたものであり、そのモデルは、「単一の」ラインモデルをすべての境界点に対して適合させることに関するあいまいさが存在する領域を拒絶するものであり、その場合、拒絶に対する規則は、前の文で述べられている。計算されたラインセグメントのセットは、それらのラインセグメントが、ウィンドウ化された領域の境界小部分を表すようなものであるべきであり、単一の適合させられたラインに関するあいまいさが存在する、ウィンドウ化された領域に対するラインセグメントを計算することを回避することは、後続のラインマッチングステップが、誤ったマッチの数を低減する一助となる。
【００９６】
図２５及び２６は、変換パラメータを、ライン特徴の２つのセット間で計算するための方法の実施形態を提供する、ブロック６１２ｃのさらなる詳細を例解する。図２５に示されるように、及び、下記で１）から３）で説明されるように、一部の実施形態では変換パラメータは、３つの事例に対して推定され、それらの事例の各々に対して、回転（Δθ）及びシフト（Δｘ、Δｙ）が計算される（すなわち、各々の事例で、本願では、組織が、回転及び並進を、ｘ及びｙ軸に沿って受ける場合があるということを想定するものであり、下記での「並進」は、「ｘ軸に沿った並進、及び、ｙ軸に沿った並進」に対する簡略表現である）：
１）回転＋並進（この第１の事例は、組織が反転されていないということを想定する）、
２）水平反転＋回転＋並進（この第２の事例は、組織が、水平の、又は、左から右への反転を経験しているということを想定する）、
３）垂直反転＋回転＋並進（この第３の事例は、組織が、垂直の、又は、上から下への反転を経験しているということを想定する）。
【００９７】
例解される実施形態では、ラインマッチングベースのコストが、すべての３つの事例に対して計算され、最良のマッチング（最小コスト）を結果として生じさせる事例が、変換条件とみなされる。選択された変換条件に対して、回転（Δθｏｐｔ）及びシフト（Δｘｏｐｔ、Δｙｏｐｔ）が返される。目的は、並進（Δｘｏｐｔ、Δｙｏｐｔ）及び回転角度（Δθｏｐｔ）を取得することであり、さらには、画像２のサブ部分に最良にマッチングする画像１のサブ部分を見出すことである。より強いライン（より強いラインセグメントは、その画素に沿って合計された勾配振幅の合計のより高い値をもつものである）の中で、画像１及び２内の対応するラインの対が見出され得るならば、グローバル位置合わせを啓示する、これらのライン間のシフト及び角度が計算され得る。
【００９８】
より具体的には、（ｘ１，ｙ１）から（ｘ２，ｙ２）に伸長するラインセグメントが、３つのパラメータにより表され得る。
ａ）ライン中心＝（ｘ１＋ｘ２）／２、（ｙ１＋ｙ２）／２
ｂ）ライン角度＝ｔａｎ（−１）（（ｙ２−ｙ１）／（ｘ２−ｘ１））
ｃ）勾配強さＭ＝ラインに沿った勾配振幅値の合計
（ｘｉ１，ｙｉ１）、ｉ＝１、…、Ｎ１でのライン中心、及びライン角度（θｉ１）、及び強さ（Ｍｉ１）をもつ、画像１に対するＮ１個のラインが存在し、ラインセグメントは｛Ｍｉ１｝の降順でソートされるということを想定する。さらには、（ｘｉ２，ｙｉ２）、ｉ＝１、…、Ｎ２でのライン中心、及びライン角度（θｉ２）、及び強さ（Ｍｉ２）をもつ、画像２に対するＮ２個のラインが存在し、ラインセグメントは｛Ｍｉ２｝の降順でソートされるということを想定する。それらの想定によって、所与の事例（反転なし、左から右への反転、及び、上から下への反転）に対するラインマッチングコストの計算が、以下の例により提供される。
【００９９】
・画像１内の上位のＴ１個のライン、及び、画像２内の上位のＴ２個のラインを検討する（例えば本願の実験では、本願では経験的に、Ｔ１＝ｍｉｎ（５０，セット１内のラインの数）、及び、Ｔ２＝ｍｉｎ（５０，セット２内のラインの数）を使用した）
・本願では、サイズ（Ｔ１ｘＴ２ｘ２）のものであるスコア行列Ｓを構築し、その場合本願では、ラインの２つのセット間でのあらゆるライン対に対するマッチングコストの経過を追い、本願では、２つのラインセグメント間の２つの可能な角度を検討する（第２のラインの１８０°シフトされたバージョンを検討する）
・本願では、すべての（Ｔ１ｘＴ２個の）対を検討し、シフト及び回転角度を、ラインセグメントのあらゆる対に対して、セット１内の上位のＴ１個のライン、及び、セット２内の上位のＴ２個のラインを検討しながら計算する
・行列ｒｏｔＤｉｆｆは、セット１及び２内のあらゆる可能なライン対の間の角度の差を内包し、その場合、ｒｏｔＤｉｆｆ（ｉ，ｊ）＝θｉ１−θｊ２である
・Ｆｏｒ  ｉ＝１：Ｔ１  ／／ここで、ｉ＝画像１内の選択されたラインのインデックスである
・Ｆｏｒ  ｊ＝１：Ｔ２  ／／ここで、ｊ＝画像２内の選択されたラインのインデックスである
・Ｆｏｒ  ｋ＝１：２
・ｋ＝１であるとき；ｄｒ＝θｉ１−θｊ２
・ｋ＝２であるとき；ｄｒ＝θｉ１−（−ｓｉｇｎ（θｊ２）＊（Π−｜θｊ２｜））
（ライン２の１８０°シフトされたバージョンを検討する）
・各々の事例に対して、セット１内のすべてのラインをｄｒだけ回転させる
・セット１の変換されたライン中心を、｛（ｘ’ｉ１，ｙ’ｉ１）｝、ｉ＝１、…、Ｎ１とする
・ｌｏｃＤｉｆｆＸ（ｉ，ｊ）＝（ｘ’ｉ１）−ｘｊ２、ｌｏｃＤｉｆｆＹ（ｉ，ｊ）＝ｙ’ｉ１−ｙｊ２；
ｄｘ＝ｌｏｃＤｉｆｆＸ（ｉ，ｊ）；ｄｙ＝ｌｏｃＤｉｆｆＹ（ｉ，ｊ）
・ＤＸ＝｜ｌｏｃＤｉｆｆＸ−ｄｘ｜；ＤＹ＝｜ｌｏｃＤｉｆｆＹ−ｄｙ｜；
・ＤＲ＝｜ｒｏｔＤｉｆｆ−ｄｒ｜（値を［０，Π／２］に制限する）
・ｓｃ＝ｓｑｒｔ（ＤＸ．＾２＋ＤＹ．＾２）＋α＊ＤＲ（経験的には、α＝１／３）
・Ｓ（ｉ，ｊ，ｋ）＝（セット１内のあらゆるライン中心から、セット２内の最も近傍の変換されたライン中心への最小距離）の中央値
・さらには、シフト（−ｄｘ、−ｄｙ）及び回転角度（ｄｒ）を保存する
・ｆｏｒループ（ｋ）を終了する
・ｆｏｒループ（ｊ）を終了する
・ｆｏｒループ（ｉ）を終了する
・Ｓから、最小値Ｓｍｉｎを計算し、さらには、対応するシフト及び角度を記録する
・すべての３つの条件（反転を併せもたない、水平反転を併せもつ、又は、垂直反転を併せもつ）に対して、対応するＳｍｉｎを見出し、最小Ｓｍｉｎを結果として生じさせる条件、対応するシフト＝（Δｘｏｐｔ、Δｙｏｐｔ）、一方で、対応する角度＝（Δθｏｐｔ）を記録する
ラインベースのモデルは、そのモデルが一度計算される必要があるのみであり得るという点で、水平及び垂直反転条件に関して利益を有し得る。より具体的には、画像１が、Ｍ個の行及びＮ個の列をもつＭｘＮ画像であるものとする。次いで、一度ラインモデルが画像１に対して計算されると、同じモデルが、画像１の反転されたバージョンを説明するために容易に拡張され得る。例えばラインは、開始及び終了点により、ならびに、勾配振幅の合計により表される。有効なラインセグメントは同じままである（そのラインセグメントの構成物の点の座標のみが変化する）ので、本願では、開始及び終了点を再計算する必要があり、一方で、勾配振幅の合計は一定である。例えば、水平に反転された事例に対して、画像１内の点（ｘ，ｙ）は、
画像１の水平に反転されたバージョンのグリッド内の（Ｎ−１−ｘ，ｙ）にマッピングされることになり、その場合、列インデックスは、０、１、２、…、Ｎ−１と番号付けされる。垂直に反転された事例に対して、画像１内の点（ｘ，ｙ）は、画像１の垂直に反転されたバージョンのグリッド内の（ｘ，Ｍ−１−ｙ）にマッピングされることになり、その場合、行インデックスは、０、１、２、…、Ｍ−１と番号付けされる。
【０１００】
図２６は、検索ウィンドウが、粗い位置合わせの後に返される注釈領域の周囲に示される、本開示による微細な位置合わせプロセスの実施形態の基本概念を例解する。ユーザによりマーキングされた視野１（ＦＯＶ−１）が、変換された画像１グリッド内のウィンドウＷ１にマッピングされる（画像１は、グローバル変換の後に返される変換パラメータを使用して変換される）。ウィンドウＷ２は、変換された画像１グリッド内のウィンドウＷ１が、画像２のグリッドに直接マッピングされるときに取得される（わずかなミスマッチは、グローバル変換の不正確さに起因する）。ウィンドウＷ１と同じサイズのウィンドウが、検索ウィンドウ内でスライドさせられ、各々のウィンドウ位置に対する、画像１内の位置Ｗ１と、画像２内の現時のウィンドウとの間の正規化相関が計算される。
【０１０１】
一度本願で、図２６に示されるように、最良の変換条件を計算したならば、本願ではさらには、この情報を利用して、画像１内のどの「サブセット」が、画像２内のどの「サブセット」と良好にマッチングするかを計算することが可能であり、この「サブセット」計算は、２つの画像間でのＡＯＩミスマッチに起因して、全体の画像１と全体の画像２との間のミスマッチが存在するが、画像２内の或るサブセットとまさに良好にマッチングする、画像１内の或るサブセットが存在するときでも、成功裏の位置調整を可能とし得る。より具体的には、
ａ）画像１内の点（ｘｉ１，ｙｉ１）に対して、その点が、変換の後に（ｘ’ｉ１，ｙ’ｉ１）にマッピングされるものとする。ここでの鍵は、画像１内のどの点が、変換の後に画像２内に表されるかを選択することであり、各々の画像内のバウンディングボックス、又は、関連性のあるサブセットが、対応する点のセットに対する囲繞する矩形である。
【０１０２】
ｂ）さらには画像２内の点により表される、変換された点に対しては、画像１内の変換されたライン中心と、画像２内の最も近傍のライン中心との間のユークリッド距離が、或るしきい値より少なくなることになり、すなわち、｛（ｘｋ１，ｙｋ１）｝は、
ｍｉｎ（すべてのｉに対して）ｄ（｛ｘ’ｋ１，ｙ’ｋ１｝，｛ｘｉ２，ｙｉ２｝）＜＝１０
であるならば代表点である。
【０１０３】
ｃ）例えば、画像１内のＮ１個の点から、ＰがＮ１’（Ｎ１’＜＝Ｎ１）個の点のセットとなり、それらのＮ１’個の点は、変換の後で、それらのＮ１’個の点が、画像２内の対応する点に近い（ユークリッド距離で＜＝１０単位）ようなものである：Ｐ＝｛（ｘｋ１，ｙｋ１）：ｋは、ｍｉｎ（すべてのｉに対して）ｄ（｛ｘ’ｋ１，ｙ’ｋ１｝，｛ｘｉ２，ｙｉ２｝）＜＝１０であるようなものである｝。
【０１０４】
ｄ）ゆえに、画像１内の関連性のあるバウンディングボックスＢ１が、セットＰ内のＮ１’個の点により与えられ、一方で、画像２内の関連性のあるバウンディングボックスＢ２が、その対応するＮ１’個の点により与えられる。したがって、画像１内のサブセットＢ１は、画像２内のサブセットＢ２とマッチングされ得る。例えば図２７では、計算されたサブセットが、矩形１により左手側図に（画像１に対するサブセットＢ１）、及び、矩形２により右手側図に（画像２に対するサブセットＢ２）示される。同様に、図２１ａ〜ｃ内のマーキングされた矩形は、どのように、ＡＯＩミスマッチングされた画像に対して、マッチングするサブセットが、位置合わせプロセスの出力として返され得るかを示す。
【０１０５】
ラインベースの方法はさらには、或る回転角度、ｘ及びｙ軸に沿った並進項を与えられた画像を変換し、両方の画像をグローバルに位置調整するために使用され得る。例えば、（ｘ，ｙ）が画像１内の点位置であり、本願では、画像１をθだけ回転させ、ｄｘ及びｄｙだけ、それぞれｘ及びｙ軸に沿って並進させることを所望するものとする。次いで、画像１のグリッド内の点（ｘ，ｙ）は、変換された画像１のグリッド内の（ｘ’，ｙ’）にマッピングされることになり、その場合次式となる。
【０１０６】
［ｘ’  ｙ’  １］Ｔ＝［ｃｏｓ（θ）  −ｓｉｎ（θ）  ｄｘ；ｓｉｎ（θ）  ｃｏｓ（θ）  ｄｙ；０  ０  １］＊［ｘ  ｙ  １］Ｔ
ただしＴは、転置演算子を表象する。
【０１０７】
反転することが行われる事例では、反転することが最初に行われ、次いで、回転及び並進パラメータが計算されるということが想定され得る。画像１が、（Ｍ個の行及びＮ個の列をもつ）ＭｘＮ画像であるものとする。水平反転が行われるとき、画像１のグリッド内の点（ｘ，ｙ）は、画像１の水平に反転されたバージョンのグリッド内の（Ｎ−１−ｘ，ｙ）にマッピングされ、ここで本願では、列インデックスが、０から、１、２、…、Ｎ−１と変動するということを想定する。この事例では、総合的な変換式は、後に続くようなものである。
【０１０８】
［ｘ’  ｙ’  １］Ｔ＝［ｃｏｓ（θ）  −ｓｉｎ（θ）  ｄｘ；ｓｉｎ（θ）  ｃｏｓ（θ）  ｄｙ；０  ０  １］＊［（Ｎ−１−ｘ）  ｙ  １］Ｔ
垂直反転することが行われる事例では、画像１のグリッド内の点（ｘ，ｙ）は、画像１の垂直に反転されたバージョンのグリッド内の（ｘ，Ｍ−１−ｙ）にマッピングされ、ここで本願では、行インデックスが、０から、１、２、…、Ｍ−１と変動するということを想定する。この事例では、総合的な変換式は、後に続くようなものである。
【０１０９】
［ｘ’  ｙ’  １］Ｔ＝［ｃｏｓ（θ）  −ｓｉｎ（θ）  ｄｘ；ｓｉｎ（θ）  ｃｏｓ（θ）  ｄｙ；０  ０  １］＊［ｘ  （Ｍ−１−ｙ）  １］Ｔ
一度グローバル変換モジュールが実行されると、画像間の変換を啓示する、回転、並進、及び鏡映パラメータ（何らかの反転することが存在するならば）が取得され得る。一部の実施形態では、第２の画像は保持され、第１の画像が、上記で述べられた変換パラメータを使用して変換される。図２８から３０は、どのように画像１が、それが画像２と同じグリッド上で位置調整され得るように変換され得るかを示し、図２８は、画像１に対するグリッド上の勾配振幅画像１を示し、図２９Ａは、変換され、画像２のグリッドに位置調整された勾配振幅画像１を示し、図２９Ｂは、画像１のグリッド内の画像２の勾配振幅ドメインで復元された（変換及びマッピングされた）画像１でマーキングされた点を示す。図３０は、図２９Ａでの画像１に対応するＨＥ画像を、及び、図２９Ｂでの画像２に対応するＩＨＣ画像を、及び、どのように、ＨＥ画像でマーキングされた点が、ＩＨＣ画像で、本明細書で説明される粗い位置合わせプロセスの後で復元されるかを示す。粗いマッチング方法は、最大限の高分解能画像を要しないものであり、ゆえに例えば、２つの２０ｘの全体的なスライド画像を位置合わせするために、それらの画像の低分解能バージョン（例えば、１ｘ画像）が、前景推定、ライン特徴計算、及び、後続のラインマッチングベースの変換推定に対して検討され得る。
【０１１０】
２つの画像を同じグリッド上で、粗い位置合わせプロセスを使用して位置調整した後で、図１２でのブロック６２５により識別される、「より微細な」位置合わせモジュールが、例えば、より高い分解能でのマッチングを改善するために呼び出され得る。図３１及び３２は、微細な位置合わせプロセスを呼び出す前（図３１Ａ及び３２Ａ）及び後（図３１Ｂ及び３２Ｂ）の、位置合わせ結果の２つの異なる例を提供する。図３３は、本開示の画像分析デバイス、システム、及び方法の部分として使用され得る、微細な位置合わせプロセスの実施形態の作業フロー線図である。
【０１１１】
図３３に示されるように、例示される微細な位置合わせモジュール実施形態は、変換された画像１（画像２のグリッドと位置調整された）（ブロック６２５ａ）、及び画像２（ブロック６２５ｂ）とともに始まり、変換された画像１のグリッド内の注釈された領域（ブロック６２５ｃ）（変換の後で、変換された画像１、及び画像２は、同じグリッド上にあるということに留意されたい）、及び、画像２のグリッド内の注釈された領域の周囲の検索ウィンドウ（ブロック６２５ｄ）を検討する。正規化相関ベースの測定が、下記で説明されるように使用される。本願では、画像１でマーキングされた注釈領域と同じサイズのウィンドウを検討し、このウィンドウは、画像２内のより大きな検索ウィンドウの内側のすべての可能な位置をカバーするように変動させられる。検索ウィンドウの内側のシフトされるサブウィンドウの各々の組合せに対して、正規化相関スコアが、画像２内のサブウィンドウと、変換された画像１内の固定されたウィンドウとの間で計算され（変換された画像１内の固定されたウィンドウ位置は、２つの画像が位置調整される、粗いグローバル位置合わせの後で取得される）、最大正規化相関スコアを生み出すサブウィンドウが、画像１でマーキングされた注釈領域の、画像２内の最良の位置特定を表すように選定される（ブロック６２５ｅ）。
【０１１２】
画像２のグリッドに位置調整された画像１、及び、より大きな検索ウィンドウを、画像２のグリッド内の各々の注釈領域の周囲に有する画像１の両方を示す例が、図３４Ａ及び３４Ｂに示される。示されるように、マーキングされた視野（「ＦＯＶ」又は「注釈」）に対して、本願では、それらのＦＯＶを、変換された画像グリッドにマッピングし（図３４Ａ）、次いで、画像２内のそのＦＯＶの周囲の或るウィンドウ（黒色の矩形により図３４Ｂで表象される）を検討する。正規化相関が、図３４Ａで使用されるＦＯＶを、図３４Ｂでのような、検索領域内で取得されるシフトされたウィンドウとマッチングするために、勾配振幅ドメインで使用される。一部の実施形態では、相関マッチングベースの検索の最大値はロバストに見出され、一度上位の５つの最大値点が取得されるならば、それらの点のｘ−ｙ位置の標準偏差が検討され、その標準偏差が、両方の次元で、或るしきい値（例えば、３つの画素）より少ないならば、そのことは、すべての５つの最大値が十分に近くに置かれているということを指示するものであり、次いで、最大値の位置のみが使用される。
【０１１３】
最良のマッチングウィンドウに対する検索は、マルチ分解能手法で、及び、各々の分解能によって行われ、一部の実施形態では検索ウィンドウは、計算の複雑度を低減するために２等分される。換言すれば、エリアのサイズは、１ｘから２ｘに移るときに２倍になるので、テンプレートウィンドウサイズは、検索時間を低減するために半分だけ低減される。例えば、（１ｘでの各々のサイズの注釈領域上での）４０画素の検索ウィンドウが、分解能＝１ｘで使用される場合、一度最良のマッチングウィンドウが１ｘで位置特定されると、（２ｘでの注釈領域のいずれかの側部上での）ウィンドウ４０／２＝２０画素の検索が、分解能２ｘで使用される。前の文で啓示されたように、検索ウィンドウサイズは、各々のステップで、計算複雑度を低減するために、より小さな小部分に分割され、例えば２等分され、ゆえに、或る分解能での４０画素の検索ウィンドウは、本願で、次のより高い分解能に進むときに、２０画素に低減される。同様に検索ウィンドウは、４ｘでは２０／２＝１０画素に、及び、１０ｘでは１０／２＝５ｘに低減される。セカンドパスマッチングの有用性が、図３１及び３２に示される。
【０１１４】
グローバル変換の後に返される索出された注釈のシフトすることを考慮に入れるために、より大きな検索ウィンドウを使用することの本概念の別の例が、図３４Ｃ図３４Ｃ及び３４Ｄに示される。示唆されるように、領域Ｗ１が画像１内に配置される。本願で、（ｘ軸に沿った＋−Ａ個の画素）及び（ｙ軸に沿った＋−Ｂ個の画素）の検索領域を可能とする場合、本願では、画像１内のウィンドウＷ１とマッチングし得る、画像２内の（２Ａ＋１）ｘ（２Ｂ＋１）個の可能な候補ウィンドウを有する。ここで変数Ａ及びＢは、検索ウィンドウが注釈ウィンドウより大きいということ、及び、検索ウィンドウが注釈ウィンドウより大きい程度を説明するための例としてのみ使用されており、その程度は、２つの変数Ａ及びＢにより左右されるものであり、本願の実験では、本願では、Ａ及びＢを７５画素として使用した。各々の事例に対して本願では、画像１のウィンドウＷ１内の勾配振幅画像を、画像２内の対応するウィンドウと比較する、正規化相関ベースのスコアを計算する。最大正規化相関スコアを返すウィンドウ構成（すなわち、ウィンドウであって、そのウィンドウに対して、２つの勾配振幅画像間の正規化相関を実行する間に、注釈ウィンドウと、より大きな検索ウィンドウの内部の対応するウィンドウとの間の最良の正規化相関が存在するウィンドウ）が返される。換言すれば、各々のウィンドウ構成は、その位置（例えば、左上隅（ｘ，ｙ））及びサイズを含む。一度ウィンドウ構成が、最も高い正規化相関スコアを与えると、本願では、この（ｘ，ｙ）及びウィンドウサイズを、別の画像からの検索するテンプレートウィンドウの見出された位置として出力する。出力位置、及び、別のものからのテンプレートウィンドウの位置が、位置合わせのための（ｘ，ｙ）対応の対を定義する。
【０１１５】
いくつかの実施形態が説明されたが、当業者であれば、さらに他の実施形態が本開示により包含されるということを理解する。変更が、上記で説明された実施形態に対して、それらの実施形態の広範な発明の概念から逸脱することなく行われ得るということが、当業者により認識されよう。したがって、本開示及び発明の概念は、開示される個別の実施形態に限定されるのではなく、添付される特許請求の範囲で定義されるようなものを含む、発明の概念の趣旨及び範囲の範囲内での修正をカバーすることが意図されるということが理解される。したがって、様々な実施形態の上述の説明は、必ずしも排除を暗に意味しない。例えば「一部の」実施形態、又は「他の」実施形態は、本発明の範囲内の「一部の」、「他の」、「さらなる」、及び「或る」実施形態の、すべて又は部分を含み得るものである。
【図１】
0006499643.tif 000003
【図２】
0006499643.tif 000004
【図３】
0006499643.tif 000005
【図４】
0006499643.tif 000006
【図５】
0006499643.tif 000007
【図６】
0006499643.tif 000008
【図７】
0006499643.tif 000009
【図８】
0006499643.tif 000010
【図９】
0006499643.tif 000011
【図１０】
0006499643.tif 000012
【図１１】
0006499643.tif 000013
【図１２】
0006499643.tif 000014
【図１３】
0006499643.tif 000015
【図１４Ａ】
0006499643.tif 000016
【図１４Ｂ】
0006499643.tif 000017
【図１４Ｃ】
0006499643.tif 000018
【図１５】
0006499643.tif 000019
【図１６】
0006499643.tif 000020
【図１７Ａ】
0006499643.tif 000021
【図１７Ｂ】
0006499643.tif 000022
【図１７Ｃ】
0006499643.tif 000023
【図１８】
0006499643.tif 000024
【図１９】
0006499643.tif 000025
【図２０Ａ】
0006499643.tif 000026
【図２０Ｂ】
0006499643.tif 000027
【図２０Ｃ】
0006499643.tif 000028
【図２０Ｄ】
0006499643.tif 000029
【図２０Ｅ】
0006499643.tif 000030
【図２１Ａ】
0006499643.tif 000031
【図２１Ｂ】
0006499643.tif 000032
【図２１Ｃ】
0006499643.tif 000033
【図２２】
0006499643.tif 000034
【図２３】
0006499643.tif 000035
【図２４】
0006499643.tif 000036
【図２５】
0006499643.tif 000037
【図２６】
0006499643.tif 000038
【図２７】
0006499643.tif 000039
【図２８】
0006499643.tif 000040
【図２９】
0006499643.tif 000041
【図３０】
0006499643.tif 000042
【図３１】
0006499643.tif 000043
【図３２】
0006499643.tif 000044
【図３３】
0006499643.tif 000045
【図３４Ａ】
0006499643.tif 000046
【図３４Ｂ】
0006499643.tif 000047
【図３４Ｃ】
0006499643.tif 000048
【図３４Ｄ】
0006499643.tif 000049