(57)【要約】  画像オブジェクトの少なくとも２つのセットの画像位置合せのための画像処理構成コンポーネント（ＩＰＣ）及び関連方法。画像オブジェクトは、生体物質のイメージのセグメント化によって以前に導出されたものとすることができる。画像オブジェクトのフィーチャに基づいて初期グローバル変換を計算する。この初期グローバル変換及びこの初期グローバル変換の逆変換を使用して、画像オブジェクトのセット間で、これらの２つのセット中の画像オブジェクト間で１つ又は複数のクロスリンクを確立する。次いで、これらの２つのセットからのクロスリンクされたオブジェクトについて、局所的に適合された複数の変換を計算する。次いで、結合器（Σ）が、局所的に適合された変換ｔｉを結合して、新たな位置合せトランスフォームＴＮＥＷにする。
2018529145.tif 000002
【特許請求の範囲】
【請求項１】
画像オブジェクトの少なくとも２つのセットを受け取る入力インタフェースであって、少なくとも１つのセットは、単一の画像オブジェクト又は複数の画像オブジェクトを備え、前記画像オブジェクトの前記少なくとも２つのセットは、生体物質のイメージから導出されたものである、入力インタフェースと、
前記画像オブジェクトの画像フィーチャ又は前記画像オブジェクトに関する画像フィーチャを導出する画像フィーチャ導出器と、
前記画像オブジェクトの前記少なくとも２つのセットのための初期グローバル位置合せ変換を前記画像フィーチャに基づいて計算するグローバル変換構築器と、
前記画像オブジェクトの前記少なくとも２つのセットからの画像オブジェクト間の少なくとも１つのクロスリンクを、前記初期グローバル位置合せ変換及び前記初期グローバル位置合せ変換の逆変換に基づいて確立するクロスリンカと
を備える画像処理構成コンポーネント。
【請求項２】
前記クロスリンクについて、前記クロスリンク内でクロスリンクされた画像オブジェクトに限定された局所的に適合された少なくとも１つの変換を計算する局所変換構築器と、
ｉ）前記局所的に適合された少なくとも１つの変換と前記初期グローバル位置合せ変換の少なくとも部分とを結合し、又はｉｉ）局所的に適合された複数の変換を結合して、前記画像オブジェクトの前記少なくとも２つのセットのための結合された位置合せ変換にする結合操作を実行する結合器と、
新たなグローバル変換を出力する出力インタフェースと
をさらに備える、請求項１に記載の画像処理構成コンポーネント。
【請求項３】
前記局所的に適合された少なくとも１つの変換を計算する前記局所変換構築器の動作は、前記画像フィーチャ導出器によって以前に導出された前記画像フィーチャのうちの１つ又は複数の画像フィーチャに基づく、請求項２に記載の画像処理構成コンポーネント。
【請求項４】
前記画像処理構成コンポーネントは、
前記少なくとも２つのセットからのそれぞれの画像オブジェクトを下位オブジェクトに細分して、前記下位オブジェクトのセットを得、
前記下位オブジェクトについて、下位局所的に適合された少なくとも１つの変換を計算する、リファイナを備え、
前記結合器は、前記結合操作に、前記下位局所的に適合された少なくとも１つの変換を備えるように動作可能である、請求項２又は３に記載の画像処理構成コンポーネント。
【請求項５】
前記初期グローバル変換による位置合せ結果の表示を実施するように動作可能であり、且つ／又は中間位置合せによる新たな位置合せ結果若しくは結合された位置合せ変換による新たな位置合せ結果に関して表示を更新するように動作可能なグラフィクス表示発生器を備える、請求項１乃至４の何れか一項に記載の画像処理構成コンポーネント。
【請求項６】
前記グローバル変換構築器によって前記初期グローバル変換を計算することができない場合に前記画像オブジェクトの前記少なくとも２つのセットのうちの少なくとも１つのセットをアップサンプリング又はダウンサンプリングするサンプラをさらに備える、請求項１乃至５の何れか一項に記載の画像処理構成コンポーネント。
【請求項７】
前記結合器の動作はＢ−スプライニングに基づく、請求項２乃至４の何れか一項に記載の画像処理構成コンポーネント。
【請求項８】
前記画像オブジェクトのうちの少なくとも１つの画像オブジェクトは、前記イメージに適用された画像セグメント化操作によって導出されたものである、請求項１乃至７の何れか一項に記載の画像処理構成コンポーネント。
【請求項９】
請求項１乃至８の何れか一項に記載の画像処理構成コンポーネントと、
イメージを提供する画像化モダリティであって、前記イメージから画像オブジェクトの前記少なくとも２つのセットが導出された、当該画像化モダリティとを含む、
画像処理システム。
【請求項１０】
画像オブジェクトの少なくとも２つのセットを受け取るステップであって、少なくとも１つのセットは、単一の画像オブジェクト又は複数の画像オブジェクトを有し、前記画像オブジェクトの前記少なくとも２つのセットは、生体物質のイメージから導出されたものである、受け取るステップと、
前記少なくとも２つのセット中の前記画像オブジェクトの画像フィーチャ又は前記少なくとも２つのセット中の前記画像オブジェクトに関する画像フィーチャを導出するステップと、
前記画像オブジェクトの前記少なくとも２つのセットのための初期グローバル位置合せ変換を前記画像フィーチャに基づいて計算するステップと、
前記画像オブジェクトの前記少なくとも２つのセットからの画像オブジェクト間の少なくとも１つのクロスリンクを、前記初期グローバル位置合せ変換及び前記初期グローバル位置合せ変換の逆変換に基づいて確立するステップと
を有する、画像処理方法。
【請求項１１】
前記少なくとも１つのクロスリンクについて、前記クロスリンク内のクロスリンクされた画像オブジェクトに限定された局所的に適合された少なくとも１つの変換を計算するステップと、
ｉ）前記局所的に適合された少なくとも１つの変換と前記初期グローバル位置合せ変換の少なくとも部分とを結合し、又はｉｉ）局所的に適合された複数の変換を結合して、前記画像オブジェクトの前記少なくとも２つのセットのための結合された位置合せ変換にするステップと、
前記結合された位置合せ変換を出力するステップと
を有する、請求項１０に記載の画像処理方法。
【請求項１２】
前記局所的に適合された少なくとも１つの変換を計算するステップは、前記導出するステップで以前に導出した前記画像フィーチャのうちの１つ又は複数の画像フィーチャに基づく、請求項１１に記載の画像処理方法。
【請求項１３】
前記生体物質のイメージは、少なくとも１つのディジタル病理学画像を備える、請求項１０乃至１２の何れか一項に記載の画像処理方法、請求項１乃至８の何れか一項に記載の画像処理構成コンポーネント又は請求項９に記載の画像処理システム。
【請求項１４】
前記局所的に適合された少なくとも１つの変換の計算は、前記初期グローバル位置合せ変換の計算と同じ分解能レベルで行われる、請求項１０乃至１３の何れか一項に記載の画像処理方法、請求項１乃至８の何れか一項に記載の画像処理構成コンポーネント又は請求項９に記載の画像処理システム。
【請求項１５】
請求項１乃至８の何れか一項に記載の画像処理構成コンポーネントを制御するためのコンピュータプログラムであって、処理ユニットによって実施されると請求項１０乃至１４の何れか一項に記載の画像処理方法のステップを実行する、コンピュータプログラム。
【請求項１６】
請求項１５に記載のコンピュータプログラムが記憶された、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理構成コンポーネント、画像処理システム、画像処理方法、コンピュータ・プログラムコンポーネント及びコンピュータ可読媒体に関する。
【背景技術】
【０００２】
画像位置合せ（ｉｍａｇｅ  ｒｅｇｉｓｔｒａｔｉｏｎ）は、似た外観（ａｐｐｅｒａｒａｎｃｅ）を示す対応する１つ又は複数のオブジェクト（ｏｂｊｅｃｔ）を備える画像対の整列（ａｌｉｇｎｍｅｎｔ）に関する。例えば、ディジタル病理学（ｄｉｇｉｔａｌ  ｐａｔｈｏｌｏｇｙ）では、普通は比較的に高い分解能を有するこのような画像対が、顕微鏡組織スライス（ｍｉｃｒｏｓｃｏｐｉｃ  ｔｉｓｓｕｅ  ｓｌｉｃｅ）の２回のスキャンによって構成される。組織スキャンの位置合せは、同じ組織塊（ｔｉｓｓｕｅ  ｂｌｏｃｋ）からの多数の組織スライスのスキャンで捕捉された情報の解釈を簡単にしうる。ディジタル病理学の例示的な用途は、同時ナビゲーション（ｎａｖｉｇａｔｉｏｎ）のための２回以上のスキャンの位置合せ、３Ｄ再構成のためのスキャンのセット（ｓｅｔ）の位置合せ、又は同じ組織スライスの再染色（ｒｅ−ｓｔａｉｎ）（すなわち異なる染料を使用した染色）に属するスキャンのセットの位置合せである。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
高分解能イメージのための以前の位置合せ手法は、応答性が十分でないか、又は比較的重いダウンサンプリング（ｄｏｗｎ−ｓａｍｐｌｉｎｇ）により正確さが過度に犠牲になるようである。
【０００４】
したがって、画像位置合せのための代替システム又は方法が求められている。
【課題を解決するための手段】
【０００５】
本発明のこの目的は、独立請求項の主題によって解決される。追加の実施形態が従属請求項に記載されている。以下で説明する本発明の諸態様は、画像処理方法、画像処理システム、コンピュータ・プログラムコンポーネント及びコンピュータ可読媒体に等しく適用されることに留意すべきである。
【０００６】
本発明の第１の態様によれば、
画像オブジェクトの少なくとも２つのセットを受け取る入力インタフェースであり、少なくとも１つのセットが、単一の画像オブジェクト又は複数の画像オブジェクトを備え、画像オブジェクトの前記少なくとも２つのセットが、生体物質（ｂｉｏｌｏｇｉｃａｌ  ｍａｔｅｒｉａｌ）のイメージから導出されたものである入力インタフェースと、
画像オブジェクトの画像フィーチャ（ｉｍａｇｅ  ｆｅａｔｕｒｅ）又は画像オブジェクトに関する画像フィーチャを導出するように構成された画像フィーチャ導出器（ｉｍａｇｅ  ｆｅａｔｕｒｅ  ｄｅｒｉｖｅｒ）と、
画像オブジェクトの前記少なくとも２つのセットのための初期グローバル位置合せ変換（ｉｎｉｔｉａｌ  ｇｌｏｂａｌ  ｒｅｇｉｓｔｒａｔｉｏｎ  ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を前記フィーチャに基づいて計算するように構成されたグローバル変換構築器（ｇｌｏｂａｌ  ｔｒａｎｓｆｏｒｍａｔｉｏｎ  ｂｕｉｌｄｅｒ）と、
画像オブジェクトの前記少なくとも２つのセットからの画像オブジェクト間の少なくとも１つのクロスリンク（ｃｒｏｓｓ−ｌｉｎｋ）を、前記初期グローバル位置合せ変換及び前記初期グローバル位置合せ変換の逆変換（ｉｎｖｅｒｓｅ）に基づいて確立するように構成されたクロスリンカ（ｃｒｏｓｓ−ｌｉｎｋｅｒ）と
を備える画像処理構成コンポーネントが提供される。
【０００７】
一実施形態によれば、この画像処理構成コンポーネントは、
前記クロスリンクについて、前記クロスリンク内のクロスリンクされた画像オブジェクトに限定された局所的に適合された少なくとも１つの変換を計算するように構成された局所（ｌｏｃａｌ）変換構築器と、
ｉ）少なくとも前記局所的に適合された変換と前記初期グローバル位置合せ変換の少なくとも部分とを結合し、又はｉｉ）局所的に適合された複数の変換を結合して、オブジェクトの前記少なくとも２つのセットのための結合された位置合せ変換にする結合操作を実行するように構成された結合器（ｃｏｍｂｉｎｅｒ）と、
前記新たなグローバル変換を出力する出力インタフェースと
をさらに備える。
【０００８】
一実施形態によれば、局所的に適合された少なくとも１つの変換を計算する局所変換構築器の動作は、画像フィーチャ導出器によって以前に導出されたフィーチャのうちの１つ又は複数のフィーチャに基づく、請求項１に記載の画像処理構成コンポーネント。
【０００９】
一実施形態によれば、この画像処理構成コンポーネントは、
前記少なくとも２つのセットからの対応するそれぞれの画像オブジェクトを下位オブジェクトに細分して、下位オブジェクトのセットを得、
前記下位オブジェクトについて、下位局所的に（ｓｕｂ−ｌｏｃａｌｌｙ）適合された少なくとも１つの変換を計算する
ように構成されたリファイナ（ｒｅｆｉｎｅｒ）
を備え、結合器は、前記結合操作に、前記下位局所的に適合された少なくとも１つの変換を備えるように動作可能である。
【００１０】
一実施形態によれば、この画像処理構成コンポーネントは、前記初期グローバル変換による位置合せ結果の表示を実施するように動作可能であり、且つ／又は中間位置合せによる新たな位置合せ結果若しくは結合された位置合せ変換による新たな位置合せ結果に関して表示を更新するように動作可能なグラフィクス表示発生器（ｇｒａｐｈｉｃｓ  ｄｉｓｐｌａｙ  ｇｅｎｅｒａｔｏｒ）を備える。
【００１１】
一実施形態によれば、この画像処理構成コンポーネントは、変換構築器エンジンによって初期グローバル変換を計算することができない場合に画像オブジェクトの前記少なくとも２つのセットのうちの少なくとも１つのセットをアップサンプリング（ｕｐ−ｓａｍｐｌｉｎｇ）又はダウンサンプリングするように構成されたサンプラ（ｓａｍｐｌｅｒ）をさらに備える。
【００１２】
一実施形態によれば、結合器の動作はｂ−スプライニング（ｂ−ｓｐｌｉｎｉｎｇ）に基づく。
【００１３】
一実施形態によれば、前記画像オブジェクトのうちの少なくとも１つの画像オブジェクトは、前記イメージに適用された画像セグメント化（ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ）操作によって導出されたものである。
【００１４】
他の態様によれば、画像処理方法であって、
画像オブジェクトの少なくとも２つのセットを受け取ること
を有し、
少なくとも１つのセットが、単一の画像オブジェクト又は複数の画像オブジェクトを有し、画像オブジェクトの前記少なくとも２つのセットが、生体物質のイメージから導出されたものであり、この画像処理方法がさらに、
前記少なくとも２つのセット中の画像オブジェクトの画像フィーチャ又は前記少なくとも２つのセット中の画像オブジェクトに関する画像フィーチャを導出すること、
画像オブジェクトの前記少なくとも２つのセットのための初期グローバル位置合せ変換を前記フィーチャに基づいて計算すること、
画像オブジェクトの前記少なくとも２つのセットからの画像オブジェクト間の少なくとも１つのクロスリンクを、前記初期グローバル位置合せ変換及び前記初期グローバル位置合せ変換の逆変換に基づいて確立すること
を有する画像処理方法が提供される。
【００１５】
一実施形態によれば、この画像処理方法は、
前記少なくとも１つのクロスリンクについて、前記クロスリンク内のクロスリンクされた画像オブジェクトに限定された局所的に適合された少なくとも１つの変換を計算するステップと、
ｉ）少なくとも前記局所的に適合された変換と前記初期グローバル位置合せ変換の少なくとも部分とを結合し、又はｉｉ）局所的に適合された複数の変換を結合して、画像オブジェクトの前記少なくとも２つのセットのための結合された位置合せ変換にするステップと、
前記結合された変換を出力するステップと
を有する。
【００１６】
一実施形態によれば、局所的に適合された少なくとも１つの変換を計算するステップは、導出するステップで以前に導出したフィーチャのうちの１つ又は複数のフィーチャに基づく。
【００１７】
一実施形態によれば、生体物質のイメージは、少なくとも１つのディジタル病理学画像を備える。
【００１８】
提案された方法は、より高い分解能へのそれぞれのステップの結果、新たな分解能レベルのフィーチャに対する計算コストが追加される以前の階層的リファインメント解（ｈｉｅｒａｒｃｈｉｃａｌ  ｒｅｆｉｎｅｍｅｎｔ  ｓｏｌｕｔｉｏｎ）における計算コストなどの追加の計算コストを回避することを可能にする。提案された方法は、フィーチャを一度計算し、次いで、アルゴリズムの実行の全体にわたって同じ分解能レベルの同じフィーチャ・プール（ｆｅａｔｕｒｅ  ｐｏｏｌ）からの選択を再利用することを可能にする。より具体的には、局所的に適合された変換が、初期グローバル変換と同じ画像分解能（レベル）で計算される。一般に、分解能レベルを変化させる必要は必ずしもない。フィーチャの再使用と同じ（画像）分解能レベルでの操作はともに、より効率的な画像オブジェクト位置合せアルゴリズムに寄与する。
【００１９】
提案された方法及び画像処理構成コンポーネントは、ディジタル病理学でしばしば使用されるギガピクセル範囲の画像などの非常に大きな画像に対してであっても位置合せ結果を１分かからずに秒単位で生成することができるため、応答性が非常によい。これによって、短い出力時間を必要とする用途及び画像位置合せ以外の他の作業と処理パワーを共用する用途が可能になる。
【００２０】
単一のグローバル位置合せ変換だけに依存する以前の手法とは違い、提案された方法は、一般にクロスリンキング操作に基づいて局所的に適合された複数の変換からの新たな位置合せ変換を統合する。これによって、初期グローバル変換に起因するモデル誤差を防ぐことを可能にする。これは、クロスリンキング及び局所的に適合された１つ又は複数の位置合せ変換によって、提案された方法及び画像処理構成コンポーネントが、形状又は形態などのオブジェクト・フィーチャの非グローバル的変動を考慮することを可能にするためである。例えば、組織学の分野では、１つ又は複数のディジタル病理学スライス画像中の対応する組織領域の外観の違いが、組織試料の染色によって引き起こされることがある。これらの画像のうちの一方の画像中で容易に検出可能なある組織が、もう一方の画像中ではほとんど見えないことがある。外観のこの著しい変動は、初期グローバル位置合せ変換を計算するステップにおいて混乱を導入しうる。すなわち、提案されたアルゴリズムは、組織学などのコンテキストにおいて、初期グローバル変換の不連続が生じたことを「知る」。画像化された試料は２つ以上の組織領域からなる。
【００２１】
提案された構成コンポーネント及び方法は、クロスリンキング操作を介してこれに対処することを可能にする。画像オブジェクト間の対応の潜在的な不一致（ｉｎｃｏｎｓｉｓｔｅｎｃｙ）を識別及び矯正する明示的な中間ステップにおいて、初期グローバル変換及び初期グローバル変換の逆変換の両方が使用される（したがって「クロス」リンキングと呼ばれる）。そうではなく、初期グローバル変換だけに依存する場合には、これらの一致しない対応が残ることがある。例えば過度のセグメント化又は不十分なセグメント化によってオブジェクトが生成される画像セグメント化のコンテキストで、初期グローバル変換は、これらの一致しない対応につながる。
【００２２】
一般に、このようなクロスリンクは複数あり、それぞれのクロスリンクは、そのようにクロスリンクされた画像オブジェクトの対応するそれぞれのクラスタを規定する。局所的に適合された変換の計算は、所与のクロスリンクの中で一緒にリンクされたオブジェクトだけに限定される。局所的に適合された変換の計算は、初期グローバル変換の計算とちょうど同じように、フィーチャに基づく。しかしながら、局所的に適合された変換の計算については、所与のクロスリンク内のオブジェクトに属するフィーチャだけが使用される。局所的に適合された対応するそれぞれの変換の対応する計算はクロスリンクごとに実行され、それは一般に、クロスリンクごとに１つの局所的に適合された複数の異なる変換を生ずる。次いで、局所的に適合されたこの複数の変換を結合することよって、この初期変換を（おそらくは完全に）置き換えることができる。
【００２３】
本明細書で獲得される利点を要約すると、一実施形態では、局所的に適合された変換を初期グローバル変換と結合することによって、より正確な位置合せを達成することができる。特に提案されたクロスリンキング・ステップによってロバストネス（ｒｏｂｕｓｔｎｅｓｓ）が達成され、その一方で、（特にリファインメント・ステップ中に）同じ分解能でフィーチャを再使用することによって、計算効率、したがって応答性が改良される。
【００２４】
「画像オブジェクト」は、画像の画像点（ピクセル、ボクセルなど）の領域又はセットである。この領域は、位相的に必ずしも全体が１つに接続されているわけではなく、接続されていない又は散らばった複数の下位領域を備えることもある。画像オブジェクトは、セグメント化操作によって導出することができるが、その代わりに手動でも又はフィーチャ・クラスタ化技法などによっても導出することができるため、必ずセグメント化操作によって導出されるというわけでなない。
【００２５】
用語「画像オブジェクトの少なくとも２つのセット」は、２つの異なる画像中の対応するそれぞれの画像オブジェクト若しくは２つの異なる画像からの対応するそれぞれの画像オブジェクトに関し、又は同じ画像の異なる画像部分中の対応するそれぞれの画像オブジェクトに関する。
【００２６】
本明細書で使用される用語「クロスリンク」は、初期グローバル変換又は初期グローバル変換の逆変換によってリンクし又は関連づけることができるオブジェクトのクラスタ（ｃｌｕｓｔｅｒ）に関係し、初期グローバル変換及び初期グローバル変換の逆変換は、画像点に関する変換ではなく、オブジェクトに関する変換とみなされる。
【００２７】
次に、以下の図面を参照して本発明の例示的な実施形態を説明する。
【図面の簡単な説明】
【００２８】
【図１】画像化システムのブロック図である。
【図２】画像化処理方法の流れ図である。
【図３】図２の方法で使用されるクロスリンキング操作を示す図である。
【図４】図２の方法で使用されるクロスリンキング操作を示す図である。
【図５】図２による画像処理方法の追加の処理ステップを示す図である。
【発明を実施するための形態】
【００２９】
図１を参照すると、本明細書で想定される画像処理システムのブロック図、特に（それだけに限定されるわけではないが）ディジタル病理学画像化のための画像処理システムのブロック図が示されている。
【００３０】
この画像化システムは、例えば組織学的スライスのディジタル画像を供給する画像化モダリティ（ｉｍａｇｉｎｇ  ｍｏｄａｌｉｔｙ）ＩＭを備える。
【００３１】
この画像化システムはさらに、供給された画像を処理する画像処理構成コンポーネントＩＰＣを備える。参照を容易にするため、本明細書ではこれらの画像又はフレームを画像ＩＭＡ及び画像ＩＭＢと呼ぶ。しかしながら、以下の説明が２つの画像だけに限定されることは意図されていないことを理解されたい。画像処理構成コンポーネントＩＰＣは、これらの（少なくとも）２つの画像ＩＭＡ、ＩＭＢを互いに対して空間的に位置合せすることを可能にする。提案された画像位置合せは、２つの画像に記録された対応する構造体の形態学的特性の変化又は他の特性の変化に対して特にロバストであることが分かっている。
【００３２】
最初に、提案されたシステムに対する興味をより高めるため、ディジタル病理学画像化のいくつかの詳細を簡単に概説する。しかしながら、提案されたシステムは、ディジタル病理学だけに限定されるものではないことを理解されたい。最初の手順で、組織の試料標本をホルマリンで処理し、次いでパラフィンで包埋する。（ＦＦＰＥとも呼ばれる）この手順は、分子構造を保存し、組織標本を固化することを可能にする。次いで、ミクロトームなどの組織学的カッタを使用して、このように処理された組織の２つ以上の切片を得る。次いで、適当な染料（「染色剤」）を用いてそれらの組織スライスを処理（染色）して、核及び核の周囲の細胞質などの関心の構造体のコントラストを増強する。一般的な１つの染色手順は、一方の切片にヘマトキシリン（Ｈｅｍａｔｏｘｙｌｉｎ）及びエオシン（Ｅｏｓｉｎ）（Ｈ＆Ｅ）を使用し、もう一方の切片に免疫組織化学（Ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ：ＩＨＣ）染色剤を使用するものである。本明細書では他の染色手順（再染色）も想定される。例は、ヘマトキシリン染色剤だけ、蛍光マーカで染色された組織、及び染色されていない組織である。これらの組織は、同じ組織塊から得てもよく、又は異なる（例えば隣接する）組織塊から得てもよい。次いで、通常は（必ずというわけではない）、染められた組織又は染色された組織を、標準ガラス・スライドとカバー・ガラス（この支持ガラス・スライドよりも薄いガラス片）の間に装填して、１つ又は２つの顕微鏡スライドを形成する。両方の組織を同じスライド上に装填してもよく、又は異なるスライド上に装填してもよい。
【００３３】
次いで、ディジタル顕微鏡ＭＣ、ディジタル・スライド・スキャナＰＳＣ、又は（例えば）０．３×の倍率で画像データを捕捉する（スキャニング若しくは非スキャニング）画像化装置などの適当な画像化モダリティを使用して、２つのディジタル画像ＩＭＡ、ＩＭＢを、それらの２つのスライスが同じスライド上に装填されたのかどうかに応じて単一のファイルとして又は別個の２つのファイルとして得る。
【００３４】
ディジタル病理学における一般的な作業は、２つの画像ＩＭＡ、ＩＭＢ中の対応する構造体を「再び見つけ出す」ことである。この作業は本質的に画像位置合せにおいて実施される。しかしながら、上記の手順から理解されるように、これが簡単でないことがある。これは、２つの画像ＩＭＡ、ＩＭＢ中において、同じ１つの構造体の視覚的外観が著しく異なることがあるためである。第１に、これらの２つのスライスは、同じ組織標本から得られたものではあるが、それにも関わらず組織の異なる部分を備える。第２に、組織塊から２つの切片を切り出すためのスライシング又は切削操作によって、異なる量の引伸し若しくは圧縮が生じることがあり、又は、対応するそれぞれのガラス・スライド上に組織切片を置くときに切片の部分が「折り重なる」ことさえある。第３に、２つの切片が異なって染められていることがある。組織試料中の染色剤の違い／染色剤の取込みの違いは、組織の外観の違いの主要な原因の１つである。一方の画像中で容易に検出することができる組織が、もう一方の画像中ではほとんど見えないことがある。要するに、画像対中の画像間で対応する組織片の形状及び外観が変動することは、位置合せに対する別の課題となる。形状が異なる理由はいくつかある。組織は、引き伸ばされたり又は圧縮されたりすることがあり、また、折り重なったり若しくは裂けたりすることによって変形することもある。さらに、多数の組織片がある場合には、組織片が互いに対して少し移動していることがあり、その結果、位置及び向きが局所的に変動していることがある。
【００３５】
続けて図１を参照すると、提案された画像処理構成コンポーネントＩＰＣのアーキテクチャが、破線で描かれた長方形の中に示されている。
【００３６】
位置合せ構成コンポーネントＩＰＣは、画像オブジェクト、例えば２つの画像ＩＭＡ、ＩＭＢによる画像オブジェクトを受け取る入力ポートＩＮを備える。大まかに言うと、画像処理構成コンポーネントＩＰＣのアーキテクチャは、画像オブジェクトを画定する前処理段を備え、好ましい実施形態（全ての実施形態でそうであるわけではない）では、前処理段が、セグメント化ユニットＳＥＧ及びフィーチャ識別ユニットＩＦＤを備える。この段で処理されたイメージは次いで、実際の画像位置合せ段に送られる。この画像位置合せ段は、グローバル変換構築器ＧＴＢ及び局所変換構築器ＬＴＢを備える。さらに、結合器Σが存在し、任意選択で、リファイナ回路ＲＦ及び／又はサンプラＤＵＳも存在する。好ましい実施形態では、サンプラＤＵＳがダウンサンプリング用だが、本明細書では、アップサンプリングを含む実施形態も排除されない。この位置合せ結果（特に画像変換ＴＮＥＷのアルゴリズム的記述）は出力ポートＯＵＴから出力される。
【００３７】
既存の位置合せ方式とは違い、提案された画像位置合せ構成コンポーネントＩＰＣは特にクロスリンキング構成コンポーネントＸＬを備える。全体像がより十分に分かるように、提案されたＩＰＣの機能を（後の図２で）より詳細に説明する前に、画像位置合せ構成コンポーネントＩＰＣの動作を簡単に概説しておく。一実施形態では、画像処理構成コンポーネントＩＰＣが、画像化モダリティＩＭに関連づけられたワークステーションＷＳ上、例えば画像化モダリティＩＭに関連づけられた汎用コンピュータ・プラットホーム上で、ソフトウェア・ルーチンとして実行されることが想定される。当然ながら、画像処理構成コンポーネントＩＰＣは、独立型のコンピューティング・プラットホーム上で実行してもよい。
【００３８】
動作
入力ポートＩＮで、位置合せをする画像オブジェクトの２つのセットを受け取る。画像オブジェクトのこれらのセットは２つの画像ＩＭＡ、ＩＭＢ中にある。以下ではそのように仮定されるが、画像オブジェクトのこれらの２つのセットは単一の画像中で画定してもよいため、これは、単なる例示的な実施形態である。
【００３９】
画像オブジェクトは、これらの２つの画像をセグメント化したセグメント化器ＳＥＧによって以前に導出されたものとすることができるが、画像オブジェクトを画定する他の技法も排除されない。以下の説明では、単なる例示的な実施形態として、セグメント化による画定が使用される。
【００４０】
次いで、これらの２つの画像中のオブジェクトをフィーチャ識別構成コンポーネントＩＦＤによって調べる。フィーチャは例えば、エリア・サイズ・フィーチャ、形状フィーチャ又はスペクトル・フィーチャを含む。スペクトル・フィーチャが含まれるのは、組織の区別を例えば色によってより明らかに示すために組織学的画像はしばしばカラー画像として記録されるためである。これらのフィーチャは、オブジェクト自体を記述し、又はそれらはオブジェクトの近隣のフィーチャに関係する。
【００４１】
フィーチャ（すなわちこれらの２つの画像中の一部又は全部のオブジェクトに対する１つ又は複数のフィーチャ）を画定及び計算した後、プロセス・フローは次いで、グローバル変換構築器ＧＴＢに進む。グローバル変換構築器ＧＴＢは、フィーチャ識別構成コンポーネントＩＦＤによって生成された、これらの２つの画像全体に対するフィーチャ・プールに基づいて、単一のグローバル変換を計算する。以下では初期変換と呼ぶこの変換は、これらの画像のうちの一方の画像、例えば画像ＩＭＡ中の任意の画像オブジェクトに適用することができ、次いで、第２の画像ＩＭＢ中の対応する画像オブジェクトであることが「明白（ｐｒｉｍａ  ｆａｃｉｅ）」であると考えられるものに対してマップされる。一般に、グローバル変換構築器ＧＴＢの動作の基礎となるアルゴリズムは、フィーチャの一致（ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）に基づく。言い換えると、所与の対に対する一致の「量」を評価又は定量化する適当なメトリック（ｍｅｔｒｉｃ）によって、以前に計算されたフィーチャを、２つの画像間で比較する。次いで、最も高い一致又は十分に高い一致（後者は、適当に調整された一致しきい値を規定することによって確立することができる）を引き寄せるフィーチャを有するオブジェクトの対を、２つの画像間で互いに一致しているとみなす。このようにすると、画像ＩＭＡ中のそれぞれのチャンク（ｃｈｕｎｋ）又はオブジェクトが、画像ＩＭＢ中の画像オブジェクトのうちの対応する１つの画像オブジェクトに突き合わされ又はマップされる。この段階では、初期変換が一致要件を「グローバル的に」のみ満たすため、この初期変換は、画像ＩＭＢに到達するために画像ＩＭＡをどのように「ワープ（ｗａｒｐ）」すればよいのかを、グローバル的に、したがって比較的に粗く記述する。初期変換が一致要件を「グローバル的に」のみ満たすのは、この変換が、画像全体に対して働き、この段階では２つの画像中の局所ワーピング要件を必ずしも特に考慮しないためである。オブジェクトのそれぞれの対による対応するそれぞれの一致量が、グローバルオブジェクト関数に供給され、次いで、グローバル初期変換をグローバルレベルで計算するためにこのグローバルオブジェクト関数が評価される。後に説明するが、この初期グローバル変換Ｔ及び／又はこの初期グローバル変換Ｔの逆変換Ｔ−１（好ましくは両方）は次いで、局所的に適合された複数の変換を計算するために局所変換構築器ＬＴＢによって使用される。それらの変換は次いで、結合器Σによって結合されて、改良された、すなわちより正確な結合された変換ＴＮＥＷとなる。次いで、結合された変換ＴＮＥＷの記述が出力ポートＯＵＴに提供される。局所変換構築器とグローバル変換構築器とを結合して単一の機能エンティティにすることができる。
【００４２】
提案された画像位置合せの前述のロバストネスは、少なくとも部分的に、クロスリンカＸＬの動作によって得られる。クロスリンカＸＬは、初期変換及び初期変換の逆変換（すなわち初期変換の数学的逆変換）を使用して、２つの画像を横切って、オブジェクト間又はオブジェクトのグループ間のクロスリンクを確立する。より具体的には、クロスリンカＸＬは、第１の画像ＩＭＡ中の所与の画像位置の１つ又は複数のオブジェクトと、第２の画像ＩＭＢ中の１つ又は複数の画像オブジェクトとをリンクする。この初期位置合せ変換は、（ピクセル又はボクセルなどの）画像点間の関数として１対１であると仮定することができる。そのため、初期位置合せ変換の逆変換は、画像点関数として常に存在する。しかしながら、クロスリンクを確立するために、初期グローバル変換の画像点定義を使用して、初期グローバル変換及び初期グローバル変換の逆変換を、オブジェクト間の対応するそれぞれの変換と定義することができる。所与のクロスリンクは一般に、第１の画像及び第２の画像からのオブジェクトのセットを備える。言い換えると、（Ｔによって）順方向及び（Ｔ−１によって）逆方向に変換することによって、クロスリンカＸＬは、Ｔが、画像点上ではなしにオブジェクト上で定義されるときに、それらの全てのオブジェクトを、Ｔ又はＴ−１マッピング作用によって到達することができる２つの画像を横切って１つにまとめる。例えば、クロスリンキングの後、２つの画像（ＩＭＡ又はＩＭＢ）からのオブジェクトＡｉ又はＢｉのサブセットが互いに関連づけられた｛Ａ１，Ａ２｝←→｛Ｂ１，Ｂ２，Ｂ３｝などの結合構造（ａｓｓｏｃｉａｔｉｖｅ  ｓｔｒｕｃｔｕｒｅ）で終わることができる。これらのセットは、｛Ａ１｝←→｛Ｂ２｝などの単集合（すなわち単一のオブジェクトから形成された集合）であってもよく、又は、一方の画像からの単集合が、もう一方の画像からの２つ以上のオブジェクトと関連づけられてもよい。クロスリンカの動作については、図２、図３及び図４において後により詳細に説明する。
【００４３】
クロスリンキングの後、局所変換構築器ＬＴＢが引き継ぐ。機能上、局所変換構築器ＬＴＢはグローバル変換構築器ＧＴＢと類似しているが、ＧＴＢとは対照的に、ＬＴＢは、画像オブジェクトの全体間でグローバル的に一度に動作せず、所与のクロスリンクに対して別々に動作し、リンカＸＬによってリンクされた前記所与のクロスリンク内のオブジェクトだけに限定される。実際に、一実施形態では、局所変換構築器ＬＴＢとグローバル変換構築器ＧＴＢとが単一の機能エンティティに統合されている。局所変換構築器ＬＴＢの動作は、局所ワーピング特性を特に考慮することを可能にする。初期グローバル変換を計算するときにはこれらの局所特性は特に考慮されない。初期グローバル変換を計算するときには、局所変換要件は平均され、又はグローバルオブジェクト関数を満たすためのグローバル的要件に対してバランスがとられる。対照的に、局所変換構築器ＬＴＢは、その代わりに、いくつかのクロスリンク又はそれぞれのクロスリンクに対して分離して動作して、局所的に適合された対応する複数の変換ｔｉ、すなわちクロスリンクごとに少なくとも１つの局所変換ｔｉを生成する。次いで、このように適合させた局所変換ｔｉの集合を、例えばＢ−スプライン操作又は他の関数融合方式（ｆｕｎｃｔｉｏｎ  ｆｕｓｉｏｎ  ｓｃｈｅｍｅ）において結合して、新たな変換ＴＮＥＷを形成する。新たな変換ＴＮＥＷは次いで出力ポートから出力される。次いで、それらの画像のうちの一方の画像、例えば画像ＩＭＡに同じものを適用することによって、新たな変換ＴＮＥＷによる位置合せ結果を検討することができ、次いで、モニタなどの表示ユニットＤＵ上に表示するために、その位置合せを、グラフィクス表示発生器ＧＤＧによって視覚的にレンダリングすることができる。初期変換による位置合せ結果及び／又は中間結果を表示することもできる。より詳細には、一実施形態では、その構成コンポーネントから、すなわち局所的に適合された変換から新たな変換が構築されているときに、中間位置合せ結果が更新され、これが表示される。構築中のいくつかのステップで又はそれぞれのステップで、表示ユニットＤＵ上のグラフィクス表示発生器ＧＤＧによって、中間変換が示される。
【００４４】
位置合せ結果をユーザに提示する本明細書で想定される１つの方式は、同時ナビゲーション・モードで、表示ユニット上に両方の画像を隣り合せに表示することである。このモードでは、対応するそれぞれの視野のサイズ及び画像が表示される倍率が同じに維持される。位置合せ情報によって、画像ＩＭＡ、ＩＭＢのうちの一方の画像の視野の中心を、もう一方の画像の視野の中心にリンクする。画像ＩＭＡ、ＩＭＢのうちの一方の画像をユーザが見る場合には、視野の対応するそれぞれの中心が互いに一致することを保証するために、もう一方の画像の視野の中心が自動的に移動する。
【００４５】
他の実施形態では、画像ＩＭＡ、ＩＭＢのうちの一方の画像を１つのビュー・ポート（ｖｉｅｗ  ｐｏｒｔ）／窓に表示し、もう一方の画像を、位置合せの後に、第２のビュー・ポート／画像窓に表示することによって、位置合せ結果が提示される。ユーザは次いで、両画像間で切り換えて、位置合せ後に染色パターンを調べることができる。
【００４６】
局所変換構築器ＬＴＢの動作が、クロスリンクに対する局所的に適合された変換の計算に失敗することが時に起こる。これは、前記クロスリンク内のオブジェクト間で必要な程度の対応を確立することができないためである。この起こりうる事象を考慮するため、一実施形態では、ＩＰＣが、入力画像ＩＭＡ、ＩＭＢ上で動作して画像をダウンサンプリング又はアップサンプリングするダウンサンプリング構成コンポーネントＤＵＳを備える。次いで、前述のアルゴリズムを、再サンプリングされた画像に基づいて再実行して、できれば、より良好な一致を達成する。しかしながら、初期入力画像ＩＭＡ、ＩＭＢが適当にダウンサンプリングされた後、提案された画像処理構成コンポーネントＩＰＣは、単一の分解能レベルだけで機能することができ、そのため、さらなるアップサンプリング又はダウンサンプリングは必要ない。
【００４７】
オブジェクト当たり、クロスリンク及び／又はエリア・サイズ当たりのメンバの数に関する適当に規定された限界に対して評価したときに、セグメント化器ＳＥＧによって生成されたオブジェクトが大き過ぎると考えられたり、又はクロスリンク内のオブジェクトの数が多過ぎると考えられたりすることが時にある。したがって、一実施形態では、大きなオブジェクトを下位オブジェクトに分割する任意選択のリファイナＲＦが提案される。リファイナＲＦは次いで、新しく形成された下位オブジェクト中のフィーチャに関して動作して、下位オブジェクト間の下位局所的に適合された変換を計算する。
【００４８】
次に、図２を参照して、画像処理構成コンポーネントＩＰＣの動作をより詳細に説明する。しかしながら、図２の流れ図及び以下の説明は、図１に配置されたアーキテクチャに必ず結びつけられるわけではないこと、及び図２の流れ図によるアルゴリズムは、独立型の命令として読むことができることが理解される。この方法は、画像オブジェクトのセットが２つの画像ＩＭＡ、ＩＭＢ中に画定されるケースに関して説明され、画像オブジェクトの対応するそれぞれのセットは、対応するそれぞれの画像ＩＭＡ、ＩＭＢ中の画像オブジェクトに対応する。しかしながら、画像オブジェクトのセットが単一の画像の異なる部分に対応することもあるため、このことは本発明を限定しない。
【００４９】
最初のステップＳ２１０で、２つ（又は３つ以上）の画像ＩＭＡ、ＩＭＢを生成する。これは、組織学的画像化によって、又はディジタル病理学における画像化手順以外の画像化手順によって達成することができる。例示のため、ディジタル病理学のコンテキストの範囲内に留まることとし、組織塊の２つのスライスの２つの組織病理学（ディジタル）画像ＩＭＡ、ＩＭＢを得る。これらのディジタル画像は、同じ組織塊の連続スライス又は非連続スライスから取得することができる。単一のスライスを使用してもよく、２つの画像は、組織の再染色後に取得される。少なくともディジタル病理学においては、画像ＩＭＡ、ＩＭＢが、比較的に大きなものになりうる。例えば、１ミクロン未満の分解能では、画像ＩＭＡ、ＩＭＢがギガピクセル範囲の画像となりうる。
【００５０】
任意選択の追加のステップで、画像をダウンサンプリングしてもよい。ダウンサンプリングの目的は、許容可能な計算時間を可能にするのに十分な小さな画像であって、それにも関わらず、許容可能な程度に正確な結果を達成するのに十分な詳細及び分解能を備える画像を得ることである。しかしながら、提案された方法では普通、ダウンサンプリングが必要ないことが分かっている。
【００５１】
一実施形態によれば、ステップＳ２１５で、画像オブジェクトを導出する。この導出は、画像のセグメント化によって実行することができる。その結果として、画像オブジェクトの（少なくとも）２つのセット、すなわち画像ＩＭＡ、ＩＭＢごとにオブジェクトの１つ又は複数のセットを得る。このステップには任意のセグメント化アルゴリズムを使用することができる。セグメント化は特に、背景対組織セグメント化を含む。一実施形態によれば、背景強度の特性（背景平均及び背景分散）を導出する。次に、ピクセルの強度が背景しきい値よりも高い場合に、それらのピクセルを、「背景に属する可能性が非常に高い」ピクセルと分類する。一実施形態では、これが、背景しきい値＝背景平均−２×背景分散と定義される。
【００５２】
一実施形態では、画像セグメント化結果中の雑音がより少なくなるように、（前処理ステップとしての）画像平滑化操作又は形態学的操作を適用することができる。任意選択で、「組織である可能性が非常に高い」オブジェクトと分類された非常に小さなオブジェクトを雑音とみなし、その後の解析から除外する。これによって計算時間が節約される。
【００５３】
本明細書で主に想定されるものではあるが、セグメント化は、画像オブジェクトの前記２つ（又は３つ以上の）セットを導出する多くの実施形態のうちの１つの実施形態に過ぎないことが理解される。例えば、オブジェクトは、スキャナの出力として直接に導出することができる。最新の病理学スキャナでは、組織片の位置を識別する技術が使用される。この情報を使用して、スキャニングを、試料の所与の作業に関連する部分だけに限定する。これによって、スキャニング時間が短縮され、画像サイズが制限される。この目的のためにスキャナが提供する他の情報は、焦点に関する情報である。或いは、手動又は半手動組織選択手順によってオブジェクトを出力してもよい。或いは、フィーチャ・クラスタ化技法、例えばキーポイント（ｋｅｙｐｏｉｎｔ）フィーチャ位置の位置及び対応するそれぞれの吸収値に対するｋ平均クラスタ化によってオブジェクトを提供することもできる。以下では、主としてセグメント化のコンテキストでこの方法を説明するが、これによって、提案された方法の用途及び範囲は限定されない。
【００５４】
次いで、ステップＳ２２０で、２つの画像ＩＭＡ、ＩＭＢの画像オブジェクトを受け取る。
【００５５】
ステップＳ２４０で、これらの２つの画像中の画像オブジェクトの画像フィーチャ、又はこれらの２つの画像中の画像オブジェクトに関する画像フィーチャを導出する。画像位置合せのためのフィーチャを計算する１つの手法が、例えばＤ  Ｌｏｗｅ、「Ｄｉｓｔｉｎｃｔｉｖｅ  Ｉｍａｇｅ  Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｋｅｙｐｏｉｎｔｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ、６０巻、２号、９１〜１１０ページ、２００４年に記載されている。この手法は、スケール不変フィーチャ・トランスフォーム（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ）ＳＩＦＴに基づく。このＳＩＦＴ手法では、いわゆるキーポイントをスケール空間（ｓｃａｌｅ  ｓｐａｃｅ）から導出し、それらのキーポイントをフィーチャ・ベクトルによって記述する。フィーチャのこの記述は、フィーチャの向きの変動及びフィーチャのスケールの変動に対して不変であり、パースペクティブ（ｐｅｒｓｐｅｃｔｉｖｅ）の変動に対して、ある程度、ロバストである。しかしながら、本明細書では他の非ＳＩＦＴ手法も想定される。すなわち、これは、提案された方法が想定する用途では、スケールの不変性及びパースペクティブの違いに対するロバストネスが必要ではないためである。したがって、一実施形態によれば、これらの目的には、フィーチャが、多数の詳細レベルで存在することが重要である。一実施形態では、多数の詳細レベルでフィーチャを抽出することが、（例えば画像フィルタリング及びガウスのラプラシアン（Ｌａｐｌａｃｉａｎ  ｏｆ  Ｇａｕｓｓｉａｎ）又はガウスの差（Ｄｉｆｆｅｒｅｎｃｅ  ｏｆ  Ｇａｕｓｓｉａｎ）を使用した）入力画像ＩＭＡ、ＩＭＢのスケール−空間表現の導出に基づく。空間及びスケールにわたる極値検出によって、スケール−空間から、ロバストで「興味深い（ｉｎｔｅｒｒｅｓｔｉｎｇ）」画像点又は突出した画像点を自動的に抽出することができる。これらの極値は、興味深い画像点の位置（ｘ，ｙ）、に関する情報、及び前記点の記述（又は特性評価）において考慮すべき対応するそれぞれの画像点の周囲の局所エリアの大きさに関する情報を提供する。画像フィーチャに基づく処理に関するいくつかの一般的な着想が、Ｔ  Ｌｉｎｄｅｎｂｅｒｇ、「Ｆｅａｔｕｒｅ  Ｄｅｔｅｃｔｉｏｎ  ｗｉｔｈ  Ａｕｔｏｍａｔｉｃ  Ｓｃａｌｅ  Ｓｅｌｅｃｔｉｏｎ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ、３０巻、２号、１９９８年に、より詳細に記載されている。さまざまなフィーチャ記述子（ｆｅａｔｕｒｅ  ｄｅｓｃｒｉｐｔｏｒ）の例が、Ｋ  Ｍｉｋｏｌａｊｃｚｙｋ及びＣ  Ｓｃｈｍｉｄ、「Ａ  ｐｅｒｆｏｒｍａｎｃｅ  ｅｖａｌｕａｔｉｏｎ  ｏｆ  ｌｏｃａｌ  ｄｅｓｃｒｉｐｔｏｒｓ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、２７巻、１０号、１６１５〜１６３０ページ、２００５年に出ている。
【００５６】
一実施形態では、「組織である可能性が非常に高い」オブジェクトと分類されたオブジェクト上にないフィーチャ又は「組織である可能性が非常に高い」オブジェクトと分類されたオブジェクトの近くにないフィーチャを、その後の解析から除外する。「近さ」は、予め決められた近隣に対して測定される。一実施形態では、予め決められたパラメータ設定の一般に単一のセットを用いて画像フィーチャの導出が実行され、この予め決められたパラメータ設定のセットは、スケール空間を計算する手法を規定し、又はスケール空間からフィーチャを抽出するのにパラメータ設定をどのように使用するのかを規定する。代替手法では、画像フィーチャの導出が、画像中の下位領域の選択から始まる。次いで、パラメータ設定の限定されたセットについて、この下位領域内のフィーチャを計算する。次に、この下位領域に最も良く適合するフィーチャを提供するパラメータ設定を選択する。次いで、選択されたパラメータ設定を、画像の位置合せに使用する。
【００５７】
ステップＳ２５０で、２つの画像中の画像オブジェクトに対する初期グローバル位置合せ変換を、点関数として計算する。この計算は、本質的に全ての画像フィーチャを考慮する。このようにして、画像中の画像オブジェクト全体に対する単一の変換を生成する。この初期変換は、例えば前述のＬｏｗｅの論文に記載されているように、フィーチャの一致に基づいて計算することができる。このアルゴリズム及び同様のアルゴリズムでは、一致の程度を定量化するメトリックが使用され、このメトリックが通常、テンプレート中のフィーチャ位置の基礎をなす幾何学的形状と合致するフィーチャ一致のマッチングの質及びフィーチャ一致の総数に基づく。ユークリッド距離などの、２つの画像中のオブジェクトのフィーチャ・ベクトル間の距離尺度は、おそらくは適当な正規化の後に「スコア（ｓｃｏｒｅ）」を定義する。このスコアがある数値的しきい値よりも小さい場合、対応するそれぞれの２つのフィーチャはマッチしない。前記スコアが、前記しきい値に等しいか又は前記しきい値よりも大きい場合、フィーチャはマッチしているとみなされる。本明細書で使用されるマッチング目的のテンプレートの別の形態は、２つの画像、したがってオブジェクトを互いに変換するパラメータ化された変換の適当なファミリ（ｆａｍｉｌｙ）を定義することである。次いで、それらのパラメータを、関心の２つの画像に当てはめ、次いで、それらのパラメータを、費用関数によって評価して、スコアを規定する。例えば、費用が低いほど、スコアは高い。しかしながら、ＳＩＦＴなどの既存のアルゴリズムは一般に、画像間の比較的に高いレベルの一致を仮定する。例えば、幾何学的変形は普通、向きの変動及びスケールの変動だけに限定されると仮定され、おそらく、ＳＩＦＴの場合のように、パースペクティブ変形の小さな変動だけを許す。それらの制約の基礎となる原理は、ＳＩＦＴ及び同様のアルゴリズムは同様の「視覚的外観」に基づき、したがって外観の変動が限定されている場合に最もよく機能するというものである。しかしながら、ディジタル病理学イメージでは普通、この仮定が成り立たない。そのため、本明細書で提案されている手法では、そのように計算されたグローバル変換が単なる中間結果であり、以下ではこの変換が、２つの画像間で構造的外観の不均質性に対処するために使用される。
【００５８】
ステップＳ２６０で、クロスリンキング操作を実行する。これを達成するために、１つの画像中の１つ又は複数の画像オブジェクト、一般に全ての画像オブジェクトを、初期グローバル変換を使用することによって第２の画像中にマップする。グローバル変換を使用することに加えて、グローバル変換の逆変換も計算し、これを第２の画像に適用して、今回は、画像オブジェクトを第１の画像中に（逆向きに）マップする。画像のセグメント化の違いのために、両方の画像中のオブジェクト間の関係が１対１でないことがあり、したがって、本明細書では、グローバル変換とそのグローバル変換の逆変換の両方を使用してオブジェクトをクロスリンクすることが提案される。
【００５９】
クロスリンキングは、画像ＩＭＡ、ＩＭＢ中の対応するオブジェクトの外観の違いに対処することを可能にする。これらの違いは、組織として分類されたオブジェクトの過度のセグメント化及び不十分なセグメント化に起因するものである可能性がある。さらに、組織と分類された互いに近いオブジェクトの場合には、それらのオブジェクトが１つの同じ組織に属するのか否かを判定することが常に容易であるとは限らない。この混乱の結果、組織オブジェクトが画像ＩＭＡ及びＩＭＢ中でセグメント化されているときに、組織オブジェクトの不一致が生じうる。言い換えると、クロスリンキングは、画像ＩＭＡ中のどのオブジェクトが画像ＩＭＢ中のどのオブジェクトに対応するのかを見つけ出すのに役立つ。
【００６０】
一実施形態では、このクロスリンキングが、ある作用点を画定することによって実施される。例えば、画像ＩＭＡ中のオブジェクトの指定されたある点又は作用点（例えば中心位置又は他の幾何学的な座）を初期グローバル変換Ｔを使用して画像ＩＭＢ上にマップする（「ワープする」）ことによって、オブジェクト間のリンクの第１のセットを確立することができる。ワープされた作用点が、画像ＩＭＢ中の組織オブジェクト上（すなわち画像ＩＭＢ中の組織オブジェクト内）にある場合、２つのオブジェクトは、Ｔの作用の下でリンクされているとみなされる。次に、「逆方向に」進み、グローバル変換の逆変換Ｔ−１を使用して画像ＩＭＡ上にワープすることによって、画像ＩＭＢ中のオブジェクトに対して同じことを実行する。Ｔ及びＴ−１によるこの２つのマッピング操作によって、Ｔ又はＴ−１によって一緒にリンクされたオブジェクトのクラスタを得る。オブジェクト・クラスタ化の以下の例を考える。Ｔの下での画像ＩＭＡから画像ＩＭＢへのワープにより、画像ＩＭＡ中のオブジェクトＡ１はＩＭＢ中のオブジェクトＢ１にリンクされており、画像ＩＭＡ中のオブジェクトＡ２は画像ＩＭＢ中のオブジェクトＢ３にリンクされているとする。次に、Ｔ−１の下での画像ＩＭＢから画像ＩＭＡへのワープにより、画像ＩＭＢ中のオブジェクトＢ１、Ｂ２及びＢ３をそれぞれ、画像ＩＭＡ中のオブジェクトＡ１にリンクさせる。これらの全てのリンクを１つにまとめると、画像ＩＭＡ中のオブジェクト｛Ａ１，Ａ２｝と画像ＩＭＢ中のオブジェクト｛Ｂ１，Ｂ２，Ｂ３｝との間のクロスリンクが得られる。クロスリンキング（すなわち画像ＩＭＡから画像ＩＭＢへのワープ及び逆に画像ＩＭＢから画像ＩＭＡへのワープ）は、ステップＳ２１５における過度のセグメント化／不十分なセグメント化の場合にロバストネスを達成することを可能にする。このクロスリンキングの例が、図３（順方向）及び図４（逆方向）に示されている。作用点及びこれらの作用点がマップされる点はそれぞれ、網掛けされたドット及び濃いドットとして示されている。より一般的には、次いで、この目的のために、Ｔ及びＴ−１をオブジェクト間の変換とみなすことに基づいて、クロスリンク操作を以下のように規定することができる。任意のオブジェクトｏについて、Ｔ１（ｏ）は、指定された点（作用点）ｏがＴ−１の下でマップされるオブジェクトｏ’である。別の言い方をすれば、オブジェクトｏの作用点がオブジェクトｏ’の点にマップされた場合、オブジェクトｏ、ｏ’はＴ−１によってリンクされている。示されているように、オブジェクト変換としてのＴ及びＴ−１の定義は、Ｔ、Ｔ−１の画像点定義に基づく。これは、それが、リンクが確立されたかどうかを判定する作用点の位置であるためである。Ｔを、もう一方の方向へのリンクを確立するオブジェクト間の関数とみなしたときも、同じ考慮が当てはまる。すなわち、Ｔ（ｏ）は、ｏにある点（すなわち作用点）がＴの下でマップされるオブジェクトである。Ｔ又はＴ−１によってリンクされたオブジェクトの集合又はクラスタは、クロスリンクを形成すると言われる。一般に、複数の異なるクロスリンクがある。オブジェクト変換としてのＴ及びＴ−１の定義が非対称性を導入することは重要である。Ｔの適用が、ｏとｏ’との間のリンクを生み出す場合には、Ｔ−１を適用することによってクロスリンキングしたときにもｏ’からｏへのリンクがある可能性があることが分かる。しかしながら、それらのリンクは、オブジェクトの作用点（例えば中心点）を使用することによって確立されるため、必ずそうなるわけではない。したがって、ｏとｏ’との間のリンクが見つかっても、Ｔ−１を適用してｏ’からｏへクロスリンキングしたときにはリンクが見つからないこともある。この非対称性が図３、図４に示されている。図４に示されているように、Ｂ２→Ａ１のリンクが見つかるのは、Ｔ−１によるクロスリンキングのときだけである。図３に示されているように、一方向のみのリンキング、すなわちＴだけによるリンキングに依存した場合には、このリンクは見つけられないであろう。
【００６１】
次いで、ステップＳ２７０で、任意の１つのクロスリンクに対して、局所的に適合された対応するそれぞれの変換を計算する。言い換えると、上記のステップＳ２５０の場合と同じアルゴリズムを使用することができるが、今回は、局所的に適合された対応するそれぞれの変換がグローバル的には計算されず、それぞれ「クラスタ・レベル」でのみ計算される。すなわち、局所的に適合された変換の計算の際に考慮されるフィーチャは、所与のクロスリンクにおいて一緒にリンクされたオブジェクトのフィーチャだけに限定される。より具体的には、任意の１つのクロスリンクに関して、ステップＳ２４０で以前に生成したフィーチャ・プールを再び訪れて、考慮中のクロスリンク内のオブジェクトに属するフィーチャのサブセット（ｓｕｂｓｅｔ）を集める。別の言い方をすれば、ステップＳ２７０では、それぞれのクロスリンク又はクラスタについて、以前に計算されたフィーチャのうち、関心のクロスリンク内のオブジェクトに属するフィーチャだけを使用することによって、局所的に適合された専用の変換Ｔｃｌを、クラスタ・レベルで得る。このようにすると、複数の局所変換Ｔｃｌが生成され、任意の所与のクロスリンクｃｌに対してこのような変換Ｔｃｌが１つ生成される。それらの変換はそれぞれ、対応するそれぞれのクロスリンク内のオブジェクト（及びオブジェクトのフィーチャ）だけに適合されている。
【００６２】
図３、図４の例に示されているように、提案されたクロスリンキングによりオブジェクトを１つにまとめることによって、過度のセグメント化を識別することができる。これらの例では、画像ＩＭＡが、２つの片Ａ１及びＡ２に過度にセグメント化され、画像ＩＭＢ中の対応する組織オブジェクトが、オブジェクトＢ１、Ｂ２及びＢ３内で異なる形で過度にセグメント化された。クロスリンキングによって実施された順方向マッピング及び逆方向マッピングは、これを識別することを可能にし、所与のクロスリンクのための変換Ｔｃｌを計算するときに、そのようにしてリンクされたオブジェクトのフィーチャを一緒に考慮することができる。Ｔｃｌの計算は、対応するそれぞれのクロスリンク内のオブジェクトだけに限定されるため、これらの計算を、「オブジェクト・レベルでの」計算と言うことができる。クロスリンキングは、フィーチャ飢餓（ｆｅａｔｕｒｅ  ｓｔａｒｖａｔｉｏｎ）の危険性を低減させることを可能にする。すなわち、このクロスリンキングのため、より多くのオブジェクトを一緒にグループ化することができ、これによって、局所的に適合された変換の計算に使用可能なフィーチャのプールが大きくなる。したがって、この計算は、よりロバストであり、おそらくはより正確である。
【００６３】
任意選択で、セグメント化が比較的に大きな組織オブジェクトを返す場合、又はクロスリンキングが、あまりに多くのオブジェクトからなるクロスリンクを生ずる場合にリファインメント操作を構成するステップＳ２７５を実施する。これらのどちらの場合でも、図５に示されているように、オブジェクトを下位オブジェクトＲＡに細分する。示された例では、オブジェクトｏが単一の領域であり、この場合の下位オブジェクトは前記単一の領域の下位領域である。これらのそれぞれの局所下位オブジェクトＲＡについて、関心の下位オブジェクトだけに属するフィーチャの下位サブセットを、オブジェクトｏに対して以前に計算したフィーチャのサブセットから集める。図５は、下位オブジェクト・レベルへの局所的にリファインされた逐次変換を用いる、（適当な直径しきい値を使用することによって画定された）比較的大きなオブジェクトに対するステップＳ２７５のリファインメント操作の例である。画像ＩＭＡ（図５の左側）中の網掛けされた正方形ＲＡは、組織オブジェクトｏにおける局所下位オブジェクトである。このリファインメントは、画像ＩＭＡ中の組織オブジェクトｏの局所下位オブジェクトを画定する適当な格子（破線で示されている）を画定することによって実施可能である。画像ＩＭＢ（図５の右側）中の網掛けされた正方形ＲＢは、オブジェクトｏに対するオブジェクト・レベルの推定された局所変換を使用して画像ＩＭＡから画像ＩＭＢへワープした後の局所下位オブジェクトＲＡを示す。画像ＩＭＢ中の破線は、以前に推定したオブジェクト・レベルの変換を使用したワープされた規則的な格子を示す。局所マッチングのために（すなわち、下位オブジェクト・レベルで、下位オブジェクトの対応するそれぞれのセットに対する下位局所的に適合された変換ｔｉを構築するために）、以前に推定したカレント・オブジェクトｏに対するオブジェクト・レベルの変換を用いて、画像ＩＭＡ中で観察された下位オブジェクトＲＡに対するフィーチャを、画像ＩＭＢ中のワープ後に得られたオブジェクト中で観察された対応するそれぞれの下位オブジェクトのフィーチャに対してマッチングさせる。前述のとおり、図５の例では、（曲線によって境界が引かれて示されている）単一の領域からオブジェクトｏが形成される。オブジェクトが、分離された下位領域のセットである場合にも同様の考慮が当てはまり、このリファインメントは、前記セットを下位サブセットに分解し、次いでリファインメント変換ｔｉをオブジェクトのサブセット間の変換として定義することに対応する。まとめると、本明細書では、少なくとも２つ（一実施形態では３つ）のレベル、すなわち、初期グローバル変換Ｔ、クロスリンク内のオブジェクトに対する局所的に適合された１つ又は複数のオブジェクト変換Ｔｃｌ（オブジェクト・レベル）を区別し、任意選択で、第３のレベルで、局所リファインメントが、下位オブジェクト（下位オブジェクト・レベル）に対する下位局所変換ｔｉを定義する。言うまでもなく、必要ならば、以上のことを、ｎ＞３の任意のレベル、すなわち下位．．．下位リファインメントに拡張することができる。
【００６４】
ステップＳ２８０で、結合器が動作して、このグローバル変換を、オブジェクト・レベル及び／又は下位オブジェクト・レベルで得られた１つ又は複数の局所変換と結合する。結合された局所変換及び／又は結合された下位局所変換は、局所詳細をより十分に考慮する結合された位置合せ変換を与える。いくつかの実施形態ではＢ−スプライン手法が使用されるが、局所変換を結合して１つの関数記述にする他のスプライン法（例えば薄板（ｔｈｉｎ−ｐｌａｔｅ）法など）も想定される。
【００６５】
Ｂ−スプライン実施形態を再び参照すると、ｂ−スプライン変換は、画像ＩＭＡ中のいわゆる結節位置（ｋｎｏｔ  ｐｏｓｉｔｉｏｎ）の規則的な格子、加えて、画像ＩＭＢにワープされたときの結節の変位を規定するそれぞれの結節場所の局所変位ベクトルによって、新たな変換のコンパクトな定義を提供する。このコンパクトな定義から、結節間の位置における変換を、ｂ−スプライン補間を使用して得る。より具体的には、最初に、規則的な格子の一部又は全部の格子点に、初期グローバル変換から継承された変位を割り当てる。次に、全ての格子点について、オブジェクト・レベルの対応するそれぞれの格子点の近傍で局所変換が計算されたかどうか、又は下位オブジェクト・レベルの下位局所変換が計算されたかどうかをチェックする。計算されている場合には、それらの格子点に対して、初期グローバル変換を使用する代わりに、最も局所的な変換Ｔｃｌ又はｔｉが使用される。理解されるように、場合によっては、局所変換が計算されなかったいくつかの格子点で初期グローバル変換を保持することができるが、他の格子点では、その代わりに、Ｔｃｌ又はｔｉを使用することができる。本出願の出願人の試験では、ｘ方向とｙ方向の両方に１６ピクセルの間隔を有する結節の規則的な格子（倍率０．３×）を使用したが、これは、単なる例示であり、本明細書では他の間隔及び／又は倍率も想定される。
【００６６】
思い出されるとおり、ステップＳ２１５に関して、小さ過ぎるとみなされたオブジェクトを考慮から除外するオプションを説明した。このオプションが使用される実施形態に関して、本明細書では、一実施形態において、これらのオブジェクトも、最終的な変換ＴＮＥＷ内で、初期グローバル変換によって依然として位置合せすることが提案される。言い換えると、これらのオブジェクトも、初期グローバル変換によって定義されたある変位を継承する。
【００６７】
オブジェクトｏの下位オブジェクトへの分割は、部分的に重なり合う下位オブジェクトを使用して実行することができることを当業者は認識するであろう。任意選択で、さまざまなサイズの下位オブジェクトが使用され、又はさまざまな数のコンポーネントを有する下位オブジェクトが使用される。例えば、画像ＩＭＡ中の下位オブジェクトｉのフィーチャを、画像ＩＭＢ中の対応する中心位置の周囲に画定されたやや小さいオブジェクトに対してマッチングさせることができる。信頼性の高い下位局所変換ｔｉ（すなわち予め設定された一致量を達成する変換）が得られる場合には、この下位局所変換が受け入れられる。信頼性の高い局所変換を得ることができない場合には、画像ＩＭＢ中の対応する中心位置の周囲に画定された次第にサイズが大きくなるオブジェクトを使用して、１回又は数回の試行を実施することができる。
【００６８】
前にステップ２７０で説明したとおり、これらの下位局所変換は、対応するそれぞれの下位オブジェクトのフィーチャの下位サブセットに基づいて計算される。次いで、ステップＳ２８０で、リファインメント操作Ｓ２７５で定義された下位オブジェクト・レベルの下位局所変換を、より高いレベルで得た変換、すなわちステップＳ２５０及びステップＳ２７０で得られた変換と結合することができる。局所的に適合された変換又は下位局所的に適合された変換の計算が、初期グローバル変換を計算するために使用された分解能レベルと同じ分解能レベルに基づくことは重要である。言い換えると、これらの結合に、アップサンプリング又はダウンサンプリングは含まれない。これは、画像オブジェクト又は下位オブジェクトが同じ画像分解能レベルで表示されるためである。
【００６９】
次いで、ステップＳ２９０で、このようにして結合した変換を出力する。次いで、この新しく計算された変換を、１つの入力画像中の１つのオブジェクトに適用して、１つの画像（例えばＩＭＡ又はＩＭＢ）中のオブジェクトからもう一方の画像（ＩＭＢ又はＩＭＡ）中のオブジェクトへの位置合せを実施することができる。一実施形態では、ステップＳ２９５で、結合された位置合せ変換のアルゴリズム的記述（例えばＢ−スプライン式）を適当なメモリに記憶する。この実施形態では、位置合せされた／ワープされた実際の画像を記憶する必要はない。その変換の記述だけが記憶される。これによってメモリ空間が節約され、後段で位置合せを実施又は再実施することが可能になる。
【００７０】
任意選択で、ステップＳ２５０での（所与の倍率、例えば０．３×での）グローバル位置合せが失敗した場合にダウンサンプリング又はアップサンプリングを呼び出すステップＳ２５５を実施する。画像をある倍率（例えば２倍）だけダウンスケールし、次いで、バックアップとして、このより低いレベルの倍率で位置合せを再び試みる。それでも位置合せに失敗した場合には、その代わりにアップスケーリングを使用することもでき、又は、キャッチオール・フォールバック（ｃａｔｃｈ−ａｌｌ  ｆａｌｌｂａｃｋ）として手動位置合せに頼ることができる。
【００７１】
ステップＳ２５０の結果（すなわち初期グローバル変換）は既に中間位置合せ結果として使用することができるため、一実施形態では、ステップＳ２５０の結果（すなわち初期グローバル変換）を出力する。ユーザは、この中間位置合せ結果からはじめることができ、残りのステップＳ２６０〜Ｓ２８０の計算部分が完了した後に、より正確な位置合せ結果が提供される。組織オブジェクトを処理するとき、組織オブジェクトの後などに、いくつかのステップで、更新を提供することもできる。このようにすると、位置合せ結果の累進的な更新を提供することができる。例えば、ステップＳ２９７で、更新された位置合せ結果を表示することができる。表示ステップＳ２９７では、最初に、初期変換による位置合せ結果を表示し、次いで、最終的な出力、すなわち結合された変換が表示されるまで、後続の中間位置合せ結果を順番に表示する。言い換えると、時間の経過に伴って位置合せを徐々にリファインし、進捗するたびに（例えばクロスリンクが処理されるたびに）このリファインメントを使用して、その時点で示された位置合せ結果を更新する。或いは、局所的に適合された対応するそれぞれの変換によって送達された位置合せ結果を、対応するそれぞれのオブジェクトだけのために、分離して表示することができる。中間結果のこの表示は、ユーザが位置合せ結果の質をチェックし、必要ならば計算を打ち切ることを可能にする。さらに、中間結果のこの表示は、ユーザが、より早く、例えば同時ナビゲーションから開始することを可能にする。
【００７２】
前に観察したとおり、提案された方法は、フィーチャからの変換の推定を有し、特に、フィーチャ一致が確立される。一実施形態では、ステップＳ２４０で得られたフィーチャ一致をステップＳ２５０及び／又はＳ２７０で再使用する。或いは、画像ＩＭＡと画像ＩＭＢの間のグローバル的な向きの違いについての知識を使用して、フィーチャ一致を確立するプロセスのスピードを向きビンニング（ｏｒｉｅｎｔａｔｉｏｎ  ｂｉｎｎｉｎｇ）によって速める。フィーチャの記述子だけに基づいてフィーチャ間の一致を捜す代わりに、最初に、向きフィーチャに基づいてフィーチャをグループに分割する。次に、グローバル的な向きの違いを考慮して、同様の向きを有するグループ間のフィーチャ一致を得る。
【００７３】
何らかの理由で（例えば所望の一致レベルを達成することができないために）、例えば所与のクロスリンクに対するオブジェクト・レベルの変換Ｔｏを得ることが可能でない場合には、初期変換Ｔをバックアップとして使用する。下位オブジェクト、例えば下位オブジェクトへのさらなるリファインメントの場合にも、同じことが言える。すなわち、下位オブジェクトのための下位局所変換を得ることに失敗した場合には、オブジェクト・レベルの変換Ｔｏをバックアップとして使用する。
【００７４】
同じ組織塊からの２つ以上の組織スライスの画像位置合せに対して上記のシステム及び方法を適用することもできることを当業者は理解するであろう。２つの画像ＩＭＡ、ＩＭＢは単一の画像の下位画像である。
【００７５】
本明細書で想定される主な用途は、ディジタル病理学における用途であるが、他の用途は排除されず、特に本明細書で想定される。
【００７６】
本発明の他の例示的な実施形態では、先行する実施形態のうちの１つの実施形態に基づく方法の方法ステップを適当なシステム上で実行するように適合されていることを特徴とするコンピュータ・プログラム又はコンピュータ・プログラムコンポーネントが提供される。
【００７７】
したがって、このコンピュータ・プログラムコンポーネントは、本発明の一実施形態の部分でもあるコンピュータ・ユニット上に記憶される。前述の方法のステップを実行し、又は前述の方法のステップの実行を誘起するように、このコンピューティング・ユニットを適合させることができる。さらに、前述の装置の構成コンポーネントを動作させるように、このコンピューティング・ユニットを適合させることもできる。自動的に動作するように、及び／又はユーザの命令を実行するように、このコンピューティング・ユニットを適合させることもできる。データ処理装置の作業メモリにコンピュータ・プログラムをロードすることができる。したがって、本発明の方法を実行するようにデータ処理装置を装備することができる。
【００７８】
本発明のこの例示的な実施形態は、はじめから本発明を使用するコンピュータ・プログラムと、更新によって既存のプログラムを本発明を使用するプログラムに変えるコンピュータ・プログラムの両方をカバーする。
【００７９】
さらに、このコンピュータ・プログラムコンポーネントは、前述の方法の例示的な実施形態の手順を履行するのに必要な全てのステップを提供することができる。
【００８０】
本発明の他の例示的な実施形態によれば、コンピュータ可読媒体、特にＣＤ−ＲＯＭなどの非一時的記憶媒体であって、コンピュータ・プログラムコンポーネントを記憶したコンピュータ可読媒体が提示される。このコンピュータ・プログラムコンポーネントは、直前のセクションに記載されている。
【００８１】
他のハードウェアとともに又は他のハードウェアの一部として供給された光学記憶媒体又は固体媒体などの適当な媒体（特に非一時的媒体である必要はない）上に、コンピュータ・プログラムを記憶し且つ／又は分散させることができるが、インターネット又は他の有線若しくは無線電気通信システムなどによって、コンピュータ・プログラムを他の形態で分散させることもできる。
【００８２】
しかしながら、コンピュータ・プログラムは、ワールド・ワイド・ウェブのようなネットワークを介して提示することもでき、このようなネットワークからデータ処理装置の作業メモリにダウンロードすることができる。本発明の他の例示的な実施形態によれば、コンピュータ・プログラムコンポーネントをダウンロードすることを可能にする媒体が提供され、このコンピュータ・プログラムコンポーネントは、本発明の以前に説明した１つの実施形態に基づく方法を実行するように構成されている。
【００８３】
本発明の実施形態は、さまざまな主題に関して記載されていることに留意しなければならない。具体的には、いくつかの実施形態は、方法型の請求項に関して記載されており、他の実施形態は、装置型の請求項に関して記載されている。しかしながら、以上の説明及び以下の説明から、そうではないと知らされない限り、一方のタイプの主題に属するフィーチャの任意の組合せに加えて、異なる主題に関係するフィーチャ間の任意の組合せも、本出願とともに開示されているとみなされることを、当業者は理解する。しかしながら、全てのフィーチャを組み合わせて、フィーチャの単純な総和よりも大きな相乗効果を提供することができる。
【００８４】
図面及び上記の説明において本発明を詳細に示し説明したが、このような図解及び説明は、例示的なものであり、限定するものではないと考えられる。本発明は、開示された実施形態だけに限定されない。当業者は、図面、本開示及び従属請求項を検討することによって、請求の発明を実施する際に、開示された実施形態の他の変形実施形態を理解し、実施することができる。
【００８５】
請求項では、語「備える／含む（ｃｏｍｐｒｉｓｉｎｇ）」が、他のコンポーネント又はステップを排除せず、不定冠詞「ａ」又は「ａｎ」が複数性を排除しない。単一の処理装置又は他のユニットが、請求項に記載されたいくつかのアイテムの機能を履行することがある。単に、ある手段が、互いに異なる従属請求項の中に記載されているからといって、そのことは、それらの手段の組合せを有利に使用することができないことを示すものではない。請求項中の参照符号を、範囲を限定するものと解釈すべきではない。
【図１】
2018529145.tif 000003
【図２】
2018529145.tif 000004
【図３】
2018529145.tif 000005
【図４】
2018529145.tif 000006
【図５】
2018529145.tif 000007
【国際調査報告】
2018529145.tif 000008
2018529145.tif 000009