(57)【要約】  【解決手段】  共通ランドマークまたは共通基準点を有する画像をマッピングすることにより、当該画像に亘るピクセル、座標、マーク、カーソル、テキスト、および／または注釈の作成、位置付け、および／またはマッピングを可能にする方法。前記方法は、前記共通ランドマークまたは前記共通基準点を有する少なくとも２つの画像を選択する工程と、前記選択された画像をマッピングし、第１の画像上の第１の位置を第２の画像上において当該第１の位置に対応する位置にマッピングするマッピングパラメータを生成する工程と、前記第１の画像上の少なくとも１つのピクセルを特定し、前記マッピングパラメータを当該第１の画像上の少なくとも１つのピクセルに適用して前記第２の画像中において当該ピクセルに対応するピクセルまたは複数のピクセルを特定する工程とを含む。次に、前記マッピングパラメータは、前記第１の画像の任意のピクセル、座標、マーク、カーソル、テキスト、および／または注釈を前記第２の画像の対応する位置に位置付け、または再生するために使用される。  【選択図】      図４ａ
2011520190.tif 000002
【特許請求の範囲】
【請求項１】
共通ランドマークまたは共通基準点を有する画像をマッピングする方法であって、
前記共通ランドマークまたは前記共通基準点を有する少なくとも２つの画像を選択する工程と、
前記選択された画像をマッピングし、第１の画像上の第１の位置を第２の画像上において当該第１の位置に対応する位置にマッピングするマッピングパラメータを生成する工程と、
前記第１の画像上の少なくとも１つのピクセルを特定し、前記マッピングパラメータを当該第１の画像上の少なくとも１つのピクセルに適用して前記第２の画像中において当該ピクセルに対応するピクセルまたは複数のピクセルを特定する工程と
を有する方法。
【請求項２】
請求項１記載の方法において、さらに、
前記マッピングパラメータを使用して前記第１の画像の任意のピクセル、座標、マーク、カーソル、テキスト、および／または注釈を前記第２の画像の対応する位置に位置付け、または再生する工程を有するものである方法。
【請求項３】
請求項１記載の方法において、前記少なくとも２つの画像は異なる画像タイプを有するものである方法。
【請求項４】
請求項３記載の方法において、前記画像タイプは、Ｘ線画像、写真、線画、地図画像、衛星画像、ＣＡＴ画像、磁気共鳴映像、立体スライド、ビデオ、およびフィルムのうちの少なくとも２つを含むものである方法。
【請求項５】
請求項１記載の方法において、前記少なくとも２つの画像は、異なる視点からおよび／または異なる時点で撮像されるものである方法。
【請求項６】
請求項１記載の方法において、前記マッピングする工程は、利用者が前記第１および第２の画像の１つまたは双方をアラインメントが完了するまで操作、再配置、および／または伸長させて手動でアラインメントを行うことにより、当該第１および第２の画像をアラインメントするために使用された操作、再配置の動作、および／または伸長の動作を反映するアラインメントパラメータを生成する工程を有するものである方法。
【請求項７】
請求項１記載の方法において、前記マッピングする工程は、自動画像照合アルゴリズムを使って前記第１および第２の画像をアラインメントさせ、アラインメントパラメータを生成する工程を有するものである方法。
【請求項８】
請求項１記載の方法において、前記マッピングする工程は、手動で前記第１および第２の画像中の共通ランドマークを特定し、前記マッピングパラメータを生成する工程を有するものである方法。
【請求項９】
請求項１記載の方法において、前記マッピングする工程は、自動ツールを使って前記第１および第２の画像中の共通ランドマークを特定し、前記マッピングパラメータを生成する工程を有するものである方法。
【請求項１０】
請求項１記載の方法において、前記マッピングパラメータは、前記第１の画像と前記第２の画像との間で対応する画像ピクセルをマッピングする数式を定義するものである方法。
【請求項１１】
請求項１記載の方法において、前記マッピングする工程は、前記第１の画像を前記第２の画像に対してモーフィングする工程を有し、これにより各画像における共通ランドマークは同一の座標を有するようになるものである方法。
【請求項１２】
請求項１記載の方法において、前記共通基準点は、グローバル・ポジショニング・システム・タグ、緯度／経度データ、および／または座標系データを有するものである方法。
【請求項１３】
請求項１記載の方法において、さらに、
前記選択された画像について出力画像中の各スポットにおけるのアラインメントおよび／またはマッピングの正確度の表示を提供する工程を有するものである方法。
【請求項１４】
請求項１３記載の方法において、前記表示は、表示されたピクセルを視覚的に区別して、前記各スポットにおける当該ピクセルのアラインメントおよび／またはマッピングの正確度の差を示す手段を有するものである方法。
【請求項１５】
請求項１３記載の方法において、前記正確度は、利用者の入力装置によってポインティングされた出力画像上のスポットに対する数値として表されるものである方法。
【請求項１６】
請求項１記載の方法において、前記マッピングする工程は、前記マッピングパラメータを前記第１および第２の画像の重複領域外にある当該画像のうちの少なくとも１つの画像上のピクセルに適用する工程を有するものである方法。
【請求項１７】
共通ランドマークまたは共通基準点を有する画像をマッピングするように構成されたコンピュータシステムであって、
プロセッサと、
表示部と
前記プロセッサにより処理される命令を格納するメモリであって、前記プロセッサにより当該命令が処理されると、この命令は、前記プロセッサに、
利用者によって前記共通ランドマークまたは前記共通基準点を有する少なくとも２つの画像を選択させる工程と、
前記選択された画像をマッピングし、第１の画像上の第１の位置を第２の画像上において当該第１の位置に対応する位置にマッピングするマッピングパラメータを生成する工程と、
前記第１の画像上の少なくとも１つのピクセルを特定し、前記マッピングパラメータを当該第１の画像上の少なくとも１つのピクセルに適用して前記第２の画像中において当該ピクセルに対応するピクセルまたは複数のピクセルを特定する工程と
を実行させるものである、前記メモリと
を有するコンピュータシステム。
【請求項１８】
請求項１７記載のコンピュータシステムにおいて、前記プロセッサは、さらに、前記マッピングパラメータを使用して前記第１の画像の任意のピクセル、座標、マーク、カーソル、テキスト、および／または注釈を前記第２の画像の対応する位置に位置付け、または再生するものであるコンピュータシステム。
【請求項１９】
請求項１７記載のコンピュータシステムにおいて、前記少なくとも２つの画像は異なる画像タイプを有するものであるコンピュータシステム。
【請求項２０】
請求項１９記載のコンピュータシステムにおいて、前記画像タイプは、Ｘ線画像、写真、線画、地図画像、衛星画像、ＣＡＴ画像、磁気共鳴映像、立体スライド、ビデオ、およびフィルムのうちの少なくとも２つを含むものであるコンピュータシステム。
【請求項２１】
請求項１７記載のコンピュータシステムにおいて、前記少なくとも２つの画像は、異なる視点からおよび／または異なる時点で撮像されるものであるコンピュータシステム。
【請求項２２】
請求項１７記載のコンピュータシステムにおいて、前記命令は、利用者に前記第１および第２の画像の１つまたは双方をアラインメントが完了するまで操作、再配置、および／または伸長させて手動でアラインメントを行わせる命令と、当該第１および第２の画像をアラインメントするために使用された操作、再配置の動作、および／または伸長の動作を反映するアラインメントパラメータを生成させる命令とを含むものであるコンピュータシステム。
【請求項２３】
請求項１７記載のコンピュータシステムにおいて、前記命令は、前記プロセッサに前記第１および第２の画像をアラインメントさせる工程と、アラインメントパラメータを生成する工程とを実行させる自動画像照合アルゴリズムを含むものであるコンピュータシステム。
【請求項２４】
請求項１７記載のコンピュータシステムにおいて、前記命令は、前記プロセッサにより当該命令が処理されると、利用者に手動で前記第１および第２の画像中の共通ランドマークを特定させる命令と、前記共通ランドマークの前記第１および第２の画像における位置に基づいてマッピングパラメータを生成する命令とを含むものであるコンピュータシステム。
【請求項２５】
請求項１７記載のコンピュータシステムにおいて、さらに、
前記第１および第２の画像中の共通ランドマークを特定し、前記マッピングパラメータを生成する自動ツールを有するものであるコンピュータシステム。
【請求項２６】
請求項１７記載のコンピュータシステムにおいて、前記命令は、前記プロセッサにより当該命令が処理されると、前記プロセッサに、前記第１の画像と前記第２の画像との間で対応する画像ピクセルをマッピングする数式を生成する工程を実行させる命令を含むものものであるコンピュータシステム。
【請求項２７】
請求項１７記載のコンピュータシステムにおいて、前記命令は、前記プロセッサにより当該命令が処理されると、前記プロセッサに、前記第１の画像を前記第２の画像に対してモーフィングする工程を実行させ、これにより各画像における共通ランドマークは同一の座標を有するようになる命令を含むものであるコンピュータシステム。
【請求項２８】
請求項１７記載のコンピュータシステムにおいて、前記共通基準点は、グローバル・ポジショニング・システム・タグ、緯度／経度データ、および／または座標系データを有するものであるコンピュータシステム。
【請求項２９】
請求項１７記載のコンピュータシステムにおいて、前記命令は、さらに、
前記プロセッサに、前記選択された画像について出力画像中の各スポットにおけるアラインメントおよび／またはマッピングの正確度の表示を前記表示部に提供する工程を実行させるものであるコンピュータシステム。
【請求項３０】
請求項２９記載のコンピュータシステムにおいて、前記表示は、表示されたピクセルを視覚的に区別して、前記各スポットにおける当該ピクセルのアラインメントおよび／またはマッピングの正確度の差を示す手段を有するものであるコンピュータシステム。
【請求項３１】
請求項２９記載のコンピュータシステムにおいて、さらに、
利用者の入力装置を有し、
前記正確度は、前記利用者の入力装置によってポインティングされた出力画像上のスポットに対する数値として表されるものであるコンピュータシステム。
【請求項３２】
請求項１７記載のコンピュータシステムにおいて、前記命令は、前記マッピングパラメータを前記第１および第２の画像の重複領域外にある当該画像のうちの少なくとも１つの画像上のピクセルに適用する命令を含むものであるコンピュータシステム。
【請求項３３】
プロセッサにより処理されると、当該プロセッサに共通ランドマークまたは共通基準点を有する画像をマッピングする工程を実行させる命令を格納するコンピュータ可読媒体であって、この命令は、当該プロセッサに、
前記共通ランドマークまたは前記共通基準点を有する少なくとも２つの画像を選択する工程と、
前記選択された画像をマッピングし、第１の画像上の第１の位置を第２の画像上において当該第１の位置に対応する位置にマッピングするマッピングパラメータを生成する工程と、
前記第１の画像上の少なくとも１つのピクセルを特定し、前記マッピングパラメータを当該第１の画像上の少なくとも１つのピクセルに適用して前記第２の画像中において当該ピクセルに対応するピクセルまたは複数のピクセルを特定する工程と
を実行させる命令を有するものである
コンピュータ可読媒体。
【請求項３４】
請求項３３記載のコンピュータ可読媒体において、前記命令は、さらに、前記マッピングパラメータを使用して前記第１の画像の任意のピクセル、座標、マーク、カーソル、テキスト、および／または注釈を前記第２の画像の対応する位置に位置付け、または再生させる命令を含むものであるコンピュータ可読媒体。
【請求項３５】
請求項３３記載のコンピュータ可読媒体において、前記少なくとも２つの画像は異なる画像タイプを有するものであるコンピュータ可読媒体。
【請求項３６】
請求項３５記載のコンピュータ可読媒体において、前記画像タイプは、Ｘ線画像、写真、線画、地図画像、衛星画像、ＣＡＴ画像、磁気共鳴映像、立体スライド、ビデオ、およびフィルムのうちの少なくとも２つを含むものであるコンピュータ可読媒体。
【請求項３７】
請求項３３記載のコンピュータ可読媒体において、前記少なくとも２つの画像は、異なる視点からおよび／または異なる時点で撮像されるものであるコンピュータ可読媒体。
【請求項３８】
請求項３３記載のコンピュータ可読媒体において、前記命令は、利用者に前記第１および第２の画像の１つまたは双方をアラインメントが完了するまで操作、再配置、および／または伸長させて手動でアラインメントを行わせる命令と、当該第１および第２の画像をアラインメントするために使用された操作、再配置の動作、および／または伸長の動作を反映するアラインメントパラメータを生成させる命令とを含むものであるコンピュータ可読媒体。
【請求項３９】
請求項３３記載のコンピュータ可読媒体において、前記命令は、前記プロセッサに前記第１および第２の画像をアラインメントさせる工程と、アラインメントパラメータを生成する工程とを実行させる自動画像照合アルゴリズムを含むものであるコンピュータ可読媒体。
【請求項４０】
請求項３３記載のコンピュータ可読媒体において、前記命令は、前記プロセッサにより当該命令が処理されると、利用者に手動で前記第１および第２の画像中の共通ランドマークを特定させる命令と、前記共通ランドマークの前記第１および第２の画像における位置に基づいてマッピングパラメータを生成する命令とを含むものであるコンピュータ可読媒体。
【請求項４１】
請求項３３記載のコンピュータ可読媒体において、前記命令は、前記第１および第２の画像中の共通ランドマークを特定し、前記マッピングパラメータを生成する自動ツールを有するものであるコンピュータ可読媒体。
【請求項４２】
請求項３３記載のコンピュータ可読媒体において、前記命令は、前記プロセッサに、前記第１の画像と前記第２の画像との間で対応する画像ピクセルをマッピングする数式を生成する工程を実行させるものであるコンピュータ可読媒体。
【請求項４３】
請求項３３記載のコンピュータ可読媒体において、前記命令は、前記プロセッサにより当該命令が処理されると、前記プロセッサに、前記第１の画像を前記第２の画像に対してモーフィングする工程を実行させ、これにより各画像における共通ランドマークは同一の座標を有するようになる命令を含むものであるコンピュータ可読媒体。
【請求項４４】
請求項３３記載のコンピュータ可読媒体において、前記共通基準点は、グローバル・ポジショニング・システム・タグ、緯度／経度データ、および／または座標系データを有するものであるコンピュータ可読媒体。
【請求項４５】
請求項３３記載のコンピュータ可読媒体において、前記命令は、前記選択された画像について出力画像中の各スポットにおけるアラインメントおよび／またはマッピングの正確度の表示を提供する工程を実行させるものであるコンピュータ可読媒体。
【請求項４６】
請求項４５記載のコンピュータ可読媒体において、前記表示は、表示されたピクセルを視覚的に区別して、前記各スポットにおける当該ピクセルのアラインメントおよび／またはマッピングの正確度の差を示す手段を有するものであるコンピュータ可読媒体。
【請求項４７】
請求項４５記載のコンピュータ可読媒体において、前記正確度は、前記利用者の入力装置によってポインティングされた出力画像上のスポットに対する数値として表されるものであるコンピュータ可読媒体。
【請求項４８】
請求項３３記載のコンピュータ可読媒体において、前記命令は、前記マッピングパラメータを前記第１および第２の画像の重複領域外にある当該画像のうちの少なくとも１つの画像上のピクセルに適用する命令を含むものであるコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は２００８年５月２日付けて提出された米国仮特許出願第６１／０４９９５４号に対して優先権を主張するものであり、その全体は、この参照により本明細書に組み込まれる。
【０００２】
本願発明は、異なるタイプの静止画または動画、および／または同一時点または異なる時点での異なる視点から見た１つのシーン（ｓｃｅｎｅ）またはオブジェクトをマッピングすることにより、各画像中で当該シーンにおける所定のオブジェクトまたは位置を特定し、且つトラックするシステムおよび方法に関する。前記システムおよび方法は、現在または将来における任意の画像タイプ、すなわち、２次元および３次元画像の双方、単一フレームおよびマルチフレーム（ビデオ）の双方に適用可能である。また、前記システムおよび方法は周知の画像アラインメント法によって適用される変形形式と同じ形式を画像に適用することにより、当該画像アラインメント法と関連させて使用することが可能である。
【背景技術】
【０００３】
１対象物の画像における所定の位置を同一の対象物の別の異なる画像中において正確に特定することが必要な場合が数多くある。これらの画像は、異なるタイプの画像（例えば、Ｘ線、写真、線画、地図、衛星画像など）、異なる視点から撮像された類似タイプの画像（例えば、カメラの異なるアングル、回転、焦点距離、またはオブジェクトと焦点面の関係）、異なる時点で撮像された類似画像または異なる画像、またはこれら全ての組み合わせなどである。本明細書で説明する技術は、このような画像タイプ、または３次元空間の画像をキャプチャおよび提供する画像タイプ（例えば、多数の２次元スライス画像を使用するＣＡＴおよびＭＲＩ）、または２次元画像から３次元のレンダリングを生成する他の画像タイプ（例えば、現在、眼科の画像比較において代表的に使用されているような立体スライド、または今日のエンターテイメントの分野で使用されているような「３次元」技術など）と共に使用されるものである。また、前記画像タイプには、個々の画像（２次元または立体画像）から成るビデオおよびフィルムも含まれる。
【０００４】
現在、このような画像の上述したマッピングを達成するための選択肢は限られている。利用者は、（１）様々な視覚的および直感的手法を使って推量、（２）数学的手法を使って推量、または（３）コンピュータによる画像モーフィング法を使って前記画像をアラインメントし、さらに、例えば、工学および天文学などの他の数多くの学問分野で変化や運動を特定するために使用されるフリッカ・クロノスコープ検査法（ｆｌｉｃｋｅｒ  ｃｈｒｏｎｏｓｃｏｐｙ）を使って前記画像を重ね合わせる。これらの技術は各々、正確性が比較的低い、遅いまたは時間が掛かる、高度な技術または専門知識を必要とする、非常に誤差が起きやすいなどの重大な欠点がある。従って、このような欠点のない改良技術が望まれている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本願発明の交差画像マッピング（Ｃｒｏｓｓ−ｉｍａｇｅ  ｍａｐｐｉｎｇ：ＣＩＭ）技術は、様々な用途に使用される複数の画像に亘るオブジェクトのマッピングの容易性、高速性、および正確性を向上させることを目的としている。その用途としては（これらに限定されるものではないが）、医療追跡および診断目的で使用されるフリッカ・クロノスコープ検査法、地図作成用途、複数の連続画像またはビデオフレームに亘るオブジェクトのトラッキング、およびその他多数の用途が含まれる。  
【課題を解決するための手段】
【０００６】
本願発明のＣＩＭ技術により、１画像中の特定の座標、オブジェクト、または地物を別の画像の文脈内に位置付けることが可能となる。このＣＩＭ技術は、２次元または３次元画像、単一フレームの静止画またはマルチフレーム（ビデオまたは他のタイプの動画）に関わらず、現在または将来における任意の画像技術または画像表現に適用可能である。このＣＩＭ技術による処理は容易に自動化が可能であり、以下に説明するように様々な方法で適用することができる。
【０００７】
例示的な１実施形態において本願発明のＣＩＭ技術では、広義に以下の３つの工程が行われる。  
１．１セット内の１若しくはそれ以上の画像をモーフィング、または代替的にマッピングして２つの画像の間の関係を確立することにより当該画像のアラインメントを行い、次に、モーフィングパラメータまたはマッピングパラメータを生成する工程、若しくは代替的に、最初にアラインメントを行わずに、照合アルゴリズム、または他の用途で使用される、ランドマーク（目印）・タギング・アプリケーション（例えば、１つの顔を別の顔に変形させるフォトモーフィングアプリケーションなど）による手動マッピングを使ってマッピングパラメータを生成する工程。  
２．所定の入力画像からアラインメントされた、またはアラインメントされていない所定の出力画像に、若しくはアラインメントされた、またはアラインメントされていない所定の入力画像から所定の出力画像にマッピングする数式を確立する工程。  
３．前記マッピングパラメータおよび／またはアラインメントパラメータを適用して、１画像中のピクセルと、別の画像において当該ピクセルに対応する位置を特定しハイライトする（すなわち、各画像において所定のランドマーク（目印）に対応する同一の位置を特定する）工程。
【０００８】
前記第１の工程において、前記ランドマークのタギングが、アラインメントされた画像間で行われるのではなく、アラインメントされていない画像に対して、またはアラインメントされていない画像から行われる場合、画像を実際にモーフィングまたは修正する工程は必要とされない。このような場合、アラインメントアルゴリズムからの重要な出力は修正画像自体ではなく、その数式である。
【０００９】
また、前記方法は、マッピングされたピクセル位置の正確度または信頼度を示す機能を含む。この正確度または信頼度の評価は、マッピングの際に使用されるアラインメントアルゴリズムまたはツールからの出力、若しくは副生成物に基づいているか、または当該出力が行われた後のアラインメント済みの画像の評価に基づいている。当該正確度または信頼度の測定は、マッピングマークの視覚的変更（線の太さ、色、またはその他の属性の変更）、および画像領域内外における数量的インジケータまたは質的インジケーター（例えば、赤色／黄色／緑色または指数測定基準など）を含む（これらに限定されるものではない）様々な形で示すことが可能である。
【００１０】
本願発明の範囲には、共通ランドマークまたは共通基準点（例えば、グローバル・ポジショニング・システム・タグ、緯度／経度データ、および／または座標系データ）を有する画像をマッピングする方法を実行するソフトウェアを含む方法、コンピュータシステムおよび／またはコンピュータ可読媒体が含まれ、これらにより、例えば、アラインメントされた、および／またはアラインメントされていない画像に亘って、ピクセル、座標、ランドマーク、カーソル、テキスト、および／または注釈を作成、位置付け、および／またはマッピングすることが可能となる。前記コンピュータで実行する方法は、前記共通ランドマークまたは共通基準点を有する少なくとも２つの画像を選択する工程と、前記選択された画像をマッピングし、第１の画像上の第１の位置を第２の画像上において当該第１の位置に対応する位置にマッピングするマッピングパラメータを生成する工程と、前記第１の画像上の少なくとも１つのピクセルを特定する工程と、前記マッピングパラメータを前記第１の画像上の少なくとも１つのピクセルに適用して、前記第２の画像中において対応するピクセルまたは複数のピクセルを特定する工程とを含む。次に、前記マッピングパラメータは、前記第１の画像の任意のピクセル、座標、マーク、カーソル、テキスト、および／または注釈を前記第２の画像の対応する位置に位置付け、または再生するために使用される。
【００１１】
例示的な１実施形態において、前記２つの画像は、Ｘ線画像、写真、線画、地図画像、衛星画像、ＣＡＴ画像、磁気共鳴映像、立体スライド、ビデオ、およびフィルムを含む異なるタイプの画像であってもよい。また、前記画像は異なる視点からおよび／または異なる時点で撮像されてもよい。前記画像は、前記第１および第２の画像をアラインメントさせ、アラインメントパラメータを生成する自動画像照合アルゴリズムを使ってアラインメントさせてもよく、または利用者が前記第１および第２の画像の１つまたは双方をアラインメントが完了するまで操作して、当該第１および第２の画像のアラインメントを手動で行ってもよい。また、手動によりまたは自動的にランドマークがマッピングされて、前記１および第２の画像における共通ランドマークが特定される。自動的にランドマークがマッピングされる場合、関連ソフトウェアは、前記共通ランドマークの前記第１および第２の画像における位置に基づいてマッピングパラメータを生成する。さらに、前記第１の画像が前記第２の画像に対してモーフィングされることにより、各画像における共通ランドマークは同一の座標を有するようになる。
【００１２】
また、例示的な１実施形態では、前記選択された画像について出力画像中の各スポットにおけるアラインメントおよび／またはマッピングの正確度の表示が提供される。当該表示には、表示されたピクセルを視覚的に区別して、各スポットにおける当該ピクセルのアラインメントおよび／またはマッピングの正確度の差を示す手段が含まれる。例えば、前記各スポットにおけるアラインメントおよび／またはマッピングの信頼度に応じて異なる色および／または線の太さを使用したり、若しくは代替的に、利用者の入力装置によって示された出力画像上のスポットに対する数値を使用することができる。また、前記マッピングは、前記第１および第２の画像の重複領域外にある当該画像のうちの少なくとも１つの画像上のピクセルにも拡張することが可能である。
【図面の簡単な説明】
【００１３】
上記発明の概要および以下の本願発明の様々な実施形態についての詳細な説明は添付の図を参照することにより、より明確に理解されるものである。本実施形態を図示することを目的として本図面では最良の実施形態を示す。但し、本発明の実施形態は、図示した配置および手段と同一の形態に限定されるものではないことを理解されたい。
【図１】図１は、単一不変のオブジェクトを示す。アラインメントされていない画像Ａは数フィート離れた位置で正面から撮ったオブジェクトを示し、アラインメントされていない画像Ｂは、より低い、さらに離れた地点から、カメラを水平軸に対して回転させた状態で撮った同一のオブジェクトを示すものであり、画像中に当該オブジェクトの異なる配置を示す。
【図２】図２は、画像Ｂを修正し、画像Ａに対応させる工程を示す。
【図３】図３は、アラインメントされていない画像Ｂをアラインメントされていない画像Ａにマッピングするマッピングパラメータを示す。
【図４ａ】図４ａは、利用者によって定義された位置に描画された円形を入力画像Ｂから出力画像にマッピングする図を示す。
【図４ｂ】図４ｂは、アラインメントパラメータ（例えば、線）の画像に対する適用を示し、２若しくはそれ以上の画像から、画像セット内のマーク付き画像または他の画像に「前と後」（ｂｅｆｏｒｅ  ａｎｄ  ａｆｔｅｒ）マークをマッピングすることによって生成されるシフトを示す。
【図５】図５は、同一オブジェクトの２つのタイプの画像を示し、各画像に共通の識別特徴が提供されているものである。
【図６】図６は、共通の特徴を利用した図５の画像のアラインメントを示す。このアラインメントは、手動によるランドマークの適用、または自動アルゴリズムを利用して、１若しくはそれ以上の画像を修正し、カメラアングルなどを補正することにより行われる。
【図７】図７は、２つの画像のアラインメントに基づいて、１セットの画像中の１つの画像をもう１つ別の画像にマッピングするパラメータを示す（当該画像がアラインメントされていないことを除いて、当該パラメータは図３に示すパラメータと同一であることに注意されたい）。
【図８】図８は、画像Ａに利用者によって入力されたマークを画像Ｂまたはアラインメントされた画像Ｂマッピングする図を示す。
【図９】図９は、本願発明のＣＩＭ技術を実行する例示的なコンピュータシステムを示す。
【図１０】図１０は、本願発明のＣＩＭソフトウェアのフロー図を示す。
【図１１】図１１は本願発明に従ったランドマークにタグを適用する操作を例示的に示すものであり、手動によるまたは自動化した当該操作により２つの画像中の対応するランドマークが特定される。
【図１２】図１２は、共通ランドマーク、またはアラインメントされた画像の重複領域における左最上のピクセルなどの表現を使うことにより、１画像中の所定の「位置」または「基準点」を表現した図を示す。
【図１３】図１３は、画像の比較において本願発明のＣＩＭ技術を利用して正確度および信頼度を表示した例を示す。
【図１４】図１４は、アラインメントおよびマッピングされた画像を示し、当該画像においては画像Ａは画像Ｂの占める領域のごく一部を占める。また、図１４は、画像Ａの座標系に対応し且つ画像Ａが占める領域を超える、画像Ｂ中のランドマークの座標を特定する手段を示す。
【発明を実施するための形態】
【００１４】
本願発明の例示的な実施形態を以下に図１〜１４を参照しながら詳細に説明する。本説明では、本願発明の実施可能な実施形態を詳細に記載するが、そのような詳細は例示を意図するものであり、本願発明の範囲を限定するものではないことに留意されたい。
【００１５】
概要
本願発明のＣＩＭ技術では、その機能の基礎として、コンピュータにより実行される画像モーフィングおよびアラインメント、若しくはランドマークのタギングまたはその他の技術によるマッピングが採用される。より具体的には、２若しくはそれ以上の画像がアラインメントおよび／またはマッピングされ、いずれかの画像中の特定のランドマークがもう一方の画像中の同一の位置に位置付けられる。前記アラインメントが行われるのは、前記画像の一部分に過ぎない場合があることに留意されたい。例えば、前記画像は、隣接領域の画像のように重複が殆どない領域の描写である可能性がある。さらに、１つの画像は第２の画像の占める第２のより大きな領域に含まれる小領域を占めることもある。従って、重複領域に示されたランドマークまたはピクセルは、両方の画像においてお互いに同一の関係を有し、表面的には空間上の同一位置についての表示であるが、当該画像の中心点、隅部、端部に対して非常に異なる位置に位置付けられる可能性がある。前記アラインメントは１つの画像を修正して別のもう１つの画像に照合させることにより、または、２つの画像を修正して第３のアラインメントされた画像に照合させることにより（複数の入力画像、ビデオ画像の場合、同様の原理が数回適用される）、または２つの画像を変更せずに双方に対して双方の画像をマッピングする（１つの画像をマッピングして別のもう１つの画像に照合させる、または２つの画像をマッピングして第３のアラインメントされた画像に照合させる）ことにより達成される。コンピュータを使って上記アラインメントを行う方法が現在いくつかあり、例えばＰｈｏｔｏｓｈｏｐ（フォトショップ）などの画像操作ソフトウェアで手動入力を行う方法、またはＤｕａｌ  Ｂｏｏｔｓｔｒａｐアルゴリズムなどの技術を利用して自動的に行う方法などがある。どのような方法でアラインメントが達成されるとしても、最終的には、（１）２若しくはそれ以上のアラインメントされていない画像（アラインメントされていない画像Ａ、Ｂなど）および２若しくはそれ以上のアラインメントされた画像（アラインメントされた画像Ａ、Ｂなど）を含む画像セットとなるため、前記アラインメントされた画像は重なり合って、移動または変更されたランドマークのみが異なるピクセルの位置に現れることになり、および／または（２）画像セット中の１若しくはそれ以上の画像をもう１つ別の画像にマッピングするパラメータセットが生成されるため、マッピングを利用して（１）のようなアラインメントを達成することが可能となる。前記ＣＩＭ技術は、画像をアラインメントまたはマッピングする機構とは無関係であり、画像を実際にアラインメンすることを意図しないことに注意されたい。
【００１６】
本明細書では、「アラインメントする（ａｌｉｇｎｉｎｇ）」は第１の画像を変形させて第２の画像に重ね合わせることを意味する。例えば、画像アラインメントは、１若しくはそれ以上の画像を修正して、ピクセルの寸法（サイズおよび形状）および／または当該画像内の特定のコンテンツの位置（例えば、画像の一部のみがアラインメントされている場合）をできる限り整合させることを含む。
【００１７】
本明細書では、「マッピング（ｍａｐｐｉｎｇ）」は、１つの画像中の位置またはピクセルであって、別のもう１つの画像中の位置またはピクセルに対応する位置またはピクセルを特定するために使用可能な数学的関係を特定することを意味する。いずれかの画像を修正してマッピングを確立する必要はない。例えば、マッピングは、アラインメントの生成、および／またはアラインメントの達成を実行する操作を表すのに利用される。マッピングパラメータは、前記マッピング操作の出力であり、ランドマーク（目印）のタギングを行う際にピクセルの位置の計算を実行するのに利用される。
【００１８】
上記ＣＩＭ技術は、例えば図１２に示すように、２つの画像の重複領域が部分的である場合にも同様に適用することができる。図１２に示すように、画像中の所定の「ランドマーク」または「基準点」が特定される。図中右側のマッピングされた１対の画像では、共通ランドマーク、座標系に対して、またはマッピングパラメータに従って各画像中の特定位置が特定されるが、この特定位置は、（各画像の二等分線に対する相対的位置として示されているように）前記２つの画像内において非常に異なる「位置」に位置付けられる。前記アラインメントアルゴリズムおよび／または前記マッピングパラメータの機構に応じて、共通ピクセルはいくつかの方法で各画像に位置付けすることが可能である。典型的には（これらに限定されるものではないが）、前記画像の重複部分における特定ランドマーク、若しくは共通基準点またはピクセル（例えば、左最上）に対して位置付けする方法がある。
【００１９】
本明細書では、「入力画像」は、マッピングの生成に使用されるピクセルまたは位置を特定するために使用される画像を指し、「出力画像」は、マッピングされたピクセルまたは位置が位置付けおよび／または表示される画像を指す。
【００２０】
本明細書では、「ランドマーク（目印）のタギング（タグ付け）」は、アラインメントされていない画像において、自動（例えば、形状認識）または手動（例えば、利用者による特定）のいずれかによって共通ランドマークまたは登録点を特定する様々な形式を指す。
【００２１】
本願発明の前記ＣＩＭ技術では、最初に、前記入力画像セットまたはアラインメントされた画像セットにおける任意の画像内の特定位置をマッピングする数式が生成される。当該数式には、画像の中心点（またはその他の基準点）を上下、左右にシフトさせるパラメータ、定義された中心点を回転させるバラメータ、１若しくはそれ以上の軸、端部、寸法を伸長させて視点をシフトさせるパラメータ等が含まれる。これらの数式は（１）Ｄｕａｌ  Ｂｏｏｔｓｔｒａｐなどの自動アラインメントアルゴリズムの出力の一部としてキャプチャ、若しくは（２）ランドマーク・タギング・アプリケーションまたはその他従来のアプリケーションのランドマーク照合機能を利用して算出することが可能である。図１１を参照して以下に説明するように、前記ランドマーク・タギング・アプリケーションでは、利用者に２若しくはそれ以上の画像が提供され、これにより利用者は当該画像の各々に含まれる特定且つ複数のランドマークを「タギング」することが可能となり、さらに、このタギングから取得されたデータを使って、コンピュータプログラムにより、当該画像セット内の画像における任意のスポットを別のもう１つの画像において当該スポットに対応するスポットにマッピングすることを実行可能とする数式またはパラメータが算出される。代替的に、ランドマークのタギングは、形状認識、色またはテクスチャの照合、若しくはその他の現在または将来の技術を使った自動処理によって達成することができる。
【００２２】
マッピングの数式が確立されると、利用者は前記画像セットから２（若しくはそれ以上）の画像を選択する。これらの画像は、アラインメントされた画像であってもよく、アラインメントされていない画像とアラインメントされた画像の組み合わせ、若しくは全てアラインメントされていない画像であってもよい。さらに、これらの画像は、例えば、描画、写真、２次元ビデオフレーム、３次元静止画レンダリングまたは動画レンダリングなど（例えば、ＣＡＴ、ＭＲＩ、立体スライド、ビデオ、またはフィルム）画像タイプの組み合わせであってもよい。前記選択された画像は、前記ランドマーク・タギング・アプリケーションによりいくつかの方法（例えば、並列または重複タブの形式）のうちの任意の方法で表示される。
【００２３】
次に、利用者は前記選択された画像のうちの１つ（入力画像）におけるピクセル、特徴、または位置を特定し、さらに、前記ＣＩＭアプリケーションにより、別の選択画像（出力画像）において当該ピクセルに対応するピクセル（同一のオブジェクト、ランドマークまたは位置）が特定および表示される。前記特定は、複数の方法のうちの任意の方法で行うことが可能であり、例えば、マウスまたはポインティング・デバイスでクリックする方法、形状、線、またはその他のマークを描画する方法、適切なポインティング・デバイスを用いてフリーハンドで描画する方法、ハードコピーをマークしてスキャンする方法、またはその他のコンピュータ入力技術を含む。選択されたピクセルまたはランドマークは、前記入力画像の線または形状を前記出力画面中の対応する表示に翻訳することにより、若しくはピクセル位置またはその他の座標系に関して前記出力画像における座標を算出することによって一時的インジケータで特定することができる。前記入力画像は、アラインメントされていない画像またはアラインメントされた画像であってもよく、また、前記出力画像もアラインメントされていない画像、またはアラインメントされた画像であってよい。
【００２４】
例示的実施形態
前記ＣＩＭプロセスの例示的な実施形態に従って、２若しくはそれ以上の画像がマッピングのために選択される。これらの入力画像は、視点、カメラアングル、焦点距離若しくは倍率、回転、またはフレーム内の位置において異なる。図１には、単一不変化オブジェクトの例示的な画像が示されている。入力画像Ａでは、前記オブジェクトが特定の距離（例えば６フィート）から直視して撮られたものが示され、一方の入力画像Ｂは、同一のオブジェクトを低い視点から、さらに離れた水平線に対して回転したカメラ位置からの画像が図示されており、前記画像での前記オブジェクトの異なる配置を図示している。ある用途では、前記オブジェクトは、形状、サイズ、または他のランドマークに対する位置を変化させる。
【００２５】
前記画像をアラインメントさせるおよび／またはマッピングさせるパラメータが算出される。例えばデュアルブーストラップ（Ｄｕａｌ  Ｂｏｏｓｔｒａｐ）などの自動照合／モーフィングアルゴリズムが使用される場合、このプロセスは自動である。或いは、手動によるランドマーク・ダギングが使用される場合、利用者は各画像の幾つかの特徴的なランドマークを特定してそれらに「タギング（タグ付け）」する（例えば、図２の三角形を参照）。最後に、前記画像は、手動モーフィング／ストレッチング（例えば、フォトショップ（Ｐｈｏｔｏｓｈｏｐ）の変形（ｔｒａｎｓｆｏｒｍｓ）など）を介してアラインメントされる。いずれにおいても、最良のアラインメントまたはマッピングが可能なように確立されている。ある場合には、いくつかの特徴は画像間でアラインメントまたはマッピングすることができないが、それにもかかわらず交差画像マッピングが望ましいことは知られている。これらは、例えば網膜写真の血管の変更パターンなどの対象に構造変化が存在する場合、またはマッピングされている画像に含まれている領域の間で限定的な重なりがある場合である。ある場合には、１つの画像は、別の画像の一部分である。例えば、横長書式（ランドスケープ）の小さい領域の写真がベクトル図にマッピングされ、はるかに大きい領域を含むようになる（例えば、図１４を参照）。
【００２６】
図２は、前記入力画像Ｂを入力画像Ａに対応して修正する方法を示している。結果として生じたアラインメントおよび／またはマッピングパラメータは記録され、画像セットにおいて任意の２つの画像をアラインメントおよび／またはマッピングするための適切な変数および／または公式に変換される。図３の実施例において、入力画像Ｂを入力画像Ａにマッピングするマッピングパラメータが示されている。通常、これらのパラメータは、一連の数学的方程式として表される。
【００２７】
アラインメントおよび／またはマッピングパラメータは、１つの画像の所定の位置を画像セット内の別の画像において当該第１の位置に対応する位置にアラインメントおよび／またはマッピングするのに適用される。図４ａでは、所定の形状の端部にある特定のスポットが利用者によって円で囲まれ、ＣＩＭアプリケーションは、画像セット内の別の画像に当該形状に対応する形状が表示されている（出力画像では、前記円は、モーフィング後アラインメントされているため短縮されている）。前記タギングされたアイテムは、特定のピクセル、円若しくはその様な形状、または他の形式の注釈であってもよい。
【００２８】
また、アラインメントおよび／またはマッピングパラメータは２若しくはそれ以上の画像から、画像セットからのマーク付き画像または他の画像に「前と後」（ｂｅｆｏｒｅ  ａｎｄ  ａｆｔｅｒ）マークをマッピングすることによってシフトを示すよう適用される。図４ｂには、２つの線が利用者によって描画され（例えば、ｘ線写真で骨構造の縁をトレースする場合など）、この２つの線は単一の画像上に一緒に描かれている。前記線が描かれた画像は同一のセットからの第３の画像であり、２以上のマークおよび／または２以上の画像がこの技術には使用される。ある適用においては、前記線の描写は、辺縁（エッジ）検出法または他の方法を使用して自動的に行われる。
【００２９】
図４ｂには、前記２つの線の間の変更を定量化するため、ＣＩＭを基にした計算を使用する追加工程が示されている。この距離は、次に、オブジェクトのサイズの比率として、または前記画像の既知のサイズのオブジェクトに対する（例えば１若しくはそれ以上のｘ線写真に導入された鋼球（Ｓｔｅｅｌ  ｂａｌｌ）などの）絶対測定の用語で表すことができる。このような定量化については、図１３と関連させて以下でさらに詳細に説明する。
【００３０】
マッピングの別の形態では、異なるタイプの２つの画像が入力画像として使用され、この２つの画像の共有要素を用いてマッピングパラメータが算出される。このた形態の実施例は、（１）同じスポットの組織のｘ線および写真、（２）道路の下にある水管または電線管を追跡するのに使用されるコンピューター支援地図作成（Ｃｏｍｐｕｔｅｒ  Ａｉｄｅｄ  Ｍａｐｐｉｎｇ：ＣＡＭ）アプリケーションで使用されているような写真および、線図またはベクトル図、（３）赤外線写真若しくは標準写真、または（４）航空写真若しくは衛星写真および印刷された若しくは電子化された地図の各種組合わせ、の組み合わせたものを含む。マッピングのこの形態においては、共通の特徴を使用して、（およびモーフィングを介することの確認が必要な場合）２若しくはそれ以上の画像をアラインメントおよび／マッピングする。共通の特徴の実施例は、歯のレントゲンおよび歯の写真の両方で見える歯、写真およびＣＡＭ地図で見える建物、例えば川若しくは道路の合流、または緯度と経度などの両方の画像の既知の座標を含む。例えば、図５の入力画像Ａは、歯のレントゲンまたはＣＩＭ地図でのベクトル図面のような画像タイプＡを表す。図示さらた白い形状は、歯または建物のような識別特徴である。一方、入力画像Ｂは、ｘ線写真（レントゲン）の組織の写真またはベクトル地図の領域の航空写真のような画像タイプＢを表す。入力画像Ａにあるように、前記白い形状は、歯若しくは建物のような識別特徴である。
【００３１】
図６は、ＣＩＭランドマーク・タギング・アプリケーション、自動化アルゴリズム、または手動アラインメント（例えば、Ｐｈｏｔｏｓｈｏｐで画像をそれらがアラインメントされるまで移動させる）を使用して、１若しくはそれ以上の前記画像をモーフィングしてカメラアングルを相殺させる前記共通の特徴（例えば歯若しくは建物）を使用した前記入力画像のアラインメントを図示する。ある場合には、アラインメントおよび／またはマッピングは、両方の画像に共通する形状または他の特徴を使用して自動的に達成される。図２および３について上述したランドマークの形態と同様に、あるセットの１つの画像から別の画像にマッピングのパラメータが算出され、図３および７に示した一連の数学的方程式として表される。
【００３２】
結果として生じるマッピング機能は、前記セットから別の領域内の１つの画像のランドマークまたは興味のあるポイントの位置を特定するのに使用することができる。これは図８に図示されており、入力画像Ａに利用者が入力した入力マークは本発明の技術を使用して出力画像Ｂにマッピングされる。必要であれば、画像のモーフィングが、再配置、ｘ，ｙシフト、回転などに加えて適用され得る。
【００３３】
しかし、本発明の前記マッピング技術は、可視マークをマッピングすることに限定される必要はない。これは例えば、カーソルを１つの画像から別の画像のマッピング位置に移動するようにカーソル位置を平行移動させるのに使用され得る。
【００３４】
図９は、本発明のＣＩＭ技術を実施するための例示的なコンピュータシステムを図示している。図示するように、マイクロプロセッサ１００は、２若しくはそれ以上の利用者が選択した入力画像１１０および１２０を受け取り、これらの画像を表示部１３０で表示し、プリンター１３２で印刷し、および／または電子記憶装置１３４に格納するように処理する。メモリ１４０は、前記画像をアラインメントするのに使用され、アラインメントパラメータを生成およびキャプチャするため前記マイクロプロセッサ１００により選択的に処理される照合アルゴリズム１５０およびランドマーク・タギング・アルゴリズム１５５を含むソフトウェアを格納する。前記照合アルゴリズム１５０および前記ランドマーク・タギング・アルゴリズム１５５は、当業者に知られている従来のアルゴリズムから選択することもできる。本発明に従った前記マイクロプロセッサ１００により処理されるＣＩＭソフトウェア１６０も、前記メモリ１４０に格納される。
【００３５】
図１０は、本発明のＣＩＭソフトウェア１６０の流れ図を示している。図１０に図示されているように、前記ＣＩＭソフトウェア１６０は、工程２００において利用者が２若しくはそれ以上の画像または画像の部分を選択することができる。選択された画像は、次に工程２１０で自動照合アルゴリズム１５０を使用してアラインメントされ、アラインメントパラメータ（例えば図３）が工程２２０で前記アルゴリズムから生成／キャプチャされる。前記アラインメントはまた、利用者により１つの若しくは両方の画像がアラインメントが完了するまで操作、再配置、および／または伸長されることにより手動で実行される。前記マッピングは前記操作の記録を行い、前記操作および前記アラインメントパラメータは工程２２０でマッピング記録文書に基づいて生成される。一方、ランドマークタギング（例えば図１１）はまた、工程２３０において前記画像を変更しない変換を決定して、工程２４０において前記マッピングアプリケーション（例えば、ＣＩＭ照合アルゴリズム）により生成された前記マッピングパラメータを生成することによって、画像のマッピングに使用される。工程２５０において、前記アラインメントおよび／またはマッピングパラメータは、一組の画像の全ての対の画像（例えば、アラインメントされていない−アラインメントされていない、アラインメントされていない−アラインメントされた、アラインメントされた−アラインメントされた）の間のアラインメントおよび／またはマッピングの式を定義するのに使用される。画像セット（例えば、入力画像）の任意の画像のピクセルは、次に工程２６０で特定され、工程２７０において前述の式がこれに適用されて前記画像セット（例えば出力画像）の他の画像に対応するピクセルを特定する。最後に、工程２８０において、前記ピクセル位置がマッピングされると、入力画像に入力されたあらゆるマーク、テキスト、または他の注釈が１若しくはそれ以上の出力画像で選択的に再生成されて、前記ピクセル位置が特定および／または表示され、および／またはピクセル座標が戻される。随意で、正確度および信頼度の度合いが算出されおよび／または利用者に表示され、これについて、図１３と関連させて以下で説明する。
【００３６】
図１１は、本発明の従った工程２３０で使用された見本的なランドマーク・マッピング・アプリケーションを図示しており、利用者は、並んで、タブの付いた画面で、またはその他の方法で表示される２若しくはそれ以上の画像を選択する。利用者は前記２つの画像の同一オブジェクトの角などのランドマークを選択し、マウスまたは他の入力デバイスを使用して各画像の各ランドマークにマークを付ける。前記選択されたランドマークは、（例えば、番号を入力してまたはポイント&クリックインターフェイスを使用して）各画像の比較され得る位置として特定される。前記ＣＩＭソフトウェア１６０は、前記対応するポイントを使用して、１つの画像から別の画像に移行するための、前記画像のｘ，ｙシフト、回転、および１若しくはそれ以上の寸法での伸長を含む最良の式を算出する。前記画像は、実質的にはアラインメントされる必要はなく、むしろ、マッピング式は、前記本明細書に記載された技術を使用して、１つの画像から別の画像にピクセル、座標、マーク、カーソル、テキスト、注釈などをマッピングするのに使用される。
【００３７】
応用および追加の実施形態
ＣＩＭソフトウェア１６０には付加的レベルの機能が簡単に追加できる。例えば、手動タギングまたは自動エッジ検出は、２つの画像の特定のランドマークの他に既知のサイズ（例えば、サイズ参照を構築するため１つの画像に導入された異物）または位置（例えば、変化しなかった骨の縁部）の参照ランドマークを特定するのにも使用される。この情報と共に、ＣＩＭアプリケーションまたは別のアプリケーション内のモジュールは、２若しくはそれ以上の画像の間の距離または変化率を算出することができる。
【００３８】
前記マッピングに関する追加の情報は、視覚的にまたは他の方法で表示される。例えば、画像適合の統計的尺度は、前記マッピングの正確度および／または信頼度を評価し、この正確度または「信頼範囲」（ｃｏｎｆｉｄｅｎｃｅ  ｒａｎｇｅ）を色、線の太さ、または他の方法で表示するのに使用される。さらに、このような情報は、画像内の位置の機能であり（例えば、大きく伸長した端部対伸長していない端部）、これらの差異は、画像上で視覚的にまたは定量的尺度のような表現を介してのいずれかにより、追加情報の表示に反映される。例えば、カバー領域または解像度が大きく異なる入力画像が使用されている場合、入力画像の特定のピクセルは、出力画像のより大きい数のピクセルに相当する（例えば、１対４ピクセルの比率）。この場合、前記出力画像の線は、前記入力画像の全てのピクセル幅より４倍のピクセル幅で示される。或いは、これは色、模様、または視覚的標識で表され、例えば精度の低い位置マッピングは黒の代わりに赤でまたは実線の代わりに破線で示される。同様に、高い解像度の入力画像から低い解像度の出力画像にマッピングする場合、マッピング位置は１／４の幅であり、この場合、線は１／４のピクセル幅、または緑色、または太線若しくは二重線を用いて示される。
【００３９】
マッピングの正確度を示すこの方法は、解像度以外の要因を基にすることができる。例えば、アラインメントの正確度を特徴付ける記述統計学が用いられ、これは入力および出力画像の各ピクセルの比較から導かれる寸法、反復の回数、処理時間、またはアラインメントアルゴリズムで実行される「ワーク」（ｗｏｒｋ）の他の指示にから導かれる寸法などを含む。このような統計は、正確度または適合性の評価基準として用いられる。別の実施例では、適用されるモーフィングの均一性が使用できる。例えば、画像が１つの端部で伸長される場合、正確度は、最も伸長しなかった画像の部分で最も大きく示される。同様に、アラインメントの正確度、アラインメントまたは他の適格な寸法の信頼度／信用度のあらゆる表示が、これらの信頼度を示す基準として使用される。ある実施形態では、期待精度を値としてまたはカーソルにリンクした視覚的表示（例えば、ポインティングデバイスが画像の周囲で動くと、アラインメント精度の数値尺度を示すツール助言のようなボックス（ｔｏｏｌ−ｔｉｐ−ｌｉｋｅ  ｂｏｘ））として示すことが望ましい。
【００４０】
図１３は、今述べたような正確度または信頼度の表示の実施例を示している。図示された実施例において、（図面左側の）前記入力画像は下部より上部をより伸長する必要がある。このように、出力画像のピクセルのマッピングは、一番上の線より一番下の線の方がより正確である。図示したように、これは線の幅の変更（出力Ａ）、線の色の変更（出力Ｂ）、または線の特性の変更（出力Ｃ）を介して、または他の同様の手段によって表示される。図１３でも知られているように、正確度または信頼度はまた、出力Ｄに示されているように、カーソルに連結した量的または質的な表示を使用して示される。この実施例では、カーソル（三角形）が前記画像の様々な位置に向けられ、前記画像の当該位置の前記アラインメントの正確度または信頼度を示す「スコア」が表示されている。
【００４１】
その他の位置および座標マッピング技術は、本発明のＣＩＭ技術に統合される。例えば、ベクトル地図および写真と、１つのまたは他のものと関連しているグローバル・ポジショニング・システム（ｇｌｏｂａｌ  ｐｏｓｉｔｉｏｎｉｎｇ  ｓｙｓｔｅｍ：ＧＰＳ）タグとを使用して、より大きな画像または全地球的情報システム（ｇｌｏｂａｌ  ｉｎｆｏｒｍａｔｉｏｎ  ｓｙｓｔｅｍ：ＧＩＳ）データベースで共通基準点を特定する。これにより、重なっている領域の高速近似が可能となり、および／または追加画像を特定してマッピングする、このようにして結果より速くより正確にマッピングが可能となる。同様に、画像セットの画像の１つが緯度および経度データまたは別の画像の座標データを含む或いは関連している場合には、この緯度／経度または座標情報は、本明細書に記載されたＣＩＭ技術を使用して前記画像セットの他の画像にマッピングされる。
【００４２】
上述した座標のマッピングの延長おいて、座標は１若しくはそれ以上の画像において重なり領域を超えて延長される。図１４に図示しているように、画像Ａは添付された座標データと関連付けられているが、画像Ｂによりカバーされた、添付の座標データを有さない領域の一部分のみをカバーし、本発明のＣＩＭ技術を使用して、画像Ａに添付された座標の外挿に基づいて画像Ｂのピクセルまたはオブジェクトの位置を推測し、前記重なり領域を使用して前記画像Ｂにマッピングする。図１４は、画像Ａが画像Ｂによってカバーされた前記領域のごく一部分をカバーする、アラインメントされマッピングされた画像を図示する。また、画像Ａは座標データ（例えば、緯度／経度）を関連付けており、画像Ｂはそうではない。画像Ａと重なる領域の外側の画像Ｂの位置は、画像Ｂを入力画像としながら、入力位置として選択される。前記重なり領域の共有ランドマークは、画像Ａの既知の座標である。ＣＩＭを介して、前記重なり領域をマッピングするパラメータは知られており、且つ、重なっていない延長領域は知られている。これにより、（１）前記重なり領域内の前記画像Ａの座標データを前記重なり領域内の画像Ｂに適用して、（２）前記重なり領域を超えて前記マッピングを延長して、たとえそれが画像Ａによりカバーされる領域の外側であったとしても、画像Ｂのピクセルの画像Ａの座標システム内の座標を推測するとにより、画像Ｂにあらゆるピクセルの位置を確立することができる。この実施例では、前記出力位置は、画像Ａには示すことはできないが、画像Ａに適用される座標システムで表すことができる。この方法とともに、ＣＩＭは重なり領域の外側のマッピングを確立するのに使用することができる。
【００４３】
本明細書に記載された原理は、２次元と同様に３次元でも適用される。例えば、ＭＲＩ、ＣＴ、立体写真、３Ｄビデオの様々な形式、または他の画像化タイプの全てに対しておよびそれらの間でＣＩＭ技術が適用される。例えば、ＭＲＩおよびＣＴスキャンは、ＣＩＭ技術を使用してマッピングすることができ、これにより１つの画像で可視なオブジェクトを他の画像内に位置付けることができる。
【００４４】
各入力画像で移動または変更したように見える構造は、本発明の技術を使用して、入力画像に位置付けられる。また、構造または基準（例えば、歯の画像の顎骨）は、歴史的なアラインメントされていない画像、またはアラインメントされた画像で確立され、これにより現在の画像に対する変化を示す。前記技術はまた、画像内の対応する内部および外部特徴（例えば、ｘ線写真の膿瘍または歯レントゲンの歯茎面）を示すのに使用される。この技術はまた、ビデオまたは他の動画ソースの連続フレームの構造または基準（ベースライン）を示すのに使用される。
【００４５】
本明細書に記載された原理はまた、単一フレームおよび複数フレーム画像タイプ（ビデオまたは他の動画フォーマット）に対しておよびそれらの間に適用される。例えば、変化する景色（例えば、移動する飛行機から）のビデオのフレームは、地図または衛星画像にアラインメントされる。ランドマークタギングが確立されると、前記ビデオの所定のオブジェクトは、ランドマークタギングまたはマッピングパラメータを前記ビデオの次のフレームに確立する他の技術を適用することにより、前記ビデオの次のフレームに追跡される。
【００４６】
さらに別の用途において、本明細書に記載されたＣＩＭ技術は、この技術を連続フレームに適用することによって単一動画ソース内で用いられる。例えば、ビデオでの静止眺めからの移動オブジェクトは、ランドマークタギングまたはマッピングパラメータを確立する他の技術を使用して特定され、次にＣＩＭの連続アプリケーションを使用してフレームからフレームへ追跡される。或いは、ビデオでの移動眺め（例えば、飛行機から）からの静止オブジェクトは、ランドマークタギングまたは同様の技術を使用してフレームからフレームへ追跡される。
【００４７】
ＣＩＭアプリケーションまたはＣＩＭモジュールの他の用途での使用についての実施例である。
【００４８】
・医療または歯科状況における変化の視覚的強調表示。例えば、患者は、とてもよくある問題として、顎骨を失ったことを示している。ＣＩＭを使用して、医者は患者の顎の同一領域の２若しくはそれ以上の、月々に分けて撮った歯のレントゲンを見比べる。１つの画像での骨の線をマークして、ＣＩＭを使用してこのマークを他の画像にもマッピングして、医者、患者、または他の仲間が画像を撮った間の期間どれだけ骨（の線）が動いたかを見ることができ、このようにして変化のペースおよび大きさの両方を定量化する。さらに、医者は、前記２つの画像のそれぞれの下顎の最上部に沿った前記骨の線および基線（例えば前記下顎の下縁部）を強調表示することができる。前記ＣＩＭアプリケーションは、次に全体の骨量からの比率から骨量の減少を算出することもできる。或いは、参照オブジェクトが１若しくはそれ以上の画像に含まれ、前記ＣＩＭアプリケーションは次に、骨量の減少を表示することができる。これらの技術は、あらゆる身体部分またはオブジェクトのｘ線のあらゆる形態に平等に適用できる。
【００４９】
・同一の身体部位または他のオブジェクトのｘ線および写真のオーバーレイ。例えば、患者の口の写真および同一領域のｘ線を、歯をランドマークとして使用してアラインメントおよびマッピングすることができる。次に、ＣＩＭアプリケーションは、写真で示された表面組織の真下の特定の骨領域（または特定の骨領域の真上の特定の組織領域）を特定する。別の実施形態では、飛行機の翼の内部構造において可視の疲労骨折が、前記翼の外面の写真とオーバーレイさせることにより、骨折がある真下のスポットの正確な位置が可能となる。
【００５０】
・地図またはベクトル図および写真のオーバーレイ。例えば、衛星写真の海岸線の一部分を、ＣＩＭアプリケーションを使用して、マップデータベースにマッピングするおよび／またはマップデータベースにアラインメントさせる。別の実施例では、歩道または道路の写真をコンピュータ、電話、または特定のデバイスからネットワークを基盤にしたアプリケーションに送信することができる。このアラインメントは、位置の手動での同定によりまたはＧＰＳ座標を使用して、前記写真をＧＩＳデータベース、またはパイプ、電線管などの位置についての正確な情報を含む他のデータベースの特定の部分にマッピングする。一旦マッピングされると、舗装道路の真下のパイプまたは管の位置が元の写真に正確に示すことができ、測量装置の必要性が無くなる。
【００５１】
この技術がどのようにして用いられるのかの実施例は、ガス炭鉱のＣＩＭ地図と街区の航空写真とのオーバーレイを使用して掘削する場所を特定することを含み、これにより、作業者は、掘削場所を測量装置よりもランドマークを使用して発見することができる。この実施例では、１つまたは両方の画像と関連するＧＰＳ座標は、アラインメントするのに用いるデータベースに含まれている追加画像または画像の領域を特定するために使用される。このアプリケーションはまた、アラインメントの正確度および精度の様々な寸法を使用して、マッピングの精度を示す。この技術はまた、地図または別の写真の共有の特徴に対してマッピングすることによって、炎症組織の特定領域の下部の骨を検査するまたは１つの写真に可視な特定のオブジェクトを探すのに使用される。
【００５２】
上記ＣＩＭアプリケーションの実施例において、前記入力（ポインティング）は様々な形態を取ることができる。入力機構は、（１）線、形状、または他の画像をマウス、タッチスクリーン、または他の入力デバイスを使用して描画して、入力画像で見えるようにする、前記描画する工程と、（２）線、形状、または他の画像をマウス、タッチスクリーン、または他の入力デバイスを使用して描画して、入力画像で見えないようにする、前記描画する工程と、（３）緯度／経度または地図格子などの座標データを入力して、関連している座標を有する特定ピクセルが入力画像で特定される、前記入力する工程と、（４）画像内の特定の位置に関連する他の種類の情報を入力する工程とを含む。他の種類の情報の例としては、地形図の海抜データまたは地図若しくは他のデータベースの人工密度がある。これらの実施例では、入力形式は、特定の海抜または海抜の範囲または特定の人工密度または人口密度の範囲に対応する全ての領域を特定する。存在するまたは将来に発明されるいずれかの入力するための他の手段が、同一の結果を達成するために使用されるであろう。
【００５３】
同様に、上記のＣＩＭアプリケーションの実施例において、前記出力（マッピング／表示）は様々な形態を取ることができる。これらは、（１）出力画像に線、形状、または他のマークを示す工程と、（２）出力画像に対応するピクセルのピクセル位置を戻す工程と、（３）出力画像にピクセルまたは特定の位置に関連する緯度および経度または他の座標を戻す工程と、（４）画像内の特定の位置に関連する他の種類の情報とを含む。
【００５４】
更に、ある入力または出力方法は、有効であるために１若しくは両方の画像の表示を必要としない。例えば、入力画像として座標データに関連した地図または衛星画像を使用する場合、当該入力画像は表示されないが、マッピングされる位置は、適切な座標の入力によってまたは海抜の範囲または人口密度などの代わりの値の入力によって示される。これらの位置は、次に、出力画像において表示され、或いは別の方法で特定されるまたは示される。同様に、座標データに関連する出力画像が使用される場合、当該出力画像自体が表示されなくても、これらの座標は特定されるかまたは戻される。
【００５５】
利用者は、次に、選択画像（入力画像）の１つに特徴また位置を特定し、ＣＩＭアプリケーションは第２の選択画像（出力画像）に対応するピクセル（同一のオブジェクト、ランドマーク、または位置）を特定し示す。特定の方法は、上述したような幾つかのうちのいずれかである。選択ピクセルまたはランドマークは、一時的なインジケータとともに、または線若しくは形状を入力画像から出力画像の対応する表示の中に移行することにより、または座標または他の位置インジケータを出力画像に戻すことにより特定される。前記入力画像は、アラインメントされた画像またはアラインメントされていない画像のいずれかであり、前記出力画像もアラインメントされた画像またはアラインメントされていない画像のいずれかである。
【００５６】
当業者は、本発明の新規な教示および利点から実質的に逸脱しないで、例示的実施形態において多くの追加の修正が可能であることを容易に認識するであろう。例えば、当業者は、本発明の方法が、コンピュータ可読媒体に保存された、プロセッサで読まれるときに当該プロセッサで実行されるソフトウェア命令で実行されることを認識するであろう。故に、そのようなあらゆる修正は、添付の請求項の範囲で定義されている本発明の範囲内に含まれるものである。
【図１】
2011520190.tif 000003
【図２】
2011520190.tif 000004
【図３】
2011520190.tif 000005
【図４ａ】
2011520190.tif 000006
【図４ｂ】
2011520190.tif 000007
【図５】
2011520190.tif 000008
【図６】
2011520190.tif 000009
【図７】
2011520190.tif 000010
【図８】
2011520190.tif 000011
【図９】
2011520190.tif 000012
【図１０】
2011520190.tif 000013
【図１１】
2011520190.tif 000014
【図１２】
2011520190.tif 000015
【図１３】
2011520190.tif 000016
【図１４】
2011520190.tif 000017
【国際調査報告】
2011520190.tif 000018