(57)【要約】３Ｄグラフィカルデータオブジェクトに注釈を付けるための方法であって、グラフィカルオブジェクトの少なくとも一つの空間的位置または領域を識別し、少なくとも一つの空間的位置または領域に関連付けられる注釈情報を提供し、少なくとも一つの空間的位置または領域および関連注釈情報で埋込みグラフィカルオブジェクト（ＥＧＯ）が形成され、グラフィカルデータオブジェクトのビューを定義し、グラフィカルデータオブジェクトのビューおよび所望のビュー内のＥＧＯの少なくとも一部の表示を生成することを含む方法を提供する。
2005528681.tif 000002
【特許請求の範囲】
【請求項１】
３Ｄグラフィカルデータオブジェクトに注釈を付けるための方法であって、
前記グラフィカルデータオブジェクトの少なくとも一つの空間位置または領域を識別するステップと、
前記少なくとも一つの空間位置または領域に関連する注釈情報を提供するステップと、前記少なくとも一つの空間位置または領域および前記関連注釈情報が埋込みグラフィカルオブジェクト（ＥＧＯ）を形成し、
前記グラフィカルデータオブジェクトのビューを定義するステップと、
前記グラフィカルデータオブジェクトおよび前記ＥＧＯの少なくとも幾つかの表示を前記所望のビュー内に生成するステップと、
を含む方法。
【請求項２】
前記ＥＧＯが前記ＥＧＯ間の関係を定義する連想リンクデータをさらに含み、前記ＥＧＯがネットワークを形成し、前記生成ステップが前記連想リンクデータに応じて前記表示に含めるべき前記ＥＧＯを選択するステップを含む、請求項１に記載の方法。
【請求項３】
前記ネットワークが、外部３Ｄグラフィカルデータオブジェクトで参照される少なくとも一つのＥＧＯをさらに含む、請求項１または２に記載の方法。
【請求項４】
前記ＥＧＯ間の前記関係が階層関係である、請求項１、２または３に記載の方法。
【請求項５】
前記関係がスケールに関係し、それによって同一階層レベルのＥＧＯは実質的に同一スケールに関係し、子ＥＧＯはそれらの親ＥＧＯより低いスケールに関係する、請求項４に記載の方法。
【請求項６】
前記関係が局所的な詳細レベルに関係し、それにより子ＥＧＯが前記オブジェクトに関する類似またはより詳細な情報をそれらの親ＥＧＯとして提供する、請求項４に記載の方法。
【請求項７】
前記ビューに示された前記ＥＧＯの少なくとも一つに関係する親および子ＥＧＯに関する情報をユーザに提供するステップと、前記関係ＥＧＯの一つのユーザ選択を受け取るステップとをさらに含み、前記表示に含まれる前記ＥＧＯの前記少なくとも幾つかが前記ユーザ選択に応じて再決定される、請求項４、５または６に記載の方法。
【請求項８】
前記ビューに示された前記ＥＧＯの少なくとも一つに関係するＥＧＯに関する情報をユーザに提供するステップと、前記関係ＥＧＯの一つのユーザ選択を受け取るステップとをさらに含み、前記表示に含まれる前記ＥＧＯの前記少なくとも幾つかが前記ユーザ選択に応じて再決定される、請求項２または３に記載の方法。
【請求項９】
前記ＥＧＯが、前記ビューを生成するために使用されたオブジェクト編集操作の履歴を表すデータをさらに含み、操作の前記履歴が一つまたはそれ以上のステップを含み、前記ステップの各々が中間ビューを生成する、請求項１ないし８のいずれか一項に記載の方法。
【請求項１０】
前記生成ステップが前記中間ビューの前記一つを生成するステップを含む、請求項９に記載の方法。
【請求項１１】
前記履歴データを有する複数の前記ＥＧＯの一つのユーザ選択が自動的に、前記編集操作の少なくとも一つを前記グラフィカルデータオブジェクトに適用させる、請求項１０に記載の方法。
【請求項１２】
編集モジュールが設けられて、ユーザがオブジェクト編集操作の前記履歴を編集することが可能になり、ユーザによって編集された前記履歴データが前記ＥＧＯに関連付けられる、請求項１０に記載の方法。
【請求項１３】
前記ＥＧＯがオブジェクト編集操作の複数の履歴を表すデータを含み、前記ビューがユーザによって選択された前記履歴の一つに従って生成される、請求項１０、１１または１２に記載の方法。
【請求項１４】
データマイニング探索判定基準を定義するステップと、
前記ＥＧＯを含む一つまたはそれ以上のデータベースで前記判定基準を探索するステップと、
前記探索で発見された少なくとも一つのＥＧＯを選択するステップと、
前記ビューおよび前記選択されたＥＧＯの表示を生成するステップと、
をさらに含む、請求項１ないし１３のいずれか一項に記載の方法。
【請求項１５】
前記生成ステップの前に、前記選択されたＥＧＯに対する前記オブジェクトの適切なビューを決定するステップをさらに含む、請求項１４に記載の方法。
【請求項１６】
前記データマイニング判定基準がキーワードである、請求項１５に記載の方法。
【請求項１７】
前記データマイニング判定基準が形態学的パラメータである、請求項１５に記載の方法。
【請求項１８】
前記データマイニング判定基準が画像処理プロトコルであり、前記画像処理プロトコルが画像処理操作および形態学的パラメータに関連付けられる、請求項１５に記載の方法。
【請求項１９】
前記識別ステップが、自動セグメント化アルゴリズムを使用して前記一つまたはそれ以上の空間位置または領域を自動的に識別するステップを含む、請求項１に記載の方法。
【請求項２０】
前記識別ステップが、
関心のある投射領域を画定する輪郭線を表示にインタラクティブに定義するステップと、
前記輪郭線を３Ｄ空間に自動的に延長するステップと、
交差する輪郭線および前記３Ｄグラフィカルデータオブジェクトをクリッピングすることによって、関心のある３Ｄ領域を自動的に定義するステップと、
を含む、請求項１に記載の方法。
【請求項２１】
前記自動セグメント化アルゴリズムによって定量的および定性的注釈情報を自動的に提供するステップ
をさらに含む、請求項１９または２０に記載の方法。
【請求項２２】
自動リンキングアルゴリズムを使用して前記連想リンクデータを自動的に定義するステップ
をさらに含む、請求項２に記載の方法。
【請求項２３】
前記自動リンキングアルゴリズムが距離判定基準に基づいて前記連想リンクデータを定義する、請求項２２に記載の方法。
【請求項２４】
前記３Ｄグラフィカルデータオブジェクトの前記ビューを定義するためにユーザにツールを提供するステップ
をさらに含む、請求項１に記載の方法。
【請求項２５】
前記ツールは、前記ユーザにその情報を表示しようとする前記ＥＧＯの一つまたはそれ以上をユーザが選択することを可能にする、請求項２４に記載の方法。
【請求項２６】
前記ツールは交差面のための空間位置をユーザが選択することを可能にし、前記ビューが前記交差面を中心とする前記３Ｄグラフィカルデータオブジェクトの切欠きビューである、請求項２５に記載の方法。
【請求項２７】
前記交差面がユーザ定義非平面３Ｄ表面である、請求項２６に記載の方法。
【請求項２８】
前記情報収集ステップが、前記３Ｄグラフィカルデータオブジェクト内の位置に付加されない少なくとも一つのＥＧＯを定義するステップをさらに含む、請求項１に記載の方法。
【請求項２９】
前記表示生成ステップが、
前記３Ｄグラフィカルデータオブジェクトで参照される複数のＥＧＯを選択するステップと、
前記３Ｄグラフィカルデータオブジェクトおよび前記複数のＥＧＯに対して参照されかつ最適化される非平面３Ｄ表面を定義するステップと、
前記３Ｄ表面および前記３Ｄグラフィカルデータオブジェクトの関数に従って２Ｄ画像データを決定するステップと、
前記３Ｄグラフィカルデータオブジェクトの文脈で前記２Ｄ画像データのビューを表示するステップと、
を含む、請求項１に記載の方法。
【請求項３０】
前記ディスプレイ生成ステップが、
前記３Ｄグラフィカルデータオブジェクトで参照される複数のＥＧＯを選択するステップと、
前記３Ｄグラフィカルデータオブジェクトおよび前記複数のＥＧＯに対して参照されかつ最適化される非平面３Ｄ表面であって前記３Ｄグラフィカルデータオブジェクトと交差する表面を定義するステップと、
前記３Ｄグラフィカルデータオブジェクトのビューであって、前記表面を中心とする前記３Ｄグラフィカルデータオブジェクトの切欠きビューであるビューを表示するステップと、
を含む、請求項１に記載の方法。
【請求項３１】
請求項１ないし３０のいずれか一項に記載の方法をコンピュータで実行するためのプログラム可能な命令を格納するためのコンピュータ可読メモリ。
【請求項３２】
３Ｄグラフィカルデータオブジェクトを表示するための方法であって、
３Ｄオブジェクトを前記グラフィカルデータオブジェクト内に適合させるために３Ｄで操作することによって、前記３Ｄグラフィカルデータオブジェクトに対して参照される非平面３Ｄ表面を定義するステップと、
前記３Ｄグラフィカルデータオブジェクトの文脈で前記３Ｄ表面のビューの表示を生成するステップと、
を含む方法。
【請求項３３】
前記３Ｄ表面および前記３Ｄグラフィカルデータオブジェクトの関数に従って２Ｄ画像データを決定するステップをさらに含み、前記ビューが前記３Ｄグラフィカルデータオブジェクトの文脈における前記２Ｄ画像データのビューである、請求項３２に記載の方法。
【請求項３４】
前記非平面３Ｄ表面を定義する前記ステップが、３Ｄ空間で表面の制御点を選択して移動させるツールを提供するステップを含む、請求項２７、３２または３３に記載の方法。
【請求項３５】
前記２Ｄ画像データを決定する前記ステップが、前記３Ｄ表面および前記３Ｄグラフィカルデータオブジェクトの交差のためのボクセル値を決定するステップを含む、請求項３３に記載の方法。
【請求項３６】
前記２Ｄ画像データが、前記２Ｄ画像ビューにおける選択された位置の３Ｄ座標に関する情報と共に表示される、請求項３５に記載の方法。
【請求項３７】
前記２Ｄ画像データが前記３Ｄ表面の投影図である、請求項３６に記載の方法。
【請求項３８】
前記２Ｄ画像データを処理して前記ビューを改善する、請求項３５に記載の方法。
【請求項３９】
前記注釈が自動注釈である、請求項１に記載の方法。
【請求項４０】
空間位置に関連付けられる前記ＥＧＯが、前記空間位置に配置されたマーカによって前記ビューで表現される、請求項１に記載の方法。
【請求項４１】
前記識別ステップが、
２Ｄ座標である位置をインタラクティブに選択するステップと、
前記選択された位置を３Ｄ座標に変換するステップと、
前記３Ｄ座標および前記３Ｄグラフィカルデータオブジェクト付近の交点を自動的に決定するステップと、
をさらに含み、
前記ＥＧＯが前記交点付近に自動的に配置される、請求項１に記載の方法。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本願は、２００２年５月２４日に出願した米国特許出願第６０／３８２，５９１号の優先権を主張する。
【技術分野】
【０００２】
本発明は３Ｄ画像文書化に関する。さらに詳しくは、本発明は、埋込みグラフィカルオブジェクト（ＥＧＯ）のネットワークを使用して、３Ｄ画像を通して文書化およびナビゲーションを行なうためのコンピュータ制御されたグラフィカルユーザインタフェースに関する。
【背景技術】
【０００３】
３Ｄデジタル画像は、それらが目前の特定のタスクにより多くの情報およびより豊富な解析文脈を提供するにつれて、様々な適用分野で一般的に使用されるようになっている。画像の解釈および解析が根本であり、多くの専門分野にわたる専門知識が関係する、臨床放射線医学および病理学のような多くの分野では、様々な個人の間で新たに形成された画像知識を共有することが重要になっている。しかし、それは複数の込み入ったステップを適用することを含み、これにより共有プロセスは非常に時間がかかりかつ誤りを発生しやすくなり、既存の技術で効率的な共用を達成することは難しい。古典的な画像知識統合戦略は通常、次のステップすなわち一つまたはそれ以上の可視化パースペクティブの選択、パースペクティブからの幾つかのスナップショットの抽出、パースペクティブから文書化しようとする構造の手動的／自動的識別、画像に観察される構造を記述するレポートへのスナップショットの挿入、およびさらなる相談および／または管理のために報告および生データを独立にアーカイビングすることの組合せを含む。
【０００４】
そのようなステップは、利用可能な情報の量をかなり減少させ、情報をユーザによって任意に定義されるパースペクティブに制限する。さらに、レポートの静的性質のみならず無関係の分散情報の格納も、上記した欠点と共に、効率的な情報検索の主要な障害となり、以前に行なった解析へのリターンがほとんどまたは全く必要とされない文脈でしか、そのようなプロセスは重要とされない。しかし、３Ｄ画像解析の専門家間の不断の対話は、医学（臨床放射線医学、病理学等）、工業技術、構造生物学、および化学および類似物のような多くの分野で要求される。以前に行なった解析がしばしば参考にされる、そのような文脈では、情報の統合および共有に関連する誤りおよび調査時間の減少が重要な問題になる。しかし、これは、新規の統合方法を開発することなく、古典的な知識統合文脈によって取り扱うことができない。
【０００５】
画像知識情報を含め、観察情報を組織化しかつマッピングするための、マインドマッピングソフトウェアのような多くの知識管理（ＫＭ）システムは、すでに開発されている。そのようなシステムは、基本的な周知の階層的および／または連想的方法に従って、ネットワーク表現内の情報の一部分を相互接続する。
【０００６】
知識表現プロセスを改善するための代表的な試みは、データベース内に含まれる情報のインタラクティブ表現のためのユーザインタフェースナビゲーションシステムおよび方法を開示する米国特許第５，８１２，１３４号（特許文献１）に示されている。本システムは情報ベースの組織を、各々データベース全体の特定の側面を包含する接続されたノードの構造化された平行な「糸」から成る、三次元「分子」として図形的に描く。所定の糸内で、主題の共通性を共有するコンポーネントノードは、糸によって表される情報主題の組織構造を反映する自然線形数列に配列され、よって表示しようとするノードの適切な順序を示唆する視覚的ガイドをユーザに提供する。
【０００７】
コンピュータユーザに大量の相互接続情報をコヒーレントに提示する別の試みは、思考パースペクティブから思考ネットワークを表示するためのコンピュータユーザインタフェースナビゲーションシステムを開示している、米国特許第６，０３７，９４４号（特許文献２）に紹介されている。このシステムは連想的思考ネットワークを利用して、デジタルで格納された思考を組織化して表現する。思考に対応する多数の表示アイコン、および思考間の関係に対応する多数の接続線を含む、思考ネットワークのグラフィック表現が表示される。ユーザは、グラフィカル表現と対話することによって現行の思考を選択することができ、現行の思考は、現行の思考に関連する思考を自動的に示すことによって、かつ／または現行の思考に関連付けられるアプリケーションプログラムを透過的に呼び出すことによって、処理される。
【特許文献１】米国特許第５，８１２，１３４号
【特許文献２】米国特許第６，０３７，９４４号
【０００８】
上記した方法は分散データの可視組織化および動的表現の一部の問題に取り組んでいるが、それらは単に、古典的知識統合アーキテクチャの上に高レベル表現メカニズムを載せることによってそれら自体を区別しているだけである。したがって、これらのツールは依然として、分離された静的な任意の規定情報片報告、（画像スナップショット、スプレッドシート、ビデオ等）の事後処理管理に限定される。それらの内部アーキテクチャの結果、これらの方法もまた、情報ネットワークのノードが知識管理システムの連続的中央点として使用される、古典的なよく文書化されたマインドマッピングナビゲーション手法に限定される。
【０００９】
そのような制約は先行技術の知識管理システムを、高まる複雑さおよび高解像度多次元画像解析によって発生する大量の情報に対処するのに不適切にしている。多くのユーザによって管理可能にするために、そのような解析は、解析プロセスの全てのステップで、ソースデータおよび抽出情報の連続した多方向の動的リンクを可能にする方法を必要とする。これを達成するには、多次元画像解析アプリケーションによって導入される特定の問題に対処するために、新規の解決策を提案する必要がある。
【００１０】
したがって、改善された多次元画像解析アプリケーションが必要である。
【発明の開示】
【００１１】
本発明は３Ｄ画像文書化に関する。さらに詳しくは、本発明は、埋込みグラフィカルオブジェクト（ＥＧＯ）のネットワークを使用して、３Ｄ画像を通して文書化およびナビゲーションを行なうためのコンピュータ制御グラフィカルユーザインタフェースに関する。
【００１２】
３Ｄ画像からの任意のシーン、パースペクティブ、またはビュープレーンを、本発明の文脈の中心点と受け取ることができる。この新しい中心点は、情報ネットワークのその部分集合にユーザがアクセス可能であるかを決定する主軸である。したがって、情報ネットワークを前記３Ｄ画像の基準の空間フレーム内に明示的に埋め込み、埋め込まれた情報ネットワークの可視表現を３Ｄ画像に関連して最適化し、２Ｄおよび３Ｄ表現方法を組み合わせ、かつ埋込み情報ネットワークの使用を、階層的マルチスケール画像区分化、および非線形ボリュームスライシングと組み合せることによって３Ｄ画像のマルチスケールナビゲーションを実行し、３Ｄ画像を文書化するための効果的かつ完全な統合的方法を提供する。
【００１３】
したがって、本発明の一実施形態では、３Ｄグラフィカルデータオブジェクトに注釈を付けるための方法であって、グラフィカルデータオブジェクトの少なくとも一つの空間的位置または領域を識別し、少なくとも一つの空間的位置または領域に関連付けられる注釈情報を提供し、少なくとも一つの空間的位置または領域および関連注釈情報で埋込みグラフィカルオブジェクト（ＥＧＯ）が形成され、グラフィカルデータオブジェクトのビューを定義し、所望のビュー内におけるグラフィカルデータオブジェクトおよびＥＧＯの少なくとも一部のビューの表示を生成することを含む方法を提供する。
【００１４】
該方法はまた、ＥＧＯ間の関係を定義する連想リンクデータをさらに含む。
【００１５】
本発明の別の実施形態では、ＥＧＯ構成データがオブジェクト編集操作の履歴を表現する３Ｄグラフィカルデータオブジェクトに注釈をつける方法をも提示する。
【００１６】
本発明の別の態様では、ＥＧＯまたはグラフィカルデータオブジェクトに関連する他の情報を含むデータベースで探索が行なわれるデータマイニング探索能力をも備えた、３Ｄグラフィカルデータオブジェクトに注釈をつけるための方法を提供する。
【００１７】
本発明のさらに別の態様では、グラフィカルデータオブジェクト内の空間的位置または領域を自動的に識別するための方法を提供する。
【００１８】
別の実施形態では、３Ｄグラフィカルデータオブジェクトを表示するための方法であって、３Ｄオブジェクトをグラフィカルデータオブジェクト内に適合させるために３Ｄで操作することによって、３Ｄグラフィカルデータオブジェクトに関連して参照される非平面３Ｄ表面を定義し、３Ｄグラフィカルデータオブジェクトの文脈で３Ｄ表面のビューの表示を生成することを含む方法を提供する。
【００１９】
本発明のさらなる態様では、本発明の方法は、当業者には明瞭であろうが、コンピュータプログラム製品として提供することができる。
【００２０】
本発明のさらなる特徴および利点は、添付の図面に関連して取り上げる以下の詳細な説明から明らかになるであろう。
【００２１】
添付の図面全体を通して、同様の特徴は同様の参照番号で識別されることに留意されたい。
【発明を実施するための最良の形態】
【００２２】
本発明を目的として、以下の用語は次のように定義される。
【００２３】
用語「シーン」とは、考慮される３Ｄ画像のグラフィカル表現を維持するつもりであり、前記グラフィカル表現は、前記画像の特定の構造または部分を強調することを目的とする前記画像の変形ビューを導く操作を通して、達成することができる。シーンはさらに、様々な性質のグラフィカルオブジェクトを含むことができる。
【００２４】
用語「ビュー」とは３Ｄ画像の特定の表現を指す。用語ビューは、用語シーンと相互交換可能に使用することができる。
【００２５】
用語「ＥＧＯ」とは、３Ｄ画像の基準の３Ｄフレームに組み込まれた２Ｄまたは３Ｄ絵文字である、埋込みグラフィカルオブジェクトを意味することとする。
【００２６】
用語「Ａ−ＥＧＯ」とは、アタッチＥＧＯを意味することとする。アタッチＥＧＯとは、３Ｄ画像内の可視構造に直接関連付けられるＥＧＯである。Ａ−ＥＧＯは、特定のビューまたはシーン内の可視画像に関連付けることができる。
【００２７】
用語「Ｆ−ＥＧＯ」とは、フローティング埋込みグラフィカルオブジェクトを意味することとする。本特定の種類のＥＧＯは、画像、ビュー、またはシーン内の可視構造に関連付けられない全てのＥＧＯを組み込む。我々は、Ａ−ＥＧＯが現行シーン内の構造と関連付けられることなく表示された場合に、それが一時的にＦ−ＥＧＯになることができることに注目した。
【００２８】
用語「ＨＲＯＩ」とは、関心のある階層的領域を意味する。ＨＲＯＩは３Ｄ画像のマルチレベル３Ｄ表現である。関心のある一つまたは複数の３Ｄ領域を３Ｄ画像内に画定することができ、関心のある３Ｄ領域はさらに、関心のあるひとつまたは複数の３Ｄ領域を含むことができる。各サブ領域はそれ自体のスケールドメインに関連付けられる。
【００２９】
用語「スケールドメイン」とは、オブジェクトおよび属性の両方を同時に見るためにズーミングをさらに要求することなく、画像内のオブジェクトおよびこれらのオブジェクトの属性を明示的に見ることができる３Ｄ画像の「ズームレベル」を意味することとする。
【００３０】
用語「セグメント化」または「画像セグメント化」とは、画像内のオブジェクトの手動的または自動的識別、描画、および数量化を意味することとする。
【００３１】
本発明では、３Ｄグラフィカルデータオブジェクトに関連する知識管理および可視化を有利に容易にする、３Ｄグラフィカルデータオブジェクトに注釈を付けるためのシステムおよび方法を提供する。該システムおよび方法はまた、解析される３Ｄ画像またはより高次の次元に関連する情報の交換および文脈的統合にも好都合である。
【００３２】
本発明の幅広い態様では、行列データ、マルチメディア情報、ベクトル情報、およびグラフィカルオブジェクトに関連する多次元データ可視化のシステムおよび方法を提供する。行列データは可視化される画像／ボリューム（例えばＭＲＩ医療データ）である。マルチメディア情報は、解析され可視化される画像内の特定の構造に関連付けられる文脈的はグローバルな知識であり、ユーザによってまたは自動的に追加される（例えば腫瘍について述べる音声メモ）。ベクトル情報は、画像データ自体に関連付けることができるかまたはインタラクティブツールとして働くことができる余分な表現層を追加する。ベクトル情報は、コンピュータグラフィックスで一般的に使用される用語であるベクトルレンダリングを使用して表示される、全てのグラフィカルデータに関連する。
【００３３】
本発明の一実施形態では、マルチメディア情報が提供され、３Ｄグラフィカルデータオブジェクトの空間位置または領域に関連付けられて、埋込みグラフィカルデータオブジェクトすなわちＥＧＯが形成される方法を提供する。したがって、図１を参照すると、空間的位置または領域は１０で最初に定義され、領域に関する情報が自動的にまたはユーザによって提供され、領域と関連付けられて１２でＥＧＯを形成する。次いでグラフィカルオブジェクトのビューが１４で定義され、一つまたはそれ以上のＥＧＯを持つビューの表示が１６で生成される。
【００３４】
埋込みグラフィカルオブジェクト（ＥＧＯ）は、可視化される多次元空間内に統合された文脈知識を視覚的に識別する手段であり、それらの基礎を成すマルチメディアの内容へのインタフェースとして働く。名前が暗示する通り、ＥＧＯは絵文字要素（アイコン）であり、３Ｄ画像の一部分内および／またはグラフィカルモニタ一般内に自由に配置し、保存することができ、かつマルチメディア情報構造を表現する。ＥＧＯを通して、既存の情報を参照することができ、新しい情報を追加することができる。本発明の一実施形態では、アタッチＥＧＯ（Ａ−ＥＧＯ）およびフローティングＥＧＯ（Ｆ−ＥＧＯ）の二種類のＥＧＯが提供される。
【００３５】
Ａ−ＥＧＯは、基準の３Ｄフレーム内の特定座標に配置されたＥＧＯである。それらは、ボリューム内の特定のボクセル、線、多角形、または多面体にリンクすることが好ましい。Ａ−ＥＧＯの役割は、セグメント化オブジェクト、視覚的画像オブジェクト、および／または関心のある階層的領域（ＨＲＯＩ、後でさらに定義する）のような視覚的構造をボリューム内で文書化することである。この型のＥＧＯとのインタラクションは例えば、関心のあるその関連マルチメディア情報への容易なアクセスを可能にする。
【００３６】
Ｆ−ＥＧＯは、特定の場合または時に、正確な座標で特定の画像構造（ボクセル等）に直接リンクされないＥＧＯである。Ｆ−ＥＧＯとは、限定することなく、分析プロジェクト、特定のシーンまたはビュー、ウェブサイド、またはボリューム自体内に無いかあるいは空間的に基準のフレーム内に配置することのできないいずれかの関連情報片を指す。
【００３７】
Ｆ−ＥＧＯの一例は、以前に作成され保存されたシーンまたはビューに関係するものである。この場合、Ｆ−ＥＧＯはこのシーン／ビューへのショートカットとして働く。ユーザがこのＦ−ＥＧＯでナビゲートする場合、この特定のＦ−ＥＧＯが関連するシーンまたはビューのパースペクティブから新しいグラフィカル表現が表示される。
【００３８】
ＥＧＯは、様々な絵文字表現を持つことができることは理解されるであろう。一実施形態で、我々はＡ−ＥＧＯ絵文字をピラミッド（２０）と定義した。図２は、Ａ−ＥＧＯ２２およびＦ−ＥＧＯ２４が付いた心臓２０を示す一例である。コンピュータ生成された表面２６も心臓２０内に示される。そのような幾何学的絵文字表現は、ピラミッドの先端が構造の方向を指すように向き付けることによって、画像内の構造を正確に狙うことを可能にする。さらに、そのような絵文字は、ユーザによるこのＥＧＯの視覚的認識を容易にし促進する。Ｆ−ＥＧＯをＡ−ＥＧＯと区別するために、異なる幾何学的形状を使用する。Ｆ−ＥＧＯは特に構造を狙わないので、指向要素は重要ではなくなり、その理由から、絵文字Ｆ−ＥＧＯには立方体を使用した。Ａ−ＥＧＯのさらなる例を図３に示す。ここには欠陥３０、動脈瘤３２、およびＡ−ＥＧＯ３４が図式的に示されている。
【００３９】
本発明の別の態様では、マルチメディア情報の構築／記録および多次元画像内の特定の文脈／領域との関連付けを可能にする、知識管理システムを提供する。マルチメディア情報は、テキスト文書、音声ファイル、画像および映像を統合することによって構築することができる。新しい情報の記録は、電子データキャプチャを通して、すなわち音声情報についてはデジタル音声録音、およびテキスト情報については標準的キーボード入力を通して、インタラクティブに達成することができる。さらに、マルチメディア情報は、専用アルゴリズムと関連付けられる場合、自動的に生成することができる。マルチメディア情報と画像内の空間的文脈との関連付けは、３Ｄ画像の基準フレーム内にグラフィカルオブジェクトを空間的に配置することによって、かつグラフィカルオブジェクトに適切な情報を関連付けることによって達成される。
【００４０】
本発明の別の態様では、空間的および意味論的ナビゲーション機能を提供する。空間的ナビゲーションは多くの方法で、例えば、本発明の一実施形態で記述したように、ボリューム内で３Ｄ表面（平面または非線形）の操作およびそれとのインタラクションを通して、行なうことができる。意味論的ナビゲーションは意味論的に関連付けられたＥＧＯのネットワークのトラバースを含み、３Ｄ画像内での情報および関連文脈構造の探索を可能にする。
【００４１】
情報は、空間−意味論的スケール連続体におけるその位置の関数として区分化することができ、有利に所望の情報の表示を可能にし、過剰または不必要な量の情報の表示を防止する。３Ｄ画像を関心階層領域（ＨＲＯＩ）に区分化して、スケールドメインを生成することができる。本区分化は、ユーザが特定のスケールドメインの３Ｄ画像の特定部分に集中し、したがって関心のある情報だけを考慮することを可能にする。
【００４２】
そうする際に、ユーザが画像を解析し始めるときに、一つまたはそれ以上の空間−意味論的スケールドメインを定義することができる。例えば、特定の実施形態では、領域、オブジェクト、およびオブジェクト属性の三つのサブレベルの情報を文書化することができる。領域とは、解析の所望のスケールでユーザにとって重要な意味を持ち、ユーザの視点から所望のスケールで表現されるオブジェクトの一つまたはそれ以上のクラスタを保持するボリュームの一部分とみなすことができる。
【００４３】
さらなる実施形態では、ユーザは、第一の現行ＨＲＯＩおよび現行ＨＲＯＩの内部に埋め込まれた各ＨＲＯＩを表示することによって、特定のスケールドメインを選択することができる。ユーザは次いで、カーソル／制御装置を使用して利用可能なものから新しい現行ＨＲＯＩを選択することができる。この操作は、３Ｄ画像における空間の階層的区分化を定義する複数のＨＲＯＩ間の関係を示す、グラフィカルウィンドウおよび／または継承グラフウィンドウのいずれかで実行することができる。本発明の一実施形態では、ＨＲＯＩは矩形である。
【００４４】
３Ｄグラフィカルデータオブジェクトの階層細分化は、特定の特性クラスタを画像全体ではなく特定のスケールドメインと関連付けることを可能にし、例えばユーザが３Ｄ画像の同じ領域を二つの異なるスケールで表現したり、各スケールドメインをそれ自体のビュー、注釈、および埋込みグラフィカルオブジェクトに関連付けることが可能になる。
【００４５】
ビューは、可視化されている３Ｄ画像からボクセルの部分集合を選択し、その後選択されたボクセルのスペクトル特性を変更することによって、作成することができる。スペクトルの変更は、透明度のレベルの変更またはコントラストの変更など、それらに限らず、様々な性質とすることができる。シーンを形成するためにボクセルの部分集合のスペクトル特性を変更する手段は多数あり、限定することなく、３Ｄ画像と交差する３Ｄ表面、ボクセルしきい値処理、およびオブジェクトセグメント化方法を含む。
【００４６】
ビューは、線形（平面）または非線形表面形状、そのサイズ、向き、および３Ｄ画像内の配置を自動的または手動的に定義するプロセスによって、生成することができる。ひとたびボリューム内に統合されて表示されると、ユーザは表面の特性およびパラメータを手動で変更することができ（自動的プロセスとすることもできる）、それは３Ｄ画像および３Ｄ表面のグラフィック表現に直接影響する。この方法を使用して、表面と交差する３Ｄ画像部分だけを表示することによって、シーンを作成することができる。３Ｄ表面を使用して、表面の前または後のいずれかにあるボリューム部分を除去することによって、シーンを生成することもでき、それは３Ｄグラフィカルデータオブジェクトのサブボリュームの観察を可能にする。ボリュームの一部分を除去するプロセスは、用語「スライシング」によって表される。
【００４７】
ボリューム交差表面は、自動または手動（インタラクティブ）のいずれかで、空間ボリュームナビゲーションのみならずシーン作成にも使用されるツールである。
【００４８】
３Ｄ表面は連続数学的表面方程式の離散近似である。連続関数の離散化は、多くの方法で達成することができる。本発明の一実施形態では、離散表面は薄板スプライン（ＴＰＳ）を使用することによって得られ、それはスプライン曲線に透過的な３Ｄである。ＴＰＳは一組の制御点を使用し、そこから平滑表面近似が生成される。
【００４９】
上記の情報に基づき、データ構造は一組の行列を使用して制御点を格納する。表面に関連する制御点だけを格納することにより、表面を生成するためにシステムが必要とする情報の量は著しく減少する。表面が表示されるときに、ＴＰＳ関数が制御の組から完全な表面が生成する。
【００５０】
本発明のさらなる態様では、ナビゲーションおよびシーン作成プロセスをできるだけ直感的かつ柔軟にするために、表面を変形することができる。変形プロセスはユーザの指示に由来することができ、あるいは自動化することができる。
【００５１】
ユーザ生成表面変形は、パラメータベースの変形およびオンスクリーンビジュアル変形など、それらに限らず、様々な方法で達成することができる。パラメータベースの方法では、ユーザが制御点の空間的変位のような一組のパラメータを指定し、それが表面変形を誘発する。
【００５２】
オンスクリーン変形プロセスはきわめて直感的である。この方法は、ユーザが単にコンピュータマウスのような制御装置を使用して、表面の制御点を空間的に変位させることによって、グラフィカルディスプレイで表面の変形プロセスを可視化することを可能にする。これは実時間プロセスであり、それは制御点の変位が表面の形状を直接変化させることを意味し、この場合、変化はグラフィカルディスプレイに瞬時に表示される。
【００５３】
自動表面変形プロセスをセグメント化アルゴリズムと一緒に使用することができる。これらのアルゴリズムは３Ｄ画像から情報を抽出し、その後それはボリュームの構造に関する洞察を得るために使用される。次に、この構造情報は表面のパラメータを設定するために使用される。自動表面変形プロセスは、表面を自動的にかつ適切に「パラメータ化」するために、様々なソースの情報を使用することができる。
【００５４】
様々な程度の変形をもたらすために、表面変形プロセスに表面張力を導入することができる。表面変形および張力の概念は、３Ｄコンピュータ支援設計の分野ではよく知られている（３Ｄ  Ｓｔｕｄｉｏ  Ｍａｘなどのソフトウェアによって使用される）。表面の張力が零である場合、制御点の変位は隣接する制御点に何ら影響せず、ローカルな変形が生じるだけである。他方、特定レベルの張力を設定することにより、制御点の変位はこの場合、隣接制御点の空間的配置に直接的な影響を持つ。柔軟性を提供するために、張力は、指数関数など、それに限らず、選択された関数にしたがって変更することができる。
【００５５】
表面解像度は表面変形の精度をある程度制御する。解像度を高めることにより、制御点の個数が増加し、より微細な表面変形が可能になる。表面解像度の変化は、ローカルまたはグローバルな性質とすることができる。解像度のローカルな変化は、現行制御点に対して定義された隣接領域内に特定個数の制御点を追加することによって行なわれる。解像度のこのローカルな変化は、表面の特定領域内のより正確な変形を可能にする。解像度のグローバル変化の場合、制御点の数は表面全体にわたって増加する。解像度の変化は等方性または異方性のいずれかとすることができ、ガウス分布など、それに限らず、特定の分布関数に従うことができる。
【００５６】
これまでの段落で述べた「弾性」変形以外に、表面は、回転および平行移動のような剛性変化を受けることができる。このプロセスは、表面全体のデータ構造に変換を適用することによって達成される。
【００５７】
シーンは、しきい値がどのボクセルを表示するかをそれらのスペクトル値に従って定義するように、選択されたボクセルを自動的または手動的にしきい値処理することによって、生成することができる。この場合、新たに生成されたシーンは、原ボリュームのボクセスの部分集合から構成される。
【００５８】
３Ｄ画像内の特定のオブジェクト／構造は自動的または手動的にセグメント化することができ、正確かつ／または特製のシーンが形成されるように、それらを除去することが可能になり、あるいは代替的にこれらのオブジェクト／構造を強調することが可能になる。したがって、この方法は、関連情報だけを含むシーンの手動的／自動的作成を可能にする。
【００５９】
ひとたびシーンが定義されると、このシーンに関連する全ての要素が永久に維持されるように、それをデータベース（シーンデータベース）に格納することができる。これは、後でシーンの検索および可視化することを可能にする。
【００６０】
「３Ｄ画像による空間的ナビゲーション」
空間的ナビゲーションは、漸進的かつ直感的ボリューム可視化を可能にする。このプロセスは、一つまたは複数の変形可能または変形不能な表面を使用する。
【００６１】
そのような表面は、ユーザが平行移動、回転、および変形のような簡単なインタラクションにより、ボリュームの部分を動的に可視化することを可能にする。ローカル／グローバルな剛性変化または変形を表面に連続的に適用することにより、表示された空間的文脈の変化が達成される。この漸進的変化は、ユーザが一度に３Ｄグラフィカルデータオブジェクトの一領域を平滑的かつ連続的に可視化し、こうしてボリューム内の空間ナビゲーションを達成することを可能にする。
【００６２】
空間的ナビゲーションは、一つまたは複数の変形不能な線形表面（平面）、一つまたは複数の非線形的変形可能な表面、またはそれらのいずれかの組合せを使用することによって、達成することができる。
【００６３】
平面ベースの可視化は、特定の文脈またはアプリケーションに重要となり得る標準的断面ビューを可能にし、ユーザに親しみ易いツールを提供する。
【００６４】
他方、変形可能な表面ベースの可視化は、非常に価値のある込み入った断面ビューを達成する方法を提供する。それらの非線形幾何学は、関心がないかもしれない、あるいは特定の場合にボリューム内の基礎を成す関連構造を隠すかもしれない、特定の構造を迂回することを可能にする。
【００６５】
「一般的連想リンク（ＧＡＬ）」
ＥＧＯをリンクしてＥＧＯのネットワークを形成することができる。ＥＧＯ間には様々な性質の連想リンクがあるかもしれないので、一般型のリンクが定義され、そこから特定型を継承することができる。
【００６６】
特定的連想リンクの型は、限定することなく、因果性または類似性とすることができる。医用画像の文脈では、「因果性」連想は、検討される構造が別の構造によって引き起こされたかもしれないことを強調するのに、重要であるかもしれない。例えば、大動脈弁狭窄症は心臓の心室に深刻な損傷を引き起こすかもしれない。この意味で、損傷または不規則性が目に見える大動脈および心室に注釈を付ける二つのＥＧＯの間にリンクを形成することが可能になる。新たに形成されたリンクは、基本的一般型のようなデフォルト型をそれに割り当てることができ、あるいはユーザによってまたは自動的にいずれかの特定型に規定することができる。
【００６７】
ＧＡＬはグラフィック表現することができ、それはＥＧＯ間の相互関連性を直接図示する。さらに、同時に表示される複数の型のリンクがあるかもしれないので、リンク型の区別のための方法を提供しなければならない。一実施形態では、連想リンクは、Ａ−ＥＧＯ３４が血管４４の動脈瘤４２に関係するＡ−ＥＧＯ４０にリンクされている図４に示すように、３Ｄ基準フレーム内に位置する図形的線によって表現される。異なる型のリンクは、別個の色を使用して区別することができる。絵文字のような追加情報を線表示に追加することができ、例えば方向的キューを提供することができる。
【００６８】
関連するビューと共に表示するためのＥＧＯの選択が、ＥＧＯ間の連想リンクデータに応じて行なうことができることは、理解されるであろう。
【００６９】
新しいＥＧＯの形成。新しいＥＧＯは、グラフィカルウィンドウと直接インタラクトすることによって作成することが好ましい。第一に、ユーザは、（画像セグメント化などを通して）希望する画像のビューを手動的または自動的に生成することによって現行シーンを定義するか、あるいは考慮する画像のために登録シーンのリストの中から既存のシーンを選択するかのいずれかである。シーンは、単に画像をしきい値処理し、残ったピクセル／ボクセルを表示することによって、あるいは単に画像を変更無しにレンダリングすることによって、生成することができる。ひとたび希望するシーンがグラフィカルウィンドウに表示されると、ユーザは、ＥＧＯボタンを起動させ、その後新たに作成されたＥＧＯをインタラクティブにグラフィカルウィンドウ内に配置することによって、新しいＥＧＯを作成することができる。特定の実施形態では、３Ｄ画像内のＥＧＯの配置は、新規の３Ｄ画像注釈メカニズムによって容易になる。
【００７０】
画像注釈メカニズムは、ＥＧＯを交差３Ｄメッシュ表面に自動的にスナップするスナップメカニズムを含む。このメカニズムは、ＥＧＯを自動的にメッシュ表面に直角に配置することによって、ＥＧＯの配置を容易にする。このプロセスは実時間であり、画像の３Ｄメッシュ表現内でＥＧＯを動かしながら適用され、それはＥＧＯの配置をさらに容易にする。図５に関連して、５０でシーンを生成し、５２でメッシュをレンダリングし、５４でＥＧＯを形成および／または表示することができる。
【００７１】
注釈スナッププロセスは次の三つの主要ステップを含むことができる。
−５６での２Ｄ（ｘ，ｙ）スクリーン座標から３Ｄ（ｘ，ｙ，ｚ）ビューポート空間座標への変換。
−５７のメッシュレイピッキング動作。
−５８の交差点検出。
【００７２】
最初のステップは、５５でユーザがマウスカーソルのようなポインティング装置を、画像メッシュ表現が表示されたスクリーン内に配置するときに発生する。２Ｄから３Ｄへの変換は、３Ｄ画像内の対応する座標を識別するために必要である。この変換に続いて、カーソルと３Ｄ画像メッシュの最近接交点を識別するために、レイピッキングアルゴリズムが３Ｄ画像に適用される。検出された最近接交点はその後、６９でＥＧＯが自動的に配置されるスナップ点として使用される。
【００７３】
注釈システムは、レンダラのビューポート角錐台７０（図７Ａ〜Ｅ）の線形代数的性質に基づく。３Ｄ空間に関しては、角錐台はカメラを通して現在見える空間の領域である。ビュー角錐台は、所定の視点から現在見える全てを含む空間のボリュームである。それは、先端を切り落としたピラミッド形に配置された六つの面によって画定される。このボリューム内に点がある場合、点は角錐台の中にあることになり可視である。点が角錐台の外側にある場合には、不可視である。「可視」とは、潜在的に目に見える構造７２のような全ての構造を意味する。例えば、構造はそれを覆い隠す別の構造の背後にあるかもしれないが、それは依然として角錐台の中にある。
【００７４】
第二態様は、自動的な形態学的関連付けである。このメカニズムは、ＥＧＯをそれが配置された画像サブボリュームに自動的に関連付ける。このプロセスは実時間である。目的は、形態学ベースの注釈データマイニングを実行する可能性を提供することである。
【００７５】
ユーザ注釈および形態学的関連付けプロセスは、次のステップから構成される。
ユーザはディスプレイ上で、関心投射領域を表す２Ｄ輪郭線７４を描くステップ、
次いで輪郭線は、スクリーン座標から角錐台の近い平面上のビューポート座標に変換されるステップ、
ビューポートに表現された輪郭線は次いで、ボリュームを形成するようにビューポート空間角錐台内に延長された７６になるステップ、
次いで交差操作が実行され、ボリューム内に存するデータセットの部分集合７８がクリップされるステップ、
データセットのメッシュ表現の頂点の空間分布が、（ビューポート空間の）ｚ軸に沿って計算されるステップ、
分布の要素が、レンダリング中にそれらのｚバッファテスト結果と共に熟考されるステップ、
空間分布の最大値（Ｖｍ）が計算されるステップ、
幅（Ｗ）の代表的ガウス分布の内部に収まる空間分布の要素が維持されるステップと、
分布の要素によって表されるデータセットサブ領域７９は、対応するＥＧＯに関連付けられ、ここで、前記サブ領域はＥＧＯの関連形態学を表わすステップ。
【００７６】
これらのステップは図６でステップ６１ないし６８として要約されている。
【００７７】
これらのステップに従って、システムは単に関連する形態学的情報を保存し、それを検討されるＥＧＯに関連付けるだけである。
【００７８】
ＥＧＯの除去。グラフィカルシーンと直接インタラクトすることによって、既存のＥＧＯをシーンまたはＥＧＯのネットワークから削除することができる。ユーザは最初に所望のＥＧＯ上にグラフィカルカーソルを置き、次いで制御ボタンを押す。次いでユーザには、ＥＧＯを除去するオプションが提示される。ＥＧＯを削除するための別の手段は、ＥＧＯのリストをブラウズまたは探索し、考慮したＥＧＯをリストから削除することによる。好ましい実施形態では、ＥＧＯをグラフィカルウィンドウまたはリストから削除した後、システムは、選択されたＥＧＯに関連付けられるＧＡＬの有無を自動的に検証する。そのような場合、削除されたＥＧＯに関連付けられるＧＡＬは、ＥＧＯネットワークおよびグラフィカルウィンドウから除去される。
【００７９】
ＥＧＯは独立エンティティとして存在することができ、すなわち他のＥＧＯとの関連付けを持たないことがあることは理解されるであろう。
【００８０】
ＥＧＯは、グラフィックにより、またはテキストベースの手法を用いて、リンクすることができる。グラフィックによりＥＧＯをリンクする場合、ユーザは、グラフィカルウィンドウ内の第一のＥＧＯ上でクリックすることによって二つのＥＧＯ間にリンクを定義することができる。クリックすると「プロパティ」対話ボックスが表示される。この対話ボックスから、ユーザは、現行ＥＧＯがリンクされるＥＧＯのリストから選択することができる。次のステップで、ユーザは、新たに作成されたリンクを定義する一般的連想リンクの型を選択するように要求される。第一のＥＧＯをクリックし、次いでマウスカーソルを第二のＥＧＯまでドラッグすることによって、二つのＥＧＯをグラフィックによりリンクすることも可能である。
【００８１】
グラフィックによる手法またはテキスト手法のいずれかを使用してＥＧＯをリンクすることは、ユーザによってインタラクティブに行なうことができるが、自動リンキング方法を使用することも可能である。後者はアルゴリズムを使用して、ＥＧＯ間で様々な型のネットワーク関係を定義することができる。アルゴリズムによって使用される判定基準は、意味論的または空間的情報とすることができるが、それらに限定されない。例えば、空間的に相互に近い構造を文書化するＥＧＯは、「近接性」型のＧＡＬによってリンクすることができる。そのような自動的方法は、ユーザの介在を必要とすることなく、一つまたは複数の３Ｄ画像から、かつ同一または異なるシーンから、異なるＥＧＯをリンクすることを可能にするので、特に有用である。
【００８２】
二つの既存のＥＧＯ間のリンクの削除。任意の時期に、ユーザは二つの既存のＥＧＯ間のリンクを除去することができる。この操作は、グラフィカルシーンと直接インタラクトすることによって実行することが好ましい。ユーザは最初に所望のＧＡＬの上にグラフィカルカーソルを置き、次いで制御ボタンを押す。次いでユーザに、リンクを除去するオプションが提示される。別のメカニズムとして、マルチメディア情報パネル内でリンクを除去することができ、そこからＧＡＬはＥＧＯネットワークおよびグラフィカルウィンドウから除去される。
【００８３】
シーンへのＥＧＯの関連付け。シーンの定義付けおよび／または選択により、ユーザは３Ｄ画像の一部分のみならず、その関連ＥＧＯおよびＧＡＬを可視化することが可能になる。３Ｄ画像を通しての効率的なナビゲーションを可能にするために、ＥＧＯをシーンに関連付けるプロセスは重要である。特定のシーンへのＥＧＯの関連付けは、幾つかの方法で達成することができる。本発明の一実施形態では、システムは自動的アルゴリズム「プラグイン」を使用して、既存のＥＧＯをシーンに自動的に関連付ける。デフォルトアルゴリズムは、シーンを定義する３Ｄ表面と交差する全てのＡ−ＥＧＯをＥＧＯデータベースで探索する。このデフォルトアルゴリズムは、新しいシーンが作成されるたびにトリガすることができる。代替的アルゴリズムは、シーンの性質に応じてＥＧＯを選択するために使用することができる。
【００８４】
自動的関連付けアルゴリズムの他に、インタラクティブ方法を使用することもできる。可能なインタラクティブ方法は、現行シーンで新しいＥＧＯを作成するものであり、新たに形成されたＥＧＯは現行シーンと関連付けられる。別の方法では、既存のＥＧＯのリストから一つまたは複数のＥＧＯを選択し、選択されたＥＧＯを現行シーンに関連付ける。
【００８５】
自動アルゴリズムがデフォルトシーンを特定のＥＧＯに関連付けるために使用することができることは、理解されるであろう。一実施形態では、そのようなアルゴリズムは、ＥＧＯによって文書化される画像構造の可視部分を最大にするシーンを定義付け／選択するような特定の空間的判定基準に従って、新しいシーンを定義しかつ／または複数のすでに利用可能なシーンからシーンを選択する。本発明の別の実施形態では、特定のＥＧＯに関連付けられるデフォルトシーンを定義付け／選択する（すなわち、特定の型のＧＡＬによって、現在選択されているＥＧＯに関係する全てのＡ−ＥＧＯの同時表示を可能にするシーンを定義付け／選択する）ために、意味論的判定基準を使用することもできる。
【００８６】
ＥＧＯとシーンとの間の関連付けの除去。いつでもユーザは、ＥＧＯとシーンとの間の関連付けを除去することが許される。本実施形態では、この操作は、前述したように、所望のシーンのシーン特性パネルをインタラクティブに起動することによって実行される。ひとたびパネルが起動されると、ユーザはシーンに関連付けられる既存のＥＧＯを選択し、その関連付けを除去することができる。
【００８７】
一般表示構造。ＥＧＯネットワークの表示は、現行シーンに従って構成することが好ましい。さらに詳しくは、ＥＧＯネットワークの特定の部分集合の選択、配置、および表示は、シーンを定義するパラメータ、シーン内の構造物の相対位置、および表示される選択されたＥＧＯ間のネットワーク関係から直接決定することができる。そのような方法は、特定の時間にグラフィカルウィンドウでどのＥＧＯを可視にするかを自動的に決定することによって、情報のクラスタを迅速に検索する効果的な方法を構成する。現行シーンに直接関連付けられていないＥＧＯ、または現行シーン内で不可視のＥＧＯもまた、現行シーンの空間的基準の外側に配置されたＦ−ＥＧＯとして表示することができる。これは外部ＥＧＯの効率的な選択を可能にする。この意味で、Ｆ−ＥＧＯは、別のシーンでまたはたとえ別の画像でも可視の関連外部ＥＧＯに対するリンク（ショットカット）として働く。Ｆ−ＥＧＯを表示することによって、ユーザはいずれかの現行ＥＧＯと外部ＥＧＯとの間に定義された連想リンクの型の標識を有する。特定の実施形態では、ユーザは、放射線科医によって欠かれた診断テキストのような外部ＥＧＯのマルチメディア注釈情報を、その実際の画像文脈におけるＥＧＯの表示を要求することなく、見ることができる。これは、対応するＦ−ＥＧＯを選択し、「注釈テキストを表示する」などのオプションを選択することによって、達成することができる。
【００８８】
ネットワークのＥＧＯ間の関係は、階層的性質とすることができる。つまり、ＥＧＯは、同様の性質の共有情報に基づいて、別のＥＧＯに関係付けることができる。例えば、親から子ＥＧＯに階層ツリーを下降するにつれて、情報をどんどん詳細にしていくことができる。これに関連して、同一階層レベルのＥＧＯは同一スケールに関係することができる。さらに、ユーザが現行ビュー内に表示される関係（親または子）ＥＧＯを選択できることは理解されるであろう。
【００８９】
ＥＧＯのマルチメディア構造の編集。各ＥＧＯのマルチメディア情報構造は、マルチメディア編集ウィンドウに表示される。ユーザはいつでも、マルチメディア情報構造の内容を追加または除去することができる。本発明の好ましい実施形態では、ユーザは最初にシーングラフィカルウィンドウで所望のＥＧＯを右クリックする。するとシステムはマルチメディア編集パネルをスクリーンに表示し、テキストベース、音声ベース、および映像ベースの編集ウィジェットをユーザに提示する。
【００９０】
探索。ＥＧＯ  ＩＤまたはマルチメディア情報構造に存在する記述子に従って、ＥＧＯデータベースを探索できることが好ましい。
【００９１】
自動画像注釈。画像内でユーザにとって関心のある領域または位置は、自動画像注釈によって自動的に識別して注釈を付けることができる。この自動識別および注釈は、ＥＧＯの自動配置を含むこともできる。目的は、ユーザが画像の解析および注釈のために要する時間および手間を軽減することである。医用画像の文脈では、可能な病理学的構造を自動的に識別し、これらの構造をセグメント化して定量的情報を獲得し、関連注釈テキスト付きでＥＧＯを自動的に作成して配置するシステムを提出することも可能である。一実施形態では、自動画像注釈プロセスは、システムが３Ｄ胸部ＣＴ画像内で疑いのある動脈瘤を自動的に識別し、それによって専門家の診断プロセスを容易にし促進するために使用することができる。図８に関連して、一般的自動画像注釈プロセスは、次のステップを含むことができる。
１．８０で画像をロードするステップ、
２．８２でアプリケーション特定的方法を使用して画像を自動的にセグメント化するステップ、
３．８３で一つまたはそれ以上のセグメント化オブジェクトの空間座標を計算するステップ、
４．８４でセグメント化オブジェクトの選択された定量的属性を計算するステップ、
５．８５で、選択されたセグメント化オブジェクトに対し、ＥＧＯを形成して画像内の選択された空間座標に配置するステップ、
６．８６で、選択されたセグメント化オブジェクトに対し、対応するＥＧＯにテキスト注釈を加えるステップ、
７．８７で、選択されたセグメント化オブジェクトに対し、対応するＥＧＯの連想リンクデータを定義するステップと、
８．８８で、各ＥＧＯのビューを定義し、ユーザが画像内で関連オブジェクトを見ることを可能にするステップ。
【００９２】
ステップ１ないし５は基本的注釈を可能にし、関心オブジェクトを視覚的に識別するために、視覚的マーカ（ＥＧＯ）だけが画像に配置される。ステップ６ないし８は、関連テキスト情報（オブジェクトに関する定量的または定性的情報など）をＥＧＯに追加し、連想情報に基づいて関係ＥＧＯネットワークを定義するだけでなく、ユーザが各ＥＧＯおよびそれらの関連画像オブジェクトをそれぞれ効率的に見ることを可能にするビューをも定義することを可能にする。
【００９３】
３Ｄ胸部ＣＴ画像モダリティ内の動脈瘤の注釈の特定の実施形態では、前に定義したステップ２は、レベルセットをベースとするセグメント化方法を使用する。この特定の実施形態では、自動注釈プロセスは次のように働く。システムは最初に患者のＣＴスキャン画像をロードし、次いで周知の３Ｄレベルセットセグメント化方法を始動する。セグメント化方法は、表面の平衡が達成されるまで３Ｄ空間内に展開する２Ｄ表面を持つという概念に基づく。表面は、それが最終的に関心オブジェクトの各々を「包む」別個の部分表面に分割されるまで、３Ｄ画像内で強度値を変更する構造によって変形される。曲率、力、および速度のような初期表面パラメータおよび制約を設定することにより、該方法は関心のあるオブジェクトだけをセグメント化する。現在考慮する実施形態では、これらのオブジェクトは血管動脈瘤である。ひとたび初期表面が展開し、平衡に達すると、各セグメント化オブジェクトは関心オブジェクトを形成する。これらのオブジェクトの各々に対し、以下の定量的情報が計算される。各オブジェクトの質量中心はオブジェクトの座標を画定し、オブジェクトを表現するボクセルはその構造および体積を画定する。これらのボクセルから、限定することなく、オブジェクトの体積、密度、質量、変形、および最長直径のような情報を抽出することが可能である。次いでこの計算情報は全て、このオブジェクトを視覚的に識別するように画像内にＥＧＯを作成して配置するために使用される。オブジェクトの質量中心により、ＥＧＯを「固定」することが可能であり、定量的情報により、このＥＧＯにテキスト注釈を自動的に追加することが可能である。さらに、セグメント化方法は特定の用途向け特殊化されるので、定性的情報を注釈に追加することさえ可能である。テキスト注釈は次の内容および構造を持つことができる。「識別されたオブジェクトは、２５０単位の体積および１２単位の最長直径を持つ動脈瘤の可能性がある」。検討するＥＧＯを起動させるだけでいつでもユーザがこの関連情報を見ることができるように、このテキストの定量的情報はＥＧＯのデータ構造に追加される。注釈プロセスの後、連想リンクによりＥＧＯのネットワークを自動的に構築することが可能である。関連付けは、距離に基づく関連付けなど、様々な性質とすることができる。例えば、複数の動脈瘤が識別されたり、幾つかが相互に非常に離れている大きいボリュームでは、自動リンキングで最も遠く離れたＥＧＯ間のリンクを生成することができるので、その後の可視化および画像内での一つのオブジェクトから他のオブジェクトへのナビゲーションが容易になる。そうするために、システムは各セグメント化オブジェクトの空間座標を解析し、特定の距離しきい値を越えるＥＧＯ間に連想リンクを作成する。例えば、特定のＥＧＯの場合、１００ボクセルより離れているボリューム内の他のＥＧＯにリンクを形成することができる。対応するＥＧＯのリストは、表示およびナビゲーションの目的のために、現行ＥＧＯのリンクデータ内に記入される。最後に、画像データと同様に３Ｄ空間内に配置されたＥＧＯの効率的な可視化を可能にするために、システムが、後者の同時可視化を可能にする特定のビューポイントを定義することが不可欠である。特定の実施形態では、これは、後者に従って特定個数のＥＧＯ用の切欠きビューを生成する、非平面３Ｄ表面を計算して生成することによって達成される。表面は、一組のＥＧＯの各質量中心をスプライン表面の制御点とみなすことによって生成される。ここで説明した非平面表面生成メカニズムを使用して、各考慮ＥＧＯと交差する表面に到達することが可能であり、したがって画像データおよびＥＧＯの同時可視化が可能である。別の実施形態では、メッシュおよびボリュームレンダリングを組み合せることによって、最適化されたビューが達成される。この場合、各セグメント化オブジェクトはメッシュで描画（ベクトル表面レンダリング）される一方、残りのボリュームデータはトランスペアレントに描画される。これは、生画像データ、セグメント化オブジェクト、および表現されたＥＧＯの同時可視化を可能にする。
【００９４】
本発明の自動注釈システムの一実施形態を図９に全般的に記載する。全体の操作は、記憶媒体からデジタル画像を読み出すために、システムの主プロセッサ（９８）が最初の画像ローダ（９０）を呼び出すことを必要とする。画像ローダは画像（９１）を読み出し、それを非永久メモリ（９２）に保存する。主プロセッサは次いでセグメント化方法（９３）を具体化し、メモリに保存された画像をセグメント化する。次いでセグメント化方法はセグメント化結果をメモリ（９２）に保存する。このステップに続いて、主プロセッサはアノテータ（９４）を呼び出し、それはメモリに保存された情報をセグメント化方法によって使用して、要求された個数のＥＧＯを作成して配置する。必要な場合、アノテータは各オブジェクトに関連付けられた定量的情報を収集し、各関連ＥＧＯのテキスト注釈を生成する。必要な場合、主プロセッサはリンカ（９５）を呼び出して、連想リンクデータを生成する。最終的に、主プロセッサはビュージェネレータ（９７）を呼び出して、最適化されたビューを生成する。
【００９５】
「自動レポート生成」
自動レポート生成は、特定の標準および規則に従ったレポートを作成するために、自動的に情報を収集し、それを構成し、生成された内容をフォーマットするプロセスである。自動レポート生成は、本発明の方法を使用して簡単に実現することができる。第一のステップは、内容をどのようにフォーマットし、構成し、順序付けるかを定義するレポートテンプレートを指定することである。次のステップは、レポートに組み込むべき内容を含むＥＧＯを手動的／自動的に選択することから成る。内容の選択に続いて、この内容をレポート内に組み込む順序を選択することができる。このレポート生成法の興味深い側面は、各ＥＧＯをデフォルトシーン／ビューに関連付けることができるので、文脈的画像／スナップショットの挿入が自動かつ正確なプロセスであることである。そのような場合、ＥＧＯの内容をレポート内に挿入するときに、シーン／ビュー面を画像スナップショットとして獲得し、その後レポート内に直接取り込むことができる。この特定のＥＧＯ情報に関連付けられる視覚的文脈のスナップショットを手動で撮るという、不正確で時間のかかることをユーザが行なう必要がないので、この特徴は極めて興味深い。ひとたび関心ＥＧＯが選択され、特定の順序が指定されると、最終ステップは、マルチメディア情報データベースからこの情報を抽出し、それをフォーマットテンプレートに従って新しいレポートに挿入することである。この新たに作成されフォーマットされたレポートは次いで、アドビＰＤＦ、ＨＴＭＬ、リッチテキスト、またはマイクロソフトワードなど、それらに限らず、特定のファイルフォーマットで保存される。生成されたレポートは、限定することなく、アーカイブまたは管理目的に、あるいは特定の情報をハードコピーフォーマットで共用したり閲覧するために、使用することができる。
【００９６】
「３Ｄ画像を介する意味論的ナビゲーション」
意味論的ナビゲーションは、意味論的に関連付けられるＥＧＯのネットワークをトラバースし、情報および関連する文脈的構造を３Ｄ画像内で展開することを可能にするプロセスである。そのようなネットワークは上記の通り定義することができる。意味論的ナビゲーションおよびネットワークは、解析の実行中にユーザによって行なわれた意味論プロセスをマッピングするので、以前に獲得した知識を解析中に容易に復元することを可能にする。
【００９７】
ナビゲーションプロセス。本発明の好ましい実施形態では、意味論的ナビゲーションは、二つの区別されるが関連するステップ、つまり意味論的シーン探索（ＳＳＥ）および意味論的シーン転換（ＳＳＴ）によって実行される。ＳＳＥは、ユーザが現行シーンに関連付けられるＧＡＬ関係ＥＧＯを可視化するステップである。これは、次の方法を使用して達成することができる。
【００９８】
特定のＧＡＬを永久に表示または隠蔽することを可能にするグローバル表示法。この方法は以下のステップを含む。
【００９９】
一つ以上の可視ＥＧＯにインタラクティブにタグを付ける。このステップは、グラフィカルカーソル／制御装置を使用して、各ＥＧＯの左側の「−」記号を「＋」状態にセットすることによって達成することができる。
【０１００】
対話ボックスからグローバルリンク表示機能を起動する。これは、現行シーンに関連付けられるタグ付きＥＧＯのＧＡＬを表示／隠蔽する操作を含む。
【０１０１】
現行シーンには関連しないがタグ付きＥＧＯに関連するＥＧＯを表示／隠蔽する。タグ付きＥＧＯおよび現行シーンに関連しないＥＧＯに関係するＧＡＬをオーバレイ／隠蔽する。特定のＧＡＬ上にマウスカーソルを載せて、ＧＡＬに関係するＥＧＯの対を選択し、両ＥＧＯからグラフィカルカーソルの位置までの距離を記録する。対を構成する各ＥＧＯに、それらをカーソル／制御装置から分離する距離に反比例する透明度指数を関連付ける。前に定義した透明度指数を使用して、対のＥＧＯおよび現行シーンに関連するＥＧＯに関連するＧＡＬを表示する。前に定義された透明度指数を使用して、現行シーンに関連しないＥＧＯおよび起動されたＥＧＯの対に接続されたＥＧＯを表示する。前のステップで定義された透明度指数を使用して、起動されたＥＧＯの対および現行シーンに関連しないＥＧＯに関係するＧＡＬをオーバレイする。
【０１０２】
本発明の特定の実施形態では、選択されたＥＧＯの一つが現行領域を表し、後者はワイヤメッシュ球面によって描画される。その場合、全てのＥＧＯは、それらが現行シーンに関連するか否かに関係なく、現行領域の３Ｄ基準フレーム内で可視となる。
【０１０３】
意味論的シーン転換。ＳＳＴはユーザが一つのＥＧＯシーンから別のシーンへと順方向および／または逆方向にナビゲートすることを可能にする。ユーザは以下の操作を繰り返すことによって、このステップを実行することができる。
現行シーン内でＡ−ＥＧＯをクリックし、それをトリガするステップ、
Ａ−ＥＧＯが起動され、現行状態がスクリーンに表示されるステップ、
現行シーンに関連付けられた全てのＡ−ＥＧＯがスクリーンから消えるステップ、
起動されたＡ−ＥＧＯに関連する「デフォルト」シーンがセットされた、スクリーンに表示されるステップ、
「デフォルト」シーンに関連する全ての新しいＡ−ＥＧＯが表示されるステップ、
起動されたＡ−ＥＧＯに関連するマルチメディア情報構造の絵文字内容が表示されるステップ、
「デフォルト」シーン内の起動されたＡ−ＥＧＯと他のＥＧＯとの間の影付きリンクが表示されるステップ、
Ｆ−ＥＧＯをクリックし、それをトリガするステップ、
Ｆ−ＥＧＯが起動するステップ、
現行シーンに関連する全てのＡ−ＥＧＯがスクリーンから消えるステップ、
起動されたＦ−ＥＧＯに関連するシーンがセットされ、スクリーンに表示されるステップ、
新しいシーンに関連する全ての新しいＡ−ＥＧＯが表示されるステップと、
起動されたＡ−ＥＧＯと他のＡ−ＥＧＯとの間の影付きリンクが表示されるステップ。
【０１０４】
ナビゲーションシーケンスを記録する。ユーザの要求により、システムはナビゲーションシーケンスを記録し、記録されたシーケンスを動的に再生するか、またはその後の閲覧のためにシーケンスを所望のＥＧＯのマルチメディア情報構造に格納することができる。
【０１０５】
グローバルネットワーク表示。グローバルネットワーク表示は、先行技術のマインドマッピング技法を使用して、グローバルな視点から現行プロジェクト内で全てのＥＧＯを表示して、それらの間をナビゲートするための手段を提供する。一度にグローバル知識の部分集合しか表現できない３Ｄ画像内の文脈的ナビゲーションとは対照的に、グローバルマインドマッピングウィンドウは、プロジェクト内に組み込まれた任意の知識への一回のクリックによるアクセスを提供する。これによりユーザは、統合されたＥＧＯ全体の完全なビューをそれらの相互関係と共に持つことが可能になる。
【０１０６】
ＥＧＯの文脈的ネットワークは、グローバルネットワークウィンドウと同期化することができる。それは、リンクがどちらかの表現で変更されると、変化が同時に相補表現で表示されることを意味する。さらに、ユーザがグローバルネットワークウィンドウ内でナビゲートすると、ナビゲーションプロセスは、表示される３Ｄイメージシーンと協調される。ＥＧＯがグローバルネットワークウィンドウ内で選択されると、同時にその関連デフォルトシーンが３Ｄ画像ウィンドウに表示される。
【０１０７】
本発明の一態様では、生成および／または記録された情報／データを一時的または永久的に格納するために、情報格納サブシステムが提供される。このデータは、制限することなく、シーン／ビューパラメータデータ；オブジェクトプロパティデータ；ＥＧＯデータ；ＥＧＯリンクデータ；著作者、日付と時刻、改訂番号を含むＥＧＯ注釈履歴（ＥＧＯの作成および変更）；画像処理パラメータデータ；画像処理履歴データ；３Ｄグラフィカルデータオブジェクト（生画像データ）；３Ｄグラフィカルデータオブジェクト格納場所データ；ユーザアカウントデータ；ユーザプロファイルデータ；ネットワークノードレジストリおよびディレクトリサービスデータを含むことができる。
【０１０８】
シーンおよびビユーパラメータデータとは後者を定義する情報、例えばボリュームの方向付け、３Ｄ交差表面、ボリュームスライシング、関心のある３Ｄ領域、表面レンダリング、ボリュームレンダリング、およびボクセル透明度などを指すが、それらに限定されない。
【０１０９】
ＥＧＯ注釈履歴データとは、ＥＧＯ作成および変更プロセスの記録である。新しいＥＧＯの作成および変更の各インスタンスが、著作者に関する情報、ＥＧＯが作成／変更された日付および時刻、変更されたＥＧＯの改訂番号と前ＥＧＯに対するリンク情報と共に、データベースに記録される。
【０１１０】
画像処理パラメータデータとは、関連する３Ｄグラフィカルオブジェクトおよび定義された解析プロトコルと共に使用される、画像処理アルゴリズムおよび方法に関係する特定のパラメータを指す。他方、画像処理（または編集）履歴データとは、３Ｄグラフィカルデータオブジェクトに適用される様々な処理ステップに関係する情報、それらが適用された順序、および各処理ステップ用の適切画像処理パラメータデータへのリンク情報である。一実施形態では、これらの画像処理パラメータはＥＧＯに格納することができる。オブジェクト編集の一つまたはそれ以上の履歴を含むＥＧＯを選択すると、編集動作が選択されたグラフィカルデータオブジェクトに自動的に適用される。これにより、ユーザは事前に格納されたプロトコルに従って処理されたオブジェクトの異なるビューを得ることが可能になり、好都合である。
【０１１１】
本発明の好ましい実施形態（図１０）は、プロジェクト関係データ（シーン、ＥＧＯ．．．）を第一データベース１００（プロジェクトデータベース）に、３Ｄグラフィカルデータオブジェクトを第二データベース、好ましくはＰＡＣＳ１０２（画像保管通信システム）に、ユーザアカウントおよびユーザプロファイルデータを第三データベース（ユーザデータベース）１０４に格納する。この種の構成は、各データ要素が専用のアーカイビングシステムに格納されることを確実にし、安全、頑健、かつ効率的な情報格納メカニズムを提供する。さらに、好ましい実施形態では、データベースはユーザから遠く離れているが、それに限定されない。
【０１１２】
本発明の一つまたは複数の病院で使用することができる臨床の文脈では、安全かつリモートアクセス可能な情報格納システムが不可欠である。さらに、そのような文脈では、３Ｄグラフィカルデータオブジェクト（患者のスキャンおよび関連画像）は、アクセスが制限されたＰＡＣＳのような中央収納庫に頻繁に保管され、そこでデータは常に改ざんや修正が行なわれずに維持されることが要求される。本発明および本書で記載した情報格納サブシステムでは、前記の通り、プロジェクトおよび解析関係データの格納専用の新しいデータベースを提供することによって、患者関係データは修正されずに維持され、その現行格納媒体で保管される。好ましい実施形態では、既存のプロジェクトが開かれるときに、ユーザデータベースの確実な認証の後、プロジェクトデータがプロジェクトデータベースから収集され、ユーザのローカルシステムに転送され、必要ならば、関係３Ｄグラフィカルデータオブジェクトの作業用コピーが適切なデータベースから収集され、ユーザのローカルシステムに転送される。プロジェクトデータは、進行中の解析プロジェクトまたは完了した解析プロジェクトを開くために必要な全ての情報を含む。これによりユーザは、一次資料の３Ｄグラフィカルデータオブジェクトを修正する必要なく、関連ＥＧＯネットワークおよび関連マルチメディアデータ、ビュー、シーン、および関心領域の任意のインスタンスのみならず、本発明で記載した任意の他の情報をも、見ることが可能になる。これにより、例えば、解析プロセス（診断プロセスなど）の後で、提示された解析を動的に再検討することが可能になり、ユーザは、現行ビューを導くプロセス全体をやり直す必要なく、関心のあるビュー／シーンを明示的に選択し、その後ビュー、シーン、ならびにセグメント化パラメータおよび／またはアルゴリズムを修正することにより、解析を検査することができる。
【０１１３】
この動的情報リターンの重要な側面は、最終ビュー／シーンを導いた処理ステップ／操作にアクセスする能力である。これらの処理ステップは、限定することなく、画像処理操作（明るさ、コントラスト、しきい値調製）、ボリューム操作（回転、平行移動、縮小拡大、スライシング）、連弾リング操作（メッシュレンダリング、ボクセルレンダリング等）のみならず特殊画像セグメント化操作など、様々な性質とすることができる。特定の実施形態では、セグメント化アルゴリズムは血管動脈瘤の自動セグメント化とすることができる。
【０１１４】
以前のステップにアクセスすることにより、ユーザは、臨床放射線医学の文脈において診断目的で、選択された現行ビューの有効性および関係性を効率的に検査することができる。このシステムにより、ユーザはいつでも現行ビュー／シーンを修正し、新しい処理操作を適用して新しいビュー／シーンを導出することができる。
【０１１５】
効率的な動的情報リターンおよびシームレスエキスパート解析プロセス追跡を可能にするために、システムは、上記の通り、現行の多次元画像に適用された全ての操作を追跡するプロセス履歴を自動的に作成して保存する。実行された操作に関連する全てのパラメータは、編成されたデータ構造に保存される。データ構造は操作が実行された順序を考慮に入れ、どのノードの修正をも可能にする。特定の実施形態では、データ構造はリンクされたリストであり、リストの全てのノードは任意の個数のノードまたは任意の個数のリンクされたリストを指し示すことができる。
【０１１６】
図１１は情報リターンのステップを要約する。１１０で３Ｄ画像が表示され、１１２で画像が操作され、１１３でプロセス履歴が保存される。１１４で最終ビューが保存され、１１６でビジュアルキューが作成される。１１７でビジュアルキューを起動して、３Ｄデータを再検討することができ、１１８で中間ビューを再検討することができ、１１９で最終ビューを検査することができる。
【０１１７】
図１２は、操作の現行履歴を再検討および修正する場合のこのデータ構造の効率性を示す。このデータ構造は、現行ノードのシーン／ビューに関連する特定のパラメータを格納する揮発性メモリ（ＲＡＭ）または永久物理的記憶媒体に存する、オブジェクトを直接指し示す能力をも提供する。この方法で、単にこれらのパラメータにアクセスし、それに従ってシーン／ビューを構築することによって、特定のシーン／ビューを実時間で容易に生成することができる。ユーザが既存のプロセス履歴を再検討し、任意のシーン／ビューを修正すると、集積が適用された時点で、新しいプロセス履歴分枝が作成される。特定の実施形態では、ソフトウェアオブジェクトから成るリンクされたリストは、対応するオブジェクト状態と共に永久記憶媒体に保存される。これはその後の動的情報リターンを可能にし、シーン／ビューの再検討および修正の可能性をもたらす。この情報は、何らかの対応する情報を保持する特定の解析プロジェクトファイルにいつでも関連付けられる。格納は典型的なコンピュータハードドライブまたはリモートアーカイビングシステム、サーバ、もしくはデータベースに行なうことができる。
【０１１８】
「データマイニング」
本発明の好ましい実施形態では、本書で記載した情報格納サブシステムは、ユーザまたは自動化システムが、複数のローカルおよび／またはリモートデータベースに含まれる情報を知的に探索し、マイニングすることを可能にする。データベースは多種多様な情報を含むので、ユーザは彼／彼女がアクセスしたデータベースで現行解析プロジェクトに関係する情報を、定量的および定性的方法の両方で、例えばいずれかのＥＧＯに含まれる特定のキーワードを他のＥＧＯとの関連付けの種類と共にマイニングすることによって探索することができる。ユーザはまた、以前に格納した画像を、そのような画像を参照するＥＧＯのネットワークを探索またはナビゲートすることによって、参照することもできる。本書で記載する格納サブシステムにより、専用データマイニングシステムは、画像およびそれに含まれる構造、複数のＥＧＯおよびそれらの内容と関連付け、ならびにいずれかの他の情報源をマイニングすることによって、複雑な関係およびパターンを見出すことができる。
【０１１９】
探索中に識別されたＥＧＯを選択し、それらの関連ビュー内に表示することができる。
【０１２０】
利用可能なデータおよび本書で記載する注釈メカニズムに基づき、本発明はユーザに、一つまたは複数の解析プロジェクトに関連する定量的および定性的データの両方を探索し、それにデータマイニングを実行する能力を提供する。
【０１２１】
テキストデータマイニングは、ユーザが全てのＥＧＯのテキスト注釈を含むデータベース内で探索するキーワードを指定することを要求する。マイニングの概念は、データベースでキーワードを探索することが必要なだけであり、それは標準的なデータベース照会であるので、それ自体単純である。しかし、画像に注釈をつけ、次いで文脈的注釈に存在するキーワードを探索し、その後このキーワードを含む注釈を３Ｄ画像文脈自体内に表示する能力を持つという概念は革新的である。本発明の一実施形態では、注釈のデータマイニングおよび文脈再検討プロセスは、次のステップを含む。
特定のキーワードをシステムのデータマイニングユーザインタフェースに入力するステップ、
ユーザインタフェースがイベントをマイニングコンポーネントにディスパッチするステップ、
マイニングコンポーネントは、指定されたデータベースで指定されたキーワードを探索するステップ、
ビジュアルマネージャが、指定されたキーワードを含む実際のＥＧＯにリンクされた一連のＦ−ＥＧＯを表示するステップ、
ユーザが選択したＦ−ＥＧＯを起動し、それにより、リンクされたＥＧＯの関連３Ｄ画像が適切なビューに表示され、ＥＧＯとその関連画像ビューの同時可視化が可能になるステップと、
ＥＧＯのテキスト注釈がユーザに表示されるステップ。
【０１２２】
開発されたデータ構造および本書で記載した発明のデータベースの種類に基づき、各ＥＧＯはそのマルチメディア内容、その関連プロジェクトに直接関連付けられ、特定のＥＧＯが他のどのＥＧＯに関連付けられるかを、関連付けの種類と共に開示するリンクデータを含む。したがってビジュアルマネージャは、見つかったＥＧＯを表示するために必要な全ての情報を有する。第一レベルの視覚的表現は、主画面におけるＦ−ＥＧＯの描画である。これらのＦ−ＥＧＯは、現行または外部３Ｄ画像に配置される実際のＥＧＯに直接リンクされる視覚的マーカである。この方法で、特定のＥＧＯをその画面文脈内表示するために、ユーザは単に、例えばポインティング装置を使用してＦ−ＥＧＯの視覚的表現をクリックして、Ｆ−ＥＧＯを起動することが必要なだけである。ひとたび起動されると、システムは、現行プロジェクトの外部のものであるならば対応するプロジェクトおよび画像をロードし、考慮するＥＧＯに関連するビューに画像を表示する。そうするために、システムは、画像処理操作および画像の方向付けのような特定のビューイングパラメータを保持する、ＥＧＯの関連データを読み出す。その時点で、主画面は考慮する３Ｄ画像のビューを関連するＥＧＯのネットワークと共に含む。新しく選択されたＥＧＯが複数のＥＧＯに関連する場合には、関連リンクも表示される。新しいＦ−ＥＧＯも描画され、ユーザは前のビューまたはプロジェクトに戻ることができる。
【０１２３】
マイニングコンポーネントは、ユーザが現行シーン／プロジェクトのＥＧＯに含まれるキーワードを、外部プロジェクトのみならず、ＥＧＯ関連情報を含むローカルまたはリモートデータベースでも探索することを可能にする。これは、ユーザにデータマイニングプロセスの特異性に対する高度の制御を提供する。
【０１２４】
キーワードベースの注釈データマイニング以上に、本書で記載する発明は、それらの関連オブジェクト形態学に基づいて注釈をマイニングするのみならず、反復性または同様の画像処理プロトコルを自動的に発見する能力を提供する。
【０１２５】
形態学指向データマイニングは、セグメント化アルゴリズムを使用して特定のオブジェクトを抽出し、それらの形態を計算することによって、達成することができる。そうすると、注釈プロセス中に、ＥＧＯをセグメント化オブジェクトに明示的に関連付けることが可能になる。したがって、考慮するＥＧＯは、マルチメディア情報に加えてオブジェクトプロパティに関連付けられる。ＥＧＯをオブジェクトと関連付けるために、ユーザは単にＥＧＯをオブジェクトに固定する必要があるだけである。このプロセスは本書で記載する自動的スナップ動作アルゴリズムに基づき、ここでＥＧＯは交差メッシュ表面に自動的に関連付けられる。データマイニングプロセス中に、ユーザはしたがって特定の形態（体積、直径、表面．．．）のオブジェクトに関連付けられるＥＧＯを探索する。例えば、ユーザは指定された値より大きい関連形態学体積を持つ全てのＥＧＯを探索することができる。注釈メカニズムもまた、関心のある３Ｄ領域を特定のＥＧＯに自動的に関連付ける能力を提供する。この選択された関心領域は、通常の自動セグメント化アルゴリズムを使用して得られた関心領域とは対照的に、形態学指向データマイニングにも使用することができる。
【０１２６】
形態学的データマイニングは、ユーザが、定量的データマイニング結果を単に再検討するのとは対照的に、考慮する画像をそれらの最適ビューで可視化することによって、データマイニング結果を視覚的に評価することを可能にする。自動画像セグメント化および注釈付けが利用可能な実施形態では、本書で記載したデータマイニングシステムは臨床的文脈で非常に有用である。専門家は、ユーザの介在を必要とせずに、一連の画像をバッチ処理することができ、効率的な前処理および予備解析が可能になる。例えば、自動セグメント化アルゴリズムは動脈瘤の可能性を識別し、構造をセグメント化する。この情報はその後、自動注釈システムによって使用され、そこでＥＧＯは、自動的に生成された関連情報と共に、セグメント化構造の近傍に配置される。これらのＥＧＯおよびその関連構造の効率的な可視化を可能にするために、これらのＥＧＯはセグメント化構造、テキスト情報のみならず生成されるビューにも関連付けられる。この自動プロセスの後、専門家はシステムに照会して、特定の臨床事例を可視化することができる。例えば、専門家は臨床事例を最初に表示して検査することを決定するかもしれず、その場合、専門家はデータマイニングシステムを使用して、特定の臨床的体積の動脈瘤を含む画像を発見することができる。データマイニングの結果、それらの関連画像および内容を表示するために起動することができる一連のＥＧＯがユーザに表示される。
【０１２７】
操作の流れの一例は以下の通りである。
特定の形態学的パラメータをシステムのデータマイニングユーザインタフェースに入力する。
ユーザインタフェースはイベントをマイニングコンポーネントにディスパッチする。
マイニングコンポーネントは、指定されたデータベースで、同様の形態学の関連する関心領域のＥＧＯを探索する。
ビジュアルマネージャは、指定されたキーワードを含む実際のＥＧＯにリンクされた一連のＦ−ＥＧＯを表示する。
ユーザは選択したＦ−ＥＧＯを起動し、それによりリンクされたＥＧＯの関連３Ｄ画像が適切なビューに表示され、ＥＧＯとその関連画像ビューの同時可視化が可能になる。
【０１２８】
「プロトコルデータマイニング」
画像処理プロトコルは、特定画像モダリティおよび解剖学的領域の解析のために標準化された手順を適用することができる、医用画像の分野では重要な価値がある。効率的な自動セグメント化方法が利用できない場合、あるいは専門家が手動的画像解析および処理を実行する必要がある場合、画像処理プロトコルは標準化された方法論を提供する。これらのプロトコルは、誤りを発生しやすくかつ時間がかかるプロセスである「試行錯誤」実験を通して、もっとも一般的に規定される。新たに規定された効率的なプロトコルは一般的に、出版物および科学シンポジウムを通して、業界の他の専門家と共有される。したがって新しいプロトコルの共有は非効率的であり正確である。さらに、画像の解像度およびスコープが高まるにつれて、プロトコルは段々複雑になり、業界内で共有することがいっそう困難になる。本発明の方法は、どんな種類の画像モダリティおよび解剖学的構造に対しても、効率的な発見および複雑な画像処理プロトコルの共有のための新規のメカニズムを提供する。上記の通り、本発明のシステムは、操作および注釈の履歴を記録し、これらのユーザ定義操作をマイニングする可能性を提供する。例えば、特定の構造の手動セグメント化を達成するために、ユーザは、しきい値、形態学的操作、ならびに可視化およびレンダリングプロパティの修正のような様々な画像処理操作を使用したかもしれない。画像の最終ビューを導くこれらの中間操作は、システムによって自動的に記録され、全体として特定のプロトコルを形成する。この情報に基づき、システムが反復性または同様の画像処理プロトコルをマイニングすることが可能になる。この文脈で、ユーザは例えば単に既存のプロトコルを選択し、同様のものをマイニングするだけとすることができる。データマイニングシステムは入力で様々な処置を講じてプロトコルを形成し、データベースに保存された様々な履歴を探索する。類似性基準を指定することができ、そこで例えばユーザは、同様のプロトコルが３つ以上異なる操作をもつべきではないと定義する。この特定の型のマイニングは、この特定のプロトコルが他の専門家による同じ用途にも使用されたかどうかを検証することを可能にし、したがって特定レベルの品質保証を提供する。別の実施形態では、ユーザは単に特定の反復性プロトコルを探索することができ、その場合、データマイニングシステムは、同様の操作の履歴を識別するために、操作の識別をもっぱら探索する。この種のデータマイニングは、形態学的基準をシステムに指定することによってさらに特殊化され、そこでは同様の履歴は同様の最終的セグメント化オブジェクト形態を持つことも要求される。例えば、操作は多少球状のオブジェクトを導く必要がある。形態学的基準は、限定することなく、長径および短径、コヒーレンス、体積、および密度のようなパラメータに基づくことができる。画像処理操作の履歴は、実行された処理操作の種類および関連パラメータから構成されるだけであるので、発見されるプロトコルを新しい画像に直接適用し、一連の操作に従って画像のビューを生成することができる。
【０１２９】
操作の流れの一実施形態は以下の通りである。
特定の形態学的パラメータおよび／または一連の操作を、システムのデータマイニングユーザインタフェースに入力する。
ユーザインタフェースはイベントをマイニングコンポーネントにディスパッチする。
マイニングコンポーネントは、指定されたデータベースで、同様の操作の履歴および／または形態学的パラメータを探索する。
ビジュアルマネージャは、発見された操作履歴のリストを表示する。
ユーザは、関心のある特定の操作履歴を選択する。
操作のシーケンスが表示される。
起動後、画像は履歴に従って修正される。
【０１３０】
本発明をその特定の実施形態に関連して説明したが、さらなる変更が可能であり、本願は、一般的に本発明の原理に従うと共に、本発明が関係する業界で公知または通常の慣行に該当し、本書に記載した本質的特徴に当てはまり、請求の範囲に記載するような本発明の開示からの逸脱を含む、本発明の変形、仕様、または適応を包含するつもりであることは理解されるであろう。
【図面の簡単な説明】
【０１３１】
【図１】本発明の方法の実施形態のフローチャートの図である。
【図２】関連ＥＧＯ付きのグラフィカルデータオブジェクトの一実施形態の図である。
【図３】関連ＥＧＯ付きのグラフィカルデータオブジェクトの一実施形態の図である。
【図４】関連ＥＧＯ付きのグラフィカルデータオブジェクトの一実施形態の図である。
【図５】表面へのＥＧＯの「スナップ動作」に含まれるステップのフローチャートの図である。
【図６】形態学関連注釈付けにおけるステップのフローチャートの図である。
【図７Ａ】角錐台内のデータオブジェクトの図である。
【図７Ｂ】ユーザ定義輪郭線を示す角錐台内のデータオブジェクトの図である。
【図７Ｃ】３Ｄに展開されたユーザ定義輪郭線を示す角錐台内のデータオブジェクトの図である。
【図７Ｄ】輪郭線の交差サブボリュームを示す角錐台内のデータオブジェクトの図である。
【図７Ｅ】最終的な関連サブボリュームを示す図である。
【図８】自動画像注釈プロセスの実施形態のフローチャートの図である。
【図９】本発明のシステムの一実施形態の略図である。
【図１０】情報格納サブシステムの一実施形態を示す略図である。
【図１１】情報リターンプロセスに含まれるステップの一実施形態のフローチャートの図である。
【図１２】情報リターンプロセスに含まれるステップの別の実施形態のフローチャートの図である。
【図１】
2005528681.tif 000003
【図２】
2005528681.tif 000004
【図３】
2005528681.tif 000005
【図４】
2005528681.tif 000006
【図５】
2005528681.tif 000007
【図６】
2005528681.tif 000008
【図７Ａ】
2005528681.tif 000009
【図７Ｂ】
2005528681.tif 000010
【図７Ｃ】
2005528681.tif 000011
【図７Ｄ】
2005528681.tif 000012
【図７Ｅ】
2005528681.tif 000013
【図８】
2005528681.tif 000014
【図９】
2005528681.tif 000015
【図１０】
2005528681.tif 000016
【図１１】
2005528681.tif 000017
【図１２】
2005528681.tif 000018
【国際調査報告】
2005528681.tif 000019
2005528681.tif 000020
2005528681.tif 000021
2005528681.tif 000022
2005528681.tif 000023