(57)【要約】  本発明は、多次元画像に基づいて、複数のドキュメントからドキュメントを識別するシステム１００に関する。システム１００は、多次元画像の或る領域を指示するユーザ入力に基づいて、及び多次元画像の指示された領域のセグメント化によって決定される、対象をモデル化するモデルに更に基づいて、多次元画像に表現される対象を識別する対象ユニット１１０と、対象をモデル化するモデルの注釈に基づいて、複数のキーワードから、前記識別された対象に関連するキーワードを識別するキーワードユニット１２０と、識別されたキーワードに基づいて、複数のドキュメントから当該ドキュメントを識別するドキュメントユニット１３０と、を有する。従って、システムは、有利には、観察された多次元画像に基づいて、関心のある情報を含むドキュメントへのユーザのアクセスを容易にする。ドキュメントは、その名前によって又は好適にはドキュメントに対するリンクによって、識別されることができる。リンクに従うことによって、システムは、ユーザが、複数のドキュメントを含む記憶装置に記憶されているドキュメントを取り出すことを可能にするように適応されることができ、例えばドキュメントを含むファイルをダウンロードし、ディスプレイ上でドキュメントを閲覧する、ことを可能にする。
2013506900.tif 000002
【特許請求の範囲】
【請求項１】
多次元画像に基づいて、複数のドキュメントからドキュメントを識別するシステムであって、
前記多次元画像の或る領域を指示するユーザ入力に基づいて、及び前記多次元画像の前記指示された領域のセグメント化によって決定される、対象をモデル化するモデルに基づいて、前記多次元画像に表現される対象を識別する対象ユニットと、
前記対象をモデル化する前記モデルの注釈に基づいて、複数のキーワードから、前記識別された対象に関連するキーワードを識別するキーワードユニットと、
前記識別されたキーワードに基づいて、前記複数のドキュメントから当該ドキュメントを識別するドキュメントユニットと、
を有するシステム。
【請求項２】
前記多次元画像に表現される前記対象の前記識別は、
前記多次元画像の前記領域を指示する前記ユーザ入力に基づいて、及び前記多次元画像の前記指示された領域のセグメント化によって決定される、前記候補対象をモデル化するモデルに基づいて各々識別される候補対象の組を表示する処理と、
前記表示された候補対象の組から候補対象を選択するためのユーザ入力を得、それにより前記対象を識別する処理と、
を含む請求項１に記載のシステム。
【請求項３】
前記多次元画像に表現される前記対象の前記識別は、前記候補対象の組の各候補対象のスコアを計算し、表示する処理を含む、請求項２に記載のシステム。
【請求項４】
前記複数のキーワードからの前記識別された対象に関連する前記キーワードの前記識別は、
前記対象をモデル化する前記モデルの注釈に基づいて、前記複数のキーワードのうち、前記識別された対象に各々関連する候補キーワードの組を表示する処理と、
前記候補キーワードの表示された組から前記候補キーワードを選択するためのユーザ入力を得、それにより前記キーワードを識別する処理と、
を含む、請求項１に記載のシステム。
【請求項５】
前記多次元画像に表現される前記キーワードの前記識別は、前記候補キーワードの組の各候補キーワードのスコアを計算し、表示する処理を含む、請求項４に記載のシステム。
【請求項６】
前記複数のドキュメントからの当該ドキュメントの前記識別は、
前記複数のドキュメントのうち、前記識別されたキーワードに基づいて各々識別される候補ドキュメントの組を表示する処理と、
前記候補ドキュメントの表示された組から候補ドキュメントを選択するためのユーザ入力を得、それにより当該ドキュメントを識別する処理と、
を含む、請求項１に記載のシステム。
【請求項７】
前記多次元画像に表現される当該ドキュメントの前記識別は、前記候補ドキュメントの組の各候補ドキュメントのスコアを計算し、表示する処理を含む、請求項６に記載のシステム。
【請求項８】
前記複数のキーワードからのキーワードを含む標識を用いて、複数ドキュメントのテキスト断片を標識化する断片ユニットを更に有し、前記標識に基づいて、当該ドキュメントが前記ドキュメントユニットによって識別される、請求項１に記載のシステム。
【請求項９】
前記多次元画像に表現される前記対象のカテゴリを識別するカテゴリユニットを更に有し、前記対象ユニットは、前記対象の前記識別されたカテゴリに基づいて前記対象を識別する、請求項１に記載のシステム。
【請求項１０】
前記多次元画像に表現される前記対象のカテゴリは、前記対象の位置であり、前記カテゴリユニットは、前記多次元画像において識別される基準対象に基づいて、前記対象の位置を識別する、請求項９に記載のシステム。
【請求項１１】
前記識別されたドキュメントを取り出す取り出しユニットを更に有する、請求項１に記載のシステム。
【請求項１２】
請求項１乃至１１のいずれか１項に記載のシステムを有するデータベース。
【請求項１３】
請求項１乃至１１のいずれか１項に記載のシステムを有する画像取得装置。
【請求項１４】
請求項１乃至１１のいずれか１項に記載のシステムを有するワークステーション。
【請求項１５】
多次元画像に基づいて、複数のドキュメントからドキュメントを識別する方法であって、
前記多次元画像の領域を指示するユーザ入力に基づいて、及び前記多次元画像の前記指示された領域のセグメント化によって決定される、前記対象をモデル化するモデルに基づいて、前記多次元画像に表現される対象を識別する対象ステップと、
前記対象をモデル化する前記モデルの注釈に基づいて、複数のキーワードから前記識別された対象に関連するキーワードを識別するキーワードステップと、
前記識別されたキーワードに基づいて、前記複数のドキュメントから当該ドキュメントを識別するドキュメントステップと、
を含む方法。
【請求項１６】
コンピュータ装置によってロードされるコンピュータプログラムであって、多次元画像に基づいて、複数のドキュメントからドキュメントを取り出すための命令を含み、前記コンピュータ構造は処理ユニット及びメモリを有し、前記コンピュータプログラムは、ロードされた後、請求項１５に記載の方法の各ステップを実施する能力を前記処理ユニットに提供する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像クエリに基づいてドキュメントを識別することに関し、より具体的には、ユーザによって指示された画像の領域に基づいて、ドキュメントを識別することに関する。
【背景技術】
【０００２】
放射線医は、彼らの日々のワークフローにおいて、観察されるＸ線、ＣＴ、ＭＲ又は他の多次元画像に表示される症例を正確に解釈するために付加の情報を必要とする場合に遭遇する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
１つの可能性がある情報源は、症例リポート又は研究に記述される以前の症例である。このような症例リポート又は研究は、データベースに記憶されたドキュメントである。或るドキュメントを得るためにデータベースをクエリする一般的なやり方は、必要とされる情報に関するキーを含む文字列をユーザが入力することによって行われる。
【０００４】
観察される多次元画像に基づいて、関心情報を含むドキュメントへのユーザのアクセスを容易にすることが有利である。
【課題を解決するための手段】
【０００５】
従って、１つの見地において、本発明は、多次元画像に基づいて複数のドキュメントからドキュメントを識別するシステムであって、
多次元画像の或る領域を指示するユーザ入力に基づいて、及び多次元画像の指示された領域のセグメント化によって決定される、対象をモデル化するモデルに更に基づいて、多次元画像に表現される対象を識別する対象ユニットと、
対象をモデル化するモデルの注釈に基づいて、複数のキーワードから、識別された対象に関連するキーワードを識別するキーワードユニットと、
識別されたキーワードに基づいて、複数のドキュメントから当該ドキュメントを識別するドキュメントユニットと、
を有するシステムを提供する。
【０００６】
従って、システムは、有利には、観察された多次元画像に基づいて、関心情報を含むドキュメントに対するユーザアクセスを容易にする。ドキュメントは、その名前によって、又は好適にはドキュメントに対するリンクによって、識別されることができる。リンクに従うことによって、システムは更に、ユーザが、複数のドキュメントを含む記憶装置に記憶されたドキュメントを取り出すことを可能にするように適応されることができ、例えばドキュメントを含むファイルをダウンロードし、ディスプレイ上でドキュメントを観察することを可能にする。
【０００７】
後述される本発明のシステムの６つの実施形態において、関心のあるドキュメントの識別が、一層対話的に行われ、それにより、関心のあるドキュメントへナビゲートするための直観的な方法をユーザに提供する。
【０００８】
システムの対象ユニットの一実施形態において、多次元画像に表現される対象の識別は、候補対象の組を表示する処理であって、各々の候補対象は、多次元画像の領域を指示するユーザ入力に基づいて、及び多次元画像の指示された領域のセグメント化によって決定される、候補対象をモデル化するモデルに更に基づいて、識別されるものである、処理と、候補対象の表示された組から候補対象を選択するためのユーザ入力を得、それにより対象を識別する処理と、を含む。
【０００９】
識別された候補対象は、例えばそれらの名前又はアイコンによって表現されうる。従って、システムは、１より多くの候補対象が、ユーザ入力に基づいて対象ユニットによって識別される状況に対処するのに役立つ。
【００１０】
システムの対象ユニットの一実施形態において、多次元画像に表現される対象の識別は、候補対象の組の各候補対象のスコアを計算し、表示する処理を含む。スコアは、ユーザが候補対象の表示された組から候補対象を選択するのに役立つ。
【００１１】
システムのキーワードユニットの一実施形態において、複数のキーワードからの識別された対象に関連するキーワードの識別は、対象をモデル化するモデルの注釈に基づいて、複数のキーワードのうち、識別された対象に各々関連する候補キーワードの組を表示する処理と、候補キーワードの表示された組から候補キーワードを選択するためのユーザ入力を得、それによりキーワードを識別する処理と、を含む。
【００１２】
従って、システムは、１より多くの候補キーワードが、多次元画像において識別された対象に対応するオブジェクトモデルの注釈に基づいて、キーワードユニットによって識別される状況に対処するのに役立つ。
【００１３】
システムのキーワードユニットの一実施形態において、多次元画像に表現されるキーワードの識別は、候補キーワードの組の各候補キーワードのスコアを計算し、表示する処理を含む。スコアは、ユーザが、候補キーワードの表示された組から候補キーワードを選択するのに役立つ。
【００１４】
システムのドキュメントユニットの一実施形態において、複数のドキュメントからの当該ドキュメントの識別は、複数のドキュメントのうち、識別されたキーワードに基づいて各々識別される候補ドキュメントの組を表示する処理と、候補ドキュメントの表示された組から候補ドキュメントを選択するためのユーザ入力を得、それにより当該ドキュメントを識別する処理と、含む。
【００１５】
候補ドキュメントは、例えばそれらの名前又はアイコンによって表現されることができる。従って、システムは、識別されたキーワードに基づいて、１より多くの候補ドキュメントがドキュメントユニットによって識別される状況に対処するのに役立つ。
【００１６】
システムのドキュメントユニットの一実施形態において、多次元画像に表現されるドキュメントの識別は、候補ドキュメントの組の各候補ドキュメントのスコアを計算し、表示する処理を含む。スコアは、ユーザが候補ドキュメントの表示された組から候補ドキュメントを選択するのに役立つ。
【００１７】
一実施形態において、システムは、複数のキーワードからのキーワードを含む標識を用いて、複数ドキュメントのテキスト断片を標識化する断片ユニットを更に有し、当該ドキュメントは、標識に基づいて、ドキュメントユニットによって識別される。自然言語処理ツールを含む断片ユニットは、自然言語を含むドキュメントの断片を標識化するように適応される。キーワードを含む標識は、関心のあるドキュメントを識別するために、ドキュメントユニットによって使用される。
【００１８】
一実施形態において、システムは、多次元画像に表現される対象のカテゴリを識別するカテゴリユニットを更に有し、対象ユニットは、対象の識別されたカテゴリに基づいて、更に対象を識別するように適応される。カテゴリは、例えばピクセル又はボクセルクラシファイヤによって使用される情報のような、対象が識別されるべきものであると認めるための情報として、ユーザ入力に明示的に含まれることができ、又は例えばユーザ入力及び／又はその周囲に指示される領域の解析に基づいて、ユーザ入力及び多次元画像から導き出されることができる。
【００１９】
システムの一実施形態において、多次元画像に表現される対象のカテゴリは、対象の位置であり、カテゴリユニットは、多次元画像において識別される基準対象に基づいて、対象の位置を識別するように適応される。基準対象は、画像セグメント化を使用して識別されることができる。対象ユニットによって識別される対象が基準対象でありうる。この実施形態は、それぞれ異なる位置における同一の対象の間の区別を行い、又は例えば指示された領域に部分的にのみ含まれる対象を考慮することを可能にする。
【００２０】
一実施形態において、システムは、識別されたドキュメントを取り出す取り出しユニットを更に有する。
【００２１】
他の見地において、本発明によるシステムはデータベースシステムに含まれる。
【００２２】
他の見地において、本発明によるシステムは画像取得装置に含まれる。
【００２３】
他の見地において、本発明によるシステムはワークステーションに含まれる。
【００２４】
他の見地において、本発明は、多次元画像に基づいて、複数のドキュメントからドキュメントを識別する方法であって、
対象を識別するためのユーザ入力に基づいて、及び多次元画像のセグメント化によって決定される、対象をモデル化するモデルに更に基づいて、多次元画像に表現される対象を識別する対象ステップと、
対象をモデル化するモデルの注釈に基づいて、複数のキーワードから、識別された対象に関連するキーワードを識別するキーワードステップと、
識別されたキーワードに基づいて、複数のドキュメントから当該ドキュメントを識別するドキュメントステップと、
を含む。
【００２５】
他の見地において、本発明は、コンピュータ装置によってロードされるコンピュータプログラム製品であって、コンピュータプログラムは、多次元画像に基づいて、複数のドキュメントからドキュメントを取り出すための命令を含み、コンピュータ装置は、処理ユニット及びメモリを有し、コンピュータプログラム製品は、ロードされた後、方法の各ステップを実施する能力を前記処理ユニットに与える、コンピュータプログラム製品を提供する。
【００２６】
当業者であれば、本発明の上述の実施形態、実現例及び／又は見地の２又はそれより多くが、有用と考えられる態様で組み合わせられることができることが分かるであろう。
【００２７】
システム又は方法の記述される変形例及び変更例に対応するデータベースシステム、画像取得装置、ワークステーション、方法及び／又はコンピュータプログラム製品の変形例及び変更例は、本明細書の記述に基づいて当業者によって実施されることができる。
【００２８】
当業者であれば、請求項に記載の本発明の多次元画像は、以下に制限されないが、例えばＸ線イメージング、コンピュータトモグラフィ（ＣＴ）、磁気共鳴イメージング（ＭＲＩ）、超音波（ＵＳ）、ポジトロンエミッショントモグラフィ（ＰＥＴ）、シングルフォトンエミッションコンピュータトモグラフィ（ＳＰＥＣＴ）及び核医学（ＮＭ）のようなさまざまな取得モダリティによって取得される２次元（２Ｄ）、３次元（３Ｄ）又は４次元（４Ｄ）の画像データでありうることが分かるであろう。
【００２９】
本発明は独立請求項に規定される。有利な実施形態は従属請求項に規定される。
【００３０】
本発明のこれらの及び他の見地は、後述される実現例及び実施形態に関して及び添付の図面を参照して、明らかになる。
【図面の簡単な説明】
【００３１】
【図１】システムの例示の実施形態のブロック図。
【図２Ａ】図２Ｂと共に、例示の実施形態によるシステムの例示のグラフィカルユーザインタフェースを示す図。
【図２Ｂ】図２Ａと共に、例示の実施形態によるシステムの例示のグラフィカルユーザインタフェースを示す図。
【図３】方法の例示の実現例のフローチャート。
【図４】データベースシステムの例示の実施形態を概略的に示す図。
【図５】画像取得装置の例示の実施形態を概略的に示す図。
【図６】ワークステーションの例示的な実施形態を概略的に示す図。
【発明を実施するための形態】
【００３２】
同じ参照数字が、図面を通じて同様の部分を示すために使用されている。
【００３３】
図１は、多次元画像に基づいて、複数のドキュメントからドキュメントを識別するためのシステム１００の例示の実施形態のブロック図を概略的に示す。システム１００は、多次元画像の或る領域を指示するユーザ入力に基づいて、及び多次元画像に指示された領域のセグメント化によって決定される、対象をモデル化するモデルに更に基づいて、多次元画像に表現される対象を識別する対象ユニット１１０と、対象をモデル化するモデルの注釈に基づいて、複数のキーワードから、識別された対象に関連するキーワードを識別するキーワードユニット１２０と、識別されたキーワードに基づいて、複数のドキュメントから当該ドキュメントを識別するドキュメントユニット１３０と、を有する。
【００３４】
システム１００の例示の実施形態は、複数のキーワードからのキーワードを含む標識を用いて、複数ドキュメントのテキスト断片を標識化する断片ユニット１２５であって、当該ドキュメントが、標識に基づいて、ドキュメントユニット１３０によって識別される、断片ユニット１２５と、多次元画像に表現される対象のカテゴリを識別するカテゴリユニット１１５であって、対象ユニット１１０が、対象の該識別されたカテゴリに基づいて更に対象を識別するように適応される、カテゴリユニット１１５と、識別されたドキュメントを取り出す取り出しユニット１４０と、システム１００の作業を制御する制御ユニット１６０と、ユーザとシステム１００との間の通信のためのユーザインタフェース１６５と、データを記憶するメモリユニット１７０と、を有する。
【００３５】
システム１００の一実施形態において、到来するデータのための３つの入力コネクタ１８１、１８２及び１８３がある。第１の入力コネクタ１８１は、以下に限定されないが、ハードディスク、磁気テープ、フラッシュメモリ又は光学ディスクのようなデータ記憶手段から到来するデータを受け取るように構成される。第２の入力コネクタ１８２は、以下に限定されないが、マウス又はタッチスクリーンのようなユーザ入力装置から到来するデータを受け取るように構成される。第３の入力コネクタ１８３は、キーボードのようなユーザ入力装置から到来するデータを受け取るように構成される。入力コネクタ１８１、１８２及び１８３は、入力制御ユニット１８０に接続される。
【００３６】
システム１００の一実施形態において、送出データのための２つの出力コネクタ１９１及び１９２がある。第１の出力コネクタ１９１は、ハードディスク、磁気テープ、フラッシュメモリ又は光学ディスクのようなデータ記憶手段にデータを出力するように構成される。第２の出力コネクタ１９２は、データを表示装置に出力するように構成される。出力コネクタ１９１及び１９２は、出力制御ユニット１９０を通じて個々のデータを受け取る。
【００３７】
当業者であれば、入力装置を入力コネクタ１８１、１８２及び１８３に接続し、出力装置をシステム１００の出力コネクタ１９１及び１９２に接続する多くの方法があることが分かるであろう。これらの方法は、以下に限定されないが、ワイヤード及びワイヤレス接続と、ローカルエリアネットワーク（ＬＡＮ）及び広域ネットワーク（ＷＡＮ）、インターネット、デジタル電話網のようなデジタルネットワークと、アナログ電話網と、を含む。
【００３８】
システム１００の一実施形態において、システム１００は、メモリユニット１７０を有する。システム１００は、入力コネクタ１８１、１８２及び１８３のいずれかを通じて外部装置から入力データを受け取り、受け取られた入力データをメモリユニット１７０に記憶するように構成される。入力データをメモリユニット１７０にロードすることは、システム１００の各ユニットによる重要なデータ部分への迅速なアクセスを可能にする。入力データは、多次元画像及びユーザ入力を含む。メモリユニット１７０は、以下に限定されないが、ＣＰＵのレジスタファイル、ランダムアクセスメモリ（ＲＡＭ）チップ、リードオンリメモリ（ＲＯＭ）チップ、及び／又はハードディスクドライブ及びハードディスクのような装置によって実現されることができる。メモリユニット１７０は更に、出力データを記憶するように構成されることができる。出力データは、識別されたドキュメントを含む。出力データは更に、例えば候補対象を含むリスト、候補キーワードを含むリスト及び／又は候補ドキュメントを含むリストを含むことができる。メモリユニット１７０は更に、メモリバス１７５を通じて、システム１００の各ユニットからデータを受け取り、及び／又は各ユニットにデータを送るように構成されることができ、それらのユニットは、対象ユニット１１０、カテゴリユニット１１５、キーワードユニット１２０、断片ユニット１２５、ドキュメントユニット１３０、取り出しユニット１４０、制御ユニット１６０及びユーザインタフェース１６５を含む。メモリユニット１７０は更に、出力コネクタ１９１及び１９２のいずれかを通じて外部装置に対して出力データを利用可能にするように構成される。メモリユニット１７０にシステム１００の各ユニットからのデータを記憶することは、システム１００の各ユニットのパフォーマンスのほかに、システム１００の各ユニットから外部装置への出力データの伝送レートをも有利に改善することができる。
【００３９】
システム１００の一実施形態において、システム１００は、システム１００を制御する制御ユニット１６０を有する。制御ユニット１６０は、システム１００の各ユニットから制御データを受け取り、各ユニットに制御データを提供するように構成されることができる。例えば、対象を識別した後、対象ユニット１１０は、「対象が識別される」という制御データを、制御ユニット１６０に提供するように構成されることができ、制御ユニット１６０は、「キーワードを識別する」という制御データを、キーワードユニット１２０に供給するように構成されることができる。代替例として、制御機能は、システム１００の別のユニットにおいて実現されることができる。
【００４０】
システム１００の一実施形態において、システム１００は、ユーザとシステム１００との間の通信のためのユーザインタフェース１６５を有する。ユーザインタフェース１６５は、多次元画像内の対象を識別するためのユーザ入力、候補キーワードの組から候補キーワードを選択するためのユーザ入力等を受け取るように構成されることができる。任意には、ユーザインタフェースは、例えば画像セグメント化のためのモデルの選択のような、システムの動作モードを選択するためのユーザ入力を受け取ることができる。ユーザインタフェースは更に、例えば識別されたドキュメントとして選択するための候補ドキュメントのスコアのような有益な情報を、ユーザに表示するように構成されることができる。当業者であれば、より多くの機能が、システム１００のユーザインタフェース１６５において有利に実現されうることが分かるであろう。
【００４１】
一実施形態において、ドキュメントは医療リポートである。システム１００は、２Ｄ脳画像のスタックの中の２Ｄ脳画像を調べている放射線医によって検討された症例に関連する医療リポートを識別するように適応される。各々の２Ｄ脳画像は、ＣＴスライスのスタックの中の或るＣＴスライスからレンダリングされる。放射線医は、マウス又はトラックボールのような入力装置を使用して、画像内の或る領域を指示することができる。例えば、放射線医は、観察された画像内で矩形の輪郭を描くことができる。
【００４２】
システム１００の対象ユニット１１０の一実施形態において、多次元画像の或る領域を指示するユーザ入力は、画像全体であってもよい。そのような場合、画像全体を含む輪郭を描くことが必要とされなくてもよい。具体的には、脳画像のスタックから２Ｄ画像を選択することが、領域である画像全体を選択するものとして解釈されることができる。この場合、対象は、対象ユニット１１０によって識別されることができる。
【００４３】
図２Ａ及び図２Ｂは、例示の実施形態によるシステムの例示のグラフィカルユーザインタフェースを示す。ユーザである放射線医には、脳画像２０が提供される。ユーザは、画像２０内の或る領域を指示する長方形２１１を描いた。対象ユニット１１０は、画像セグメント化に基づいて、指示された領域を解釈するように適応される。
【００４４】
画像セグメント化の対象は、画像のピクセル又はボクセルを、画像内に表現される対象を記述するピクセル又はボクセルとして分類し、それにより対象のモデルを規定する。一実施形態において、ピクセル又はボクセルは、画像のピクセル又はボクセルを分類するためのクラシファイヤを使用して、分類されることができる。別の実施形態において、ピクセル又はボクセルは、画像に適応するように、例えば変形可能なモデルであるオブジェクトモデルに基づいて分類されることができる。画像セグメント化の分野の当業者であれば、これらの及び他の多くの有用なセグメント化方法を知っており、それらのセグメント化方法は、本発明のシステム１００によって使用されることができる。例示の２Ｄモデルは、複数の制御ポイントによって規定される輪郭を含む。例示の３Ｄモデルは、メッシュ表面を含む。輪郭上の及び／又はその内部のピクセル、又はメッシュ表面上の及び／又はその内部のボクセルが、対象に属するピクセル又はボクセルとして分類される。システムの対象ユニット１１０は、画像をセグメント化するように適応されることができる。代替として、多次元画像はセグメント化されることができ、セグメント化の結果が、システム１００の対象ユニット１１０によって使用される。当業者であれば、本発明のシステム１００によって使用されることができるさまざまなセグメント化方法及びそれらの実現例が分かるであろう。
【００４５】
システム１００の一実施形態において、３Ｄの画像データを構成する脳画像のスタックは、表面メッシュモデルを用いるモデルベースのセグメント化を使用してセグメント化される。従って、脳画像のスタックの各２Ｄ脳画像のピクセルは、３Ｄ画像セグメント化の結果に基づいて、分類される。
【００４６】
システム１００の対象ユニット１１０の一実施形態において、多次元画像の或る領域は、画像のセグメント化によって決定される対象モデルの位置によって決定される。例えば、或る領域は、識別された対象のピクセル又はボクセルを含む円若しくは長方形（２Ｄ画像の場合）、又は球体若しくは平行六面体（３Ｄ画像の場合）でありうる。従って、多次元画像及び任意には対象モデル又はクラシファイヤのユーザによる選択は、画像の或る領域を指示するためのユーザ入力として解釈されることができる。
【００４７】
システム１００の対象ユニット１１０の一実施形態において、多次元画像に表現される対象の識別は、多次元画像の或る領域を指示するユーザ入力に基づいて、及び多次元画像の指示された領域のセグメント化によって決定される、候補対象をモデル化するモデルに更に基づいて各々識別される候補対象の組を表示する処理と、候補対象の表示された組から候補対象を選択するためのユーザ入力を得、それにより対象を識別する処理と、を含む。
【００４８】
図２Ｂは、第１の列２１に、脳画像２０に描かれた領域２１１に基づいて識別された候補対象のリストを示す。
【００４９】
システム１００の対象ユニット１１０の一実施形態において、多次元画像に表現される対象の識別は、候補対象の組の各候補対象のスコアを計算し、表示することを含む。列２１に表示されるリストに列挙される候補対象の右側の括弧で囲まれていない数字がスコアである。対象ユニット１１０の一実施形態において、スコアは、式（Ｙ／Ｘ）ａ（Ｙ／Ｚ）ｂ（Ｘ／Ｍ）ｃを使用して計算される。ここで、Ｘ＝画像のスタックのうち観察された画像内の対象のピクセルとして分類されたピクセルの数、Ｙ＝対象のピクセルとして分類され、画像のスタックのうち観察された画像内にユーザによって描かれた長方形内部に含まれるピクセルの数、Ｚ＝画像のスタックのうち観察された画像内にユーザによって描かれた長方形内部の画像ピクセルの数、Ｍ＝画像のスタックのうち任意の画像内の対象のピクセルの最大数、ａ、ｂ及びｃは、実験に基づいて決定される指数である（例えば１．３、０．４及び１に等しい）。
【００５０】
一実施形態において、本発明のシステム１００は、多次元画像に表現される対象のカテゴリを識別するカテゴリユニット１１５を更に有し、対象ユニット１１０は、対象の識別されたカテゴリに基づいて更に対象を識別するように適応される。カテゴリは、例えば同じメッシュモデルによってモデル化されることができる血管（例えば静脈又は動脈）のロケーション（例えば身体の左又は右半分）又はタイプを示すことができる。身体ロケーションに基づいて、対象ユニットは、セグメント化された対象を全体的に又は部分的に含む対象を識別するように適応されることができる。例えば、身体ロケーション及びセグメント化された腫瘍対象に基づいて、腫瘍に侵されている器官が、対象ユニット１１０によって識別されることができる。こうして、一実施形態において、多次元画像に表現される対象のカテゴリは、対象の位置であり、カテゴリユニット１１５は、多次元画像に識別される基準対象に基づいて、対象の位置を識別するように適応される。セグメント化されない多次元画像内のより多くの対象を識別するために、カテゴリユニット１１５は、画像セグメント化によって識別される対象に基づいて、多次元画像に表現される解剖学的構造の空間構成を調べるように適応される。これは、例えばＳＮＯＭＥＤ  ＣＴ（http://www.ihtsdo.org/snomed-ct/を参照）及び／又はＵＭＬＳ（http://www.nlm.nih.gov/research/umls/を参照）のようなオントロジの助けによって行われることができる。オントロジは、識別された対象モデルを含む身体ロケーション及び識別された対象と他の対象との間の空間関係を含みうる。例えば、他の対象は、識別された対象の一部であり、又はその逆も同様である。任意には、カテゴリユニット１１５は、対象ユニット１１０と一体化されることができる。
【００５１】
カテゴリユニット１１５によって識別されたカテゴリに基づいて識別される対象は、スコアを割り当てられることもできる。一実施形態において、識別された基準対象と対象カテゴリに基づいて識別された対象との間の空間関係は、領域のロケーション及び／又は形状に依存して、対象カテゴリに基づいて識別された対象の何パーセントが、指示された領域に含まれるかをを示す機能を含むことができる。例えば橋被蓋が基準対象である場合、平均して橋の８０％が、指示された領域に含まれる。反対に、橋が基準対象であり、指示された領域に十分に含まれる場合、橋被蓋の１００％が指示された領域に含まれる。
【００５２】
従って、指示された領域のロケーション及び形状並びに指示された領域に含まれる基準対象の一部が与えられる場合、空間的な推論エンジンは、他の身体ロケーションに対する空間関係を上下に進み、指示された領域に含まれる部分を計算することによって、与えられた身体ロケーションを「破裂させる(explode)」ことができる。この「破裂」ステップは、対象ユニット１１０によって識別される新しい対象及びそれらのスコアをもたらす。
【００５３】
任意には、カテゴリユニット１１５は、対象ユニット１１０と一体化されることができる。
【００５４】
モデル又はモデルの一部は、キーワードと関連付けられる。代替的に又は付加的に、画像セグメント化の途中で分類されたピクセル又はボクセルの種類は、キーワードに関連付けられることができる。キーワードは、対象に関連する臨床的所見を記述することができる。ある実現例において、これらのキーワードは、画像セグメント化によって決定される対象の実際の形状に依存しうる。例えば、血管の画像セグメント化は、血管の狭窄又は閉塞を示しうる。従って、「狭窄」又は「閉塞」というキーワードが、画像セグメント化の結果に沿って、血管に関して使用されることができる。当業者であれば、キーワードは、単一の語又は複数の語でありえ、例えば名前、フレーズ又は文でありうることが分かるであろう。
【００５５】
システム１００のキーワードユニット１２０の一実施形態において、複数のキーワードからの識別された対象に関連するキーワードの識別は、対象をモデル化するモデルの注釈に基づいて、複数のキーワードから、識別された対象に各々関連する候補キーワードの組を表示する処理と、候補キーワードの表示された組から候補キーワードを選択するためのユーザ入力を得、それによりキーワードを識別する処理と、を含む。
【００５６】
図２Ｂの第２の列２２には、対象ユニット１１０によって識別され図２の第１の列２１に挙げられた対象に関連する候補キーワードであって、キーワードユニット１２０によって識別された候補キーワードのリストが示されている。多次元画像に表現されるキーワードの識別は、候補キーワードの組の各候補キーワードのスコアを計算し、表示する処理を含む。スコアは、各キーワードの右側の括弧で囲まれていない数字によって与えられている。一実施形態において、スコアは、対象のスコアによって対象を識別するために使用された対象モデルに含まれるキーワードのスコアの積の和として規定され、和は、そのモデルがキーワードを含むすべての識別された対象を通じて得られる。
【００５７】
システム１００のドキュメントユニット１３０の一実施形態において、複数のドキュメントからの当該ドキュメントの識別は、複数のドキュメントのうち、識別されたキーワードに基づいて各々識別される候補ドキュメントの組を表示する処理と、候補ドキュメントの表示された組から候補ドキュメントを選択するためのユーザ入力を得、それにより当該ドキュメントを識別する処理と、を含む。
【００５８】
図２Ｂの第３の列２３は、、キーワードユニット１２０によって識別された図２の第２の列２２内のキーワードに対応して、ドキュメントユニット１３０によって識別された候補ドキュメントの識別子（ＩＤ）のリストを含む。多次元画像に表現されるドキュメントの識別は、候補ドキュメントの組の各候補ドキュメントのスコアを計算し、表示する処理を含む。一実施形態において、スコアは、キーワードユニットによって識別されるキーワードの数及び出現頻度に基づく。図２Ｂに示される例において、これらは、第２の列に列挙されるすべてのキーワードであり、すなわち、すべての候補キーワードが、キーワードユニットによって識別されたキーワードとしてユーザによって選択される。スコアは、各々のリポートＩＤの右側に表示される。各リポートＩＤの下に、リポートの中で見つけられたキーワードが更に列挙される。ユーザは、ここで、１又は複数の候補医療リポートを、ドキュメントユニット１３０によって識別されるリポートとして選択することができる。取り出しユニット１４０は更に、識別されたリポートを取り出すように構成されることができる。取り出されたリポートは、ユーザである放射線医が、図２Ａの観察された脳画像２０を解釈するのに役立つ。
【００５９】
一実施形態において、システム１００は、複数のキーワードからのキーワードを含む標識を用いて、ドキュメントのテキスト断片を標識化する断片ユニット１２５を更に有し、当該ドキュメントは、標識に基づいて、ドキュメントユニット１３０によって識別される。自然言語処理（ＮＬＰ）ツールは、ＭｅｄＬＥＥを使用して、放射線科リポートから「生」の自然言語を構築し、標識化する（Carol Friedman et al, "Representing information in patient reports using natural language processing and the extensible markup language", JAMIA 1999(6),76-87を参照）。そのモードの１つにおいて、ＭｅｄＬＥＥは、ＸＭＬドキュメントを所与の放射線科リポートに加える。このＸＭＬドキュメントは、身体ロケーション、所見、部門などに関して、テキストの断片を標識化する。ＸＭＬドキュメントは更に、スペシフィケーション（「大きい」、「側方」）、確実さのレベル及びＵＭＬＳに対するマッピングのような他の情報を特定するモディファイアをこれらの標識に加える。ドキュメントユニット１３０は、識別されたキーワードと、ＸＭＬドキュメントからの身体ロケーション及び観察との比較に基づいて、ドキュメントを識別するように適応される。
【００６０】
当業者であれば、システム１００が、医師の仕事の多くの側面において医師を助けるための価値あるツールでありうることが分かるであろう。更に、システムの実施形態は、システムの医学的アプリケーションを使用して説明されているが、システムの非医学的アプリケーションもまた企図される。
【００６１】
当業者であれば、システム１００の他の実施形態もまた可能であることが分かるであろう。とりわけ、システムのユニットを定義し直し、それらの機能を分配し直すことが可能である。記述された実施形態は医用画像に当てはめられているが、医学的アプリケーションに関連しないシステムの他のアプリケーションもまた可能である。
【００６２】
システム１００の各ユニットは、プロセッサを使用して実現されることができる。通常、それらの機能は、ソフトウェアプログラム製品の制御下で実施される。実行中、ソフトウェアプログラム製品は、通常、ＲＡＭのようなメモリにロードされ、そこから実行される。プログラムは、例えばＲＯＭ、ハードディスク又は磁気及び／又は光学記憶装置のような背景メモリからロードされることができ、又はインターネットのようなネットワークを通じてロードされることができる。任意には、特定用途向け集積回路が、記述された機能を提供することもできる。
【００６３】
多次元画像に基づいて、複数のドキュメントからドキュメントを識別する方法Ｍの例示のフローチャートが、図３に概略的に示されている。方法Ｍは、多次元画像の或る領域を指示するユーザ入力に基づいて、及び多次元画像の指示された領域のセグメント化によって決定される、対象をモデル化するモデルに更に基づいて、多次元画像に表現される対象を識別する対象ステップＳ１０から始まる。対象ステップＳ１０の後、方法Ｍは、対象をモデル化するモデルの注釈に基づいて、複数のキーワードから、識別された対象に関連するキーワードを識別するキーワードステップＳ２０に続く。キーワードステップＳ２０の後、方法Ｍは、識別されたキーワードに基づいて、複数のドキュメントからドキュメントを識別するドキュメントステップＳ３０に続く。ドキュメントステップＳ３０の後、方法は終了する。
【００６４】
当業者であれば、本発明によって意図される概念を逸脱することなく、いくつかのステップの順序を変更することができ、又はスレッディングモデル、マルチプロセッサシステム又は複数プロセスを使用していくつかのステップを同時に実施することができる。任意には、方法Ｍの２又はそれ以上のステップを組み合わせて１つのステップにすることもできる。任意には、方法Ｍの１つのステップは、複数のステップに分割されることができる。
【００６５】
図４は、本発明のシステム１００を用いるデータベースシステム４００の例示の実施形態を概略的に示す。前記データベースシステム４００は、内部接続を通じてシステム１００に接続されるデータベースユニット４１０と、外部入力コネクタ４０１と、外部出力コネクタ４０２と、を有する。この構成は、有利には、データベースシステム４００の能力を増大させ、前記データベースシステム４００にシステム１００の有利な能力を提供する。
【００６６】
図５は、本発明のシステム１００を用いる画像取得装置５００の例示の実施形態を概略的に示す。前記画像取得装置５００は、内部接続を通じてシステム１００と接続される画像取得ユニット５１０と、入力コネクタ５０１と、出力コネクタ５０２と、を含む。この構成は、有利には、画像取得装置５００の能力を増大させ、前記画像取得装置５００にシステム１００の有利な能力を提供する。
【００６７】
図６は、ワークステーション６００の例示の実施形態を概略的に示す。ワークステーションはシステムバス６０１を有する。プロセッサ６１０、メモリ６２０、ディスク入力／出力（Ｉ／Ｏ）アダプタ６３０及びユーザインタフェース（ＵＩ）６４０が、システムバス６０１に機能的に接続されている。ディスク記憶装置６３１が、ディスクＩ／Ｏアダプタ６３０に機能的に結合されている。キーボード６４１、マウス６４２及びディスプレイ６４３が、ＵＩ６４０に機能的に結合されている。コンピュータプログラムとして実現される本発明のシステム１００は、ディスク記憶装置６３１に記憶される。ワークステーション６００は、プログラム及び入力データをメモリ６２０にロードし、プロセッサ６１０上でプログラムを実行するように構成される。ユーザは、キーボード６４１及び／又はマウス６４２を使用して、ワークステーション６００に情報を入力することができる。ワークステーションは、表示装置６４３及び／又はディスク６３１に情報を出力するように構成される。当業者であれば、当分野において知られているワークステーション６００の多数の他の実施形態があり、本実施形態は、本発明を説明する目的のためにあり、本発明を具体的な実施形態に限定するものとして解釈されてはならないことが分かるであろう。
【００６８】
上述の実施形態は、本発明を制限するものではなく、説明するものであり、当業者であれば、添付の請求項の範囲を逸脱することなく、代替の実施形態を設計することが可能であることに注意すべきである。請求項において、括弧内に示される参照符号は請求項を制限するものとして解釈されるべきでない。「含む、有する(comprising)」という語は、請求項に又は説明に挙げられていない構成要素又はステップの存在を除外しない。構成要素の前にある「a」又は「an」という語は、このような構成要素の複数の存在を除外しない。本発明は、数個の別個の要素を含むハードウェアによって実現されることが可能であり、適切にプログラムされたコンピュータによって実現されることも可能である。いくつかのユニットを列挙するシステムの請求項において、これらのユニットのいくつかは、ハードウェア又はソフトウェアの同じ一つのアイテムによって具体化されることができる。第１、第２、第３等の語の使用は、いかなる順序も示さない。これらの語は、名前として解釈されることができる。
【図１】
2013506900.tif 000003
【図２Ａ】
2013506900.tif 000004
【図２Ｂ】
2013506900.tif 000005
【図３】
2013506900.tif 000006
【図４】
2013506900.tif 000007
【図５】
2013506900.tif 000008
【図６】
2013506900.tif 000009
【国際調査報告】
2013506900.tif 000010
2013506900.tif 000011
2013506900.tif 000012