(57)【要約】  本発明の目的は、リンクを作成するために必要とするユーザ相互作用が比較的少ない、オブジェクト・モデル組からの特定のオブジェクト・モデルを画像におけるオブジェクトにリンク付けするシステム（１００）を提供することである。画像におけるオブジェクトを選択する第１の選択装置（１１０）と、オブジェクト・モデル組からの関連した候補オブジェクト・モデル部分集合を、選択されたオブジェクトに基づいて判定する判定装置（１２０）と、関連した候補オブジェクト・モデル部分集合から特定のオブジェクト・モデルを選択する第２の選択装置とを備える。画像におけるオブジェクトの選択からリンク付け処理を始めることによって、関連した候補オブジェクト・モデルの部分集合を判定する作業が、判定装置に委ねられ、ユーザ相互作用を必要としない。これは、一種のフィルタリングを施して適切なモデルを求めることを意味する。ユーザは、比較的大きな組からモデルの選択を行わなければならない訳でない。
2008541824.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクト・モデル組からの特定のオブジェクト・モデルを画像におけるオブジェクトとリンク付けするリンク付けシステムであって、
前記画像における前記オブジェクトを選択する第１の選択装置と、
前記選択されたオブジェクトに基づいて前記オブジェクト・モデル組から、関連した候補オブジェクト・モデル部分集合を判定する判定装置と、
前記関連した候補オブジェクト・モデル部分集合から前記特定のオブジェクト・モデルを選択する第２の選択装置とを備えるリンク付けシステム。
【請求項２】
請求項１記載のリンク付けシステムであって、前記第１の選択装置が、
前記画像における領域を指示する指示装置と、
前記選択されたオブジェクトを前記指示された領域に基づいて計算する計算装置とを備えるリンク付けシステム。
【請求項３】
請求項２記載のリンク付けシステムであって、前記選択されたオブジェクトを計算する工程が、前記指示された領域を備える領域における前記画像のセグメンテーションに基づくリンク付けシステム。
【請求項４】
請求項１記載のリンク付けシステムであって、前記関連した候補オブジェクト・モデル部分集合の判定が、前記選択されたオブジェクトの特徴に基づき、前記特徴は、
前記選択されたオブジェクトの名前、
前記選択されたオブジェクトの形状、
前記選択されたオブジェクトのサイズ、
前記画像における前記選択されたオブジェクトの位置、
前記画像における前記選択されたオブジェクトの向き、
前記選択されたオブジェクトにおける強度分布、及び
前記選択されたオブジェクトにおける色分布のうちの少なくとも１つであるリンク付けシステム。
【請求項５】
請求項１記載のリンク付けシステムであって、前記関連した候補オブジェクト・モデル部分集合からの前記特定のオブジェクト・モデルの選択が、前記選択されたオブジェクトの特徴に基づき、前記特徴は、
前記選択されたオブジェクトの名前、
前記選択されたオブジェクトの形状、
前記選択されたオブジェクトのサイズ、
前記画像における前記選択されたオブジェクトの位置、
前記画像における前記選択されたオブジェクトの向き、
前記選択されたオブジェクトにおける強度分布、及び
前記選択されたオブジェクトにおける色分布のうちの少なくとも１つであるリンク付けシステム。
【請求項６】
請求項１記載のリンク付けシステムであって、前記関連した候補オブジェクト・モデル部分集合からの前記特定のオブジェクト・モデルの選択がユ―ザ入力に基づくリンク付けシステム。
【請求項７】
請求項１乃至６の何れか一項に記載のリンク付けシステムであって、前記関連した候補オブジェクト・モデル部分集合の表現を表示する表示装置を更に備えるリンク付けシステム。
【請求項８】
請求項１乃至７の何れか一項に記載のリンク付けシステムであって、前記オブジェクトが、人間又は動物の器官、又は器官の一部であるリンク付けシステム。
【請求項９】
請求項８記載のリンク付けシステムであって、前記オブジェクト・モデル組が、人間又は動物の器官、又は器官の部分のアトラスであるリンク付けシステム。
【請求項１０】
登録システムであって、
オブジェクト・モデル組からの特定のオブジェクト・モデルを画像内のオブジェクトとリンク付けする、請求項１乃至９記載の何れか一項に記載のリンク付けシステムを備えるリンク付け装置と、
前記リンク付けされた特定のオブジェクト・モデルを、前記画像の環境におけるオブジェクトに登録する登録装置とを備える登録システム。
【請求項１１】
セグメンテーション・システムであって、
特定のオブジェクト・モデルをオブジェクトに登録する、請求項１０記載の登録システムを備える登録装置と、
前記登録された特定のオブジェクト・モデルに基づいて前記オブジェクトをセグメント化するセグメンテーション装置とを備えるセグメンテーション・システム。
【請求項１２】
請求項１乃至１０の何れか一項に記載のシステムを備えるワークステーション。
【請求項１３】
オブジェクト・モデル組からのオブジェクト・モデルを画像におけるオブジェクトとリンク付けする方法であって、
前記画像における前記オブジェクトを選択する第１の選択工程と、
前記選択されたオブジェクトに基づいて前記オブジェクト・モデル組から、関連した候補オブジェクト・モデル部分集合を判定する判定工程と、
前記関連した候補オブジェクト・モデル部分集合から特定のオブジェクト・モデルを選択する第２の選択工程とを備える方法。
【請求項１４】
コンピュータ装置によってロードされる対象のコンピュータ・プログラム・プロダクトであって、オブジェクト・モデル組からのオブジェクト・モデルを画像におけるオブジェクトとリンク付けする旨の命令を備え、前記コンピュータ装置は処理装置及びメモリを備え、前記コンピュータ・プログラム・プロダクトは、ロードされた後、
前記画像における前記オブジェクトを選択するタスクと、
関連した候補オブジェクト・モデルの部分集合を前記オブジェクト・モデル組から、前記選択されたオブジェクトに基づいて判定するタスクと、
前記関連した候補オブジェクト・モデルの部分集合から特定のオブジェクト・モデルを選択するタスク以下のタスクを行う機能を前記処理装置に提供するコンピュータ・プログラム・プロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクト・モデル組からの特定のオブジェクト・モデルを画像におけるオブジェクトとリンク付けするリンク付けシステムに関する。
【０００２】
本発明は、特定のオブジェクト・モデルを、リンク付けされたオブジェクトに登録する登録システムに更に関する。
【０００３】
本発明は、登録された特定のオブジェクト・モデルに基づいてオブジェクトをセグメント化するセグメンテーション・システムに更に関する。
【０００４】
本発明は、オブジェクト・モデル組からのオブジェクト・モデルを画像におけるオブジェクトとリンク付けするシステムを備えるワークステーションに更に関する。
【０００５】
本発明は、オブジェクト・モデル組からの特定のオブジェクト・モデルを画像におけるオブジェクトとリンク付けする方法に更に関する。
【０００６】
本発明は、オブジェクト・モデル組からのオブジェクト・モデルを画像におけるオブジェクトとリンク付けする命令を備える、コンピュータ装置によってロードする対象のコンピュータ・プログラム・プロダクトに更に関する。
【背景技術】
【０００７】
本明細書の冒頭の段落に記載した類のリンク付けシステムの実施例は、Ｔｉｍ  ＭｃＩｎｅｒｎｅｙ及びＤｅｍｅｔｒｉ  Ｔｅｒｚｏｐｏｕｌｏｓによる「Ｄｅｆｏｒｍａｂｌｅ  Ｍｏｄｅｌｓ  ｉｎ  Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ａｎａｌｙｓｉｓ：  Ａ  Ｓｕｒｖｅｙ（Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ａｎａｌｙｓｉｓ，  １（２）：９１−１０８，  １９９６）」によって知られている。この論文には、画像における関心オブジェクトと、オブジェクト・モデル組からの対応するオブジェクト・モデルとの間のリンクを作成する方法が開示されている。可変モデルの利用では通常、局所サーチ手法を用いるので、リンクする対象のオブジェクト・モデルは、ユーザによって（例えば、マウスを用いて）関心オブジェクトの近くに配置しなければならない。まず、ユーザは、オブジェクト・モデルのメニューからオブジェクト・モデルを選択しなければならない。多数のオブジェクト・モデルをメニューが有する場合、オブジェクト・モデルのメニューの階層をスクロールするか、又は下ることが必要であり得る。選択されたオブジェクト・モデルが次いで画像内に（通常、画像の中央に）表示され、ユーザは、このオブジェクト・モデルをドラッグし、関心オブジェクトの近くにドロップしなければならない。よって、前述の相互作用を行うためにいくつかのマウス・クリック及びマウス移動が必要である。  画像におけるいくつかのオブジェクトをそのそれぞれのオブジェクト・モデルとリンク付けしなければならない場合、いくつかの相互作用手順をユーザによって行わなければならない。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、本明細書の冒頭の段落に記載した類のリンク付けシステムを提供することである。これには、リンクを作成するために必要な相互作用は比較的少ない。
【課題を解決するための手段】
【０００９】
本発明のこの目的は、リンク付けシステムが、
画像におけるオブジェクトを選択する第１の選択装置と、
オブジェクト・モデル組からの関連した候補オブジェクト・モデル部分集合を、選択されたオブジェクトに基づいて判定する判定装置と、
関連した候補オブジェクト・モデル部分集合から特定のオブジェクト・モデルを選択する第２の選択装置とを備えることによって達成される。
【００１０】
画像におけるオブジェクトの選択からリンク付け処理を始めることによって、関連した候補オブジェクト・モデルの部分集合を判定する作業が、判定装置に委ねられ、ユーザ相互作用を必要としない。これは、一種のフィルタリングを施して適切なモデルを求めることを意味する。ユーザは、比較的大きな組からモデルの選択を行わなければならない訳でない。
【００１１】
更に、関連した候補オブジェクト・モデル部分集合から特定のオブジェクト・モデルを選択する処理は、関連した候補モデル部分集合が一要素しか有していない場合、ユーザ相互作用なしで自動的に実行することが可能である。あるいは、この選択処理は、示されたオブジェクト・モデルを受け入れるためにマウス・ボタンをクリックする工程や、場合によっては、関連した候補オブジェクト・モデルの最終候補リストをブラウジングする工程のような最小量のユーザ相互作用を必要とし得る。
【００１２】
リンク付けシステムはＮ−Ｄ画像（Ｎ＞１）に施すことが可能である。
【００１３】
本発明によるリンク付けシステムの実施例では、第１の選択装置は、画像における領域を指示する指示装置と、選択されたオブジェクトを、指示された領域に基づいて計算する計算装置とを有する。指示装置は、マウス又はトラックボールによるユーザ入力を読み取るよう構成される。あるいは、ユーザ入力をタッチ画面から読み取るよう構成することが可能である。選択されたオブジェクトの計算はここでは、選択の表現を計算するようユーザ入力及び画像を処理するものとする。例えば、画像が既にいくつかの部分に分割されており、各部分にオブジェクト名が割り当てられる場合、選択されたオブジェクトの計算は単純であり得る。この分割は、相互作用で（例えば、画像前処理段階において）行うことが可能である。この場合、計算は、関心オブジェクトを有する指示部分に割り当てられた名前を取り出すことである。リンク付けシステムの判定装置は、一部分に与えられるオブジェクト名を用いて、この部分に対応するオブジェクト・モデルを判定することが可能である。この場合、関連した候補オブジェクト・モデルの部分集合は、指示された領域をカバーする部分の名前を有するオブジェクト・モデルを備える。
【００１４】
本発明によるリンク付けシステムの実施例では、選択されたオブジェクトの計算は、画像セグメンテーションに基づく。好ましくは、画像は当初、いくつかの部分に分割され、各部分には、この部分に含まれるオブジェクトの名前が割り当てられる。あるいは、画像が、セグメンテーション手法によって識別されるオブジェクトが、指示された領域をカバーするような、高速であるが、非常に正確である訳では必ずしもないセグメンテーション手法を用いて局所的に分割される。リンク付けシステムの判定装置は後に、前述のオブジェクトそれぞれを、オブジェクト・モデル組からのオブジェクト・モデルと比較し、最も類似したオブジェクト・モデルが、類似度尺度を用いて計算される。関連した候補オブジェクト・モデルの部分集合は、最も類似したオブジェクト・モデルを有する。
【００１５】
本発明によるリンク付けシステムの実施例では、関連した候補オブジェクト・モデルの部分集合の判定は、選択されたオブジェクトの特徴に基づく。この特徴は、選択されたオブジェクトの名前、選択されたオブジェクトの形状、選択されたオブジェクトのサイズ、画像における選択されたオブジェクトの場所、画像における選択されたオブジェクトの向き、選択されたオブジェクトにおける強度分布、及び、選択されたオブジェクトにおける色分布のうちの少なくとも１つである。関連した候補オブジェクト・モデルの部分集合を判定するために、システムは、画像におけるオブジェクトの特徴を評価するよう構成される。この特徴値は、次いで、オブジェクト・モデル組からのオブジェクト・モデルの対応する特徴値と比較される。オブジェクト特徴値及びオブジェクト・モデル特徴値が類似している場合、このオブジェクト・モデルを、関連した候補オブジェクト・モデル部分集合に加えることができる。複数の、オブジェクトの特徴及びオブジェクト・モデルの特徴を用いて、関連した候補オブジェクト・モデル部分集合にオブジェクト・モデルを含めることがふさわしいかを判定することが可能である。
【００１６】
本発明によるリンク付けシステムの実施例では、関連した候補オブジェクト・モデルの部分集合からの特定のオブジェクト・モデルの選択は、選択されたオブジェクトの特徴に基づく。この特徴は、選択されたオブジェクトの名前、選択されたオブジェクトの形状、選択されたオブジェクトのサイズ、画像における選択されたオブジェクトの場所、画像における選択されたオブジェクトの向き、選択されたオブジェクトにおける強度分布、及び、選択されたオブジェクトにおける色分布のうちの少なくとも１つである。関連した候補オブジェクト・モデルの部分集合から特定のオブジェクト・モデルを選択するために、システムは、画像におけるオブジェクトの特徴を評価する。この特徴値は、次いで、関連した候補オブジェクト・モデル部分集合からのオブジェクト・モデルの対応する特徴値と比較される。オブジェクト特徴値及びオブジェクト・モデル特徴値が類似している場合、このオブジェクト・モデルを、特定のオブジェクト・モデルとして選択することができる。複数の、オブジェクトの特徴、及び関連した候補オブジェクト・モデル部分集合からのオブジェクト・モデルの特徴を用いて、上記オブジェクト・モデルを特定のオブジェクト・モデルとして選択することがふさわしいか否かを判定することができる。
【００１７】
本発明によるリンク付けシステムの実施例では、関連した候補オブジェクト・モデル部分集合からの特定のオブジェクト・モデルの選択はユーザ入力に基づく。この実施例では、リンク付けシステムとの更なるユーザ相互作用が必要である。選択されたオブジェクトとリンク付けする対象の特定のオブジェクト・モデルの最終的な選択は、ユーザに委ねられる。ユーザが、特定のオブジェクト・モデルとしての選択にふさわしい関連した候補オブジェクト・モデル部分集合においてオブジェクト・モデルを何ら見出さない場合、ユーザは、オブジェクト・モデル組から別のオブジェクトを選択するという可能性を有し得る。
【００１８】
本発明によるリンク付けシステムの実施例では、リンク付けシステムは、関連した候補オブジェクト・モデル部分集合の表現を表示する表示装置を更に備える。この実施例では、ユーザには、関連した候補オブジェクト・モデルの部分集合に含まれたオブジェクト・モデルが（例えば、名前リストの形式で）示される。このリストにおける一エントリは、例えば、強調表示マークによって示す。ユーザは、強調表示マークを移動させて、特定のオブジェクト・モデルとしてユーザが選択したいオブジェクト・モデルを示すことが可能である。ユーザがマウスをクリックすると、システムは、指示されたオブジェクト・モデルを、選択された特定のオブジェクト・モデルとしてセットする。
【００１９】
本発明によるリンク付けシステムの実施例では、オブジェクトは、人間又は動物の器官、若しくは器官の一部であり、オブジェクト・モデルの組は、人間又は動物の器官、若しくは器官の部分のアトラスである。本発明によるリンク付けシステムの適用は、医療画像解析において特に効果的である。ここでは、器官モデルのアトラスとしても表すオブジェクト・モデル組は、明確な構造及び内容を有する。
【００２０】
本発明の更なる目的は、本明細書の冒頭の段落に記載した類の登録システムを提供することである。これには、オブジェクトとオブジェクト・モデルとの間のリンクを作成するために必要な相互作用は比較的少ない。これは、登録システムが、
オブジェクト・モデル組からの特定のオブジェクト・モデルを画像内のオブジェクトとリンク付けするリンク付けシステムを備えるリンク付け装置と、
リンク付けされた特定のオブジェクト・モデルを、画像の環境におけるオブジェクトに登録する登録装置とを備えることで達成される。
【００２１】
本発明によるリンク付けシステムの適用は、オブジェクト・モデル登録に適用する場合、特に効果的である。オブジェクト・モデルを画像に登録することによって、更なる効果（すなわち、オブジェクト・モデルの配置）が達成される。登録は、参照画像において、特定のオブジェクト・モデルの考えられる最良の配置を見出し得る。
【００２２】
本発明の更なる目的は、本明細書の冒頭の段落に記載した類のセグメンテーション・システムを提供することである。これには、オブジェクトとオブジェクト・モデルとの間のリンクを作成するために必要な相互作用は比較的少ない。これは、セグメンテーション・システムが、
請求項１０記載の、特定のオブジェクト・モデルをオブジェクトに登録する登録システムを備える登録装置と、登録された特定のオブジェクト・モデルに基づいてオブジェクトをセグメント化するセグメンテーション装置とを備えることで達成される。
【００２３】
本発明によるリンク付けシステムの適用は、モデルベースの画像セグメンテーションに用いる場合、特に効果的である。
【００２４】
本発明の更なる目的は、本明細書の冒頭の段落に記載した類のワークステーションを提供することである。これには、オブジェクトとオブジェクト・モデルとの間のリンクを作成するために必要なユーザ相互作用は比較的少ない。これは、ワークステーションが、オブジェクト・モデル組からのオブジェクト・モデルを画像におけるオブジェクトとリンク付けするリンク付けシステムを備えることで達成される。リンク付けシステムは、
画像におけるオブジェクトを選択する第１の選択装置と、
オブジェクト・モデル組からの関連した候補オブジェクト・モデル部分集合を、選択されたオブジェクトに基づいて判定する判定装置と、
関連した候補オブジェクト・モデル部分集合から特定のオブジェクト・モデルを選択する第２の選択装置とを備える。
【００２５】
本発明の更なる目的は、本明細書の冒頭の段落に記載した類の方法を提供することである。これには、オブジェクトとオブジェクト・モデルとの間のリンクを作成するために必要なユーザ相互作用は比較的少ない。これは、方法が、
画像におけるオブジェクトを選択する第１の選択工程と、
オブジェクト・モデル組からの関連した候補オブジェクト・モデル部分集合を、選択されたオブジェクトに基づいて判定する判定工程と、
関連した候補オブジェクト・モデル部分集合から特定のオブジェクト・モデルを選択する第２の選択工程とを備えることで達成される。
【００２６】
本発明の更なる目的は、本明細書の冒頭の段落に記載した類のコンピュータ・プログラム・プロダクトを提供することである。これは、コンピュータ装置によってロードされる対象のコンピュータ・プログラム・プロダクトが、オブジェクト・モデル組からのオブジェクト・モデルを画像におけるオブジェクトとリンク付けする旨の命令を備え、コンピュータ装置は処理装置及びメモリを備え、コンピュータ・プログラム・プロダクトは、ロードされた後、
画像におけるオブジェクトを選択するタスクと、
関連した候補オブジェクト・モデルの部分集合をオブジェクト・モデル組から、選択されたオブジェクトに基づいて判定するタスクと、
関連した候補オブジェクト・モデルの部分集合から特定のオブジェクト・モデルを選択するタスクとを行うための機能を処理装置に提供する。
【発明を実施するための最良の形態】
【００２７】
前述の登録システム、セグメンテーション・システム、ワークステーション、方法、及び／又はコンピュータ・プログラム・プロダクト（リンク付けシステムの修正及びその変形に対応する）の前述の修正及び変形は、当業者によって本明細書及び特許請求の範囲に基づいて行うことが可能である。
【００２８】
前述並びにその他の、本発明によるリンク付けシステム、登録システム、セグメンテーション・システム、ワークステーション、方法、及びコンピュータ・プログラム・プロダクトの局面は、以下に説明する実現形態及び実施例に関して、かつ添付図面を参照して明らかになり、明らかにされるであろう。
【００２９】
同じ参照符号を用いて、同じ部分を、添付図面を通して表す。
【実施例】
【００３０】
図１は、リンク付けシステム１００の実施例を略示する。この実施例は、
画像３００におけるオブジェクトを選択する第１の選択装置１１０と、
オブジェクト・モデル組からの関連した候補オブジェクト・モデル部分集合を、選択されたオブジェクトに基づいて判定する判定装置１２０と、
関連した候補オブジェクト・モデル部分集合から特定のオブジェクト・モデルを選択する第２の選択装置１３０とを備える。
【００３１】
上記装置は、内部接続１１１及び１２１を介して互いに接続される。２つの入力コネクタ１０１及び１０２、並びに、３つの出力コネクタ１０３、１０４及び１０５が存在している。
【００３２】
第１の選択装置１１０は、２つの入力（データ記憶装置に接続され得るデータ入力コネクタ１０１からの画像３００、及び、ユーザ入力装置に接続され得るユーザ入力コネクタ１０２からの画像における指示された領域）を受信するよう構成される。前述の入力を用いて、第１の選択装置１１０は、画像３００における選択されたオブジェクトを計算し、これを判定装置１２０に第１の内部接続１１１を介して転送するよう構成される。第１の選択装置は、表示装置に接続され得る第１の出力コネクタ１０４に画像３００、指示された領域、及び、場合によっては、選択されたオブジェクトを出力するようにも構成される。
【００３３】
判定装置１２０は、例えば、データ入力コネクタ１０１を介してデータ記憶装置から得られるオブジェクト・モデル組からのオブジェクト・モデルと、第１の内部接続１１１を介して受信されたオブジェクトとを比較するよう構成される。判定装置１２０は、関連した候補オブジェクト・モデルの部分集合を判定し、これを第２の選択装置１３０に内部接続１２１を介して転送するよう更に構成される。判定装置１２０は、関連した候補オブジェクト・モデルの部分集合の表現（例えば、前述のモデルのスクロール可能なリスト）を、ユーザ表示装置に接続され得る第２の出力コネクタ１０５に出力するようにも構成される。
【００３４】
第２の選択装置１３０は、特定のオブジェクト・モデルを計算し、特定のオブジェクト・モデルをモデル出力コネクタ１０３に出力するよう構成される。任意的には、出力されたデータは、画像３００におけるモデルの配置を規定する参照データを備え得る。特定のオブジェクト・モデルの計算は、ユーザ入力コネクタ１０２を介して（例えば、ユーザ入力装置から）得られる第２のユーザ入力に基づき得る。あるいは、第２の選択装置は、選択されたオブジェクト又は画像３００に最もよく合う特定のオブジェクト・モデルを選択するよう構成することができる。
【００３５】
入力コネクタ１０１は、データ記憶装置（ＲＡＭ、ＲＯＭ、ハード・ディスク・ドライブ、及び／又は光ディスク・ドライブなど）に接続することができる。入力コネクタ１０２は、ユーザ入力装置（マウス、トラックボール、タッチ式画面、及び／又はキーボード）に接続され得る。あるいは、前述のＩ／Ｏ装置の一部は、リンク付けシステムの一部であり得る。
【００３６】
出力コネクタ１０３、１０４及び１０５は、表示装置及び／又はデータ記憶装置に接続することができる。任意的には、表示装置及び／又はデータ記憶装置は、システムリンク付けシステム１００の一部である。任意的には、ユーザ入力装置は、システムリンク付けシステムの一部である。
【００３７】
図２は、第１の選択装置１１０の実施例を略示する。この装置は、内部接続２２１を介して接続された、計算装置２１０及び指示装置２２０と、データ記憶装置２３０並びにユーザ入力装置２４０それぞれに接続された２つの入力コネクタ１０１及び１０２と、表示装置２５０に接続された出力コネクタ１０４とを備える。計算装置２１０は、指示された領域入力をユーザ入力装置２３０から受信し、画像３００をデータ記憶装置２４０から受信するよう構成され、前述の入力を用いて、選択されたオブジェクトを計算するよう構成される。選択されたオブジェクトの計算はここでは、選択されたオブジェクトの表現を計算するようユーザ入力及び画像データを処理するものとする。例えば、選択されたオブジェクトの計算には、指示された領域における画像、及びその付近の画像の局所セグメンテーションが関係し得る。選択されたオブジェクトは、ビットマップ、グレースケール・マップ又はカラー・マップによって表すことができる。あるいは、それは、サイズ（面積、体積、直径等）、場所、向きや、トポロジカル・ジーナス（ｔｏｐｏｌｏｇｉｃａｌ  ｇｅｎｕｓ）などの特徴によって表すことができる。選択されたオブジェクトのこの表現は出力コネクタ１０４に出力される。選択されたオブジェクトの同じ、又は別の表現は、内部接続２２１を介して指示装置２１０にも送出される。
【００３８】
指示装置２１０は、指示領域３０４をユーザ入力装置２３０から受信し、画像３００をデータ記憶装置２４０から受信するよう構成される。指示装置２１０は、画像３００における指示領域を示すために、表示装置２５０上に表示される対象の一ピクチャに画像及び指示領域を合成するよう構成される。任意的には、指示装置は、表示装置２５０上に表示される対象のピクチャにおける選択されたオブジェクトの表現も含み得る。指示領域は、２Ｄ画像における画素又は複数の画素を備え得る。あるいは、指示領域は、３Ｄ画像におけるボクセル又は複数のボクセルを備え得る。
【００３９】
リンク付けシステム１００の実施例では、画像３００はいくつかの部分に分割される。この分割は、画像前処理段階において行うことができる。画像３００の各部分には、対応するオブジェクトの名前が割り当てられる。分割についての（すなわち、画像部分の境界及び名前についての）情報を画像データに備える。データ入力コネクタ１０１において入力される画像は、各部分の境界及び名前を含む分割の説明を有する。図３は、２つの画像部分３０１及び３０２を備える分割画像３００を略示する。２つの画像部分３０１及び３０２を隔てる境界３０３は、前述の部分に含まれるオブジェクト３０５とオブジェクト３０６との間のおおよその境界である。分割は、例えば、適切な適用領域における画像のコンテンツに精通した操作者によって手作業で行うことが可能である。画像の各部分はオブジェクトを有する。画像部分３０１はオブジェクト３０５を有し、画像部分３０２はオブジェクト３０６を有する。上記部分は、それらが有するオブジェクトにちなんで名付けている。指示領域３０４は通常、一画像部分に含まれる。この場合、指示領域３０４を含む部分の名前が、選択されたオブジェクトを規定する。選択されたオブジェクトの計算は、指示領域３０４を備える指示部分３０１に割り当てられた名前を取り出すことである。指示領域３０４が複数の画像部分によってカバーされる場合、指示領域との重なりが最大の部分の名前を用いて、選択されたオブジェクトを規定することができる。あるいは、第１の選択装置１１０は、指示領域と、空でない交差を有する、又は指示領域に近い、部分の複数の名前を出力することができる。
【００４０】
判定装置１２０は、第１の選択装置１１０から第１の内部コネクタ１１１を介して、選択された１つ又は複数のオブジェクトの表現を受信するよう構成される。ここでは、選択されたオブジェクトが、オブジェクト・モデルの組からのオブジェクト・モデルそれぞれと比較される。この組は、メモリ記憶装置から入力コネクタ１０２を介して読み出すことが可能である。このオブジェクト・モデル組はアプリケーションに依存する。例えば、医療イメ―ジングでは、これは、人間の器官であり得るものであり、細胞形態学では、これは、共通した細胞の構造の組であり得る。選択されたオブジェクトを表す特徴に応じて、判定装置１２０は、オブジェクト・モデルの対応する特徴を用いる。選択されたオブジェクトのビットマップ表現の場合、特徴は、オブジェクトの形状である。判定装置１２０は、選択されたオブジェクトの形状をオブジェクト・モデルの形状と比較するよう構成される。オブジェクトの形状及び／又はオブジェクト・モデルの形状は、再スケーリングし、かつ／又は、適切な変換によって変換することが可能である。選択されたオブジェクトの形状と同様な形状を有するオブジェクト・モデルは、関係する候補オブジェクト・モデルの部分集合に加えられる。選択されたオブジェクトとオブジェクト・モデルとの類似度を比較するための類似度尺度は、選択されたオブジェクトと、オブジェクト・モデルとの重なりの面積又は体積に対する、選択されたオブジェクトと、オブジェクト・モデルとの重なっていない面積又は体積の比であり得る。ここで、重なっていない部分の面積又は体積は、例えば、オブジェクト・モデルをスケーリングし、剛体変換することによって最小にされる。完全な重なりの場合、この比はゼロに等しい。閾値基準を、計算された比に施すことが可能である。この比が閾値未満の場合、オブジェクト・モデルは、関連した候補オブジェクト・モデルの部分集合に含まれる。さもなければ、オブジェクト・モデルは、関連した候補オブジェクト・モデルの部分集合に含まれない。任意的には、関連した候補オブジェクト・モデルの部分集合における最大モデル数を規定することが可能である。例えば、関連した候補オブジェクト・モデルの部分集合は、ちょうど一モデルを備え得る。これは、選択されたオブジェクトに最も類似している。
【００４１】
形状特徴の一般化として、選択されたオブジェクトにおける強度分布、又は選択されたオブジェクトにおける色分布がある。強度分布特徴又は色分布特徴を用いることによって、類似度尺度の再定義が必要になる。例えば、選択されたオブジェクトと、オブジェクト・モデルとの重ならない部分の面積又は体積は、グレイスケール画像において、選択されたオブジェクト上にスーパインポーズされたオブジェクト・モデルの対応する画素又はボクセルにおける濃度値間の差の絶対値の積分によって置き換えることができる。積分値を最小にするために、オブジェクト・モデル組からの各オブジェクト・モデルは例えば、画像に弾力的に登録することができる。
【００４２】
選択されたオブジェクトのサイズ、場所や向きなどの他の特徴も用いて、関連した候補オブジェクト・モデルの部分集合を判定することも可能である。通常、前述の特徴の１つを用いることによって、視覚化されたオブジェクトに対する標準的なサイズ及び／又は位置を画像が有することが必要になる。前述の特徴は、オブジェクト及びオブジェクト・モデルの形状が制約される場合、特に有用であり得る。例えば、オブジェクトが円形の場合、半径、及び中心の位置によって、前述の円形オブジェクトが完全に特徴付けられる。円の半径や、円の中心の位置などの２つ以上の特徴の組み合わせも用いて、関連した候補オブジェクト・モデル組を判定することができる。
【００４３】
分割された画像を用いるリンク付けシステム１００の実施例では、関連した候補オブジェクト・モデルの部分集合を判定するために判定装置１２０によって用いられる特徴として、選択されたオブジェクトの名前、又は選択されたオブジェクトの名前の組がある。選択されたオブジェクトと同じ名前を有するオブジェクト・モデルは、関連した候補オブジェクト・モデルに含まれる。
【００４４】
関連した候補オブジェクト・モデルの部分集合は、内部接続１２１に出力され、第２の選択装置１３０に転送される。関連した候補オブジェクト・モデルの部分集合に含まれるオブジェクト・モデルは、この部分集合に含まれるモデルを表示装置上に表示することを可能にする形式で出力コネクタ１０５に出力することもできる。例えば、モデルは、関連した候補オブジェクト・モデルの部分集合からのオブジェクト・モデルを各名前又は各アイコンそれぞれが表す、スクロール可能な名前リスト、又は選択可能なアイコンを備えたウィンドウとして表示することが可能である。
【００４５】
第２の選択装置１３０は、関連した候補オブジェクト・モデルの部分集合を判定装置１２０から第２の内部接続１２１を介して受信するよう構成される。第２の選択装置１３０の機能は、第１の選択装置１１０に選択されるオブジェクトにリンク付けする対象の特定のオブジェクト・モデルを選択することである。
【００４６】
リンク付けシステム１００の実施例では、ユーザは、特定のオブジェクト・モデルを、ユーザ入力装置を用いて選択することが可能である。第２の選択装置１３０は、ユーザ入力を入力コネクタ１０２から読み出すよう構成される。ユーザは、関連した候補オブジェクト・モデルの部分集合に含まれるオブジェクト・モデルの名前のリストをみることが可能である。このリストにおける一エントリは、例えば、強調表示マークによって示すことができる。ユーザは、オブジェクト・モデルを特定のオブジェクト・モデルとして選択するために、強調表示マークを移動させて、リストからの任意のオブジェクト・モデルを示すことが可能である。ユーザは、指示されたオブジェクトを、例えば、マウスをクリックすることによって選択することが可能であり、第２の選択装置は、指示されたオブジェクト・モデルを、選択された特定のオブジェクト・モデルとしてセットするよう構成することができる。
【００４７】
リンク付けシステム１００の実施例では、関連した候補オブジェクト・モデルの部分集合からのオブジェクト・モデルの表示リストは、表示リストからのオブジェクト・モデルをユーザが受け入れたくない場合に、この完全なオブジェクト・モデル組へのリンクを含み得る。任意的には、表示リストは、ユーザが、関連した候補モデルの部分集合からのオブジェクト・モデルを拒絶し、選択されたオブジェクトを、リンク付けされる特定のオブジェクト・モデルがない状態にしておくことを可能にするための「空きオブジェクト」も含み得る。
【００４８】
リンク付けシステム１００の実施例では、第２の選択装置１３０は、選択されたオブジェクト３０５における強度分布を用いて特定のオブジェクト・モデルを選択するよう構成することができる。任意的には、第２の選択装置１３０は、選択されたオブジェクト３０５を有する画像３００にオブジェクト・モデルを登録するよう構成することができる。Ｍｉｃｈｅｌ  Ａ．  Ａｕｄｅｔｔｅ、Ｆｒａｎｋ  Ｐ．  Ｆｅｒｒｉｅ及びＴｅｒｒｙ  Ｍ．  Ｐｅｔｅｒｓによる「Ａｎ  ａｌｇｏｒｉｔｈｍｉｃ  ｏｖｅｒｖｉｅｗ  ｏｆ  ｓｕｒｆａｃｅ  ｒｅｇｉｓｔｒａｔｉｏｎ  ｔｅｃｈｎｉｑｕｅｓ  ｆｏｒ  ｍｅｄｉｃａｌ  ｉｍａｇｉｎｇ  （Ｍｅｄ．  Ｉｍａｇ．  Ａｎａｌ．  ４（３），  ２０１−２０７，  ２００２）」と題する論文に開示されたような画像登録手法を用いることができる。この手法では、選択されたオブジェクト３０５を表す下にある画像断片とのその類似度を最大にするよう、関連した候補オブジェクト・モデル組からのオブジェクト・モデルを変換する。多くのタイプの画像変換（例えば、剛体変換、アフィン変換や、弾性変形）が当該技術分野において知られている。更に、選ぶ対象の類似度尺度（例えば、Ｆｒｅｄｅｒｉｋ  Ｍａｅｓ、Ｄｉｒｋ  Ｖａｎｄｅｒｍｅｕｌｅｎ及びＰａｕｌ  Ｓｕｅｔｅｎｓによる「Ｍｅｄｉｃａｌ  ｉｍａｇｅ  ｒｅｇｉｓｔｒａｔｉｏｎ  ｕｓｉｎｇ  ｍｕｔｕａｌ  ｉｎｆｏｒｍａｔｉｏｎ  （Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ，  Ｖｏｌ．  ９１（１０），  １６９９−１７２２，  ２００３）」と題する論文に開示されたような相互情報量）が多く存在している。オブジェクト・モデルを画像３００に登録することによって、更なる目標（オブジェクト・モデルの配置）に達する。登録ベースの解決策は、特定のオブジェクト・モデルを判定し、選択されたオブジェクト３０５に合うようその形状を調節するのみならず、画像３００における特定のオブジェクト・モデルの考えられる最良の配置も見出す。他の実施例は、選択されたオブジェクトのサイズ、場所や向きなどの他の特徴の比較も用いることができる。２つ以上の特徴の組み合わせが効果的であり得る。
【００４９】
関連した候補オブジェクト・モデルの部分集合からの表示オブジェクトは、表示オブジェクト・モデルのうちの最も目立つ位置を、最も類似したオブジェクト・モデルが占め、最も類似したものから最も類似していないものに順序付けすることができる。任意的には、特定のオブジェクト・モデルをユーザが選択することを支援するために、類似度尺度の値を、関連した候補オブジェクト・モデルとともに表示することが可能である。
【００５０】
リンク付けシステム１００の実施例では、第２の選択装置１３０は、特定のオブジェクト・モデルをユーザ入力なしで選択するよう構成することができる。関連した候補オブジェクト・モデルの部分集合からの最も類似したオブジェクト・モデルは、特定のオブジェクト・モデルとして自動的に選択することができる。あるいは、関連した候補オブジェクト・モデルの部分集合が一要素のみを有する場合、この要素は、特定のオブジェクト・モデルに自動的になり得る。
【００５１】
第２の選択装置１３０は、特定のオブジェクト・モデルの表現を出力コネクタ１０３に出力するよう構成される。この特定のオブジェクト・モデルは、出力コネクタ１０３に接続された記憶装置に記憶し、かつ／又は、表示装置上に表示することが可能である。あるいは、本発明のリンク付けシステム１００が、別のシステム（セグメンテーション・システムなど）のサブシステムである場合、特定のオブジェクト・モデルを、リンク付けシステムから、このセグメンテーション・システムの別の装置に転送することが可能である。
【００５２】
リンク付けシステム１００の前述の実施例では、ユーザ入力を供給するユーザ入力装置２３０、リンク付けシステムの装置から得られた情報を表示する表示装置２５０、及び、入力画像データを第１の選択装置１１０に記憶し、第１の選択装置１１０から得られた出力データを記憶する記憶装置２４０は、リンク付けシステム１００の外部の装置として示している。他の実施例では、前述の装置の何れか１つを、リンク付けシステム１００において備え、内部コネクタを介して、第１の選択装置１１０、判定装置１２０、及び／又は第２の選択装置１３０に接続することが可能である。例えば、オブジェクト・モデル組を、リンク付けシステム１００の内部ハード・ディスク上に記憶することが可能である。リンク付けシステム１００は、画像及び他の構造（指示された領域、選択されたオブジェクト、関連した候補オブジェクト・モデルの部分集合に含まれるオブジェクト・モデルの名前を備えたリスト、及び／又は、リストにおける名前を示す強調表示マークなど）を表示する表示装置も備えることが可能である。
【００５３】
判定装置１２０によって判定され、第２の選択装置１３０に移される関連候補オブジェクト・モデル部分集合を、完全なオブジェクト・モデル組によって置き換えることが効果的であり得ることを当業者は分かるであろう。この場合、別個の判定装置１２０は冗長である。
【００５４】
第１の選択装置１１０、判定装置１２０及び第２の選択装置１３０は一プロセッサを用いて実現することができる。通常、前述の機能はソフトウェア・プログラム・プロダクトの制御下で行う。実行中、ソフトウェア・プログラム・プロダクトは通常、メモリ（ＲＡＭなど）にロードされ、そこから実行される。プログラムは、バックグラウンド・メモリ（ＲＯＭ、ハード・ディスク、又は磁気記憶装置及び／若しくは光学式記憶装置など）からロードすることができ、あるいは、インターネットなどのネットワークを介してロードすることができる。任意的には、特定用途向集積回路によって、上記開示された機能が提供され得る。
【００５５】
本発明のリンク付けシステム１００の考えられるアプリケーションは多く存在している。特に効果的な適用例には、本発明のリンク付けシステム１００の医療画像への適用がある。医療画像におけるオブジェクトは、例えば、種々の内臓、骨、及び／又は血管を備え得る。医療画像におけるオブジェクト・モデル組は明確である。この組は多くの場合、器官モデルのアトラスとして表す。特定のより小さな器官がより大きな器官の一部である特定の内部階層（心室と心臓、又は胃と上部消化系など）を有し得る。更に、モデルベースの画像セグメンテーションは、モデル組を定義することが可能である（画像において生起するオブジェクトについての事前知識を既に有する）限り、他の知識領域からの画像の解析に有用であり得る。例えば、システムは、細胞画像の解析（細胞形態学において）、特定の植物組織類の顕微鏡画像の解析（植物組織学において）、個々の作物を識別するための、農地の個々の航空画像の解析（農業において）、特定の構成要素（山脈や、市町村及び入植地など）を識別するための、空中画像の解析（地理において）に有用であり得る。
【００５６】
本発明のリンク付けシステムは、オブジェクト・モデル登録、及びオブジェクト・モデル登録に基づいた画像セグメンテーションに更に用いることが可能である。図４は、登録装置４１０に内部接続４１１を介して接続されたリンク付け装置１００、入力コネクタ４０１、及び出力コネクタ４０２を有する登録システム４００の実施例を略示する。登録システム４００は、登録されたオブジェクト・モデルを出力コネクタ４０２に出力するよう構成される。これらを用いてオブジェクト特徴を抽出することが可能である。医療画像アプリケーションでは、登録システム４００は、登録された器官モデルをデータベースに将来の参考のために記憶し、器官、又は病原性の組織（例えば、腫瘍又は腫瘤）においてどんな変化が経時的に生じるかをみて、かつ／又は、修復処置を支援するために用いることが可能である。この改良は、画像における選択されたオブジェクトについての事前知識をオブジェクト・モデルが既に備えていることによる。本発明のセグメンテーション・システム５００によって、登録装置４００によって用いる、より好適なリンク付け方法によってセグメンテーションの速度が向上する。
【００５７】
図６は、ワークステーション６００の実施例を示す。システムはシステム・バス６０１を備える。プロセッサ６１０、メモリ６２０、ディスクＩ／Ｏアダプタ６３０及びＵＩアダプタ６４０が、動作するようシステム・バス６０１に接続される。ディスク記憶装置６３１は、動作するようディスクＩ／Ｏアダプタ６３０に結合される。キーボード６４１、マウス６４２及びディスプレイ６４３は、動作するようＵＩアダプタ６４０に結合される。コンピュータ・プログラムとして実現された、本発明のリンク付けシステム、登録システム又はセグメンテーション・システムは、ディスク記憶装置６３１に記憶される。ワークステーション６００は、プログラムをメモリ６２０にロードし、プログラムをプロセッサ６１０上で実行することが可能である。ユーザは情報をワークステーション６００にキーボード６４１及び／又はマウス６４２を用いて出力する。当該技術分野において知られているワークステーションの数多くの他の実施例が存在しており、本願の実施例が、本発明を例証する目的を果たし、この特定の実施例に本発明を限定するものと解するべきでないことを当業者は理解するであろう。
【００５８】
図７は、リンク付けの方法７００の実施例を略示する。第１の工程７１０は開始工程である。この工程は、方法の特定の実現形態において行わなければならない初期化全てを含む。第１の選択工程７２０では、オブジェクトが画像において選択される。この工程はユーザ入力を必要とする。判定工程７３０では、関連した候補オブジェクト・モデルの部分集合が判定される。前述のオブジェクト・モデルは、方法の適用に特有のオブジェクト・モデル組の構成要素である。第２の選択工程７４０では、特定のオブジェクト・モデルが、関連した候補オブジェクト・モデルの部分集合から選択される。この特定のオブジェクト・モデルは、画像において選択されるオブジェクトにリンク付けされる。このリンク（画像におけるオブジェクトと、オブジェクト・モデル組からの特定のオブジェクト・モデルとの間の関連付け）が、記憶するために出力されるか、又は更に用いるために別の処理に転送される。工程７５０では、画像におけるオブジェクトのオブジェクト・モデルへのリンク付けを続けるか、又は終結させるかを決定する。この決定は、計算されるか、又はユーザによって入力され得る。分割された画像の場合、方法は、画像の部分全てがそのそれぞれの特定のオブジェクトにリンク付けされるまで続き得る。最後の部分がリンク付けされると、方法は終結工程７６０に進み、終結する。
【００５９】
本発明のリンク付けシステム１００、登録システム４００及びセグメンテーション・システム５００は、コンピュータ・プログラム・プロダクトとして実現することができ、何れかの適切な媒体上（例えば、磁気テープ上、磁気ディスク上や光ディスク上など）に記憶することが可能である。このコンピュータ・プログラムは、処理装置及びメモリを備えたコンピュータ装置にロードすることが可能である。コンピュータ・プログラム・プロダクトはロードされた後、リンク付け、登録及び／又はセグメンテーションのタスクを行う機能を提供する。
【００６０】
上記実施例は本発明を限定するよりも例証するものであり、特許請求の範囲記載の範囲から逸脱することなく別の実施例を当業者が企図することができるであろう。特許請求の範囲では、括弧内にある参照符号は何れも、本特許請求の範囲を限定するものとして解釈されないものとする。「ｃｏｍｐｒｉｓｉｎｇ」の語は、特許請求の範囲記載の構成要素又は工程以外の構成要素又は工程が存在することを排除するものでない。構成要素に語「ａ」又は「ａｎ」が先行していることは、前述の構成要素が複数存在することを排除するものでない。本発明は、別個のいくつかの構成要素を備えるハードウェアによって、かつ、適切にプログラムされるコンピュータによって実現することが可能である。いくつかの装置を列挙したシステム・クレームでは、これらの装置のいくつかを、同一のハードウェア・アイテム又はソフトウェア・アイテムによって実施することが可能である。第１、第２、第３等の語を用いていることは、何れかの順序を示すものでない。これらの語は、名前として解釈されるものとする。
【図面の簡単な説明】
【００６１】
【図１】リンク付けシステムの実施例を略示する図である。
【図２】第１の選択装置の実施例を略示する図である。
【図３】分割された画像を略示する図である。
【図４】登録システムの実施例を略示する図である。
【図５】セグメンテーション・システムの実施例を略示する図である。
【図６】ワークステーションの実施例を略示する図である。
【図７】リンク付け方法の実施例を略示する図である。
【図１】
2008541824.tif 000003
【図２】
2008541824.tif 000004
【図３】
2008541824.tif 000005
【図４】
2008541824.tif 000006
【図５】
2008541824.tif 000007
【図６】
2008541824.tif 000008
【図７】
2008541824.tif 000009
【国際調査報告】
2008541824.tif 000010
2008541824.tif 000011
2008541824.tif 000012