(57)【特許請求の範囲】
【請求項１】
あるデータタイプのデータオブジェクトを前記データタイプのデータオブジェクトを有するデータベースにおいて特定するシステムであって、
前記データオブジェクトの候補である候補データオブジェクトを特定するためのサーチクエリを作成するクエリ作成部と、
前記サーチクエリに基づき前記データベースにおいて前記候補データオブジェクトを特定するサーチ部と、
前記候補データオブジェクトをユーザに提示する提示部と、
前記候補データオブジェクトのセグメントの関連性又は非関連性に関するユーザフィードバックを受信するフィードバック受信部と、
を有し、
前記フィードバック受信部は、前記候補データオブジェクトのセグメントのコンテンツの特徴の関連性又は非関連性に関するユーザフィードバックを受信するよう構成され、
前記サーチ部はさらに、前記受信したユーザフィードバックに応答して、前記データオブジェクトの向上した候補である向上した候補データオブジェクトを特定するよう構成され、
当該システムは、前記候補データオブジェクトのセグメントである候補セグメントのセットを提案するセグメント提案部をさらに有し、
前記提示部はさらに、前記候補セグメントのセットの候補セグメントを前記候補データオブジェクトと共に前記ユーザに提示するよう構成され、
前記フィードバック受信部はさらに、前記候補セグメントの何れが前記フィードバック受信部によりユーザフィードバックが受信されたセグメントであるかの指示を前記ユーザから受信するよう構成されるシステム。
【請求項２】
前記セグメントは、前記候補データオブジェクトの空間分割又は時間分割により形成されるか、又は前記候補データオブジェクトの空間分割と時間分割との組み合わせにより形成される、請求項１記載のシステム。
【請求項３】
前記候補データオブジェクトの空間分割は、前記候補データオブジェクトの２次元又は３次元空間分割である、請求項２記載のシステム。
【請求項４】
前記候補データオブジェクトのセグメントは、前記候補データオブジェクトのユーザにより規定されたセグメントである、請求項１記載のシステム。
【請求項５】
前記データオブジェクトは、医療データオブジェクトであり、
前記セグメント提案部は、体の解剖学的に画成された部分に基づき前記候補セグメントのセットを提案するよう構成される、請求項１記載のシステム。
【請求項６】
前記セグメント提案部は、格子に従って前記候補データオブジェクトの分割に基づき前記候補セグメントのセットを提案するよう構成される、請求項１記載のシステム。
【請求項７】
前記フィードバック受信部は、前記候補データオブジェクトの少なくとも２つのセグメントの関連性及び非関連性に関するユーザフィードバックを受信するよう構成される、請求項１記載のシステム。
【請求項８】
前記フィードバック受信部はさらに、前記候補データオブジェクトの少なくとも２つのセグメントのランキングを受信するよう構成され、
前記ランキングは、前記少なくとも２つのセグメントの何れが前記少なくとも２つのセグメントの他のものより前記ユーザにとって重要であるかを示す、請求項７記載のシステム。
【請求項９】
前記向上した候補データオブジェクトの特定は、前記受信したユーザフィードバックに応答して前記サーチクエリを更新し、前記更新されたサーチクエリに基づき前記向上した候補データオブジェクトを特定することによって実行される、請求項１記載のシステム。
【請求項１０】
前記向上した候補データオブジェクトの特定は、前記サーチクエリに応答して候補データオブジェクトの第１リストを特定し、前記受信したユーザフィードバックに応答して候補データオブジェクトの第２リストを特定し、前記第１リスト又は前記第２リストから前記向上した候補データオブジェクトを選択することによって実行される、請求項１記載のシステム。
【請求項１１】
前記データタイプは、画像、オブジェクト又は環境の３次元表現、ビデオ又はオーディオフラグメントの１つである、請求項１記載のシステム。
【請求項１２】
あるデータタイプのデータオブジェクトを前記データタイプのデータオブジェクトを有するデータベースにおいて特定する方法であって、
前記データオブジェクトの候補である候補データオブジェクトを特定するためのサーチクエリを作成するステップと、
前記サーチクエリに基づき前記データベースにおいて前記候補データオブジェクトを特定するステップと、
前記候補データオブジェクトをユーザに提示するステップと、
前記候補データオブジェクトのセグメントの関連性又は非関連性に関するユーザフィードバックと、前記候補データオブジェクトのセグメントのコンテンツの特徴の関連性又は非関連性に関するユーザフィードバックとを受信するステップと、
前記受信したユーザフィードバックに応答して、前記データオブジェクトの向上した候補である向上した候補データオブジェクトを特定するステップと、
を有し、
当該方法は、前記候補データオブジェクトのセグメントである候補セグメントのセットを提案するステップをさらに有し、
前記提示するステップはさらに、前記候補セグメントのセットの候補セグメントを前記候補データオブジェクトと共に前記ユーザに提示するよう構成され、
前記受信するステップはさらに、前記候補セグメントの何れが前記受信するステップによりユーザフィードバックが受信されたセグメントであるかの指示を前記ユーザから受信するよう構成される方法。
【請求項１３】
請求項１２記載の方法をプロセッサシステムに実行させるコンピュータ命令を有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報抽出の分野に関し、より詳細には特定のデータタイプのデータオブジェクトを当該データタイプのデータアブジェクトを有するデータベースにおいて特定するシステム、方法及びコンピュータプログラムプロダクトに関する。
【背景技術】
【０００２】
ユーザが検索している情報を抽出するためのデータベースにおける情報抽出システム。情報抽出システムにおいて、最も困難なことは、ユーザのニーズを理解することである。キーワード検索に基づくシステムは、しばしばデータベースのクエリ言語とインデックス化において制約を有する。ユーザが検索しているものをキーワードにより正確に表現することは、ユーザにとって困難である。画像ベースデータベースにおける情報抽出は、さらに困難である。なぜなら、システムが人間と同様に画像を解釈することは困難であるためである。この問題を解決するのに成功したパラダイムは、“関連性フィードバック”である。このようなシステムは、サーチクエリに一致した候補となるデータオブジェクトを抽出し、ユーザが、抽出された候補となるデータオブジェクトを確認し、これらのデータオブジェクトの関連性又は非関連性に関するユーザフィードバックを提供する。システムは、ユーザのフィードバックから自らの検索パフォーマンスを向上させるよう学習する。候補となるデータオブジェクトがユーザが検索しているデータオブジェクトに類似している場合、ユーザは、この候補となるデータオブジェクトを検索に関連性があるとして選択する。候補となるデータオブジェクトがユーザの意思に類似せず、又は全く誤った検索結果である場合、ユーザは、当該データオブジェクトを検索に関連性がないとして選択する。従って、システムは、このフィードバックから、関連性のある候補となるデータオブジェクトに類似し、関連性のない候補となるデータオブジェクトに類似しないデータオブジェクトを検索しなければならないことを学習する。
【０００３】
画像抽出のためのシステムは、Ｑｉ  Ｔｉａｎらによる“Ｃｏｍｂｉｎｅ  ｕｓｅｒ  ｄｅｆｉｎｅｄ  ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ  ａｎｄ  ｓｐａｔｉａｌ  ｌａｙｏｕｔ  ｆｏｒ  ｉｍａｇｅ  ｒｅｔｒｉｅｖａｌ”，Ｐｒｏｃ．ｏｆ  ＩＥＥＥ  ２０００  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ’２０００），ｐｐ．７４６−７４９，Ｖｏｌ．３，Ｖａｎｃｏｕｖｅｒ，ＢＣ，Ｃａｎａｄａ，Ｓｅｐｔ．１０−１３，２０００による論文に記載される。この参考文献に開示されるシステムは、クエリ画像に基づき画像オブジェクトのデータベースにおける画像オブジェクトを検出しようとする。システムは、クエリ画像に類似する画像を検出する必要がある。データベースの画像は、所定の領域の格子に細分化される。すべての領域に対して、特徴ベクトルがデータベースにある。システムは、クエリ画像の領域の特徴ベクトルに類似する領域の特徴ベクトルを有する画像を検出するため、クエリ画像とデータベースの画像とを比較する。最も類似した特徴ベクトルを有するデータの画像が、リターン画像としてユーザに提供される。リターン画像は、ユーザが検索している画像の候補である。
【０００４】
その後、ユーザは、システムがユーザの意思に関して学習するように、リターン画像に関する関連性フィードバックを提供しなければならない。このフィードバックは、システムがユーザの意思により良くマッチした画像を検出しようとするさらなる検索をトリガする。何回かの繰り返し後、ユーザの意思に最も良くマッチした画像セットがシステムにより検出される。システムがユーザの意思を最適に学習することを可能にするため、システムは、多数のリターン画像に関するフィードバックを要求し、このため、多数の繰り返しが要求される。
【０００５】
さらに、システムは、クエリ画像と共に関心領域（ＲＯＩ）を規定する可能性をユーザに提供する。ユーザは、画像の何れの部分がユーザの関心を有しているかシステムの示し、さらにシステムがクエリ画像とデータベース内のＲＯＩの内部のみの画像との間の類似性を求める必要があることを指示する。ＲＯＩの外部のクエリ画像の情報は、ユーザに関心がなく、システムにより無視される必要がある。システムは、ＲＯＩを用いて格子状の領域の各領域に対するウェイト値を決定する。ＲＯＩの完全に外部にある領域は、０のウェイト値を取得する。ＲＯＩに部分的に重なる領域は、ＲＯＩと完全に重なる領域より小さいウェイト値を取得する。小さなウェイト値を有する領域は、検索においてわずかに考慮されるのみであり、大きなウェイト値を有する領域は、検索結果に最も大きな影響を与えるであろう。各繰り返しにおいて、システムは、検索のために同一のウェイト値のセットを利用する。検索のフォーカスはわずかに良好になるが、ユーザは依然として多くの画像に関するフィードバックを提供しなければならない。
【０００６】
リターン画像に関するフィードバックを提供するため、多数のリターン画像を確認し、何回も繰り返しを実行することは、システムのユーザが限られた時間とリソースしか有しない医療専門家である医療領域においては特に不都合である。さらに、患者を訪れるときに医療専門家が利用する携帯装置など、フィードバックを受診するための携帯装置に画像が送信される必要がある場合、携帯装置のための限られた利用可能な帯域幅のため、無線送信回数は最小限とされる必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の課題は、ユーザに提供されるリターン画像の確認回数を低減することである。
【課題を解決するための手段】
【０００８】
本発明は、独立形式の請求項により規定される。効果的な実施例が、従属形式の請求項に規定される。
【０００９】
本発明の第１の態様は、請求項１記載のシステムを提供する。本発明の第２の態様は、請求項１４記載の方法を提供する。本発明の第３の態様は、請求項１５記載のコンピュータプログラムを提供する。
【００１０】
本発明の第１の態様によるシステムは、クエリ作成部を有するシステムをユーザに提供する。クエリ作成部は、候補データオブジェクトがデータオブジェクトの候補となるように候補データオブジェクトを特定するサーチクエリを作成する。サーチクエリは、ユーザの意思をサーチ部に通知するのに利用される。ユーザは、システムからデータベースのデータオブジェクトを特定することを期待する。サーチクエリは、一例となるデータオブジェクトに基づくものであってもよく、システムは、一例となるデータオブジェクトに類似するオブジェクトを特定することを必要とする。サーチクエリはまた、ユーザの意思が単語により表現されるキーワードに基づくものであってもよい。あるいは、一例となるデータオブジェクトとキーワードとの組み合わせが利用される。
【００１１】
システムはさらに、サーチクエリに基づきデータベースの候補データオブジェクトを特定するサーチ部を有する。サーチ部は、例えば、サーチクエリのキーワードに最も類似したキーワードを有するため、データベースの候補データオブジェクトを特定してもよい。あるいは、サーチ部は、例えば、サーチクエリの一例となるデータオブジェクトに最も類似する候補データオブジェクトを特定してもよい。データオブジェクトが画像である場合、類似性は、例えば、平均強度、コントラスト、強度分布、ＲＧＢカラーモデルの原色のピクセルのカラートーンの分布、又は他のカラーモデルの次元のピクセル値の分布などに関する。
【００１２】
システムは、提示部によりユーザにデータオブジェクトを提示する。提示部は、画像やビデオフラグメントなどを表示するためのディスプレイを有し、提示部はまた、ユーザにオーディオフラグメントを再生し、又はビデオフラグメントの音声を再生するためのラウドスピーカーを有するアンプを有してもよい。
【００１３】
システムのフィードバック受信部は、候補データオブジェクトのセグメントの関連性又は非関連性に関するユーザフィードバックを受信する。ユーザは、フィードバック受信部にフィードバックを提供する。フィードバックは、候補データオブジェクトのセグメントが関連していないというものであってもよく、このことは、当該セグメントがデータオブジェクトに関する自らの期待に一致しない方法を含むことをユーザがシステムに示すことを意味する。フィードバックは、候補データオブジェクトのセグメントが関連していることを示すものであってもよく、このことは、当該セグメントが自らの期待に一致した情報を含むことをユーザがシステムに示すことを意味する。
【００１４】
その後、システムのサーチ部は、受信したユーザフィードバックに応答して、向上した候補データオブジェクトを特定する。向上した候補データオブジェクトは、データオブジェクトの向上した候補である。システムは、受信したフィードバックから学習し、サーチ部は、ユーザの意思に関してデータベースのより良好なマッチを検出することが可能になる。
【００１５】
システムのユーザは、候補データオブジェクトのセグメントに関するフィードバックを提供することができる。セグメントは、例えば、２次元又は３次元データオブジェクトの空間分割であり、又はタイムラインを有するデータオブジェクトの時間的分割などである。空間分割は、例えば、医療画像などの一部又はボリューム医療データのサブボリュームなどである。候補データオブジェクトは、それがビデオ又はオーディオデータなどである場合、時間により分割されてもよい。ユーザは、候補データオブジェクトのセグメントが自らの意見により関連しているか又は関連していないかを規定することができる。セグメントに関する関連性フィードバックの効果は、セグメントに関するユーザフィードバックがデータオブジェクト全体に関するフィードバックよりはるかに正確であり、より良好にユーザの意思を表現するということである。
【００１６】
候補データオブジェクトがユーザに提示され、ユーザが提示された候補データオブジェクトに完全には満足していない場合、ユーザは、この候補データオブジェクトをユーザが検索しているデータオブジェクトとして受理しない。この拒絶は、データオブジェクト全体でなく、候補データオブジェクトのセグメントのみが関連している又は関連していないとしてみなされるという事実におそらく基づく。データオブジェクト全体に関する関連性又は非関連性フィードバックを提供することは、候補データオブジェクトの一部のみが候補データオブジェクトをデータオブジェクトとして拒絶又は受理するための理由となるという事実を無視している。従って、候補データオブジェクト全体に関するフィードバックはあまり正確でない。従って、データオブジェクト全体に関するフィードバックを求めるシステムは、ユーザが検索しているデータオブジェクトとしてユーザにより受理された候補データオブジェクトに迅速には収束しない。この結果、本発明の第１の態様によるシステムは、フィードバックを提供するためのデータオブジェクトのより少数の確認回数しか求めない。
【００１７】
特に医療領域では、データオブジェクトのセグメントに関するフィードバックを提供することが極めて重要である。これは、医療画像の各部分は異なる病状の手がかりを提供するためである。従って、特定のセグメントに関するフィードバックを提供することによって、システムは、特定の病状によりフォーカスする。
【００１８】
候補オブジェクトのセグメントの関連性又は非関連性に関するユーザフィードバックを提供することは、引用技術の関心領域（ＲＯＩ）と概念的に異なっていることに留意されたい。ＲＯＩによると、ユーザは、クエリ画像のある領域しかデータベースの画像の同一領域に一致していなくてよいということを、最初のサーチクエリにおいてシステムに即座に通知する。また、ユーザは、ＲＯＩ以外の領域が無視されるべきであるため、データベースのすべてのピクチャのＲＯＩ以外の領域の情報を一時的に破棄する必要があることをシステムに通知する。従って、クエリ画像のＲＯＩは、クエリ画像の関連する部分のみである。引用技術のシステムは、ＲＯＩを用いて格子状の領域のウェイト値を更新する。更新された領域のウェイト値は、関連性フィードバックの受信後のサーチのために、実行されるすべてのサーチに対してシステムにより利用される。引用技術のシステムでは、ユーザは、すべてのリターン画像の全体的な関連性又は非関連性についてしか決定できない。
【００１９】
本発明の第１の態様によるシステムの一例は、異なる形態の認知症に苦しむ患者のＭＲＩ脳スキャンと、健康な患者のコントロールグループのＭＰＲＩ脳スキャンとを有する医療データベースを有するシステムである。認知症に苦しむ患者の１人の脳のＭＲＩスキャンを取得した医師は、同様のＭＲＩ脳スキャンをデータベースにおいて特定することを所望する。最初のサーチクエリは、患者の取得したＭＲＩ脳スキャンに基づき作成される。システムは、サーチクエリのＭＲＩ脳スキャンに類似する１以上の候補ＭＲＩ脳スキャンをデータベースにおいて検出する。医師は、候補ＭＲＩ脳スキャンを確認し、候補ＭＲＩ脳スキャンの少なくとも１つの少なくとも１つのセグメントに関するフィードバックをシステムに提供する。医師は、候補ＭＲＩ脳スキャンのセグメントが自らが検索している結果に関連するか又は関連しないかを示す。例えば、医師は、提示された候補ＭＲＩ脳スキャンの領域において、患者の最初に提供された候補ＭＲＩ脳スキャンに全く類似しない構造が提示されていると判断するかもしれない。従って、医師は、当該領域についてユーザフィードバック“非関連”を提供する。また、提示された候補ＭＲＩ脳スキャンがＭＲＩ脳スキャンの特定部分においては健全であるように見えるが、患者のＭＲＩ脳スキャンはＭＲＩ脳スキャンの特定部分において健全でないように見えるケースがあってもよい。従って、ユーザフィードバック“非関連”は、候補ＭＲＩ脳スキャンの特定部分に対して提供される。また、医師は、提示された候補ＭＲＩ脳スキャンの１つにおいて、ある領域が自分の患者のＭＲＩ脳スキャンに極めて類似し、当該領域が認知症の可能性のある形態の１つ（アルツハイマー病など）に関連すると判断してもよい。従って、ユーザフィードバック“関連”は、極めて類似した領域に対して提供される。その後、システムは、１以上のセグメントに関する受信したフィードバックに応答してサーチを更新し、１以上の候補ＭＲＩ脳スキャンの他のリストを提示する。当初提示されたＭＲＩ脳スキャンの一部は、それらが単に良好なマッチであるため、サーチ結果を更新した後に結果リストにあるかもしれないことに留意されたい。
【００２０】
本発明の第１の態様によるシステム、本発明の第２の態様による方法及びコンピュータプログラムは、候補データオブジェクトの確認回数の減少に関して、ユーザに同一の効果を提供する。
【００２１】
一実施例では、ユーザは、候補データオブジェクトのセグメントを規定する。ユーザは、候補データオブジェクトの何れの部分が当該セグメントであるかフィードバック受信部に示す。このように、ユーザが自らのフィードバックにおいて最も正確であるため、ユーザがセグメントを選択することが効果的である。ユーザは、セグメントを規定するため、例えば、ポリゴンの形式により領域を選択し、又は多面体の形式によりボリュームを選択するようにしてもよい。より正確なユーザフィードバックを受信することによって、システムは、ユーザの期待をより良く充足する向上した候補オブジェクトを特定し、より迅速な収束が得られる。セグメントはまた円や球などの他の幾何学形状であってもよいことに留意されたい。
【００２２】
他の実施例では、システムはさらにセグメント提案部を有する。セグメント提案部は、候補セグメントのセットを提案する。候補セグメントは、候補データオブジェクトの一部であり、ユーザが関連性フィードバックを提供するセグメントの候補である。この候補セグメントは、候補データオブジェクトと共に提示部によりユーザに提示される。その後、フィードバック受信部は、ユーザが関連性又は非関連性フィードバックを提供することを所望するセグメントが候補セグメントの何れであるかの指示をユーザから受信する。提案された候補セグメントの選択は、迅速に実行されてもよく、またユーザがフィードバックを提供するのに多くの時間はかからない。これは、ユーザがシステムにフィードバックを提供する多くの時間を有しない場合、特に効果的である。
【００２３】
一実施例では、データオブジェクトは、Ｘ線写真、ＣＴ（Ｃｏｍｐｕｔｅｒ  Ｔｏｍｏｇｒａｐｈｙ）やＭＲＩ（Ｍａｇｎｅｔｉｃ  Ｒｅａｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ）により取得された体の画像、複数のＣＴ又はＭＲＩ画像を合成することによって取得された患者の体の一部の３次元表現、又は患者の血管及び心臓を通過する血液の循環が可視化されるフィルムなどの医療データオブジェクトである。
【００２４】
セグメント提案部は、医療データオブジェクトの体の解剖学的に画成された部分を認識するよう構成される。体の解剖学的に画成された部分は、医療アトラスに基づく定義などに基づく。解剖学的に画成された部分は、候補セグメントとして提案される。医療領域では、医療専門家は、体の解剖学的に画成された部分の特定の特性をしばしば検索している。これは、体の特定の解剖学的に画成された部分が異なる病状の手がかりを提供するためである。医療専門家がセグメントを容易に選択することができるように、システムが、体の解剖学的部分に関連する候補データオブジェクトと共に可能なセグメントを提示する場合、効果的である。これは、医療専門家の時間を節約する。
【００２５】
他の実施例では、セグメント提案部は、格子によるデータオブジェクトの分割に基づき候補セグメントのセットを提案する。提案された候補セグメントは、部分的に重複したセグメントのセットであってもよく、又は候補セグメントは分離していてもよい。候補セグメントのセット全体が、候補データオブジェクト全体をカバーするようにしてもよい。格子によって候補データオブジェクトを分割することが効果的である。これは、それが候補オブジェクトを分割する極めて迅速で効果的な方法であるためである。それは、分割を実行するために多くのシステムリソースを要しない。他の効果は、データベースのデータオブジェクトが同一の格子によりセグメントに分割され、すべてのセグメントについてさらなる情報が格納されるということであってもよい。データベースが同一の格子によるセグメントに関するさらなる情報を格納する場合、サーチ部は、向上した候補データオブジェクトをはるかに迅速に特定することができる。
【００２６】
一実施例では、フィードバック受信部は、候補データオブジェクトの少なくとも２つのセグメントの関連性又は非関連性に関するユーザフィードバックを受信する。より多くのフィードバックが候補データオブジェクトの異なるセグメントに関して与えられると、システムは、ユーザの意思からより多くのことを学習するため、向上した候補オブジェクトをより正確に特定するようになる。さらに、特に医療領域では、医療専門家は、ユーザフィードバックを提供するためデータオブジェクト全体を確認する必要がある。データオブジェクト全体を確認しながら、医療専門家は、関連する複数のセグメントと関連しない複数のセグメントとを一般に特定する。確認時間を効率的に利用するため、すべての観察結果を即座にシステムに提供することが効果的である。候補データオブジェクト毎のより多くのユーザフィードバックの結果として、システムは、最初のサーチクエリが作成されたデータオブジェクトとしてユーザにより受理される候補データオブジェクトにより迅速に収束する。従って、システムは、データオブジェクトのより少ない確認とより少ない繰り返ししか必要としない。
【００２７】
候補データオブジェクトの少なくとも２つのセグメントが（部分的に）重複してもよい、又は分離していてもよいことに留意されたい。これら少なくとも２つのセグメントはまた完全に重複してもよく、これは、セグメントの一部の間に階層的関係がある場合に効果的である。セグメント間の階層のケースのユーザフィードバックの一例は、人間の脳を表す医療データオブジェクトの場合、Ｂａｓａｌ  Ｇａｎｇｌｉａに関するセグメントに対して用いられるフィードバックがフィードバック受信部により受信されるということである。Ｂａｓａｌ  Ｇａｎｇｌｉａは、Ｇｌｏｂｕｓ  Ｐａｌｌｉｄｕｓ及びＰｕｔａｍｅｎなどのセグメントから構成される。また、Ｂａｓａｌ  Ｇａｎｇｌｉａに関するセグメントのユーザフィードバックに加えて、ユーザはまた、Ｇｌｏｂｕｓ  Ｐａｌｌｉｄｕｓに関するセグメントとＰｕｔａｍｅｎに関するセグメントとに対する別々のフィードバックを提供するようにしてもよい。
【００２８】
さらなる実施例では、フィードバック受信部は、ユーザから候補データオブジェクトの少なくとも２つのセグメントのランキングを受信する。ランキングは、何れのセグメントが他のセグメントよりユーザにとって重要であるか示している。サーチ部は、このランキングを用いてデータオブジェクトの何れが最も良い向上した候補オブジェクトであるか内部的に決定する。候補オブジェクトを確認する専門家は、何れのセグメントが向上したデータオブジェクトを特定するのに最も重要であるか、また何れのセグメントが重要性は低いが、フィードバックを提供するのに依然として十分に重要であるか即座に理解する。セグメントのランキングの形式によりユーザフィードバックを提供することによって、システムは、向上したデータオブジェクトをより良好に特定することが可能であり、向上したデータオブジェクトはユーザの意思により良くマッチする。
【００２９】
一実施例では、フィードバック受信部は、候補データオブジェクトのセグメントのコンテンツの特徴の関連性又は非関連性に関するユーザフィードバックを受信する。候補データオブジェクトを確認しながら、ユーザは、セグメントが関連するか又は関連しないかの特有の理由を有する。候補データオブジェクトのセグメントのコンテンツに関する特徴の形式によりこれらの理由を表現することが効果的である。セグメントのコンテンツの特徴の関連性又は非関連性に関するフィードバックの形式によるユーザフィードバックは、システムにユーザの意思と特定される必要がある向上したデータオブジェクトとに関するより正確な情報を提供する。例えば、医療領域では、医療専門家は、候補医療画像のセグメントがハイパーインテンシティ（ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ）又はハイポインテンシティ（ｈｙｐｏｉｎｔｅｎｓｉｔｙ）を受けていることを確認中に発見し、これは、予想より明るい及びくらいことをそれぞれ意味する。データオブジェクトのセグメントのコンテンツがハイパーインテンシティ又はハイポインテンシティを受けていることは、サーチについて関連しているか、又は関連していないかもしれない。また、サーチ部は、データベースがまたハイパーインテンシティ又はハイポインテンシティを受けている画像の領域に関する情報を含む場合、向上したデータオブジェクトのより迅速な特定を実行するようにしてもよい。ユーザは、セグメントのコンテンツの複数の特徴に関する関連性フィードバックを提供してもよいことに留意すべきである。例えば、セグメントのコンテンツはハイパーインテンシティを受け、当該セグメントにおける体の解剖学的部分の形状は誤っている。
【００３０】
他の実施例では、向上した候補オブジェクトの特定は、受信したユーザフィードバックに応答してサーチクエリを更新することによって実行される。更新されたサーチクエリは、向上した候補オブジェクトを特定するのに利用される。関連性フィードバックのためのＲｏｃｃｈｉｏのアルゴリズムなど、受信した関連性フィードバックに基づきサーチクエリを更新するための既知のアルゴリズムがある。これらのアルゴリズムは、ユーザがクエリ作成部に提供した一例となる画像のコンテンツに基づく特徴ベクトルなどの特徴ベクトルとして、最初のサーチクエリが記述されるという事実に主として基づく。サーチ部は、特徴ベクトルを利用して、類似する特徴ベクトルを有するデータオブジェクトを検出する。クエリサーチの更新は、算術処理による最初の特徴ベクトルと、フィードバックが提供された候補オブジェクトの特徴ベクトルとを合成することによって実行される。特徴ベクトルの代わりに、例えば、異なるカラムがデータオブジェクトの異なる部分に関する特徴ベクトルである特徴マトリックスが利用されてもよい。Ｒｏｃｃｈｉｏのアルゴリズムと同様に、更新された特徴マトリックスは最初の特徴マトリックスに基づき、ある算術処理によって、カラムの一部がセグメントに関する受信したユーザフィードバックに応答して更新されてもよい。
【００３１】
一実施例では、向上した候補データオブジェクトの特定は、候補データオブジェクトの第１リストと候補データオブジェクトの第２リストとを特定することによって実行される。候補データオブジェクトの第１リストは、最初のサーチクエリに基づき特定される。候補データオブジェクトの第２リストは、セグメントの関連性又は非関連性に関する受信したユーザフィードバックに基づき特定される。その後、向上した候補データオブジェクトが、第１リスト又は第２リストから選択される。
【００３２】
２つの特定処理を実行することによって、２つの相対的にシンプルなサーチを実行すればよい。候補オブジェクトの第１リストは、候補オブジェクトの最初の特定の結果としてサーチ部に依然としてあってもよい。提供された関連性フィードバックがポジティブ（関連する）である場合、候補データオブジェクトの第２リストは、候補オブジェクトのセグメントのコンテンツに類似するデータオブジェクトの一部のコンテンツを有するデータオブジェクトを含む必要がある。同様に、提供されるフィードバックがネガティブ（関連しない）である場合、候補データオブジェクトの第２リストは、候補オブジェクトのセグメントのコンテンツに非類似のデータオブジェクトの部分のコンテンツを有するデータオブジェクトを含む必要がある。その後、向上した候補オブジェクトの選択は、“何れのデータオブジェクトが両方のリストにあるか”など、かなりシンプルな基準に基づき実行されてもよい。第１又は第２リストから向上した候補オブジェクトを選択することはまた、双方のリストの各データオブジェクトにスコアを割当て、リストをマージし、最も高いスコアを有するデータオブジェクトを選択することによって実行されてもよい。スコアは、データオブジェクトと最初のサーチクエリとの間の類似度、セグメントがポジティブフィードバックである場合のデータオブジェクトの一部と候補オブジェクトのセグメントとの間の類似度、又はセグメントがネガティブフィードバックである場合のデータオブジェクトの一部と候補オブジェクトのセグメントとの間の非類似度を示す必要がある。
【００３３】
これらの実施例では、セグメントの関連性又は非関連性、セグメントのコンテンツの特徴の関連性又は非関連性及びセグメントのランキングに関するフィードバックなど、各種のユーザフィードバックが説明される。セグメントの関連性又は非関連性に関するユーザフィードバックを提供することなく、セグメントのコンテンツの特徴の関連性又は非関連性に関するユーザフィードバックを提供するなど、各種ユーザフィードバックの組み合わせが利用されてもよいことに留意すべきである。
【００３４】
提案された解剖学的に画成されたセグメントに基づきユーザにより規定及び選択されたセグメント、又は格子に基づき提案されたセグメントなど、各種セグメントが説明される。本発明は各種セグメントの別々の利用に限定されず、各種セグメントの組み合わせが利用されてもよいことに留意すべきである。
【００３５】
本発明の上述した実施例、実現形態及び／又は態様の２以上が有用であると考えられる何れかの方法により組み合わせ可能であることが、当業者により理解されるであろう。
【００３６】
システムの上述した改良及び変形に対応する、方法及び／又はコンピュータプログラムの改良及び変形が、本開示に基づき当業者により実行可能である。
【００３７】
当業者は、本方法が、標準的なＸ線イメージング、ＣＴ（Ｃｏｍｐｕｔｅｒ  Ｔｏｍｏｇｒａｐｈｙ）、ＭＲＩ（Ｍａｇｎｅｔｉｘ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ）、ＵＳ（Ｕｌｔｒａｓｏｕｎｄ）、ＰＥＴ（Ｐｏｓｉｔｒｏｎ  Ｅｍｉｓｓｉｏｎ  Ｔｏｍｏｇｒａｐｈｙ）、ＳＰＥＣＴ（Ｓｉｎｇｌｅ  Ｐｈｏｔｏｎ  Ｅｍｉｓｓｉｏｎ  Ｃｏｍｐｕｔｅｄ  Ｔｏｍｏｇｒａｐｈｙ）及びＮＭ（Ｎｕｃｌｅａｒ  Ｍｅｄｉｃｉｎｅ）などの各種取得モダリティにより取得される２次元（２Ｄ）、３次元（３Ｄ）又は４次元（４Ｄ）画像などの多次元画像データに適用可能であることを理解するであろう。
【図面の簡単な説明】
【００３８】
【図１】図１は、データベースのデータオブジェクトを特定するシステムの概略図を示す。
【図２】図２は、システムの提示部のディスプレイの概略図を示す。
【図３】図３は、選択されたセグメントによるＭＲＩ脳スキャンのスライスの概略図を示す。
【図４】図４は、提案された候補セグメントによるＭＲＩ脳スキャンのスライスの概略図を示す。
【図５】図５は、提案された格子に従う候補セグメントによる首のＣＴスキャンの概略図を示す。
【図６】図６は、ビデオのデータタイプの提示の概略図を示す。
【図７】図７は、データベースのデータオブジェクトを特定する方法のフロー図を示す。  異なる図面の同一の参照番号を有するアイテムは、同一の構成要素及び機能を有するか、又は同一の信号であることに留意されたい。このようなアイテムの機能及び／又は構成が説明された場合には、その説明の繰り返しは詳細な説明ではされない。
【発明を実施するための形態】
【００３９】
図１は、データベース１０４の画像を特定するシステム１０１の概略図を示す。画像を有するデータベースの実施例が説明されるが、システムは他のデータタイプのデータオブジェクトを特定するのに利用されてもよい。例えば、オブジェクトや環境の３次元表現、ビデオフラグメント又はオーディオフラグメントなどであってもよい。
【００４０】
システムは、サーチクエリを作成するクエリ作成部１０２を有する。サーチクエリは、画像に関するユーザの意思を表現し、それは、ユーザが検索している画像の種類を表す。サーチクエリは、画像の候補である候補画像を特定するため、システム１０１により利用される。ユーザ入力に基づき、サーチクエリが作成される。ユーザは、サーチクエリを作成するのに用いられる一例となる画像を提供する。他の実施例では、ユーザはシステムに特定することを所望する画像のコンテンツを記述するキーワードを提供することが可能であってもよい。
【００４１】
クエリ作成部１０２は、一例となる画像に基づき特徴マトリックスの形式によりサーチクエリを作成する。特徴マトリックスは、画像の複数の領域について画像の複数の特性を記述する。特徴マトリックスのカラムは、一例となる画像の一部の特性を記述する特徴ベクトルである。特徴ベクトルは、例えば、一例となる画像のＲ，Ｇ及びＢチャネルの異なるカラートーンの分布を有する。
【００４２】
システム１０１のサーチ部１０３は、サーチクエリに基づきデータベース１０４の候補画像を特定する。これは、データベース１０４の画像の特徴マトリックスとサーチクエリの特徴マトリックスとを比較することによって実行される。データベース１０４は、データベース１０４の作成時に特徴マトリックスが作成された場合には、データベース１０４の画像の特徴マトリックスを有する可能性があることに留意されたい。サーチ部１０３はまた、候補画像を特定している間にデータベース１０４の画像から特徴マトリックスを抽出してもよい。特定された候補画像は、サーチクエリの特徴マトリックスに最も類似した特徴マトリックスを有するデータベース１０４の画像である。
【００４３】
システム１０１は、候補画像をユーザに提示する提示部１０５を有する。提示部１０５は、候補画像を表示するディスプレイを有する。提示部は、オーディオフラグメントを再生するためのラウドスピーカーなどの他のデータ提示装置を有してもよい。
【００４４】
システムのユーザフィードバック受信部１０６は、候補画像のセグメントに対するユーザのフィードバックを受信する。ユーザは、候補画像のセグメントが関連しているか又は関連していないかを示す。セグメントが関連している場合、ユーザは、候補画像のセグメントの特性に類似した特性を有する画像を検索している。セグメントが関連していない場合、ユーザは、候補画像のセグメントの特性に非類似な特性をセグメントに有する画像を検索している。フィードバック受信部１０６は、候補画像のセグメントを規定し、当該セグメントの関連性又は非関連性を示すため、ユーザにより用いられる入力受信装置を有してもよい。提示部１０５のディスプレイが、例えば、タッチスクリーンなどである場合、フィードバック受信部１０６は、タッチスクリーンの接触検出装置に接続される。これは、ユーザが提示された候補画像のセグメントをタッチスクリーン上で選択することを可能にする。
【００４５】
その後、フィードバック受信部１０６において受信されたユーザフィードバックは、ユーザの意思をより良く充足するデータベース１０４の向上した候補画像を特定するため、サーチ部１０３により利用される。サーチ部１０３は、例えば、特徴マトリックスのカラムの一部を変更することによって、サーチクエリの特徴マトリックスを更新してもよい。これらのカラムは、候補画像のセグメントの特徴ベクトルに基づき変更される。何れのカラムが更新されるかは、分離された特徴ベクトルにより表される画像の一部とセグメントの重複に依存する。いくつのカラムが更新されるかは、セグメントと画像の一部との間の重複の大きさに依存する。
【００４６】
更新された特徴マトリックスは、更新された特徴マトリックスに最も類似する特徴マトリックスを有するデータベース１０４の向上した候補画像を特定するため、サーチ部１０３により利用される。向上した候補画像は、他の画像が更新された特徴マトリックスに最も類似する特徴マトリックスを有する場合、最初に特定された候補画像と異なる他の画像であってもよいことに留意されたい。以前に検出された候補画像の特徴マトリックスが更新された特徴マトリックスに依然として最も類似している場合、向上した候補画像は候補画像と同じ画像であってもよいことに留意されたい。
【００４７】
他の実施例では、システムは、セグメント提案部１０７を有する。セグメント提案部１０７は、候補画像について候補セグメントセットを提案する。候補セグメントセットは、提示部１０５によりユーザに提示される。提示部１０５のディスプレイは、他のカラーにより異なる候補セグメントのエリアを表示し、エリアのコンテンツを点滅表示し、又は候補セグメントの周囲に特定のカラーの直線を描画するようにしてもよい。フィードバック受信部１０６は、ユーザがフィードバックを提供したセグメントであるとして候補セグメントの選択をユーザから受信する。
【００４８】
セグメント提案部１０７は、格子に基づき候補画像を分離した候補セグメントに細分化してもよい。画像が医療画像である場合、セグメント提案部は、体の示された部分に関する知識を有し、解剖学的に画成されたセグメントに基づきセグメントを提案するようにしてもよい。他の実施例では、セグメント提案部１０７は、体の各部分の境界である画像のエッジを検出するためのエッジ検出部を有してもよい。セグメント提案部１０７は、セグメントを提案するため、体の各部分の検出された境界を利用してもよい。
【００４９】
図２は、実施例による提示部１０５のディスプレイに表示されるピクチャ２０９１を示す。一例となる画像２０２は、ＭＲＩ脳スキャンの冠状断面（ｃｏｒｏｎａｌ  ｖｉｅｗ）によるスライスである。さらに、第１候補画像２０６と第２候補画像２０７とが示される。
【００５０】
一例となる画像２０２は、サーチクエリを作成するため、クエリ作成部１０２により利用された。システム１０１は、一例となる画像２０２に類似するデータベース１０４のＭＲＩ脳スキャンの冠状断面の他のスライスを検出する必要がある。医療専門家は、脳室２０３，２０４が拡大され、一例となる画像２０２の右上側の大脳皮質のサイズが脳の左側と比較して若干減少していることを理解するかもしれない。
【００５１】
サーチ部１０３は、一例となる画像２０２に類似する２つの候補画像２０６，２０７を特定した。医療専門家は、一例となる第１画像２０６の補正中に、海馬２０８，２０９が通常よりもはるかに小さく、脳室２０９が通常のサイズを有し、第１候補画像２０６の画像の右上側の大脳皮質が縮小した（一例となる画像２０２の縮小よりはるかに大きい）ことを理解するかもしれない。第２候補画像２０７は、脳室２１１，２１２が拡大され、大脳皮質２１３が通常のサイズを有する脳スキャンのスライスを示す。ユーザフィードバック受信部１０６は、候補画像のセグメントに関するフィードバックを受信する。これは、図３及び４に示される。
【００５２】
ＭＲＩ脳スキャンのスライスは、冠状断面により示される。他の実施例では、横断面（ａｘｉａｌ  ｖｉｅｗ）及び／又は矢状断面（ｓａｇｉｔｔａｌ  ｖｉｅｗ）のスライスが、データベース１０４の候補スライスを横断面及び／又は矢状断面により特定するため、システム１０１により利用される。他の実施例では、表示されたＭＲＩ脳スキャンは、３次元ビューであるボリューム表現であってもよい。
【００５３】
図３において、第１候補画像２０６が示される。システム１０１を利用している医療専門家は、第１候補画像２０６において４つのセグメント３０１，３０２，３０３，３０４を規定する。医療専門家は、自らの意見において脳室２０９が一例となる画像２０２の脳室と比較して大きくなっていないため、セグメント３０１は関連しないことをフィードバック受信部１０６に示す。医療専門家は、自らの意見において大脳皮質２１０の縮小が一例となる画像２０２の大脳皮質２０５の縮小に類似しているため、セグメント３０２は関連していることを示す。さらに、医療専門家は、自らの意見において海馬が通常より小さい画像を検索していないため、セグメント３０３，３０４について非関連性フィードバックを提供する。
【００５４】
一実施例では、医療専門家は、セグメント３０１，３０２，３０３，３０４のランキングの形式によりさらなるフィードバックをフィードバック受信部１０６に提供することが可能である。大脳皮質が収縮していることが、海馬２０８が収縮していないという事実より医療専門家にとってはるかに重要である場合、医療専門家は、３０２，３０１，３０３，３０４のランキング（最重要から重要度の最も低いものまで）を提供してもよい。
【００５５】
セグメント３０１〜３０４は、候補画像２０６の空間的な分割である。他の実施例では、データベースのデータオブジェクトは脳の３次元表現である。提示部は、脳の３次元画像を提示するよう構成され、ユーザが表示された画像を回転し、脳の構造の内部を観察することが可能なユーザインタフェースをユーザに提供する。３次元表現の場合、フィードバック受信部は、脳の３次元表現のボリューム分割であるセグメントに関する関連性フィードバックを受信する。
【００５６】
図４は、第２候補画像２０７を示す。図４において、さらなる実施例によると、セグメント提案部１０７は、候補セグメント４０１，４０２を提案した。候補セグメント４０１，４０２は、脳の解剖学的に画成された部分に基づきセグメント提案部１０７により選択され、例えば、２つの候補セグメント４０２のそれぞれは脳室に関する。画像を確認した医療専門家は、候補セグメント４０２が脳室２１１，２１２が大きくなっている画像の部分をカバーしているため、候補セグメント４０２に対するフィードバックを提供することを所望することを理解する。このため、医療専門家は、関連性フィードバックを提供するセグメントとして候補セグメント４０２を選択することを所望しているという指示をフィードバック受信部１０６に提供する。さらに、システム１０１の医療専門家はセグメント４０３を規定する。フィードバック受信部１０６はさらに、セグメント４０３についてネガティブフィードバック（非関連の）とセグメント４０２についてポジティブフィードバック（関連する）とを受信する。
【００５７】
図５において、提示部１０５のディスプレイ上に提示される候補画像５０１が示される。候補画像５０１は、患者の首と頭の複数のＣＴスキャンに基づき生成される。多断面再構成技術が、側面から観察される脊柱において首のクロスカットと頭の下部を生成するのに利用される（これは、首と頭の下部の矢状断面である）。
【００５８】
セグメント提案部１０７は、格子による画像の細分化に基づく候補セグメントを提案する。候補セグメントは、提示部１０５によりユーザに提示される。図５に観察できるように、候補画像５０１はロー５０２とカラム５０３とに細分化される。候補画像を確認したユーザは、候補セグメント５０４〜５０６に対するフィードバックを提供することを所望していることをフィードバック受信部１０６に示す。その後、ユーザは、指示５０７により示される、セグメント５０４が関連していないことを示す。提示部１０５のディスプレイは、“ネガティブ”指示５０７を示す。ユーザは、セグメント５０５，５０６が関連していることを示し、“ポジティブ”指示５０８，５０９により示される。
【００５９】
さらなる実施例では、ユーザは、セグメントのコンテンツの特徴に関する関連性フィードバックを提供する。例えば、候補画像５０１がセグメント５０５においてハイパーインテンシティ（ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ）と呼ばれる、予想より高い平均強度を有する場合、ユーザは、ハイパーインテンシティセグメント５０５が関連しているか又は関連していないというフィードバックをフィードバック受信部１０６に提供する。セグメントのハイパーインテンシティが関連している場合、それは、システムがフィードバックが提供されたセグメントの平均強度にマッチする向上した候補画像の一部において等しい平均強度を有する向上した候補画像を検索する必要があることを意味する。セグメントのハイパーインテンシティが関連していない場合、それは、向上した候補画像が関連性フィードバックが関連するセグメントにおける強度より画像の一部において低い強度を有する必要があることを意味する。
【００６０】
図６と共に説明される他の実施例では、データベース１０４のデータオブジェクトは、人間の心臓の脈動のビデオフラグメントであってもよい。医療専門家は、心臓の弁６０３の１つの特定の動きを示すビデオを検索している。サーチクエリに基づき、サーチ部１０３は、医療専門家に提示する候補となるビデオフラグメントを検出した。図６は、提示部１０５が候補ビデオフラグメントを提示する時点において提示部１０５のディスプレイに提示されるシステム１０１のユーザインタフェースをディスプレイ画像６０１に示す。候補ビデオフラグメントを確認するため、ユーザインタフェースは、ユーザにビデオプレーヤーを提供する。ウィンドウ６０２において、候補ビデオフラグメントが提示される。ユーザインタフェースは、タイムライン６０４を示す。インジケータ６０７は、ウィンドウ６０２に現在示されるビデオ画像がタイムライン上の何れに配置されているかを示す。フィードバック受信部１０６は、候補ビデオフラグメントのセグメンチに関する関連性フィードバックをユーザインタフェースを介し受信する。当該セグメントは、候補ビデオフラグメントのタイムラインの一部であり、候補ビデオフラグメントの時間的分割である。図６のユーザインタフェースは、医療専門家が表示６０５において開始され、表示６０８において終わるタイムラインのセグメントを規定したことを示す。ポジティブインジケータ６０６により観察できるように、医療専門家はポジティブフィードバックを提供した。
【００６１】
他の実施例では、図６の規定されたセグメントがビデオフラグメントの空間分割と組み合わせれる。これは、医療専門家が、弁６０３の周囲など、心臓の特定部分によりフォーカスされたサーチを有することを所望しているためである。ビデオフラグメントの空間的細分化は、セグメントが連続するビデオ画像のセットにおける各画像の一部を規定していることを意味する。
【００６２】
図７は、本発明の他の実施例を示す。図７は、データベースのデータオブジェクトを特定する方法のフロー図を示す。ステップ７０１において、サーチクエリが、データオブジェクトの候補である候補データオブジェクトを特定するため作成される。ステップ７０２において、候補データオブジェクトは、サーチクエリに基づきデータベースにおいて特定される。ステップ７０３において、候補データオブジェクトがユーザに提示される。ステップ７０４において、候補データオブジェクトのセグメントの関連性又は非関連性に関するユーザフィードバックが受信される。ステップ７０５において、向上した候補データオブジェクトが、受信したユーザフィードバックに応答してデータベースにおいて特定される。向上した候補データオブジェクトは、データオブジェクトの向上した候補である。
【００６３】
図７の方法は、コンピュータプログラムプロダクトにより実現されてもよい。コンピュータプログラムプロダクトは、図７の方法のステップをプロセッサシステムに実行させるためのコンピュータ命令を有する。
【００６４】
上述した実施例は、本発明を限定するのでなく例示するものであり、当業者は添付した請求項の範囲から逸脱することなく他の多数の実施例を構成可能であることが留意されるべきである。
【００６５】
請求項において、括弧内に設けられた参照符号は、請求項を限定するものとして解釈されるべきでない。“有する”及びその派生語の使用は、請求項に列記した以外の要素又はステップの存在を排除するものでない。要素に先行する“ある”という冠詞は、当該要素が複数存在することを排除するものでない。本発明は、複数の異なる要素を有するハードウェアによって、また適切にプログラムされたコンピュータによって実現されてもよい。複数の手段を列記した装置の請求項では、これらの手段の複数が同一のハードウェアにより実現されてもよい。ある手段が互いに異なる従属形式の請求項に記載されているという事実は、これらの手段の組み合わせが効果的に利用可能でないことを示すものでない。
【図１】
0005587908.tif 000002
【図２】
0005587908.tif 000003
【図３】
0005587908.tif 000004
【図４】
0005587908.tif 000005
【図５】
0005587908.tif 000006
【図６】
0005587908.tif 000007
【図７】
0005587908.tif 000008