(57)【要約】  本発明は、画像のストレージから画像を検索するシステム１００に関する。上記システムが、クエリ画像に対する類似度に基づき、上記画像のストレージから画像を検索する検索ユニット１１０であって、上記類似度が、類似度関数を用いて規定される、検索ユニットと、上記クエリ画像の個別の第１の部分に対する上記検索された画像の第１の部分の関連度及び上記クエリ画像の個別の第２の部分に対する上記検索された画像の第２の部分の関連度を計算する関連度ユニット１２０と、上記クエリ画像の上記個別の第１及び第２の部分に対する上記検索された画像の上記第１及び第２の部分の上記関連度を視覚化する視覚化ユニット１３０とを有する。上記クエリ画像の上記個別の第１及び第２の部分に対する上記検索された画像の上記第１及び第２の部分の関連度は、第１及び第２の関連度関数を用いて計算されることができる。上記関連度の計算された値は、例えばカラー符号化を用いて、及び各検索された画像の上記第１及び第２の部分に色をつけることで、視覚化されることができる。カラーの部分は、見る及び分析するのが容易である。こうして、本発明のシステムは、クエリ画像だけでなく、検索された画像を視覚化することを容易にし、検索された画像を互いに比較することを容易にする。
2013504112.tif 000002
【特許請求の範囲】
【請求項１】
画像のストレージから画像を検索するシステムであって、
クエリ画像に対する類似度に基づき、前記画像のストレージから画像を検索する検索ユニットであって、前記類似度が、類似度関数を用いて規定される、検索ユニットと、
前記クエリ画像の個別の第１の部分に対する前記検索された画像の第１の部分の関連度及び前記クエリ画像の個別の第２の部分に対する前記検索された画像の第２の部分の関連度を計算する関連度ユニットと、
前記クエリ画像の前記個別の第１及び第２の部分に対する前記検索された画像の前記第１及び第２の部分の前記関連度を視覚化する視覚化ユニットとを有する、システム。
【請求項２】
前記クエリ画像の前記第１及び／又は第２の部分を決定する部分ユニットを更に有する、請求項１に記載のシステム。
【請求項３】
前記部分ユニットが、前記クエリ画像をセグメント化するよう構成され、前記クエリ画像の前記第１及び／又は第２の部分は、前記クエリ画像の前記セグメント化に基づき決定される、請求項２に記載のシステム。
【請求項４】
前記検索された画像のランクを決定するランク付けユニットを更に有し、前記ランクが、前記クエリ画像に対する前記検索された画像の前記類似度、及び／又は前記クエリ画像の前記個別の第１及び第２の部分に対する前記検索された画像の前記第１及び第２の部分の前記関連度に基づき決定される、請求項１に記載のシステム。
【請求項５】
前記検索ユニットが、前記画像のストレージからの画像と前記クエリ画像とをレジストレーションするよう構成される、請求項１に記載のシステム。
【請求項６】
前記検索された画像の前記第１及び第２の部分の関連度の前記計算された値に基づき、前記類似度関数を更新する更新ユニットを更に有する、請求項１に記載のシステム。
【請求項７】
前記クエリ画像の前記個別の第１及び第２の部分に対する前記検索された画像の前記第１及び第２の部分の前記関連度に関するユーザフィードバックを受信するフィードバックユニットを更に有し、前記更新ユニットが、前記類似度関数を更新するのに前記ユーザフィードバックを用いるよう構成される、請求項６に記載のシステム。
【請求項８】
前記クエリ画像の前記個別の第１及び第２の部分に対する前記検索された画像の前記第１及び第２の部分の前記関連度が、前記類似度関数を用いて計算される、請求項１に記載のシステム。
【請求項９】
前記視覚化ユニットが、前記クエリ画像の個別の第１の部分に対する前記検索された画像の第１の部分の前記計算された関連度及び前記クエリ画像の個別の第２の部分に対する前記検索された画像の第２の部分の前記計算された関連度をカラー符号化を用いて示すよう構成され、前記ユーザが、前記符号化の前記カラー及び／又は透明度を選択することができる、請求項１に記載のシステム。
【請求項１０】
請求項１乃至９のいずれか一項に記載のシステムを有するデータベースシステム。
【請求項１１】
請求項１乃至９のいずれか一項に記載のシステムを有する画像取得装置。
【請求項１２】
請求項１乃至９のいずれか一項に記載のシステムを有するワークステーション。
【請求項１３】
画像のストレージから画像を検索する方法において、
クエリ画像に対する画像の類似度に基づき、前記画像のストレージから画像を検索する検索ステップであって、前記類似度が、類似度関数を用いて規定される、検索ステップと、
前記クエリ画像の個別の第１の部分に対する前記検索された画像の第１の部分の関連度及び前記クエリ画像の個別の第２の部分に対する前記検索された画像の第２の部分の関連度を計算する関連度ステップと、
前記クエリ画像の前記個別の第１及び第２の部分に対する前記検索された画像の前記第１及び第２の部分の前記関連度を視覚化する視覚化ステップとを有する、方法。
【請求項１４】
コンピュータによりロードされるコンピュータプログラムであって、画像のストレージから画像を検索する命令を有し、前記コンピュータが、処理ユニット及びメモリを有し、ロードされた後、請求項１１に記載の方法におけるステップを実行する能力を前記処理ユニットに提供する、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツベースの画像検索に関し、より詳細には、コンテンツベースの画像検索を視覚化することに関する。
【背景技術】
【０００２】
コンテンツベースの情報検索（ＣＢＩＲ）は、大きなデータベースにおけるデジタル画像の検索の問題を解決することを試みる。ＣＢＩＲ文献における懸念の１つは、これらの類似性検索の結果をどのようにランク付けするか、及びそのランキングをどのように視覚化するかに関する。デジタル画像がクエリ画像に「類似する」可能性がある多くの態様が存在する。ＣＢＩＲシステムは、ユーザに類似性の定義について気づかせ、検索された画像とクエリとの間の関係をどのように解釈するかを気づかせるべきである。通常は、検索された画像は、クエリ画像に対するそれらの類似度に基づきランク付けされる。このシステムは、類似度の高い画像がそうでない画像より前にくるというシーケンシャル順に、検索された画像をユーザに示すよう構成される。ＣＢＩＲシステムの複数の例は、ACM Computing Surveys 40, No. 2 pp. 5: 1-60, 2008において公表されたR. Dattaらによる「Image retrieval, ideas, influences and trends of the new age」というタイトルのレビュー記事において説明される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
既存のＣＢＩＲ方法の欠点は、検索された画像がクエリ画像に類似する又は類似しないことについての理由をユーザがしばしば見ることができない点にある。特に、クエリ画像の疑わしい関心部分が、検索された画像の個別の部分に類似するかどうかは、しばしば明らかでない。検索された画像を互いに比較及び評価することも困難である。
【０００４】
クエリ画像に対してだけでなく、検索された画像を互いに比較することを容易にするＣＢＩＲシステムを提供することが有利である。
【課題を解決するための手段】
【０００５】
従って、ある側面において、本発明は、画像のストレージから画像を検索するシステムを提供し、このシステムは、
クエリ画像に対する類似度に基づき、上記画像のストレージから画像を検索する検索ユニットであって、上記類似度が、類似度関数を用いて規定される、検索ユニットと、
上記クエリ画像の個別の第１の部分に対する上記検索された画像の第１の部分の関連度及び上記クエリ画像の個別の第２の部分に対する上記検索された画像の第２の部分の関連度を計算する関連度ユニットと、
上記クエリ画像の上記個別の第１及び第２の部分に対する上記検索された画像の上記第１及び第２の部分の上記関連度を視覚化する視覚化ユニットとを有する。
【０００６】
クエリ画像の個別の第１及び第２の部分に対する上記検索された画像の第１及び第２の部分の関連度は、第１及び第２の関連度関数を用いて計算されることができる。関連度の計算された値は、例えばカラー符号化を用いて、及び各検索された画像の第１及び第２の部分に色をつけることで、視覚化されることができる。カラーの部分は、見る及び分析するのが容易である。こうして、本発明のシステムは、クエリ画像だけでなく、検索された画像を視覚化することを容易にし、検索された画像を互いに比較することを容易にする。
【０００７】
ある実施形態において、このシステムは、上記クエリ画像の上記第１及び／又は第２の部分を決定する部分ユニットを更に有する。クエリ画像の第１及び／又は第２の部分は、ユーザ入力に基づかれることができる。ユーザ入力は、クエリ画像の第１の又は第２の部分のピクセルを有するクローズ型の輪郭を規定するための制御点を有することができる。別の実施形態では、クエリ画像は複数の部分に分割されることができ、ユーザは、例えば、マウスポインタを用いてクエリ画像の第１及び／又は第２の部分に含まれる部分を示すことができる。これは、ユーザが画像の重要な領域を定めることを可能にする。
【０００８】
このシステムの実施形態において、上記部分ユニットが、上記クエリ画像をセグメント化するよう構成され、上記クエリ画像の上記第１及び／又は第２の部分は、上記クエリ画像の上記セグメント化に基づき決定される。これは、例えば、患者の撮像された体部分の生体構造的特徴を表す画像特徴に基づき、クエリ画像の第１及び／又は第２の部分を決定することを可能にする。
【０００９】
ある実施形態において、このシステムは、上記検索された画像のランクを決定するランク付けユニットを更に有し、上記ランクが、上記クエリ画像に対する上記検索された画像の上記類似度、及び／又は上記クエリ画像の上記個別の第１及び第２の部分に対する上記検索された画像の上記第１及び第２の部分の上記関連度に基づき決定される。ランク付けユニットは、様々な手法を使用するよう構成されることができる。ある実施形態において、第１の部分の関連度は、第２の部分の関連度より重要であるとみなされる。ランクは、第１及び第２の部分の関連度の加重和である。より重要な第１の部分の関連度は、より高い重みを持つ。
【００１０】
このシステムの実施形態において、上記検索ユニットが、上記画像のストレージからの画像と上記クエリ画像とをレジストレーション（register：位置合わせ）するよう構成される。これは、第１及び第２の画像部分の画像類似度及び関連度の計算をより簡単にする。また、これは、クエリ画像の第１及び第２の部分に基づき、検索された画像の第１及び第２の部分を決定することを単純化する。例えば、クエリ画像とレジストレーションされる検索された画像の部分のピクセル又はボクセル座標が、クエリ画像の部分の個別のピクセル又はボクセル座標と同一でありえる。
【００１１】
ある実施形態において、このシステムは、上記検索された画像の上記第１及び第２の部分の関連度の上記計算された値に基づき、上記類似度関数を更新する更新ユニットを更に有する。関連度フィードバックに基づき類似度関数を更新する方法は、例えばRuiらによる論文「Relevance Feedback: A Power Tool for Interactive Content-Based Image Retrieval」（IEEE Transaction on Circuits and System for Video Technology, vol. 6 September 1998, pp. 644-655）、又はAkgulらによる論文「Automated Diagnosis of Alzheimer's Disease using Image Similarity and User Feedback」（Proc. of ACM International Conference on Image and Video Retrieval (CIVR), Santorini, Greece, 2009）から知られる。更新された類似度関数を用いることで、画像検索が改善されることができる。特に、更新された類似度関数は、第１及び第２の部分がクエリ画像の個別の第１及び第２の部分に類似する画像を支持する（favor：高い類似度とする）よう構成されることができる。
【００１２】
ある実施形態において、このシステムは、上記クエリ画像の上記個別の第１及び第２の部分に対する上記検索された画像の上記第１及び第２の部分の上記関連度に関するユーザフィードバックを受信するフィードバックユニットを更に有し、上記更新ユニットが、上記類似度関数を更新するのに上記ユーザフィードバックを用いるよう構成される。例えば、ユーザは、クエリ画像の個別の第１の又は第２の部分に対する検索された画像の第１の又は第２の部分の計算された関連度が意味があるかどうかを示すことができる。関連度が意味があるものとして示される場合、その関連度の値に貢献する項は、クエリ画像の個別の第１の又は第２の部分に類似する第１の又は第２の部分を持つ画像を検索するため、類似度関数に含まれることができる。
【００１３】
このシステムの実施形態において、上記クエリ画像の上記個別の第１及び第２の部分に対する上記検索された画像の上記第１及び第２の部分の上記関連度が、上記類似度関数を用いて計算される。類似度関数は、クエリ画像の個別の部分に対する検索された画像の部分の類似度を計算するため、項の和を有することができる。クエリ画像の個別の第１及び第２の部分に対する検索された画像の第１及び第２の部分の計算された類似度は、クエリ画像の個別の第１及び第２の部分に対する検索された画像の第１及び第２の部分の関連度として用いられることができる。
【００１４】
このシステムの実施形態において、上記視覚化ユニットが、上記クエリ画像の個別の第１の部分に対する上記検索された画像の第１の部分の上記計算された関連度及び上記クエリ画像の個別の第２の部分に対する上記検索された画像の第２の部分の上記計算された関連度をカラー符号化を用いて示すよう構成され、上記ユーザが、上記符号化の上記カラー及び／又は透明度を選択することができる。従って、ユーザは、画像の詳細に対する障害が最小の態様で、第１及び第２の部分の関連度スコアを見ることができる。
【００１５】
追加的な側面において、本発明によるシステムは、データベースシステムに含まれる。本発明のシステムは、データベース視覚化機能を改善する。
【００１６】
追加的な側面において、本発明によるシステムは、画像取得装置に含まれる。
【００１７】
追加的な側面において、本発明によるシステムは、ワークステーションに含まれる。
【００１８】
追加的な側面において、本発明は、画像のストレージから画像を検索する方法を提供する。この方法は、
クエリ画像に対する類似度に基づき、上記画像のストレージから画像を検索する検索ステップであって、上記類似度が、類似度関数を用いて規定される、検索ステップと、
上記クエリ画像の個別の第１の部分に対する上記検索された画像の第１の部分の関連度及び上記クエリ画像の個別の第２の部分に対する上記検索された画像の第２の部分の関連度を計算する関連度ステップと、
上記クエリ画像の上記個別の第１及び第２の部分に対する上記検索された画像の上記第１及び第２の部分の上記関連度を視覚化する視覚化ステップとを有する。
【００１９】
追加的な側面において、本発明は、コンピュータによりロードされるコンピュータプログラムを提供し、このプログラムは、画像のストレージから画像を検索する命令を有し、上記コンピュータが、処理ユニット及びメモリを有し、ロードされた後、本方法のステップを実行する能力を上記処理ユニットに提供する。
【００２０】
本発明の上述の実施形態、実現及び／又は側面の２つ又はこれ以上が有益と思われる任意の態様で結合されることができる点を当業者であれば理解されるであろう。
【００２１】
システム又は方法について上述された修正及び変形例に対応する、システムの、データベースの、画像取得装置の、ワークステーションの、方法の及び／又はコンピュータプログラムの修正及び変形例が、本明細書に基づき当業者により実行されることができる。
【００２２】
当業者であれば、本方法が、以下に限定されるものではないが、例えばＸ線イメージング、コンピュータ断層撮影法（ＣＴ）、磁気共鳴イメージング（ＭＲＩ）、超音波（ＵＳ）、陽電子放出断層撮影（ＰＥＴ）、単光子放出断層撮影（ＳＰＥＣＴ）及び核医学（ＮＭ）のような様々な検索モダリティにより検索される２次元（２Ｄ）、３次元（３Ｄ）又は４次元（４Ｄ）画像データといった多次元画像データに適用されることができることを理解されるであろう。
【００２３】
本発明は、独立請求項により規定される。有利な実施形態が、従属項において規定される。
【図面の簡単な説明】
【００２４】
【図１】システムの例示的な実施形態のブロックダイアグラムを示す図である。
【図２】クエリ画像及び本発明の実施形態によるシステムにより検索される画像の例を示す図である。
【図３】本方法の例示的な実現のフローチャートを示す図である。
【図４】データベースシステムの例示的な実施形態を概略的に示す図である。
【図５】画像取得装置の例示的な実施形態を概略的に示す図である。
【図６】ワークステーションの例示的な実施形態を概略的に示す図である。
【発明を実施するための形態】
【００２５】
本発明のこれら及び他の側面が、本書に記載される実現及び実施形態並びに対応する図面より明らかとなり、これらの実現及び実施形態並びに図面を参照して説明されることになる。
【００２６】
同じ参照番号は、図面を通して類似するパーツを表すために用いられる。
【００２７】
図１は、画像のストレージから画像を検索するシステム１００の例示的な実施形態のブロック図を概略的に示す。このシステムは、
画像のストレージからの画像のクエリ画像への類似度に基づき、画像のストレージから画像を検索する検索ユニット１１０であって、この類似度は、類似度関数を用いて規定される、検索ユニットと、
クエリ画像の個別の第１の部分に対する検索された画像の第１の部分の関連度及びクエリ画像の個別の第２の部分に対する検索された画像の第２の部分の関連度を計算する関連度ユニット１２０と、
クエリ画像の個別の第１及び第２の部分に対する検索された画像の第１及び第２の部分の関連度を視覚化する視覚化ユニット１３０とを有する。
【００２８】
システム１００の例示的な実施形態は、
クエリ画像の第１及び／又は第２の部分を決定する部分ユニット１０５と、
検索された画像のランクを決定するランク付けユニット１２５であって、このランクは、クエリ画像に対する検索された画像の類似度及び／又はクエリ画像の個別の第１及び第２の部分に対する検索された画像の第１及び第２の部分の関連度に基づき決定される、ランク付けユニットと、
検索された画像の第１及び第２の部分の関連度の計算された値に基づき、類似度関数を更新する更新ユニット１４０と、
クエリ画像の個別の第１及び第２の部分に対する検索された画像の第１及び第２の部分の関連度に関するユーザフィードバックを受信するフィードバックユニット１５０であって、更新ユニット１４０が、類似度関数を更新するのにこのユーザフィードバックを用いるよう構成される、フィードバックユニットと、
システム１００の機能を制御する制御ユニット１６０と、
ユーザとシステム１００との間のコミュニケーションのためのユーザインタフェース１６５と、
データを格納するメモリユニット１７０とを更に有する。
【００２９】
システム１００の実施形態において、入力データに関する３つの入力コネクタ１８１、１８２及び１８３が存在する。第１の入力コネクタ１８１は、以下に限定されるものではないが、ハードディスク、磁気テープ、フラッシュメモリ又は光学ディスクといったデータ記憶手段から入ってくるデータを受信するよう構成される。第２の入力コネクタ１８２は、以下に限定されるものではないが、マウス又はタッチスクリーンといったユーザ入力デバイスから入ってくるデータを受信するよう構成される。第３の入力コネクタ１８３は、キーボードといったユーザ入力デバイスから入ってくるデータを受信するよう構成される。入力コネクタ１８１、１８２及び１８３は、入力制御ユニット１８０に接続される。
【００３０】
システム１００の実施形態において、出力データに関する２つの出力コネクタ１９１及び１９２が存在する。第１の出力コネクタ１９１は、ハードディスク、磁気テープ、フラッシュメモリ又は光学ディスクといったデータ記憶手段にデータを出力するよう構成される。第２の出力コネクタ１９２は、ディスプレイデバイスにデータを出力するよう構成される。出力コネクタ１９１及び１９２は、出力制御ユニット１９０を介して個別のデータを受信する。
【００３１】
当業者であれば、システム１００の入力コネクタ１８１、１８２及び１８３に入力デバイスを接続する多くの態様、及び出力コネクタ１９１及び１９２に出力デバイスを接続する多くの態様が存在することを理解されるであろう。これらの態様は、以下に限定されるものではないが、有線及び無線接続、ローカルエリアネットワーク（ＬＡＮ）及びワイドエリアネットワーク（ＷＡＮ）、インターネット、デジタル電話網といったデジタル通信網、及びアナログ電話網を有する。
【００３２】
システム１００の実施形態において、システム１００は、メモリユニット１７０を有する。システム１００は、入力コネクタ１８１、１８２及び１８３のいずれかを介して外部デバイスから入力データを受信し、受信した入力データをメモリユニット１７０に格納するよう構成される。入力データをメモリユニット１７０にロードすることは、システム１００のユニットが関連するデータ部分に迅速にアクセスすることを可能にする。入力データは、クエリ画像を有する。オプションで、入力データは、画像のストレージからの画像データを有する。代替的に、画像のストレージは、メモリ１７０により実現されることができる。更に、入力データは、ユーザフィードバックを有することができる。メモリユニット１７０は、以下に限定されるものではないが、ＣＰＵのレジスタ、キャッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）チップ、リードオンリメモリ（ＲＯＭ）チップ及び／又はハードディスクドライブ及びハードディスクといったデバイスにより実現されることができる。メモリユニット１７０は更に、出力データを格納するよう構成されることができる。出力データは、検索ユニット１１０により検索される画像を有する。ここで、検索された画像の第１及び第２の部分の関連度が視覚化される。出力データは、例えば、更新された類似度関数に関する有益な情報を有することもできる。メモリユニット１７０は、メモリバス１７５を介して、システム１００のユニットからデータを受信し、及び／又はこれらのユニットにデータを供給するよう構成されることもできる。システム１００のユニットは、部分ユニット１０５、検索ユニット１１０、関連度ユニット１２０、ランク付けユニット１２５、視覚化ユニット１３０、更新ユニット１４０、フィードバックユニット１５０、制御ユニット１６０及びユーザインタフェース１６５を含む。メモリユニット１７０は、出力コネクタ１９１及び１９２のいずれかを介して出力データを外部デバイスに利用可能にするように更に構成される。システム１００のユニットからのデータをメモリユニット１７０に格納することは有利なことに、システム１００のユニットから外部デバイスへの出力データの転送のレートだけでなく、システム１００のユニットのパフォーマンスを高めることができる。
【００３３】
システム１００の実施形態において、システム１００は、システム１００を制御する制御ユニット１６０を有する。制御ユニット１６０は、システム１００のユニットから制御データを受信し、システム１００のユニットに制御データを提供するよう構成されることができる。例えば、クエリ画像の個別の第１及び第２の部分に対する検索された画像の第１及び第２の部分の関連度を計算した後、関連度ユニット１２０は、「関連度が計算された」という制御データを制御ユニット１６０に提供するよう構成され、制御ユニット１６０は、「計算された関連度を視覚化する」という制御データを視覚化ユニット１３０に提供するよう構成されることができる。代替的に、制御機能は、システム１００の別のユニットにおいて実現されることができる。
【００３４】
システム１００の実施形態において、システム１００は、ユーザとシステム１００との間のコミュニケーションのためのユーザインタフェース１６５を有する。ユーザインタフェース１６５は、メモリ１７０にクエリ画像をダウンロードするための、又は関連度を視覚化する際のカラー及び／又は透明度を選択するためのユーザ入力を受信するよう構成されることができる。オプションで、ユーザインタフェースは、例えばストレージからの画像をクエリ画像とレジストレーションするため、又は類似度関数をアップデートするため、システムの動作モードを選択するユーザ入力を受信することができる。当業者であれば、多くの機能がシステム１００のユーザインタフェース１６５において有利に実現されることができることを理解されるであろう。
【００３５】
ある実施形態において、システム１００は、脳スライスを表す２Ｄ画像のストレージから画像を検索するよう構成される。すべての画像は、正規化される。即ち、スライスは、同じようにスケール化され、及び配置される。この位置は、例えば、脳の矢状、冠状及び横断セクションにより規定される。クエリ画像も、同様に正規化される。従って、ストレージ画像をクエリ画像とレジストレーションする必要はない。
【００３６】
システム１００の実施形態において、各画像は、規則的なグリッドにより同一のサイズの複数の正方形へと分けられる。第１及び第２の部分は、各部分に含まれる正方形により規定される。各部分は、あらかじめ定義されることができる、又はクエリ画像の第１及び第２の部分に含まれる正方形を示すユーザ入力に基づき規定されることができる。画像が正規化されるので、検索された画像の第１及び第２の部分は、クエリ画像の第１及び第２の部分と同じ位置に正方形を有する。オプションで、このシステムは、クエリ画像において及び検索された画像において複数の部分を処理するよう構成されることができる。この複数の部分は、２つ以上の部分を有する。当業者であれば、画像部分を規定する他の態様が使用されることができる点を理解されるであろう。例えば、２Ｄ画像のピクセル、又は３Ｄ画像のボクセルにラベル付けする、幾何学的な制約条件を規定する、又は輪郭又は表面を用いる、といった態様である。請求項の範囲は、画像部分を規定する上述の態様により限定されるものとして解釈されてはならない。
【００３７】
ある実施形態において、システム１００は、画像のストレージから複数の画像を検索するよう構成され、ランク付けユニット１２５は、クエリ画像に対する検索された画像の類似度に基づき、これらの画像をランク付けするよう構成される。視覚化ユニット１３０は、最も関連する画像を複数示すよう構成される。
【００３８】
図２は、クエリ画像Ｑの及び本発明のある実施形態によるシステムにより検索される画像Ｒ１、Ｒ２４、Ｒ７４、Ｒ１２４及びＲ１７４の例を示す。クエリ画像及び画像のストレージにおける画像は、脳の横断面のスライスである。画像は、同一のサイズの正方形へと分割される。クエリ画像は、アルツハイマー病を持つ被検者の脳のスライスを示す。このシステムは、画像のストレージからの画像の個別の正方形に対するクエリ画像の正方形の類似度を計算するよう構成される。上記類似度の和は、ストレージからの画像に対するクエリ画像の類似度である。図２に示される実施形態において、この和は、正方形の各ペアからの貢献を含む。代替的に、この和は、正方形のペアの特定のセットからの貢献を含むことができる。
【００３９】
図２に示される実施形態において、クエリ画像において６つの部分が選択される。各部分は、正方形である。クエリ画像の個別の部分に対する検索された画像の各部分の関連度は、クエリ画像の上記個別の部分に対する検索された画像の上記各部分の類似度に等しい。検索された画像のランクは、クエリ画像に対する検索された画像の類似度に等しい。検索された画像の類似度及び検索された画像の各部分の関連度は、カラーを用いて符号化される。カラーコードマップＣＣが、図２に示される。カラーコードマップＣＣの左端部ＭＲでの赤いカラーは、高い関連度及び類似度の値に対応し、カラーコードマップＣＣの右端部ＬＲでの青いカラーは、低い関連度及び類似度の値に対応する。図２は、それぞれ、ランク１、２４、７４、１２４、１７４を持つ５つの画像Ｒ１、Ｒ２４、Ｒ７４、Ｒ１２４及びＲ１７４を示す。クエリ画像に対する検索された画像の各画像の類似度の値は、検索された画像の周りでフレームのカラーにより表される。クエリ画像の個別の部分に対する検索された画像の各画像の各部分の関連度は、検索された画像の上記部分のカラーにより表される。色彩は、カラーの部分における生体構造詳細を示すため半透明である。第１の画像Ｒ１は、最高位のランク１を持つ画像である。この画像における各部分は、各部分がクエリ画像の個別の部分にかなり関連することを示す赤の色合いにおけるカラーである。他方、１７４というランクの最後の画像Ｒ１７４の３つの正方形は、青の様々な色合いである。１つは、黄色であり、２つは赤の様々な色合いである。
【００４０】
図２は、本発明のシステム１００の重要な側面を示す。このシステムは、各検索された画像が選択された関心領域においてクエリ画像に対してどの程度類似するかを示すよう構成される。これは、検索された画像に基づき、及び検索された画像の関心部分の色に基づき、クエリ画像を診断する医師を助ける。当業者であれば、いくつかの実施形態において、他の視覚及び／又は音声インジケータが色彩の代わりに用いられることができることを理解されるであろう。斯かるインジケータの例は、以下に限定されるものではないが、輝度、異なるカラーのフレーム、線の幅又は線タイプ、及び検索された画像における関心部分の表示された又は聴覚的な説明を含む。
【００４１】
当業者であれば、クエリ画像に対する検索された画像の類似度及びクエリ画像の個別の部分に対する検索された画像の部分の関連度が、互いに独立して計算されることができる点を更に理解されるであろう。類似度関数は、単に画像ベースとすることができる。即ち、画像コンテンツにのみ基づかれることができる。代替的に、類似度関数は更に、画像データに関連付けられる非画像データに基づかれることができる。同様に、クエリ画像の個別の部分に対する検索された画像の部分の関連度を計算する関連度関数が、画像データに関連付けられる画像データ又は非画像データに基づかれることができる。ある実施形態において、クエリ画像の個別の部分に対する検索された画像の部分の計算された関連度は、類似度関数を更新するのに用いられる。冒頭で述べられたように、例えばRuiらによる論文又はAkgulらによる論文において、関連度に基づき類似度関数をアップデートする方法が説明される。
【００４２】
システム１００の実施形態において、類似度関数は、クエリ画像の選択された関心部分の類似度に基づき計算される。クエリ画像の残りの部分は、類似度を計算することに関して用いられない。類似度関数が類似度の貢献の和であり、各類似度の貢献が、画像の部分に基づき計算される場合、類似度貢献の和は、例えば画像で最も重要な部分といった類似度に対する最も重要な貢献を強調する類似度の貢献の加重和とすることができる。オプションで、重みは、ユーザの入力に基づかれることができる。
【００４３】
当業者であれば、システム１００が、医師の仕事の多くの側面において医師を支援するのに有益なツールとすることができる点を理解されるであろう。更に、このシステムの実施形態がシステムの医療用途を用いて示されるが、システムの非医療的な用途も想定される。
【００４４】
当業者であれば、システム１００の他の実施形態も可能であると更に理解されるであろう。中でも、システムのユニットを再定義する及びそれらの機能を再分配することが可能である。上述された実施形態は、医療画像に適用されるが、このシステムが、医療用途に関連しない他の用途に適用されることも可能である。
【００４５】
システム１００のユニットは、プロセッサを用いて実現されることができる。通常、それらの機能は、ソフトウエアプログラムの制御の下で実行される。実行の間、ソフトウエアプログラムは通常、ＲＡＭといったメモリにロードされ、そこから実行される。プログラムは、例えばＲＯＭ、ハードディスク又は磁気及び／又は光学ストレージといったバックグラウンドメモリからロードされることができ、又はインターネットといったネットワークを介してロードされることができる。オプションで、特定用途向け集積回路が、説明された機能を提供することができる。
【００４６】
画像のストレージから画像を検索する方法Ｍの例示的なフローチャートが、図３に概略的に示される。方法Ｍは、クエリ画像の第１及び／又は第２の部分を決定する部分ステップＳ０５で始まる。部分ステップＳ０５の後又はこのステップと同時に、方法Ｍは、画像のストレージからの画像とクエリ画像とをレジストレーションするレジストレーションステップＳ０６へと続く。部分Ｓ０５及びレジストレーションステップＳ０６の後、方法Ｍは、画像のストレージからの画像のクエリ画像に対する類似度に基づき、画像のストレージから画像を検索する検索ステップＳ１０へと続く。類似度は、類似度関数を用いて規定及び計算される。検索ステップＳ１０の後、方法Ｍは、クエリ画像の第１の部分に対する検索された画像の第１の部分の関連度及びクエリ画像の第２の部分に対する検索された画像の第２の部分の関連度を計算する関連度ステップＳ２０へと続く。関連度ステップＳ２０の後、方法Ｍは、検索された画像のランクを決定するランク付けステップＳ２５へと続く。ここで、ランクは、クエリ画像に対する検索された画像の類似度、及び／又はクエリ画像の個別の第１及び第２の部分に対する検索された画像の第１及び第２の部分の関連度に基づき決定される。ランク付けステップＳ２５の後、方法Ｍは、クエリ画像の個別の第１及び第２の部分に対する検索された画像の第１及び第２の部分の関連度を視覚化する視覚化ステップＳ３０へと続く。関連度は、検索された画像の各部分の関連度の値を表示することにより視覚化されることができる。この値は、個別の部分に視覚的に関連付けられる。好ましくは、検索された画像の各部分は、関連度の値をカラーで符号化するカラーコードに基づき色づけされることができる。視覚化ステップＳ３０の後、方法Ｍは、クエリ画像の個別の第１及び第２の部分に対する検索された画像の第１及び第２の部分の関連度に関するユーザフィードバックを受信するフィードバックステップＳ５０へと続く。ユーザが、ＡＣＣ入力を提供することにより計算された関連度を受け入れる場合、この方法は終了する。そうでない場合、ユーザは、ＵＰＤ入力を提供し、方法Ｍは、検索された画像の第１及び第２の部分の関連度の計算された値に基づき、類似度関数を更新する更新ステップＳ４０へと続く。オプションで、フィードバックステップＳ５０において、ユーザは、評価スキームに基づき関連度の計算された値を評価することができる。評価スキームは、２値（例えば、良い及び悪い）、３値（例えば、良い、中立、悪い）等の評価スケールに基づかれることができる。ユーザ評価は、ユーザ入力ＵＰＤに含まれる。関連度の計算された値を評価した後、方法Ｍは、検索された画像の第１及び第２の部分の関連度の計算された値に基づき、類似度関数を更新する更新ステップＳ４０へと続き、オプションで、類似度関数を更新するため、ユーザフィードバックＵＰＤに含まれるユーザ評価も用いる。更新ステップＳ４０の後、この方法は、検索ステップＳ１０に戻り、その後ステップＳ２０、Ｓ２５、Ｓ３０及びＳ５０を実行する。
【００４７】
当業者であれば、本発明により意図される範囲から逸脱することなく、いくつかのステップの順序を変更することができるか、又は、スレッディングモデル、マルチプロセッサシステム若しくはマルチ処理を用いていくつかのステップを同時に実行することができる。オプションで、方法Ｍにおける２つ又はこれ以上のステップが、１つのステップに組み合わされることができる。オプションで、方法Ｍのステップは、複数のステップに分割されることができる。
【００４８】
図４は、本発明のシステム１００を使用するデータベースシステム４００の例示的な実施形態を概略的に示す。上記データベースシステム４００は、内部接続を介してシステム１００に接続されるデータベースユニット、外部入力コネクタ４０１及び外部出力コネクタ４０２を有する。この構成は有利には、上記データベースシステム４００にシステム１００の有利な能力を提供し、データベースシステム４００の能力を増加させる。
【００４９】
図５は、本発明のシステム１００を使用する画像取得装置５００の例示的な実施形態を概略的に示す。上記画像取得装置５００は、内部接続を介してシステム１００に接続される画像検索ユニット５１０、入力コネクタ５０１及び出力コネクタ５０２を有する。この構成は有利には、上記画像取得装置５００にシステム１００の有利な能力を提供し、画像取得装置５００の能力を増加させる。
【００５０】
図６は、ワークステーション６００の例示的な実施形態を概略的に示す。ワークステーションは、システムバス６０１を有する。プロセッサ６１０、メモリ６２０、ディスク入出力（Ｉ／Ｏ）アダプタ６３０、及びユーザインタフェース（ＵＩ）６４０は、システムバス６０１に動作可能に接続される。ディスクストレージデバイス６３１は、ディスクＩ／Ｏアダプタ６３０に動作可能に結合される。キーボード６４１、マウス６４２及びディスプレイ６４３は、ＵＩ６４０に動作可能に結合される。コンピュータプログラムとして実現される本発明のシステム１００は、ディスクストレージデバイス６３１に格納される。ワークステーション６００は、プログラム及び入力データをメモリ６２０にロードし、プロセッサ６１０上でプログラムを実行するよう構成される。ユーザは、キーボード６４１及び／又はマウス６４２を用いて、ワークステーション６００に情報を入力することができる。ワークステーションは、ディスプレイデバイス６４３に対して及び／又はディスク６３１に対して情報を出力するよう構成される。当業者であれば、従来技術において知られるワークステーション６００の他の多数の実施形態が存在すること、及び本実施形態が本発明を説明する目的で機能し、この特定の実施形態に本発明が限定されるものとして解釈されてはならないことを理解されるであろう。
【００５１】
上述された実施形態は本発明を限定するものではなく、当業者であれば、添付された請求項の範囲から逸脱することなく、代替的な実施形態をデザインすることができることになることに留意されたい。請求項において、括弧内に配置されるいかなる参照符号も請求項を限定するものとして解釈されるべきではない。「有する」という語は、請求項又は明細書にリストされない要素又はステップの存在を除外するものではない。ある要素に先行する「ａ」又は「ａｎ」という語は、斯かる要素が複数存在することを除外するものではない。本発明は、複数の個別の要素を有するハードウェアを用いて、及びプログラムされたコンピュータを用いて実現されることができる。複数のユニットを列挙するシステムクレームにおいて、これらのユニットの複数が、ハードウェア又はソフトウェアの１つの同じアイテムにより実現されることができる。第１、第２、第３等の語の使用は、何らかの順位を表すものではない。これらの語は、ラベルとして解釈されるものである。
【図１】
2013504112.tif 000003
【図２】
2013504112.tif 000004
【図３】
2013504112.tif 000005
【図４】
2013504112.tif 000006
【図５】
2013504112.tif 000007
【図６】
2013504112.tif 000008
【国際調査報告】
2013504112.tif 000009
2013504112.tif 000010