(57)【特許請求の範囲】
【請求項１】
各患者につき時間をおいて複数回撮影されることで取得された、複数種類の特徴量で表現されうる個々の症例画像セットを含む症例画像セット群の間で、検索対象とする検索対象画像セットと類似する画像セットを検索する際に、検索対象画像セットの中の第１の時刻に撮影された第一画像と、前記第１の時刻とは異なる第２の時刻に撮影された第二画像との組について、前記症例画像セット群の中で、前記第一画像の特徴量と前記第二画像の特徴量との組にそれぞれ類似する特徴量を持つ画像の組を含むセットを１以上特定する特定部と、
特定した１以上のセットに含まれる、前記第一画像の特徴量と類似する特徴量を持つ第一類似画像の撮影時刻と、該第二画像の特徴量と類似する特徴量を持つ第二類似画像の撮影時刻との間の時刻に撮影された１以上の画像の特徴量を用いて、前記第一画像と前記第二画像との間の時刻に撮影された画像に相当する補間画像が有することが推定される特徴量を１以上生成する生成部と、
生成した補間画像に対応する特徴量を用いて、前記検索対象画像セットと症例画像セット群内の１以上のセットとの類似度合を判断する判断部と
を有することを特徴とする画像処理システム。
【請求項２】
前記生成部は、前記第一画像の特徴量と前記第二画像の特徴量との組にそれぞれ類似する特徴量に対して、カーネル主成分分析を実行することで、前記類似する特徴量を線形空間に写像し、前記線形空間上の前記類似する特徴量を基にして、前記補間画像が有することが推定される特徴量を１以上生成することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記判断部は、前記線形空間上の前記類似する特徴量と前記線形空間上の第一画像の特徴量との距離、前記線形空間上の前記類似する特徴量と前記第二画像の特徴量との距離、前記線形空間上の前記類似する特徴量と前記補間画像の特徴量との距離に基づいて、前記類似度合を判断することを特徴とする請求項２に記載の画像処理システム。
【請求項４】
前記検索対象画像セットについて、前記補間画像に対応する時刻の前後に撮影された第三画像と第四画像とが存在し、前記補間画像に対応する時刻が、前記第三画像の撮影時刻と、前記第四画像の撮影時刻とをｍ対ｎに内分する点に位置する時刻である場合に、前記判断部は、前記第三画像の特徴量のベクトルにｎを乗算した値と、前記第四画像の特徴量のベクトルにｍを乗算した値とを加算したベクトルから、前記類似する特徴量のベクトルを減算することで、前記線形空間上の前記類似する特徴量と前記補間画像の特徴量との距離を算出することを特徴とする請求項２または３に記載の画像処理システム。
【請求項５】
コンピュータが実行する画像処理方法であって、
各患者につき時間をおいて複数回撮影されることで取得された、複数種類の特徴量で表現されうる個々の症例画像セットを含む症例画像セット群の間で、検索対象とする検索対象画像セットと類似する画像セットを検索する際に、検索対象画像セットの中の第１の時刻に撮影された第一画像と、前記第１の時刻とは異なる第２の時刻に撮影された第二画像との組について、前記症例画像セット群の中で、前記第一画像の特徴量と前記第二画像の特徴量との組にそれぞれ類似する特徴量を持つ画像の組を含むセットを１以上特定し、
特定した１以上のセットに含まれる、前記第一画像の特徴量と類似する特徴量を持つ第一類似画像の撮影時刻と、該第二画像の特徴量と類似する特徴量を持つ第二類似画像の撮影時刻との間の時刻に撮影された１以上の画像の特徴量を用いて、前記第一画像と前記第二画像との間の時刻に撮影された画像に相当する補間画像が有することが推定される特徴量を１以上生成し、
生成した補間画像に対応する特徴量を用いて、前記検索対象画像セットと症例画像セット群内の１以上のセットとの類似度合を判断する
処理を実行することを特徴とする画像処理方法。
【請求項６】
コンピュータが実行する画像処理プログラムであって、
各患者につき時間をおいて複数回撮影されることで取得された、複数種類の特徴量で表現されうる個々の症例画像セットを含む症例画像セット群の間で、検索対象とする検索対象画像セットと類似する画像セットを検索する際に、検索対象画像セットの中の第１の時刻に撮影された第一画像と、前記第１の時刻とは異なる第２の時刻に撮影された第二画像との組について、前記症例画像セット群の中で、前記第一画像の特徴量と前記第二画像の特徴量との組とにそれぞれ類似する特徴量を持つ画像の組を含むセットを１以上特定し、
特定した１以上のセットに含まれる、前記第一画像の特徴量と類似する特徴量を持つ第一類似画像の撮影時刻と、該第二画像の特徴量と類似する特徴量を持つ第二類似画像の撮影時刻との間の時刻に撮影された１以上の画像の特徴量を用いて、前記第一画像と前記第二画像との間の時刻に撮影された画像に相当する補間画像が有することが推定される特徴量を１以上生成し、
生成した補間画像に対応する特徴量を用いて、前記検索対象画像セットと症例画像セット群内の１以上のセットとの類似度合を判断する
処理を実行することを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム等に関する。
【背景技術】
【０００２】
現在の医療分野では、同一の患者について異なる時期に撮影された疾病部位に関する画像を比較し、比較した画像の差異から患者の病状を診断することが行われている。患者の疾病部位に関する画像を比較して診断することを、比較読影と呼ぶ。
【０００３】
比較読影の業務では、診断中の症例に対し、過去の類似症例を検索し検索結果を参照する類似症例検索が行われている。例えば、過去症例のデータベースから病変の画像特徴が類似した過去症例を検索し、表示する。これらの業務に関する従来技術としては、例えば、従来技術１がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−５３６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術では、クエリの症例と他の症例との類似度を精度良く算出することができないという問題がある。
【０００６】
図１４は、問題を説明するための図である。例えば、疾病部位に関する画像である症例画像が、一人の患者の１つの疾病部位について複数のタイミングで撮影されて取得されたとする。例えば、ＣＴ画像やＭＲＩ画像は１つの疾病部位につき、１回のタイミングで複数枚の画像が採取される場合が多いので、図１４においては各画像が複数枚重なった様子をイメージとして表している。その結果、一人の患者について、複数のタイミングでそれぞれ撮影された画像のセットが形成されることになる。図１４では、例えば、囲み線２１は、５回のタイミングでそれぞれ撮影された症例画像セットを示す。同様に、他の患者もしくは他の疾病部位についても、過去の複数回にわたる撮影結果の時系列画像群である、症例画像セット２２，２３が蓄積されているとする。各症例画像セット２１〜２３を称して、症例画像セット群とすると、比較読影を行うためには、今回の診断対象とする患者の疾病部位の変化が、データベース２０に格納されている症例画像セット群内のいずれの症例画像セットに類似しているかを特定し、類似している過去事例と比較して、今回の患者の状態がどうであるかを医師が判断することになる。
【０００７】
ここで、各症例画像セット２１〜２３と検索対象とする検索対象画像セット２５、すなわちクエリの症例に含まれる各画像の撮影間隔が同じであれば、比較は容易であろう。しかし一般的には、どのようなタイミングで疾病部位の撮影を行うかは患者によって異なるし、撮影されるタイミング数も異なる。図１４の例では、検索対象画像セット２５には３回のタイミングで撮影された画像が存在するイメージを示している。そのため、類似性を判断可能とするためには、患者毎の撮影時期の違いを吸収する仕組みが求められる。
【０００８】
図１５は、病変の進行すなわち病変部分の変化の仕方は、非線形であることを説明する図である。各病変画像を特徴空間内における特徴ベクトルとして表現したとして、その特徴ベクトルの軌跡は一般に非線形となる。そのため、線形空間３０内における各特徴ベクトル３１の軌跡は非線形である。例えば、がんは大きくなればなるほど成長速度が速くなるように、非線形に増大する傾向がある。
【０００９】
図１６は、問題点を説明するための図である。例えば、時刻ｔ０および時刻ｔ４の特徴ベクトルから、時刻ｔ１〜ｔ３の特徴ベクトルを線形補間により求めると、各特徴ベクトルは、線分３２に沿って移動する。しかし、実際の特徴ベクトルは、非線形に曲面３３にそって移動するため、線形補間による各特徴ベクトルと実際の各特徴ベクトルとの間に乖離が発生する。
【００１０】
なお、腫瘍は多様な形状を取りながら非線形に変化するため、特徴ベクトルが形成する高次元曲面は極めて複雑であり画像の特徴ベクトルに関する軌跡の曲線を学習によって推定することも難しい。
【００１１】
１つの側面では、本発明は、クエリの症例と他の症例との類似度を精度良く算出することができる画像処理システム、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
第１の案では、画像処理システムは、特定部と、生成部と、判断部とを有する。特定部は、各患者につき時間をおいて複数回撮影されることで取得された、複数種類の特徴量で表現されうる個々の症例画像セットを含む症例画像セット群の間で、検索対象とする検索対象画像セットと類似する画像セットを検索する際に、検索対象画像セットの中の第１の時刻に撮影された第一画像と、第１の時刻とは異なる第２の時刻に撮影された第二画像との組について、症例画像セット群の中で、第一画像の特徴量と第二画像の特徴量との組にそれぞれ類似する特徴量を持つ画像の組を含むセットを１以上特定する。生成部は、特定した１以上のセットに含まれる、第一画像の特徴量と類似する特徴量を持つ第一類似画像の撮影時刻と、該第二画像の特徴量と類似する特徴量を持つ第二類似画像の撮影時刻との間の時刻に撮影された１以上の画像の特徴量を用いて、第一画像と第二画像との間の時刻に撮影された画像に相当する補間画像が有することが推定される特徴量を１以上生成する。判断部は、生成した補間画像に対応する特徴量を用いて、検索対象画像セットと症例画像セット群内の１以上のセットとの類似度合を判断する。
【発明の効果】
【００１３】
クエリの症例と他の症例との類似度を精度良く算出することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本実施例に係る画像処理装置の構成を示す機能ブロック図である。
【図２】図２は、画像テーブルのデータ構造の一例を示す図である。
【図３】図３は、制御部の処理を説明するための図である。
【図４】図４は、クエリの症例に対する特徴ベクトルの抽出を説明するための図である。
【図５】図５は、時系列画像群の抽出を説明するための図である。
【図６】図６は、クエリの症例に類似する時系列の特徴ベクトル群の一例を示す図である。
【図７】図７は、カーネル主成分分析による写像を説明するための図である。
【図８】図８は、判断部の処理を説明するための図である。
【図９】図９は、補間する時刻を決定する処理を説明するための図である。
【図１０】図１０は、時刻間の対応表の一例を示す図である。
【図１１】図１１は、ＤＰによる時刻間の対応結果例を示す図である。
【図１２】図１２は、本実施例に係る画像処理装置の処理手順を示すフローチャートである。
【図１３】図１３は、画像処理プログラムを実行するコンピュータの一例を示す図である。
【図１４】図１４は、問題点を説明するための図である。
【図１５】図１５は、問題点を説明するための図である。
【図１６】図１６は、問題点を説明するための図である。
【発明を実施するための形態】
【００１５】
以下に、本願の開示する画像処理システム、画像処理方法および画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【００１６】
図１は、本実施例に係る画像処理装置の構成を示す機能ブロック図である。図１に示すように、この画像処理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。
【００１７】
通信部１１０は、ネットワーク等を介して他の装置とデータ通信を実行する処理部である。例えば、通信部１１０は、通信装置に対応する。
【００１８】
入力部１２０は、各種の情報を画像処理装置１００に入力する入力装置である。例えば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。利用者は、入力部１２０を操作して、クエリの症例等を選択する。
【００１９】
表示部１３０は、制御部１５０の処理結果を表示する表示装置である。表示部１３０は、液晶ディスプレイや、タッチパネル等に対応する。例えば、表示部１３０は、制御部１５０によって検索された、クエリの症例に類似する他の症例の画像を表示する。
【００２０】
記憶部１４０は、画像テーブル１４１を有する。記憶部１４０は、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（Flash  Memory）などの半導体メモリ素子や、ＨＤＤ（Hard  Disk  Drive）などの記憶装置に対応する。
【００２１】
画像テーブル１４１は、各種の症例に関する時系列画像の情報を格納するテーブルである。図２は、画像テーブルのデータ構造の一例を示す図である。図２に示すように画像テーブル１４１は、症例数が記録されており、症例数の分だけ、患者ＩＤ（Identification）と、撮影時刻数と、データポインタとがセットになった情報が順番に記録されている。データポインタの先には、撮影時刻数の分だけ、撮影時刻、画像データ、腫瘍位置情報、特徴ベクトルがセットになった情報が順番に記録される。
【００２２】
例えば、同一の患者ＩＤに対応づけられた各画像データが、図１４で説明した症例画像セット２１〜２３に対応するものとなる。各患者ＩＤの症例画像セットをまとめたものが、症例画像セット群に対応する。また、後述するように、各症例画像セットの中から、検索対象となる検索対象画像セットが選択される。
【００２３】
特徴ベクトルは、画像データに含まれる病変部位として、例えば腫瘍の特徴を表すベクトルである。例えば、特徴ベクトルは、腫瘍を囲む矩形の大きさ、矩形の座標、腫瘍の濃度、色等を数値化した情報である。
【００２４】
制御部１５０は、特定部１５１、生成部１５２、判断部１５３を有する。制御部１５０は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）や、ＦＰＧＡ（Field  Programmable  Gate  Array）などの集積装置に対応する。また、制御部１５０は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等の電子回路に対応する。
【００２５】
図３は、制御部の処理を説明するための図である。図３に示すように、制御部１５０は、クエリの症状に対応する時系列画像の特徴ベクトル４０，５０を受け付ける（ステップＳ１０）。例えば、特徴ベクトル４０，５０は、特徴空間３０ａ上に存在する。
【００２６】
制御部１５０は、特徴ベクトル４０，５０と、画像テーブル１４１の各特徴ベクトルとを比較して、類似する特徴ベクトルを求める（ステップＳ１１）。例えば、特徴ベクトル４０に類似する特徴ベクトルを、特徴ベクトル４１、４２，４３，４４とする。特徴ベクトル５０に類似する特徴ベクトルを、特徴ベクトル５１，５２，５３，５４とする。
【００２７】
制御部１５０は、類似する各特徴ベクトルが属する時系列画像群の時系列特徴ベクトルを抽出する（ステップＳ１２）。例えば、制御部１５０は、類似する特徴ベクトルが属する患者ＩＤを、画像テーブル１４１を基にして特定し、特定した患者ＩＤに属する全ての特徴ベクトルを時系列ベクトル群として抽出する。図３のステップＳ１２に示す例では、制御部１５０は、特徴ベクトル４１〜４４、５１〜５４が属する患者ＩＤをキーにして、特徴ベクトル群６１ａ，６２ａ，６３ａ，６４ａを抽出する。この例では、４人の患者ＩＤが特定された例を示している。ステップＳ１２によって、特徴ベクトルが形成する高次元曲面３１において、クエリの軌跡曲線に関する近傍部分３２を得ることができる。
【００２８】
制御部１５０は、クエリの軌跡曲線に関する近傍部分３２が有する非線形構造を、カーネル主成分分析によって線形空間３０ｂとして捉える。実際、カーネル主成分分析によって、時系列特徴ベクトル群６１ａ〜６４ａは、高次元空間を介して、線形空間３０ｂのベクトル群６１ｂ〜６４ｂとして捉えられる。
【００２９】
制御部１５０は、時系列特徴ベクトル群６１ｂ〜６４ｂに基づいて、クエリの症例に対する近似直線６５ｂを推定することができる（ステップＳ１３）。この近似直線６５ｂは、特徴空間３０ａ上では、近似曲線６５ａとなる。この近似曲線６５ａと、他の時系列特徴ベクトル群６１ａ〜６４ａとの類似度を、線形空間３０ｂ上の近似直線６５ｂと、時系列特徴ベクトル群６１ｂ〜６４ｂとの距離の計算に基づいて算出することが可能となる。なお、図３の例においては、説明の簡単化のため、１人の患者についての複数枚の時系列画像のうち、２つの画像それぞれの特徴ベクトル４０，５０を受け付ける例を示したが、受け付ける数は２以上であればいくつであってもよい。
【００３０】
続いて、制御部１５０に含まれる特定部１５１、生成部１５２、判断部１５３の各処理について順に説明する。
【００３１】
特定部１５１は、クエリの症例として、患者ＩＤを受け付けた場合に、受け付けた患者ＩＤと、画像テーブル１４１とを比較して、患者ＩＤのポインタで示される各時系列画像の特徴ベクトルを２つ以上抽出する。特定部１５１が抽出する特徴ベクトルは２つに限る必要はなく、２つ以上であればいくつであってもよい。例えば、特定部１５１が抽出する特徴ベクトルは、各時系列画像のうち、最先の時刻に撮影された画像の特徴ベクトルと、最後の時刻に撮影された画像の特徴ベクトルとを含む。
【００３２】
図４は、クエリの症例に対する特徴ベクトルの抽出を説明するための図である。クエリの症例は、ｎ個の時系列画像を持つとする。上記のように、特定部１５１は、患者ＩＤを受け付けると、画像テーブル１４１からｎ個の時系列画像の特徴ベクトルを抽出する。この結果、得られた特徴ベクトルの列を「ｙτ１，・・・，ｙτｎ」とする。ここで、特徴ベクトルの添え字τｉは、観測された時刻を示すものである。図４に示すように、ｎ＝２である場合には、クエリの症例に対する時系列画像は、τ１の時系列画像と、τ２の時系列画像となり、特徴ベクトルは、ｙτ１，ｙτ２となる。なお、上述のとおり、ｎは２以上であればよい。
【００３３】
特定部１５１は、クエリの症例に関する特徴ベクトルと、画像テーブル１４１上の全特徴ベクトルとの距離計算を行うことにより、クエリの症例の時系列画像に類似する時系列画像群を抽出する。
【００３４】
図５は、時系列画像群の抽出を説明するための図である。特定部１５１は、クエリの症例のｎ個の特徴ベクトルｙτ１，・・・，ｙτｎそれぞれについて、画像テーブル１４１に含まれる症例の個々の画像に関する特徴ベクトルのうち、最も距離が近い上位Ｎ個までの特徴ベクトルを算出する。図５に示す例では、特定部１５１は、特徴ベクトルｙτ１に最も近い上位Ｎ位の特徴ベクトルｘτ１，１・・・τ１，Ｎを抽出する。特定部１５１は、特徴ベクトルｙτ２に最も近い上位Ｎ位の特徴ベクトルｘτ２，１・・・τ２，Ｎを抽出する。
【００３５】
クエリの症例に関するベクトルに対して、最も近い上位Ｎ個の特徴ベクトルを式（１）のように定義する。
【００３６】
【数１】
0006642132.tif 000002
【００３７】
特定部１５１は、式（１）の各特徴ベクトルが属する症例の時系列画像の特徴ベクトル群を全て抽出する。抽出した時系列画像の特徴ベクトル群を式（２）のように定義する。式（２）では、ｘτｉ，ｊが属する症例の時系列画像がｐｋｉ，ｊ個からなる時系列画像であるとする。
【００３８】
【数２】
0006642132.tif 000003
【００３９】
特定部１５１は、式（２）で定義した特徴ベクトル群から、クエリの症例の特徴ベクトルに類似する時系列画像の特徴ベクトルを選択する。例えば、特定部１５１は、式（３）で定義されるベクトルｘｋτｉ，Ｊのうち、少なくとも２個はクエリの症例の時系列の特徴ベクトルと類似しているものを選択する。
【００４０】
【数３】
0006642132.tif 000004
【００４１】
図６は、クエリの症例に類似する時系列の特徴ベクトル群の一例を示す図である。図６に示す例では、クエリの症例に類似する特徴ベクトル群６１ａ〜６４ａが抽出される。例えば、特徴ベクトル群６１ａのうち、少なくとも２個の特徴ベクトルが、クエリの症例のいずれかの特徴ベクトルに類似している。特徴ベクトル群６２ａ〜６４ａも、特徴ベクトル群６１ａと同様にして、少なくとも２個の特徴ベクトルが、クエリの症例のいずれかの特徴ベクトルに類似している。
【００４２】
以下の説明では、一例として、特定部１５１が、ｍ個の時系列の特徴ベクトル群を抽出したものとし、各特徴ベクトル群を、式（４）のように定義する。
【００４３】
【数４】
0006642132.tif 000005
【００４４】
続いて、生成部１５２の説明に移行する。生成部１５２は、クエリの症例に類似する時系列の特徴ベクトル群がなす非線形構造を、カーネル主成分分析によって高次元空間を介して、線形空間として捉える。その結果、時系列特徴ベクトル群は、線形空間上のベクトル群として捉えられることになる。そして、これらの線形空間上のベクトル群を基にして、クエリの症例に対する近似曲線と時系列特徴ベクトル群との距離を推定することが可能になる。
【００４５】
生成部１５２は、カーネル関数ｋを用いて、カーネル行列Ｋを算出する。ここでは説明の便宜上、クエリの症例に類似する時系列の特徴ベクトル群をｘ１，・・・ｘｑと表すことにする。ここで、ｑは、クエリに類似する時系列特徴ベクトル群の個数とする。また、カーネル関数としては、例えば、式（５）によって表されるガウシアンカーネルを用いる。式（５）に含まれるＴは、ある定数とする。
【００４６】
【数５】
0006642132.tif 000006
【００４７】
生成部１５２が、式（５）によって算出するカーネル行列Ｋは、式（６）に示すようなｑ×ｑの正方行列Ｋとして計算される。
【００４８】
【数６】
0006642132.tif 000007
【００４９】
生成部１５２は、カーネル行列Ｋに対して、ｒ個の値の大きい上位固有値と、上位固有値に対応する固有ベクトルを算出する。例えば、生成部１５２は、カーネル行列Ｋの固有方程式（７）を未知数λの方程式として解いて固有値λを求める。また、各々の固有値λを連立方程式（８）に代入して、固有値λに対応する固有ベクトルｖを求める。例えば、上位の固有値をλ１，・・・，λｒとし、対応する固有ベクトルをｖ１，・・・，ｖｒとする。
【００５０】
【数７】
0006642132.tif 000008
【００５１】
【数８】
0006642132.tif 000009
【００５２】
図７は、カーネル主成分分析による写像を説明するための図である。生成部１５２が、特徴ベクトル群６１ａ〜６４ａのカーネル行列Ｋを求め、カーネル行列Ｋに基づいて、固有値λ、固有ベクトルｖを算出することで、特徴ベクトル群６１ａ〜６４ａは、線形空間３０ｂ上のベクトル群６１ｂ〜６４ｂとして捉えることができる。
【００５３】
続いて、判断部１５３の説明に移行する。判断部１５３は、クエリの症例の時系列ベクトル群について、特徴ベクトルを補間した近似曲線を推定し、近似曲線と、他の症例との類似度を、線形区間３０ｂ上での距離計算に基づいて算出する処理部である。
【００５４】
図８は、判断部の処理を説明するための図である。判断部１５３は、特徴ベクトル群６１ｂ〜６４ｂに基づいて、クエリの症例と他の時系列特徴ベクトル群との距離を推定する。具体的には、判断部１５３は、近似曲線６５ａと、他の時系列特徴ベクトル群６１ａ〜６４ａとの類似度を、線形空間３０ｂ上の近似直線６５ｂと、特徴ベクトル群６１ｂ〜６４ｂとの距離の計算に基づいて算出する。
【００５５】
以下において、判断部１５３の処理を順に説明する。判断部１５３は、クエリの症例に対して、特徴ベクトルを補間する時刻を決定する。特徴ベクトルに対応する各時刻について、時刻間の長さが一定の値σ以下になるようにする。判断部１５３は、隣り合う時刻間の長さがσよりも大きい場合に、σよりも小さくなるように、時刻間をｓ等分する。
【００５６】
図９は、補間する時刻を決定する処理を説明するための図である。例えば、クエリの症例の撮影時刻τ１，τ２，τ３，τ４，τ５，τ６と、所定の時間幅σとが、図９のように与えられたものとする。判断部１５３は、τ１，τ２間と、τ４，τ５間とが、σよりも大きいと判定する。判断部１５３は、τ１，τ２間をｓ等分していき、初めてσ以下となった時のｓ等分の長さにより、補間する時刻を決定する。図９に示す例では、τ１，τ２間に、補間する時刻τ１１，τ１２を決定する。判断部１５３は、τ１，τ２間に、時刻τ１１，τ１２を追加する。
【００５７】
同様に、判断部１５３は、τ４，τ５間をｓ等分していき、初めてσ以下となった時のｓ等分の長さにより、補間する時刻を決定する。図９に示す例では、τ４，τ５間に、補間する時刻τ４１を決定する。判断部１５３は、τ４，τ５間に、時刻τ４１を追加する。
【００５８】
判断部１５３は、画像テーブル１４１の症例の時系列画像に関する特徴ベクトルと、クエリの症例の特徴ベクトルとの距離をＤＰ（Dynamic  Programming）によって算出する。画像テーブル１４１の症例の時系列画像に関する特徴ベクトルをｘｔ１，・・・，ｘｔ１であるとする。判断部１５３は、時刻間の対応表を生成し、各格子点（τｉ，ｔｊ）あるいは（τｉｋ，ｔｊ）において、ｙτｉとｘｔｊまたはｙτｉｋとｘｔｊの距離を以下の式によって計算する。なお、クエリの症例の時刻τｉの特徴ベクトルをｙτｉとする。
【００５９】
判断部１５３は、τｉが補間時刻ではない場合に、式（９）に基づいて、特徴ベクトルｙτｉと、時刻ｔｊの特徴ベクトルとの距離Ｄ（ｙτｉ，ｘｔｊ）を算出する。
【００６０】
【数９】
0006642132.tif 000010
【００６１】
判断部１５３は、τｉｋが補間時刻である場合に、式（１０）に基づいて、特徴ベクトルｙτｉｋと、時刻ｔｊの特徴ベクトルとの距離Ｄ（ｙτｉｋ，ｘｔｊ）を算出する。ここで、τｉｋは、τｉとτｉ＋１をｍ：ｎに内分する点であるものとする。
【００６２】
【数１０】
0006642132.tif 000011
【００６３】
上記の式（９）および式（１０）について、判断部１５３は、ｖ（ｚ）の値を、式（１１）によって計算する。ｚは、ｙτｉ、ｙτｉｋまたはｘｔｊに対応する。式（１１）に含まれるｖ１，・・・ｖｒは、上記のカーネル行列Ｋの固有ベクトルに対応する。
【００６４】
【数１１】
0006642132.tif 000012
【００６５】
図１０は、時刻間の対応表の一例を示す図である。対応表６０の縦軸は、クエリの症例の撮影時刻と、補間した時刻を示す。対応表６０の横軸は、画像テーブル１４１の症例の撮影時刻を示す。判断部１５３は、上述した式（９）、式（１０）に基づいて、距離Ｄ（ｙτｉ，ｘｔｊ）または距離Ｄ（ｙτｉ，ｘｔｊ）を算出する。例えば、判断部１５３は、τｉとｔｊとの組またはτｉｋとｔｊとの組を作り、各組の距離Ｄの累積値を算出する。判断部１５３は、τｉとｔｊとの組またはτｉｋとｔｊとの組を網羅的に変えながら、累積値が最小となる、τｉとｔｊとの組またはτｉｋとｔｊとの組をＤＰに基づき探索する。
【００６６】
ＤＰの具体的な計算方法は文献（吉村他,”DPマッチング法の逐次適用による日本語署名のオフライン照合法,”信学論(D-II),Vol.  J81-D-II  No.10,  pp.2259-2266,  1998年10月の「2.2.2  DPマッチング処理」）などに記載されている。判断部１５３は、上記計算方法に基づき、ＤＰを計算する。
【００６７】
図１１は、ＤＰによる時刻間の対応結果例を示す図である。図１１は、クエリの症例の特徴ベクトルと、画像テーブル１４１のある患者ＩＤに紐付く時系列画像の特徴ベクトルとのＤＰの計算結果を示す。図１１に示す例では、ＤＰにより、クエリの症例が撮影された時刻τ１の特徴ベクトルｙτ１と、画像テーブル１４１の症例の時系列画像が撮影された時刻ｔ３の特徴ベクトルｘｔ３とが対応付けられる。クエリの症例が撮影された時刻τ２の特徴ベクトルｙτ２と、画像テーブル１４１の症例の時系列画像が撮影された時刻ｔ６の特徴ベクトルｘｔ６とが対応付けられる。クエリの症例が撮影された時刻τ３の特徴ベクトルｙτ３と、画像テーブル１４１の症例の時系列画像が撮影された時刻ｔ６の特徴ベクトルｘｔ６とが対応付けられる。クエリの症例が撮影された時刻τ４の特徴ベクトルｙτ４と、画像テーブル１４１の症例の時系列画像が撮影された時刻ｔ７の特徴ベクトルｘｔ７とが対応付けられる。クエリの症例が撮影された時刻τ５の特徴ベクトルｙτ５と、画像テーブル１４１の症例の時系列画像が撮影された時刻ｔ９の特徴ベクトルｘｔ９とが対応付けられる。クエリの症例が撮影された時刻τ６の特徴ベクトルｙτ６と、画像テーブル１４１の症例の時系列画像が撮影された時刻ｔ９の特徴ベクトルｘｔ９とが対応付けられる。
【００６８】
また、補間した時刻τ１１の特徴ベクトルｙτ１１と、画像テーブル１４１の症例の時系列画像が撮影された時刻ｔ４の特徴ベクトルｘｔ４とが対応付けられる。補間した時刻τ１２の特徴ベクトルｙτ１２と、画像テーブル１４１の症例の時系列画像が撮影された時刻ｔ５の特徴ベクトルｘｔ５とが対応付けられる。補間した時刻τ４１の特徴ベクトルｙτ４１と、画像テーブル１４１の症例の時系列画像が撮影された時刻ｔ８の特徴ベクトルｘｔ８とが対応付けられる。
【００６９】
判断部１５３は、他の患者ＩＤに紐付く時系列画像の特徴ベクトルについても、同様に上記処理を繰り返し実行する。判断部１５３は、患者ＩＤ毎の特徴ベクトルに関する距離Ｄの累積値を基にして、類似度を判断する。例えば、判断部１５３は、累積値が小さいほど、類似度が高いと判断する。
【００７０】
例えば、判断部１５３は、クエリの症例の特徴ベクトルと、画像テーブル１４１のある患者ＩＤに紐付く時系列画像の特徴ベクトルとの類似度とを基にして、類似度が大きい上位Ｎ個の時系列画像を、表示部１３０に表示させる。
【００７１】
次に、本実施例に係る画像処理装置１００の処理手順について説明する。図１２は、本実施例に係る画像処理装置の処理手順を示すフローチャートである。図１２に示すように、画像処理装置１００の特定部１５１は、クエリの症例に対応する患者ＩＤを受け付ける（ステップＳ１０１）。特定部１５１は、クエリの症例に対する特徴ベクトルを抽出する（ステップＳ１０２）。特定部１５１は、クエリの症例に類似する時系列画像群の特徴ベクトルを抽出する（ステップＳ１０３）。
【００７２】
画像処理装置１００の生成部１５２は、クエリの症例に類似する時系列の特徴ベクトル群に対し、カーネル主成分分析を実行することで、固有ベクトルを算出する（ステップＳ１０４）。画像処理装置１００の判断部１５３は、クエリの症例と、画像テーブル１４１の症例との類似度を計算する（ステップＳ１０５）。判断部１５３は、類似する症例を出力する（ステップＳ１０６）。
【００７３】
次に、本実施例に係る画像処理装置１００の効果について説明する。画像処理装置１００は、クエリの症例の時系列画像と類似する時系列画像群を抽出し、抽出した時系列画像群の特徴ベクトルに対してカーネル主成分分析を行い、その結果得られる固有ベクトルによって張られる線形空間上において、クエリの症例の画像を補間し、クエリの症例の時系列画像と、他の時系列画像との類似度を求める。このため、クエリの症例の時系列画像の撮影時刻と、他の時系列画像の撮影時刻との違いを吸収して、クエリの症例の時系列画像に類似する時系列画像を精度良く特定することができる。
【００７４】
患者によって、病変部分を撮影する時刻の間隔はまちまちであるため、１症例についての時系列画像は、各画像間の撮影時刻の間隔が異なり、病変の変化の類似性を判断することが難しい。しかしながら、上記のように、類似した時系列画像群を利用して、撮影時刻の間隔の違いを補間するため、クエリの症例と他の症例との類似度合いを判断できる。
【００７５】
例えば、患者の腫瘍部分に関する時系列画像の集合が画像テーブル１４１として与えられたもとで、クエリの症例の時系列画像が与えられたとき、その撮影時期によらず画像テーブル１４１に蓄積されている時系列画像との類似度を精度よく算出することができる。特に、病変部分の進行が非線形に推移している場合であっても、その非線形構造を推定して照合するため、高精度に照合できる。
【００７６】
画像処理装置１００は、クエリの症例に類似する時系列の特徴ベクトル群をカーネル主成分分析に基づいて線形空間上に写像することで、時系列特徴ベクトル群のなす非線形構造を線形空間として捉える。これにより、カーネル主成分分析に基づく線形空間を基にして、クエリの症例に対する近似曲線を推定することが可能になるため、実際の特徴ベクトルとの乖離の発生を抑止することができる。
【００７７】
画像処理装置１００は、線形空間上に写像した、画像テーブル１４１の症例の時系列画像に関する特徴ベクトルと、クエリの症例の特徴ベクトルとの距離を基にして、類似度を特定する。このため、クエリの症例と他の症例との類似度を精度良く算出することができる。
【００７８】
ところで、上述した実施例では、画像処理装置１００に、記憶部１４０、特定部１５１、生成部１５２、判断部１５３が含まれる例について説明したが、これに限定されるものではない。例えば、記憶部１４０を有する第１サーバ、特定部１５１を有する第２サーバ、生成部１５２を有する第３サーバ、判断部１５３を有する第４サーバをネットワーク上に配置して画像処理システムとしてもよい。画像処理システムに含まれる各第１〜第４サーバは、相互にデータ通信を実行して、画像処理装置１００と同様の処理を実行する。
【００７９】
次に、上記実施例に示した画像処理装置１００と同様の機能を実現する画像処理プログラムを実行するコンピュータの一例について説明する。図１３は、画像処理プログラムを実行するコンピュータの一例を示す図である。
【００８０】
図１３に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１〜２０７は、バス２０８に接続される。
【００８１】
ハードディスク装置２０７は、特定プログラム２０７ａ、生成プログラム２０７ｂ、判断プログラム２０７ｃを有する。ＣＰＵ２０１は、特定プログラム２０７ａ、生成プログラム２０７ｂ、判断プログラム２０７ｃを読み出してＲＡＭ２０６に展開する。
【００８２】
特定プログラム２０７ａは、特定プロセス２０６ａとして機能する。生成プログラム２０７ｂは、生成プロセス２０６ｂとして機能する。判断プログラム２０７ｃは、判断プロセス２０６ｃとして機能する。
【００８３】
特定プロセス２０６ａの処理は、特定部１５１の処理に対応する。生成プロセス２０６ｂの処理は生成部１５２の処理に対応する。判断プロセス２０６ｃの処理は、判断部１５３の処理に対応する。
【００８４】
なお、特定プログラム２０７ａ、生成プログラム２０７ｂ、判断プログラム２０７ｃについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ〜２０７ｃを読み出して実行するようにしてもよい。
【００８５】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【００８６】
（付記１）各患者につき時間をおいて複数回撮影されることで取得された、複数種類の特徴量で表現されうる個々の症例画像セットを含む症例画像セット群の間で、検索対象とする検索対象画像セットと類似する画像セットを検索する際に、検索対象画像セットの中の第１の時刻に撮影された第一画像と、前記第１の時刻とは異なる第２の時刻に撮影された第二画像との組について、前記症例画像セット群の中で、前記第一画像の特徴量と前記第二画像の特徴量との組にそれぞれ類似する特徴量を持つ画像の組を含むセットを１以上特定する特定部と、
特定した１以上のセットに含まれる、前記第一画像の特徴量と類似する特徴量を持つ第一類似画像の撮影時刻と、該第二画像の特徴量と類似する特徴量を持つ第二類似画像の撮影時刻との間の時刻に撮影された１以上の画像の特徴量を用いて、前記第一画像と前記第二画像との間の時刻に撮影された画像に相当する補間画像が有することが推定される特徴量を１以上生成する生成部と、
生成した補間画像に対応する特徴量を用いて、前記検索対象画像セットと症例画像セット群内の１以上のセットとの類似度合を判断する判断部と
を有することを特徴とする画像処理システム。
【００８７】
（付記２）前記生成部は、前記第一画像の特徴量と前記第二画像の特徴量との組にそれぞれ類似する特徴量に対して、カーネル主成分分析を実行することで、前記類似する特徴量を線形空間に写像し、前記線形空間上の前記類似する特徴量を基にして、前記補間画像が有することが推定される特徴量を１以上生成することを特徴とする付記１に記載の画像処理システム。
【００８８】
（付記３）前記判断部は、前記線形空間上の前記類似する特徴量と前記線形空間上の第一画像の特徴量との距離、前記線形空間上の前記類似する特徴量と前記第二画像の特徴量との距離、前記線形空間上の前記類似する特徴量と前記補間画像の特徴量との距離に基づいて、前記類似度合を判断することを特徴とする付記２に記載の画像処理システム。
【００８９】
（付記４）前記検索対象画像セットについて、前記補間画像に対応する時刻の前後に撮影された第三画像と第四画像とが存在し、前記補間画像に対応する時刻が、前記第三画像の撮影時刻と、前記第四画像の撮影時刻とをｍ対ｎに内分する点に位置する時刻である場合に、前記判断部は、前記第三画像の特徴量のベクトルにｎを乗算した値と、前記第四画像の特徴量のベクトルにｍを乗算した値とを加算したベクトルから、前記類似する特徴量のベクトルを減算することで、前記線形空間上の前記類似する特徴量と前記補間画像の特徴量との距離を算出することを特徴とする付記２または３に記載の画像処理システム。
【００９０】
（付記５）コンピュータが実行する画像処理方法であって、
各患者につき時間をおいて複数回撮影されることで取得された、複数種類の特徴量で表現されうる個々の症例画像セットを含む症例画像セット群の間で、検索対象とする検索対象画像セットと類似する画像セットを検索する際に、検索対象画像セットの中の第１の時刻に撮影された第一画像と、前記第１の時刻とは異なる第２の時刻に撮影された第二画像との組について、前記症例画像セット群の中で、前記第一画像の特徴量と前記第二画像の特徴量との組にそれぞれ類似する特徴量を持つ画像の組を含むセットを１以上特定し、
特定した１以上のセットに含まれる、前記第一画像の特徴量と類似する特徴量を持つ第一類似画像の撮影時刻と、該第二画像の特徴量と類似する特徴量を持つ第二類似画像の撮影時刻との間の時刻に撮影された１以上の画像の特徴量を用いて、前記第一画像と前記第二画像との間の時刻に撮影された画像に相当する補間画像が有することが推定される特徴量を１以上生成し、
生成した補間画像に対応する特徴量を用いて、前記検索対象画像セットと症例画像セット群内の１以上のセットとの類似度合を判断する
処理を実行することを特徴とする画像処理方法。
【００９１】
（付記６）前記生成する処理は、前記第一画像の特徴量と前記第二画像の特徴量との組にそれぞれ類似する特徴量に対して、カーネル主成分分析を実行することで、前記類似する特徴量を線形空間に写像し、前記線形空間上の前記類似する特徴量を基にして、前記補間画像が有することが推定される特徴量を１以上生成することを特徴とする付記５に記載の画像処理方法。
【００９２】
（付記７）前記類似度合いを判断する処理は、前記線形空間上の前記類似する特徴量と前記線形空間上の第一画像の特徴量との距離、前記線形空間上の前記類似する特徴量と前記第二画像の特徴量との距離、前記線形空間上の前記類似する特徴量と前記補間画像の特徴量との距離に基づいて、前記類似度合を判断することを特徴とする付記６に記載の画像処理方法。
【００９３】
（付記８）前記検索対象画像セットについて、前記補間画像に対応する時刻の前後に撮影された第三画像と第四画像とが存在し、前記補間画像に対応する時刻が、前記第三画像の撮影時刻と、前記第四画像の撮影時刻とをｍ対ｎに内分する点に位置する時刻である場合に、前記類似度合いを判断する処理は、前記第三画像の特徴量のベクトルにｎを乗算した値と、前記第四画像の特徴量のベクトルにｍを乗算した値とを加算したベクトルから、前記類似する特徴量のベクトルを減算することで、前記線形空間上の前記類似する特徴量と前記補間画像の特徴量との距離を算出することを特徴とする付記６または７に記載の画像処理方法。
【００９４】
（付記９）コンピュータが実行する画像処理プログラムであって、
各患者につき時間をおいて複数回撮影されることで取得された、複数種類の特徴量で表現されうる個々の症例画像セットを含む症例画像セット群の間で、検索対象とする検索対象画像セットと類似する画像セットを検索する際に、検索対象画像セットの中の第１の時刻に撮影された第一画像と、前記第１の時刻とは異なる第２の時刻に撮影された第二画像との組について、前記症例画像セット群の中で、前記第一画像の特徴量と前記第二画像の特徴量との組とにそれぞれ類似する特徴量を持つ画像の組を含むセットを１以上特定し、
特定した１以上のセットに含まれる、前記第一画像の特徴量と類似する特徴量を持つ第一類似画像の撮影時刻と、該第二画像の特徴量と類似する特徴量を持つ第二類似画像の撮影時刻との間の時刻に撮影された１以上の画像の特徴量を用いて、前記第一画像と前記第二画像との間の時刻に撮影された画像に相当する補間画像が有することが推定される特徴量を１以上生成し、
生成した補間画像に対応する特徴量を用いて、前記検索対象画像セットと症例画像セット群内の１以上のセットとの類似度合を判断する
処理を実行することを特徴とする画像処理プログラム。
【００９５】
（付記１０）前記生成する処理は、前記第一画像の特徴量と前記第二画像の特徴量との組にそれぞれ類似する特徴量に対して、カーネル主成分分析を実行することで、前記類似する特徴量を線形空間に写像し、前記線形空間上の前記類似する特徴量を基にして、前記補間画像が有することが推定される特徴量を１以上生成することを特徴とする付記９に記載の画像処理プログラム。
【００９６】
（付記１１）前記類似度合いを判断する処理は、前記線形空間上の前記類似する特徴量と前記線形空間上の第一画像の特徴量との距離、前記線形空間上の前記類似する特徴量と前記第二画像の特徴量との距離、前記線形空間上の前記類似する特徴量と前記補間画像の特徴量との距離に基づいて、前記類似度合を判断することを特徴とする付記１０に記載の画像処理プログラム。
【００９７】
（付記１２）前記検索対象画像セットについて、前記補間画像に対応する時刻の前後に撮影された第三画像と第四画像とが存在し、前記補間画像に対応する時刻が、前記第三画像の撮影時刻と、前記第四画像の撮影時刻とをｍ対ｎに内分する点に位置する時刻である場合に、前記類似度合いを判断する処理は、前記第三画像の特徴量のベクトルにｎを乗算した値と、前記第四画像の特徴量のベクトルにｍを乗算した値とを加算したベクトルから、前記類似する特徴量のベクトルを減算することで、前記線形空間上の前記類似する特徴量と前記補間画像の特徴量との距離を算出することを特徴とする付記１０または１１に記載の画像処理プログラム。
【符号の説明】
【００９８】
１００  画像処理装置
１４０  記憶部
１４１  画像テーブル
１５０  制御部
１５１  特定部
１５２  生成部
１５３  判断部
【図１】
0006642132.tif 000013
【図２】
0006642132.tif 000014
【図３】
0006642132.tif 000015
【図４】
0006642132.tif 000016
【図５】
0006642132.tif 000017
【図６】
0006642132.tif 000018
【図７】
0006642132.tif 000019
【図８】
0006642132.tif 000020
【図９】
0006642132.tif 000021
【図１０】
0006642132.tif 000022
【図１１】
0006642132.tif 000023
【図１２】
0006642132.tif 000024
【図１３】
0006642132.tif 000025
【図１４】
0006642132.tif 000026
【図１５】
0006642132.tif 000027
【図１６】
0006642132.tif 000028