(57)【要約】【課題】  診断対象とする画像に類似した画像を効率的に検索する。【解決手段】  本開示の一側面である情報処理装置は、前記診断画像を入力する診断画像入力部と、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部とを備える。本開示は、例えば病理医を対象としたwebアプリケーションに適用できる。【選択図】  図１
2014127011.tif 000002
【特許請求の範囲】
【請求項１】
診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させる情報処理装置において、
前記診断画像を入力する診断画像入力部と、
前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、
入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、
生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、
前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部と
を備え、
前記診断済画像検索装置は、
前記クエリ画像の画像特徴量を抽出する画像特徴量抽出部と、
予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索する検索部と、
前記検索部により検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する第１次フィルタ部と
を有する
情報処理装置。
【請求項２】
キーワードを設定するキーワード設定部をさらに備え、
前記診断済画像取得部は、設定された前記キーワードも前記診断済画像検索装置に供給し、
前記診断済画像検索装置は、
前記第１次フィルタ部により抽出された診断済画像の中から、設定された前記キーワードに対応する診断済画像を抽出する第２次フィルタ部をさらに有する
請求項１に記載の情報処理装置。
【請求項３】
前記キーワード設定部を複数備え、
前記表示制御部は、キーワード設定部毎に取得された診断済画像を表示させる
請求項２に記載の情報処理装置。
【請求項４】
前記表示制御部は、前記診断画像と、取得された前記診断済画像とを対比して表示させるに際し、前記診断画像または前記診断済画像の一方に対する移動または拡大・縮小を指示するユーザからの操作に対応し、他方も移動または拡大・縮小させる
請求項２に記載の情報処理装置。
【請求項５】
前記診断画像および前記診断済画像は、医療画像である
請求項２に記載の情報処理装置。
【請求項６】
前記診断画像および前記診断済画像は、生体組織から切り出された生検がスライドガラスに配置されて染色が施されているプレパラートをスキャニングした病理画像である
請求項２に記載の情報処理装置。
【請求項７】
前記診断済画像検索装置は、インターネット上に設けられたサーバである
請求項２に記載の情報処理装置。
【請求項８】
前記診断済画像検索装置が有する前記画像特徴量抽出部、前記検索部、前記第１次フィルタ部、または前記第２次フィルタ部のうちの少なくとも１つを備える
請求項２に記載の情報処理装置。
【請求項９】
前記表示制御部は、前記診断済画像として所定の病変が存在する旨の情報が関連付けられる第１の症例画像と、前記病変が存在しない旨の情報が関連付けられる第２の症例画像とを表示させる
請求項１に記載の情報処理装置。
【請求項１０】
前記表示制御部は、病変が存在する旨を示す表示情報を前記第１の症例画像と対応づけて表示させ、病変が存在しない旨を示す表示情報を前記第２の症例画像と対応づけて表示させる
請求項９に記載の情報処理装置。
【請求項１１】
診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させる情報処理装置の情報処理方法において、
前記情報処理装置による、
前記診断画像を入力する診断画像入力ステップと、
前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得ステップと、
入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成ステップと、
生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得ステップと、
前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御ステップと
を含み、
前記診断済画像検索装置は、
前記クエリ画像の画像特徴量を抽出し、
予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索し、
検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する
情報処理方法。
【請求項１２】
診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させるコンピュータを、
前記診断画像を入力する診断画像入力部と、
前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、
入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、
生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、
前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部と
として機能させ、
前記診断済画像検索装置は、
前記クエリ画像の画像特徴量を抽出する画像特徴量抽出部と、
予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索する検索部と、
前記検索部により検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する第１次フィルタ部と
を有する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、診断の対象とする診断画像に類似した症例画像をデータベース中から検索して表示させる場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、医療の場において、腫瘍などの病理組織を診断する（例えば、癌などの悪性腫瘍であるか否かを判断する）方法として、患者から病理組織の一部を採取して薄く切り、その切片（以下、生検と称する）をスライドガラス上に配置して染色することによりプレパラートを作成し、顕微鏡などで観察、診断する方法がある。
【０００３】
また、その診断を支援するために、プレパラートをスキャニングし、その結果得られる診断画像に類似するものを、既に診断済みの症例画像が蓄積されているデータベースの中から検索して提示する方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−００５３６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の方法では、診断画像とデータベースの症例画像とのそれぞれの画像特徴量とを比較し、単にその類似性に基づいて検索した症例画像を提示しているだけである。したがって、診断の参考になるような症例画像が検索されず、参考にならないような多数の検索結果が出力されてしまったりすることが起こり得た。
【０００６】
本開示はこのような状況に鑑みてなされたものであり、診断対象とする画像に類似した画像を効率的に検索できるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の一側面である情報処理装置は、診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させる情報処理装置において、前記診断画像を入力する診断画像入力部と、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部とを備え、前記診断済画像検索装置は、前記クエリ画像の画像特徴量を抽出する画像特徴量抽出部と、予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索する検索部と、前記検索部により検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する第１次フィルタ部とを有する。
【０００８】
本開示の一側面である情報処理装置は、キーワードを設定するキーワード設定部をさらに備え、前記診断済画像取得部は、設定された前記キーワードも前記診断済画像検索装置に供給し、前記診断済画像検索装置は、前記第１次フィルタ部により抽出された診断済画像の中から、設定された前記キーワードに対応する診断済画像を抽出する第２次フィルタ部をさらに有するようにすることができる。
【０００９】
本開示の一側面である情報処理装置は、前記キーワード設定部を複数備え、前記表示制御部は、キーワード設定部毎に取得された診断済画像を表示させることができる。
【００１０】
前記表示制御部は、前記診断画像と、取得された前記診断済画像とを対比して表示させるに際し、前記診断画像または前記診断済画像の一方に対する移動または拡大・縮小を指示するユーザからの操作に対応し、他方も移動または拡大・縮小させることができる。
【００１１】
前記診断画像および前記診断済画像は、医療画像とすることができる。
【００１２】
前記診断画像および前記診断済画像は、生体組織から切り出された生検がスライドガラスに配置されて染色が施されているプレパラートをスキャニングした病理画像とすることができる。
【００１３】
前記診断済画像検索装置は、インターネット上に設けられたサーバとすることができる。
【００１４】
前記診断済画像検索装置が有する前記画像特徴量抽出部、前記検索部、前記第１次フィルタ部、または前記第２次フィルタ部のうちの少なくとも１つを備えることができる。
【００１５】
前記表示制御部は、前記診断済画像として所定の病変が存在する旨の情報が関連付けられる第１の症例画像と、前記病変が存在しない旨の情報が関連付けられる第２の症例画像とを表示させることができる。
【００１６】
前記表示制御部は、病変が存在する旨を示す表示情報を前記第１の症例画像と対応づけて表示させ、病変が存在しない旨を示す表示情報を前記第２の症例画像と対応づけて表示させることができる。
【００１７】
本開示の一側面である情報処理方法は、診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させる情報処理装置の情報処理方法において、前記情報処理装置による、前記診断画像を入力する診断画像入力ステップと、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得ステップと、入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成ステップと、生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得ステップと、前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御ステップとを含み、前記診断済画像検索装置は、前記クエリ画像の画像特徴量を抽出し、予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索し、検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する。
【００１８】
本開示の一側面であるプログラムは、診断の対象とする診断画像と、前記診断画像に類似した診断済画像とを対比して表示させるコンピュータを、前記診断画像を入力する診断画像入力部と、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報を取得する操作情報取得部と、入力された前記診断画像の所定の領域を抽出してクエリ画像を生成するクエリ画像生成部と、生成された前記クエリ画像と前記表示操作履歴情報を診断済画像検索装置に供給し、前記診断済画像検索装置の検索結果として得られる前記診断済画像を取得する診断済画像取得部と、前記診断画像と、取得された前記診断済画像とを対比して表示させる表示制御部として機能させ、前記診断済画像検索装置は、前記クエリ画像の画像特徴量を抽出する画像特徴量抽出部と、予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像を検索する検索部と、前記検索部により検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像を抽出する第１次フィルタ部とを有する。
【００１９】
本開示の一側面においては、診断画像が入力され、前記診断画像の表示をコントロールするユーザの操作の履歴を表す表示操作履歴情報が取得され、入力された前記診断画像の所定の領域が抽出されてクエリ画像が生成される。また、生成された前記クエリ画像と前記表示操作履歴情報が診断済画像検索装置に供給され、前記診断済画像検索装置の検索結果として得られる前記診断済画像が取得され、前記診断画像と、取得された前記診断済画像とが対比して表示される。なお、前記診断済画像検索装置では、前記クエリ画像の画像特徴量が抽出され、予め登録されている診断済画像の中から、前記クエリ画像の前記画像特徴量と類似している画像特徴量を有する部分画像を含む診断済画像が検索され、検索された前記診断済画像の中から、前記クエリ画像の元となる前記診断画像に対応する前記表示操作履歴情報と類似している表示操作履歴情報を有する診断済画像が抽出される。
【図面の簡単な説明】
【００２０】
【図１】本開示を適用した類似症例画像提示装置の構成例を示すブロック図である。
【図２】図１の症例検索サーバの構成例を示すブロック図である。
【図３】症例情報の項目を示す図である。
【図４】類似症例画像提示装置のユーザインタフェースの表示例を示す図である。
【図５】診断画像表示領域の表示例を示す図である。
【図６】診断時画像コントロール情報の一例を示す図である。
【図７】クエリ画像設定枠の表示例を示す図である。
【図８】診断する部位に応じたキーワードとソート基準の例を示す図である。
【図９】２次フィルタリング情報のデータ項目を示す図である。
【図１０】リスト数１の場合の検索結果の表示例を示す図である。
【図１１】リスト数２の場合の検索結果の表示例を示す図である。
【図１２】リスト数３の場合の検索結果の表示例を示す図である。
【図１３】類似症例画像提示処理を説明するフローチャートである。
【図１４】診断時画像コントロール情報の類似度計算を説明する図である。
【図１５】クエリ画像と類似画像を比較する場合の表示例を示す図である。
【図１６】クエリ画像と類似画像を比較する場合の表示例を示す図である。
【図１７】クエリ画像と類似画像を比較する場合の表示例を示す図である。
【図１８】クエリ画像と類似画像とを同時スクロールさせた場合の表示例である。
【図１９】クエリ画像と類似画像とを同時拡大させた場合の表示例である。
【図２０】クエリ画像と類似画像とを同時拡大・縮小させた場合の中心の移動を説明するための図である。
【図２１】クエリ画像と類似画像とを同時拡大・縮小させた場合の中心の移動を示す図である。
【図２２】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００２２】
［類似症例画像表示制御装置の構成例］
本開示の情報処理装置の実施の形態である類似症例画像表示制御装置は、診断対象の病理画像を観察するに際し、それに類似した、診断済みの病理画像と比較しながらユーザ（病理医など）に提示するものである。
【００２３】
ここで、病理画像とは、従来、病理医などの診断者が顕微鏡下で観察していたプレパラート（生体組織から切り出した生検をスライドガラスに配置して染色したもの）をスキャニングした画像を指すものとする。
【００２４】
なお、本開示は病理画像のみならず、ＣＴ、MRI、Ｘ線などより人体などを撮像して得られる医療画像、医療分野に限定されない任意の画像を提示させる場合にも適用できる。
【００２５】
以下、診断対象のプレパラートをスキャニングして得られた病理画像を診断画像と称する。また、診断済みの病理画像を症例画像と称する。
【００２６】
図１は、類似症例画像表示制御装置の構成例を示している。
【００２７】
この類似症例画像提示装置１０は、操作入力部１１、表示制御部１２、診断画像入力部１３、クエリ画像設定部１４、および症例画像取得部１５から構成される。
【００２８】
操作入力部１１は、ユーザ（診断者となる病理医など）による診断画像の選択操作、表示させた診断画像の移動や拡大・縮小の操作、診断画像上に設けるクエリ画像の設定操作、検索条件（キーワードなど）の入力操作などを受け付ける。さらに、操作入力部１１は、入力された操作に応じた操作信号を対応する表示制御部１２、診断画像入力部１３、クエリ画像設定部１４、または症例画像取得部１５に入力する。
【００２９】
表示制御部１２は、後段のディスプレイ３０に対して、ユーザインタフェースとなる画面５０（図４）を表示させる。ユーザインタフェースとなる画面５０には、診断画像や検索結果として表示される症例画像などが表示される。なお、具体的な画面５０の表示例については後述する。
【００３０】
診断画像入力部１３は、ユーザの選択操作に基づく操作信号に従い、予め用意されている病理画像の中から診断対象とする診断画像を決定して、表示制御部１２およびクエリ画像設定部１４に入力する。
【００３１】
クエリ画像設定部１４は、表示されている診断画像上にユーザが設定する所定のサイズのクエリ画像設定枠５３によって示される領域を診断画像から抽出し、その結果得られるクエリ画像を症例画像取得部１５に入力する。
【００３２】
症例画像取得部１５は、クエリ画像を症例検索サーバ２０に送信して検索を依頼する。このとき、症例画像取得部１５は、診断画像の表示に関するユーザの操作履歴を表す診断画像コントロール情報や２次フィルタリング情報（いずれも後述）も症例検索サーバ２０に供給する。そして、症例画像取得部１５は、症例検索サーバ２０の検索結果として得られる症例画像を取得して表示制御部１２に供給する。
【００３３】
症例検索サーバ２０は、例えばインターネット上に設けるようにする。ただし、症例検索サーバ２０の全体またはその構成要素の一部を類似症例画像提示装置１０に内蔵するようにしてもよい。
【００３４】
図２は、症例検索サーバ２０の構成例を示している。
【００３５】
症例検索サーバ２０は、画像特徴量抽出部２１、症例画像検索部２２、症例データベース２３、症例登録部２４、第１フィルタ部２５、第２フィルタ部２６、および検索結果出力部２７から構成される。
【００３６】
画像特徴量抽出部２１は、クエリ画像から画像特徴量を抽出して症例画像検索部２２に供給する。ここで画像特徴量を抽出する方法については、以下に説明する症例データベース２３に登録されている症例画像の画像特徴量を抽出する方法と共通であれば、既存の任意の方法を適用することができる。
【００３７】
具体的には、例えばクエリ画像のテクスチャの周波数特性をFFTにより抽出したり、HOG、SHIFT特徴量などの輝度勾配のヒストグラム特徴量を抽出したりしてもよい。抽出された画像特徴量は、例えばＮ次元ベクトルで表現できる。
【００３８】
症例画像検索部２２は、クエリ画像の画像特徴量に基づき、クエリ画像に類似した部分画像を含む症例画像を症例データベース２３から検索し、その検索結果（画像データのみならず、画像データを含む症例情報全体）を第１フィルタ部２５に入力する。以下、クエリ画像に類似した検索結果である症例画像上の部分画像を、類似画像とも称する。
【００３９】
症例データベース２３には、診断済みの症例画像が多数記録されている。なお、症例画像上には、クエリ画像と同サイズの診断時に注目された領域を表す部分画像が設けられており、症例データベース２３には、部分画像毎に症例情報が登録されている。この症例画像上の部分画像が後段において類似画像と成り得る。
【００４０】
図３は、症例情報に含まれる項目を示している。
【００４１】
部分画像に対応する症例情報４０には、画像ＩＤ４１、画像データ４２、部分画像の位置とサイズ４３、画像特徴量４４、カルテ情報４５、診断時画像コントロール情報４６、および2次フィルタリング情報４７が含まれる。
【００４２】
画像ＩＤ４１は、症例画像上の各部分画像に対して個別に設けられた識別情報である。画像データ４２は、部分画像を含む症例画像の各画素値を表す画像データである。部分画像の位置とサイズ４３は、症例画像における該部分画像の位置とサイズを表す情報である。画像特徴量４４は、該部分画像の画像特徴量である。なお、画像特徴量４４を得るための画像特徴量抽出方法と、画像特徴量抽出部２１の画像特徴量抽出方法とは同じものを採用する必要がある。カルテ情報４５は、該部分画像を含む症例画像に対して既に下されている診断結果を表す文字列である。
【００４３】
診断時画像コントロール情報４６は、該部分画像を含む症例画像を診断した際のユーザの表示操作履歴を表すものであり、後述する診断時画像コントロール情報６０に相当する。2次フィルタリング情報４７は、該部分画像を含む症例画像を診断した際にユーザが設定したものであり、後述する2次フィルタリング情報７０に相当する。
【００４４】
症例登録部２４は、症例データベース２３に対して、症例画像上の部分画像毎に症例情報を登録する。なお、類似症例画像提示装置１０を用いてユーザが診断画像に下した診断結果を症例データベース２３に登録するようにしてもよい。
【００４５】
第１フィルタ部２５は、症例画像検索部２２の画像特徴量による検索結果に対して、診断時画像コントロール情報に基づいて１次フィルタリングを行う。ここで、診断時画像コントロール情報とは、ユーザが診断を行なうに際して診断画像に対して行った移動（上下左右のスクロール）、拡大・縮小などの表示制御に関する操作を行なった時の操作履歴を表す情報である。診断時画像コントロール情報については、図６を参照して後述する。
【００４６】
第２フィルタ部２６は、第１フィルタ部２５による１次フィルタリング結果に対して、２次フィルタリング情報に基づいて２次フィルタリングを行う。ここで、２次フィルタリング情報とは、１次フィルタリングの結果を絞り込むためにユーザが入力するキーワード、ソート基準などの項目から成る。２次フィルタリング情報については、図９を参照して後述する。
【００４７】
検索結果出力部２７は、第２フィルタ部２６による２次フィルタリングの結果（類似画像となる領域を含む症例画像）を、類似症例画像提示装置１０の症例画像取得部１５に出力する。
【００４８】
［ユーザインタフェースとなる画面について］
次に、図４は、ユーザインタフェースとなる画面の表示例を示している。
【００４９】
この表示画面５０は、表示制御部１２の制御に基づいてディスプレイ３０に表示されるものである。表示画面５０には、診断画像表示領域５１、リスト数設定領域５４、キーワード入力領域５５、ソート順設定領域５６、および検索結果表示領域５７が設けられている。
【００５０】
診断画像表示領域５１には、診断画像入力部１３により入力された診断画像が表示される。診断画像表示領域５１を拡大した図５が示すように、診断画像表示領域５１内の右下には、診断画像の全体が縮小表示されており、そこに示される拡大領域５２が診断画像表示領域５１に拡大表示されている範囲を表している。
【００５１】
ユーザは、診断画像表示領域５１に表示されている診断画像を任意にスクロールしたり、任意の倍率で拡大・縮小したり、回転したりすることができる。このときの操作履歴が所定のサンプリング周期で記録されることにより診断時画像コントロール情報が生成される。
【００５２】
図６は、診断時画像コントロール情報の一例を示している。診断時画像コントロール情報６０には、サンプリング周期のタイミング、Ｘ座標、Ｙ座標、および倍率から構成される。
例えば図６の場合、タイミングｔ１，ｔ２においては、診断画像の座標（３３０，４５６）を中心として倍率１０倍で表示されていたことを表す。そして、タイミングｔ３において、診断画像の座標（４４２，５６３）を中心とするようにスクロールされ、倍率２０倍に拡大表示されていたことを表する。そして、タイミングｔ４において、さらに拡大され、倍率４０倍で表示されていたことを表する。
【００５３】
図４に戻る。診断画像表示領域５１に表示されている診断画像上には、診断画像表示領域５１を拡大した図７が示すように、所定のサイズのクエリ画像設定枠５３を設けることができる。ユーザは、診断画像表示領域５１の診断画像上でクエリ画像設定枠５３を任意の位置に移動させることができる。この診断画像上のクエリ画像設定枠５３で表された領域がクエリ画像とされる。
【００５４】
リスト数設定領域５４には、１次フィルタリングの結果をさらに絞り込んで得る２次フィルタリング結果の系統数（リスト数）をユーザが設定できる。図４の場合のように、リスト数が２に設定されると、次に説明するキーワード入力領域５５が２系等分（５５−１，５５−２）だけ表示されることになる。また、検索結果表示領域５７には、２系等分の検索結果を表示される。
【００５５】
キーワード入力領域５５においては、ユーザが１次フィルタリングの結果をさらに絞り込むための検索結果フィルタリング情報の一項目であるキーワードを選択、または直接入力することができる。ここで選択または直接入力されたキーワードが、症例情報４０のカルテ情報４５に対する検索語となる。なお、図３の場合、診断画像が胃の病理画像である場合のキーワードが示されており、キーワード入力領域５５−１では、キーワードとして”Por”と”Sig”が選択されている。またキーワード入力領域５５−５では、キーワードとして”Non Cancer”が選択されている。
【００５６】
ソート順設定領域５６には、２次フィルタリング結果をソートする時の基準をユーザが設定できる。図３の場合、診断画像が胃の病理画像である場合のソート基準が示されており、「核の大きさ」に設定されている。
【００５７】
なお、キーワード入力領域５５およびソート順設定領域５６は、診断画像に写っている生体部位に応じてユーザがその内容を切り替えることができる。図８Ａは、診断画像が胃の病理画像である場合のキーワードとソート基準である。図８Ｂは、診断画像が前立腺の病理画像である場合のキーワードとソート基準である。なお、図８には、診断画像が胃または前立腺の病理画像である場合の２例についてのみ示しているが、当然ながらこれら以外の場合に対応するキーワードとソート基準を用意するようにしてもよい。
【００５８】
図９は、キーワード入力領域５５およびソート順設定領域５６に対する設定に応じて生成される２次フィルタリング情報の項目を示している。
【００５９】
２次フィルタリング情報７０は、フィルタリングキーワード７１、ソート基準７２、類似画像ＩＤ７３、および症例画像コントロール情報７４を含む。
【００６０】
フィルタリングキーワード７１は、キーワード入力領域５５にて選択または直接入力されたキーワードであり、１次フィルタリング結果を、症例情報４０のカルテ情報４５に基づいて絞り込むための検索語となる。ソート基準７２は、ソート順設定領域５６にて設定されるものを指す。類似画像ＩＤ７３は、検索結果表示領域５７に表示されている検索結果（類似画像）の中でユーザが診断時に参照したものの識別情報である。症例画像コントロール情報７４は、類似画像ＩＤ７３が示す類似画像をユーザが参照するための表示した時の操作履歴を表す情報である。
図４に戻る。検索結果表示領域５７には、キーワード入力領域５５にて設定または直接入力されたキーワードを含む２次フィルタリング情報に基づく２次フィルタリングの結果が、ソート順設定領域５６にて設定されたソート基準にしたがって並び替えられて表示される。
【００６１】
図１０は、リスト数設定領域５４にてリスト数を１に設定し、キーワード入力領域５５にて全てのキーワードを選択し、ソート順設定領域５６にて画像特徴量類似度をソート基準に設定した場合の表示例を示している。
【００６２】
図１１は、リスト数設定領域５４にてリスト数を２に設定し、キーワード入力領域５５−１にて”Not Cancer”以外の全てのキーワードを選択し、キーワード入力領域５５−２にて”Not Cancer”を選択し、ソート順設定領域５６にて画角特徴量類似度をソート基準に設定した場合の表示例を示している。この場合、診断画像に類似した様々な癌の症例画像と、非癌の症例画像とを検索結果として表示させることができる。
【００６３】
図１２は、リスト数設定領域５４にてリスト数を３に設定し、キーワード入力領域５５−１，５５−２，５５−３にて、それぞれ”Tub2”，”Por”，”Sig”を選択し、ソート順設定領域５６にて画角特徴量類似度をソート基準に設定した場合の表示例を示している。この場合、診断画像に対して疑わしい症例毎の症例画像を列毎に分けて表示させることができる。
【００６４】
なお、リスト数設定領域５４にて設定可能なリスト数は４以上としてよい。
［動作説明］
次に類似症例画像提示装置１０の動作について説明する。図１３は、類似症例画像提示装置１０による類似症例画像提示処理を説明するフローチャートである。
【００６５】
ステップＳ１において、診断画像入力部１３は、操作入力部１１から入力されるユーザの選択操作に基づく操作信号に従い、予め用意されている病理画像の中から診断対象とする診断画像を決定して、表示制御部１２およびクエリ画像設定部１４に入力する。表示制御部１２は、診断画像をディスプレイに表示させる。このとき、ユーザが診断画像をスクロールさせたり、拡大・縮小させたりすると、その操作履歴が診断時画像コントロール情報として保持される。
【００６６】
ステップＳ２において、クエリ画像設定部１４は、表示されている診断画像上にユーザが設定するクエリ画像設定枠５３の領域をクエリ画像として抽出して症例画像取得部１５に入力する。症例画像取得部１５は、クエリ画像を症例検索サーバ２０に送信して検索を依頼する。
【００６７】
ステップＳ３において、症例検索サーバ２０の画像特徴量抽出部２１は、クエリ画像から画像特徴量を抽出して症例画像検索部２２に供給する。
【００６８】
ステップＳ４において、症例画像検索部２２は、クエリ画像の画像特徴量に基づき、クエリ画像に類似した部分画像を含む症例画像を症例データベース２３から検索する。具体的には、クエリ画像の画像特徴量と、症例情報４０の画像特徴量４４との類似度を例えば次式（１）を用いて算出する。そして、類似度が高い方から順に所定の数だけ検出するか、類似度が所定の閾値よりも高いものを検出するようにし、それらを検索結果として第１フィルタ部２５に入力する。
【００６９】
【数１】
2014127011.tif 000003
・・・（１）
【００７０】
ここで、Ｎは特徴量の次元数、Ｑはクエリ画像の特徴量、Ｄは症例データベース中の画像の特徴量、ｗは特徴次元毎の重みパラメータを表す。特徴次元毎の重みパラメータは、例えばすべて１としてもよいし、公知の手法によって類似度に関する特徴空間における距離学習を行い、その学習によって得られる値を適用してもよい。
【００７１】
なお、類似度算出方法については、式（１）に限るものではなく、任意の方法を用いることができる。
【００７２】
ステップＳ５において、第１フィルタ部２５は、画像特徴量によりクエリ画像に類似しているとして検索された各症例情報４０に対して、診断時画像コントロール情報に基づいて１次フィルタリングを行う。具体的には、診断画像の診断時画像コントロール情報と、各症例情報４０の診断時画像コントロール情報４６（症例画像が診断されたときの診断時画像コントロール情報）との類似度を算出する。そして、類似度が高い方から順に所定の数だけ検出するか、類似度が所定の閾値よりも高いものを検出するようにし、それらを１次フィルタリング結果として第２フィルタ部２６に入力する。
【００７３】
ここで、診断時画像コントロール情報の類似度算出方法の例について図１４を参照して説明する。図１４は、診断時画像コントロール情報のＸ座標値の変化に着目して類似度を求める方法を説明している。
【００７４】
初めに、診断時画像コントロール情報の時間と画素の座標値を相対値に変換する。ここでは時間は診断にかかった総時間に対する相対時間と、画像サイズを1000ピクセルとして得られる相対座標を計算している。診断画像の診断時画像コントロール情報と、検索された症例画像の診断時画像コントロール情報から得られた相対座標をグラフにプロットすると図８に図示するとおりとなり、この２つのグラフの類似度を計算する。
【００７５】
グラフの類似度の計算方法としては、診断時刻をｔとし、２つのグラフをｐ(ｔ)とｑ(ｔ)とした場合、例えば次式（２）に示されるBhattacharyya距離を用いた算式を採用できる。
【００７６】
【数２】
2014127011.tif 000004
・・・（２）
【００７７】
なお、上述した説明では、診断時画像コントロール情報のＸ座標値の変化に着目して類似度を求めたが、Ｙ座標値の変化に着目したり、表示倍率の変化に着目したり、Ｘ座標値の移動差分値の変化に着目したりしてもよい。移動差分値を用いた場合、診断時に観察した範囲が分かるので、腫瘍の大きさの値が得られることが期待される。
【００７８】
なお、Ｘ座標値の変化に着目したり、Ｙ座標値の変化に着目したり、表示倍率の変化に着目したり、して複数の類似度が得られる場合、それぞれで閾値処理をしてフィルタリングの結果としてもよいし、次式（３）を用いて複数の類似度を統合して用いてもよい。
【００７９】
【数３】
2014127011.tif 000005
・・・（３）
【００８０】
ここで、Ｓｘ，Ｓｙ，Ｓｍは、それぞれ診断時画像コントロール情報のＸ座標値、Ｙ座標値、または表示倍率に着目した類似度であり、α、β、γは、それぞれの重みパラメータである。特徴次元毎の重みパラメータは、例えばすべて１としてもよいし、公知の手法によって類似度に関する特徴空間における距離学習を行い、その学習によって得られる値を適用してもよい。
【００８１】
このようにして第１フィルタリング結果を得た後、処理は図１３のステップＳ６に進められる。ステップＳ６において、第２フィルタ部２６は、１次フィルタリング結果に対して、２次フィルタリング情報に基づいて２次フィルタリングを行う。具体的には、画面５０のキーワード入力領域５５に設定されたキーワード（フィルタリングキーワード７１）を検索語として１次フィルタリング結果の症例情報４０に含まれるカルテ情報４５を検索して絞り込みを行なったり、ソート順設定領域５６にて設定されたソート基準（ソート基準７２）に基づいて、キーワードによる絞込み結果をソートしたりする。さらに、２次フィルタリング情報７０の症例画像コントロール情報７４と、１次フィルタリング結果の診断時画像コントロール情報４６との類似度を１次フィルタリングと同様の方法で算出して、算出した類似度に基づいて絞り込みを行ってもよい。
【００８２】
ステップＳ７において、検索結果出力部２７は、第２フィルタ部２６による２次フィルタリングの結果（類似画像となる領域を含む症例画像）を、類似症例画像提示装置１０の症例画像取得部１５に出力する。症例画像取得部１５は、症例検索サーバ２０から応答された検索結果の症例画像を表示制御部１２に供給する。表示制御部１２は、検索結果の症例画像などを含むユーザインタフェースとしての画面をディスプレイ３０に表示させる。具体的には、画面５０のリスト数設定領域５４に対する設定数に応じて、図１０乃至図１２に示されたような画面５０が表示される。以上で、類似症例画像提示処理の説明を終了する。
【００８３】
［ユーザインタフェースとなる画面の活用について］
例えば、ユーザが診断画像について具体的な症例名が思い当たらない場合には、図１０に示されたように、キーワード入力領域５５−１にて全てのキーワードが選択さればよい。この場合、画像特徴量の類似度に基づく検索結果が、設定されているソート基準（図１０の場合、画像特徴量類似度）に従って検索結果表示領域５７に表示される。
【００８４】
検索結果表示領域５７にリスト表示された症例画像のうちの１つをユーザが選択するとディスプレイ３０の表示は、図１５に示されるように、診断画像上のクエリ画像と、選択された症例画像上の類似画像とを並列に表示された画面６０に切り替えられる。これにより、ユーザは拡大表示されたクエリ画像と類似画像とを詳細に見比べることができる。
【００８５】
例えば、検索結果として癌の症例画像と非癌の症例画像との２系統表示させる場合には、図１１に示されたように、リスト数設定領域５４にてリスト数を２に設定し、キーワード入力領域５５−１にて”Not Cancer”以外の全てのキーワードを選択し、キーワード入力領域５５−２にて”Not Cancer”を選択すればよい。
【００８６】
図１１の検索結果表示領域５７にリスト表示された２列の症例画像からそれぞれ１つの病理画像をユーザが選択するとディスプレイ３０の表示は、図１６に示されるように、選択された癌の症例画像上の類似画像と、診断画像上のクエリ画像と、選択された非癌の症例画像上の類似画像とを並列に表示された画面に切り替えられる。これにより、ユーザは、中央に拡大表示されたクエリ画像と、その両側に拡大表示された癌の類似画像と、非癌の類似画像とを詳細に見比べることができる。
【００８７】
そもそも病理画像の診断の目的は、主に、診断画像内に病変が含まれているか否かを判断することであるので、図１１のように、クエリ画像とともに、それに類似した病変（癌）の症例画像と病変が無い（非癌の）症例画像とをグループ分けして表示することは、診断に非常に役に立つことが期待される。すなわち、ユーザは、クエリ画像が病変を持つグループに近いのか、病変を持たないグループに近いのかを容易に比較して診断することができる。
【００８８】
なお、例えば、リスト数設定領域５４にてリスト数を６に設定し、キーワード入力領域５５−１乃至５５−６にて、それぞれ”Tub1”、”Tub2”、”Por”、”Sig”、”MUC”、または”Not Cancer”を選択し、検索結果表示領域５７にリスト表示される６列の症例画像からそれぞれ１つの病理画像をユーザが選択した場合には、診断画像上のクエリ画像を中心として、選択された症例画像上の類似画像がその周囲に表示された、図１６に示される画面８０となる。これにより、ユーザは、中心に表示されたクエリ画像と、その周囲に表示された複数の類似画像とを詳細に見比べることができる。
【００８９】
図１５乃至図１７に示されたようにクエリ画像と類似画像を並べて表示している状態においてクエリ画像または類似画像の一方をスクロール表示させたり、拡大・縮小したりした場合、それに対応して他方もスクロール表示させたり、拡大・縮小させることができる。
【００９０】
なお、クエリ画像または類似画像の一方をスクロール表示させたり、拡大・縮小させたりした場合において、他方をそのままの状態（スクロール表示や拡大・縮小しない）とするようにする設定も可能である。
【００９１】
図１８は、図１５に示されたクエリ画像と類似画像を並べて表示している画面６０において、クエリ画像または類似画像の一方をスクロール表示させた場合に、それに対応して他方もスクロール表示させた状態を示している。このように、クエリ画像または類似画像の一方のスクロール表示に対応して他方もスクロール表示させることにより、対応する領域の比較が容易となるので、ユーザの診断効率の向上に寄与することができる。
【００９２】
図１９は、図１５に示されたクエリ画像と類似画像を並べて表示している画面６０において、クエリ画像または類似画像の一方を拡大させた場合に、それに対応して他方も拡大させた状態を示している。このように、クエリ画像または類似画像の一方の拡大・縮小に対応して他方も拡大・縮小させることにより、対応する領域の比較が容易となるので、ユーザの診断効率の向上に寄与することができる。
【００９３】
なお、図１８および図１９は、１枚のクエリ画像に対して１枚の類似画像を表示している場合を示しているが、１枚のクエリ画像に対して２枚以上の類似画像を表示している場合においても同様に、１枚の画像に対するスクロール表示や拡大・縮小を、他の画像にも適用させて表示することができる。
【００９４】
図２０および図２１は、クエリ画像または類似画像の一方の拡大・縮小に対応して、他方も拡大・縮小させる場合の中心点の移動を説明するための図である。
【００９５】
なお、図２０Ａは、クエリ画像と類似画像の拡大率を下げて診断画像と症例画像の全体を表示している状態、図２０Ｂは、クエリ画像と類似画像を表示している状態、図２０Ｃは、クエリ画像と類似画像を拡大して表示している状態である。図２１は、クエリ画像または類似画像の一方の拡大し、他方も拡大させる場合の、拡大させる領域の中心の移動を示している。
【００９６】
例えば、図２０Ｂに示された状態から図２０Ａに示された状態にする場合には、クエリ画像と類似画像のそれぞれの中心ではなく、元の診断画像と症例画像のそれぞれの中心を中心点としてそれぞれの拡大率を下げるように制御する。反対に、図２０Ａに示された状態から図２０Ｂに示された状態にする場合には、図２１に示されるように、元の診断画像と症例画像のそれぞれの中心ではなく、クエリ画像と類似画像のそれぞれの中心を中心点として拡大率を上げるように制御する
【００９７】
また例えば、図２０Ｂに示された状態から図２０Ｃに示された状態にする場合には、クエリ画像と類似画像のそれぞれの中心を中心点として拡大率を上げるように制御する。反対に、図２０Ｃに示された状態から図２０Ｂに示された状態にする場合には、クエリ画像と類似画像のそれぞれの中心を中心点として拡大率を下げるように制御する。
【００９８】
このように、クエリ画像または類似画像の一方の拡大・縮小に対応して、他方も拡大・縮小させる場合の中心点を移動させることにより、ユーザの画像比較による診断の効率を向上させることができる。
【００９９】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１００】
図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１０１】
該コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１０２】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
【０１０３】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１０４】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１０５】
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、インターネット上の所定のサーバにアクセスすることにより取得、実行することができる、いわゆるwebアプリケーションとして提供することができる。
【０１０６】
また、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。さらに、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１０７】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０１０８】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１０９】
１０  類似症例画像提示装置，  １１  操作入力部，  １２  表示制御部，  １３  診断画像入力部，  １４  クエリ画像設定部，  １５  症例画像取得部，  ２０  症例検索サーバ，  ２１  画像特徴量抽出部，  ２２  奨励画像検索部，  ２３  症例データベース，  症例登録部，  ２５  第１フィルタ部，  ２６  第２フィルタ部，  ２７  検索結果出力部，  ３０  ディスプレイ，５０  画面，  ５１  診断画像表示領域，  ５２  拡大領域，  ５３  クエリ画像設定枠，  ５４  リスト数設定領域，  ５５  キーワード入力領域，  ５６  ソート順設定領域，  ２００  コンピュータ，  ２０１  CPU
【図１】
2014127011.tif 000006
【図２】
2014127011.tif 000007
【図３】
2014127011.tif 000008
【図４】
2014127011.tif 000009
【図５】
2014127011.tif 000010
【図６】
2014127011.tif 000011
【図７】
2014127011.tif 000012
【図８】
2014127011.tif 000013
【図９】
2014127011.tif 000014
【図１０】
2014127011.tif 000015
【図１１】
2014127011.tif 000016
【図１２】
2014127011.tif 000017
【図１３】
2014127011.tif 000018
【図１４】
2014127011.tif 000019
【図１５】
2014127011.tif 000020
【図１６】
2014127011.tif 000021
【図１７】
2014127011.tif 000022
【図１８】
2014127011.tif 000023
【図１９】
2014127011.tif 000024
【図２０】
2014127011.tif 000025
【図２１】
2014127011.tif 000026
【図２２】
2014127011.tif 000027