(57)【要約】類似度決定装置、方法およびプログラムにおいて、画像に含まれる所見のサイズに応じて適切に画像間の類似度を決定できるようにする。所見分類部２２が、第１の医用画像の各画素を少なくとも１つの所見に分類する。特徴量算出部２３が、所見毎に第１の特徴量を算出する。重み係数設定部２４が、各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する。類似度導出部２５が、重み係数に応じて、第１の医用画像において算出された所見毎の前記第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を導出する。
2020044736.tif 000002
【特許請求の範囲】
【請求項１】
第１の医用画像と第２の医用画像との類似度を決定する類似度決定装置であって、
前記第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する所見分類部と、
前記第１の医用画像において分類された所見毎に第１の特徴量を算出する特徴量算出部と、
前記第１の医用画像において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定部と、
前記重み係数に応じて、前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する類似度導出部とを備えた類似度決定装置。
【請求項２】
前記重み係数設定部は、前記所見毎に重み付けの程度が異なる前記重み係数を設定する請求項１に記載の類似度決定装置。
【請求項３】
前記特徴量算出部は、前記所見毎のサイズを表すサイズ特徴量を含む第１の特徴量を算出し、
前記類似度導出部は、前記サイズ特徴量と前記第２の医用画像において予め算出されたサイズ特徴量とが近く、かつ前記サイズ特徴量により表されるサイズと前記第２の医用画像において予め算出されたサイズ特徴量により表されるサイズとが大きいほど、高い類似度を導出する請求項１または２に記載の類似度決定装置。
【請求項４】
前記所見分類部は、前記第１の医用画像の画素毎に、前記複数種類の所見のそれぞれであることの可能性を表す複数の評価値を算出し、該複数の評価値に基づいて、前記第１の医用画像の各画素を前記複数種類の所見のうちの少なくとも１つの所見に分類する請求項１から３のいずれか１項に記載の類似度決定装置。
【請求項５】
前記所見分類部は、前記第１の医用画像の各画素を、前記評価値が最大となる所見および前記評価値が予め定められたしきい値以上となる所見を含む複数の所見に分類する請求項４に記載の類似度決定装置。
【請求項６】
前記所見分類部は、前記評価値が最大となる所見の該評価値に基づいて決定された前記しきい値を用いる請求項５に記載の類似度決定装置。
【請求項７】
前記所見分類部は、前記複数種類の所見のうちの２以上の所見を含むグループ所見に、前記各画素を分類する請求項１から６のいずれか１項に記載の類似度決定装置。
【請求項８】
前記所見分類部は、前記複数種類の所見を分類するように機械学習がなされた判別器を有し、該判別器により前記第１の医用画像の各画素を前記複数種類の所見に分類する請求項１から７のいずれか１項に記載の類似度決定装置。
【請求項９】
複数の前記第２の医用画像が登録された症例データベースであって、前記複数の第２の医用画像のそれぞれについての前記第２の特徴量が、前記複数の第２の医用画像のそれぞれと対応づけられて登録された症例データベースを参照して、前記第１の医用画像と複数の前記第２の医用画像との類似度に基づいて、前記第１の医用画像に類似する第２の医用画像を類似医用画像として検索する検索部をさらに備えた請求項１から８のいずれか１項に記載の類似度決定装置。
【請求項１０】
前記類似医用画像の検索結果を表示部に表示する表示制御部をさらに備えた請求項９に記載の類似度決定装置。
【請求項１１】
第１の医用画像と第２の医用画像との類似度を決定する類似度決定方法であって、
前記第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、
前記第１の医用画像において分類された所見毎に第１の特徴量を算出し、
前記第１の医用画像において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を設定し、
前記重み係数に応じて、前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する類似度決定方法。
【請求項１２】
第１の医用画像と第２の医用画像との類似度を決定する手順をコンピュータに実行させる類似度決定プログラムであって、
前記第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する手順と、
前記第１の医用画像において分類された所見毎に第１の特徴量を算出する手順と、
前記第１の医用画像において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する手順と、
前記重み係数に応じて、前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する手順とをコンピュータに実行させる類似度決定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、２つの医用画像の類似度を決定する類似度決定装置、方法およびプログラムに関するものである。
【背景技術】
【０００２】
近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像が画像診断に用いられるようになってきている。
【０００３】
一方、医療分野において、検査の対象となるＣＴ画像等の検査画像に基づいて、検査画像に類似する過去の症例を検索する類似症例検索装置が知られている（例えば非特許文献１および特許文献１，２参照）。非特許文献１には、肺の症例画像を複数種類の組織または病変（以下組織または病変を所見と称するものとする）をそれぞれ示す複数の領域に分類した上で、症例データベースに登録しておき、検査画像についても同様に肺を複数種類の所見をそれぞれ示す複数の領域に分類し、検査画像についての所見の分類結果に基づいて、検査画像に類似する症例画像を検索する手法が提案されている。また、特許文献１，２には、画像の濃度ヒストグラム、濃度の平均または濃度の分散等の画像の特徴量とデータベースに登録された画像との特徴量を比較することにより、検査画像に類似する画像を検索する手法が提案されている。また、画像間の類似度を算出する手法として、複数の画像のうち少なくとも一つの画像内に複数の部分領域を設定し、設定した部分領域毎に、他の画像内の対応する領域との間の類似度を決定し、決定した部分領域類似度を、各部分領域に対して設定された重み係数を用いて重み付け加算することにより、全体領域類似度を算出する手法が提案されている（特許文献３参照）。
【０００４】
ところで、肺の疾患として間質性肺炎が知られている。間質性肺炎の患者のＣＴ画像を解析することにより、ＣＴ画像に含まれる蜂窩肺、網状影および嚢胞等の特定の所見を示す病変を分類して定量化する手法が提案されている（非特許文献２，３参照）。このようにＣＴ画像を解析して病変を分類して定量化することにより、肺の疾患の程度を容易に判定することができる。また、このように分類して定量化した領域にそれぞれ異なる色を割り当てて表示することにより、特定の症状の領域がどの程度画像内に含まれているかを、容易に診断できることとなる。
【０００５】
また、ＣＴ画像等の３次元画像から注目する臓器等の構造物を抽出するためには、３次元画像において構造物を検出する必要がある。ここで、画像における注目する画素を複数のクラスに分類するために、深層学習（ディープラーニング）の手法が提案されている。
ディープラーニングとは、複数の処理層が階層的に接続されることにより構築された多層ニューラルネットワークを用いた機械学習の手法である。
【０００６】
ディープラーニングにおいては、多層ニューラルネットワークの各層において、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して演算処理を行う。そして、これにより得られる特徴量のデータに対して、次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力されたデータを複数のクラスに分類することができる。
【０００７】
このようなディープラーニングの手法を、上述した３次元画像に適用して、３次元画像の各画素を複数のクラスに分類することが考えられる。例えば、３次元画像に含まれる複数種類の構造物を分類するに際し、３次元画像を入力として、３次元画像における処理対象となる画素を、複数種類の構造物のいずれかに分類するように、ニューラルネットワークに対してディープラーニングを行う。このようにしてディープラーニングがなされたニューラルネットワークを用いることにより、入力された３次元画像の対象とする画素を、複数種類の構造物のいずれかに分類することが可能となる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】再公表２０１３−６５０９０号
【特許文献２】特開２０１１−１１８５４３号公報
【特許文献３】特開２０００−３４２５５８号公報
【非特許文献】
【０００９】
【非特許文献１】Case-based lung image categorization and retrieval  For interstitial lung diseases: clinical workflow、Adrien Depeursingeら、Int J CARS (2012) 7:97-110、Published online: 1 June 2011
【非特許文献２】Evaluation of computer-based computer tomography stratification against outcome models in connective tissue disease-related interstitial lung disease: a patient outcome study、Joseph Jacob1ら、BMC Medicine (2016) 14:190、DOI 10.1186/s12916-016-0739-7
【非特許文献３】コンピュータによる間質性肺炎のＣＴ画像の定量評価、岩澤多恵、断層映像研究会雑誌  第４１巻第２号、２０１４年８月
【発明の概要】
【発明が解決しようとする課題】
【００１０】
非特許文献１および特許文献１〜３に記載された手法を用いることにより、検査画像の肺に含まれる病変が類似する症例画像を検索することができる。一方、検査画像に含まれる特徴的な所見はそのサイズによって重要度が異なる。
【００１１】
本開示は上記事情に鑑みなされたものであり、画像に含まれる所見のサイズに応じて適切に画像間の類似度を決定できるようにすることを目的とする。
【課題を解決するための手段】
【００１２】
本開示による類似度決定装置は、第１の医用画像と第２の医用画像との類似度を決定する類似度決定装置であって、
第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する所見分類部と、
第１の医用画像において分類された所見毎に第１の特徴量を算出する特徴量算出部と、
第１の医用画像において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定部と、
重み係数に応じて、第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を導出する類似度導出部とを備える。
【００１３】
なお、本開示による類似度決定装置においては、重み係数設定部は、所見毎に重み付けの程度が異なる重み係数を設定するものであってもよい。
【００１４】
また、本開示による類似度決定装置においては、特徴量算出部は、所見毎のサイズを表すサイズ特徴量を含む第１の特徴量を算出し、
類似度導出部は、サイズ特徴量と第２の医用画像において予め算出されたサイズ特徴量とが近く、かつサイズ特徴量により表されるサイズと第２の医用画像において予め算出されたサイズ特徴量により表されるサイズとが大きいほど、高い類似度を導出するものであってもよい。
【００１５】
また、本開示による類似度決定装置においては、所見分類部は、第１の医用画像の画素毎に、複数種類の所見のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、第１の医用画像の各画素を複数種類の所見のうちの少なくとも１つの所見に分類するものであってもよい。
【００１６】
また、本開示による類似度決定装置においては、所見分類部は、第１の医用画像の各画素を、評価値が最大となる所見および評価値が予め定められたしきい値以上となる所見を含む複数の所見に分類するものであってもよい。
【００１７】
この場合、所見分類部は、評価値が最大となる所見の評価値に基づいて決定されたしきい値を用いるものであってもよい。
【００１８】
また、本開示による類似度決定装置においては、所見分類部は、複数種類の所見のうちの２以上の所見を含むグループ所見に、各画素を分類するものであってもよい。
【００１９】
また、本開示による類似度決定装置においては、所見分類部は、複数種類の所見を分類するように機械学習がなされた判別器を有し、判別器により第１の医用画像の各画素を複数種類の所見に分類するものであってもよい。
【００２０】
また、本開示による類似度決定装置においては、複数の第２の医用画像が登録された症例データベースであって、複数の第２の医用画像のそれぞれについての第２の特徴量が、複数の第２の医用画像のそれぞれと対応づけられて登録された症例データベースを参照して、第１の医用画像と複数の第２の医用画像との類似度に基づいて、第１の医用画像に類似する第２の医用画像を類似医用画像として検索する検索部をさらに備えるものであってもよい。
【００２１】
この場合、類似医用画像の検索結果を表示部に表示する表示制御部をさらに備えるものであってもよい。
【００２２】
本開示による類似度決定方法は、第１の医用画像と第２の医用画像との類似度を決定する類似度決定方法であって、
第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、
第１の医用画像において分類された所見毎に第１の特徴量を算出し、
第１の医用画像において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定し、
重み係数に応じて、第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を導出する。
【００２３】
なお、本開示による類似度決定方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２４】
本開示による他の類似度決定装置は、第１の医用画像と第２の医用画像との類似度を決定する処理をコンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、
第１の医用画像において分類された所見毎に第１の特徴量を算出し、
第１の医用画像において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定し、
重み係数に応じて、第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を導出する処理を実行する。
【発明の効果】
【００２５】
本開示によれば、第１の医用画像および第２の医用画像に含まれる所見のサイズに応じて、適切に画像間の類似度を決定することができる。
【図面の簡単な説明】
【００２６】
【図１】本開示の第１の実施形態による類似度決定装置を適用した、診断支援システムの概要を示すハードウェア構成図
【図２】第１の実施形態による類似度決定装置の構成を示す概略ブロック図
【図３】多層ニューラルネットワークの一例を示す図
【図４】ある関心領域の中心画素についての所見の種類に応じた評価値を示す図
【図５】分類に応じた色が割り当てられたマッピング画像における一断面を示す図
【図６】所見の体積の算出結果を示す図
【図７】検索結果リストを示す図
【図８】検索結果を示す図
【図９】第１の実施形態において行われる処理を示すフローチャート
【図１０】検査画像Ｖ０における所見分類結果を一次元で示す図
【図１１】図１０において領域Ａ１における所見ｅ１の評価値のα倍以上となる評価値を考慮した所見分類結果を示す図
【図１２】最大評価値のα倍以上となる評価値を考慮した所見分類結果を説明するための図
【図１３】最大評価値のα倍以上となる評価値を考慮した所見分類結果を説明するための図
【発明を実施するための形態】
【００２７】
以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の第１の実施形態による類似度決定装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による類似度決定装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
【００２８】
３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。この３次元画像撮影装置２により生成された、複数のスライス画像からなる３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は肺であり、３次元画像撮影装置２はＣＴ装置であり、被検体の肺を含む胸部のＣＴ画像を３次元画像として生成する。
【００２９】
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。なお、本実施形態においては、画像保管サーバ３には、検査の対象となる３次元画像（以下、検査画像とする）、および症例画像が登録された症例データベースＤＢが保存されているものとする。症例データベースＤＢについては後述する。また、本実施形態においては、検査画像は１以上のスライス画像（以下、検査スライス画像とする）からなる３次元画像である。また、症例画像も１以上のスライス画像（以下、症例スライス画像とする）からなる３次元画像である。なお、検査画像が第１の医用画像に、症例画像が第２の医用画像にそれぞれ対応する。
【００３０】
類似度決定装置１は、１台のコンピュータに、本開示の類似度決定プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。類似度決定プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
【００３１】
図２は、コンピュータに類似度決定プログラムをインストールすることにより実現される本開示の第１の実施形態による類似度決定装置の概略構成を示す図である。図２に示すように、類似度決定装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、類似度決定装置１には、液晶ディスプレイ等からなる表示部１４、並びにキーボードおよびマウス等からなる入力部１５が接続されている。
【００３２】
ストレージ１３は、ハードディスクおよびＳＳＤ(Solid State Drive)等からなる。ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の検査画像および処理に必要な情報を含む各種情報が記憶されている。
【００３３】
また、メモリ１２には、類似度決定プログラムが記憶されている。類似度決定プログラムは、ＣＰＵ１１に実行させる処理として、検査の対象となる検査画像を取得する画像取得処理、検査画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する所見分類処理、検査画像において分類された所見毎に第１の特徴量を算出する特徴量算出処理、検査画像において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定処理、重み係数に応じて、検査画像において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像と症例画像との類似度を導出する類似度導出処理、導出された類似度に基づいて、検査画像に類似する症例画像を検索する検索処理、並びに検索結果を表示部１４に表示する表示制御処理を規定する。
【００３４】
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、所見分類部２２、特徴量算出部２３、重み係数設定部２４、類似度導出部２５、検索部２６および表示制御部２７として機能する。
【００３５】
画像取得部２１は、検査の対象となる被検体の検査画像Ｖ０を取得する。なお、検査画像Ｖ０が既にストレージ１３に保存されている場合には、画像取得部２１は、ストレージ１３から検査画像Ｖ０を取得するようにしてもよい。
【００３６】
所見分類部２２は、検査画像Ｖ０に含まれる肺領域の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する。具体的には、所見分類部２２は、検査画像Ｖ０に含まれる肺領域の画素毎に、複数種類の組織または病変（すなわち所見）のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、検査画像Ｖ０の各画素を複数種類の所見のうちの少なくとも１つの所見に分類する。本実施形態においては、所見分類部２２は、検査画像Ｖ０の各画素を１つの所見に分類するものとする。
【００３７】
本実施形態の所見分類部２２は、機械学習の１つであるディープラーニング（深層学習）によって生成された多層ニューラルネットワークからなる判別器を有し、この判別器を用いて、検査画像Ｖ０の各画素が属する所見の種類を特定する。なお、機械学習の手法としては、ディープラーニングに限定されるものではなく、サポートベクターマシン等の他の手法を用いることもできる。
【００３８】
多層ニューラルネットワークでは、各層において、前段の階層により得られる異なる複数の特徴量のデータに対して各種カーネルを用いて演算処理を行う。そして、この演算処理によって得られる特徴量のデータに対して次段以降の層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させ、入力されたデータを複数のクラスに分類することができる。
【００３９】
なお、本実施形態においては、多層ニューラルネットワークを、検査画像Ｖ０を入力として、肺領域の複数種類の所見への分類結果を出力するものとして説明するが、検査画像Ｖ０を構成する複数の検査スライス画像のそれぞれを入力とし、肺領域の複数種類の所見への分類結果を出力するように構成することも可能である。
【００４０】
図３は多層ニューラルネットワークの一例を示す図である。図３に示すように多層ニューラルネットワーク４０は、入力層４１および出力層４２を含む複数の階層からなる。本実施形態においては、検査画像Ｖ０に含まれる肺領域を、例えば、浸潤影、腫瘤影、すりガラス影、小葉中心性結節影、非小葉中心性結節影、網状影、線状影、小葉間隔壁肥厚、蜂窩肺、嚢胞、低吸収域（気腫）、気腫傾向、空洞、胸膜肥厚、胸水、空洞、気管支拡張、牽引性気管支拡張、動脈、正常肺、胸壁および縦隔等の複数の所見に分類するように学習がなされている。なお、所見の種類はこれらに限定されるものではなく、これらより多くの所見であってもよく、これらより少ない所見であってもよい。
【００４１】
本実施形態においては、これらの所見について、数百万という多数の教師データを用いて、多層ニューラルネットワーク４０に学習させる。学習の際には、所見の種類が既知の断面画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ）の関心領域を切り出し、その関心領域を教師データとして用いる。そして、多層ニューラルネットワーク４０に教師データを入力して、所見の種類の分類処理の結果（以下、分類結果とする）を出力させる。次いで、出力された結果を教師データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、多層ニューラルネットワーク４０の各層に含まれるユニット（図３に丸印で示す）の各階層間における結合の重みを修正する。結合の重みの修正を、多数の教師データを用いて、予め定められた回数、または出力される分類結果の正解率が１００％になるまで繰り返し行い、学習を終了する。
【００４２】
なお、入力される画像が検査スライス画像である場合において、多層ニューラルネットワーク４０の学習の際には、病変が既知の３次元画像を構成するスライス画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ）に正規化された２次元領域を切り出し、切り出した２次元領域の画像を教師データとして用いる。
【００４３】
所見分類部２２は、分類のために、検査画像Ｖ０から対象領域である肺領域を抽出する。肺領域を抽出する手法としては、検査画像Ｖ０における画素毎の信号値をヒストグラム化し、肺をしきい値処理することにより抽出する方法、または肺を表すシード点に基づく領域拡張法(Region Growing)等、任意の手法を用いることができる。なお、肺領域を抽出するように機械学習がなされた判別器を用いるようにしてもよい。
【００４４】
所見分類部２２は、所見分類処理を行う際に、検査画像Ｖ０の肺領域から教師データと同じ大きさの関心領域を順次切り出し、その関心領域を多層ニューラルネットワーク４０からなる判別器に入力する。これにより、切り出した関心領域の中心画素について、所見の各分類に対応する評価値が出力される。なお、この各分類に対応する評価値は、中心画素が、各分類に属する可能性を示す評価値であり、この評価値が大きいほど、その分類に属する可能性が高いことを意味する。
【００４５】
図４は、ある関心領域の中心画素についての所見の種類に応じた評価値を示す図である。なお、図４においては、説明を簡単なものとするために一部の所見についての評価値を示す。本実施形態において、判別器は、関心領域の中心画素を、複数の所見のうち、最も評価値が大きい所見に分類する。例えば、図４に示すような評価値が取得された場合、その関心領域の中心画素は、網状影である可能性が最も高く、次にすりガラス影の可能性が高い。逆に正常肺または低吸収域の可能性はほとんど無い。このため、図４に示すような評価値が取得された場合、所見分類処理により、関心領域の中心画素は評価値が最大の８．５である網状影に分類される。これにより、検査画像Ｖ０に含まれる肺領域の全画素が複数種類の所見のいずれに分類される。
【００４６】
所見分類部２２は、上述したように学習がなされた多層ニューラルネットワーク４０からなる判別器に、抽出した肺領域から教師データと同一のボクセル領域を順次切り出して入力する。これにより、切り出した領域の中心画素について、複数種類の病変領域のそれぞれに対する複数の評価値が出力される。所見分類部２２は、多層ニューラルネットワーク４０に入力された領域の中心画素を、複数の評価値のうち最大の評価値となる所見に分類して所見分類結果を生成する。これにより、検査画像Ｖ０に含まれる肺領域の全画素が複数種類の所見のいずれかに分類される。
【００４７】
所見分類部２２は、所見分類処理の結果に基づいて、検査画像Ｖ０における各分類の領域に色を割り当てることによってマッピング画像を生成する。具体的には、所見分類部２２は、上述した複数種類の所見のうちのいずれかに分類された３次元空間上の全ての画素について、同一の分類とされた画素に対して同じ色を割り当てることによって３次元のマッピング画像を生成する。図５は、複数種類の各分類に対して、その分類に応じた色が割り当てられたマッピング画像における一断面を示す図である。なお、図５においては、説明を簡単なものとするために、すりガラス影、正常肺、気管支拡張、蜂窩肺、網状影、浸潤影、低吸収域および嚢胞の８種類の所見に分類した場合のマッピング画像を示す。なお、後述する表示制御部２７により、マッピング画像を表示部１４に表示してもよい。マッピング画像を表示部１４に表示する際には、図５に示すように、３次元のマッピング画像における任意の断面の断面画像を表示すればよい。しかしながら、これに限らず、３次元のマッピング画像を表示部１４に表示してもよい。
【００４８】
特徴量算出部２３は、検査画像Ｖ０において分類された所見毎に特徴量を算出する。具体的には、所見毎の領域の大きさ、所見毎の平均濃度、所見毎の濃度の分散、所見毎の領域の数および所見毎の領域の平均サイズ等の少なくとも１つを特徴量として算出する。なお、検査画像Ｖ０について算出した特徴量を、第１の特徴量と称するものとする。また、所見毎の領域の大きさ、所見毎の領域の数および所見毎の領域の平均サイズ等がサイズ特徴量である。所見毎の領域の大きさとしては、所見毎の領域の体積を用いることができる。
【００４９】
なお、上述した症例データベースＤＢには、複数の症例画像のそれぞれに対して、ファイル名、各画素における複数の所見についての評価値、および所見毎の特徴量が登録されている。症例画像について症例データベースＤＢに登録されている特徴量を第２の特徴量と称するものとする。第１の特徴量および第２の特徴量は０以上１以下の値となるように正規化される。また、検査画像Ｖ０について、各画素における複数の所見についての評価値、および所見毎の特徴量が取得されると、その検査画像Ｖ０が症例データベースＤＢに新たな症例画像として登録される。その際、その検査画像Ｖ０についての評価値および第１の特徴量が、新たな症例画像の評価値および第２の特徴量として症例データベースＤＢに登録される。
【００５０】
重み係数設定部２４は、検査画像Ｖ０の各画素が分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する。重み係数は、後述する類似度導出処理の際に、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された、すなわち症例データベースＤＢに登録された所見毎の第２の特徴量との重み付け演算を行う際の重み係数である。
【００５１】
ここで、医用画像の特徴は多彩であるため、医用画像の観点での特徴量の重要性を考慮して、特徴量に対して適切な重みを付けしないと、特徴量の違いの大きさが医学的な画像の違いの大きさと対応せず、類似度が医学的な感覚とずれてしまう。したがって、特徴量に対して適切に重み付けをしないと、検査画像Ｖ０に類似する症例画像を検索した場合、検索結果が不適切な類似度順となる可能性がある。
【００５２】
ここで、検査画像Ｖ０および症例画像において、同一の所見が略同一の大きさで存在すれば、医学的に２つの画像は類似することとなる。また、所見領域が大きいほど、その所見は診断上重要であるため、所見の大きさが画像間の類似性を判断する上で、極めて重要である。
【００５３】
一方、所見には、点状影のようにサイズが小さくても疾患の初期状態の特性を表す重要な所見もある。また、高齢化による肺の気腫化が進むと、肺にはやや低吸収の状態が発生してくるが、このような低吸収の所見は高齢患者で頻度が高いため、それほど重要ではない。このような高齢者の低吸収の所見は、サイズが大きくてもそれほど重要ではない。
【００５４】
このため、点状影の所見および高齢者の低吸収の所見を同等に判断すると、大きな領域の低吸収域の微妙な差異が点状影の差異よりも大きくなる。その結果、点状影の類似性が低吸収域の類似性に埋もれ、医学的に重要な点状影の症例を含む症例画像を検索できないことになる。
【００５５】
このため、本実施形態においては、重み係数設定部２４は、各所見のサイズに応じて重み付けの程度が異なる重み係数を、複数の所見のそれぞれに対して設定する。所見のサイズとしては、特徴量算出部２３が算出した第１の特徴量に含まれるサイズ特徴量を用いることができる。具体的には、所見の体積を用いることができる。ここで、所見の体積は３次元の検査画像Ｖ０に含まれる各所見の画素数に対して検査画像Ｖ０の１ボクセル当たりの体積を乗算することにより算出することができる。図６に所見の体積の算出結果を示す。図６においては体積の単位は立方ミリメートルである。ところで、肺の大きさは患者により異なる。このため、所見の体積を臓器の体積、すなわち肺の体積により正規化した所見占有率（＝所見体積／肺体積）を所見のサイズとして用いることが好ましい。本実施形態においては、所見のサイズとして所見占有率を用いるものとする。なお、所見占有率をサイズ特徴量として第１の特徴量に含めてもよい。この場合、特徴量算出部２３が所見占有率を算出してもよい。
【００５６】
重み係数設定部２４は、検査画像Ｖ０の各所見について、下記の式（１）により所見毎の重み係数Ｗｉを設定する。なお、式（１）において、ｉは所見の種類、ｆｉは検査画像Ｖ０における所見毎の所見占有率Ｐｖｉをパラメータとする関数である。
【００５７】
Ｗｉ＝ｆｉ（Ｐｖｉ）    （１）
【００５８】
ここで、図６に示すように大きいサイズの所見と小さいサイズの所見とでは、体積の値の桁数が異なる。このため、３次元の情報である所見占有率を関数ｆｉにより２次元相当に変換する等して次元を下げることが好ましい。これにより、所見のサイズの差異が医師の感覚と一致するものとなる。このため、上述したように、サイズが小さくても重要性が高い所見は、その重要度を高くするために、関数ｆｉにより非線形に変換することが好ましい。このため、本実施形態においては、関数ｆｉを下記の式（２）に示すように設定する。
【００５９】
ｆｉ＝ａ・（ｂ・Ｘ＋（１−ｂ）・Ｘc）    （２）
【００６０】
なお、式（２）において、ａは所見毎の全体的な重要性の違いを決定する定数である。
ｃは１以下の値をとり、サイズが小さい所見を強調する効果を決定する定数である。ｂは定数ｃによる効果の程度を決定する定数である。また、Ｘ＝（Ｐｖｉ）2/3 である。所見占有率Ｐｖｉを２／３乗することにより、所見占有率Ｐｖｉを３次元から２次元相当に変換することとなる。
【００６１】
重み係数設定部２４は、式（２）に示す関数を所見毎に設定して式（１）に適用することにより、複数種類の所見のそれぞれについての重み係数Ｗｉを設定する。
【００６２】
類似度導出部２５は、重み係数設定部２４が設定した重み係数Ｗｉに応じて、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像Ｖ０と症例画像との類似度を導出する。なお、類似度導出部２５は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度を導出するものである。
【００６３】
このために、類似度導出部２５は、検査画像Ｖ０について算出された第１の特徴量を０以上１以下の値に正規化する。そして、下記の式（３）に示すように、所見毎に、第１の特徴量と症例画像の第２の特徴量との距離の差を特徴量の差Ｄｄｉとして算出する。なお、式（３）において、ｋは特徴量の種類、Ｔｖｋは検査画像Ｖ０における種類毎の第１の特徴量を、Ｔｃｋは症例画像における種類毎の第２の特徴量を表す。なお、差分が算出される第１の特徴量と第２の特徴量とは特徴量の種類は同一である。また、式（３）においてΣはすべての種類の特徴量についての（Ｔｖｋ−Ｔｃｋ）2の総和を求めることを表す。なお、第１の特徴量および第２の特徴量は０以上１以下の値に正規化されているため、特徴量の差Ｄｄｉも０以上１以下の値となる。なお、第１の特徴量Ｔｖｋと第２の特徴量Ｔｃｋとが一致する場合、特徴量の差Ｄｄｉは０となる。なお、第１の特徴量と第２の特徴量との距離の差に代えて、第１の特徴量と第２の特徴量との差の絶対値等を用いてもよい。
【００６４】
Ｄｄｉ＝√（Σ（Ｔｖｋ−Ｔｃｋ）2）    （３）
【００６５】
そして、類似度導出部２５は、重み係数Ｗｉを用いて、検査画像Ｖ０と症例画像との類似度Ｓ０を下記の式（４）により算出する。すなわち、所見毎に重み係数Ｗｉと特徴量の差Ｄｄｉとを乗算し、乗算結果をすべての所見について加算することにより、類似度Ｓ０を算出する。なお、式(４)を用いて類似度Ｓ０を算出した場合、第１の特徴量と第２の特徴量との距離が小さいほど、検査画像Ｖ０と症例画像とが類似することとなる。このため、式（４）には負号を付与し、検査画像Ｖ０と症例画像とが類似するほど、類似度Ｓ０の値が大きくなるようにしている。
【００６６】
Ｓ０＝−Σ（Ｗｉ×Ｄｄｉ）    （４）
【００６７】
一方、上記式（４）により類似度を算出した場合、同一の所見が同一のサイズであれば、類似度は０となる。しかしながら、同一の病変同士を比較した場合、病変が大きいほど類似するというのが事実である。上記式（４）により類似度を算出した場合、サイズが比較的大きい所見が同一の特徴量である場合と、サイズが比較的小さい所見が同一の特徴量である場合とで両者の相違がなく、病変のサイズが大きいほど類似するという事実を反映できていないものとなる。
【００６８】
したがって、検査画像Ｖ０および症例画像に含まれる同一の所見については、サイズは単なる差として扱うべきではなく、サイズが類似するほど類似度を大きくすることが好ましい。このため、本実施形態においては、類似度導出部２５は、以下の式（５）により、検査画像Ｖ０と症例画像との間において、所見毎のサイズの差Ｄｓｉをさらに算出する。
なお、式（５）において、Ｐｖｉは検査画像Ｖ０の所見ｉの所見占有率、Ｐｃｉは症例画像の所見ｉの所見占有率を示す。
【００６９】
Ｄｓｉ＝１−｜Ｐｖｉ−Ｐｃｉ｜／（Ｐｖｉ＋Ｐｃｉ）    （５）
【００７０】
したがって、類似度導出部２５は、下記の式（６）により検査画像Ｖ０と症例画像との類似度Ｓ１を算出することが好ましい。ここで、Ｄｄｉは検査画像Ｖ０および症例画像において所見の特徴量が類似するほど値が小さくなり、Ｄｓｉは検査画像Ｖ０および症例画像において所見のサイズが類似するほど大きい値となる。このため、式（６）を用いることにより、同一の所見についてのサイズを考慮して、検査画像Ｖ０と症例画像とが類似するほど大きい値となる類似度を算出することができる。
【００７１】
Ｓ１＝Σ（Ｗｉ×（Ｄｓｉ−Ｄｄｉ）    （６）
【００７２】
なお、式（６）により類似度Ｓ１を算出した場合、検査画像Ｖ０に応じて類似度Ｓ１の最大値が異なるものとなる。このため、検査画像Ｖ０と症例画像との類似度Ｓ１が最大となる条件、すなわち検査画像Ｖ０と症例画像との差異が無いという条件により類似度Ｓ１を正規化することが好ましい。式（７）は式（６）により算出した類似度Ｓ１を、検査画像Ｖ０と症例画像との類似度Ｓ１が最大となる条件により正規化したものである。式（７）においてＳ２は正規化した類似度である。
【００７３】
Ｓ２＝Ｓ１／ΣＷｉ＝Σ（Ｗｉ×（Ｄｓｉ−Ｄｄｉ）／ΣＷｉ    （７）
【００７４】
なお、式（４）により類似度を算出する場合も、類似度Ｓ０を正規化することが好ましい。式（８）は式（４）を検査画像Ｖ０と症例画像との類似度Ｓ０が最大となる条件により正規化したものである。式（８）においてＳ３は正規化した類似度である。
【００７５】
Ｓ３＝Ｓ０／ΣＷｉ＝Σ（Ｗｉ×Ｄｓｉ）／ΣＷｉ    （８）
【００７６】
検索部２６は、症例データベースＤＢから、類似度Ｓ２に基づいて、検査画像Ｖ０に類似する症例画像を類似症例画像として検索する検索処理を行う。まず、症例データベースＤＢについて説明する。
【００７７】
症例データベースＤＢには、１以上の症例スライス画像からなる症例画像が複数登録されている。詳細には、複数の症例画像のそれぞれについての所見分類結果、特徴量（すなわち第２の特徴量）が、複数の症例画像のそれぞれと対応づけられて登録されている。本実施形態においては、検査画像Ｖ０が新たに取得されると、検査画像Ｖ０が症例データベースＤＢに新たな症例画像として登録される。
【００７８】
検索部２６は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度Ｓ２に基づいて、検査画像Ｖ０に類似する症例画像を類似症例画像として検索する。具体的には、検索部２６は、類似度Ｓ２が大きい順に症例画像をソートして検索結果リストを作成する。図７は検索結果リストを示す図である。図７に示すように、検索結果リストＬ０には、症例データベースＤＢに登録された症例画像が、類似度Ｓ２が大きい順にソートされている。そして、検索部２６は、検索結果リストＬ０におけるソート順が上位所定数の症例画像を、症例データベースＤＢから類似症例画像として抽出する。なお、類似症例画像が類似医用画像に対応する。
【００７９】
表示制御部２７は、検索部２６による検索結果を表示部１４に表示する。図８は検索結果を示す図である。図８に示すように、検索結果５１には、ラベリングされた検査画像Ｖ１およびラベリングされた類似症例画像Ｒ１〜Ｒ４が表示されている。なお、ここでは４つの類似症例画像Ｒ１〜Ｒ４を表示しているが、さらに多くの類似症例画像を表示してもよい。
【００８０】
図８において、検査画像Ｖ１および類似症例画像Ｒ１〜Ｒ４は予め定められた投影方法により投影された投影画像となっている。なお、図８においては説明のために５種類のラベリングのみを示しているが、実際には分類された所見の種類に応じたラベリングがなされている。検査画像Ｖ１の下方には、アキシャル断面、サジタル断面およびコロナル断面の３つの断面における検査スライス画像５２〜５４が表示されている。また、類似症例画像Ｒ１〜Ｒ４の下方にも、同様の３つの断面における症例スライス画像が表示されている。また、検査画像Ｖ１の下方に表示された検査スライス画像５２〜５４および類似症例画像Ｒ１〜Ｒ４の下方に表示された症例スライス画像のスライス面は、入力部１５からの操作により切り替えることが可能である。
【００８１】
次いで、第１の実施形態において行われる処理について説明する。図９は第１の実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、検査画像Ｖ０を取得し（ステップＳＴ１）、所見分類部２２が、検査画像Ｖ０に含まれる肺領域を、複数種類の所見をそれぞれ示す複数種類の病変領域に分類して所見分類結果を生成する（ステップＳＴ２）。そして、特徴量算出部２３が、検査画像Ｖ０において分類された所見毎に第１の特徴量を算出する（ステップＳＴ３）。さらに、重み係数設定部２４が、検査画像Ｖ０の所見毎の重み係数Ｗｉを設定する（ステップＳＴ４）。
【００８２】
続いて、類似度導出部２５が、重み係数に応じて、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像Ｖ０と症例画像との類似度を導出する（ステップＳＴ５）。
なお、上述したように、類似度導出部２５は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度を導出するものである。さらに、検索部２６が、類似度に基づいて検索処理を行い（ステップＳＴ６）、表示制御部２７が検索結果を表示部１４に表示し（ステップＳＴ７）、処理を終了する。
【００８３】
このように、本実施形態によれば、検査画像Ｖ０の画素毎に、複数種類の所見のそれぞれであることの可能性を表す複数の評価値が算出され、複数の評価値に基づいて、検査画像Ｖ０の各画素が複数種類の所見のうちの少なくとも１つの所見に分類される。また、検査画像Ｖ０において分類された所見毎に第１の特徴量が算出される。さらに、検査画像Ｖ０において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数が設定される。そして、重み係数に応じて、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算が行われて、検査画像Ｖ０と症例画像との類似度が導出される。本実施形態によれば、このように、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定するようにしたため、検査画像Ｖ０および症例画像に含まれる所見のサイズに応じて、適切に画像間の類似度を決定することができる。
【００８４】
なお、上記実施形態においては、所見分類部２２は、検査画像Ｖ０の各画素を評価値が最大となる１つの所見に分類しているが、検査画像Ｖ０の各画素を複数の所見に分類してもよい。具体的には、評価値が最大となる所見に加えて、評価値が予め定めら得たしきい値以上となる所見を含む複数の所見に分類してもよい。以下、これを第２の実施形態として説明する。ここで、第２の実施形態においては、所見分類部２２において行われる処理が第１の実施形態と異なり、装置の構成は図２と同一であるため、ここでは装置についての詳細な説明は省略する。
【００８５】
ここで、実際の医用画像の態様は様々であり、定義した所見によりすべての状態を表現できるものではなく、例えば２つの所見が混在したような中間状態が存在する場合がある。また、病気の進行により濃度およびサイズの変化が現れる病変があり、濃度およびサイズのわずかな相違によって所見が異なるものとなる場合がある。しかしながら、このような場合、所見間の類似性は高いものとなる。
【００８６】
このような、所見の混在および所見間の類似性を考慮して類似度を算出することができれば、検査画像Ｖ０と医学的により類似する症例画像を検索することができる。このために、第２の実施形態においては、所見分類部２２において、検査画像Ｖ０の各画素の複数の所見への分類を許容したものである。
【００８７】
ここで、図４に示すように、ある関心領域の中心画素についての所見の種類に応じた評価値が算出された場合、すりガラス影の評価値は最大ではないものの７．６である。このような画素は網状影とすりガラス影とが混在した状態を表している可能性が高い。このため、第２の実施形態においては、所見分類部２２は、ある画素において、評価値が最大となる所見に加えて、評価値が予め定めら得たしきい値以上となる所見にも、その画素を分類する。なお、しきい値としては、評価値の最大値のα倍（例えばα＝０．７）を用いることができる。しかしながら、しきい値はこれに限定されるものではなく、絶対的な値を用いてもよい。なお、第２の実施形態においては、評価値が最大となる所見以外に、評価値がしきい値以上となる所見が存在しない場合がある。そのような場合は、各画素は複数の所見ではなく、１つの所見にのみ分類される。このため、第２の実施形態においては、検査画像Ｖ０の各画素は１以上の所見に分類されることとなる。
【００８８】
図１０は検査画像Ｖ０における所見分類結果を一次元で示す図である。図１０において横軸は画像の位置を、縦軸は所見の評価値を示す。また、図１０においては、検査画像Ｖ０は各画素における所見の評価値の最大値のみを用いて、それぞれが所見ｅ０〜ｅ２である３つの領域Ａ０〜Ａ２に分類されたものとする。また、図１０においては、領域Ａ０における所見ｅ０の評価値の分布を一点鎖線で、領域Ａ１における所見ｅ１の評価値の分布を実線で、領域Ａ２における所見ｅ２の評価値の分布を破線で示している。
【００８９】
図１１は図１０において領域Ａ１における所見ｅ１の評価値のα倍以上となる評価値を考慮した所見分類結果を示す図である。なお、図１１においては、領域Ａ１における所見ｅ１の評価値の最大値のα倍となるしきい値Ｔｈ０の分布を仮想線で示している。図１０において所見ｅ１に分類された領域Ａ１において、所見ｅ１の評価値の最大値のα倍となるしきい値Ｔｈ０を用いて複数の所見への分類を許容すると、所見ｅ２の領域が増加し、その結果、領域Ａ１には、所見ｅ１の領域Ａ１１および所見ｅ２の領域Ａ１２が含まれるものとなる。その結果、検査画像Ｖ０と症例画像との類似度を算出する際に、所見ｅ２についての特徴量を考慮することにより、所見ｅ２の類似度を考慮して、症例画像を検索することが可能となる。
【００９０】
このように、検査画像Ｖ０の各画素を複数の所見に分類した場合、所見分類部２２は各画素を評価値に応じた１以上の所見に分類する。特徴量算出部２３は、第１の実施形態と同様に、分類された所見毎に第１の特徴量を算出する。ここで、第１の実施形態においては、図１０に示す領域Ａ１においては、所見ｅ１の特徴量のみが算出されるが、第２の実施形態においては、図１１に示す領域Ａ１においては、所見ｅ１の特徴量に加えて、領域Ａ１２において所見ｅ２の特徴量が算出される。このため、第２の実施形態においては、特徴量算出部２３は、より多くの領域についての所見ｅ２の特徴量を算出することとなる。
【００９１】
重み係数設定部２４は、上記第１の実施形態と同様に重み係数Ｗｉを算出するが、検査画像Ｖ０の各画素が分類された１以上のすべての所見についての体積または所見占有率を用いて、重み係数を設定する。第２の実施形態においては、検査画像Ｖ０の画素毎において１以上の所見の分類を許容している。このため、評価値の最大値のみを用いた場合、図１２に示すように所見ｅ４および所見ｅ５に分類された領域Ａ４，Ａ５は、１以上の所見の分類を許容した結果、図１３に示すように図１２と比較して所見ｅ５の領域が大きくなるように分類されることにもなり得る。したがって、重み係数設定部２４は、重み係数Ｗｉの設定に際し、所見ｅ４については図１２に示す領域についての所見占有率を、所見ｅ５については図１３に示す領域についての所見占有率を用いることとなる。
【００９２】
類似度導出部２５は、各画素が分類された１以上の所見を用いて、上記第１の実施形態と同様に、検査画像Ｖ０と症例画像との類似度を導出する。なお、所見毎のサイズの差Ｄｓｉについては、重み係数設定部２４が重み係数Ｗｉを設定する場合と同様に、所見ｅ４については図１２に示す領域についての所見占有率を、所見ｅ５については図１３に示す領域についての所見占有率を用いることとなる。
【００９３】
このように、検査画像Ｖ０の画素毎に１以上の所見への分類を許容することにより、複数の所見が混在するような状況を考慮して、検査画像Ｖ０と症例画像との類似度を導出することができる。
【００９４】
また、上記実施形態においては、検査画像Ｖ０の各画素を１以上の所見に分類しているが、複数種類の所見のうち、例えば症状が類似する２以上の所見をまとめグループ所見を定義し、検査画像Ｖ０の各画素を、グループ所見を含めた所見に分類してもよい。例えば、図１２および図１３に示す所見ｅ４と所見ｅ５とを同一のグループ所見ｅ６にまとめた場合、特徴量算出部２３は所見ｅ４および所見ｅ５に加えて、グループ所見ｅ６についての特徴量を算出する。重み係数設定部２４は、所見ｅ４および所見ｅ５に加えて、グループ所見ｅ６についての重み係数を設定し、類似度導出部２５は、所見ｅ４および所見ｅ５に加えて、グループ所見ｅ６をも用いて検査画像Ｖ０と症例画像との類似度を導出することとなる。これにより、症状が類似する所見を考慮して検査画像Ｖ０と症例画像との類似度を決定することができる。
【００９５】
また、上記各実施形態においては、検査画像Ｖ０の画素毎に、複数種類の所見のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、検査画像Ｖ０の各画素を複数種類の所見のうちの少なくとも１つの所見に分類しているが、所見分類の手法は評価値を用いる手法に限定されるものではない。
【００９６】
なお、上記各実施形態においては、画像保管サーバ３に症例データベースＤＢを保存しているが、ストレージ１３に症例データベースＤＢを保存してもよい。
【００９７】
また、上記各実施形態においては、検査画像を症例データベースＤＢに登録しているが、検査画像以外の画像を登録対象画像として症例データベースに登録してもよい。
【００９８】
また、上記各実施形態において、例えば、画像取得部２１、所見分類部２２、特徴量算出部２３、重み係数設定部２４、類似度導出部２５、検索部２６および表示制御部２７といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field  Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【００９９】
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
【０１００】
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
【０１０１】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
【符号の説明】
【０１０２】
１    類似度決定装置
２    ３次元画像撮影装置
３    画像保管サーバ
４    ネットワーク
１１    ＣＰＵ
１２    メモリ
１３    ストレージ
１４    表示部
１５    入力部
２１    画像取得部
２２    所見分類部
２３    特徴量算出部
２４    重み係数設定部
２５    類似度導出部
２６    検索部
２７    表示制御部
４０    多層ニューラルネットワーク
４１    入力層
４２    出力層
５１    検索結果
５２〜５４    検査スライス画像
Ａ０〜Ａ２，Ａ４，Ａ５，Ａ１１，Ａ１２    領域
ＤＢ    症例データベース
ｅ０〜ｅ５    所見
Ｌ０    検査リスト
Ｒ１〜Ｒ４    類似症例画像
Ｖ０，Ｖ１    検査画像
【図１】
2020044736.tif 000003
【図２】
2020044736.tif 000004
【図３】
2020044736.tif 000005
【図４】
2020044736.tif 000006
【図５】
2020044736.tif 000007
【図６】
2020044736.tif 000008
【図７】
2020044736.tif 000009
【図８】
2020044736.tif 000010
【図９】
2020044736.tif 000011
【図１０】
2020044736.tif 000012
【図１１】
2020044736.tif 000013
【図１２】
2020044736.tif 000014
【図１３】
2020044736.tif 000015
【国際調査報告】
2020044736.tif 000016
2020044736.tif 000017