(57)【要約】【課題】画像検索装置、方法およびプログラムにおいて、検査画像に指定されたキー所見に基づいて、検査画像に類似する症例画像を適切に検索できるようにする。【解決手段】所見分類部２２が、検査画像に含まれる対象領域を、複数種類の所見を示す複数種類の病変領域に分類して所見分類結果を生成する。第１の検索部２３が、症例データベースＤＢから、所見分類結果に基づいて、検査画像に類似する症例画像を、第１の類似症例画像として検索する。表示制御部２４が、検査画像および第１の類似症例画像を表示する。キー所見特定部２５が、表示された検査画像に対するキー所見の位置の指定を受け付けてキー所見の位置を特定し、位置が特定されたキー所見の所見名を特定する。第２の検索部２６が、特定されたキー所見の位置および所見名が対応づけられた症例画像を、第１の類似症例画像からさらに検索して第２の類似症例画像を取得する。【選択図】図２
2019082881.tif 000002
【特許請求の範囲】
【請求項１】
１以上の検査スライス画像からなる検査画像に含まれる対象領域を、複数種類の所見をそれぞれ示す複数種類の病変領域に分類して所見分類結果を生成する所見分類部と、
１以上の症例スライス画像からなる症例画像が複数登録された症例データベースであって、複数の前記症例画像のそれぞれについての所見分類結果、および該所見分類結果において診断名を特定するキーとなるキー所見の位置および該キー所見の所見名が、複数の前記症例画像のそれぞれと対応づけられて登録された症例データベースから、前記検査画像の前記所見分類結果に基づいて、前記検査画像に類似する症例画像を、第１の類似症例画像として検索する第１の検索部と、
前記１以上の検査スライス画像および前記検査画像の少なくとも一方を表示部に表示する表示制御部と、
表示された前記１以上の検査スライス画像および前記検査画像の少なくとも一方に対するキー所見の位置の指定を受け付けることにより該キー所見の位置を特定し、かつ該位置が特定されたキー所見の所見名を特定するキー所見特定部と、
前記特定されたキー所見の位置および所見名が対応づけられた１以上の症例スライス画像および症例画像の少なくとも一方を、前記第１の類似症例画像からさらに検索して第２の類似症例画像を取得する第２の検索部とを備えた画像検索装置。
【請求項２】
前記症例データベースに登録される１以上の登録対象スライス画像からなる登録対象画像の診断名を取得する診断名取得部と、
各種診断名と該各種診断名に対応するキー所見の所見名とが対応づけられたテーブルを参照して、前記登録対象画像の診断名および前記登録対象画像における前記所見分類結果に基づいて、前記登録対象画像のキー所見の所見名を特定し、該特定されたキー所見の所見名に基づいて、前記登録対象画像における前記特定されたキー所見の位置を特定する登録用キー所見特定部と、
前記登録対象画像を、該登録対象画像についての前記所見分類結果、前記特定されたキー所見の位置および所見名と対応づけて、新たな症例画像として前記症例データベースに登録する登録部とをさらに備えた請求項１に記載の画像検索装置。
【請求項３】
前記症例データベースに登録される１以上の登録対象スライス画像からなる登録対象画像からキーとなる登録対象スライス画像を取得するキー画像取得部と、
前記キーとなる登録対象スライス画像における前記所見分類結果に基づいて、前記検査画像のキー所見の所見名および該キー所見の位置を特定する登録用キー所見特定部と、
前記登録対象画像を、該登録対象画像についての前記所見分類結果および前記特定されたキー所見の位置および所見名と対応づけて、新たな症例画像として前記症例データベースに登録する登録部とをさらに備えた請求項１に記載の画像検索装置。
【請求項４】
前記症例データベースに登録される１以上の登録対象スライス画像からなる登録対象画像の診断名を取得する診断名取得部と、
各種診断名と該各種診断名に対応するキー所見の所見名とが対応づけられたテーブルを参照して、前記登録対象画像の診断名に基づいて、前記登録対象画像のキー所見の所見名を特定し、該特定されたキー所見の所見名および前記登録対象画像における前記所見分類結果に基づいて、前記登録対象画像における前記特定されたキー所見の位置を特定する第１の登録用キー所見特定部と、
前記登録対象画像を、該登録対象画像についての前記所見分類結果および前記特定されたキー所見の位置および所見名と対応づけて、新たな症例画像として前記症例データベースに登録する第１の登録部と、
前記登録対象画像からキーとなる登録対象スライス画像を取得するキー画像取得部と、
前記キーとなる登録対象スライス画像における前記所見分類結果に基づいて、前記検査画像のキー所見の所見名および該キー所見の位置を特定する第２の登録用キー所見特定部と、
前記登録対象画像を、該登録対象画像についての前記所見分類結果および前記特定されたキー所見の位置および所見名と対応づけて、新たな症例画像として前記症例データベースに登録する第２の登録部とをさらに備えた請求項１に記載の画像検索装置。
【請求項５】
前記症例画像に含まれる前記対象領域が複数のサブ領域に分割されてなり、該複数のサブ領域のそれぞれについて前記病変領域に関する特徴量が算出され、該特徴量が前記症例画像と対応づけられて前記症例データベースに登録されてなり、
前記第１の検索部は、前記検査画像に含まれる前記対象領域を、前記症例画像のサブ領域に対応する複数のサブ領域に分割し、該複数のサブ領域のそれぞれについて、前記病変領域に関する特徴量を算出し、前記検査画像と前記症例データベースに登録された前記症例画像との、前記サブ領域間における特徴量の類似度の重み付け総和に基づいて、前記第１の類似症例画像を前記症例データベースから検索する請求項１から４のいずれか１項に記載の画像検索装置。
【請求項６】
前記所見分類部は、前記複数種類の所見を分類するようにディープラーニングがなされた判別器を有し、該判別器により前記対象領域を前記複数種類の所見に分類する請求項１から５のいずれか１項に記載の画像検索装置。
【請求項７】
１以上の検査スライス画像からなる検査画像に含まれる対象領域を、複数種類の所見をそれぞれ示す複数種類の病変領域に分類して所見分類結果を生成し、
１以上の症例スライス画像からなる症例画像が複数登録された症例データベースであって、複数の前記症例画像のそれぞれについての所見分類結果、および該所見分類結果において診断名を特定するキーとなるキー所見の位置および該キー所見の所見名が、複数の前記症例画像のそれぞれと対応づけられて登録された症例データベースから、前記検査画像の前記所見分類結果に基づいて、前記検査画像に類似する症例画像を、第１の類似症例画像として検索し、
前記１以上の検査スライス画像および前記検査画像の少なくとも一方を表示部に表示し、
表示された前記１以上の検査スライス画像および前記検査画像の少なくとも一方に対するキー所見の位置の指定を受け付けることにより該キー所見の位置を特定し、かつ該位置が特定されたキー所見の所見名を特定し、
前記特定されたキー所見の位置および所見名が対応づけられた１以上の症例スライス画像および症例画像の少なくとも一方を、前記第１の類似症例画像からさらに検索して第２の類似症例画像を取得する画像検索方法。
【請求項８】
１以上の検査スライス画像からなる検査画像に含まれる対象領域を、複数種類の所見をそれぞれ示す複数種類の病変領域に分類して所見分類結果を生成する手順と、
１以上の症例スライス画像からなる症例画像が複数登録された症例データベースであって、複数の前記症例画像のそれぞれについての所見分類結果、および該所見分類結果において診断名を特定するキーとなるキー所見の位置および該キー所見の所見名が、複数の前記症例画像のそれぞれと対応づけられて登録された症例データベースから、前記検査画像の前記所見分類結果に基づいて、前記検査画像に類似する症例画像を、第１の類似症例画像として検索する手順と、
前記１以上の検査スライス画像および前記検査画像の少なくとも一方を表示部に表示し、
表示された前記１以上の検査スライス画像および前記検査画像の少なくとも一方に対するキー所見の位置の指定を受け付けることにより該キー所見の位置を特定し、かつ該位置が特定されたキー所見の所見名を特定する手順と、
前記特定されたキー所見の位置および所見名が対応づけられた１以上の症例スライス画像および症例画像の少なくとも一方を、前記第１の類似症例画像からさらに検索して第２の類似症例画像を取得する手順とをコンピュータに実行させる画像検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、症例画像を１枚以上含む症例が複数件登録された症例データベースから、検査の対象となる検査画像に類似する症例画像を検索する画像検索装置、方法およびプログラムに関するものである。
【背景技術】
【０００２】
近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像が画像診断に用いられるようになってきている。
【０００３】
一方、医療分野において、検査の対象となる検査画像に基づいて、検査画像に類似する過去の症例を検索する類似症例検索装置が知られている（例えば非特許文献１および特許文献１，２参照）。検査画像は、例えば、ＣＴ装置により取得された３次元画像であり、患者の疾患の特定等の患者の診断を行うために用いられる。ここで、ＣＴ装置を用いた１回の検査では、複数枚のスライス画像が取得される。このため、１件の検査データには、１枚以上のスライス画像（検査スライス画像とする）からなる検査画像が含まれる。症例は、過去の検査データの集積によって作成される場合が多いため、１件の症例のデータにも、１枚以上のスライス画像（以下、症例スライス画像とする）からなる症例画像が含まれる。
【０００４】
非特許文献１には、肺の症例画像を複数種類の所見をそれぞれ示す複数の病変領域に分類した上で、症例データベースに登録しておき、検査画像についても同様に肺を複数種類の所見をそれぞれ示す複数の病変領域に分類し、検査画像についての所見の分類結果に基づいて、検査画像に類似する症例画像を検索する手法が提案されている。
【０００５】
また、特許文献１には、検査画像内に存在する、異なる対象病変をそれぞれ１つ以上含む複数の関心領域の指定を受け付け、関心領域毎の特徴量を取得し、関心領域毎の特徴量と、症例データベースに登録された、症例画像内の病変である症例病変の特徴量とを比較して、関心領域毎の個別類似度を算出し、算出した複数の個別類似度に基づいて、総合類似度を算出し、総合類似度に基づいて検査画像に類似する類似症例を検索する手法が提案されている。
【０００６】
また、特許文献２には、医用画像を構成する複数の画像の中から１つまたは複数の画像をキー画像として選択し、人体の特徴的な局所構造の位置を医用画像から検出し、キー画像またはキー画像の周辺にある局所構造を特定し、特定した局所構造の情報を第１の局所構造情報として生成し、所見の入力欄に記載する候補として第１の局所構造情報を表示し、現在作成中の新規読影レポートの第１の局所構造情報に基づいて記憶された複数の読影レポートから、新規読影レポートの参照用の読影レポートを検索する手法が提案されている。
【０００７】
ところで、肺の疾患として間質性肺炎が知られている。間質性肺炎の患者のＣＴ画像を解析することにより、ＣＴ画像に含まれる蜂窩肺、網状影および嚢胞等の特定の所見を示す病変を分類して定量化する手法が提案されている（非特許文献２，３参照）。このようにＣＴ画像を解析して病変を分類して定量化することにより、肺の疾患の程度を容易に判定することができる。また、このように分類して定量化した領域にそれぞれ異なる色を割り当てて表示することにより、特定の症状の領域がどの程度画像内に含まれているかを、容易に診断できることとなる。
【０００８】
また、ＣＴ画像等の３次元画像から注目する臓器等の構造物を抽出するためには、３次元画像において構造物を検出する必要がある。ここで、画像における注目する画素を複数のクラスに分類するために、深層学習（ディープラーニング）の手法が提案されている。ディープラーニングとは、複数の処理層が階層的に接続されることにより構築された多層ニューラルネットワークを用いた機械学習の手法である。
【０００９】
ディープラーニングにおいては、多層ニューラルネットワークの各層において、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して演算処理を行う。そして、これにより得られる特徴量のデータに対して、次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力されたデータを複数のクラスに分類することができる。
【００１０】
このようなディープラーニングの手法を、上述した３次元画像に適用して、３次元画像の各画素を複数のクラスに分類することが考えられる。例えば、３次元画像に含まれる複数種類の構造物を分類するに際し、３次元画像を入力として、３次元画像における処理対象となる画素を、複数種類の構造物のいずれかに分類するように、ニューラルネットワークに対してディープラーニングを行う。このようにしてディープラーニングがなされたニューラルネットワークを用いることにより、入力された３次元画像の対象とする画素を、複数種類の構造物のいずれかに分類することが可能となる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１５−１９１２８５号公報
【特許文献２】特開２０１５−１８７８４５号公報
【非特許文献】
【００１２】
【非特許文献１】Case-based lung image categorization and retrieval  For interstitial lung diseases: clinical workflow、Adrien Depeursingeら、Int J CARS (2012) 7:97-110、Published online: 1 June 2011
【非特許文献２】Evaluation of computer-based computer tomography stratification against outcome models in connective tissue disease-related interstitial lung disease: a patient outcome study、Joseph Jacob1ら、BMC Medicine (2016) 14:190、DOI 10.1186/s12916-016-0739-7
【非特許文献３】コンピュータによる間質性肺炎のＣＴ画像の定量評価、岩澤多恵、断層映像研究会雑誌  第４１巻第２号、２０１４年８月
【発明の概要】
【発明が解決しようとする課題】
【００１３】
非特許文献１に記載された手法を用いることにより、検査画像の肺に含まれる病変が類似する症例画像を検索することができる。しかしながら、非特許文献１に記載された手法は、診断名を特定する上で特徴的な所見（以下、キー所見とする）に基づいて検索を行うものではない。また、特許文献１に記載された手法は、キー所見を示す病変を囲むように関心領域を指定すれば、キー所見に基づく検索を行うことができる。しかしながら、関心領域にキー所見を示す病変以外の他の病変が含まれると、キー所見に基づく検索を精度よく行うことができない。また、関心領域の囲み方の違いにより、検索結果が大きく異なってしまう可能性がある。また、特許文献２に記載された手法は、選択されたキー画像から局所構造を特定するものである。このため、医師がキー画像を保存しなかった場合、キー所見を特定することができない。
【００１４】
本発明は上記事情に鑑みなされたものであり、検査画像に対して指定されたキー所見に基づいて、検査画像に類似する症例画像を適切に検索できるようにすることを目的とする。
【課題を解決するための手段】
【００１５】
本発明による画像検索装置は、１以上の検査スライス画像からなる検査画像に含まれる対象領域を、複数種類の所見をそれぞれ示す複数種類の病変領域に分類して所見分類結果を生成する所見分類部と、
１以上の症例スライス画像からなる症例画像が複数登録された症例データベースであって、複数の症例画像のそれぞれについての所見分類結果、および所見分類結果において診断名を特定するキーとなるキー所見の位置およびキー所見の所見名が、複数の症例画像のそれぞれと対応づけられて登録された症例データベースから、検査画像の所見分類結果に基づいて、検査画像に類似する症例画像を、第１の類似症例画像として検索する第１の検索部と、
１以上の検査スライス画像および検査画像の少なくとも一方を表示部に表示する表示制御部と、
表示された１以上の検査スライス画像および検査画像の少なくとも一方に対するキー所見の位置の指定を受け付けることによりキー所見の位置を特定し、かつ位置が特定されたキー所見の所見名を特定するキー所見特定部と、
特定されたキー所見の位置および所見名が対応づけられた１以上の症例スライス画像および症例画像の少なくとも一方を、第１の類似症例画像からさらに検索して第２の類似症例画像を取得する第２の検索部とを備える。
【００１６】
「病変領域」とは、対象領域内における特定の症状または特定の形態を呈する領域を意味する。このため、本実施形態においては、心臓および横隔膜等の特定の形態を呈する構造物そのものの領域も病変領域に含まれるものとする。なお、複数種類の病変領域のそれぞれに対して、医師による所見が得られることとなる。このため、複数種類の病変領域のそれぞれが、所見を示すものとなる。
【００１７】
なお、本発明による画像検索装置においては、症例データベースに登録される１以上の登録対象スライス画像からなる登録対象画像の診断名を取得する診断名取得部と、
各種診断名と各種診断名に対応するキー所見の所見名とが対応づけられたテーブルを参照して、登録対象画像の診断名に基づいて、登録対象画像のキー所見の所見名を特定し、特定されたキー所見の所見名および登録対象画像における所見分類結果に基づいて、登録対象画像における特定されたキー所見の位置を特定する登録用キー所見特定部と、
登録対象画像を、登録対象画像についての所見分類結果、特定されたキー所見の位置および所見名と対応づけて、新たな症例画像として症例データベースに登録する登録部とをさらに備えるものとしてもよい。
【００１８】
また、本発明による画像検索装置においては、症例データベースに登録される１以上の登録対象スライス画像からなる登録対象画像からキーとなる登録対象スライス画像を取得するキー画像取得部と、
キーとなる登録対象スライス画像における所見分類結果に基づいて、検査画像のキー所見の所見名およびキー所見の位置を特定する登録用キー所見特定部と、
登録対象画像を、登録対象画像についての所見分類結果および特定されたキー所見の位置および所見名と対応づけて、新たな症例画像として症例データベースに登録する登録部とをさらに備えるものとしてもよい。
【００１９】
また、本発明による画像検索装置においては、症例データベースに登録される１以上の登録対象スライス画像からなる登録対象画像の診断名を取得する診断名取得部と、
各種診断名と各種診断名に対応するキー所見の所見名とが対応づけられたテーブルを参照して、登録対象画像の診断名に基づいて、登録対象画像のキー所見の所見名を特定し、特定されたキー所見の所見名および登録対象画像における所見分類結果に基づいて、登録対象画像における特定されたキー所見の位置を特定する第１の登録用キー所見特定部と、
登録対象画像を、登録対象画像についての所見分類結果および特定されたキー所見の位置および所見名と対応づけて、新たな症例画像として症例データベースに登録する第１の登録部と、
登録対象画像からキーとなる登録対象スライス画像を取得するキー画像取得部と、
キーとなる登録対象スライス画像における所見分類結果に基づいて、検査画像のキー所見の所見名およびキー所見の位置を特定する第２の登録用キー所見特定部と、
登録対象画像を、登録対象画像についての所見分類結果および特定されたキー所見の位置および所見名と対応づけて、新たな症例画像として症例データベースに登録する第２の登録部とをさらに備えるものとしてもよい。
【００２０】
「登録対象画像」とは、症例データベースに登録される画像であり、検査画像が登録対象画像となり得る場合がある。この場合、登録用キー所見特定部は、キー所見特定部と兼用することが可能である。
【００２１】
また、本発明による画像検索装置においては、症例画像に含まれる対象領域が複数のサブ領域に分割されてなり、複数のサブ領域のそれぞれについて病変領域に関する特徴量が算出され、特徴量が症例画像と対応づけられて症例データベースに登録されてなるものとし、
第１の検索部は、検査画像に含まれる対象領域を、症例画像のサブ領域に対応する複数のサブ領域に分割し、複数のサブ領域のそれぞれについて、病変領域に関する特徴量を算出し、検査画像と症例データベースに登録された症例画像との、サブ領域間における特徴量の類似度の重み付け総和に基づいて、第１の類似症例画像を症例データベースから検索するようにしてもよい。
【００２２】
また、本発明による画像検索装置においては、所見分類部は、複数種類の所見を分類するようにディープラーニングがなされた判別器を有し、判別器により対象領域を複数種類の所見に分類するものであってもよい。
【００２３】
本発明による画像検索方法は、１以上の検査スライス画像からなる検査画像に含まれる対象領域を、複数種類の所見をそれぞれ示す複数種類の病変領域に分類して所見分類結果を生成し、
１以上の症例スライス画像からなる症例画像が複数登録された症例データベースであって、複数の症例画像のそれぞれについての所見分類結果、および所見分類結果において診断名を特定するキーとなるキー所見の位置およびキー所見の所見名が、複数の症例画像のそれぞれと対応づけられて登録された症例データベースから、検査画像の所見分類結果に基づいて、検査画像に類似する症例画像を、第１の類似症例画像として検索し、
１以上の検査スライス画像および検査画像の少なくとも一方を表示部に表示し、
表示された１以上の検査スライス画像および検査画像の少なくとも一方に対するキー所見の位置の指定を受け付けることによりキー所見の位置を特定し、かつ位置が特定されたキー所見の所見名を特定し、
特定されたキー所見の位置および所見名が対応づけられた１以上の症例スライス画像および症例画像の少なくとも一方を、第１の類似症例画像からさらに検索して第２の類似症例画像を取得する。
【００２４】
なお、本発明による画像検索方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２５】
本発明による他の画像検索装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
１以上の検査スライス画像からなる検査画像に含まれる対象領域を、複数種類の所見をそれぞれ示す複数種類の病変領域に分類して所見分類結果を生成し、
１以上の症例スライス画像からなる症例画像が複数登録された症例データベースであって、複数の症例画像のそれぞれについての所見分類結果、および所見分類結果において診断名を特定するキーとなるキー所見の位置およびキー所見の所見名が、複数の症例画像のそれぞれと対応づけられて登録された症例データベースから、検査画像の所見分類結果に基づいて、検査画像に類似する症例画像を、第１の類似症例画像として検索し、
１以上の検査スライス画像および検査画像の少なくとも一方を表示部に表示し、
表示された１以上の検査スライス画像および検査画像の少なくとも一方に対するキー所見の位置の指定を受け付けることによりキー所見の位置を特定し、かつ位置が特定されたキー所見の所見名を特定し、
特定されたキー所見の位置および所見名が対応づけられた１以上の症例スライス画像および症例画像の少なくとも一方を、第１の類似症例画像からさらに検索して第２の類似症例画像を取得する処理を実行する。
【発明の効果】
【００２６】
本発明によれば、１以上の検査スライス画像からなる検査画像に含まれる対象領域が、複数の所見をそれぞれ示す複数の病変領域に分類されて所見分類結果が生成される。そして、検査画像の所見分類結果に基づいて、症例データベースから検査画像に類似する症例画像が第１の類似症例画像として検索され、１以上の検査スライス画像および検査画像の少なくとも一方が表示部に表示される。そして、表示された１以上の検査スライス画像および検査画像の少なくとも一方に対するキー所見の位置の指定が受け付けられてキー所見の位置が特定され、かつ位置が特定されたキー所見の所見名が特定される。さらに、特定されたキー所見の位置および所見名が対応づけられた１以上の症例スライス画像および症例画像の少なくとも一方が、第１の類似症例画像からさらに検索されて第２の類似症例画像が取得される。このため、検査画像に対して指定されたキー所見に基づいて、検査画像に類似する症例画像を適切に検索することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１の実施形態による画像検索装置を適用した、診断支援システムの概要を示すハードウェア構成図
【図２】第１の実施形態による画像検索装置の構成を示す概略ブロック図
【図３】多層ニューラルネットワークの一例を示す図
【図４】ラベリングされた検査画像を示す図
【図５】各種診断名と各種診断名に対応するキー所見の所見名とが対応づけられたテーブルを示す図
【図６】キー所見の位置の特定を説明するための図
【図７】症例データベースを示す図
【図８】第１の検索結果リストを示す図
【図９】第１の検索結果を示す図
【図１０】検査画像に代えてアキシャル断面の検査スライス画像が表示された第１の検索結果を示す図
【図１１】第２の検索結果を示す図
【図１２】第１の実施形態において行われる処理を示すフローチャート
【図１３】第２の実施形態による画像検索装置の構成を示す概略ブロック図
【図１４】症例データベースを示す図
【図１５】第３の実施形態による画像検索装置の構成を示す概略ブロック図
【発明を実施するための形態】
【００２８】
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の第１の実施形態による画像検索装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による画像検索装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
【００２９】
３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。この３次元画像撮影装置２により生成された、複数のスライス画像からなる３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は肺であり、３次元画像撮影装置２はＣＴ装置であり、被検体の肺を含む胸部のＣＴ画像を３次元画像として生成する。
【００３０】
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。なお、本実施形態においては、画像保管サーバ３には、検査の対象となる３次元画像（以下、検査画像とする）、および症例画像が登録された症例データベースＤＢが保存されているものとする。症例データベースＤＢについては後述する。また、本実施形態においては、検査画像は１以上のスライス画像（以下、検査スライス画像とする）からなる３次元画像である。また、症例画像も１以上のスライス画像（以下、症例スライス画像とする）からなる３次元画像である。
【００３１】
画像検索装置１は、１台のコンピュータに、本発明の画像検索プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像検索プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
【００３２】
図２は、コンピュータに画像検索プログラムをインストールすることにより実現される本発明の第１の実施形態による画像検索装置の概略構成を示す図である。図２に示すように、画像検索装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、画像検索装置１には、ディスプレイ１４、並びにキーボードおよびマウス等の入力部１５が接続されている。なお、ディスプレイ１４が表示部に対応する。
【００３３】
ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の検査画像および処理に必要な情報を含む各種情報が記憶されている。
【００３４】
また、メモリ１２には、画像検索プログラムが記憶されている。画像検索プログラムは、ＣＰＵ１１に実行させる処理として、検査の対象となる検査画像を取得する画像取得処理、検査画像に含まれる対象領域を、複数種類の所見をそれぞれ示す複数種類の病変領域に分類して所見分類結果を生成する所見分類処理、症例画像が複数登録された症例データベースから、検査画像の所見分類結果に基づいて、検査画像に類似する症例画像を、第１の類似症例画像として検索する第１の検索処理、１以上の検査スライス画像および検査画像の少なくとも一方をディスプレイ１４に表示する表示制御処理、表示された１以上の検査スライス画像および検査画像の少なくとも一方に対するキー所見の位置の指定を受け付けることによりキー所見の位置を特定し、かつ位置が特定されたキー所見の所見名を特定するキー所見特定処理、特定されたキー所見の位置および所見名が対応づけられた１以上の症例スライス画像および症例画像の少なくとも一方を、第１の類似症例画像からさらに検索して第２の類似症例画像を取得する第２の検索処理、並びに検査画像を症例データベースに登録するデータベース管理処理を規定する。なお、表示制御処理には、第１の検索処理による第１の検索結果および第２の検索処理による第２の検索結果をディスプレイ１４に表示する処理を含む。
【００３５】
また、データベース管理処理として、症例データベースに登録される１以上の登録対象スライス画像からなる登録対象画像の診断名を取得する診断名取得処理、各種診断名と各種診断名に対応するキー所見の所見名とが対応づけられたテーブルを参照して、登録対象画像の診断名に基づいて、登録対象画像のキー所見の所見名を特定し、特定されたキー所見の所見名および登録対象画像における所見分類結果に基づいて、登録対象画像における特定されたキー所見の位置を特定する登録用キー所見特定処理、並びに登録対象画像を、登録対象画像についての所見分類結果、特定されたキー所見の位置および所見名と対応づけて、新たな症例画像として症例データベースに登録する登録処理を規定する。
【００３６】
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、所見分類部２２、第１の検索部２３、表示制御部２４、キー所見特定部２５、第２の検索部２６、およびデータベース管理部（以下ＤＢ管理部とする）２７として機能する。また、ＤＢ管理部２７は、診断名取得部３１、登録用キー所見特定部３２および登録部３３として機能する。なお、本実施形態においては、画像検索プログラムによって、各部の機能を実行するようにしたが、これに限らず、例えば複数のＩＣ（Integrated Circuit）、プロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、およびメモリ等を適宜組み合わせた専用回路によって各部の機能を実行するようにしてもよい。あるいは、専用回路に記憶されたプログラム命令と、専用回路のプログラムを利用するようにプログラムされた汎用のＣＰＵ１１によって実行されるプログラム命令とを組み合わせるようにしてもよい。
【００３７】
画像取得部２１は、検査の対象となる被検体の検査画像Ｖ０を取得する。本実施形態においては、検査画像Ｖ０は複数の検査スライス画像からなる３次元画像である。なお、検査画像Ｖ０が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３から検査画像Ｖ０を取得するようにしてもよい。
【００３８】
所見分類部２２は、検査画像Ｖ０に含まれる肺領域を複数種類の所見をそれぞれ示す複数種類の病変領域に分類する。なお、肺領域が対象領域に対応する。本実施形態においては、所見分類部２２は、肺領域についての複数種類の病変領域を分類できるようにディープラーニング（深層学習）がなされた多層ニューラルネットワークからなる判別器を有する。ディープラーニングがなされた多層ニューラルネットワークにおいては、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して、各層において各種カーネルを用いて演算処理を行い、これにより得られる特徴量のデータに対して次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力されたデータを複数のクラスに分類することができる。
【００３９】
なお、本実施形態においては、多層ニューラルネットワークを、検査画像Ｖ０を入力として、肺領域の複数種類の病変領域への分類結果を出力するものとして説明するが、検査画像Ｖ０を構成する複数の検査スライス画像のそれぞれを入力とし、肺領域の複数種類の病変領域への分類結果を出力するように構成することも可能である。
【００４０】
図３は多層ニューラルネットワークの一例を示す図である。図３に示すように多層ニューラルネットワーク４０は、入力層４１および出力層４２を含む複数の階層からなる。本実施形態においては、検査画像Ｖ０に含まれる肺領域を、正常肺、ＧＧＯ（ground glass opacity）腫瘤結節影、Ｍｉｘｅｄ腫瘤結節影、Ｓｏｌｉｄ腫瘤結節影、すりガラス影、淡いすりガラス影、小葉中心性すりガラス影、コンソリデーション、低吸収、小葉中心性気腫、汎小葉性気腫、正常肺気腫傾向、嚢胞、ＴＩＢ（tree-in-bud appearance）、小結節（非小葉中心性）、小葉中心性小結節影、小葉間隔壁肥厚、気管支壁肥厚、気管支拡張、細気管支拡張、気管支透亮像、牽引性気管支拡張、空洞浸潤影、空洞腫瘤、網状影、微細網状影、蜂窩肺、胸水、胸膜肥厚、胸壁、心臓、横隔膜、および血管の３３種類の所見をそれぞれ示す３３種類の病変領域に分類するように学習がなされている。なお、これら３３種類の病変領域により示される所見の名称を、以降の説明において所見名と称する。また、本実施形態においては、病変領域には、肺領域内における特定の症状または特定の形態を呈する領域を含む。このため、本実施形態においては、心臓および横隔膜等の特定の形態を呈する構造物そのものの領域も病変領域に含まれるものとする。なお、本実施形態においては分類数を３３としているが、これより多くても少なくてもよい。
【００４１】
本実施形態においては、これら３３種類の病変について、数百万という多数の教師データを用いて、多層ニューラルネットワーク４０に学習させる。学習の際には病変が既知の３次元画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ×１．５ｃｍ）に正規化されたボクセル領域を切り出し、切り出したボクセル領域の画像を教師データとして用いる。そして、多層ニューラルネットワーク４０に教師データを入力して、病変領域の分類結果を出力させる。次いで、出力された結果を教師データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、多層ニューラルネットワーク４０の各層に含まれるユニット（図３に丸印で示す）の各階層間における結合の重みを修正する。結合の重みの修正を、多数の教師データを用いて、予め定められた回数、または出力される分類結果の正解率があらかじめ定められた正解率になるまで繰り返し行い、学習を終了する。
【００４２】
なお、入力される画像が検査スライス画像である場合において、多層ニューラルネットワーク４０の学習の際には、病変が既知の３次元画像を構成するスライス画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ）に正規化された２次元領域を切り出し、切り出した２次元領域の画像を教師データとして用いる。
【００４３】
所見分類部２２は、分類のために、検査画像Ｖ０から対象領域である肺領域を抽出する。肺領域を抽出する手法としては、検査画像Ｖ０における画素毎の信号値をヒストグラム化し、肺をしきい値処理することにより抽出する方法、または肺を表すシード点に基づく領域拡張法(Region Growing)等、任意の手法を用いることができる。
【００４４】
所見分類部２２は、上述したように学習がなされた多層ニューラルネットワーク４０からなる判別器に、抽出した肺領域から教師データと同一のボクセル領域を順次切り出して入力する。これにより、切り出した領域の中心画素について、３３種類の病変領域のそれぞれに対する３３個の確率値が出力される。所見分類部２２は、多層ニューラルネットワーク４０に入力された領域の中心画素を、３３個の確率値のうち最も確率値が大きい病変領域に分類して所見分類結果を生成する。これにより、検査画像Ｖ０に含まれる肺領域の全画素が３３種類の病変領域のいずれかに分類される。
【００４５】
所見分類部２２は、分類された各病変領域を所見分類結果に基づいてラベリングすることにより、ラベリングされた検査画像Ｖ１を生成する。具体的には、所見分類部２２は、検査画像Ｖ０に含まれる肺領域の各画素に対して、同一の分類とされた画素を抽出する。そして、一定以上の体積となる病変領域に対して、病変領域毎に異なる色を割り当てることによりラベリングを行って検査画像Ｖ１を生成する。なお、検査スライス画像にラベリングを行う場合には、ラベリングは一定以上の面積となる病変領域に対して行われる。
【００４６】
図４はラベリングされた検査画像を示す図である。なお、図４においては、検査画像Ｖ１におけるある断層面の検査スライス画像を示しているが、参照符号としてＶ１を示している。また、図４においては、説明を簡単なものとするために、３３種類の病変領域のうちの、すりガラス影、正常影、気管支、蜂窩肺、網状影、コンソリデーション、低吸収域および嚢胞の８種類の病変領域のみを示している。図４に示すように、ラベリングされた検査画像Ｖ１においては、分離された病変領域のそれぞれに異なる色が割り当てられている。図４においては色が異なることを模様が異なることにより示している。
【００４７】
第１の検索部２３は、症例データベースＤＢから、検査画像Ｖ０の所見分類結果に基づいて、検査画像Ｖ０に類似する症例画像を、第１の類似症例画像として検索する。まず、症例データベースＤＢについて説明する。
【００４８】
症例データベースＤＢには、１以上の症例スライス画像からなる症例画像が複数登録されている。詳細には、複数の症例画像のそれぞれについての所見分類結果、所見分類結果において診断名を特定するキーとなるキー所見の位置、およびキー所見の所見名が、複数の症例画像のそれぞれと対応づけられて登録されている。本実施形態においては、検査画像Ｖ０が新たに取得されると、検査画像Ｖ０が症例データベースＤＢに新たな症例画像として登録される。なお、症例データベースＤＢに登録されるのは主に検査画像であるが、検査画像でない画像も含まれる場合があるため、症例データベースＤＢに登録される画像を、以降の説明においては登録対象画像と称する場合があるものとする。以下、検査画像の症例データベースへの登録について説明する。
【００４９】
検査画像Ｖ０の新たな症例画像としての症例データベースＤＢへの登録は、ＤＢ管理部２７が行う。ここで、症例データベースＤＢに登録される検査画像Ｖ０は、診断により作成された電子カルテと対応づけられて画像保管サーバ３に保存されている。電子カルテには、被検体である患者の診断結果が記述されている。診断結果には検査画像Ｖ０の診断名も記述されている。検査画像Ｖ０を新たな症例画像として症例データベースＤＢに登録するために、ＤＢ管理部２７の診断名取得部３１は、症例データベースＤＢに登録する検査画像Ｖ０に基づいて作成された電子カルテを参照して、症例データベースＤＢに登録する検査画像Ｖ０の診断名を取得する。
【００５０】
ＤＢ管理部２７の登録用キー所見特定部３２は、各種診断名と各種診断名に対応するキー所見の所見名とが対応づけられたテーブルを参照して、検査画像Ｖ０の診断名および検査画像Ｖ０における所見分類結果に基づいて、検査画像Ｖ０のキー所見の所見名を特定する。図５は各種診断名と各種診断名に対応するキー所見の所見名とが対応づけられたテーブルを示す図である。図５に示すように、テーブルＬＵＴ１には、各種診断名と各種診断名に対応するキー所見の所見名とが対応づけられている。例えば、「膠原病肺（１）ＲＡ」の診断名には、「ＴＩＢ、気管支拡張、牽引性気管支拡張、すりガラス影および蜂窩肺」のキー所見の所見名が対応づけられている。登録用キー所見特定部３２は、テーブルＬＵＴ１を参照して、検査画像Ｖ０の診断名に基づいてキー所見の所見名を特定する。なお、テーブルＬＵＴ１はストレージ１３に保存されているものとするが、画像保管サーバ３に保存されていてもよい。
【００５１】
また、登録用キー所見特定部３２は、特定された所見名および検査画像Ｖ０の所見分類結果に基づいて、検査画像Ｖ０における特定されたキー所見の位置を特定する。例えば、検査画像Ｖ０の所見分類結果に基づいて生成されるラベリングされた検査画像Ｖ１が図４に示すものであり、特定された所見名がすりガラス影の場合、図６に示すように、二重線で囲んだすりガラス影の領域の位置がキー所見の位置として特定される。なお、キー所見に対応する病変領域は、検査画像Ｖ０においては３次元空間に存在し、検査スライス画像においては２次元空間に存在する。本実施形態においては、キー所見の位置としては、キー所見に対応する病変領域内における任意の画素位置を用いればよい。ここで、任意の画素位置としては、病変領域内の全ての画素位置であってもよく、重心等の領域を代表する画素位置であってもよい。本実施形態においては、病変領域の重心位置をキー所見の位置として用いるものとする。
【００５２】
なお、検査画像Ｖ０においては、後述するようにキー所見特定部２５により、キー所見の位置および所見名が特定される。このため、ＤＢ管理部２７の登録用キー所見特定部３２においては、キー所見特定部２５により特定されたキー所見の位置および所見名を用いてもよい。この場合、登録用キー所見特定部３２は、キー所見特定部２５と兼用することが可能である。
【００５３】
登録部３３は、検査画像Ｖ０を検査画像Ｖ０についての所見分類結果、特定されたキー所見の位置、および所見名と対応づけて、新たな症例画像として症例データベースＤＢに登録する。図７は症例データベースＤＢの構成を示す図である。図７に示すように、症例データベースＤＢには、ＩＭＧ０００１．ｄｃｍ等の症例画像のファイル名、所見分類結果、ＩＭＧ０００１＿Ｌ．ｄｃｍ等のラベリングされた症例画像のファイル名、（ｘ１，ｙ１，ｚ１）等の特定されたキー所見の位置およびすりガラス影等のキー所見の所見名が登録されている。ここで、所見分類結果としては、検査画像Ｖ０における各画素位置における３３種類の病変領域のそれぞれに対する確率値（ｐ１〜ｐ３３）が登録されているが、ここでは説明を簡単なものとするため、ＩＭＧ０００１．ｄｃｍについてのみ所見分類結果を示している。また、図７に示す症例データベースＤＢのキー所見の位置には、１つの座標位置のみしか示していないが、検査画像Ｖ０に複数のキー所見が含まれる場合は、複数の座標位置が登録される。
【００５４】
第１の検索部２３は、このようにして症例画像が登録された症例データベースＤＢから、検査画像Ｖ０の所見分類結果に基づいて、検査画像Ｖ０に類似する症例画像を、第１の類似症例画像として検索する。具体的には、検査画像Ｖ０の所見分類結果と、症例データベースＤＢに登録された症例画像の所見分類結果との類似度を算出し、類似度に基づいて第１の類似症例画像を検索する。以下、類似度の算出について説明する。
【００５５】
第１の検索部２３は、検査画像Ｖ０に含まれる肺領域を複数のサブ領域に分割する。本実施形態においては、片肺毎に肺領域を中枢および末梢の２つの領域に分割し、かつ上、中および下の３領域に分割し、さらに背側および腹側の２領域に分割する。これにより、肺領域は片肺毎に１２個のサブ領域に分割される。ここで、中枢とは肺における気管に近い領域を意味し、末梢とは肺における気管から離れた領域を意味する。なお、中枢と末梢との境界は、例えば気管が分岐する位置からの距離に応じて予め定めておけばよい。また、上、中および下の３領域に分割する際の境界は、例えば肺の上端からの距離に応じて予め定めておけばよい。また、背側および腹側の２領域に分割する際の境界は、例えば肺の最も腹側または最も背側の位置からの距離に応じて予め定めておけばよい。なお、肺領域の分割の手法はこれに限定されるものではなく、胸膜下に近い領域と離れた領域、および血管に近い領域と離れた領域というように、さらに細かいサブ領域に分割してもよい。
【００５６】
第１の検索部２３は、検査画像Ｖ０におけるサブ領域毎に、類似度を算出するための特徴量を算出する。本実施形態においては、３３種類の病変領域のそれぞれについての確率値のサブ領域内における３３個の平均値を、サブ領域の特徴量として算出する。このため、特徴量は３３次元の値となる。第１の検索部２３は、症例データベースＤＢに登録された全ての症例画像についても同様に片肺毎に１２のサブ領域に分割し、サブ領域毎に３３個の特徴量を算出する。なお、症例画像についてのサブ領域毎の特徴量は、予め算出して症例データベースＤＢに登録しておくことが、検索処理の高速化を図る上で好ましい。
【００５７】
そして、第１の検索部２３は、検査画像Ｖ０と症例画像のそれぞれとのサブ領域間における特徴量の類似度を算出する。類似度としては、検査画像Ｖ０および症例画像の対応するサブ領域における、対応する特徴量間の相関値を用いることができる。相関値としては、例えば差分値の絶対値の総和、および差分値の二乗和等を用いることができる。第１の検索部２３は、サブ領域毎に特徴量の類似度を算出し、さらにサブ領域毎に算出した特徴量の類似度の重み付け総和を算出する。重みは全てのサブ領域についての類似度に対して同一（例えば１．０）とすればよい。しかしながら、肺の中枢部分に病変が有意に分布する疾患は、癌以外では数が少ない。このため、非癌肺患者を検索対象とする場合等においては、中枢に対応するサブ領域以外のサブ領域について算出した類似度に対して大きい重み付けをする等、あらかじめ定められたサブ領域について算出した類似度に対して重みを大きくして、類似度の重み付け総和を算出してもよい。
【００５８】
そして第１の検索部２３は、症例データベースＤＢに登録された全ての症例画像と検査画像Ｖ０との間で重み付け総和の算出を行い、重み付け総和が大きい順に症例画像をソートして第１の検索結果リストを作成する。図８は第１の検索結果リストを示す図である。そして、第１の検索部２３は、第１の検索結果リストにおけるソート順が上位所定数の症例画像を、症例データベースＤＢから第１の類似症例画像として抽出する。
【００５９】
なお、第１の検索部２３が算出する特徴量は、３３種類の病変領域についての確率値の平均値に限定されるものではない。例えば、３３種類の病変領域についての確率値のうち、最も値が大きい確率値のサブ領域内の割合を特徴量として用いてもよい。また、３３種類の病変領域についての確率値のうち、最も値が大きい確率値のサブ領域内の体積を特徴量として用いてもよい。この場合、体積は、画素数×１ボクセル当たりの体積により算出することができる。また、３３種類の病変領域についての確率値のうち、値が大きい側から予め定められた数（例えば３）の確率値のサブ領域内の平均値、平均ＣＴ値、ＣＴ値の分散値、最大ＣＴ値または最小ＣＴ値を特徴量として用いてもよい。
【００６０】
表示制御部２４は、第１の検索部２３による検索結果（以下第１の検索結果とする）をディスプレイ１４に表示する。図９は第１の検索結果を示す図である。図９に示すように、第１の検索結果５１には、ラベリングされた検査画像Ｖ１とラベリングされた第１の類似症例画像Ｒ１〜Ｒ４とが表示されている。なお、ここでは４つの第１の類似症例画像Ｒ１〜Ｒ４を表示しているが、さらに多くの第１の類似症例画像を表示してもよい。
【００６１】
図９において、検査画像Ｖ１および第１の類似症例画像Ｒ１〜Ｒ４は予め定められた投影方法により投影された投影画像となっている。なお、図９においては説明のために５種類のラベリングのみを示しているが、実際には３３種類のラベリングがなされている。検査画像Ｖ１の下方には、アキシャル断面、サジタル断面およびコロナル断面の３つの断面における検査スライス画像５２〜５４が表示されている。また、第１の類似症例画像Ｒ１〜Ｒ４の下方にも、同様の３つの断面における症例スライス画像が表示されている。また、検査画像Ｖ１の下方に表示された検査スライス画像５２〜５４および第１の類似症例画像Ｒ１〜Ｒ４の下方に表示された症例スライス画像のスライス面は、入力部１５からの操作により切り替えることが可能である。
【００６２】
キー所見特定部２５は、表示された検査画像Ｖ０に対するキー所見の位置の指定を受け付けることによりキー所見の位置を特定し、かつ位置が指定されたキー所見の所見名を特定する。キー所見の位置の特定は、操作者がディスプレイ１４に表示された第１の検索結果５１において、入力部１５からの指示により、カーソルを検査画像Ｖ１におけるキー所見の位置に移動させ、クリック等の操作を行うことにより行われる。
【００６３】
ここで、第１の検索結果５１に表示される検査画像Ｖ１は３次元画像を２次元に投影した投影画像であるため、検査画像Ｖ１においてキー所見の位置を指定した場合、その位置の検査画像Ｖ０における座標位置を特定することは困難である。このため、第１の検索結果５１において、検査画像Ｖ１に代えて検査スライス画像を表示し、キー所見の位置を特定することが好ましい。図１０は検査画像Ｖ１に代えてアキシャル断面の検査スライス画像が表示された第１の検索結果を示す図である。操作者は所望とするスライス位置の検査スライス画像５２を第１の検索結果５１に表示し、検査スライス画像５２上におけるキー所見の位置にカーソル５５を移動させて、キー所見の位置特定の指示を入力部１５を用いて行う。検査スライス画像５２は３次元画像である検査画像Ｖ１を構成する２次元画像であるため、検査スライス画像５２上において特定された位置は、３次元画像において座標位置を特定することができる。したがって、キー所見特定部２５は、操作者により指定されたキー所見の位置を、検査画像Ｖ１上における座標値として特定する。
【００６４】
また、キー所見特定部２５は、検査スライス画像において特定されたキー所見の位置の所見名を、検査画像Ｖ０についての所見分類結果を参照して特定する。
【００６５】
第２の検索部２６は、特定されたキー所見の位置および所見名が対応づけられた症例画像を、第１の類似症例画像からさらに絞り込んで検索して第２の類似症例画像を取得する。本実施形態においては、第２の検索部２６は、検査画像Ｖ０において特定されたキー所見を含むサブ領域を検査画像Ｖ０において特定する。そして、特定したサブ領域と、特定したサブ領域に対応する、第１の類似症例画像におけるサブ領域との間において、画素値の類似度を算出する。類似度は、第１の類似症例画像と検査画像Ｖ０とのサブ領域間の相対応する画素値の相関値を用いることができる。この際、キー所見が分類された画素に対する重み付けを大きくして相関値を算出してもよい。第２の検索部２６は、算出した類似度が大きい順に第１の類似症例画像をソートして第２の検査結果リストを作成する。そして、第２の検索結果リストにおけるソート順が上位所定数の症例画像を第２の類似症例画像として抽出する。
【００６６】
なお、第２の検索部２６は、第１の類似症例画像のそれぞれから、検査スライス画像５２において特定されたキー所見を含む症例スライス画像を抽出し、抽出された症例スライス画像と検査スライス画像５２との類似度を算出して第２の類似症例を取得してもよい。
【００６７】
表示制御部２４は、第２の検索部２６による検索結果（以下第２の検索結果とする）をディスプレイ１４に表示する。図１１は第２の検索結果を示す図である。図１１に示すように、第２の検索結果５７には、キー所見が指定された検査スライス画像５２と第２の類似症例画像Ｒ１１，Ｒ１２とが表示されている。なお、図１１には２つの第２の類似症例画像Ｒ１１，Ｒ１２を表示しているが、さらに多くの第２の類似症例画像を表示してもよい。
【００６８】
次いで、第１の実施形態において行われる処理について説明する。図１２は第１の実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、検査画像Ｖ０を取得し（ステップＳＴ１）、所見分類部２２が、検査画像Ｖ０に含まれる肺領域を、複数種類の所見をそれぞれ示す複数種類の病変領域に分類して所見分類結果を生成する（ステップＳＴ２）。そして、第１の検索部２３が、症例データベースＤＢから、検査画像Ｖ０の所見分類結果に基づいて、検査画像Ｖ０に類似する症例画像を、第１の類似症例画像として検索する（第１の検索処理、ステップＳＴ３）。次いで、表示制御部２４が、ラベリングされた検査画像Ｖ１および第１の類似症例画像を第１の検索結果としてディスプレイ１４に表示する（ステップＳＴ４）。
【００６９】
さらに、キー所見特定部２５が、表示された検査画像Ｖ１に対するキー所見の位置の指定を受け付けることによりキー所見の位置を特定し、かつ位置が特定されたキー所見の所見名を特定する（キー所見特定処理、ステップＳＴ５）。そして、第２の検索部２６が、特定されたキー所見の位置および所見名が対応づけられた症例画像を、第１の類似症例画像からさらに絞り込んで検索して第２の類似症例画像を取得する（第２の検索処理、ステップＳＴ６）。そして、表示制御部２４が検索画像および第２の類似症例画像を第２の検索結果としてディスプレイ１４に表示し（ステップＳＴ７）、処理を終了する。
【００７０】
このように、第１の実施形態によれば、検査画像Ｖ０に対して指定されたキー所見に基づいて、検査画像Ｖ０に類似する症例画像を適切に検索することができる。
【００７１】
次いで、本発明の第２の実施形態について説明する。図１３は本発明の第２の実施形態による画像検索装置の概略構成を示す図である。なお、図１３において図２と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。第２の実施形態による画像検索装置は、第１の実施形態による画像検索装置のＤＢ管理部２７とは異なるＤＢ管理部２８を備えた点が第１の実施形態と異なる。
【００７２】
図１３に示すように第２の実施形態による画像検索装置のＤＢ管理部２８は、キー画像特定部６１、登録用キー所見特定部６２および登録部６３を備える。
【００７３】
キー画像特定部６１は、登録対象画像である検査画像Ｖ０からキーとなる検査スライス画像を取得する。ここで、症例データベースＤＢに登録される検査画像Ｖ０は、診断により作成された電子カルテまたは読影レポートと対応づけられて画像保管サーバ３に保存されている。電子カルテまたは読影レポートには、検査画像Ｖ０におけるキーとなる検査スライス画像のスライス位置またはファイル名等の、検査スライス画像を特定する情報が記述されている。また、キーとなる検査スライス画像そのものの情報が検査画像Ｖ０と対応づけられた画像保管サーバ３に保存される場合もある。なお、キーとなる検査スライス画像は、医師が画像診断を行うことにより、例えば診断名を決定するために使用したスライス画像、または特定されたキー所見の位置を含むスライス画像を用いることができる。検査画像Ｖ０を新たな症例画像として症例データベースＤＢに登録するために、ＤＢ管理部２８のキー画像特定部６１は、症例データベースＤＢに登録しようとする検査画像Ｖ０に基づいて作成された電子カルテ等を参照して、症例データベースＤＢに登録する検査画像Ｖ０からキーとなる検査スライス画像を取得する。以下、キーとなる検査スライス画像をキースライス画像と称する。
【００７４】
ＤＢ管理部２８の登録用キー所見特定部６２は、キースライス画像における所見分類結果に基づいて、検査画像Ｖ０のキー所見の所見名およびキー所見の位置を特定する。なお、検査画像Ｖ０は所見分類部２２によりすでに所見分類結果が生成されている。このため、登録用キー所見特定部６２は、キースライス画像における所見分類結果を参照し、キースライス画像に含まれる肺領域に対して、予め定められたしきい値以上存在する病変領域により示される所見をキー所見に特定する。なお、キー所見は１つであっても複数であってもよい。また、キー所見の位置としては、キー所見に対応する病変領域内における任意の画素位置を用いればよい。ここで、任意の画素位置としては、病変領域内の全ての画素位置であってもよく、重心等の領域を代表する画素位置であってもよい。第２の実施形態においても第１の実施形態と同様に、病変領域の重心位置をキー所見の位置として用いるものとする。また、登録用キー所見特定部６２は、所見分類結果を参照してキー所見の位置からキー所見の所見名を特定する。
【００７５】
ＤＢ管理部２８の登録部６３は、検査画像Ｖ０についての所見分類結果、キースライス画像、キースライス画像において特定されたキー所見の位置および所見名を検査画像Ｖ０と対応づけて、新たな症例画像として症例データベースＤＢに登録する。図１４は第２の実施形態において登録される症例データベースＤＢの構成を示す図である。図１４に示すように、症例データベースＤＢには、ＩＭＧ０００１．ｄｃｍ等の症例画像のファイル名、所見分類結果、ＩＭＧ０００１＿Ｌ．ｄｃｍ等のラベリングされた検査画像Ｖ１のファイル名、ＩＭＧ０００１＿０１０．ｄｃｍ等のキースライス画像のファイル名、（ｘ１，ｙ１，ｚ１）等の特定されたキー所見の位置およびすりガラス影等のキー所見の所見名が登録されている。なお、図１４に示す症例データベースＤＢのキー所見の位置には、１つの座標位置のみしか示していないが、検査画像Ｖ０に複数のキー所見が含まれる場合は、複数の座標位置が登録される。
【００７６】
このように症例画像が登録された症例データベースＤＢを用いることにより、検査スライス画像に対してキー所見を特定すれば、症例データベースＤＢに登録されたキースライス画像を用いて、第２の類似症例画像を検索する第２の検索処理を効率よく行うことができる。
【００７７】
次いで、本発明の第３の実施形態について説明する。図１５は本発明の第３の実施形態による画像検索装置の概略構成を示す図である。なお、図１５において図２と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。第３の実施形態による画像検索装置は、第１の実施形態による画像検索装置のＤＢ管理部２７と、第２の実施形態による画像検索装置のＤＢ管理部２８との双方を備えた点が第１の実施形態と異なる。なお、第３の実施形態においては、第１の実施形態によるＤＢ管理部２７を第１のＤＢ管理部２７と称し、第２の実施形態によるＤＢ管理部２８を第２のＤＢ管理部２８と称する。また、図１５においては、第１のＤＢ管理部２７が有する診断名取得部３１、登録用キー所見特定部３２および登録部３３、並びに第２のＤＢ管理部２８が有するキー画像特定部６１、登録用キー所見特定部６２および登録部６３は省略している。なお、第１のＤＢ管理部２７が有する登録用キー所見特定部３２および登録部３３が、それぞれ第１の登録用キー所見特定部および第１の登録部に対応する。また、第２のＤＢ管理部２８が有する登録用キー所見特定部６２および登録部６３が、それぞれ第２の登録用キー所見特定部および第２の登録部に対応する。
【００７８】
第３の実施形態においては、第１のＤＢ管理部２７および第２のＤＢ管理部２８のいずれか一方により、新たな症例画像を症例データベースＤＢに登録する。第１のＤＢ管理部２７および第２のＤＢ管理部２８のいずれを使用するかについては、操作者による入力部１５からの指示により設定しておけばよい。また、第１のＤＢ管理部２７および第２のＤＢ管理部２８のいずれを使用するかを自動で切り替えるようにしてもよい。例えば、各種診断名と各種診断名に対応するキー所見の所見名とが対応づけられたテーブルが壊れているまたは見つからないような場合には、第１のＤＢ管理部２７ではなく、第２のＤＢ管理部２８を用いて症例画像を症例データベースＤＢに登録できる。また、検査画像Ｖ０においてキースライス画像を特定できないような場合には、第２のＤＢ管理部２８ではなく、第１のＤＢ管理部２７を用いて症例画像を症例データベースＤＢに登録できる。
【００７９】
なお、上記各実施形態においては、画像保管サーバ３に症例データベースＤＢを保存しているが、ストレージ１３に症例データベースＤＢを保存してもよい。
【００８０】
また、上記各実施形態においては、検査画像を症例データベースＤＢに登録しているが、検査画像以外の画像を登録対象画像として症例データベースに登録してもよい。
【００８１】
以下、本発明の実施態様項について説明する。
実施態様項１
１以上の症例スライス画像からなる症例画像が複数登録された症例データベースであって、複数の前記症例画像のそれぞれについての所見分類結果、および該所見分類結果において診断名を特定するキーとなるキー所見の位置および該キー所見の所見名が、複数の前記症例画像のそれぞれと対応づけられて登録された症例データベースに登録される１以上の登録対象スライス画像からなる登録対象画像の診断名を取得する診断名取得部と、
各種診断名と該各種診断名に対応するキー所見の所見名とが対応づけられたテーブルを参照して、前記登録対象画像の診断名に基づいて、前記登録対象画像のキー所見の所見名を特定し、該特定されたキー所見の所見名および前記登録対象画像における前記所見分類結果に基づいて、前記登録対象画像における前記特定されたキー所見の位置を特定する登録用キー所見特定部と、
前記登録対象画像を、該登録対象画像についての前記所見分類結果、前記特定されたキー所見の位置および所見名と対応づけて、新たな症例画像として前記症例データベースに登録する登録部とを備えたデータベース管理装置。
【００８２】
実施態様項２
１以上の症例スライス画像からなる症例画像が複数登録された症例データベースであって、複数の前記症例画像のそれぞれについての所見分類結果、および該所見分類結果において診断名を特定するキーとなるキー所見の位置および該キー所見の所見名が、複数の前記症例画像のそれぞれと対応づけられて登録された症例データベースに登録される１以上の登録対象スライス画像からなる登録対象画像からキーとなる登録対象スライス画像を取得するキー画像取得部と、
前記キーとなる登録対象スライス画像における前記所見分類結果に基づいて、前記検査画像のキー所見の所見名および該キー所見の位置を特定する登録用キー所見特定部と、
前記登録対象画像を、該登録対象画像についての前記所見分類結果および前記特定されたキー所見の位置および所見名と対応づけて、新たな症例画像として前記症例データベースに登録する登録部とを備えたデータベース管理装置。
【００８３】
実施態様項３
１以上の症例スライス画像からなる症例画像が複数登録された症例データベースであって、複数の前記症例画像のそれぞれについての所見分類結果、および該所見分類結果において診断名を特定するキーとなるキー所見の位置および該キー所見の所見名が、複数の前記症例画像のそれぞれと対応づけられて登録された症例データベースに登録される１以上の登録対象スライス画像からなる登録対象画像の診断名を取得する診断名取得部と、
各種診断名と該各種診断名に対応するキー所見の所見名とが対応づけられたテーブルを参照して、前記登録対象画像の診断名に基づいて、前記登録対象画像のキー所見の所見名を特定し、該特定されたキー所見の所見名および前記登録対象画像における前記所見分類結果に基づいて、前記登録対象画像における前記特定されたキー所見の位置を特定する第１の登録用キー所見特定部と、
前記登録対象画像を、該登録対象画像についての前記所見分類結果および前記特定されたキー所見の位置および所見名と対応づけて、新たな症例画像として前記症例データベースに登録する第１の登録部と、
前記登録対象画像からキーとなる登録対象スライス画像を取得するキー画像取得部と、
前記キーとなる登録対象スライス画像における前記所見分類結果に基づいて、前記検査画像のキー所見の所見名および該キー所見の位置を特定する第２の登録用キー所見特定部と、
前記登録対象画像を、該登録対象画像についての前記所見分類結果および前記特定されたキー所見の位置および所見名と対応づけて、新たな症例画像として前記症例データベースに登録する第２の登録部とを備えたデータベース管理装置。
【符号の説明】
【００８４】
１    画像検索装置
２    ３次元画像撮影装置
３    画像保管サーバ
４    ネットワーク
１１    ＣＰＵ
１２    メモリ
１３    ストレージ
１４    ディスプレイ
１５    入力部
２１    画像取得部
２２    所見分類部
２３    第１の検索部
２４    表示制御部
２５    キー所見特定部
２６    第２の検索部
２７    第１のＤＢ管理部
２８    第２のＤＢ管理部
３１    診断名取得部
３２，６２    登録用キー所見特定部
３３，６３    登録部
４０    多層ニューラルネットワーク
４１    入力層
４２    出力層
５１    第１の検索結果
５２〜５４    検査スライス画像
５５    カーソル
５７    第２の検索結果
６１    キー画像特定部
ＤＢ    症例データベース
ＬＵＴ１    テーブル
Ｒ１〜Ｒ４    第１の類似症例画像
Ｒ１１，Ｒ１２    第２の類似症例画像
Ｖ０，Ｖ１    検査画像
【図１】
2019082881.tif 000003
【図２】
2019082881.tif 000004
【図３】
2019082881.tif 000005
【図４】
2019082881.tif 000006
【図５】
2019082881.tif 000007
【図６】
2019082881.tif 000008
【図７】
2019082881.tif 000009
【図８】
2019082881.tif 000010
【図９】
2019082881.tif 000011
【図１０】
2019082881.tif 000012
【図１１】
2019082881.tif 000013
【図１２】
2019082881.tif 000014
【図１３】
2019082881.tif 000015
【図１４】
2019082881.tif 000016
【図１５】
2019082881.tif 000017