(57)【要約】【課題】医用画像表示装置、方法およびプログラムにおいて、間質性肺疾患等の疾患についての画像を用いて、経時比較観察を精度よく行うことができるようにする。【解決手段】分類部２２が、同一被写体についての撮影時期が異なる２つの３次元画像Ｖ０，Ｖ１のそれぞれに含まれる肺領域を複数種類の症例領域に分類し、マッピング画像生成部２３が、分類された各症例領域をラベリングすることにより、３次元画像Ｖ０，Ｖ１のそれぞれに対応する複数のマッピング画像Ｍ０，Ｍ１を生成する。変化算出部２５が、マッピング画像Ｍ０，Ｍ１における対応する位置の症例領域について、この症例領域の重心位置を算出し、マッピング画像Ｍ０，Ｍ１間における重心位置の移動量および移動方向を各症例領域の変化として算出する。表示制御部２６が、変化に関する情報をディスプレイ１４に表示する。【選択図】図２
2018175227.tif 000002
【特許請求の範囲】
【請求項１】
同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を、複数種類の症例領域に分類する分類手段と、
前記各症例領域をラベリングすることにより、前記複数の医用画像のそれぞれに対応する、前記各症例領域に関するマッピング画像を生成するマッピング画像生成手段と、
前記複数のマッピング画像における対応する位置の症例領域について、該対応する位置の症例領域の重心位置を算出し、前記複数のマッピング画像間における前記重心位置の移動量および移動方向の少なくとも一方を、前記複数のマッピング画像間における、前記分類された各症例領域の変化として算出する変化算出手段と、
前記変化に関する情報を表示手段に表示する表示制御手段とを備えたことを特徴とする医用画像表示装置。
【請求項２】
前記変化算出手段は、前記複数のマッピング画像における対応する位置の症例領域の大きさの変化量を、さらに前記変化として算出する請求項１記載の医用画像表示装置。
【請求項３】
同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を複数種類の症例領域に分類する分類手段と、
前記各症例領域をラベリングすることにより、前記複数の医用画像のそれぞれに対応する複数のマッピング画像を生成するマッピング画像生成手段と、
前記複数のマッピング画像における対応する位置の症例領域の大きさの変化量を、前記複数のマッピング画像間における、前記分類された各症例領域の変化として算出する変化算出手段と、
前記変化に関する情報を表示手段に表示する表示制御手段とを備えたことを特徴とする医用画像表示装置。
【請求項４】
前記複数の医用画像の位置合わせを行い、該位置合わせ結果に基づいて前記複数のマッピング画像の位置合わせを行う位置合わせ手段をさらに備えた請求項１から３のいずれか１項記載の医用画像表示装置。
【請求項５】
前記位置合わせ手段は、前記複数の医用画像のうち、撮影時期が最も古い医用画像に該最も古い医用画像以外の医用画像の位置を合わせる第１の位置合わせ、前記撮影時期が最も新しい医用画像に該最も新しい医用画像以外の医用画像の位置を合わせる第２の位置合わせ、および指定された医用画像に該指定された医用画像以外の医用画像の位置を合わせる第３の位置合わせのうちの、指定された位置合わせを行う請求項４記載の医用画像表示装置。
【請求項６】
前記分類手段は、前記複数種類の症例を分類するようにディープラーニングがなされた判別器を有し、該判別器により前記対象領域を複数種類の症例領域に分類する請求項１から５のいずれか１項記載の医用画像表示装置。
【請求項７】
複数の被写体についての、前記各症例領域の変化に関する情報を保存する保存手段をさらに備え、
前記表示制御手段は、表示の対象となる被写体と異なる被写体についての、前記各症例領域の変化に関する情報を前記保存手段から取得し、該取得した変化に関する情報をさらに表示する請求項１から６のいずれか１項記載の医用画像表示装置。
【請求項８】
同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を、複数種類の症例領域に分類し、
前記各症例領域をラベリングすることにより、前記複数の医用画像のそれぞれに対応する、前記各症例領域に関するマッピング画像を生成し、
前記複数のマッピング画像における対応する位置の症例領域について、該対応する位置の症例領域の重心位置を算出し、前記複数のマッピング画像間における前記重心位置の移動量および移動方向の少なくとも一方を、前記複数のマッピング画像間における、前記分類された各症例領域の変化として算出し、
前記変化に関する情報を表示手段に表示することを特徴とする医用画像表示方法。
【請求項９】
同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を複数種類の症例領域に分類し、
前記各症例領域をラベリングすることにより、前記複数の医用画像のそれぞれに対応する複数のマッピング画像を生成し、
前記複数のマッピング画像における対応する位置の症例領域の大きさの変化量を、前記複数のマッピング画像間における、前記分類された各症例領域の変化として算出し、
前記変化に関する情報を表示手段に表示することを特徴とする医用画像表示方法。
【請求項１０】
同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を、複数種類の症例領域に分類する手順と、
前記各症例領域をラベリングすることにより、前記複数の医用画像のそれぞれに対応する、前記各症例領域に関するマッピング画像を生成する手順と、
前記複数のマッピング画像における対応する位置の症例領域について、該対応する位置の症例領域の重心位置を算出し、前記複数のマッピング画像間における前記重心位置の移動量および移動方向の少なくとも一方を、前記複数のマッピング画像間における、前記分類された各症例領域の変化として算出する手順と、
前記変化に関する情報を表示手段に表示する手順とをコンピュータに実行させることを特徴とする医用画像表示プログラム。
【請求項１１】
同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を複数種類の症例領域に分類する手順と、
前記各症例領域をラベリングすることにより、前記複数の医用画像のそれぞれに対応する複数のマッピング画像を生成する手順と、
前記複数のマッピング画像における対応する位置の症例領域の大きさの変化量を、前記複数のマッピング画像間における、前記分類された各症例領域の変化として算出する手順と、
前記変化に関する情報を表示手段に表示する手順とをコンピュータに実行させることを特徴とする医用画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医用画像に含まれる複数種類の症例領域を識別して表示する医用画像表示装置、方法およびプログラムに関するものである。
【背景技術】
【０００２】
被写体である患者の放射線画像および超音波画像を撮影することにより取得した医用画像を用いての画像診断が行われている。また、近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像が画像診断に用いられるようになってきている。
【０００３】
ところで、肺の疾患として間質性肺炎が知られている。間質性肺炎の患者のＣＴ画像を解析することにより、ＣＴ画像に含まれる蜂窩肺、網状影および嚢胞等の特定の症状を呈する病変を分類して定量化する手法が提案されている（非特許文献１，２参照）。このようにＣＴ画像を解析して病変を分類して定量化することにより、肺の疾患の程度を容易に判定することができる。また、このように分類して定量化した領域にそれぞれ異なる色を割り当てることにより、特定の症状の領域がどの程度画像内に含まれているかを、容易に診断できることとなる。
【０００４】
一方、病気の治癒状況あるいは進行状況の診断を行うために、同一患者についての過去の医用画像を用いて経時比較観察を行う場合がある。例えば、撮影時期が異なる胸部の放射線画像の差分画像を求め、差分画像において、経時変化部分に対応する部分をラベリング処理し、所定以上の大きさの経時変化領域を塗りつぶしパターン等で表現することにより、経時変化部分の強調度を高めて表示する手法が提案されている（特許文献１参照）。また、撮影時期が異なるＣＴ画像について、対応する部位を位置合わせした上で、動画表示する手法も提案されている（特許文献２参照）。
【０００５】
また、３次元画像から注目する臓器等の構造物を抽出するためには、３次元画像において構造物を検出する必要がある。ここで、画像における注目する画素を複数のクラスに分類するために、深層学習（ディープラーニング）の手法が提案されている。ディープラーニングとは、複数の処理層が階層的に接続されることにより構築された多層ニューラルネットワークを用いた機械学習の手法である。
【０００６】
ディープラーニングにおいては、多層ニューラルネットワークの各層において、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して演算処理を行う。そして、これにより得られる特徴量のデータに対して、次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力されたデータを複数のクラスに分類することができる。
【０００７】
このようなディープラーニングの手法を、上述した３次元画像に適用して、３次元画像の各画素を複数のクラスに分類することが考えられる。例えば、３次元画像に含まれる複数種類の構造物を分類するに際し、３次元画像を入力として、３次元画像における処理対象となる画素を、複数種類の構造物のいずれに分類するように、ニューラルネットワークに対してディープラーニングを行う。このようにしてディープラーニングがなされたニューラルネットワークを用いることにより、入力された３次元画像の対象とする画素を、複数種類の構造物のいずれに分類することが可能となる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許３５７７６８０号公報
【特許文献２】特許５６６１４５３号公報
【非特許文献１】Evaluation of computer-based computer tomography stratification against outcome models in connective tissue disease-related interstitial lung disease: a patient outcome study、Joseph Jacob1ら、BMC Medicine (2016) 14:190、DOI 10.1186/s12916-016-0739-7
【非特許文献２】コンピュータによる間質性肺炎のＣＴ画像の定量評価、岩澤多恵、断層映像研究会雑誌  第４１巻第２号、２０１４年８月
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述した間質性肺疾患についても、過去画像と最新の画像とにおけるマッピングの結果を用いて、経時比較観察を精度よく行うことが望まれている。しかしながら、間質性肺疾患は、複数の症状を呈する領域が肺の中に含まれるため、症状毎の領域の変化を精度よく表示して、経時比較観察を精度よく行うことは困難である。
【００１０】
本発明は、上記事情に鑑みなされたものであり、間質性肺疾患等の疾患についての画像を用いて、経時比較観察を精度よく行うことができるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明による第１の医用画像表示装置は、同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を、複数種類の症例領域に分類する分類手段と、
各症例領域をラベリングすることにより、複数の医用画像のそれぞれに対応する、各症例領域に関するマッピング画像を生成するマッピング画像生成手段と、
複数のマッピング画像における対応する位置の症例領域について、対応する位置の症例領域の重心位置を算出し、複数のマッピング画像間における重心位置の移動量および移動方向の少なくとも一方を、複数のマッピング画像間における、分類された各症例領域の変化として算出する変化算出手段と、
変化に関する情報を表示手段に表示する表示制御手段とを備えたことを特徴とするものである。
【００１２】
なお、本発明による第１の医用画像表示装置においては、変化算出手段は、複数のマッピング画像における対応する位置の症例領域の大きさの変化量を、さらに変化として算出するものであってもよい。
【００１３】
本発明による第２の医用画像表示装置は、同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を複数種類の症例領域に分類する分類手段と、
各症例領域をラベリングすることにより、複数の医用画像のそれぞれに対応する複数のマッピング画像を生成するマッピング画像生成手段と、
複数のマッピング画像における対応する位置の症例領域の大きさの変化量を、複数のマッピング画像間における、分類された各症例領域の変化として算出する変化算出手段と、
変化に関する情報を表示手段に表示する表示制御手段とを備えたことを特徴とするものである。
【００１４】
「症例領域」とは、対象領域内における特定の症状または特定の形態を呈する領域を意味する。このため、本実施形態においては、心臓および横隔膜等の特定の形態を呈する構造物そのものの領域も症例領域に含まれるものとする。
【００１５】
なお、本発明による第１および第２の医用画像表示装置においては、複数の医用画像の位置合わせを行い、位置合わせ結果に基づいて複数のマッピング画像の位置合わせを行う位置合わせ手段をさらに備えるものとしてもよい。
【００１６】
この場合、位置合わせ手段は、複数の医用画像のうち、撮影時期が最も古い医用画像に最も古い医用画像以外の医用画像の位置を合わせる第１の位置合わせ、撮影時期が最も新しい医用画像に最も新しい医用画像以外の医用画像の位置を合わせる第２の位置合わせ、および指定された医用画像に指定された医用画像以外の医用画像の位置を合わせる第３の位置合わせのうちの、指定された位置合わせを行うものであってもよい。
【００１７】
また、本発明による第１および第２の医用画像表示装置においては、分類手段は、複数種類の症例を分類するようにディープラーニングがなされた判別器を有し、判別器により対象領域を複数種類の症例領域に分類するものであってもよい。
【００１８】
本発明による第１および第２の医用画像表示装置においては、複数の被写体についての、各症例領域の変化に関する情報を保存する保存手段をさらに備えるものとし、
表示制御手段は、表示の対象となる被写体と異なる被写体についての、各症例領域の変化に関する情報を保存手段から取得し、取得した変化に関する情報をさらに表示するものであってもよい。
【００１９】
「各症例領域の変化に関する情報」とは、各症例領域がその後にどのように変化したかを表す情報を意味する。例えば、ある症例領域が広がって悪化したり、薬の投与によりある症例領域が狭くなって治癒したりしたことを、各症例領域の変化に関する情報として用いることができる。
【００２０】
本発明による第１の医用画像表示方法は、同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を、複数種類の症例領域に分類し、
各症例領域をラベリングすることにより、複数の医用画像のそれぞれに対応する、各症例領域に関するマッピング画像を生成し、
複数のマッピング画像における対応する位置の症例領域について、対応する位置の症例領域の重心位置を算出し、複数のマッピング画像間における重心位置の移動量および移動方向の少なくとも一方を、複数のマッピング画像間における、分類された各症例領域の変化として算出し、
変化に関する情報を表示手段に表示することを特徴とするものである。
【００２１】
本発明による第２の医用画像表示方法は、同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を複数種類の症例領域に分類し、
各症例領域をラベリングすることにより、複数の医用画像のそれぞれに対応する複数のマッピング画像を生成し、
複数のマッピング画像における対応する位置の症例領域の大きさの変化量を、複数のマッピング画像間における、分類された各症例領域の変化として算出し、
変化に関する情報を表示手段に表示することを特徴とするものである。
【００２２】
なお、本発明による第１および第２の医用画像表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２３】
本発明による他の第１の医用画像表示装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサであって、
同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を、複数種類の症例領域に分類し、
各症例領域をラベリングすることにより、複数の医用画像のそれぞれに対応する、各症例領域に関するマッピング画像を生成し、
複数のマッピング画像における対応する位置の症例領域について、対応する位置の症例領域の重心位置を算出し、複数のマッピング画像間における重心位置の移動量および移動方向の少なくとも一方を、複数のマッピング画像間における、分類された各症例領域の変化として算出し、
変化に関する情報を表示手段に表示する処理を実行するプロセッサを備えたことを特徴とするものである。
【００２４】
本発明による他の第２の医用画像表示装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサであって、
同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を複数種類の症例領域に分類し、
各症例領域をラベリングすることにより、複数の医用画像のそれぞれに対応する複数のマッピング画像を生成し、
複数のマッピング画像における対応する位置の症例領域の大きさの変化量を、複数のマッピング画像間における、分類された各症例領域の変化として算出し、
変化に関する情報を表示手段に表示する処理を実行するプロセッサを備えたことを特徴とするものである。
【発明の効果】
【００２５】
本発明による第１の医用画像表示装置および方法によれば、同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域が複数種類の症例領域に分類され、各症例領域をラベリングすることにより、複数の医用画像のそれぞれに対応する、各症例領域に関するマッピング画像が生成される。そして、複数のマッピング画像における対応する位置の症例領域について、症例領域の重心位置が算出され、重心位置の複数のマッピング画像間における移動量および移動方向の少なくとも一方が、複数のマッピング画像間における分類された各症例領域の変化として算出され、変化に関する情報が表示手段に表示される。このように、本発明においては、対応する位置の症例領域の重心位置の複数のマッピング画像間における移動量および移動方向の少なくとも一方を各症例領域の変化として算出しているため、症例領域の変化を精度よく算出することができる。したがって、撮影時期が異なる複数の医用画像を用いた経時比較観察を精度よく行うことができる。
【００２６】
本発明による第２の医用画像表示装置および方法によれば、同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域が複数種類の症例領域に分類され、各症例領域をラベリングすることにより、複数の医用画像のそれぞれに対応する、各症例領域に関するマッピング画像が生成される。そして、複数のマッピング画像における対応する位置の症例領域の大きさの変化量が、複数のマッピング画像間における分類された各症例領域の変化として算出され、変化に関する情報が表示手段に表示される。このように、本発明においては、対応する位置の症例領域の大きさの変化量を各症例領域の変化として算出しているため、症例領域の変化を精度よく算出することができる。したがって、撮影時期が異なる複数の医用画像を用いた経時比較観察を精度よく行うことができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態による医用画像表示装置を適用した、診断支援システムの概要を示すハードウェア構成図
【図２】本実施形態による医用画像表示装置の構成を示す概略ブロック図
【図３】多層ニューラルネットワークの一例を示す図
【図４】分類に応じた色が割り当てられた３次元画像を示す図
【図５】マッピング画像を示す図
【図６】重心位置の算出を説明するための図
【図７】重心位置の移動量および移動方向を示す図
【図８】表示された変化に関する情報を示す図
【図９】本実施形態において行われる処理を示すフローチャート
【図１０】面積の変化量のみを算出した場合における表示された変化に関する情報を示す図
【発明を実施するための形態】
【００２８】
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による医用画像表示装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による医用画像表示装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
【００２９】
３次元画像撮影装置２は、被写体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。この３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被写体である患者の診断対象部位は肺であり、３次元画像撮影装置２はＣＴ装置であり、被写体の肺を含む胸部のＣＴ画像を３次元画像Ｖ０として生成する。
【００３０】
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像Ｖ０の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。なお、本実施形態においては、画像保管サーバ３には、同一被写体の撮影時期が異なる複数の３次元画像が保存されているものとする。
【００３１】
医用画像表示装置１は、１台のコンピュータに、本発明の医用画像表示プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。医用画像表示プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
【００３２】
図２は、コンピュータに医用画像表示プログラムをインストールすることにより実現される医用画像表示装置の概略構成を示す図である。図２に示すように、医用画像表示装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、医用画像表示装置１には、ディスプレイ１４および、マウス等の入力部１５が接続されている。
【００３３】
ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、被写体の３次元画像、並びに処理に必要な情報を含む各種情報が記憶されている。
【００３４】
また、メモリ１２には、医用画像表示プログラムが記憶されている。医用画像表示プログラムは、ＣＰＵ１１に実行させる処理として、同一被写体についての撮影時期が異なる複数の３次元画像を取得する画像取得処理、複数の３次元画像のそれぞれに含まれる対象領域を複数種類の症例領域に分類する分類処理、各症例領域をラベリングすることにより、複数の３次元画像のそれぞれに対応する、各症例領域に関するマッピング画像を生成するマッピング画像生成処理、複数の３次元画像の位置合わせを行い、位置合わせ結果に基づいて複数のマッピング画像の位置合わせを行う位置合わせ処理、複数のマッピング画像における対応する位置の症例領域について、症例領域の重心位置を算出し、複数のマッピング画像間における重心位置の移動量および移動方向の少なくとも一方を、複数のマッピング画像間における、分類された各症例領域の変化として算出する変化算出処理、並びに変化に関する情報をディスプレイ１４に表示する表示制御処理を規定する。
【００３５】
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、分類部２２、マッピング画像生成部２３、位置合わせ部２４、変化算出部２５、および表示制御部２６として機能する。なお、医用画像表示装置１は、画像取得処理、分類処理、マッピング画像生成処理、位置合わせ処理、変化算出処理および表示制御処理をそれぞれ行う複数のプロセッサまたは処理回路を備えるものであってもよい。また、本実施形態の医用画像表示装置１は、分類部２２、マッピング画像生成部２３、位置合わせ部２４、変化算出部２５、および表示制御部２６のみから構成されるものであってもよい。また、本実施形態においては、対象領域は３次元画像に含まれる肺領域である。また、ストレージ１３および画像保管サーバ３が保存手段に対応する。
【００３６】
画像取得部２１は、同一被写体についての撮影時期が異なる複数の３次元画像を画像保管サーバ３から取得する。なお、３次元画像が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３から３次元画像を取得するようにしてもよい。本実施形態においては、経時比較観察のために、最新の３次元画像Ｖ０および最新の３次元画像Ｖ０よりも撮影時期が前の３次元画像Ｖ１を取得するものとする。
【００３７】
分類部２２は、３次元画像Ｖ０，Ｖ１のそれぞれに含まれる肺領域を複数種類の症例領域に分類する。なお、３次元画像Ｖ０，Ｖ１のそれぞれに対する分類処理は同一であるため、ここでは３次元画像Ｖ０に対する分類処理についてのみ説明し、３次元画像Ｖ１に対する分類処理については説明を省略する。
【００３８】
本実施形態においては、分類部２２は、肺領域についての複数種類の症例領域を分類できるようにディープラーニング（深層学習）がなされた多層ニューラルネットワークからなる判別器を有する。多層ニューラルネットワークでは、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して、各層において各種カーネルを用いて演算処理を行い、これにより得られる特徴量のデータを取得し、特徴量のデータに対して次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力されたデータを複数のクラスに分類することができる。
【００３９】
なお、本実施形態においては、多層ニューラルネットワーク４０を３次元画像Ｖ０を入力として、肺領域の複数種類の症例領域への分類結果を出力するものとして説明するが、３次元画像Ｖ０を構成する被写体の各断層面を表す２次元の断層画像を入力とし、肺領域の複数種類の症例領域への分類結果を出力するように構成することも可能である。
【００４０】
図３は多層ニューラルネットワークの一例を示す図である。図３に示すように多層ニューラルネットワーク４０は、入力層４１および出力層４２を含む複数の階層からなる。本実施形態においては、３次元画像Ｖ０に含まれる肺領域を、正常肺、ＧＧＯ（ground glass opacity）腫瘤結節影、Ｍｉｘｅｄ腫瘤結節影、Ｓｏｌｉｄ腫瘤結節影、すりガラス影、淡いすりガラス影、小葉中心性すりガラス影、コンソリデーション、低吸収、小葉中心性気腫、汎小葉性気腫、正常肺気腫傾向、嚢胞、ＴＩＢ（tree-in-bud appearance）、小結節（非小葉中心性）、小葉中心性小結節影、小葉間隔壁肥厚、気管支壁肥厚、気管支拡張、細気管支拡張、気管支透亮像、牽引性気管支拡張、空洞浸潤影、空洞腫瘤、網状影、微細網状影、蜂窩肺、胸水、胸膜肥厚、胸壁、心臓、横隔膜、および血管の３３種類の症例領域に分類するように学習がなされている。なお、本実施形態においては、症例領域には、肺領域内における特定の症状または特定の形態を呈する領域を含む。このため、本実施形態においては、心臓および横隔膜等の特定の形態を呈する構造物そのものの領域も症例領域に含まれるものとする。
【００４１】
本実施形態においては、これら３３種類の症例について、数百万という多数の教師データを用いて、多層ニューラルネットワーク４０に学習させる。学習の際には症例が既知の３次元画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ×１．５ｃｍ）に正規化されたボクセル領域を切り出し、切り出したボクセル領域の画像を教師データとして用いる。そして、多層ニューラルネットワーク４０に教師データを入力して、症例領域の分類結果を出力させる。次いで、出力された結果を教師データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、多層ニューラルネットワーク４０の各層に含まれるユニット（図３に丸印で示す）の各階層間における結合の重みを修正する。結合の重みの修正を、多数の教師データを用いて、予め定められた回数、または出力される分類結果の正解率が１００％になるまで繰り返し行い、学習を終了する。
【００４２】
分類部２２は、分類のために、３次元画像Ｖ０から対象領域である肺領域を抽出する。肺領域を抽出する手法としては、３次元画像Ｖ０における画素毎の信号値をヒストグラム化し、肺をしきい値処理することにより抽出する方法、または肺を表すシード点に基づく領域拡張法(Region Growing)等、任意の手法を用いることができる。
【００４３】
分類部２２は、上述したように学習がなされた多層ニューラルネットワーク４０からなる判別器に、抽出した肺領域から教師データと同一の領域を順次切り出して入力する。これにより、切り出した領域の中心画素について、３３種類の症例領域に対する分類結果を表す値が出力される。多層ニューラルネットワーク４０は、入力された領域の中心画素を、多層ニューラルネットワーク４０の３３の出力のうち最も値が大きい症例領域に分類する。これにより、３次元画像Ｖ０に含まれる肺領域の全画素が３３種類の症例領域のいずれに分類される。
【００４４】
マッピング画像生成部２３は、分類部２２により分類された各症例領域をラベリングすることにより、３次元画像Ｖ０，Ｖ１のそれぞれに対応する、各症例領域に関する複数のマッピング画像Ｍ０，Ｍ１を生成する。なお、ここでもマッピング画像の生成は、３次元画像Ｖ０についてのみ説明し、３次元画像Ｖ１のマッピング画像の生成については説明を省略する。
【００４５】
マッピング画像生成部２３は、表示されたマッピング画像Ｍ０を見やすくするために、分類部２２が分類した３３種類の症例領域を８種類の症例領域に纏める。そして、マッピング画像生成部２３は、３次元画像Ｖ０に含まれる肺領域の各画素に対して、同一の分類とされた画素を抽出する。さらに、マッピング画像生成部２３は、８種類の症例領域の分類のそれぞれにおいて抽出された画素に対して同一の色を割り当てる。図４は症例領域に応じた色が割り当てられた３次元画像を示す図である。なお、図４においては、３次元画像Ｖ０におけるある断層面の断層画像を示しているが参照符号としてＶ０を示している。図４に示すように、３３種類の症例領域は、すりガラス影、正常影、気管支、蜂窩肺、網状影、コンソリデーション、低吸収域および嚢胞の８種類の症例領域に纏められ、そのそれぞれに異なる色が割り当てられている。図４においては色が異なることを模様が異なることにより示している。また、図４には、各色がいずれの症例であるかを示すレファレンス５０を示している。
【００４６】
マッピング画像生成部２３は、８種類に分類された症例領域について、一定以上の体積となる症例領域をラベリングして、３次元画像Ｖ０に対応する３次元のマッピング画像Ｍ０を生成する。なお、マッピング画像Ｍ０が断層画像であれば、ラベリングは一定以上の面積となる症例領域に対して行われる。
【００４７】
図５はマッピング画像を示す図である。なお、図５は図４に示す断層画像についてのマッピング画像を示している。なお、図５においては、説明を簡単なものとするために、すりガラス影および蜂窩肺に分類された症例領域に対してのみ、ラベリングを行っている。図５に示すように、マッピング画像Ｍ０においては、すりガラス影に分類された３つの領域にラベル１〜３のラベリングを行い、蜂窩肺に分類された１つの領域にラベル４のラベリングが行われている。
【００４８】
位置合わせ部２４は、３次元画像Ｖ０，Ｖ１の位置合わせを行い、この位置合わせ結果に基づいて複数のマッピング画像Ｍ０，Ｍ１の位置合わせを行う。ここで、３次元画像Ｖ０，Ｖ１は同一被写体の胸部を撮影することにより取得されたものであるが、呼吸、姿勢変化および撮影範囲等の撮影条件の変化により、含まれる構造物の位置、形状および大きさ等が異なるものとなっている。このため、位置合わせ部２４は、３次元画像Ｖ０と３次元画像Ｖ１との位置合わせを行う。なお、本実施形態では、撮影時期が古い３次元画像Ｖ１を基準として、３次元画像Ｖ１に最新の３次元画像Ｖ０の位置を合わせるものとするが、最新の３次元画像Ｖ０を基準として、３次元画像Ｖ０に撮影時期が古い３次元画像Ｖ１の位置を合わせるようにしてもよい。位置合わせの基準となる画像は、予め定められていてもよく、入力部１５からの操作者の指示により決定してもよい。また、３次元画像Ｖ０，Ｖ１とは異なる３次元画像を基準として、３次元画像Ｖ０，Ｖ１を位置合わせしてもよい。この場合、基準となる３次元画像は、操作者による入力部１５からの入力により決定すればよい。
【００４９】
位置合わせ部２４は、３次元画像Ｖ０と３次元画像Ｖ１との対応する画素について、３次元画像Ｖ０の各画素の３次元画像Ｖ１の対応する画素に対するシフト量および方向を算出する。そして、算出したシフト量および方向に基づいて３次元画像Ｖ０を非線形変換して、３次元画像Ｖ０を３次元画像Ｖ１に位置合わせする。なお、位置合わせの手法としてはこれに限定されるものではなく、他の任意の手法を用いることができる。例えば、特開２００２−０３２７３５号公報に記載された、２つの画像の大まかな位置合わせを行った後に、局所的な領域において位置合わせを行う手法等を用いることができる。
【００５０】
位置合わせ部２４は、３次元画像Ｖ０と３次元画像Ｖ１との位置合わせ結果に基づいて、マッピング画像Ｍ０，Ｍ１の位置合わせを行う。具体的には、算出したシフト量および方向に基づいてマッピング画像Ｍ０を非線形変換して、マッピング画像Ｍ０をマッピング画像Ｍ１に位置合わせする。
【００５１】
なお、本実施形態においては、先に３次元画像Ｖ０，Ｖ１の位置合わせを行った後に、分類処理およびマッピング画像生成処理を行うようにしてもよい。
【００５２】
変化算出部２５は、複数のマッピング画像Ｍ０，Ｍ１における対応する位置の症例領域について、症例領域の重心位置を算出し、複数のマッピング画像Ｍ０，Ｍ１間における重心位置の移動量および移動方向の少なくとも一方を、複数のマッピング画像Ｍ０，Ｍ１間における、分類された各症例領域の変化として算出する。本実施形態においては、重心位置の移動量および移動方向の双方を算出するものとする。このために、変化算出部２５は、マッピング画像Ｍ０，Ｍ１のそれぞれにおいて、ラベリングされた症例領域の重心位置を算出する。
【００５３】
図６は重心位置の算出を説明するための図である。なお、図６においては、３次元画像Ｖ０，Ｖ１に含まれる１つの断層面のマッピング画像Ｍ０，Ｍ１を示している。また、図６において、マッピング画像Ｍ１には、図５に示すラベル１〜４に対応する４つの症例領域Ａ１１〜Ａ１４が示されている。また、マッピング画像Ｍ０においては、マッピング画像Ｍ１における症例領域Ａ１３が蜂窩肺に悪化することにより、症例領域Ａ１４と一体化されて分類されている。このため、マッピング画像Ｍ０には、３つの症例領域Ａ０１，Ａ０２，Ａ０４が示されている。図６に示すように、マッピング画像Ｍ１においては、症例領域Ａ１１〜Ａ１４のそれぞれにおいて重心位置Ｇ１１〜Ｇ１４が、マッピング画像Ｍ０においては、症例領域Ａ０１，Ａ０２，Ａ０４のそれぞれにおいて重心位置Ｇ０１，Ｇ０２，Ｇ０４が算出されている。
【００５４】
変化算出部２５は、マッピング画像Ｍ１とマッピング画像Ｍ０とにおける対応する症例領域について、重心位置の移動量および移動方向を算出する。図７は重心位置の移動量および移動方向を示す図である。マッピング画像Ｍ１とマッピング画像Ｍ０とにおいて、ラベル１の症例領域Ａ１１と症例領域Ａ０１とが対応し、ラベル２の症例領域Ａ１２と症例領域Ａ０２とが対応し、ラベル４の症例領域Ａ１４と症例領域Ａ０４とが対応する。ラベル１の症例領域Ａ１１および症例領域Ａ０１に関しては、重心位置Ｇ１１の重心位置Ｇ０１への移動量および移動方向を算出する。ラベル２の症例領域Ａ１１および症例領域Ａ０１に関しては、重心位置Ｇ１２の重心位置Ｇ０２への移動量および移動方向を算出する。ラベル４の症例領域Ａ１４および症例領域Ａ０４に関しては、重心位置Ｇ１１の重心位置Ｇ０１への移動量および移動方向を算出する。変化算出部２５は、算出した重心位置の移動方向および移動量をベクトルとして、マッピング画像Ｍ０に付与する。図７においては、マッピング画像Ｍ０に対して、マッピング画像Ｍ１から見た症例領域Ａ０１，Ａ０２，Ａ０４の重心位置の移動量および移動方向を表すベクトルが示されている。なお、ラベル２の症例領域Ａ１２，Ａ０２については、重心位置は移動していないため、ベクトルは示されていない。
【００５５】
このようにベクトルが付与されたマッピング画像Ｍ０を見れば、症例領域Ａ０１に関しては、症例領域Ａ１１と比較して面積（３次元画像であれば体積）が小さくなり、重心位置が移動していることが分かる。症例領域Ａ０２に関しては症例領域Ａ１２と比較して変化がないことが分かる。症例領域Ａ０４に関しては、症例領域Ａ１４と比較して面積が大きくなり、重心位置が移動していることが分かる。
【００５６】
なお、本実施形態においては、変化算出部２５は、各症例領域の大きさの変化量についても変化として算出する。大きさの変化量は症例領域Ａ０１の面積（３次元画像であれば体積）と症例領域Ａ１１の面積との差分値、症例領域Ａ０２の面積と症例領域Ａ１２の面積との差分値、および症例領域Ａ０４の面積と症例領域Ａ１４の面積との差分値を算出すればよい。また、症例領域Ａ０１の面積の症例領域Ａ１１の面積からの変化率、症例領域Ａ０２の面積の症例領域Ａ１２の面積からの変化率、および症例領域Ａ０４の面積の症例領域Ａ１４の面積からの変化率を算出してもよい。
【００５７】
表示制御部２６は、変化算出部２５が算出した変化に関する情報をディスプレイ１４に表示する。図８は表示された変化に関する情報を示す図である。図８に示すように、ディスプレイ１４には、図７と同一のマッピング画像Ｍ０および変化に関する情報が示された表５１が表示される。また、マッピング画像Ｍ０の横には、図４に示すレファレンスが示されている。なお、図８においては、マッピング画像Ｍ０には、説明を容易とするためにすりガラス影および蜂窩肺のみについて示しているが、実際には８つの分類についてのラベリング結果が示される。マッピング画像Ｍ０には図７と同様に、マッピング画像Ｍ１から見た症例領域Ａ０１，Ａ０２，Ａ０４の重心位置の移動量および移動方向を表すベクトルが示されている。表５１には、ラベル１〜４について、症例の種類、過去画像（すなわち３次元画像Ｖ１）における面積、現在画像（すなわち３次元画像Ｖ０）における面積、面積の変化量、および症例進行状況が示されている。なお、マッピング画像Ｍ０が３次元画像であれば、表５１には面積に代えて、過去画像における体積、現在画像における体積および体積の変化量が示される。
【００５８】
次いで、本実施形態において行われる処理について説明する。図９は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、同一被写体についての撮影時期が異なる２つの３次元画像Ｖ０，Ｖ１を取得する（ステップＳＴ１）。次いで、分類部２２が、３次元画像Ｖ０，Ｖ１のそれぞれに含まれる肺領域を複数種類の症例領域に分類し（ステップＳＴ２）、マッピング画像生成部２３が、分類された各症例領域をラベリングすることにより、３次元画像Ｖ０，Ｖ１のそれぞれに対応する、各症例領域に関する複数のマッピング画像Ｍ０，Ｍ１を生成する（ステップＳＴ３）。
【００５９】
そして、位置合わせ部２４が、３次元画像Ｖ０，Ｖ１の位置合わせを行い、この位置合わせ結果に基づいてマッピング画像Ｍ０，Ｍ１の位置合わせを行う（ステップＳＴ４）。さらに、変化算出部２５が、マッピング画像Ｍ０，Ｍ１における対応する位置の症例領域について、症例領域の重心位置を算出し、マッピング画像Ｍ０，Ｍ１間における重心位置の移動量および移動方向を、並びに大きさの変化量を分類された各症例領域の変化として算出する（ステップＳＴ５）。そして、表示制御部２６が、変化に関する情報をディスプレイ１４に表示し（ステップＳＴ６）、処理を終了する。
【００６０】
このように、本実施形態においては、対応する位置の症例領域の重心位置の複数のマッピング画像Ｍ０，Ｍ１間における移動量および移動方向を各症例領域の変化として算出しているため、症例領域の変化を精度よく算出することができる。したがって、撮影時期が異なる複数の３次元画像Ｖ０，Ｖ１を用いた経時比較観察を精度よく行うことができる。
【００６１】
また、３次元画像Ｖ０，Ｖ１の位置合わせを行い、位置合わせ結果に基づいて複数のマッピング画像Ｍ０，Ｍ１の位置合わせを行うことにより、各症例領域の変化をより精度よく算出することができるため、撮影時期が異なる複数の３次元画像Ｖ０，Ｖ１を用いた経時比較観察をより精度よく行うことができる。
【００６２】
なお、上記実施形態においては、対応する症例領域の重心位置の移動量および移動方向、並びに大きさの変化量を変化として算出しているが、対応する症例領域の重心位置の移動量および移動方向のみを変化として算出してもよい。また、対応する症例領域の大きさの変化量のみを変化として算出してもよい。図１０は大きさの変化量として面積の変化量のみを算出した場合における表示された変化に関する情報を示す図である。図１０に示すように、ディスプレイ１４には、図４と同一のマッピング画像Ｍ０および面積の変化量を表す表５２が表示される。なお、表５２において面積の変化量として変化率が示されている。また、表５２においては、８種類の症例領域のそれぞれについて変化量が算出されている。
【００６３】
また、上記実施形態においては、画像保管サーバから３次元画像Ｖ０，Ｖ１を読み出し、３次元画像Ｖ０，Ｖ１の双方に対して分類、マッピング画像の生成を行っているが、過去の３次元画像については、分類結果およびマッピング画像を併せて画像保管サーバ３に保存しておき、過去の３次元画像を読み出す際に、分類結果およびマッピング画像を合わせて読み出すようにしてもよい。これにより、過去の３次元画像について分類処理およびマッピング画像生成処理を行う必要が無くなるため、処理を迅速に行うことができる。
【００６４】
また、上記実施形態においてはストレージ１３または画像保管サーバ３に、複数の被写体についての、各症例領域の変化に関する情報を保存しておくようにしてもよい。この場合、表示制御部２６が、表示の対象となる被写体と異なる被写体についての、各症例領域の変化に関する情報を取得し、取得した変化に関する情報をさらに表示してもよい。これにより、取得した変化に関する情報に基づいて、被写体に含まれる各症例領域が、今後どのように変化するかを予測することができる。
【００６５】
以下、本実施形態の作用効果について説明する。
【００６６】
複数の医用画像の位置合わせを行い、位置合わせ結果に基づいて複数のマッピング画像の位置合わせを行うことにより、各症例領域の変化をより精度よく算出することができるため、撮影時期が異なる複数の医用画像を用いた経時比較観察をより精度よく行うことができる。
【００６７】
複数の被写体についての、各症例領域の変化に関する情報を保存しておき、表示の対象となる被写体と異なる被写体についての、各症例領域の変化に関する情報を取得し、取得した変化に関する情報をさらに表示することにより、取得した変化に関する情報に基づいて、被写体の症例領域が、今後どのように変化するかを予測することができる。
【符号の説明】
【００６８】
１    医用画像表示装置
２    ３次元画像撮影装置
３    画像保管サーバ
４    ネットワーク
１１    ＣＰＵ
１２    メモリ
１３    ストレージ
１４    ディスプレイ
１５    入力部
２１    画像取得部
２２    分類部
２３    マッピング画像生成部
２４    位置合わせ部
２５    変化算出部
２６    表示制御部
２７    学習部
４０    多層ニューラルネットワーク
４１    入力層
４２    出力層
５０    レファレンス
５１，５２    表
Ａ０１，Ａ０２，Ａ０４，Ａ１１〜Ａ１４    症例領域
Ｇ０１，Ｇ０２，Ｇ０４，Ｇ１１〜Ｇ１４    重心位置
Ｍ０，Ｍ１    マッピング画像
Ｖ０，Ｖ１    ３次元画像
【図１】
2018175227.tif 000003
【図２】
2018175227.tif 000004
【図３】
2018175227.tif 000005
【図４】
2018175227.tif 000006
【図５】
2018175227.tif 000007
【図６】
2018175227.tif 000008
【図７】
2018175227.tif 000009
【図８】
2018175227.tif 000010
【図９】
2018175227.tif 000011
【図１０】
2018175227.tif 000012