(57)【要約】【課題】ＤＬを用いて、より高精度で医学的妥当性の高い診断予測結果を示す予測モデルを得る。【解決手段】画像診断装置は、検査対象の画像信号を収集する観測部と、画像信号から第１の画像データを生成して当該第１の画像データの画像処理を行う画像処理部とを有する。画像処理部は、第１の画像データから第１の特徴量を抽出する特徴量抽出部２２０と、第１の特徴量を第２の画像データにより抽出される第２の特徴量に変換する特徴量変換部２３０と、変換された第２の特徴量を用いて所定のパラメータ値を算出する識別部２４０とを備える。特徴量抽出部２２０は、第１の画像データと第１の特徴量との複数の組み合わせを用いて学習された予測モデルを含み、特徴量変換部２３０は、第１の特徴量と第２の特徴量との複数の組み合わせを用いて学習された特徴量変換モデルを含む。【選択図】図２
2020144700.tif 000002
【特許請求の範囲】
【請求項１】
検査対象の画像信号を収集する観測部と、前記画像信号から第１の画像データを生成して当該第１の画像データの画像処理を行う画像処理部と、を有し、
前記画像処理部は、
前記第１の画像データから、第１の特徴量を抽出する特徴量抽出部と、
前記第１の特徴量を、第２の画像データにより抽出される第２の特徴量に変換する特徴量変換部と、
変換された前記第２の特徴量を用いて所定のパラメータ値を算出する識別部とを備え、
前記特徴量抽出部は、前記第１の画像データと前記第１の特徴量との複数の組み合わせを用いて学習された予測モデルを含み、
前記特徴量変換部は、前記第１の特徴量と前記第２の特徴量との複数の組み合わせを用いて学習された特徴量変換モデルを含むことを特徴とする画像診断装置。
【請求項２】
前記識別部は、前記第２の特徴量と前記パラメータ値との複数の組み合わせを用いて学習された識別モデルを含むことを特徴とする請求項１に記載の画像診断装置。
【請求項３】
前記第２の画像データは、前記検査対象の病理画像の画像データであり、
前記第２の特徴量は、前記病理画像の特徴を含むことを特徴とする請求項１に記載の画像診断装置。
【請求項４】
前記特徴量変換モデルは、エンコーダとデコーダの２つのネットワークから構成されており、前記エンコーダに前記第１の特徴量を入力すると、前記デコーダから前記第２の特徴量が出力されることを特徴とする請求項１に記載の画像診断装置。
【請求項５】
前記特徴量変換モデルは、所定の誤差関数を用いた誤差逆伝搬法により、所定の空間上にマッピングされた前記第１の特徴量と前記第２の特徴量との距離の誤差が小さくなるように学習されたモデルを含むことを特徴とする請求項１に記載の画像診断装置。
【請求項６】
前記特徴量変換モデルは、所定の誤差関数を用いた誤差逆伝搬法により、前記識別部が算出したパラメータ値の出力と教師データとの誤差が小さくなるように学習されたモデルを含むことを特徴とする請求項１に記載の画像診断装置。
【請求項７】
前記特徴量変換モデルは、所定の誤差関数を用いた誤差逆伝搬法により、所定の空間上にマッピングされた前記第１の特徴量と前記第２の特徴量との距離の誤差が小さくなるように、且つ、前記識別部が算出したパラメータ値の出力と教師データとの誤差が小さくなるように学習されたモデルを含むことを特徴とする請求項１に記載の画像診断装置。
【請求項８】
前記画像処理部は、
前記観測部が収集した画像信号から画像を再構成する画像再構成部と、
前記画像再構成部が生成した画像を補正する補正処理部とを更に備え、
前記特徴量抽出部は、補正された画像の画像データを前記第１の画像データとして、前記第１の特徴量を抽出することを特徴とする請求項１に記載の画像診断装置。
【請求項９】
前記画像処理部により処理された画像を表示する出力部をさらに備え、
前記識別部は、前記第１の画像データの画像と、前記パラメータ値に基づく情報とを重畳して或いは並列に前記出力部に表示させることを特徴とする請求項１に記載の画像診断装置。
【請求項１０】
前記パラメータ値に基づく情報は、前記パラメータ値に対応する前記第２の画像データの画像を含むことを特徴とする請求項９に記載の画像診断装置。
【請求項１１】
前記第２の画像データの画像は、前記観測部により画像信号が収集された検査対象の部位のうち、疾患がある部位と同じ部位の病理画像であることを特徴とする請求項１０に記載の画像診断装置。
【請求項１２】
前記第１の特徴量および前記第２の特徴量はそれぞれ複数次元であり、
前記第２の特徴量は、前記第１の特徴量よりも、その次元数が大きいことを特徴とする請求項１に記載の画像診断装置。
【請求項１３】
前記画像処理部は、前記観測部が収集した画像データから１以上のパッチの画像データを切り出して前記特徴量抽出部に渡すパッチ処理部を更に備え、
前記特徴量抽出部は、切り出された前記１以上のパッチの画像データから第１の特徴量を抽出することを特徴とする請求項１に記載の画像診断装置。
【請求項１４】
前記検査対象の画像データに関心領域を設定するＲＯＩ設定部を更に備え、
前記画像処理部は、前記ＲＯＩ設定部で設定された領域の画像データを処理することを特徴とする請求項１に記載の画像診断装置。
【請求項１５】
前記観測部は、検査対象の磁気共鳴信号を計測し、当該磁気共鳴信号で構成されるｋ空間データを取得するＭＲ観測部であり、
前記画像処理部は、前記ＭＲ観測部が取得したｋ空間データを用いて画像再構成を行うことを特徴とする請求項１に記載の画像診断装置。
【請求項１６】
前記観測部は、検査対象の超音波信号を取得する超音波観測部であり、
前記画像処理部は、前記超音波信号から超音波画像の画像データを生成し、当該画像データを用いて画像再構成を行うことを特徴とする請求項１に記載の画像診断装置。
【請求項１７】
前記観測部は、検査対象を透過したＸ線信号を取得するＣＴ観測部であり、
前記画像処理部は、前記ＣＴ観測部が取得したＸ線信号から断層画像の画像データを生成し、生成した画像データを用いて画像再構成を行うことを特徴とする請求項１に記載の画像診断装置。
【請求項１８】
前記予測モデルおよび前記特徴量変換モデルは、前記観測部にネットワークを介して接続されたクラウドに格納されていることを特徴とする請求項１に記載の画像診断装置。
【請求項１９】
画像診断装置の観測部が取得した検査対象の画像信号から、第１の画像データを生成するステップ（１）と、
前記第１の画像データと第１の特徴量との複数の組み合わせにより学習された予測モデルを用いて、前記第１の画像データから前記第１の特徴量を抽出するステップ（２）と、
前記第１の特徴量と、第２の画像データにより抽出される第２の特徴量との複数の組み合わせにより学習された特徴量変換モデルを用いて、前記第１の特徴量を前記第２の特徴量に変換するステップ（３）と、
前記第２の特徴量を用いて所定のパラメータ値を算出するステップ（４）と、を含むことを特徴とする画像処理方法。
【請求項２０】
コンピュータに、
画像診断装置の観測部が取得した検査対象の画像信号から第１の画像データを生成するステップ（１）と、
前記第１の画像データと第１の特徴量との複数の組み合わせにより学習された予測モデルを用いて、前記第１の画像データから前記第１の特徴量を抽出するステップ（２）と、
前記第１の特徴量と、第２の画像データにより抽出される第２の特徴量との複数の組み合わせにより学習された特徴量変換モデルを用いて、前記第１の特徴量を前記第２の特徴量に変換するステップ（３）と、
前記第２の特徴量を用いて所定のパラメータ値を算出するステップ（４）と、を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、磁気共鳴イメージング（以下、ＭＲＩ）装置、ＣＴ装置、超音波撮像装置等の画像診断装置に係り、特に画像診断装置を用いて高度な診断を行うための画像処理に関する。
【背景技術】
【０００２】
近年、AI(Artificial Intelligence)による画像診断支援技術として、ディープラーニング（ＤＬ）を用いた、疾患（例えば腫瘍）の有無や悪性度（グレード）を予測する方法が提案されている。ＤＬでは、画像を複数のカテゴリに分類するように学習した畳み込みニューラルネットワーク（ＣＮＮ）が利用されるのが一般的である。
【０００３】
ＤＬを用いて腫瘍のグレードを予測する方法の一例として、非特許文献１には、ダイナミック造影ＭＲＩ（ＤＣＥ−ＭＲＩ）で撮像された画像データと病理画像データとからそれぞれ画像特徴量を複数取得し、各特徴量を組み合わせたマップを生成して、前記マップから、前立腺ガンのステージ算出に用いられるグリーソンスコア（ＧＳ）情報との関係性を分析することで、新たな入力画像に対するGSを推定する予測モデルが提示されている。
【０００４】
また特許文献１には、ＭＲＩ画像の画像特徴量を複数抽出し、特徴量ごとに配列したマップ画像を提示する方法が開示されている。このマップ画像は、複数の特徴量と複数の病態（悪性度等）との関連性を分析することで生成されており、被験者のMRI画像から病態の情報を関連付けることが可能となる。
【０００５】
しかしながら、非特許文献１の技術を用いて診断結果を得るためには、画像診断装置による検査の他に、検査部位の病理画像を取得する病理検査が必須となる。病理検査では針などを用いて患者の微小組織を採取するため、患者に与える身体的な負担が大きく、病理検査を行わずに、腫瘍の有無やグレードが判断できる技術が望ましい。別の観点で言えば，本当に病理検査を行うべき対象を正確に判断できる技術があることで、最適な医療を提供することができる。
【０００６】
また、特許文献１の技術を用いた場合、画像の特徴量と病態との関係性は大量データの分析から導かれるものであり、医学的観点からの妥当性を示すことが難しい。つまり、実際の医療現場で使用されるケースにおいては、処理内容のブラックボックス化が問題になる可能性が高い。
【０００７】
病理診断を行わずに画像診断装置の画像から病理診断で判断可能な腫瘍の性質を予測・提示する方法として、非特許文献２には、画像診断装置画像と病理診断結果（所見、テキスト情報）との組み合わせを多数学習することにより、画像診断装置画像の入力から、病理画像所見を予測する方法が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許出願公開第２０１４／０３７５６７１号明細書
【非特許文献】
【０００９】
【非特許文献１】Ａｓｈａ Ｓｉｎｇａｎａｍａｌｌｉ  他著，「Ｉｄｅｎｔｉｆｙｉｎｇ  ｉｎ  ｖｉｖｏ  ＤＣＥ  ＭＲＩ  ｍａｒｋｅｒｓ  ａｓｓｏｃｉａｔｅｄ  ｗｉｔｈ  ｍｉｃｒｏｖｅｓｓｅｌ  ａｒｃｈｉｔｅｃｔｕｒｅ  ａｎｄ  ｇｌｅａｓｏｎ  ｇｒａｄｅｓ  ｏｆ  ｐｒｏｓｔａｔｅ  ｃａｎｃｅｒ．」、ジャーナル  オブ  マグネティックレゾナンス（Ｊｏｕｒｎａｌ  ｏｆ  Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ）、  ２０１５、４３、ｐ．１４９−１５８
【非特許文献２】Ｅｌｉｚａｂｅｔｈ  Ｓ．  Ｂｕｒｎｓｉｄｅ他著，「Ｕｓｉｎｇ  ｃｏｍｐｕｔｅｒ  ｅｘｔｒａｃｔｅｄ  ｉｍａｇｅ  ｐｈｅｎｏｔｙｐｅｓ  ｆｒｏｍ  ｔｕｍｏｒｓ  ｏｎ  ｂｒｅａｓｔ  ｍａｇｎｅｔｉｃ  ｒｅｓｏｎａｎｃｅ  ｉｍａｇｉｎｇ  ｔｏ  ｐｒｅｄｉｃｔ  ｂｒｅａｓｔ  ｃａｎｃｅｒ  ｐａｔｈｏｌｏｇｉｃ  ｓｔａｇｅ．」、Ｃａｎｃｅｒ、２０１６、ｐ．７４８−７５７
【発明の概要】
【発明が解決しようとする課題】
【００１０】
非特許文献２に開示されるような方法では、病理検査を行わずに、医用画像を用いて病理診断から得られる所見（腫瘍悪性度、グレードなど）を予測提示することができるが、この手法は画像診断装置画像と病理所見という画像とテキストの関係性を大量データの分析から導く方法であり、医学的観点からの妥当性という観点で説明が難しい。またこの手法では、学習サンプルとして画像診断装置画像と病理所見（テキスト）という異なる情報レベルの組み合わせを用いて学習モデルを作成するため、その相関関係がブラックボックスとなり、予測結果の無謬性を検証することができない。
【００１１】
本発明は、ＤＬを用いて、より高精度で医学的妥当性の高い診断予測結果を示す予測モデルを得ることを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明は、観測部が取得した画像の画像信号を画像データ化して、この画像データから第１の特徴量を抽出した後、第１の特徴量を第２の特徴量に変換し、第２の特徴量を用いて所定のパラメータを算出別する処理が行われる。
【００１３】
具体的には、画像診断装置は、検査対象の画像信号を収集する観測部と、画像信号から第１の画像データを生成して当該第１の画像データの画像処理を行う画像処理部とを有する。画像処理部は、第１の画像データから第１の特徴量を抽出する特徴量抽出部と、第１の特徴量を第２の画像データにより抽出される第２の特徴量に変換する特徴量変換部と、変換された第２の特徴量を用いて所定のパラメータ値を算出する識別部とを備える。特徴量抽出部は、第１の画像データと第１の特徴量との複数の組み合わせを用いて学習された予測モデルを含み、特徴量変換部は、第１の特徴量と第２の特徴量との複数の組み合わせを用いて学習された特徴量変換モデルを含む。
【発明の効果】
【００１４】
本発明によれば、観測部が収集した画像信号から生成される画像データを用いて、より高精度な診断に用いられるパラメータ値を算出することができる。これにより、画像診断装置を用いた診断をより高精度に実現でき、医療の質向上に貢献することができる。
【図面の簡単な説明】
【００１５】
【図１】第一実施形態の画像診断装置の全体構成を示す図。
【図２】第一実施形態の診断支援処理部の構成を示す図。
【図３】特徴量抽出部（ＣＮＮ）の構造の例を示す図。
【図４】入力画像と病理画像のパッチ処理を説明する図。
【図５】特徴量変換部（ＣＮＮ）の構造の概要を示す図。
【図６】病理画像から特徴量Ｂを抽出する学習構造（ＣＮＮ）と、識別部の構造の例を示す図。
【図７】特徴量変換部の構造の詳細を示す図。
【図８】特徴量変換モデルの精度を向上させる処理の例（その１）を示す図。
【図９】特徴量変換モデルの精度を向上させる処理の例（その２）を示す図。
【図１０】学習モデルが組み込まれた画像処理部の動作の流れを示す図。
【図１１】（Ａ）、（Ｂ）は入力画像と出力画像の表示例を示す図。
【図１２】第一実施形態の変形例１の特徴量変換部の構成を示す図。
【図１３】第一実施形態の変形例２のパッチ処理を説明する図。
【図１４】第一実施形態の変形例３のＲＯＩ設定の画面例を示す図。
【図１５】第二実施形態の画像診断装置（ＭＲＩ装置）の全体構成を示す図。
【図１６】第三実施形態の画像診断装置（超音波撮像装置）の全体構成を示す図。
【図１７】第四実施形態の画像診断装置（ＣＴ装置）の全体構成を示す図。
【発明を実施するための形態】
【００１６】
本発明は、ＭＲＩ装置、ＣＴ装置、超音波撮像装置等の、観測部と画像処理部とを備えた各種画像診断装置に適用できる。最初に、各モダリティに共通する構成の実施形態を説明する。
【００１７】
＜第一実施形態＞
本実施形態の画像診断装置１０は、図１に示すように、被検体から画像再構成に必要な画像信号を収集する観測部１００と、観測部１００で撮像された被検体の画像処理を行う画像処理部１１８とを備えている。画像診断装置１０は、さらにその内部或いは外部に、各種指示を入力するための入力部１１９と、ディスプレイ等の出力部１２０と、記憶装置１２１（例えば図１５参照）を備えている。観測部１００は、モダリティによって構成が異なるが、被検体の計測によって画像信号を取得し、取得した画像信号を画像処理部１１８に渡す。モダリティ毎の詳細な構成については後述する実施形態で説明する。
【００１８】
画像処理部１１８は、観測部１００から受け取った画像信号から画像データ（第１の画像データ）の画像を再構成する画像再構成部２００と、生成された画像データを用いて画像の補正処理（例えばノイズ補正）を行う補正処理部２０１と、補正処理された画像の画像データを用いて画像診断を支援する処理を行う診断支援処理部２０２とを備えている。補正処理された画像２０４の画像データと、診断支援処理部２０２に処理された画像２０５の画像データは、出力部１２０に出力される（図１１参照）。
【００１９】
診断支援処理部２０２は、図２に示すように、補正処理部２０１から受け取った第１の画像データから予測モデルを用いて第１の特徴量Ａを抽出する特徴量抽出部２２０と、特徴量変換モデルを用いて第１の特徴量Ａを第２の特徴量Ｂに変換処理する特徴量変換部２３０と、識別モデルを用いて第２の特徴量Ｂから所定のパラメータ値を算出する識別部２４０を備えている。
【００２０】
特徴量Ａは、観測部１００で取得された画像信号から得られる画像（以下、入力画像という）の画像データから抽出される特徴量であり、例えば病変部分の輝度情報をDLに学習させた結果である。特徴量Ｂは、特徴量Ａが抽出される第１の画像データよりも詳細な情報を有する第２の画像データから抽出される特徴量であって、例えば、入力画像と同部位の病理画像における情報（特徴）をDLに学習させた結果である。識別部２４０が特徴量Ｂから算出するパラメータとは、例えば、病理画像から診断される腫瘍の有無や、グレード、腫瘍以外の疾患の度合いである。
【００２１】
画像処理部１１８は、補正処理部２０１から受け取った画像データを所定サイズのパッチに分けてパッチごとに処理を行う場合には、補正処理部２０１から受け取った画像データから１以上のパッチを切り出すパッチ処理部２１０を更に備える。その場合、パッチ処理部２１０が切り出したパッチを特徴量抽出部２２０に渡し、特徴量抽出部２２０がパッチ毎に特徴量Ａを抽出し、特徴量変換部２３０が特徴量Ａから特徴量Ｂに変換し、識別部２４０が特徴量Ｂからパラメータを識別して処理後のパッチデータを統合したうえで、統合したデータを出力部１２０に出力する。
【００２２】
画像処理部１１８の処理に必要となるデータおよびプログラムは、記憶装置１２１（図１５等）に格納されている。画像処理部１１８の処理に必要なデータとは、具体的には、特徴量抽出部２２０、特徴量変換部２３０、および識別部２４０が行う処理に用いられる後述の各学習モデル等である。記憶装置１２１は、ネットワークを介して画像診断装置１０に通信可能に接続されたワークステーションやＰＡＣＳ（画像保存通信システム:Picture Archiving and Communication Systems）のサーバ装置であってもよいし、画像診断装置１０に接続可能な可搬性記憶媒体であってもよい。また記憶装置１２１の代わりに各データを格納する仕組みとして、観測部１００にネットワークを介して接続されたクラウドを用いてもよい。
【００２３】
画像処理部１１８は、画像診断装置が演算部や制御部としてＣＰＵやＧＰＵを備える場合には、ＣＰＵ或いはＧＰＵに搭載されるソフトウェアとしてその機能が実現される。特に特徴量抽出部２２０、特徴量変換部２３０、および識別部２４０は、学習機能を備えたＮｅｕｒａｌ  Ｎｅｔｗｏｒｋで実現され、ＣＮＮ等の公知ソフトウェアパッケージを利用することができる。また画像処理部１１８の一部の機能は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）などのハードウェアで実現することも可能である。
【００２４】
以下、入力画像（第１の画像）から、病理画像（第２の画像）のパラメータの一例として腫瘍のグレードをパッチごとに算出する場合の、画像処理部１１８の動作について説明する。まず画像処理部１１８が被検体の画像を処理する手順の説明に先立ち、診断支援処理部２０２に組み込むための学習モデルについて説明する。
【００２５】
［学習モデルの詳細］
本実施形態の学習モデルは以下の３種類であり、各学習モデルにはそれぞれＣＮＮを用いる。１つ目は、特徴量抽出部２２０が入力画像の画像データから特徴量Ａを抽出するための予測モデルであり、２つ目は、特徴量変換部２３０が特徴量Ａから特徴量Ｂに変換するための特徴量変換モデルであり、３つ目は、識別部２４０が特徴量Ｂから所定のパラメータを算出するための識別モデルである。
【００２６】
まず、特徴量Ａを抽出するための予測モデルについて説明する。予測モデルは、入力画像と病変有無（良性／悪性）ラベルの組み合わせを学習用データとして用いて学習されたモデルである。
【００２７】
予測モデルのＣＮＮは、図３に模式的に示すように、入力層４１と出力層４４との間で多数の畳み込み演算４２とプーリング４３とを多層ネットワーク上で繰り返すように構成されたコンピュータ上に構築される演算手段である。パッチ処理部２１０により複数パッチに分けられた学習用の入力画像２０３の入力データ（図４）に対し、予測モデルのＣＮＮが畳み込み演算とプーリングとを繰り返すことにより、入力画像２０３の病変有無を高精度に識別するための特徴量Ａ（例えば１０２４次元）を抽出する。図３中、各層を示すブロックの前の数字は層の数であり、各層内の数字は層で処理するサイズを表している。なお、特徴量Ａは、診断に必要な複数の分類４５に分けると、分類４５からパラメータ４６（例えば、腫瘍が良性か悪性か）を算出することができるものである。
【００２８】
次に、特徴量Ａを特徴量Ｂに変換する特徴量変換モデルについて説明する。特徴量変換モデルは、図５に示すようにエンコーダ２３０Ａとデコーダ２３０Ｂの２つのネットワークから構成されていて、特徴量Ａと特徴量Ｂとの複数の組み合わせを学習用データとして用いて学習されたモデルである。この特徴量変換モデルは、エンコーダ２３０Ａに、特徴量抽出部２２０から抽出された入力画像２０４の特徴量Ａを入力すると、デコーダ２０３Ｂから病理画像３０３の特徴量Ｂが出力されるように、特徴量変換部２３０に組み込まれている。この図では、特徴量Ａ及び特徴量ＢがともにＮ次元（Ｎは自然数）である例を示している。特徴量変換モデルは、前記した先行研究（非特許文献２）のように画像とテキストという関係性を学習したモデルではなく、画像と画像、さらにDLを活用した抽象度の高い特徴量間で関係性を学習したモデルであるところがポイントである。
【００２９】
特徴量変換モデルに用いられる学習用の特徴量Ｂは、被検体の病理検査により生成されてパッチ処理された学習用の病理画像３０３（図４）からＣＮＮにより抽出される。この、学習用の病理画像３０３から学習用の特徴量Ｂを抽出するＣＮＮも、特徴量変換部２３０に含まれている。学習用の病理画像３０３から学習用の特徴量Ｂを抽出するＣＮＮは、予測モデルのＣＮＮと同様のＣＮＮであり、具体的には図６に示すように、入力層４１Ｂと出力層４４Ｂとの間で多数の畳み込み演算４２Ｂとプーリング４３Ｂとを多層ネットワーク上で繰り返すように構成されたコンピュータ上に構築される演算手段であり、学習用の病理画像３０３に対し、畳み込み演算とプーリングとを繰り返すことにより、例えば病理画像３０３の腫瘍部分のグレードを高精度に識別するための特徴量Ｂ（例えば１０２４次元）を抽出する。
【００３０】
特徴量変換モデルのＣＮＮは、例えば図７に示すような多層構造となっている。各層における処理の一例は、下記表１に示す通りである。
【００３１】
【表１】
2020144700.tif 000003
【００３２】
次に、特徴量Ｂから所定のパラメータを算出するための識別モデルについて説明する。識別モデルは、特徴量Ｂと腫瘍のグレードとの複数の組み合わせを学習用データとして用いて学習されたモデルであり、特徴量Ｂを識別部２４０に入力した際に、最も特徴量Ｂから分類されるグレードに近いグレードが抽出されるように、識別部２４０に組み込まれている。
【００３３】
識別モデルは、図６に模式的に示すように、特徴量Ｂを診断に必要な複数の分類４５Ｂに分けると、分類４５Ｂからパラメータ４６Ｂとして腫瘍のグレード（例えば、レベル０〜レベル４）を算出する。この識別モデルが識別部２４０に組み込まれる。
【００３４】
なお上述の各ＣＮＮには、ＴｅｎｓｏｒＦｌｏｗ（Ｇｏｏｇｌｅ社（登録商標））、Ｃｈａｉｎｅｒ（Ｐｒｅｆｅｒｒｅｄ  Ｎｅｔｗｏｒｋｓ社（登録商標））、Ｔｈｅａｎｏ（Ｕｎｉｖｅｒｓｉｔｅ ｄｅ Ｍｏｎｔｒｅａｌ）等の公知のソフトウェア（OSS：Open Source Software）を利用することができる。
【００３５】
ニューラルネットワークを学習させる際に、ネットワーク出力値と目標データ（教師データ）との誤差を最小化するための誤差関数には、一般に、次式（１）に示すような二乗誤差関数を用いた誤差逆伝搬法が利用される。
【００３６】
【数１】
2020144700.tif 000004
tk：教師データ
yk：ネットワーク出力データ
【００３７】
kはデータ数であるが、実際の学習においては、処理されるデータの「ひとまとまり」であるバッチ数となるのが一般的である。
【００３８】
本実施形態における特徴量変換モデルの学習においては、以下の誤差関数のいずれかまたはこれらの組み合わせを用いることにより、予測モデルの精度を向上させることが可能である。
１．所定空間距離誤差
２．識別モデル誤差
以下、これらの誤差関数について説明する。
【００３９】
１．所定空間距離誤差
学習用の特徴量Ａと特徴量Ｂのデータをそれぞれ入力（教師データ）Ak、出力Bkとした場合、教師データAkと出力Bkをそれぞれ次元変換・圧縮して、図８に示すように所定の空間εへマッピングする。マッピング手法としては例えばPCA，tSNE(t-distributed Stochastic Neighbor Embedding)を利用する。なお、この図では空間εを２次元空間としているが、それに制限されない。
【００４０】
空間ε上における教師データAkと出力Bkとの距離r（例えば各データ集合の重心間）を誤差関数（１）に加えることで、空間ε上での距離ｒの誤差が小さくなるような誤差関数を設定する。例えば空間εへの変換関数をgとし、空間ε上での重心(各データの座標の平均値)をCで表したとき、誤差関数は次の式（２）で表される。
【００４１】
【数２】
2020144700.tif 000005
【００４２】
この式（２）を誤差関数として誤差逆伝搬法による学習を実施する。
【００４３】
２．識別モデル誤差
この手法は、特徴量変換モデルと識別モデル（特徴量を変換するモデルに加え、識別部２４０の行う識別結果までを含めたモデル）を学習する際に、識別部２４０からの出力と教師データとの誤差（ロス値）を誤差関数として逆伝搬させて、識別結果の誤差を最小にする方法である（図９参照）。
【００４４】
この手法ではまず、識別クラスごとの出力（確率スコア（softmax層出力(0〜1)）と教師データの差分をロス値として，損失関数を設定する。識別結果の出力のクラス数が、図９に示すように３クラスの場合、例えば出力ベクトル（yL0,yL1,yL2）は、以下の式（３）のような値となる。
【００４５】
【数３】
2020144700.tif 000006
【００４６】
一方、教師データベクトル（yoL0,yoL1,yoL2）は、以下の式（４）のような値となる。
【００４７】
【数４】
2020144700.tif 000007
【００４８】
出力ベクトルと教師データベクトルとのベクトル誤差は、以下の式（５）のような誤差関数で定義することができる。
【００４９】
【数５】
2020144700.tif 000008
上記の出力ベクトルと教師データベクトルの値を用いると、式（５）の値は、
E3=-(1 x log0.6 + 0 x log0.2 + 0 x log0.2)
＝-(-0.22)
=0.22
となる。
【００５０】
以上のような誤差関数を用いることで、特徴量変換モデルや識別モデルの誤差を小さくし、より精度高い予測モデルを実現することができる。また、上記誤差関数（２）、（５）を組み合わせて重み付けをし、以下式（６）のような誤差関数を組んでもよい。
【数６】
2020144700.tif 000009
ここで、w1,w2はそれぞれ重み係数（例えばw1=0.5, w2=0.5）である。
【００５１】
［画像処理動作］
次に、上述した学習済ＣＮＮが組み込まれた画像処理部１１８の動作の流れを、図１０を参照し、パッチ切り出しを行う場合を例にあげて説明する。
【００５２】
画像処理部１１８は、観測部１００から画像信号を受け取ると、まず処理する入力画像２０４の準備をする。具体的には、画像再構成部２００が画像信号から入力画像２０４の画像データを生成し、補正処理部２０１が、生成された画像データを用いて画像を補正し、補正した画像データを診断支援処理部２０２と出力部１２０に出力する（ｓ１）。次にパッチ処理部２１０が、予測モデル作成時と同様に、処理するすべての画像データを所定のサイズのパッチに切り出し（図４）、特徴量抽出部２２０に渡す（ｓ２）。特徴量抽出部２２０は、予測モデルを用いて入力画像２０４の特徴量Ａをパッチ毎に抽出する（ｓ３）。特徴量Ａの抽出方法は、予測モデル（図３）を作成して学習用画像２０３から特徴量Ａを抽出した際の手法と同様である。
【００５３】
次に、特徴量変換部２３０が、特徴量変換モデル（図５）を用いて、特徴量Ａから特徴量Ｂに変換する（ｓ４）。識別部２４０は、変換された特徴量Ｂを分類し（ｓ５）、分類内容からパラメータ値を算出する（ｓ６）。さらに識別部２４０は、各パッチを統合してパラメータ値を反映させた画像２０５（図１１参照）を得て、その画像データを出力部１２０に出力し、表示させる（ｓ７）。
【００５４】
以上の動作により、出力部１２０には、図１１に示すように、補正処理部２０１に補正処理された画像２０４の画像データと、診断支援処理部２０２に処理された画像２０５の画像データとがそれぞれ出力され、画像２０４、２０５の一方または両方が表示される。
【００５５】
出力部１２０におけるパラメータ値の表示方法は、画像診断装置１０の使用者にパラメータ値を認識させることができれば特定の手法に限定されず、例えば、印、数値、画像などを表示する方法が挙げられる。
【００５６】
パラメータが腫瘍の悪性度の場合、補正画像２０４の腫瘍のある部位に対して、悪性度に応じた印を重ねて画像２０５とすることができる。例えば図１１（Ａ）に示す画像２０５では、悪性度に応じて画像に重ねる印の色を変えており、悪性度の高い部位２０５ａは黒色、悪性度の低い部位２０５ｂは白色としている。またパラメータが前立腺ガンのステージ算出に用いられるＧＳ等の場合、図１１（Ｂ）に示すように、腫瘍のある領域２０５ｃを囲んで提示したり、ＧＳを示す情報（数値）を表示したりしてもよい。さらに、図１１（Ｂ）に示すように、疾患がある部位にパラメータ値から予測される同部位の病理画像を重ねて表示してもよい。
【００５７】
以上、説明したように、本実施形態によれば、観測部が収集した信号から入力画像を生成し、入力画像から抽出した特徴量Ａを、より詳細な情報を有する画像の特徴量Ｂに変換して、特徴量Ｂから、より高精度な診断に用いられるパラメータ値を算出することができる。これにより、画像診断装置を用いた診断の他に精密検査を行わずに、高精度な診断結果を示すことができる。
【００５８】
また本実施形態では、異なる画像同士の特徴量の関係性を学習させているため、例えば画像診断装置の画像のどこの部分を見て、病理画像で得られる特徴を判断しているかを医学的に示すことができるため、診断結果に対するユーザの判断をより正確に行うことが可能となる。つまり、画像診断装置の画像では一般的に見えにくく、見逃がしてしまうような特徴をユーザに気付かせることが可能となる。
【００５９】
＜第一実施形態の変形例１＞
第一実施形態では、特徴量Ａと特徴量Ｂを同次元（Ｎ次元）としたが、特徴量Ａと特徴量Ｂの次元は異なっていてもよい。例えば特徴量ＡがＮ次元で特徴量ＢがＭ次元の場合、図１２に示すように特徴量Ｂの次元が特徴量Ａの次元よりも大きくてもよいし（Ｍ＞Ｎ）、小さくても（Ｍ＜Ｎ）よい。
【００６０】
＜第一実施形態の変形例２＞
第一実施形態では、画像データからのパッチの切り出しは、各パッチがオーバーラップしない条件で行ったが、パッチ処理部２１０は、図１３に示すように隣接するパッチがオーバーラップするようにパッチを切り出してもよい。パッチをオーバーラップさせて切り出し、上述のようなＣＮＮ処理を行うことにより、出力画像の画質をさらに向上させることができる。なお全てのパッチをオーバーラップさせるのではなく、一部の、例えば関心領域内のパッチのみをオーバーラップさせてもよい。
【００６１】
＜第一実施形態の変形例３＞
第一実施形態では、画像データから切り取ったパッチ全てを、画像処理したが、関心領域（ＲＯＩ）内の画像のみを処理するようにしてもよい。
【００６２】
その場合、例えば図１４に示すようなＵＩ（ＲＯＩ設定部２７０）等を介して、画像診断装置１０のユーザにＲＯＩを設定させてもよい。ユーザがＲＯＩを設定すると、画像処理部１１８は、その情報を用いて、ＲＯＩに設定された部分の画像データのみ処理する。これにより、ＲＯＩのみが高画質に変換された画像データが得られる。
【００６３】
このように本変形例によれば、関心領域から外れる部分の画像処理を割愛することにより、全体としての処理時間を短縮することができる。
【００６４】
＜第一実施形態の変形例４＞
第一実施形態では、入力画像からパラメータ（例えば腫瘍のグレード）を算出する例について説明したが、画像処理部が出力可能なパラメータの種類は１種に限られない。例えば、乳がんや胃がんなど被検体の検査部位に応じた学習モデルや、腫瘍に限らず各種疾患に応じた学習モデルなど、複数パターンの学習モデルが、記憶装置１２１に記憶されていてもよい。その場合、ユーザが診断部位や診断したい疾患名等を入力部１１９（図１５参照）から入力することにより、入力された内容に応じて画像処理部が処理に用いる学習モデルを選択し、選択された学習モデルを用いてパラメータを算出してもよい。
【００６５】
以上、観測部の種類を問わずに適用可能な実施形態とその変形例について説明した。次にモダリティ毎の実施形態を説明する。
【００６６】
＜第二実施形態＞
本発明をＭＲＩ装置に適用した実施形態を説明する。
ＭＲＩ装置１０Ｂは、図１５に示すように、第一実施形態の観測部１００に相当するＭＲ観測部１００Ｂと、ＭＲ観測部１００Ｂから受信した核磁気共鳴信号を用いて画像再構成等の演算を行う再構成部１０６Ｂとからなる。
【００６７】
ＭＲ観測部１００Ｂは、従来のＭＲＩ装置と同様の構成を備えており、検査対象の磁気共鳴信号を計測し、当該磁気共鳴信号で構成されるｋ空間データを取得する。具体的には、ＭＲ観測部１００Ｂは、静磁場を発生する静磁場発生部１０２と、静磁場空間に３軸方向の傾斜磁場を発生する傾斜磁場コイル１０９を含む傾斜磁場発生部１０３と、静磁場空間内の被検体１０１に高周波磁場を印加する送信コイル１１４ａを含む送信部１０４と、被検体１０１から発生する核磁気共鳴信号を受信する受信コイル１１４ｂを含む受信部１０５と、傾斜磁場発生部１０３、送信部１０４及び受信部１０５の動作を所定のパルスシーケンスに従い制御するシーケンサ１０７とを備えている。
【００６８】
傾斜磁場発生部１０３には傾斜磁場コイル１０９を駆動するための傾斜磁場電源１１０が備えられ、送信部１０４には、送信コイル１４０ａに所定の高周波信号を与え、送信コイル１１４０ａから核磁気共鳴周波数の電磁波を照射させる高周波発生器１１１、増幅器１１３及び変調器１１２などが備えられている。また受信部１０５には、受信コイル１１４ｂが検知した信号を増幅する増幅器１１５、直交位相検波器１１６、さらにディジタル信号に変換するためのＡ／Ｄ変換器１１７などが含まれる。
【００６９】
再構成部１０６Ｂは、ＭＲ観測部１００Ｂで取得された核磁気共鳴信号（ｋ空間データ）を用いて第一実施形態の画像処理部１１８と同様の処理を行う画像処理部１１８Ｂと、各部に必要な指令や情報を入力するための入力部１１９と、作成した画像やＵＩを表示する出力部１２０と、ＭＲ観測部１００Ｂが取得した核磁気共鳴信号、計算途中のデータ及び計算に必要なパラメータ等の数値を格納する記憶装置１２１とを備えている。
【００７０】
再構成部１０６Ｂの機能は、メモリとＣＰＵ又はＧＰＵに搭載されたソフトウェアにより実現される。但し、画像処理部１１８Ｂの一部をハードウェアで構成してもよい。
【００７１】
画像処理部１１８Ｂの構成及び機能は、第一実施形態の画像処理部１１８と同様であり、図１を参照すると、画像再構成部２００、補正処理部２０１、及び診断支援処理部２０２を備える。また診断支援処理部２０２は、図２に示したようにパッチ処理部２１０、特徴量抽出部２２０、特徴量変換部２３０、及び識別部２４０を備えている。
【００７２】
本実施形態の特徴量抽出部２２０の学習用データには、ＭＲ画像とその画像の良悪性情報のデータを用意する。特徴量変換部２３０の学習用データには、特徴量Ａ及び特徴量Ｂの組み合わせデータを用意する。また識別部２４０の学習用データには、特徴量抽出部２２０に学習させるＭＲ画像と同部位の病理画像データとそのパラメータ値（がんのグレード等）との組み合わせデータを用意する。
【００７３】
撮像に際しては、ＭＲ観測部１００Ｂが任意の撮像方法にてｋ空間データを収集し、画像処理部１１８にｋ空間データを送信する。画像処理部１１８Ｂは第一実施形態と同様の処理を行う。まず画像再構成部２００がｋ空間データから実空間のＭＲ画像の画像データを生成し、生成されたＭＲ画像を補正処理部２０１が補正処理して診断支援処理部２０２に入力する。入力されたＭＲ画像をパッチ処理部２１０がパッチ処理し、特徴量抽出部２２０がパッチ毎にＭＲ画像の画像データから特徴量Ａを抽出する。特徴量変換部２３０は、特徴量Ａを特徴量Ｂに変換する。識別部２４０は、特徴量Ｂからパラメータ値を算出するとともにパッチを統合してＭＲ画像とし、パラメータ値およびＭＲ画像データを出力部１２０に出力する。
【００７４】
本実施形態において、第一実施形態の変形例を適用し、ＭＲ画像のうち、所望の領域のみに上述した画像処理部１１８Ｂの処理を行ってもよいし、パッチをオーバーラップして切り出してもよい。
【００７５】
本実施形態の画像診断装置（ＭＲＩ装置）によれば、被検体の入力画像（ＭＲ画像）から、高精度な診断に用いられるパラメータ値を算出することができるため、画像診断装置を用いた診断の他に精密検査を行わずに、高精度な診断結果を示す画像を得ることができる。これにより本実施形態のＭＲＩ装置を用いれば、例えば病理検査を行うことなく病理診断と同等の診断が可能となるため、患者の身体的負担を減らしつつ、高精度な診断が可能となる。
【００７６】
＜第三実施形態＞
本発明を超音波撮像装置に適用した実施形態を説明する。
超音波撮像装置１０Ｃの全体概要を図１６に示す。この装置は、第一実施形態の観測部１００に相当する超音波観測部１００Ｃと、超音波観測部１００Ｃから受信した超音波信号を用いて画像再構成等の演算を行う再構成部１０６Ｃとからなる。
【００７７】
超音波観測部１００Ｃは、従来の超音波撮像装置と同様の構成を備えており、超音波を発信する超音波探触子９０１、探触子９０１に超音波駆動信号を送る送信部９０２、探触子９０１からの超音波信号（ＲＦ信号）を受信する超音波受信部９０３、超音波受信部９０３が受信した信号を整相加算（ビームフォーミング）する整相加算部９０５、及び、超音波送信部９０２及び超音波受信部９０３を制御する超音波送受信制御部９０４を備える。
【００７８】
再構成部１０６Ｃは、観測部１００Ｃが取得した超音波信号から超音波画像を生成して第一実施形態の画像処理部１１８と同様の処理を行う画像処理部１１８Ｃと、入力部１１９と、出力部１２０と、記憶装置１２１とを備える。再構成部１０６Ｃは、さらにドプラー処理部（不図示）などを備えていてもよい。図示する構成例では、超音波送受信制御部９０４及び画像処理部１１８Ｃは一つのＣＰＵ内に構築されているが、超音波送受信制御部９０４は、画像処理部１１８Ｃとは別のＣＰＵ内に構築されていてもよいし、送受信回路等のハードウェアと制御ソフトウェアとの組み合わせであってもよい。
【００７９】
画像処理部１１８Ｃの構成及び機能は、第一実施形態の画像処理部１１８と同様であり、図１に示したように、画像再構成部２００、補正処理部２０１、及び診断支援処理部２０２を備えている。また診断支援処理部２０２は、図２に示したように、パッチ処理部２１０、特徴量抽出部２２０、特徴量変換部２３０および識別部２４０を備えている。
【００８０】
本実施形態の特徴量抽出部２２０の学習用データには、超音波画像とその画像の良悪性情報のデータを用意する。特徴量変換部２３０の学習用データには、特徴量Ａ及び特徴量Ｂの組み合わせデータを用意する。また識別部２４０の学習用データには、特徴量抽出部２２０に学習させる超音波画像と同部位の病理画像とパラメータ値（例えばがんのグレード等）との組み合わせデータを用意する。
【００８１】
撮像においては、超音波観測部１００Ｃにおいて探触子９０１が受信した超音波を整相加算し、画像処理部１１８Ｃに超音波信号を送信する。画像処理部１１８Ｃは、第一実施形態と同様の処理を行う。まず画像再構成部２００が超音波信号から超音波画像を生成し、生成された超音波画像を補正処理部２０１が補正処理して診断支援処理部２０２に入力する。入力された超音波画像をパッチ処理部２１０がパッチ処理し、特徴量抽出部２２０が超音波画像の画像データから特徴量Ａを抽出する。特徴量変換部２３０は、特徴量Ａを特徴量Ｂに変換する。識別部２４０は、特徴量Ｂからパラメータ値を算出するとともにパッチを統合した超音波画像とし、パラメータ値および超音波画像データを出力部１２０に出力する。本実施形態においても、第一実施形態で説明した変形例を適宜、適用することができる。
【００８２】
本実施形態の超音波撮像装置によれば、超音波画像から、高精度な診断に用いられるパラメータ値を算出することができるため、超音波撮像装置を用いた診断の他に精密検査を行わずに、高精度な診断結果を得ることができる。
【００８３】
＜第四実施形態＞
本発明をＣＴ装置に適用した実施形態を説明する。
ＣＴ装置１０Ｄの全体概要を図１７に示す。この装置は、大きく分けて第一実施形態の観測部１００に相当するＣＴ観測部１００Ｄと、ＣＴ観測部１００Ｄから受信したＣＴ画像信号を用いて画像再構成等の演算を行う再構成部１０６Ｄとからなる。
【００８４】
ＣＴ観測部１００Ｄは、従来のＣＴ装置と同様の構成を備えており、被検体１０１にＸ線を照射するＸ線源１００１と、Ｘ線の放射範囲を制限するコリメータ１００３と、被検体１０１を透過した透過Ｘ線を検出するＸ線検出器１００６と、中央に開口１００４を有してＸ線源１００１及びＸ線検出器１００６を対向する位置で支持する回転板１００２と、開口１００４内の空間で被検体１０１を搭載する寝台１００５と、Ｘ線検出器１００６の出力を投影データ毎に収集するデータ収集部１００７と、ＣＴ観測部１００Ｄを構成する各要素の動作を制御するシステム制御部１００８とを備えている。
【００８５】
再構成部１０６Ｄは、観測部１００Ｄが生成した断層画像（ＣＴ画像）に対して、第一実施形態の画像処理部１１８と同様の処理を行う画像処理部１１８Ｄと、入力部１１９と、出力部１２０と、記憶装置１２１とを備える。また図示する構成例では、システム制御部１００８及び画像処理部１１８Ｄは一つのＣＰＵ内に構築されているが、システム制御部１００８は、画像処理部１１８Ｄとは別のＣＰＵ内に構築されていてもよいし、ハードウェアと制御ソフトウェアとの組み合わせであってもよい。同様に再構成部１０６Ｄの機能の一部をハードウェアで構成することも可能である。
【００８６】
画像処理部１１８Ｄの機能は、第一実施形態の画像処理部１１８と同様であり、図１に示したように、画像再構成部２００、補正処理部２０１、及び診断支援処理部２０２を備える。また診断支援処理部２０２は、図２に示したように、パッチ処理部２１０、特徴量抽出部２２０、特徴量変換部２３０および識別部２４０を備えている。
【００８７】
本実施形態の特徴量抽出部２２０の学習用データには、ＣＴ画像とその画像の良悪性情報のデータを用意する。特徴量変換部２３０の学習用データには、特徴量Ａ及び特徴量Ｂの組み合わせデータを用意する。また識別部２４０の学習用データには、特徴量抽出部２２０に学習させるＣＴ画像と同部位の病理画像とパラメータ値（例えばがんのグレード等）との組み合わせデータを用いる。
【００８８】
撮像においては、超音波観測部１００ＣにおいてＸ線検出器１００６が検出した透過Ｘ線のＸ線信号を、データ収集部１００７が収集して画像処理部１１８Ｄに送信する。画像処理部１１８Ｄは、第一実施形態と同様に、まず画像再構成部２００がＣＴ画像を生成し、生成された超音波画像を補正処理部２０１が補正処理して診断支援処理部２０２に入力する。入力されたＣＴ画像をパッチ処理部２１０がパッチ処理し、特徴量抽出部２２０がＣＴ画像から特徴量Ａを抽出する。特徴量変換部２３０は、特徴量Ａを特徴量Ｂに変換する。識別部２４０は、変換された特徴量Ｂからパラメータ値を算出するとともに、各パッチを統合してＣＴ画像とし、パラメータ値およびＣＴ画像データを出力部１２０に出力する。本実施形態においても、第一実施形態で説明した変形例を適宜、適用することができる。
【００８９】
本実施形態のＣＴ装置によれば、ＣＴ画像から、高精度な診断に用いられるパラメータ値を算出することができるため、ＣＴ装置を用いた診断の他に精密検査を行わずに、高精度な診断結果を得ることができる。
【符号の説明】
【００９０】
１０：画像診断装置
１０Ｂ：ＭＲＩ装置
１０Ｃ：超音波撮像装置
１０Ｄ：ＣＴ装置
１００：観測部
１００Ｂ：ＭＲ観測部
１００Ｃ：超音波観測部
１００Ｄ：ＣＴ観測部
１０６Ｂ〜１０６Ｄ：再構成部
１１８、１１８Ｂ〜１１８Ｄ：画像処理部
１１９：入力部
１２０：出力部
１２１：記憶装置
２００：画像再構成部
２０１：補正処理部
２０２：診断支援処理部
２１０：パッチ処理部
２２０：特徴抽出部
２３０：特徴量変換部
２４０：識別部
【図１】
2020144700.tif 000010
【図２】
2020144700.tif 000011
【図３】
2020144700.tif 000012
【図４】
2020144700.tif 000013
【図５】
2020144700.tif 000014
【図６】
2020144700.tif 000015
【図７】
2020144700.tif 000016
【図８】
2020144700.tif 000017
【図９】
2020144700.tif 000018
【図１０】
2020144700.tif 000019
【図１１】
2020144700.tif 000020
【図１２】
2020144700.tif 000021
【図１３】
2020144700.tif 000022
【図１４】
2020144700.tif 000023
【図１５】
2020144700.tif 000024
【図１６】
2020144700.tif 000025
【図１７】
2020144700.tif 000026