(57)【要約】【課題】深層学習された学習済モデルの判定精度を高めることである。【解決手段】実施形態に係る画像処理装置は、学習部と、修正部とを備える。学習部は、病変の内部の領域である第１の領域に係る第１のデータと、第１の領域から影響を受ける領域である第２の領域に係る第２のデータとを訓練データとして用いて、ニューラルネットワークで構成される第１の学習済モデルを生成する。修正部は、第１のデータと第２のデータとの間にある相関関係を示す情報に基づいて第１の学習済モデルの中間層の重み付けを修正して、入力医用データについての判定を行う第２の学習済モデルを生成する。【選択図】図１
2020062340.tif 000002
【特許請求の範囲】
【請求項１】
病変の内部の領域である第１の領域に係る第１のデータと、前記第１の領域から影響を受ける領域である第２の領域に係る第２のデータとを訓練データとして用いて、ニューラルネットワークで構成される第１の学習済モデルを生成する学習部と、
前記第１のデータと前記第２のデータとの間にある相関関係を示す情報に基づいて前記第１の学習済モデルの中間層の重み付けを修正して、入力医用データについての判定を行う第２の学習済モデルを生成する修正部と
を備える、
画像処理装置。
【請求項２】
前記第２の学習済モデルに基づいて、前記入力医用データについての判定を行う判定部を更に備える、請求項１に記載の画像処理装置。
【請求項３】
前記学習部は、第３の学習済モデルから得られた前記情報に基づいて、前記第２の学習済モデルを生成する、請求項１に記載の画像処理装置。
【請求項４】
前記第２の領域は、前記病変の細胞外の微小環境領域である、請求項１に記載の画像処理装置。
【請求項５】
前記病変は、がんであり、前記第２の領域は、前記がんの組織外の間質細胞領域、又は前記がんの転移性が高い組織のうち少なくとも一方である、請求項１に記載の画像処理装置。
【請求項６】
前記第１の領域は、脳の機能領域であり、前記第２の領域は、前記第１の領域と神経機能連関がある領域である、請求項１に記載の画像処理装置。
【請求項７】
前記第１の領域は、脳の機能領域であり、前記第２の領域は、脳以外の領域であって、前記第１の領域に関連する神経支配領域である、請求項１に記載の画像処理装置。
【請求項８】
病変内部の領域である第１の領域に係る第１のデータと、前記第１の領域から影響を受ける領域である第２の領域に係る第２のデータとを訓練データとして用いて、第１の学習済モデルを生成し、
前記第１のデータと前記第２のデータとの間にある相関関係を示す情報に基づいて前記第１の学習済モデルの中間層の重み付けを修正して、入力医用データについての判定を行う第２の学習済モデルを生成する各処理をコンピュータに実行させる、プログラム。
【請求項９】
病変内部の領域である第１の領域に係る第１のデータと、前記第１の領域と関連性を有する情報である第２のデータとを訓練データとして用いて、第１の学習済モデルを生成する学習部と、
前記第１のデータと前記第２のデータとの間にある相関関係を示す情報に基づいて前記第１の学習済モデルを修正して、入力医用データについての判定を行う第２の学習済モデルを生成する修正部と
を備える、
画像処理装置。
【請求項１０】
前記第２のデータは、被検体の遺伝子情報である、請求項９に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、及びプログラムに関する。
【背景技術】
【０００２】
コンピュータを用いて診断支援を行う、いわゆるＣｏｍｐｕｔｅｒ  Ａｓｓｉｓｔｅｄ  Ｄｅｔｅｃｔｉｏｎ／Ｄｉａｇｎｏｓｉｓなどの分野では、例えば、予めわかっている病変の特徴量を教師データとして、学習を行って、学習済モデルを生成する。また、近年では、深層学習（ディープラーニング）や強化学習によって、特徴量を人間が事前知識として与えなくとも、プログラムが自ら特徴量そのものを自己学習し、その特徴量に人間がラベル（記号）を与えることによって学習済モデルを生成する場合がある。
【０００３】
しかし、例えば深層学習（ディープラーニング）を用いて学習を行う場合、中間層の重み付けが適切でないと、学習された学習済モデルの判定精度が低下する場合がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−７２７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、深層学習された学習済モデルの判定精度を高めることである。
【課題を解決するための手段】
【０００６】
実施形態に係る画像処理装置は、学習部と、修正部とを備える。学習部は、病変の内部の領域である第１の領域に係る第１のデータと、第１の領域から影響を受ける領域である第２の領域に係る第２のデータとを訓練データとして用いて、ニューラルネットワークで構成される第１の学習済モデルを生成する。修正部は、第１のデータと第２のデータとの間にある相関関係を示す情報に基づいて第１の学習済モデルの中間層の重み付けを修正して、入力医用データについての判定を行う第２の学習済モデルを生成する。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施形態に係る画像処理装置を示す図である。
【図２】図２は、実施形態に係る画像処理装置が行う学習の処理の流れについて説明したフローチャートである。
【図３】図３は、実施形態に係る画像処理装置が行う処理について説明した図である。
【図４】図４は、実施形態に係る画像処理装置が用いるニューラルネットワークの一例について説明した図である。
【図５】図５は、実施形態に係る画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面を参照しながら説明する。ここで、互いに同じ構成には共通の符号を付して、重複する説明は省略する。
【０００９】
（実施形態）
図１は、実施形態に係る画像処理装置１００を示すブロック図である。
【００１０】
医用画像診断装置５０は、被検体の撮影又は撮像を行い、医用データを生成する装置である。医用画像診断装置５０は、例えば、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ  Ｔｏｍｏｇｒａｐｈｙ）装置である。かかる場合、医用画像診断装置５０は、被検体に対してＸ線ＣＴ撮影を行い、Ｘ線ＣＴデータまたはＸ線ＣＴ画像を生成する。医用画像診断装置５０は、生成したＸ線ＣＴデータまたはＸ線ＣＴ画像を、学習済モデルが判定を行う対象となる入力医用データとして、または、学習済モデルを生成するための訓練用の医用データとして、画像処理装置１００に送信する。画像処理装置１００は、後述する、第１の処理回路１２０が有するインタフェース機能１２０ｘ又は第２の処理回路１３０が有するインタフェース機能１３０ｘにより、医用画像診断装置５０から、Ｘ線ＣＴデータまたはＸ線ＣＴ画像を取得する。
【００１１】
なお、医用画像診断装置５０が、被検体に対してＸ線ＣＴ撮影を行うことにより得られたＸ線ＣＴデータに基づいてＸ線ＣＴ画像を生成してもよいし、画像処理装置１００が、医用画像診断装置５０から取得したＸ線ＣＴデータに基づいてＸ線ＣＴ画像を生成してもよい。
【００１２】
また、別の例として、医用画像診断装置５０は、例えば、磁気共鳴イメージング装置である。かかる場合、医用画像診断装置５０は、被検体に対して磁気共鳴イメージング撮像を行い、磁気共鳴イメージングデータまたは磁気共鳴イメージング画像を生成する。
【００１３】
また、医用画像診断装置５０は、超音波診断装置、陽電子放射断層撮影装置等の核医学診断装置、デジタルＸ線診断装置等の、その他の種類の医用機器であってもよい。
【００１４】
画像処理装置１００は、医用画像診断装置５０に接続され、学習済モデルの生成、学習済モデルの実行、及び様々な画像処理を実行する。画像処理装置１００は、医用画像診断装置５０が生成する医用データを、学習済モデルが判定を行う対象となる入力医用データとして、または、学習済モデルを生成するための訓練用の医用データとして使用する。画像処理装置１００は、これらの入力医用データ及び訓練用の医用データを、例えばそれぞれ入力医用画像及び訓練用の医用画像の形で使用する。
【００１５】
画像処理装置１００は、メモリ１３２、入力装置１３４、ディスプレイ１３５、第１の処理回路１２０、第２の処理回路１３０を備える。第１の処理回路１２０は、訓練データ作成機能１２０ａ、学習機能１２０ｂ、修正機能１２０ｃ、インタフェース機能１２０ｘ、制御機能１２０ｙ、生成機能１２０ｚを備える。また、第２の処理回路１３０は、インタフェース機能１３０ｘ、制御機能１３０ｙ、生成機能１３０ｚを備える。
【００１６】
実施形態では、訓練データ作成機能１２０ａ、学習機能１２０ｂ、修正機能１２０ｃ、インタフェース機能１２０ｘ、制御機能１２０ｙ、生成機能１２０ｚにて行われる各処理機能、及び学習済モデルは、コンピュータによって実行可能なプログラムの形態でメモリ１３２へ記憶されている。第１の処理回路１２０及び第２の処理回路１３０はプログラムをメモリ１３２から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の第１の処理回路１２０は、図１の第１の処理回路１２０内に示された各機能を有することになる。また、各プログラムを読み出した状態の第２の処理回路１３０は、図１の第２の処理回路１３０内に示された各機能を有することになる。また、学習済モデルに対応するプログラムを読み出した状態の第２の処理回路１３０が実行されると、当該学習済モデルに従った処理が行われる。なお、図１においては第１の処理回路１２０及び第２の処理回路１３０にて、それぞれ単一の処理回路により、これらの処理機能が実現されるものとして説明するが、複数の独立したプロセッサを組み合わせてそれぞれ第１の処理回路１２０及び第２の処理回路１３０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。換言すると、上述のそれぞれの機能がプログラムとして構成され、１つの処理回路が各プログラムを実行する場合であってもよい。また、単一の処理回路により、第１の処理回路１２０及び第２の処理回路１３０の両方が実現されてもよい。別の例として、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。なお、図１において、訓練データ作成機能１２０ａ、学習機能１２０ｂ、修正機能１２０ｃ、判定機能１３０ａ、インタフェース機能１２０ｘ及び１３０ｘ、制御機能１２０ｙ及び１３０ｙ、生成機能１２０ｚ及び１３０ｚは、それぞれ作成部、学習部、修正部、判定部、受付部、制御部、画像生成部の一例である。
【００１７】
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ：ＦＰＧＡ））等の回路を意味する。プロセッサはメモリ１３２に保存されたプログラムを読み出し実行することで機能を実現する。
【００１８】
また、メモリ１３２にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。従って、例えばメモリ１３２に学習済モデルが保存される代わりに、プロセッサの回路内に学習済モデルに係るプログラムが直接組み込まれていてもよい。
【００１９】
なお、第１の処理回路１２０は、主に訓練データの作成および、訓練データを用いた学習による学習済モデルの生成を主に担う処理回路であり、第２の処理回路１３０は、生成された学習済モデルを判別対象／鑑別対象のデータに適用して判別／鑑別を行う機能を主に担う処理回路である。
【００２０】
第１の処理回路１２０は、訓練データ作成機能１２０ａにより、医用画像診断装置５０から取得した画像データに基づいて、後述の学習機能１２０ｂにより学習を行うための訓練データを生成する。訓練データは、例えば画像データである訓練画像データである。第１の処理回路１２０は、訓練データ作成機能１２０ａにより生成された訓練データに対して、学習機能１２０ｂを用いて学習を行い、学習済モデルを生成する。また、第２の処理回路１３０は、生成された学習済モデルに対して鑑別を行い、判定を行う。これら、訓練データ作成機能１２０ａ、学習機能１２０ｂ、修正機能１２０ｃ及び判定機能１３０ａについては、後述する。
【００２１】
また、第１の処理回路１２０は、インタフェース機能１２０ｘにより、訓練用の画像データの取得に係る医用画像診断装置５０の撮影の制御に係る情報を医用画像診断装置５０へ送信し、また、医用画像診断装置５０から、撮影により得られた訓練用の画像データを取得する。また、インタフェース機能１２０ｘを有する第１の処理回路１２０は、受信した訓練用の画像データをメモリ１３２に格納する。
【００２２】
同様に、第２の処理回路１３０は、インタフェース機能１３０ｘにより、鑑別対象の画像データの取得に係る医用画像診断装置５０の撮影の制御に係る情報を医用画像診断装置５０へ送信し、また、医用画像診断装置５０から、撮影により得られた鑑別対象の画像データを取得する。また、インタフェース機能１２０ｘを有する第１の処理回路１２０は、受信した鑑別対象の画像データをメモリ１３２に格納する。
【００２３】
第１の処理回路１２０は、制御機能１２０ｙにより、また第２の処理回路１３０は、制御機能１３０ｙにより、医用画像診断装置５０及び画像処理装置１００の全般的な制御を行い、撮像や画像の生成、画像の表示等を制御する。
【００２４】
また、第１の処理回路１２０は、生成機能１２０ｚにより、訓練用の画像データに基づいて、訓練用の画像データを生成し、または生成された訓練用の医用データに対して、種々の画像処理を行う。同様に、第２の処理回路１３０は、生成機能１２０ｚにより、鑑別対象の画像データに基づいて、鑑別対象の医用データを生成し、または生成された鑑別対象の医用データに対して、種々の画像処理を行う。
【００２５】
メモリ１３２は、上述の訓練用の画像データ、訓練データ、鑑別対象の画像データ等、様々なデータを記憶する。メモリ１３２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。
【００２６】
入力装置１３４は、操作者からの各種指示や情報入力を受け付ける。入力装置１３４は、例えば、マウスやトラックボール等のポインティングデバイス、モード切替スイッチ等の選択デバイス、あるいはキーボード等の入力デバイスである。ディスプレイ１３５は、制御機能１３０ｙによる制御の下、撮像条件の入力を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）や、生成機能１２０ｚや１３０ｚによって生成された画像等を表示する。ディスプレイ１３５は、例えば、液晶表示器等の表示デバイスである。ディスプレイ１３５は、表示部の一例である。
【００２７】
続いて、実施形態に係る背景について簡単に説明する。
【００２８】
コンピュータを用いて診断支援を行う、いわゆるＣｏｍｐｕｔｅｒ  Ａｓｓｉｓｔｅｄ  Ｄｅｔｅｃｔｉｏｎ／Ｄｉａｇｎｏｓｉｓなどの分野では、例えば、予めわかっている病変の特徴量を教師データとして、学習を行って、学習済モデルを生成する。また、近年では、深層学習（ディープラーニング）や強化学習によって、特徴量を人間が事前知識として与えなくとも、プログラムが自ら特徴量そのものを自己学習して、その特徴量にラベル（記号）を人間が与えて、学習済モデルを生成する場合がある。
【００２９】
しかし、例えば、深層学習を行う場合など、十分な数の訓練データを用意できないことがある。この場合、例えば中間層の重み付けが適切でないと、深層学習された学習済モデルの判定精度が低下する場合がある。
【００３０】
かかる背景に鑑みて、実施形態に係る画像処理装置１００は、第１の処理回路１２０を備える。第１の処理回路１２０は、学習機能１２０ｂにより、病変の内部の領域である第１の領域に係る第１のデータと、第１の領域から影響を受ける領域である第２の領域に係る第２のデータとを訓練データとして用いて、ニューラルネットワークで構成される第１の学習済モデルを生成する。ここで、訓練データは、例えば画像データである訓練画像データであり、第１のデータ及び第２のデータは、例えば画像データである。第１の処理回路１２０は、修正機能１２０ｃにより、第１のデータと第２のデータとの間にある相関関係を示す情報に基づいて第１の学習済モデルの中間層の重み付けを修正して、入力医用データについての判定を行う第２の学習済モデルを生成する。
【００３１】
このように、第１の処理回路１２０は、生成した第１の学習済モデルの中間層の重み付けを、事前知識に基づいて修正することで、判定精度の高い第２の学習済モデルを生成することができる。
【００３２】
以上のことを、図２〜図５を用いてより詳細に説明する。
【００３３】
はじめに、図２を用いて、第１の処理回路１２０が学習機能１２０ｂ及び修正機能１２０ｃにより行う、学習済モデルの生成手順について説明する。
【００３４】
はじめに、第１の処理回路１２０は、インタフェース機能１２０ｘにより、訓練用の医用データを、医用画像診断装置５０から取得する（ステップＳ１００）。例えば、医用画像診断装置５０がＸ線ＣＴ装置である場合、第１の処理回路１２０は、インタフェース機能１２０ｘにより、Ｘ線ＣＴデータまたはＸ線ＣＴ画像を、医用画像診断装置５０から取得する。なお、医用画像診断装置５０が、被検体に対してＸ線ＣＴ撮影を行うことにより得られたＸ線ＣＴデータに基づいてＸ線ＣＴ画像を生成してもよいし、画像処理装置１００が、医用画像診断装置５０から取得したＸ線ＣＴデータに基づいてＸ線ＣＴ画像を生成してもよい。
【００３５】
また、別の例として、医用画像診断装置５０は、例えば、磁気共鳴イメージング装置である。かかる場合、画像処理装置１００は、インタフェース機能１２０ｘにより、医用画像診断装置５０から、磁気共鳴イメージングデータまたは磁気共鳴イメージング画像を取得する。かかる場合、医用画像診断装置５０が、磁気共鳴イメージング撮像を行うことにより得られた磁気共鳴イメージングデータに基づいて磁気共鳴イメージング画像を生成してもよいし、画像処理装置１００が、医用画像診断装置５０から取得した磁気共鳴イメージングデータに基づいて、生成機能１２０ｚにより、磁気共鳴イメージング画像を生成してもよい。
【００３６】
また、医用画像診断装置５０が、超音波診断装置、陽電子放射断層撮影装置等の核医学診断装置、デジタルＸ線診断装置等の、その他の種類の医用機器である場合、画像処理装置１００は、インタフェース機能１２０ｘにより、医用画像診断装置５０から、被検体の撮影又は撮像を行って生成したデータを、学習済モデルを生成するための訓練用の医用データとして、取得する。
【００３７】
また、訓練用の医用データ等に代表される医用データの形式は、ボリュームデータを基に再構成された画像データ、生データを基に再構成された画像データ、画像データに対してさらに加工が行われた画像データ、例えば画像データのエッジを強調したデータ等の加工済み画像データなど、様々な形式の画像データを含む。
【００３８】
また、実施形態は、画像処理装置１００が、医用画像診断装置５０から、直接、訓練用の医用データを取得する場合に限られない。例えば、医用画像診断装置５０が、別途存在する画像保存サーバなどの記憶装置に医用データを訓練用の医用データとして送信し、当該記憶装置に保存された医用データを、画像処理装置１００が取得してもよい。この場合、当該記憶装置に保存された医用データは、単一の医用画像診断装置５０により生成されたものに限られず、複数の医用画像診断装置５０により生成されてもよい。
【００３９】
続いて、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、ステップＳ１００において取得した訓練用の医用データに基づいて、訓練データを生成する（ステップＳ１１０）。
【００４０】
ここで、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、病変の内部の領域である第１の領域に係る第１のデータと、第１の領域から影響を受ける領域（影響領域）である第２の領域に係る第２のデータとを、訓練データとして生成する。
【００４１】
すなわち、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、病変の有無等について直接的に判定を行う対象である第１の領域に係る第１のデータと、第１の領域と関連性を有し、病変の有無等について判定を行うに当たって補助的に利用できる領域である第２の領域に係る第２のデータとを、訓練データとして生成する。
【００４２】
ここで、「第１の領域から影響を受ける領域である第２の領域（影響領域）」とは、例えば以下のような例が挙げられる。
【００４３】
例えば、病理画像の判定を行う場合、第１の領域の病変の細胞外の微小環境領域が、第２の領域の一例となる。すなわち、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、病変の内部の領域である第１の領域に係る第１のデータと、当該病変の細胞外の微小環境領域に係る第２の領域に係る第２のデータとを、訓練データとして生成する。
【００４４】
ここで、微小環境領域とは、腫瘍等の周囲に存在して、腫瘍等に栄養を送っている正常な細胞、分子、血管などのことである。腫瘍の存在によって腫瘍の増殖、拡大の速度が影響を受けることから、第１の処理回路１２０は、これらの領域に係るデータを、訓練データとして生成する。
【００４５】
また、がん関連画像の判定を行う場合、すなわち、第１の領域が、がんの内部の領域である場合、がんの組織外の間質細胞領域や、当該がんの転移性が高い組織が、当該第２の領域の一例となる。すなわち、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、がんの内部の領域である第１の領域に係る第１のデータと、当該がんの組織外の間質細胞領域、又は当該がんの転移性が高い組織のうち少なくとも一方の領域に係る第２のデータを、訓練データとして生成する。
【００４６】
このように、例えばがん細胞組織外の情報をも活用して補助的な判断材料とするために、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、これらの領域に係るデータを、訓練データとして生成する。
【００４７】
また、図３を用いて、第１の領域が脳の機能領域である場合における第２の領域について説明する。図３は、実施形態に係る画像処理装置が行う処理について説明した図である。
【００４８】
図３は、脳の画像を示した一例であり、病変領域１０は、第１の領域を示している。第１の領域は、脳の機能領域に含まれる。また、神経機能関連領域１１は、病変領域１０となっている脳回単位やその機能集合領域と、神経機能連関のある領域を表している。神経機能関連領域１１は、第２の領域の一例となる。すなわち、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、脳の機能領域における病変内部の領域である病変領域１０に係る第１のデータと、病変領域１０と神経機能連関がある領域である神経機能関連領域１１に係る第２のデータを、訓練データとして生成する。
【００４９】
また、神経支配領域１２は、脳以外の領域であって、病変領域１０に関連する神経支配領域、すなわち病変領域１０からの神経支配が及ぶ領域を示している。神経支配領域１２は、第２の領域の一例となる。すなわち、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、脳の機能領域における病変内部の領域である病変領域１０に係る第１のデータと、脳以外の領域であって、病変領域１０に関連する神経支配領域１２に係る第２のデータを、訓練データとして生成する。
【００５０】
このように、例えば脳において病変領域と関連する領域の情報を活用して補助的な判断材料とするために、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、これらの領域に係るデータを、訓練データとして生成する。
【００５１】
なお、第１の処理回路１２０は、訓練データ作成機能１２０aにより、例えばＬｅｖｅｌｓｅｔ法等の輪郭抽出技術等を用いて、ステップＳ１００において取得した訓練用の医用データから、第１の領域や第２の領域を抽出し、抽出した第１の領域や第２に領域に基づいて、訓練データを生成する。
【００５２】
ここで、第１の処理回路１２０が訓練データ作成機能１２０aにより生成する訓練データは、例えば第１の領域や第２の領域に係る画像と、判定結果の正解データとが紐付けられた教師データである。ここで、判定結果の正解データの一例としては、例えば画像が病変に係る画像であれば「１」を与え、画像が病変に係る画像でなければ「０」を与えるデータが挙げられる。また、判定結果の正解データの一例としては、例えば画像が、良性腫瘍に係る画像であれば値「良性腫瘍」を与え、画像が悪性腫瘍に係る画像であれば値「悪性腫瘍」を与え、画像が腫瘍に係る画像でなければ値「腫瘍なし」を与えるデータが挙げられる。また、判定結果の正解データの一例としては、画像に係る特徴量の値を実数値として与えるデータが挙げられる。
【００５３】
なお、深層学習（ディープラーニング）においては、いわゆる自己符号化（オートエンコーダ）を用いた学習を、教師データを用いた学習の前に行うこともある。かかる学習においては、第１の領域や第２の領域に係る画像と、判定結果の正解データとが紐付けられた教師データは必ずしも必要にならない場合がある。かかる場合、第１の処理回路１２０は、例えば第１の領域や第２の領域に係る画像のデータそのものを訓練データとして用いて、自己符号化により学習を行う。かかる場合、例えば第１の領域や第２の領域に係る画像のデータそのものも、第１の処理回路１２０が訓練データ作成機能１２０aにより生成する訓練データの一例として位置付けられる。
【００５４】
図２に戻り、続いて、第１の処理回路１２０は、学習機能１２０ｂにより、第１の領域（異常領域）と第２の領域（影響領域）について、ステップＳ１１０で生成した訓練データを用いて学習を行い、第１の学習済モデルを生成する（ステップＳ１２０）。
【００５５】
一例として、第１の処理回路１２０は、学習機能１２０ｂにより、第１の領域（異常領域）と第２の領域（影響領域）について、ステップＳ１１０で生成した訓練データを用いて学習を行い、ニューラルネットワークにより構成された、第１の学習済モデルを生成する。ここで、ニューラルネットワークの例としては、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）やＲＮＮ
（Ｒｅｃｕｒｒｅｎｔ  ＮｅｕｒａｌＮｅｔｗｏｒｋ）等が挙げられる。ニューラルネットワークのうち、層が多層にわたるものは、ＤＮＮ（Ｄｅｅｐ  ＮｅｕｒａｌＮｅｔｗｏｒｋ）とも呼ばれる。
【００５６】
第１の処理回路１２０は、学習機能１２０ｂにより、第１の領域（異常領域）と第２の領域（影響領域）について、ステップＳ１１０で生成した教師ありデータである訓練データに対して逆誤差伝搬法等などの方法により学習を行い、ニューラルネットワークにより構成された、第１の学習済モデルを生成する。ここで、学習を行う、あるいは学習済モデルを生成する、とは、より具体的には、当該ニューラルネットワークを構成するノード間の重み付けを決定することを言う。
【００５７】
なお、いわゆる深層学習を行う場合、第１の処理回路１２０は、学習機能１２０ｂにより、ステップＳ１１０で生成された訓練データを用いて、オートエンコーダにより、学習を行ってもよい。この場合、第１の処理回路１２０は、学習機能１２０ｂにより、オートエンコーダにより行われた学習の結果に基づいて、第１の学習済モデルを生成する。
【００５８】
以下、図４を用いて、第１の処理回路１２０が、畳み込みニューラルネットワーク（ＣＮＮ）を用いて学習を行う場合について説明する。図４はＣＮＮの概略をあらわした図である。
【００５９】
図４において、入力層１は、データが入力される層を表す。ＣＮＮの場合、入力層１に入力されるデータは、例えば各要素が実数の値を取り、例えばサイズが３２×３２の２次元配列で表されるデータである。畳み込み層２ａ、２ｂ、２ｃ、３ｄ及びプーリング層３ａ、３ｂ、３ｃ、３ｄは、それぞれ前層のデータに対してそれぞれ畳み込み及びプーリングと呼ばれる所定の演算を行い、演算の結果を出力する層である。ここで、通常、入力層１に入力される一つのデータに対して、例えば畳み込みのやり方を少しずつ異ならせて、複数のデータが、入力装置１の次の層である畳み込み層２ａで生成される。例えば、畳み込み層２ａで生成されるデータは、入力層に入力されるデータのサイズが３２×３２の場合、データのサイズが２８×２８のデータが２０個生成される。続いて、畳み込み層２ａで生成されるデータに対してプーリング演算が行われて、例えばデータのサイズが１４×１４のデータが２０個、プーリング層３ａで生成される。続いて、プーリング層３ａで生成されルデータに対して畳み込み演算が行われて、例えばデータのサイズが１０×１０のデータが２０個、畳み込み層３ｂで生成される。以下同様に、畳み込み層２ｃ、プーリング層３ｃ、畳み込み層２ｄ、プーリング層３ｄで生成されるデータは、例えばデータのサイズが縮小される。例えば、プーリング層３ｃで生成されるデータは、データのサイズが５×５であり、データ数が２０個となる。また、プーリング層３ｄで生成されるデータは、データのサイズが３×３であり、データ数が２０個となる。
【００６０】
全結合層４ａ及び４ｂは、層の一つ前の全データを入力として、データを出力する層である。すなわち、全結合層の前のデータの全てが結合されて、データが出力される。例えば、全結合層４ａにおいては、例えばデータのサイズが１×１のデータが２０個生成されるが、各々の２０個の１×１のデータの出力は、プーリング層３ｄで生成される２０個のデータすべてのデータの値に依存する。同様に、全結合層４ｂにおいては、例えばデータのサイズが１×１のデータが２０個生成されるが、各々の２０個の１×１のデータの出力は、全結合層４ａで生成される２０個のデータすべてのデータの値に依存する。
【００６１】
また、出力層５は、直前の層の出力結果に基づいて、最終的な出力結果が表示される層である。例えば、出力層５では、データのサイズが１×１のデータが６個生成される。これらのデータのそれぞれは、例えば、画像が病変であるか否かを０か１かで表したデータ、病変が良性が悪性であるかを０か１かで表したデータ、病変の悪性度を実数値で表したデータ等である。
【００６２】
なお、入力層１と出力層５以外の層である中間層６は、隠れ層とも呼ばれる。
【００６３】
なお、説明の簡単のため、中間層６で行う演算として、畳み込み演算を行う畳み込み層２ａ、２ｂ、２ｃ、３ｄとプーリング層３ａ、３ｂ、３ｃ、３ｄとを交互に配置した場合について説明したが、実施形態はこれに限られず、例えば畳み込み演算及びプーリング演算以外の演算を行う層が含まれていても良い。入力層１に入力されるデータは、病変の内部の領域である第１の領域に係る第１のデータと、第１の領域から影響を受ける領域である第２の領域に係る第２のデータとからなるため、例えば第１のデータ部分と第２のデータ部分とを混合するための全結合層が、プーリング層と畳み込み層との間に、必要に応じて適宜配置されてもよい。
【００６４】
第１の処理回路１２０は、ステップＳ１１０で生成された、入力層１に入力されるデータと出力層５に出力されるデータとから構成される教師ありデータである訓練データを基に、学習機能１２０ｂにより、例えば逆誤差伝播法などにより、学習を行う。ここで、学習を行うという意味は、入力層１、中間層６及び出力層５からなるニューラルネットワークにおける重み付けを決定することを意味する。ここで、入力層１、中間層６及び出力層５からニューラルネットワークにおける重み付けを決定するとは、具体的には、入力層１と畳み込み層２ａとの間の結合を特徴付ける係数の組、畳み込み層２ａとプーリング層３ａとの間の結合を特徴付ける係数の組、プーリング層３ａと畳み込み層２ｂとの間の結合を特徴付ける係数の組等、各層の間の結合度合いを表す係数の組を決定することを意味する。第１の処理回路１２０は、このように、ステップＳ１１０で生成された、入力層１に入力されるデータと出力層５に出力されるデータとから構成される教師ありデータである訓練データを基に、学習機能１２０ｂにより、学習を行って、各層間の重み付けを決定し、ニューラルネットワークで構成され、その重み付けが決定された第１の学習済みモデルを生成する。ここで、かかる訓練データは、病変の内部の領域である第１の領域に係る第１のデータと、第１の領域から影響を受ける領域である第２の領域に係る第２のデータとからなる。
【００６５】
なお、深層学習においては、自己符号化（オートエンコーダ）を用いることができる。第１の処理回路１２０は、学習機能１２０ｂにより、ステップＳ１１０で生成された、病変の内部の領域である第１の領域に係る第１のデータと、第１の領域から影響を受ける領域である第２の領域に係る第２のデータとに基づいて、自己符号化を行ってもよい。なお、この学習において必要なデータは、教師有りデータである必要はなく、すなわちラベル付けされていないデータであってもよい。
【００６６】
なお、ＣＮＮの特徴として、重み付けが決定された学習済モデルの中間層のデータを切り出すことにより、当該中間層のノードに対応する特徴量の抽出が可能となることが挙げられる。すなわち、第１の処理回路１２０は、学習機能１２０ｂにより、ステップＳ１２０で生成された第１の学習済モデルの中間層のデータを抽出しラベル付けを行うことで、当該中間層における特徴量を抽出する（ステップＳ１３０）。例えば、第１の処理回路１２０は、学習機能１２０ｂにより、ステップＳ１２０で生成された第１の学習済モデルにおけるプーリング層３ａのデータを切りだすことで、プーリング層３ａにおける特徴量を抽出する。また、例えば、第１の処理回路１２０は、学習機能１２０ｂにより、ステップＳ１２０で生成された第１の学習済モデルにおけるプーリング層３ｃのデータを抽出しラベル付けを行うこととで、プーリング層３ｃにおける特徴量を抽出する。
【００６７】
なお、例えばプーリング層３ａ及びプーリング層３ｃ等を比較すると、プーリング層３ａは比較的入力層に近いことから、プーリング層３ａで得られる特徴量は、現画像に表れる繰り返し構造など、低次のレベルの特徴量となる。これに対して、プーリング層３ｃはプーリング層３ａと比較して出力に近いことから、プーリング層３ｃで得られる特徴量は、病変の構造に係る、高次のレベルの特徴量となる。
【００６８】
なお、各中間層におけるデータは、一般に複数存在するので、第１の処理回路１２０は、当該中間層におけるデータの個数に対応して、複数の個数の特徴量を抽出することができる。例えば、上述の例では、プーリング層３ｃに係るデータは、データサイズが５×５のデータが２０個存在するので、第１の処理回路１２０は、これら２０個のデータに対応して、複数個の特徴量を抽出することができる。
【００６９】
続いて、第１の処理回路１２０は、修正機能１２０ｃにより、第１のデータと第２のデータとの間にある相関関係を示す情報に基づいて第１の学習済モデルの中間層の重み付けを変更し、入力医用データについての判定を行う第２の学習済モデルを生成する（ステップＳ１４０）。
【００７０】
まず、第１のデータと第２のデータとの間にある相関関係を示す情報について説明する。
【００７１】
病変の内部の領域である第１の領域に係る第１のデータと、第１の領域から影響を受ける領域である第２の領域に係る第２のデータとの間にある相関関係を示す情報とは、例えば、第１の領域（異常領域）に病変があった場合に、第２の領域（影響領域）に異常が表れる確率を示す情報や、逆に、第２の領域（影響領域）に異常が表れた場合に、第１の領域（異常領域）に病変が表れる確率を示す情報である。すなわち、第１のデータと第２のデータとの間にある相関関係を示す情報としては、第２の領域（影響領域）が第１の領域（異常領域）から影響を受ける度合いに関する特徴量と、第２の領域（影響領域）が第１の領域（異常領域）に影響を与える度合いに関する特徴量との両方を含む。
【００７２】
続いて、第１の処理回路１２０は、修正機能１２０ｃにより、第１のデータと第２のデータとの間にある相関関係を示す情報に基づいて、第１の学習済モデルの中間層の重み付けを変更する。すなわち、第１の処理回路１２０は、第１の学習済モデルを生成する学習過程においてラベル付けすべき特徴量が生成される時点で、第１のデータと第２のデータとの間にある相関関係の大きさを表す指標に基づいて、特徴量が生成された中間層の下流又は上流の層の重み付けを修正する。
【００７３】
かかる点について、以下、説明する。
【００７４】
例えば、図３のように、脳の事例を考える。この場合、病変領域１０で病変候補が見つかった場合、機能的に関連する脳の機能領域である神経機能関連領域１１や、反対側の脳にも影響が生じることが、臨床的に知られている。例えば、認知症の場合等において、特定の病変領域１０で病変候補が見つかった場合、海馬において、影響が生じる。すなわち、第１の領域の病変がある場合に、第２の領域にも異常が表れており、このような場合、第１の領域の病変と、第２の領域の異常との間に正の相関関係がある。
【００７５】
ここで、ステップＳ１３０で抽出された特徴量が、第１の領域の病変と第２の領域の異常との間に正の相関関係がある場合に対応する特徴量である場合を考える。
【００７６】
この場合、第１の処理回路１２０は、修正機能１２０ｃにより、当該特徴量が抽出されたノードに関係する重みつけは、第１のデータと第２のデータとの間にある相関関係を示す情報と整合的であるとして、当該重みつけの強度を強くする。すなわち、第１の処理回路１２０は、修正機能１２０ｃにより、当該特徴量が抽出されたノードに係る前段の層からの重み、又は後段の層への重みを大きくする。
【００７７】
一方、ステップＳ１３０で抽出された特徴量が、第１の領域の病変と第２の領域の異常との間に負の相関関係がある場合に対応する特徴量である場合を考える。
【００７８】
この場合、第１の処理回路１２０は、修正機能１２０ｃにより、当該特徴量が抽出されたノードに関する重み付けは、第１のデータと第２のデータとの間にある相関関係を示す情報と整合的でないとして、当該重み付けの強度を弱くする。すなわち、第１の処理回路１２０は、修正機能１２０ｃにより、当該特徴量が抽出されたノードに係る前段の層からの重み、又は後段の層への重みを小さくし、またはノードを切断する。
【００７９】
このように、第１の処理回路１２０は、修正機能１２０ｃにより、第１の学習済モデルの中間層の重み付けを変更し、第２の学習済モデルを生成する。
【００８０】
なお、第１の処理回路１２０は、第１のデータと第２のデータとの間にある相関関係として、既存の臨床知識を用い、例えば検証済みの病理学情報による知見から、臨床的に影響が示されている情報を、事前情報として用いる。また、別の例として、第１の処理回路１２０は、第１のデータと第２のデータとの間にある相関関係として、別途行われた学習の結果を用いて得られた情報を用いる。すなわち、第１の処理回路１２０は、第１のデータと第２のデータとの間にある相関関係として、第３の学習済モデルから得られた情報を用いる。なお、ここで第３の学習済モデルは、ニューラルネットワークに係るモデルに限られず、特徴量の抽出が可能であるが、取りだした特徴量に対してラベル付けまでは行わない識別手法、例えばSupport  vector  machineなどの機械学習を使って生成されたモデルであってもよい。
【００８１】
以上のように、第１の処理回路１２０は、深層学習により第１の学習済モデルを生成し、その後、例えば臨床学的知見から得られた知識等を利用して第１の学習済モデルの中間層の重み付けを修正して第２の学習積みモデルを生成する。このように、深層学習と事前知識を組み合わせることで、両者の長所を取り入れ、深層学習された学習済モデルの判定精度を高めることができる。例えば、訓練データの症例が少ない場合でも、病変の判定精度を上げることが可能となる。また、例えば、互いに関連している複合疾患などの場合において、複数の病変の判別能が向上する。
【００８２】
続いて、第１の処理回路１２０が学習機能１２０ｂに基づいて生成した第２の学習済モデルの実行について説明する。図７は、実施形態に係る画像処理装置が行う第２の学習済モデルの実行の流れについて説明したフローチャートである。
【００８３】
第２の処理回路１３０は、判定機能１３０ａにより、図３のステップＳ１４０で生成した第２の学習済モデルに基づいて、入力医用データについての判定（病変の鑑別）を行う（ステップＳ２００）。例えば、第２の処理回路１３０は、判定機能１３０ａにより、図３のステップＳ１４０で生成した第２の学習済モデルに基づいて、画像に対する病変の有無や、病変が良性か悪性かどうかの判定、病変領域の特定病変の尤度の算出を行う。
【００８４】
続いて、第２の処理回路１３０は、制御機能１３０ｙにより、ステップＳ２００において判定機能１３０ａにより行われた判定結果をディスプレイ１３５に表示させる（ステップＳ２１０）。
【００８５】
なお、ステップＳ２００において、入力医用データや、訓練用の医用データ等に代表される医用データの形式は、ボリュームデータを基に再構成された画像データ、生データを基に再構成された画像データ、画像データに対してさらに加工が行われた画像データ、例えば画像データのエッジを強調したデータ等の加工済み画像データなど、様々な形式の画像データを含む。
【００８６】
また、入力医用データの取得について、例えば、画像処理装置１００は、医用画像診断装置５０から入力医用データを取得する。しかしながら、医用画像診断装置５０が、別途存在する画像保存サーバなどの記憶装置に医用データを訓練用の医用データまたは入力医用データとして送信し、当該記憶装置に保存された医用データを、画像処理装置１００が取得してもよい。この場合、当該記憶装置に保存された医用データは、単一の医用画像診断装置５０により生成されたものに限られず、複数の医用画像診断装置５０により生成されてもよい。
【００８７】
また、判定対象や鑑別対象となる入力医用データは、医用画像診断装置５０により撮影された画像に限られず、例えば被検体細胞を採取して顕微鏡で撮影した病理画像などのデータであってもよい。
【００８８】
（その他の実施形態）
実施形態は、上述の例に限られない。
【００８９】
実施形態では、第２のデータが、第１の領域から影響を受ける領域である第２の領域に係るデータである場合について説明したが、実施形態はこれに限られない。例えば、第２のデータが、特定の領域に係る情報に限られず、第１の領域と関連性を有する情報であってもよい。
【００９０】
かかる場合、第１の処理回路１２０は、学習機能１２０ｂにより、病変内部の領域である第１の領域に係る第１のデータと、第１の領域と関連性を有する情報である第２のデータとを訓練データとして用いて、第１の学習済モデルを生成する。第１の処理回路１２０は、修正機能１２０ｃにより、第１のデータと第２のデータとの間にある相関関係を示す情報に基づいて第１の学習済モデルを修正して、入力医用データについての判定を行う第２の学習済モデルを生成する。
【００９１】
例えば、第２のデータが、例えば被検体の遺伝子情報である場合を考える。
【００９２】
かかる場合、第１の処理回路１２０は、学習機能１２０ｂにより、病変内部の領域である第１の領域に係る第１のデータと、被検体の遺伝子情報とを訓練データとして用いて、第１の学習済モデルを生成する。第１の処理回路１２０は、修正機能１２０ｃにより、第１のデータと被検体の遺伝子情報との間にある相関関係を示す情報に基づいて第１の学習済モデルを修正して、入力医用データについての判定を行う第２の学習済モデルを生成する。
【００９３】
なお、第１のデータと被検体の遺伝子情報との間にある相関関係を示す情報とは、例えば、特定の遺伝子を持った被検体が第１の領域に特定の病変を有する確率について示した情報である。
【００９４】
また、実施形態で、第１の処理回路１２０が修正機能１２０ｃにより第１の学習済モデルを修正するのは、中間の畳み込み層やプーリング層等に限られず、第１の学習済モデルの出力層や全結合層を修正して第２の学習済モデルを生成してもよい。
【００９５】
また、第１の領域の学習と第２の領域の学習とを別々の処理回路が担当し、それらの処理回路を統合する処理回路が、それら複数の処理回路の出力結果に対して重み付け調整をして最終的な出力結果を出力してもよい。かかる重み付け調整の段階で、第１のデータと第２のデータとの相関を示す情報が用いられても良い。
【００９６】
また、第２の処理回路１３０が判定機能１３０ａにより行った判定に対して、ユーザがフィードバックを与え、第１の処理回路１２０が、学習機能１２０ｂにより、ユーザから与えられたフィードバックを基に、学習済モデルの内部アルゴリズムを更新してもよい。すなわち、第１の処理回路１２０は、学習機能１２０ｂにより、ユーザからのフィードバックを基に学習済モデルを更新し続けることにより、自己学習を行っても良い。
【００９７】
なお、画像処理装置１００に組み込まれるプログラムは病変の内部の領域である第１の領域に係る第１のデータと、第１の領域から影響を受ける領域である第２の領域に係る第２のデータとを訓練データとして用いて、ニューラルネットワークで構成される第１の学習済モデルを生成し、第１のデータと第２のデータとの間にある相関関係を示す情報に基づいて第１の学習済モデルの中間層の重み付けを修正して、入力医用データについての判定を行う第２の学習済モデルを生成する各処理をコンピュータである画像処理装置１００に実行させる。
【００９８】
以上述べた少なくとも一つの実施形態の画像処理装置によれば、学習の判定精度を高めることができる。
【００９９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【０１００】
１２０ａ  訓練データ作成機能
１２０ｂ  学習機能
１３０ａ  判定機能
１００  画像処理装置
１２０  第１の処理回路
１３０  第２の処理回路
【図１】
2020062340.tif 000003
【図２】
2020062340.tif 000004
【図３】
2020062340.tif 000005
【図４】
2020062340.tif 000006
【図５】
2020062340.tif 000007