(57)【要約】【課題】ディープラーニングに必要な大量かつ多様な学習データの学習を可能にする学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、および端末装置を提供する。【解決手段】複数の端末装置１０のそれぞれに設けられた学習用判別器ＮＮｔに画像正解データを用いて学習させた複数の学習済判別器ＮＮｔ−Ａ，ＮＮｔ−Ｘを学習支援装置２０で取得し、複数の学習済判別器ＮＮｔ−Ａ、ＮＮｔ−Ｘのうち正解率が最も高い学習済判別器ＮＮｔ−Ｘを新たな学習用判別器ＮＮｔとして、学習用判別器ＮＮｔと学習に用いられた画像正解データを識別可能な識別情報ＩＤ（ｘｘｘ０）とを出力する。複数の端末装置１０で、学習用判別器ＮＮｔに識別情報ＩＤが示す画像正解データと異なる画像正解データを用いて学習させた複数の学習済判別器ＮＮｔ−Ａ、ＮＮｔ−Ｘを出力する処理を繰り返す。【選択図】図５
2019061578.tif 000002
【特許請求の範囲】
【請求項１】
複数の端末装置のそれぞれに設けられた学習用判別器に画像正解データを用いて学習させた複数の学習済判別器を取得する学習済判別器取得部と、
前記複数の学習済判別器に対して複数の画像からなる画像セットを用いて正解率を求めて、前記複数の学習済判別器のうち正解率が最も高い学習済判別器を新たな学習用判別器とし、該学習用判別器と該学習用判別器の学習に用いられた前記画像正解データを識別可能な識別情報とを出力する判別器出力部とを備え、
前記学習済判別器取得部によって、前記複数の端末装置のそれぞれに設けられた前記判別器出力部から出力された学習用判別器に前記出力された識別情報が示す画像正解データと異なる画像正解データを用いて学習させた複数の学習済判別器を取得し、前記判別器出力部によって、前記新たな学習用判別器と該学習用判別器に学習させた画像正解データの前記識別情報とを出力する処理を繰り返す学習支援装置。
【請求項２】
前記判別器出力部が出力する識別情報は、前記出力する学習用判別器が学習済みの画像正解データが前記端末装置のそれぞれで学習させた画像正解データであるか否かを前記端末装置のそれぞれで識別可能な識別情報である請求項１記載の学習支援装置。
【請求項３】
前記判別器出力部が、前記新たな学習用判別器と同じ画像正解データを学習済みの実運用判別器を出力する請求項１または２記載の学習支援装置。
【請求項４】
前記画像正解データの識別情報は、前記複数の端末装置の全てにおいてユニークとなるように決められ、
前記学習済判別器取得部が、前記学習済判別器のぞれぞれで学習させた画像正解データの識別情報を取得し、
前記判別器出力部が、前記学習用判別器の学習に用いられた前記画像正解データの前記識別情報を出力する請求項１から３いずれか１項記載の学習支援装置。
【請求項５】
前記画像正解データの識別情報は、前記複数の端末装置を識別する端末装置識別情報を含む請求項１から４のいずれか１項記載の学習支援装置。
【請求項６】
前記複数の端末装置に前記画像正解データを識別する前記識別情報をネットワークを介して配信する識別情報配信部を備える請求項１から５のいずれか１項記載の学習支援装置。
【請求項７】
前記学習済判別器取得部が、前記複数の端末装置からネットワークを介して前記学習済判別器を取得し、
前記判別器出力部が、前記新たな学習用判別器と該学習用判別器の学習に用いられた前記画像正解データの前記識別情報とを前記ネットワークを介して前記複数の端末装置に出力する請求項１から６のいずれか１項記載の学習支援装置。
【請求項８】
前記学習済判別器取得部が、前記複数の学習済判別器のそれぞれの学習に用いられた前記画像正解データの前記識別情報を前記複数の端末装置それぞれから前記ネットワークを介して受信する請求項７記載の学習支援装置。
【請求項９】
学習済判別器取得部と判別器出力部とを備えた学習支援装置の作動方法であって、
前記学習済判別器取得部が、複数の端末装置のそれぞれに設けられた学習用判別器に画像正解データを用いて学習させた複数の学習済判別器を取得し、
前記判別器出力部が、前記複数の学習済判別器に対して複数の画像からなる画像セットを用いて正解率を求めて、前記複数の学習済判別器のうち正解率が最も高い学習済判別器を新たな学習用判別器とし、該学習用判別器と該学習用判別器の学習に用いられた前記画像正解データを識別可能な識別情報とを出力し、
前記学習済判別器取得部によって、前記複数の端末装置のそれぞれに設けられた前記判別器出力部から出力された学習用判別器に前記出力された識別情報が示す画像正解データと異なる画像正解データを用いて学習させた複数の学習済判別器を取得し、前記判別器出力部によって、前記新たな学習用判別器と該学習用判別器に学習させた画像正解データの前記識別情報とを出力する処理を繰り返させる学習支援装置の作動方法。
【請求項１０】
コンピュータを、
複数の端末装置のそれぞれに設けられた学習用判別器に画像正解データを用いて学習させた複数の学習済判別器を取得する学習済判別器取得部と、
前記複数の学習済判別器に対して複数の画像からなる画像セットを用いて正解率を求めて、前記複数の学習済判別器のうち正解率が最も高い学習済判別器を新たな学習用判別器とし、該学習用判別器と該学習用判別器の学習に用いられた前記画像正解データを識別可能な識別情報とを出力する判別器出力部として機能させる学習支援プログラムであって、
前記学習済判別器取得部によって、前記複数の端末装置のそれぞれに設けられた前記判別器出力部から出力された学習用判別器に前記出力された識別情報が示す画像正解データと異なる画像正解データを用いて学習させた複数の学習済判別器を取得し、前記判別器出力部によって、前記新たな学習用判別器と該学習用判別器に学習させた画像正解データの前記識別情報とを出力する処理を繰り返す学習支援プログラム。
【請求項１１】
複数の端末装置と学習支援装置をネットワークで接続した学習支援システムであって、
前記端末装置が、
学習用判別器に画像正解データを用いて学習させた学習済判別器を前記ネットワークを介して前記学習支援装置に出力する学習済判別器出力部を備え、
前記学習支援装置が、
前記複数の端末装置のそれぞれから前記ネットワークを介して複数の前記学習済判別器を取得する学習済判別器取得部と、
前記複数の学習済判別器に対して複数の画像からなる画像セットを用いて正解率を求めて、前記複数の学習済判別器のうち正解率が最も高い学習済判別器を新たな学習用判別器とし、該学習用判別器と該学習用判別器の学習に用いられた画像正解データを識別可能な識別情報とを前記ネットワークを介して前記複数の端末装置に出力する判別器出力部を備え、
前記端末装置が、
前記学習支援装置から出力された学習用判別器と該学習用判別器の学習に用いられた画像正解データの識別情報とを前記ネットワークを介して取得する判別器取得部を備え、
前記学習済判別器出力部は、前記判別器取得部が取得した前記学習用判別器に前記判別器取得部が取得した前記学習用判別器の学習に用いられた識別情報と異なる画像正解データを用いて学習させた学習済判別器を出力する学習支援システム。
【請求項１２】
前記判別器取得部が、前記学習支援装置から出力された学習用判別器と同じ画像正解データを学習済みの実運用判別器をさらに取得し、
前記端末装置が、
前記実運用判別器を用いて判別対象の画像を判別した判別結果を取得する判別結果取得部をさらに備える請求項１１記載の学習支援システム。
【請求項１３】
学習用判別器と、該学習用判別器と同じ画像正解データを学習済みの実運用判別器と、前記学習済みの画像正解データを識別可能な識別情報とを取得する判別器取得部と、
前記実運用判別器を用いて判別対象の画像を判別した判別結果を取得する判別結果取得部と、
前記学習用判別器に前記取得した識別情報と異なる画像正解データを学習させた学習済判別器を出力する学習済判別器出力部を備えた端末装置。
【請求項１４】
前記学習済判別器出力部が、前記異なる画像正解データの前記識別情報を出力する請求項１３記載の端末装置。
【請求項１５】
前記判別器取得部が、学習支援装置からネットワークを介して前記学習用判別器と前記実運用判別器と前記識別情報とを取得し、
前記学習済判別器出力部が、前記ネットワークを介して前記学習済判別器を出力する請求項１３または１４記載の端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習による判別器の生成を支援する学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、および端末装置に関する。
【背景技術】
【０００２】
データの特徴を学習して画像などの認識や分類を行うために機械学習が従来から利用されてきた。近年、様々な学習手法が開発され、かつ、コンピュータの処理能力が向上したことにより処理時間が短縮され、システムが画像データなどの特徴をより深いレベルで学習するディープラーニング（深層学習）を行うことが可能になってきた。ディープラーニングを行うことにより、非常に高い精度で画像などの特徴を認識できるようになり判別性能の向上が期待されている。
【０００３】
医療分野においても、ディープラーニングを利用して学習することで高い精度で画像の特徴を認識する人工知能（ＡＩ）が望まれている。ディープラーニングには、目的に沿った大量かつ良質のデータによる学習が不可欠である。そのためには、効率的に学習データを用意することが重要である。各医療機関には、ＰＡＣＳ（Picture Archiving and Communication System）の普及に伴い多くの症例の画像データが蓄積されている。そこで、各医療機関に蓄積された様々な症例の画像データを利用して学習させることが検討されている。
【０００４】
また、近年、様々な分野で人工知能は技術水準が向上しつつあるのみならず、様々なサービスに組み込まれて利用および活用がはじまっている。特に、ネットワークを介して様々なエッジ端末に提供されるサービスが増えつつある。例えば、特許文献１では、動画像を話題の切り替わり点で自動的に分割する動画像話題分割装置に学習モデルを取り入れた装置が開示されている。この文献では、学習モデルはクライアント端末に配信済みであり、各クライアント端末では配信された学習モデルを用いて自動的に話題分割が実行され、自動的に話題分割された結果に対してユーザが訂正した内容をフィードバックして学習モデルを更新することが開示されている。ユーザが訂正したフィードバックはネットワークを介して、統合モジュールに蓄積された後に、蓄積されたフィードバックを用いて再構築された学習モデルがネットワーク経由で各クライアント端末へ再度配信される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−０４６７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、医療分野において、学習させるデータは患者の医療データとなるため、秘匿性が非常に高く、学習データとして利用するためにはデータの取扱に注意を要する。そのため、効率的に学習データを集めることは難しくコストがかかる。また、医療分野に適用される人工知能は品質を一定に保つ必要があるため、学習後に一定の基準に達していることを評価する仕組みが必要となる。
【０００７】
そこで、本発明では、上述のような問題を解決するために、医療分野においてディープラーニングに必要な大量かつ多様な学習データの学習を可能にする学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、および端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の学習支援装置は、複数の端末装置のそれぞれに設けられた学習用判別器に画像正解データを用いて学習させた複数の学習済判別器を取得する学習済判別器取得部と、複数の学習済判別器に対して複数の画像からなる画像セットを用いて正解率を求めて、複数の学習済判別器のうち正解率が最も高い学習済判別器を新たな学習用判別器とし、学習用判別器と学習用判別器の学習に用いられた画像正解データを識別可能な識別情報とを出力する判別器出力部とを備え、学習済判別器取得部によって、複数の端末装置のそれぞれに設けられた判別器出力部から出力された学習用判別器に出力された識別情報が示す画像正解データと異なる画像正解データを用いて学習させた複数の学習済判別器を取得し、判別器出力部によって、新たな学習用判別器と学習用判別器に学習させた画像正解データの識別情報とを出力する処理を繰り返す。
【０００９】
本発明の学習支援装置の作動方法は、学習済判別器取得部と判別器出力部とを備えた学習支援装置の作動方法であって、学習済判別器取得部が、複数の端末装置のそれぞれに設けられた学習用判別器に画像正解データを用いて学習させた複数の学習済判別器を取得し、判別器出力部が、複数の学習済判別器に対して複数の画像からなる画像セットを用いて正解率を求めて、複数の学習済判別器のうち正解率が最も高い学習済判別器を新たな学習用判別器とし、学習用判別器と学習用判別器の学習に用いられた画像正解データを識別可能な識別情報とを出力し、学習済判別器取得部によって、複数の端末装置のそれぞれに設けられた判別器出力部から出力された学習用判別器に出力された識別情報が示す画像正解データと異なる画像正解データを用いて学習させた複数の学習済判別器を取得し、判別器出力部によって、新たな学習用判別器と学習用判別器に学習させた画像正解データの識別情報とを出力する処理を繰り返す。
【００１０】
本発明の学習支援プログラムは、コンピュータを、複数の端末装置のそれぞれに設けられた学習用判別器に画像正解データを用いて学習させた複数の学習済判別器を取得する学習済判別器取得部と、複数の学習済判別器に対して複数の画像からなる画像セットを用いて正解率を求めて、複数の学習済判別器のうち正解率が最も高い学習済判別器を新たな学習用判別器とし、学習用判別器と学習用判別器の学習に用いられた画像正解データを識別可能な識別情報とを出力する判別器出力部として機能させる学習支援プログラムであって、学習済判別器取得部によって、複数の端末装置のそれぞれに設けられた判別器出力部から出力された学習用判別器に出力された識別情報が示す画像正解データと異なる画像正解データを用いて学習させた複数の学習済判別器を取得し、判別器出力部によって、新たな学習用判別器と学習用判別器に学習させた画像正解データの識別情報とを出力する処理を繰り返させる。
【００１１】
「画像正解データ」とは、画像データとその画像データの正解データの組み合わせをいう。また、端末装置に設けられた学習用判別器に学習させる画像正解データは、端末装置に記憶されているものであってもよいし、端末装置がアクセス可能な装置または記憶媒体から取得した画像正解データであってもよい。
【００１２】
「学習用判別器に学習させた画像正解データの識別情報」は、少なくとも端末装置から学習用判別器を取得する直前に学習させた画像正解データが識別可能な情報であればよいが、過去に学習した画像正解データを全て識別可能な情報であってもよい。
【００１３】
「学習済判別器を取得する」とは、学習済判別器を取得してもよいし、判別器のパラメーターを受取って、予め用意した判別器にパラメーターを設定することで学習済判別器を取得するものであってもよい。例えば、判別器が多層ニューラルネットワークである場合には、学習済みの多層ニューラルネットワークが組み込まれたプログラムを取得してもよいし、多層ニューラルネットワークのユニットの階層間における結合の重みをパラメーターとして取得して、予め用意された多層ニューラルネットワークにパラメーターを設定することで、学習済みの多層ニューラルネットワークを取得するようにしてもよい。
【００１４】
また、判別器出力部が出力する識別情報は、出力する学習用判別器が学習済みの画像正解データが端末装置のそれぞれで学習させた画像正解データであるか否かを端末装置のそれぞれで識別可能な識別情報であればよい。
【００１５】
「判別器出力部が出力する識別情報」は、画像正解データを識別可能な識別情報であり、「出力する学習用判別器が学習済みの画像正解データが端末装置のそれぞれで学習させた画像正解データであるか否か・・・識別可能」とは、各端末装置においてそれぞれ自己の端末装置で学習させた画像正解データであるか否かが識別可能であることをいう。
【００１６】
また、判別器出力部が、新たな学習用判別器と同じ画像正解データを学習済みの実運用判別器を出力するものが望ましい。
【００１７】
「実運用判別器」は、入力された画像データの判別結果が取得可能な判別器であって、追加学習を行うことができない判別器であり、「学習用判別器」は、画像正解データを構成する画像データと正解データを用いて追加学習が可能な判別器である。
【００１８】
また、画像正解データの識別情報が、複数の端末装置の全てにおいてユニークとなるように決められ、学習済判別器取得部が、学習済判別器のぞれぞれで学習させた画像正解データの識別情報を取得し、判別器出力部が、学習用判別器の学習に用いられた画像正解データの識別情報を出力するようにしてもよい。
【００１９】
また、画像正解データの識別情報は、複数の端末装置を識別する端末装置識別情報を含むようにしてもよい。
【００２０】
また、複数の端末装置に画像正解データを識別する識別情報をネットワークを介して配信する識別情報配信部を備えるようにしてもよい。
【００２１】
また、学習済判別器取得部が、複数の端末装置からネットワークを介して学習済判別器を取得し、判別器出力部が、新たな学習用判別器と学習用判別器の学習に用いられた画像正解データの識別情報とをネットワークを介して複数の端末装置に出力するようにしてもよい。
【００２２】
また、学習済判別器取得部が、複数の学習済判別器のそれぞれの学習に用いられた画像正解データの識別情報を複数の端末装置それぞれからネットワークを介して受信するようにしてもよい。
【００２３】
本発明の学習支援システムは、複数の端末装置と学習支援装置をネットワークで接続した学習支援システムであって、端末装置が、学習用判別器に画像正解データを用いて学習させた学習済判別器をネットワークを介して学習支援装置に出力する学習済判別器出力部を備え、学習支援装置が、複数の端末装置のそれぞれからネットワークを介して複数の学習済判別器を取得する学習済判別器取得部と、複数の学習済判別器に対して複数の画像からなる画像セットを用いて正解率を求めて、複数の学習済判別器のうち正解率が最も高い学習済判別器を新たな学習用判別器とし、学習用判別器と学習用判別器の学習に用いられた画像正解データを識別可能な識別情報とをネットワークを介して複数の端末装置に出力する判別器出力部を備え、端末装置が、学習支援装置から出力された学習用判別器と学習用判別器の学習に用いられた画像正解データの識別情報とをネットワークを介して取得する判別器取得部を備え、学習済判別器出力部は、判別器取得部が取得した学習用判別器に判別器取得部が取得した学習用判別器の学習に用いられた識別情報と異なる画像正解データを用いて学習させた学習済判別器を出力する。
【００２４】
また、判別器取得部が、学習支援装置から出力された学習用判別器と同じ画像正解データを学習済みの実運用判別器をさらに取得して、端末装置が、実運用判別器を用いて判別対象の画像を判別した判別結果を取得する判別結果取得部をさらに備えるようにしてもよい。
【００２５】
本発明の端末は、学習用判別器と、この学習用判別器と同じ画像正解データを学習済みの実運用判別器と、学習済みの画像正解データを識別可能な識別情報とを取得する判別器取得部と、実運用判別器を用いて判別対象の画像を判別した判別結果を取得する判別結果取得部と、学習用判別器に取得した識別情報と異なる画像正解データを学習させた学習済判別器を出力する学習済判別器出力部を備える。
【００２６】
また、学習済判別器出力部が、異なる画像正解データの識別情報を出力するようにしてもよい。
【００２７】
また、判別器取得部が、学習支援装置からネットワークを介して学習用判別器と実運用判別器と識別情報とを取得して、学習済判別器出力部が、ネットワークを介して学習済判別器を出力するようにしてもよい。
【００２８】
本発明の他の学習支援装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、複数の端末装置のそれぞれに設けられた学習用判別器に画像正解データを用いて学習させた複数の学習済判別器を取得する取得処理と、複数の学習済判別器に対して複数の画像からなる画像セットを用いて正解率を求めて、複数の学習済判別器のうち正解率が最も高い学習済判別器を新たな学習用判別器とし、学習用判別器と学習用判別器の学習に用いられた画像正解データを識別可能な識別情報とを出力する出力処理を実行し、取得処理によって、複数の端末装置のそれぞれに設けられた判別器出力部から出力された学習用判別器に出力された識別情報が示す画像正解データと異なる画像正解データを用いて学習させた複数の学習済判別器を取得し、出力処理によって、新たな学習用判別器と学習用判別器に学習させた画像正解データの識別情報とを出力する処理を繰り返し実行する。
【発明の効果】
【００２９】
本発明によれば、複数の端末装置のそれぞれに設けられた学習用判別器に画像正解データを用いて学習させた複数の学習済判別器を学習支援装置で取得して、複数の学習済判別器に対して複数の画像からなる画像セットを用いて正解率を求めて、複数の学習済判別器のうち正解率が最も高い学習済判別器を新たな学習用判別器とし、学習用判別器と学習に用いられた画像正解データを識別可能な識別情報とを出力して、端末装置に受け渡すことを繰り返すことで、複数の端末装置が置かれている施設内にある大量の画像正解データを用いて判別器の判別性能を向上させることが可能となる。さらに、各端末装置にある画像データは外部に渡されることがないため、医用画像のような秘匿性の高い画像についても大量の画像を用いてディープラーニングを行うことが可能になり、判別の性能を向上させることが可能になる。
【図面の簡単な説明】
【００３０】
【図１】本発明の学習支援システムの概略構成を表す図
【図２】医療情報システムの概略構成を表す図
【図３】多層ニューラルネットワークの一例
【図４】端末装置と学習支援装置の概略構成を示すブロック図
【図５】判別器の学習を説明するための図
【図６】判別器に学習させる処理の流れを表すフローチャート
【発明を実施するための形態】
【００３１】
図１に、本発明の実施の形態における学習支援システム１の概略構成を示す。学習支援システム１は、複数の医療機関Ａ，Ｂ・・・Ｘに設置される複数の端末装置１０とクラウド側に置かれる学習支援装置２０がネットワーク３０で接続されて構成される。
【００３２】
学習支援装置２０は、ＣＰＵ（Central Processing Unit）、メモリ、ストレージ、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、さらに、サーバの機能を有した高性能なコンピュータである。また、必要に応じてＧＵＰ（Graphics Processing Unit）を設けるようにしてもよい。あるいは、１つまたは複数のコンピュータを用いて提供される仮想化された仮想サーバであってもよい。本発明の学習支援プログラムがサーバにインストールされ、コンピュータのＣＰＵによってプログラムの命令が実行されることにより学習支援装置として機能する。
【００３３】
端末装置１０は、各医療機関Ａ，Ｂ・・・Ｘに設けられた画像処理用のコンピュータであり、ＣＰＵ、メモリ、ストレージ、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、表示装置としてディスプレイを有している。また、必要に応じてＧＵＰを設けるようにしてもよい。
【００３４】
ネットワーク３０は、公衆回線網または専用回線網を介して複数の医療機関Ａ，Ｂ・・・Ｘに置かれた端末装置１０と学習支援装置２０を広域的に結ぶワイドエリアネットワーク (広域通信網  ＷＡＮ：Wide Area Network) である。
【００３５】
また、端末装置１０は、図２に示すように、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）５１を介して、各医療機関Ａ，Ｂ・・・Ｘの医療情報システム５０に接続されている。医療情報システム５０は、モダリティ（撮影装置）５２、画像データベース５３、読影医用ワークステーション５４を備え、ネットワーク５１を介して互いに画像データの送受信が行われるように構成される。なお、ネットワーク５１は、画像データを高速転送が可能なように光ファイバーなどの通信ケーブルを用いるのが望ましい。
【００３６】
モダリティ５２には、被写体の検査対象部位を撮影することにより、その部位を表す検査画像を生成し、その画像にＤＩＣＯＭ規格で規定された付帯情報を付加して出力する装置が含まれる。具体例としては、ＣＴ装置（Computed Tomography：コンピュータ断層撮影装置）、ＭＲＩ装置（magnetic resonance imaging：磁気共鳴画像撮影装置）、ＰＥＴ装置（Positron Emission Tomography：陽電子放射断層撮影装置）、超音波装置、または、平面Ｘ線検出器（ＦＰＤ：flat panel detector）を用いたＣＲ装置（Computed Radiography：コンピュータＸ線撮影装置）などが挙げられる。
【００３７】
画像データベース５３は、汎用のコンピュータにデータベース管理システム（Data Base Management System：DBMS）の機能を提供するソフトウェアプログラムが組み込まれ、大容量ストレージを備えている。このストレージは、大容量のハードディスク装置であってもよいし、ネットワーク５１に接続されているＮＡＳ（Network Attached Storage）やＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、モダリティ５２で撮影された画像データは、ＤＩＣＯＭ規格に準拠した格納フォーマットおよび通信規格に従って、ネットワーク５１を介して画像データベース５３に送信されて格納される。
【００３８】
読影医用ワークステーション５４は、放射線科の読影医が画像の読影や読影レポートの作成に利用するコンピュータである。この読影医用ワークステーション５４では、画像データベース５３から受信した画像データの表示を行い、画像中の病変らしき部分の自動検出等をおこなう。
【００３９】
本実施の形態では、学習支援装置２０から、各端末装置１０に実運用判別器として機能する判別器が組み込まれた画像処理プログラムが提供され、画像処理プログラムとは別に学習用として機能する判別器が組み込まれた学習用プログラムが提供される場合について説明する。各端末装置１０に配信された画像処理プログラムおよび学習用プログラムは、端末装置１０にインストールされることにより、実運用判別器が組み込まれた画像処理装置および学習用判別器として機能する。
【００４０】
また、実運用判別器および学習用判別器は、複数種類の臓器領域および／または病変領域のいずれであるかを判別できるようにディープラーニングがなされた多層ニューラルネットワークである場合について説明する。多層ニューラルネットワークでは、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して、各層において各種カーネルを用いて演算処理を行い、これにより得られる特徴量のデータを取得し、特徴量のデータに対して次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力された画像データを複数の種類の領域のいずれであるかを判別することができる。
【００４１】
図３は多層ニューラルネットワークの一例を示す図である。図３に示すように多層ニューラルネットワーク４０は、入力層４１および出力層４２を含む複数の階層からなる。図３では、出力層４２の手前の階層には参照番号４３を付与している。
【００４２】
多層ニューラルネットワーク４０は、入力層４１に画像データを入力して、領域の判別結果を出力させる。学習を行う際には、出力された判別結果を正解データと比較し、正解か不正解かに応じて、出力側（出力層４２）から入力側（入力層４１）に向かって、多層ニューラルネットワーク４０の各層に含まれるユニット（図３に丸印で示す）の各階層間における結合の重みを修正する。そして、結合の重みの修正を、多数の正解データ付の画像データを用いて、予め定められた回数、または出力される判別結果の正解率が１００％、または予め定められたしきい値以上になるまで繰り返し行い、学習を終了する。
【００４３】
図４は、端末装置１０と学習支援装置２０の概略構成を示すブロック図である。図４を用いて、端末装置１０と学習支援装置２０の機能について詳細に説明する。まず、端末装置１０について説明する。
【００４４】
端末装置１０は、判別器取得部１２、判別結果取得部１３、学習部１４、学習済判別器出力部１５、および正解画像記憶部１６を備える。
【００４５】
判別器取得部１２は、学習用判別器と実運用判別器とを取得する。例えば、画像処理プログラムと学習用プログラムとをネットワーク３０を介して学習支援装置２０から受信して、受信した画像処理プログラムがインストールされることによって、端末装置１０で、実運用判別器が組み込まれた画像処理が実行可能な状態になり、判別結果取得部１３として機能する。同時に、学習用プログラムがインストールされることによって、学習用判別器が実行可能な状態となり、学習部１４として機能する。なお、学習用判別器は、学習支援装置２０から受信した実運用判別器と同じ画像正解データを学習済みの判別器である。実運用判別器が組み込まれた画像処理を単に実運用判別器として以下説明する。
【００４６】
また、判別器取得部１２は、学習用判別器の学習に用いられた画像正解データを識別可能な識別情報ＩＤを受信する。なお、画像正解データは、画像データとその正解データの組み合わせをいう。画像正解データの詳細は後述する。
【００４７】
判別結果取得部１３は、実運用判別器に判別対象の画像を入力して、判別結果を取得する。実運用判別器は、学習支援装置２０において判別性能が保障された判別器であり、各医療機関Ａ，Ｂ・・・Ｘでは、診断対象の画像データに対しては、実運用判別器を用いて判別が行われる。また、判別結果取得部１３は、読影医用ワークステーション５４からネットワーク５１を介して端末装置１０に送られてきた診断対象の画像データの判別を行ない、判別結果を端末装置１０から読影医用ワークステーション５４に送信するようにしてもよい。
【００４８】
学習部１４は、画像データとその正解データを用いて学習用判別器に学習させる。正解データは、画像データの臓器または異常陰影など領域を示すマスク画像と、そのマスク画像の領域が何であるか（例えば、肝臓、腎臓または肺野などの臓器の領域であるか、あるいは、肝臓がん、腎臓がんまたは肺結節などの異常陰影の領域であるかなど）を表す情報を合わせて有している。
【００４９】
正解データは、各医療機関Ａ，Ｂ・・・Ｘの読影医などが画像データを観察して作成してもよい。例えば、画像データベース５３から画像データを取り出して、判別結果取得部１３で画像データを実運用判別器に入力して判別結果を取得し、判別結果に対して読影医などユーザが正解もしくは不正解であるという判定を行ない、正解の場合は、判別結果を正解データとして、入力した画像データと正解データを一緒に画像正解データとして画像データベース５３に記憶する。不正解の場合は、ユーザが正解データのマスク画像を生成し、その正解データを画像データに付与して画像正解データとして画像データベース５３に記憶する。
【００５０】
そこで、学習部１４は、画像データベース５３に記憶されている多数の画像正解データを用いて、学習用判別器の多層ニューラルネットワーク４０に学習させる。まず、多層ニューラルネットワーク４０に画像正解データの画像データを入力して、判別結果を出力させる。次に、出力された判別結果を正解データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、多層ニューラルネットワーク４０の各層に含まれるユニットの各階層間における結合の重みを修正する。結合の重みの修正を、多数の正解データを用いて、予め定められた回数、または出力される判別結果の正解率が１００％になるまで繰り返し行い、学習を終了する。
【００５１】
なお、学習部１４は、判別器取得部１２で受信した識別情報ＩＤが示す画像正解データとは異なる画像正解データを用いて学習を行なう。また、学習部１４は、学習支援装置２０から発番された新たな識別情報ＩＤを学習させた画像正解データに付与して、再度学習が必要な場合に利用できるようにストレージ（正解画像記憶部）１６に記憶する。
【００５２】
学習済判別器出力部１５は、学習部１４で学習が終了した学習用判別器を学習済判別器として出力する。具体的には、学習済判別器を構成するニューラルネットワークを構成するユニットの階層間における結合の重み（以下、パラメーターという）と、この学習済判別器に学習させた画像正解データの識別情報ＩＤとを、ネットワーク３０を介して定期的に学習支援装置２０に送信する。
【００５３】
次に、学習支援装置２０について説明する。図４に示すように、学習支援装置２０は、学習済判別器取得部２２、判別器記憶部２３、判別器評価部２４、評価画像記憶部２５、判別器出力部２６、および識別情報配信部２７を備える。
【００５４】
学習済判別器取得部２２は、ネットワーク３０を介して複数の端末装置１０から送信された学習済判別器を構成する多層ニューラルネットワーク４０のパラメーターを受信する。受信したパラメーターは判別器記憶部２３に一旦記憶する。学習支援装置２０には多層ニューラルネットワーク４０が予め設けられており、各端末装置１０から受信したパラメーターを、学習支援装置２０に設けられている多層ニューラルネットワーク４０のユニットの各階層間の結合の重みとして設定する。この重みに各端末装置から受取ったパラメーターを設定しなおすことにより、各端末装置１０と同じ学習済判別器を取得することができる。また、各端末装置１０で学習させた画像正解データの識別情報ＩＤをパラメーターと一緒に受信する。
【００５５】
判別器評価部２４は、評価用の画像とその画像の正解データからなる評価用の画像セットを用いて各端末装置１０から集められた学習済判別器を評価して、正解率を求める。具体的には、各端末装置１０から受け取ったパラメーターを多層ニューラルネットワーク４０に設定した判別器に対して評価用の画像セットを用いて評価を行い、各端末装置１０で学習させた学習済判別器の正解率をそれぞれ取得する。医療用目的のソフトウェアに対しては、医薬品医療機器等法（改正薬事法）の対象となるため、医薬品医療機器等法で定められる基準をクリアしていることが求められる。そこで、医薬品医療機器等法で定められる基準が評価できる複数の画像の組み合わせで構成された評価用の画像セットＳＥＴを予め評価画像記憶部２５に記憶しておく。
【００５６】
また、実運用判別器として採用するためには、医薬品医療機器等法で定められる基準をクリアするように、評価用の画像セットＳＥＴに対する正解率が所定の基準を越えた判別器である必要がある。そこで、判別器出力部２６は、正解率が所定の基準を越えた学習済判別器のうち正解率が最も高い学習済判別器を新たな学習用判別器とし、学習用判別器とこの学習用判別器の学習に用いられた画像正解データの識別情報ＩＤとをネットワークを介して各医療機関の端末装置１０に定期的に配信する。また、学習用判別器と同じ画像正解データを用いて学習させた実運用判別器を学習用判別器と一緒に配信する。
【００５７】
識別情報配信部２７は、各端末装置１０で学習させる画像正解データに割り当てる識別情報ＩＤを発番して、各端末装置１０に配信する。各画像正解データの識別情報ＩＤは、既に学習済の画像正解データであるか否かを判別できるように、各医療機関で全てに跨ってユニークとなる識別情報ＩＤを付与する。識別情報ＩＤは、各端末装置１０に学習用判別器と一緒にネットワークを介して配信するようにしてもよいし、各端末装置１０で学習用判別器に画像正解データを学習させる度に、学習部１４が識別情報ＩＤの発番をネットワークを介して要求して、各端末装置１０からの要求に応じて識別情報ＩＤを発番して配信するようにしてもよい。
【００５８】
各医療機関Ａ，Ｂ・・・Ｘにおいて、その医療機関内の医療情報システム５０に蓄積された画像正解データを判別器に学習させるようにすれば、より多くの画像正解データを学習することが可能になる。しかし、医療機関Ａの端末装置１０で学習が行われると、新たに学習した画像正解データａに類似する画像データに対しては正解率が上がることになるが、画像正解データａとは異なるタイプの画像データｂに対しては正解率が下がる場合がある。実際に診断に用いるためは、様々なタイプの画像データに対して所定の基準をこえる正解率を有する判別器が必要である。そのため、端末装置１０の判別結果取得部１３では、学習支援装置２０において判別性能が保障された実運用判別器を用いて判別結果を得る。
【００５９】
次に、本実施の形態のディープラーニングの処理の流れについて、図５の遷移図と図６のフローチャートを用いて説明する。
【００６０】
最初に、学習支援装置２０は、判別器出力部２６で実運用判別器ＮＮｏと学習用判別器ＮＮｔを複数の端末装置１０にネットワーク３０を介して配信する（S1）。また、これら判別器の配信と一緒に、識別情報配信部２７で画像正解データに付与するための識別情報ＩＤを発番して配信する（S2）。図５の例では、医療機関ＡにＩＤ（aaa0）、・・・、医療機関ＸにＩＤ（xxx0）を配信する。医療機関Ａ、医療機関Ｘ以外に複数の医療機関が存在するが、以下では医療機関Ａ、医療機関Ｘを例に説明する。
【００６１】
端末装置１０は、判別器取得部１２で、実運用判別器ＮＮｏと学習用判別器ＮＮｔを取得する（S3）。医療機関Ａおよび医療機関Ｘで、実運用判別器ＮＮｏは読影医の診断に用いられ、判別結果取得部１３によって診断対象の画像データ（Input）を判別しての判別結果（output）を得る。さらに、医療機関Ａでは、端末装置１０の学習部１４で画像データベース５３に既に記憶されている画像正解データＴを用いて、学習用判別器ＮＮｔに学習させて（S4）、学習済判別器ＮＮｔ-Ａを生成する（S5）。学習に用いられた画像正解データに識別情報ＩＤ（aaa0）を付与してストレージ１６ａに保管する（S6）。同様に、医療機関Ｘでは、端末装置１０の学習部１４で、画像正解データＴを用いて学習用判別器ＮＮｔに学習させて、学習済判別器ＮＮｔ-Ｘを生成する（S5）。学習に用いられた画像正解データに識別情報ＩＤ（xxx0）を付与してストレージ１６ｘに保管する（S6）。
【００６２】
定期的に、各医療機関Ａ、Ｘの各端末装置１０から、学習済判別器出力部１５で学習済判別器を学習支援装置２０に送信し（S7）、学習に用いられた画像正解データＴの識別情報ＩＤを学習支援装置２０に送信する（S8、図５の（１）の実線の矢印参照）。医療機関Ａの端末装置１０からは学習済判別器ＮＮｔ-Ａのパラメーターと識別情報ＩＤ（aaa0）を学習支援装置２０に送信し（S7）、医療機関Ｘの端末装置１０からは学習済判別器ＮＮｔ-Ｘのパラメーターと識別情報ＩＤ（xxx0）を学習支援装置２０に送信する（S8、図５の（１）の実線の矢印参照）。
【００６３】
学習支援装置２０は、学習済判別器取得部２２は複数の端末装置１０から受け取った学習済判別器のパラメーターを一旦判別器記憶部２３に記憶する。このパラメーターを学習支援装置２０に設けられた多層ニューラルネットワーク４０に設定することで、各端末装置１０で学習させた学習済判別器を取得して、判別器評価部２４で定期的に評価用の画像セットＳＥＴで評価する（S9）。図５の例では、前回、学習用判別器ＮＮｔとして各端末装置１０に配信した判別器の正解率が８５％である。医療機関Ａで学習した学習済判別器ＮＮｔ-Ａは正解率が９２％・・・医療機関Ｘで学習した学習済判別器ＮＮｔ-Ｘは正解率が９４％となっている。図５の例では、医療機関Ｘで学習した学習済判別器ＮＮｔ-Ｘの正解率が最も高くなるので、学習済判別器ＮＮｔ-Ｘを元にして新たなバージョンの実運用判別器ＮＮｏと学習用判別器ＮＮｔを生成する（S10）。判別器出力部２６は、新たなバージョンの実運用判別器ＮＮｏと学習用判別器ＮＮｔと一緒に識別情報ＩＤ（xxx0）を各端末装置１０に配信する（S11、S12、図５の（２）の破線の矢印参照）。
【００６４】
医療機関Ａの端末装置１０は、判別器取得部１２で新たな実運用判別器ＮＮｏと学習用判別器ＮＮｔと一緒に識別情報ＩＤ（xxx0）を取得する。取得した識別情報ＩＤから、学習用判別器ＮＮｔに学習されている画像正解データは医療機関Ａで学習させた判別器ではないことがわかるので、ストレージ１６ａに保管されている画像正解データを再度学習に用いる。
【００６５】
医療機関Ｘの端末装置１０は、判別器取得部１２で新たな実運用判別器ＮＮｏと学習用判別器ＮＮｔと一緒に識別情報ＩＤ（xxx0）を取得する。取得した識別情報ＩＤから、学習用判別器ＮＮｔに学習されている画像正解データは医療機関Ｘで学習させた判別器であるので、ストレージ１６ｘに保管されている画像正解データとは異なる画像正解データを用いて学習を行う。
【００６６】
以上の通り、S2〜S12の処理を繰り返すことにより、様々な医療機関に保管されている画像データを学習することができる。
【００６７】
上述のように、各医療機関に置かれている端末装置１０でその医療機関に保管されている画像データを用いて学習を行うことにより、外部に秘匿性が高い医用画像を提供することなく、機密性が保たれたまま画像を利用することができ、かつ、複数の医療機関に保管されている大量の画像を学習して判別性能を向上させることが可能になる。
【００６８】
上述では、ユニークな識別情報ＩＤを、学習支援装置２０から配信する場合について説明したが、各医療機関ごとの識別情報ＩＤを割り当てておき、「医療機関のＩＤ＋連番」というように、医療機関ごとに管理するようにしてもよい。例えば、複数の端末装置のそれぞれを識別する端末装置識別情報を予め決めておき、端末装置識別情報と連番の組み合わせで、識別情報ＩＤを決めるようにしてもよい。医療機関で識別情報ＩＤを発番する場合であっても、医療機関の全てに跨ってユニークとなることが保証されるＩＤであればよい。このように、各端末装置１０で識別情報ＩＤを発番する場合には、学習支援装置２０の識別情報配信部２７は設けなくてもよい。
【００６９】
あるいは、判別器出力部２６が出力する画像正解データの識別情報ＩＤは、学習用判別器が学習済みの画像正解データが、各端末装置１０で自分の医療機関で学習させた画像正解データであるか否かを識別可能な識別情報ＩＤであればよい。例えば、学習に用いた学習用判別器のバージョンと学習済判別装置を送信元の各端末装置１０の情報を組み合わせて、識別情報ＩＤとしてもよい。
【００７０】
例えば、バージョンが「ver 2.0」の学習用判別器を配布した後に、医療機関Ａの端末装置１０から学習済判別器が学習支援装置２０に送信された場合、学習支援装置２０では、受け取った学習済判別器に学習させた画像正解データの識別情報ＩＤを「ver 2.0＋Ａ」とする。学習支援装置２０で、医療機関Ａの端末装置１０で学習させた学習済判別器を次の学習用判別器として採用してバージョン3.0の学習用判別器として配布する際には、判別器出力部２６は、識別情報ＩＤとして「ver 2.0＋Ａ」を各端末装置１０に送信する。医療機関Ｘの端末装置１０では、識別情報ＩＤが「ver 2.0＋Ａ」であれば自分の医療機関で学習させた学習済判別器は採用されなかったことがわかる。一方、医療機関Ａの端末装置１０では自分の医療機関で学習させた学習済判別器が採用されたことがわかる。
【００７１】
このように、新たに配信された学習用判別器が、前回、自分の医療機関で学習させた判別器であるか否かが分かるように、識別情報を決めればよい。
【００７２】
また、各医療機関に配布された新たな学習用判別器が、各医療機関で自分の画像正解データが学習済である否かが分かれば、繰り返し同じ画像正解データを学習させないようにすることができる。一方、既に学習済判別器に前回学習させた画像正解データであっても、その画像正解データが今回配布された学習用判別器には学習されていない場合は、再度同じ画像正解データを学習させるようにすることができる。
【００７３】
上述では、学習支援装置２０と端末装置１０がネットワークで接続されている形態について説明したが、ネットワークを介すことなく実運用判別器として機能する判別器が組み込まれた画像処理プログラムと、学習用判別器として機能する判別器が組み込まれた学習用プログラムをＤＶＤ−ＲＯＭなどの記録媒体に記憶して、各医療機関に渡すようにしてもよい。また、各医療機関から学済判別器を受取る場合には、各端末装置１０で学習済判別器のパラメーターと学習した画像正解データの識別情報ＩＤについても記録媒体に記憶して受け渡すようにしてもよい。
【００７４】
この形態では、端末装置１０の判別器取得部１２は、ＤＶＤ−ＲＯＭから画像処理プログラムと学習用プログラムを端末装置１０に読み込んでインストールし、学習用判別器の学習に用いられた画像正解データの識別情報ＩＤも記録媒体から読み込む。また、端末装置１０の学習済判別器出力部１５は、ＤＶＤ−ＲＯＭに学習済判別器のパラメーターおよび学習した画像正解データの識別情報ＩＤを記録して、郵送等によって学習支援装置２０のオペレータに渡される。
【００７５】
また、学習支援装置２０の学習済判別器取得部２２は、ＤＶＤ−ＲＯＭに記録された学習済判別器のパラメーターおよび学習した画像正解データの識別情報ＩＤを読み込む。さらに、学習支援装置２０の判別器出力部２６は、画像処理プログラム、学習用プログラムおよび学習した画像正解データの識別情報ＩＤについてもＤＶＤ−ＲＯＭに記録して、郵送等によって端末装置１０のオペレータに渡される。
【００７６】
学習支援装置２０が端末装置１０に学習用判別器を受け渡す際に、過去の学習した正解画像データが全て分かるように、学習済みの全ての正解画像データの識別情報を受け渡すようにしてもよいが、直前に学習した正解画像データの識別情報だけでもよい。
【００７７】
以上、詳細に説明したように、本願発明では、各医療機関に保管されている秘匿性の高い医用画像を外部に出すことなく、大量の医用画像をディープラーニングに用いることが可能になり、判別性能を向上させることが可能になる。
【００７８】
上述では、学習支援装置および端末装置が汎用コンピュータ上で機能する場合について説明したが、一部の機能を実行するためのプログラムを永久的に記憶するＡＳＩＣ（Application Specific Integrated Circuit ：特定用途向け集積回路）やＦＰＧＡ（field  programmable  gate  arrays）などの専用回路を設けるようにしてもよい。あるいは、専用回路に記憶されたプログラム命令と、専用回路のプログラムを利用するようにプログラムされた汎用のＣＰＵによって実行されるプログラム命令と組み合わせるようにしてもよい。以上のように、コンピュータのハードウェア構成をどのように組み合わせてプログラム命令を実行してもよい。
【符号の説明】
【００７９】
１     学習支援システム
１０   端末装置
１２   判別器取得部
１３   判別結果取得部
１４   学習部
１５   学習済判別器出力部
１６   正解画像記憶部
２０   学習支援装置
２２   学習済判別器取得部
２３   判別器記憶部
２４   判別器評価部
２５   評価画像記憶部
２６   判別器出力部
２７   識別情報配信部
３０   ネットワーク
４０   多層ニューラルネットワーク
４１   入力層
４２   出力層
４３   階層
５０   医療情報システム
５１   ネットワーク
５２   モダリティ
５３   画像データベース
５４   読影医用ワークステーション
【図１】
2019061578.tif 000003
【図２】
2019061578.tif 000004
【図３】
2019061578.tif 000005
【図４】
2019061578.tif 000006
【図５】
2019061578.tif 000007
【図６】
2019061578.tif 000008