(57)【要約】【課題】有用な学習用データを収集する情報収集システム及び情報収集装置を提供すること。【解決手段】実施形態の情報収集システムは、第１記憶部と、取得部と、判定部と、第２記憶部とを備える。第１記憶部は、入力された情報に対する演算処理を行う１つ以上の中間層と、前記中間層の演算結果に基づいて診断結果を出力する出力層とを含む第１の学習済みモデルにおける、前記中間層が出力する演算結果に関する情報を記憶する。取得部は、前記第１の学習済みモデルの入力層に医用情報が入力されたことに応じて、前記中間層が出力する演算結果を取得する。判定部は、前記取得部が取得した演算結果が、前記第１記憶部が記憶する前記演算結果に関する情報との間で条件を満たすか否かを判定する。第２記憶部は、前記条件を満たすと判定された演算結果に対応する前記医用情報に関する情報を記憶する。【選択図】図５
2020048783.tif 000002
【特許請求の範囲】
【請求項１】
入力された情報に対する演算処理を行う１つ以上の中間層と、前記中間層の演算結果に基づいて診断結果を出力する出力層とを含む第１の学習済みモデルにおける、前記中間層が出力する演算結果に関する情報を記憶する第１記憶部と、
前記第１の学習済みモデルの入力層に医用情報が入力されたことに応じて、前記中間層が出力する演算結果を取得する取得部と、
前記取得部が取得した演算結果が、前記第１記憶部が記憶する前記演算結果に関する情報との間で条件を満たすか否かを判定する判定部と、
前記条件を満たすと判定された演算結果に対応する前記医用情報に関する情報を記憶する第２記憶部と
を有する情報収集システム。
【請求項２】
前記取得部は、取得した前記演算結果を含む情報を、前記演算結果に関する情報として前記第１記憶部に格納する請求項１に記載の情報収集システム。
【請求項３】
前記第２記憶部に記憶された医用情報に関する情報を出力する出力部と、
前記出力部により出力された前記医用情報に対する判断結果の入力をユーザから受け付け、受け付けた前記判断結果を前記医用情報と対応付けて前記第２記憶部に格納する受付部と
をさらに有する請求項２に記載の情報収集システム。
【請求項４】
前記判定部は、前記医用情報及び前記判断結果を、前記医用情報が収集された被検体に関する被検体情報と対応付けて前記第２記憶部に格納する請求項３に記載の情報収集システム。
【請求項５】
前記取得部は、前記入力層に入力された前記医用情報の被検体に関する被検体情報をさらに取得し、取得した前記被検体情報と合致する被検体情報が前記第２記憶部に記憶されている場合、当該合致する被検体情報に対応付けて前記入力層に入力された前記医用情報に関する情報を前記第２記憶部に格納する請求項４に記載の情報収集システム。
【請求項６】
前記受付部は、前記医用情報の被検体に関する情報、前記医用情報及び前記判断結果を匿名化して格納する請求項４又は５に記載の情報収集システム。
【請求項７】
前記受付部は、前記医用情報及び前記判断結果を、前記ユーザと対応付けて前記第２記憶部に格納する請求項３乃至６のいずれか１つに記載の情報収集システム。
【請求項８】
前記取得部は、複数の前記第１の学習済みモデルから、前記中間層が出力する演算結果を取得し、
前記第２記憶部が、前記取得部が取得した演算結果を、前記演算結果を出力した複数の前記第１の学習済みモデルに関する情報と対応付けて記憶する
請求項３乃至７のいずれか１つに記載の情報収集システム。
【請求項９】
複数の医用画像診断装置から前記医用情報を収集する収集部をさらに有し、
前記受付部は、前記医用情報及び前記判断結果を、前記収集部が前記医用情報を収集した前記医用画像診断装置に関する情報と対応付けて格納する
請求項３乃至８のいずれか１つに記載の情報収集システム。
【請求項１０】
前記取得部は、取得した前記演算結果を統計処理した統計データを、前記演算結果に関する情報として前記第１記憶部に格納する、請求項２乃至９のいずれか１つに記載の情報収集システム。
【請求項１１】
前記判定部は、前記取得部が取得した前記演算結果の入力を受け付け、前記条件を満たすか否かを示す情報を出力する第２の学習済みモデルに、前記演算結果を入力することにより、前記条件を満たすか否かを判定する請求項２乃至１０のいずれか１つに記載の情報収集システム。
【請求項１２】
入力された情報に対する演算処理を行う１つ以上の中間層と、前記中間層の演算結果に基づいて診断結果を出力する出力層とを含む第１の学習済みモデルにおける、前記中間層が出力する演算結果に関する情報を記憶する第１記憶部と、
前記第１の学習済みモデルの入力層に医用情報が入力されたことに応じて、前記中間層が出力する演算結果を取得する取得部と、
前記取得部が取得した演算結果が、前記第１記憶部が記憶する前記演算結果に関する情報との間で条件を満たすか否かを判定する判定部と、
前記条件を満たすと判定された演算結果に対応する前記医用情報に関する情報を記憶する第２記憶部と
を有する情報収集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施の形態は、情報収集システム及び情報収集装置に関する。
【背景技術】
【０００２】
機械学習を用いた画像処理技術が知られている。機械学習においては、例えば、多層のニューラルネットワークにより構成される学習済みモデルが用いられる。この技術では、学習済みモデルの精度を上げるために、特徴の異なる様々な画像を含んだ大量の学習用データが求められる。
【０００３】
学習済みモデルの学習の際に、類似度の高い単調な学習用データが多いと、レアケースの画像が入力された場合に、判別の精度が低くなることがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国公開公報２０１６／０３６１０２５号明細書
【特許文献２】米国特許９２０８６７２号明細書
【特許文献３】米国公開公報２０１７／０１７７７９８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、有用な学習用データを収集することである。
【課題を解決するための手段】
【０００６】
実施形態の情報収集システムは、第１記憶部と、取得部と、判定部と、第２記憶部とを備える。第１記憶部は、入力された情報に対する演算処理を行う１つ以上の中間層と、前記中間層の演算結果に基づいて診断結果を出力する出力層とを含む第１の学習済みモデルにおける、前記中間層が出力する演算結果に関する情報を記憶する。取得部は、前記第１の学習済みモデルの入力層に医用情報が入力されたことに応じて、前記中間層が出力する演算結果を取得する。判定部は、前記取得部が取得した演算結果が、前記第１記憶部が記憶する前記演算結果に関する情報との間で条件を満たすか否かを判定する。第２記憶部は、前記条件を満たすと判定された演算結果に対応する前記医用情報に関する情報を記憶する。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１の実施形態に係る情報収集システムの構成の一例を示す図である。
【図２】図２は、第１の実施形態に係る学習処理の流れを説明するための図である。
【図３】図３は、第１の実施形態に係る演算結果の分布の一例を示す図である。
【図４】図４は、第１の実施形態に係る活性化関数の一例を示す図である。
【図５】図５は、第１の実施形態に係る情報収集システムの機能ブロックの一例を示す図である。
【図６】図６は、第１の実施形態に係る学習処理の流れの一例を示す図である。
【図７】図７は、第１の実施形態に係る判別処理の流れの一例を示す図である。
【図８】図８は、第１の実施形態に係る演算結果情報の一例を示す図である。
【図９】図９は、第１の実施形態に係る統計データの一例を示す図である。
【図１０】図１０は、第１の実施形態に係る有用データの一例を示す図である。
【図１１】図１１は、第１の実施形態に係るモデルデータの一例を示す図である。
【図１２】図１２は、第１の実施形態に係る情報収集処理の流れの一例を示す図である。
【図１３】図１３は、第１の実施形態に係る受付画面の一例を示す図である。
【図１４】図１４は、第１の実施形態に係る取得処理の一例を示すフローチャートである。
【図１５】図１５は、第１の実施形態に係る判定処理の一例を示すフローチャートである。
【図１６】図１６は、第１の実施形態に係る受付処理の一例を示すフローチャートである。
【図１７】図１７は、第２の実施形態に係る情報収集システムの機能ブロックの一例を示す図である。
【図１８】図１８は、第２の実施形態に係る有用データの一例を示す図である。
【図１９】図１９は、第３の実施形態に係る情報収集システムの機能ブロックの一例を示す図である。
【図２０】図２０は、第４の実施形態に係る演算結果の分布の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下に図面を参照して、情報収集システム及び情報収集装置の実施形態について詳細に説明する。本実施形態に係る情報収集システムは、例えばＣＡＤ（Computer  Aided  Diagnosis）において、学習済みモデルに入力された医用情報のうち、レアケースに該当する情報など、学習済みモデルの精度を向上させるために有用な情報を収集する。本実施形態における学習済みモデルは、例えば、多層のニューラルネットワークにより構成することができる。なお、以下において、学習済みモデルの中間的な演算結果を、「中間演算結果」、又は単に「演算結果」と表記する場合がある。また、以下において、「情報収集」を、単に「収集」と表記する場合がある。
【０００９】
例えば、学習済みモデルにレアケースが入力された場合、中間層における演算結果において特異な値が出力されることが多くなり、その結果として判別結果が妥当ではなくなる場合がある。例えば、「肺がん」に判別されるべき入力情報に対して、「肺がん」の確度よりも、「肺結節」の確度が大きくなるような判別結果が出力される場合がある。この場合、出力される判別結果は、「肺がん」であるのか「肺結節」であるのかを医師が診断する上での支援情報として有用ではない場合がある。なお、以下において「レアケース」は、希少な症例に限られず、症例としては希少ではなくとも、学習済みモデルにおいて学習済みの範囲外であるとみなされるパラメータを含む医用情報も含むものとする。
【００１０】
例えば、学習済みモデルの学習の際に、類似度の高い単調な学習用データが多いと、レアケースに該当するデータ等に対する頑健性が損なわれる、例えば学習済みの範囲外であるパラメータを含む画像データに対する判別の精度が低くなることがある。そこで、学習済みモデルの精度を高めるために、レアケースに該当する画像データと正解データとを対応付けた学習用データを揃えることが有用である。
【００１１】
なお、例えば、多層のニューラルネットワークにおいて、学習用データのうちどのパラメータが学習済みモデルに反映されたか、すなわち学習済みの範囲がどの程度であるかは明確には特定できない場合が多い。このため、学習済みモデルに入力された医用情報が、当該学習済みモデルにおけるレアケースに該当するか否かを判別することが難しい場合がある。そこで、本実施の形態においては、学習済みモデルにおける中間層が出力する演算結果を用いて、レアケースに該当する医用画像データを収集する構成について説明する。なお、以下において、医用画像データが「レアケースに該当する」と判定されることは、医用情報が「条件を満たす」ことの一例である。
【００１２】
（第１の実施形態）
まず、第１の実施形態について説明する。第１の実施形態では、情報収集装置１０を含んだ情報収集システム１を一例として説明する。
【００１３】
図１は、第１の実施形態に係る情報収集システムの構成の一例を示す図である。図１に示すように、本実施形態に係る情報収集システム１は、情報収集装置１０と、医用画像診断装置群２０と、画像保管装置２１と、学習装置３０と、端末４０とを備える。
【００１４】
図１に示すように、情報収集装置１０、医用画像診断装置群２０、学習装置３０及び端末４０は、ネットワークＮＷを介して相互に通信可能に接続される。なお、図１においては、情報収集装置１０、画像保管装置２１、学習装置３０及び端末４０をそれぞれ１台ずつ含む情報収集システム１を示しているが、各装置の台数は任意である。また、情報収集システム１は、病院会計システム（不図示）や電子カルテシステム（不図示）等の病院におけるその他のシステムに含まれる各サーバ装置（不図示）などと直接的、又は、間接的に、相互に通信可能に接続されていてもよい。また、以下において、単一のコンピュータ機器として説明されている装置は、ネットワークＮＷを介して接続されたサーバ群（クラウド）により実現されることとしてもよい。
【００１５】
情報収集装置１０は、学習済みモデルに入力された医用情報のうち、レアケースに該当する情報など、学習済みモデルの精度を向上させるために有用な情報を収集する。情報収集装置１０は、例えば、学習装置３０による判別処理の際に学習済みモデルの中間層が出力する特徴量などの演算結果を用いて、医用情報が有用な情報であるか否かを判定する。情報収集装置１０は、有用な情報であると判定された医用情報に関する情報を随時収集する。また、情報収集装置１０は、任意のタイミングで、収集された医用情報に関する情報を出力し、ＣＡＤの管理者（不図示）から、例えば正解データの入力を受け付ける。例えば、情報収集装置１０は、ワークステーション等のコンピュータ機器によって実現される。
【００１６】
医用画像診断装置群２０は、被検体から医用情報を収集する複数の装置（モダリティ）である。なお、画像データとして処理される医用情報については、医用画像データとも記載する。図１に示すように、本実施形態における情報収集システム１は、医用画像診断装置群２０として、複数のモダリティＸＸＸ、ＸＸＹ及びＹＹＹを含む。以下において、複数のモダリティＸＸＸ、ＸＸＹ及びＹＹＹを区別せずに表現する場合に、単に「モダリティ」と表現することがある。
【００１７】
例えば、医用画像診断装置群２０は、被検体から医用画像データを収集し、収集した医用画像データを学習装置３０に送信する。医用画像診断装置群２０の一例としてはＸ線診断装置があるが、Ｘ線ＣＴ（Computed  Tomography）装置、ＳＰＥＣＴ（Single  Photon  Emission  Computed  Tomography）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ−ＣＴ装置、超音波診断装置等の他の医用画像診断装置であってもよい。また、図１では、情報収集システム１は、医用画像診断装置群２０として３台のモダリティを有するが、本実施形態にかかる情報収集システム１が有するモダリティの数はこれに限られない。
【００１８】
画像保管装置２１は、ネットワークＮＷを介して医用画像診断装置群２０が収集した医用画像データを記憶するデータベース（ＤＢ）等である。例えば、図１において、画像保管装置２１は、医用画像診断装置群２０から医用画像データを取得し、取得した医用画像データを装置内又は装置外に設けられたメモリに記憶させる。また、画像保管装置２１は、医用画像データに対応する症例等の情報を含む正解データをさらに記憶してもよい。例えば、画像保管装置２１は、サーバ装置等のコンピュータ機器によって実現される。
【００１９】
学習装置３０は、ネットワークＮＷを介して医用画像診断装置群２０等から医用画像データを取得し、取得した医用画像データを用いた種々の処理を実行する。例えば、学習装置３０は、ネットワークＮＷを介して、医用画像診断装置群２０又は画像保管装置２１から医用画像データを取得する。学習装置３０は、取得した医用画像データを学習済みモデルに入力して判別処理を行い、該当する症例や当該症例に該当する確度を示す信頼度等を出力する。また、学習装置３０は、学習済みモデルへの入力情報となる医用画像データと、例えば症例などの正解データとをデータの組として含む学習用データを用いて、学習済みモデルに対する学習を行う。例えば、学習装置３０は、ワークステーション等のコンピュータ機器によって実現される。
【００２０】
本実施形態において、学習装置３０は、図１に示すように、例えば、３つの学習済みモデル３４１、３４２及び３４３を有するが、本実施形態にかかる学習済みモデルの数はこれに限られない。また、学習済みモデル３４１、３４２及び３４３は、それぞれ別の学習装置において実装されていてもよい。学習済みモデル３４１、３４２及び３４３は、病院内で用いられているＣＡＤにおいてそれぞれ用いられる学習済みモデルである。
【００２１】
端末４０は、例えば病院の診察室等に設置され、医師等のユーザに対して、学習装置３０における判別結果を出力する。端末４０は、例えば図１に示すようなデスクトップコンピュータであるが、これに限られず、スマートフォンやタブレットのような携帯可能なコンピュータであってもよい。
【００２２】
なお、ネットワークＮＷを介して接続可能であれば、情報収集装置１０、医用画像診断装置群２０、画像保管装置２１、学習装置３０及び端末４０が設置される場所は任意である。例えば、学習装置３０は、情報収集装置１０が設置される病院とは異なる病院に設置されてもよい。即ち、ネットワークＮＷは、院内で閉じたローカルネットワークにより構成されてもよいし、インターネットを介したネットワークでもよい。
【００２３】
次に、情報収集システム１における情報収集処理について、図２を用いて説明する。図２は、第１の実施形態に係る学習処理の流れを説明するための図である。図２に示すように、学習装置３０は、例えば、医用画像診断装置群２０から、Ｘ線画像データなどの医用画像データ９１の入力を受け付ける。学習装置３０は、多層のニューラルネットワークにより構成される学習済みモデルに、医用画像データ９１を入力する。本実施形態に係る多層のニューラルネットワークは、図２に示すように、入力層（ｌ＝１）、中間層（ｌ＝２，３，・・・，Ｌ−１の計（Ｌ−２）層）、出力層（ｌ＝Ｌ）のＬ個の層から構成されるものとする。
【００２４】
学習装置３０は、例えば入力信号ｘの各成分ｘp（ｐ＝１，２，・・・，Ｎ）として、医用画像データ９１を構成する画素の画素値を用いる。入力層に続く中間層（ｌ＝２，３，・・・，Ｌ−１層）においては、入力された信号に対する演算処理を順次実行することで、（Ｌ−２）個の中間層それぞれの出力ｚを計算することができる。また、各中間層は、それぞれ複数のフィルタを有する。出力層Ｌは、各層の出力ｚに対する演算処理を実行することで、出力ｙｎ（ｎ＝１，２，・・・，Ｍ）を計算することができる。出力ｙｎは、例えば各症例に対する信頼度を示す。すなわち、図２に示す例において、出力ｙｎは、Ｍ個の症例それぞれに対する信頼度を出力する。なお、各層における演算処理については例えば公知のニューラルネットワークにおける技術を用いることができるため、詳細な説明は省略する。
【００２５】
学習装置３０は、出力層Ｌにおける出力ｙｎに基づく判別結果に関する情報を、端末４０に出力する。端末４０は、例えば図２に示すように、学習装置３０から出力された判別結果に関する情報を出力する。図２に示す一例では、肺結節である確度が６０％であり、肺がんである確度が３０％であるとする判別結果を出力している。なお、図２においては、端末４０が、判別結果に関する情報として、各症例の信頼度を表示する例を示したが、これに限られず、端末４０は、単に最も信頼度が高い症例だけを示す等の他の情報を表示してもよい。例えば、端末４０は、「肺結節の可能性があります」と表示してもよい。また、例えば、端末４０は、医用画像データ９１において、６０％の確度で肺結節が疑われる領域を表示してもよい。
【００２６】
本実施形態において、情報収集装置１０は、学習装置３０の学習済みモデルの中間層における演算結果等を取得して、レアケースに該当すると認められる医用情報を収集する。本実施形態において、情報収集装置１０は、多層のニューラルネットワークにより構成される学習済みモデルの中間層のうち、例えばプーリング層における演算結果を取得するが、これに限られず、畳み込み層、ＲｅＬＵ（Rectified  Liner  Unit）層等の各層における演算結果を取得してもよい。
【００２７】
本実施形態において、情報収集装置１０は、例えば学習装置３０における学習時、及び判別処理の際に、中間層において出力される演算結果を逐次取得し、格納していく。また、情報収集装置１０は、例えば新たに取得した演算結果を、記憶されている演算結果と比較することにより、新たに取得した演算結果がレアケースに基づくものであるか否かを判定する。
【００２８】
入力画像がレアケースであるか否かの判定基準について、図３は、第１の実施形態に係る演算結果の分布の一例を示す図である。図３において、横軸は演算結果の値を示し、縦軸は当該値に該当する演算結果の出現頻度を示す。例えば、図３に示すように、演算結果の出現頻度が正規分布を取る場合、平均値μから±３σ（以下、標準偏差を「σ」と表記する場合がある）の範囲内にある演算結果９７ａは、レアケースに基づくものではないと判定される。一方、平均値μから±３σの範囲を逸脱する演算結果９７ｂ及び９７ｃは、レアケースに基づくものであると判定される。なお、レアケースに基づく演算結果であるか否かの判定基準は一例であり、その他の基準に基づいて決定してもよい。また、演算結果の出現頻度が正規分布を取らない場合において、同様に平均値μからの距離に基づいて、レアケースに基づく演算結果であるか否かが判定されてもよい。
【００２９】
レアケースに基づく演算結果の特徴は、活性化関数により出力層まで伝播されない場合が多い。図４は、第１の実施形態に係る活性化関数の一例を示す図である。図４は、多層のニューラルネットワークにより構成される学習済みモデルの中間層において用いられることが多い、ＲｅＬＵ関数のグラフの一例を示す。例えば、レアケースに基づく演算結果が、演算結果の平均値μよりも−３σ以上逸脱する場合であっても、図４に示すようなＲｅＬＵ関数に入力されると、出力は０となる。従って、入力層にレアケースが入力された場合の特徴は、出力層における判別結果に反映されない場合が多いので、判別結果に基づいて、入力情報がレアケースであるか否かを判定することは難しい。そこで、本実施形態においては、中間層における演算結果を用いて、入力情報がレアケースであるか否かを判定する構成について説明する。
【００３０】
このような構成において、本実施形態における情報収集装置１０は、学習装置３０の学習済みモデルの中間層（ｌ＝２，３，・・・，Ｌ−１層）から出力される演算結果を取得する。そして、情報収集装置１０は、演算結果に基づいて、医用画像データが学習用データとして有用であるか否かを判定し、有用である医用画像データに関する情報を収集する。
【００３１】
図５は、第１の実施形態に係る情報収集システムの機能ブロックの一例を示す図である。図５に示すように、情報収集システム１は、情報収集装置１０と、医用画像診断装置群２０と、画像保管装置２１と、学習装置３０と、端末４０とを備える。図５に示すように、学習装置３０は、通信Ｉ／Ｆ（Interface）３１と、入力Ｉ／Ｆ３２と、ディスプレイ３３と、記憶回路３４と、処理回路３５とを有する。なお、学習装置３０の処理回路３５が有する各機能がクラウド上に実装され、記憶回路３４が記憶する内容がクラウド上に記憶されてもよい。
【００３２】
通信Ｉ／Ｆ３１は、処理回路３５に接続され、ネットワークＮＷを介して接続された情報収集装置１０、医用画像診断装置群２０及び画像保管装置２１等との間で行われる各種データの伝送及び通信を制御する。例えば、通信Ｉ／Ｆ３１は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network  Interface  Controller）等によって実現される。
【００３３】
入力Ｉ／Ｆ３２は、処理回路３５に接続され、例えばＣＡＤの管理者から受け付けた入力操作を電気信号に変換して処理回路３５に出力する。例えば、入力Ｉ／Ｆ３２は、スイッチボタン、マウス、キーボード、タッチパネル等である。
【００３４】
ディスプレイ３３は、処理回路３５に接続され、処理回路３５から出力される各種情報及び各種画像データを表示する。例えば、ディスプレイ３３は、液晶モニタやＣＲＴ（Cathode  Ray  Tube）モニタ、タッチパネル等によって実現される。
【００３５】
記憶回路３４は、処理回路３５に接続され、各種データを記憶する。例えば、記憶回路３４は、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。本実施形態では、記憶回路３４は、学習装置３０に含まれる回路がその機能を実現するためのプログラムを記憶する。また、例えば、記憶回路３４は、図５に示すように、複数の学習済みモデル３４１、３４２及び３４３を記憶する。なお、記憶回路３４は、学習装置３０とネットワークＮＷを介して接続されたサーバ群（クラウド）により実現されることとしてもよい。
【００３６】
学習済みモデル３４１、３４２及び３４３は、処理回路３５により実行される、入力される医用画像データに基づいて症例を判別する判別処理に組み込まれる学習済みモデルである。学習済みモデル３４１、３４２及び３４３は、例えば図２に示すように、入力層（ｌ＝１）、中間層（ｌ＝２，３，・・・，Ｌ−１）、出力層（ｌ＝Ｌ）のＬ個の層から構成される多層のニューラルネットワークにより構成される。学習済みモデル３４１、３４２及び３４３は、後に説明するモデル生成機能３５２により生成される。
【００３７】
図５に戻って、処理回路３５は、制御機能３５１と、モデル生成機能３５２と、判別機能３５３と、出力機能３５４とを実行する。ここで、例えば、図５に示す処理回路３５の構成要素である制御機能３５１、モデル生成機能３５２、判別機能３５３及び出力機能３５４の各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路３４に記録されている。処理回路３５は、各プログラムを記憶回路３４から読み出し、読み出した各プログラムを実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路３５は、図５の処理回路３５内に示された各機能を有することとなる。
【００３８】
なお、制御機能３５１、モデル生成機能３５２、判別機能３５３及び出力機能３５４の全ての処理機能がコンピュータによって実行可能な１つのプログラムの形態で、記憶回路３４に記録されていてもよい。例えば、このようなプログラムは、学習プログラムとも称される。この場合、処理回路３５は、学習プログラムを記憶回路３４から読み出し、読み出した学習プログラムを実行することで学習プログラムに対応する制御機能３５１、モデル生成機能３５２、判別機能３５３及び出力機能３５４を実現する。
【００３９】
処理回路３５における制御機能３５１は、学習装置３０に対する操作や、他装置との通信に関する各種処理、他装置からのデータ取得に関する各種処理を制御する。例えば、制御機能３５１は、モデル生成処理の開始のトリガに応じて、医用画像データと正解データとの組を含む学習用データを、例えば画像保管装置２１から取得し、モデル生成機能３５２に出力する。また、例えば、制御機能３５１は、判別処理の開始のトリガに応じて、医用画像データを、例えば画像保管装置２１から取得し、判別機能３５３に出力する。なお、学習処理及び判別処理の開始のトリガは、例えば入力Ｉ／Ｆ３２を介してＣＡＤの管理者から操作を受け付けてもよく、通信Ｉ／Ｆ３１を介して、端末４０等から受信してもよい。
【００４０】
モデル生成機能３５２は、学習済みモデル３４１、３４２及び３４３の生成に関する処理を実行する。例えば、モデル生成機能３５２は、まず、制御機能３５１から学習用データの入力を受け付けると、学習用データに基づいて、学習用データに含まれる医用画像データから、症例などの正解データを判別するように、モデルを学習させる。図６は、第１の実施形態に係る学習処理の流れの一例を示す図である。
【００４１】
図６に示すように、例えば、モデル生成機能３５２は、学習用データに含まれる医用画像データを入力側データ、学習用データに含まれる正解データを出力側データとしてモデルのパラメータを調整することにより、症例などを判別する関数を近似した学習済みモデルを生成する。生成する学習済みモデルがニューラルネットワークによる学習済みモデルである場合、調整するパラメータは、例えば、重みとバイアスとのうち少なくとも一方である。そして、モデル生成機能３５２は、生成した学習済みモデル３４１、３４２及び３４３を記憶回路３４に格納する。また、学習済みモデル３４１、３４２及び３４３は、中間層における演算結果を出力する。なお、モデル生成機能３５２は、新たな学習用データを取得した場合に、学習済みモデル３４１、３４２及び３４３に対して、判別精度を高めるために再学習処理を行ってもよい。
【００４２】
なお、モデル生成機能３５２は、学習用データに含まれる医用画像データを入力側データとして用いてもよいし、医用画像データに基づくデータを入力側データとして用いてもよい。例えば、モデル生成機能３５２は、図６に示すように、医用画像データに対する前処理（例えば、空間フィルタやコンボリューションフィルタを用いた画像処理等）を実行し、前処理後の画像データである入力用データを入力側データとしてもよい。
【００４３】
なお、画像処理フィルタの種類としては、例えば、移動平均（平滑化）フィルタ、ガウシアンフィルタ、メディアンフィルタ、リカーシブフィルタ、バンドパスフィルタ等が挙げられる。また、画像処理フィルタのパラメータとしては、例えば、各フィルタの強度、移動平均（平滑化）フィルタ、ガウシアンフィルタ及びメディアンフィルタの縦方向及び横方向のサイズ、リカーシブフィルタにおいて使用するフレーム数及び各フレームに対する重み、バンドパスフィルタにおける周波数の設定等が挙げられる。
【００４４】
判別機能３５３は、学習済みモデル３４１、３４２又は３４３に基づいて、入力される医用画像データに対する判別処理を実行する。具体的には、判別機能３５３は、例えば、前処理後の医用画像データを学習済みモデル３４１、３４２又は３４３に入力することにより、症例を判別する判別処理を実行する。そして、判別機能３５３は、学習済みモデル３４１、３４２又は３４３から出力された判別結果を、出力機能３５４に出力する。図７は、第１の実施形態に係る判別処理の流れの一例を示す図である。
【００４５】
一例を挙げると、判別機能３５３は、まず、記憶回路３４から学習済みモデル３４１、３４２又は３４３を読み出す。次に、判別機能３５３は、図７に示すように、医用画像データを学習済みモデル３４１、３４２又は３４３に入力し、症例を判別する判別処理を実行する。学習済みモデル３４１、３４２又は３４３は、入力された医用画像データに基づいて、判別結果を出力する。また、学習済みモデル３４１、３４２又は３４３は、中間層における演算結果を出力する。なお、判別機能３５３は、図７に示すように、学習処理と同様に、医用画像データに対する前処理を実行し、前処理後の画像データを入力側データとしてもよい。
【００４６】
出力機能３５４は、判別機能３５３による判別結果を出力する。具体的には、出力機能３５４は、学習済みモデル３４１、３４２及び３４３から出力される判別結果を、通信Ｉ／Ｆ３１を介して、図５に示す端末４０に出力する。
【００４７】
次に、情報収集装置１０は、図５に示すように、通信Ｉ／Ｆ１１と、入力Ｉ／Ｆ１２と、ディスプレイ１３と、記憶回路１４と、処理回路１５とを有する。なお、情報収集装置１０の処理回路１５が有する各機能がクラウド上に実装され、記憶回路１４が記憶する内容がクラウド上に記憶されてもよい。
【００４８】
通信Ｉ／Ｆ１１は、処理回路１５に接続され、ネットワークＮＷを介して接続された学習装置３０等との間で行われる各種データの伝送及び通信を制御する。例えば、通信Ｉ／Ｆ１１は、ネットワークカードやネットワークアダプタ等によって実現される。
【００４９】
入力Ｉ／Ｆ１２は、処理回路１５に接続され、ＣＡＤの管理者から受け付けた入力操作を電気信号に変換して処理回路１５に出力する。入力Ｉ／Ｆ１２は、例えばＣＡＤの管理者によるモードの選択などの入力操作を受け付ける。例えば、入力Ｉ／Ｆ１２は、スイッチボタン、マウス、キーボード、タッチパネル等である。
【００５０】
ディスプレイ１３は、処理回路１５に接続され、処理回路１５から出力される各種情報などを表示する。ディスプレイ１３は、例えば、ディスプレイ１３は、液晶モニタやＣＲＴモニタ、タッチパネル等によって実現される。
【００５１】
記憶回路１４は、処理回路１５に接続され、各種データを記憶する。例えば、記憶回路１４は、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。本実施形態では、記憶回路１４は、情報収集装置１０に含まれる回路がその機能を実現するためのプログラムを記憶する。また、例えば、記憶回路１４は、図５に示すように、演算結果情報１４１と、統計データ１４２と、有用データ１４３と、モデルデータ１４４とを記憶する。なお、記憶回路１４は、情報収集装置１０とネットワークＮＷを介して接続されたサーバ群（クラウド）により実現されることとしてもよい。なお、記憶回路１４は、第１記憶部の一例である。
【００５２】
演算結果情報１４１は、学習装置３０における学習処理又は判別処理において、学習済みモデル３４１の中間層から出力される演算結果を記憶する。例えば、演算結果情報１４１は、図６に示す学習処理で出力された演算結果や、図７に示す判別処理で出力された演算結果を記憶する。演算結果情報１４１は、例えば後に説明する制御機能１５１により格納される。なお、演算結果情報１４１は、第１記憶部が記憶する情報の一例である。
【００５３】
図８は、第１の実施形態に係る演算結果情報の一例を示す図である。例えば、演算結果情報１４１は、図８に示すように、各学習済みモデルの各中間層に含まれるフィルタごとに一つのテーブルを保持する。図８に示す演算結果情報１４１は、例えばモデルＩＤ「Ｍ００１」の学習済みモデルの「１」番目の中間層の「２」番目のフィルタから出力される演算結果を記憶する。
【００５４】
例えば、演算結果情報１４１は、図８に示すように、「取得日時」と、「画像ＩＤ」と、「処理区分」と、「演算結果」とを対応付けた情報である。「取得日時」は、当該演算結果が取得された日時を示す。「画像ＩＤ」は、当該演算結果が出力される際に入力された医用画像データを一意に識別する識別子（IDentifier）を示す。「処理区分」は、当該演算結果が、「学習時」に出力されたものか、又は「判別時」に出力されたものかを示す。「演算結果」は、中間層の当該層の当該フィルタから出力された演算結果を示す。演算結果情報１４１に蓄積される演算結果は、例えば後に説明する統計データの生成に用いられる。図８では、例えば、「画像ＩＤ：ＸＸＸ１」を用いた「学習時」において、「2018年6月2日  15：20」に、「１」番目の中間層の「２」番目のフィルタから出力された演算結果が「0.604」であることが記憶されている。また、図８では、例えば、「画像ＩＤ：ＸＸＹ１」に対する「判別時」において、「2018年6月30日  10：00」に、「１」番目の中間層の「２」番目のフィルタから出力された演算結果が「0.317」であることが記憶されている。
【００５５】
なお、図８に示す項目は一例であり、演算結果情報１４１は、これ以外に「判別結果」などのその他の情報をさらに記憶してもよく、また図８に示す項目の一部を記憶しないような構成であってもよい。また、演算結果情報１４１は、一つの層の全てのフィルタにおいて取得された演算結果ごとに一つのテーブルを保持してもよく、全ての演算結果を一つのテーブルで保持してもよい。以下に説明する各テーブルについても同様である。
【００５６】
統計データ１４２は、演算結果情報１４１に記憶される演算結果を統計処理して算出される、演算結果の平均値μ、標準偏差σ等の統計データである。統計データ１４２は、例えば制御機能１５１により格納される。なお、統計データ１４２は、第１記憶部が記憶する情報の一例である。
【００５７】
図９は、第１の実施形態に係る統計データの一例を示す図である。例えば、統計データ１４２は、図９に示すように、学習済みモデルごとに一つのテーブルを保持する。図９に示す統計データ１４２は、例えばモデルＩＤ「Ｍ００１」の学習済みモデルの各中間層の各フィルタから出力される演算結果を統計処理して算出したデータを記憶する。
【００５８】
例えば、統計データ１４２は、図９に示すように、「中間層Ｎｏ．」及び「フィルタＮｏ．」と、「レコード数」と、「平均値」と、「−３σ」及び「＋３σ」とを対応付けた情報である。ここで、図９における「中間層Ｎｏ．」及び「フィルタＮｏ．」は、演算結果が出力される層及びフィルタを一意に識別する情報を示す。「レコード数」は、当該層の当該フィルタから出力され、演算結果情報１４１に記憶された演算結果の件数を示す。「平均値」は、当該演算結果の平均値μを示す。「−３σ」及び「＋３σ」は、当該演算結果の平均値μからそれぞれプラスマイナス３σ離れた値を示す。
【００５９】
図９において、「平均値」、「−３σ」及び「＋３σ」は、例えば、取得された演算結果がレアケースに基づくものであるか否かを判定するための閾値として用いられる。例えば、演算結果が平均値μから「−３σ」又は「＋３σ」を逸脱している場合、後に説明する判定機能１５２において、演算結果はレアケースに基づくものであると判定される。図９において、例えば「１」番目の中間層の「１」番目のフィルタから出力された演算結果が「0.431」よりも小さい場合、又は「0.674」よりも大きい場合、当該演算結果はレアケースによるものであると判定される。同様に、図９において、例えば「１」番目の中間層の「２」番目のフィルタから出力された演算結果が「-0.932」よりも小さい場合、又は「0.450」よりも大きい場合、当該演算結果はレアケースによるものであると判定される。
【００６０】
有用データ１４３は、有用であると判定された医用画像データに関する情報を記憶する。有用データ１４３は、例えば判定機能１５２により格納される。なお、有用データ１４３は、第２記憶部が記憶する情報の一例である。
【００６１】
図１０は、第１の実施形態に係る有用データの一例を示す図である。例えば、有用データ１４３は、図１０に示すように、「画像ＩＤ」と、「モダリティＩＤ」と、「患者ＩＤ」と、「モデルＩＤ」と、「正解データ」と、「医師ＩＤ」と、「該当理由」とを対応付けた情報である。ここで、図１０における「画像ＩＤ」は、当該演算結果が出力される際に入力された医用画像データを一意に識別する識別子を示す。「モダリティＩＤ」は、医用画像データを収集したモダリティを一意に識別する情報を示す。「患者ＩＤ」は、医用画像データが収集された患者等を一意に識別する情報を示す。「モデルＩＤ」は、医用画像データの判別処理に用いられた学習済みモデルを一意に識別する情報を示す。「正解データ」及び「医師ＩＤ」は、医用画像データに対する正解データと、当該正解データを入力した医師を一意に識別する情報とをそれぞれ示す。「該当理由」は、当該医用画像データが有用な情報に該当すると判定された理由を示す。
【００６２】
例えば、図１０に示すテーブルは、モダリティＩＤ「ＸＸＸ」のモダリティにより、患者ＩＤ「０００１」の患者から収集された、画像ＩＤ「ＸＸＸ１」の医用画像データが、モデルＩＤ「Ｍ００１」の学習済みモデルによる判別処理において、「レアケースの疑い」があると判定されたことを示す。また、図１０に示すテーブルは、画像ＩＤ「ＸＸＸ１」の医用画像データに対するモデルＩＤ「Ｍ００１」による判別処理において、学習済みモデル「Ｍ００１」の第ｍ層の第ｎフィルタの値が条件を満たすことを示す。なお、図１０に示すテーブルは、「レアケースの疑い」があると判定された演算結果に関するレコードのみを含むが、これに限られず、レアケースであると判定されなかった演算結果に関するレコードをさらに含んでもよい。なお、モデルＩＤ「Ｍ００１」、「Ｍ００２」及び「Ｍ００３」の各学習済みモデルは、例えば、図１に示す学習済みモデル３４１、３４２及び３４３に、それぞれ対応する。また、モデルＩＤ「Ｍ００３」のレコードに記載された該当理由「対象範囲に該当」については、後に詳しく説明する。
【００６３】
モデルデータ１４４は、例えば医用画像データから学習用モデルを生成するための前処理等に用いられる、学習済みモデルに関する情報を記憶する。図１１は、第１の実施形態に係るモデルデータの一例を示す図である。例えば、図１１に示すように、モデルデータ１４４は、「モデルＩＤ」と、「入力フォーマット」と、「フィルタ種別」と、「対応モダリティ」とを対応付けた情報である。図１１において、「モデルＩＤ」は、医用画像データの判別処理に用いる学習済みモデルを一意に識別する情報を示す。「入力フォーマット」は、当該モデルに入力される医用画像データのサイズ等のフォーマットに関する情報を示す。「フィルタ種別」は、医用画像データを当該学習済みモデルに入力する際に、医用画像データに対する前処理に用いるフィルタに関する情報を示す。
【００６４】
例えば、図１１に示すモデルデータ１４４の第１のレコードは、モデルＩＤ「Ｍ００１」のモデルは、「フォーマットＡ」及び「フィルタＡ」を適用し、また全てのモダリティに対応することを示す。また、図１１に示すモデルデータ１４４の第３のレコードは、モデルＩＤ「Ｍ００３」のモデルは、「フォーマットＣ」及び「フィルタＣ」を適用し、また「ＣＴ」と「ＭＲ」のモダリティに対応することを示す。
【００６５】
図５に戻って、処理回路１５は、制御機能１５１と、判定機能１５２と、出力機能１５３と、受付機能１５４とを実行する。ここで、制御機能１５１は、取得部の一例である。判定機能１５２は、判定部の一例である。出力機能１５３は、出力部の一例である。また、受付機能１５４は、受付部の一例である。ここで、例えば、図５に示す処理回路１５の構成要素である制御機能１５１、判定機能１５２、出力機能１５３及び受付機能１５４の各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路１４に記録されている。処理回路１５は、各プログラムを記憶回路１４から読み出し、読み出した各プログラムを実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路１５は、図５の処理回路１５内に示された各機能を有することとなる。
【００６６】
なお、制御機能１５１、判定機能１５２、出力機能１５３及び受付機能１５４の全ての処理機能がコンピュータによって実行可能な１つのプログラムの形態で、記憶回路１４に記録されていてもよい。例えば、このようなプログラムは、情報収集プログラムとも称される。この場合、処理回路１５は、情報収集プログラムを記憶回路１４から読み出し、読み出した情報収集プログラムを実行することで情報収集プログラムに対応する制御機能１５１、判定機能１５２、出力機能１５３及び受付機能１５４を実現する。
【００６７】
処理回路１５における制御機能１５１は、情報収集装置１０に対する操作や、他装置との通信に関する各種処理、他装置からのデータ取得に関する各種処理を制御する。例えば、制御機能１５１は、学習装置に入力された医用画像データに対応する演算結果を、例えば学習装置３０から随時取得し、判定機能１５２に出力する。また、制御機能１５１は、取得した演算結果に対する統計処理を行い、統計データ１４２に格納する。
【００６８】
また、制御機能１５１は、例えば、学習装置に入力された医用画像データが収集された患者等の患者ＩＤを取得する。制御機能１５１は、例えば、図１に示すように情報収集システム１が複数のモダリティＸＸＸ、ＸＸＹ及びＹＹＹを有する場合、それぞれのモダリティＩＤをさらに取得する。さらに、制御機能１５１は、例えば、図１に示すように学習装置３０が複数の学習済みモデル３４１、３４２及び３４３を有する場合、それぞれの学習済みモデルのモデルＩＤをさらに取得する。
【００６９】
なお、本実施形態において、情報収集処理は、例えば制御機能１５１が学習装置３０における学習処理の開始又は判別処理の開始を検出した際に随時実行される。
【００７０】
判定機能１５２は、演算結果に伴う医用画像データが有用なものであるか否かを判定する。例えば、判定機能１５２は、まず、制御機能１５１から演算結果の出力を受けると、統計データ１４２を参照し、演算結果が、図９に示すような「−３σ」から「＋３σ」までの範囲を逸脱するか否か、すなわち演算結果がレアケースに基づくものであるか否かを判定する。図１２は、第１の実施形態に係る情報収集処理の流れの一例を示す図である。判定機能１５２は、例えば、図１２に示すように、制御機能１５１から出力を受けた中間演算結果と、統計データ１４２とを比較した結果を、判定結果として図１０に示すような有用データ１４３に格納する。
【００７１】
判定機能１５２は、有用データとして、例えば、学習済みモデルの中間層から出力された演算結果が「−３σから＋３σまで」の範囲を逸脱する、すなわちレアケースに該当する入力データを特定する。しかし、実施の形態はこれに限られず、判定機能１５２は、例えば、演算結果が「−３σから＋３σまで」の範囲内であっても、学習用データを生成する上で有用と思われる場合、演算結果が当該範囲に該当する入力データを、有用データであると判定するような構成であってもよい。例えば、演算結果が「−σから平均値μまで」の範囲に収まる学習用データのサンプル数が少ない場合においては、判定機能１５２が、演算結果が当該範囲に収まるデータを有用データであると判定するような構成であってもよい。例えば、判定機能１５２は、図１０に示すように、患者ＩＤ「０００５」の医用画像データについて、第ｍ層の第ｎフィルタの演算結果が「対象範囲に該当」することを、有用データ１４３に格納してもよい。
【００７２】
出力機能１５３は、有用情報として収集された医用画像データに関する情報を出力する。出力機能１５３は、例えば、医用画像データに対して、正解データの入力を受け付けるような画面を、情報収集装置１０のディスプレイ１３に出力する。なお、以下においては、ディスプレイ１３を参照するＣＡＤの管理者から正解データを入力する場合について説明するが、画面の出力先はこれに限られない。例えば、ＣＡＤの管理者が、端末４０などのその他のコンピュータを操作する場合、出力機能１５３は、通信Ｉ／Ｆ１１を通じて、当該コンピュータに画面を出力してもよい。
【００７３】
図１３は、第１の実施形態に係る受付画面の一例を示す図である。図１３に示すように、例えばディスプレイ１３に表示される受付画面８０は、医用画像データに関する情報が表示される表示領域８１と、正解データの入力を受け付ける入力領域８２と、決定ボタン８３と、医用画像データ９１とを含む。表示領域８１は、例えば画像ＩＤやモダリティＩＤ、患者ＩＤ等、医用画像データを特定するための情報を有する。医用画像データ９１は、表示領域８１に表示された画像ＩＤの医用画像データである。入力領域８２は、例えばＣＡＤの管理者による、症例等の正解データの入力を受け付ける領域である。なお、正解データは、判断結果の一例である。
【００７４】
受付機能１５４は、受付画面８０において入力された正解データに関する情報を受け付ける。受付機能１５４は、受付画面８０において、決定ボタン８３が押下されたことを検出すると、入力領域８２に入力された症例に関する情報を取得する。受付機能１５４は、取得した症例に関する情報を正解データとして、受付画面８０に表示される画像ＩＤ、モダリティＩＤ、患者ＩＤ及びモデルＩＤ等と対応付けて、有用データ１４３に格納する。また、受付機能１５４は、症例に関する情報を入力した医師を特定し、医師ＩＤを有用データ１４３に格納する。
【００７５】
受付機能１５４は、例えば、図１０に示すように、正解データ「肺がん」及び正解データを入力した医師の医師ＩＤ「Ａ００１」を、画像ＩＤ「ＸＸＸ１」、モダリティＩＤ「ＸＸＸ」、患者ＩＤ「０００１」と対応付けて、有用データ１４３に格納する。
【００７６】
次に、第１の実施形態に係る情報収集システム１による処理の手順について、図１４、図１５及び図１６を用いて説明する。図１４は、第１の実施形態に係る取得処理の一例を示すフローチャートである。ここで、図１４におけるステップＳ１０１からＳ１２０までの各処理は、例えば、処理回路１５が制御機能１５１に対応するプログラムを記憶回路１４から読み出して実行することにより実現される。なお、図１４に示す取得処理は、例えば学習装置３０において学習処理又は判別処理が実行されたことが検出された場合に随時実行される。
【００７７】
例えば、図１４に示すように、本実施形態に係る情報収集システム１では、まず、処理回路１５は、中間層の演算結果を、ネットワークＮＷを通じて、学習装置３０から取得する（ステップＳ１０１）。次に、処理回路１５は、取得した演算結果を、演算結果情報１４１に格納する（ステップＳ１０２）。
【００７８】
続いて、処理回路１５は、演算結果情報１４１に記憶された演算結果に対する統計処理を行い（Ｓ１０３）、統計データ１４２に格納する（Ｓ１０４）。
【００７９】
次に、処理回路１５は、全てのフィルタに対する処理を完了したか否かを判定する（ステップＳ１１０）。処理回路１５は、全てのフィルタに対する処理を完了していないと判定した場合（ステップＳ１１０否定）、ステップＳ１０１に移行し、処理を繰り返す。
【００８０】
一方、処理回路１５は、全てのフィルタに対する処理を完了したと判定した場合（ステップＳ１１０肯定）、全ての層に対する処理を完了したか否かを判定する（ステップＳ１２０）。処理回路１５は、全ての層に対する処理を完了していないと判定した場合（ステップＳ１２０否定）、ステップＳ１０１に移行し、処理を繰り返す。一方、処理回路１５は、全ての層に対する処理を完了したと判定した場合（ステップＳ１２０肯定）、処理を終了する。
【００８１】
次に、新たに取得した演算結果に基づく判定処理について説明する。図１５は、第１の実施形態に係る判定処理の一例を示すフローチャートである。ここで、図１５におけるステップＳ２０１、Ｓ２２０及びＳ２３０は、例えば、処理回路１５が制御機能１５１に対応するプログラムを記憶回路１４から読み出して実行することにより実現される。また、ステップＳ２０２、Ｓ２１０及びＳ２１１は、例えば、処理回路１５が判定機能１５２に対応するプログラムを記憶回路１４から読み出して実行することにより実現される。なお、図１５に示す判定処理は、例えば図１４に示す情報収集処理が実行された場合に、随時実行される。
【００８２】
例えば、図１４に示すように、本実施形態に係る情報収集システム１では、まず、処理回路１５は、中間層の演算結果を、ネットワークＮＷを通じて、学習装置３０から取得する（ステップＳ２０１）。
【００８３】
続いて、処理回路２５は、取得した演算結果を、統計データ１４２と比較し（Ｓ２０２）、レアケースと判定されるための条件を満たすか、例えば演算結果が閾値以上であるか否かを判定する（ステップＳ２１０）。処理回路１５は、判定結果が閾値以上ではないと判定した場合（ステップＳ２１０否定）、ステップＳ２２０に移行する。
【００８４】
一方、処理回路２５は、判定結果が閾値以上であると判定した場合（ステップＳ２１０肯定）、判定結果として、例えば、当該演算結果に対応する医用情報を有用データ１４３に格納する（ステップＳ２１１）。その後、ステップＳ２２０に移行する。
【００８５】
次に、処理回路１５は、全てのフィルタに対する処理を完了したか否かを判定する（ステップＳ２２０）。処理回路１５は、全てのフィルタに対する処理を完了していないと判定した場合（ステップＳ２２０否定）、ステップＳ２０１に移行し、処理を繰り返す。
【００８６】
一方、処理回路１５は、全てのフィルタに対する処理を完了したと判定した場合（ステップＳ２２０肯定）、全ての層に対する処理を完了したか否かを判定する（ステップＳ２３０）。処理回路１５は、全ての層に対する処理を完了していないと判定した場合（ステップＳ２３０否定）、ステップＳ２０１に移行し、処理を繰り返す。一方、処理回路１５は、全ての層に対する処理を完了したと判定した場合（ステップＳ２３０肯定）、処理を終了する。
【００８７】
次に、有用データに対して、正解データの入力を受け付ける処理について説明する。図１６は、第１の実施形態に係る受付処理の一例を示すフローチャートである。ここで、図１６におけるステップＳ３０１、Ｓ３０２及びＳ３２０は、例えば、処理回路１５が出力機能１５３に対応するプログラムを記憶回路１４から読み出して実行することにより実現される。また、ステップＳ３１０及びＳ３１１は、例えば、処理回路１５が受付機能１５４に対応するプログラムを記憶回路１４から読み出して実行することにより実現される。なお、図１６に示す受付処理は、例えば受付処理開始のトリガに応じて実行される。受付処理の開始のトリガは、例えば入力Ｉ／Ｆ１２を介してＣＡＤの管理者から操作を受け付けてもよく、通信Ｉ／Ｆ１１を介して、端末４０等から受信してもよい。
【００８８】
例えば、図１６に示すように、本実施形態に係る情報収集システム１では、まず、処理回路１５は、有用データ１４３に記憶されたレコードを取得する（ステップＳ３０１）。次に、処理回路１５は、取得した有用データに基づいて受付画面を生成し、情報収集装置１０のディスプレイ１３等に出力する（Ｓ３０２）。そして、処理回路１５は、例えば、入力Ｉ／Ｆ１２から正解データの入力を受け付けたか否かを判定する（ステップＳ３１０）。処理回路１５は、正解データの入力を受け付けていないと判定した場合（ステップＳ３１０否定）、正解データの入力を受け付けるまで待機する。
【００８９】
処理回路１５は、正解データの入力を受け付けたと判定した場合（ステップＳ３１０肯定）、正解データを有用データ１４３に格納する（ステップＳ３１１）。その後、ステップＳ３２０に移行する。
【００９０】
次に、処理回路１５は、全ての有用データに対する処理を完了したか否かを判定する（ステップＳ３２０）。処理回路１５は、全ての有用データに対する処理を完了していないと判定した場合（ステップＳ３２０否定）、ステップＳ３０１に移行し、処理を繰り返す。一方、処理回路１５は、全ての有用データに対する処理を完了したと判定した場合（ステップＳ３２０肯定）、処理を終了する。
【００９１】
上述したように、第１の実施形態に係る情報収集システム１は、有用な学習用データを収集することができる。例えば、第１の実施形態に係る情報収集システム１は、レアケースに該当する医用画像データや、ＣＡＤの管理者が学習用として有用と判断したデータを収集することができる。
【００９２】
（第２の実施形態）
第１の実施形態においては、学習済みモデルの中間層から取得された演算結果に基づいて、医用情報が条件を満たすか否かを判定する構成について説明したが、学習用データを揃える上で有用なデータを収集する構成はこれに限られない。例えば、レアケースに該当するデータが収集された患者等から、その他の医用画像データが収集される場合、当該データそのものがレアケースに該当しない場合であっても、レアケースに該当するデータの正解データを特定する上で有用となる場合がある。なお、本実施形態において、「患者等」は、被検体の一例である。
【００９３】
そこで、本実施形態においては、医用画像データが収集された患者等を特定することにより、有用な情報を収集する構成について説明する。図１７は、第２の実施形態に係る情報収集システムの機能ブロックの一例を示す図である。なお、以下の実施の形態において、先に説明した図面に示す部位と同一の部位には同一の符号を付し、重複する説明は省略する。
【００９４】
図１７に示すように、情報収集システム１ａは、情報収集装置１０ａと、医用画像診断装置群２０と、画像保管装置２１と、学習装置３０と、端末４０とを備える。情報収集装置１０ａは、通信Ｉ／Ｆ１１と、入力Ｉ／Ｆ１２と、ディスプレイ１３と、記憶回路１４ａと、処理回路１５ａとを有する。
【００９５】
本実施形態では、記憶回路１４ａは、図１７に示すように、演算結果情報１４１と、統計データ１４２と、有用データ１４３ａと、モデルデータ１４４とを記憶する。本実施形態における有用データ１４３ａは、図１０に示すような「レアケースの疑い」がある医用画像データ、及び「対象範囲に該当」する医用画像データに関する情報に加え、さらに、これらの医用画像データと「患者ＩＤ」が同一である医用画像データに関する情報を記憶する。
【００９６】
図１８は、第２の実施形態に係る有用データの一例を示す図である。図１８に示すように、有用データ１４３ａは、第１のレコードの患者ＩＤ「０００１」と、患者ＩＤが同一である第４のレコードを記憶する。この場合において、有用データ１４３ａは、第４のレコードの該当理由が「患者一致」であることを記憶する。
【００９７】
図１７に戻って、処理回路１５は、制御機能１５１と、判定機能１５２と、出力機能１５３と、受付機能１５４と、収集機能１５５とを実行する。ここで、収集機能１５５は、収集部の一例である。
【００９８】
処理回路１５における収集機能１５５は、医用画像データを収集する。例えば、収集機能１５５は、医用画像診断装置群２０又は画像保管装置２１から、医用画像データを取得する。また、収集機能１５５は、学習装置３０から、学習済みモデル３４１、３４２又は３４３の入力層に入力された医用画像データを収集する。その際、収集機能１５５は、例えば、当該医用画像データの画像ＩＤ及び当該医用画像データが収集された患者の患者ＩＤ、並びに当該医用画像データを収集したモダリティのモダリティＩＤを合わせて取得する。また、収集機能１５５は、医用画像データが入力された学習済みモデルのモデルＩＤをさらに取得してもよい。
【００９９】
また、収集機能１５５は、例えば、収集した医用画像データの患者ＩＤと合致する患者ＩＤが、有用データ１４３ａに記憶されているか否かを判定する。収集機能１５５は、収集した医用画像データに対応する患者ＩＤと合致する患者ＩＤが、有用データ１４３ａに記憶されていると判定した場合、当該患者ＩＤに対応する医用画像データに関する情報を、有用データ１４３ａに対応づけて格納する。
【０１００】
例えば、収集機能１５５は、患者ＩＤ「０００１」、モダリティＩＤ「ＹＹＹ」、モデルＩＤ「Ｍ００３」の医用画像データを収集した場合、合致する患者ＩＤ「０００１」が図１８に示す有用データ１４３ａの第１のレコードに記憶されていると判定する。この場合、収集機能１５５は、図１８に示すように、有用データ１４３ａの第４のレコードに、収集した医用画像データに関する情報を格納する。
【０１０１】
なお、本実施形態において、収集機能１５５による医用画像の収集処理は、例えば制御機能１５１が情報収集処理を実行した際に随時実行される。
【０１０２】
上述したように、第２の実施形態に係る情報収集システム１は、レアケースに該当する医用画像データや、ＣＡＤの管理者が学習用として有用と判断したデータ等の有用なデータに加えて、当該データと同一の被検体から収集された医用画像データを収集することができる。これにより、レアケースに該当する医用画像データや、ＣＡＤの管理者が学習用として有用と判断したデータ等における症例の特定を支援することができる。
【０１０３】
なお、本実施形態における収集機能１５５は、例えば、患者ＩＤが合致する医用画像データに関する情報を有用データ１４３ａに格納する際に、当該患者ＩＤに対応するデータを匿名化してもよい。収集機能１５５は、例えば、有用データ１４３ａに医用画像データに関する情報を登録する際、患者ＩＤをランダムな文字列に置き換えて、患者を識別できないようにしてもよい。また、収集機能１５５は、例えば、当該医用画像データに対応する患者ＩＤに加えて、症例等が合致する他の医用画像データに対応する「ｋ個」の患者ＩＤも同様の文字列に置き換えることにより、「ｋ−匿名化」を実現してもよい。
【０１０４】
（第３の実施形態）
上述した第１の実施形態では、判定機能１５２が、統計データ１４２を用いて演算結果を収集するか否かを判定する構成について説明した。これに対し、第３の実施形態では、判定機能が、学習済みモデルを用いて演算結果を判定する場合について説明する。
【０１０５】
図１９は、第３の実施形態に係る情報収集システムの機能ブロックの一例を示す図である。図１９に示すように、情報収集システム１ｂは、情報収集装置１０ｂと、医用画像診断装置群２０と、画像保管装置２１と、学習装置３０と、端末４０とを備える。情報収集装置１０ｂは、通信Ｉ／Ｆ１１と、入力Ｉ／Ｆ１２と、ディスプレイ１３と、記憶回路１４ｂと、処理回路１５ｂとを有する。
【０１０６】
例えば、記憶回路１４ｂは、図１９に示すように、演算結果情報１４１と、統計データ１４２と、有用データ１４３と、モデルデータ１４４とに加えて、学習済みモデル１４５をさらに記憶する。学習済みモデル１４５は、処理回路１５ｂにより実行される、入力される演算結果に基づいて、演算結果に対応する医用画像データが有用であるか否かを出力する判別処理に組み込まれる学習済みモデルである。学習済みモデル１４５は、例えば図５に示す学習済みモデル３４１、３４２及び３４３と同様に、入力層、複数の中間層及び出力層から構成される多層のニューラルネットワークにより構成される。学習済みモデル３４１は、例えば後に説明するモデル生成機能１５６により生成される。
【０１０７】
また、処理回路１５ｂは、制御機能１５１と、判定機能１５２ｂと、出力機能１５３と、受付機能１５４と、モデル生成機能１５６とを実行する。判定機能１５２ｂは、学習済みモデル１４５に基づいて、入力される演算結果に対する判別処理を実行する。具体的には、判定機能１５２ｂは、演算結果を学習済みモデル１４５に入力することにより、演算結果に対応する医用画像データが有用であるか否かを判別する判別処理を実行する。そして、判定機能１５２ｂは、学習済みモデル１４５から出力された判別結果を、出力機能１５３に出力する。
【０１０８】
モデル生成機能１５６は、学習済みモデル１４５の生成に関する処理を実行する。例えば、モデル生成機能１５６は、まず、制御機能１５１から、入力データである演算結果と、正解データである有用か否かを示す情報との組を含む学習用データの入力を受け付ける。モデル生成機能１５６は、学習用データに基づいて、学習用データに含まれる演算結果から、有用か否かを示す情報などの正解データを判別するように、モデルを学習させる。
【０１０９】
以上、第３の実施形態に係る情報収集装置１０ｂの構成の一例について説明した。かかる構成の下、情報収集装置１０ｂは、演算結果に基づき、医用画像データが有用データであるか否かを、学習済みモデルに基づいて判別することができる。
【０１１０】
（第４の実施形態）
上述した第１の実施形態では、統計データとして、演算結果の平均値μと標準偏差σとを用いる構成について説明した。これに対し、第４の実施形態では、統計データとして、第１の演算結果と第２の演算結果との関係を用いる場合について説明する。図２０は、第４の実施形態に係る演算結果の分布の一例を示す図である。
【０１１１】
図２０は、第１の値である演算結果１と、第２の値である演算結果２との相関分布を示す。図２０に示すように、演算結果１と演算結果２との組の多くは、範囲９８に沿って分布する。この場合において、範囲９８に含まれる演算結果１と演算結果２との組９９ａは、レアケースに基づく演算結果であるとは判定されない。一方、範囲９８を逸脱する演算結果１と演算結果２との組９９ｂ及び９９ｃについては、レアケースに基づく演算結果であるとは判定される。
【０１１２】
以上、第４の実施形態に係る構成において、情報収集装置は、学習済みモデルを用いた判別結果の妥当性を、複数の演算結果の関係に基づいて判別することができる。なお、図２０においては、２つの演算結果の関係に基づいてレアケースであるか否かを判定する構成について説明したが、これに限られず、３つ以上の演算結果の関係に基づいて判定するような構成であってもよい。
【０１１３】
以上説明した少なくとも一つの実施形態によれば、有用な学習用データを収集することができる。
【０１１４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【０１１５】
例えば、医用情報として医用画像データを収集する構成について説明したが、これに限られず、心電図や音声データ等の画像以外の医用情報を収集するような構成であってもよい。また、学習装置３０が複数の学習済みモデル３４１、３４２及び３４３を有する構成について説明したが、学習装置３０が単一の学習済みモデル３４１のみを有するような構成であってもよい。
【０１１６】
また、受付機能１５４は、このような有用データであるか否かを判定する条件、例えば「−σから平均値μまで」等の条件の入力を、ユーザからさらに受け付けてもよい。この場合において、判定機能１５２は、入力された条件を用いて、演算結果を判定してもよい。
【０１１７】
また、受付機能１５４は、例えば、正解データを登録した医師を特定する医師ＩＤを、さらに有用データ１４３に記憶してもよい。例えば、複数の医師が、同一の医用画像データに対する正解データとして、異なる症例を入力した場合、受付機能１５４は、最も入力した医師の数が多い症例を、正解データとして、有用データ１４３に格納してもよい。また、受付機能１５４は、予め医師の評価を定めておき、最も評価が高い医師が入力した症例を正解データとして、有用データ１４３に格納してもよい。
【０１１８】
上述した各実施形態の説明で用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central  Processing  Unit）、ＧＰＵ（Graphics  Processing  Unit）、或いは、特定用途向け集積回路（Application  Specific  Integrated  Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple  Programmable  Logic  Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex  Programmable  Logic  Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field  Programmable  Gate  Array：ＦＰＧＡ））等の回路を意味する。ここで、メモリにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合には、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。
【０１１９】
ここで、プロセッサによって実行されるプログラムは、ＲＯＭ（Read  Only  Memory）や記憶部等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ（Compact  Disk）−ＲＯＭ、ＦＤ（Flexible  Disk）、ＣＤ−Ｒ（Recordable）、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。例えば、このプログラムは、各機能部を含むモジュールで構成される。実際のハードウェアとしては、ＣＰＵが、ＲＯＭ等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。
【符号の説明】
【０１２０】
１  情報収集システム
１０  情報収集装置
２０  医用画像診断装置群
２１  画像保管装置
３０  学習装置
４０  端末
【図１】
2020048783.tif 000003
【図２】
2020048783.tif 000004
【図３】
2020048783.tif 000005
【図４】
2020048783.tif 000006
【図５】
2020048783.tif 000007
【図６】
2020048783.tif 000008
【図７】
2020048783.tif 000009
【図８】
2020048783.tif 000010
【図９】
2020048783.tif 000011
【図１０】
2020048783.tif 000012
【図１１】
2020048783.tif 000013
【図１２】
2020048783.tif 000014
【図１３】
2020048783.tif 000015
【図１４】
2020048783.tif 000016
【図１５】
2020048783.tif 000017
【図１６】
2020048783.tif 000018
【図１７】
2020048783.tif 000019
【図１８】
2020048783.tif 000020
【図１９】
2020048783.tif 000021
【図２０】
2020048783.tif 000022