(57)【要約】      （修正有）【課題】本発明は、画像のディープラーニングに必要な大量かつ多様なデータを提供するための学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラムを提供する。【解決手段】学習データ生成支援装置２０は、抽出手段１１で、読影レポートの文字列を解析して、読影レポート内に記録されている病変部位情報および読影レポート内に記録されている第１の病変特徴を抽出し、解析手段１２で読影レポートに対応する画像データに、病変部位情報に対応する画像解析処理を施して該画像解析処理の結果に基づき第２の病変特徴を取得する。判定手段１３で、第１の病変特徴が第２の病変特徴と一致しているか否かを判定し、第１の病変特徴と第２の病変特徴が一致していると判定された場合には、登録手段１４で、読影レポートに対応する画像データを学習正解データとして登録する。【選択図】図２
2019008349.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像データと該画像データのそれぞれに対する読影レポートを記憶した記憶手段と、
前記読影レポートの文字列を解析して、前記読影レポート内に記録されている病変部位情報および前記読影レポート内に記録されている第１の病変特徴を抽出する抽出手段と、
前記読影レポートに対応する前記画像データに、前記病変部位情報に対応する画像解析処理を施して該画像解析処理の結果に基づき第２の病変特徴を取得する解析手段と、
前記第１の病変特徴が前記第２の病変特徴と一致しているか否かを判定する判定手段と、
前記第１の病変特徴と前記第２の病変特徴が一致していると判定された場合には、前記読影レポートに対応する前記画像データを学習正解データとして登録する登録手段とを備えた学習データ生成支援装置。
【請求項２】
前記判定手段において、前記第１の病変特徴と前記第２の病変特徴が一致しないと判定された場合には、前記解析手段に前記画像解析処理のパラメーターを調整した上で前記画像データに前記画像解析処理を施して得られる前記第２の病変特徴を再度取得させた後に、前記判定手段に再度判定させる請求項1記載の学習データ生成支援装置。
【請求項３】
前記学習正解データを用いて機械学習を実行する学習手段を備えた請求項１または２記載の学習データ生成支援装置。
【請求項４】
前記病変特徴は、病変の外形的形状の特徴である請求項１から３いずれか１項記載の学習データ生成支援装置。
【請求項５】
前記抽出手段は、自然言語処理により前記読影レポートを解析する請求項１から４のいずれか１項記載の学習データ生成支援装置。
【請求項６】
前記抽出手段は、前記病変部位情報として、病変が存在する臓器と前記病変が存在する前記臓器の範囲を抽出し、
前記解析手段は、前記画像データに対して、臓器認識処理を施して臓器の認識を行い、かつ、前記範囲に対して病変解析処理を施して前記第２の病変特徴を取得する請求項１から５のいずれか１項記載の学習データ生成支援装置。
【請求項７】
前記抽出手段は、前記病変部位情報として、病変が存在する組織と前記病変が存在する前記組織の範囲を抽出し、
前記解析手段は、前記画像データに対して、組織認識処理を施して組織の認識を行い、かつ、前記範囲に対して病変解析処理を施して前記第２の病変特徴を取得する請求項１から５のいずれか１項記載の学習データ生成支援装置。
【請求項８】
複数の画像データと該画像データのそれぞれに対する読影レポートを記憶した記憶手段と、抽出手段と、解析手段と、判定手段と、登録手段とを備えた学習データ生成支援装置において、
前記抽出手段が、前記読影レポートの文字列を解析して、前記読影レポート内に記録されている病変部位情報および前記読影レポート内に記録されている第１の病変特徴を抽出する抽出ステップと、
前記解析手段が、前記読影レポートに対応する前記画像データに、前記病変部位情報に対応する画像解析処理を施して該画像解析処理の結果に基づき第２の病変特徴を取得する解析ステップと、
前記判定手段が、前記第１の病変特徴が前記第２の病変特徴と一致しているか否かを判定する判定ステップと、
前記登録手段が、前記第１の病変特徴と前記第２の病変特徴が一致していると判定された場合には、前記読影レポートに対応する前記画像データを学習正解データとして登録する登録ステップとを備えた学習データ生成支援方法。
【請求項９】
コンピュータを、
複数の画像データと該画像データのそれぞれに対する読影レポートを記憶した記憶手段と、
前記読影レポートの文字列を解析して、前記読影レポート内に記録されている病変部位情報および前記読影レポート内に記録されている第１の病変特徴を抽出する抽出手段と、
前記読影レポートに対応する前記画像データに、前記病変部位情報に対応する画像解析処理を施して該画像解析処理の結果に基づき第２の病変特徴を取得する解析手段と、
前記第１の病変特徴が前記第２の病変特徴と一致しているか否かを判定する判定手段と、
前記第１の病変特徴と前記第２の病変特徴が一致していると判定された場合には、前記読影レポートに対応する前記画像データを学習正解データとして登録する登録手段として機能させるための学習データ生成支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習によって学習データを生成するための支援を行う学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラムに関するものである。
【背景技術】
【０００２】
データの特徴を学習して画像などの認識や分類を行うために機械学習が従来から利用されてきた。近年、様々な学習手法が開発され、かつ、コンピュータの処理能力が向上したことにより処理時間が短縮され、システムが画像データなどの特徴をより深いレベルで学習するディープラーニングを行うことが可能になってきた。ディープラーニングを行うことにより、非常に高い精度で画像などの特徴を認識できるようになり判別性能の向上が期待されている。ディープラーニングには大量かつ多様なデータが必要であり、多くの画像判別のためのデータをインターネットなどから取得している。
【０００３】
一方、医療情報システムの普及に伴い、地域における病気診断の連携と医療情報の共有を目的として、医療機関の相互間でデータ交換が可能な広域電子カルテの実現がされつつある。広域電子カルテシステムの要素技術には、各医療機関に設けられた医用画像管理システム（ＰＡＣＳ： Picture Archiving and Communication System）がある。ＰＡＣＳでは、ＣＲ（Computed Radiography：コンピュータＸ線撮影）、ＣＴ（Computed Tomography：コンピュータ断層撮影装置）およびＭＲＩ（magnetic resonance imaging：磁気共鳴画像撮影装置）といった画像撮影装置（モダリティ）から受信した画像データの保管、閲覧、および管理を行っている。また、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）規格を用いて画像データを管理することにより、様々な種類の画像データの一元管理を可能にしている。
【０００４】
また、医用画像管理システムには、各種モダリティで撮影された画像を読影医が読影した読影レポートが、その画像データと対応付けて記憶されている。読影レポートに記録されている読影結果は診断にとって重要であり、正確な読影結果が記録されていることが望まれる。そこで、読影の見落としの低減、または医師の負担を軽減するために、画像データに対して画像処理を行なって検出された病変の病変種別を判別し、その結果を提供することでレポートの作成を支援するシステムが提案されている。あるいは、医師による読影結果である読影レポート情報から抽出された解析結果情報と、診断支援情報との差分を検出するシステムが提案されている（例えば、特許文献１、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１４９２５６号公報
【特許文献２】特開２００９−０８２４４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
医療分野においても、ディープラーニングなどを利用して高い精度で画像などの特徴を認識することが望まれている。ディープラーニングには、目的に沿った大量かつ良質のデータによる学習が不可欠である。医療分野では、学習に必要なデータは医用画像管理システムに保管されている大量のデータに埋もれていると考えられ、ディープラーニングに利用するデータを、これらの医療情報システムに保管されている画像データから取得することが検討されている。しかし、大量のデータの中から正解データを手動で判別するのは合理的ではない。一方で、熟練した読影医によって得られた読影レポートには正しい情報が記録されていることが多く、過去の読影レポートを見れば正しい結果を得ることが可能である。
【０００７】
そこで、本発明では、上述のような問題を解決するために、医療分野においてディープラーニングに必要な大量かつ多様な画像データを提供するための学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の学習データ生成支援装置は、複数の画像データと該画像データのそれぞれに対する読影レポートを記憶した記憶手段と、読影レポートの文字列を解析して、読影レポート内に記録されている病変部位情報および読影レポート内に記録されている第１の病変特徴を抽出する抽出手段と、読影レポートに対応する画像データに、病変部位情報に対応する画像解析処理を施して該画像解析処理の結果に基づき第２の病変特徴を取得する解析手段と、第１の病変特徴が第２の病変特徴と一致しているか否かを判定する判定手段と、第１の病変特徴と第２の病変特徴が一致していると判定された場合には、読影レポートに対応する画像データを学習正解データとして登録する登録手段とを備える。
【０００９】
また、本発明の学習データ生成支援方法は、複数の画像データと該画像データのそれぞれに対する読影レポートを記憶した記憶手段と、抽出手段と、解析手段と、判定手段と、登録手段とを備えた学習データ生成支援装置において、抽出手段が、読影レポートの文字列を解析して、読影レポート内に記録されている病変部位情報および読影レポート内に記録されている第１の病変特徴を抽出する抽出ステップと、解析手段が、読影レポートに対応する画像データに、病変部位情報に対応する画像解析処理を施して該画像解析処理の結果に基づき第２の病変特徴を取得する解析ステップと、判定手段が、第１の病変特徴が第２の病変特徴と一致しているか否かを判定する判定ステップと、登録手段が、第１の病変特徴と第２の病変特徴が一致していると判定された場合には、読影レポートに対応する画像データを学習正解データとして登録する登録ステップとを備える。
【００１０】
また、本発明の学習データ生成支援プログラムは、コンピュータを、複数の画像データと該画像データのそれぞれに対する読影レポートを記憶した記憶手段と、読影レポートの文字列を解析して、読影レポート内に記録されている病変部位情報および読影レポート内に記録されている第１の病変特徴を抽出する抽出手段と、読影レポートに対応する画像データに、病変部位情報に対応する画像解析処理を施して該画像解析処理の結果に基づき第２の病変特徴を取得する解析手段と、第１の病変特徴が第２の病変特徴と一致しているか否かを判定する判定手段と、第１の病変特徴と第２の病変特徴が一致していると判定された場合には、読影レポートに対応する画像データを学習正解データとして登録する登録手段として機能させるためのプログラムである。
【００１１】
「病変部位」とは、臓器または組織を指す。例えば、臓器には、脳、肺、心臓、肝臓、腎臓、または、腸が含まれ、組織には、血管、リンパ腺、または骨が含まれる。
【００１２】
「病変特徴」とは、画像上に現れる特徴であり、病変の形状、病変の大きさ、または、病変内の濃淡またはテクスチャとして現れる特徴を指す。「第１の病変特徴が第２の病変特徴と一致しているか否かを判定」は、同種の病変特徴が一致しているか否かについて判定を行うことを指し、例えば、第１の病変特徴として「病変の大きさ」がある場合には、第２の病変特徴も「病変の大きさ」について比較を行って判定する。
【００１３】
「第１の病変特徴」は読影レポートから得られた用語によって特定され、「第２の病変特徴」は、画像解析処理の結果から得られ、画像処理の出力される数字や文字などデータとして取得される。「第１の病変特徴と第２の病変特徴が一致していると判定する」とは、病変特徴は、病変を表す用語、数字、文字、数値、またはこれらの組み合わせであらわされるが、完全に一致していなくとも一致していると考えられる用語、数字、文字、数値、またはこれらの組み合わせであればよい。例えば、読影レポートから得られた用語が、同じ意味を表す異なる用語であっても一致していると判定し、用語の一部が本来の用語と違う場合であっても、例えば、あいまい検索のように、所定のルールの下で一部が一致している時には一致していると判定するようにしてもよい。また、数値については、一定の範囲内の差であれば一致していると判定してもよい。
【００１４】
また、判定手段において、第１の病変特徴と第２の病変特徴が一致しないと判定された場合には、解析手段に画像解析処理のパラメーターを調整した上で画像データに画像解析処理を施して得られる第２の病変特徴を再度取得させた後に、判定手段に再度判定させるようにしてもよい。
【００１５】
また、学習データ生成支援装置が、学習正解データを用いて機械学習を実行する学習手段を備えるようにしてもよい。
【００１６】
また、病変特徴は、病変の外形的形状の特徴であることが望ましい。
【００１７】
また、抽出手段は、自然言語処理により読影レポートを解析することが望ましい。
【００１８】
また、抽出手段が、病変部位情報として、病変が存在する臓器と病変が存在する臓器の範囲を抽出して、解析手段が、画像データに対して、臓器認識処理を施して臓器の認識を行い、かつ、病変が存在する臓器の範囲に対して病変解析処理を施して第２の病変特徴を取得することが望ましい。
【００１９】
また、抽出手段が、病変部位情報として、病変が存在する組織と病変が存在する組織の範囲を抽出して、解析手段が、画像データに対して、組織認識処理を施して組織の認識を行い、かつ、病変が存在する組織の範囲に対して病変解析処理を施して第２の病変特徴を取得することが望ましい。
【発明の効果】
【００２０】
本発明によれば、読影レポートの文字列を解析して、読影レポート内に記録されている病変部位情報および読影レポート内に記録されている第１の病変特徴を抽出し、読影レポートに対応する画像データに画像解析処理を施して第２の病変特徴を取得して、第１の病変特徴が第２の病変特徴と一致していると判定された場合には、画像データを学習正解データとして登録することにより、ディープラーニングに必要な大量の多様な正解データを自動的に取得することが可能になる。
【図面の簡単な説明】
【００２１】
【図１】医療情報システムの概略構成を表す図
【図２】本発明の学習データ生成支援装置の概略構成を表す図
【図３】正解データを登録する処理の流れを示すフローチャート
【図４】リンパ節の位置を表す概略図
【発明を実施するための形態】
【００２２】
図１に、本発明の実施形態における学習データ生成支援装置が導入された医療情報システム１の概略構成を示す。この医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダーに基づいて、被検体の検査対象部位の撮影および保管、放射線科の読影医による撮影された画像の読影と読影レポートの作成、および、依頼元の診療科の医師による読影レポートの閲覧と読影対象の画像の詳細観察を行うためのシステムである。医療情報システム１は、図１に示すように、モダリティ２、読影医用ワークステーション３、診療科用ワークステーション４、画像管理サーバ５、画像データベース６、読影レポートサーバ７、および、読影レポートデータベース８を、ネットワーク９を介して互いに通信可能な状態で接続されて構成されている。各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされている。また、アプリケーションプログラムは、ＣＤ−ＲＯＭ等の記録媒体からインストール、または、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされてもよい。
【００２３】
モダリティ２には、被検体の検査対象部位を撮影することにより、その部位を表す検査画像を生成し、その画像にＤＩＣＯＭ規格で規定された付帯情報を付加して出力する装置が含まれる。具体例としては、ＣＴ装置、ＭＲI装置、ＰＥＴ（Positron Emission Tomography）装置、超音波装置、または、平面Ｘ線検出器（ＦＰＤ：flat panel detector）を用いたＣＲ装置などが挙げられる。
【００２４】
読影医用ワークステーション３は、放射線科の読影医が画像の読影や読影レポートの作成に利用するコンピュータであり、ＣＰＵ（Central Processing Unit）、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、表示装置として１台または複数台の高精細ディスプレイを有している。この読影医用ワークステーション３では、画像管理サーバ５に対する画像の送信要求、画像管理サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出および強調表示、および、読影レポートの作成と表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。また、読影医用ワークステーション３は、生成した読影レポートを、ネットワーク９を介して読影レポートサーバ７に転送し、その読影レポートの読影レポートデータベース８への登録を要求する。
【００２５】
診療科用ワークステーション４は、診療科の医師が画像の詳細観察や読影レポートの閲覧、および、電子カルテの閲覧および入力等に利用するコンピュータであり、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、表示装置として１台または複数台の高精細ディスプレイを有している。この診療科用ワークステーション４では、画像管理サーバ５に対する画像の閲覧要求、画像管理サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ７に対する読影レポートの閲覧要求、および、読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムの実行により行われる。また、診療科用ワークステーション４は、各診療科で行われた内視鏡検査などの動画を、ネットワーク９を介して画像管理サーバ５に転送し、画像データベース６への登録を要求する。
【００２６】
画像管理サーバ５は、汎用のコンピュータにデータベース管理システム（Data Base Management System：DBMS）の機能を提供するソフトウェアプログラムが組み込まれている。画像管理サーバ５は、画像データベース６が構成される大容量ストレージを備えている。このストレージは、画像管理サーバ５とデータバスによって接続された大容量のハードディスク装置であってもよいし、ネットワーク９に接続されているＮＡＳ（Network Attached Storage）やＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。
【００２７】
画像データベース６には、複数の患者をモダリティ２で撮影した検査画像（画像データ）と付帯情報が登録される。付帯情報には、例えば、個々の画像を識別するための画像ＩＤ（identification）、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、検査画像ごとに割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、その検査画像が生成された検査日、検査時刻、その検査画像を取得するための検査で使用されたモダリティの種類、患者氏名と年齢と性別などの患者情報、検査部位（撮影部位）、撮影条件（造影剤の使用有無または放射線量など）、および、１回の検査で複数の断層画像を取得したときのシリーズ番号などの情報が含まれる。
【００２８】
また、画像管理サーバ５は、読影医用ワークステーション３からの閲覧要求をネットワーク９経由で受信すると、上述の画像データベース６に登録されている検査画像を検索し、抽出された検査画像を要求元の読影医用ワークステーション３に送信する。
【００２９】
読影レポートサーバ７は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムが組み込まれ、読影医用ワークステーション３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース８に登録する。
【００３０】
読影レポートデータベース８には、例えば、読影対象画像もしくは代表画像を識別する画像ＩＤや、読影を行った画像診断医を識別するための読影医ＩＤ、病変名、病変の位置情報、所見、所見の確信度といった情報が記録された読影レポートが登録される。また、読影レポートには、生検によって得られた判定結果が記録される。
【００３１】
ネットワーク９は、病院内の各種装置を接続するローカルエリアネットワークである。読影医用ワークステーション３が他の病院あるいは診療所に設置されている場合には、ネットワーク９は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク９は光ネットワークなど検査画像の高速転送が実現可能な構成にすることが好ましい。
【００３２】
次に、本発明の学習データ生成支援装置２０について、図１〜３を用いて具体的に説明する。図２は、学習データ生成支援装置２０を構成する正解データ判別装置１０の機能ブロックであり、図３は、学習データ生成支援装置２０の処理の流れを示すフローチャートである。
【００３３】
本発明の学習データ生成支援装置２０は、ネットワーク９に接続された正解データ判別装置１０、画像データベース６、および読影レポートデータベース８で構成される（図１参照）。なお、画像データベース６、および読影レポートデータベース８が本発明の記憶手段として機能する。
【００３４】
正解データ判別装置１０は、汎用のコンピュータで構成され、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされている。また、通信インターフェースを介して、ネットワーク９に接続された画像データベース６、および読影レポートデータベース８とデータの送受信を行う。
【００３５】
図２に示すように、正解データ判別装置１０は、抽出手段１１、解析手段１２、判定手段１３、登録手段１４、登録部１６、学習手段１５、および制御手段１７で構成される。
【００３６】
抽出手段１１は、読影レポートの文字列を解析して、読影レポート内に記録されている病変部位情報および読影レポート内に記録されている病変の特徴（第１の病変特徴）を抽出する。具体的には、自然言語処理を行い、読影レポート内の文を単語に区切り、かつ、単語の並びを解析することにより、病変部位情報を取得する。必要に応じて、病変部位名称、病変名称、病変特徴などの用語を予め登録しておき、用語と一致する文字列からレポートに記載されている内容を抽出する。
【００３７】
病変部位情報には、病変が存在する臓器の臓器情報（または、組織の組織情報）と、病変が画像空間上で存在する場所を示す病変部の位置情報が含まれる。臓器情報（または、組織情報）は、読影レポート内に記録された臓器（または、組織）の名称、または、病変名称など臓器（または、組織）が推定可能な情報であってもよい。病変部位置情報には、例えば、病変部の中心位置の座標（例えば、重心座標）、病変の臓器（または、組織）内の位置または範囲（例えば、肺の場合には右上葉、リンパ腺の場合にはリンパ節＃１３Ｒなど）、または、複数の断面画像からなる３次元画像の場合は病変部が存在するスライスの範囲等がある。また、位置情報は、これらを組み合わせて病変部の位置が特定可能な情報であってもよい。もちろんこれらに限定されず、読影レポートに記載された病変の存在する位置を特定できる情報であればよい。
【００３８】
また、病変特徴は、病変の外形的形状の特徴を表し、画像上に現れる病変部の形状、または、病変部の濃淡またはテクスチャとして現れる特徴である。例えば、肺結節の場合には、病変特徴を表す用語として「辺縁棘状」「辺縁分葉状」「辺縁整」など腫瘍特徴を表す用語が挙げられる。あるいは、リンパ節の疾患の場合には、病変特徴を表す用語として「腫大」などが挙げられる。また、病変特徴に、病変の大きさを含めてもよい。
【００３９】
解析手段１２は、読影レポートに対応する画像データに、読影レポートから得られた病変部位情報に対応する画像解析処理を施して、画像解析処理の結果に基づき第２の病変特徴を取得する。例えば、病変部位情報として病変名と位置情報が抽出された場合には、まず、病変名から病変が存在する臓器（または、組織）を特定して、臓器認識処理（または、組織認識処理）を用いて画像データからその臓器（または、組織）を抽出する。さらに、対象となる臓器（または、組織）に対応する各種病変解析処理を用いて、抽出された臓器（または、組織）から、読影レポートから抽出された位置情報に対応する臓器（または、組織）内の位置に存在する病変の大きさおよび病変特徴（第２の病変特徴）を検出または抽出する。臓器認識処理（または、組織認識処理）および各種病変解析処理は、グラフカットを用いるようにしてもよい。例えば、特許４４９３６７９に開示された手法を用いることが可能である。
【００４０】
判定手段１３は、読影レポートから抽出された病変部位情報および第１の病変特徴と画像データから抽出された病変部位情報および第２の病変特徴が一致しているか否かを判定する。病変特徴が一致しているか否かについては、腫瘍の特徴または臓器の状態（または組織の状態）を表す用語から得られる第１の病変特徴と、解析手段１２で得られた結果が一致しているか否かに基づいて判定する。第１の病変特徴を表す用語は医療用語辞書を予め用意しておき、同じ特徴または状態を指す複数の用語を辞書登録して、読影レポートに記録されている用語が同じ特徴または状態を指す場合には同じ用語として、解析手段１２から得られた結果（第２の病変特徴）と一致するか否かを判定するようにしてもよい。また、一定のルールの下で辞書の用語に完全に一致していない用語であっても、辞書にある最も近い用語を用いて一致しているか否かを判定してもよい。大きさについては、計測する位置（例えば、直径を計測する位置など）、または計測方法によって、多少大きさが異なる場合があるので、決められた範囲内の誤差であれば一致すると判定してもよい。
【００４１】
また、判定手段１３は、読影レポートから抽出された病変部位情報と解析手段１２で得られた病変部位情報が一致しているか否かについては、画像空間内の座標（例えば、病変部の重心）で判定する場合、位置が完全に一致していなくとも一定の範囲内であれば一致していると判定する。また、肝臓の区域のように臓器内の範囲を指す用語を判定する場合には、範囲を指す用語を辞書登録して、用語から得られる範囲が解析手段１２から得られた病変部位情報一致するか否かを判定する。また、完全に一致していない用語であっても、一定のルールの下で辞書にある最も近い用語を用いて一致するか否かを判定してもよい。あるいは、例えば、肝臓に腫瘍が区域の境に存在する場合には、読影レポートに記述されている区域が、解析手段１２によって得られる区域とずれる場合がある。このように区域の境に腫瘍がある場合には、隣接した区域であっても一致すると判定してもよい。さらに、読影レポートから位置に関する追加の情報がある場合には、その情報を利用して特定するようにしてもよい。
【００４２】
登録手段１４は、判定手段１３で読影レポートから抽出された病変特徴と画像データから抽出された病変特徴が一致していると判定した場合には、画像データを学習正解データとして登録部１６に登録する。登録部１６は、画像データを記憶するための大容量記憶装置で構成される。あるいは、登録部１６は、画像データのＩＤのみ記録するようにしてもよい。
【００４３】
制御手段１７は、解析手段１２、判定手段１３、登録手段１４の処理の流れを制御する。判定手段１３で第１の病変特徴と第２の病変特徴が一致する場合には、処理を登録手段１４に進めるが、判定手段１３で第１の病変特徴と第２の病変特徴が一致しないと判定された場合には、再度、処理を解析手段１２に戻して、パラメーターを調整して画像解析処理を実行させる。例えば、読影レポートに記録されている腫瘍の大きさと画像解析処理して得られた腫瘍の大きさを比較して所定の基準以上に違いがある（例えば、画像解析処理して得られた腫瘍が読影レポートに記録されているより２倍以上小さい）場合、例えば、特許４４９３６７９のように、Graph cutのt-linkやn-linkの算出方法を調整した上で、再度、画像解析処理を実行する。撮影条件またはモダリティの違いによって画像には濃度または濃淡などに違い現れるが、このようにパラメーターを調整して繰り返し画像解析処理を実行することにより正しい結果を探ることが可能になる。
【００４４】
また、制御手段１７は、所定の回数または所定の条件に達するまでパラメーターを調整して画像解析処理を繰り返しても、第１の病変特徴と第２の病変特徴が一致しない場合には、登録手段１４に処理を進めないで終了する。あるいは、所定の条件に達するまで所定の回数パラメーターを調整して画像解析処理を繰り返しても、第１の病変特徴と第２の病変特徴が一致しない場合には、登録手段１４に処理を進めないで終了するようにしてもよい。なお、所定の条件に達したか否かは、パラメーター値を変えることが可能な範囲で調整したか否かであってもよいし、１つのパラメーター値と他のパラメーター値の組み合わせなど所定の規則に従って決められる範囲で調整したか否かであってもよい。具体的には、パラメーターを調整するために、一定の間隔でパラメーター値を変えて繰り返し、画像解析処理を行うようにしてもよい。
【００４５】
以下、肺疾患とリンパ節の疾患を例に、図３のフローチャートを用いて、正解データの登録方法について具体的に説明する。
【００４６】
第１のケースとして、肺疾患の例について説明する。まず、肺疾患の患者Ａの読影レポートを読影レポートデータベース８から取り出す（Ｓ１）。
【００４７】
次に、抽出手段１１で読影レポートに対して自然言語処理を実行することにより（Ｓ２）、「病変名称」、「病変部位置情報」、「大きさ」、および「腫瘍特徴」に該当する文字列をそれぞれ抽出する（Ｓ３）。読影レポートに「右上葉に２．５ｃｍの辺縁棘状肺結節があり」と記録されている場合は、「病変名称」に該当する文字列として「肺結節」が抽出され、「病変部位置情報」に該当する文字列として「右上葉」が抽出され、「大きさ」に該当する文字列として「２．５ｃｍ」が抽出され、「腫瘍特徴」に該当する文字列として「辺縁棘状」が抽出される。なお、「大きさ」および「腫瘍特徴」を第１の病変特徴として抽出する。
【００４８】
一方、画像データベース６から、画像データとして例えばＣＴ画像が取り出される（Ｓ４）。読影レポートから抽出された病変名称が「肺結節」であるので、解析手段１２は、ＣＴ画像に対して肺野認識処理を行う（Ｓ５）。読影レポートの病変部位置情報は「右上葉」となっているので、解析手段１２は、抽出された肺野領域に肺結節用の病変解析処理を施す（Ｓ６）。病変解析処理の結果、肺結節の可能性が高い異常陰影が検出された場合には、検出された異常陰影の腫瘍特徴として「辺縁棘状」「辺縁分葉状」「辺縁整」などのいずれに該当するかが出力される。また、検出された異常陰影の大きさが計測され、大きさと腫瘍特徴を病変特徴（第２の病変特徴）として抽出する（Ｓ７）。
【００４９】
次に、判定手段１３で、解析手段１２において右上葉に該当する箇所またはその近傍に肺結節が検出され、検出された肺結節の大きさが約２．５ｍｍで、かつ、肺結節の辺縁に現れる腫瘍特徴が「辺縁棘状」であるか否かを判定する（Ｓ８）。解析手段１２で検出された肺結節の大きさが約２．５ｍｍであり、「辺縁棘状」の特徴を有する場合には、読影レポートの腫瘍特徴と一致すると判定する（Ｓ８−ＹＥＳ）。大きさについては、直径の計測位置によって多少大きさが異なる場合があるため、略同じ大きさであると認められる範囲であればよい。さらに、登録手段１４で読影レポートと一致すると判定されたＣＴ画像を正解データとして登録する（Ｓ９）。
【００５０】
また、読影レポートに記載されている病変部位置情報が、例えば「右上葉」と「右中葉」の境にある場合には、解析手段１２によって検出された病変部の位置が「右上葉」ではなく「右中葉」と判定される場合もある。この場合には、病変部位置情報が一致しないが、隣接する領域にある場合には、読影レポートに記録されている他の位置に関する情報と併せて判別するようにしてもよい。
【００５１】
一方、読影レポートから抽出された位置と同じ位置に、解析手段１２で肺結節が検出された場合であっても、例えば、解析手段１２が抽出した腫瘍の大きさが読影レポートに記録されていた大きさより２倍以下の場合には同じ腫瘍とは判定できないので（Ｓ８‐ＮＯ、Ｓ１０−ＮＯ）、画像解析処理のパラメーターのうち、特に、各種病変解析処理に関するパラメーターを調整して（Ｓ１１）、再度、画像解析処理の病変解析処理を行う（Ｓ６）。パラメーターを調整した場合であっても、大きさが異なる場合には、再度、パラメーターを調整する。パラメーターの調整はあらかじめ決められた規則に従って行われ、パラメーターを変更して画像解析処理を繰り返す（Ｓ５〜Ｓ１１）。繰り返し画像解析処理を行っても同じ腫瘍とは判定できない場合には（Ｓ８−ＮＯ、Ｓ１０−ＹＥＳ）、画像データは正解データとしては登録されない（Ｓ１２）。繰り返しは、予め決められた回数繰り返し行われる。あるいは、所定の条件に到達するまで繰り返し行われる（Ｓ１０）。ここでは、パラメーターを調整した後にＳ５の臓器認識まで処理を戻しているが、一致しないと判定された条件によってはＳ６の病変解析処理に戻すようにしてもよい。
【００５２】
あるいは、辺縁の特徴が異なる場合には、腫瘍特徴が異なるため、正解データとしては登録されない。上記では、大きさについてパラメーターを変えながら繰り返し画像解析処理を行う場合について説明したが、辺縁の特徴についても一致しない場合にはパラメーターを変えながら繰り返し画像解析処理を行うことが望ましい。また、解析手段１２で肺結節が検出されない場合にも、正解データとして登録されない。
【００５３】
第２のケースとして、リンパ腺の疾患の例について説明する。まず、リンパ腫の患者Ｂの読影レポートを読影レポートデータベース８から取り出す（Ｓ１）。
【００５４】
次に、抽出手段１１で読影レポートに自然言語処理を実行することにより（Ｓ２）、「組織情報」、「病変部位置情報」、「大きさ」、「病変特徴」に該当する文字列をそれぞれ抽出する。読影レポートに「リンパ節＃１３Ｒが腫大」と記録されている場合は、「組織情報」に該当する文字列として「リンパ」が抽出され、「病変部位置情報」に該当する文字列として「リンパ節＃１３Ｒ」が抽出され、「病変特徴」に該当する文字列として「腫大」が抽出される（Ｓ３）。図４に、リンパ節の位置を表す概略図を示す。図４の「１」は鎖骨上リンパ節、「２」、「４」は上部気管傍リンパ節、「７」は気管分岐リンパ節、「８」は食道傍リンパ節、「９」は肺靭帯リンパ節、「１０」は主気管支周囲リンパ節、「１１」は葉気管支間リンパ節、「１２」は葉気管支周囲リンパ節、「１３」は区域気管支周囲リンパ節、「１４」は亜区域気管支周囲リンパ節、「Ａｏ」は大動脈、「ＰＡ」肺動脈を表し、「Ｌ」、「Ｒ」は左右を表す。これらの文字列がリンパ節の病変部位位置情報として、読影レポートに記録される。
【００５５】
一方、画像データベース６から画像データとしてＣＴ画像が取り出される（Ｓ４）。読影レポートから抽出された組織情報が「リンパ」であるので、解析手段１２は、ＣＴ画像に対してリンパ腺認識処理を行う（Ｓ５）。また、リンパ腺認識処理では、図４に示すように各リンパ節の識別する機能を備えている。各リンパ節の位置は、気管支の位置との対応から特定することが可能である。読影レポートの病変部位置情報は「リンパ節＃１３Ｒ」となっているので、解析手段１２は、抽出されたリンパのうちリンパ節＃１３Ｒの位置に対して病変解析処理を施す（Ｓ６）。病変解析処理の結果、通常よりリンパ節の種大した箇所を検出する（Ｓ７）。
【００５６】
次に、判定手段１３で、解析手段１２においてリンパ節＃１３Ｒの位置で腫大が検出された場合には、ＣＴ画像を正解データであると判定する（Ｓ８−ＹＥＳ）。判定手段１３で第１の病変特徴と第２の病変特徴が一致していると判定された場合には、登録手段１４で正解データを判定された画像データを正解データとして登録部１６に登録する（Ｓ９）。
【００５７】
一方、解析手段１２においてリンパ節＃１３Ｒの位置で腫大が検出されない場合には（Ｓ８−ＮＯ、Ｓ１０−ＮＯ）、画像解析処理のパラメーターを変えて（Ｓ１１）、繰り返し画像解析処理を実行する。所定の回数または所定の条件に到達するまで繰り返し画像解析処理行っても（Ｓ１０−ＹＥＳ）、リンパ節＃１３Ｒの位置で腫大が検出されない場合には、正解データとして登録しない（Ｓ１２）。
【００５８】
学習手段１５は、登録手段１４で正解データとして登録部１６に登録された画像データを用いて、ニューラルネットワークをベースとした機械学習を行わせる。具体的には、例えば、畳み込みニューラルネットワークなどを利用することにより、画像認識装置を生成することができる。
【００５９】
以上、詳細に説明したように、医療画像管理システムに記憶されている画像データを利用することで、機械学習に必要な大量かつ多様な正解データを取得することが可能になる。
【符号の説明】
【００６０】
１     医療情報システム
２     モダリティ
３     読影医用ワークステーション
４     診療科用ワークステーション
５     画像管理サーバ
６     画像データベース
７     読影レポートサーバ
８     読影レポートデータベース
９     ネットワーク
１０   正解データ判別装置
１１   抽出手段
１２   解析処理
１２   解析手段
１３   判定手段
１４   登録手段
１５   学習手段
１６   登録部
１７   制御手段
２０   学習データ生成支援装置
【図１】
2019008349.tif 000003
【図２】
2019008349.tif 000004
【図３】
2019008349.tif 000005
【図４】
2019008349.tif 000006