(57)【要約】【課題】本発明は、画像のディープラーニングに必要な大量かつ多様なデータを提供するための学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラムを提供する。【解決手段】取得した画像の中のいずれか１つを基準画像として設定し、基準画像以外の画像を比較画像として設定する。部位または疾患に応じて、基準画像に対して解剖学的領域を抽出する第１の画像処理を実行し、かつ、比較画像に対して解剖学的領域を抽出する第２の画像処理を実行して、基準画像の解剖学的領域と比較画像の解剖学的領域を用いて、比較画像を正解データとして利用可能か否かを判定する。前記正解データとして利用可能と判定された比較画像を正解データとして登録する。【選択図】図２
2019010411.tif 000002
【特許請求の範囲】
【請求項１】
被写体の同じ部位を撮影した２以上の異なる画像を取得する取得手段と、
前記部位または疾患に応じて、前記取得した画像の中のいずれか１つを基準画像として設定し、前記取得した画像の中の前記基準画像以外の画像を比較画像として設定する設定手段と、
前記部位または疾患に応じて、前記基準画像に対して解剖学的領域を抽出する第１の画像処理を実行し、かつ、前記部位または疾患に応じて、前記比較画像に対して解剖学的領域を抽出する第２の画像処理を実行する画像処理手段と、
前記第１の画像処理による前記基準画像の解剖学的領域と前記第２の画像処理による前記比較画像の解剖学的領域を用いて、前記比較画像を正解データとして利用可能か否かを判定する判定手段と、
前記正解データとして利用可能と判定された前記比較画像を正解データとして登録する登録手段とを備えた学習データ生成支援装置。
【請求項２】
前記登録手段は、前記比較画像と該比較画像から得られた解剖学的領域を前記正解データとして登録する請求項１記載の学習データ生成支援装置。
【請求項３】
前記第１の画像処理および前記第２の画像処理は、臓器抽出処理および病変検出処理のうち少なくともいずれか１つの処理である請求項１または２記載の学習データ生成支援装置。
【請求項４】
前記第１の画像処理の種類は、前記第２の画像処理と異なる種類の画像処理である請求項１〜３いずれか１項記載の学習データ生成支援装置。
【請求項５】
前記２以上の異なる画像は、２以上の異なる種類の撮影装置を用いて撮影した画像である請求項１〜４のいずれか１項記載の学習データ生成支援装置。
【請求項６】
前記２以上の異なる種類の撮影装置は、ＭＲＩ装置、ＣＴ装置、ＣＲ装置、ＰＥＴ装置、および、超音波撮影装置のうちの２種類以上の撮影装置である請求項５記載の学習データ生成支援装置。
【請求項７】
前記２以上の異なる画像は、同じ種類の撮影装置を用いて異なる撮影プロトコルで撮影した画像である請求項１〜４のいずれか１項記載の学習データ生成支援装置。
【請求項８】
前記同じ種類の撮影装置が、ＭＲＩ装置であって、前記異なる撮影プロトコルがＴ１撮影プロトコルおよびＴ２撮影プロトコルである請求項７記載の学習データ生成支援装置。
【請求項９】
前記２以上の異なる画像は、同じ種類の撮影装置を用いて異なる時刻に撮影した画像である請求項１〜４のいずれか１項記載の学習データ生成支援装置。
【請求項１０】
前記２以上の画像のそれぞれの読影レポートの文字列を解析する解析手段をさらに備え、
前記設定手段が、前記解析手段によって得られた前記部位または前記疾患に応じて、前記基準画像と前記比較画像を決定する請求項１〜９のいずれか１項記載の学習データ生成支援装置。
【請求項１１】
前記判定手段が前記比較画像を前記正解データとして利用不可と判定した場合は、利用不可の通知を行う通知手段をさらに備えた請求項２記載の学習データ生成支援装置。
【請求項１２】
前記利用不可の通知がされた比較画像の解剖学的領域を認識可能に表示する修正用画像表示手段と、
前記比較画像の解剖学的領域を修正するための入力を受け付ける修正入力受付手段と、
前記修正入力受付手段で受け付けた入力に従って修正した前記比較画像の解剖学的領域と前記比較画像を正解データとして登録する修正登録手段とをさらに備えた請求項１１記載の学習データ生成支援装置。
【請求項１３】
取得手段と、設定手段と、画像処理手段と、判定手段と、登録手段とを備えた学習データ生成支援装置の作動方法であって、
前記取得手段が、被写体の同じ部位を撮影した２以上の異なる画像を取得し、
前記設定手段が、前記部位または疾患に応じて、前記取得した画像の中のいずれか１つを基準画像として設定し、前記取得した画像の中の前記基準画像以外の画像を比較画像として設定し、
前記画像処理手段が、前記部位または疾患に応じて、前記基準画像に対して解剖学的領域を抽出する第１の画像処理を実行し、かつ、前記部位または疾患に応じて、前記比較画像に対して解剖学的領域を抽出する第２の画像処理を実行し、
前記判定手段が、前記第１の画像処理による前記基準画像の解剖学的領域と前記第２の画像処理による前記比較画像の解剖学的領域を用いて、前記比較画像を正解データとして利用可能か否かを判定し、
前記登録手段が、前記正解データとして利用可能と判定された前記比較画像を正解データとして登録する学習データ生成支援装置の作動方法。
【請求項１４】
コンピュータを、
被写体の同じ部位を撮影した２以上の異なる画像を取得する取得手段と、
前記部位または疾患に応じて、前記取得した画像の中のいずれか１つを基準画像として設定し、前記取得した画像の中の前記基準画像以外の画像を比較画像として設定する設定手段と、
前記部位または疾患に応じて、前記基準画像に対して解剖学的領域を抽出する第１の画像処理を実行し、かつ、前記部位または疾患に応じて、前記比較画像に対して解剖学的領域を抽出する第２の画像処理を実行する画像処理手段と、
前記第１の画像処理による前記基準画像の解剖学的領域と前記第２の画像処理による前記比較画像の解剖学的領域を用いて、前記比較画像を正解データとして利用可能か否かを判定する判定手段と
前記正解データとして利用可能と判定された前記比較画像を正解データとして登録する登録手段として機能させるための学習データ生成支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習に利用する学習データを生成するための支援を行う学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラムに関する。
【背景技術】
【０００２】
データの特徴を学習して画像などの認識や分類を行うために機械学習が従来から利用されてきた。近年、様々な学習手法が開発され、かつ、コンピュータの処理能力が向上したことにより処理時間が短縮され、システムが画像データなどの特徴をより深いレベルで学習するディープラーニングを行うことが可能になってきた。ディープラーニングを行うことにより、非常に高い精度で画像などの特徴を認識できるようになり判別性能の向上が期待されている。ディープラーニングには大量かつ多様なデータが必要であり、多くの画像判別のためのデータをインターネットなどから取得している。
【０００３】
一方、医療情報システムの普及に伴い、地域における病気診断の連携と医療情報の共有を目的として、医療機関の相互間でデータ交換が可能な広域電子カルテシステムの実現がされつつある。広域電子カルテシステムの要素技術には、各医療機関に設けられた医用画像管理システム（ＰＡＣＳ： Picture Archiving and Communication System）がある。ＰＡＣＳでは、ＣＲ（Computed Radiography：コンピュータＸ線撮影）、ＣＴ（Computed Tomography：コンピュータ断層撮影装置）およびＭＲＩ（magnetic resonance imaging：磁気共鳴画像撮影装置）、ＰＥＴ（Positron Emission Tomography：陽電子放射断層撮影装置）といった画像撮影装置（モダリティ）から受信した画像データの保管、閲覧、および管理を行っている。また、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）規格を用いて画像データを管理することにより、様々な種類の画像データの一元管理を可能にしている。
【０００４】
また、１つの疾患の診断ために複数のモダリティで撮影した画像を用いた診断が有効なケースもあり、診断のために２種類以上の画像の比較読影を行うことがある。医用画像管理システムには、比較読影を行うために同じ患者の同じ部位を異なるモダリティで撮影した画像が蓄積されている。正確な比較読影を行うためには、対応する位置を見つける必要があり、特許文献１および特許文献２には、２つの異なるモダリティで撮影した画像および断層画像の位置合せを行う手法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−６７２５３号公報
【特許文献２】特開２００９−２１９６５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
医療分野においても、ディープラーニングなどを利用して高い精度で画像などの特徴を認識することが望まれている。ディープラーニングには、目的に沿った大量かつ良質のデータによる学習が不可欠である。医療分野では、学習に必要なデータは医用画像管理システムに保管されている大量のデータに埋もれていると考えられ、ディープラーニングに利用するデータを、これらの医療情報システムに保管されている画像データから取得することが検討されている。しかし、大量のデータの中から正解データを手動で判別するのは合理的ではない。医療用の画像処理は、近年、性能の向上が著しく、撮影された画像の種類によっては正確な結果を得ることが可能になってきている。このような画像処理を利用して、蓄積されている同じ被写体を撮影した画像の中から正解データを見つけることが検討されている。
【０００７】
そこで、本発明では、上述のような問題を解決するために、医療分野においてディープラーニングに必要な大量かつ多様な学習データを自動的に生成する学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の学習データ生成支援装置は、被写体の同じ部位を撮影した２以上の異なる画像を取得する取得手段と、部位または疾患に応じて、取得した画像の中のいずれか１つを基準画像として設定し、取得した画像の中の基準画像以外の画像を比較画像として設定する設定手段と、部位または疾患に応じて、基準画像に対して解剖学的領域を抽出する第１の画像処理を実行し、かつ、部位または疾患に応じて、比較画像に対して解剖学的領域を抽出する第２の画像処理を実行する画像処理手段と、第１の画像処理による基準画像の解剖学的領域と第２の画像処理による比較画像の解剖学的領域を用いて、比較画像を正解データとして利用可能か否かを判定する判定手段と、正解データとして利用可能と判定された比較画像を正解データとして登録する登録手段とを備える。
【０００９】
また、本発明の学習データ生成支援の作動方法は、取得手段と、設定手段と、画像処理手段と、判定手段と、登録手段とを備えた学習データ生成支援装置において、取得手段が、被写体の同じ部位を撮影した２以上の異なる画像を取得し、設定手段が、部位または疾患に応じて、取得した画像の中のいずれか１つを基準画像として設定し、取得した画像の中の基準画像以外の画像を比較画像として設定し、画像処理手段が、部位または疾患に応じて、基準画像に対して解剖学的領域を抽出する第１の画像処理を実行し、かつ、部位または疾患に応じて、比較画像に対して解剖学的領域を抽出する第２の画像処理を実行し、判定手段が、第１の画像処理による基準画像の解剖学的領域と第２の画像処理による比較画像の解剖学的領域を用いて、比較画像を正解データとして利用可能か否かを判定し、と登録手段が、正解データとして利用可能と判定された比較画像を正解データとして登録する。
【００１０】
また、本発明の学習データ生成支援プログラムは、コンピュータを、被写体の同じ部位を撮影した２以上の異なる画像を取得する取得手段と、部位または疾患に応じて、取得した画像の中のいずれか１つを基準画像として設定し、取得した画像の中の基準画像以外の画像を比較画像として設定する設定手段と、部位または疾患に応じて、基準画像に対して解剖学的領域を抽出する第１の画像処理を実行し、かつ、部位または疾患に応じて、比較画像に対して解剖学的領域を抽出する第２の画像処理を実行する画像処理手段と、第１の画像処理による基準画像の解剖学的領域と第２の画像処理による比較画像の解剖学的領域を用いて、比較画像を正解データとして利用可能か否かを判定する判定手段と正解データとして利用可能と判定された比較画像を正解データとして登録する登録手段として機能させるためのプログラムである。
【００１１】
「解剖学的領域」とは、体の臓器または組織などの解剖学的な構造物の一部または全体を表す領域であり、画像上に現れた特定の形状と大きさを有する領域を指す。解剖学的領域は、周囲の領域と境界が検出可能な領域、または、周囲の領域とは異なる濃淡またはテクスチャを有する領域である。例えば、具体的には、臓器の領域、組織の領域、または、病変領域がある。
【００１２】
また、第１の画像処理および第２の画像処理は、臓器抽出処理および病変検出処理のうち少なくともいずれか１つの処理であってもよい。
【００１３】
また、登録手段は、比較画像と比較画像から得られた解剖学的領域を正解データとして登録してもよい。
【００１４】
また、第１の画像処理の種類は、第２の画像処理と異なる種類の画像処理であっていてもよい。
【００１５】
また、２以上の異なる画像は、２以上の異なる種類の撮影装置を用いて撮影した画像であってもよい。
【００１６】
また、２以上の異なる種類の撮影装置は、ＭＲＩ装置、ＣＴ装置、ＣＲ装置、ＰＥＴ装置、および、超音波撮影装置のうちの２種類以上の撮影装置であってもよい。
【００１７】
また、２以上の異なる画像は、同じ種類の撮影装置を用いて異なる撮影プロトコルで撮影した画像であってもよい。
【００１８】
また、同じ種類の撮影装置が、ＭＲＩ撮影装置であって、異なる撮影プロトコルがＴ１撮影プロトコルおよびＴ２撮影プロトコルであってもよい。
【００１９】
また、２以上の異なる画像は、同じ種類の撮影装置を用いて異なる時刻に撮影した画像であってもよい。
【００２０】
また、２以上の画像のそれぞれの読影レポートの文字列を解析する解析手段をさらに備え、設定手段が、解析手段のよって得られた部位または疾患に応じて、基準画像と比較画像を決定しよい。
【００２１】
また、判定手段が比較画像を正解データとして利用不可と判定した場合は、利用不可の通知を行う通知手段をさらに備えてもよい。
【００２２】
さらに、利用不可の通知がされた比較画像の解剖学的領域を認識可能に表示する修正用画像表示手段と、比較画像の解剖学的領域を修正するための入力を受け付ける修正入力受付手段と、修正入力受付手段で受け付けた入力に従って修正した比較画像の解剖学的領域と比較画像を正解データとして登録する修正登録手段とを備えてよい。
【発明の効果】
【００２３】
本発明によれば、部位または疾患に応じて、取得した画像の中のいずれか１つを基準画像として設定し、他の画像を比較画像として設定し、基準画像の解剖学的領域と比較画像の解剖学的領域を抽出して、抽出した基準画像と比較画像の解剖学的領域に基づいて比較画像を正解データとして利用可能か否かを判定し、利用可能であると判定された場合には、比較画像を正解データとして登録することにより、ディープラーニングに必要な大量の多様な正解データを自動的に取得することが可能になる。
【図面の簡単な説明】
【００２４】
【図１】医療情報システムの概略構成を表す図
【図２】本発明の第１の実施の形態の学習データ生成支援装置の概略構成を表す図
【図３】正解データを登録する処理の流れを示すフローチャート
【図４】本発明の第２の実施の形態の学習データ生成支援装置の概略構成を表す図
【図５】比較画像から得られた画像処理結果を修正する処理の流れを示すフローチャート
【図６】利用不可と判定された比較画像の表示例
【発明を実施するための形態】
【００２５】
図１に、本発明の第１の実施の形態における学習データ生成支援装置が導入された医療情報システム１の概略構成を示す。この医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダーに基づいて、被写体の検査対象部位の撮影および保管、放射線科の読影医による撮影された画像の読影と読影レポートの作成、および、依頼元の診療科の医師による読影レポートの閲覧と読影対象の画像の詳細観察を行うためのシステムである。医療情報システム１は、図１に示すように、モダリティ（撮影装置）２、読影医用ワークステーション３、診療科用ワークステーション４、画像管理サーバ５、画像データベース６、読影レポートサーバ７、および、読影レポートデータベース８を、ネットワーク９を介して互いに通信可能な状態で接続されて構成されている。各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされている。また、アプリケーションプログラムは、ＣＤ−ＲＯＭ等の記録媒体からインストール、または、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされてもよい。
【００２６】
モダリティ２には、被写体の検査対象部位を撮影することにより、その部位を表す検査画像を生成し、その画像にＤＩＣＯＭ規格で規定された付帯情報（以下、ＤＩＣＯＭタグという）を付加して出力する装置が含まれる。具体例としては、ＣＴ装置、ＭＲＩ装置、ＰＥＴ（Positron Emission Tomography）装置、超音波撮影装置、または、平面Ｘ線検出器（ＦＰＤ：flat panel detector）を用いたＣＲ装置などが挙げられる。
【００２７】
読影医用ワークステーション３は、放射線科の読影医が画像の読影や読影レポートの作成に利用するコンピュータであり、ＣＰＵ（Central Processing Unit）、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、表示装置として１台または複数台の高精細ディスプレイを有している。この読影医用ワークステーション３では、画像管理サーバ５に対する画像の送信要求、画像管理サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出および強調表示、および、読影レポートの作成と表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。また、読影医用ワークステーション３は、生成した読影レポートを、ネットワーク９を介して読影レポートサーバ７に転送し、その読影レポートの読影レポートデータベース８への登録を要求する。
【００２８】
診療科用ワークステーション４は、診療科の医師が画像の詳細観察や読影レポートの閲覧、および、電子カルテの閲覧および入力等に利用するコンピュータであり、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、表示装置として１台または複数台の高精細ディスプレイを有している。この診療科用ワークステーション４では、画像管理サーバ５に対する画像の閲覧要求、画像管理サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ７に対する読影レポートの閲覧要求、および、読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムの実行により行われる。また、診療科用ワークステーション４は、各診療科で行われた内視鏡検査などの動画を、ネットワーク９を介して画像管理サーバ５に転送し、画像データベース６への登録を要求する。
【００２９】
画像管理サーバ５は、汎用のコンピュータにデータベース管理システム（Data Base Management System：DBMS）の機能を提供するソフトウェアプログラムが組み込まれている。画像管理サーバ５は、画像データベース６が構成される大容量ストレージを備えている。このストレージは、画像管理サーバ５とデータバスによって接続された大容量のハードディスク装置であってもよいし、ネットワーク９に接続されているＮＡＳ（Network Attached Storage）やＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。
【００３０】
画像データベース６には、複数の患者をモダリティ２で撮影した検査画像と付帯情報が登録される。付帯情報には、例えば、個々の画像を識別するための画像ＩＤ（identification）、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、検査画像ごとに割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、その検査画像が生成された検査日、検査時刻、その検査画像を取得するための検査で使用されたモダリティの種類、患者氏名と年齢と性別などの患者情報、検査部位（撮影部位）、撮影条件（造影剤の使用有無または放射線量など）、および、１回の検査で複数の断層画像を取得したときのシリーズ番号などの情報が含まれる。
【００３１】
また、画像管理サーバ５は、読影医用ワークステーション３からの閲覧要求をネットワーク９経由で受信すると、上述の画像データベース６に登録されている検査画像を検索し、抽出された検査画像を要求元の読影医用ワークステーション３に送信する。
【００３２】
読影レポートサーバ７は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムが組み込まれ、読影医用ワークステーション３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース８に登録する。
【００３３】
読影レポートデータベース８には、例えば、読影対象画像もしくは代表画像を識別する画像ＩＤや、読影を行った画像診断医を識別するための読影医ＩＤ、病変名、病変の位置情報、所見、所見の確信度といった情報が記録された読影レポートが登録される。また、読影レポートには、生検によって得られた判定結果が記録される。
【００３４】
ネットワーク９は、病院内の各種装置を接続するローカルエリアネットワークである。読影医用ワークステーション３が他の病院あるいは診療所に設置されている場合には、ネットワーク９は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク９は光ネットワークなど検査画像の高速転送が実現可能な構成にすることが好ましい。
【００３５】
次に、本発明の第１の実施の形態の学習データ生成支援装置１０について、図１〜３を用いて具体的に説明する。図２は、学習データ生成支援装置１０の構成を表す機能ブロックであり、図３は、学習データ生成支援装置１０の処理の流れを示すフローチャートである。
【００３６】
本発明の学習データ生成支援装置１０は、ネットワーク９に接続され、ネットワーク９を介して画像データベース６および読影レポートデータベース８に接続される（図１参照）。
【００３７】
学習データ生成支援装置１０は、汎用のコンピュータで構成され、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステムおよびアプリケーションプログラム等がインストールされ、さらに、本発明の学習データ生成支援プログラムがインストールされている。また、通信インターフェースを介して、ネットワーク９に接続された画像データベース６、および読影レポートデータベース８とデータの送受信を行う機能を有する。なお、学習データ生成支援プログラムはＣＤ−ＲＯＭ（Compact Disc Read only memory）などの記録媒体からインストールされてもよいし、インターネットなどのネットワークを介してインストールされてもよい。
【００３８】
図２に示すように、学習データ生成支援装置１０は、取得手段１１、設定手段１２、画像処理手段１３、判定手段１４、登録手段１５、制御手段１７および学習手段１８を備える。
【００３９】
取得手段１１は、被写体（患者）の同じ部位を撮影した２以上の異なる検査画像（以下、単に画像という）を取得する。患者を特定する患者ＩＤと部位の情報を画像管理サーバ５に送信して、同じ患者ＩＤが割り当てられた画像のうち同じ部位を撮影した画像を要求する。画像管理サーバ５は、ＤＩＣＯＭタグを参照して、同じ患者を撮影した画像のうち同じ部位を撮影した画像を画像データベース６から検索して受信する。受信した画像は、一旦、学習データ生成支援装置１０のハードディスクなどの補助記憶装置に記憶する。なお、異なる画像には、異なる種類のモダリティ２を用いて撮影した画像、同じ種類のモダリティ２を用いて異なる撮影プロトコルで撮影した画像、または、同じモダリティ２を用いて異なる時刻に撮影した画像などがある。同じ種類のモダリティ２を用いて異なる撮影プロトコルで撮影した画像には、例えば、ＭＲＩ装置のＴ１撮影プロトコルおよびＴ２撮影プロトコルを用いて撮影したＴ１強調画像およびＴ２強調画像がある。
【００４０】
設定手段１２は、撮影されている部位または疾患の情報を元に、取得した複数の画像の中のいずれか１つを基準画像として設定し、基準画像以外の画像を比較画像として設定する。基準画像として設定する画像は、複数ある画像に撮影されている部位に応じて、各画像の種類、各画像の撮影時刻、または各画像の種類と各画像の撮影時刻の組み合わせに基づいて決められる。あるいは、疾患に応じて、各画像の種類、撮影されている部位、各画像の撮影時刻、または、これらの組合せに応じて決められる。
【００４１】
撮影されている部位の情報は、ＤＩＣＯＭタグに記録されている情報に基づいて取得することができる。疾患の情報は、取得した画像のそれぞれに対応づけて記憶されている読影レポートから得ることができる。その読影レポートを読影レポートサーバ７に要求して、要求された読影レポートを読影レポートデータベース８から検索して受信する。受信した読影レポートは、一旦、学習データ生成支援装置１０のハードディスクなどの補助記憶装置に記憶される。さらに、読影レポートを解析して疾患の情報を取得する（読影レポートの解析の詳細は、後述する）。また、部位の情報についても、読影レポートを解析することにより、ＤＩＣＯＭタグに記録されている部位の情報よりも詳細な情報を取得することが可能であり、基準画像を設定する場合に利用することができる。
【００４２】
臓器または病変などの検出対象によっては、臓器抽出処理または病変検出処理を実行した際に最も正確な結果が得られる画像の種類が決まっている場合がある。２種類以上の画像があった場合に、同じ臓器抽出処理であっても、より正確な結果が得られるであろう種類の画像を基準画像とする。また、特定の疾患の病変についても、ＣＴ画像から検出した結果が正確であるが、他の疾患の病変ついては、ＭＲＩ画像から検出した結果が正確であるというように、最も正確な結果が得られる画像の種類が決まっている場合がある。複数の画像のうち、画像処理に応じてより正確な結果が得られる種類の画像を基準画像とし、他方の画像を比較画像とする。
【００４３】
また、臓器抽出処理と病変検出処理を行った場合に、臓器抽出処理は大きく間違った結果を得ることはないが、病変検出処理は、骨などの他の組織や他の臓器が重なりに影響されて正確な結果が得られないことがある。そこで、臓器抽出処理に用いる画像を基準画像とし、病変検出処理に用いる画像を比較画像として設定するようにしてもよい。
【００４４】
また、同じ部位の経過を観察する場合には、現在画像と過去画像（現在画像を撮影した時刻より前に撮影した画像を指す）のうち、例えば、過去画像を基準画像として設定して、現在画像を比較画像として設定するようにしてもよい。
【００４５】
なお、このような基準画像の決定は、予め定められ規則に従って行われ、例えば、規則が記述されたファイル、または、基準画像と比較画像の関係を表すテーブルを、予め学習データ生成支援装置１０の補助記憶装置に記憶しておき、設定手段１２はこのようなファイルまたはテーブルを参照して、基準画像および比較画像を設定する。また、基準画像と比較画像の関係を学習データ生成支援プログラムに組み込んでおくようにしてもよい。あるいは、医師が基準画像となる画像を指定し、他の画像を比較画像とするようにしてもよい。
【００４６】
解析手段２３は、取得した各画像に対応づけられた読影レポートの文字列を解析して、読影レポート内に記録されている疾患に関する情報、または、読影レポート内に記録されている部位に関する情報を抽出する。具体的には、自然言語処理を行い、読影レポート内の文を単語に区切り、かつ、単語の並びを解析することにより、疾患または部位に関する情報を取得する。必要に応じて、疾患名、病変名、部位名などの用語を予め登録しておき、用語と一致する文字列からレポートに記載されている内容を抽出する。疾患の情報は、疾患名から得られるが、肺結節のよう病変名などの疾患名が推定可能な情報から推定されてもよい。用語は医療用語辞書を予め用意しておき、同じ疾患または同じ部位を指す複数の用語を辞書登録して、読影レポートに記録されている用語が同じ疾患または同じ部位を指す場合には同じ用語としてもよい。また、あいまい検索のように、一定のルールの下で辞書の用語に完全に一致していない用語であっても、辞書にある最も近い用語を用いて一致しているか否かを判定してもよい。
【００４７】
画像処理手段１３は、部位または疾患に応じて、基準画像に対して解剖学的領域を抽出する第１の画像処理を実行し、かつ、比較画像に対して解剖学的領域を抽出する第２の画像処理を実行する。解剖学的領域を抽出する画像処理の種類には、臓器抽出処理、および、病変検出処理などがある。第１の画像処理と第２の画像処理が同じ種類の処理であってもよいが、一方が、臓器抽出処理であって、他方が病変検出処理であってもよい。あるいは、第１の画像処理と第２の画像処理の一方が、臓器抽出処理と病変検出処理を組み合わせた処理であってもよいし、第１の画像処理と第２の画像処理の両方が、臓器抽出処理と病変検出処理を組み合わせた処理であってもよい。なお、臓器抽出処理および病変検出処理は、グラフカットを用いるようにしてもよい。例えば、特許４４９３６７９に開示されたグラフカットの手法を用いることが可能である。
【００４８】
なお、臓器抽出処理には、抽出した臓器をさらに複数の領域に分ける領域分割処理も含めてもよい。例えば、脳を区域毎に分けしたり、心臓を左右の心室心房に分けたりするなどをしてもよい。
【００４９】
部位に応じて、基準画像と比較画像を決定した場合には、基準画像に対する第１の画像処理と比較画像に施す第２の画像処理は、部位、基準画像の種類、比較画像の種類、または、これらの組み合わせによって決められる。あるいは、疾患に応じて、基準画像と比較画像を決定した場合には、基準画像に対する第１の画像処理と比較画像に施す第２の画像処理は、疾患、部位、基準画像の種類、比較画像の種類、または、これらの組み合わせによって決められる。
【００５０】
判定手段１４は、第１の画像処理による基準画像の画像処理結果と第２の画像処理による比較画像の画像処理結果を用いて、比較画像を正解データとして利用可能か否かを判定する。特に、画像処理を用いて解剖学的領域を抽出して得られた解剖学的領域を用いて判定され、解剖学的領域の大きさの比較や、解剖学的領域の範囲を比較することによって判定が行われる。判定対象となる解剖学的領域には、臓器抽出処理によって得られた臓器領域、および、病変検出処理によって得られた病変領域が挙げられる。例えば、臓器抽出処理において、ＭＲＩ画像よりもＣＴ画像から抽出した方が正確な結果を得られる場合がある。また、病変検出処理において、病変によっては、ＭＲＩ画像がＣＴ画像よりも明瞭な病変を検出することができるケースもあるが、ＣＴ画像がＭＲＩ画像よりも明瞭な病変を検出することができるケースもある。また、過去画像と現在画像では、臓器抽出処理に抽出された臓器の大きさが大きく変わることは少ない。あるいは、特定の臓器に存在する病変である場合には、病変検出処理の結果が特定の臓器抽出処理の結果得られた臓器の範囲内で検出されるはずである。このような経験から得られた知識に基づいて、様々な画像の種類と画像処理の種類（第１の画像処理の種類と第２の画像処理の種類）の組み合わせから、基準画像から得られた解剖学的領域と比較画像から得られた解剖学的領域を比較し、正解データとして利用可能かを判定するための基準を予め設定しておき、比較画像を正解データとして利用することが可能であるか否かを判定する。あるいは、比較画像に加えて、比較画像から得られた解剖学的領域を正解データとして利用することが可能であるか否かを判定する。
【００５１】
以下、具体例について説明する。例えば、画像データベースから特定の患者の画像を３つ取得した時について説明する。これらの撮影部位が腹部であり、画像１がＣＴ画像（過去画像）、画像２がＣＴ画像（現在画像）、および画像３がＭＲＩ画像であるときに、基準画像として過去画像である画像１を選択し、比較画像として現在画像の画像２を選択する。画像１に対して、肝臓抽出処理（第１の画像処理）を施した結果と、画像２に対して肝臓抽出処理（第２の画像処理）を施した結果のどちらも抽出された肝臓の大きさに大きな違いがない場合には、画像２を正解データとして利用可能な画像であると判定する。体積が１．２倍以上違うなど所定の基準以上に違いがある場合には利用不可と判定する。
【００５２】
臓器抽出処理に関してはＣＴ画像から取得すればほぼ間違いがない結果が得られる。一方、ＭＲＩ画像でも臓器抽出処理を行うことはできるが正確ではない場合がある。例えば、肝臓の場合は、ＭＲＩ画像では肝臓の輪郭を正確に検出することができず、実際の肝臓の大きさよりも大きく検出されることがある。そこで、ＣＴ画像である画像１を基準画像とし、ＭＲＩ画像である画像３を比較画像とする。画像１にＣＴ画像用の肝臓抽出処理を施した結果と、画像３にＭＲＩ画像用の肝臓抽出処理を施した結果のどちらからも抽出された肝臓の大きさに大きな違いがない場合には、画像３を正解データとして利用可能な画像であると判定する。所定の基準以上に違いがある場合には利用不可と判定する。
【００５３】
肺疾患の病変の検出は、主に胸部Ｘ線画像またはＣＴ画像を用いて行われる。画像データベースから肺疾患の患者の胸部Ｘ線画像を２つ取得した時について説明する。これらの撮影部位が胸部であり、画像１が胸部Ｘ線画像（過去画像）、画像２が胸部Ｘ線画像（現在画像）であるとする。画像１を基準画像とし、画像２を比較画像とする。画像１に対して、肺野抽出処理（第１の画像処理）を施し、画像２に対して、肺結節検出処理（第２の画像処理）を施す。画像２から検出された肺結節の領域が、画像１から抽出された肺野領域内に存在しているか否かにより、正解データとして利用可能であるか否かを判定することができる。このとき、画像処理を施す前に、画像１と画像２でレジストレーション処理を行っておけば、肺結節が画像１で抽出された肺野領域内に存在しているか否かを正確に判定することができる。
【００５４】
脳梗塞など脳の診断にはＭＲＩ画像が一般に用いられる。ＭＲＩ撮影には、撮影プロトコルとして、Ｔ１強調、Ｔ２強調、ＤＷＩ（diffusion weighted image：拡散強調画像）などが知られている。一般的に、脳のＭＲ画像において、Ｔ１強調画像とＴ２強調画像は解剖学的構造が把握しやすく、ＤＷＩは脳梗塞を検出するのに向いている。画像データベースから脳梗塞の患者の画像を２つ取得した時について説明する。これらの撮影部位が頭部であり、画像１がＴ１強調画像、画像２がＤＷＩ画像であるとする。画像１を基準画像とし、画像２を比較画像とする。画像１に対して、領域分割（第１の画像処理）を施し、画像２に対して、病変検出処理（第２の画像処理）を施す。さらに、読影レポートから抽出した脳梗塞の発生位置から画像２が正解データとして利用可能であるか否かを判定することができる。
【００５５】
登録手段１５は、判定手段１４で比較画像が正解データとして利用可能であると判定した場合には、比較画像を正解データとして登録部１６に登録する。登録部１６は、画像を記憶するための大容量記憶装置で構成される。あるいは、登録部１６には、画像のＩＤのみ登録するようにして、学習に用いる際には、画像データベース６から読み出すようにしてもよい。また、登録手段では比較画像だけでなく比較画像に第２の画像処理を施した結果として得られた解剖学的領域も比較画像と一緒に登録するようにしてもよい。
【００５６】
制御手段１７は、取得手段１１、設定手段１２、画像処理手段１３、判定手段１４、登録手段１５の処理の流れを制御する。判定手段１４で比較画像を正解データとして利用可能かであると判定された場合には、処理を登録手段１５に進めるが、判定手段１４で比較画像を正解データとして利用不可と判定された場合には、再度、処理を画像処理手段１３に戻して、パラメーターを調整して第１の画像処理および第２の画像処理を実行させる。例えば、特許４４９３６７９のように、Graph cutのt-linkやn-linkの算出方法を調整した上で、再度、画像解析処理を実行する。撮影条件またはモダリティの違いによって画像には濃度または濃淡などに違い現れるが、このようにパラメーターを調整して繰り返し画像解析処理を実行することにより正しい結果を探ることが可能になる。
【００５７】
また、制御手段１７は、所定の回数または所定の条件に達するまでパラメーターを調整しながら、第１の画像処理および第２の画像処理を繰り返しても、比較画像を正解データとして利用不可と判定された場合には、登録手段１５に処理を進めないで終了する。あるいは、所定の条件に達するまで所定の回数パラメーターを調整して第１および第２の画像処理を繰り返しても、比較画像を正解データとして利用不可と判定された場合には、登録手段１５に処理を進めないで終了するようにしてもよい。なお、所定の条件に達したか否かは、パラメーター値を変えることが可能な範囲で調整したか否かであってもよいし、１つのパラメーター値と他のパラメーター値の組み合わせなど所定の規則に従って決められる範囲で調整したか否かであってもよい。具体的には、パラメーターを調整するために、一定の間隔でパラメーター値を変えて繰り返し、第１および第２の画像処理を行うようにしてもよい。
【００５８】
以下、肺疾患を例に、図３のフローチャートを用いて、正解データの登録方法について具体的に説明する。
【００５９】
まず、取得手段１１で、患者の画像を画像データベース６から取り出す（Ｓ１）。画像データベースから異なる日時に撮影された複数の胸部Ｘ線画像を取得し、一旦、ハードディスクに記憶する。
【００６０】
次に、設定手段１２は、患者の各胸部Ｘ線画像に対応づけられた読影レポートを読影レポートデータベース８から取得する（Ｓ２）。解析手段２３を用いて、読影レポートに対して自然言語処理を実行することにより、「疾患名」、「病変名称」に該当する文字列を抽出する（Ｓ３）。読影レポートに「右上葉に２．５ｃｍの辺縁棘状肺結節があり」と記録されている場合は、「病変名称」に該当する文字列として「肺結節」が抽出される。そこで、撮影時刻が最も古い胸部Ｘ線画像を基準画像として設定し、最も新しい胸部Ｘ線画像を比較画像として設定する（Ｓ４）。
【００６１】
次に、画像処理手段１３は、基準画像に対して肺野抽出処理（第１の画像処理）を施し（Ｓ５）、比較画像に対して肺結節検出処理（第２の画像処理）を施す（Ｓ６）。判定手段１４は、比較画像から検出された肺結節の領域が、基準画像から抽出された肺野領域内に存在しているか否かを判定し（Ｓ７）、肺結節の領域が肺野領域内に存在している場合には、比較画像を正解データとして利用可能であると判定する（Ｓ７−ＹＥＳ）。制御手段１７は、処理をＳ１０に進め、登録手段１５は、比較画像と比較画像から抽出した肺結節の領域を正解データとして登録部１６に登録する（Ｓ１０）。
【００６２】
一方、比較画像を正解データとして利用不可である場合には（Ｓ７−ＮＯ、Ｓ８−ＮＯ）、制御手段１７は、画像処理のパラメーターを調整して（Ｓ９）、再度、第１の画像処理と第２の画像処理に処理を戻す（Ｓ５、Ｓ６）。パラメーターの調整はあらかじめ決められた規則に従って行われ、パラメーターを変更して画像処理を繰り返す（Ｓ５〜Ｓ９）。繰り返し画像処理を行っても比較画像が正解データとして利用不可である場合には（Ｓ７−ＮＯ、Ｓ８−ＹＥＳ）、正解データは登録されない（Ｓ１１）。繰り返しは、予め決められた回数繰り返し行われる。あるいは、所定の条件に到達するまで繰り返し行われる（Ｓ８）。
【００６３】
学習手段１８は、登録手段１５で正解データとして登録部１６に登録された正解データを用いて、ニューラルネットワークをベースとした機械学習を行わせる。具体的には、例えば、畳み込みニューラルネットワークなどを利用することにより、画像認識装置を生成することができる。
【００６４】
次に、第２の実施の形態について説明する。本実施の形態では、判定手段が比較画像を正解データとして利用不可と判定した場合は、比較画像の画像処理結果を修正することで、正解データとして登録できるようにする場合について説明する。本実施の形態においても、第１の実施の形態と同様に医療情報システム１に本実施の形態の学習データ生成支援装置１０ａが設けられ、学習データ生成支援装置１０ａは、ネットワーク９に接続され、ネットワークを介して画像データベース６および読影レポートデータベース８に接続される。
【００６５】
以下、図４〜６を用いて、第２の実施の形態の学習データ生成支援装置について説明する。図４は、第２の実施の形態の学習データ生成支援装置１０ａの構成を表す機能ブロックである。第１の実施の形態の学習データ生成支援装置１０と同じ構成については同一符号を付して詳細な説明は省略する。図５は、学習データ生成支援装置１０ａの処理の流れを示すフローチャートである。図６は、表示画面の一例である。
【００６６】
図４に示すように、学習データ生成支援装置１０は、取得手段１１、設定手段１２、画像処理手段１３、判定手段１４、登録手段１５、制御手段１７、通知手段１９、修正用画像表示手段２０、修正入力受付手段２１、修正登録手段２２、および学習手段１８を備える。
【００６７】
通知手段１９は、判定手段１４で比較画像が正解データとして利用不可と判定が行われた場合に、利用不可であることがわかるように通知を行う。例えば、図６に示すように、判定を行った比較画像のサムネイル画像と比較画像から抽出された解剖学的領域を表す画像の一覧を表示して、利用可能と判定されて正解データとして登録された比較画像上には「登録済」の表示を行い、利用不可と判定された比較画像には抽出された解剖学的領域に修正が必要なことを知らせる「利用不可」の表示を行う。図６では、文字による表示を行っているが、登録済みか利用不可で修正が必要であるかを認識できるように、一覧中の結果を表示する枠の色を変えるようにしてもよい。必要に応じて、判定結果、または、画像ＩＤなどのＤＩＣＯＭタグに記録されている情報を表示してもよい。
【００６８】
あるいは、通知手段１９は、判定手段１４で利用不可と判定された画像のみ検索して一覧表示を行うようにしてもよい。さらに、どのような目的で正解データを用意するかについて表示して、目的ごとにどの画像が登録済で、どの画像が修正必要であるかを確認できるようしても良い。
【００６９】
修正用画像表示手段２０は、利用不可と通知された比較画像に対して、比較画像から得られた病変領域または臓器領域などの解剖学的領域を認識可能に表示する。具体的には、例えば、修正用画面として、基準画像と修正対象の比較画像をフュージョンした画像を表示するようにしてもよい。あるいは、比較画像上に、比較画像から得られた解剖学的領域を赤などの特定の色の線で囲んで表示し、さらに基準画像から抽出された解剖学的領域を緑などの他の色の線で囲んで表示してもよい。
【００７０】
修正入力受付手段２１は、比較画像の画像処理結果として得られた解剖学的領域を修正するための入力を受け付ける。さらに修正された解剖学的領域を修正結果として記憶する。例えば、フュージョンした画像上で、マウスなどのポインティングデバイスを用いて、比較画像から得られた解剖学的領域の輪郭の修正、削除、または追加ができるようにして、その結果を解剖学的領域として記憶してもよい。例えば、ＣＴ画像を基準画像としＭＲＩ画像を比較画像として肝臓抽出を行った場合、肝臓が撮影されたＣＴ画像を基準画像として表示して、ＭＲＩ画像から抽出した肝臓領域の輪郭をＣＴ画像から抽出された肝臓領域に近づけるように修正するための入力を受け取り、修正した肝臓領域を記憶する。あるいは、胸部を撮影した過去画像を基準画像として過去画像から肺野領域を抽出し、現在画像を比較画像として現在画像から肺結節を抽出した時に、比較画像から得られた肺結節の領域のうち、基準画像から得られた肺野領域の外にあるものは削除する。この一部を削除した後の肺結節の領域を記憶する。
【００７１】
修正登録手段２２は、このようにして修正された比較画像の解剖学的領域と比較画像を正解データとして登録する登録部１６に登録する。
【００７２】
以下、肝臓領域の抽出を例に、図５のフローチャートを用いて、判定手段１４で比較画像が正解データとして、利用不可と判定された後に、比較画像の画像処理結果として得られた解剖学的領域を修正する方法について具体的に説明する。Ｓ１〜Ｓ１０の処理は図２と同様であるので詳細な説明は省略する。
【００７３】
パラメーターを変更しながら繰り返し画像処理を行っても比較画像を正解データとして利用不可である場合には（Ｓ７−ＮＯ、Ｓ８−ＹＥＳ）、通知手段１９で、図６に示すように、利用不可であると判定された比較画像が確認できるように一覧表示を用いて利用不可の通知を行う（Ｓ２０）。
【００７４】
ユーザは利用不可と判定された比較画像の中から、修正する比較画像として肝臓領域の抽出した画像を選択する。修正対象として選択されると（Ｓ２１−ＹＥＳ）、修正用画像表示手段２０は比較画像のＭＲＩ画像と基準画像のＣＴ画像をフュージョンして、フュージョンした画像上にＭＲＩ画像から抽出した肝臓領域の輪郭を表示した画像を修正用画像として表示する（Ｓ２２）。修正入力受付手段２１は、ユーザがマウスなどを用いて肝臓領域の輪郭を修正するための修正入力を受け取り、肝臓領域の輪郭を修正して記憶する（Ｓ２３）。修正登録手段２２は、修正した比較画像の解剖学的領域と比較画像を正解データとして登録する（Ｓ２４）。
【００７５】
さらに、第１の実施の形態と同様に、学習手段１８は、登録手段１５で登録した正解データに加え、修正登録手段２２で正解データとして登録部１６に登録された正解データを用いて、ニューラルネットワークをベースとした機械学習を行わせる。
【００７６】
以上、詳細に説明したように、医療画像管理システムに記憶されている画像を利用することで、機械学習に必要な大量かつ多様な正解データを取得することが可能になる。
【符号の説明】
【００７７】
１     医療情報システム
２     モダリティ
３     読影医用ワークステーション
４     診療科用ワークステーション
５     画像管理サーバ
６     画像データベース
７     読影レポートサーバ
８     読影レポートデータベース
９     ネットワーク
１０、１０ａ  学習データ生成支援装置
１１   取得手段
１２   設定手段
１３   画像処理手段
１４   判定手段
１５   登録手段
１６   登録部
１７   制御手段
１８   学習手段
１９   通知手段
２０   修正用画像表示手段
２１   修正入力受付手段
２２   修正登録手段
２３   解析手段
【図１】
2019010411.tif 000003
【図２】
2019010411.tif 000004
【図３】
2019010411.tif 000005
【図４】
2019010411.tif 000006
【図５】
2019010411.tif 000007
【図６】
2019010411.tif 000008