(57)【要約】【課題】医用画像特定装置、方法およびプログラムにおいて、複数の医用画像からなる医用画像群から医療文書に含まれる文字情報に関連する医用画像を高速に特定できるようにする。【解決手段】文字情報取得部２１が、複数の医用画像からなる医用画像群に関連する文字情報を取得する。画像文字情報変換部２２が、複数の医用画像のそれぞれを、各医用画像に対応する画像文字情報に変換する。特定部２３が、複数の医用画像のそれぞれに対応する画像文字情報と文字情報である読影レポートとを比較して、複数の医用画像から読影レポートに関連する少なくとも１つの関連医用画像を特定する。【選択図】図２
2019169049.tif 000002
【特許請求の範囲】
【請求項１】
複数の医用画像からなる医用画像群に関連する文字情報を取得する文字情報取得部と、
前記複数の医用画像のそれぞれを、各医用画像に対応する画像文字情報に変換する画像文字情報変換部と、
前記複数の医用画像のそれぞれに対応する前記画像文字情報と前記文字情報とを比較して、前記複数の医用画像から前記文字情報に関連する少なくとも１つの関連医用画像を特定する特定部とを備えた医用画像特定装置。
【請求項２】
前記画像文字情報変換部は、前記各医用画像に含まれる少なくとも１つの構造物の領域を抽出する領域抽出部と、
抽出された前記構造物の領域を解析して、前記構造物の領域の特徴を文字化する解析部とを備えた請求項１に記載の医用画像特定装置。
【請求項３】
前記構造物の領域の特徴は、構造物に含まれる病変の位置、病変の種類、および病変の大きさの少なくとも１つを含む請求項２に記載の医用画像特定装置。
【請求項４】
前記特定部は、前記関連医用画像において、前記文字情報に関連する位置をさらに特定する請求項１から３のいずれか１項に記載の医用画像特定装置。
【請求項５】
前記特定された関連医用画像および前記文字情報を表示部に表示する表示制御部をさらに備えた請求項１から３のいずれか１項に記載の医用画像特定装置。
【請求項６】
前記特定された関連医用画像および前記文字情報を表示部に表示する表示制御部をさらに備えた請求項４に記載の医用画像特定装置。
【請求項７】
前記表示制御部は、前記関連医用画像において、前記文字情報に関連する位置を強調表示する請求項６に記載の医用画像特定装置。
【請求項８】
前記医用画像は断層画像であり、前記医用画像群は、複数の前記断層画像からなる３次元画像である請求項１から７のいずれか１項に記載の医用画像特定装置。
【請求項９】
複数の医用画像からなる医用画像群に関連する文字情報を取得し、
前記複数の医用画像のそれぞれを、各医用画像に対応する画像文字情報に変換し、
前記複数の医用画像のそれぞれに対応する前記画像文字情報と前記文字情報とを比較して、前記複数の医用画像から前記文字情報に関連する少なくとも１つの関連医用画像を特定する医用画像特定方法。
【請求項１０】
複数の医用画像からなる医用画像群に関連する文字情報を取得する手順と、
前記複数の医用画像のそれぞれを、各医用画像に対応する画像文字情報に変換する手順と、
前記複数の医用画像のそれぞれに対応する前記画像文字情報と前記文字情報とを比較して、前記複数の医用画像から前記文字情報に関連する少なくとも１つの関連医用画像を特定する手順とをコンピュータに実行させる医用画像特定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の医用画像から、読影レポート等の医療文書に関連する医用画像を特定する医用画像特定装置、方法およびプログラムに関する。
【背景技術】
【０００２】
近年、ＣＴ(Computed Tomography)装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元の医用画像を用いての画像診断が可能となってきている。とくに、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
【０００３】
また、ディープラーニング等により学習がなされた判別器を用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる病変等の領域、位置および体積等を抽出し、これらを解析結果として取得することも行われている。このように、解析処理により生成される解析結果は、患者名、性別、年齢および医用画像を取得したモダリティ等の検査情報と対応づけられて、データベースに保存されて、診断に供される。この際、医用画像を取得した放射線科等の技師が、医用画像に応じた読影医を決定し、医用画像およびＣＡＤによる解析結果が存在することを、決定した読影医に伝えるようにしている。読影医は、自身の読影端末において、配信された医用画像および解析結果を参照して医用画像の読影を行い、読影レポートを作成する。
【０００４】
３次元の医用画像についての読影レポートは、３次元の医用画像を構成する複数の２次元の医用画像のうちの、読影レポートを作成する際に参照した医用画像と関連付けられて画像サーバ等に保存される。このため、読影レポートを参照すれば、読影レポートを作成した際に参照した医用画像を特定して、医師の端末装置に表示することは容易である。しかしながら、撮影時期が古い医用画像に関する読影レポートは、システム上、読影レポートを作成した際に参照した医用画像と関連付けられていない場合がある。このような場合、読影レポートを作成した際に参照した医用画像を特定して表示等することは困難である。とくに、ＣＴ画像およびＭＲＩ画像等の３次元医用画像は、多数の断層画像から構成されるため、読影レポートがいずれの断層画像を参照して作成されたものであるかを特定することは非常に困難である。
【０００５】
このため、読影レポート等の医療文書に含まれる文字情報と医用画像とを関連付けるための各種手法が提案されている。例えば、複数の一連の断層画像からなる３次元画像について作成された診断情報を用いて、病気の情報を的確に表す断層画像を特定する手法が提案されている（特許文献１参照）。また、診断対象となる３次元画像に関して、複数の所見項目から注目する所見項目およびその所見の値を含む情報を取得し、３次元画像を構成する複数の断層画像のそれぞれから注目所見項目に対応する特徴量を算出し、算出した特徴量と所見の値に基づいて、断層画像を特定する手法が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−２３３４７０号公報
【特許文献２】特開２０１４−０００３５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された手法は、診断情報に含まれる文字情報を画像に相当する情報に変換している。また、特許文献２に記載された手法は、３次元画像を構成する複数の断層画像のそれぞれから注目所見項目に対応する特徴量を算出している。このため、特許文献１，２に記載の手法では、読影レポート等の医療文書に含まれる文字情報に対応する断層画像を特定するための演算量が多くなり、処理に時間を要する。
【０００８】
本発明は上記事情に鑑みなされたものであり、複数の医用画像からなる医用画像群から、医療文書に含まれる文字情報に関連する医用画像を高速に特定できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明による医用画像特定装置は、複数の医用画像からなる医用画像群に関連する文字情報を取得する文字情報取得部と、
複数の医用画像のそれぞれを、各医用画像に対応する画像文字情報に変換する画像文字情報変換部と、
複数の医用画像のそれぞれに対応する画像文字情報と文字情報とを比較して、複数の医用画像から文字情報に関連する少なくとも１つの関連医用画像を特定する特定部とを備える。
【００１０】
「文字情報」とは、読影レポート、診断レポートおよび電子カルテ等の医療文書に含まれる、病変等の特徴を表す文字の情報である。具体的には、医療文書に含まれる病変の種類、病変の位置および病変の大きさ等の病変の特徴を表す情報を、文字情報として用いることができる。
【００１１】
なお、本発明による医用画像特定装置においては、画像文字情報変換部は、各医用画像に含まれる少なくとも１つの構造物の領域を抽出する領域抽出部と、
抽出された構造物の領域を解析して、構造物の領域の特徴を文字化する解析部とを備えるものであってもよい。
【００１２】
この場合、構造物の領域の特徴は、構造物に含まれる病変の位置、病変の種類、および病変の大きさの少なくとも１つを含むものであってもよい。
【００１３】
「構造物」とは、医用画像に含まれる人体を構成する臓器、筋肉および骨格等を意味する。例えば、胸部の医用画像には、心臓、肺、筋肉および骨等が含まれるが、そのそれぞれが構造物である。
【００１４】
また、本発明による医用画像特定装置においては、特定部は、関連医用画像において、文字情報に関連する位置をさらに特定するものであってもよい。
【００１５】
また、本発明による医用画像特定装置においては、特定された関連医用画像および文字情報を表示部に表示する表示制御部をさらに備えるものであってもよい。
【００１６】
また、本発明による医用画像特定装置においては、表示制御部は、関連医用画像において、文字情報に関連する位置を強調表示するものであってもよい。
【００１７】
また、本発明による医用画像特定装置においては、医用画像は断層画像であり、医用画像群は、複数の断層画像からなる３次元画像であってもよい。
【００１８】
本発明による医用画像特定方法は、複数の医用画像からなる医用画像群に関連する文字情報を取得し、
複数の医用画像のそれぞれを、各医用画像に対応する画像文字情報に変換し、
複数の医用画像のそれぞれに対応する画像文字情報と文字情報とを比較して、複数の医用画像から文字情報に関連する少なくとも１つの関連医用画像を特定する。
【００１９】
なお、本発明による医用画像特定方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２０】
本発明による他の医用画像特定装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
複数の医用画像からなる医用画像群に関連する文字情報を取得し、
複数の医用画像のそれぞれを、各医用画像に対応する画像文字情報に変換し、
複数の医用画像のそれぞれに対応する画像文字情報と文字情報とを比較して、複数の医用画像から文字情報に関連する少なくとも１つの関連医用画像を特定する処理を実行する。
【発明の効果】
【００２１】
本発明によれば、複数の医用画像からなる医用画像群に関連する文字情報が取得され、複数の医用画像のそれぞれが、各医用画像に対応する画像文字情報に変換され、複数の医用画像のそれぞれに対応する画像文字情報と文字情報とが比較されて、複数の医用画像から少なくとも１つの関連医用画像が特定される。ここで、画像を文字に変換する処理は、文字を画像に変換する処理よりも高速に行うことができる。したがって、本発明によれば、文字情報に関連する関連医用画像を高速に特定することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態による医用画像特定装置を適用した医療情報システムの概略構成を示す図
【図２】本実施形態による医用画像特定装置の概略構成を示す図
【図３】画像文字情報変換部の構成を示す概略ブロック図
【図４】関連断層画像の特定を説明するための図
【図５】読影レポート画面を示す図
【図６】本実施形態において行われる処理を示すフローチャート
【図７】画像文字情報変換処理のフローチャート
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による医用画像特定装置を適用した医療情報システムの概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。図１に示すように、医療情報システム１は、複数のモダリティ（撮影装置）２、読影端末である複数の読影ワークステーション（ＷＳ）３、診療科ワークステーション（ＷＳ）４、画像サーバ５、画像データベース６、読影レポートサーバ７、および読影レポートデータベース８が、有線または無線のネットワーク９を介して互いに通信可能な状態で接続されて構成されている。
【００２４】
各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワーク９に接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
【００２５】
モダリティ２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。モダリティ２により生成された医用画像は画像サーバ５に送信され、保存される。
【００２６】
読影ＷＳ３は、本実施形態による医用画像特定装置を内包する。読影ＷＳ３の構成については後述する。
【００２７】
診療科ＷＳ４は、診療科の医師が画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療科ＷＳ４では、患者のカルテ（電子カルテ）の作成、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ７に対する読影レポートの閲覧要求、および読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。
【００２８】
画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像データベース６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク９に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、モダリティ２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像データベース６に登録する。
【００２９】
画像データベース６には、モダリティ２において取得された医用画像または複数の医用画像からなる医用画像群の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像または医用画像群（以下、単に医用画像と称する場合があるものとする）を識別するための画像ＩＤ、被写体を識別するための患者ＩＤ(identification)、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像または医用画像群が生成された検査日、検査時刻、医用画像を取得するための検査で使用されたモダリティの種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれる。
【００３０】
また、画像サーバ５は、読影ＷＳ３からの閲覧要求をネットワーク９経由で受信すると、画像データベース６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３に送信する。
【００３１】
読影レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。読影レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース８に登録する。また、読影レポートの検索要求を受け付けると、その読影レポートを読影レポートデータベース８から検索する。
【００３２】
読影レポートデータベース８には、例えば、読影対象の医用画像を識別する画像ＩＤ、読影を行った画像診断医を識別するための読影医ＩＤ、病変名、病変の位置情報、所見、および所見の確信度等の情報が記録された読影レポートが登録される。
【００３３】
ネットワーク９は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク９は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク９は光ネットワーク等の医用画像の高速転送が実現可能な構成にすることが好ましい。
【００３４】
以下、本実施形態による読影ＷＳ３について詳細に説明する。読影ＷＳ３は、医用画像の読影医が、医用画像の読影および読影レポートの作成に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に対する解析処理、解析結果に基づく医用画像の強調表示、解析結果に基づく読影レポートの作成、読影レポートの作成の支援、読影レポートサーバ７に対する読影レポートの登録要求と閲覧要求、並びに読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。なお、これらの処理のうち、本実施形態の医用画像特定装置が行う処理以外の処理は、周知のソフトウェアプログラムにより行われるため、ここでは詳細な説明は省略する。また、本実施形態の医用画像特定装置が行う処理以外の処理を読影ＷＳ３において行わず、別途その処理を行うコンピュータをネットワーク９に接続しておき、読影ＷＳ３からの処理の要求に応じて、そのコンピュータにおいて要求された処理を行うようにしてもよい。
【００３５】
読影ＷＳ３は、本実施形態による医用画像特定装置が内包されてなる。このため、読影ＷＳ３には、本実施形態による医用画像特定プログラムがインストールされてなる。医用画像特定プログラムは、ＤＶＤあるいはＣＤ−ＲＯＭ等の記録媒体に記録されて配布され、その記録媒体から読影ＷＳ３にインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて読影ＷＳ３にダウンロードされ、インストールされる。
【００３６】
図２は、医用画像特定プログラムをインストールすることにより実現される、本発明の実施形態による医用画像特定装置の概略構成を示す図である。図２に示すように、医用画像特定装置１０は、標準的なコンピュータの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、医用画像特定装置１０には、液晶ディスプレイ等の表示装置（以下表示部とする）１４、並びにキーボードおよびマウス等の入力装置（以下、入力部とする）１５が接続されている。
【００３７】
ストレージ１３は、ハードディスクまたはＳＳＤ（Solid State Drive）等のストレージデバイスからなる。ストレージ１３には、ネットワーク９を経由して画像サーバ５から取得した、医用画像および医用画像特定装置１０の処理に必要な情報を含む各種情報が記憶されている。
【００３８】
また、メモリ１２には、医用画像特定プログラムが記憶されている。医用画像特定プログラムは、ＣＰＵ１１に実行させる処理として、複数の医用画像からなる医用画像群に関連する文字情報を取得する文字情報取得処理、複数の医用画像のそれぞれを、各医用画像に対応する画像文字情報に変換する画像文字情報変換処理、複数の医用画像のそれぞれに対応する画像文字情報と文字情報とを比較して、複数の医用画像から文字情報に関連する少なくとも１つの関連医用画像を特定する特定処理、特定された関連医用画像および文字情報を表示部１４に表示する表示制御処理を規定する。
【００３９】
そして、ＣＰＵ１１が医用画像特定プログラムに従いこれらの処理を実行することで、コンピュータは、文字情報取得部２１、画像文字情報変換部２２、特定部２３および表示制御部２４として機能する。なお、本実施形態においては、ＣＰＵ１１が医用画像特定プログラムによって、各部の機能を実行するようにしたが、ソフトウェアを実行して各種の処理部として機能する汎用的なプロセッサとしては、ＣＰＵ１１の他、ＦＰＧＡ (Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）を用いることができる。また、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等により、各部の処理を実行するようにしてもよい。
【００４０】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、またはＣＰＵとＦＰＧＡの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【００４１】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
【００４２】
文字情報取得部２１は、複数の医用画像からなる医用画像群に関連する文字情報を取得する。なお、本実施形態においては、３次元画像が医用画像群に対応し、３次元画像を構成する複数の断層画像が医用画像に対応する。また、本実施形態においては、３次元画像は胸腹部のＣＴ画像であるものとする。
【００４３】
文字情報を取得するために、文字情報取得部２１は、読影レポートサーバ７に対して処理の対象となる３次元画像に関して作成された読影レポートの要求の指示を行う。読影レポートサーバ７は要求された読影レポートを読影レポートデータベース８から取得し、読影ＷＳ３に送信する。文字情報取得部２１は、読影レポートサーバ７から送信された読影レポートに含まれる文字列を、自然言語処理の技術を用いて解析することにより、読影レポートに含まれる病変の位置、種類および大きさ等の病変の特徴を表す情報をレポート文字情報として抽出する。
【００４４】
自然言語処理とは、人間が日常的に使っている自然言語をコンピュータに処理させる一連の技術である。自然言語処理により、文章の単語への分割、構文の解析、および意味の解析等を行うことができる。本実施形態においては、文字情報取得部２１は、自然言語処理の技術を用いて、読影レポートに含まれる文字列を単語に分割し、かつ構文を解析することにより、レポート文字情報を取得する。例えば、読影レポートの文章が、「右肺上葉に２５×２１ｍｍ大の結節が認められます。」の場合、文字情報取得部２１は、「右肺」、「上葉」、「結節」、および「２５×２１ｍｍ」の用語をレポート文字情報として取得する。
【００４５】
なお、病変の種類、および病変の位置等の用語を登録したテーブルをストレージ１３に記憶しておき、このテーブルを参照して、用語と一致する文字列を読影レポートからレポート文字情報として抽出してもよい。なお、レポート文字情報が文字情報に対応する。
【００４６】
ここで、処理の対象となる３次元画像は、読影ＷＳ３からの要求により、画像サーバ５により画像データベース６から取得され、読影ＷＳ３に送信される。３次元画像および読影レポートはストレージ１３に保存される。
【００４７】
また、３次元画像と読影レポートとは関連付けられているため、３次元画像および読影レポートのいずれか一方から他方を特定することができる。一方、３次元画像を構成する個々の断層画像と読影レポートとは関連付けがなされていないものとする。すなわち、読影レポートには、読影レポート作成の対象となった３次元画像を構成する個々の断層画像とのリンクが付与されていないものとする。
【００４８】
画像文字情報変換部２２は、複数の医用画像のそれぞれを、各医用画像に対応する画像文字情報に変換する。具体的には、３次元画像を構成する複数の断層画像のそれぞれを文字画像情報に変換する。図３は画像文字情報変換部の構成を示す概略ブロック図である。図３に示すように、画像文字情報変換部２２は、領域抽出部３０および解析部３１を備える。
【００４９】
領域抽出部３０は、各医用画像に含まれる少なくとも１つの構造物の領域を抽出する。ここで、人体の胸腹部に含まれる構造物は、肺野、心臓、肝臓、筋肉、脂肪および骨等である。領域抽出部３０は、複数の断層画像のそれぞれから肺野領域、心臓領域、肝臓領域および骨領域等の構造物の領域を抽出する。領域抽出部３０は、判別器を用いて各断層画像から構造物の領域を抽出する。判別器は、断層画像を入力とし、抽出される構造物を出力とするように、ディープラーニング（深層学習）およびAdaBoost等の手法を用いて機械学習がなされてなる。領域抽出部３０は、複数の断層画像のそれぞれを判別器に入力し、出力された構造物の領域を取得することによって、断層画像から複数の構造物の領域を抽出する。
【００５０】
なお、断層画像から構造物を抽出する手法としては、判別器を用いる手法の他、断層画像のＣＴ値に基づくしきい処理、構造物を表すシード点に基づく領域拡張法(Region Growing)、構造物の形状に基づくテンプレートマッチングによる手法、および、例えば特許４４９３６７９号公報に記載されたグラフカット法等を用いることができる。
【００５１】
解析部３１は、構造物の領域を解析して、構造物の領域の特徴を文字化する。まず、解析部３１は、断層画像から抽出された構造物の領域を解析して、各断層画像に含まれる疾病等に関する解析結果を取得する。このために、解析部３１は、構造物の領域における各画素が病変を表すものであるか否か、および病変である場合には病変の種類を判別するように機械学習がなされた判別器を備える。本実施形態においては、判別器は、構造物の種類毎に、各構造物の画像に含まれる複数種類の病変を分類できるようにディープラーニング（深層学習）がなされたニューラルネットワークからなる。解析部３１における判別器は、構造物の領域の画像が入力されると、入力された画像内の各画素が、複数種類の病変のいずれであるかを判別結果として出力する。なお、判別結果はいずれの病変でもないことも含むものとする。
【００５２】
なお、領域抽出部３０および解析部３１が有する判別器は、ディープラーニングがなされたニューラルネットワークの他、例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）、およびリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等からなるものであってもよい。
【００５３】
また、解析部３１は、上記判別器による判別結果を用いて、構造物の領域の特徴を文字化する。例えば、構造物の領域が肺野領域である場合において、解析の結果、肺野内に病変が発見された場合、解析部３１は、肺野領域の特徴として、肺野内における病変の位置、病変の種類および病変の大きさの少なくとも１つを取得し、文字化する。なお、病変の大きさは、病変の縦×横のサイズで表すものとする。具体的には、解析部３１は、病変の縦方向および横方向の画素数をカウントし、カウントした画素数に対して１画素当たりの大きさを乗算することにより、病変の大きさを算出する。
【００５４】
ここで、本実施形態においては、病変の位置、病変の種類および病変の大きさのすべてを取得するものとする。具体的には、解析の結果、右肺上葉に２５×２１ｍｍ大の結節が特徴として検出された場合、解析部３１は、取得した特徴を、それぞれ病変の位置を表す「右肺」および「上葉」、病変の種類を表す「結節」、および病変の大きさを表す「２５×２１ｍｍ」に、文字化する。そして解析部３１はこのようにして文字化した情報を、解析した構造物の領域が抽出された医用画像に関する画像文字情報として出力する。なお、断層画像に含まれるすべての構造物から病変が検出されなかった場合には、解析部３１はその断層画像については、画像文字情報として「なし」を出力する。
【００５５】
特定部２３は、複数の断層画像のそれぞれに対応する画像文字情報と、文字情報取得部２１が取得したレポート文字情報とを比較して、複数の断層画像から読影レポートに関連する少なくとも１つの関連断層画像を特定する。本実施形態においては、特定部２３は、複数の断層画像から１つの関連断層画像を特定するものとする。
【００５６】
特定部２３は、複数の断層画像のそれぞれから取得した画像文字情報と、読影レポート文字情報とが一致するか否かを判定して、関連断層画像を特定する。図４は関連断層画像の特定を説明するための図である。なお、本実施形態においては、４つの断層画像Ｓ１〜Ｓ４により３次元画像Ｇ０が構成されているものとする。そして、断層画像Ｓ１は、画像文字情報変換部２２により「なし」の画像文字情報ＧＴ１に変換され、断層画像Ｓ１は、画像文字情報変換部２２により「左肺」、「下葉」、「Ｓ２ｂ」および「すりガラス影」の画像文字情報ＧＴ２に変換されているものとする。また、断層画像Ｓ３は、画像文字情報変換部２２により「右肺」、「上葉」、「結節」および「２５×２１ｍｍ」の画像文字情報ＧＴ３に変換され、断層画像Ｓ４は、画像文字情報変換部２２により「右肺」、「上葉」、「結節」および「１０×７ｍｍ」の画像文字情報ＧＴ４に変換されているものとする。また、文字情報取得部２１により、「右肺上葉に２５×２１ｍｍ大の結節が認められます。」の読影レポートから、「右肺」、「上葉」、「２５×２１ｍｍ」および「結節」のレポート文字情報Ｒ０が取得されているものとする。
【００５７】
本実施形態において、特定部２３は、入力された画像文字情報ＧＴ１〜ＧＴ４とレポート文字情報Ｒ０との一致度を表すスコアを出力するように、ディープラーニング（深層学習）がなされたニューラルネットワークからなる判別器２３Ａを有する。そして、特定部２３は、判別器２３Ａが出力したスコアが予め定められたしきい値Ｔｈ１を超えた断層画像Ｓ１〜Ｓ４のうち、最もスコアが大きい断層画像を、読影レポートに関連する１つの関連断層画像に特定する。例えば、上記しきい値Ｔｈ１を０．６とした場合において、断層画像Ｓ１〜Ｓ４のスコアがそれぞれ０．２，０．４，０．８，０．７であった場合、断層画像Ｓ３を関連断層画像に特定する。
【００５８】
また、特定部２３は、関連断層画像と読影レポートとを関連付ける。具体的には、関連断層画像および読影レポートの双方に、一方に対する他方へのリンクを付与する。例えば、読影レポートに対して断層画像Ｓ３へのリンクを付与する。なお、特定部２３は、画像文字情報変換部２２における解析部３１の解析結果およびレポート文字情報Ｒ０に基づいて、関連断層画像においてレポート文字情報に関連する位置をさらに特定する。例えば、「結節」のレポート文字情報に対して、断層画像Ｓ３における結節の位置を関連付ける。
【００５９】
表示制御部２４は、特定された断層画像および読影レポートを含む読影レポート画面を表示部１４に表示する。図５は読影レポート画面を示す図である。図５に示すように、読影レポート画面４０には、特定部２３が特定した関連断層画像４１（例えば断層画像Ｓ３）が表示され、関連断層画像４１の右側に、読影レポートの表示領域４２が表示される。表示領域４２には、読影レポートである、「右肺上葉に２５×２１ｍｍ大の結節が認められます。」の文章が表示されている。また、この文章における「結節」の文字には下線が付与されて、関連断層画像４１に含まれる結節の位置へのリンク４３が生成されている。ここで、操作者が入力部１５を用いてリンク４３を選択すると、表示制御部２４は、関連断層画像４１における結節の場所を強調表示する。図５においては、強調表示を丸印４４を付与することにより示している。
【００６０】
次いで、本実施形態において行われる処理について説明する。図６は本実施形態において行われる処理を示すフローチャートである。処理の対象となる３次元画像および読影レポートが読影ＷＳ３に送信され、処理の指示が操作者により行われると処理が開始され、文字情報取得部２１が、複数の断層画像からなる３次元画像に関連するレポート文字情報を取得する（ステップＳＴ１）。次いで、画像文字情報変換部２２が、複数の断層画像のそれぞれを、各断層画像に対応する画像文字情報に変換する（ステップＳＴ２）。
【００６１】
図７は画像文字情報変換処理のフローチャートである。画像文字情報変換処理においては、領域抽出部３０が、各断層画像に含まれる少なくとも１つの構造物の領域を抽出する（ステップＳＴ１１）。そして、解析部３１が、断層画像から抽出された構造物の領域を解析することにより、各断層画像に含まれる疾病等に関する解析結果を取得し（ステップＳＴ１２）、取得した解析結果を文字化し（ステップＳＴ１３）、画像文字情報変換処理を終了する。
【００６２】
ステップＳＴ２に続いて、特定部２３が、複数の断層画像のそれぞれに対応する画像文字情報ＧＴ１〜ＧＴ４とレポート文字情報Ｒ０とを比較して、複数の断層画像から読影レポートに関連する少なくとも１つの関連断層画像を特定する（ステップＳＴ３）。そして、表示制御部２４が、特定された関連断層画像および読影レポートを含む読影レポート画面を表示部１４に表示し（ステップＳＴ４）、処理を終了する。
【００６３】
このように、本実施形態においては、複数の断層画像からなる３次元画像に関連するレポート文字情報を取得し、複数の断層画像のそれぞれを各断層画像に対応する画像文字情報に変換し、複数の断層画像のそれぞれに対応する画像文字情報とレポート文字情報とを比較して、関連断層画像を特定するようにした。ここで、画像を文字に変換する処理は、文字を画像に変換する処理よりも高速に行うことができる。したがって、本実施形態によれば、読影レポートから取得したレポート文字情報に関連する断層画像を高速に特定することができる。
【００６４】
なお、上記実施形態において、特定部２３は、複数の断層画像からレポート文字情報に関連する２以上の関連断層画像を特定するものであってもよい。この場合、判別器２３Ａが出力したスコアがしきい値Ｔｈ１を超えた断層画像のすべてを関連断層画像に特定すればよい。例えば、上記しきい値Ｔｈ１を０．６とした場合において、断層画像Ｓ１〜Ｓ４のスコアがそれぞれ０．２，０．４，０．８，０．７であった場合、断層画像Ｓ３および断層画像Ｓ４をレポート文字情報に関連する関連断層画像に特定すればよい。
【００６５】
また、上記実施形態において、関連断層画像が特定できない可能性がある。関連断層画像が特定できない場合、特定部２３は、「関連断層画像なし」の結果を出力すればよい。この場合、表示制御部２４は、「関連断層画像なし」の表示を表示部１４において行えばよい。
【００６６】
また、上記実施形態においては、画像文字情報変換部２２の解析部３１が断層画像を解析しているが、外部の解析サーバ等において、断層画像の解析を行うようにしてもよい。
【００６７】
また、上記実施形態においては、医用画像群をＣＴ画像である３次元画像とし、医用画像を３次元画像を構成する断層画像としているが、これに限定されるものではない。医用画像群をＭＲＩ画像である３次元画像としてもよく、医用画像をＭＲＩ画像である３次元画像を構成する断層画像としてもよい。
【００６８】
また、上記実施形態においては、医用画像群に関連する文字情報を読影レポートから取得しているが、電子カルテおよび診断レポート等の読影レポート以外の医療文書から、医用画像群に関連する文字情報を取得するようにしてもよい。
【符号の説明】
【００６９】
１    医療情報システム
２    モダリティ
３    読影ワークステーション
４    診療科ワークステーション
５    画像サーバ
６    画像データベース
７    読影レポートサーバ
８    読影レポートデータベース
９    ネットワーク
１０    医用画像特定装置
１１    ＣＰＵ
１２    メモリ
１３    ストレージ
１４    表示部
１５    入力部
２１    文字情報取得部
２２    画像文字情報変換部
２３    特定部
２３Ａ    判別器
２４    表示制御部
３０    領域抽出部
３１    解析部
４０    読影レポート画面
４１    関連断層画像
４２    表示領域
４３    リンク
４４    丸印
ＧＴ１〜ＧＴ４    画像文字情報
Ｒ０    レポート文字情報
【図１】
2019169049.tif 000003
【図２】
2019169049.tif 000004
【図３】
2019169049.tif 000005
【図４】
2019169049.tif 000006
【図５】
2019169049.tif 000007
【図６】
2019169049.tif 000008
【図７】
2019169049.tif 000009