(57)【要約】  アノテーション支援装置は、各医用画像が有する属性に基づいて、一の医用画像を１つのノードとして、医用画像のノードが属する医用画像階層並びに医用画像階層の上位及び下位の階層である上位階層及び下位階層のうちの少なくとも１つの階層を含む階層構造により、医用画像を管理する。アノテーション支援装置は、医用画像を取得する画像取得部と、医用画像を表示させる表示部と、医用画像のノード及び階層構造において医用画像のノードに関連付けられているノードのいずれかに対する指定と共に、指定されたノードに関する情報であるアノテーション情報の入力を受け付けるアノテーション入力受付部と、アノテーション情報を、指定されたノードに関連付けて記憶させるアノテーション格納部と、を備える。
2020153493.tif 000002
【特許請求の範囲】
【請求項１】
医用画像に関するアノテーション情報の生成を支援するアノテーション支援装置であって、
医用画像は、各医用画像が有する属性に基づいて、一の医用画像を１つのノードとして、医用画像のノードが属する医用画像階層、前記医用画像階層の上位の階層である上位階層、及び、前記医用画像階層の下位の階層である下位階層のうちの少なくとも１つの階層を含む階層構造により管理され、
前記アノテーション支援装置は、
医用画像を取得する画像取得部と、
前記医用画像を表示させる表示部と、
前記医用画像のノード及び前記階層構造において前記医用画像のノードに関連付けられているノードのいずれかに対する指定と共に、指定されたノードに関する情報であるアノテーション情報の入力を受け付けるアノテーション入力受付部と、
前記アノテーション情報を、指定されたノードに関連付けて記憶させるアノテーション格納部と、
を備えるアノテーション支援装置。
【請求項２】
前記階層構造は、前記医用画像階層と、前記上位階層及び前記下位階層のうちの少なくとも１つの階層とを含む、
請求項１に記載のアノテーション支援装置。
【請求項３】
前記表示部により表示された前記医用画像の一部分であって所見を付す領域である所見領域の指定を受け付ける領域指定受付部、をさらに備え、
前記階層構造は、前記医用画像階層及び前記下位階層を含み、
前記アノテーション入力受付部は、前記所見領域に対するアノテーション情報の入力を受け付け、
前記アノテーション格納部は、前記所見領域を示す所見情報を前記下位階層における前記医用画像に関連付けられたノードとして記憶させると共に、前記入力されたアノテーション情報を当該ノードに関連付けて記憶させる、
請求項１または２に記載のアノテーション支援装置。
【請求項４】
前記領域指定受付部は、前記医用画像中の任意形状の領域の指定を前記所見領域の指定として受け付ける、
請求項３に記載のアノテーション支援装置。
【請求項５】
前記アノテーション入力受付部は、アノテーション情報を表す示すオブジェクトの、前記表示部により表示された医用画像中の前記所見領域に対するドラッグアンドドロップ操作の受け付けに基づいて、前記所見領域に対する前記アノテーション情報の入力として受け付ける、
請求項３または４に記載のアノテーション支援装置。
【請求項６】
前記階層構造は、患者を識別する患者情報を前記上位階層のノードとして含み、
前記アノテーション入力受付部は、前記医用画像に関連付けられた患者を示す患者情報に対するアノテーション情報の入力を受け付け、
前記アノテーション格納部は、前記入力されたアノテーション情報を前記患者情報のノードに関連付けて記憶させる、
請求項１〜５のいずれか一項に記載のアノテーション支援装置。
【請求項７】
前記アノテーション情報は、当該アノテーション情報が関連付けられているノード以外の他のノードとの関係を示す関係性情報を含む、
請求項１〜６のいずれか一項に記載のアノテーション支援装置。
【請求項８】
前記階層構造により管理されている情報のうち、少なくとも一の医用画像と前記一の医用画像のノードに関連付けられたアノテーション情報とを含むデータセットを学習用データセットとして取得する学習用データ取得部と、
前記学習用データ取得部により取得された前記学習用データセットを用いて、医用画像を入力として、当該医用画像に関するアノテーション情報を出力とするアノテーションガイドモデルを機械学習により生成するモデル生成部と、
前記画像取得部により取得された医用画像であってアノテーションの付与対象の医用画像を前記アノテーションガイドモデルに入力して得られた出力を、アノテーションの付与対象の前記医用画像に関連付けて表示するアノテーションガイド部と、を更に備える
請求項１〜７のいずれか一項に記載のアノテーション支援装置。
【請求項９】
前記学習用データ取得部は、前記階層構造により管理されている情報のうち、少なくとも、一の医用画像と、前記一の医用画像のノード及び前記一の医用画像のノードに関連付けられた他のノードのうちの少なくとも１つのノードに関連付けられたアノテーション情報とを含むデータセットを学習用データセットとして取得する、
請求項８に記載のアノテーション支援装置。
【請求項１０】
医用画像に関するアノテーション情報の生成を支援するアノテーション支援装置であって、
予めアノテーション情報が関連付けられた医用画像を取得可能であり、
前記医用画像と該医用画像に関連付けられたアノテーション情報とを含むデータセットを学習用データセットとして取得する学習用データ取得部と、
前記学習用データ取得部により取得された前記学習用データセットを用いて、医用画像を入力として、当該医用画像に関するアノテーション情報を出力とするアノテーションガイドモデルを機械学習により生成するモデル生成部と、
アノテーション情報の付与対象の医用画像を取得する画像取得部と、
前記画像取得部により取得された前記医用画像を表示させる表示部と、
前記画像取得部により取得された医用画像を前記アノテーションガイドモデルに入力して得られた出力を、前記表示部により表示されたアノテーションの付与対象の前記医用画像に関連付けて表示するアノテーションガイド部と、
前記アノテーションの付与対象の医用画像に関するアノテーション情報の入力を受け付けるアノテーション入力受付部と、
前記入力受付部により受け付けられた前記アノテーション情報を、前記アノテーションの付与対象の医用画像に関連付けて記憶させるアノテーション格納部と、
を備えるアノテーション支援装置。
【請求項１１】
医用画像に関するアノテーション情報の生成を支援するアノテーション支援装置におけるアノテーション支援方法であって、
医用画像は、各医用画像が有する属性に基づいて、一の医用画像を１つのノードとして、医用画像のノードが属する医用画像階層、前記医用画像階層の上位の階層である上位階層、及び、前記医用画像階層の下位の階層である下位階層のうちの少なくとも１つの階層を含む階層構造により管理され、
前記アノテーション支援方法は、
医用画像を取得する画像取得ステップと、
前記医用画像を表示させる表示ステップと、
前記医用画像のノード及び前記階層構造において前記医用画像のノードに関連付けられているノードのいずれかに対する指定と共に、指定されたノードに関する情報であるアノテーション情報の入力を受け付けるアノテーション入力受付ステップと、
前記アノテーション情報を、指定されたノードに関連付けて記憶させるアノテーション格納ステップと、
を有するアノテーション支援方法。
【請求項１２】
コンピュータを、医用画像に関するアノテーション情報の生成を支援するアノテーション支援装置として機能させるためのアノテーション支援プログラムであって、
医用画像は、各医用画像が有する属性に基づいて、一の医用画像を１つのノードとして、医用画像のノードが属する医用画像階層、前記医用画像階層の上位の階層である上位階層、及び、前記医用画像階層の下位の階層である下位階層のうちの少なくとも１つの階層を含む階層構造により管理され、
前記アノテーション支援プログラムは、前記コンピュータに、
医用画像を取得する画像取得機能と、
前記医用画像を表示させる表示機能と、
前記医用画像のノード及び前記階層構造において前記医用画像のノードに関連付けられているノードのいずれかに対する指定と共に、指定されたノードに関する情報であるアノテーション情報の入力を受け付けるアノテーション入力受付機能と、
前記アノテーション情報を、指定されたノードに関連付けて記憶させるアノテーション格納機能と、
を実現させるアノテーション支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アノテーション支援装置、アノテーション支援方法及びアノテーション支援プログラムに関する。
【背景技術】
【０００２】
近年、機械学習を用いた医用画像に対する自動的な診断支援に関する研究が行われている。高性能なモデルの実現のためには、一般的に教師あり学習に用いる為の大量の学習データが必要になるが、そのためには医用画像に対して対になるように定義されたアノテーションを用意する必要がある。ここで、アノテーションとは医用画像における病変の場所や領域の情報、その性状や診断に関する分類の情報を指し示すものである。例えば、下記特許文献１には、表示された医用画像に対するユーザからの指示操作に従って、アノテーションを取得及び記憶する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１３２５１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
医師による医用画像の読影において、特定の病変が医用画像中に存在する場合に、病変が存在する場所及び領域並びに病変の性状に加えて、当該病変に関する他の検査の結果及び当該患者の背景といった情報が併せて参照される。診断支援を目的とした質の高いモデルの生成のためには、このような医師による情報の参照過程を再現するように、アノテーションの情報の階層性及び関係性が可能な限り反映されるように適切に構築された学習データの供給が望まれる。また、アノテーションは、多くの場合において、ユーザによる指示操作によって取得されてきた。しかしながら、この人手による過程に費やされる労力が大きいため、適切なモデルを組み込むことによる省力化が必要であった。【０００５】
そこで本発明は、医用画像に対して階層性及び関係性を持ったアノテーション情報の付与を可能にするアノテーション支援装置、アノテーション支援方法及びアノテーション支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一形態に係るアノテーション支援装置は、医用画像に関するアノテーション情報の生成を支援するアノテーション支援装置であって、医用画像は、各医用画像が有する属性に基づいて、一の医用画像を１つのノードとして、医用画像のノードが属する医用画像階層、医用画像階層の上位の階層である上位階層、及び、医用画像階層の下位の階層である下位階層のうちの少なくとも１つの階層を含む階層構造により管理され、アノテーション支援装置は、医用画像を取得する画像取得部と、医用画像を表示させる表示部と、医用画像のノード及び階層構造において医用画像のノードに関連付けられているノードのいずれかに対する指定と共に、指定されたノードに関する情報であるアノテーション情報の入力を受け付けるアノテーション入力受付部と、アノテーション情報を、指定されたノードに関連付けて記憶させるアノテーション格納部と、を備える。【０００７】
本発明の一形態に係るアノテーション支援方法は、医用画像に関するアノテーション情報の生成を支援するアノテーション支援装置におけるアノテーション支援方法であって、医用画像は、各医用画像が有する属性に基づいて、一の医用画像を１つのノードとして、医用画像のノードが属する医用画像階層、医用画像階層の上位の階層である上位階層、及び、医用画像階層の下位の階層である下位階層のうちの少なくとも１つの階層を含む階層構造により管理され、アノテーション支援方法は、医用画像を取得する画像取得ステップと、医用画像を表示させる表示ステップと、医用画像のノード及び階層構造において医用画像のノードに関連付けられているノードのいずれかに対する指定と共に、指定されたノードに関する情報であるアノテーション情報の入力を受け付けるアノテーション入力受付ステップと、アノテーション情報を、指定されたノードに関連付けて記憶させるアノテーション格納ステップと、を有する。【０００８】
本発明の一形態に係るアノテーション支援プログラムは、コンピュータを、医用画像に関するアノテーション情報の生成を支援するアノテーション支援装置として機能させるためのアノテーション支援プログラムであって、医用画像は、各医用画像が有する属性に基づいて、一の医用画像を１つのノードとして、医用画像のノードが属する医用画像階層、医用画像階層の上位の階層である上位階層、及び、医用画像階層の下位の階層である下位階層のうちの少なくとも１つの階層を含む階層構造により管理され、アノテーション支援プログラムは、コンピュータに、医用画像を取得する画像取得機能と、医用画像を表示させる表示機能と、医用画像のノード及び階層構造において医用画像のノードに関連付けられているノードのいずれかに対する指定と共に、指定されたノードに関する情報であるアノテーション情報の入力を受け付けるアノテーション入力受付機能と、アノテーション情報を、指定されたノードに関連付けて記憶させるアノテーション格納機能と、を実現させる。【０００９】
上記の形態によれば、医用画像が、医用画像のノードが属する医用画像階層、並びに、医用画像階層の上位の上位階層及び下位の下位階層のうちの少なくとも１つの階層を含む階層構造により管理される。そして、表示された医用画像のノード及びそのノードに関連付けられているいずれかのノードのいずれかに対する指定とともにアノテーション情報が受け付けられ、受け付けられたアノテーション情報が指定されたノードに関連付けて記憶される。これにより、医用画像のノード及びそのノードに関連付けられたノードに適切にアノテーション情報が関連付けられた階層構造のデータ群が得られる。このデータ群から学習用データを抽出することにより、医師による種々の情報の参照過程が反映された自動診断を実現しうるモデルの生成が可能となる。【００１０】
別の形態に係るアノテーション支援装置は、階層構造は、医用画像階層と、上位階層及び下位階層のうちの少なくとも１つの階層とを含むこととしてもよい。【００１１】
上記の形態によれば、医用画像の情報に対して、患者情報等の上位階層の情報及び所見情報等の下位階層の情報を適切に関連付けることが可能となる。【００１２】
別の形態に係るアノテーション支援装置は、表示部により表示された医用画像の一部分であって所見を付す領域である所見領域の指定を受け付ける領域指定受付部、をさらに備え、階層構造は、医用画像階層及び前記下位階層を含み、アノテーション入力受付部は、所見領域に対するアノテーション情報の入力を受け付け、アノテーション格納部は、所見領域を示す所見情報を医用画像階層の下位の階層における医用画像に関連付けられたノードとして記憶させると共に、入力されたアノテーション情報を当該ノードに関連付けて記憶させることとしてもよい。【００１３】
上記の形態によれば、医用画像の一部分として指定された所見領域に対するアノテーション情報の入力が受け付けられ、医用画像の下位階層のノードとして所見情報及びアノテーション情報が記憶される。これにより、医用画像、所見情報及び所見に対するアノテーション情報が、適切な階層関係をもって管理される。【００１４】
別の形態に係るアノテーション支援装置では、領域指定受付部は、医用画像中の任意形状の領域の指定を所見領域の指定として受け付けることとしてもよい。【００１５】
上記の形態によれば、所見領域の指定が任意形状により受け付けられる。所見領域の指定が、特定のマーカ等による指定に限定されないので、病変領域が適切に指定された所見情報を得ることができる。【００１６】
別の形態に係るアノテーション支援装置では、アノテーション入力受付部は、アノテーション情報を表す示すオブジェクトの、表示部により表示された医用画像中の所見領域に対するドラッグアンドドロップ操作の受け付けに基づいて、所見領域に対するアノテーション情報の入力として受け付けることとしてもよい。【００１７】
上記の形態によれば、所見領域に対するアノテーション情報の関連付けを容易に実施できる。【００１８】
別の形態に係るアノテーション支援装置では、階層構造は、患者を識別する患者情報を上位階層のノードとして含み、アノテーション入力受付部は、医用画像に関連付けられた患者を示す患者情報に対するアノテーション情報の入力を受け付け、アノテーション格納部は、入力されたアノテーション情報を患者情報のノードに関連付けて記憶させることとしてもよい。【００１９】
上記の形態によれば、医用画像の対象の患者を識別する患者情報が医用画像の上位階層のノードとして階層構造により管理され、当該患者に関するアノテーション情報が患者情報に関連付けて記憶される。これにより、医用画像、患者情報及び患者に関するアノテーション情報が適切な階層関係をもって管理される。【００２０】
別の形態に係るアノテーション支援装置では、アノテーション情報は、当該アノテーション情報が関連付けられているノード以外の他のノードとの関係を示す関係性情報を含むこととしてもよい。【００２１】
上記の形態によれば、各ノードは、例えば、医用画像間、所見情報間の関連付けをアノテーション情報として含むことができる。これにより、あるノードに関連付けられた情報が、他のノードに関連付けられた情報と関係性を有する場合に、関係性情報を含んだ情報群が自動診断のためのモデルの学習に供されることにより、関係性が反映された自動診断が可能となる。【００２２】
別の形態に係るアノテーション支援装置は、階層構造により管理されている情報のうち、少なくとも一の医用画像と前記一の医用画像のノードに関連付けられたアノテーション情報とを含むデータセットを学習用データセットとして取得する学習用データ取得部と、学習用データ取得部により取得された学習用データセットを用いて、医用画像を入力として、当該医用画像に関するアノテーション情報を出力とするアノテーションガイドモデルを機械学習により生成するモデル生成部と、画像取得部により取得された医用画像であってアノテーションの付与対象の医用画像をアノテーションガイドモデルに入力して得られた出力を、アノテーションの付与対象の医用画像に関連付けて表示するアノテーションガイド部と、を更に備えることとしてもよい。【００２３】
上記の形態によれば、階層構造により管理されている情報群から抽出された学習用データセットを用いた機械学習によりアノテーションガイドモデルが生成され、生成されたアノテーションガイドモデルに医用画像を入力することにより、医用画像に関連付けられるべきアノテーション情報の候補が出力される。そして、アノテーション情報の候補を医用画像に関連付けて表示させてユーザに提示することにより、ユーザによるアノテーション作業の促進を図ることが可能となる。【００２４】
別の形態に係るアノテーション支援装置では、学習用データ取得部は、階層構造により管理されている情報のうち、少なくとも、一の医用画像と、一の医用画像のノード及び一の医用画像のノードに関連付けられた他のノードのうちの少なくとも１つのノードに関連付けられたアノテーション情報とを含むデータセットを学習用データセットとして取得することとしてもよい。【００２５】
上記の形態によれば、医用画像を管理している階層構造が複数の階層からなる場合において、モデル生成における学習課題の設定に応じて、必要な情報が適切に含まれる学習用データセットを取得できる。【００２６】
本発明の一形態に係るアノテーション支援装置は、医用画像に関するアノテーション情報の生成を支援するアノテーション支援装置であって、予めアノテーション情報が関連付けられた医用画像を取得可能であり、医用画像と当該医用画像に関連付けられたアノテーション情報とを含むデータセットを学習用データセットとして取得する学習用データ取得部と、学習用データ取得部により取得された学習用データセットを用いて、医用画像を入力として、当該医用画像に関するアノテーション情報を出力とするアノテーションガイドモデルを機械学習により生成するモデル生成部と、アノテーション情報の付与対象の医用画像を取得する画像取得部と、画像取得部により取得された医用画像を表示させる表示部と、画像取得部により取得された医用画像をアノテーションガイドモデルに入力して得られた出力を、表示部により表示されたアノテーションの付与対象の医用画像に関連付けて表示するアノテーションガイド部と、アノテーションの付与対象の医用画像に関するアノテーション情報の入力を受け付けるアノテーション入力受付部と、入力受付部により受け付けられたアノテーション情報を、アノテーションの付与対象の医用画像に関連付けて記憶させるアノテーション格納部と、を備える。
【発明の効果】
【００２７】
本発明の一側面によれば、医用画像に対して階層性及び関係性を持ったアノテーション情報の付与が可能となる。
【図面の簡単な説明】
【００２８】
【図１】本実施形態に係るアノテーション支援装置の機能的構成を示すブロック図である。
【図２】アノテーション支援装置のハードウェア構成を示す図である。
【図３】医用画像が管理される階層構造であって、医用画像の上位階層に患者情報を含み、医用画像の下位階層に所見情報を含む階層構造を示す図である。
【図４】表示装置に表示された医用画像の例を示す図である。
【図５】表示装置に複数の医用画像が表示された例を示す図である。
【図６】患者情報に対するアノテーション情報の入力の例を示す図である。
【図７】医用画像に対するアノテーション情報の入力の例を示す図である。
【図８】医用画像中の所見に係る領域の指定及び所見情報に対するアノテーション情報の入力の例を示す図である。
【図９】階層構造で管理される各階層の情報ごとに関連付けられるアノテーション情報の例を示す図である。
【図１０】医用画像に関連付けられるべきアノテーション情報の候補の表示の例を示す図である。
【図１１】アノテーション支援装置において実施されるアノテーション支援方法の処理内容を示すフローチャートである。
【図１２】アノテーション支援プログラムの構成を示す図である。
【発明を実施するための形態】
【００２９】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【００３０】
図１は、本実施形態に係るアノテーション支援装置の機能的構成を示す図である。アノテーション支援装置１は、医用画像に関するアノテーション情報の生成を支援する装置である。
【００３１】
図１に示すように、アノテーション支援装置１は、画像取得部１１、表示部１２、領域指定受付部１３、アノテーション入力受付部１４、アノテーション格納部１５、学習用データ取得部１６、モデル生成部１７及びアノテーションガイド部１８を備える。本実施形態のアノテーション支援装置１に含まれる各機能部は、複数の装置に分散されて構成されてもよい。また、アノテーション支援装置１に含まれる各機能部は、ハードウェア及びソフトウェアのいずれか、または任意の組み合わせによって実現される。
【００３２】
図１に示すように、アノテーション支援装置１は、医用画像記憶部２０及びモデル記憶部３０といった記憶手段にアクセスすることができる。これらの記憶手段２０，３０は、アノテーション支援装置１からネットワークまたは所定の通信手段を介してアクセス可能に構成されている。また、記憶手段２０，３０は、アノテーション支援装置１に設けられてもよい。
【００３３】
アノテーション支援装置１の各機能部の説明に先立って、記憶手段２０，３０を説明する。医用画像記憶部２０は、患者に対して実施された各種の検査において取得された医用画像を記憶している記憶手段である。
【００３４】
医用画像は、例えば、医用画像における標準フォーマットの１つであるＤＩＣＯＭ画像であって、医用画像は、Ｘ線検査、ＣＴ検査、ＭＲＩ検査、ＰＥＴ検査、超音波検査及び内視鏡検査等の種々の検査の結果を表す画像を含み得る。また、医用画像は、それらの画像の他に診療の過程で記録された写真及び動画等として、ＪＰＥＧ画像、ＢＭＰ画像、ＰＮＧ画像、ＭＰ４動画などの情報を含み得る。また、後に詳述するように、医用画像記憶部２０は、各医用画像が有する属性に基づいて、医用画像を階層構造により管理する。
【００３５】
モデル記憶部３０は、後に詳述されるアノテーションガイドモデルを記憶する記憶手段である。アノテーションガイドモデルは、医用画像を入力として、当該医用画像に関するアノテーション情報を出力とする、機械学習により生成されるモデルである。
【００３６】
図２は、アノテーション支援装置１のハードウェア構成図である。アノテーション支援装置１は、物理的には、図２に示すように、ＣＰＵ１０１、ＲＡＭ及びＲＯＭといったメモリにより構成される主記憶装置１０２、ハードディスク及びメモリ等で構成される補助記憶装置１０３、通信制御装置１０４などを含むコンピュータシステムとして構成されている。アノテーション支援装置１は、入力デバイスであるキーボード、タッチパネル、マウス等の入力装置１０５及びディスプレイ等の出力装置１０６をさらに含むこととしてもよい。なお、アノテーション支援装置１は、ＧＰＵを含んで構成されてもよい。
【００３７】
図１に示した各機能は、図２に示すＣＰＵ１０１、主記憶装置１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信制御装置１０４等を動作させるとともに、主記憶装置１０２や補助記憶装置１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶装置１０２や補助記憶装置１０３内に格納される。
【００３８】
再び図１を参照して、アノテーション支援装置１の機能部を説明する。画像取得部１１は、医用画像を取得する。具体的には、画像取得部１１は、医用画像記憶部２０に記憶されている医用画像を取得する。
【００３９】
医用画像は、前述のとおり、患者に対して実施された各種の検査において取得された画像である。医用画像は、患者を識別する患者情報、検査の種別及びその他の情報を属性情報として有することができる。例えば、一の検査において複数の画像が取得された場合には、それらの複数の画像をグルーピングするための情報を属性情報として含みうる。
【００４０】
医用画像は、各医用画像が有する属性に基づいて、医用画像記憶部２０において階層構造により管理される。具体的には、医用画像に関する階層構造は、医用画像を１つのノードとして、医用画像のノードが属する医用画像階層、医用画像階層の上位の階層である上位階層、及び、医用画像階層の下位の階層である下位階層のうちの少なくとも１つの階層を含む。上位階層は、例えば、患者情報をノードとして含むことができる。下位階層は、例えば、医用画像に対して付される所見情報をノードとして含むことができる。
【００４１】
また、医用画像が管理される階層構造は、医用画像階層と、上位階層及び下位階層のうちの少なくとも１つの階層とを含むこととしてもよい。このような階層構造により管理されることにより、医用画像の情報に対して、患者情報等の上位階層の情報及び所見情報等の下位階層の情報を適切に関連付けることが可能となる。
【００４２】
図３は、医用画像が管理される階層構造ＨＳの例を模式的に示す図である。図３に示される例では、階層構造ＨＳは、医用画像階層、医用画像階層の上位の階層である上位階層及び医用画像階層の下位の階層である下位階層を含む。図３に示されるように、階層構造ＨＳは、ルート階層ｈｒ、第１の階層ｈ１、第２の階層ｈ２及び第３の階層ｈ３を含む。
【００４３】
図３に示される階層構造ＨＳは、Ｐｒｏｊｅｃｔと表記されるプロジェクトｎｒをルートとして、下位の階層に各種情報を管理する。なお、図３に示す例では、プロジェクトｎｒをルートノードとして有する場合を説明しているが、ルートノードとしてのプロジェクトを有さずに階層構造が構成されることとしてもよい。
【００４４】
ＩｍａｇｅＳｅｒｉｅｓと表記される医用画像ｎ２は、第２の階層ｈ２に属するノードを構成する。医用画像は、ある患者に対して実施されうる種々の検査のうちの一の検査毎に取得される検査単位の検査情報としての側面を有する。
【００４５】
医用画像ｎ２のノードの上位階層である第１の階層ｈ１は、Ｐａｔｉｅｎｔと表記される患者情報ｎ１をノードとして有する。患者情報ｎ１は、各医用画像ｎ２が属性情報として有する患者情報に基づいて、同一の患者に関する複数の医用画像をグルーピングする。
【００４６】
医用画像ｎ２のノードの下位階層である第３の階層ｈ３は、Ｄｉｓｅａｓｅ  Ｃｌａｓｓと表記される所見情報ｎ３をノードとして有する。所見情報ｎ３は、医用画像の一部分に対して領域性をもって定義される情報である。図３に示されるように、一の医用画像に対して、複数の所見情報を定義することができる。
【００４７】
再び図１を参照して、表示部１２は、医用画像を表示させる。具体的には、表示部１２は、画像取得部１１により取得された医用画像を、ディスプレイに表示させる。図４は、表示部１２によりディスプレイに表示された医用画像の例を示す図である。図４に示すように、表示画面Ｄ１に、検査結果の１つとしての医用画像ｍｉ１が表示されている。
【００４８】
また、表示画面Ｄ１は、ブラウズリストＩＢ及び読影レポート表示部ＩＲを含む。ブラウズリストＩＢは、表示画面Ｄ１に表示させる医用画像を選択するための、医用画像のリストを表示する部分である。ブラウズリストＩＢに表示された複数の医用画像に対するユーザによる選択入力が取得されると、表示部１２は、選択された医用画像を表示画面Ｄ１に表示させる。なお、ブラウズリストＩＢに表示されるリストは、図３を参照して説明した階層構造ＨＳの構成を反映している。読影レポート表示部ＩＲは、表示画面Ｄ１に表示された医用画像に関連付けて格納されている読影レポートのデータを、ユーザがアノテーションを入力する際の参照情報としてユーザに提示する部分である。なお、読影レポート表示部ＩＲには、診療記録などのテキスト形式で保存される任意の臨床情報を、表示された医用画像に関連付けて表示させることが可能である。
【００４９】
図５は、表示部により複数の医用画像がディスプレイに表示された例を示す図である。図５に示すように、表示画面Ｄ２に、複数の医用画像ｍｉ２１，ｍｉ２２，ｍｉ２３が表示されている。医用画像ｍｉ２１は、ＣＴ検査により得られた医用画像である。医用画像ｍｉ２２は、ＰＥＴ検査により得られた医用画像である。医用画像ｍｉ２３は、Ｘ線検査により得られた医用画像である。図５に示されるように、本実施形態のアノテーション支援装置１では、関連する複数の検査の結果としての医用画像を並べて表示できる。
【００５０】
再び図１を参照して、領域指定受付部１３は、表示部１２により表示された医用画像に対する所見領域の指定を受け付ける。所見領域は、医用画像の一部分であって所見を付す領域である。所見領域の指定は、種々の態様により受け付けることができる。
【００５１】
領域指定受付部１３は、例えば、表示された医用画像の部分に対するユーザによる指定操作の入力により所見領域の指定を受け付けることができる。具体的には、例えば、医用画像中の任意の位置にポインタを重ねてクリック等の操作が実行されることにより、領域指定受付部１３は、当該位置を所見領域として受け付ける。
【００５２】
また、領域指定受付部１３は、医用画像中の任意の領域の指定を、所見領域の指定として受け付けてもよい。具体的には、例えば、種々のポインティングデバイスの操作等により医用画像中の任意の領域を囲うような形状の図形を入力すると、領域指定受付部１３は、その任意の形状の領域を所見領域の指定として受け付けることができる。これにより、所見領域の指定が、特定のマーカ等による指定に限定されないので、病変領域が適切に指定された所見情報を得ることができる。
【００５３】
アノテーション入力受付部１４は、医用画像のノード及び階層構造において医用画像のノードに関連付けられているノードのいずれかに対する指定と共に、指定されたノードに関する情報であるアノテーション情報の入力を受け付ける。本実施形態では、アノテーション入力受付部１４は、図３を参照して説明した階層構造ＨＳにおけるいずれかのノード対する指定を受け付ける。そして、アノテーション入力受付部１４は、指定されたノードに関連付けられるべき情報の入力を、アノテーション情報の入力として受け付ける。
【００５４】
アノテーション格納部１５は、アノテーション入力受付部１４により受け付けられたアノテーション情報を、指定されたノードに関連付けて記憶させる。具体的には、アノテーション格納部１５は、図３を参照して説明した階層構造ＨＳにおいて管理されているノードのうちの指定されたノードに関連付けて、入力されたアノテーション情報を記憶させる。
【００５５】
以下、図６〜図８を参照して、アノテーション情報の受け付けの具体的な例について説明する。図６は、患者情報に対するアノテーション情報の入力の例を示す図である。図６に示すように、表示部１２により、複数の医用画像ｍｉ２１，ｍｉ２２，ｍｉ２３が表示画面Ｄ３に表示されている。
【００５６】
医用画像ｍｉ２１，ｍｉ２２，ｍｉ２３は、は、「Ｐａｔｉｅｎｔ１」の表記で識別される患者の検査結果を示す医用画像である。医用画像ｍｉ２１，ｍｉ２２，ｍｉ２３のそれぞれは、階層構造ＨＳの第２の階層ｈ２に属する各ノードを構成し、これらのノードは、第１の階層ｈ１における患者情報「Ｐａｔｉｅｎｔ１」のノードに関連付けられている。
【００５７】
例えば、表示画面Ｄ３におけるタブａｔ１を指定する入力が実施されると、アノテーション入力受付部１４は、患者情報「Ｐａｔｉｅｎｔ１」のノードに対する指定として受け付ける。
【００５８】
さらに、アノテーション情報入力欄ａｉ１に対してアノテーション情報が入力されると、アノテーション入力受付部１４は、患者情報「Ｐａｔｉｅｎｔ１」のノードに関連付けられるべきアノテーション情報として、その入力を受け付ける。患者単位で管理すべきアノテーション情報の例としては、例えば、その患者の主たる疾患の種別及び性別等が挙げられる、図６に示す例では、患者「Ｐａｔｉｅｎｔ１」に関連付けるべきアノテーション情報として、「Ｄｉｓｅａｓｅｓ：Ｌｕｎｇ  ｃａｎｃｅｒ」という情報が入力されている。
【００５９】
アノテーション格納部１５は、入力されたアノテーション情報「Ｄｉｓｅａｓｅｓ：Ｌｕｎｇ  ｃａｎｃｅｒ」を、患者情報「Ｐａｔｉｅｎｔ１」のノードに関連付けて記憶させる。
【００６０】
図６を参照して説明した例によれば、医用画像の対象の患者を識別する患者情報が医用画像の上位階層のノードとして階層構造により管理され、当該患者に関するアノテーション情報が患者情報に関連付けて記憶される。これにより、医用画像、患者情報及び患者に関するアノテーション情報が適切な階層関係をもって管理される。
【００６１】
図７は、医用画像に対するアノテーション情報の入力の例を示す図である。図７に示すように、表示部１２により、複数の医用画像ｍｉ２１，ｍｉ２２，ｍｉ２３が表示画面Ｄ４に表示されている。
【００６２】
医用画像ｍｉ２１，ｍｉ２２，ｍｉ２３は、は、「Ｐａｔｉｅｎｔ１」の表記で識別される患者の検査結果を示す医用画像である。医用画像ｍｉ２１，ｍｉ２２，ｍｉ２３のそれぞれは、階層構造ＨＳの第２の階層ｈ２に属する各ノードを構成し、これらのノードは、第１の階層ｈ１における患者情報「Ｐａｔｉｅｎｔ１」のノードに関連付けられている。
【００６３】
例えば、表示画面Ｄ４におけるタブａｔ２を指定する入力が実施されると、アノテーション入力受付部１４は、医用画像「Ｉｍａｇｅ  Ｓｅｒｉｅｓ  １−２」のノードに対する指定として、その指定入力を受け付ける。
【００６４】
さらに、アノテーション情報入力欄ａｉ２に対してアノテーション情報が入力されると、アノテーション入力受付部１４は、医用画像「Ｉｍａｇｅ  Ｓｅｒｉｅｓ  １−２」のノードに関連付けられるべきアノテーション情報として、その入力を受け付ける。
【００６５】
医用画像単位で管理すべきアノテーション情報は、その画像取得に係る検査単位で管理すべき情報であって、例えば、「術前」、「術後」といった臨床的状況、及び、画像全体の情報に基づいて定義されるべき所見情報（例えば、腫瘍のステージング等）等が挙げられる。また、医用画像同士の関係性を、医用画像のアノテーション情報として定義できることとしてもよい。一の医用画像における他の医用画像に対する関係性は、一の医用画像のアノテーション情報として、他の医用画像を明示的に指定して、その関係性の内容が定義されることとしてもよい。また、同一の患者情報のノードに関連付けられていることをもって、黙示的に関係性が定義されていることとしてもよい。
【００６６】
アノテーション格納部１５は、アノテーション情報入力欄ａｉ２において入力されたアノテーション情報を、医用画像「Ｉｍａｇｅ  Ｓｅｒｉｅｓ  １−２」のノードに関連付けて記憶させる。
【００６７】
図８は、医用画像中の所見に係る領域の指定及び所見情報に対するアノテーション情報の入力の例を示す図である。図８に示すように、表示部１２により、医用画像ｍｉ２１が表示画面Ｄ５に表示されている。
【００６８】
医用画像ｍｉ２１は、「Ｐａｔｉｅｎｔ１」の表記で識別される患者の検査結果を示す医用画像である。医用画像ｍｉ２１は、階層構造ＨＳの第２の階層ｈ２に属するノードを構成し、このノードは、第１の階層ｈ１における患者情報「Ｐａｔｉｅｎｔ１」のノードに関連付けられている。
【００６９】
例えば、表示画面Ｄ５におけるタブの指定により、医用画像「Ｉｍａｇｅ  Ｓｅｒｉｅｓ  １−２」が選択された状態において、ユーザによる領域の指定入力に基づいて、領域指定受付部１３は、所見領域ｏｒ３の指定を受け付ける。所見領域は、医用画像の一部分であって、例えば病変等の領域を定義するためのものである。
【００７０】
領域指定受付部１３は、図８に示されるように、医用画像中の任意形状の領域の指定を所見領域の指定として受け付けることができる。このように、所見領域の指定が特定のマーカ等による指定に限定されないので、病変領域が適切に指定された所見情報を得ることができる。
【００７１】
さらに、所見領域ｏｒ３に関連付けられたタブａｔ３が指定された状態においてアノテーション情報入力欄ａｉ３に対してアノテーション情報が入力されると、アノテーション入力受付部１４は、所見領域ｏｒ３に関連付けられるべきアノテーション情報として、その入力を受け付ける。所見単位のアノテーション情報は、画像中の一定の領域に対して領域性をもって定義できる情報であって、例えば、臨床医が言葉によって表現するような画像的な特徴を示す情報である。本実施形態では、所見領域が示す定性的な情報を所見領域に対してラベル付けすることにより、アノテーション情報の入力が実現される。
【００７２】
アノテーション格納部１５は、所見領域を示す所見情報を医用画像の階層の下位の階層における医用画像に関連付けられたノードとして記憶させると共に、入力されたアノテーション情報を当該ノードに関連付けて記憶させる。具体的には、アノテーション格納部１５は、所見領域ｏｒ３を示す所見情報を、第２の階層ｈ２の下位の階層である第３の階層ｈ３における医用画像「Ｉｍａｇｅ  Ｓｅｒｉｅｓ  １−２」に関連付けられたノードとして階層構造ＨＳに記憶させる。さらに、アノテーション格納部１５は、アノテーション情報入力欄ａｉ３に対して入力されたアノテーション情報を、所見領域ｏｒ３を示す所見情報のノードに関連付けて記憶させる。
【００７３】
例えば、一の医用画像中に複数箇所の病変が存在する場合等において、領域指定受付部１３は、一の医用画像における複数の所見領域の指定を受け付けることができる。例えば、表示画面上において複数の異なる色や線種によるラベル付けを受け付けることにより、複数の所見領域の指定が受け付けられることとしてもよい。この場合には、アノテーション入力受付部１４は、各所見領域に対するアノテーション情報の入力を受け付ける。そして、アノテーション格納部１５は、各所見領域に相当するノードを一の医用画像のノードの下位階層のノードとして生成し、入力されたアノテーション情報を各ノードに関連付けて記憶させる。
【００７４】
なお、アノテーション情報の入力は種々の態様で実現できる。例えば、アノテーション情報入力欄ａｉ３に対して入力されたアノテーション情報を示すオブジェクトを、例えばアノテーション情報入力欄ａｉ３に表示させ、そのオブジェクトの所見領域に対するドラッグアンドドロップ操作を受け付けたことに基づいて、アノテーション格納部１５が、入力されたアノテーション情報の所見領域のノードに対する関連付けを実施することとしてもよい。これにより、所見領域に対するアノテーション情報の関連付けを容易に実施できる。
【００７５】
また、画像中の所見同士の関係性を、所見情報のアノテーション情報として定義できることとしてもよい。一の所見情報における他の所見情報に対する関係性は、一の所見情報のアノテーション情報として、他の所見情報を明示的に指定して、その関係性の内容が定義されることとしてもよい。また、同一の医用画像のノードの下位に関連付けられていることをもって、黙示的に関係性が定義されていることとしてもよい。
【００７６】
図９は、階層構造で管理される各階層の情報ごとに関連付けられるアノテーション情報の例を示す図である。前述のとおり、アノテーション格納部１５は、入力されたアノテーション情報を、アノテーション情報の入力に際して指定されたノードに関連付けて記憶させる。
【００７７】
図９において、アノテーション情報Ａ１は、第１の階層ｈ１に属するノードであって「Ｐａｔｉｅｎｔ」と表記される患者情報のノードに関連付けられる、患者単位のアノテーション情報である。アノテーション情報Ａ１は、例えば、疾患の有無、年齢、性別、初診日、初診時ステージング、初回治療の内容、再発日及び最終転機等の情報を含むことができる。
【００７８】
アノテーション情報Ａ２は、第２の階層ｈ２に属するノードであって「ＩｍａｇｅＳｅｒｉｅｓ」と表記される医用画像のノードに関連付けられる、医用画像単位（検査単位）のアノテーション情報である。アノテーション情報Ａ２は、検査の臨床的コンテクスト（術前、術後、再発時等）及び画像全体から得られる情報（腫瘍ステージング等）の情報を含むことができる。また、医用画像に関連付けられるアノテーション情報は、当該医用画像（検査）を、後述される機械学習の学習用データセットに含めるか否かを示す、任意に設定された設定情報（Ａｄｄ  ｔｏ  Ｄａｔａｓｅｔ  ＝  Ｔｒｕｅ／Ｆａｌｓｅ）を含むことができる。この設定情報は、機械学習及び生成するモデルの目的に応じて、ユーザの入力に応じて任意に設定することができ、「Ｔｒｕｅ」と入力された場合には、当該医用画像が学習用データセットに含められる。また、このように、所定の設定情報を明示的に定めることには限られず、特定のアノテーション情報を有しているかどうかに基づいて、当該医用画像を学習用データセットに含めるか否かが定められることとしても良い。
【００７９】
また、医用画像のノードは、医用画像単位で関連付けられるべき情報を当該アノテーション情報として有することができるが、それに加えて、医用画像のノードの下位階層において当該ノードに関連付けられる所見情報を、医用画像のアノテーション情報として捉えることができる。即ち、所見情報は、医用画像の下位階層のノードとしての側面と、医用画像のアノテーション情報としての側面とを併せ持つことができる。
【００８０】
アノテーション情報Ａ３は、第３の階層ｈ３に属するノードであって「ＤｉｓｅａｓｅＣｌａｓｓ」と表記される所見情報のノードに関連付けられる、所見単位のアノテーション情報である。アノテーション情報Ａ３は、所見領域を示す情報及び所見の質的情報を含むことができる。所見領域を示す情報は、医用画像のフォーマット（例えば、ＤＩＣＯＭ形式）に応じた座標情報を含むことにより、病変の領域を定義できる。所見の質的情報は、各所見領域に対して質的なラベル情報（画像的な特徴や場所、分類など）を含むことができる。なお、所見情報のノードは、図８及び後に参照される図１０における「Ｓｔｒｕｃｔｕｒｅ」という表記に対応する。
【００８１】
再び図１を参照して、学習用データ取得部１６は、階層構造により管理されている情報のうち、少なくとも一の医用画像と当該一の医用画像のノードに関連付けられたアノテーション情報とを含むデータセットを学習用データセットとして取得する。また、医用画像を管理している階層構造が複数の階層からなる場合には、学習用データ取得部１６は、階層構造により管理されている情報のうち、少なくとも、一の医用画像と、当該一の医用画像のノード及び当該一の医用画像のノードに関連付けられた他のノードのうちの少なくとも１つのノードに関連付けられたアノテーション情報とを含むデータセットを学習用データセットとして取得してもよい。データセットの内容は、後述されるような、モデル生成における学習課題に応じて決定される。
【００８２】
モデル生成部１７は、学習用データ取得部１６により取得された学習用データセットを用いて、医用画像を入力として、当該医用画像に関するアノテーション情報を出力とするアノテーションガイドモデルを機械学習により生成する。モデル生成部１７は、生成したアノテーションガイドモデルをモデル記憶部３０に記憶させる。
【００８３】
本実施形態では、学習対象としての医用画像と、学習結果に関連付けられる正解データとしてのアノテーション情報とを含む学習用データセットを用いた、いわゆる教師あり学習が実施されることにより、アノテーションガイドモデルが生成される。学習用データセットに含められる医用画像は、例えば、前述のとおり、医用画像のアノテーション情報において指定されることができる。また、学習課題の内容としては、医用画像の分類や、医用画像に含まれる病変などの特定の所見の検出や、特定の所見のセグメンテーション（領域の抽出）を可能にするが、設計によっては他の学習課題にすることもできる。
【００８４】
学習用データセットに含められるデータは、一の医用画像のアノテーション情報には限られず、一の医用画像に関連する他のノードの情報、当該他のノードに関連付けられたアノテーション情報、同階層または異階層のノード間の関係性を示す情報（関係性情報）等を、モデルに対する目的及び課題の設定に応じて、含めることができる。
【００８５】
アノテーションガイドモデルは、ニューラルネットワークを含んで構成される。ニューラルネットワークは、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）により構成されてもよい。学習済みのニューラルネットワークを含むモデルであるアノテーションガイドモデルは、コンピュータにより読み込まれ又は参照され、コンピュータに所定の処理を実行させ及びコンピュータに所定の機能を実現させるプログラムとして捉えることができる。
【００８６】
即ち、本実施形態のアノテーションガイドモデルは、ＣＰＵ（又は／及びＧＰＵ）及びメモリを備えるコンピュータにおいて用いられる。具体的には、コンピュータのＣＰＵ（又は／及びＧＰＵ）が、メモリに記憶されたアノテーションガイドモデルからの指令に従って、ニューラルネットワークの入力層に入力された入力データに対し、各層に対応する学習済みの重み付け係数と応答関数等に基づく演算を行い、出力層から結果を出力するよう動作する。
【００８７】
アノテーションガイド部１８は、画像取得部１１により取得された医用画像であってアノテーションの付与対象の医用画像をアノテーションガイドモデルに入力して得られた出力を、アノテーションの付与対象の医用画像に関連付けて表示する。
【００８８】
本実施形態では、例えば、モデル生成部１７が、医用画像及び当該医用画像に表された病変部分に対するアノテーション情報として入力された所見情報を学習用データセットとして機械学習を実施することにより、医用画像を入力として、当該医用画像に関連付けるべき病変部分の所見情報を出力とするアノテーションガイドモデルを生成することができる。ここで、学習に供される所見情報及びモデルから出力される所見情報は、所見領域を示す情報並びに当該所見領域に関する特徴及び病変の種別等の情報を含む。
【００８９】
図１０は、医用画像に関連付けられるべきアノテーション情報の候補の表示の例を示す図である。図１０に示すように、表示部１２により、アノテーション付与の対象の医用画像ｍｉ３が表示画面Ｄ６に表示されている。
【００９０】
アノテーションガイド部１８は、医用画像ｍｉ３をアノテーションガイドモデルに入力して、モデルから出力された、医用画像ｍｉ３に対して関連付けるべきアノテーション情報としての所見情報の候補を取得する。具体的には、図１０に示すように、アノテーションガイド部１８は、医用画像ｍｉ３に関連付けるべきアノテーション情報である所見情報の候補として、所見領域候補ａｒ１及び所見領域候補ａｒ２を取得して、医用画像ｍｉ３に重畳して表示させる。さらに、アノテーションガイド部１８は、所見領域候補ａｒ１に関連付けるべき所見情報候補ａｃ１及び所見領域候補ａｒ２に関連付けるべき所見情報候補ａｃ２を取得して、アノテーション候補表示部ｇｗに表示させる。
【００９１】
医用画像に対して関連付けられたアノテーション情報が、それらを学習用データセットとする機械学習を実施可能な程度の量以上に蓄積されると、モデル生成部１７は、蓄積された医用画像及びアノテーション情報に基づいて、アノテーションガイドモデルを生成できる。そして、アノテーションガイド部１８が、生成されたアノテーションガイドモデルに基づいて、アノテーション付与の対象の医用画像に付すべきアノテーション情報の候補を取得及び出力することができる。このように出力されたアノテーション情報の候補を医用画像に関連付けて表示させてユーザに提示することにより、ユーザによるアノテーションの作業を補助することができ、アノテーション作業の促進を図ることが可能となる。なお、アノテーションガイドモデルの生成は、医用画像及びアノテーション情報の蓄積に応じて逐次実施できるので、ユーザに提示されるアノテーション情報の候補の妥当性を向上させることができる。
【００９２】
次に、図１１を参照して、本実施形態のアノテーション支援装置１の動作について説明する。図１１は、アノテーション支援装置１において実施されるアノテーション支援方法の処理内容を示すフローチャートである。
【００９３】
ステップＳ１において、画像取得部１１は、医用画像記憶部２０に記憶されている医用画像を取得する。ステップＳ２において、表示部１２は、画像取得部１１により取得された医用画像を表示装置に表示させる。なお、ステップＳ２において医用画像が表示されたときに、アノテーションガイド部１８は、表示された医用画像に関連付けるべきアノテーション情報の候補を、表示された医用画像に関連付けて表示させることとしてもよい。
【００９４】
ステップＳ３において、アノテーション入力受付部１４は、医用画像のノード及び階層構造において医用画像のノードに関連付けられているノードのいずれかに対する指定を受け付ける。さらに、ステップＳ４において、アノテーション入力受付部１４は、指定されたノードに関連付けられるべきアノテーション情報の入力を受け付ける。
【００９５】
ステップＳ５において、アノテーション格納部１５は、アノテーション入力受付部１４により受け付けられたアノテーション情報を、指定されたノードに関連付けて記憶させる。具体的には、アノテーション格納部１５は、階層構造ＨＳにおいて管理されているノードのうちの指定されたノードに関連付けて、入力されたアノテーション情報を記憶させる。
【００９６】
次に、図１２を参照して、コンピュータをアノテーション支援装置として機能させるためのアノテーション支援プログラムを説明する。図１２に示されるアノテーション支援プログラムＰ１は、メインモジュールｍ１０、画像取得モジュールｍ１１、表示モジュールｍ１２、領域指定受付モジュールｍ１３、アノテーション入力受付モジュールｍ１４、アノテーション格納モジュールｍ１５、学習用データ抽出モジュールｍ１６、モデル生成モジュールｍ１７及びアノテーションガイドモジュールｍ１８を含む。
【００９７】
メインモジュールｍ１０は、アノテーション支援処理を統括的に制御する部分である。画像取得モジュールｍ１１、表示モジュールｍ１２、領域指定受付モジュールｍ１３、アノテーション入力受付モジュールｍ１４、アノテーション格納モジュールｍ１５、学習用データ抽出モジュールｍ１６、モデル生成モジュールｍ１７及びアノテーションガイドモジュールｍ１８が実行されることにより、図１に示されるアノテーション支援装置１の画像取得部１１、表示部１２、領域指定受付部１３、アノテーション入力受付部１４、アノテーション格納部１５、学習用データ取得部１６、モデル生成部１７及びアノテーションガイド部１８のための各機能が実現される。
同様である。
【００９８】
アノテーション支援プログラムＰ１は、例えば、磁気ディスクや光ディスクまたは半導体メモリ等の記憶媒体Ｍ１によって提供されてもよい。また、アノテーション支援プログラムＰ１は、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。
【００９９】
以上説明した本実施形態のアノテーション支援装置１、アノテーション支援方法及びアノテーション支援プログラムＰ１では、医用画像が、医用画像のノードが属する医用画像階層、並びに、医用画像階層の上位の上位階層及び下位の下位階層のうちの少なくとも１つの階層を含む階層構造により管理される。そして、表示された医用画像のノード及びそのノードに関連付けられているいずれかのノードのいずれかに対する指定とともにアノテーション情報が受け付けられ、受け付けられたアノテーション情報が指定されたノードに関連付けて記憶される。これにより、医用画像のノード及びそのノードに関連付けられたノードに適切にアノテーション情報が関連付けられた階層構造のデータ群が得られる。このデータ群から学習用データを抽出することにより、医師による種々の情報の参照過程が反映された自動診断を実現しうるモデルの生成が可能となる。
【０１００】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【符号の説明】
【０１０１】
１…アノテーション支援装置、１１…画像取得部、１２…表示部、１３…領域指定受付部、１４…アノテーション入力受付部、１５…アノテーション格納部、１６…学習用データ取得部、１７…モデル生成部、１８…アノテーションガイド部、２０…医用画像記憶部、３０…モデル記憶部、Ｍ１…記憶媒体、ｍ１０…メインモジュール、ｍ１１…画像取得モジュール、ｍ１２…表示モジュール、ｍ１３…領域指定受付モジュール、ｍ１４…アノテーション入力受付モジュール、ｍ１５…アノテーション格納モジュール、ｍ１６…学習用データ抽出モジュール、ｍ１７…モデル生成モジュール、ｍ１８…アノテーションガイドモジュール、Ｐ１…アノテーション支援プログラム。
【図１】
2020153493.tif 000003
【図２】
2020153493.tif 000004
【図３】
2020153493.tif 000005
【図４】
2020153493.tif 000006
【図５】
2020153493.tif 000007
【図６】
2020153493.tif 000008
【図７】
2020153493.tif 000009
【図８】
2020153493.tif 000010
【図９】
2020153493.tif 000011
【図１０】
2020153493.tif 000012
【図１１】
2020153493.tif 000013
【図１２】
2020153493.tif 000014
【国際調査報告】
2020153493.tif 000015
2020153493.tif 000016
2020153493.tif 000017
2020153493.tif 000018