(57)【要約】  表示制御部が、少なくとも１つの関心領域が抽出された医用画像を表示部に表示する。修正部が、表示された医用画像から抽出された関心領域の境界に対する修正指示により、関心領域の境界を修正する。画像生成部が、抽出された関心領域に初期重み係数を設定し、医用画像における修正指示がなされた修正領域に対して修正重み係数を設定することにより、医用画像内の各画素に対して関心領域であることの重みを表す重み係数を各画素の画素値とする重み画像を生成する。
2020085336.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの関心領域が抽出された医用画像を表示部に表示する表示制御部と、
表示された前記医用画像から抽出された関心領域の境界に対する修正指示により、前記関心領域の境界を修正する修正部と、
前記抽出された関心領域に初期重み係数を設定し、前記医用画像における前記修正指示がなされた修正領域に対して修正重み係数を設定することにより、前記医用画像内の各画素に対して前記関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する画像生成部とを備えた重み画像生成装置。
【請求項２】
前記画像生成部は、前記修正指示の内容に応じて異なる前記修正重み係数を設定する請求項１に記載の重み画像生成装置。
【請求項３】
前記画像生成部は、前記修正指示が領域の追加の指示である場合、前記修正領域に対して正の修正重み係数を設定し、前記修正指示が領域の削除の指示である場合、前記修正領域に対して負の修正重み係数を設定する請求項２に記載の重み画像生成装置。
【請求項４】
複数の前記関心領域が前記医用画像から抽出されてなる場合、
前記修正部は、前記複数の関心領域のそれぞれに対する前記修正指示により、前記複数の関心領域のそれぞれの境界を修正し、
前記画像生成部は、前記複数の関心領域のそれぞれに対して前記重み係数を設定する請求項１から３のいずれか１項に記載の重み画像生成装置。
【請求項５】
前記画像生成部は、前記複数の関心領域が隣接する場合、前記複数の関心領域のそれぞれに対して設定された前記重み係数に応じて、前記重み画像における前記複数の関心領域の境界を設定する請求項４に記載の重み画像生成装置。
【請求項６】
前記画像生成部は、前記複数の関心領域のうちの１つの関心領域に対する修正指示により、該１つの関心領域以外の他の関心領域に対して前記修正重み係数を設定する請求項４または５に記載の重み画像生成装置。
【請求項７】
前記画像生成部は、前記複数の関心領域のうちの少なくとも１つの関心領域の前記重み係数に対して設定されたしきい値に応じて、前記複数の関心領域の境界を設定する請求項４から６のいずれか１項に記載の重み画像生成装置。
【請求項８】
前記画像生成部は、前記関心領域の種類に応じて、異なる前記修正重み係数を設定する請求項１から７のいずれか１項に記載の重み画像生成装置。
【請求項９】
前記画像生成部は、前記医用画像が３次元画像である場合、前記表示部に表示された前記医用画像において、視認できる画素に対する前記修正重み係数を、視認できない画素よりも大きくする請求項１から８のいずれか１項に記載の重み画像生成装置。
【請求項１０】
前記重み係数に対するしきい値を設定するしきい値設定部をさらに備え、
前記重み画像において前記重み係数が前記しきい値以上となる領域に対応する対応領域を、前記医用画像から抽出する対応領域抽出部をさらに備えた請求項１から９のいずれか１項に記載の重み画像生成装置。
【請求項１１】
請求項１０に記載の重み画像生成装置により生成された前記重み画像および前記医用画像から抽出された前記対応領域の画像を学習データとして取得する学習データ取得部と、
複数の前記学習データにより、前記医用画像が入力されると該医用画像に含まれる関心領域の判別結果を出力する判別器を学習する学習部とを備えた判別器学習装置。
【請求項１２】
請求項１１に記載の判別器学習装置により学習がなされた判別器。
【請求項１３】
関心領域の判別対象となる医用画像を取得する画像取得部と、
前記医用画像における前記関心領域を判別する請求項１２に記載の判別器とを備えた領域抽出装置。
【請求項１４】
前記判別器による前記関心領域の判別結果を表示する表示制御部をさらに備えた請求項１３に記載の領域抽出装置。
【請求項１５】
少なくとも１つの関心領域が抽出された医用画像を表示部に表示し、
表示された前記医用画像から抽出された関心領域の境界に対する修正指示により、前記関心領域の境界を修正し、
前記抽出された関心領域に初期重み係数を設定し、前記医用画像における前記修正指示がなされた修正領域に対して修正重み係数を設定することにより、前記医用画像内の各画素に対して前記関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する重み画像生成方法。
【請求項１６】
請求項１５に記載の重み画像生成方法により生成された前記重み画像および前記医用画像から抽出された、前記重み画像において前記重み係数が前記しきい値以上となる領域に対応する対応領域の画像を学習データとして取得し、
複数の前記学習データにより、前記医用画像が入力されると該医用画像に含まれる関心領域の判別結果を出力する判別器を学習する判別器学習方法。
【請求項１７】
関心領域の判別対象となる医用画像を取得し、
請求項１２に記載の判別器により、前記医用画像における前記関心領域を判別する領域抽出方法。
【請求項１８】
少なくとも１つの関心領域が抽出された医用画像を表示部に表示する手順と、
表示された前記医用画像から抽出された関心領域の境界に対する修正指示により、前記関心領域の境界を修正する手順と、
前記抽出された関心領域に初期重み係数を設定し、前記医用画像における前記修正指示がなされた修正領域に対して修正重み係数を設定することにより、前記医用画像内の各画素に対して前記関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する手順とをコンピュータに実行させる重み画像生成プログラム。
【請求項１９】
請求項１５に記載の重み画像生成方法により生成された前記重み画像および前記医用画像から抽出された、前記重み画像において前記重み係数が前記しきい値以上となる領域に対応する対応領域の画像を学習データとして取得する手順と、
複数の前記学習データにより、前記医用画像が入力されると該医用画像に含まれる関心領域の判別結果を出力する判別器を学習する手順とをコンピュータに実行させる判別器学習プログラム。
【請求項２０】
関心領域の判別対象となる医用画像を取得する手順と、
請求項１２に記載の判別器により、前記医用画像における前記関心領域を判別する手順とをコンピュータに実行させる領域抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、医用画像に含まれる関心領域に対する重みを表す重み画像を生成する重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器に関するものである。
【背景技術】
【０００２】
近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元の医用画像を用いての画像診断が可能となってきている。このような３次元の医用画像に含まれる臓器および病変等の関心領域をＡＩ(Artificial Intelligence）技術を用いて学習がなされた判別器を用いて自動で抽出することも行われている。しかしながら、自動で関心領域を抽出する場合、過抽出および抽出不足が発生する可能性がある。このような場合、自動で抽出された関心領域の境界を修正する必要がある。【０００３】
このように抽出された関心領域の境界を自動で修正する手法が提案されている（特開２００９−９５６４４号公報参照）。一方、既存の判別器により自動で抽出した関心領域を学習データとして用いて、より高度な抽出を行うことが可能な判別器を学習させる場合がある。このような場合には、学習の精度を高めるために、既存の判別器により抽出された関心領域の境界を修正して，より精度が高い学習データとして使用する必要がある。しかしながら、特開２００９−９５６４４号公報に記載された手法を用いて関心領域の境界を修正したとしても、関心領域の境界を正確に設定することは困難である。このため、実際には関心領域が抽出された医用画像を表示し、ユーザによるマニュアル操作により関心領域の境界の修正を行うことが多い。マニュアル操作により関心領域の境界を修正するに際しては、医用画像を表示し、表示された医用画像において、円形等のカーソルをドラッグすることにより、過抽出された領域を削除したり、抽出不足があった領域を追加したりして境界を編集することが行われている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、抽出の対象となる関心領域の境界が不明瞭な場合、修正を行うユーザによって、意図する関心領域の境界が異なるものとなる場合がある。また、同一ユーザであっても、編集のタイミングによって、関心領域の境界が変化する場合もある。また、境界を修正する作業中において、境界を規定するための画像のしきい値を変更するような場合もある。このため、関心領域の境界が不明瞭な場合、境界において領域の追加および削除が繰り返されて、関心領域の境界が設定されることとなる。一方、このようにして境界が設定された関心領域を学習データとして用いて判別器を学習させた場合、その判別器により抽出される関心領域についても領域の境界が不安定になりやすい。このため、そのように学習された判別器を用いた場合、関心領域が誤検出される可能性がある。【０００５】
本発明は上記事情に鑑みなされたものであり、境界の修正を反映させて医用画像に領域を設定できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本開示による重み画像生成装置は、少なくとも１つの関心領域が抽出された医用画像を表示部に表示する表示制御部と、
表示された医用画像から抽出された関心領域の境界に対する修正指示により、関心領域の境界を修正する修正部と、
抽出された関心領域に初期重み係数を設定し、医用画像における修正指示がなされた修正領域に対して修正重み係数を設定することにより、医用画像内の各画素に対して関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する画像生成部とを備える。【０００７】
なお、本開示による重み画像生成装置においては、画像生成部は、修正指示の内容に応じて異なる修正重み係数を設定するものであってもよい。【０００８】
また、本開示による重み画像生成装置においては、画像生成部は、修正指示が領域の追加の指示である場合、修正領域に対して正の修正重み係数を設定し、修正指示が領域の削除の指示である場合、修正領域に対して負の修正重み係数を設定するものであってもよい。【０００９】
また、本開示による重み画像生成装置においては、複数の関心領域が医用画像から抽出されてなる場合、
修正部は、複数の関心領域のそれぞれに対する修正指示により、複数の関心領域のそれぞれの境界を修正し、
画像生成部は、複数の関心領域のそれぞれに対して重み係数を設定するものであってもよい。【００１０】
また、本開示による重み画像生成装置においては、画像生成部は、複数の関心領域のうちの少なくとも１つの関心領域の重み係数に対して設定されたしきい値に応じて、複数の関心領域の境界を設定するものであってもよい。【００１１】
また、本開示による重み画像生成装置においては、画像生成部は、複数の関心領域が隣接する場合、複数の関心領域のそれぞれに対して設定された重み係数に応じて、重み画像における複数の関心領域の境界を設定するものであってもよい。【００１２】
また、本開示による重み画像生成装置においては、画像生成部は、複数の関心領域のうちの１つの関心領域に対する修正指示により、１つの関心領域以外の他の関心領域に対して修正重み係数を設定するものであってもよい。【００１３】
また、本開示による重み画像生成装置においては、画像生成部は、関心領域の種類に応じて、異なる修正重み係数を設定するものであってもよい。【００１４】
また、本開示による重み画像生成装置においては、画像生成部は、医用画像が３次元画像である場合、表示部に表示された医用画像において、視認できる画素に対する修正重み係数を、視認できない画素よりも大きくするものであってもよい。【００１５】
また、本開示による重み画像生成装置においては、重み係数に対するしきい値を設定するしきい値設定部をさらに備え、
重み画像において重み係数がしきい値以上となる領域に対応する対応領域を、医用画像から抽出する対応領域抽出部をさらに備えるものであってもよい。【００１６】
本開示による判別器学習装置は、本開示による重み画像生成装置により生成された重み画像および医用画像から抽出された対応領域の画像を学習データとして取得する学習データ取得部と、
複数の学習データにより、医用画像が入力されると医用画像に含まれる関心領域の判別結果を出力する判別器を学習する学習部とを備える。【００１７】
本開示による判別器は、本開示の判別器学習装置により学習がなされたものである。【００１８】
本開示による領域抽出装置は、関心領域の判別対象となる医用画像を取得する画像取得部と、
医用画像における関心領域を判別する本開示の判別器とを備える。【００１９】
なお、本開示による領域抽出装置においては、判別器による関心領域の判別結果を表示する表示制御部をさらに備えるものであってもよい。【００２０】
本開示による重み画像生成方法は、少なくとも１つの関心領域が抽出された医用画像を表示部に表示し、
表示された医用画像から抽出された関心領域の境界に対する修正指示により、関心領域の境界を修正し、
抽出された関心領域に初期重み係数を設定し、医用画像における修正指示がなされた修正領域に対して修正重み係数を設定することにより、医用画像内の各画素に対して関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する。【００２１】
本開示による判別器学習方法は、本開示による重み画像生成方法により生成された重み画像および医用画像から抽出された、重み画像において重み係数がしきい値以上となる領域に対応する対応領域の画像を学習データとして取得し、
複数の学習データにより、医用画像が入力されると医用画像に含まれる関心領域の判別結果を出力する判別器を学習する。【００２２】
本開示による領域抽出方法は、関心領域の判別対象となる医用画像を取得し、
本開示の判別器により、医用画像における関心領域を判別する。【００２３】
なお、本開示による重み画像生成方法、判別器学習方法および領域抽出方法をコンピュータに実行させるためのプログラムとして提供してもよい。【００２４】
本開示による他の重み画像生成装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
少なくとも１つの関心領域が抽出された医用画像を表示部に表示し、
表示された医用画像から抽出された関心領域の境界に対する修正指示により、関心領域の境界を修正し、
抽出された関心領域に初期重み係数を設定し、医用画像における修正指示がなされた修正領域に対して修正重み係数を設定することにより、医用画像内の各画素に対して関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する処理を実行する。【００２５】
本開示による他の判別器学習装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
本開示による重み画像生成方法により生成された重み画像および医用画像から抽出された対応領域の画像を学習データとして取得し、
複数の学習データにより、医用画像が入力されると医用画像に含まれる関心領域の判別結果を出力する判別器を学習する処理を実行する。【００２６】
本開示による他の領域抽出装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
関心領域の判別対象となる医用画像を取得し、
本開示の判別器により、医用画像における関心領域を判別する処理を実行する。
【発明の効果】
【００２７】
本開示によれば、境界の修正を適切に反映させて医用画像に関心領域を設定することができる。
【図面の簡単な説明】
【００２８】
【図１】本開示の実施形態による重み画像生成装置を適用した、診断支援システムの概要を示すハードウェア構成図
【図２】本開示の実施形態による重み画像生成装置の概略構成を示す図
【図３】表示部に表示された断層画像を示す図
【図４】関心領域の境界の修正を説明するための図
【図５】抽出不足となった場合における関心領域の境界の修正を説明するための図
【図６】過抽出となった場合における関心領域の境界の修正を説明するための図
【図７】初期重み係数のみが設定された重み画像を示す図
【図８】重み係数の修正後の重み画像を示す図
【図９】重み係数の修正後の重み画像を示す図
【図１０】関心領域の境界付近における重み係数の値の分布を説明するための図
【図１１】対応領域が抽出された断層画像においてスライダが表示された状態を示す図
【図１２】抽出された第１の関心領域および第２の関心領域が隣接している状態を示す図
【図１３】第１の関心領域および第２の関心領域のそれぞれに重み係数が設定された重み画像を示す図
【図１４】第１の関心領域および第２の関心領域が隣接する場合における、カーソルを用いての重み係数の修正を説明するための図
【図１５】第１の関心領域および第２の関心領域が隣接する場合における重み係数の修正を説明するための図
【図１６】本実施形態において行われる重み画像生成処理を示すフローチャート
【図１７】３次元画像おける境界の修正を説明するための図
【図１８】球状のカーソル内における断層画像を示す図
【図１９】３次元画像において重み係数を修正する場合における重み係数の相違を説明するための図
【図２０】本開示の実施形態による判別器学習装置を内包する領域抽出装置の概略構成を示す図
【図２１】関心領域の判別結果を示す図
【図２２】本実施形態において行われる学習処理を示すフローチャート
【図２３】本実施形態において行われる領域判別処理を示すフローチャート
【発明を実施するための形態】
【００２９】
以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による重み画像生成装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による重み画像生成装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
【００３０】
３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、３次元画像撮影装置２はＣＴ装置であり、被検体の診断対象となる部位を含むＣＴ画像を３次元画像Ｇ０として生成する。また、３次元画像Ｇ０は複数の断層画像からなる。３次元画像Ｇ０および３次元画像Ｇ０を構成する複数の断層画像が、本開示の医用画像に対応する。
【００３１】
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像Ｇ０の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
【００３２】
重み画像生成装置１は、１台のコンピュータに、本実施形態の重み画像生成プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。重み画像生成プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
【００３３】
図２は、コンピュータに重み画像生成プログラムをインストールすることにより実現される、本実施形態による重み画像生成装置の概略構成を示す図である。図２に示すように、重み画像生成装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、重み画像生成装置１には、液晶ディスプレイ等の表示部１４、並びにキーボードおよびマウス等の入力部１５が接続されている。
【００３４】
ストレージ１３はハードディスクドライブ等からなり、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像Ｇ０および処理に必要な情報を含む各種情報が記憶されている。
【００３５】
また、メモリ１２には、重み画像生成プログラムが記憶されている。重み画像生成プログラムは、ＣＰＵ１１に実行させる処理として、３次元画像Ｇ０を取得する画像取得処理、３次元画像Ｇ０から関心領域を抽出する関心領域抽出処理、３次元画像Ｇ０を表示部１４に表示する表示制御処理、表示された３次元画像Ｇ０から抽出された関心領域の境界に対する修正指示により、関心領域の境界を修正する修正処理、抽出された関心領域に初期重み係数を設定し、３次元画像Ｇ０における修正指示がなされた修正領域に対して修正重み係数を設定することにより、３次元画像Ｇ０内の各画素に対して関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する画像生成処理、重み係数に対するしきい値を設定するしきい値設定処理、並びに重み画像において重み係数がしきい値以上となる画素からなる領域に対応する対応領域を、３次元画像Ｇ０から抽出する対応領域抽出処理を規定する。
【００３６】
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、関心領域抽出部２２、表示制御部２３、修正部２４、画像生成部２５、しきい値設定部２６および対応領域抽出部２７として機能する。
【００３７】
画像取得部２１は、関心領域を含む３次元画像Ｇ０を画像保管サーバ３から取得する。関心領域は、例えば診断の対象となるような、ユーザが注目する臓器、病変、骨および軟骨等の構造物の領域である。なお、３次元画像Ｇ０が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３から３次元画像Ｇ０を取得するようにしてもよい。
【００３８】
関心領域抽出部２２は、３次元画像Ｇ０から関心領域を抽出する。このために、関心領域抽出部２２は、３次元画像Ｇ０から関心領域を抽出するように機械学習がなされた学習済みモデルを備える。学習済みモデルは、診断の対象となる臓器、病変、骨および軟骨等の構造物を関心領域として抽出するように、ディープラーニング（深層学習）がなされたニューラルネットワークからなる。学習済みモデルは、３次元画像Ｇ０が入力されると３次元画像Ｇ０の各画素が関心領域であるか否かを表す判別結果を出力する。そして関心領域抽出部２２は、関心領域であると判別された画素からなる領域を関心領域として抽出する。
【００３９】
なお、学習済みモデルは、ディープラーニングがなされたニューラルネットワークの他、例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）、およびリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等からなるものであってもよい。また、関心領域抽出部２２は、機械学習がなされた学習済みモデルを備えたものに限定されるものではない。例えば、テンプレートマッチング等により関心領域を抽出するものであってもよい。
【００４０】
表示制御部２３は、３次元画像Ｇ０を表示部１４に表示する。本実施形態においては、３次元画像Ｇ０を構成する複数の断層画像Ｄｊ（ｊ＝１〜ｎ；ｎは断層画像の数）を，入力部１５からの指示に応じて、順次表示するものとする。そして本実施形態においては、ユーザは、順次表示される断層画像Ｄｊに対して、関心領域の境界の修正を行う。図３は表示部１４に表示された断層画像を示す図である。なお、表示する断層画像は、アキシャル断面、サジタル断面およびコロナル断面のいずれの断面の断層画像であってもよい。本実施形態においては、図３に示すように、例えば腹部のアキシャル断面の１つの断層画像Ｄｋが表示されるものとする。
【００４１】
修正部２４は、表示部１４に表示された断層画像Ｄｋにおける関心領域の境界に対する、ユーザによる修正指示により、関心領域の境界を修正する。図４は関心領域の境界の修正を説明するための図である。なお、図４においては、説明のために関心領域を拡大して示している。図４に示すように、断層画像Ｄｋには、抽出された関心領域３０の境界３０Ｌが含まれている。なお、関心領域３０はマスクとして断層画像Ｄｋに含まれる。マスクは、関心領域３０の輪郭のみを表すものであってもよく、領域内にハッチングが施されたものであってもよく、領域内が予め定められた色により塗りつぶされたものであってもよい。以降の説明において、関心領域３０は、断層画像Ｄｋにおいて、マスクされた領域を意味するものとする。ここで、関心領域抽出部２２による関心領域３０の抽出結果は必ずしも正確ではなく、断層画像Ｄｋに含まれる実際の関心領域と一致しない場合がある。例えば、過抽出により実際の関心領域よりも大きい関心領域３０が抽出される場合がある。逆に、抽出不足により、実際の関心領域よりも小さい関心領域３０が抽出される場合がある。
【００４２】
このような場合、ユーザは、入力部１５を用いて、抽出された関心領域３０の境界３０Ｌを修正する。具体的には、入力部１５から修正指示が入力されると、修正部２４により表示部１４に円形のカーソル４０が表示される。ユーザは入力部１５のマウスを用いてカーソル４０を移動して、関心領域３０の境界３０Ｌを実際の関心領域の境界と一致させるように修正指示を行う。修正部２４は、ユーザによる修正指示に従って、関心領域３０の境界３０Ｌを修正する。なお、カーソル４０の形状は円形に限定されるものではなく、矩形、三角形および矢印形状等、任意の形状とすることができる。
【００４３】
図５は抽出不足となった場合における関心領域の境界の修正を説明するための図である。図５に示すように、実際の関心領域３１に対して、関心領域３０の抽出が不足している領域Ａ１０については、領域を加える指示を行いつつ、カーソル４０の外縁を実際の関心領域３１の境界３１Ｌに沿って例えば矢印Ｂの方向に移動させることにより、不足している領域Ａ１０を関心領域３０に追加する指示を行う。なお、領域を追加する指示は、例えば入力部１５を構成するマウスの左クリックまたは予め定められたカーソルの押下とマウスのクリックとの組み合わせ等とすることができるが、これらに限定されるものではない。
【００４４】
図６は過抽出となった場合における関心領域の境界の修正を説明するための図である。図６に示すように、実際の関心領域３１に対して第１の関心領域３０が過抽出されている領域Ａ１１については、領域を削除する指示を行いつつ、カーソル４０の外縁を実際の関心領域３１の境界３１Ｌに沿って移動させることにより、過抽出された領域Ａ１１を関心領域３０から削除する指示を行う。なお、領域を削除する指示は、例えば入力部１５を構成するマウスの右クリックまたは予め定められたカーソルの押下とマウスのクリックとの組み合わせ等とすることができるが、これらに限定されるものではない。
【００４５】
画像生成部２５は、抽出された関心領域に初期重み係数を設定し、３次元画像Ｇ０、すなわち断層画像Ｄｋにおける修正指示がなされた修正領域に対して修正重み係数を設定する。そしてこれにより、画像生成部２５は、関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像Ｗ０を生成する。なお、重み画像Ｗ０の各画素は３次元画像Ｇ０の各画素に対応する。本実施形態においては、例えば初期重み係数を１００、修正により追加された領域に対して設定する修正重み係数を＋４、修正により削除された領域に対して設定する修正重み係数を−４とする。なお、初期重み係数および修正重み係数の値はこれらの値に限定されるものではない。例えば、初期重み係数として負の値を設定してもよい。また、例えば追加された領域に対して負の修正重み係数を、削除された領域に対して正の修正重み係数を設定してもよい。また、修正重み係数を正の値とし、追加された領域に対する修正重み係数を削除された領域に対する修正重み係数よりも大きい値を有するものとしてもよい。
【００４６】
図７は初期重み係数のみが設定された重み画像Ｗ０を示す図である。図７に示すように、重み画像Ｗ０においては、境界３０Ｌにより囲まれている関心領域３０に対応する領域の重み係数が１００、それ以外の領域の重み係数が０となっている。
【００４７】
一方、図７に示す重み画像Ｗ０において、図５に示すように領域Ａ１０を追加する修正を行った場合、カーソル４０が通過した領域に対して＋４の修正重み係数が設定される。すなわち、関心領域３０の境界３０Ｌから内側においてカーソル４０が通過した部分に対しては、＋４の修正重み係数が設定されるため、その部分の重み係数は１０４となる。また、関心領域３０の境界３０Ｌから外側においてカーソル４０が通過した部分に対しては、＋４の修正重み係数が設定されるため、その部分の重み係数は４となる。その結果、重み画像Ｗ０における重み係数は図８に示すものとなる。
【００４８】
また、図７に示す重み画像Ｗ０において、図６に示すように領域Ａ１１を削除する修正を行った場合、カーソル４０が通過した領域に対して−４の修正重み係数が設定される。すなわち、関心領域３０の境界３０Ｌから内側においてカーソル４０が通過した部分に対しては、−４の修正重み係数が設定されるため、その部分の重み係数は９６となる。また、関心領域３０の境界３０Ｌから外側においてカーソル４０が通過した部分に対しては、−４の修正重み係数が設定されるため、その部分の重み係数は−４となる。その結果、重み画像Ｗ０における重み係数は図９に示すものとなる。
【００４９】
ここで、断層画像Ｄｋにおいて、抽出の対象となる関心領域３０の境界が不明瞭な場合、修正を行うユーザによって、意図する関心領域３０の境界が異なるものとなる場合がある。また、同一ユーザであっても、編集のタイミングによって、関心領域３０の境界が変わる場合もある。また、境界を修正する作業中において、境界を規定するための画像のしきい値を変更するような場合もある。このような場合には、関心領域抽出部２２が備えるような判別器の学習の精度を高めるために、関心領域３０の境界を修正してより精度が高い学習データを取得する必要がある。このため、断層画像から抽出された関心領域３０の境界が不明瞭な場合、ユーザは、関心領域３０の境界において領域を追加したり、領域を削除したりする編集を繰り返して、関心領域３０の境界を確定することとなる。その結果、重み画像Ｗ０は、図１０に示すように、関心領域の境界付近において、重み係数の値が等高線状に分布するものとなる。
【００５０】
しきい値設定部２６は、重み画像Ｗ０における関心領域の抽出のためのしきい値を設定する。具体的には、ユーザによる入力部１５からの入力によりしきい値を設定すればよい。
【００５１】
対応領域抽出部２７は、重み画像Ｗ０において、しきい値設定部２６が設定したしきい値以上となる領域の境界を、関心領域３０の境界に設定し、重み画像Ｗ０を生成した断層画像Ｄｋ（または３次元画像Ｇ０）から、重み画像Ｗ０における重み係数がしきい値以上となる画素からなる領域に対応する領域を対応領域として抽出する。例えば、重み画像Ｗ０における重み係数が図１０に示すものであり、しきい値を１００に設定した場合、重み係数が１００となる領域と９６となる領域との境界を、関心領域の境界として、断層画像Ｄｋ（または３次元画像Ｇ０）から対応領域を抽出する。
【００５２】
なお、対応領域抽出部２７が抽出した対応領域を表示部１４に表示し、表示された対応領域を見たユーザによる、しきい値の変更を受け付けるようにしてもよい。この場合、図１１に示すように、表示部１４にスライダ２６Ａを表示し、入力部１５によるスライダ２６Ａをスライドさせる指示により、しきい値の変更を受け付けるようにしてもよい。ここで、図１１に示すスライダ２６Ａにおいては、５０から１００の間でしきい値を設定可能とされている。この場合、スライダ２６Ａによりしきい値を変更すると、抽出された対応領域２９のサイズが、設定したしきい値に応じて変更されることとなる。すなわち、しきい値を小さくすれば、抽出される対応領域２９のサイズは大きくなり、しきい値を大きくすれば，抽出される対応領域２９のサイズは小さくなる。
【００５３】
対応領域抽出部２７は、画像生成部２５が生成した重み画像Ｗ０と対応領域とを対応づけて、ストレージ１３に保存する。あるいは、ネットワーク４を介して、画像保管サーバ３等の外部の保管装置に保管する。なお、重み画像Ｗ０は３次元画像Ｇ０に含まれる断層画像Ｄｊのそれぞれに対して生成されるため、保管される重み画像Ｗ０は３次元画像となる。また、対応領域も重み画像Ｗ０と同様に３次元画像である。
【００５４】
なお、断層画像Ｄｋにおいて複数の関心領域が抽出される場合がある。このように、複数の関心領域が抽出された場合において、関心領域同士が隣接する場合がある。このような場合、隣接する複数の関心領域のそれぞれに対して修正指示を行うようにすればよい。例えば図１２に示すように、第１の関心領域３１および第２の関心領域３２が隣接する場合、修正部２４により、第１の関心領域３１および第２の関心領域３２のそれぞれに対して別個に修正を行う。これにより、画像生成部２５は、重み画像Ｗ０において、第１の関心領域３１についての第１の重み係数を設定し、第２の関心領域３２についての第２の重み係数を設定する。図１３は第１の関心領域３１および第２の関心領域のそれぞれに重み係数が設定された重み画像を示す図である。
【００５５】
一方、第１の関心領域３１と第２の関心領域３２とが隣接する部分において、第１の関心領域３１および第２の関心領域３２のいずれか一方の境界の修正を、他方の境界の修正に反映させてもよい。例えば、図１４に示すように、第１の関心領域３１に対して、カーソル４０を用いて領域Ａ１２を追加した場合、第１の関心領域３１に関しては、領域Ａ１２の重み係数は１０４となる。一方、第１の関心領域３１と第２の関心領域３２とが隣接する部分においては、第２の関心領域３２におけるカーソル４０が通過した領域（図１４において破線で示す）の重み係数を、例えば−２とする。これにより、図１５に示す重み画像Ｗ０においては、第１の関心領域３１に関して、第１の関心領域３１に対応する領域の中央付近の重み係数は１００、その外側の重み係数は１０４となる。一方、第２の関心領域３２に関して、第２の関心領域３２に対応する領域の中央付近の重み係数は１００、斜線で示すカーソル４０が通過した領域の重み係数は９８となる。なお、図１５においては、第１の関心領域３１と第２の関心領域３２とが接する部分においては、第２の関心領域３２における重み係数である「９８」のみを示している。
【００５６】
このように重み画像Ｗ０を生成した場合、関心領域を抽出するためのしきい値に応じて、第１の関心領域３１と第２の関心領域３２との境界が異なるものとなる。すなわち、第２の関心領域３２に対する境界のしきい値を１００とすれば、第１の関心領域３１と第２の関心領域３２とが隣接する部分における境界は、線Ｌ１で示すものとなる。また、第２の関心領域３２に対する境界のしきい値を９８とすれば、第１の関心領域３１と第２の関心領域３２とが接する部分における境界は、線Ｌ２で示すものとなる。
【００５７】
次いで、本実施形態において行われる重み画像生成処理について説明する。図１６は本実施形態において行われる重み画像生成処理を示すフローチャートである。まず、画像取得部２１が、３次元画像Ｇ０を取得する（ステップＳＴ１）。次いで、関心領域抽出部２２が、３次元画像Ｇ０から関心領域を抽出する（ステップＳＴ２）。そして、表示制御部２３が３次元画像Ｇ０を構成する複数の断層画像Ｄｊのうちの１つの断層画像Ｄｋを表示部１４に表示する（ステップＳＴ３）。
【００５８】
そして、修正部２４が、ユーザによる入力部１５を用いての、抽出された関心領域３０の境界３０Ｌの修正指示により、断層画像Ｄｋにおいて抽出された関心領域３０の境界３０Ｌを修正する（ステップＳＴ４）。修正部２４による修正指示により、画像生成部２５が、重み画像を生成する（ステップＳＴ５）。そして、修正の終了の指示がなされたか否かが判定され（ステップＳＴ６）、ステップＳＴ６が否定されるとステップＳＴ４に戻る。ステップＳＴ６が肯定されると、しきい値設定部２６が、ユーザによる指示により、重み係数に対するしきい値を設定する（ステップＳＴ７）。そして、対応領域抽出部２７が、重み画像Ｗ０におけるしきい値以上となる重み係数となる画素からなる領域に対応する対応領域を、断層画像Ｄｋから抽出し（ステップＳＴ８）、処理を終了する。
【００５９】
このように、本実施形態においては、３次元画像Ｇ０，すなわち断層画像Ｄｋが表示部１４に表示され、表示された断層画像Ｄｋにおける関心領域の境界の修正指示が受け付けられる。また、抽出された関心領域に初期重み係数が設定され、断層画像Ｄｋにおける修正指示がなされた修正領域に対して修正重み係数が設定され、これにより、断層画像Ｄｋ内の各画素に対して関心領域であることの重みを表す重み係数を各画素の画素値とする重み画像Ｗ０が生成される。このように生成された重み画像Ｗ０においては、関心領域が修正指示に応じた画素値を有するものとなる。このため、重み画像Ｗ０の画素値に応じて、重み画像Ｗ０における関心領域であることの確からしさを認識することができる。したがって、本開示によれば、重み画像Ｗ０を参照することにより、境界の修正を反映させて断層画像Ｄｋ、さらには３次元画像Ｇ０に関心領域を設定することができる。
【００６０】
なお、上記実施形態においては、３次元画像Ｇ０を構成する断層画像Ｄｋを順次表示して、関心領域の修正および重み画像の生成を行っている。しかしながら、３次元画像Ｇ０を例えば周知の投影法により投影して表示部１４に表示し、表示された３次元画像Ｇ０に対して関心領域の修正および重み画像Ｗ０の生成を行うようにしてもよい。
【００６１】
図１７は３次元画像Ｇ０おける境界の修正を説明するための図である。図１７に示すように、３次元画像Ｇ０の投影画像Ｇ１には、３次元形状をなす関心領域３０が２次元状に投影されている。ユーザは表示された投影画像Ｇ１において球状のカーソル４１を用いて境界を修正するが、実際に表示部１４に表示されるのは２次元の投影画像Ｇ１であるため、投影画像Ｇ１上においてはカーソル４１は円形に見えることとなる。このため、ユーザは円形に見えるカーソル４１を用いて、投影画像Ｇ１において関心領域３０の境界を修正することとなる。
【００６２】
このように境界の修正を行う場合、３次元画像Ｇ０上においては、図１８に示すように、球状のカーソル４１内において、奥行き方向に複数の断層画像（ここでは４つ）Ｄ１〜Ｄ４が含まれることとなる。この場合、表示された投影画像Ｇ１において視認できる画素に対する重み係数を、視認できない画素よりも大きくすればよい。例えば、図１９に示すように、投影画像Ｇ１において視認できる断層画像Ｄ１においては、追加された領域の修正重み係数を＋１０、視認できない断層画像Ｄ２〜Ｄ４については、断層画像Ｄ１から離れるほど、修正重み係数を＋８、＋６、＋４と順に小さくしてもよい。
【００６３】
また、上記実施形態においては、関心領域の種類に応じて異なる修正重み係数を設定するようにしてもよい。例えば、肺に関する疾患は数十種類あるが、数十種類の疾患を，小分類、中分類および大分類と分類することができる。この場合、大分類に対する修正は、小分類に対する修正よりも関心領域の分類に対する影響が大きい。このため、大分類に対する修正重み係数を小分類に対する修正重み係数よりも大きくすることが好ましい。
【００６４】
次いで、本開示の判別器学習装置、判別器および領域抽出装置の実施形態について説明する。図２０は、コンピュータに判別器学習プログラムおよび領域抽出プログラムをインストールすることにより実現される判別器学習装置を内包する領域抽出装置の概略構成を示す図である。図２０に示すように、領域抽出装置５０は、標準的なワークステーションの構成として、ＣＰＵ５１、メモリ５２およびストレージ５３を備えている。また、領域抽出装置５０には、液晶ディスプレイ等の表示部５４、並びにキーボードおよびマウス等の入力部５５が接続されている。
【００６５】
メモリ５２には、判別器学習プログラムおよび領域抽出プログラムが記憶されている。判別器学習プログラムは、ＣＰＵ５１に実行させる処理として、本実施形態による重み画像生成装置１により生成された重み画像Ｗ０および重み画像Ｗ０から抽出された対応領域の画像を学習データとして取得する学習データ取得処理、並びに複数の学習データにより、３次元画像Ｇ０が入力されると３次元画像Ｇ０に含まれる関心領域の判別結果を出力する判別器を学習する学習処理を規定する。また、領域抽出プログラムは、ＣＰＵ５１に実行させる処理として、関心領域の判別対象となる３次元画像Ｇ０を取得する画像取得処理、および判別器による関心領域の判別結果を表示する表示制御処理を規定する。
【００６６】
そして、ＣＰＵ５１がプログラムに従いこれらの処理を実行することで、コンピュータは、学習データ取得部６１、学習部６２、判別器６３、画像取得部６４および表示制御部６５として機能する。
【００６７】
学習データ取得部６１は、重み画像生成装置１により生成された重み画像Ｗ０および３次元画像Ｇ０から抽出された対応領域の画像を学習データとして画像保管サーバ３から取得する。なお、学習データが既にストレージ１３に記憶されている場合には、学習データ取得部６１は、ストレージ１３から学習データを取得するようにしてもよい。
【００６８】
学習部６２は、３次元画像Ｇ０が入力されると、３次元画像Ｇ０における関心領域を判別するための判別器６３を、複数の学習データにより学習する。本実施形態においては、判別器６３は、関心領域の抽出の対象となる３次元画像Ｇ０が入力されると、３次元画像Ｇ０に含まれる関心領域の判別結果を出力する。具体的には、判別器６３は、判別対象となる３次元画像Ｇ０の各ボクセルが、関心領域にあるか関心領域以外の領域にあるかを判別し、その判別結果を出力する。このため、学習部６２は、複数の学習データ（すなわち重み画像Ｗ０および対応領域の画像）から、予め定められたサイズ（例えば３×３等）の領域内の特徴量を取得し、取得した特徴量を判別器６３に入力し、関心領域の判別結果を出力するように、判別器６３の学習、すなわち機械学習を行う。なお、判別結果は、３次元画像Ｇ０に含まれる各画素が関心領域であることの確からしさを、例えば百分率で表した数値となる。また、学習は予め定められた回数または関心領域の判別結果が予め定められた確からしさ（例えば９９％）となるまで行われる。
【００６９】
このように学習が行われることにより、３次元画像Ｇ０が入力されると、３次元画像Ｇ０のボクセルを、関心領域と関心領域以外の領域とに分類して、３次元画像Ｇ０における関心領域を判別する判別器６３が生成される。
【００７０】
なお、判別器６３としては、サポートベクタマシン、ディープニューラルネットワーク、畳み込みニューラルネットワーク、およびリカレントニューラルネットワーク等を用いることができる。
【００７１】
画像取得部６４は、関心領域抽出の対象となる３次元画像Ｇ０を画像保管サーバ３から取得する。なお、３次元画像Ｇ０が既にストレージ１３に記憶されている場合には、画像取得部６４は、ストレージ１３から３次元画像Ｇ０を取得するようにしてもよい。
【００７２】
表示制御部６５は、判別器６３による関心領域の判別結果を表示部５４に表示する。具体的には、判別された関心領域を、３次元画像Ｇ０において強調表示する。図２１は関心領域の判別結果を示す図である。図２１に示すように、３次元画像Ｇ０のうちの１つの断層画像Ｄｋにおいて、判別された関心領域７０にハッチングが付与されることにより、関心領域７０が強調表示されている。なお、ハッチングの付与に代えて、輪郭線により関心領域７０を囲むことにより関心領域を強調表示してもよく、関心領域７０以外の領域をマスクすることにより、関心領域７０を強調表示してもよい。
【００７３】
次いで、本実施形態における学習処理について説明する。図２２は、本実施形態において行われる学習処理を示すフローチャートである。まず、学習データ取得部６１が、学習データを取得する（ステップＳＴ１１）。次いで、学習部６２が、複数の学習データにより、３次元画像Ｇ０が入力されると、３次元画像Ｇ０における関心領域を判別する判別器６３を学習し（ステップＳＴ１２）、処理を終了する。
【００７４】
次いで、本実施形態における領域判別処理について説明する。図２３は、本実施形態による領域判別処理のフローチャートである。まず、画像取得部６４が、関心領域の判別対象となる３次元画像Ｇ０を取得する（ステップＳＴ２１）。そして、判別器６３が、３次元画像Ｇ０における関心領域を判別する（ステップＳＴ２２）。次いで、表示制御部６５が、判別器６３による関心領域の判別結果を表示し（ステップＳＴ２３）、処理を終了する。
【００７５】
なお、上記実施形態においては、重み画像生成装置が、関心領域抽出部２２を備えるものとしているが、これに限定されるものではない。重み画像生成装置とネットワーク４を介して接続された別個の装置において関心領域を抽出してもよい。また、取得する３次元画像Ｇ０が既に関心領域が抽出されたものであってもよい。
【００７６】
また、上記実施形態において、例えば、画像取得部２１、関心領域抽出部２２、表示制御部２３、修正部２４、画像生成部２５、しきい値設定部２６、対応領域抽出部２７、学習データ取得部６１、学習部６２、判別器６３、画像取得部６４、および表示制御部６５といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field  Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【００７７】
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
【００７８】
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
【００７９】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
【符号の説明】
【００８０】
１    重み画像生成装置
２    ３次元画像撮影装置
３    画像保管サーバ
４    ネットワーク
１１，５１    ＣＰＵ
１２，５２    メモリ
１３，５３    ストレージ
１４，５４    ディスプレイ
１５，５５    入力部
２１    画像取得部
２２    関心領域抽出部
２３    表示制御部
２４    修正部
２５    画像生成部
２６    しきい値設定部
２６Ａ    スライダ
２７    領域抽出部
２９    対応領域
３０    関心領域
３０Ｌ    関心領域の境界
３１    第１の関心領域
３２    第２の関心領域
５０    領域抽出装置
６１    学習データ取得部
６２    学習部
６３    判別器
６４    画像取得部
６５    表示制御部
７０    判別された関心領域
Ａ１０    不足している領域
Ａ１１    過抽出の領域
Ａ１２    追加された領域
Ｄｋ，Ｄ１〜Ｄ４    断層画像
Ｌ１，Ｌ２    境界を表す線
Ｗ０    重み画像
【図１】
2020085336.tif 000003
【図２】
2020085336.tif 000004
【図３】
2020085336.tif 000005
【図４】
2020085336.tif 000006
【図５】
2020085336.tif 000007
【図６】
2020085336.tif 000008
【図７】
2020085336.tif 000009
【図８】
2020085336.tif 000010
【図９】
2020085336.tif 000011
【図１０】
2020085336.tif 000012
【図１１】
2020085336.tif 000013
【図１２】
2020085336.tif 000014
【図１３】
2020085336.tif 000015
【図１４】
2020085336.tif 000016
【図１５】
2020085336.tif 000017
【図１６】
2020085336.tif 000018
【図１７】
2020085336.tif 000019
【図１８】
2020085336.tif 000020
【図１９】
2020085336.tif 000021
【図２０】
2020085336.tif 000022
【図２１】
2020085336.tif 000023
【図２２】
2020085336.tif 000024
【図２３】
2020085336.tif 000025
【手続補正書】
【提出日】令和3年4月20日(2021.4.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも１つの関心領域が抽出された医用画像を表示部に表示する表示制御部と、
表示された前記医用画像から抽出された関心領域の境界に対する修正指示により、前記関心領域の境界を修正する修正部と、
前記抽出された関心領域に初期重み係数を設定し、前記医用画像における前記修正指示がなされた修正領域に対して修正重み係数を設定することにより、前記医用画像内の各画素に対して前記関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する画像生成部とを備えた重み画像生成装置。
【請求項２】
前記画像生成部は、前記修正指示の内容に応じて異なる前記修正重み係数を設定する請求項１に記載の重み画像生成装置。
【請求項３】
前記画像生成部は、前記修正指示が領域の追加の指示である場合、前記修正領域に対して正の修正重み係数を設定し、前記修正指示が領域の削除の指示である場合、前記修正領域に対して負の修正重み係数を設定する請求項２に記載の重み画像生成装置。
【請求項４】
複数の前記関心領域が前記医用画像から抽出されてなる場合、
前記修正部は、前記複数の関心領域のそれぞれに対する前記修正指示により、前記複数の関心領域のそれぞれの境界を修正し、
前記画像生成部は、前記複数の関心領域のそれぞれに対して前記重み係数を設定する請求項１から３のいずれか１項に記載の重み画像生成装置。
【請求項５】
前記画像生成部は、前記複数の関心領域が隣接する場合、前記複数の関心領域のそれぞれに対して設定された前記重み係数に応じて、前記重み画像における前記複数の関心領域の境界を設定する請求項４に記載の重み画像生成装置。
【請求項６】
前記画像生成部は、前記複数の関心領域のうちの１つの関心領域に対する修正指示により、該１つの関心領域以外の他の関心領域に対して前記修正重み係数を設定する請求項４または５に記載の重み画像生成装置。
【請求項７】
前記画像生成部は、前記複数の関心領域のうちの少なくとも１つの関心領域の前記重み係数に対して設定されたしきい値に応じて、前記複数の関心領域の境界を設定する請求項４から６のいずれか１項に記載の重み画像生成装置。
【請求項８】
前記画像生成部は、前記関心領域の種類に応じて、異なる前記修正重み係数を設定する請求項１から７のいずれか１項に記載の重み画像生成装置。
【請求項９】
前記画像生成部は、前記医用画像が３次元画像である場合、前記表示部に表示された前記医用画像において、視認できる画素に対する前記修正重み係数を、視認できない画素よりも大きくする請求項１から８のいずれか１項に記載の重み画像生成装置。
【請求項１０】
前記重み係数に対するしきい値を設定するしきい値設定部をさらに備え、
前記重み画像において前記重み係数が前記しきい値以上となる領域に対応する対応領域を、前記医用画像から抽出する対応領域抽出部をさらに備えた請求項１から９のいずれか１項に記載の重み画像生成装置。
【請求項１１】
請求項１０に記載の重み画像生成装置により生成された前記重み画像および前記医用画像から抽出された前記対応領域の画像を学習データとして取得する学習データ取得部と、
複数の前記学習データにより、前記医用画像が入力されると該医用画像に含まれる関心領域の判別結果を出力する判別器を学習する学習部とを備えた判別器学習装置。
【請求項１２】
請求項１１に記載の判別器学習装置により学習がなされた判別器。
【請求項１３】
関心領域の判別対象となる医用画像を取得する画像取得部と、
前記医用画像における前記関心領域を判別する請求項１２に記載の判別器とを備えた領域抽出装置。
【請求項１４】
前記判別器による前記関心領域の判別結果を表示する表示制御部をさらに備えた請求項１３に記載の領域抽出装置。
【請求項１５】
少なくとも１つの関心領域が抽出された医用画像を表示部に表示し、
表示された前記医用画像から抽出された関心領域の境界に対する修正指示により、前記関心領域の境界を修正し、
前記抽出された関心領域に初期重み係数を設定し、前記医用画像における前記修正指示がなされた修正領域に対して修正重み係数を設定することにより、前記医用画像内の各画素に対して前記関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する重み画像生成方法。
【請求項１６】
請求項１５に記載の重み画像生成方法により生成された前記重み画像および前記医用画像から抽出された、前記重み画像において前記重み係数がしきい値以上となる領域に対応する対応領域の画像を学習データとして取得し、
複数の前記学習データにより、前記医用画像が入力されると該医用画像に含まれる関心領域の判別結果を出力する判別器を学習する判別器学習方法。
【請求項１７】
関心領域の判別対象となる医用画像を取得し、
請求項１２に記載の判別器により、前記医用画像における前記関心領域を判別する領域抽出方法。
【請求項１８】
少なくとも１つの関心領域が抽出された医用画像を表示部に表示する手順と、
表示された前記医用画像から抽出された関心領域の境界に対する修正指示により、前記関心領域の境界を修正する手順と、
前記抽出された関心領域に初期重み係数を設定し、前記医用画像における前記修正指示がなされた修正領域に対して修正重み係数を設定することにより、前記医用画像内の各画素に対して前記関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する手順とをコンピュータに実行させる重み画像生成プログラム。
【請求項１９】
請求項１５に記載の重み画像生成方法により生成された前記重み画像および前記医用画像から抽出された、前記重み画像において前記重み係数がしきい値以上となる領域に対応する対応領域の画像を学習データとして取得する手順と、
複数の前記学習データにより、前記医用画像が入力されると該医用画像に含まれる関心領域の判別結果を出力する判別器を学習する手順とをコンピュータに実行させる判別器学習プログラム。
【請求項２０】
関心領域の判別対象となる医用画像を取得する手順と、
請求項１２に記載の判別器により、前記医用画像における前記関心領域を判別する手順とをコンピュータに実行させる領域抽出プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
【図１】本開示の実施形態による重み画像生成装置を適用した、診断支援システムの概要を示すハードウェア構成図
【図２】本開示の実施形態による重み画像生成装置の概略構成を示す図
【図３】表示部に表示された断層画像を示す図
【図４】関心領域の境界の修正を説明するための図
【図５】抽出不足となった場合における関心領域の境界の修正を説明するための図
【図６】過抽出となった場合における関心領域の境界の修正を説明するための図
【図７】初期重み係数のみが設定された重み画像を示す図
【図８】重み係数の修正後の重み画像を示す図
【図９】重み係数の修正後の重み画像を示す図
【図１０】関心領域の境界付近における重み係数の値の分布を説明するための図
【図１１】対応領域が抽出された断層画像においてスライダが表示された状態を示す図
【図１２】抽出された第１の関心領域および第２の関心領域が隣接している状態を示す図
【図１３】第１の関心領域および第２の関心領域のそれぞれに重み係数が設定された重み画像を示す図
【図１４】第１の関心領域および第２の関心領域が隣接する場合における、カーソルを用いての重み係数の修正を説明するための図
【図１５】第１の関心領域および第２の関心領域が隣接する場合における重み係数の修正を説明するための図
【図１６】本実施形態において行われる重み画像生成処理を示すフローチャート
【図１７】３次元画像における境界の修正を説明するための図
【図１８】球状のカーソル内における断層画像を示す図
【図１９】３次元画像において重み係数を修正する場合における重み係数の相違を説明するための図
【図２０】本開示の実施形態による判別器学習装置を内包する領域抽出装置の概略構成を示す図
【図２１】関心領域の判別結果を示す図
【図２２】本実施形態において行われる学習処理を示すフローチャート
【図２３】本実施形態において行われる領域判別処理を示すフローチャート
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
そして、修正部２４が、ユーザによる入力部１５を用いての、抽出された関心領域３０の境界３０Ｌに対する修正指示により、断層画像Ｄｋにおいて抽出された関心領域３０の境界３０Ｌを修正する（ステップＳＴ４）。修正部２４による修正指示により、画像生成部２５が、重み画像を生成する（ステップＳＴ５）。そして、修正の終了の指示がなされたか否かが判定され（ステップＳＴ６）、ステップＳＴ６が否定されるとステップＳＴ４に戻る。ステップＳＴ６が肯定されると、しきい値設定部２６が、ユーザによる指示により、重み係数に対するしきい値を設定する（ステップＳＴ７）。そして、対応領域抽出部２７が、重み画像Ｗ０におけるしきい値以上となる重み係数となる画素からなる領域に対応する対応領域を、断層画像Ｄｋから抽出し（ステップＳＴ８）、処理を終了する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
このように、本実施形態においては、３次元画像Ｇ０，すなわち断層画像Ｄｋが表示部１４に表示され、表示された断層画像Ｄｋにおける関心領域の境界に対する修正指示が受け付けられる。また、抽出された関心領域に初期重み係数が設定され、断層画像Ｄｋにおける修正指示がなされた修正領域に対して修正重み係数が設定され、これにより、断層画像Ｄｋ内の各画素に対して関心領域であることの重みを表す重み係数を各画素の画素値とする重み画像Ｗ０が生成される。このように生成された重み画像Ｗ０においては、関心領域が修正指示に応じた画素値を有するものとなる。このため、重み画像Ｗ０の画素値に応じて、重み画像Ｗ０における関心領域であることの確からしさを認識することができる。したがって、本開示によれば、重み画像Ｗ０を参照することにより、境界の修正を反映させて断層画像Ｄｋ、さらには３次元画像Ｇ０に関心領域を設定することができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
学習データ取得部６１は、重み画像生成装置１により生成された重み画像Ｗ０および３次元画像Ｇ０から抽出された対応領域の画像を学習データとして画像保管サーバ３から取得する。なお、学習データが既にストレージ５３に記憶されている場合には、学習データ取得部６１は、ストレージ５３から学習データを取得するようにしてもよい。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
画像取得部６４は、関心領域抽出の対象となる３次元画像Ｇ０を画像保管サーバ３から取得する。なお、３次元画像Ｇ０が既にストレージ５３に記憶されている場合には、画像取得部６４は、ストレージ５３から３次元画像Ｇ０を取得するようにしてもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
１    重み画像生成装置
２    ３次元画像撮影装置
３    画像保管サーバ
４    ネットワーク
１１，５１    ＣＰＵ
１２，５２    メモリ
１３，５３    ストレージ
１４，５４    表示部
１５，５５    入力部
２１    画像取得部
２２    関心領域抽出部
２３    表示制御部
２４    修正部
２５    画像生成部
２６    しきい値設定部
２６Ａ    スライダ
２７    対応領域抽出部
２９    対応領域
３０    関心領域
３０Ｌ    関心領域の境界
３１    第１の関心領域
３２    第２の関心領域
５０    領域抽出装置
６１    学習データ取得部
６２    学習部
６３    判別器
６４    画像取得部
６５    表示制御部
７０    判別された関心領域
Ａ１０    不足している領域
Ａ１１    過抽出の領域
Ａ１２    追加された領域
Ｄｋ，Ｄ１〜Ｄ４    断層画像
Ｌ１，Ｌ２    境界を表す線
Ｗ０    重み画像
【手続補正８】
【補正対象書類名】図面
【補正対象項目名】図１４
【補正方法】変更
【補正の内容】
【図１４】
2020085336.tif 000026
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図２０
【補正方法】変更
【補正の内容】
【図２０】
2020085336.tif 000027
【国際調査報告】
2020085336.tif 000028
2020085336.tif 000029
2020085336.tif 000030
2020085336.tif 000031