(57)【要約】  表示制御部が、複数の断層画像からなる３次元画像のうちの第１の断層画像を表示部に表示する。第１の修正部が、第１の断層画像から抽出された第１の関心領域の境界に対する、修正指示領域を用いての修正指示により、第１の関心領域の境界を修正する。第１の指示領域設定部が、第１の断層画像に隣接する第２の断層画像上に第１の指示領域を設定する。第２の修正部が、第２の断層画像上に第２の指示領域を設定することにより、第２の断層画像において抽出された第２の関心領域の境界を修正する。
2020090445.tif 000002
【特許請求の範囲】
【請求項１】
複数の断層画像からなる３次元画像のうちの第１の断層画像を表示する表示制御部と、
表示された前記第１の断層画像から抽出された第１の関心領域の境界に対する、修正指示領域を用いての修正指示により、前記第１の関心領域の境界を修正する第１の修正部と、
前記第１の断層画像において前記修正により追加または削除された第１の修正領域および前記修正指示領域に基づいて、前記第１の断層画像に隣接する少なくとも１つの第２の断層画像上に第１の指示領域を設定する第１の指示領域設定部と、
前記第１の指示領域および前記修正指示領域に基づいて、前記第２の断層画像上に第２の指示領域を設定することにより、前記第２の断層画像において抽出された第２の関心領域の境界を修正する第２の修正部とを備えた領域修正装置。
【請求項２】
前記第１の指示領域設定部は、前記第１の断層画像と前記第２の断層画像との距離が大きいほど、前記修正指示領域よりもサイズが小さい前記第１の指示領域を設定する請求項１に記載の領域修正装置。
【請求項３】
前記第２の修正部は、前記第２の断層画像における前記修正指示領域に対応する領域内の情報に基づいて、前記第１の指示領域を拡張することにより前記第２の指示領域を設定する請求項１または２に記載の領域修正装置。
【請求項４】
前記第２の修正部は、前記第２の断層画像に含まれる関心領域の境界に対応する形状を有する前記第２の指示領域を設定する請求項３に記載の領域修正装置。
【請求項５】
前記第２の断層画像は、前記第１の断層画像から予め定められた距離内に含まれる請求項１から４のいずれか１項に記載の領域修正装置。
【請求項６】
前記修正指示領域は円形である請求項１から５のいずれか１項に記載の領域修正装置。
【請求項７】
前記複数の断層画像から関心領域を抽出する関心領域抽出部をさらに備えた請求項１から６のいずれか１項に記載の領域修正装置。
【請求項８】
複数の断層画像からなる３次元画像のうちの第１の断層画像を表示し、
表示された前記第１の断層画像から抽出された第１の関心領域の境界に対する、修正指示領域を用いての修正指示により、前記第１の関心領域の境界を修正し、
前記第１の断層画像において前記修正により追加または削除された第１の修正領域および前記修正指示領域に基づいて、前記第１の断層画像に隣接する少なくとも１つの第２の断層画像上に第１の指示領域を設定し、
前記第１の指示領域および前記修正指示領域に基づいて、前記第２の断層画像上に第２の指示領域を設定することにより、前記第２の断層画像において抽出された第２の関心領域の境界を修正する領域修正方法。
【請求項９】
複数の断層画像からなる３次元画像のうちの第１の断層画像を表示する手順と、
表示された前記第１の断層画像から抽出された第１の関心領域の境界に対する、修正指示領域を用いての修正指示により、前記第１の関心領域の境界を修正する手順と、
前記第１の断層画像において前記修正により追加または削除された第１の修正領域および前記修正指示領域に基づいて、前記第１の断層画像に隣接する少なくとも１つの第２の断層画像上に第１の指示領域を設定する手順と、
前記第１の指示領域および前記修正指示領域に基づいて、前記第２の断層画像上に第２の指示領域を設定することにより、前記第２の断層画像において抽出された第２の関心領域の境界を修正する手順とをコンピュータに実行させる領域修正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、３次元画像において抽出された関心領域の境界を修正する領域修正装置、方法およびプログラムに関するものである。
【背景技術】
【０００２】
近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像を用いての画像診断が可能となってきている。このような３次元画像に含まれる臓器および病変等の関心領域を自動で抽出することも行われている。しかしながら、自動で関心領域を抽出する場合、過抽出および抽出不足が発生する可能性がある。このような場合、自動で抽出された関心領域の境界を修正する必要がある。【０００３】
境界を修正する手法として、３次元画像を構成する２次元の断層画像を表示し、表示された断層画像において、円形等の予め定められた形状を有するカーソルを移動することにより、関心領域における過抽出された部分を削除したり、抽出不足があった部分を追加したりすることが行われている。しかしながら、断層画像に含まれる関心領域の境界を修正すると、断層画像が並ぶ方向において境界が滑らかに連結しなくなる可能性がある。この場合、断層画像が並ぶ方向に交わる方向から３次元画像を見た場合、関心領域の境界が滑らかに連結しなくなってしまう。【０００４】
そこで、球状のカーソルを用いて３次元画像において３次元的に関心領域の境界を修正することが考えられる。しかしながら、断層画像が並ぶ方向における境界が球状になっているわけではない。このため、球状のカーソルを用いると、意図しない過修正が発生してしまう可能性がある。【０００５】
また、３次元画像を構成する複数の断層画像のうちの２つの断層画像において関心領域を設定し、２つの断層画像の間に存在する断層画像については、２つの断層画像において設定された関心領域を補間して関心領域を設定する手法が提案されている（特開平１０−５７３７１号公報参照）。また、３次元画像を構成する断層画像について、指定した断層面における輪郭線の変形操作を行うと、他の断層面における輪郭線の変形操作を行う手法も提案されている（特開２０１２−１４３６０号公報参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特開平１０−５７３７１号公報に記載された手法は、２つの断層画像において関心領域を設定する必要があるため、操作者の作業の負担が大きい。また、特開２０１２−１４３６０号公報に記載された手法は、複数の断層画像についての輪郭情報を求める必要があるため、処理に長時間を要する。【０００７】
本発明は上記事情に鑑みなされたものであり、操作者の負担を軽減しつつ、簡易な演算により関心領域の境界を修正できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本開示による領域修正装置は、複数の断層画像からなる３次元画像のうちの第１の断層画像を表示する表示制御部と、
表示された第１の断層画像から抽出された第１の関心領域の境界に対する、修正指示領域を用いての修正指示により、第１の関心領域の境界を修正する第１の修正部と、
第１の断層画像において修正により追加または削除された第１の修正領域および修正指示領域に基づいて、第１の断層画像に隣接する少なくとも１つの第２の断層画像上に第１の指示領域を設定する第１の指示領域設定部と、
第１の指示領域および修正指示領域に基づいて、第２の断層画像上に第２の指示領域を設定することにより、第２の断層画像において抽出された第２の関心領域の境界を修正する第２の修正部とを備える。【０００９】
なお、本開示による領域修正装置においては、第１の指示領域設定部は、第１の断層画像と第２の断層画像との距離が大きいほど、修正指示領域よりもサイズが小さい第１の指示領域を設定するものであってもよい。【００１０】
また、本開示による領域修正装置においては、第２の修正部は、第２の断層画像における修正指示領域に対応する領域内の情報に基づいて、第１の指示領域を拡張することにより第２の指示領域を設定するものであってもよい。【００１１】
また、本開示による領域修正装置においては、第２の修正部は、第２の断層画像に含まれる関心領域の境界に対応する形状を有する第２の指示領域を設定するものであってもよい。【００１２】
また、本開示による領域修正装置においては、第２の断層画像は、第１の断層画像から予め定められた距離内に含まれるものであってもよい。【００１３】
また、本開示による領域修正装置においては、複数の断層画像から関心領域を抽出する関心領域抽出部をさらに備えるものであってもよい。【００１４】
本開示による領域修正方法は、複数の断層画像からなる３次元画像のうちの第１の断層画像を表示し、
表示された第１の断層画像から抽出された第１の関心領域の境界に対する、修正指示領域を用いての修正指示により、第１の関心領域の境界を修正し、
第１の断層画像において修正により追加または削除された第１の修正領域および修正指示領域に基づいて、第１の断層画像に隣接する少なくとも１つの第２の断層画像上に第１の指示領域を設定し、
第１の指示領域および修正指示領域に基づいて、第２の断層画像上に第２の指示領域を設定することにより、第２の断層画像において抽出された第２の関心領域の境界を修正する。【００１５】
なお、本開示による領域修正方法をコンピュータに実行させるためのプログラムとして提供してもよい。【００１６】
本開示による他の領域修正装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
複数の断層画像からなる３次元画像のうちの第１の断層画像を表示し、
表示された第１の断層画像から抽出された第１の関心領域の境界に対する、修正指示領域を用いての修正指示により、第１の関心領域の境界を修正し、
第１の断層画像において修正により追加または削除された第１の修正領域および修正指示領域に基づいて、第１の断層画像に隣接する少なくとも１つの第２の断層画像上に第１の指示領域を設定し、
第１の指示領域および修正指示領域に基づいて、第２の断層画像上に第２の指示領域を設定することにより、第２の断層画像において抽出された第２の関心領域の境界を修正する処理を実行する。
【発明の効果】
【００１７】
本開示によれば、操作者の負担を軽減しつつ、簡易な演算により関心領域の境界を修正することができる。
【図面の簡単な説明】
【００１８】
【図１】本開示の実施形態による領域修正装置を適用した、診断支援システムの概要を示すハードウェア構成図
【図２】本開示の実施形態による領域修正装置の概略構成を示す図
【図３】本実施形態において行われる処理を示すフローチャート
【図４】表示部に表示された第１の断層画像を示す図
【図５】カーソルによる修正指示を説明するための図
【図６】カーソルによる修正指示を説明するための図
【図７】第１の関心領域の境界の修正を説明するための図
【図８】第１の修正領域が追加された領域である場合の第１の指示領域の設定を説明するための図
【図９】第１の修正領域が追加された領域である場合において、第２の修正部が行う処理を説明するための図
【図１０】第１の修正領域が削除された領域である場合の第１の指示領域の設定を説明するための図
【図１１】第１の修正領域が削除された領域である場合において、第２の修正部が行う処理を説明するための図
【図１２】第２の断層画像において、抽出された第２の関心領域の境界が実際の関心領域の境界と一致した状態を示す図
【図１３】第１の断層画像から離れた位置にある第２の断層画像ほど、カーソルのサイズが小さくなる状態を示す図
【図１４】第１の指示領域の他の形状の例を示す図
【発明を実施するための形態】
【００１９】
以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による領域修正装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による領域修正装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
【００２０】
３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、３次元画像撮影装置２はＣＴ装置であり、被検体の診断対象となる部位を含むＣＴ画像を３次元画像Ｇ０として生成する。なお、３次元画像Ｇ０は複数の断層画像からなる。
【００２１】
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像Ｇ０の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
【００２２】
領域修正装置１は、１台のコンピュータに、本実施形態の領域修正プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。領域修正プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
【００２３】
図２は、コンピュータに領域修正プログラムをインストールすることにより実現される領域修正装置の概略構成を示す図である。図２に示すように、領域修正装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、領域修正装置１には、液晶ディスプレイ等の表示部１４、並びにキーボードおよびマウス等の入力部１５が接続されている。
【００２４】
ストレージ１３はハードディスクドライブ等からなり、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像Ｇ０および処理に必要な情報を含む各種情報が記憶されている。
【００２５】
また、メモリ１２には、領域修正プログラムが記憶されている。領域修正プログラムは、ＣＰＵ１１に実行させる処理として、３次元画像Ｇ０を取得する画像取得処理、３次元画像Ｇ０を構成する複数の断層画像のそれぞれから関心領域を抽出する関心領域抽出処理、複数の断層画像のうちの第１の断層画像を表示部１４に表示する表示制御処理、表示された第１の断層画像に含まれる第１の関心領域の境界に対する、修正指示領域を用いての修正指示により、第１の関心領域の境界を修正する第１修正処理、第１の断層画像において修正により追加または削除された第１の修正領域および修正指示領域に基づいて、第１の断層画像に隣接する少なくとも１つの第２の断層画像上に第１の指示領域を設定する第１の指示領域設定処理、第１の指示領域および修正指示領域に基づいて、第２の断層画像上に第２の指示領域を設定することにより、第２の断層画像において抽出された第２の関心領域の境界を修正する第２の修正処理とを規定する。
【００２６】
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、関心領域抽出部２２、表示制御部２３、第１の修正部２４、第１の指示領域設定部２５、および第２の修正部２６として機能する。
【００２７】
画像取得部２１は、関心領域を含む３次元画像Ｇ０を画像保管サーバ３から取得する。関心領域は、例えば診断の対象となるような、ユーザが注目する臓器、骨および軟骨等の構造物の領域である。なお、３次元画像Ｇ０が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３から３次元画像Ｇ０を取得するようにしてもよい。
【００２８】
関心領域抽出部２２は、３次元画像Ｇ０から関心領域を抽出する。このために、関心領域抽出部２２は、３次元画像Ｇ０から関心領域を抽出するように機械学習がなされた学習済みモデルを備える。学習済みモデルは、診断の対象となる臓器、骨および軟骨等の構造物を関心領域として抽出するように、ディープラーニング（深層学習）がなされたニューラルネットワークからなる。なお、診断の対象となる臓器は、心臓、肝臓、肺、腎臓および脳等が挙げられる。学習済みモデルは、３次元画像Ｇ０が入力されると３次元画像Ｇ０の各画素が関心領域であるか否かを表す判別結果を出力する。そして関心領域抽出部２２は、関心領域であると判別された画素からなる領域を関心領域として抽出する。
【００２９】
なお、学習済みモデルは、ディープラーニングがなされたニューラルネットワークの他、例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）、およびリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等からなるものであってもよい。また、関心領域抽出部２２は、機械学習がなされた学習モデルを備えたものに限定されるものではない。例えば、テンプレートマッチング等により関心領域を抽出するものであってもよい。
【００３０】
以下、表示制御部２３、第１の修正部２４、第１の指示領域設定部２５および第２の修正部２６が行う処理について説明する。図３は、本実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、３次元画像Ｇ０を取得する（ステップＳＴ１）。次いで、関心領域抽出部２２が、３次元画像Ｇ０から関心領域を抽出する（ステップＳＴ２）。そして、表示制御部２３が３次元画像Ｇ０を構成する複数の断層画像Ｄｊ（ｊ＝１〜ｎ、ｎは断層画像の数）のうちの第１の断層画像Ｄｋを表示部１４に表示する（ステップＳＴ３）。なお、表示する第１の断層画像Ｄｋは、アキシャル断面、サジタル断面およびコロナル断面のいずれの断面の断層画像であってもよい。
【００３１】
図４は表示部１４に表示された第１の断層画像Ｄｋを示す図である。図４に示すように、第１の断層画像Ｄｋにおいては、抽出された第１の関心領域３０の境界３０Ｌが含まれている。なお、第１の関心領域３０はマスクとして第１の断層画像Ｄｋに含まれる。マスクは、輪郭のみを表すものであってもよく、ハッチングが施されたものであってもよく、予め定められた色により塗りつぶされたものであってもよい。以降の説明において、第１の関心領域３０は、第１の断層画像Ｄｋにおいて、マスクされた領域を意味するものとする。ここで、関心領域抽出部２２による抽出結果は必ずしも正確ではなく、第１の断層画像Ｄｋに含まれる実際の関心領域３１とはならないものとなる場合がある。なお、図４においては実際の関心領域３１の境界３１Ｌを破線で示す。このような場合、図４に示すように抽出不足となっている領域Ａ０を第１の関心領域３０に追加し、過抽出となっている領域Ａ１を第１の関心領域３０から削除する必要がある。このため、ユーザは入力部１５を用いて、抽出された第１の関心領域３０の境界３０Ｌを修正する。
【００３２】
入力部１５から修正指示が入力されると、第１の修正部２４が、表示部１４に円形のカーソル４０を表示し、ユーザによるカーソル４０を用いての修正指示を受け付ける。この場合、ユーザは入力部１５のマウスを用いてカーソル４０を移動して、第１の関心領域３０の境界３０Ｌを実際の関心領域３１の境界３１Ｌと一致させるように修正指示を行う。第１の修正部２４は、ユーザによる修正指示に従って、第１の関心領域３０の境界３０Ｌを修正する（ステップＳＴ４）。なお、カーソル４０の形状は円形に限定されるものではなく、矩形、三角形および矢印形状等、任意の形状とすることができる。また、カーソル４０が本開示の修正指示領域に対応する。
【００３３】
図５および図６はカーソルによる修正指示を説明するための図である。図５に示すように、実際の関心領域３１に対して、第１の関心領域３０の抽出が不足している領域Ａ０については、領域を加える指示を行いつつ、カーソル４０の外縁を実際の関心領域３１の境界３１Ｌに沿って移動させることにより、不足している領域Ａ０を第１の関心領域３０に追加する指示を行う。なお、領域を加える指示は、例えば入力部１５であるマウスの左クリックまたは予め定められたカーソルの押下とマウスのクリックとの組み合わせ等とすることができるが、これらに限定されるものではない。一方、図６に示すように、実際の関心領域３１に対して第１の関心領域３０が過抽出されている領域Ａ１については、領域を削除する指示を行いつつ、カーソル４０の外縁を実際の関心領域３１の境界３１Ｌに沿って移動させることにより、過抽出された領域Ａ１を第１の関心領域３０から削除する指示を行う。なお、領域を削除する指示は、例えば入力部１５であるマウスの右クリックまたは予め定められたカーソルの押下とマウスのクリックとの組み合わせ等とすることができるが、これらに限定されるものではない。これにより、図７に示すように、第１の関心領域３０の境界３０Ｌは、実際の関心領域３１の境界３１Ｌと一致することとなる。
【００３４】
一方、第１の修正部２４による第１の関心領域３０の境界３０Ｌの修正により、追加または削除された第１の修正領域およびカーソル４０に基づいて、第１の指示領域設定部２５が、第１の断層画像Ｄｋに隣接する第２の断層画像Ｄｋ＋１上に、第１の指示領域を設定する（ステップＳＴ５）。まず、第１の修正領域が追加された領域である場合の処理について説明する。
【００３５】
図８は第１の修正領域が追加された領域である場合の第１の指示領域の設定を説明するための図である。図８に示すように、第１の関心領域３０における抽出が不足している領域Ａ０において、カーソル４０により斜線で示す第１の修正領域Ａ１０が追加されると、第１の指示領域設定部２５は、カーソル４０内の追加された第１の修正領域Ａ１０に対応する、第２の断層画像Ｄｋ＋１上の位置に、カーソル４０よりも小さい円形の第１の指示領域４１を設定する。第２の断層画像Ｄｋ＋１における破線は、第１の断層画像Ｄｋにおけるカーソル４０に対応するカーソル対応領域４０Ａの輪郭を表す。第１の指示領域４１のサイズは、第１の断層画像Ｄｋと第２の断層画像Ｄｋ＋１との距離が大きいほどカーソル４０のサイズよりも小さくなるように設定する。例えば、カーソル４０が球形であると想定し、球形と想定したカーソル４０と第２の断層画像Ｄｋ＋１とが交差することにより生成される円のサイズとなるように、第１の指示領域４１のサイズを設定する。この場合、第１の断層画像Ｄｋと第２の断層画像Ｄｋ＋１との間隔がＤｍｍであり、カーソル４０の半径がＲｍｍ（Ｒ＞Ｄ）であるとすると、第１の指示領域４１の半径は√（Ｒ2−Ｄ2）ｍｍとなる。
【００３６】
第１の指示領域４１が設定されると、第２の修正部２６が、第１の指示領域４１およびカーソル４０に基づいて、第２の断層画像Ｄｋ＋１上に第２の指示領域を設定することにより、第２の断層画像Ｄｋ＋１において抽出された第２の関心領域の境界を修正し（ステップＳＴ６）、ステップＳＴ４にリターンする。
【００３７】
図９は第１の修正領域が追加された領域である場合において、第２の修正部２６が行う処理を説明するための図である。なお、図９においては、第２の断層画像Ｄｋ＋１において抽出された第２の関心領域３２の境界３２Ｌおよび実際の第２の関心領域３３の境界３３Ｌを示している。なお、第２の関心領域３２もマスクであるものとする。第２の修正部２６は、第１の指示領域４１を拡張する。この際、拡張する範囲は第２の断層画像Ｄｋ＋１におけるカーソル対応領域４０Ａの範囲内とする。拡張には動的輪郭法および領域拡張法等を用いる。動的輪郭法としては、例えばｓｎａｋｅアルゴリズム等の周知のアルゴリズムを用いることができる。ｓｎａｋｅアルゴリズムは、画像平面上のある曲線上において、内部エネルギーおよび画像エネルギーの線形和として表されるエネルギー関数を使用し、エネルギー関数が最小となるように曲線の形状を修正して、輪郭線の抽出を行うアルゴリズムである。また、ｓｎａｋｅアルゴリズムに限定されるものではなく、任意の動的輪郭法を用いることができる。
【００３８】
本実施形態においては、図９に示すように、第２の断層画像Ｄｋ＋１における第１の指示領域４１を拡張する。これにより、第１の指示領域４１は、図９に示すようにカーソル対応領域４０Ａ内において拡張される。なお、拡張は、第２の断層画像Ｄｋ＋１におけるカーソル対応領域４０Ａ内の情報、具体的にはカーソル対応領域４０Ａ内の画素値に基づいて行われる。ここで、第２の断層画像Ｄｋ＋１に含まれる関心領域３３の境界３３Ｌにおいては、画素値の変化が大きくなる。このため、第１の指示領域４１は、カーソル対応領域４０Ａ内において、第２の断層画像Ｄｋ＋１に含まれる関心領域３３の境界３３Ｌまで拡張される。拡張された領域を斜線で示す。この斜線で示す領域が、第２の断層画像Ｄｋ＋１において抽出された第２の関心領域３２に対して追加される第２の指示領域４２となる。
【００３９】
次いで、第１の修正領域が削除された領域である場合の処理について説明する。図１０は第１の修正領域が削除された領域である場合の第１の指示領域の設定を説明するための図である。図１０に示すように、第１の関心領域３０における過抽出となっている領域Ａ１において、カーソル４０により第１の修正領域Ａ１１が削除されると、第１の指示領域設定部２５は、カーソル４０内の斜線で示す削除された第１の修正領域Ａ１１に対応する、第２の断層画像Ｄｋ＋１上の位置に、カーソル４０よりも小さい円形の第１の指示領域４３を設定する。第１の指示領域４３の大きさは、第１の指示領域４１と同様に、第１の断層画像Ｄｋと第２の断層画像Ｄｋ＋１との距離が大きいほどカーソル４０よりも小さくなるように設定する。
【００４０】
第１の指示領域４３が設定されると、第２の修正部２６が、第１の指示領域４３およびカーソル４０に基づいて、第２の断層画像Ｄｋ＋１上に第２の指示領域を設定することにより、第２の断層画像Ｄｋ＋１において抽出された第２の関心領域の境界を修正する。
【００４１】
図１１は第１の修正領域が削除された領域である場合において、第２の修正部２６が行う処理を説明するための図である。なお、図１１においては、第２の断層画像Ｄｋ＋１において抽出された第２の関心領域３２の境界３２Ｌおよび実際の第２の関心領域３３の境界３３Ｌを示している。第２の修正部２６は、第１の指示領域４１と同様に、第１の指示領域４３を拡張する。これにより、第１の指示領域４３は、図１１に示すようにカーソル対応領域４０Ａ内において拡張される。この際、第２の断層画像Ｄｋ＋１に含まれる関心領域３３の境界３３Ｌにおいては、画素値の変化が大きくなる。このため、第１の指示領域４３は、第２の断層画像Ｄｋ＋１に含まれる関心領域３３の境界３３Ｌまで拡張される。拡張された領域を斜線で示す。この斜線で示す領域が、第２の断層画像Ｄｋ＋１において抽出された第２の関心領域３２に対して削除される第１の指示領域４３に対応する第２の指示領域４４となる。
【００４２】
このように第２の修正部２６によって、第２の断層画像Ｄｋ＋１から抽出された第２の関心領域３２の境界３２Ｌを修正することにより、図１２に示すように、抽出された第２の関心領域３２の境界３２Ｌは、第２の断層画像Ｄｋ＋１に含まれる実際の関心領域３３の境界３３Ｌと一致することとなる。
【００４３】
なお、上記では、第１の断層画像Ｄｋに隣接する１つの第２の断層画像Ｄｋ＋１に対する処理のみを説明したが、第１の断層画像Ｄｋに対して第２の断層画像Ｄｋ＋１と反対側において隣接する第２の断層画像Ｄｋ−１に対してさらに処理を行ってもよい。また、第１の断層画像Ｄｋに隣接する１つの第２の断層画像Ｄｋ＋１のみならず、第１の断層画像Ｄｋの両側または片側に隣接する複数の第２の断層画像に対しても、上記と同様に関心領域の境界を修正するようにしてもよい。なお、処理する第２の断層画像の数は、第１の断層画像Ｄｋから予め定められた距離内にあるものとすればよい。この場合、図１３に示すように、第１の断層画像Ｄｋから離れた位置にある第２の断層画像ほど、第１の断層画像に含まれる実際の関心領域３１と形状が異なる可能性が高くなるため、カーソル４０に対応する第１の指示領域４１のサイズを小さくすることが好ましい。
【００４４】
このように、本実施形態によれば、表示された第１の断層画像Ｄｋに含まれる第１の関心領域３０の境界３０Ｌに対する、カーソル４０を用いての修正指示により、第１の関心領域３０の境界３０Ｌが修正される。また、第１の断層画像Ｄｋにおいて修正により追加または削除された第１の修正領域Ａ１０，Ａ１１およびカーソル４０に基づいて、第１の断層画像Ｄｋに隣接する少なくとも１つの第２の断層画像Ｄｋ＋１上に第１の指示領域４１，４３が設定される。また、第１の指示領域４１，４３およびカーソル４０に基づいて、第２の断層画像Ｄｋ＋１上に第２の指示領域４２，４４を設定することにより、第２の断層画像Ｄｋ＋１において抽出された第２の関心領域３２の境界３２Ｌが修正される。このため、操作者は、第１の断層画像Ｄｋにおいて抽出された第１の関心領域３０の境界３０Ｌを修正するのみで、第２の断層画像Ｄｋ＋１における第２の関心領域３２の境界３２Ｌを第１の関心領域３０の境界３０Ｌと対応づけて修正することができる。したがって、本実施形態によれば、操作者の負担を軽減しつつ、簡易な演算により関心領域の境界を修正することができる。
【００４５】
なお、上記実施形態においては、第１の指示領域４１，４３としてカーソル４０を縮小した領域としているが、第１の指示領域４１，４３は１画素からなる領域であってもよい。
【００４６】
また、上記実施形態においては、第１の指示領域４１，４３をカーソル４０と同一の形状としているがこれに限定されるものではない。例えば、図１４に示すように、第１の断層画像Ｄｋにおいて、カーソル４０内の第１の修正領域Ａ１０の形状を縮小した形状を有する第１の指示領域４５を設定してもよい。この場合も上記実施形態と同様に、第１の指示領域４５を拡張して、第２の指示領域４６を追加することができる。
【００４７】
また、上記実施形態においては、領域修正装置が、関心領域抽出部２２を備えるものとしているが、これに限定されるものではない。領域修正装置とネットワーク４を介して接続された別個の装置において関心領域を抽出してもよい。また、取得する３次元画像Ｇ０が既に関心領域が抽出されたものであってもよい。
【００４８】
また、上記実施形態において、例えば、画像取得部２１、関心領域抽出部２２、表示制御部２３、第１の修正部２４、第１の指示領域設定部２５および第２の修正部２６といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field  Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【００４９】
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
【００５０】
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
【００５１】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
【符号の説明】
【００５２】
１    領域修正装置
２    ３次元画像撮影装置
３    画像保管サーバ
４    ネットワーク
１１    ＣＰＵ
１２    メモリ
１３    ストレージ
１４    ディスプレイ
１５    入力部
２１    画像取得部
２２    関心領域抽出部
２３    表示制御部
２４    第１の修正部
２５    第１の指示領域設定部
２６    第２の修正部
３０    第１の関心領域
３０Ｌ    第１の関心領域の境界
３１，３３    実際の関心領域
３１Ｌ，３３Ｌ    実際の関心領域の境界
３２    第２の関心領域
３２Ｌ    第２の関心領域の境界
４０    カーソル
４０Ａ    カーソル対応領域
４１，４３，４５    第１の指示領域
４２，４４，４６    第２の指示領域
Ａ０，Ａ１    第１の指示領域
Ａ１０，Ａ１１    第１の修正領域
Ｄｋ    第１の断層画像
Ｄｋ＋１，Ｄｋ＋２，Ｄｋ＋３    第２の断層画像
【図１】
2020090445.tif 000003
【図２】
2020090445.tif 000004
【図３】
2020090445.tif 000005
【図４】
2020090445.tif 000006
【図５】
2020090445.tif 000007
【図６】
2020090445.tif 000008
【図７】
2020090445.tif 000009
【図８】
2020090445.tif 000010
【図９】
2020090445.tif 000011
【図１０】
2020090445.tif 000012
【図１１】
2020090445.tif 000013
【図１２】
2020090445.tif 000014
【図１３】
2020090445.tif 000015
【図１４】
2020090445.tif 000016
【手続補正書】
【提出日】令和3年4月19日(2021.4.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
なお、学習済みモデルは、ディープラーニングがなされたニューラルネットワークの他、例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）、およびリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等からなるものであってもよい。また、関心領域抽出部２２は、機械学習がなされた学習済みモデルを備えたものに限定されるものではない。例えば、テンプレートマッチング等により関心領域を抽出するものであってもよい。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
図９は第１の修正領域が追加された領域である場合において、第２の修正部２６が行う処理を説明するための図である。なお、図９においては、第２の断層画像Ｄｋ＋１において抽出された第２の関心領域３２の境界３２Ｌおよび第２の関心領域３３の境界３３Ｌを示している。なお、第２の関心領域３２もマスクであるものとする。第２の修正部２６は、第１の指示領域４１を拡張する。この際、拡張する範囲は第２の断層画像Ｄｋ＋１におけるカーソル対応領域４０Ａの範囲内とする。拡張には動的輪郭法および領域拡張法等を用いる。動的輪郭法としては、例えばｓｎａｋｅアルゴリズム等の周知のアルゴリズムを用いることができる。ｓｎａｋｅアルゴリズムは、画像平面上のある曲線上において、内部エネルギーおよび画像エネルギーの線形和として表されるエネルギー関数を使用し、エネルギー関数が最小となるように曲線の形状を修正して、輪郭線の抽出を行うアルゴリズムである。また、ｓｎａｋｅアルゴリズムに限定されるものではなく、任意の動的輪郭法を用いることができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
本実施形態においては、図９に示すように、第２の断層画像Ｄｋ＋１における第１の指示領域４１を拡張する。これにより、第１の指示領域４１は、図９に示すようにカーソル対応領域４０Ａ内において拡張される。なお、拡張は、第２の断層画像Ｄｋ＋１におけるカーソル対応領域４０Ａ内の情報、具体的にはカーソル対応領域４０Ａ内の画素値に基づいて行われる。ここで、第２の断層画像Ｄｋ＋１に含まれる実際の関心領域３３の境界３３Ｌにおいては、画素値の変化が大きくなる。このため、第１の指示領域４１は、カーソル対応領域４０Ａ内において、第２の断層画像Ｄｋ＋１に含まれる実際の関心領域３３の境界３３Ｌまで拡張される。拡張された領域を斜線で示す。この斜線で示す領域が、第２の断層画像Ｄｋ＋１において抽出された第２の関心領域３２に対して追加される第２の指示領域４２となる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
図１１は第１の修正領域が削除された領域である場合において、第２の修正部２６が行う処理を説明するための図である。なお、図１１においては、第２の断層画像Ｄｋ＋１において抽出された第２の関心領域３２の境界３２Ｌおよび第２の関心領域３３の境界３３Ｌを示している。第２の修正部２６は、第１の指示領域４１と同様に、第１の指示領域４３を拡張する。これにより、第１の指示領域４３は、図１１に示すようにカーソル対応領域４０Ａ内において拡張される。この際、第２の断層画像Ｄｋ＋１に含まれる実際の関心領域３３の境界３３Ｌにおいては、画素値の変化が大きくなる。このため、第１の指示領域４３は、第２の断層画像Ｄｋ＋１に含まれる実際の関心領域３３の境界３３Ｌまで拡張される。拡張された領域を斜線で示す。この斜線で示す領域が、第２の断層画像Ｄｋ＋１において抽出された第２の関心領域３２に対して削除される第１の指示領域４３に対応する第２の指示領域４４となる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
このように、本実施形態によれば、表示された第１の断層画像Ｄｋに含まれる第１の関心領域３０の境界３０Ｌに対する、カーソル４０を用いての修正指示により、第１の関心領域３０の境界３０Ｌが修正される。また、第１の断層画像Ｄｋにおいて修正により追加された第１の修正領域Ａ１０または削除された第１の修正領域Ａ１１、およびカーソル４０に基づいて、第１の断層画像Ｄｋに隣接する少なくとも１つの第２の断層画像Ｄｋ＋１上に第１の指示領域４１，４３が設定される。また、第１の指示領域４１または第１の指示領域４３、およびカーソル４０に基づいて、第２の断層画像Ｄｋ＋１上に第２の指示領域４２または第２の指示領域４４を設定することにより、第２の断層画像Ｄｋ＋１において抽出された第２の関心領域３２の境界３２Ｌが修正される。このため、操作者は、第１の断層画像Ｄｋにおいて抽出された第１の関心領域３０の境界３０Ｌを修正するのみで、第２の断層画像Ｄｋ＋１における第２の関心領域３２の境界３２Ｌを第１の関心領域３０の境界３０Ｌと対応づけて修正することができる。したがって、本実施形態によれば、操作者の負担を軽減しつつ、簡易な演算により関心領域の境界を修正することができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
１    領域修正装置
２    ３次元画像撮影装置
３    画像保管サーバ
４    ネットワーク
１１    ＣＰＵ
１２    メモリ
１３    ストレージ
１４    表示部
１５    入力部
２１    画像取得部
２２    関心領域抽出部
２３    表示制御部
２４    第１の修正部
２５    第１の指示領域設定部
２６    第２の修正部
３０    第１の関心領域
３０Ｌ    第１の関心領域の境界
３１，３３    実際の関心領域
３１Ｌ，３３Ｌ    実際の関心領域の境界
３２    第２の関心領域
３２Ｌ    第２の関心領域の境界
４０    カーソル
４０Ａ    カーソル対応領域
４１，４３，４５    第１の指示領域
４２，４４，４６    第２の指示領域
Ａ０    第１の指示領域
Ａ１    過抽出領域
Ａ１０，Ａ１１    第１の修正領域
Ｄｋ    第１の断層画像
Ｄｋ＋１，Ｄｋ＋２，Ｄｋ＋３    第２の断層画像
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2020090445.tif 000017
【国際調査報告】
2020090445.tif 000018
2020090445.tif 000019
2020090445.tif 000020
2020090445.tif 000021