(57)【要約】【課題】データ量が大きいにもかかわらず学習データセットとして利用可能なデータ数が限られる三次元データについても過学習を防止しながら半教師あり学習を実行する。【解決手段】三次元データを畳み込みラダーネットワークに通してデノイジング関数を学習するステップ、学習結果に基づく再構築データと元の三次元データとの間の残差データを抽出するステップ、残差データを入力とするニューラルネットワークを用いて互いに観点が異なる複数の評価ノードを構築し、各評価ノードをＶＡＴを用いて較正するステップ、新たな三次元データについて残差データを複数の評価ノードに入力して出力を得るステップ、および複数の出力の間の整合性に応じて出力の信頼度を判定するステップ、のうち少なくとも一部を含む方法と、方法を実行する装置、および装置を構成ためのプログラムが提供される。【選択図】図１
2019207511.tif 000002
【特許請求の範囲】
【請求項１】
訓練データに含まれる三次元データを入力とする畳み込みラダーネットワークで逆畳み込みデコーダを構成するデノイジング関数を学習するステップ、
前記三次元データを畳み込みエンコーダに通した出力を前記学習されたデノイジング関数によって構成される逆畳み込みデコーダに通すことによって得られる再構築データと、前記三次元データとの間の残差データを抽出するステップ、
前記残差データを入力とするニューラルネットワークを用いた学習によって、互いに観点が異なる第１および第２の評価ノードを構築するステップ、
前記第１および第２の評価ノードのそれぞれをＶＡＴ（Virtual Adversarial Training）を用いて較正するステップ、
評価対象データに含まれる新たな三次元データを前記畳み込みエンコーダに通した出力を、前記学習されたデノイジング関数によって構成される逆畳み込みデコーダに通すことによって得られる再構築データと、前記新たな三次元データとの間の残差データを抽出するステップ、
前記新たな三次元データから抽出された残差データを前記第１および第２の評価ノードに入力して、前記新たな三次元データに関する第１および第２の出力を得るステップ、ならびに
前記第１の出力と前記第２の出力との間の整合性に応じて前記第１および第２の出力の信頼度を判定するステップ
を含む、三次元データの評価モデル構築および評価方法。
【請求項２】
三次元データを入力とする畳み込みラダーネットワークで逆畳み込みデコーダを構成するデノイジング関数を学習するステップ、
前記三次元データを畳み込みエンコーダに通した出力を前記学習されたデノイジング関数によって構成される逆畳み込みデコーダに通すことによって得られる再構築データと、前記三次元データとの間の残差データを抽出するステップ、
前記残差データを入力とするニューラルネットワークを用いた学習によって、互いに観点が異なる第１および第２の評価ノードを構築するステップ、ならびに
前記第１および第２の評価ノードのそれぞれをＶＡＴ（Virtual Adversarial Training）を用いて較正するステップ
を含む、三次元データの評価モデル構築方法。
【請求項３】
三次元データを畳み込みエンコーダに通した出力を、学習されたデノイジング関数によって構成される逆畳み込みデコーダに通すことによって得られる再構築データと、前記三次元データとの間の残差データを抽出するステップ、
前記残差データを互いに観点が異なる第１および第２の評価ノードに入力して前記三次元データに関する第１および第２の出力を得るステップ、ならびに
前記第１の出力と前記第２の出力との間の整合性に応じて前記第１および第２の出力の信頼度を判定するステップ
を含む、三次元データの評価方法。
【請求項４】
三次元データを入力とする畳み込みラダーネットワークで逆畳み込みデコーダを構成するデノイジング関数を学習する手段、
前記三次元データを畳み込みエンコーダに通した出力を前記学習されたデノイジング関数によって構成される逆畳み込みデコーダに通すことによって得られる再構築データと、前記三次元データとの間の残差データを抽出する手段、
前記残差データを入力とするニューラルネットワークを用いた学習によって、互いに観点が異なる第１および第２の評価ノードを構築する手段、ならびに
前記第１および第２の評価ノードのそれぞれをＶＡＴ（Virtual Adversarial Training）を用いて較正する手段
を実現するように構成されたプロセッサを備える、三次元データの評価モデル構築装置。
【請求項５】
三次元データを畳み込みエンコーダに通した出力を、学習されたデノイジング関数によって構成される逆畳み込みデコーダに通すことによって得られる再構築データと、前記三次元データとの間の残差データを抽出する手段、
前記残差データを互いに観点が異なる第１および第２の評価ノードに入力して前記三次元データに関する第１および第２の出力を得る手段、ならびに
前記第１の出力と前記第２の出力との間の整合性に応じて前記第１および第２の出力の信頼度を判定する手段
を実現するように構成されたプロセッサを備える、三次元データの評価装置。
【請求項６】
コンピュータのプロセッサに読み込まれたときに、前記プロセッサが
三次元データを入力とする畳み込みラダーネットワークで逆畳み込みデコーダを構成するデノイジング関数を学習する手段、
前記三次元データを畳み込みエンコーダに通した出力を前記学習されたデノイジング関数によって構成される逆畳み込みデコーダに通すことによって得られる再構築データと、前記三次元データとの間の残差データを抽出する手段、
前記残差データを入力とするニューラルネットワークを用いた学習によって、互いに観点が異なる第１および第２の評価ノードを構築する手段、ならびに
前記第１および第２の評価ノードのそれぞれをＶＡＴ（Virtual Adversarial Training）を用いて較正する手段
を実現するように構成されたコンピュータプログラム。
【請求項７】
コンピュータのプロセッサに読み込まれたときに、前記プロセッサが
三次元データを畳み込みエンコーダに通した出力を、学習されたデノイジング関数によって構成される逆畳み込みデコーダに通すことによって得られる再構築データと、前記三次元データとの間の残差データを抽出する手段、
前記残差データを互いに観点が異なる第１および第２の評価ノードに入力して前記三次元データに関する第１および第２の出力を得る手段、ならびに
前記第１の出力と前記第２の出力との間の整合性に応じて前記第１および第２の出力の信頼度を判定する手段
を実現するように構成されたコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元データの評価モデル構築および評価方法、三次元データの評価モデル構築装置、三次元データの評価装置、ならびにコンピュータプログラムに関する。
【背景技術】
【０００２】
閉塞性の冠動脈疾患（ＣＡＤ：Coronary Artery Disease）の疑いのある患者は、非侵襲的な手法である冠動脈ＣＴ血管造影法（ＣＣＴＡ：Coronary CT Angiography）で冠動脈の解剖学的狭窄を検出することによって特定することができる。その一方で、ＣＡＤの疑いのある患者に血行再建術が必要であるか否か、すなわち冠動脈に（解剖学的ではなく）機能的狭窄が発生しているか否かは、従来、非侵襲的な負荷心筋血流シンチグラフィによる心筋虚血の評価か、侵襲的冠動脈造影（ＩＣＡ：Invasive Coronary Angiography）時に侵襲的プレッシャワイヤを用いて血流予備比（ＦＦＲ：Fractional Flow Reserve）を測定しなければ判定できなかった。しかしながら、冠動脈に解剖学的狭窄が発生していても機能的狭窄が発生していない場合は多くあり、結果的に不必要な放射性医薬品の使用やＩＣＡ時のＦＦＲ測定が実施されて患者の負担になることがあった。
【０００３】
そこで、従来のＣＣＴＡを用いて狭窄の機能的有意性を評価する技術が開発されている。例えば、特許文献１には、ＣＣＴＡによるスキャン画像から再現された冠動脈および脈管構造の三次元モデルならびに生理学的条件を基に流体力学解析によって算出された血流動態から、冠動脈の各部位におけるＦＦＲを仮想的に算出するＦＦＲＣＴ（FFR CT-derived）と呼ばれる技術が記載されている。しかしながら、ＦＦＲＣＴは、冠動脈の樹形および生理学的境界条件の正確な決定を必要とするため、心臓の動きや、石灰化など大きな濃度勾配によって引き起こされるブルーミングなどのイメージングアーチファクトによって精度が低下することが知られている。
【０００４】
これに対して、流体力学解析以外の方法で非侵襲的に狭窄の機能的有意性を評価する技術も提案されている。例えば、非特許文献１に記載された技術では、ＣＣＴＡによるスキャン画像から左心室をセグメンテーションし、それをさらに複数のクラスターに分類する。クラスターごとの畳み込み演算から得られる特徴マップの統計量をＳＶＭ（Support Vector Machine）の予測子として用い、患者のクラスラベル（すなわち、狭窄が機能的に有意か否か）を判定する。ただし、非特許文献１に記載された技術では、上記の通り画像の分析範囲が左心室に限定される他、クラスタリングには学習機能がないｋ−ｍｅａｎｓ法が用いられ、また予測に弱学習器であるＳＶＭが用いられている。これらの構成は、下記のようなシステムにおいて利用される学習データセットの制約を反映している。
【０００５】
ＣＣＴＡによるスキャン画像を学習データセットとして利用する場合、ＣＣＴＡに対応するＩＣＡの結果が必要になるが、ＩＣＡは侵襲的であるため実施症例は必ずしも多くない。その一方で、ＣＣＴＡによるスキャン画像は二次元画像が複数枚連なった三次元データであり、データ量が非常に大きい。つまり、ＣＣＴＡによるスキャン画像をそのまま学習データセットに利用すると、入力されるデータの次元がデータ数を大きく上回り、強学習器を用いると容易に過学習が発生してしまう。非特許文献１に記載された技術では、過学習が生じないようにクラスタリングにｋ−ｍｅａｎｓ法を用い、予測に弱学習器のＳＶＭを用いている。また、分類器が特徴量の最大標準偏差を使用するため、ある程度均質な領域の画像のみを使用する必要があることから、分析範囲を左心室に限定している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２０１３−５３４１５４号公報
【非特許文献】
【０００７】
【非特許文献１】Zreik et al, "Deep learning analysis of the myocardium in coronary CT angiography for identification of patients with functionally significant coronary artery stenosis," Medical Image Analysis, 2018, vol. 44, pp. 72-85
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記の通り、非特許文献１に記載された技術の構成は、学習データセットとして用いられるＣＣＴＡによるスキャン画像の制約を反映したものであり、過学習を避けながらパラメータを決定するために有効である。その一方で、上記のような構成はシステムの学習機能を制限するアーキテクチャであり、例えば将来的により多くのＣＣＴＡによるスキャン画像が学習データセットとして利用可能になったとしても予測精度の改善が見込めず、また左心室以外の領域に拡張することも難しい。
【０００９】
そこで、本発明は、データ量が大きいにもかかわらず学習データセットとして利用可能なデータ数が限られる三次元データについても過学習を防止しながら半教師あり学習を実行することが可能な、新規かつ改良された三次元データの評価モデル構築および評価方法、三次元データの評価モデル構築装置、三次元データの評価装置、ならびにコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明のある観点によれば、訓練データに含まれる三次元データを入力とする畳み込みラダーネットワークで逆畳み込みデコーダを構成するデノイジング関数を学習する第１のステップ、三次元データを畳み込みエンコーダに通した出力を学習されたデノイジング関数によって構成される逆畳み込みデコーダに通すことによって得られる再構築データと、三次元データとの間の残差データを抽出する第２のステップ、残差データを入力とするニューラルネットワークを用いた学習によって、互いに観点が異なる第１および第２の評価ノードを構築する第３のステップ、第１および第２の評価ノードのそれぞれをＶＡＴ（Virtual Adversarial Training）を用いて較正する第４のステップ、評価対象データに含まれる新たな三次元データを畳み込みエンコーダに通した出力を、学習されたデノイジング関数によって構成される逆畳み込みデコーダに通すことによって得られる再構築データと、新たな三次元データとの間の残差データを抽出する第５のステップ、新たな三次元データから抽出された残差データを第１および第２の評価ノードに入力して、新たな三次元データに関する第１および第２の出力を得る第６のステップ、ならびに第１の出力と第２の出力との間の整合性に応じて第１および第２の出力の信頼度を判定する第７のステップを含む、三次元データの評価モデル構築および評価方法が提供される。
【００１１】
また、本発明の別の観点によれば、上記の第１から第４のステップを含む三次元データの評価モデル構築方法、上記の第５から第７のステップを含む三次元データの評価方法、上記の各方法のステップを実行する手段を含む三次元データの評価モデル構築装置および評価装置、ならびにコンピュータのプロセッサに読み込まれたときにプロセッサが上記の各方法のステップを実行する手段を実現するように構成されたコンピュータプログラムが提供される。
【発明の効果】
【００１２】
上記の構成によれば、データ量が大きいにもかかわらず学習データセット（訓練データ）として利用可能なデータ数が限られる三次元データについても、過学習を防止しながら強学習器に対して半教師あり学習を実行し、可能な限り多くの訓練データを用いた学習によってより精度の高い、または適用範囲の広い評価モデルを構築し、評価モデルを使って新たな三次元データを適切に評価することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態を概略的に示す図である。
【図２】本発明の一実施形態における畳み込みラダーネットワークについて説明するための図である。
【図３】本発明の一実施形態における残差抽出について説明するための図である。
【図４】図３に示す残差抽出の意味を概念的に説明するための図である。
【図５】本発明の一実施形態において構築される評価ノード、およびＶＡＴによる評価ノードの較正について説明するための図である。
【図６】本発明の一実施形態における自己整合性チェックについて説明するための図である。
【図７】図６に示す自己整合性チェックの意味を概念的に説明するための図である。
【図８】本発明の一実施形態に係る装置の概略的な構成を示すブロック図である。
【図９】図８に示す装置のより詳細な構成を示すブロック図である。
【図１０】本発明の一実施形態に係る三次元データの評価モデル構築方法のステップを示すフローチャートである。
【図１１】本発明の一実施形態に係る三次元データの評価方法のステップを示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【００１５】
（一実施形態の概要）
図１は、本発明の一実施形態を概略的に示す図である。本実施形態における学習データおよび評価対象データは、冠動脈ＣＴ血管造影法（ＣＣＴＡ）によって取得されたマルチスライススキャン画像の三次元データ（以下、ＣＴデータＸともいう）である。学習データを構成するＣＴデータＸは、一部が侵襲的冠動脈造影（ＩＣＡ）の結果に基づいてラベル付けされている。つまり、学習データは、ＩＣＡの結果に基づいてラベル付けされたＣＴデータＸと、ラベル付けされていないＣＴデータＸとを含む。ここで、ＩＣＡの結果に基づくラベルは、ＩＣＡによって測定された血流予備比（ＦＦＲ）の値、およびＦＦＲに基づいて判定された狭窄の機能的有意性を含む。本実施形態では、このようなＣＴデータＸを学習データとして用いた半教師あり学習によって評価モデルを構築し、さらに構築された評価モデルを用いて新たなＣＴデータＸを評価する。
【００１６】
図示されているように、本実施形態では、ＣＴデータＸ（三次元データ）を入力とする畳み込みラダーネットワーク１０による学習（１）と、学習の結果に基づく残差抽出（２）と、抽出された残差データに基づいて構築された評価ノード２１，２２のＶＡＴ（Virtual Adversarial Training）による較正（３）と、新たなＣＴデータＸを評価したときの評価ノード２１，２２の出力３１，３２の間での自己整合性チェック（４）とが実施される。詳細は後述するが、畳み込みラダーネットワーク１０は、入力にノイズを加えながら畳み込みを順次実行し「Corrupted encoder」と呼ばれる畳み込みエンコーダ１１と、ノイズを除去しながら逆畳み込みを順次実行する逆畳み込みデコーダ１２と、入力にノイズを加えずに畳み込みを順次実行し「Clean encoder」と呼ばれる畳み込みエンコーダ１３とを含む。一方、残差データに基づいて構築される評価ノード２１は分類器（Classifier）であり、出力３１は狭窄が機能的に有意である確率である。評価ノード２２は予測器（Point estimator）であり、出力３２はＦＦＲの値である。
【００１７】
以下、上記の（１）〜（４）の各構成について、さらに詳細に説明する。
【００１８】
（畳み込みラダーネットワーク）
図２は、本発明の一実施形態における畳み込みラダーネットワークについて説明するための図である。既に述べたように、畳み込みラダーネットワーク１０はＣＴデータＸを入力とする。畳み込みエンコーダ１１（Corrupted encoder）は、ＣＴデータＸにガウシアンノイズＮ［０，σ２］を加えたＸ￣に対して、さらにガウシアンノイズＮ［０，σ２］を加えながら畳み込みフィルタＣｏｎｖ１，Ｃｏｎｖ２，Ｃｏｎｖ３を順次適用してｚ￣１，ｚ￣２，・・・，ｚ￣６＝Ｙ~を生成する。なお、各畳み込みフィルタでのフィルタサイズ、中間層における正則化方法、活性化関数、ストライド幅、プーリングを用いるか否か、といった具体的な構成には様々な公知の技術を適用できるが、図示された例において、畳み込みフィルタＣｏｎｖ１，Ｃｏｎｖ２，Ｃｏｎｖ３は、いずれもフィルタサイズが３×３×３であり、ＢＮ（Batch Normalization）およびｅＬＵ（exponential Linear Units）を利用する。Ｃｏｎｖ１ではストライドが１、Ｃｏｎｖ２ではストライドが（２，２，１）、Ｃｏｎｖ３ではストライドが２である。
【００１９】
一方、逆畳み込みデコーダ１２は、Ｙ~＝ｚ^６に対して逆畳み込みフィルタＤｅｃｏｎｖ１，Ｄｅｃｏｎｖ２，Ｄｅｃｏｎｖ３を順次適用してｚ^５，ｚ^４，・・・，ｚ^１，Ｘ^を生成する。なお、畳み込みフィルタの例と同様に、各逆畳み込みフィルタでのフィルタサイズ、中間層における正則化方法、活性化関数、ストライド幅、プーリングを用いるか否か、といった具体的な構成には様々な公知の技術を適用できるが、図示された例において、逆畳み込みフィルタＤｅｃｏｎｖ１，Ｄｅｃｏｎｖ２，Ｄｅｃｏｎｖ３は、フィルタサイズ（３×３×３）およびストライドがそれぞれ畳み込みフィルタＣｏｎｖ１，Ｃｏｎｖ２，Ｃｏｎｖ３と同じであり、ＢＮおよびｅＬＵを適用する。さらに、逆畳み込みデコーダ１２は、各層でノイズを除去するデノイジング（de-noising）関数ｇ（０）〜ｇ（６）を含む。デノイジング関数ｇ（０）〜ｇ（６）は、ＣＴデータＸに対してノイズを加えずに畳み込みフィルタＣｏｎｖ１，Ｃｏｎｖ２，Ｃｏｎｖ３を順次適用してｚ１，ｚ２，・・・，ｚ６＝Ｙを生成する畳み込みエンコーダ１３（Clean encoder）との間で各層の差分を表すロス関数（またはコスト関数）Ｃｄ（０）〜Ｃｄ（６）が最小化されるように学習される。
【００２０】
なお、畳み込みラダーネットワークについては、例えばRasmus et al, "Semi-Supervised Learning with Ladder Networks," Advances in Neural Information Processing Systems 28, 2015でより詳細に説明されており、これらの文献を参照して本実施形態における畳み込みラダーネットワーク１０を適切に実装することができる。
【００２１】
（残差抽出）
図３は、本発明の一実施形態における残差抽出について説明するための図である。図示されているように、残差抽出では、ＣＴデータＸを畳み込みエンコーダ１３（Clean encoder）に通した出力Ｙを、畳み込みラダーネットワーク１０で学習されたデノイジング関数ｇ（０）〜ｇ（６）によって構成される逆畳み込みデコーダ１２に通すことによって得られる再構築データＺと、元のＣＴデータＸとの間の残差データを抽出する。より具体的には、ＣＴデータＸと再構築データＺとの間の差分（Ｘ−Ｚ）を畳み込みエンコーダ１３（Clean encoder）に通した出力が残差データＲである。
【００２２】
図４は、図３に示す残差抽出の意味を概念的に説明するための図である。上記のように畳み込みラダーネットワーク１０において逆畳み込みデコーダ１２を構成するデノイジング関数ｇ（０）〜ｇ（６）を学習した場合、デノイジング関数ｇ（０）〜ｇ（６）は、各ケースのＣＴデータＸに共通する特徴を優先的に抽出するように訓練される。逆に言えば、デノイジング関数ｇ（０）〜ｇ（６）は、各ケースのＣＴデータＸに固有の特徴を非優先的に抽出するように訓練される。従って、ＣＴデータＸと再構築データＺとの間の差分（Ｘ−Ｚ）に基づく残差データは、狭窄の機能的有意性を評価するために有用と考えられる、各ケースのＣＴデータＸに固有の特徴を反映している。
【００２３】
（ＶＡＴによる評価ノードの較正）
図５は、本発明の一実施形態において構築される評価ノード、およびＶＡＴによる評価ノードの較正について説明するための図である。既に述べたように、分類器（Classifier）である評価ノード２１と、予測器（Point estimator）である評価ノード２２とが構築される。これらの評価ノード２１，２２は、狭窄の機能的有意性を互いに異なる観点で評価する第１および第２の評価ノードであり、いずれも上記の残差データ（図５では入力ｘとして示されている）を入力とするニューラルネットワークを用いた学習によって構築され、ＶＡＴ（Virtual Adversarial Training）を用いて較正される。
【００２４】
上記のような２つの評価ノードを構築する目的の１つは、後述するように新たなＣＴデータＸについて狭窄の機能的有意性を評価するときに自己整合性チェックを実行することを可能にするためである。また、ＶＡＴは、入力ｘを用いて構築された評価ノード２１，２２の出力３１，３２と、敵対的な摂動（adversarial perturbation）すなわちノイズを加えた入力ｘ＋ｒを用いて構築された評価ノード２１，２２の出力３１Ａ，３２Ａとの差分を最小化するように評価ノードを訓練する手法である。
【００２５】
本実施形態の場合、評価ノード２１（分類器）の出力３１は、狭窄が非正常、すなわち機能的に有意である確率である。評価ノード２１は、ＶＡＴを用いて、図中に示されるコスト関数ＤＣｌａｓｓが最小化されるように較正される。一方、評価ノード２２（予測器）の出力３２は、ＦＦＲの値である。評価ノード２２は、図中に示されるコスト関数ＤＰｏｉｎｔが最小化されるように較正される。なお、ＶＡＴについては、例えばMiyato et al, " Distributional Smoothing with Virtual Adversarial Training," conference paper at ICLR 2016でより詳細に説明されており、これらの文献を参照して本実施形態における評価ノードの較正を適切に実装することができる。
【００２６】
（自己整合性チェック）
図６は、本発明の一実施形態における自己整合性チェックについて説明するための図である。既に述べたように、本実施形態では、新たなＣＴデータＸを評価したときに、評価ノード２１，２２の出力３１，３２の間で自己整合性チェックが実施される。既に述べたように、評価ノード２１（分類器）の出力３１は狭窄が非正常、すなわち機能的に有意である確率であり、評価ノード２２（予測器）の出力３２はＦＦＲの値である。評価ノード２１，２２が妥当な結果を出力しているのであれば、出力３１，３２は互いに整合すると考えられる。つまり、出力３１が狭窄の機能に有意である確率が高いことを示す場合には出力３２のＦＦＲの値は閾値を下回り、逆も同様であると考えられる。
【００２７】
ところが、図示された例では、出力３１が狭窄が非正常（陽性）であることを示しているにもかかわらず、出力３２のＦＦＲの値が０．８５であり、閾値（０．８）を超えている。従って、この例では、評価ノード２１，２２の出力３１，３２が互いに整合していない。本実施形態における自己整合性チェックでは、出力３１，３２の間に整合性がない場合には、出力３１，３２の信頼度が低いことが判定される。具体的には、例えば、出力３１，３２の信頼性が低いことが表示されたり、評価不能として出力３１，３２自体が無効にされたりする。
【００２８】
図７は、図６に示す自己整合性チェックの意味を概念的に説明するための図である。図６では、２つの評価ノードによる出力が平面状の関数として模式的に示されている。具体的には、第１の評価ノードは入力ｘに対してｙ＝ａｘ＋ｂで示される結果ｙを出力し、第２の評価ノードは入力ｘに対してｙ＝ａｘ２＋ｂｘ＋ｃで示される結果ｙを出力する。図示された例では、訓練データ（Training）に近い入力ｘの範囲では２つの評価ノードによる出力ｙが互いに整合するが、そうではないテストデータ（Test）の入力ｘの範囲では出力ｙが互いに整合しない。このように出力ｙが整合しない範囲では、訓練データの学習によって構築された評価モデルが必ずしも妥当性をもたないと考えられる。単一の評価ノードに依存する場合、このような訓練データへの過剰適合（overfitting）を検出することは困難であるが、本実施形態では２つの評価ノードを構築して自己整合性チェックを行うことによって、このような過剰適合の結果がそのまま出力されることを防止している。
【００２９】
（三次元データの評価モデル構築装置／評価装置）
図８は、本発明の一実施形態に係る装置の概略的な構成を示すブロック図である。本実施形態は、例えば、後述するような三次元データの評価モデル構築装置、三次元データの評価装置、またはこれらを統合した装置として実施可能である。この場合、本実施形態に係る装置は、例えば図８に示されるようなコンピュータ９００のハードウェア構成を有する。コンピュータ９００は、例えばパーソナルコンピュータや、タブレット、スマートフォンのような端末装置であってもよく、データセンタなどに設置されるサーバコンピュータであってもよい。また、コンピュータ９００の機能は、必ずしも物理的に単一の装置において実現されなくてもよく、例えばネットワークを介して接続された複数の装置のリソースを統合的に利用することによって実現されてもよい。
【００３０】
コンピュータ９００は、プロセッサ９０１、メモリ９０３、入力装置９０５、出力装置９０７、およびバスインターフェース９０９を含む。さらに、コンピュータ９００は、ストレージ９１１、ドライブ９１３、接続ポート９１５、および通信装置９１７を含んでもよい。プロセッサ９０１は、例えば、ＣＰＵ（Central Processing unit）、ＧＰＵ（Graphics Processing unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、および／またはＦＰＧＡ（Field-Programmable Gate Array）などの処理回路によって構成される。プロセッサ９０１は、メモリ９０３、ストレージ９１１、またはリムーバブルメディア９１９に記録されたプログラムに従ってコンピュータ９００の動作を制御する。メモリ９０３は、例えば、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含む。ＲＯＭは、例えばプロセッサ９０１のためのプログラム、および演算パラメータなどを記憶する。ＲＡＭは、例えばプロセッサ９０１の実行時に展開されたプログラム、およびプログラムの実行時のパラメータなどを一次記憶する。
【００３１】
入力装置９０５は、例えば、マウス、キーボード、タッチパネル、ボタン、または各種のスイッチなど、ユーザによって操作される装置である。入力装置９０５は、必ずしもコンピュータ９００と一体化していなくてもよく、例えば、無線通信によって制御信号を送信するリモートコントローラであってもよい。入力装置９０５は、ユーザが入力した情報に基づいて入力信号を生成してプロセッサ９０１に出力する入力制御回路を含む。出力装置９０７は、視覚や聴覚、触覚などの感覚を用いてユーザに向けて情報を出力することが可能な装置で構成される。出力装置９０７は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどを含みうる。出力装置９０７は、コンピュータ９００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
【００３２】
ストレージ９１１は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ９１１は、例えばプロセッサ９０１のためのプログラム、プログラムの実行時に読み出される、またはプログラムの実行によって生成された各種のデータ、および外部から取得した各種のデータなどを格納する。ドライブ９１３は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９１９のためのリーダ／ライタである。ドライブ９１３は、装着されているリムーバブルメディア９１９に記録されている情報を読み出して、メモリ９０３に出力してもよい。また、ドライブ９１３は、装着されているリムーバブルメディア９１９に各種のデータを書き込んでもよい。接続ポート９１５は、外部接続機器９２１をコンピュータ９００に接続するためのポートである。接続ポート９１５は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどを含みうる。また、接続ポート９１５は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどを含んでもよい。接続ポート９１５に外部接続機器９２１を接続することで、コンピュータ９００と外部接続機器９２１との間で各種のデータを交換することができる。
【００３３】
通信装置９１７は、ネットワーク９２３に接続される。なお、ネットワーク９２３は、例えばインターネットのような不特定多数の装置が接続される開かれた通信ネットワークであってもよく、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような限られた装置、例えば２つの装置が接続される閉じられた通信ネットワークであってもよい。通信装置９１７は、例えば、ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、またはＷＵＳＢ（Wireless USB）用の通信カードを含みうる。通信装置９１７は、ネットワーク９２３に応じた所定のプロトコルを用いて、他の装置との間で信号またはデータなどを送受信する。
【００３４】
なお、上記で例示的に説明されたコンピュータ９００の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、当業者は、上述したようなコンピュータ９００の構成を、実施する時々の技術レベルに応じて適宜変更することができる。
【００３５】
図９は、図８に示す装置のより詳細な構成を示すブロック図である。図９には、コンピュータ９００のプロセッサ９０１がプログラムに従って動作することによって実現される機能がブロックとして示されている。具体的には、プロセッサ９０１は、プログラムに従って動作することによって、畳み込みラダーネットワーク１１０、残差抽出処理部１２０、評価ノード構築処理部１３０、評価ノード較正処理部１４０、評価実行処理部１５０、および自己整合性チェック処理部１６０の機能を実現する。以下、各部の機能及びそれらを組み合わせて構成される装置についてさらに具体的に説明する。
【００３６】
畳み込みラダーネットワーク１１０は、訓練データ３１０に含まれる三次元データ（ＣＴデータＸ）を入力とする畳み込みラダーネットワーク１０で、逆畳み込みデコーダ１２を構成するデノイジング関数ｇ（０）〜ｇ（６）を学習する手段を構成する。また、残差抽出処理部１２０は、三次元データ（ＣＴデータＸ）を畳み込みエンコーダ１３に通した出力Ｙを、逆畳み込みデコーダ１２に通すことによって得られる再構築データＺと、三次元データ（ＣＴデータＸ）との間の残差データＲを抽出する手段を構成する。ここで、逆畳み込みデコーダ１２は、畳み込みラダーネットワーク１０で学習されたデノイジング関数ｇ（０）〜ｇ（６）によって構成される。
【００３７】
評価ノード構築処理部１３０は、残差データＲを入力とするニューラルネットワークを用いた学習によって、互いに観点が異なる第１および第２の評価ノード（評価ノード２１，２２）を構築する手段を構成する。また、評価ノード較正処理部１４０は、第１および第２の評価ノード（評価ノード２１，２２）のそれぞれをＶＡＴ（Virtual Adversarial Training）を用いて較正する手段を構成する。訓練データ３１０について、上記の畳み込みラダーネットワーク１１０、残差抽出処理部１２０、評価ノード構築処理部１３０、および評価ノード較正処理部１４０の処理を実行することによって、ラベル付けされていない新たな三次元データ（ＣＴデータＸ）を評価することが可能な評価モデル３２０を構築することができる。このように、本実施形態は、畳み込みラダーネットワーク１１０、残差抽出処理部１２０、評価ノード構築処理部１３０、および評価ノード較正処理部１４０を含む三次元データの評価モデル構築装置として実施することができる。
【００３８】
一方、評価対象データ３３０に含まれる新たな三次元データ（ＣＴデータＸ）を評価する場合、残差抽出処理部１２０は、三次元データ（ＣＴデータＸ）を畳み込みエンコーダ１３に通した出力Ｙを、学習されたデノイジング関数ｇ（０）〜ｇ（６）によって構成される逆畳み込みデコーダ１２に通すことによって得られる再構築データＺと、三次元データ（ＣＴデータＸ）との間の残差データＲを抽出する手段を構成する。ここで、デノイジング関数ｇ（０）〜ｇ（６）は、例えば訓練データ３１０を畳み込みラダーネットワーク１０に通すことによって学習されたものでありうるが、評価対象データ３３０を評価する装置と同じ装置で学習を実行する必要はない。具体的には、残差抽出処理部１２０は、学習されたデノイジング関数ｇ（０）〜ｇ（６）を他の装置からインポートしてもよい。
【００３９】
評価実行処理部１５０は、残差抽出処理部１２０が評価対象データ３３０から抽出した残差データＲを互いに観点が異なる第１および第２の評価ノード（評価ノード２１，２２）に入力して、評価対象データ３３０に含まれる三次元データ（ＣＴデータＸ）に関する第１および第２の出力（出力３１，３２）を得る手段を構成する。ここで、第１および第２の評価ノード（評価ノード２１，２２）は、例えば評価ノード構築処理部１３０が訓練データ３１０に基づいて構築したものでありうるが、評価対象データ３３０を評価する装置と同じ装置で構築を実行する必要はない。具体的には、評価実行処理部１５０は、構築された第１および第２の評価ノード（評価ノード２１，２２）を他の装置からインポートしてもよい。
【００４０】
自己整合性チェック処理部１６０は、第１の出力（出力３１）と第２の出力（出力３２）との間の整合性に応じて、第１および第２の出力（出力３１，３２）の信頼度を判定する手段を構成する。評価実行処理部１５０が取得した第１および第２の出力（出力３１，３２）を、自己整合性チェック処理部１６０が判定した信頼度に応じて加工する（具体的には、信頼度を示す情報を付加する、または信頼度に応じて出力の可否を決定する）ことによって、評価結果３４０が出力される。このように、本実施形態は、残差抽出処理部１２０、評価実行処理部１５０、および自己整合性チェック処理部１６０を含む三次元データの評価装置として実施することができる。もちろん、上記の三次元データの評価モデル構築装置と三次元データの評価装置とを統合した装置として本実施形態を実施することも可能である。
【００４１】
（三次元データの評価モデル構築方法）
図１０は、本発明の一実施形態に係る三次元データの評価モデル構築方法のステップを示すフローチャートである。図１０に示す各ステップは、例えば図８に示したコンピュータ９００のプロセッサ９０１によって実行される。まず、プロセッサ９０１は、訓練データ３１０に含まれる三次元データ（ＣＴデータＸ）を入力とする畳み込みラダーネットワーク１０で、逆畳み込みデコーダ１２を構成するデノイジング関数ｇ（０）〜ｇ（６）を学習する（ステップＳ１１０；上記の畳み込みラダーネットワーク１１０の機能に対応）。次に、プロセッサ９０１は、三次元データ（ＣＴデータＸ）を畳み込みエンコーダ１３に通した出力Ｙを学習されたデノイジング関数ｇ（０）〜ｇ（６）によって構成される逆畳み込みデコーダ１２に通すことによって得られる再構築データＺと、三次元データ（ＣＴデータＸ）との間の残差データＲを抽出する（ステップＳ１２０；上記の残差抽出処理部１２０の機能に対応）。
【００４２】
次に、プロセッサ９０１は、残差データＲを入力とするニューラルネットワークを用いた学習によって、互いに観点が異なる第１および第２の評価ノード（評価ノード２１，２２）を構築する（ステップＳ１３０；上記の評価ノード構築処理部１３０の機能に対応）。さらに、プロセッサ９０１は、第１および第２の評価ノード（評価ノード２１，２２）のそれぞれをＶＡＴ（Virtual Adversarial Training）を用いて較正する（ステップＳ１４０；上記の評価ノード較正処理部１４０の機能に対応）。以上のステップＳ１１０〜Ｓ１４０によって、ラベル付けされていない新たな三次元データ（ＣＴデータＸ）を評価することが可能な評価モデル３２０を構築することができる。
【００４３】
（三次元データの評価方法）
図１１は、本発明の一実施形態に係る三次元データの評価方法のステップを示すフローチャートである。図１１に示す各ステップは、例えば図８に示したコンピュータ９００のプロセッサ９０１によって実行される。まず、プロセッサ９０１は、評価対象データ３３０に含まれる三次元データ（ＣＴデータＸ）を畳み込みエンコーダ１３に通した出力Ｙを、学習されたデノイジング関数ｇ（０）〜ｇ（６）によって構成される逆畳み込みデコーダ１２に通すことによって得られる再構築データＺと、三次元データ（ＣＴデータＸ）との間の残差データＲを抽出する（ステップＳ２１０；上記の残差抽出処理部１２０の機能に対応）。
【００４４】
次に、プロセッサ９０１は、評価対象データ３３０から抽出された残差データＲを互いに観点が異なる第１および第２の評価ノード（評価ノード２１，２２）に入力して、三次元データ（ＣＴデータＸ）に関する第１および第２の出力を得る（ステップＳ２２０；上記の評価実行処理部１５０の機能に対応）。さらに、プロセッサ９０１は、第１の出力（出力３１）と第２の出力（出力３２）との間の整合性を検証し（ステップＳ２３０）、整合性がない場合には（ステップＳ２４０のＮＯ）、第１および第２の出力（出力３１，３２）の信頼度を低く判定する（ステップＳ２５０；ステップＳ２３０〜Ｓ２５０は上記の自己整合性チェック処理部１６０の機能に対応）。以上のステップＳ２１０〜Ｓ２５０によって、ラベル付けされていない新たな三次元データ（ＣＴデータＸ）についての評価結果３４０を得ることができる。
【００４５】
本実施形態は、上記で図８〜図１１を参照して説明したように、三次元データの評価モデル構築方法、三次元データの評価方法、三次元データの評価モデル構築装置、または三次元データの評価装置として実施することが可能である。さらに、本実施形態は、コンピュータ９００のプロセッサ９０１に読み込まれたときに、プロセッサ９０１が上述した三次元データの評価モデル構築装置、または三次元データの評価装置の各手段を実現するように構成されたコンピュータプログラムとして実施することが可能である。
【００４６】
（まとめ）
本実施形態では、図１などを参照して説明したように、ＣＴデータＸを入力とする畳み込みラダーネットワーク１０による学習（１）、上記学習の結果に基づく残差抽出（２）、抽出された残差データに基づいて構築された複数の評価ノードのＶＡＴによる較正（３）、および新たなＣＴデータＸを評価したときの複数の評価ノードの出力の間での自己整合性チェック（４）によって、データ量が大きいにもかかわらず学習データセット（訓練データ）として利用可能なデータ数が限られるＣＴデータＸについても、過学習を防止しながら半教師学習を実行し、可能な限り多くの訓練データを用いた学習によってより精度の高い、または適用範囲の広い評価モデルを構築し、評価モデルを使って新たなＣＴデータＸを適切に評価することができる。
【００４７】
なお、上記の（１）〜（４）の構成は、必ずしもすべてが連関しているわけではなく、例えば個別に適用されてもその効果（例えば過学習の防止）を発揮する。従って、本発明の他の実施形態では、上記の（１）〜（４）の構成の一部だけが適用されてもよい。また、上記の実施形態では冠動脈ＣＴ血管造影法（ＣＣＴＡ）によって取得されたスキャン画像であるＣＴデータＸを三次元データとして例示したが、同様の性質を有する他の三次元データについても本発明の実施形態を適用することが可能である。
【００４８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はこれらの例に限定されない。本発明の属する技術の分野の当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００４９】
１０，１１０…畳み込みラダーネットワーク、１１…畳み込みエンコーダ（Corrupted encoder）、１２…逆畳み込みデコーダ、１３…畳み込みエンコーダ（Clean encoder）、２１，２２…評価ノード、３１，３２…出力、１２０…残差抽出処理部、１３０…評価ノード構築処理部、１４０…評価ノード較正処理部、１５０…評価実行処理部、１６０…自己整合性チェック処理部、３１０…訓練データ、３２０…評価モデル、３３０…評価対象データ、３４０…評価結果、９００…コンピュータ、９０１…プロセッサ、９０３…メモリ、９０５…入力装置、９０７…出力装置、９０９…バスインターフェース、９１１…ストレージ、９１３…ドライブ、９１５…接続ポート、９１７…通信装置、９１９…リムーバブルメディア、９２１…外部接続機器、９２３…ネットワーク。
【図１】
2019207511.tif 000003
【図２】
2019207511.tif 000004
【図３】
2019207511.tif 000005
【図４】
2019207511.tif 000006
【図５】
2019207511.tif 000007
【図６】
2019207511.tif 000008
【図７】
2019207511.tif 000009
【図８】
2019207511.tif 000010
【図９】
2019207511.tif 000011
【図１０】
2019207511.tif 000012
【図１１】
2019207511.tif 000013