(57)【要約】ラベル付けが混在する学習データを用いて、ボリュームデータに複数のラベルを一挙に精度良く付するラベリングの機械学習が可能な機械学習装置および方法を提供する。ニューラルネットワーク（１４）は、ラベリングの対象となるクラスがn種類の学習データDi(i=1,2,…n)のマルチスライス画像の入力を受け付け、畳み込みニューラルネットワーク（ＣＮＮ）などによって、n個の解剖学的構造iの予測マスクを作成する（Ｓ１）。機械学習部（１３）は、学習データDiに対応するクラスの予測精度acc(i)を、学習データDiごとに算出する（Ｓ２）。機械学習部（１３）は、予測精度acc(i)と正解マスクGiとの間の誤差diの重み付き平均Mを算出する。機械学習部（１３）は、損失関数Lossで学習損失を算出する（Ｓ４）。機械学習部（１３）は、損失関数Lossで算出された学習損失の値に応じて、ニューラルネットワーク（１４）の各結合荷重を出力層側から入力層側へ変化させていく（Ｓ５）。
2019176806.tif 000002
【特許請求の範囲】
【請求項１】
断層画像のボリュームデータと前記ボリュームデータにおける第１のクラスの正解ラベルとを含む第１学習データの入力を受け付ける第１学習データ入力部と、
前記ボリュームデータと前記ボリュームデータにおける第１のクラスと異なる第２のクラスの正解ラベルとを含む第２学習データの入力を受け付ける第２学習データ入力部と、
ニューラルネットワークにより、前記第１学習データ入力部が入力を受け付けた第１学習データのボリュームデータから第１のクラスの予測ラベルを作成するとともに、前記第２学習データ入力部が入力を受け付けた第２学習データのボリュームデータから第１のクラスの予測ラベルとは独立した第２のクラスの予測ラベルを作成する予測ラベル作成部と、
重み付き平均により、前記第１のクラスの予測ラベルと前記第１のクラスの正解ラベルとの間の誤差と、前記第２のクラスの予測ラベルと前記第２のクラスの正解ラベルとの間の誤差との統合誤差を算出する統合誤差算出部と、
前記統合誤差算出部の算出した統合誤差に基づいて前記ボリュームデータに前記第１のクラスのラベルおよび前記第２のクラスのラベルの双方の予測ラベルを作成するよう前記ニューラルネットワークを機械学習させる機械学習部と、
を備える機械学習装置。
【請求項２】
前記統合誤差算出部は、前記第１のクラスの予測ラベルと前記第１のクラスの正解ラベルとの間のIoU(Intersection over Union)および前記第２のクラスの予測ラベルと前記第２のクラスの正解ラベルとの間のIoU(Intersection over Union)に基づいて統合誤差を算出する請求項１に記載の機械学習装置。
【請求項３】
前記統合誤差算出部は、前記第１のクラスの予測ラベルと前記第１のクラスの正解ラベルとの間のDice係数および前記第２のクラスの予測ラベルと前記第２のクラスの正解ラベルとの間のDice係数に基づいて検出精度を算出する請求項１に記載の機械学習装置。
【請求項４】
前記第１のクラスの予測ラベルおよび前記第２のクラスの予測ラベルは、シグモイド関数に基づいて作成される請求項１〜３のいずれか１項に記載の機械学習装置。
【請求項５】
前記断層画像は３次元医用断層画像であり、前記第１のクラスおよび前記第２のクラスは解剖学的構造を含む請求項１〜４のいずれか１項に記載の機械学習装置。
【請求項６】
前記統合誤差算出部は、前記第１のクラスと前記第２のクラスとの間の解剖学的系統上の関係を示す関連性データに基づき、前記第１のクラスの正解ラベルから前記第２のクラスの正解ラベルを作成した上で、前記前記第１のクラスの予測ラベルと前記第１のクラスの正解ラベルとの間の誤差と、前記第２のクラスの予測ラベルと前記第２のクラスの正解ラベルとの間の誤差との統合誤差を算出する請求項５に記載の機械学習装置。
【請求項７】
前記関連性データにおいて、前記第２のクラスは前記第１のクラスよりも解剖学的に上位の関係にある請求項６に記載の機械学習装置。
【請求項８】
前記統合誤差算出部は、前記第１のクラスの正解ラベルが存在しないボリュームデータの領域については、前記第１のクラスの予測ラベルと前記第１のクラスの正解ラベルとの間の誤差を無視した統合誤差を算出する請求項１〜７のいずれか１項に記載の機械学習装置。
【請求項９】
コンピュータが、
断層画像のボリュームデータと前記ボリュームデータにおける第１のクラスの正解ラベルとを含む第１学習データの入力を受け付けるステップと、
前記ボリュームデータと前記ボリュームデータにおける第１のクラスと異なる第２のクラスの正解ラベルとを含む第２学習データの入力を受け付けるステップと、
ニューラルネットワークにより、前記第１学習データのボリュームデータから第１のクラスの予測ラベルを作成するとともに、前記第２学習データのボリュームデータから第１のクラスの予測ラベルとは独立した第２のクラスの予測ラベルを作成するステップと、
重み付き平均により、前記第１のクラスの予測ラベルと前記第１のクラスの正解ラベルとの間の誤差と、前記第２のクラスの予測ラベルと前記第２のクラスの正解ラベルとの間の誤差との統合誤差を算出するステップと、
前記統合誤差に基づいて前記ボリュームデータに前記第１のクラスのラベルおよび前記第２のクラスのラベルの双方の予測ラベルを作成するよう前記ニューラルネットワークを機械学習させるステップと、
を実行する機械学習方法。
【請求項１０】
請求項９に記載の機械学習方法をコンピュータに実行させるための機械学習プログラム。
【請求項１１】
請求項１０に記載の機械学習プログラムによって機械学習された機械学習済みモデル。
【請求項１２】
非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１０に記載の機械学習プログラムをコンピュータに実行させる記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は機械学習装置および方法に関し、特に、画像の構造の分類（セグメンテーション）を行う機械学習モデルを構築するための機械学習装置および方法に関する。
【背景技術】
【０００２】
従来、ＣＴ（Computed Tomography）画像など３次元の医用画像データ（ボリュームデータ）に対して、各画素値が複数のラベルのいずれかに属するかを決定する学習済みモデルが存在する。【０００３】
例えば非特許文献１では、画像のセグメンテーションに関して、ニューラルネットワークの末端においてsoftmax層を用いて正規化された確率マスクを計算し、重み付けされた交差エントロピーで学習損失を計算することで、大小の特徴に関する誤ったセグメンテーションの貢献を調整する技術が開示されている。【０００４】
また非特許文献２では、３次元ＣＴ画像を入力すると、各ボクセルが「肺」、「脳」、「肝臓」、「肋骨」、「背骨」、「脂肪」、「それ以外」のいずれに属するかを一挙に決定（ラベリング）する学習モデルが提案されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Jonathan Long, Evan Shelhamer, Trevor Darrell, UC Berkeley “Fully Convolutional Neural Network for Semantic Segmentation”、インターネット<URL https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf>
【非特許文献２】Fausto Milletari, Nassir Navab, Seyed-Ahmad Ahmadi, “Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation”、インターネット<URL https://arxiv.org/abs/1606.04797>
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このような学習モデルを学習させるために、３次元ＣＴ画像の各ボクセルに複数のラベルが付された学習用データを用意することは、主に労力の点から非常に困難である。【０００７】
「肺」のみの正解ラベルがついた学習用データ、「脳」のみの正解ラベルがついた学習用データなど、単一の臓器のラベルが付いた学習用データをそれぞれ入手し、これらを持ち寄って複数の臓器のラベリングのための学習用データとすれば、労力は小さい。【０００８】
もっとも、この場合、例えば「肺」と「肺気管支」の正解ラベルを入手した場合、「肺気管支」のボクセルに「肺」のラベルのみが付いた学習データ、「肺気管支」のボクセルに「肺気管支」のラベルのみが付いた学習データが混在しうる。【０００９】
非特許文献１の技術では、各ピクセルには１つのラベルしか付けることができない。また、重み付けされた交差エントロピーで学習損失を計算して大小の特徴のセグメンテーションへの貢献を調整すると、小さい特徴から誇張されたセグメンテーションが得られる場合がある。さらに非特許文献２の技術では、ニューラルネットワークの最終層でsoftmax関数を用いて正規化された確率マスクを計算するため、単一のラベルが一貫性なく別々に付されたデータの集合を学習データとすることができない。【００１０】
本発明は、一貫性のないラベル付けが混在する学習データを用いて、ボリュームデータに複数のラベルを一挙に精度良く付するラベリングの機械学習が可能な機械学習装置および方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の態様に係る機械学習装置は、断層画像のボリュームデータとボリュームデータにおける第１のクラスの正解ラベルとを含む第１学習データの入力を受け付ける第１学習データ入力部と、ボリュームデータとボリュームデータにおける第１のクラスと異なる第２のクラスの正解ラベルとを含む第２学習データの入力を受け付ける第２学習データ入力部と、ニューラルネットワークにより、第１学習データ入力部が入力を受け付けた第１学習データのボリュームデータから第１のクラスの予測ラベルを作成するとともに、第２学習データ入力部が入力を受け付けた第２学習データのボリュームデータから第１のクラスの予測ラベルとは独立した第２のクラスの予測ラベルを作成する予測ラベル作成部と、重み付き平均により、第１のクラスの予測ラベルと第１のクラスの正解ラベルとの間の誤差と、第２のクラスの予測ラベルと第２のクラスの正解ラベルとの間の誤差との統合誤差を算出する統合誤差算出部と、統合誤差算出部の算出した統合誤差に基づいてボリュームデータに第１のクラスのラベルおよび第２のクラスのラベルの双方の予測ラベルを作成するようニューラルネットワークを機械学習させる機械学習部と、を備える機械学習装置を提供する。【００１２】
本発明の第２の態様に係る機械学習装置において、統合誤差算出部は、第１のクラスの予測ラベルと第１のクラスの正解ラベルとの間のIoU(Intersection over Union)および第２のクラスの予測ラベルと第２のクラスの正解ラベルとの間のIoU(Intersection over Union)に基づいて統合誤差を算出する。【００１３】
本発明の第３の態様に係る機械学習装置において、統合誤差算出部は、第１のクラスの予測ラベルと第１のクラスの正解ラベルとの間のDice係数および第２のクラスの予測ラベルと第２のクラスの正解ラベルとの間のDice係数に基づいて検出精度を算出する。【００１４】
本発明の第４の態様に係る機械学習装置において、第１のクラスの予測ラベルおよび第２のクラスの予測ラベルは、シグモイド関数に基づいて作成される。【００１５】
本発明の第５の態様に係る機械学習装置において、断層画像は３次元医用断層画像であり、第１のクラスおよび第２のクラスは解剖学的構造を含む。【００１６】
本発明の第６の態様に係る機械学習装置において、統合誤差算出部は、第１のクラスと第２のクラスとの間の解剖学的系統上の関係を示す関連性データに基づき、第１のクラスの正解ラベルから第２のクラスの正解ラベルを作成した上で、第１のクラスの予測ラベルと第１のクラスの正解ラベルとの間の誤差と、第２のクラスの予測ラベルと第２のクラスの正解ラベルとの間の誤差との統合誤差を算出する。【００１７】
本発明の第７の態様に係る機械学習装置において、関連性データにおいて、第２のクラスは第１のクラスよりも解剖学的に上位の関係にある。【００１８】
本発明の第８の態様に係る機械学習方法において、コンピュータが、断層画像のボリュームデータとボリュームデータにおける第１のクラスの正解ラベルとを含む第１学習データの入力を受け付けるステップと、ボリュームデータとボリュームデータにおける第１のクラスと異なる第２のクラスの正解ラベルとを含む第２学習データの入力を受け付けるステップと、ニューラルネットワークにより、第１学習データのボリュームデータから第１のクラスの予測ラベルを作成するとともに、第２学習データのボリュームデータから第１のクラスの予測ラベルとは独立した第２のクラスの予測ラベルを作成するステップと、重み付き平均により、第１のクラスの予測ラベルと第１のクラスの正解ラベルとの間の誤差と、第２のクラスの予測ラベルと第２のクラスの正解ラベルとの間の誤差との統合誤差を算出するステップと、統合誤差に基づいてボリュームデータに第１のクラスのラベルおよび第２のクラスのラベルの双方の予測ラベルを作成するようニューラルネットワークを機械学習させるステップと、を実行する。【００１９】
この機械学習方法をコンピュータに実行させるための機械学習プログラム、およびこの機械学習プログラムによって機械学習された機械学習済みモデルも本発明に含まれる。更に、非一時的かつコンピュータ読取可能な記録媒体であって、記録媒体に格納された指令がコンピュータによって読み取られた場合に上記の機械学習プログラムをコンピュータに実行させる記録媒体も本発明に含まれる。
【発明の効果】
【００２０】
この発明によると、独立して予測の誤差が算出された第１のクラスと第２のクラスに関して統合誤差を算出して機械学習を行うことが可能であり、マルチラベリングされていない学習データを用いたマルチラベリングの機械学習が可能となる。
【図面の簡単な説明】
【００２１】
【図１】機械学習データ作成装置の概略構成図
【図２】関係性データの概念説明図
【図３】機械学習処理のフローチャート
【図４】予測クラス（肺）に応じたバックプロパゲーションの概念を説明する図
【図５】予測クラス（蜂窩肺）に応じたバックプロパゲーションの概念を説明する図
【図６】予測クラス（気管支および血管）に応じたバックプロパゲーションの概念を説明する図
【図７】予測クラス（血管）に応じたバックプロパゲーションの概念を説明する図
【発明を実施するための形態】
【００２２】
図１は本発明の好ましい実施形態に係る機械学習装置１の概略構成図である。機械学習装置１は、学習データ入力部１１、関係性データ入力部１２、機械学習部１３、ニューラルネットワーク１４を備える。機械学習装置１は、ＧＰＵ（Graphics Processing Unit）などのプロセッサを備えるコンピュータで構成され、上記の各部は、プロセッサで実行されるプログラムにより実現される。機械学習装置１はニューラルネットワーク１４を含んでいてもよいし、含んでいなくてもよい。
【００２３】
学習データ入力部１１は、多数のアキシャル断層画像（マルチスライス画像）からなるボリュームデータと、そのボリュームデータに含まれる各ボクセルに対し、医師などが手動で、「肺」、「気管支」、「血管」、「空気充填パターン」「その他（バックグラウンド）」などの正解のラベルを付すこと（ラベリング）で、画像内の各画素が解剖学的構造の種類（クラス）に分類された正解マスクとの組（学習データ）の入力を受け付ける。
【００２４】
学習データの正解マスクにおいて、ボクセルに対するラベリングは、少なくとも１つ存在すればよく、１つのボクセルに対して複数のラベリングはされていてもいなくてもよい。説明の簡略のため、学習データ入力部１１に入力される学習データの各ボクセルには、「その他」か、あるいは「その他」以外の１つのラベルが付されているものとする。以下ではこれをシングルラベリングと呼ぶ。
【００２５】
例えば学習データＡの正解マスクの各ボクセルには「肺」または「その他」のラベルが付され、学習データＡと異なる学習データＢの正解マスクの各ボクセルには「気管支」または「その他」のラベルが付され、学習データＡおよび学習データＢと異なる学習データＣの正解マスクの各ボクセルには「血管」または「その他」が付されているものとする。学習データ入力部１１はこれらの学習データＡ・Ｂ・Ｃを含む、シングルラベリングの対象がそれぞれ異なる（すなわちシングルラベリングの対象がそれぞれ独立した）学習データを入力する。ただし、１つの正解マスクの異なるボクセルのそれぞれに、異なる種類のシングルラベリングが付与されていてもよい。例えば、１つの正解マスクのあるボクセルに「気管支」のラベルが付与され、かつ、同一の正解マスクの別のボクセルに「血管」のラベルが付与されていてもよい。
【００２６】
関係性データ入力部１２は、ニューラルネットワーク１４でシングルラベリングされた後のボリュームデータのボクセル群すなわちクラス同士の関係を示す関係性データの入力を受け付ける。
【００２７】
機械学習部１３は、学習データ入力部１１に入力された学習データと、関係性データ入力部１２に入力された構造関係データとに基づいて、ニューラルネットワーク１４に機械学習を行わせる。
【００２８】
ニューラルネットワーク１４は畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）とシグモイド層などによって構成される多層の分類器である。ニューラルネットワーク１４は、機械学習部１３によって機械学習がされたモデルに従って、入力された画像の各ボクセルに、「肺」、「気管支」、「血管」、「空気充填パターン」「その他（バックグラウンド）」などのラベルを付すことで、画像内の構造物を各クラスに分類する。
【００２９】
ニューラルネットワーク１４は、各ボクセルに対し、２以上の複数のラベル付け（マルチラベリング）を行うことができる。例えば、ニューラルネットワーク１４は、あるボクセルに対し「気管支」かつ「肺」のラベリングを行うことができる。
【００３０】
図２は関係性データの一例である。この関係性データは、各クラスの関係を階層構造で示している。例えば、「肺」のクラスに関係する下位の階層の解剖学的構造として、「血管(Blood vessel)」、「コンソリデ−ション（Consolidation： 肺胞が空気以外のもの、炎症巣等におきかえられて肺が固くなった状態）」、「間質影（Glass shadow）」、「空気充填パターン（Air filled pattern）」、「気管支」などの各クラスが存在する。
【００３１】
また、「間質影（Glass shadow）」のクラスに関係する下位の階層の解剖学的構造として、「結節影(Nodular shadow)」、「すりガラス影（Leaf frosted glass shadow）」のクラスが存在する。
【００３２】
また、「空気充填パターン（Air filled pattern）」のクラスに関係する下位の階層の解剖学的構造として、「嚢胞(Cyst)」、「蜂窩肺(Honeycomb)」、「空洞(Cavity)」のクラスが存在する。
【００３３】
この階層的関係は、クラス同士の解剖学的な包含関係を示している。例えば、「結節影」は「間質影」に含まれ、「間質影」は「肺」に含まれる。従って、「結節影」のラベルが付されたボクセルの正解マスクからは、「結節影」、「間質影」、「肺」のラベリングのいずれも学習させることができる。
【００３４】
なお、関係性データにおける階層構造は親子関係でなくてもよい。例えば転移（metastasis）は、「気管支」および「リンパ節」の下位の階層に位置するが、「気管支」と「リンパ節」の間には上下関係がないものとすることができる。
【００３５】
図３は機械学習処理のフローチャートである。この機械学習処理を機械学習装置１のプロセッサに実行させるためのプログラムは、機械学習装置１のＲＡＭ(Random Access Memory)などのコンピュータ読み取り可能な有形記憶媒体に記憶されている。
【００３６】
まず、Ｓ１（予測マスク作成ステップ）において、ニューラルネットワーク１４は、ラベリングの対象となるクラスがn種類の学習データDi(i=1,2,…n)のマルチスライス画像の入力を受け付け、畳み込みニューラルネットワークなどによって、n個の解剖学的構造iの予測マスク（ニューラルネットワーク１４にて各クラスに分類されたボクセル群の集合）を作成する。なお予測マスクや正解マスクはボリュームレンダリングによりディスプレイ画面に表示されてもよい。
【００３７】
Ｓ２（予測精度算出ステップ）では、機械学習部１３は、学習データDiのボクセルに対応するクラスCiの予測精度acc(i)（ラベリングの確からしさを示す値）を、学習データDiごとに算出する。この予測精度acc(i)は、以下のsigmoid関数で表され、０〜１の間の値をとる。
【００３８】
acc(i)=1/{1+exp(-vi)}
viはロジット（logit）である。
【００３９】
ニューラルネットワーク１４はマルチラベリングが可能なため、入力ボクセルに対する各クラスのマルチラベリングの確からしさはsoftmax層を用いたsoftmax関数で求めることができる。これはソフトラベルと呼ばれる。しかし本実施形態では、正解マスクはシングルラベリングであるから、ソフトラベルは計算できない。そこで、入力ボクセルがクラスCiであるか否かの２値分類の確からしさを示すsigmoid関数を用いて、各クラスCiの独立した予測精度acc(i)を求める。
【００４０】
Ｓ３（重み付き誤差平均算出ステップ）では、機械学習部１３は、学習データDiの１つのボクセルに対応するクラスCiの予測精度acc(i)と、そのボクセルに対応する正解マスク(Ground Truth)Giとから、そのボクセルのクラスの予測精度acc(i)と正解マスクGiとの間の誤差diの重み付き平均Mを算出する。
【００４１】
誤差diの重みαiは、Dice係数である。すなわち、学習データDiの各ボクセルに対する機械学習によるクラスの予測結果の集合をPr(i)、学習データDiのクラスCiの正解マスク(Ground Truth)の集合をHt、Pr(i)とHtの共通集合(intersection)のボクセル数をＢi，Pr(i)のボクセル数をＡi+Ｂi、Htのボクセル数をＢi+Ｃi、重みをw(wは1以上)、クラスの総数をnとすると、
αi=w*Bi/(Ai+w*Bi+Ci)
M=Σαidi/n
で定義される。誤差diは２乗誤差や絶対値誤差など、公知かつ任意のもので定義される。例えば、誤差diが２乗誤差の場合、機械学習の予測が正解マスクと一致（正解）であれば０、正解マスクと不一致（不正解）であれば、不一致の度合に応じた１以下の値となる。この重みαiを適宜調整すれば、解剖学的構造の大小が学習に与える影響を除くことができる。
【００４２】
なおＡ+Ｂ+ＣはPr(i)とHtの和集合（Union）のボクセル数である。従ってw=1の場合は、αiは、IoU(Intersection over Union)となる。クラスCiの予測精度が上がるほどα(i)は１に近づく。Bi=0の場合はαi=0となる。すなわち、そもそも正解マスクにおいて正解が定義されていないクラスについては、重み付き平均Mの算出において、このクラスの予測に関する誤差が無視される。例えば、あるボクセルについて「肺」の予測が行われたとしても、正解マスクにおいてそのボクセルに「肺」のラベルが与えられていなければ、「肺」の誤差diに対応する重みαiは０であり、「肺」の誤差diは重み付平均Sの値に影響しない。
【００４３】
一方、あるボクセルについて「肺」および「空気充填パターン」のクラスの予測がそれぞれ独立して行われた場合、正解マスクにおいてそのボクセルに「肺」および「空気充填パターン」のラベルが与えられていれば、「肺」の誤差d1に対応する重みα1、「空気充填パターン」の誤差d2に対応する重みα2はそれぞれ０でない。この場合、誤差d1および誤差d2の双方の値が、重みα1、α2の値に応じてＳの値に反映される。
【００４４】
ただし、関係性データにおいて、正解マスクの解剖学的構造の上位の解剖学的構造については、正解マスクにおいて正解が定義されていないクラスであっても、誤差は無視しない。例えば、あるボクセルについて「肺」および「気管支」の独立した予測が行われ、かつそのボクセルの正解マスクには「気管支」のラベルのみが定義されている場合、そのボクセルには疑似的に「肺」の正解ラベルを与えた上で、「肺」の誤差および「気管支」の誤差の重み付き平均Mを算出する。なぜなら、「肺」は「気管支」を包含する上位の解剖学的構造であるため、「気管支」のラベリングが正解なら、「肺」のラベリングも当然に正解だからである。このように解剖学的構造の階層的関係に応じて疑似的に正解ラベルを与えることで、予めマルチラベリングの正解を用意する手間を省ける。
【００４５】
ただし検出精度の算出式は上記に限られない。一般的には、
【００４６】
【数１】
2019176806.tif 000003
【００４７】
で表すことができる。f1は
【００４８】
【数２】
2019176806.tif 000004
【００４９】
をパラメータとする関数、f2は
【００５０】
【数３】
2019176806.tif 000005
【００５１】
をパラメータとする関数である。
【００５２】
Ｓ３（損失算出ステップ）では、機械学習部１３は、損失関数Lossで学習損失を算出する。
【００５３】
ここで、損失関数Lossは、重みづけ平均Mの逆数によって定義される。ただし損失関数の式は上記に限られない。
【００５４】
Ｓ４（バックプロパゲーションステップ）では、機械学習部１３は、損失関数Lossで算出された学習損失の値に応じて、ニューラルネットワーク１４の各結合荷重を出力層側から入力層側へ変化させていく。なお上記のＳ１〜Ｓ４は任意の回数繰り返すことができる。これにより、正解マスクで定義されたクラスとその上位の解剖学的構造のクラスの双方に対する損失が最小化されるように、ニューラルネットワーク１４の結合荷重が更新される。これにより、シングルラベリングの正解マスクに基づくマルチラベリングの機械学習、およびこの機械学習によるマルチラベリング可能な機械学習済みモデルが得られる。
【００５５】
図４ないし図７は予測クラスに応じたバックプロパゲーションの概念を説明する図である。
【００５６】
このうち図４は「肺」の正解マスクＧ１と、ボリュームデータＶから予測された「肺」の予測マスクＰ１との間の学習損失によるバックプロパゲーションを示す。この場合は「肺」の学習損失だけが考慮されたバックプロパゲーションが行われる。
【００５７】
また図５は「蜂窩肺」の正解マスクＧ２と、ボリュームデータＶから予測された「蜂窩肺」の予測マスクＰ２との間の学習損失によるバックプロパゲーションを示す。この場合は「蜂窩肺」とその上位の解剖学的構造の「空気充填パターン」および「肺」の学習損失の双方（あるいはいずれか一方）が考慮されたバックプロパゲーションが行われる。
【００５８】
また図６は「気管支」および「血管」の正解マスクＧ３と、ボリュームデータＶから予測された「気管支」および「血管」の予測マスクＰ３との間の学習損失によるバックプロパゲーションを示す。この場合は「気管支」および「血管」とそれらの上位の解剖学的構造の「肺」の学習損失の双方が考慮されたバックプロパゲーションが行われる。
【００５９】
また図７は「血管」の正解マスクＧ４と、ボリュームデータＶから予測された「血管」の予測マスクＰ４との間の学習損失によるバックプロパゲーションを示す。この場合は「血管」とこの上位の解剖学的構造の「肺」の学習損失の双方が考慮されたバックプロパゲーションが行われる。
【００６０】
このように、解剖学的に関連性のある臓器の予測に関してまとめてバックプロパゲーションを行うことで、シングルラベリングされた学習データを用いた効率的なマルチラベリングの機械学習が可能となる。このため、解剖学的に一貫したルールでマルチラベリングされた学習用のデータを大量に用意する必要がない。また、予測精度に基づいてバックプロパゲーションするため、精度の高いマルチラベリングが可能となる。
【００６１】
なお本発明は、３次元の医用画像に限らず、各種の２次元画像または３次元画像に適用できる。２次元画像の場合は、上記のボクセルをピクセルに置き換えた処理を行えば、シングルラベリングされた学習データを用いた効率的なマルチラベリングの機械学習が可能となる。
【符号の説明】
【００６２】
１  機械学習装置
１１  学習データ入力部
１２  関係性データ入力部
１３  機械学習部
１４  ニューラルネットワーク
【図１】
2019176806.tif 000006
【図２】
2019176806.tif 000007
【図３】
2019176806.tif 000008
【図４】
2019176806.tif 000009
【図５】
2019176806.tif 000010
【図６】
2019176806.tif 000011
【図７】
2019176806.tif 000012
【国際調査報告】
2019176806.tif 000013
2019176806.tif 000014
2019176806.tif 000015
2019176806.tif 000016