(57)【要約】【課題】矢状面を探し出すことができるニューラルネットワークに関連する方法及びコンピュータ装置を提供する。【解決手段】医用矢状面画像を取得するニューラルネットワークのトレーニング方法は、第１のニューラルネットワーク４１を三次元医用画像５１に用いて予測矢状面マスク５２を生成することと、三次元医用画像５１及び予測矢状面マスク５２に基づいて予測結果５３を得ることと、三次元医用画像５１及び判定矢状面マスク５４に基づいて判定結果５５を得ることと、第２のニューラルネットワーク４４を予測結果５３と判定結果５５とに用いることと、第２のニューラルネットワーク４４の出力に基づいて損失関数データ５６、５７を生成することと、損失関数データ５６、５７に基づいて第１のニューラルネットワーク４１又は第２のニューラルネットワーク４４のパラメータを調整することと、を含む。【選択図】図２Ａ
2020108725.tif 000002
【特許請求の範囲】
【請求項１】
第１のニューラルネットワークを三次元医用画像に用いて予測矢状面マスクを生成することと、
前記三次元医用画像及び前記予測矢状面マスクに基づいて予測結果を得ることと、
前記三次元医用画像及び判定矢状面マスクに基づいて判定結果を得ることと、
第２のニューラルネットワークを前記予測結果と前記判定結果とに用いることと、
前記第２のニューラルネットワークの出力に基づいて損失関数データを生成することと、
前記損失関数データに基づいて前記第１のニューラルネットワーク又は前記第２のニューラルネットワークのパラメータを調整することと、を含む、ことを特徴とする医用矢状面画像を取得するニューラルネットワークのトレーニング方法。
【請求項２】
前記三次元医用画像は超音波画像、コンピュータ断層画像、パノラマＸ線撮影画像又は磁気共鳴断層撮影画像のいずれかを含む、請求項１に記載の方法。
【請求項３】
前記予測結果は前記三次元医用画像と前記予測矢状面マスクとの結合演算で生成されるものであり、前記判定結果は前記三次元医用画像と前記判定矢状面マスクとの結合演算で生成されるものである、請求項１に記載の方法。
【請求項４】
前記第１のニューラルネットワークは、複数の畳み込み層と、平坦層と、再構成層と、複数の逆畳み込み層とを備える畳み込みニューラルネットワークである、請求項１に記載の方法。
【請求項５】
前記第２のニューラルネットワークは、複数の畳み込み層と、平坦層とを備える畳み込みニューラルネットワークである、請求項１に記載の方法。
【請求項６】
前記損失関数データは、
前記第１のニューラルネットワークを調整するための第１の損失関数データと、
前記第２のニューラルネットワークを調整するための第２の損失関数データと、を含む、請求項１に記載の方法。
【請求項７】
前記第１のニューラルネットワークと前記第２のニューラルネットワークとが敵対的生成ネットワークである、請求項１に記載の方法。
【請求項８】
更に、
複数の二次元医用画像から前記三次元医用画像を作成することを含む、請求項１に記載の方法。
【請求項９】
更に、
前記予測矢状面マスク及び前記三次元医用画像に基づいて、二次元矢状面画像を生成することを含む、請求項１に記載の方法。
【請求項１０】
第１のニューラルネットワークを三次元医用画像に用いて予測矢状面マスクを生成することと、
前記予測矢状面マスク及び前記三次元医用画像に基づいて、二次元矢状面画像を生成することと、を含む、ことを特徴とする医用矢状面画像を取得する方法。
【請求項１１】
前記二次元矢状面画像を生成するステップが、
前記予測矢状面マスクに基づいて矢状面記述データを生成することと、
前記矢状面記述データに基づいて、前記三次元医用画像に対して座標変換を行うことで、前記二次元矢状面画像を生成することと、を含む、請求項１０に記載の方法。
【請求項１２】
前記三次元医用画像は超音波画像、コンピュータ断層画像、パノラマＸ線撮影画像又は磁気共鳴断層撮影画像のいずれかを含む、請求項１０に記載の方法。
【請求項１３】
前記第１のニューラルネットワークは、複数の畳み込み層と、平坦層と、再構成層と、複数の逆畳み込み層とを備える畳み込みニューラルネットワークである、請求項１０に記載の方法。
【請求項１４】
更に、
複数の二次元医用画像から前記三次元医用画像を作成することを含む、請求項１０に記載の方法。
【請求項１５】
請求項１ないし１４のいずれか一項に記載の方法を実行することを特徴とするコンピュータ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は医用矢状面画像を取得する方法、医用矢状面画像を取得するニューラルネットワークのトレーニング方法及びコンピュータ装置に関し、特に医用矢状面画像の取得のためのニューラルネットワーク関連の方法及びコンピュータ装置に関する。
【背景技術】
【０００２】
医用検査装置には超音波検査装置、コンピュータ断層撮影等の装置があり、出産前胎児の成長検査を例とすると、超音波検査は出産前診断にて重要な役割を果たしている。医師は、妊娠初期の超音波画像から胎児ＮＴと成長パラメータの測定を行うことで、早期ダウン症、胎児の遺伝子異常又は発育不全といったスクリーニング検査とすることができる。しかしながら、胎児超音波画像は通常、ノイズが多すぎ、境目があいまいである等の欠点があり、しかも、妊娠初期の超音波画像はなおさら胎児の発育がまだ完全ではなく、そして胎児自体は子宮内膜に付着して境目が不明確である等の問題があることから、現在、超音波画像測定及び評価は臨床専門の人員の経験に大きく依存しており、人為的な誤差も招きやすい。また、胎児ＮＴの厚みは胎児の正中矢状面（Ｍｉｄｄｌｅ Ｓａｇｉｔｔａｌ Ｐｌａｎｅ，ＭＳＰ）上で測定しなければならないが、超音波画像中から正確な観察面をどのようにして探し出すかということは、かなり時間がかかり、困難な技術である。
【０００３】
よって、矢状面を探し出すことができるニューラルネットワーク及びコンピュータ装置をどのように提供するかというのは、重要な課題の一つとなっている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の課題に鑑み、本発明の目的は、矢状面を探し出すことができるニューラルネットワーク及び関連する方法及びコンピュータ装置を提供するところにある。
【課題を解決するための手段】
【０００５】
医用矢状面画像を取得するニューラルネットワークのトレーニング方法は、第１のニューラルネットワークを三次元医用画像に用いて予測矢状面マスクを生成することと、三次元医用画像及び予測矢状面マスクに基づいて予測結果を得ることと、三次元医用画像及び判定矢状面マスクに基づいて判定結果を得ることと、第２のニューラルネットワークを予測結果と判定結果とに用いることと、第２のニューラルネットワークの出力に基づいて損失関数データを生成することと、損失関数データに基づいて第１のニューラルネットワーク又は第２のニューラルネットワークのパラメータを調整することと、を含む。
【０００６】
一実施例において、三次元医用画像は超音波画像、コンピュータ断層画像、パノラマＸ線撮影画像又は磁気共鳴断層撮影画像のいずれかを含む。
【０００７】
一実施例において、予測結果は三次元医用画像と予測矢状面マスクとの結合演算で生成されるものであり、判定結果は三次元医用画像と判定矢状面マスクとの結合演算で生成されるものである。
【０００８】
一実施例において、第１のニューラルネットワークは、複数の畳み込み層と、平坦層と、再構成層と、複数の逆畳み込み層とを備える畳み込みニューラルネットワークである。
【０００９】
一実施例において、第２のニューラルネットワークは、複数の畳み込み層と、平坦層とを備える畳み込みニューラルネットワークである。
【００１０】
一実施例において、第１のニューラルネットワークと第２のニューラルネットワークとが敵対的生成ネットワークである。
【００１１】
一実施例において、損失関数データは第１の損失関数データと第２の損失関数データとを含み、第１の損失関数データは第１のニューラルネットワークの調整に用いられ、第２の損失関数データは第２のニューラルネットワークの調整に用いられる。
【００１２】
一実施例において、トレーニング方法は更に、複数の二次元医用画像から三次元医用画像を作成することを含む。
【００１３】
一実施例において、トレーニング方法は更に、予測矢状面マスク及び三次元医用画像に基づいて、二次元矢状面画像を生成することを含む。
【００１４】
医用矢状面画像を取得する方法は、第１のニューラルネットワークを三次元医用画像に用いて予測矢状面マスクを生成することと、予測矢状面マスク及び三次元医用画像に基づいて二次元矢状面画像を生成することと、を含む。
【００１５】
一実施例の医用矢状面画像を取得する方法において、二次元矢状面画像を生成するステップが、予測矢状面マスクに基づいて矢状面記述データを生成することと、矢状面記述データに基づいて三次元医用画像に対して座標変換を行うことで二次元矢状面画像を生成することと、を含む。
【００１６】
一実施例の医用矢状面画像を取得する方法において、三次元医用画像は超音波画像、コンピュータ断層画像、パノラマＸ線撮影画像又は磁気共鳴断層撮影画像のいずれかを含む。
【００１７】
一実施例の医用矢状面画像を取得する方法において、第１のニューラルネットワークは、複数の畳み込み層と、平坦層と、再構成層と、複数の逆畳み込み層とを備える畳み込みニューラルネットワークである。
【００１８】
一実施例の医用矢状面画像を取得する方法において、取得方法は更に、複数の二次元医用画像から三次元医用画像を作成することを含む。
【００１９】
更に本発明は、上記した方法を実行するコンピュータ装置である。
【発明の効果】
【００２０】
一実施例において、コンピュータ装置は処理コアと記憶素子とを備えており、記憶素子は上記方法のソースコードを記憶し、処理コアは記憶素子に接続されるとともにソースコードを実行することで上記方法を実行する。
【００２１】
上記により、本開示の医用矢状面画像を取得するニューラルネットワークのトレーニング方法、医用矢状面画像を取得する方法及びコンピュータ装置において、ニューラルネットワークを用いることで矢状平面を検知すること、例えば超音波画像から胎児の正中矢状平面を検知することができる。ニューラルネットワークは一つのフィルタとして見なすことができ、医用画像における特徴点及びその三次元空間中の位置を学習するとともに、平面位置情報を含む一つの三次元マスクを生成して、後処理の変換を経て、最終的に正中矢状平面画像を得る。
【図面の簡単な説明】
【００２２】
【図１】一実施例の医用矢状面画像を処理するシステムのブロック図である。
【図２Ａ】一実施例の医用矢状面画像を取得するニューラルネットワークのトレーニング方法のブロック図である。
【図２Ｂ】一実施例の結合演算のブロック図である。
【図２Ｃ】一実施例の三次元医用画像生成のブロック図である。
【図３】一実施例の第１のニューラルネットワークの概略図である。
【図４】一実施例の第２のニューラルネットワークの概略図である。
【図５】一実施例の医用矢状面画像を取得する方法のブロック図である。
【図６】一実施例の画像座標変換の概略図である。
【図７Ａ】一実施例の矢状面の概略図である。
【図７Ｂ】医用矢状面画像の超音波画像を示している。
【図７Ｃ】医用矢状面画像の超音波画像を示している。
【図７Ｄ】医用矢状面画像の超音波画像を示している。
【発明を実施するための形態】
【００２３】
以下にて関連する図面を参照して、本発明の好ましい実施例に係る医用矢状面画像を取得する方法、医用矢状面画像を取得するニューラルネットワークのトレーニング方法及びコンピュータ装置を説明するが、同じ構成要素には同じ符号を付して説明する。
【実施例】
【００２４】
図１に示すように、図１は一実施例の医用矢状面画像を処理するシステムのブロック図である。システムは医用画像装置１と、コンピュータ装置２と、出力装置３とを備えており、コンピュータ装置２は処理コア２１と、記憶素子２２と、複数のＩ／Ｏインターフェイス２３、２４とを備えており、処理コア２１は記憶素子２２及びＩ／Ｏインターフェイス２３、２４に接続されており、Ｉ／Ｏインターフェイス２３は医用画像装置１が生成した医用画像１１を受取ることができ、Ｉ／Ｏインターフェイス２４は出力装置３と通信し、コンピュータ装置２はＩ／Ｏインターフェイス２４を介して、処理結果を出力装置３に出力することができる。
【００２５】
記憶素子２２は、処理コア２１での実行に供されるソースコードを記憶しており、記憶素子２２は不揮発性メモリ及び揮発性メモリを備えており、不揮発性メモリは例えばＨＤＤ、フラッシュメモリ、ＳＳＤ、光ディスク等である。揮発性メモリは例えばＤＲＡＭ、ＳＲＡＭ等である。例えば、ソースコードは不揮発性メモリに記憶されており、処理コア２１はソースコードを不揮発性メモリから揮発性メモリに導入した後、ソースコードを実行することができる。
【００２６】
処理コア２１は例えばプロセッサ、コントローラ等であり、プロセッサは一つ又は複数のコアを備える。プロセッサはＣＰＵ又はＧＰＵとすることができ、処理コア２１はＣＰＵ又はＧＰＵのコアとしてもよい。一方、処理コア２１は一つの処理モジュールとしてもよく、処理モジュールは複数のプロセッサを備えており、例えばＣＰＵとＧＰＵとを備える。
【００２７】
医用画像装置１は、医用画像１１を生成することができる装置であり、例えば超音波検査装置、コンピュータ断層撮影、パノラマＸ線撮影画像又は磁気共鳴断層撮影等である。医用画像装置１が生成した医用画像１１はまず記憶媒体に伝送されて、更に記憶媒体からＩ／Ｏインターフェイス２３に入力されるものであり、Ｉ／Ｏインターフェイス２３は例えば周辺機器ポートであり、記憶媒体は例えば不揮発性メモリである。また、医用画像装置１はＩ／Ｏインターフェイス２３と有線又は無線方式で接続することができ、接続方式により医用画像１１を医用画像装置１からＩ／Ｏインターフェイス２３に伝送して、Ｉ／Ｏインターフェイス２３は例えば通信ポートである。
【００２８】
コンピュータ装置２は医用矢状面画像を取得するニューラルネットワークのトレーニング方法を実行することができ、記憶素子２２はトレーニング方法の関連するソースコード、モデル及びトレーニング済みのパラメータを記憶し、処理コア２１はこれらのソースコードを実行することでトレーニング方法を実行するものであって、トレーニング方法は、第１のニューラルネットワークを三次元医用画像に用いて予測矢状面マスクを生成することと、三次元医用画像及び予測矢状面マスクに基づいて予測結果を得ることと、三次元医用画像及び判定矢状面マスクに基づいて判定結果を得ることと、第２のニューラルネットワークを予測結果と判定結果とに用いることと、第２のニューラルネットワークの出力に基づいて損失関数データを生成することと、損失関数データに基づいて、第１のニューラルネットワーク又は第２のニューラルネットワークのパラメータを調整すること、を含む。
【００２９】
コンピュータ装置２は医用矢状面画像を取得する方法を実行することができ、記憶素子２２はトレーニング方法の関連するソースコード、モデル及びトレーニング済みのパラメータを記憶し、処理コア２１はこれらのソースコードを実行することで取得方法を実行するものであって、取得方法は、第１のニューラルネットワークを三次元医用画像に用いて予測矢状面マスクを生成することと、予測矢状面マスク及び三次元医用画像に基づいて二次元矢状面画像を生成することと、を含む。
【００３０】
出力装置３は、例えばディスプレイ、プロジェクタ、プリンタ等の画像出力能力を備えた装置である。コンピュータ装置２が医用矢状面画像を取得する方法を実行することで、生成した二次元矢状面画像を出力装置３に出力することができる。
【００３１】
第１のニューラルネットワークは、医用矢状面画像を取得するニューラルネットワークのトレーニング方法によりトレーニングするニューラルネットワークであり、しかも矢状面検知をフィルタとして、三次元医用画像から矢状面をフィルタリングするとともに三次元バイナリマスクを生成するものであり、フィルタリングした情報は矢状面上で必要とされる特徴を残すのみならず、同時に位置情報を有する。トレーニング後の第１のニューラルネットワークを用いて、三次元医用画像の空間体積（ｖｏｌｕｍｅ）から、画像中の目標物を精確に左右二つに分割するとともに、なおも必要とされる特徴を有する一つの平面を探し出すことができる。全ての候補分割片を表示するとともにこれらの分割片をカテゴライズする直覚的方法に比べて、本願の方法は、上記の直覚的方法は非常に時間を消耗し、効率に欠けるという欠点を克服し、直覚的方法では二次元画像のみを判断根拠とすることで確実な位置が三次元空間で歪むという問題を克服している。
【００３２】
図２Ａに示すように、図２Ａは一実施例の医用矢状面画像を取得するニューラルネットワークのトレーニング方法のブロック図である。第１のニューラルネットワーク４１、予測結果生成４２、判定結果生成４３、第２のニューラルネットワーク４４及び損失関数データ計算４５の実際に運用するソースコード及びデータは、図１の記憶素子２２に記憶するとともに処理コア２１に提供されて実行及び処理することができ、三次元医用画像５１、予測矢状面マスク５２、予測結果５３、判定矢状面マスク５４、判定結果５５及び損失関数データ５６、５７は記憶素子２２に記憶又は導入することで処理コア２１に提供されて処理することができる。
【００３３】
第１のニューラルネットワーク４１を三次元医用画像５１に用いて予測矢状面マスク５２を生成し、予測結果生成４２は三次元医用画像５１及び予測矢状面マスク５２に基づいて予測結果５３を得て、判定結果生成４３は三次元医用画像５１及び判定矢状面マスク５４に基づいて判定結果５５を得て、第２のニューラルネットワーク４４を予測結果生成４２及び判定結果生成４３に用いて出力を生成し、損失関数データ計算４５は第２のニューラルネットワーク４４の出力に基づいて損失関数を用いて損失関数データ５６、５７を計算して生成し、その後損失関数データ５６、５７に基づいて第１のニューラルネットワーク４１及び第２のニューラルネットワーク４４のパラメータを調整する。
【００３４】
トレーニング方法はディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）を用いて矢状面を自動的に検知することができるものであって、例えば、第１のニューラルネットワーク４１及び第２のニューラルネットワーク４４は敵対的生成ネットワークの二つのサブネットワーク部分とすることができ、第１のニューラルネットワーク４１は生成器（ｇｅｎｅｒａｔｏｒ）として、第２のニューラルネットワーク４４は評価器（ｃｒｉｔｉｃ）とする。評価器の出力損失を用いて、生成器及び評価器をそれぞれ調整又は最適化することができる。
【００３５】
三次元医用画像５１は入力画像とするものであり、例えば、三次元医用画像５１は超音波画像、コンピュータ断層画像、パノラマＸ線撮影画像又は磁気共鳴断層撮影画像等である。超音波画像は例えば全身超音波画像又は局所超音波画像であり、局所超音波画像は例えば頭部超音波画像、頸部超音波画像、頭頸部超音波画像又はその他の部位の超音波画像等である。三次元医用画像５１は図１の医用画像装置１が生成する医用画像１１とすることができ、つまり医用画像１１自身は三次元画像であるか、又は、三次元医用画像５１は医用画像１１から生成されるものであり、例えば医用画像１１は複数の二次元画像であるが、これらの二次元画像はそれぞれ標的物が異なる断層面又は異なる視角にあることを表し、三次元医用画像５１はこれらの二次元画像から作成され生成されるものである。
【００３６】
第１のニューラルネットワーク４１は三次元医用画像５１を入力とするとともに処理し、処理結果を予測矢状面マスク５２とする。例えば、第１のニューラルネットワーク４１は、三次元医用画像５１における特徴点及びその三次元空間中の位置を学習するとともに、平面位置情報を含む一つの三次元予測矢状面マスク５２を生成する一つのフィルタとして設計される。予測矢状面マスク５２の次元及び規模は三次元医用画像５１の次元及び規模と同じとすることができる。
【００３７】
第１のニューラルネットワーク４１は三次元医用画像５１からクロップ体積（ｃｒｏｐｐｅｄ ｖｏｌｕｍｅ）を入力として切り出すとともに三次元マスクを予測矢状面マスク５２として出力し、三次元マスクは例えば三次元バイナリマスク（３Ｄ ｂｉｎａｒｙ ｍａｓｋ）であり、第１のニューラルネットワーク４１の入力及び出力は同じ次元（ｄｉｍｅｎｓｉｏｎ）及び規模（ｓｃａｌｅ）を有する。矢状面の位置情報はこの三次元マスク内に嵌め込まれ、もしボクセル（ｖｏｘｅｌ）が矢状面にあれば対応マスク値は１であり、反対にボクセルが矢状面の外に排除されているのであれば対応マスク値は０となる。
【００３８】
予測結果生成４２は三次元医用画像５１及び予測矢状面マスク５２に基づいて予測結果５３を生成するが、生成方式は例えば結合演算を用いる。判定結果生成４３は三次元医用画像５１及び判定矢状面マスク５４に基づいて判定結果５５を生成するが、生成方式は例えば結合演算を用いており、判定矢状面マスク５４は三次元医用画像５１の次元及び規模と同じとすることができる。処理の便宜上、三次元医用画像５１、予測矢状面マスク５２及び判定矢状面マスク５４は同じ次元及び規模を有することができる。
【００３９】
結合演算は図２Ｂに示すように、予測結果生成４２及び判定結果生成４３は同じ方式の結合演算を用いることができ、結合演算のソースコードは予測結果生成４２及び判定結果生成４３で共用され得る。図２Ｂにて、結合演算は乗算４６及び連結４７を含む。データを第２のニューラルネットワーク４４に送り込まれる前に、三次元マスク及び三次元医用画像５１がまず結合演算を施すが、結合演算には要素ごと乗算（ｅｌｅｍｅｎｔ-ｗｉｓｅ ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）が含まれるが、これは元の三次元医用画像５１中から強度面（ｉｎｔｅｎｓｉｔｙ ｐｌａｎｅ）を取得する必要があるからである。その後、結合演算は乗算４６の結果と三次元医用画像５１とを連結（ｃｏｎｃａｔｅｎａｔｅ）するが、連結４７の出力（つまり、２つのチャンネルデータ）は第２のニューラルネットワーク４４に送り込まれる。
【００４０】
予測結果生成４２にて、三次元マスクは予測矢状面マスク５２であり、連結４７の出力は予測結果５３とされる。判定結果生成４３にて、三次元マスクは判定矢状面マスク５４であり、連結４７の出力は判定結果５５とされる。
【００４１】
図２Ａを再度参照されたい。第２のニューラルネットワーク４４は予測結果５３及び判定結果５５を入力とするとともに処理して、処理結果を損失関数データ計算４５に出力する。損失関数データ計算４５にて、損失関数データ５６、５７は第１の損失関数データ５６と第２の損失関数データ５７とを含み、第１の損失関数データ５６は第１のニューラルネットワーク４１の調整に用いられ、第２の損失関数データ５７は第２のニューラルネットワーク４４の調整に用いられる。
【００４２】
第１のニューラルネットワーク４１及び第２のニューラルネットワーク４４のフィルタ重み値（ｆｉｌｔｅｒ ｗｅｉｇｈｔｓ）は損失関数データ５６、５７を用いてトレーニングされる。敵対的生成ネットワークを採用する場合、損失関数はＷＧＡＮ-ＧＰ又はＷＧＡＮ-ＧＰに基づく改正バージョンを採用することができるものであり、損失関数データ５６、５７は下記の式を用いて生成される：
【００４３】
【数１】
2020108725.tif 000003
【００４４】
また、図２Ｃに示すように、図２Ｃは一実施例の三次元医用画像生成のブロック図であり、三次元医用画像生成４８において、複数の二次元医用画像５８から図２Ａ中の三次元医用画像５１を生成して作成することができる。例えば、二次元医用画像５８は二次元超音波画像であり、三次元医用画像５１は三次元超音波画像である。三次元医用画像生成４８の実際に運用するソースコード及びデータも図１の記憶素子２２に記憶されるとともに処理コア２１に提供されて実行及び処理することができる。
【００４５】
図３に示すように、図３は一実施例の第１のニューラルネットワークの概略図であり、第１のニューラルネットワーク４１は例えば、複数の畳み込み層４１１と、平坦層４１２と、再構成層４１４と、複数の逆畳み込み層４１５とを備える畳み込みニューラルネットワークである。第１のニューラルネットワーク４１の前半分はエンコーダと見なし、後半分はデコーダと見なすことができ、例えば畳み込み層４１１及び平坦層４１２はエンコーダと見なし、再構成層４１４及び逆畳み込み層４１５はデコーダと見なすことができる。逆畳み込み層４１５の最終的な出力は予測矢状面マスク５２とされる。
【００４６】
畳み込み層４１１は例えば四つであり、各畳み込み層４１１は同じ規模のカーネル（ｋｅｒｎｅｌ）を使用するとともに同じ規模のストライド（ｓｔｒｉｄｅ）を有しており、例えば３×３×３サイズのカーネル及び１×１×１サイズのストライドを有する。カーネルはまたフィルタ（ｆｉｌｔｅｒ）と称される。特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）の厚みはチャネル（ｃｈａｎｎｅｌ）と称される、その数量は畳み込み層４１１の層数に伴って増加するものであり、例えば第１層の畳み込み層４１１ａの後は、畳み込み層４１１を通過する毎に倍増するものであり、図３において、第１層の畳み込み層４１１ａの入力のチャネル数は１であり、その後第１層の畳み込み層４１１ａを経て出力した後、第１層の畳み込み層４１１ａから第４層の畳み込み層４１１ｄまでにて、チャネル数は４から始まった後徐々に８、１６及び３２に増加する。データ量のサイズは８０３から順に４０３、２０３、１０３、５３に変化する。その他の実施形態において、畳み込み層４１１は異なるサイズのカーネルをそれぞれ用いてもよく、又は全ての畳み込み層４１１のいずれでも同じ規模のカーネルを用いることなく、畳み込み層４１１の一部のみに同じ規模のカーネルを用いてもよい。畳み込み層４１１は異なるサイズのストライドをそれぞれ用いてもよく、又は全ての畳み込み層４１１のいずれでも同じ規模のストライドを用いることなく、畳み込み層４１１の一部のみに同じ規模のストライドを用いてもよい。チャネルの数量の変化はその他の方式で変化してもよく、倍増に限定するものではない。
【００４７】
畳み込み層４１１の出力は更なる処理を経て次の畳み込み層４１１又は平坦層４１２に更に進入することができるものであり、更なる処理は例えば正規化線形関数層（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ ｌａｙｅｒ，ＲｅＬＵ ｌａｙｅｒ）又はプーリング層（ｐｏｏｌｉｎｇ ｌａｙｅｒ）であり、正規化線形関数層は例えば漏洩正規化線形関数（ｌｅａｋｙ ＲｅＬＵ）を用いており、プーリング層は例えば最大プーリング層（ｍａｘ ｐｏｏｌｉｎｇ ｌａｙｅｒ）である。例えば、各畳み込み層４１１の出力は正規化線形関数層及び最大プーリング層で処理されて更に次の畳み込み層４１１に進入して、最後の畳み込み層４１１は平坦層４１２に出力し、各正規化線形関数層は漏洩正規化線形関数を用いており、各プーリング層は最大プーリング層であり、最大プーリング層は２×２×２サイズのカーネルを用いるとともに２×２×２サイズのストライドを有する。その他の実施形態において、全ての畳み込み層４１１の出力のいずれもが正規化線形関数層又はプーリング層を経るのではなく、一部の畳み込み層４１１の出力のみが更なる処理を経て次の畳み込み層４１１又は平坦層４１２に進入することができる。
【００４８】
平坦層４１２の後には二つの完全接続層４１３に接続されて更に再構成層４１４に接続することができる。完全接続層４１３も正規化線形関数層を有してもよく、正規化線形関数層は例えば漏洩正規化線形関数を用いる。再構成層４１４の後には逆畳み込み層４１５が接続される。平坦層４１２の後から再構成層４１４までの間のデータ量のサイズは４０００、５００、４０００である。
【００４９】
逆畳み込み層４１５は例えば四つであり、各逆畳み込み層４１５は同じ規模のカーネルを使用するとともに同じ規模のストライドを有しており、例えば３×３×３サイズのカーネル及び２×２×２サイズのストライドを有する。チャネルの数量は逆畳み込み層４１５の層数に伴って徐々に減少するものであり、例えば一層の逆畳み込み層４１５を通過して最後の一層まで倍減する。図３において、第１層の逆畳み込み層４１５の入力のチャネル数は３２であり、その後第１層の逆畳み込み層４１５ａを経て出力した後、第１層の逆畳み込み層４１５ａから第４層の逆畳み込み層４１５ｄまでにて、チャネル数は３２から始まった後徐々に１６、８及び４に減少して、最後の逆畳み込み層４１５ｄの出力のチャネル数は１となる。データ量のサイズは５３から順に１０３、２０３、４０３、８０３に変化する。その他の実施形態において、逆畳み込み層４１５は異なるサイズのカーネルをそれぞれ用いてもよく、又は全ての逆畳み込み層４１５のいずれでも同じ規模のカーネルを用いることなく、逆畳み込み層４１５の一部のみに同じ規模のカーネルを用いてもよい。逆畳み込み層４１５は異なるサイズのストライドをそれぞれ用いてもよく、又は全ての逆畳み込み層４１５のいずれでも同じ規模のストライドを用いることなく、逆畳み込み層４１５の一部のみに同じ規模のストライドを用いてもよい。チャネルの数量の変化はその他の方式で変化してもよく、２倍に増すまたは１／２倍に減らす方式に限定するものではない。
【００５０】
逆畳み込み層４１５の出力は更なる処理を経て次の逆畳み込み層４１５に更に進入することができるものであり、更なる処理は例えば正規化線形関数層（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ ｌａｙｅｒ，ＲｅＬＵ ｌａｙｅｒ）であり、正規化線形関数層は例えば漏洩正規化線形関数（ｌｅａｋｙ ＲｅＬＵ）を用いている。例えば、最後の層を除き、各逆畳み込み層４１５の出力は正規化線形関数層で処理されて更に次の逆畳み込み層４１５に進入するものであり、最後の逆畳み込み層４１５ｄはシグモイド層（ｓｉｇｍｏｉｄ ｌａｙｅｒ）付きであり、各正規化線形関数層は漏洩正規化線形関数を用いる。その他の実施形態において、全ての逆畳み込み層４１５の出力のいずれもが正規化線形関数層を経るのではなく、一部の逆畳み込み層４１５の出力のみが更なる処理を経て次の逆畳み込み層４１５に進入することができる。
【００５１】
図４に示すように、図４は一実施例の第２のニューラルネットワークの概略図であり、第２のニューラルネットワークの構成は第１のニューラルネットワークのエンコーダ部分に似ており、第２のニューラルネットワーク４４は複数の畳み込み層４４１と、平坦層４４２とを備える畳み込みニューラルネットワークである。平坦層４４２の出力は損失関数データ計算に提供される。
【００５２】
畳み込み層４４１は例えば四つであり、各畳み込み層４４１は同じ規模のカーネルを使用するとともに同じ規模のストライドを有しており、例えば３×３×３サイズのカーネル及び１×１×１サイズのストライドを有する。チャネルの数量は畳み込み層４４１の層数に伴って増加するものであり、例えば第１の畳み込み層４４１ａの後は、畳み込み層４４１を通過する毎に倍増するものであり、図４において、第１層の畳み込み層４４１ａの入力のチャネル数は２であり、その後第１層の畳み込み層４４１ａを経て出力した後、第１層の畳み込み層４１１ａから第４層の畳み込み層４１１ｄまでにて、チャネル数は４から始まった後徐々に８、１６及び３２に増加する。データ量のサイズは８０３から順に４０３、２０３、１０３、５３に変化する。その他の実施形態において、畳み込み層４４１は異なるサイズのカーネルをそれぞれ用いてもよく、又は全ての畳み込み層４４１のいずれでも同じ規模のカーネルを用いることなく、畳み込み層４４１の一部のみに同じ規模のカーネルを用いてもよい。畳み込み層４４１は異なるサイズのストライドをそれぞれ用いてもよく、又は全ての畳み込み層４４１のいずれでも同じ規模のストライドを用いることなく、畳み込み層４４１の一部のみに同じ規模のストライドを用いてもよい。チャネルの数量の変化はその他の方式で変化してもよく、倍増に限定するものではない。
【００５３】
畳み込み層４４１の出力は更なる処理を経て次の畳み込み層４４１又は平坦層４４２に更に進入することができるものであり、更なる処理は例えば正規化線形関数層、シグモイド層又はプーリング層であり、正規化線形関数層は例えば漏洩正規化線形関数を用いており、プーリング層は例えば最大プーリング層である。例えば、最後の一層を除き、各畳み込み層４４１ａ〜４４１ｃの出力は正規化線形関数層及び最大プーリング層で処理されて更に次の畳み込み層４４１ｂ〜４４１ｄに進入して、最後の畳み込み層４４１ｄはシグモイド層及び最大プーリング層で処理されて更に平坦層４１２に出力し、各正規化線形関数層は漏洩正規化線形関数を用いており、各プーリング層は最大プーリング層であり、最大プーリング層は２×２×２サイズのカーネルを用いるとともに２×２×２サイズのストライドを有する。その他の実施形態において、全ての畳み込み層４４１の出力のいずれもが正規化線形関数層、シグモイド層又はプーリング層を経るのではなく、一部の畳み込み層４４１の出力のみが更なる処理を経て次の畳み込み層４４１又は平坦層４４２に進入することができる。第２のニューラルネットワーク４４の最終的な出力は一つの値でなく、一つの潜在ベクトル（ｌａｔｅｎｔ ｖｅｃｔｏｒ）であることで、マスクの真偽の分布（ｄｉｓｔｒｉｂｕｔｉｏｎ）を表すことができる。図４において、平坦層４１２の後のデータ量のサイズは４０００である。
【００５４】
図５に示すように、図５は一実施例の医用矢状面画像を取得する方法のブロック図である。第１のニューラルネットワーク４１は前記した方法でトレーニングした後、医用矢状面画像の取得に用いることができ、第１のニューラルネットワーク４１及び三次元医用画像５１の関連する実施形態及び変化は上記した関連する説明を参考することができる。第１のニューラルネットワーク４１、二次元矢状面画像生成４９の実際に運用するソースコード及びデータは図１の記憶素子２２に記憶するとともに処理コア２１に提供されて実行及び処理することができる。三次元医用画像５１、予測矢状面マスク５２、二次元矢状面画像５９は記憶素子２２に記憶又は導入することで処理コア２１に提供されて処理することができる。
【００５５】
第１のニューラルネットワーク４１は三次元医用画像５１に用いることで予測矢状面マスク５２を生成する。二次元矢状面画像生成４９にて、予測矢状面マスク５２及び三次元医用画像５１に基づいて、二次元矢状面画像５９を生成する。例えば、二次元矢状面画像の生成は、予測矢状面マスク５２に基づいて矢状面記述データを生成するステップと、矢状面記述データに基づいて三次元医用画像５１に対して座標変換を行うことで二次元矢状面画像５９を生成するステップと、を含む。矢状面記述データは例えば三次元空間の平面表示式である。
【００５６】
図６に示すように、図６は一実施例の画像座標変換の概略図であり、符号Ｉは初期矢状面（ｓａｇｉｔｔａｌ ｐｌａｎｅ）を表し、その平面表示式はｚ＝０である。初期矢状面Ｉの法線ベクトルＰは（０, ０, １）である。ランダムサンプルコンセンサス（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ，ＲＡＮＳＡＣ）アルゴリズムを利用して予測矢状面マスク５２において０ではないボクセルに対して計算すれば、一つの結果平面Ｅを得ることができ、その平面表示式はａｘ + ｂｙ + ｃｚ + ｄ = ０である。結果平面Ｅの法線ベクトルＱは（ａ, ｂ, ｃ）であり、このうち ａ２ + ｂ２ + ｃ２ = １である。
【００５７】
符号Ｍは初期矢状面Ｉ及び結果平面Ｅとの間の各ピクセルの相関変換（ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を表しており、二次元画像座標中の初期矢状面Ｉの各ピクセル（ｐ, ｑ）の座標位置は、つまり三次元画像座標中の初期矢状面Ｉのボクセル（ｐ, ｑ, ０）の座標位置であり、結果平面Ｅのボクセル（ｉ, ｊ, ｋ）の座標位置に変換し、元のボクセル（ｉ, ｊ, ｋ）の座標位置上の強度値は結果平面Ｅの対応ピクセル（ｐ, ｑ）の座標位置にマッピングした後、結果平面Ｅが最終的な二次元画像を形成して、最終的な二次元画像を二次元方式で記録することができる。相関変換Ｍは回転行列Ｒと平行移動行列Ｔとを含み、これはＭ＝ＴＲで表すことができ、回転行列Ｒ及び平行移動行列Ｔの計算を用いて、二次元矢状面画像５９を求めることができる。
【００５８】
法線ベクトルＰ及び法線ベクトルＱについては、回転角θ及び回転軸ｕは以下の内積及び外積の計算から求めることができる：
【００５９】
【数２】
2020108725.tif 000004
【００６０】
ロドリゲスの回転公式（Ｒｏｄｒｉｇｕｅｓ' ｒｏｔａｔｉｏｎ ｆｏｒｍｕｌａ）に基づいて、回転軸ｕを中心として回転角θ分回転した回転行列Ｒは下記式により導かれるものであり、このうち回転軸ｕは ｕ = （ｕｘ, ｕｙ, ｕｚ）で表される：
【００６１】
【数３】
2020108725.tif 000005
【００６２】
【数４】
2020108725.tif 000006
【００６３】
平行移動行列Ｔのパラメータｄは元の位置から単位法線ベクトルに沿ってオフセット（ｏｆｆｓｅｔ）して、初期点（ｘ, ｙ, ｚ）から始まり、新たな点（ｘ', ｙ', ｚ'）はオフセットｄに沿ってＱ倍移動して到達することができる。平行移動行列Ｔは下記式で導き出すことができる：
【００６４】
【数５】
2020108725.tif 000007
【００６５】
図７Ａに示すように、図７Ａは一実施例の矢状面の概略図であり、符号６１は矢状面（ｓａｇｉｔｔａｌ ｐｌａｎｅ）を表し、符号６２は中間面（ｍｅｄｉａｎ ｐｌａｎｅ）を表し、符号６３は冠状面（ｃｏｒｏｎａｌ ｐｌａｎｅ）を表し、符号６４は横断面（ｈｏｒｉｚｏｎｔａｌ ｐｌａｎｅ）を表す。
【００６６】
図７Ｂないし図７Ｄに示すように、図７Ｂないし図７Ｄは医用矢状面画像の超音波画像を示している。超音波走査は低コスト、リアルタイム及び非侵襲性等の長所を備えており、出産前検査に用いることができる。妊娠初期では、産婦人科医は胎児の正中矢状平面（Ｍｉｄｄｌｅ Ｓａｇｉｔｔａｌ Ｐｌａｎｅ，ＭＳＰ）に基づいてその成長パラメータ、例えばＮＴ厚み（Ｎｕｃｈａｌ ｔｒａｎｓｌｕｃｅｎｃｙ ｔｈｉｃｋｎｅｓｓ，ＮＴＴ）、上顎骨長さ（Ｍａｘｉｌｌａｒｙ ｌｅｎｇｔｈ）及び上顎骨と前頭骨との角度（Ｆｒｏｎｔｏ ｍａｘｉｌｌａｒｙ ｆａｃｉａｌ ａｎｇｌｅ，ＦＭＦ ａｎｇｌｅ）を測定することで、胎児に染色体異常及び発育遅延等の状況の有無を評価する。前記取得方法を用いて、胎児の三次元超音波画像の正中矢状平面を自動的に検知するとともに、二次元矢状面画像を生成することができる。ＮＴ厚みの測定の概略は図７Ｂに示しており、上顎骨長さの測定の概略は図７Ｃに示しており、上顎骨と顔面との角度の測定の概略は図７Ｄに示す。なお、図７Ｃ中の記入文字「Ｍａｘｉｌｌａ」は「上顎骨」の意味であり、「Ｍａｎｄｉｂｌｅ」は「下顎骨」、「Ｒａｍｕｓ」は「下顎枝」、「Ｃｏｎｄｙｌａｒ ｐｒｏｃｅｓｓ」は「関節突起」の意味である。また、図７Ｄ中の記入文字「Ｎａｓａｌ ｔｉｐ」は「鼻尖」の意味であり、「Ｎａｓａｌ ｂｏｎｅ」は「鼻骨」、「Ｄｉｅｎｃｅｐｈａｌｏｎ」は「間脳」、「Ｐａｌａｔｅ」は「軟口蓋」、「Ｎｕｃｈａｌ ｍｅｍｂｒａｎｅ」は「ＮＴの膜」の意味である。
【００６７】
上記をまとめるに、本発明により開示された医用矢状面画像を取得するニューラルネットワークのトレーニング方法、医用矢状面画像を取得する方法及びコンピュータ装置においては、ニューラルネットワークを用いて矢状平面を検知するものであり、例えば超音波画像から胎児の正中矢状平面を検知する。ニューラルネットワークは一つのフィルタとして見なすことができ、医用画像における特徴点及びその三次元空間中の位置を学習するとともに、平面位置情報を含む一つの三次元マスクを生成して、後処理の変換を経て、最終的に正中矢状平面画像を得る。
【００６８】
上記は単に例示に過ぎず、限定するものではない。本発明の技術思想及び範囲を超えることなく、これに対して行う等価の修正又は変更のいずれも、別紙の特許請求の範囲に含まれるものである。
【産業上の利用可能性】
【００６９】
本発明では、矢状面を探し出すニューラルネットワークトレーニング方法、トレーニング済みのニューラルネットワークを用いて矢状面を探し出す方法、及び前記二種類の方法を実施するためのコンピュータ装置を提供している。本発明ではニューラルネットワークは一つのフィルタとして見なすができ、医用画像における特徴点及びその三次元空間中の位置を学習するとともに、平面位置情報を含む一つの三次元マスクを生成して、後処理の変換を経て、最終的に正中矢状平面画像を得る。これにより、使用者は正中矢状平面を迅速に探し出すとともに、これに対応するように正確な判断を下すことができる。
【符号の説明】
【００７０】
１        医用画像装置
１１      医用画像
２        コンピュータ装置
２１      処理コア
２２      記憶素子
２３、２４    Ｉ／Ｏインターフェイス
３      出力装置
４１      第１のニューラルネットワーク
４１１、４１１ａ〜４１１ｄ    畳み込み層
４１２    平坦層
４１３    完全接続層
４１４    再構成層
４１５、４１５ａ〜４１５ｄ    逆畳み込み層
４２      予測結果生成
４３      判定結果生成
４４      第２のニューラルネットワーク
４４１、４４１ａ〜４４１ｄ    畳み込み層
４４２    平坦層
４５      損失関数データ計算
４６      乗算
４７      連結
４８      三次元医用画像生成
４９      二次元矢状面画像生成
５１      三次元医用画像
５２      予測矢状面マスク
５３      予測結果
５４      判定矢状面マスク
５５      判定結果
５６、５７    損失関数データ
５８      二次元医用画像
５９      二次元矢状面画像
６１      矢状面
６２      中間面
６３      冠状面
６４      横断面
Ｉ        初期矢状面
Ｅ        結果平面
Ｍ        相関変換
【図１】
2020108725.tif 000008
【図２Ａ】
2020108725.tif 000009
【図２Ｂ】
2020108725.tif 000010
【図２Ｃ】
2020108725.tif 000011
【図３】
2020108725.tif 000012
【図４】
2020108725.tif 000013
【図５】
2020108725.tif 000014
【図６】
2020108725.tif 000015
【図７Ａ】
2020108725.tif 000016
【図７Ｂ】
2020108725.tif 000017
【図７Ｃ】
2020108725.tif 000018
【図７Ｄ】
2020108725.tif 000019