(57)【要約】  組織結節検出及びそのモデルトレーニング方法、装置、機器、システムを提供する。方法は、ソースドメイン画像と画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得すること（Ｓ２０２）と、ニューラルネットワークモデルによってソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、ニューラルネットワークモデルによってターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、ソースドメインサンプリング特徴に基づいてトレーニング結果を決定すること（Ｓ２０４）と、ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの距離パラメータを決定すること（Ｓ２０６）と、トレーニング結果及び画像アノテーションに基づいて、ソースドメイン画像に対応する損失関数値を決定すること（Ｓ２０８）と、損失関数値、距離パラメータ及びニューラルネットワークモデルに基づいて、組織結節検出モデルを決定すること（Ｓ２１０）と、を含む。これにより、検出の正確性を向上する。
2021520568.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ機器が実行する組織結節検出モデルトレーニング方法であって、
ソースドメインデータ及びターゲットドメインデータを取得するステップであって、前記ソースドメインデータはソースドメイン画像と画像アノテーションとを含み、前記画像アノテーションは前記ソースドメイン画像における組織結節の位置情報を指示するものである、ステップと、
ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定するステップと、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの距離パラメータを決定するステップであって、前記距離パラメータは前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示すものである、ステップと、
前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するステップと、
前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するステップと、を含む方法。
【請求項２】
前記距離パラメータは最大平均差異に基づく差異損失を含み、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの距離パラメータを決定する前記ステップは、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定するステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定する前記ステップは、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、ガウシアンカーネル関数によって前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定するステップを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定する前記ステップは、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく第１差異損失を決定するステップと、
前記ソースドメインサンプリング特徴にターゲット領域抽出を行って、ソースドメイン候補領域を取得し、前記ターゲットサンプリング特徴にターゲット領域抽出を行って、ターゲット候補領域を取得するステップと、
前記ソースドメインサンプリング特徴及び前記ソースドメイン候補領域にプーリング処理を行った後、マッピングによりソースドメインマッピング結果を取得し、前記ターゲットサンプリング特徴及び前記ターゲット候補領域にプーリング処理を行った後、マッピングによりターゲットマッピング結果を取得するステップと、
前記ソースドメインマッピング結果及び前記ターゲットマッピング結果に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく第２差異損失を決定するステップと、
前記第１差異損失及び前記第２差異損失に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定するステップと、を含むことを特徴とする請求項２に記載の方法。
【請求項５】
前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定する前記ステップは、
前記損失関数値及び前記距離パラメータに基づいて、総損失関数値を決定するステップと、
前記総損失関数値及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するステップと、を含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記距離パラメータは最大平均差異の二乗を含み、
前記損失関数値及び前記距離パラメータに基づいて、総損失関数値を決定する前記ステップは、
前記最大平均差異の二乗と前記損失関数値を線形加算して、総損失関数値を取得するステップを含むことを特徴とする請求項５に記載の方法。
【請求項７】
ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得する前記ステップは、
前記ソースドメイン画像を分割して、ソースドメイン組織領域を取得し、前記ターゲット画像を分割して、ターゲット組織領域を取得するステップと、
ニューラルネットワークモデルによって前記ソースドメイン組織領域に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット組織領域に特徴抽出を行って、ターゲットサンプリング特徴を取得するステップと、を含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記ソースドメインデータにおける前記ソースドメイン画像と前記ターゲットドメインデータにおける前記ターゲット画像は数量的関係を満たすことを特徴とする請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記ソースドメインデータにおける前記ソースドメイン画像と前記ターゲットドメインデータにおける前記ターゲット画像は数量が同じであることを特徴とする請求項８に記載の方法。
【請求項１０】
ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する前記ステップは、
第１ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定するステップと、
第２ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行って、ターゲットサンプリング特徴を取得し、前記第２ニューラルネットワークモデルと前記第１ニューラルネットワークモデルとで重みが共有されるステップと、を含むことを特徴とする請求項１から７のいずれか一項に記載の方法。
【請求項１１】
コンピュータ機器に用いられる組織結節検出モデルトレーニング装置であって、
ソースドメインデータ及びターゲットドメインデータを取得するトレーニングデータ取得モジュールであって、前記ソースドメインデータはソースドメイン画像と画像アノテーションとを含み、前記画像アノテーションは前記ソースドメイン画像における組織結節の位置情報を指示する、トレーニングデータ取得モジュールと、
ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの距離パラメータを決定する距離パラメータ決定モジュールであって、前記距離パラメータは前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す、距離パラメータ決定モジュールと、
前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、
前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む装置。
【請求項１２】
コンピュータ機器が実行する組織結節検出方法であって、
被検出画像を取得するステップと、
前記被検出画像を組織結節検出モデルに入力して、結節位置情報を取得するステップであって、前記組織結節検出モデルは組織結節検出モデルトレーニング装置によって得られ、前記被検出画像は前記ターゲット画像とデータ構造が同じであるものである、ステップと、を含み、
前記組織結節検出モデルトレーニング装置は、
ソースドメインデータ及びターゲットドメインデータを取得するトレーニングデータ取得モジュールであって、前記ソースドメインデータはソースドメイン画像と画像アノテーションとを含み、前記画像アノテーションは前記ソースドメイン画像における組織結節の位置情報を指示する、トレーニングデータ取得モジュールと、
ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの距離パラメータを決定する距離パラメータ決定モジュールであって、前記距離パラメータは前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す、距離パラメータ決定モジュールと、
前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、
前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む方法。
【請求項１３】
コンピュータ機器に用いられる組織結節検出装置であって、
被検出画像を取得する被検出画像取得モジュールと、
前記被検出画像を組織結節検出モデルに入力して、結節位置情報を取得する検出モデル検出モジュールであって、前記組織結節検出モデルは組織結節検出モデルトレーニング装置によって得られ、前記被検出画像は前記ターゲット画像とデータ構造が同じである、検出モデル検出モジュールと、を含み、
前記組織結節検出モデルトレーニング装置は、
ソースドメインデータ及びターゲットドメインデータを取得するトレーニングデータ取得モジュールであって、前記ソースドメインデータはソースドメイン画像と画像アノテーションとを含み、前記画像アノテーションは前記ソースドメイン画像における組織結節の位置情報を指示する、トレーニングデータ取得モジュールと、
ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの距離パラメータを決定する距離パラメータ決定モジュールであって、前記距離パラメータは前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す、距離パラメータ決定モジュールと、
前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、
前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む装置。
【請求項１４】
コンピュータプログラムが記憶されているメモリと、プロセッサとを含むコンピュータ機器であって、前記プロセッサが前記コンピュータプログラムを実行すると、請求項１から１０、及び請求項１２のいずれか一項に記載の方法のステップが実現されることを特徴とするコンピュータ機器。
【請求項１５】
組織結節検出システムであって、
ターゲットドメインデータ及び被検出画像を収集する画像収集モジュールと、
前記画像収集モジュールによって収集された被検出画像を取得する被検出画像取得モジュールと、
前記被検出画像を組織結節検出モデルに入力して、結節位置情報を取得する検出モデル検出モジュールであって、前記組織結節検出モデルは組織結節検出モデルトレーニング装置によって得られ、前記被検出画像は前記ターゲット画像とデータ構造が同じである、検出モデル検出モジュールと、を含み、
前記組織結節検出モデルトレーニング装置は、
ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ及び前記画像収集モジュールによって収集された、ターゲット画像を含む前記ターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む、システム。
【請求項１６】
画像収集機器と、組織結節検出機器と、を含み、前記画像収集機器のメモリには前記画像収集モジュールが記憶され、前記組織結節検出機器のメモリには、前記被検出画像取得モジュール及び前記検出モデル検出モジュールが記憶されていることを特徴とする請求項１５に記載のシステム。
【請求項１７】
請求項１から１０、及び請求項１２のいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本願は、２０１８年１１月８日に提出された出願番号が第２０１８１１３２６２６７．４号で、発明の名称が「組織結節検出及びそのモデルトレーニング方法、装置、機器、システム」である中国特許出願の優先権を主張し、当該出願の全ての内容は援用することにより本願に組み込まれる。
【０００２】
本願は、医学画像処理技術の分野に関し、特に、組織結節検出モデルトレーニング方法、装置及びコンピュータ機器、並びに組織結節検出方法、装置、コンピュータ機器及びシステムに関する。
【背景技術】
【０００３】
組織のがん化は死亡の主な要因であり、そのため早期発見及び治療は特に重要である。組織における結節の存否を判断することはがんを確診する上で有力な指標である。従来、胸部薄切コンピュータ断層撮影（ｔｈｉｎ−ｓｅｃｔｉｏｎ  ＣＴ）画像等の医学画像を利用して、組織結節の存否を判断しているが、これは医師の作業負荷を大幅に増やされた。医師の負担を減らすために、組織画像に対する組織結節の自動認識を実現することは極めて重要な技術となっている。
【０００４】
人工知能の持続的な発展により、現行の組織画像処理方法では、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、略称ＣＮＮ）によって組織画像における組織結節を認識することができる。しかしながら、病院によって使用される医学イメージング機器が異なるもので、撮られた組織画像データセットのサンプリング距離、ノイズレベル、結節直径分布はそれぞれ異なるものであるため、実際の検出画像の分布とトレーニングデータセットの画像データセットの分布が異なる。
【０００５】
そのために、従来の組織結節検出方法は正確性が悪いという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本願は、組織結節検出モデルトレーニング方法、装置及びコンピュータ機器、並びに組織結節検出方法、装置、コンピュータ機器及びシステムを提供し、組織結節検出の正確性を上げることができる。
【課題を解決するための手段】
【０００７】
組織結節検出モデルトレーニング方法であって、
ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するステップと、
ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定するステップと、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの距離パラメータを決定するステップと、
前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するステップと、
前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するステップと、を含む。
【０００８】
組織結節検出モデルトレーニング装置であって、
ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するトレーニングデータ取得モジュールと、
ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、
前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、
前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。
【０００９】
一実現形態では、前記距離パラメータは最大平均差異に基づく差異損失を含み、
前記距離パラメータ決定モジュールは、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定する。
【００１０】
一実現形態では、前記距離パラメータ決定モジュールは、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、ガウシアンカーネル関数によって前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定する。
【００１１】
一実現形態では、前記距離パラメータ決定モジュールは、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく第１差異損失を決定する第１差異損失ユニットと、
前記ソースドメインサンプリング特徴にターゲット領域抽出を行って、ソースドメイン候補領域を取得し、前記ターゲットサンプリング特徴にターゲット領域抽出を行って、ターゲット候補領域を取得する候補領域決定ユニットと、
前記ソースドメインサンプリング特徴及び前記ソースドメイン候補領域にプーリング処理を行った後、マッピングによりソースドメインマッピング結果を取得し、前記ターゲットサンプリング特徴及び前記ターゲット候補領域にプーリング処理を行った後、マッピングによりターゲットマッピング結果を取得するマッピング結果決定ユニットと、
前記ソースドメインマッピング結果及び前記ターゲットマッピング結果に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく第２差異損失を決定する第２差異損失ユニットと、
前記第１差異損失及び前記第２差異損失に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定する総合差異決定ユニットと、を含む。
【００１２】
一実現形態では、前記装置は、前記損失関数値及び前記距離パラメータに基づいて、総損失関数値を決定する総損失決定モジュールをさらに含み、
モデル決定モジュールはさらに、前記総損失関数値及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定する。
【００１３】
一実現形態では、前記距離パラメータは最大平均差異の二乗を含み、
前記総損失決定モジュールは、前記最大平均差異の二乗と前記損失関数値を線形加算して、総損失関数値を取得する。
【００１４】
一実現形態では、当該装置は、前記ソースドメイン画像を分割して、ソースドメイン組織領域を取得し、前記ターゲット画像を分割して、ターゲット組織領域を取得する組織領域分割モジュールをさらに含み、
特徴抽出トレーニングモジュールは、ニューラルネットワークモデルによって前記ソースドメイン組織領域に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット組織領域に特徴抽出を行って、ターゲットサンプリング特徴を取得する。
【００１５】
一実現形態では、前記ソースドメインデータにおける前記ソースドメイン画像と前記ターゲットドメインデータにおける前記ターゲット画像は数量関係を満たす。
【００１６】
一実現形態では、前記ソースドメインデータにおける前記ソースドメイン画像と前記ターゲットドメインデータにおける前記ターゲット画像は数量が同じである。
【００１７】
一実現形態では、前記特徴抽出トレーニングモジュールは、
第１ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングユニットと、
第２ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行って、ターゲットサンプリング特徴を取得し、前記第２ニューラルネットワークモデルと前記第１ニューラルネットワークモデルとで重みが共有される特徴抽出ユニットと、を含む。
【００１８】
組織結節検出方法であって、
被検出画像を取得するステップと、
前記ターゲット画像とデータ構造が同じである前記被検出画像を組織結節検出モデルトレーニング装置によって得られる組織結節検出モデルに入力して、結節位置情報を取得するステップと、を含み、
前記組織結節検出モデルトレーニング装置は、ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。
【００１９】
組織結節検出装置であって、
被検出画像を取得する被検出画像取得モジュールと、
前記ターゲット画像とデータ構造が同じである前記被検出画像を組織結節検出モデルトレーニング装置によって得られる組織結節検出モデルに入力して、結節位置情報を取得する検出モデル検出モジュールと、を含み、
前記組織結節検出モデルトレーニング装置は、ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。
【００２０】
コンピュータ機器であって、メモリと、プロセッサとを含み、前記メモリにはコンピュータプログラムが記憶されており、前記プロセッサが前記コンピュータプログラムを実行すると、
ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するステップと、
ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定するステップと、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定するステップと、
前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するステップと、
前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するステップと、が実現される。
【００２１】
コンピュータ機器であって、メモリと、プロセッサとを含み、前記メモリにはコンピュータプログラムが記憶されており、前記プロセッサが前記コンピュータプログラムを実行すると、
被検出画像を取得するステップと、
前記ターゲット画像とデータ構造が同じである前記被検出画像を前記組織結節検出モデルトレーニング方法によって得られる組織結節検出モデルに入力して、結節位置情報を取得するステップと、が実現される。
【００２２】
コンピュータ可読記憶媒体であって、コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行されると、
ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するステップと、
ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定するステップと、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定するステップと、
前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するステップと、
前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するステップと、が実現される。
【００２３】
コンピュータ可読記憶媒体であって、コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行されると、
被検出画像を取得するステップと、
前記ターゲット画像とデータ構造が同じである前記被検出画像を組織結節検出モデルトレーニング装置によって得られる組織結節検出モデルに入力して、結節位置情報を取得するステップと、が実現され、
前記組織結節検出モデルトレーニング装置は、ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。
【００２４】
組織結節検出システムであって、
ターゲットドメインデータ及び被検出画像を収集する画像収集モジュールと、
前記画像収集モジュールによって収集された被検出画像を取得する被検出画像取得モジュールと、
前記ターゲット画像とデータ構造が同じである前記被検出画像を組織結節検出モデルトレーニング装置によって得られる組織結節検出モデルに入力して、結節位置情報を取得する検出モデル検出モジュールと、を含み、
前記組織結節検出モデルトレーニング装置は、ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ及び前記画像収集モジュールによって収集された、ターゲット画像を含む前記ターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。
【発明の効果】
【００２５】
本発明の組織結節検出モデルトレーニング方法、装置、コンピュータ機器及び記憶媒体、並びに組織結節検出方法、装置、コンピュータ機器、記憶媒体及びシステムでは、組織結節検出モデルの決定時に、ソースドメインデータと前記ターゲットドメインデータの距離パラメータという要素を加えるため、当該組織結節検出モデルによって抽出されたソースドメインデータとターゲットドメインデータのサンプリング特徴間の差異を減らすことができる。これにより、当該組織結節検出モデルによってターゲットドメイン中のデータから組織結節を検出する場合に、検出の正確性を向上する性を向上する。
【図面の簡単な説明】
【００２６】
【図１】一実施例に係る組織結節検出モデルトレーニング方法の適用環境の図である。
【図２】一実施例に係る組織結節検出モデルトレーニング方法のフローチャートである。
【図３】図２の組織結節検出モデルトレーニング方法の一ステップのフローチャートである。
【図４】一実施例の組織結節検出モデルトレーニング方法の動作原理の模式図である。
【図５】別の実施例の組織結節検出モデルトレーニング方法の動作原理の模式図である。
【図６】別の実施例の組織結節検出モデルトレーニング方法の動作原理の模式図である。
【図７】一実施例に係る組織結節検出方法のフローチャートである。
【図８】一実施例に係る組織結節検出モデルトレーニング装置の構造のブロック図である。
【図９】一実施例に係る組織結節検出装置の構造のブロック図である。
【発明を実施するための形態】
【００２７】
本願の目的、技術的解決手段及び利点が一層明瞭で分かりやすくなるように、次に、図面及び実施例を用いて、本願をより詳細に説明する。なお、説明される特定の実施例は本願の解釈に供するものに過ぎず、本願を限定するためのものではない。
【００２８】
図１は、一実施例に係る組織結節検出方法及び／又は組織結節検出モデルトレーニング方法の適用環境の図である。当該組織結節検出方法及び／又は組織結節検出モデルトレーニング方法は、コンピュータによる肺がん診断支援システムに適用される。図１に示すように、当該組織結節検出方法及び／又は組織結節検出モデルトレーニング方法はコンピュータ機器に適用される。当該コンピュータ機器は端末であってもよいしサーバであってもよい。端末はデスクトップ型機器であってもよいし移動端末であってもよい。サーバは独立した物理サーバ、物理サーバクラスタ又は仮想サーバであってもよい。ここで、当該コンピュータ機器はシステムバスによって接続されたプロセッサ、メモリ及びネットワークインタフェースを含む。ここで、メモリは不揮発性記憶媒体及び内部メモリを含む。当該コンピュータ機器の不揮発性記憶媒体にはオペレーティングシステム及びデータベースが記憶されており、当該データベースにはソースドメインデータ及びターゲットドメインデータが含まれる。当該コンピュータ機器の不揮発性記憶媒体にはコンピュータプログラムが記憶されてもよく、当該コンピュータプログラムがプロセッサによって実行されると、プロセッサは組織結節検出方法及び／又は組織結節検出モデルトレーニング方法のステップを実現できる。当該内部メモリにもコンピュータプログラムが記憶されてもよく、当該コンピュータプログラムがプロセッサによって実行されると、プロセッサは組織結節検出方法及び／又は組織結節検出モデルトレーニング方法のステップを実行できる。
【００２９】
ここで、組織結節検出方法を実行するコンピュータ機器及び組織結節検出モデルトレーニング方法を実行するコンピュータ機器は、異なるコンピュータ機器であってもよく、例えば、組織結節検出方法を実行するコンピュータ機器は端末であり、組織結節検出モデルトレーニング方法を実行するコンピュータ機器はサーバであってもよい。例えば、サーバは組織結節検出モデルトレーニング方法を実行することによりトレーニング済みの組織結節検出モデルを取得し、トレーニング済みの組織結節検出モデルを端末に送信し、端末によって被検出画像及び当該組織結節検出モデルに基づいて組織結節検出作業を実行する。
【００３０】
あるいは、組織結節検出方法を実行する前記コンピュータ機器と組織結節検出モデルトレーニング方法を実行するコンピュータ機器は同一のコンピュータ機器であってもよい。例えば、組織結節検出方法を実行するコンピュータ機器はいずれもサーバであってもよい。例えば、サーバは組織結節検出モデルトレーニング方法を実行することによりトレーニング済みの組織結節検出モデルを取得し、端末は被検出画像をサーバに送信し、サーバは被検出画像及び組織結節検出モデルに基づいて組織結節検出作業を実行し、検出結果を端末にフィードバックする。
【００３１】
当業者に理解されるように、図１に示される構造は、本願の発明に関わる部分の構造のブロック図に過ぎず、本願の発明が適用されるコンピュータ機器に対する限定を構成するものではなく、コンピュータ機器によって、図示のものより多く又は少ない部品を含むか、又は一部の部品を組み合わせるか、又は異なる部品が配置されてもよい。
【００３２】
図２に示すように、一実施例では、組織結節検出モデルトレーニング方法が提供される。本実施例では主に当該方法が前記図１のコンピュータ機器に適用されるのを例にして説明する。当該組織結節検出モデルトレーニング方法は、次のステップを含む。
【００３３】
Ｓ２０２において、ソースドメイン画像と画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得する。
【００３４】
任意選択で、ソースドメインデータを収集する機器と被検出画像を収集する機器は異なるものであってもよい。被検出画像は組織結節検出の対象画像である。ターゲットドメインデータを収集する機器と被検出画像を収集する機器は同一のものである。例えば、被検出画像がＡ病院のＣＴ機器によって収集されたＣＴ画像である場合には、ソースドメインデータは、ある都市の各ＣＴ機器によって収集されたＣＴ画像からランダムに抽出されたＣＴ画像で、当該ＣＴ画像にアノテーションしたデータであってよく、ターゲットドメインデータはＡ病院のＣＴ機器によって収集されたＣＴ画像であってもよい。もう一例として、被検出画像がＢタイプの機器によって収集されたＣＴ画像である場合には、ソースドメインデータは各種の機器によって収集されたＣＴ画像からランダムに抽出されたＣＴ画像で、当該ＣＴ画像にアノテーションしたデータであってよく、ターゲットドメインデータはＢタイプの機器によって収集されたＣＴ画像であってもよい。
【００３５】
なお、ソースドメインデータにおけるソースドメイン画像は被検出画像とサンプリング距離、ノイズレベル及び組織結節直径分布の少なくとも一つが異なる。ターゲットドメインデータにおけるターゲット画像は被検出画像とサンプリング距離、ノイズレベル及び組織結節直径分布が同じである。ここで、同じであること又は異なることは、２つのデータ差異がプリセット閾値以内であるか否かで決定してもよい。例えば、ターゲット画像及び被検出画像のサンプリング距離が第１のプリセット閾値以内であり、ターゲット画像及び被検出画像のノイズレベルがプリセット閾値以内であり、ターゲット画像と被検出画像の組織結節直径分布の差異がプリセット閾値以内である場合には、ターゲットドメインデータにおけるターゲット画像は被検出画像とサンプリング距離、ノイズレベル及び組織結節直径分布が同じである。そうでない場合には、ソースドメインデータにおけるソースドメイン画像は被検出画像とサンプリング距離、ノイズレベル及び組織結節直径分布の少なくとも一つが異なる。
【００３６】
画像アノテーションはソースドメイン画像における組織結節の位置情報を指示するものである。当該画像アノテーションは人力による注釈の方式で行われてもよいし、人力と機器を組み合わせる方式で行われてもよい。これにより、画像アノテーションの正確性が保証される。画像アノテーションとソースドメイン画像は対応している。
【００３７】
モデルのトレーニング効率を上げるために、ソースドメインデータにおけるソースドメイン画像で少なくとも１つの組織結節が存在するソースドメイン画像の割合はプリセット値以上とし、ここで、当該プリセット値は開発者によってあらかじめ設定されてもよい。例えば、当該プリセット値は５０％、８０％、９０％等であってもよい。
【００３８】
組織結節は一般に三次元で立体的な構造であるため、検出の正確性が一層向上されるために、ソースドメイン画像及びターゲット画像は三次元画像であってもよい。例えば、ソースドメイン画像及びターゲットドメイン画像はサンプリングサイズが１２８ｄｐｉ＊１２８ｄｐｉ＊５ｄｐｉ、又は１２８ｄｐｉ＊１２８ｄｐｉ＊１２８ｄｐｉ等の立方体の画像であってもよい。
【００３９】
Ｓ２０４において、ニューラルネットワークモデルによってソースドメイン画像及びターゲット画像に特徴抽出を行って、ソースドメインサンプリング特徴及びターゲットサンプリング特徴を取得し、ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する。
【００４０】
ここで、コンピュータ機器はニューラルネットワークモデルによってソースドメイン画像に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、ソースドメインサンプリング特徴に基づいてトレーニング結果を決定してもよい。当該ニューラルネットワークモデルは被トレーニングニューラルネットワークモデルである。コンピュータ機器は当該被トレーニングニューラルネットワークモデルによって、ソースドメインデータにおける各ソースドメイン画像にそれぞれ特徴抽出を行ってソースドメインサンプリング特徴を取得し、ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する。１つのソースドメイン画像は１つのソースドメインサンプリング特徴に対応してよく、同時に１つのトレーニング結果に対応してもよい。トレーニング結果は、トレーニングの過程で得たソースドメイン画像における組織結節位置情報の結果である。
【００４１】
コンピュータ機器はニューラルネットワークモデルによってターゲット画像に特徴抽出を行って、ターゲットサンプリング特徴を取得するようにしてもよい。例えば、コンピュータ機器は当該被トレーニングニューラルネットワークモデルによって、ターゲットドメインデータにおける各ターゲット画像にそれぞれ特徴抽出を行ってターゲットサンプリング特徴を取得するようにしてもよい。１つのターゲット画像は１つのターゲットサンプリング特徴に対応してもよい。
【００４２】
当該ニューラルネットワークモデルの初期化の時には、Ｘａｖｉｅｒ初期化方法を用いてネットワークパラメータに初期値を割り当ててもよい。Ｘａｖｉｅｒ初期化方法において、ネットワーク中の情報がよりスムーズに流動するように、各層の出力の分散はなるべく同じとすべきである。これにより、モデルトレーニングの効率が向上される。
【００４３】
Ｓ２０６において、ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの距離パラメータを決定する。
【００４４】
一トレーニングバッチでは、ソースドメインデータ中には大量のソースドメイン画像が含まれ、ターゲットドメインデータ中には大量のターゲット画像が含まれる。ここで、大量というのは数量がプリセット値、例えば、８、２０、１００、１０００等を上回ることであってもよい。距離パラメータとは、２つの集合中のデータ差異の大きさを説明するパラメータである。本実施例では、距離パラメータはソースドメインデータとターゲットドメインデータにおけるデータ差異の大きさを説明するパラメータであり、例えば、最大平均距離に基づく量であってよく、例えば、マンハッタン距離、ユークリッド距離、チェビシェフ距離の少なくとも一つに基づく量である。
【００４５】
コンピュータ機器はソースドメインデータにおける各ソースドメイン画像のソースドメインサンプリング特徴、及びターゲットドメインデータにおける各ターゲット画像のターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの距離パラメータを決定してもよい。
【００４６】
Ｓ２０８において、トレーニング結果及び画像アノテーションに基づいて、ソースドメイン画像に対応する損失関数値を決定する。
【００４７】
コンピュータ機器はトレーニング結果と画像アノテーションの差異に基づいて、当該ソースドメイン画像に対応する損失関数値を決定してもよい。当該損失関数値は領域抽出結果に基づく領域損失関数値、分類結果に基づく分類損失関数値、正規化結果に基づく正規化損失関数値を含んでよい。
【００４８】
Ｓ２１０において、損失関数値、距離パラメータ及びニューラルネットワークモデルに基づいて、組織結節検出モデルを決定する。
【００４９】
コンピュータ機器は損失関数値及び距離パラメータがあらかじめ設定された条件を満たす場合にニューラルネットワークモデルを、最適なニューラルネットワークモデルとして決定してよく、即ち、当該ニューラルネットワークモデルを組織結節検出モデルとする。即ち、コンピュータ機器は損失関数値及び距離パラメータがあらかじめ設定された条件を満たす場合にニューラルネットワークモデルに対応するネットワークパラメータを、組織結節検出モデルのネットワークパラメータとする。なお、損失関数値及び距離パラメータがあらかじめ設定された条件を満たさない場合に、コンピュータ機器はネットワークパラメータを繰り返し更新し、例えば、Ａｄａｍオプティマイザ（アダプティブオプティマイザ）を用いて、ネットワークパラメータを繰り返し更新してもよい。トレーニングが完了していない場合にステップＳ２０２に戻り、トレーニングが完了するまでトレーニングを継続し、組織結節検出モデルを決定する。
【００５０】
なお、組織とは、心臓、肺、肝臓、脾臓、胃等の医学画像で提示された人間の組織であってもよい。
【００５１】
前記組織結節検出モデルトレーニング方法では、ソースドメイン画像と画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得し、ニューラルネットワークモデルによってソースドメイン画像及びターゲット画像に特徴抽出を行って、ソースドメインサンプリング特徴及びターゲットサンプリング特徴を取得し、ソースドメインサンプリング特徴に基づいてトレーニング結果を決定し、ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの距離パラメータを決定し、トレーニング結果及び画像アノテーションに基づいて、ソースドメイン画像に対応する損失関数値を決定し、損失関数値、距離パラメータ及びニューラルネットワークモデルに基づいて、組織結節検出モデルを決定する。当該モデルトレーニング方法では、組織結節検出モデルの決定時に、ソースドメインデータとターゲットドメインデータの距離パラメータという要素を加えるため、当該組織結節検出モデルによって抽出されたソースドメインデータとターゲットドメインデータのサンプリング特徴間の差異を減らすことができる。これにより、当該組織結節検出モデルによってターゲットドメイン中のデータから組織結節を検出する場合に、検出の正確性を向上する性を向上する。
【００５２】
ソースドメイン画像に対応する損失関数値、ソースドメインデータ及びターゲットドメインデータに対応する距離パラメータ、ニューラルネットワークモデルによって、組織結節検出モデルを決定し、組織結節検出モデルの決定の全過程で、ターゲット画像の画像アノテーションには関係がないため、ターゲットドメインデータには画像アノテーションが含まれる必要がなく、即ちターゲットドメインデータにおけるターゲット画像に対し人力によるアノテーションを行う必要がない。モデルトレーニングの前に、既存のターゲットドメインデータにおけるターゲット画像を検索するという工程を追加で行い、本方法を実行する機器に当該ターゲットドメインデータを取得させればよい。したがって、本実施例に係る組織結節検出モデルトレーニング方法は、操作しやすいものである。
【００５３】
なお、前記実施例の方法では、ターゲットドメインデータにアノテーションすることを排除しなくても、検出の正確性を上げる目的は達成できる。
【００５４】
一実施例では、距離パラメータは最大平均差異に基づく差異損失を含む。前記図２に示す実施例で、ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの距離パラメータを決定することは、コンピュータ機器はソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく差異損失を決定することを含む。
【００５５】
任意選択で、最大平均差異に基づく差異損失は最大平均差異に基づくパラメータ値であり、例えば、ＭＭＤ（Ｍａｘｉｍｕｍ  Ｍｅａｎ  Ｄｉｓｃｒｅｐａｎｃｙ、最大平均差異）の二乗、ＭＭＤ等であってもよい。
【００５６】
ここで、前記最大平均差異に基づく差異損失は、ソースドメインデータとターゲットドメインデータの最大平均差異として定義してよく、次のように示すことができる。
【００５７】
【数１】
2021520568.tif 000003
【００５８】
ここで、
【数２】
2021520568.tif 000004
は特徴をソースドメイン画像、ターゲット画像がもともと位置する空間から再生核ヒルベルト空間
【数３】
2021520568.tif 000005
（ｒｅｐｒｏｄｕｃｉｎｇ  ｋｅｒｎｅｌ  Ｈｉｌｂｅｒｔ  ｓｐａｃｅ）にマッピングする特徴マッピングである。一バッチのソースドメインデータ及びターゲットドメインデータでは、ソースドメインデータの各ソースドメイン画像のソースドメインサンプリング特徴の分布はＳ分布であり、ターゲットドメインデータにおける各ターゲット画像のターゲットサンプリング特徴の分布はＴ分布である。Ｅは期待値であり、その値は各元素の平均値であってもよい。
【００５９】
計算しやすさのために、最大平均差異に基づく差異損失は再生核ヒルベルト空間の内積、即ち最大平均差異の二乗として定義されてもよい。これにより、モデルトレーニングの効率が向上される。例えば、一実施例では、最大平均差異の二乗は次のように示すことができる。
【００６０】
【数４】
2021520568.tif 000006
【００６１】
ここで、ｋはカーネル関数であり、特徴のマッピング関係を示す。ｎＳはソースドメインデータにおけるソースドメイン画像の数量であり、ｎＴはターゲットドメインデータにおけるターゲット画像の数量である。
【００６２】
一実施例では、ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく差異損失を決定することは、コンピュータ機器はソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ガウシアンカーネル関数によってソースドメインデータとターゲットドメインデータの最大平均差異に基づく差異損失を決定することを含む。
最大平均差異に基づく差異損失の決定時に、カーネル関数にはガウシアンカーネル関数を用いてよく、これにより、最大平均差異に基づく差異損失の正確性が上がり、ソースドメインデータとターゲットドメインデータのサンプリング特徴間の差異が一層減らされる。検出の正確性が一層向上される。
【００６３】
一実施例では、最大平均差異に基づく差異損失は再生核ヒルベルト空間の内積、即ち最大平均差異の二乗として定義されてもよい。最大平均差異の二乗は前記式で示すことができ、カーネル関数ｋはガウシアンカーネル関数であり、次のように示すことができる。
【００６４】
【数５】
2021520568.tif 000007
【００６５】
ここで、ｂは帯域幅パラメータである。当該帯域幅パラメータはトレーニング前に経験に基づいて調整してもよい。ｅはネイピア数である。
【００６６】
図３に示すように、一実施例では、ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく差異損失を決定すること、次のステップを含んでよい。
【００６７】
Ｓ３０２において、ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく第１差異損失を決定する。ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて第１差異損失を決定する。
【００６８】
Ｓ３０４において、ソースドメインサンプリング特徴及びターゲットサンプリング特徴にそれぞれターゲット領域抽出を行って、ソースドメイン候補領域及びターゲット候補領域を取得する。
【００６９】
コンピュータ機器は当該ニューラルネットワークモデルによってソースドメインサンプリング特徴にターゲット領域抽出を行って、ソースドメイン候補領域を取得し、当該ニューラルネットワークモデルによってターゲットサンプリング特徴にターゲット領域抽出を行って、ターゲット候補領域を取得するようにしてもよい。
【００７０】
Ｓ３０６において、ソースドメインサンプリング特徴及びソースドメイン候補領域にプーリング処理を行った後、マッピングによりソースドメインマッピング結果を取得し、ターゲットサンプリング特徴及びターゲット候補領域にプーリング処理を行った後、マッピングによりターゲットマッピング結果を取得する。
【００７１】
コンピュータ機器は当該ニューラルネットワークモデルによってソースドメインサンプリング特徴及びソースドメイン候補領域にプーリング処理を行った後、マッピングによりソースドメインマッピング結果を取得し、当該ニューラルネットワークモデルによってターゲットサンプリング特徴及びターゲット候補領域にプーリング処理を行った後、マッピングによりターゲットマッピング結果を取得するようにしてもよい。
【００７２】
Ｓ３０８において、ソースドメインマッピング結果及びターゲットマッピング結果に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく第２差異損失を決定する。ソースドメインマッピング結果及びターゲットマッピング結果に基づいて、第２差異損失を決定する。
【００７３】
Ｓ３１０において、第１差異損失及び第２差異損失に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく差異損失を決定する。
【００７４】
本実施例では、第１差異損失の決定時に、カーネル関数の入力はソースドメインデータに対応するソースドメインサンプリング特徴及びターゲットドメインデータに対応するターゲットサンプリング特徴である。第２差異損失の決定時に、カーネル関数の入力はソースドメインデータに対応するソースドメインマッピング結果及びターゲットドメインデータに対応するターゲットマッピング結果である。コンピュータ機器が第１差異損失及び第２差異損失に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく差異損失を決定する時には、あらかじめ設定されたルールを用いて第１差異損失及び第２差異損失にあらかじめ設定された処理を行って、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく差異損失を取得するようにしてもよい。例えば、第１差異損失と第２差異損失の重み付き和を求め、最大平均差異に基づく差異損失を取得する。
【００７５】
本実施例のモデルトレーニング方法によれば、特徴抽出後及び全結合マッピング後に、最大平均差異に基づく第１差異損失及び第２差異損失をそれぞれ取得するステップにより、ソースドメインデータとターゲットドメインデータ差異が一層減らされる。これにより、当該組織結節検出モデルによってターゲットドメイン中のデータから組織結節を検出することにより、検出の正確性が一層向上される。
【００７６】
一実施例では、当該組織結節検出トレーニングモデルは肺結節検出トレーニングモデルである。図４に示すように、トレーニングの過程でニューラルネットワークモデルは候補抽出ネットワーク及び分類ネットワークを含む。コンピュータ機器は当該候補抽出ネットワークによってソースドメイン画像及びターゲット画像に特徴抽出を行って、ソースドメインサンプリング特徴及びターゲットサンプリング特徴を取得するようにしてもよい。コンピュータ機器は当該候補抽出ネットワークによってソースドメインサンプリング特徴及びターゲットサンプリング特徴にそれぞれターゲット領域抽出を行って、ソースドメイン候補領域及びターゲット候補領域を取得する。任意選択で、下位層及び上位層の特徴を組み合わせたネットワーク構造を候補抽出ネットワークとしてもよい。例えば、候補抽出ネットワークは３Ｄ  ＣＮＮ（三次元畳み込みニューラルネットワーク）構造であり、３Ｄ  Ｕ−Ｎｅｔ（三次元エッジ検出畳み込みニューラルネットワーク）、３Ｄ  ＦＰＮ（三次元特徴ピラミッドネットワーク）等のモデルであってよく、三次元ＣＴ画像からサンプリングされた立方体領域に入力され、立方体領域中の肺結節候補位置の座標及び直径が出力される。検出漏れ率が低くなるように、候補抽出ネットワークの検出閾値は比較的小さい値に設定されてもよい。
【００７７】
候補抽出ネットワークによって生成された偽陽性の検出結果を除き、検出の正確性を上げるために、候補抽出ネットワークをベースにして、分類ネットワークによって、抽出された候補位置をさらに分類してもよい。当該分類ネットワークによってソースドメインサンプリング特徴及びソースドメイン候補領域にプーリング処理を行った後、マッピングによりソースドメインマッピング結果を取得し、ターゲットサンプリング特徴及びターゲット候補領域にプーリング処理を行った後、マッピングによりターゲットマッピング結果を取得するようにしてもよい。例えば、分類ネットワークは候補位置を中心とする比較的小さな立方体の画像を入力として抽出し、当該候補領域が真陽性である確率を出力し、候補の肺結節の座標をわずか調整してもよい。
【００７８】
一実施例では、図５に示すように、トレーニングの過程でニューラルネットワークモデルは３Ｄ  Ｆａｓｔｅｒ  ＲＣＮＮ（三次元高速領域畳み込みニューラルネットワーク）であってもよい。当該３Ｄ  Ｆａｓｔｅｒ  ＲＣＮＮのネットワーク構造は１つの３Ｄ領域抽出ネットワーク（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ、略称ＲＰＮ）ブランチと、１つの分類回帰ブランチとを含んでよい。コンピュータ機器はＣＮＮに基づく特徴抽出ネットワークにおいてソースドメイン画像及びターゲット画像に特徴抽出を行って、ソースドメインサンプリング特徴及びターゲットサンプリング特徴を得た後、領域抽出ネットワークブランチによってソースドメインサンプリング特徴及びターゲットサンプリング特徴にそれぞれターゲット領域抽出を行って、ソースドメイン候補領域及びターゲット候補領域を取得する。コンピュータ機器は分類回帰ブランチによってソースドメインサンプリング特徴及びソースドメイン候補領域にプーリング処理を行った後、マッピングによりソースドメインマッピング結果を取得し、ターゲットサンプリング特徴及びターゲット候補領域にプーリング処理を行った後、マッピングによりターゲットマッピング結果を取得する。なお、この２つのブランチはＣＮＮに基づく特徴抽出ネットワークによって抽出されたサンプリング特徴を共用する。３Ｄ領域抽出ブランチは検出ターゲットとして可能性が最も高い領域を出力し、プーリング層によって当該領域の特徴を抽出して、分類回帰ブランチによる当該領域が肺結節である確率及び座標の学習に供する。
【００７９】
一実施例では、損失関数値、距離パラメータ及びニューラルネットワークモデルに基づいて、組織結節検出モデルを決定する前記ステップは、コンピュータ機器は損失関数値及び距離パラメータに基づいて、総損失関数値を決定することと、総損失関数値及びニューラルネットワークモデルに基づいて、組織結節検出モデルを決定することと、を含む。
【００８０】
総損失関数値は当該ニューラルネットワークモデルがトレーニングの過程で、当該ニューラルネットワークモデルが最適な損失関数であるか否かを決定するための値である。当該総損失関数値はソースドメイン画像に対応する損失関数値、及びソースドメインデータとターゲットドメインデータの距離パラメータに基づいて決定される。これにより、距離パラメータは損失関数値に影響を与える影響因子として、組織結節検出モデルのトレーニングの過程で、ソースドメインデータとターゲットドメインデータのサンプリング特徴間の差異を減らす。これにより、当該組織結節検出モデルによってターゲットドメイン中のデータから組織結節を検出する場合に、検出の正確性を向上する性を向上する。
【００８１】
総損失関数値が収束する場合に、この時のニューラルネットワークモデルを最適なニューラルネットワークモデルとして決定し、即ち、当該ニューラルネットワークモデルを組織結節検出モデルとする。即ち、総損失関数値が収束する場合にニューラルネットワークモデルに対応するネットワークパラメータを、組織結節検出モデルのネットワークパラメータとする。さらに、あらかじめ設定された時間内に総損失関数値が収束する場合には、この時のニューラルネットワークモデルを組織結節検出モデルとしてもよい。あらかじめ設定された時間内に総損失関数値が収束しない場合には、あらかじめ設定された時間になる時のニューラルネットワークモデルを組織結節検出モデルとしてもよい。あらかじめ設定された時間はトレーニング時間がプリセット値になるまでの時間であってもよいし、トレーニングの過程中の繰り返し更新の回数がプリセット値になるまでの時間であってもよい。
【００８２】
一実施例では、距離パラメータは最大平均差異の二乗を含み、損失関数値及び距離パラメータに基づいて、総損失関数値を決定する前記ステップは、コンピュータ機器は最大平均差異の二乗と損失関数値を線形加算して、総損失関数値を取得するステップを含む。
【００８３】
線形加算とは、各被加データとあらかじめ設定された係数をそれぞれ乗算した後、加算演算を行うことであってもよい。当該損失関数値は領域抽出結果に基づく領域損失関数値、分類結果に基づく分類損失関数値、及び正規化結果に基づく正規化損失関数値を含んでよい。本実施例では、最大平均差異の二乗と損失関数値の線形加算の方式により、総損失関数値を取得する。これにより、計算量が減り、モデルトレーニングの効率が向上される。
【００８４】
一実施例では、総損失関数値は次のように示すことができる。
Ｌ＝ＬＲＰＮ＋ＬＣｌｓ＋ＬＲｅｇ＋λＭＭＤ２（Ｓ，Ｔ）
ここで、ＬＲＰＮは領域抽出結果に基づく領域損失関数値であり、ＬＣｌｓは分類結果に基づく分類損失関数値であり、ＬＲｅｇは正規化結果に基づく正規化損失関数値であり、ＭＭＤ２（Ｓ，Ｔ）はソースドメインデータとターゲットドメインデータの最大平均差異の二乗である。λはハイパーパラメータであり、トレーニング前に経験に基づいて調整することができる。
【００８５】
一実施例では、ニューラルネットワークモデルによってソースドメイン画像及びターゲット画像に特徴抽出を行って、ソースドメインサンプリング特徴及びターゲットサンプリング特徴を取得する前記ステップは、コンピュータ機器はソースドメイン画像及びターゲット画像をそれぞれ分割して、ソースドメイン組織領域及びターゲット組織領域を取得するステップと、ニューラルネットワークモデルによってソースドメイン組織領域及びターゲット組織領域に特徴抽出を行って、ソースドメインサンプリング特徴及びターゲットサンプリング特徴を取得するステップと、を含む。
【００８６】
本願の実施例では、分割とは、画像における非組織領域を除き、スライス等の方式により、画像における組織領域を保持することである。コンピュータ機器はソースドメイン画像に分割を行ってソースドメイン組織領域を取得し、ターゲット画像に分割を行ってターゲット組織領域を取得する。このように、ソースドメイン画像及びターゲット画像に前処理を行う。一実施例では、コンピュータ機器はソースドメイン画像における画素値を０〜１の領域に調整し、その後、ソースドメイン組織領域、例えば、ソースドメイン肺部領域を分割してもよい。これに対応して、コンピュータ機器はターゲット画像における画素値を０〜１の領域に調整し、その後、ターゲット組織領域、例えば、ターゲット肺部領域を分割してもよい。これにより、計算しやすくもなり、モデルトレーニングの効率が向上される。
【００８７】
本実施例のモデルトレーニング方法によれば、コンピュータ機器はソースドメイン画像を分割して、ソースドメイン画像における組織領域のエッジの部分を除去し、次に分割後の結果に基づいて特徴抽出を行う。これにより、ノイズが減らされ、モデルの正確性が一層向上される。
【００８８】
一実施例では、図４に示すように、コンピュータ機器は当該ニューラルネットワークモデルの候補抽出ネットワークによって、ソースドメイン画像を分割してソースドメイン組織領域を取得し、ターゲット画像に分割を行ってターゲット組織領域を取得するようにしてもよい。
【００８９】
一実施例では、ソースドメイン画像及びターゲット画像をそれぞれ分割して、ソースドメイン組織領域及びターゲット組織領域を取得するステップは、コンピュータ機器はソースドメイン画像及びターゲット画像をそれぞれ分割して、ソースドメイン肺部領域及びターゲット肺部領域を取得するステップを含む。肺結節検出はコンピュータによる肺がん診断支援システムで重要な部分である。肺部ＣＴ画像から検出された肺結節は肺がんの早期スクリーニング及び初歩的な診断のための重要な参考である。本実施例の方法では、組織結節検出モデルトレーニング方法は肺結節検出モデルトレーニングに適用され、肺結節検出にドメイン適応技術を導入することによって、ニューラルネットワークモデルの中間層は異なる分布（ソースドメインデータ及びターゲットドメインデータ）に由来する画像に対して、一致する特徴を出力することができる。これにより、後になって異なる分布に由来する画像に対して一致する検出結果を与えることができる。ターゲット画像における肺結節検出の正確性が上がり、最終的により信頼性の高い支援診断結果を与えることができる。
【００９０】
一実施例では、上記ソースドメインデータにおけるソースドメイン画像とターゲットドメインデータにおけるターゲット画像は数量関係を満たす。数量関係はソースドメイン画像の数量とターゲット画像の数量の比の値がプリセット値であるステップとしてもよい。当該プリセット値は閾値以下であり、当該閾値は１０、５、２、１等であってもよい。これにより、ターゲット画像とソースドメイン画像の数量上の関係を保つことで、ソースドメインデータとターゲットドメインデータの距離パラメータという要素の、組織結節検出モデルの決定時におけるその影響が保証される。これにより、検出の正確性を向上する性を向上する。
【００９１】
一実施例では、ソースドメインデータにおけるソースドメイン画像とターゲットドメインデータにおけるターゲット画像は数量が同じである。即ち、ソースドメイン画像の数量とターゲット画像の数量の比の値が１であり、即ちプリセット値は１である。これにより、ターゲット画像とソースドメイン画像の数量が等しいという関係を保つことで、ソースドメインデータとターゲットドメインデータの距離パラメータという要素の、組織結節検出モデルの決定時におけるその一定の影響が保証される。これにより、検出の正確性を向上する性を向上する。
【００９２】
一実施例では、ニューラルネットワークモデルによってソースドメイン画像及びターゲット画像に特徴抽出を行って、ソースドメインサンプリング特徴及びターゲットサンプリング特徴を取得し、ソースドメインサンプリング特徴に基づいてトレーニング結果を決定することは、コンピュータ機器は第１ニューラルネットワークモデルによってソースドメイン画像に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、ソースドメインサンプリング特徴に基づいてトレーニング結果を決定することと、第２ニューラルネットワークモデルによってターゲット画像に特徴抽出を行って、ターゲットサンプリング特徴を取得し、第２ニューラルネットワークモデルと第１ニューラルネットワークモデルとで重みが共有されるステップと、を含む。
【００９３】
重みが共有されることは、第１ニューラルネットワークモデルと第２ニューラルネットワークモデルとでネットワークパラメータが共有されることである。２つのネットワークのネットワークパラメータを同じ位置に記憶することで実現してもよいし、一方のネットワークのネットワークパラメータが更新されると同時に、他方のネットワークのネットワークパラメータを更新することで実現してもよい。これにより、第１ニューラルネットワークモデルと第２ニューラルネットワークモデルのネットワークパラメータが常に一致することが保証されるとともに、２つのニューラルネットワークモデルは同時に動作することになり、モデルトレーニングの効率が向上される。
【００９４】
一実施例では、図６に示すように、トレーニングの過程で用いるニューラルネットワークモデルは３Ｄ  Ｆａｓｔｅｒ  ＲＣＮＮである。ネットワークのトレーニングデータの各バッチ（ｂａｔｃｈ）では、使用されるサンプリングデータはソースドメイン（Ｓｏｕｒｃｅ  Ｄｏｍａｉｎ）に由来するソースドメインデータ及びターゲットドメイン（Ｔａｒｇｅｔ  Ｄｏｍａｉｎ）に由来するターゲットドメインデータを含む。ソースドメインとは原データセット中の画像の分布であり、ターゲットドメインとは検出アルゴリズムによって実際に配置されたシーン中の画像の分布である。一般に、この２つの分布には明らかな違いがある。ソースドメイン中のソースドメイン画像には画像アノテーションが含まれ、画像アノテーションはソースドメイン画像における肺結節の位置情報、例えば、座標及び直径を説明するものであり、ターゲットドメイン画像には一切のアノテーションが含まれない。即ち、ソースドメインデータにはアノテーションのあるソースドメイン画像が含まれ、ターゲットドメインデータにはアノテーションのないターゲット画像が含まれる。アノテーションのあるソースドメイン画像の出力に対しては、Ｆａｓｔｅｒ  ＲＣＮＮアルゴリズムによって領域抽出結果に基づく領域損失関数値、分類結果に基づく分類損失関数値、及び正規化結果に基づく正規化損失関数値を算出する。アノテーションのないターゲット画像は、当該ニューラルネットワークの順伝播を入力して、ターゲットサンプリング特徴を生成するために用いられる。本実施例では、３Ｄ  Ｆａｓｔｅｒ  ＲＣＮＮの２か所にそれぞれ最大平均差異に基づく損失関数、即ち差異損失を追加する。１か所は領域特徴抽出ネットワークより前の層、即ち特徴抽出ネットワーク層にある。もう１か所は、分類回帰より前の層、即ち全結合層である。ここで、最大平均差異に基づく損失関数は２つの分布間の差異を最小化するためのものであり、３Ｄ  Ｆａｓｔｅｒ  ＲＣＮＮのトレーニングに最大平均差異に基づく差異損失を加えることによって実現する。１か所目に最大平均差異に基づく損失関数を追加し、即ち、ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく第１差異損失を決定することにより、３Ｄ  Ｆａｓｔｅｒ  ＲＣＮＮが入力されたソースドメイン画像及びターゲット画像に抽出した特徴は一致するようになり、検出機能が得られるとともに、ネットワークによってソースドメイン画像に対して抽出されたソースドメインサンプリング特徴及びターゲット画像に対して抽出されたターゲットサンプリング特徴は類似する分布を有する。２か所目に最大平均差異に基づく損失関数を追加し、即ち、ソースドメインマッピング結果及びターゲットマッピング結果に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく第２差異損失を決定することにより、ネットワークによって抽出されたソースドメイン候補領域及びターゲット候補領域の特徴は一致するようになる。ソースドメイン及びターゲットドメインの一致する特徴によってトレーニングして得たニューラルネットワークモデルは、同様にソース��メイン及びターゲットドメインが一致するものである。このように、ターゲットドメインに対するモデルの一般化が増し、検出の正確性を向上する性を向上する。
【００９５】
当該実施例では、図６に示すように、上方の第１ニューラルネットワークモデルと下方の第２ニューラルネットワークモデルは構造が同じであり、それぞれソースドメイン及びターゲットドメインの画像を入力として受け取り、共有されるネットワークパラメータによって、対応する距離パラメータが生成される。ターゲット画像にはアノテーションがないため、第２ニューラルネットワークモデルがターゲットドメインデータに基づく損失関数値を生成しない。
【００９６】
当該実施例では、ドメイン適応（ｄｏｍａｉｎ  ａｄａｐｔａｔｉｏｎ）技術によりソースドメインデータと分布が異なる被検画像に対する肺結節検出モデルのパフォーマンスを向上させる。３Ｄ  Ｆａｓｔｅｒ  ＲＣＮＮ検出アルゴリズムに基づいて、ソースドメインデータを用いて畳み込みニューラルネットワークをトレーニングすると同時に、当該トレーニングバッチにアノテーションのないターゲットドメインデータを加えて順伝播を行い、ＲＰＮ層及び全結合層にそれぞれ最大平均差異に基づく差異損失を追加することによって、ソースドメインデータの特徴分布とターゲットドメインデータの特徴分布の距離を最小化する。これにより、モデルに検出機能が得られると同時に、畳み込みニューラルネットワーク中間層はソースドメインデータ及びターゲットドメインデータから一致するサンプリング特徴を抽出して、一致する検出結果を与え、検出の正確性を向上する性を向上する。また、アノテーションのないターゲットドメイン画像を追加で提供するだけで、異なる分布の画像に対するモデルの検出時のパフォーマンスを向上させ、診断支援の信頼性を高めることができる。
【００９７】
一実施例では、組織結節検出モデルトレーニング方法が提供され、当該方法は、
ソースドメイン画像と画像アノテーションとを含むソースドメインデータ、及びソースドメインデータにおけるソースドメイン画像と数量が同じのターゲット画像を含むターゲットドメインデータを取得することと、
ソースドメイン画像及びターゲット画像をそれぞれ分割して、ソースドメイン組織領域及びターゲット組織領域を取得するステップと、
第１ニューラルネットワークモデルによってソースドメイン組織領域に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、ソースドメインサンプリング特徴に基づいてトレーニング結果を決定することと、
第２ニューラルネットワークモデルによってターゲット組織領域に特徴抽出を行って、ターゲットサンプリング特徴を取得し、第２ニューラルネットワークモデルと第１ニューラルネットワークモデルとで重みが共有されるステップと、
ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ガウシアンカーネル関数によってソースドメインデータとターゲットドメインデータの最大平均差異に基づく第１差異損失を決定することと、
ソースドメインサンプリング特徴及びターゲットサンプリング特徴にそれぞれターゲット領域抽出を行って、ソースドメイン候補領域及びターゲット候補領域を取得するステップと、
ソースドメインサンプリング特徴及びソースドメイン候補領域にプーリング処理を行った後、マッピングによりソースドメインマッピング結果を取得し、ターゲットサンプリング特徴及びターゲット候補領域にプーリング処理を行った後、マッピングによりターゲットマッピング結果を取得するステップと、
ソースドメインマッピング結果及びターゲットマッピング結果に基づいて、ガウシアンカーネル関数によってソースドメインデータとターゲットドメインデータの最大平均差異に基づく第２差異損失を決定することと、
第１差異損失及び第２差異損失に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異の二乗を決定することと、
トレーニング結果及び画像アノテーションに基づいて、ソースドメイン画像に対応する損失関数値を決定することと、
最大平均差異の二乗と損失関数値を線形加算して、総損失関数値を取得するステップと、
総損失関数値及びニューラルネットワークモデルに基づいて、組織結節検出モデルを決定することと、を含む。
【００９８】
図７に示すように、一実施例では、前記組織結節検出モデルトレーニング方法に対応する組織結節検出方法が提供され、本実施例では主に当該方法が前記図１のコンピュータ機器に適用されるのを例にして説明する。当該組織結節検出方法は、
被検出画像を取得するＳ７０２と、
ターゲット画像とデータ構造が同じである被検出画像を前記組織結節検出モデルトレーニング装置によって得られる組織結節検出モデルに入力して、結節位置情報を取得するＳ７０４と、を含む。
【００９９】
例えば、前記組織結節検出モデルトレーニング装置は、ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。
【０１００】
被検出画像は組織領域検出の対象画像である。なお、当該被検出画像はターゲットドメインに属する。当該組織結節検出モデルは抽出されたソースドメインデータとターゲットドメインデータのサンプリング特徴間の差異を減らせるため、当該組織結節検出モデルによってターゲットドメイン中のデータから組織結節を検出することにより、検出の正確性を向上する性を向上する。
【０１０１】
アノテーションのないターゲットドメインデータを追加で提供するだけで、トレーニングによって、組織ＣＴ走査のイメージング条件によって変わらない組織結節検出モデルを取得するステップができるため、ユーザーは１回の追加の操作で、ローカルのＣＴ装置によって生成された組織走査画像データをアップロードするだけで済む。ユーザーはこれらのローカルのＣＴ画像に対し人力によるアノテーションを行う必要がない。ドメイン適応方法によりトレーニングされた当該組織結節検出モデルを使用する場合に、アノテーションのあるソースドメインデータと分布が異なるターゲットドメインデータにおいてより高い組織結節再現率及びより低い誤検出率が実現され、コンピュータによる組織がん化診断支援システムの信頼性が向上された。
【０１０２】
また、本実施例の組織結節検出方法では、ユーザー（医師）にとって透明性が高い状態で組織結節検出の正確率及び信頼性を上げることが可能であり、ユーザーのこれまでに形成された使用上の習慣に矛盾がなく、ユーザーの使用習慣を変えるようなことは避けられる。
【０１０３】
なお、図２、図３、図７のフローチャートで各ステップは矢印で示す順番に表示されるが、これらのステップは必ずしも矢印で示す順番に実行されるとは限らない。本明細書で明確な説明がない限りは、これらのステップの実行に順番上の厳格な制限はなく、これらのステップは他の順番で実行されてもよい。さらに、図２、図３、図７で少なくとも一部のステップは複数のサブステップ又は複数の段階を含み取得する。これらのサブステップ又は段階は必ずしも同じ時刻に実行して完了されるものではなく、異なる時刻に実行されてもよく、これらのサブステップ又は段階の実行の順番は必ずしも順を追って行われることではなく、他のステップもしくは他のステップのサブステップ又は段階の少なくとも一部と入れ替えて又は交互に実行されてもよい。
【０１０４】
一実施例では、図８に示すように、図１のコンピュータ機器において動作する組織結節検出モデルトレーニング装置が提供され、
ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するトレーニングデータ取得モジュール８０２と、
ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュール８０４と、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュール８０６と、
前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュール８０８と、
前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュール８１０と、が含まれる。
【０１０５】
当該組織結節検出モデルトレーニング装置では、組織結節検出モデルの決定時に、ソースドメインデータと前記ターゲットドメインデータの距離パラメータという要素を加えるため、当該組織結節検出モデルによって抽出されたソースドメインデータとターゲットドメインデータのサンプリング特徴間の差異を減らすことができる。これにより、当該組織結節検出モデルによってターゲットドメイン中のデータから組織結節を検出する場合に、検出の正確性を向上する。
【０１０６】
一実施例では、前記距離パラメータは最大平均差異に基づく差異損失を含み、前記距離パラメータ決定モジュールは、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定する。
【０１０７】
一実施例では、前記距離パラメータ決定モジュールは、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、ガウシアンカーネル関数によって前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定する。
【０１０８】
一実施例では、前記距離パラメータ決定モジュールは、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく第１差異損失を決定する第１差異損失ユニットと、
前記ソースドメインサンプリング特徴にターゲット領域抽出を行って、ソースドメイン候補領域を取得し、前記ターゲットサンプリング特徴にターゲット領域抽出を行って、ターゲット候補領域を取得する候補領域決定ユニットと、
前記ソースドメインサンプリング特徴及び前記ソースドメイン候補領域にプーリング処理を行った後、マッピングによりソースドメインマッピング結果を取得し、前記ターゲットサンプリング特徴及び前記ターゲット候補領域にプーリング処理を行った後、マッピングによりターゲットマッピング結果を取得するマッピング結果決定ユニットと、
前記ソースドメインマッピング結果及び前記ターゲットマッピング結果に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく第２差異損失を決定する第２差異損失ユニットと、
前記第１差異損失及び前記第２差異損失に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定する総合差異決定ユニットと、を含む。
【０１０９】
一実施例では、前記装置は、前記損失関数値及び前記距離パラメータに基づいて、総損失関数値を決定する総損失決定モジュールをさらに含み、
モデル決定モジュールはさらに、前記総損失関数値及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定する。
【０１１０】
一実施例では、前記距離パラメータは最大平均差異の二乗を含み、総損失決定モジュールは、前記最大平均差異の二乗と前記損失関数値を線形加算して、総損失関数値を取得する。
【０１１１】
一実施例では、当該装置は、用于前記ソースドメイン画像を分割して、ソースドメイン組織領域を取得し、前記ターゲット画像を分割して、ターゲット組織領域を取得する組織領域分割モジュールをさらに含み、
特徴抽出トレーニングモジュールは、ニューラルネットワークモデルによって前記ソースドメイン組織領域に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット組織領域に特徴抽出を行って、ターゲットサンプリング特徴を取得する。
【０１１２】
一実施例では、前記ソースドメインデータにおける前記ソースドメイン画像と前記ターゲットドメインデータにおける前記ターゲット画像は数量関係を満たす。
【０１１３】
一実施例では、前記ソースドメインデータにおける前記ソースドメイン画像と前記ターゲットドメインデータにおける前記ターゲット画像は数量が同じである。
【０１１４】
一実施例では、前記特徴抽出トレーニングモジュールは、
第１ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングユニットと、
第２ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行って、ターゲットサンプリング特徴を取得し、前記第２ニューラルネットワークモデルと前記第１ニューラルネットワークモデルとで重みが共有される特徴抽出ユニットと、を含む。
【０１１５】
一実施例では、図９に示すように、前記組織結節検出モデルトレーニング方法に対応する、図１のコンピュータ機器において動作する組織結節検出装置が提供され、
被検出画像を取得する被検出画像取得モジュール９０２と、
前記ターゲット画像とデータ構造が同じである前記被検出画像を前記組織結節検出モデルトレーニング装置によって得られる組織結節検出モデルに入力して、結節位置情報を取得する検出モデル検出モジュール９０４と、が含まれる。
【０１１６】
例えば、前記組織結節検出モデルトレーニング装置は、ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。
【０１１７】
被検出画像は組織領域検出の対象画像である。なお、当該被検出画像はターゲットドメインに属する。当該組織結節検出モデルは抽出されたソースドメインデータとターゲットドメインデータのサンプリング特徴間の差異を減らせるため、当該組織結節検出モデルによってターゲットドメイン中のデータから組織結節を検出することにより、検出の正確性を向上する。
【０１１８】
一実施例では、コンピュータ機器が提供され、当該コンピュータ機器はサーバであってよく、その内部構造は図１に示すものであってもよい。当該コンピュータ機器は、メモリと、プロセッサとを含み、前記メモリにはコンピュータプログラムが記憶されており、前記プロセッサが前記コンピュータプログラムを実行すると、前記組織結節検出モデルトレーニング方法及び／又は組織結節検出方法のステップが実現される。
【０１１９】
一実施例では、コンピュータ可読記憶媒体が提供され、コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行されると、前記組織結節検出モデルトレーニング方法及び／又は組織結節検出方法のステップが実現される。
【０１２０】
一実施例では、前記組織結節検出方法、装置に対応する組織結節検出システムが提供され、前記システムは、
ターゲットドメインデータ及び被検出画像を収集する画像収集モジュールと、
前記画像収集モジュールによって収集された被検出画像を取得する被検出画像取得モジュールと、
前記ターゲット画像とデータ構造が同じである前記被検出画像を組織結節検出モデルトレーニング装置によって得られる組織結節検出モデルに入力して、結節位置情報を取得する検出モデル検出モジュールと、を含み、
前記組織結節検出モデルトレーニング装置は、ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ及び前記画像収集モジュールによって収集された、ターゲット画像を含む前記ターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。
【０１２１】
なお、画像収集モジュール、被検出画像取得モジュール、検出モデル検出モジュールは同一の機器のメモリに記憶されてよく、即ち同一の機器によって、ターゲットドメインデータ及び被検出画像を収集するステップ、前記画像収集モジュールによって収集された被検出画像を取得するステップ、及び前記被検出画像を組織結節検出モデルに入力して、結節位置情報を取得するステップを実行してもよい。画像収集モジュール、被検出画像取得モジュール、検出モデル検出モジュールは異なる機器のメモリに記憶されてもよく、そして、異なる機器によって、ターゲットドメインデータ及び被検出画像を収集するステップ、前記画像収集モジュールによって収集された被検出画像を取得するステップ、及び前記被検出画像を組織結節検出モデルに入力して、結節位置情報を取得するステップを実行してもよい。例えば、１つの機器又は同じタイプの機器によって、ターゲットドメインデータ及び被検出画像を収集するステップを実行し、もう１つの機器又は別のタイプの機器によって、前記画像収集モジュールによって収集された被検出画像を取得するステップ、及び前記被検出画像を組織結節検出モデルに入力するステップを実行してもよい。
【０１２２】
本実施例の組織結節検出システムでは、ターゲットドメインデータ及び被検出画像を収集し、前記画像収集モジュールによって収集された被検出画像を取得し、前記ターゲット画像とデータ構造が同じである前記被検出画像を組織結節検出モデルトレーニング装置によって得られる組織結節検出モデルに入力して、結節位置情報を取得する。ここで、前記組織結節検出モデルトレーニング装置は、ソースドメイン画像と画像アノテーションとを含むソースドメインデータ及び前記画像収集モジュールによって収集された、ターゲット画像を含む前記ターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像及び前記ターゲット画像に特徴抽出を行って、ソースドメインサンプリング特徴及びターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。組織結節検出モデルの決定時に、ソースドメインデータと前記ターゲットドメインデータの距離パラメータという要素を加えるため、当該組織結節検出モデルによって抽出されたソースドメインデータとターゲットドメインデータのサンプリング特徴間の差異を減らすことができる。当該組織結節検出モデルによってターゲットドメイン中のデータから組織結節を検出することにより、検出の正確性を向上する。これによって、当該組織結節検出システムによって組織結節検出を行うことで、検出の正確性を向上する。
【０１２３】
一実施例では、前記システムは画像収集機器と、組織結節検出機器とを含み、前記画像収集機器のメモリには前記画像収集モジュールが記憶され、前記組織結節検出機器のメモリには、前記被検出画像取得モジュール及び前記検出モデル検出モジュールが記憶される。
【０１２４】
画像収集機器は組織画像を収集する機器であり、例えば、ＣＴイメージング機器であってもよい。組織結節検出機器はメモリと、プロセッサとを含んでよく、前記メモリには被検出画像取得モジュール及び前記検出モデル検出モジュールが記憶されており、プロセッサはメモリに記憶されている各モジュールを呼び出す時、前記組織結節検出方法を実行できる。
【０１２５】
本実施例の組織結節検出システムでは、画像収集機器によってターゲットドメインデータ及び被検出画像を収集するステップを実行し、組織結節検出機器によって、前記画像収集モジュールによって収集された被検出画像を取得するステップ、及び前記被検出画像を組織結節検出モデルに入力するステップを実行してもよい。これにより、組織によって異なる画像収集機器を設定して、システムの適合性を高めることができ、システムの正確性が一層向上される。
【０１２６】
当業者に理解されるように、前記実施例の方法の全ての又は一部のプロセスを実現することは、コンピュータプログラムによって関連のハードウェア（例えば、プロセッサ）を指示することで完了されてよく、前記コンピュータプログラムは不揮発性コンピュータ可読記憶媒体に記憶されてよく、当該コンピュータプログラムは、前記各方法の実施例のプロセスを含むように実行されてもよい。ここで、本願に係る各実施例でメモリ、ストレージ、データベース又は他の媒体が言及される場合に、いずれも不揮発性及び／又は揮発性メモリが含まれ取得する。不揮発性メモリには読み取り専用メモリ（ＲＯＭ）、プログラム可能ＲＯＭ（ＰＲＯＭ）、電気的プログラム可能ＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラム可能ＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリが含まれ取得する。揮発性メモリには、ランダムアクセスメモリ（ＲＡＭ）、外部キャッシュメモリが含まれ取得する。非限定的な説明ではあるが、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、拡張型ＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、ラムバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトラムバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、及びラムバスダイナミックＲＡＭ（ＲＤＲＡＭ）等のさまざまな形態であり取得する。
【０１２７】
前記実施例の各技術的特徴は任意に組み合わせることができ、説明の簡素化のために、前記実施例の各技術的特徴の全ての可能な組み合わせを説明していないが、これらの技術的特徴の組み合わせに矛盾がなければ、いずれも本明細書に記載された範囲内のものとみなされる。
【０１２８】
前記実施例では本願のいくつかの実施形態を示しており、しかも具体的で且つ詳細に説明されてはいるが、本発明の特許請求の範囲を限定するものとは理解されない。なお、当業者が本願の趣旨から逸脱しないことを前提に、さまざまな変形と改善を加えることができ、これらはいずれも本願の保護範囲に含まれる。したがって、本願の保護範囲は特許請求の範囲に準拠する。
【符号の説明】
【０１２９】
８０２  キーベクトル取得モジュール
８０４  候補ウェブページ決定モジュール
８０６  イベント決定モジュール
８０８  発見結果決定モジュール
８１０  モデル決定モジュール
９０２  被検出画像取得モジュール
９０４  検出モデル検出モジュール
【図１】
2021520568.tif 000008
【図２】
2021520568.tif 000009
【図３】
2021520568.tif 000010
【図４】
2021520568.tif 000011
【図５】
2021520568.tif 000012
【図６】
2021520568.tif 000013
【図７】
2021520568.tif 000014
【図８】
2021520568.tif 000015
【図９】
2021520568.tif 000016
【国際調査報告】
2021520568.tif 000017
2021520568.tif 000018
2021520568.tif 000019
2021520568.tif 000020