(57)【要約】【課題】従来の検出方法では注釈作業量が非常に大きいという問題を解決する。【解決手段】本願は、ディープラーニングの技術分野に属し、医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体を開示する。本願に係る方法は、被検出病変のターゲット医療画像を取得する（１０１）と、ターゲット医療画像をディープラーニングモデルに入力して、ターゲットシーケンスを得る（１０２）と、ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出する（１０３）と、全結合層で予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出する（１０４）と、予め設定された各病変タイプに対して、第１特徴マップ及び対応する重み値に基づいて、融合特徴マップを算出する（１０５）と、ターゲット医療画像のサイズになるまで融合特徴マップをリサンプリングして、クラス活性化マップを生成する（１０６）と、各クラス活性化マップで最大接続領域を決定し、最大接続領域を囲むマーキングフレームを確立する（１０７）と、ターゲット医療画像に予め設定された各病変タイプに対応するマーキングフレームを追加する（１０８）とを含む。【選択図】図２
2021536057.tif 000002
【特許請求の範囲】
【請求項１】
被検出病変のターゲット医療画像を取得するステップと、
前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得るステップであって、前記ターゲットシーケンス中の各要素は、予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は、前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは、前記予め設定された各病変タイプに対応する医療画像サンプルで予めトレーニングして得られており、医療画像サンプルの各々には、画像に含まれる病変タイプが注釈されている、ステップと、
前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出するステップと、
前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出するステップと、
予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出するステップと、
前記ターゲット医療画像のサイズになるまで、前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成するステップと、
前記予め設定された各病変タイプに対応するクラス活性化マップにおいて最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立するステップであって、前記最大接続領域とは、前記クラス活性化マップのうちの、画素値が所定の画素閾値を超えるドットが入る接続領域である、ステップと、
前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加するステップと、
を含むことを特徴とする、医療画像に対する病変の検出及び位置決め方法。
【請求項２】
前記ディープラーニングモデルは、
トレーニングに使用する各医療画像サンプルを取得するステップと、
各医療画像サンプルに対して、前記予め設定された各病変タイプに対応するマーキング値を注釈して、前記各医療画像サンプルに対応するマーキングシーケンスを得るステップであって、マーキングシーケンス中の各要素は、予め設定された各病変タイプに対応するマーキング値であり、前記各医療画像サンプルでは、予め設定された病変タイプが陽性であれば、対応するマーキング値は１であり、予め設定された病変タイプが陰性であれば、対応するマーキング値は０である、ステップと、
注釈後の各医療画像サンプルに対して、前記各医療画像サンプルをディープラーニングモデルに入力して反復トレーニング行って、前記ディープラーニングモデルが出力した、前記各医療画像サンプルに対応するサンプルシーケンスを得るステップであって、前記サンプルシーケンス中の各要素は、予め設定された各病変タイプに対応する第２信頼度であり、第２信頼度は、前記各医療画像サンプルが対応する予め設定された病変タイプに属する確率を表す、ステップと、
予め設定された損失関数の計算結果に対して、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さいまで、前記ディープラーニングモデルのモデルパラメータを調整するステップであって、前記損失関数は、前記各医療画像サンプルに対応するサンプルシーケンスとマーキングシーケンスとの間の誤差を計算するためのものである、ステップと、
前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さくなると、前記ディープラーニングモデルはトレーニング済みとするステップと、
によって予めトレーニングして得られることを特徴とする、請求項１に記載の医療画像に対する病変の検出及び位置決め方法。
【請求項３】
前記予め設定された各病変タイプに対応するクラス活性化マップにおいて最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立する前記ステップは、
予め設定された各病変タイプに対応するクラス活性化マップに対して、前記クラス活性化マップ上のドットの最大画素値を取得するステップと、
前記最大画素値と予め設定された比率値との積を計算して、限界画素閾値を得るステップであって、前記予め設定された比率値は、０より大きく且つ１未満である、ステップと、
初期フレームを確立し、且つ前記初期フレームが囲む面積が最小になるように、前記初期フレームを調整するステップであって、前記初期フレームは、前記クラス活性化マップ上の画素値が前記限界画素閾値より大きい全てのドットを囲んでいる、ステップと、
前記初期フレームに囲まれた面積から最大接続領域を検出するステップと、
マーキングフレームを確立し、且つ前記マーキングフレームが囲む面積が最小になるように、前記マーキングフレームを調整するステップであって、前記マーキングフレームは、前記最大接続領域を囲んでいる、ステップと、
を含むことを特徴とする、請求項１に記載の医療画像に対する病変の検出及び位置決め方法。
【請求項４】
前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得た後、
前記予め設定された各病変タイプに対応する予め設定された信頼度閾値を取得するステップと、
前記ターゲットシーケンス中の各要素をそれぞれに対応する予め設定された信頼度閾値と比較して、前記ターゲットシーケンスから前記予め設定された信頼度閾値以上の要素を特定し、ターゲット要素と表示するステップと、
各ターゲット要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陽性に決定し、且つ他の要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陰性に決定するステップであって、前記他の要素とは、前記ターゲットシーケンスでターゲット要素以外の要素である、ステップと、
をさらに含むことを特徴とする、請求項１に記載の医療画像に対する病変の検出及び位置決め方法。
【請求項５】
予め設定された各病変タイプに対応する予め設定された前記信頼度閾値は、
予め収集された検証用の各医療画像を取得し、各検証サンプルと表示するステップと、
各検証サンプルに対して、前記各検証サンプルを予めトレーニングされた前記ディープラーニングモデルに入力して、前記ディープラーニングモデルが出力した、前記各検証サンプルに対応する検証シーケンスを得るステップであって、前記検証シーケンス中の各要素は、予め設定された各病変タイプに対応する第３信頼度であり、第３信頼度は、前記各検証サンプルが対応する予め設定された病変タイプに属する確率を表す、ステップと、
予め設定された各病変タイプに対して、各検証サンプルに対応する検証シーケンスから、前記予め設定された各病変タイプに対応する第３信頼度を抽出して、各病変信頼度を得るステップと、
予め設定された各病変タイプに対して、前記各病変信頼度に基づいて、各病変信頼度を閾値とするときのヨーデンインデックスをそれぞれ計算して、前記各病変信頼度に対応するインデックス結果を得るステップと、
最大のインデックス結果に対応する病変信頼度を前記予め設定された各病変タイプに対応する予め設定された信頼度閾値として決定するステップであって、前記最大のインデックス結果とは、各病変信頼度に対応するインデックス結果のうちの最大値である、ステップと、
によって予め決定されることを特徴とする、請求項４に記載の医療画像に対する病変の検出及び位置決め方法。
【請求項６】
前記各医療画像サンプルをディープラーニングモデルに入力して反復トレーニング行って、前記ディープラーニングモデルが出力した、前記各医療画像サンプルに対応するサンプルシーケンスを得る前に、
注釈後の各医療画像サンプルのディープラーニングモデルへの入力順番をランダムにシャッフルするステップをさらに含むことを特徴とする、請求項２に記載の医療画像に対する病変の検出及び位置決め方法。
【請求項７】
予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出する前記ステップは、具体的には、
予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値を予め設定された加重和計算式に代入し、前記予め設定された各病変タイプに対応する融合特徴マップを算出することであり、
前記加重和計算式は、
2021536057.tif 000004
であり、
式中、Ｆｃは融合特徴マップのベクトル値であり、Ｋは抽出された第１特徴マップの数量であり、ｃは予め設定された病変タイプの番号であり、ｆｋは抽出されたｋ番目の第１特徴マップであり、ｗｃｋは全結合層でｋ番目の入力ユニットに対応するｃ番目の予め設定された病変タイプの重みであることを特徴とする、請求項１から６のいずれか一項に記載の医療画像に対する病変の検出及び位置決め方法。
【請求項８】
被検出病変のターゲット医療画像を取得するための医療画像取得モジュールと、
前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得るための画像入力モジュールであって、前記ターゲットシーケンス中の各要素は、予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は、前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは、前記予め設定された各病変タイプに対応する医療画像サンプルで予めトレーニングして得られており、医療画像サンプルの各々には、画像に含まれる病変タイプが注釈されている、画像入力モジュールと、
前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出するための第１特徴マップ抽出モジュールと、
前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出するための重み値抽出モジュールと、
予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出するための融合特徴マップ計算モジュールと、
前記ターゲット医療画像のサイズになるまで前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成するためのクラス活性化マップ生成モジュールと、
前記予め設定された各病変タイプに対応するクラス活性化マップにおいて最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立するための接続領域決定モジュールであって、前記最大接続領域とは、前記クラス活性化マップのうちの、画素値が所定の画素閾値を超えるドットが入る接続領域である、接続領域決定モジュールと、
前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加するためのマーキングフレーム追加モジュールと、
を含むことを特徴とする、医療画像に対する病変の検出及び位置決め装置。
【請求項９】
前記ディープラーニングモデルは、
トレーニングに使用する各医療画像サンプルを取得するための画像サンプル取得モジュールと、
各医療画像サンプルに対して、前記予め設定された各病変タイプに対応するマーキング値を注釈して、前記各医療画像サンプルに対応するマーキングシーケンスを得るための注釈モジュールであって、マーキングシーケンス中の各要素は、予め設定された各病変タイプに対応するマーキング値であり、前記各医療画像サンプルでは、予め設定された病変タイプが陽性であれば、対応するマーキング値は１であり、予め設定された病変タイプが陰性であれば、対応するマーキング値は０である、注釈モジュールと、
注釈後の各医療画像サンプルに対して、前記各医療画像サンプルをディープラーニングモデルに入力して反復トレーニング行って、前記ディープラーニングモデルが出力した、前記各医療画像サンプルに対応するサンプルシーケンスを得る反復トレーニングモジュールであって、前記サンプルシーケンス中の各要素は、予め設定された各病変タイプに対応する第２信頼度であり、第２信頼度は、前記各医療画像サンプルが対応する予め設定された病変タイプに属する確率を表す、反復トレーニングモジュールと、
予め設定された損失関数の計算結果に対して、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さいまで、前記ディープラーニングモデルのモデルパラメータを調整するためのパラメータ調整モジュールであって、前記損失関数は前記各医療画像サンプルに対応するサンプルシーケンスとマーキングシーケンスとの間の誤差を計算するためのものである、パラメータ調整モジュールと、
前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さくなると、前記ディープラーニングモデルはトレーニング済みとするためのモデル決定モジュールと、
によって予めトレーニングして得られることを特徴とする、請求項８に記載の医療画像に対する病変の検出及び位置決め装置。
【請求項１０】
前記接続領域決定モジュールは、
予め設定された各病変タイプに対応するクラス活性化マップに対して、前記クラス活性化マップ上のドットの最大画素値を取得するための画素値取得ユニットと、
前記最大画素値と予め設定された比率値との積を計算して、限界画素閾値を得るための画素閾値計算ユニットであって、前記予め設定された比率値は０より大きく且つ１未満である、画素閾値計算ユニットと、
初期フレームを確立し、且つ前記初期フレームが囲む面積が最小になるように、前記初期フレームを調整するためのフレーム確立調整ユニットであって、前記初期フレームは、前記クラス活性化マップ上の画素値が前記限界画素閾値より大きい全てのドットを囲んでいる、フレーム確立調整ユニットと、
前記初期フレームに囲まれた面積から最大接続領域を検出するための接続領域検出ユニットと、
マーキングフレームを確立し、且つ前記マーキングフレームが囲む面積が最小になるように、前記マーキングフレームを調整するための包囲面積最小化ユニットであって、前記マーキングフレームは、前記最大接続領域を囲んでいる、包囲面積最小化ユニットと、
を含むことを特徴とする、請求項８に記載の医療画像に対する病変の検出及び位置決め装置。
【請求項１１】
前記予め設定された各病変タイプに対応する予め設定された信頼度閾値を取得するための信頼度閾値取得モジュールと、
前記ターゲットシーケンス中の各要素を対応する予め設定された信頼度閾値と比較して、前記ターゲットシーケンスから前記予め設定された信頼度閾値以上の要素を特定し、ターゲット要素と表示するための比較モジュールと、
各ターゲット要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陽性に決定し、且つ他の要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陰性に決定するための予測結果決定モジュールであって、前記他の要素とは、前記ターゲットシーケンスでターゲット要素以外の要素である、予測結果決定モジュールと、
をさらに含むことを特徴とする、請求項８に記載の医療画像に対する病変の検出及び位置決め装置。
【請求項１２】
予め設定された各病変タイプに対応する予め設定された前記信頼度閾値は、
予め収集された検証用の各医療画像を取得し、各検証サンプルと表示するための検証サンプル取得モジュールと、
各検証サンプルに対して、前記各検証サンプルを予めトレーニングされた前記ディープラーニングモデルに入力して、前記ディープラーニングモデルが出力した、前記各検証サンプルに対応する検証シーケンスを得るためのサンプル入力モジュールであって、前記検証シーケンス中の各要素は、予め設定された各病変タイプに対応する第３信頼度であり、第３信頼度は、前記各検証サンプルが対応する予め設定された病変タイプに属する確率を表す、サンプル入力モジュールと、
予め設定された各病変タイプに対して、各検証サンプルに対応する検証シーケンスから、前記予め設定された各病変タイプに対応する第３信頼度を抽出して、各病変信頼度を得るための病変信頼度抽出モジュールと、
予め設定された各病変タイプに対して、前記各病変信頼度に基づいて、各病変信頼度を閾値とする時のヨーデンインデックスをそれぞれ計算して、前記各病変信頼度に対応するインデックス結果を得るためのインデックス結果計算モジュールと、
最大のインデックス結果に対応する病変信頼度を前記予め設定された各病変タイプに対応する予め設定された信頼度閾値として決定するための閾値決定モジュールであって、前記最大のインデックス結果とは各病変信頼度に対応するインデックス結果のうちの最大値である、閾値決定モジュールと、
によって予め決定されることを特徴とする、請求項１１に記載の医療画像に対する病変の検出及び位置決め装置。
【請求項１３】
メモリと、プロセッサと、前記メモリに記憶されており且つ前記プロセッサ上で動作可能なコンピュータ可読コマンドとを含むコンピュータデバイスであって、前記プロセッサが前記コンピュータ可読コマンドを実行するとき、
被検出病変のターゲット医療画像を取得するステップと、
前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得るステップであって、前記ターゲットシーケンス中の各要素は、予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は、前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは、前記予め設定された各病変タイプに対応する医療画像サンプルで予めトレーニングして得られており、医療画像サンプルの各々には、画像に含まれる病変タイプが注釈されている、ステップと、
前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出するステップと、
前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出するステップと、
予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出するステップと、
前記ターゲット医療画像のサイズになるまで、前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成するステップと、
前記予め設定された各病変タイプに対応するクラス活性化マップにおいて最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立するステップであって、前記最大接続領域とは、前記クラス活性化マップのうちの、画素値が所定の画素閾値を超えるドットが入る接続領域である、ステップと、
前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加するステップと、
が実行されることを特徴とする、コンピュータデバイス。
【請求項１４】
前記ディープラーニングモデルは、
トレーニングに使用する各医療画像サンプルを取得するステップと、
各医療画像サンプルに対して、前記予め設定された各病変タイプに対応するマーキング値を注釈して、前記各医療画像サンプルに対応するマーキングシーケンスを得るステップであって、マーキングシーケンス中の各要素は予め設定された各病変タイプに対応するマーキング値であり、前記各医療画像サンプルでは、予め設定された病変タイプが陽性であれば、対応するマーキング値は１であり、予め設定された病変タイプが陰性であれば、対応するマーキング値は０である、ステップと、
注釈後の各医療画像サンプルに対して、前記各医療画像サンプルをディープラーニングモデルに入力して反復トレーニング行って、前記ディープラーニングモデルが出力した、前記各医療画像サンプルに対応するサンプルシーケンスを得るステップであって、前記サンプルシーケンス中の各要素は、予め設定された各病変タイプに対応する第２信頼度であり、第２信頼度は、前記各医療画像サンプルが対応する予め設定された病変タイプに属する確率を表す、ステップと、
予め設定された損失関数の計算結果に対して、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さいまで、前記ディープラーニングモデルのモデルパラメータを調整するステップであって、前記損失関数は、前記各医療画像サンプルに対応するサンプルシーケンスとマーキングシーケンスとの間の誤差を計算するためのものである、ステップと、
前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さくなると、前記ディープラーニングモデルはトレーニング済みとするステップと、
によって予めトレーニングして得られることを特徴とする、請求項１３に記載のコンピュータデバイス。
【請求項１５】
前記予め設定された各病変タイプに対応するクラス活性化マップで最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立する前記ステップは、
予め設定された各病変タイプに対応するクラス活性化マップに対して、前記クラス活性化マップ上のドットの最大画素値を取得するステップと、
前記最大画素値と予め設定された比率値との積を計算して、限界画素閾値を得るステップであって、前記予め設定された比率値は０より大きく且つ１未満であるステップと、
初期フレームを確立し、且つ前記初期フレームが囲む面積が最小になるように、前記初期フレームを調整するステップであって、前記初期フレームは、前記クラス活性化マップ上の画素値が前記限界画素閾値より大きい全てのドットを囲んでいる、ステップと、
前記初期フレームに囲まれた面積から最大接続領域を検出するステップと、
マーキングフレームを確立し、且つ前記マーキングフレームが囲む面積が最小になるように、前記マーキングフレームを調整するステップであって、前記マーキングフレームは、前記最大接続領域を囲んでいる、ステップと、
を含むことを特徴とする、請求項１３に記載のコンピュータデバイス。
【請求項１６】
前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得た後、前記プロセッサが前記コンピュータ可読コマンドを実行するとき、
前記予め設定された各病変タイプに対応する予め設定された信頼度閾値を取得するステップと、
前記ターゲットシーケンス中の各要素をそれぞれ対応する予め設定された信頼度閾値と比較して、前記ターゲットシーケンスから前記予め設定された信頼度閾値以上の要素を特定し、ターゲット要素と表示するステップと、
各ターゲット要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陽性に決定し、且つ他の要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陰性に決定するステップであって、前記他の要素とは、前記ターゲットシーケンスでターゲット要素以外の要素である、ステップと、
がさらに実行されることを特徴とする、請求項１３に記載のコンピュータデバイス。
【請求項１７】
予め設定された各病変タイプに対応する予め設定された前記信頼度閾値は、
予め収集された検証用の各医療画像を取得し、各検証サンプルと表示するステップと、
各検証サンプルに対して、前記各検証サンプルを予めトレーニングされた前記ディープラーニングモデルに入力して、前記ディープラーニングモデルが出力した、前記各検証サンプルに対応する検証シーケンスを得るステップであって、前記検証シーケンス中の各要素は、予め設定された各病変タイプに対応する第３信頼度であり、第３信頼度は、前記各検証サンプルが対応する予め設定された病変タイプに属する確率を表す、ステップと、
予め設定された各病変タイプに対して、各検証サンプルに対応する検証シーケンスから、前記予め設定された各病変タイプに対応する第３信頼度を抽出して、各病変信頼度を得るステップと、
予め設定された各病変タイプに対して、前記各病変信頼度に基づいて、各病変信頼度を閾値とする時のヨーデンインデックスをそれぞれ計算して、前記各病変信頼度に対応するインデックス結果を得るステップと、
最大のインデックス結果に対応する病変信頼度を前記予め設定された各病変タイプに対応する予め設定された信頼度閾値として決定するステップであって、前記最大のインデックス結果とは、各病変信頼度に対応するインデックス結果のうちの最大値である、ステップと、
によって予め決定されることを特徴とする、請求項１６に記載のコンピュータデバイス。
【請求項１８】
コンピュータ可読コマンドが記憶されている１つ以上の可読記憶媒体であって、前記コンピュータ可読コマンドが１つ以上のプロセッサによって実行されるとき、前記１つ以上のプロセッサが、
被検出病変のターゲット医療画像を取得するステップと、
前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得るステップであって、前記ターゲットシーケンス中の各要素は、予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は、前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは、前記予め設定された各病変タイプに対応する医療画像サンプルで予めトレーニングして得られており、医療画像サンプルの各々には、画像に含まれる病変タイプが注釈されている、ステップと、
前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出するステップと、
前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出するステップと、
予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出するステップと、
前記ターゲット医療画像のサイズになるまで、前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成するステップと、
前記予め設定された各病変タイプに対応するクラス活性化マップにおいて最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立するステップであって、前記最大接続領域とは、前記クラス活性化マップのうちの、画素値が所定の画素閾値を超えるドットが入る接続領域である、ステップと、
前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加するステップと、
を実行することを特徴とする、可読記憶媒体。
【請求項１９】
前記ディープラーニングモデルは、
トレーニングに使用する各医療画像サンプルを取得するステップと、
各医療画像サンプルに対して、前記予め設定された各病変タイプに対応するマーキング値を注釈して、前記各医療画像サンプルに対応するマーキングシーケンスを得るステップであって、マーキングシーケンス中の各要素は、予め設定された各病変タイプに対応するマーキング値であり、前記各医療画像サンプルでは、予め設定された病変タイプが陽性であれば、対応するマーキング値は１であり、予め設定された病変タイプが陰性であれば、対応するマーキング値は０である、ステップと、
注釈後の各医療画像サンプルに対して、前記各医療画像サンプルをディープラーニングモデルに入力して反復トレーニング行って、前記ディープラーニングモデルが出力した、前記各医療画像サンプルに対応するサンプルシーケンスを得るステップであって、前記サンプルシーケンス中の各要素は、予め設定された各病変タイプに対応する第２信頼度であり、第２信頼度は、前記各医療画像サンプルが対応する予め設定された病変タイプに属する確率を表す、ステップと、
予め設定された損失関数の計算結果に対して、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さいまで、前記ディープラーニングモデルのモデルパラメータを調整するステップであって、前記損失関数は、前記各医療画像サンプルに対応するサンプルシーケンスとマーキングシーケンスとの間の誤差を計算するためのものである、ステップと、
前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さくなると、前記ディープラーニングモデルはトレーニング済みとするステップと、
によって予めトレーニングして得られることを特徴とする、請求項１８に記載の可読記憶媒体。
【請求項２０】
前記予め設定された各病変タイプに対応するクラス活性化マップにおいて最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立する前記ステップは、
予め設定された各病変タイプに対応するクラス活性化マップに対して、前記クラス活性化マップ上のドットの最大画素値を取得するステップと、
前記最大画素値と予め設定された比率値との積を計算して、限界画素閾値を得るステップであって、前記予め設定された比率値は０より大きく且つ１未満である、ステップと、
初期フレームを確立し、且つ前記初期フレームが囲む面積が最小になるように、前記初期フレームを調整するステップであって、前記初期フレームは、前記クラス活性化マップ上の画素値が前記限界画素閾値より大きい全てのドットを囲んでいる、ステップと、
前記初期フレームに囲まれた面積から最大接続領域を検出するステップと、
マーキングフレームを確立し、且つ前記マーキングフレームが囲む面積が最小になるように、前記マーキングフレームを調整するステップであって、前記マーキングフレームは、前記最大接続領域を囲んでいる、ステップと、
を含むことを特徴とする、請求項１８に記載の可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１９年８月５日に提出された「医療画像に対する病変の検出・位置決め方法、装置、デバイス及び記憶媒体」と題する中国発明特許出願第２０１９１０７１８４９７．３号の優先権を主張する。
【０００２】
本願は、ディープラーニングの技術分野に関し、特に、医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体に関する。
【背景技術】
【０００３】
人工知能アルゴリズムを利用して医療画像中の異なる病変特徴の分類・認識及び検出及び位置決めを行うことで、臨床診断に定性的な画像学的指標を提供することができる。ディープラーニングによる通常の分類方法は異なる病変タイプの認識を実現できるが、擬似病変の位置情報を提供できず、ディープラーニングによる通常のターゲット検出方法はモデルをトレーニングする際に、人力でサンプル画像中の病変領域に正確なブロック情報を注釈する必要があり、サンプル画像は通常１万枚を超え数量が非常に多いため、注釈作業量が非常に大きく、モデルの迅速更新及び学習を実現しにくい。
【０００４】
したがって、注釈作業量が小さく、医療画像に対する病変の検出及び位置決めを実現できる方法を開発することは、当業者が今すぐ解決すべき課題となっている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本願の実施例は、従来の検出方法では注釈作業量が非常に大きいという問題を解決するために、医療画像に対する病変の検出及び位置決め方法、装置、コンピュータデバイス、及び記憶媒体を提供する。
【課題を解決するための手段】
【０００６】
医療画像に対する病変の検出及び位置決め方法であって、被検出病変のターゲット医療画像を取得するステップと、前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得るステップであって、前記ターゲットシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは前記予め設定された各病変タイプのそれぞれに対応する医療画像サンプルで予めトレーニングして得られ、各医療画像サンプルには画像に含まれる病変タイプが注釈されるステップと、前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出するステップと、前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出するステップと、予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出するステップと、前記ターゲット医療画像のサイズになるまで前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成するステップと、前記予め設定された各病変タイプに対応するクラス活性化マップで最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立するステップであって、前記最大接続領域とは前記クラス活性化マップで画素値が所定の画素閾値を超えるドットが入る接続領域であるステップと、前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加するステップとを含む。
【０００７】
医療画像に対する病変の検出及び位置決め装置であって、被検出病変のターゲット医療画像を取得するための医療画像取得モジュールと、前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得るための画像入力モジュールであって、前記ターゲットシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは前記予め設定された各病変タイプのそれぞれに対応する医療画像サンプルで予めトレーニングして得られ、各医療画像サンプルには画像に含まれる病変タイプが注釈される画像入力モジュールと、前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出するための第１特徴マップ抽出モジュールと、前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出するための重み値抽出モジュールと、予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出するための融合特徴マップ計算モジュールと、前記ターゲット医療画像のサイズになるまで前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成するためのクラス活性化マップ生成モジュールと、前記予め設定された各病変タイプに対応するクラス活性化マップで最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立するための接続領域決定モジュールであって、前記最大接続領域とは前記クラス活性化マップで画素値が所定の画素閾値を超えるドットが入る接続領域である接続領域決定モジュールと、前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加するためのマーキングフレーム追加モジュールとを含む。
【０００８】
コンピュータデバイスであって、メモリと、プロセッサと、前記メモリに記憶されており且つ前記プロセッサ上で動作可能なコンピュータ可読コマンドとを含み、前記プロセッサが前記コンピュータ可読コマンドを実行する時には、前記医療画像に対する病変の検出及び位置決め方法のステップを実行する。
【０００９】
コンピュータ可読コマンドが記憶されている１つ以上の可読記憶媒体であって、前記コンピュータ可読記憶媒体には、前記１つ以上のプロセッサが前記医療画像に対する病変の検出及び位置決め方法のステップを実行するためのコンピュータ可読コマンドが記憶されている。
【００１０】
次の図面及び説明で本願の１つ以上の実施例が詳細に記載される。本願の他の特徴及び利点は明細書、図面、特許請求の範囲の記載から明らかになる。
【図面の簡単な説明】
【００１１】
次に、本願の実施例に係る技術的解決手段が一層明瞭になるよう、本願の実施例の説明に使用する図面を簡単に紹介する。言うまでもないが、次に言及される図面は本願のいくつかの実施例が対象になり、当業者であれば、新規性のある作業をしなくても、これらの図面から他の図面を得ることができる。
【図１】本願の一実施例に係る医療画像に対する病変の検出及び位置決め方法の適用シーンの模式図である。
【図２】本願の一実施例に係る医療画像に対する病変の検出及び位置決め方法のフローチャートである。
【図３】本願の一実施例に係る医療画像に対する病変の検出及び位置決め方法の適用シーンにおいてディープラーニングモデルをトレーニングするフローチャートである。
【図４】本願の一実施例に係るディープラーニングモデルのネットワーク構造の模式図である。
【図５】本願の一実施例に係る医療画像に対する病変の検出及び位置決め方法のステップ１０７の適用シーンにおけるフローチャートである。
【図６】本願の一実施例に係る医療画像に対する病変の検出及び位置決め方法で適用シーンにおいて陽性／陰性病変を区分するフローチャートである。
【図７】本願の一実施例に係る医療画像に対する病変の検出及び位置決め方法で適用シーンにおいて予め設定された信頼度閾値を測定するフローチャートである。
【図８】本願の一実施例に係る医療画像に対する病変の検出及び位置決め装置の適用シーンにおける構造模式図である。
【図９】本願の一実施例に係る医療画像に対する病変の検出及び位置決め装置の別の適用シーンにおける構造模式図である。
【図１０】本願の一実施例に係る接続領域決定モジュールの構造模式図である。
【図１１】本願の一実施例に係るコンピュータデバイスの模式図である。
【発明を実施するための形態】
【００１２】
次に、本願の実施例の図面を参照して、本願の実施例に係る技術的解決手段を明瞭かつ完全に説明する。言うまでもないが、説明される実施例は本願の全ての実施例ではなく、その一部に過ぎない。当業者が本願の実施例を踏まえて、新規性のある作業をせず他の実施例を得た場合、そのいずれも本願の保護範囲に含まれる。
【００１３】
本願に係る医療画像に対する病変の検出及び位置決め方法は、図１の適用シーンに適用される。ここで、クライアントはネットワークによってサーバーと通信する。ここで、当該クライアントは様々なパソコン、ノートパソコン、スマートフォン、タブレットパソコン、ポータブルウェアラブルデバイスを含むが、これに限定されない。サーバーは単独のサーバー又は複数のサーバーからなるサーバークラスターとして実装することができる。
【００１４】
一実施例では、図２に示すとおり、医療画像に対する病変の検出及び位置決め方法を提供し、当該方法が図１のサーバーに適用されるのを例に説明する。次のステップ１０１〜ステップ１０８を含む。
１０１で、被検出病変のターゲット医療画像を取得する。
本実施例では、サーバーはまず被検出病変のターゲット医療画像を取得してもよく、当該ターゲット医療画像は具体的にはＯＣＴ（Ｏｐｔｉｃａｌ  Ｃｏｈｅｒｅｎｃｅ  ｔｏｍｏｇｒａｐｈｙ）画像、ＣＴ（Ｃｏｍｐｕｔｅｒｉｚｅｄ  ｔｏｍｏｇｒａｐｈｙ）画像等であってもよい。
【００１５】
なお、ターゲット医療画像は後に使用するディープラーニングモデルのトレーニングに用いる医療画像サンプルと画像タイプが同じでなければならず、又は次のステップ１０２ではトレーニングサンプルが当該ターゲット医療画像と画像タイプが同じであるディープラーニングモデルを用いて認識する。
【００１６】
１０２で、前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得、前記ターゲットシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは前記予め設定された各病変タイプのそれぞれに対応する医療画像サンプルで予めトレーニングして得られ、各医療画像サンプルには画像に含まれる病変タイプが注釈される。
当該ターゲット医療画像を取得した後、サーバーは前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得てもよい。当該ターゲットシーケンスで各要素は確定した位置によって予め設定された各病変タイプに対応し、例えば、４つの予め設定された病変タイプがあり、それぞれが「色素上皮剥離」、「網膜内滲出液」、「ドルーゼン」、「黄斑上膜」であると仮定し、当該ターゲットシーケンスが「０．８、０．３、０．２、０．１」であると仮定すると、「色素上皮剥離」陽性の確率は０．８であり、「網膜内滲出液」陽性の確率は０．３であり、「ドルーゼン」陽性の確率は０．２であり、「黄斑上膜」陽性の確率は０．１である。
【００１７】
なお、当該ターゲットシーケンスが、前記第１信頼度、及び第１信頼度と予め設定された病変タイプとの関係を説明するための中間的な概念である。本実施例のディープラーニングモデルでは、出力するのは病変タイプに対応する確率であり、後のステップで融合特徴マップから変換されたクラス活性化マップに対して、当該クラス活性化マップから決定した最大接続領域が検出対象病変の位置であり、即ち本実施例で位置決めすべき箇所であることが確保される。
【００１８】
次に、理解を促すために、当該ディープラーニングモデルを予めトレーニングするプロセスを詳細に説明する。さらに、図３に示すとおり、前記ディープラーニングモデルは次のステップによって予めトレーニングして得られる。
２０１で、トレーニングに使用する各医療画像サンプルを取得する。
２０２で、各医療画像サンプルに対して、前記予め設定された各病変タイプのそれぞれに対応するマーキング値を注釈して、前記各医療画像サンプルに対応するマーキングシーケンスを得、マーキングシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応するマーキング値であり、前記各医療画像サンプルでは、予め設定された病変タイプが陽性であれば、対応するマーキング値は１であり、予め設定された病変タイプが陰性であれば、対応するマーキング値は０である。
２０３で、注釈後の各医療画像サンプルに対して、前記各医療画像サンプルをディープラーニングモデルに入力して反復トレーニング行って、前記ディープラーニングモデルが出力した、前記各医療画像サンプルに対応するサンプルシーケンスを得、前記サンプルシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第２信頼度であり、第２信頼度は前記各医療画像サンプルが対応する予め設定された病変タイプに属する確率を表す。
２０４で、予め設定された損失関数の計算結果に対して、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さいまで、前記ディープラーニングモデルのモデルパラメータを調整し、前記損失関数は前記各医療画像サンプルに対応するサンプルシーケンスとマーキングシーケンスとの間の誤差を計算するためのものである。
２０５で、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さくなると、前記ディープラーニングモデルはトレーニング済みとする。
【００１９】
ステップ２０１では、トレーニング前に、サーバーはまずトレーニングに使用する各医療画像サンプルを取得し、これらの医療画像サンプルは予め収集されてもよく、ただし、これらの医療画像サンプルの画像タイプは前記ターゲット医療画像と一致する必要があり、例えば、当該ターゲット医療画像がＯＣＴ画像であれば、医療画像サンプルはＯＣＴ画像でなければならない。
【００２０】
ステップ２０２では、本実施例で、予め各医療画像サンプルにマーキングシーケンスを付加し、当該マーキングシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応するマーキング値であり、ここで、予め設定された病変タイプが陽性であれば、対応するマーキング値は１であり、予め設定された病変タイプが陰性であれば、対応するマーキング値は０である。例えば、ある医療画像サンプルでは、医療従事者が当該医療画像サンプルを確認したところ、「網膜内滲出液」という病変があると仮定し、４つの予め設定された病変タイプがあり、「色素上皮剥離」、「網膜内滲出液」、「ドルーゼン」、「黄斑上膜」であると仮定すれば、当該医療画像サンプルのマーキングシーケンスは「０１００」と表示することができる。
【００２１】
以上から分かるように、マーキングシーケンスで要素は確定した位置によって予め設定された病変タイプに対応し、要素の値は０又は１であり、０は予め設定された病変タイプが陰性であること、１は予め設定された病変タイプが陽性であることを示す。
【００２２】
ステップ２０３では、図４が参照されるとおり、前記ディープラーニングモデルは予め設定された第１数量のＤｅｎｓｅ  Ｂｌｏｃｋ（デンスブロック）及び全結合層をこの順に含み、ここで、任意の隣接する２つのＤｅｎｓｅ  Ｂｌｏｃｋ（デンスブロック）の間に畳み込み層及びプーリング層が設けられ、最後のＤｅｎｓｅ  Ｂｌｏｃｋ（デンスブロック）と前記全結合層との間に畳み込み層及びグローバル平均プーリング層が設けられ、前記全結合層は予め設定された第２数量のネットワークユニットを含み、前記予め設定された第２数量は前記予め設定された各病変タイプのタイプ数量に等しい。なお、図４に示すディープラーニングモデルでは４つのＤｅｎｓｅ  Ｂｌｏｃｋ（デンスブロック）が設けられ、実際に使用する時は、Ｄｅｎｓｅ  Ｂｌｏｃｋ（デンスブロック）の数量はニーズに応じて増加又は減少してもよい。
【００２３】
前記ディープラーニングモデルのネットワーク構造に基づくと、ステップ２０３は具体的に次のとおりであってもよい。各医療画像サンプルをディープラーニングモデルに入力する前に、まず当該医療画像サンプルにベクトル化処理、そして畳み込み・次元削減を行い、次元削減後のベクトルを１番目のＤｅｎｓｅ  Ｂｌｏｃｋ（デンスブロック）に入力し、１番目のＤｅｎｓｅ  Ｂｌｏｃｋ（デンスブロック）が入力されたベクトルに対して、複数層が密に接続された非線形変換処理を行い、処理結果に畳み込み及びプーリングを行い、次に２番目のＤｅｎｓｅ  Ｂｌｏｃｋ（デンスブロック）に入力して処理を行い、同様に、２番目のＤｅｎｓｅ  Ｂｌｏｃｋ（デンスブロック）の処理結果に畳み込み及びプーリングを行った後、３番目のＤｅｎｓｅ  Ｂｌｏｃｋ（デンスブロック）に入力して処理を行う。このようにして、最終のＤｅｎｓｅ  Ｂｌｏｃｋ（デンスブロック）（図４では４番目のＤｅｎｓｅ  Ｂｌｏｃｋ（デンスブロック））が処理した後、処理結果に畳み込み及びグローバル平均プーリングを行い、ベクトルを得てそれを全結合層に入力して分類及び認識を行って、当該全結合層の各ネットワークユニットの出力値を得、これが各第２信頼度であり、当該サンプルシーケンス中の各要素でもあり、これらの要素が当該サンプルシーケンスを構成する。
【００２４】
ディープラーニングモデル中の各Ｄｅｎｓｅ  Ｂｌｏｃｋ（デンスブロック）に対して、ベクトルがＤｅｎｓｅ  Ｂｌｏｃｋ（デンスブロック）に入力された後、Ｄｅｎｓｅ  Ｂｌｏｃｋ（デンスブロック）には多重に密に接続された処理層を含み、各処理層は非線形変換関数Ｈｌ（・）で表示することができ、ｌ番目の処理層の出力はｘｌであるとすると、ｘｌ＝Ｈｌ（［ｘ０，ｘ１，…，ｘ（ｌ−１）］）であり、ここで、［ｘ０，ｘ１，…，ｘ（ｌ−１）］は０番目、…、ｌ−１番目の処理層の出力を表す。理解されたように、本実施例で非線形変換Ｈｌ（・）は具体的にはＢａｔｃｈ  Ｎｏｒｍａｌｉｚａｔｉｏｎ（ＢＮ）、ＲｅＬＵ、Ｃｏｎｖｏｌｕｔｉｏｎ（Ｃｏｎｖ）の３種の連続操作型の複合関数であってもよい。
【００２５】
前記全結合層において、全結合層の各ネットワークユニットが信頼度ａを出力し、式で表示するとａ＝δ（ｗｘ＋ｂ）であり、ここで、ｘは前記全結合層の入力であり、ｗは当該ネットワークユニットの重み、ｂはバイアスであり、δは具体的にはｓｉｇｍｏｉｄ関数δ（ｘ）＝１／（１＋ｅ−ｘ）である。
【００２６】
なお、前記ステップ２０３では、当該ディープラーニングモデルをトレーニングする時には、全ての医療画像サンプルをそれぞれディープラーニングモデルに繰り返し入力してトレーニングを行い、即ち反復トレーニングを行う必要があり、反復プロセスでディープラーニングモデルのモデルパラメータ調整を完了する。なお、ディープラーニングモデルの反復トレーニングプロセスがステップ２０４と組み合わせて行われ、反復トレーニングが完了するたびに、ステップ２０４を実行して損失関数の計算結果が収束したかどうかを判定し、このようにして当該ディープラーニングモデルはトレーニングを完了したかどうかを知る。
【００２７】
ステップ２０４では、上記の内容から分かるように、サーバーはディープラーニングモデルの反復トレーニングプロセスで、予め設定された損失関数の計算結果に対して、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さいまで、前記ディープラーニングモデルのモデルパラメータを調整する。ここで、当該損失関数は具体的にはバイナリクロスエントロピー損失関数であってもよい。ここで、前記予め設定された収束閾値は使用状況に応じて設定してもよく、例えば、０．００５に設定する。一般には、損失関数の計算結果が充分に小さいように、当該予め設定された収束閾値は十分に小さくすべきであり、このようにしてモデルの出力値とマーキング値との差が許容可能な範囲にある。
【００２８】
モデルパラメータを調整した後、Ａｄａｍ最適化を利用してモデルのトレーニングプロセスを最適化してもよく、ここで、トレーニングの学習率はｌｒ＝０．０００１に設定してもよい。Ａｄａｍ最適化により、今回の反復トレーニングの損失関数の計算結果に基づいて当該ディープラーニングモデルのモデルパラメータを自動的に調整し、モデルパラメータを調整した後、次の反復トレーニングプロセスに移行し損失関数の結果を計算して、次のモデルパラメータ調整を行い、このようにして反復トレーニング及びモデルパラメータ調整を繰り返すことで、最終的に損失関数の計算結果が収束し且つ予め設定された収束閾値より小さくなり、この時に、当該ディープラーニングモデルはトレーニング済みとしてもよい。
【００２９】
また、選択可能で、トレーニングプロセスでは、反復トレーニングでより良い効果を得るように、医療画像サンプルの入力順番をランダムにシャッフルしてもよい。
【００３０】
以上から分かるように、ステップ２０５では、前記損失関数の計算結果が収束した後、サーバーは、前記ディープラーニングモデルはトレーニング済みとしてもよい。
【００３１】
１０３で、前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出する。
図４から分かるように、当該ディープラーニングモデルで最後の畳み込み層がベクトル特徴マップ出力し、サーバーはそこから当該ベクトル特徴マップを前記第１特徴マップとして抽出してもよい。
【００３２】
１０４で、前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出する。
当該ディープラーニングモデルの全結合層には複数のネットワークユニットが含まれ、これらのネットワークユニットの数量は前記予め設定された各病変タイプの数量に等しく、全結合層に入力されたベクトル特徴マップに分類・認識を行うために用いられる。したがって、理解されたように、各ネットワークユニットでトレーニング時に予め調整された重み値は対応する予め設定された病変タイプのベクトル特徴マップにおける重要度を量化したものと見なされてもよく、したがって、サーバーは前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出してもよい。
【００３３】
１０５で、予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出する。
第１特徴マップ及び前記各ネットワークユニットの重み値を取得した後、サーバーは予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出してもよい。
【００３４】
さらに、ステップ１０５は、具体的に次のとおりであってもよい。予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値を予め設定された加重和計算式に代入し、前記予め設定された各病変タイプに対応する融合特徴マップを算出する。
前記加重和計算式は次のとおりである。
2021536057.tif 000003
式中、Ｆｃは融合特徴マップのベクトル値であり、Ｋは抽出された第１特徴マップの数量であり、ｃは予め設定された病変タイプの番号であり、ｆｋは抽出されたｋ番目の第１特徴マップであり、Ｗｃｋは全結合層でｋ番目の入力ユニットに対応するｃ番目の予め設定された病変タイプの重みである。
【００３５】
以上から分かるように、計算結果として得られた当該融合特徴マップでは、各ドットの画素値は当該ドットが当該予め設定された病変タイプに属する可能性を反映し、画素値が大きいほど、可能性が大きい。
【００３６】
１０６で、前記ターゲット医療画像のサイズになるまで前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成する。
当該融合特徴マップとターゲット医療画像のサイズが一致するように、サーバーは前記ターゲット医療画像のサイズになるまで前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成してもよく、このようにして、後に当該クラス活性化マップから決定されたフレームはターゲット医療画像に適用される。
【００３７】
１０７で、前記予め設定された各病変タイプに対応するクラス活性化マップで最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立し、前記最大接続領域とは前記クラス活性化マップで画素値が所定の画素閾値を超えるドットが入る接続領域である。
本実施例では、所定の画素閾値を予め設定してもよく、当該所定の画素閾値は当該クラス活性化マップで病変領域に属するドットを判定するための限界値とされる。したがって、サーバーは前記予め設定された各病変タイプに対応するクラス活性化マップで最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立してもよく、ここで、前記最大接続領域とは前記クラス活性化マップで画素値が所定の画素閾値を超えるドットが入る接続領域である。理解されたように、当該マーキングフレームには当該最大接続領域が含まれ、当該最大接続領域が条件を満たす（即ち、画素値が所定の画素閾値を超える）ドットからなり、したがって、当該最大接続領域を当該予め設定された病変タイプの病変領域と見なしてもよく、当該マーキングフレームによって当該クラス活性化マップから病変領域がマーキングされている。
【００３８】
なお、当該所定の画素閾値は任意に設定してもよいし、当該クラス活性化マップ上の最大画素値に基づいて設定してもよく、例えば、最大画素値の２０％に設定する。
【００３９】
次に、理解を促すために、どのようにしてクラス活性化マップから最大接続領域を決定し、マーキングフレームを確立するかについて詳細に説明する。さらに、図５に示すとおり、ステップ１０７はステップ３０１〜ステップ３０５を含んでもよい。
３０１で、予め設定された各病変タイプに対応するクラス活性化マップに対して、前記クラス活性化マップ上のドットの最大画素値を取得する。
３０２で、前記最大画素値と予め設定された比率値との積を計算して、限界画素閾値を得、前記予め設定された比率値は０より大きく且つ１未満である。
３０３で、初期フレームを確立し、且つ前記初期フレームが囲む面積が最小になるように、前記初期フレームを調整し、前記初期フレームは前記クラス活性化マップ上の画素値が前記限界画素閾値より大きい全てのドットを囲む。
３０４で、前記初期フレームに囲まれた面積から最大接続領域を検出する。
３０５で、マーキングフレームを確立し、且つ前記マーキングフレームが囲む面積が最小になるように、前記マーキングフレームを調整し、前記マーキングフレームは前記最大接続領域を囲む。
【００４０】
なお、後のステップはいずれも予め設定された各病変タイプに対応するクラス活性化マップに対して単独の処理として行われ、具体的には、サーバーはマルチスレッド方式で複数のクラス活性化マップを同時に処理し、１つのスレッドで１つのクラス活性化マップに対して計算及び処理を行ってもよいし、シングルスレッド方式で各クラス活性化マップに対して前記ステップ３０１〜３０５を順に実行してもよく、本実施例ではこれについて限定しない。
【００４１】
ステップ３０１では、サーバーは、予め設定された各病変タイプに対応するクラス活性化マップに対して、前記クラス活性化マップ上のドットの最大画素値を取得し、即ち全てのドットの画素値のうちの最大値を取得してもよい。
【００４２】
ステップ３０２では、予め比率値を設定してもよく、最大画素値を取得した後、サーバーは前記最大画素値と予め設定された比率値との積を計算して、限界画素閾値を得てもよい。ここで、当該予め設定された比率値は０より大きく且つ１未満であり、例えば、０．２又は２０％に設定してもよい。
【００４３】
ステップ３０３では、限界画素閾値を算出した後、サーバーは初期フレームを確立してもよく、当該初期フレームは前記クラス活性化マップ上の画素値が前記限界画素閾値より大きい全てのドットを囲む。次に、当該初期フレームが囲む面積が最小になるよう当該初期フレームを調整し、これによりフレームは前記全てのドットを囲む最小のフレームである。
【００４４】
ステップ３０４では、当該最小の初期フレームを決定した後、サーバーは前記初期フレームに囲まれた面積から最大接続領域を検出してもよい。理解されたように、画像では病変がつながっている領域として表示され、初期フレームによって限定された面積では最大接続領域が病変領域になり、したがって、最大接続領域を検出できれば、病変領域が特定される。
【００４５】
なお、最大接続領域の検出方法は様々なであり、例えば、ｍａｔｌａｂの画像から接続領域を求める関数ｂｗｌａｂｅｌを利用してもよいし、ＯｐｅｎＣＶのｆｉｎｄＣｏｕｔｏｕｒｓ関数を検出してもよい。これに関して、本実施例では具体的に限定されない。
【００４６】
ステップ３０５では、最大接続領域を検出した後、サーバーはマーキングフレームを確立してもよく、当該マーキングフレームが前記最大接続領域を囲み、次に前記マーキングフレームが囲む面積が最小になるように、前記マーキングフレームを調整し、これにより最大接続領域を囲む最小のマーキングフレームを得、当該マーキングフレームによって病変領域がマーキングされる。
【００４７】
具体的には、本実施例で初期フレーム、マーキングフレームは矩形のフレームであってもよいし、他の多角形のフレームであってもよいし、不規則なフレームであってもよい。
【００４８】
１０８で、前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加する。
【００４９】
理解されたように、マーキングフレームを確立した後、当該クラス活性化マップがターゲット医療画像とサイズ及び形状が同じで、且つターゲット医療画像に由来するため、当該マーキングフレームによってクラス活性化マップからフレーム選択された領域は当該ターゲット医療画像で病変が位置する領域である。したがって、サーバーは前記ターゲット医療画像に当該予め設定された病変タイプに対応する前記マーキングフレームを追加すれば、当該予め設定された病変タイプのマーキングが完了する。同様に、サーバーは前記予め設定された各病変タイプのマーキングフレームを全て確立し同一のターゲット医療画像に追加すれば、当該ターゲット医療画像上の全ての病変領域はマーキングフレームによってフレーム選択され、病変領域の検出及び位置決めが実現される。
【００５０】
サーバーがステップ１０２を実行して各第１信頼度を得、これらの第１信頼度は前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表すだけで、ユーザーはこれらの第１信頼度から直接的に当該ターゲット医療画像に病変があるかどうか、どのような病変があるかを知ることが難しい。これらを考慮して、本実施例では予め信頼度閾値を設定し、各第１信頼度を得た後、ユーザーが分類結果を検索し取得しやすいように、予め設定された信頼度閾値によって当該ターゲット医療画像でどの病変が陽性であるか、どの病変が陰性であるかを判定してもよい。さらに、図６に示すとおり、ステップ１０２後に、本方法はステップ４０１〜ステップ４０３をさらに含む。
４０１で、前記予め設定された各病変タイプのそれぞれに対応する予め設定された信頼度閾値を取得する。
４０２で、前記ターゲットシーケンス中の各要素をそれぞれ対応する予め設定された信頼度閾値と比較して、前記ターゲットシーケンスから前記予め設定された信頼度閾値以上の要素を特定し、ターゲット要素と表示する。
４０３で、各ターゲット要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陽性に決定し、且つ他の要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陰性に決定し、前記他の要素とは前記ターゲットシーケンスでターゲット要素以外の要素である。
【００５１】
ステップ４０１では、本実施例で、サーバーには予め設定された各病変タイプのそれぞれに対応する信頼度閾値が予め設定されてもよく、必要ならば、サーバーはこれらの予め設定された信頼度閾値を取得してもよい。
【００５２】
理解されたように、これらの予め設定された信頼度閾値は経験値に基づいて任意に設定されてもよいし、サンプルによって予め測定されてもよい。次に、サンプルによって、予め設定された信頼度閾値を予め測定する方法を詳細に説明する。
【００５３】
さらに、図７に示すとおり、前記予め設定された各病変タイプのそれぞれに対応する予め設定された信頼度閾値は次のステップによって予め決定される。
５０１で、予め収集された検証用の各医療画像を取得し、各検証サンプルと表示する。
５０２で、各検証サンプルに対して、前記各検証サンプルを予めトレーニングされた前記ディープラーニングモデルに入力して、前記ディープラーニングモデルが出力した、前記各検証サンプルに対応する検証シーケンスを得、前記検証シーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第３信頼度であり、第３信頼度は前記各検証サンプルが対応する予め設定された病変タイプに属する確率を表す。
５０３で、予め設定された各病変タイプに対して、各検証サンプルに対応する検証シーケンスから、前記予め設定された各病変タイプに対応する第３信頼度を抽出して、各病変信頼度を得る。
５０４で、予め設定された各病変タイプに対して、前記各病変信頼度に基づいて、各病変信頼度を閾値とする時のヨーデンインデックスをそれぞれ計算して、前記各病変信頼度に対応するインデックス結果を得る。
５０５で、最大のインデックス結果に対応する病変信頼度を前記予め設定された各病変タイプに対応する予め設定された信頼度閾値として決定し、前記最大のインデックス結果とは各病変信頼度のそれぞれに対応するインデックス結果のうちの最大値である。
【００５４】
ステップ５０１では、前記ステップ２０１と同様に、検証用のサンプルとして予めいくつかの医療画像を収集して、各検証サンプルと表示してもよい。
【００５５】
ステップ５０２では、サーバーは各検証サンプルに対して、前記各検証サンプルを予めトレーニングされた前記ディープラーニングモデルに入力して、前記ディープラーニングモデルが出力した、前記各検証サンプルに対応する検証シーケンスを得てもよく、ここで、前記検証シーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第３信頼度であり、第３信頼度は前記各検証サンプルが対応する予め設定された病変タイプに属する確率を表す。ディープラーニングモデルにおける各検証サンプルの処理プロセスは前記内容と同じであるため、ここでその説明は省略される。
【００５６】
ステップ５０３では、理解されたように、Ｎ個の検証サンプルがディープラーニングモデルに入力されたと仮定し、ステップ５０２ではＮ個の検証シーケンスを得る。したがって、サーバーは予め設定された各病変タイプに対して、前記Ｎ個の検証シーケンスから当該予め設定された病変タイプに対応する第３信頼度を抽出してもよく、合計でＮ個の第３信頼度、即ちＮ個の病変信頼度を抽出する。
【００５７】
ステップ５０４では、サーバーは予め設定された各病変タイプに対して、当該予め設定された病変タイプに対応するＮ個の病変信頼度を得た後、前記各病変信頼度をそれぞれ各閾値に決定し、各閾値に対して、前記各病変信頼度のヨーデンインデックスを計算して、当該閾値に対応するインデックス結果を得てもよい。以上から分かるように、合計でＮ個の病変信頼度があると仮定し、合計でＮ個の閾値があり、各閾値に対して１つのインデックス結果を算出し、Ｎ個の閾値に対してそれぞれ計算するとＮ個のインデックス結果を得る。
【００５８】
例えば、サーバーは予め設定された病変タイプに対して、Ｎ個の病変信頼度を得たと仮定し、ｌ＝｛ｌ１，ｌ２，ｌ３，……｝と表示し、ｌ１、ｌ２、ｌ３、……を閾値として予測する時のヨーデンインデックスをそれぞれ算出する。詳細なステップは次のとおりである。
ｌ１を閾値として、各検証サンプルに対して予測して、各検証サンプルの予測結果を得る（信頼度がｌ１以上であれば陽性であり、ｌ１未満であれば陰性である）。予測結果を当該検証サンプルの注釈結果と比較し、真陽性（Ｔｒｕｅ  Ｐｏｓｉｔｉｖｅ）、偽陽性（Ｆａｌｓｅ  Ｐｏｓｉｔｉｖｅ）、真陰性（Ｔｒｕｅ  Ｎｅｇａｔｉｖｅ）、偽陰性（Ｆａｌｓｅ  Ｎｅｇａｔｉｖｅ）のサンプルの数量を集計して、ＴＰＲ（Ｔｒｕｅ  Ｐｏｓｉｔｉｖｅ  Ｒａｔｅ）値及びＴＮＲ（Ｆａｌｓｅ  Ｐｏｓｉｔｉｖｅ  Ｒａｔｅ）値を算出し、式ＴＰＲ＋ＴＮＲ−１でｌ１を閾値とする時のヨーデンインデックスを算出し、これをｙ１と表示する。同様にｌ２、ｌ３、……を閾値として予測する時のヨーデンインデックスをそれぞれ算出し、ｙ２、ｙ３、……ｙｎと表示する。
【００５９】
ステップ５０５では、前記Ｎ個のインデックス結果を比較し、インデックス結果で最大の値に対応する病変信頼度を当該予め設定された病変タイプに対応する予め設定された信頼度閾値とする。理解されたように、ヨーデンインデックスはスクリーニング試験の信頼性を評価する指標であり、インデックスが大きいほどスクリーニング試験が効果的で、対応する信頼度が高く、信頼性が高いことを示す。したがって、ヨーデンインデックスの最大値に対応する病変信頼度を信頼性の高い信頼度限界値と見なしてもよい。
【００６０】
上記の内容から分かるように、予め設定された各病変タイプのそれぞれに対して前記ステップを実行すると、予め設定された各病変タイプのそれぞれに対応する予め設定された信頼度閾値を得ることができる。
【００６１】
ステップ４０２では、本実施例で信頼度は医療画像が対応する予め設定された病変タイプに属する確率を表し、即ち当該予め設定された病変タイプが医療画像で陽性である確率を表す。したがって、サーバーは当該ターゲットシーケンスの各要素のそれぞれを対応する予め設定された信頼度閾値と比較し、要素がそれに対応する予め設定された信頼度閾値より大きい場合に、当該要素に対応する予め設定された病変タイプが陽性であることを示し、逆の場合に、当該要素に対応する予め設定された病変タイプが陰性であることを示す。本実施例では、まずは前記ターゲットシーケンスで前記予め設定された信頼度閾値以上の要素をターゲット要素として決定してもよい。
【００６２】
ステップ４０３では、上記の内容から分かるように、サーバーは各ターゲット要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陽性に決定し、且つ他の要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陰性に決定してもよく、ここで、前記他の要素とは前記ターゲットシーケンスでターゲット要素以外の要素である。
【００６３】
本実施例では、まず、被検出病変のターゲット医療画像を取得する。次に、前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得、前記ターゲットシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは前記予め設定された各病変タイプのそれぞれに対応する医療画像サンプルで予めトレーニングして得られ、各医療画像サンプルには画像に含まれる病変タイプが注釈され、前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出し、且つ、前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出する。次に、予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出する。さらに、前記ターゲット医療画像のサイズになるまで前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成する。次に、前記予め設定された各病変タイプに対応するクラス活性化マップで最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立し、前記最大接続領域とは前記クラス活性化マップで画素値が所定の画素閾値を超えるドットが入る接続領域である。最後に、前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加する。以上から分かるように、本願では、トレーニングされたディープラーニングモデルに正確な病変位置決め情報を注釈する必要がなく、各サンプルに含まれた病変タイプを注釈して済むため、注釈作業量が大幅に低減され、当該ディープラーニングモデルの迅速更新及び学習性能が高められる。また、本願では、ディープラーニングモデルによってターゲット医療画像に対して病変タイプの分類及び認識を行うこともできれば、ディープラーニングモデルが認識するプロセスで生成した第１特徴マップによってターゲット医療画像中の病変の検出及び位置決めを行って、フレームでマーキングすることで、医療画像に対する病変の検出及び位置決めも実現できる。
【００６４】
なお、前記実施例で各ステップの番号の大きさによって実行上の前後順番が決まるわけではなく、各プロセスの実行の順番は関連機能及び内部の論理で決定され、これは本願の実施例の実施に何らかの限定を構成するものではない。
【００６５】
一実施例では、医療画像に対する病変の検出及び位置決め装置を提供し、当該医療画像に対する病変の検出及び位置決め装置は前記実施例の医療画像に対する病変の検出及び位置決め方法に対応している。図８に示すとおり、当該医療画像に対する病変の検出及び位置決め装置は医療画像取得モジュール６０１と、画像入力モジュール６０２と、第１特徴マップ抽出モジュール６０３と、重み値抽出モジュール６０４と、融合特徴マップ計算モジュール６０５と、クラス活性化マップ生成モジュール６０６と、接続領域決定モジュール６０７と、マーキングフレーム追加モジュール６０８とを含む。次に、各機能モジュールを詳細に説明する。
医療画像取得モジュール６０１は、被検出病変のターゲット医療画像を取得するために用いられる。
画像入力モジュール６０２は、前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得るために用いられ、前記ターゲットシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは前記予め設定された各病変タイプのそれぞれに対応する医療画像サンプルで予めトレーニングして得られ、各医療画像サンプルには画像に含まれる病変タイプが注釈される。
第１特徴マップ抽出モジュール６０３は、前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出するために用いられる。
重み値抽出モジュール６０４は、前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出するために用いられる。
融合特徴マップ計算モジュール６０５は、予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出するために用いられる。
クラス活性化マップ生成モジュール６０６は、前記ターゲット医療画像のサイズになるまで前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成するために用いられる。
接続領域決定モジュール６０７は、前記予め設定された各病変タイプに対応するクラス活性化マップで最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立するために用いられ、前記最大接続領域とは前記クラス活性化マップで画素値が所定の画素閾値を超えるドットが入る接続領域である。
マーキングフレーム追加モジュール６０８は、前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加するために用いられる。
【００６６】
さらに、図９に示すとおり、前記ディープラーニングモデルは次のモジュールで予めトレーニングして得てもよい。
画像サンプル取得モジュール６０９は、トレーニングに使用する各医療画像サンプルを取得するために用いられる。
注釈モジュール６１０は、各医療画像サンプルに対して、前記予め設定された各病変タイプのそれぞれに対応するマーキング値を注釈して、前記各医療画像サンプルに対応するマーキングシーケンスを得るために用いられ、マーキングシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応するマーキング値であり、前記各医療画像サンプルでは、予め設定された病変タイプが陽性であれば、対応するマーキング値は１であり、予め設定された病変タイプが陰性であれば、対応するマーキング値は０である。
反復トレーニングモジュール６１１は、注釈後の各医療画像サンプルに対して、前記各医療画像サンプルをディープラーニングモデルに入力して反復トレーニング行って、前記ディープラーニングモデルが出力した、前記各医療画像サンプルに対応するサンプルシーケンスを得るために用いられ、前記サンプルシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第２信頼度であり、第２信頼度は前記各医療画像サンプルが対応する予め設定された病変タイプに属する確率を表す。
パラメータ調整モジュール６１２は、予め設定された損失関数の計算結果に対して、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さいまで、前記ディープラーニングモデルのモデルパラメータを調整するために用いられ、前記損失関数は前記各医療画像サンプルに対応するサンプルシーケンスとマーキングシーケンスとの間の誤差を計算するためのものである。
モデル決定モジュール６１３は、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さくなると、前記ディープラーニングモデルはトレーニング済みとするために用いられる。
【００６７】
さらに、図１０に示すとおり、前記接続領域決定モジュール６０７は、画素値取得ユニット６０７１〜包囲面積最小化ユニット６０７５を含んでもよい。
画素値取得ユニット６０７１は、予め設定された各病変タイプに対応するクラス活性化マップに対して、前記クラス活性化マップ上のドットの最大画素値を取得するために用いられる。
画素閾値計算ユニット６０７２は、前記最大画素値と予め設定された比率値との積を計算して、限界画素閾値を得るために用いられ、前記予め設定された比率値は０より大きく且つ１未満である。
フレーム確立調整ユニット６０７３は、初期フレームを確立し、且つ前記初期フレームが囲む面積が最小になるように、前記初期フレームを調整するために用いられ、前記初期フレームは前記クラス活性化マップ上の画素値が前記限界画素閾値より大きい全てのドットを囲む。
接続領域検出ユニット６０７４は、前記初期フレームに囲まれた面積から最大接続領域を検出するために用いられる。
包囲面積最小化ユニット６０７５は、マーキングフレームを確立し、且つ前記マーキングフレームが囲む面積が最小になるように、前記マーキングフレームを調整するために用いられ、前記マーキングフレームは前記最大接続領域を囲む。
【００６８】
さらに、前記医療画像に対する病変の検出及び位置決め装置は、信頼度閾値取得モジュールと、比較モジュールと、予測結果決定モジュールとを含んでもよい。
信頼度閾値取得モジュールは、前記予め設定された各病変タイプのそれぞれに対応する予め設定された信頼度閾値を取得するために用いられる。
比較モジュールは、前記ターゲットシーケンス中の各要素をそれぞれ対応する予め設定された信頼度閾値と比較して、前記ターゲットシーケンスから前記予め設定された信頼度閾値以上の要素を特定し、ターゲット要素と表示するために用いられる。
予測結果決定モジュールは、各ターゲット要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陽性に決定し、且つ他の要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陰性に決定するために用いられ、前記他の要素とは前記ターゲットシーケンスでターゲット要素以外の要素である。
【００６９】
さらに、前記予め設定された各病変タイプのそれぞれに対応する予め設定された信頼度閾値は次に示す検証サンプル取得モジュール、サンプル入力モジュール、病変信頼度抽出モジュール、インデックス結果計算モジュール、閾値決定モジュールによって予め決定されてもよい。
検証サンプル取得モジュールは、予め収集された検証用の各医療画像を取得し、各検証サンプルと表示するために用いられる。
サンプル入力モジュールは、各検証サンプルに対して、前記各検証サンプルを予めトレーニングされた前記ディープラーニングモデルに入力して、前記ディープラーニングモデルが出力した、前記各検証サンプルに対応する検証シーケンスを得るために用いられ、前記検証シーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第３信頼度であり、第３信頼度は前記各検証サンプルが対応する予め設定された病変タイプに属する確率を表す。
病変信頼度抽出モジュールは、予め設定された各病変タイプに対して、各検証サンプルに対応する検証シーケンスから、前記予め設定された各病変タイプに対応する第３信頼度を抽出して、各病変信頼度を得るために用いられる。
インデックス結果計算モジュールは、予め設定された各病変タイプに対して、前記各病変信頼度に基づいて、各病変信頼度を閾値とする時のヨーデンインデックスをそれぞれ計算して、前記各病変信頼度に対応するインデックス結果を得るために用いられる。
閾値決定モジュールは、最大のインデックス結果に対応する病変信頼度を前記予め設定された各病変タイプに対応する予め設定された信頼度閾値として決定するために用いられ、前記最大のインデックス結果とは各病変信頼度のそれぞれに対応するインデックス結果のうちの最大値である。
【００７０】
医療画像に対する病変の検出及び位置決め装置の具体的な説明は医療画像に対する病変の検出及び位置決め方法に関する上記の具体的な説明を参照することができ、ここでその説明は省略する。医療画像に対する病変の検出及び位置決め装置の前記各モジュールは全て又は一部がソフトウェア、ハードウェア又は両者の組み合わせとして実装することができる。前記各モジュールはハードウェアとしてコンピュータデバイスのプロセッサに埋め込まれ又は独立して設けられてもよいし、プロセッサが前記各モジュールに対応する動作を呼び出して実行するようにソフトウェアとしてコンピュータデバイスのメモリに記憶されてもよい。
【００７１】
一実施例では、コンピュータデバイスを提供し、当該コンピュータデバイスはサーバーであってもよく、その内部構造は図１１に示すとおりであってもよい。当該コンピュータデバイスはシステムバスを介して接続されたプロセッサ、メモリ、ネットワークインタフェース及びデータベースを含む。ここで、当該コンピュータデバイスのプロセッサはコンピューティング機能及びコントロール機能を提供するために用いられる。当該コンピュータデバイスのメモリは可読記憶媒体、内部ストレージを含む。当該可読記憶媒体にはオペレーティングシステム、コンピュータ可読コマンド及びデータベースが記憶されている。当該内部ストレージは可読記憶媒体内のオペレーティングシステム及びコンピュータ可読コマンドの動作環境を提供する。当該コンピュータデバイスのデータベースは医療画像に対する病変の検出及び位置決め方法で言及されるデータを記憶するために用いられる。当該コンピュータデバイスのネットワークインタフェースはネットワークによって外部の端末と接続して通信するために用いられる。当該コンピュータ可読コマンドがプロセッサによって実行される時には、医療画像に対する病変の検出及び位置決め方法が実行される。本実施例に係る可読記憶媒体は不揮発性可読記憶媒体及び揮発性可読記憶媒体を含む。
【００７２】
一実施例では、コンピュータデバイスを提供し、メモリと、プロセッサと、メモリに記憶されており且つプロセッサ上で動作可能なコンピュータ可読コマンドとを含み、プロセッサがコンピュータ可読コマンドを実行する時には、前記実施例の医療画像に対する病変の検出及び位置決め方法のステップを実行し、例えば、図２に示すステップ１０１からステップ１０８である。又は、プロセッサがコンピュータ可読コマンドを実行する時には、前記実施例の医療画像に対する病変の検出及び位置決め装置の各モジュール／ユニットの機能を実装し、例えば、図８に示すモジュール６０１からモジュール６０８の機能である。説明の重複を避けるために、ここで詳細な説明は省略される。
【００７３】
一実施例では、コンピュータ可読記憶媒体を提供し、コンピュータ可読コマンドが記憶されている当該１つ以上の可読記憶媒体では、コンピュータ可読コマンドが１つ以上のプロセッサによって実行される時には、１つ以上のプロセッサがコンピュータ可読コマンドを実行すると前記方法実施例の医療画像に対する病変の検出及び位置決め方法のステップを実行し、又は、コンピュータ可読コマンドが記憶されている当該１つ以上の可読記憶媒体では、コンピュータ可読コマンドが１つ以上のプロセッサによって実行される時には、１つ以上のプロセッサがコンピュータ可読コマンドを実行すると前記装置実施例の医療画像に対する病変の検出及び位置決め装置の各モジュール／ユニットの機能を実装する。説明の重複を避けるために、ここで詳細な説明は省略される。本実施例に係る可読記憶媒体は不揮発性可読記憶媒体及び揮発性可読記憶媒体を含む。
【００７４】
前記実施例は本願の技術的解決手段の限定にならず、それを説明するものに過ぎない。前記実施例を踏まえて本願を詳細に説明しているが、当業者が理解したように、なおも前記各実施例に記載の技術的解決手段に変更を加え、又はその一部特徴を同等に置き換えることができる。このような変更や置き換えにより対象になる技術的解決手段が本願の各実施例の技術的解決手段の趣旨や範囲を超えないものであれば、いずれも本願の保護範囲に含まれる。
【図１】
2021536057.tif 000005
【図２】
2021536057.tif 000006
【図３】
2021536057.tif 000007
【図４】
2021536057.tif 000008
【図５】
2021536057.tif 000009
【図６】
2021536057.tif 000010
【図７】
2021536057.tif 000011
【図８】
2021536057.tif 000012
【図９】
2021536057.tif 000013
【図１０】
2021536057.tif 000014
【図１１】
2021536057.tif 000015
【国際調査報告】
2021536057.tif 000016
2021536057.tif 000017
2021536057.tif 000018
2021536057.tif 000019