(57)【要約】  本開示は病巣検出方法、装置、機器および記憶媒体を開示する。前記方法は、複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得することと、前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップであって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成することと、前記第一特徴マップに含まれる特徴の次元削減を行い、Ｘ軸次元およびＹ軸次元の二次元特徴を含む第二特徴マップを生成することと、前記第二特徴マップの特徴を検出し、前記第二特徴マップにおける各病巣の位置および前記位置に対応する信頼度を得ることと、を含む。本開示を採用すれば、患者体内の複数の部位の病巣状況を正確に検出し、患者全身にわたって癌を予備的に評価することができる。【選択図】図２
2021531565.tif 000002
【特許請求の範囲】
【請求項１】
複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得することと、
前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップであって、前記Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成することと、
前記第一特徴マップに含まれる特徴の次元削減を行い、前記Ｘ軸次元および前記Ｙ軸次元の二次元特徴を含む第二特徴マップを生成することと、
前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣の位置および前記位置に対応する信頼度を得ることと、を含む、
病巣検出方法。
【請求項２】
複数のサンプル切片を含む第一画像を取得することは、
取得された患者のＣＴ画像を第一サンプリング間隔で再サンプリングし、複数のサンプル切片を含む第一画像を生成することを含む、
請求項１に記載の方法。
【請求項３】
前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成することは、
第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、第三特徴マップを生成することと、
前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、第四特徴マップを生成することと、
前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、
前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第四特徴マップと同じ解像度の第四所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、
前記第三特徴マップと前記第三所定特徴マップとを融合して前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップとを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成することと、を含み、
前記第三所定特徴マップおよび前記第四所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる、
請求項１に記載の方法。
【請求項４】
前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成することは、
第二ニューラルネットワークの残差ブロックによって前記第一画像をダウンサンプリングし、第四特徴マップを生成することと、
前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、
前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第一画像と同じ解像度の前記第一所定特徴マップを生成することと、
前記第一画像と前記第一所定特徴マップとを融合して前記第一所定特徴マップと同じ解像度の第一特徴マップを生成することと、を含み、
前記第一所定特徴マップは病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる、
請求項１に記載の方法。
【請求項５】
前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成することは、
第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、第三特徴マップを生成することと、
前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、第四特徴マップを生成することと、
前記第二ニューラルネットワークの残差ブロックによって前記第四特徴マップをダウンサンプリングし、前記第四特徴マップよりも解像度が低い第五特徴マップを生成することと、
前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第五特徴マップにおける異なるスケールの病巣の特徴を抽出することと、
前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第五特徴マップと同じ解像度の第五所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第四特徴マップと同じ解像度の第四所定特徴マップを生成し、または、前記第二ニューラルネットワークの逆畳み込み層および残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、
前記第三特徴マップと前記第三所定特徴マップとを融合して前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップとを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第五特徴マップと前記第五所定特徴マップとを融合して前記第五所定特徴マップと同じ解像度の第一特徴マップを生成することと、を含み、
前記第三所定特徴マップ、前記第四所定特徴マップおよび前記第五所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる、
請求項１に記載の方法。
【請求項６】
前記第一ニューラルネットワークは、畳み込み層および前記畳み込み層にカスケード接続される残差ブロックを含み、
前記第二ニューラルネットワークは、畳み込み層、逆畳み込み層、残差ブロックおよび前記ＤｅｎｓｅＡＳＰＰモジュールを含む３Ｄ  Ｕ−Ｎｅｔネットワークを含む、
請求項３または５に記載の方法。
【請求項７】
前記第二ニューラルネットワークは積み上げられている複数の３Ｄ  Ｕ−Ｎｅｔネットワークである、
請求項５または６に記載の方法。
【請求項８】
前記残差ブロックは、畳み込み層、バッチ正規化層、ＲｅＬＵ活性化関数および最大プーリング層を含む、
請求項５または６に記載の方法。
【請求項９】
前記第一特徴マップに含まれる特徴の次元削減を行い、第二特徴マップを生成することは、
前記第一特徴マップの全ての特徴のそれぞれに対してチャネル次元とＺ軸次元とをマージして、前記第一特徴マップの全ての特徴のそれぞれの次元をＸ軸次元およびＹ軸次元からなるものにし、前記全ての特徴のそれぞれの次元がＸ軸次元およびＹ軸次元からなる第一特徴マップを前記第二特徴マップとすることを含む、
請求項１に記載の方法。
【請求項１０】
前記第二特徴マップを検出することは、
第一検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣の位置の座標を得ることと、
第二検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣に対応する信頼度を得ることと、を含む、
請求項１に記載の方法。
【請求項１１】
前記第一検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含み、
前記第二検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含む、
請求項１０に記載の方法。
【請求項１２】
前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、
予め保存された、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第一ニューラルネットワークに入力し、勾配降下法を使用して前記第一ニューラルネットワーク、前記第二ニューラルネットワーク、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練することを、さらに含み、
前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される、
請求項１、２、３、５、６、７、８、９、１０および１１のいずれか一項に記載の方法。
【請求項１３】
前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、
病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第二ニューラルネットワークに入力し、勾配降下法を使用して前記第二ニューラルネットワーク、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練することを、さらに含み、
前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される、
請求項１、２、４、７、９、１０および１１のいずれか一項に記載の方法。
【請求項１４】
複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得するための取得ユニットと、
前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップであって、前記Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成するための第一生成ユニットと、
前記第一特徴マップに含まれる特徴の次元削減を行い、Ｘ軸次元およびＹ軸次元の二次元特徴を含む第二特徴マップを生成するための第二生成ユニットと、
前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣の位置および前記位置に対応する信頼度を得るための検出ユニットと、を含む、
病巣検出装置。
【請求項１５】
前記取得ユニットは、具体的に、
取得された患者のＣＴ画像を第一サンプリング間隔で再サンプリングし、複数のサンプル切片を含む第一画像を生成するために用いられる、
請求項１４に記載の装置。
【請求項１６】
前記第一生成ユニットは、具体的に、
第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、第三特徴マップを生成することと、
前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、第四特徴マップを生成することと、
前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、
前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第四特徴マップと同じ解像度の第四所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、
前記第三特徴マップと前記第三所定特徴マップを融合して前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップとを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成することとに用いられ、
前記第三所定特徴マップおよび前記第四所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる、
請求項１４に記載の装置。
【請求項１７】
前記第一生成ユニットは、具体的に、
第二ニューラルネットワークの残差ブロックによって前記第一画像をダウンサンプリングし、第四特徴マップを生成することと、
前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、
前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第一画像と同じ解像度の前記第一所定特徴マップを生成することと、
前記第一画像と前記第一所定特徴マップを融合して前記第一所定特徴マップと同じ解像度の第一特徴マップを生成することとに用いられ、
前記第一所定特徴マップは病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる、
請求項１４に記載の装置。
【請求項１８】
前記第一生成ユニットは、具体的に、
第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、前記第一画像よりも解像度が低い第三特徴マップを生成することと、
前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、第四特徴マップを生成することと、
前記第二ニューラルネットワークの残差ブロックによって前記第四特徴マップをダウンサンプリングし、第五特徴マップを生成することと、
前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第五特徴マップにおける異なるスケールの病巣の特徴を抽出することと、
前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第五特徴マップと同じ解像度の第五所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第四特徴マップと同じ解像度の第四所定特徴マップを生成し、または、前記第二ニューラルネットワークの逆畳み込み層および残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、
前記第三特徴マップと前記第三所定特徴マップを融合して前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第五特徴マップと前記第五所定特徴マップとを融合して前記第五所定特徴マップと同じ解像度の第一特徴マップを生成することとに用いられ、
前記第三所定特徴マップ、前記第四所定特徴マップおよび前記第五所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる、
請求項１４に記載の装置。
【請求項１９】
前記第一ニューラルネットワークは、畳み込み層および前記畳み込み層にカスケード接続される残差ブロックを含み、
前記第二ニューラルネットワークは、畳み込み層、逆畳み込み層、残差ブロックおよび前記ＤｅｎｓｅＡＳＰＰモジュールを含む３Ｄ  Ｕ−Ｎｅｔネットワークを含む、
請求項１６または１８に記載の装置。
【請求項２０】
前記第二ニューラルネットワークは積み上げられている複数の３Ｄ  Ｕ−Ｎｅｔネットワークである、
請求項１８または１９に記載の装置。
【請求項２１】
前記残差ブロックは、畳み込み層、バッチ正規化層、ＲｅＬＵ活性化関数および最大プーリング層を含む、
請求項１８または１９に記載の装置。
【請求項２２】
前記第二生成ユニットは、具体的に、前記第一特徴マップの全ての特徴のそれぞれに対してチャネル次元とＺ軸次元とをマージして、前記第一特徴マップの全ての特徴のそれぞれの次元をＸ軸次元およびＹ軸次元からなるものにし、前記全ての特徴のそれぞれの次元がＸ軸次元およびＹ軸次元からなる第一特徴マップを前記第二特徴マップとするために用いられる、
請求項１４に記載の装置。
【請求項２３】
前記検出ユニットは、具体的に、
第一検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣の位置の座標を得ることと、
第二検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣に対応する信頼度を得ることとに用いられる、
請求項１４に記載の装置。
【請求項２４】
前記第一検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含み、
前記第二検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含む、
請求項２３に記載の装置。
【請求項２５】
訓練ユニットをさらに含み、
前記訓練ユニットは、具体的に、前記第一生成ユニットが前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、予め保存された、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第一ニューラルネットワークに入力し、勾配降下法を使用して前記第一ニューラルネットワーク、前記第二ニューラルネットワーク、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練するために用いられ、前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される、
請求項１４から２４のいずれか一項に記載の装置。
【請求項２６】
訓練ユニットをさらに含み、
前記訓練ユニットは、具体的に、前記第一生成ユニットが前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第二ニューラルネットワークに入力し、勾配降下法を使用して前記第二ニューラルネットワーク、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練するために用いられ、前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される、
請求項１４から２４のいずれか一項に記載の装置。
【請求項２７】
ディスプレイ、メモリおよび前記メモリに結合されるプロセッサを含む病巣検出機器であって、前記ディスプレイは病巣の位置および前記位置に対応する信頼度を表示するために用いられ、前記メモリはアプリケーションプログラムコードを記憶するために用いられ、前記プロセッサは前記プログラムコードを呼び出すことによって請求項１から１３のいずれか一項に記載の病巣検出方法を実行するように構成される、
病巣検出機器。
【請求項２８】
プログラム命令を含むコンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、前記プログラム命令は、プロセッサにより実行されると、前記プロセッサに請求項１から１３のいずれか一項に記載の病巣検出方法を実行させる、
コンピュータ読取可能記憶媒体。
【請求項２９】
コンピュータ読取可能コードを含むコンピュータプログラムであって、前記コンピュータ読取可能コードは、電子機器において実行されると、前記電子機器のプロセッサに請求項１から１３のいずれか一項に記載の病巣検出方法を実現するための命令を実行させる、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ技術分野に関し、特に病巣検出の方法、装置、機器および記憶媒体に関する。
【背景技術】
【０００２】
コンピュータ支援診断（Ｃｏｍｐｕｔｅｒ  ａｉｄｅｄ  ｄｉａｇｏｓｉｓ、ＣＡＤ）とは映像学的、医療画像解析技術および他の可能な生理学的、生化学的などの手段を、コンピュータによる解析計算と組み合わせることで、映像から病巣を自動的に発見することをいう。コンピュータ支援診断により診断の正確度の向上、診断漏れの低減および医者の作業効率向上などの方面で積極的な促進作用を非常に大きく果たすことは、実践により証明されている。ここで、病巣とは、病原性因子の影響で病変がある組織または器官の部位をいい、病変がある生体の部分である。例えば、人体の肺のある部分が結核菌により破壊されたら、この部分は肺結核症の病巣となる。
【０００３】
近年、コンピュータビジョンおよび深層学習技術の急速な発展に伴い、ＣＴ画像に基づく病巣検出方法はますます注目されている。
【発明の概要】
【０００４】
本開示は、病巣検出方法、装置、機器および記憶媒体を提供し、患者体内の複数の部位の病巣状況を正確に検出し、患者全身にわたって癌を予備的に評価することができる。
【０００５】
第一方面で、本開示は、複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得することと、前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップであって、前記Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成することと、前記第一特徴マップに含まれる特徴の次元削減を行い、前記Ｘ軸次元および前記Ｙ軸次元の二次元特徴を含む第二特徴マップを生成することと、前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣の位置および前記位置に対応する信頼度を得ることと、を含む病巣検出方法を提供する。
【０００６】
いくつかの可能な実施例では、第一方面において、複数のサンプル切片を含む第一画像を取得することは、取得された患者のＣＴ画像を第一サンプリング間隔で再サンプリングし、複数のサンプル切片を含む第一画像を生成することを含む。
【０００７】
いくつかの可能な実施例では、第一方面において、前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成することは、第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、第三特徴マップを生成することと、前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、第四特徴マップを生成することと、前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第四特徴マップと同じ解像度の第四所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、前記第三特徴マップと前記第三所定特徴マップで前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップとを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成することと、を含み、前記第三所定特徴マップおよび前記第四所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
【０００８】
いくつかの可能な実施例では、第一方面において、前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成することは、第二ニューラルネットワークの残差ブロックによって前記第一画像をダウンサンプリングし、前記第一画像よりも解像度が低い第四特徴マップを生成することと、前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第一画像と同じ解像度の前記第一所定特徴マップを生成することと、前記第一画像と前記第一所定特徴マップで前記第一所定特徴マップと同じ解像度の第一特徴マップを生成することと、を含み、前記第一所定特徴マップは病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
【０００９】
いくつかの可能な実施例では、第一方面において、前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成することは、第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、前記第一画像よりも解像度が低い第三特徴マップを生成することと、前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、前記第三特徴マップよりも解像度が低い第四特徴マップを生成することと、前記第二ニューラルネットワークの残差ブロックによって前記第四特徴マップをダウンサンプリングし、前記第四特徴マップよりも解像度が低い第五特徴マップを生成することと、前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第五特徴マップにおける異なるスケールの病巣の特徴を抽出することと、前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第五特徴マップと同じ解像度の第五所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第四特徴マップと同じ解像度の第四所定特徴マップを生成し、または、前記第二ニューラルネットワークの逆畳み込み層および残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、前記第三特徴マップと前記第三所定特徴マップで前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップとを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第五特徴マップと前記第五所定特徴マップとを融合して前記第五所定特徴マップと同じ解像度の第一特徴マップを生成することと、を含み、前記第三所定特徴マップ、前記第四所定特徴マップおよび前記第五所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
【００１０】
いくつかの可能な実施例では、第一方面において、前記第一ニューラルネットワークは、畳み込み層および前記畳み込み層にカスケード接続される残差ブロックを含み、前記第二ニューラルネットワークは、畳み込み層、逆畳み込み層、残差ブロックおよび前記ＤｅｎｓｅＡＳＰＰモジュールを含む３Ｄ  Ｕ−Ｎｅｔネットワークを含む。
【００１１】
いくつかの可能な実施例では、第一方面において、前記第二ニューラルネットワークは積み上げられている複数の３Ｄ  Ｕ−Ｎｅｔネットワークである。
【００１２】
いくつかの可能な実施例では、第一方面において、前記残差ブロックは、畳み込み層、バッチ正規化層、ＲｅＬＵ活性化関数および最大プーリング層を含む。
【００１３】
いくつかの可能な実施例では、第一方面において、前記第一特徴マップに含まれる特徴の次元削減を行い、第二特徴マップを生成することは、前記第一特徴マップの全ての特徴のそれぞれに対してチャネル次元とＺ軸次元とをマージして、前記第一特徴マップの全ての特徴のそれぞれの次元をＸ軸次元およびＹ軸次元からなるものにし、前記全ての特徴のそれぞれの次元がＸ軸次元およびＹ軸次元からなる第一特徴マップを前記第二特徴マップとすることを含む。
【００１４】
いくつかの可能な実施例では、第一方面において、前記第二特徴マップを検出することは、第一検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣の位置の座標を得ることと、第二検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣に対応する信頼度を得ることと、を含む。
【００１５】
いくつかの可能な実施例では、第一方面において、前記第一検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含み、前記第二検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含む。
【００１６】
いくつかの可能な実施例では、第一方面において、前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、予め保存された、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第一ニューラルネットワークに入力し、勾配降下法を使用して前記第一ニューラルネットワーク、前記第二ニューラルネットワーク、前記ＤｅｎｓｅＡＳＰＰモジュール、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練することを、さらに含み、前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される。
【００１７】
いくつかの可能な実施例では、第一方面において、前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、予め保存された、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第一ニューラルネットワークに入力し、勾配降下法を使用して前記第二ニューラルネットワーク、前記ＤｅｎｓｅＡＳＰＰモジュール、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練することを、さらに含み、前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される。
【００１８】
第二方面で、本開示は、複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得するための取得ユニットと、前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップであって、前記Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成するための第一生成ユニットと、前記第一特徴マップに含まれる特徴の次元削減を行い、前記Ｘ軸次元および前記Ｙ軸次元の二次元特徴を含む第二特徴マップを生成するための第二生成ユニットと、前記第二特徴マップを検出し、第二特徴マップにおける各病巣の位置および前記位置に対応する信頼度を得るための検出ユニットと、を含む病巣検出装置を提供する。
【００１９】
いくつかの可能な実施例では、第二方面において、前記取得ユニットは、具体的に、取得された患者のＣＴ画像を第一サンプリング間隔で再サンプリングし、複数のサンプル切片を含む第一画像を生成するために用いられる。
【００２０】
いくつかの可能な実施例では、第二方面において、前記第一生成ユニットは、具体的に、第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、前記第一画像よりも解像度が低い第三特徴マップを生成することと、前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、前記第三特徴マップよりも解像度が低い第四特徴マップを生成することと、前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第四特徴マップと同じ解像度の第四所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、前記第三特徴マップと前記第三所定特徴マップで前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップとを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成することとに用いられ、前記第三所定特徴マップおよび前記第四所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
【００２１】
いくつかの可能な実施例では、第二方面において、前記第一生成ユニットは、具体的に、第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、前記第一画像よりも解像度が低い第四特徴マップを生成することと、前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第一画像と同じ解像度の前記第一所定特徴マップを生成することと、前記第一画像と前記第一所定特徴マップで前記第一所定特徴マップと同じ解像度の第一特徴マップを生成することとに用いられ、前記第一所定特徴マップは病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
【００２２】
いくつかの可能な実施例では、第二方面において、前記第一生成ユニットは、具体的に、第二ニューラルネットワークによって前記第一画像の残差ブロックをダウンサンプリングし、前記第一画像よりも解像度が低い第三特徴マップを生成することと、前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、前記第三特徴マップよりも解像度が低い第四特徴マップを生成することと、前記第二ニューラルネットワークの残差ブロックによって前記第四特徴マップをダウンサンプリングし、前記第四特徴マップよりも解像度が低い第五特徴マップを生成することと、前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第五特徴マップにおける異なるスケールの病巣の特徴を抽出することと、前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第五特徴マップと同じ解像度の第五所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第四特徴マップと同じ解像度の第四所定特徴マップを生成し、または、前記第二ニューラルネットワークの逆畳み込み層および残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、前記第三特徴マップと前記第三所定特徴マップで前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップとを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第五特徴マップと前記第五所定特徴マップとを融合して前記第五所定特徴マップと同じ解像度の第一特徴マップを生成することとに用いられ、前記第三所定特徴マップ、前記第四所定特徴マップおよび前記第五所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
【００２３】
いくつかの可能な実施例では、第二方面において、前記第一ニューラルネットワークは、畳み込み層および前記畳み込み層にカスケード接続される残差ブロックを含み、前記第二ニューラルネットワークは、畳み込み層、逆畳み込み層、残差ブロックおよび前記ＤｅｎｓｅＡＳＰＰモジュールを含む３Ｄ  Ｕ−Ｎｅｔネットワークを含む。
【００２４】
いくつかの可能な実施例では、第二方面において、前記第二ニューラルネットワークは積み上げられている複数の３Ｄ  Ｕ−Ｎｅｔネットワークである。
【００２５】
いくつかの可能な実施例では、第二方面において、前記残差ブロックは、畳み込み層、バッチ正規化層、ＲｅＬＵ活性化関数および最大プーリング層を含む。
【００２６】
いくつかの可能な実施例では、第二方面において、前記第三特徴ユニットは、具体的に、前記第一特徴マップの全ての特徴のそれぞれに対してチャネル次元とＺ軸次元とをマージして、前記第一特徴マップの全ての特徴のそれぞれの次元をＸ軸次元およびＹ軸次元からなるものにし、前記全ての特徴のそれぞれの次元がＸ軸次元およびＹ軸次元からなる第一特徴マップを前記第二特徴マップとするために用いられる。
【００２７】
いくつかの可能な実施例では、第二方面において、前記検出ユニットは、具体的に、第一検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣の位置の座標を得ることと、第二検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣に対応する信頼度を得ることとに用いられる。
【００２８】
いくつかの可能な実施例では、第二方面において、前記第一検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含み、前記第二検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含む。
【００２９】
いくつかの可能な実施例では、第二方面において、訓練ユニットをさらに含み、前記訓練ユニットは、具体的に、前記第一生成ユニットが前記第一画像の特徴を抽出し、病巣の特徴が含まれる第一特徴マップを生成する前に、予め保存された、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第一ニューラルネットワークに入力し、勾配降下法を使用して前記第一ニューラルネットワーク、前記第二ニューラルネットワーク、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練するために用いられ、前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される。
【００３０】
いくつかの可能な実施例では、第二方面において、訓練ユニットをさらに含み、前記訓練ユニットは、具体的に、前記第一生成ユニットが前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第二ニューラルネットワークに入力し、勾配降下法を使用して前記第二ニューラルネットワーク、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練するために用いられ、前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される。
【００３１】
第三方面で、本開示は、互いに接続されるプロセッサ、ディスプレイおよびメモリを含む病巣検出機器であって、前記ディスプレイは病巣の位置および前記位置に対応する信頼度を表示するために用いられ、前記メモリはアプリケーションプログラムコードを記憶するために用いられ、前記プロセッサは前記プログラムコードを呼び出すことによって上記第一方面の病巣検出方法を実行するように構成される病巣検出機器を提供する。
【００３２】
第四方面で、本開示は、命令を含む一つ以上のコンピュータプログラムを記憶するためのコンピュータ読取可能記憶媒体であって、上記コンピュータプログラムはコンピュータにおいて実行されると、上記命令は第一方面の病巣検出方法を実行させるために用いられるコンピュータ読取可能記憶媒体を提供する。
【００３３】
第五方面で、本開示は、病巣検出命令を含むコンピュータプログラムであって、該コンピュータプログラムがコンピュータにおいて実行されると、上記病巣検出命令は上記第一方面が提供する病巣検出方法を実行させるために用いられるコンピュータプログラムを提供する。
【００３４】
本開示は病巣検出方法、装置、機器および記憶媒体を提供する。まず、複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得する。さらに、第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップであって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成する。続いて、第一特徴マップに含まれる特徴の次元削減を行い、Ｘ軸次元およびＹ軸次元の二次元特徴を含む第二特徴マップを生成する。最後に、第二特徴マップの特徴を検出し、第二特徴マップにおける各病巣の特徴および位置に対応する信頼度を得る。本開示を採用すれば、患者体内の複数の部位の病巣状況を正確に検出し、患者全身にわたって癌を予備的に評価することができる。
【図面の簡単な説明】
【００３５】
以下、本開示の実施例の解決手段をより明確に説明するために、実施例の説明に必要な図面を簡単に説明する。下記の図面が本開示のいくつかの実施例であり、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面を想到できることは明らかである。
【図１】図１は、本開示が提供する病巣検出システムのネットワークアーキテクチャの模式図である。
【図２】図２は、本開示が提供する病巣検出方法の模式的フローチャートである。
【図３】図３は、本開示が提供する病巣検出装置の模式的ブロック図である。
【図４】図４は、本開示が提供する病巣検出機器の模式的構成図である。
【発明を実施するための形態】
【００３６】
以下、本開示における図面を参照しながら、本開示における技術的解決手段を明確に、完全に説明する。説明される実施例は、本開示の実施例の一部に過ぎず、全ての実施例ではない。本開示における実施例に基づき、当業者が創造的な労力を要せずに得られた他の全ての実施例は、いずれも本開示の保護範囲に属する。
【００３７】
本明細書および添付の特許請求の範囲において使用される用語「含む」および「含まれる」は、説明される特徴、全体、ステップ、操作、要素および／またはコンポーネントが存在することを意味するが、一つ以上の他の特徴、全体、ステップ、操作、要素、コンポーネントおよび／またはそれらの群の存在または追加を除外しないことが理解されたい。
【００３８】
本開示の明細書において使用される用語は、特定の実施例を説明するためのものにすぎず、本開示を限定するものではないことも理解されたい。本開示の明細書および添付の特許請求の範囲において使用される単数形「一」、「一つ」および「該」は、文脈により明確に示さない限り、複数形も含むことが理解されたい。
【００３９】
本開示の明細書および添付の特許請求の範囲において使用される用語「および／または」は、関連して列挙された項目の一つ以上の任意の組み合わせおよび全ての可能な組み合わせを意味し、かつこれらの組み合わせを含むことも理解されたい。
【００４０】
本明細書および添付の特許請求の範囲において使用される用語「場合」は、文脈により「…時」または「…すると」または「決定／特定／判定に応じて」または「検出に応じて」という意味に解釈され得る。同様に、語句「決定／特定／判定された場合」または「［記載された条件またはイベント］が検出された場合」は文脈により「決定／特定／判定すると」または「決定／特定／判定に応じて」または「［説明された条件またはイベント］が検出されると」または「［説明された条件またはイベント］の検出に応じて」という意味に解釈され得る。
【００４１】
具体的な実現において、本開示に記載の機器は、タッチ感知面（例えば、タッチスクリーンディスプレイおよび／またはタッチパネル）を有するラップトップ型コンピュータまたはタブレットコンピュータのような他の携帯機器を含むが、これらに限定されない。なお、いくつかの実施例において、前記機器は携帯通信機器ではなく、タッチ感知面（例えば、タッチスクリーンディスプレイおよび／またはタッチパネル）を有するデスクトップコンピュータであることも理解されたい。
【００４２】
以下、ディスプレイおよびタッチ感知面を含む機器について説明する。機器は物理キーボード、マウスおよび／またはジョイスティックなどの一つ以上の他の物理ユーザインタフェースデバイスを含み得ることが理解されたい。
【００４３】
機器は、様々なアプリケーション、例えば、描画アプリケーション、デモアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ｗｅｂブラウジングアプリケーション、デジタル音楽プレーヤアプリケーションおよび／またはデジタルビデオプレーヤアプリケーションの一つ以上をサポートする。
【００４４】
機器上で実行可能である様々なアプリケーションは、タッチ感知面などの少なくとも一つの共通の物理的ユーザインタフェースデバイスを使用してもよい。タッチ感知面の一つ以上の機能および機器上に表示される対応する情報は、アプリケーション間および／または対応するアプリケーション内で調整および／または変更されてもよい。このようにして、機器の共通の物理アーキテクチャ（例えば、タッチ感知面）は、ユーザにとって直感的かつ透過的なユーザインタフェースを有する様々なアプリケーションをサポートできる。
【００４５】
以下、本開示をより明確に理解するために、本開示に適するネットワークアーキテクチャを説明する。図１は本開示が提供する病巣検出システムの模式図である。図１に示すように、システム１０は、第一ニューラルネットワーク１０１、第二ニューラルネットワーク１０２、および検出サブネット（Ｄｅｔｅｃｔｉｏｎ  Ｓｕｂｎｅｔ）１０３を含むようにしてもよい。
【００４６】
本開示の実施例では、病巣とは、病原性因子の影響で病変がある組織または器官の部位をいい、病変がある生体の部分である。例えば、人体の肺のある部分が結核菌により破壊されたら、この部分は肺結核症の病巣となる。
【００４７】
説明したいのは、第一ニューラルネットワーク１０１は、畳み込み層（Ｃｏｎｖ１）および畳み込み層にカスケード接続される残差ブロック（ＳＥＲｅｓＢｌｏｃｋ）を含む。そのうち、残差ブロックは、バッチ正規化層（Ｂａｔｃｈ  Ｎｏｒｍａｌｉｚａｔｉｏｎ、ＢＮ）、修正線形ユニット（ＲｅＬＵ）活性化関数および最大プーリング層（Ｍａｘ−ｐｏｏｌｉｎｇ）を含むようにしてもよい。
【００４８】
そのうち、第一ニューラルネットワーク１０１は、第一ニューラルネットワーク１０１に入力される第一画像をＸ軸次元およびＹ軸次元でダウンサンプリングし、第三特徴マップを生成するために用いられることができる。説明したいのは、第一画像は、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像（つまり、第一画像は、Ｘ軸次元、Ｙ軸次元を含む複数の二次元画像により構成され、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である）であり、例えば、第一画像は５１２＊５１２＊９の三次元画像であってもよい。
【００４９】
具体的には、第一ニューラルネットワーク１０１は、畳み込み層の畳み込みカーネルによって第一画像を処理して特徴マップを生成し、さらに、残差ブロックによって特定の特徴マップをプーリングし、第一画像よりも解像度が低い第三特徴マップを生成するようにしてもよい。例として、第一ニューラルネットワーク１０１によって５１２＊５１２＊９の三次元画像を処理して２５６＊２５６＊９の三次元画像を得てもよく、または第一ニューラルネットワーク１０１によって５１２＊５１２＊９の三次元画像を処理して１２８＊１２８＊９の三次元画像を得てもよい。ダウンサンプリングにより、入力される第一画像に含まれる病巣特徴を抽出し、第一画像内の不要な領域の一部を除去することができる。
【００５０】
説明したいのは、本開示の実施例におけるダウンサンプリングは、第一画像を表示領域の大きさに合わせるように第一画像のサムネイルを生成するために用いられる。本開示の実施例におけるアップサンプリングは、補間により元画像の画素間に新しい画素を挿入して元画像を拡大するために用いられる。これは小さな病巣の検出に有用である。
【００５１】
以下、一例を挙げて本開示の実施例におけるダウンサンプリングを簡単に説明する。例えば、サイズがＭ＊Ｎの画像ＩをＳ倍ダウンサンプリングして、（Ｍ／Ｓ）＊（Ｎ／Ｓ）サイズの解像度の画像を得ることができる。つまり、元画像ＩのＳ＊Ｓウィンドウ内の画像を一つの画素とし、ここで、該画素の画素値は該Ｓ＊Ｓウィンドウ内の全ての画素の最大値である。ここで、水平方向または垂直方向にスライドするストライド（Ｓｔｒｉｄｅ）は２としてもよい。
【００５２】
第二ニューラルネットワーク１０２は、積み上げられている四つの３Ｄ  Ｕ−ｎｅｔネットワークを含むようにしてもよい。３Ｄ  Ｕ−ｎｅｔネットワークの展開図は図１の１０４に示される。複数の３Ｄ  Ｕ−ｎｅｔネットワークで検出することにより、検出の正確性を向上させることができる。本開示の実施例における３Ｄ  Ｕ−ｎｅｔネットワークの数は、例示的なものに過ぎず、限定するものではない。ここで、３Ｄ  Ｕ−Ｎｅｔネットワークは、畳み込み層（ｃｏｎｖ）、逆畳み込み層（ｄｅｃｏｎｖ）、残差ブロックおよびＤｅｎｓｅＡＳＰＰモジュールを含む。
【００５３】
そのうち、第二ニューラルネットワーク１０２の残差ブロックは、第一ニューラルネットワーク１０１から出力される第三特徴マップをＸ軸次元およびＹ軸次元でダウンサンプリングし、第四特徴マップを生成するために用いることができる。
【００５４】
また、第二ニューラルネットワーク１０２の残差ブロックは、第四特徴マップをＸ軸次元およびＹ軸次元でダウンサンプリングし、第五特徴マップを生成するために用いることもできる。
【００５５】
続いて、第二ニューラルネットワーク１０２のＤｅｎｓｅＡＳＰＰモジュールによって第五特徴マップにおける異なるスケールの病巣の特徴を抽出する。
【００５６】
ＤｅｎｓｅＡＳＰＰモジュールによる処理後、第五特徴マップと同じ解像度の第五所定特徴マップが生成され、前記第二ニューラルネットワーク１０２の逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第四特徴マップと同じ解像度の第四所定特徴マップを生成し、または、前記第二ニューラルネットワーク１０２の逆畳み込み層および残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成する。
【００５７】
第三特徴マップと第三所定特徴マップとを融合（ｃｏｎｃａｔ）して第三所定特徴マップと同じ解像度の第一特徴マップを生成し、第四特徴マップと第四所定特徴マップとを融合して第四所定特徴マップと同じ解像度の第一特徴マップを生成し、第五特徴マップと第五所定特徴マップとを融合して第五所定特徴マップと同じ解像度の第一特徴マップを生成する。ここで、前記第三所定特徴マップ、前記第四所定特徴マップおよび前記第五所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
【００５８】
説明したいのは、ＤｅｎｓｅＡＳＰＰモジュールは、カスケード接続されている５つの異なる拡張率の拡張畳み込みを含み、異なるスケールの病巣の特徴を抽出することができる。ここで、５つの異なる拡張率（ｄｉｌａｔｅ）の拡張畳み込みは、それぞれ拡張率ｄ＝３の拡張畳み込み、拡張率ｄ＝６の拡張畳み込み、拡張率ｄ＝１２の拡張畳み込み、拡張率ｄ＝１８の拡張畳み込み、および拡張率ｄ＝２４の拡張畳み込みである。
【００５９】
検出サブネット１０３は、第一検出サブネットおよび第二検出サブネットを含むようにしてもよい。第一検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含む。同様に、第二検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含む。
【００６０】
第一検出サブネットは、第一特徴マップが次元削減された第二特徴マップを検出し、第二特徴マップにおける各病巣の位置の座標を得るために用いられる。
【００６１】
具体的には、第一検出サブネットのカスケード接続されている４つの畳み込み層によって、入力される第二特徴マップを処理し、第二特徴マップにおける各病巣の位置を特定する。ここで、各畳み込み層はそれぞれ一つのＹ＊Ｙの畳み込みカーネルを含み、各病巣の左上隅の座標（ｘ１，ｙ１）および病巣の右下隅の座標（ｘ２，ｙ２）を順に取得することで、第二特徴マップにおける各病巣の位置を特定するようにしてもよい。
【００６２】
第二検出サブネットによって上記第二特徴マップを検出し、第二特徴マップにおける各病巣に対応する信頼度を得る。
【００６３】
具体的には、第二検出サブネットのカスケード接続されている４つの畳み込み層によって、入力される第二特徴マップを処理し、第二特徴マップにおける各病巣の位置を特定し、さらに、該位置に対応する信頼度を出力する。ここで、各畳み込み層はそれぞれ一つのＹ＊Ｙの畳み込みカーネルを含み、各病巣の左上隅の座標（ｘ１，ｙ１）および病巣の右下隅の座標（ｘ２，ｙ２）を順に取得することで、第二特徴マップにおける各病巣の位置を特定し、さらに、該位置に対応する信頼度を出力するようにしてもよい。
【００６４】
説明したいのは、本開示の実施例において位置に対応する信頼度は、該位置が病巣であることをユーザが信じる程度を示す。例えば、ある病巣の位置の信頼度は９０％である。
【００６５】
以上の記載によければ、患者体内の複数の部位の病巣状況を正確に検出し、患者全身にわたって癌を予備的に評価することができる。
【００６６】
説明したいのは、第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、さらに、以下のステップを含む。
【００６７】
予め保存された、病巣をラベリングする（例えば、ボックスの形で病巣をラベリングし、また、該病巣の位置の座標でラベリングする）ための病巣ラベルが複数含まれている三次元画像を、前記第一ニューラルネットワークに入力し、勾配降下法を使用して第一ニューラルネットワーク、第二ニューラルネットワーク、第一検出サブネットおよび第二検出サブネットの各パラメータをそれぞれ訓練する。ここで、複数の病巣のそれぞれの位置は第一検出サブネットにより出力される。
説明したいのは、勾配降下法による各パラメータの訓練において、逆伝播アルゴリズムで勾配降下法の勾配を計算するようにしてもよい。
【００６８】
または、予め保存された、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を第二ニューラルネットワークに入力し、勾配降下法を使用して第二ニューラルネットワーク、第一検出サブネットおよび第二検出サブネットの各パラメータをそれぞれ訓練する。ここで、複数の病巣のそれぞれの位置は第一検出サブネットにより出力される。
【００６９】
図２は本開示が提供する病巣検出方法の模式的フローチャートである。可能な一実施形態では、前記病巣検出方法は、ユーザ側装置（Ｕｓｅｒ  Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ちの機器、計算装置、車載装置、ウエアラブル装置等の端末装置、又は、サーバ等の電子機器により実行されてもよい。前記方法は、プロセッサによってメモリに記憶されているコンピュータ読取可能コマンドを呼び出すことで実現されてもよい。または、前記方法は、サーバによって実行されてもよい。
【００７０】
図２に示すように、該方法は少なくとも以下のステップを含むようにしてもよい。
【００７１】
Ｓ２０１：複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得する。
【００７２】
具体的には、選択可能な一実施形態において、取得された患者のＣＴ画像を第一サンプリング間隔で再サンプリングし、複数のサンプル切片を含む第一画像を生成する。ここで、患者のＣＴ画像は、各層の厚さがそれぞれ２．０ｍｍである１３０層の断層を含み、Ｘ軸次元、Ｙ軸次元での第一サンプリング間隔は２．０ｍｍであるようにしてもよい。
【００７３】
本開示の実施例では、患者のＣＴ画像は、患者の組織または器官に関する、複数の断層を含む一つのスキャンシーケンスであり、断層の数は１３０としてもよい。
【００７４】
病巣とは、病原性因子の影響で病変がある患者の組織または器官の部位をいい、病変がある生体の部分である。例えば、人体の肺のある部分が結核菌により破壊されたら、この部分は肺結核症の病巣となる。
【００７５】
説明したいのは、第一画像は、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像（つまり、第一画像は、Ｘ軸次元、Ｙ軸次元を含むＮ枚の二次元画像により構成され、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像であり、ここで、Ｎは２以上であり、各二次元画像は被検出組織の異なる位置における横断面画像である）であり、例えば、第一画像は５１２＊５１２＊９の三次元画像であってもよい。
【００７６】
説明したいのは、ＣＴ画像を再サンプリングする前に、さらに、閾値法によりＣＴ画像中の余分な背景を除去するステップを含むようにしてもよい。
【００７７】
Ｓ２０２：第一画像の特徴を抽出し、病巣の特徴が含まれ、前記Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成する。
【００７８】
具体的には、第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成することは、以下のケースを含んでもよいが、それらに限定されない。
【００７９】
ケース１：第一ニューラルネットワークによって第一画像をダウンサンプリングし、第三特徴マップを生成する。
【００８０】
第二ニューラルネットワークの残差ブロックによって第三特徴マップをダウンサンプリングし、第四特徴マップを生成する。
【００８１】
第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって第四特徴マップにおける異なるスケールの病巣の特徴を抽出する。
【００８２】
ＤｅｎｓｅＡＳＰＰモジュールによる処理後、第四特徴マップと同じ解像度の第四所定特徴マップが生成され、第二ニューラルネットワークの逆畳み込み層および残差ブロックによってＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、第三特徴マップと同じ解像度の第三所定特徴マップを生成する。
【００８３】
第三特徴マップと第三所定特徴マップで第三所定特徴マップと同じ解像度の第一特徴マップを生成し、第四特徴マップと第四所定特徴マップとを融合して第四所定特徴マップと同じ解像度の第一特徴マップを生成する。ここで、第三所定特徴マップおよび第四所定特徴マップはそれぞれ病巣の位置を含み、病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
【００８４】
ケース２：第二ニューラルネットワークの残差ブロックによって第一画像をダウンサンプリングし、第四特徴マップを生成する。
【００８５】
第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって第四特徴マップにおける異なるスケールの病巣の特徴を抽出する。
【００８６】
ＤｅｎｓｅＡＳＰＰモジュールによる処理後、第二ニューラルネットワークの逆畳み込み層および残差ブロックによってＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、第一画像と同じ解像度の第一所定特徴マップを生成する。
【００８７】
前記第一画像と第一所定特徴マップで第一所定特徴マップと同じ解像度の第一特徴マップを生成する。ここで、第一所定特徴マップは病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
【００８８】
ケース３：第一ニューラルネットワークによって第一画像をダウンサンプリングし、第三特徴マップを生成する。
【００８９】
第二ニューラルネットワークの残差ブロックによって第三特徴マップをダウンサンプリングし、第四特徴マップを生成する。
【００９０】
第二ニューラルネットワークの残差ブロックによって第四特徴マップをダウンサンプリングし、第五特徴マップを生成する。
【００９１】
第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって第五特徴マップにおける異なるスケールの病巣の特徴を抽出する。
【００９２】
ＤｅｎｓｅＡＳＰＰモジュールによる処理後、第五特徴マップと同じ解像度の第五所定特徴マップが生成され、第二ニューラルネットワークの逆畳み込み層および残差ブロックによってＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、第四特徴マップと同じ解像度の第四所定特徴マップを生成し、または、第二ニューラルネットワークの逆畳み込み層および残差ブロックによってＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、第三特徴マップと同じ解像度の第三所定特徴マップを生成する。
【００９３】
第三特徴マップと第三所定特徴マップで第三所定特徴マップと同じ解像度の第一特徴マップを生成し、第四特徴マップと第四所定特徴マップとを融合して第四所定特徴マップと同じ解像度の第一特徴マップを生成し、第五特徴マップと第五所定特徴マップとを融合して第五所定特徴マップと同じ解像度の第一特徴マップを生成する。ここで、前記第三所定特徴マップ、前記第四所定特徴マップおよび前記第五所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
【００９４】
説明したいのは、第一ニューラルネットワークは、畳み込み層および畳み込み層にカスケード接続される残差ブロックを含み、第二ニューラルネットワークは、畳み込み層、逆畳み込み層、残差ブロックおよびＤｅｎｓｅＡＳＰＰモジュールを含む３Ｄ  Ｕ−Ｎｅｔネットワークを含む。
【００９５】
そのうち、残差ブロックは、畳み込み層、バッチ正規化層（ＢＮ層）、ＲｅＬＵ活性化関数および最大プーリング層を含んでもよい。
【００９６】
選択可能的に、第二ニューラルネットワークは積み上げられている複数の３Ｄ  Ｕ−Ｎｅｔネットワークである。第二ニューラルネットワークが積み上げられている複数の３Ｄ  Ｕ−Ｎｅｔネットワークである場合、病巣検出システムの安定性および検出の正確性を向上させることができる。本開示の実施例は、３Ｄ  Ｕ−ｎｅｔネットワークの数を限定しない。
【００９７】
Ｓ２０３：第一特徴マップに含まれる特徴の次元削減を行い、Ｘ軸次元およびＹ軸次元の二次元特徴を含む第二特徴マップを生成する。
【００９８】
具体的には、第一特徴マップの全ての特徴のそれぞれに対してチャネル次元とＺ軸次元とをマージして、第一特徴マップの全ての特徴のそれぞれの次元をＸ軸次元およびＹ軸次元からなるものにし、全ての特徴のそれぞれの次元がＸ軸次元およびＹ軸次元からなる第一特徴マップを第二特徴マップとする。第一特徴マップは三次元の特徴マップであるが、検出サブネット１０３に出力されて検出される時、二次元に変換する必要があるため、第一特徴マップの次元削減を行わなければならない。
【００９９】
説明したいのは、上述したある特徴のチャネルは、ある特徴の分布データを表す。
【０１００】
Ｓ２０４：第二特徴マップの特徴を検出し、検出された第二特徴マップにおける各病巣の特徴および位置に対応する信頼度を表示する。
【０１０１】
具体的には、第一検出サブネットによって第二特徴マップを検出し、第二特徴マップにおける各病巣の位置の座標を得る。
【０１０２】
さらに具体的には、第一検出サブネットのカスケード接続されている複数の畳み込み層によって、入力される第二特徴マップを処理し、第二特徴マップにおける各病巣の位置を特定する。ここで、各畳み込み層はそれぞれ一つのＹ＊Ｙの畳み込みカーネルを含み、各病巣の左上隅の座標（ｘ１，ｙ１）および病巣の右下隅の座標（ｘ２，ｙ２）を順に取得することで、第二特徴マップにおける各病巣の位置を特定するようにしてもよい。
【０１０３】
第二検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣に対応する信頼度を得る。
【０１０４】
さらに具体的には、第二検出サブネットのカスケード接続されている複数の畳み込み層によって、入力される第二特徴マップを処理し、第二特徴マップにおける各病巣の位置を取得し、さらに、該位置に対応する信頼度を出力する。ここで、各畳み込み層はそれぞれ一つのＹ＊Ｙの畳み込みカーネルを含み、各病巣の左上隅の座標（ｘ１，ｙ１）および病巣の右下隅の座標（ｘ２，ｙ２）を順に取得することで、第二特徴マップにおける各病巣の位置を取得し、さらに、該位置に対応する信頼度を出力するようにしてもよい。
【０１０５】
以上の記載によければ、本開示の実施例は、患者体内の複数の部位の病巣状況を正確に検出し、患者全身にわたって癌を予備的に評価することができる。
【０１０６】
説明したいのは、第一画像の特徴を抽出し、病巣の特徴が含まれる第一特徴マップを生成する前に、さらに、以下のステップを含む。
【０１０７】
予め保存された、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を第一ニューラルネットワークに入力し、勾配降下法を使用して第一ニューラルネットワーク、第二ニューラルネットワーク、第一検出サブネットおよび第二検出サブネットの各パラメータをそれぞれ訓練する。ここで、複数の病巣のそれぞれの位置は第一検出サブネットにより出力される。
【０１０８】
または、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を第二ニューラルネットワークに入力し、勾配降下法を使用して第二ニューラルネットワーク、第一検出サブネットおよび第二検出サブネットの各パラメータをそれぞれ訓練する。ここで、複数の病巣のそれぞれの位置は第一検出サブネットにより出力される。
【０１０９】
以上をまとめると、本開示では、まず、複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得する。さらに、第一画像の特徴を抽出し、病巣の特徴が含まれる第一特徴マップであって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成する。続いて、第一特徴マップに含まれる特徴の次元削減を行い、Ｘ軸次元およびＹ軸次元の二次元特徴を含む第二特徴マップを生成する。最後に、第二特徴マップの特徴を検出し、第二特徴マップにおける各病巣の位置および位置に対応する信頼度を得る。本開示の実施例を採用すれば、患者体内の複数の部位の病巣状況を正確に検出し、患者全身にわたって癌を予備的に評価することができる。
【０１１０】
理解されたいのは、図２の方法の実施例において提供されていない関連定義および説明は、図１の実施例を参照すればよく、ここで説明を省略する。
【０１１１】
図３は、本開示が提供する病巣検出装置である。図３に示すように、病巣検出装置３０は、複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得するための取得ユニット３０１と、第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップであって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成するための第一生成ユニット３０２と、第一特徴マップに含まれる特徴の次元削減を行い、Ｘ軸次元およびＹ軸次元の二次元特徴を含む第二特徴マップを生成するための第二生成ユニット３０３と、第二特徴マップを検出し、第二特徴マップにおける各病巣の位置および位置に対応する信頼度を得るための検出ユニット３０４と、を含む。
【０１１２】
取得ユニット３０２は、具体的に、取得された患者のＣＴ画像を第一サンプリング間隔で再サンプリングし、複数のサンプル切片を含む第一画像を生成するために用いられる。
【０１１３】
第一生成ユニット３０３は、具体的に、以下の三つのケースに用いられることができる。
【０１１４】
ケース１：第一ニューラルネットワークによって第一画像をダウンサンプリングし、第三特徴マップを生成する。
【０１１５】
第二ニューラルネットワークの残差ブロックによって第三特徴マップをダウンサンプリングし、第四特徴マップを生成する。
【０１１６】
第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって第四特徴マップにおける異なるスケールの病巣の特徴を抽出する。
【０１１７】
ＤｅｎｓｅＡＳＰＰモジュールによる処理後、第四特徴マップと同じ解像度の第四所定特徴マップが生成され、第二ニューラルネットワークの逆畳み込み層および残差ブロックによってＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、第三特徴マップと同じ解像度の第三所定特徴マップを生成する。
【０１１８】
第三特徴マップと第三所定特徴マップで第三所定特徴マップと同じ解像度の第一特徴マップを生成し、第四特徴マップと第四所定特徴マップとを融合して第四所定特徴マップと同じ解像度の第一特徴マップを生成する。ここで、第三所定特徴マップおよび第四所定特徴マップはそれぞれ病巣の位置を含み、病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
【０１１９】
ケース２：第二ニューラルネットワークの残差ブロックによって前記第一画像をダウンサンプリングし、第四特徴マップを生成する。
【０１２０】
第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって第四特徴マップにおける異なるスケールの病巣の特徴を抽出する。
【０１２１】
ＤｅｎｓｅＡＳＰＰモジュールによる処理後、第二ニューラルネットワークの逆畳み込み層および残差ブロックによってＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、第一画像と同じ解像度の第一所定特徴マップを生成する。
【０１２２】
第一画像と第一所定特徴マップで第一所定特徴マップと同じ解像度の第一特徴マップを生成する。ここで、第一所定特徴マップは病巣の位置を含み、病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
【０１２３】
ケース３：第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、第三特徴マップを生成する。
【０１２４】
第二ニューラルネットワークの残差ブロックによって第三特徴マップをダウンサンプリングし、第四特徴マップを生成する。
【０１２５】
第二ニューラルネットワークの残差ブロックによって第四特徴マップをダウンサンプリングし、第五特徴マップを生成する。
【０１２６】
第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって第五特徴マップにおける異なるスケールの病巣の特徴を抽出する。
【０１２７】
ＤｅｎｓｅＡＳＰＰモジュールによる処理後、第五特徴マップと同じ解像度の第五所定特徴マップが生成され、第二ニューラルネットワークの逆畳み込み層および残差ブロックによってＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、第四特徴マップと同じ解像度の第四所定特徴マップを生成し、または、第二ニューラルネットワークの逆畳み込み層および残差ブロックによってＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、第三特徴マップと同じ解像度の第三所定特徴マップを生成する。
【０１２８】
第三特徴マップと第三所定特徴マップで第三所定特徴マップと同じ解像度の第一特徴マップを生成し、第四特徴マップと第四所定特徴マップとを融合して第四所定特徴マップと同じ解像度の第一特徴マップを生成し、第五特徴マップと第五所定特徴マップとを融合して第五所定特徴マップと同じ解像度の第一特徴マップを生成する。ここで、第三所定特徴マップ、第四所定特徴マップおよび第五所定特徴マップはそれぞれ病巣の位置を含み、病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
【０１２９】
説明したいのは、第一ニューラルネットワークは、畳み込み層および畳み込み層にカスケード接続される残差ブロックを含み、第二ニューラルネットワークは、畳み込み層、逆畳み込み層、残差ブロックおよびＤｅｎｓｅＡＳＰＰモジュールを含む３Ｄ  Ｕ−Ｎｅｔネットワークを含む。
【０１３０】
選択可能的に、第二ニューラルネットワークは積み上げられている複数の３Ｄ  Ｕ−Ｎｅｔネットワークを含んでもよい。複数の３Ｄ  Ｕ−ｎｅｔネットワークで検出することにより、検出の正確性を向上させることができる。本開示の実施例における３Ｄ  Ｕ−ｎｅｔネットワークの数は例示的なものに過ぎない。
【０１３１】
説明したいのは、残差ブロックは、畳み込み層、バッチ正規化層（ＢＮ層）、ＲｅＬＵ活性化関数および最大プーリング層を含んでもよい。
【０１３２】
第三特徴ユニット３０４は、具体的に、第一特徴マップの全ての特徴のそれぞれに対してチャネル次元とＺ軸次元とをマージして、第一特徴マップの全ての特徴のそれぞれの次元をＸ軸次元およびＹ軸次元からなるものにし、全ての特徴のそれぞれの次元がＸ軸次元およびＹ軸次元からなる第一特徴マップを第二特徴マップとするために用いられる。
【０１３３】
検出ユニット３０５は、具体的に、第一検出サブネットによって第二特徴マップを検出し、第二特徴マップにおける各病巣の位置の座標を得ることと、第二検出サブネットによって第二特徴マップを検出し、第二特徴マップにおける病巣に対応する信頼度を得ることとに用いられる。
【０１３４】
説明したいのは、第一検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含み、第二検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含む。
【０１３５】
病巣検出装置３０は、取得ユニット３０１、第一生成ユニット３０２、第二生成ユニット３０３および検出ユニット３０４の他、表示ユニットをさらに含む。
【０１３６】
表示ユニットは、具体的に、検出ユニット３０４によって検出された病巣の位置および位置の信頼度を表示するために用いられる。
【０１３７】
病巣検出装置３０は、取得ユニット３０１、第一生成ユニット３０２、第二生成ユニット３０３および検出ユニット３０４の他、訓練ユニットをさらに含む。
【０１３８】
訓練ユニットは、具体的に、第一生成ユニットが前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、予め保存された、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を第一ニューラルネットワークに入力し、勾配降下法を使用して第一ニューラルネットワーク、第二ニューラルネットワーク、第一検出サブネットおよび第二検出サブネットの各パラメータをそれぞれ訓練するために用いられ、または、第一生成ユニットが前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を第二ニューラルネットワークに入力し、勾配降下法を使用して第二ニューラルネットワーク、第一検出サブネットおよび第二検出サブネットの各パラメータをそれぞれ訓練するために用いられる。ここで、複数の病巣のそれぞれの位置は第一検出サブネットにより出力される。
【０１３９】
病巣検出装置３０は、本開示の実施例において一例として提供されたものにすぎず、示された部材よりも多い部材または少ない部材を備えてもよく、二つ以上の部材の組み合わせまたは具備可能な部材の異なる配置によって実現されてもよいことが理解されたい。
【０１４０】
理解されたいのは、図３の病巣検出装置３０が含む機能ブロックの具体的な実施形態は、前記図２に記載の方法の実施例を参照すればよく、ここでは説明を省略する。
【０１４１】
図４は本開示が提供する病巣検出機器の構成の模式図である。本開示の実施例において、病巣検出機器は、携帯電話、タブレット、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、モバイルインターネットデバイス（Ｍｏｂｉｌｅ  Ｉｎｔｅｒｎｅｔ  Ｄｅｖｉｃｅ、ＭＩＤ）、スマートウェアラブルデバイス（例えば、スマートウォッチ、スマートブレスレットなど）など様々な機器を含みんでもよく、本開示の実施例はこれについて限定しない。図４に示すように、病巣検出機器４０は、ベースバンドチップ４０１、メモリ４０２（一つ以上のコンピュータ読取可能記憶媒体）、周辺システム４０３を含んでもよい。これらの部材は一つ以上の通信バス４０４を介して通信可能である。
【０１４２】
ベースバンドチップ４０１は、一つ以上のプロセッサ（ＣＰＵ）４０５、入力される法線マップを処理可能な一つ以上の画像処理装置（ＧＰＵ）４０６を含む。
【０１４３】
メモリ４０２はプロセッサ４０５と結合され、様々なソフトウェアプログラムおよび／または複数の命令セットを記憶するために用いられることができる。具体的な実現では、メモリ４０２は高速ランダムアクセスメモリを含んでもよく、また一つ以上の磁気ディスク記憶装置、フラッシュメモリまたは他の非揮発性固体記憶装置のような非揮発性メモリを含んでもよい。メモリ４０２はオペレーティングシステム（以下、単にシステムという）、例えばＡＮＤＲＯＩＤ（登録商標）、ＩＯＳ、ＷＩＮＤＯＷＳ（登録商標）、またはＬＩＮＵＸ（登録商標）などの組み込みオペレーティングシステムを記憶してもよい。メモリ４０２は、一つ以上の付加装置、一つ以上の機器、一つ以上のネットワーク機器との通信に用いられるネットワーク通信プログラムを記憶してもよい。メモリ４０２はグラフィカルユーザインタフェースによってアプリケーションのコンテンツをリアルに表示し、メニュー、ダイアログボックスおよびボタンなどの入力コントロールによってユーザからアプリケーションの制御操作を受信するユーザインタフェースプログラムを記憶してもよい。
【０１４４】
理解されたいのは、メモリ４０２は病巣検出方法を実現するプログラムコードを記憶するために用いられることができる。
【０１４５】
理解されたいのは、プロセッサ４０５は、メモリ４０２に記憶されている病巣検出方法を実行するプログラムコードを呼び出すために用いられることができる。
【０１４６】
メモリ４０２は、一つ以上のアプリケーションを記憶してもよい。図４に示すように、これらのアプリケーションは、ソーシャルアプリケーション（例えばｆａｃｅｂｏｏｋ（登録商標））、画像管理アプリケーション（例えばアルバム）、地図アプリケーション（例えばグーグルマップ）、ブラウザー（例えばＳａｆａｒｉ（登録商標）、Ｇｏｏｇｌｅ（登録商標）  Ｃｈｒｏｍｅ（登録商標））などを含んでもよい。
【０１４７】
周辺システム４０３は、主に病巣検出機器４０とユーザ／外部環境との間のインタラクション機能を実現するために用いられ、主に病巣検出機器４０の入出力機器を含む。具体的な実現では、周辺システム４０３は、表示スクリーンコントローラ４０７、カメラコントローラ４０８、マウス−キーボードコントローラ４０９およびオーディオコントローラ４１０を含んでもよい。そのうち、各コントローラのそれぞれは対応する周辺機器（例えば表示スクリーン４１１、カメラ４１２、マウス−キーボード４１３およびオーディオ回路４１４）と結合可能である。いくつかの実施例では、表示スクリーンは自己容量型フローティングタッチパネルを配備した表示スクリーンであってもよいし、赤外線型フローティングタッチパネルを配備した表示スクリーンであってもよい。いくつかの実施例では、カメラ４１２は３Ｄカメラであってもよい。説明したいのは、周辺システム４０３は他のＩ／Ｏ外部装置を含んでもよい。
【０１４８】
理解されたいのは、表示スクリーン４１１は検出された病巣の位置および位置の信頼度を表示するために用いられることができる。
【０１４９】
病巣検出機器４０は、本開示の実施例において一例として提供されるものにすぎず、示された部材よりも多い部材または少ない部材を備えてもよく、二つ以上の部材の組み合わせまたは具備可能な部材の異なる配置によって実現されてもよいことが理解されたい。
【０１５０】
理解されたいのは、図４の病巣検出機器４０が含む機能モジュールの具体的な実施形態は、図２の方法の実施例を参照すればよく、ここでは説明を省略する。
【０１５１】
本開示は、コンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、コンピュータプログラムはプロセッサにより実行されると実現させるコンピュータ読取可能記憶媒体を提供する。
【０１５２】
該コンピュータ読取可能記憶媒体は、前記の実施例に記載の機器のいずれか１つの内部記憶ユニット、例えば機器のハードディスクまたは内部メモリであってもよい。該コンピュータ読取可能記憶媒体は、機器の外部記憶装置、例えば機器に配備されたプラグインハードディスク、スマートメディアカード（Ｓｍａｒｔ  Ｍｅｄｉａ  （登録商標）Ｃａｒｄ、ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ、ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ  Ｃａｒｄ）などであってもよい。さらに、該コンピュータ読取可能記憶媒体は、機器の内部記憶ユニットと外部記憶装置を含んでもよい。該コンピュータ読取可能記憶媒体は、コンピュータプログラムおよび機器に必要な他のプログラムやデータを記憶するために用いられ、また、出力されたまたは出力されるデータを一時的に記憶するために用いられてもよい。
【０１５３】
本開示は、コンピュータプログラムが記憶されている非一時的なコンピュータ読取可能記憶媒体を含むコンピュータプログラム製品であって、該コンピュータプログラムはコンピュータに上記方法の実施例に記載の方法のいずれか１つの一部または全てのステップを実行させるように動作するコンピュータプログラム製品を提供する。該コンピュータプログラム製品は一つのソフトウェアインストールパッケージであってもよく、該コンピュータは電子装置を含む。
【０１５４】
当業者であれば、本明細書の実施例で説明した各例示的なユニットおよびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両者の組み合わせで実現できると理解すべきである。上記説明において、ハードウェアとソフトウェアの交換可能を明確に説明するために、機能に応じて各例示的な構成およびステップを一般的に記述した。これらの機能がハードウェアで実行されるか、それともソフトウェアで実行されるかは、技術的解決手段の特定の用途および設計上の制約条件によって決められる。専門技術者であれば、特定の用途に応じて異なる方法で記載の機能を実現できる。このような実現は本開示の範囲を超えたものであると理解すべきではない。
【０１５５】
説明を簡単化および簡潔化するために、上述した機器およびユニットの具体的な動作について、前記方法の実施例における対応する部分を参照すればよいことは、当業者であれば明確に理解され、ここでは説明を省略する。
【０１５６】
本開示のいくつかの実施例で開示した機器および方法は、他の形態で実現できることを理解すべきである。例えば、各例示的構成およびステップを記載したが、これらの機能がハードウェアで実行されるか、それともソフトウェアで実行されるかは、技術的解決手段の特定の用途および設計上の制約条件によって決められる。専門技術者であれば、特定の用途に応じて異なる方法で記載の機能を実現できる。このような実現は本開示の範囲を超えたものであると理解すべきではない。
【０１５７】
以上に記載の機器の実施例は例示的なものに過ぎない。例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよい。例えば、複数のユニットまたはコンポーネントは、組み合わせてもよいし、または別のシステムに統合してもよいし、または一部の特徴を省略もしくは実行しなくてもよい。また、図示または説明した相互の結合、直接結合または通信接続は、いくつかのインタフェース、機器またはユニットを介した間接結合または通信接続であってもよいし、電気的、機械的または他の形態での接続であってもよい。
【０１５８】
別々の部材として説明した前記ユニットは、物理的に分離されても分離されなくてもよく、ユニットとして示された部材は、物理的ユニットであってもなくてもよく、一箇所にあっても複数のネットワークユニットに分散してもよい。本実施例の解決手段の目的を達成するには、実際の必要に応じて一部または全てのユニットを選択することができる。
【０１５９】
また、本開示の各実施例における各機能ユニットは、全て一つの処理ユニットに統合されてもよいし、それぞれ物理的に個別のユニットとされてもよいし、二つ以上で一つのユニットに統合されてもよい。上記統合されたユニットは、ハードウェアで実現されてもよく、ソフトウェア機能ユニットで実現されてもよい。
【０１６０】
上記統合されたユニットは、ソフトウェア機能ユニットで実現され、かつ独立した製品として販売または使用される場合、コンピュータ読取可能記憶媒体に記憶されてもよい。このような見解をもとに、本開示の技術的解決手段の実質的な部分、従来技術に寄与する部分、または技術的解決手段の全てもしくは一部は、ソフトウェア製品で実現されることができる。該コンピュータソフトウェア製品は、記憶媒体に記憶され、一つのコンピュータ機器（パーソナルコンピュータ、ブロックチェーンの目標ノードである機器、またはネットワーク機器などであってもよい）に本開示の各実施例に記載の方法の全てまたは一部のステップを実行させる若干の命令を含む。前記記憶媒体は、ＵＳＢフラッシュドライブ、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ、ＲＯＭ）、ラダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含む。
【０１６１】
以上は本開示の具体的な実施形態にすぎず、本開示の保護範囲を限定するものではない。当業者であれば、本開示に記載の技術的範囲内で様々な均等の修正または置換を容易に想到できる。これらの修正または置換は全て本開示の保護範囲に属する。したがって、本開示の保護範囲は特許請求の範囲に準ずると理解すべきである。
【図１】
2021531565.tif 000003
【図２】
2021531565.tif 000004
【図３】
2021531565.tif 000005
【図４】
2021531565.tif 000006
【手続補正書】
【提出日】令和3年1月8日(2021.1.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得することと、
前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップであって、前記Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成することと、
前記第一特徴マップに含まれる特徴の次元削減を行い、前記Ｘ軸次元および前記Ｙ軸次元の二次元特徴を含む第二特徴マップを生成することと、
前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣の位置および前記位置に対応する信頼度を得ることと、を含む、
病巣検出方法。
【請求項２】
複数のサンプル切片を含む第一画像を取得することは、
取得された患者のＣＴ画像を第一サンプリング間隔で再サンプリングし、複数のサンプル切片を含む第一画像を生成することを含む、
請求項１に記載の方法。
【請求項３】
前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成することは、
第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、第三特徴マップを生成することと、
前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、第四特徴マップを生成することと、
前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、
前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第四特徴マップと同じ解像度の第四所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、
前記第三特徴マップと前記第三所定特徴マップとを融合して前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップとを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成することと、を含み、
前記第三所定特徴マップおよび前記第四所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる、
請求項１に記載の方法。
【請求項４】
前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成することは、
第二ニューラルネットワークの残差ブロックによって前記第一画像をダウンサンプリングし、第四特徴マップを生成することと、
前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、
前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第一画像と同じ解像度の前記第一所定特徴マップを生成することと、
前記第一画像と前記第一所定特徴マップとを融合して前記第一所定特徴マップと同じ解像度の第一特徴マップを生成することと、を含み、
前記第一所定特徴マップは病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる、
請求項１に記載の方法。
【請求項５】
前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成することは、
第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、前記第一画像よりも解像度が低い第三特徴マップを生成することと、
前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、第四特徴マップを生成することと、
前記第二ニューラルネットワークの残差ブロックによって前記第四特徴マップをダウンサンプリングし、前記第四特徴マップよりも解像度が低い第五特徴マップを生成することと、
前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第五特徴マップにおける異なるスケールの病巣の特徴を抽出することと、
前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第五特徴マップと同じ解像度の第五所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第四特徴マップと同じ解像度の第四所定特徴マップを生成し、または、前記第二ニューラルネットワークの逆畳み込み層および残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、
前記第三特徴マップと前記第三所定特徴マップとを融合して前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップとを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第五特徴マップと前記第五所定特徴マップとを融合して前記第五所定特徴マップと同じ解像度の第一特徴マップを生成することと、を含み、
前記第三所定特徴マップ、前記第四所定特徴マップおよび前記第五所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる、
請求項１に記載の方法。
【請求項６】
前記第一ニューラルネットワークは、畳み込み層および前記畳み込み層にカスケード接続される残差ブロックを含み、
前記第二ニューラルネットワークは、畳み込み層、逆畳み込み層、残差ブロックおよび前記ＤｅｎｓｅＡＳＰＰモジュールを含む３Ｄ  Ｕ−Ｎｅｔネットワークを含む、
請求項３または５に記載の方法。
【請求項７】
前記第二ニューラルネットワークは積み上げられている複数の３Ｄ  Ｕ−Ｎｅｔネットワークである、
請求項５または６に記載の方法。
【請求項８】
前記残差ブロックは、畳み込み層、バッチ正規化層、ＲｅＬＵ活性化関数および最大プーリング層を含む、
請求項５または６に記載の方法。
【請求項９】
前記第一特徴マップに含まれる特徴の次元削減を行い、第二特徴マップを生成することは、
前記第一特徴マップの全ての特徴のそれぞれに対してチャネル次元とＺ軸次元とをマージして、前記第一特徴マップの全ての特徴のそれぞれの次元をＸ軸次元およびＹ軸次元からなるものにし、前記全ての特徴のそれぞれの次元がＸ軸次元およびＹ軸次元からなる第一特徴マップを前記第二特徴マップとすることを含む、
請求項１に記載の方法。
【請求項１０】
前記第二特徴マップを検出することは、
第一検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣の位置の座標を得ることと、
第二検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣に対応する信頼度を得ることと、を含む、
請求項１に記載の方法。
【請求項１１】
前記第一検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含み、
前記第二検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含む、
請求項１０に記載の方法。
【請求項１２】
前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、
予め保存された、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第一ニューラルネットワークに入力し、勾配降下法を使用して前記第一ニューラルネットワーク、前記第二ニューラルネットワーク、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練することを、さらに含み、
前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される、
請求項１、２、３、５、６、７、８、９、１０および１１のいずれか一項に記載の方法。
【請求項１３】
前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、
病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第二ニューラルネットワークに入力し、勾配降下法を使用して前記第二ニューラルネットワーク、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練することを、さらに含み、
前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される、
請求項１、２、４、７、９、１０および１１のいずれか一項に記載の方法。
【請求項１４】
複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得するための取得ユニットと、
前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップであって、前記Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成するための第一生成ユニットと、
前記第一特徴マップに含まれる特徴の次元削減を行い、Ｘ軸次元およびＹ軸次元の二次元特徴を含む第二特徴マップを生成するための第二生成ユニットと、
前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣の位置および前記位置に対応する信頼度を得るための検出ユニットと、を含む、
病巣検出装置。
【請求項１５】
ディスプレイ、メモリおよび前記メモリに結合されるプロセッサを含む病巣検出機器であって、前記ディスプレイは病巣の位置および前記位置に対応する信頼度を表示するために用いられ、前記メモリはアプリケーションプログラムコードを記憶するために用いられ、前記プロセッサは前記プログラムコードを呼び出すことによって請求項１から１３のいずれか一項に記載の病巣検出方法を実行するように構成される、
病巣検出機器。
【請求項１６】
プログラム命令を含むコンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、前記プログラム命令は、プロセッサにより実行されると、前記プロセッサに請求項１から１３のいずれか一項に記載の病巣検出方法を実行させる、
コンピュータ読取可能記憶媒体。
【請求項１７】
コンピュータ読取可能コードを含むコンピュータプログラムであって、前記コンピュータ読取可能コードは、電子機器において実行されると、前記電子機器のプロセッサに請求項１から１３のいずれか一項に記載の病巣検出方法を実現するための命令を実行させる、
コンピュータプログラム。
【国際調査報告】
2021531565.tif 000007
2021531565.tif 000008
2021531565.tif 000009
2021531565.tif 000010