(57)【要約】本願は、ニューラルネットワークの分野に関し、条件付き敵対的生成ネットワークに基づいて画像を合成する方法および関連機器を提供し、前記方法は、複数の臨床赤血球画像を取得し、各赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得することと、複数のマスクから複数の赤血球形状データを収集して訓練データセットを取得し、訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて赤血球形状データセットを作成することと、赤血球形状データセット中の各赤血球の分布データを収集することと、赤血球形状データセットを複数の赤血球画像に合成することと、を含む。本解決手段は、大量の実臨床データが不足している場合に、既存の臨床データに対してシミュレーションおよび拡張を行うことができる。【選択図】図１
2022500728.tif 000002
【特許請求の範囲】
【請求項１】
複数の臨床赤血球画像を取得し、前記各赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得することと、ここで、前記各赤血球画像は複数の赤血球を含み、同一の赤血球画像上の赤血球の形状および位置は同一であっても異なっていてもよく、
複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて、赤血球画像の合成時に赤血球の形状データを提供するための赤血球形状データセットを作成することと、
前記赤血球形状データセット中の各赤血球の分布データを収集することと、
前記赤血球形状データセットを複数の赤血球画像に合成することと、を含む、条件付き敵対的生成ネットワークに基づいて画像を合成する方法。
【請求項２】
上述した前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得することは、
赤血球形状サンプラーを呼び出して前記赤血球形状データセットから赤血球形状Siを反復的に選択することと、ここで、1≦i≦n、iは正整数であり、Siとは形状が異なり、且つ異なる位置にある赤血球を指し、
選択された赤血球形状Siをサブマスクに配置して、赤血球形状および赤血球画像における赤血球の位置を取得し、取得した赤血球形状および赤血球画像における赤血球の位置を前記マスクとすることと、
ここで、前記マスクの１つの表現式は次のとおりであり、 
{(s1,l1),(s2,l2),．．．,(sn,ln),background} 
ここで、s1、s2、…snはいずれも赤血球の形状であり、lnは１枚の赤血球画像における赤血球の位置であり、(sn,ln)は１つのサブマスクであり、nは１枚の赤血球画像における赤血球の総数であり、nは正整数であり、backgroundは赤血球画像の背景画素マップであること、を含む、請求項１に記載の方法。
【請求項３】
上述した複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて赤血球形状データセットを作成することは、
画像分割方法を用いて背景画像中の不連続な背景領域を認識し、不連続な背景領域をラベリングして分割閾値を決定することと、
エッジ検出方法を用いて、各赤血球画像領域における赤血球の細胞膜に対して、各赤血球画像領域中の単一画素点の８方向連結エッジまでのエッジ検出を行うことと、
前記分割閾値と画素点の階調値とを比較し、前記分割閾値に従って赤血球画像を画素分割して複数の赤血球画像領域を取得し、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張して、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像を取得することと、
前記２値化画像に対して、前記２値化画像中の各赤血球の内部を塗りつぶす塗りつぶし操作を実行することと、
塗りつぶされた前記２値化画像に対して、キャニーエッジ検出を行い、各赤血球の分割境界を取得することと、
ここで、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張するときに、以下の変換式を用いて、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像ｇ（ｉ,ｊ）を取得し、
2022500728.tif 000012
ここで、Tは分割閾値であり、f(i,j)は入力された赤血球画像を表し、g(i,j)は出力された赤血球画像を表すこと、を含む、請求項１または２に記載の方法。
【請求項４】
上述した前記赤血球形状データセット中の各赤血球の分布データを収集することは、
分布推定アルゴリズムを用いて、前記赤血球形状データセット中の各赤血球の位置および各赤血球中の各画素点の位置を特定することと、
確率密度関数、各赤血球の位置および各画素点の位置に基づいて、各画素点が赤血球中心として選択される事前確率をそれぞれ計算することと、
各画素点が赤血球中心として選択される事前確率と各赤血球を各赤血球に対応する尤度画像集合P(i)として生成することと、
前記尤度画像集合P(i)からiの取り得る値が大きい順に事前確率を選択し、ｉの各値における実赤血球結合状態をシミュレーションすることと、
iの各値における実赤血球結合状態をシミュレーションする時の、各赤血球の位置および各画素点の位置に基づいて、前記赤血球形状データセット中の各赤血球の分布データを算出することと、を含む、請求項１-３のいずれか一項に記載の方法。
【請求項５】
上述した前記赤血球形状データセットを複数の赤血球画像に合成することは、
前記赤血球形状データセットを生成器Ｇに入力することと、
前記生成器Ｇは、前記赤血球形状データセット中の分割マスクを複数の赤血球画像に変換して、得られた複数の赤血球画像を前記２つのマルチスケール区別器Ｄに入力することと、ここで、変換して得られた前記複数の赤血球画像は、すべてシミュレーションされたリアルな赤血球の画像であり、
前記２つのマルチスケール区別器Ｄは、前記ニューラルネットワークモデルを訓練するために、所定の時間内に実赤血球画像と合成した赤血球画像を少なくとも一回区別することと、
前記２つのマルチスケール区別器Ｄは、訓練結果を出力することと、
前記特徴エンコーダネットワークEは、前記訓練結果と前記赤血球形状データセットｘを組み合わせて、前記赤血球画像の合成スタイルを制御するための組み合わせ結果を得ることと、ここで、前記組み合わせ結果は、Ｋ平均クラスタリングアルゴリズムを用いて、前記訓練結果と前記赤血球形状データセットを複数のクラスタに生成することによって得ることができ、合成して得られた前記赤血球画像のスタイルはエンコーダEによる複数のクラスタの特徴のランダム収集によって決定され、
前記赤血球画像の合成中に、前記生成器に前記複数のマスクを入力することと、
前記生成器は、前記複数のマスクを前記赤血球画像に合成することと、を含む、請求項４に記載の方法。
【請求項６】
完全なネットワーク訓練目標は以下のとおりであり、
2022500728.tif 000013
ここで、xは前記赤血球形状データセットであり、LGAN(G,Dk)は敵対的損失であり、敵対的損失の１つの表現式は次のとおりであり、
2022500728.tif 000014
LFM(G,Dk)は、訓練結果を安定させ、マルチスケールで視覚的結果を補償するための特徴一致損失であり、特徴一致損失の１つの表現式は以下のとおりであり、
2022500728.tif 000015
LPR(G(x,E(x)),y)は知覚的再構成損失であり、知覚的再構成損失の１つの表現方法は以下のとおりである、請求項５に記載の方法。
2022500728.tif 000016
【請求項７】
複数の臨床赤血球画像を取得し、前記各赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得するための入出力モジュールと、ここで、前記各赤血球画像は複数の赤血球を含み、同一の赤血球画像上の赤血球の形状および位置は同一であっても異なっていてもよく、
前記入出力モジュールを介して複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて、赤血球画像の合成時に赤血球の形状データを提供するための赤血球形状データセットを作成し、前記入出力モジュールを介して前記赤血球形状データセット中の各赤血球の分布データを収集し、前記赤血球形状データセットを複数の赤血球画像に合成するための処理モジュールと、を含む、画像を合成するための装置。
【請求項８】
前記処理モジュールは具体的には、
前記赤血球形状サンプラーを呼び出して前記赤血球データセットから赤血球形状Siを反復的に選択することと、ここで、1≦i≦n、iは正整数であり、Siは形状が異なり、かつ異な位置にある赤血球を表し、
選択された赤血球形状Siをサブマスクに配置して、赤血球形状および赤血球画像における赤血球の位置を取得し、取得した赤血球形状および赤血球画像における赤血球の位置を前記マスクとすることと、
ここで、前記マスクの１つの表現式は次のとおりであり、 
{(s1,l1),(s2,l2),．．．,(sn,ln),background} 
ここで、s1、s2、…snはいずれも赤血球の形状であり、lnは１枚の赤血球画像における赤血球の位置であり、(sn,ln)は１つのサブマスクであり、nは１枚の赤血球画像における赤血球の総数であり、nは正整数であり、backgroundは赤血球画像の背景画素マップであること、に使用される、請求項７に記載の画像を合成するための装置。
【請求項９】
前記処理モジュールはまた、具体的には、
画像分割方法を用いて背景画像中の不連続な背景領域を認識し、不連続な背景領域をラベリングして分割閾値を決定することと、
エッジ検出方法を用いて、各赤血球画像領域における赤血球の細胞膜に対して、各赤血球画像領域中の単一画素点の８方向連結エッジまでのエッジ検出を行うことと、
前記分割閾値と画素点の階調値とを比較し、前記分割閾値に従って赤血球画像を画素分割して複数の赤血球画像領域を取得し、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張して、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像を取得することと、
前記２値化画像に対して、前記２値化画像中の各赤血球の内部を塗りつぶす塗りつぶし操作を実行することと、
塗りつぶされた前記２値化画像に対して、キャニーエッジ検出を行い、各赤血球の分割境界を取得することと、
ここで、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張するときに、以下の変換式を用いて、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像ｇ（ｉ,ｊ）を取得し、
2022500728.tif 000017
ここで、Tは分割閾値であり、f(i,j)は入力された赤血球画像を表し、g(i,j)は出力された赤血球画像を表すこと、に使用される、請求項７または８に記載の画像を合成するための装置。
【請求項１０】
前記処理モジュールはまた、具体的には、
分布推定アルゴリズムを用いて、前記赤血球形状データセット中の各赤血球の位置および各赤血球中の各画素点の位置を特定することと、
確率密度関数、各赤血球の位置および各画素点の位置に基づいて、各画素点が赤血球中心として選択される事前確率をそれぞれ計算することと、
各画素点が赤血球中心として選択される事前確率と各赤血球を各赤血球に対応する尤度画像集合P(i)として生成することと、
前記尤度画像集合P(i)からiの取り得る値が大きい順に事前確率を選択し、ｉの各値における実赤血球結合状態をシミュレーションすることと、
iの各値における実赤血球結合状態をシミュレーションする時の、各赤血球の位置および各画素点の位置に基づいて、前記赤血球形状データセット中の各赤血球の分布データを算出することと、に使用される、請求項７−９のいずれか一項に記載の画像を合成するための装置。
【請求項１１】
前記処理モジュールはまた、具体的には、
前記赤血球形状データセットを前記生成器Ｇに入力することと、
前記生成器Ｇは、前記赤血球形状データセット中の分割マスクを複数の赤血球画像に変換して、得られた複数の赤血球画像を前記２つのマルチスケール区別器Ｄに入力することと、ここで、変換して得られた前記複数の赤血球画像は、すべてシミュレーションされたリアルな赤血球の画像であり、
前記２つのマルチスケール区別器Ｄは、前記ニューラルネットワークモデルを訓練するために、所定の時間内に実赤血球画像と合成した赤血球画像を少なくとも一回区別することと、
前記２つのマルチスケール区別器Ｄは、訓練結果を出力することと、
前記特徴エンコーダネットワークEは、前記訓練結果と前記赤血球形状データセットｘを組み合わせて、前記赤血球画像の合成スタイルを制御するための組み合わせ結果を得ることと、ここで、前記組み合わせ結果は、Ｋ平均クラスタリングアルゴリズムを用いて、前記訓練結果と前記赤血球形状データセットを複数のクラスタに生成することによって得ることができ、合成して得られた前記赤血球画像のスタイルはエンコーダEによる複数のクラスタの特徴のランダム収集によって決定され、
前記赤血球画像の合成中に、前記生成器に前記複数のマスクを入力することと、
前記生成器は、前記複数のマスクを前記赤血球画像に合成することと、に使用される、請求項１０に記載の画像を合成するための装置。
【請求項１２】
前記処理モジュールはまた、具体的には、以下のように使用され、
完全なネットワーク訓練目標は以下のとおりであり、
2022500728.tif 000018
ここで、xは前記赤血球形状データセットであり、LGAN(G,Dk)は敵対的損失であり、敵対的損失の１つの表現式は次のとおりであり、
2022500728.tif 000019
LFM(G,Dk)は、訓練結果を安定させ、マルチスケールで視覚的結果を補償するための特徴一致損失であり、特徴一致損失の１つの表現式は以下のとおりであり、
2022500728.tif 000020
LPR(G(x,E(x)),y)は知覚的再構成損失であり、知覚的再構成損失の１つの表現方法は以下のとおりである、請求項１１に記載の画像を合成するための装置。
2022500728.tif 000021
【請求項１３】
メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサで実行され得るコンピュータプログラムとを含み、前記プロセッサは、前記コンピュータプログラムを実行するときに、以下のステップ、すなわち
複数の臨床赤血球画像を取得し、前記各赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得するステップと、ここで、前記各赤血球画像は複数の赤血球を含み、同一の赤血球画像上の赤血球の形状および位置は同一であっても異なっていてもよく、
複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて、赤血球画像の合成時に赤血球の形状データを提供するための赤血球形状データセットを作成するステップと、
前記赤血球形状データセット中の各赤血球の分布データを収集するステップと、
前記赤血球形状データセットを複数の赤血球画像に合成するステップと、を実行させるコンピュータ機器。
【請求項１４】
前記プロセッサは、前記コンピュータプログラムを実行することにより、上述した前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得することを実現するときに、以下のステップ、すなわち
前記赤血球形状サンプラーを呼び出して前記赤血球データセットから赤血球形状Siを反復的に選択することと、ここで、1≦i≦n、iは正整数であり、Siとは形状が異なり、且つ異なる位置にある赤血球を指し、
選択された赤血球形状Siをサブマスクに配置して、赤血球形状および赤血球画像における赤血球の位置を取得し、取得した赤血球形状および赤血球画像における赤血球の位置を前記マスクとするステップと、
ここで、前記マスクの１つの表現式は次のとおりであり、
{(s1,l1),(s2,l2),．．．,(sn,ln),background} 
ここで、s1、s2、…snはいずれも赤血球の形状であり、lnは１枚の赤血球画像における赤血球の位置であり、(sn,ln)は１つのサブマスクであり、nは１枚の赤血球画像における赤血球の総数であり、nは正整数であり、backgroundは赤血球画像の背景画素マップであること、を含む、請求項１３に記載のコンピュータ機器。
【請求項１５】
上述した複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて赤血球形状データセットを作成するときに、以下のステップ、すなわち
画像分割方法を用いて背景画像中の不連続な背景領域を認識し、不連続な背景領域をラベリングして分割閾値を決定するステップと、
エッジ検出方法を用いて、各赤血球画像領域における赤血球の細胞膜に対して、各赤血球画像領域中の単一画素点の８方向連結エッジまでのエッジ検出を行うステップと、
前記分割閾値と画素点の階調値とを比較し、前記分割閾値に従って赤血球画像を画素分割して複数の赤血球画像領域を取得し、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張して、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像を取得するステップと、
前記２値化画像に対して、前記２値化画像中の各赤血球の内部を塗りつぶす塗りつぶし操作を実行するステップと、
塗りつぶされた前記２値化画像に対して、キャニーエッジ検出を行い、各赤血球の分割境界を取得するステップと、
ここで、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張するときに、以下の変換式を用いて、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像ｇ（ｉ,ｊ）を取得し、
2022500728.tif 000022
ここで、Tは分割閾値であり、f(i,j)は入力された赤血球画像を表し、g(i,j)は出力された赤血球画像を表すこと、を含む、請求項１３または１４に記載のコンピュータ機器。
【請求項１６】
前記プロセッサは、前記コンピュータプログラムを実行することにより、上述した前記赤血球形状データセット中の各赤血球の分布データを収集することを実現するときに、以下のステップ、すなわち
分布推定アルゴリズムを用いて、前記赤血球形状データセット中の各赤血球の位置および各赤血球中の各画素点の位置を特定するステップと、
確率密度関数、各赤血球の位置および各画素点の位置に基づいて、各画素点が赤血球中心として選択される事前確率をそれぞれ計算するステップと、
各画素点が赤血球中心として選択される事前確率と各赤血球を各赤血球に対応する尤度画像集合P(i)として生成するステップと、
前記尤度画像集合P(i)からiの取り得る値が大きい順に事前確率を選択し、ｉの各値における実赤血球結合状態をシミュレーションするステップと、
iの各値における実赤血球結合状態をシミュレーションする時の、各赤血球の位置および各画素点の位置に基づいて、前記赤血球形状データセット中の各赤血球の分布データを算出するステップと、を含む、請求項１３−１５のいずれか一項に記載のコンピュータ機器。
【請求項１７】
上述した前記赤血球形状データセットを複数の赤血球画像に合成するときに、以下のステップ、すなわち
前記赤血球形状データセットを前記生成器Ｇに入力するステップと、
前記生成器Ｇは、前記赤血球形状データセット中の分割マスクを複数の赤血球画像に変換して、得られた複数の赤血球画像を前記２つのマルチスケール区別器Ｄに入力するステップと、ここで、変換して得られた前記複数の赤血球画像は、すべてシミュレーションされたリアルな赤血球の画像であり、
前記２つのマルチスケール区別器Ｄは、前記ニューラルネットワークモデルを訓練するために、所定の時間内に実赤血球画像と合成した赤血球画像を少なくとも一回区別するステップと、
前記２つのマルチスケール区別器Ｄは、訓練結果を出力するステップと、
前記特徴エンコーダネットワークEは、前記訓練結果と前記赤血球形状データセットｘを組み合わせて、前記赤血球画像の合成スタイルを制御するための組み合わせ結果を得るステップと、ここで、前記組み合わせ結果は、Ｋ平均クラスタリングアルゴリズムを用いて、前記訓練結果と前記赤血球形状データセットを複数のクラスタに生成することによって得ることができ、合成して得られた前記赤血球画像のスタイルはエンコーダEによる複数のクラスタの特徴のランダム収集によって決定され、
前記赤血球画像の合成中に、前記生成器に前記複数のマスクを入力するステップと、
前記生成器は、前記複数のマスクを前記赤血球画像に合成するステップと、を含む、請求項１６に記載のコンピュータ機器。
【請求項１８】
前記プロセッサは、前記コンピュータプログラムを実行することにより、前記完全なネットワーク訓練目標を実現するときに、以下のステップを含み、
2022500728.tif 000023
ここで、xは前記赤血球形状データセットであり、LGAN(G,Dk)は敵対的損失であり、敵対的損失の１つの表現式は次のとおりであり、
2022500728.tif 000024
LFM(G,Dk)は、訓練結果を安定させ、マルチスケールで視覚的結果を補償するための特徴一致損失であり、特徴一致損失の１つの表現式は以下のとおりであり、
2022500728.tif 000025
LPR(G(x,E(x)),y)は知覚的再構成損失であり、知覚的再構成損失の１つの表現式は以下のとおりである、請求項１７に記載のコンピュータ機器。
2022500728.tif 000026
【請求項１９】
コンピュータ命令が記憶されており、かつ、前記コンピュータ命令がコンピュータ上で実行されると、コンピュータに、以下のステップ、すなわち
複数の臨床赤血球画像を取得し、前記各赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得するステップと、ここで、前記各赤血球画像は複数の赤血球を含み、同一の赤血球画像上の赤血球の形状および位置は同一であっても異なっていてもよく、
複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて、赤血球画像の合成時に赤血球の形状データを提供するための赤血球形状データセットを作成するステップと、
前記赤血球形状データセット中の各赤血球の分布データを収集するステップと、
前記赤血球形状データセットを複数の赤血球画像に合成するステップと、を実行させる、コンピュータ読み取り可能な記憶媒体。
【請求項２０】
上述した前記コンピュータ命令がコンピュータで実行されると、コンピュータに、上述した前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得することを実行させるときに、以下のステップ、すなわち
前記赤血球形状サンプラーを呼び出して前記赤血球データセットから赤血球形状Siを反復的に選択するステップと、ここで、1≦i≦n、iは正整数であり、Siとは形状が異なり、且つ異なる位置にある赤血球を指し、
選択された赤血球形状Siをサブマスクに配置して、赤血球形状および赤血球画像における赤血球の位置を取得し、取得した赤血球形状および赤血球画像における赤血球の位置を前記マスクとするステップと、
ここで、前記マスクの１つの表現式は次のとおりであり、
{(s1,l1),(s2,l2),．．．,(sn,ln),background} 
ここで、s1、s2、…snはいずれも赤血球の形状であり、lnは１枚の赤血球画像における赤血球の位置であり、(sn,ln)は１つのサブマスクであり、nは１枚の赤血球画像における赤血球の総数であり、nは正整数であり、backgroundは赤血球画像の背景画素マップであること、を含む、請求項１９に記載のコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１９年８月１２日に中国特許局に提出された中国特許出願第２０１９１０７４１０２０.７号「条件付き敵対的生成ネットワークに基づいて画像を合成する方法および関連機器」の優先権を主張し、その内容の全体は参照により本願に組み込まれる。
【０００２】
本願は、ニューラルネットワークの分野に関連し、特に、条件付き敵対的生成ネットワークに基づいて画像を合成する方法および関連機器に関する。
【背景技術】
【０００３】
医学の分野では、大量の臨床データを収集し、臨床データを個別にラベリングし、ラベリングされた臨床データに対して深層学習を行うことが求められている。データをラベリングするには専門的な医学的知識を必要としているため、操作の制限が高い。本発明者は、臨床データを利用・共有するためには、患者、医師、病院等の複数の関係者からの承認が必要であり、実施が困難であることに気付いた。また、臨床データの深層学習の前には、異なる医療機関の臨床データに対して互換性処理やデータ変換を実行する必要があり、操作が煩雑で時間もかかってしまう。
【発明の概要】
【０００４】
本願は、条件付き敵対的生成ネットワークに基づいて画像を合成する方法および関連機器を提供し、従来技術において異なる医療機関の臨床データの処理が煩雑であるという問題を解決することができる。
【０００５】
第１の態様では、本願は、条件付き敵対的生成ネットワークに基づいて画像を合成する方法を提供し、前記方法は、
複数の臨床赤血球画像を取得し、前記各赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得することと、ここで、前記各赤血球画像は複数の赤血球を含み、同一の赤血球画像上の赤血球の形状および位置は同一であっても異なっていてもよく、
複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて、赤血球画像の合成時に赤血球の形状データを提供するための赤血球形状データセットを作成することと、
前記赤血球形状データセット中の各赤血球の分布データを収集することと、
前記赤血球形状データセットを複数の赤血球画像に合成することと、を含む。
【０００６】
第２の態様では、本願は、画像を合成するための装置を提供し、上記の第１の態様で提供された条件付き敵対的生成ネットワークに基づいて画像を合成する方法を実現する機能を備える。前記機能は、ハードウェア自体によって実装されてもよいし、ハードウェアが対応するソフトウェアを実行することによって実装されてもよい。ハードウェアまたはソフトウェアは、上記機能に対応する１つ以上のモジュールを含み、前記モジュールは、ソフトウェアおよび／またはハードウェアであってもよい。
【０００７】
可能な設計では、前記装置は、
複数の臨床赤血球画像を取得し、前記各赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得するための入出力モジュールと、ここで、前記各赤血球画像は複数の赤血球を含み、同一の赤血球画像上の赤血球の形状および位置は同一であっても異なっていてもよく、
前記入出力モジュールを介して複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて、赤血球画像の合成時に赤血球の形状データを提供するための赤血球形状データセットを作成し、前記入出力モジュールを介して前記赤血球形状データセット中の各赤血球の分布データを収集し、前記赤血球形状データセットを複数の赤血球画像に合成するための処理モジュールと、を含む。
【０００８】
本願の第３の態様は、コンピュータ機器を提供し、少なくとも１つの接続されたプロセッサと、メモリと、トランシーバとを含み、ここで、前記メモリは、プログラムコードを記憶するために使用され、前記プロセッサは、前記メモリ中のプログラムコードを呼び出して上記第１の態様に記載の方法を実行させるために使用される。
【０００９】
本願の第４の態様は、コンピュータ記憶媒体を提供し、前記記憶媒体には、コンピュータ上で実行されると、コンピュータに上記第１の態様に記載の方法を実行させるコンピュータ命令が記憶されている。
【００１０】
従来技術と比較して、本願によって提供される解決手段では、複数の臨床赤血球画像を取得し、各赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得し、かつ、複数のマスクから複数の赤血球形状データを収集して訓練データセットを取得し、訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて赤血球形状データセットを作成し、また、赤血球形状データセット中の各赤血球の分布データを収集し、なお、赤血球形状データセットを複数の赤血球画像に合成する。本解決手段により、大量の実臨床データが不足している場合に、既存の臨床データに対してシミュレーションおよび拡張を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本願の実施例における条件付き敵対的生成ネットワークに基づいて画像を合成する方法の流れを示す図である。
【図２】本願の実施例における画像を合成するための装置２０の構造を示す図である。
【図３】本願の実施例におけるコンピュータ機器の構造を示す図である。
【発明を実施するための形態】
【００１２】
ここで説明される具体的な実施例は本願を解釈するためのものに過ぎず、本願を限定するためのものではないことが理解されるべきである。本願の明細書、特許請求の範囲および上記図面における「第１」、「第２」などの用語は、類似の対象物を区別するために使用されており、特定の順序や順番を説明するために使用される必要はない。このように使用されるデータは、本明細書に記載された実施例が、本明細書に図示または記載されたものとは異なる順序で実施され得るように、適切な場合には、交換可能であることが理解されるべきである。さらに、「含む」および「備える」という用語、およびその変形は、非排他的な包含をカバーすることを意図しており、例えば、一連のステップまたはモジュールを含むプロセス、方法、システム、製品または機器は、明確に記載されたステップまたはモジュールに限定される必要はなく、明確に記載されていない他のステップまたはモジュール、またはそれらのプロセス、方法、製品または装置に固有のステップまたはモジュールを含んでもよい。本願に現れるモジュールの分割は論理的な分割に過ぎず、実際の応用では他の分割で実現することができ、例えば、複数のモジュールを別のシステムに結合したり、別のシステムに統合したり、あるいは、いくつかの特徴を無視したり、実行しなかったりすることができる。
【００１３】
本願は、条件付き敵対的生成ネットワークに基づいて画像を合成する方法、装置、機器および記憶媒体を提供し、特徴エンコーダネットワークに応用され得る。
【００１４】
上記技術的課題を解決するために、本願は主に以下の技術的解決手段を提供する。
【００１５】
条件付き敵対的生成アルゴリズム（Ｃｏｎｄｉｔｉｏｎａｌ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｓ、ＣＧＡＭ）に基づいて新たな赤血球画像を合成し、深層学習のニーズに対応したデータ拡張を実現し、新たな赤血球画像を合成するときに、合成してマスクを生成してから、生成されたマスクをリアルな画像に変換する。
【００１６】
図１を参照し、以下では本願の実施例における条件付き敵対的生成ネットワークに基づいて画像を合成する方法を説明し、前記方法は以下を含む。
【００１７】
１０１、複数の臨床赤血球画像を取得し、前記各赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得する。
【００１８】
ここで、前記各赤血球画像は複数の赤血球を含み、同一の赤血球画像上の赤血球の形状および位置は同一であっても異なっていてもよい。
【００１９】
いくつかの実施形態では、上述した前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得することは、
前記赤血球形状サンプラーを呼び出して前記赤血球データセットから赤血球形状Ｓｉを反復的に選択することと、ここで、１≦ｉ≦ｎ、かつ、ｉは正整数であり、
選択された赤血球形状Sｉをサブマスクに配置して前記マスクを取得することとを含む。
【００２０】
具体的には、形状が異なり、且つ異なる位置にある赤血球を生成してインスタンスセグメンテーションマスク、すなわち前記マスクを合成すると、赤血球形状および赤血球画像における赤血球の位置を取得し、合成後に得られたマスクの１つの表現式は次のとおりである。
2022500728.tif 000003
ここで、S1、S2、…Snはいずれも赤血球の形状であり、inは１枚の赤血球画像における赤血球の位置であり、(Sn,in)は１つのサブマスクであり、nは１枚の赤血球画像における赤血球の総数であり、nは正整数であり、backgroundは赤血球画像の背景画素マップである。
【００２１】
ここで、赤血球の形状、１枚の赤血球画像における赤血球総数、および１枚の赤血球画像における赤血球の位置は正規分布しており、正規分布の１つの表現はn〜Norm（μn,σn）であり、μnとσnは訓練セットによって決定される。
【００２２】
任意選択的に、Sｉを選択するときに、確率密度関数を用いてSｉを選択し、確率密度関数によって確率の集合を算出することができ、この確率の集合は、回転、スケーリング、水平／垂直反転などを含む赤血球の外観を豊かにするなど、赤血球形状Sｉの外観特徴を向上させるために使用される。
【００２３】
１０２、複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて赤血球形状データセットを作成する。
【００２４】
ここで、前記赤血球形状データセットは、赤血球画像を合成するときに赤血球の形状データを提供するために使用される。
【００２５】
いくつかの実施形態では、上述した複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて赤血球形状データセットを作成することは、
画像分割方法を用いて背景画像中の不連続な背景領域を認識し、不連続な背景領域をラベリングして分割閾値を決定することと、
エッジ検出方法を用いて、各赤血球画像領域における赤血球の細胞膜に対して、各赤血球画像領域中の単一画素点の８方向連結エッジまでのエッジ検出を行うことと、
前記分割閾値と画素点の階調値とを比較し、前記分割閾値に従って赤血球画像を画素分割して複数の赤血球画像領域を取得し、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張して、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像を取得することと、
前記２値化画像に対して、前記２値化画像中の各赤血球の内部を塗りつぶす塗りつぶし操作を実行することと、
塗りつぶされた前記２値化画像に対して、キャニーエッジ検出を行い、各赤血球の分割境界（輪郭とも呼ばれる）を取得することと、を含む。
【００２６】
ここで、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張するときに、以下の変換式を用いて、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像を取得する。
2022500728.tif 000004
ここで、Tは分割閾値であり、f(i,j)は入力された赤血球画像を表し、g(i,j)は出力された赤血球画像を表す。赤血球画像を分割するときに、赤血球領域の画素点の場合は、g(i,j)=1、背景領域の画素点の場合は、g(i,j)=0。
【００２７】
任意選択的に、全赤血球の分割境界を抽出して大きさを判定してもよく、分割境界が所定の閾値未満である場合には、分割境界が所定の閾値未満である赤血球を赤血球ではないと判定する。
【００２８】
このように、中間赤血球の内部を塗りつぶすことで、内部赤血球の二重エッジの出現を回避することができ、前記２値化画像における各赤血球の内部を塗りつぶすことで、内部赤血球の二重エッジの出現を回避することができる。
【００２９】
１０３、前記赤血球形状データセット中の各赤血球の分布データを収集する。
【００３０】
いくつかの実施形態では、分布推定アルゴリズムを用いて、それぞれ２次元離散空間の確率密度関数で、キャンバス中の各赤血球の位置を収集することもできる。
【００３１】
具体的には、上述した前記赤血球形状データセット中の各赤血球の分布データを収集することは、
分布推定アルゴリズムを用いて、前記赤血球形状データセット中の各赤血球の位置および各赤血球中の各画素点の位置を特定することと、
確率密度関数、各赤血球の位置および各画素点の位置に基づいて、各画素点が赤血球中心として選択される事前確率をそれぞれ計算することと、
各画素点が赤血球中心として選択される事前確率と各赤血球を各赤血球に対応する尤度画像集合P(i)として生成することと、
前記尤度画像集合P(i)から、iの取り得る値が大きい順に事前確率を選択し、iの各値における実赤血球結合状態をシミュレーションすることと、
i  の各値における実赤血球結合状態をシミュレーションする時の、各赤血球の位置および各画素点の位置に基づいて、前記赤血球形状データセット中の各赤血球の分布データを算出することと、を含む。
【００３２】
任意選択的に、確率密度関数は尤度画像集合P(i)で表され、尤度画像集合P(i)からｉ番目の赤血球の位置ｌｉを収集する式は次のとおりである。
2022500728.tif 000005
ここで、P(i)中の各画素の値は、ステップiで赤血球中心として選択される事前確率である。P(i)では最初のｎｉｎｉｔ細胞が抽出された時は統一であるが、iが大きくなるにつれ、P(i)の形態が変化し、式（２）によりiの取り得る値の小さい順に、P(i)から形態の異なる赤血球の位置ｌｉを一度抽出することで、P(i)から赤血球を抽出する全過程は、実赤血球結合状態をシミュレーションすることができる。いくつかの実施形態では、マルコフ確率過程を用いてP(i)の自然進化をシミュレーションしてもよく、１つの表現式は次のとおりである。
2022500728.tif 000006
ここで、励起関数ｚ（ｌｉ）は、採集された細胞中心ｌｉを中心に、２次元ガウス関数（σ＝σｘ＝σｙ）に従って計算される。このステップの目的は、既に赤血球が割り当てられている境界の可能性を低減することにより、赤血球の重複を防止することである。増分の量は、標準係数ａｉ （ａｉ＝１／ｉ）に依存する。任意の時点で、P(i)の和は１である。
【００３３】
実際には、合成マスクで赤血球の位置を特定するときに、赤細胞は常に合成マスクのキャンバス上にあるので、接触している赤細胞の色が異なるように色を与えることができ、この条件を満たすことができない場合には、座標収集処理を繰り返すことになる。接触している各赤血球の色が異なっているので、生成された合成マスクは、各赤血球を抽出する尤度を有するインスタンスセグメンテーションマスクと見なしてもよい。
【００３４】
１０４、前記赤血球形状データセットを複数の赤血球画像に合成する。
【００３５】
本願では、前記特徴エンコーダネットワークEに、赤血球画像を生成するための生成器Ｇと、２つのマルチスケール区別器（Ｄ１およびＤ２と略される）とが設けられている。
【００３６】
いくつかの実施形態では、上述した前記赤血球形状データセットを複数の赤血球画像に合成することは、
前記赤血球形状データセットを前記生成器Ｇに入力することと、
前記生成器Ｇは、前記赤血球形状データセット中の分割マスクを複数の赤血球画像に変換して、得られた複数の赤血球画像を前記２つのマルチスケール区別器Ｄに入力することと、ここで、変換して得られた前記複数の赤血球画像は、すべてシミュレーションされたリアルな赤血球の画像であり、
前記２つのマルチスケール区別器Ｄは、前記ニューラルネットワークモデルを訓練するために、所定の時間内に実赤血球画像と合成した赤血球画像を少なくとも一回区別することと、
前記２つのマルチスケール区別器Ｄは、訓練結果を出力することと、
前記特徴エンコーダネットワークEは、前記訓練結果と前記赤血球形状データセットｘを組み合わせて、前記赤血球画像の合成スタイルを制御するための組み合わせ結果を得ることと、
前記赤血球画像の合成中に、前記生成器に前記複数のマスクを入力することと、
前記生成器は、前記複数のマスクを前記赤血球画像に合成することと、を含み、
ここで、前記組み合わせ結果は、Ｋ平均クラスタリングアルゴリズムを用いて、前記訓練結果と前記赤血球形状データセットを複数のクラスタ、例えば１０のクラスタに生成することによって得られ、合成して得られた前記赤血球画像のスタイルはエンコーダEによる前記複数のクラスタの特徴のランダム収集によって決定される。
【００３７】
いくつかの実施形態では、完全なネットワーク訓練目標は次のとおりである。
2022500728.tif 000007
ここで、ｘは前記赤血球形状データセットであり、ＬＧＡＮ（Ｇ, Ｄｋ）は敵対的損失であり、敵対的損失の１つの表現式は次のとおりである。
2022500728.tif 000008
ＬＦＭ（Ｇ;Ｄｋ）は、訓練結果を安定させ、マルチスケールでより良い視覚的結果を生成するための特徴一致損失である。特徴一致損失の１つの表現式は次のとおりである。
2022500728.tif 000009
ＬＰＲ（Ｇ（ｘ）; ｙ）は、合成画像品質の表現をさらに向上させるための知覚再構成損失である。知覚再構成損失の１つの表現式は次のとおりである。
2022500728.tif 000010
既存の技術と比較して、本願の実施例では、大量の実臨床データが不足している場合にも、既存の臨床データをシミュレーションおよび拡張することによって、リアルな臨床データを生成し、さらにシミュレーションおよび拡張した後の臨床データに基づいて深層学習を行い、それによって、異なるデータソースのフォーマット互換性の制限を破り、深層学習のニーズを満たすことができる。
【００３８】
上記図１に対応する実施例または実施形態で言及された技術的特徴は、本願の図２および図３に対応する実施例にも同様に適用可能であり、その後の類似点は省略される。
【００３９】
以上は、本願に係る条件付き敵対的生成ネットワークに基づいて画像を合成する方法を説明したが、以下は、上記条件付き敵対的生成ネットワークに基づいて画像を合成する方法の実行について説明する。
【００４０】
図２は、画像を合成するための装置２０の構造を示す図であり、赤血球画像を認識するために応用され得る。本願の実施例における装置２０は、上記図１に対応する実施例で実行された、条件付き敵対的生成ネットワークに基づいて画像を合成する方法のステップを実現することができる。装置２０の機能は、ハードウェア自体によって実装されてもよいし、ハードウェアが対応するソフトウェアを実行することによって実装されてもよい。ハードウェアまたはソフトウェアは、上記機能に対応する１つ以上のモジュールを含み、前記モジュールは、ソフトウェアおよび／またはハードウェアであってもよい。前記装置２０は、入出力モジュール２０１および処理モジュール２０２を含んでもよく、前記処理モジュール２０２および入出力モジュール２０１の機能実現は、図１に対応する実施例で実行される操作を参照してよく、ここでは繰り返して説明しない。前記処理モジュール２０２は、前記入出力モジュール２０１の入出力または送受信操作を制御するために使用されてもよい。
【００４１】
いくつかの実施形態では、前記入出力モジュール２０１は、複数の臨床赤血球画像を取得し、前記各赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得するために使用されてもよいが、ここで、前記各赤血球画像は複数の赤血球を含み、同一の赤血球画像上の赤血球の形状および位置は同一であっても異なっていてもよい。
【００４２】
前記処理モジュール２０２は、前記入出力モジュールを介して複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて、赤血球画像の合成に赤血球の形状データを提供するための赤血球形状データセットを作成し、前記入出力モジュールを介して前記赤血球形状データセット中の各赤血球の分布データを収集し、前記赤血球形状データセットを複数の赤血球画像に合成するために使用されてもよい。
【００４３】
いくつかの実施形態では、前記処理モジュールは、具体的には、
前記赤血球形状サンプラーを呼び出して前記赤血球データセットから赤血球形状Siを反復的に選択することと、ここで、1≦i≦n、iは正整数であり、Siとは形状が異なり、且つ異なる位置にある赤血球を指し、
選択された赤血球形状Siをサブマスクに配置して、赤血球形状および赤血球画像における赤血球の位置を取得し、取得した赤血球形状および赤血球画像における赤血球の位置を前記マスクとすることと、に使用され、
ここで、前記マスクの１つの表現式は次のとおりである。
{(s1,l1),(s2,l2),．．．,(sn,ln),background} 
ここで、s1、s2、…snはいずれも赤血球の形状であり、lnは１枚の赤血球画像における赤血球の位置であり、(sn,ln)は１つのサブマスクであり、nは１枚の赤血球画像における赤血球の総数であり、nは正整数であり、backgroundは赤血球画像の背景画素マップである。
【００４４】
いくつかの実施形態では、前記処理モジュールは、具体的には、
画像分割方法を用いて背景画像中の不連続な背景領域を認識し、不連続な背景領域をラベリングして分割閾値を決定することと、
エッジ検出方法を用いて、各赤血球画像領域における赤血球の細胞膜に対して、各赤血球画像領域中の単一画素点の８方向連結エッジまでのエッジ検出を行うことと、
前記分割閾値と画素点の階調値とを比較し、前記分割閾値に従って赤血球画像を画素分割して複数の赤血球画像領域を取得し、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張して、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像を取得することと、
前記２値化画像に対して、前記２値化画像中の各赤血球の内部を塗りつぶす塗りつぶし操作を実行することと、
塗りつぶされた前記２値化画像に対して、キャニーエッジ検出を行い、各赤血球の分割境界を取得することと、に使用され、
ここで、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張するときに、以下の変換式を用いて、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像ｇ（ｉ,ｊ）を取得し、
2022500728.tif 000011
ここで、Tは分割閾値であり、f(i,j)は入力された赤血球画像を表し、g(i,j)は出力された赤血球画像を表す。
【００４５】
いくつかの実施形態では、前記処理モジュールは、具体的には、
分布推定アルゴリズムを用いて、前記赤血球形状データセット中の各赤血球の位置および各赤血球中の各画素点の位置を特定することと、
確率密度関数、各赤血球の位置および各画素点の位置に基づいて、各画素点が赤血球中心として選択される事前確率をそれぞれ計算することと、
各画素点が赤血球中心として選択される事前確率と各赤血球を各赤血球に対応する尤度画像集合P(i)として生成することと、
前記尤度画像集合P(i)から、ｉの取り得る値が大きい順に事前確率を選択し、ｉの各値における実赤血球結合状態をシミュレーションすることと、
i  の各値における実赤血球結合状態をシミュレーションする時の、各赤血球の位置および各画素点の位置に基づいて、前記赤血球形状データセット中の各赤血球の分布データを算出することと、に使用される。
【００４６】
いくつかの実施形態では、前記処理モジュールは、具体的には、
前記赤血球形状データセットを前記生成器Ｇに入力することと、
前記生成器Ｇは、前記赤血球形状データセット中の分割マスクを複数の赤血球画像に変換して、得られた複数の赤血球画像を前記２つのマルチスケール区別器Ｄに入力することと、ここで、変換して得られた前記複数の赤血球画像は、すべてシミュレーションされたリアルな赤血球の画像であり、
前記２つのマルチスケール区別器Ｄは、前記ニューラルネットワークモデルを訓練するために、所定の時間内に実赤血球画像と合成した赤血球画像を少なくとも一回区別することと、
前記２つのマルチスケール区別器Ｄは、訓練結果を出力することと、
前記特徴エンコーダネットワークEは、前記訓練結果と前記赤血球形状データセットｘを組み合わせて、前記赤血球画像の合成スタイルを制御するための組み合わせ結果を得ることと、ここで、前記組み合わせ結果は、Ｋ平均クラスタリングアルゴリズムを用いて、前記訓練結果と前記赤血球形状データセットを複数のクラスタに生成することによって得ることができ、合成して得られた前記赤血球画像のスタイルはエンコーダEによる複数のクラスタの特徴のランダム収集によって決定され、
前記赤血球画像の合成中に、前記入出力モジュールを介して前記生成器に前記複数のマスクを入力することと、
前記生成器は、前記複数のマスクを前記赤血球画像に合成することと、に使用される。
【００４７】
図２に示す入出力モジュール２０１に対応する物理的機器は、図３に示す入出力ユニットであり、当該入出力ユニットは、取得モジュール１の機能の一部または全部を実現でき、または入出力モジュール２０１と同一または類似の機能を実現できる。
【００４８】
図２に示す処理モジュール２０２に対する物理的機器は、図３に示すプロセッサであり、当該プロセッサは、処理モジュール２０２の機能の一部または全部を実現でき、または処理モジュール２０２と同一または類似の機能を実現できる。
【００４９】
以上は、モジュール化した機能実体の観点から本願の実施例における装置２０をそれぞれ説明したが、以下は、ハードウェアの観点からコンピュータ機器を説明し、図３に示すように、前記コンピュータ機器は、プロセッサと、メモリと、トランシーバ（つまり、入出力ユニットであってもよく、図３で図示せず）と、前記メモリに記憶され、前記プロセッサで実行され得るコンピュータプログラムと、を含む。例えば、当該コンピュータプログラムは、図１に対応する実施例における条件付き敵対的生成ネットワークに基づいて画像を合成する方法に対応するプログラムであってもよい。例えば、コンピュータ機器が図２に示す装置２０の機能を実現する場合、前記コンピュータプログラムを実行するときの前記プロセッサは、上記図２に対応する実施例において装置２０によって実行される、条件付き敵対的生成ネットワークに基づいて画像を合成する方法中の各ステップを実現し、または、前記コンピュータプログラムを実行するときの前記プロセッサは、上記図２に対応する実施例の装置２０における各モジュールの機能を実現する。または、例えば、当該コンピュータプログラムは、図１に対応する実施例における条件付き敵対的生成ネットワークに基づいて画像を合成する方法に対応するプログラムであってもよい。
【００５０】
本願はさらに、コンピュータ読み取り可能な記憶媒体を提供し、このコンピュータ読み取り可能な記憶媒体は、不揮発性のコンピュータ読み取り可能な記憶媒体であってもよく、揮発性のコンピュータ読み取り可能な記憶媒体であってもい。コンピュータ読み取り可能な記憶媒体にはコンピュータ命令が記憶されており、前記コンピュータ命令がコンピュータ上で実行されると、コンピュータに以下のステップ、すなわち
複数の臨床赤血球画像を取得し、前記各赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得することと、ここで、前記各赤血球画像は複数の赤血球を含み、同一の赤血球画像上の赤血球の形状および位置は同一であっても異なっていてもよく、
複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて、赤血球画像の合成に赤血球の形状データを提供するための赤血球形状データセットを作成するステップと、
前記赤血球形状データセット中の各赤血球の分布データを収集するステップと、
前記赤血球形状データセットを複数の赤血球画像に合成するステップと、を実行させる。
【００５１】
以上の実施形態の説明から、上記実施形態の方法は、ソフトウェアと必要な汎用ハードウェアプラットフォームによって実現されてもよく、またはもちろんハードウェア自体によって実現されてもよいが、多くの場合、前者の方がより好ましい実施形態であることは、当業者にとって明らかであろう。この理解に基づいて、本質的にまたはむしろ先行技術に貢献する本願の技術的解決手段は、記憶媒体（例えばＲＯＭ／ＲＡＭ）に格納されたソフトウェア製品の形態で具現化されてもよく、当該ソフトウェア製品は、端末（携帯電話、コンピュータ、サーバまたはネットワーク装置などであってよい）に本願の様々な実施例に記載された方法を実行させるための複数の命令を含んでいる。
【００５２】
図面と組み合わせて本願の実施例について説明したが、本願は、上記の具体的な実施形態に限定されるものではなく、上記の具体的な実施形態は、例示にすぎず、限定するものではない。本願の目的および特許請求の範囲によって保護される範囲から逸脱することなく、本願の示唆の上で、当業者によって多くの形態を作ることができ、本願の明細書および図面の内容を使用して作られた、または他の関連する技術分野に直接または間接的に適用された、任意の同等の構造または同等のプロセス変換、これらのすべてが本願の保護の範囲内に属すべきである。
【図１】
2022500728.tif 000027
【図２】
2022500728.tif 000028
【図３】
2022500728.tif 000029
【国際調査報告】
2022500728.tif 000030
2022500728.tif 000031
2022500728.tif 000032
2022500728.tif 000033
2022500728.tif 000034