(57)【要約】  本出願は画像処理の技術分野に関し、特に標的細胞標識方法に関するものであり、オリジナルスキャン画像を取得し、オリジナルスキャン画像のオリジナル画像フォーマットを確定して、オリジナルスキャン画像を予め設定された画像フォーマットの第１画像に変換するステップと、予め設定されたカット方法によって第１画像を複数の画像ブロックにカットして、各画像ブロックの第１画像における配列位置を記録するステップと、各画像ブロックをそれぞれ予め設定されたディープラーニング検出モデルに入力し、ディープラーニング検出モデルから出力された各画像ブロックにおける標的細胞の第１位置情報を得るステップと、各第１位置情報及び対応する配列位置により、各標的細胞の第１画像における第２位置情報を確定するステップと、配列位置に従って各画像ブロックに対して統合処理を行い、第２位置情報に基づいて、統合された第２画像において各標的細胞を標識するステップと、標的細胞の標識が行われた第２画像をオリジナル画像フォーマットの第３画像に変換して、第３画像を表示するステップと、を含む。
2021532459.tif 000002
【特許請求の範囲】
【請求項１】
画像に基づく標的細胞標識方法であって、
オリジナルスキャン画像を取得し、前記オリジナルスキャン画像のオリジナル画像フォーマットを確定して、前記オリジナルスキャン画像を予め設定された画像フォーマットの第１画像に変換するステップと、
予め設定されたカット方法によって前記第１画像を複数の画像ブロックにカットして、各画像ブロックの前記第１画像における配列位置を記録するステップと、
各画像ブロックをそれぞれ予め設定されたディープラーニング検出モデルに入力し、前記ディープラーニング検出モデルから出力された各画像ブロックにおける標的細胞の第１位置情報を得るステップと、
各第１位置情報及び対応する配列位置により、各標的細胞の前記第１画像における第２位置情報を確定するステップと、
前記配列位置に従って各画像ブロックに対して統合処理を行い、前記第２位置情報に基づいて、統合された第２画像において各標的細胞を標識するステップと、
標的細胞の標識が行われた第２画像を前記オリジナル画像フォーマットの第３画像に変換して、前記第３画像を表示するステップと、を含む、
ことを特徴とする標的細胞標識方法。
【請求項２】
前記の各画像ブロックをそれぞれ予め設定されたディープラーニング検出モデルに入力し、前記ディープラーニング検出モデルから出力された各画像ブロックにおける標的細胞の第１位置情報を得るステップは、
各画像ブロックをそれぞれ予め設定された分類モデルに入力し、前記分類モデルから出力された各画像ブロックの分類結果を得るステップと、
前記分類結果のうち、第１プリセット条件を満たす分類グループを確定するステップと、
前記分類グループが対応する画像ブロックを予め設定されたディープラーニング検出モデルに入力し、前記ディープラーニング検出モデルから出力された前記画像ブロックにおける標的細胞の第１位置情報を得るステップと、を含む、
ことを特徴とする請求項１に記載の標的細胞標識方法。
【請求項３】
前記の予め設定されたカット方法によって前記第１画像を複数の画像ブロックにカットするステップは、
前記第１画像の細胞分布状況及び画像サイズを取得するステップと、
前記細胞分布状況及び前記画像サイズに基づいて、前記第１画像を予め設定されたサイズの複数の画像ブロックにカットするステップと、を含む、
ことを特徴とする請求項１に記載の標的細胞標識方法。
【請求項４】
前記ディープラーニング検出モデルは、
予め設定された数のサンプル画像ブロックを選択するステップと、
各サンプル画像ブロックにおける標的細胞の状況に応じて、各サンプル画像ブロックにおける標的細胞の基準位置情報を標識するステップと、
各サンプル画像ブロックを初期のディープラーニング検出モデルに入力し、前記初期のディープラーニング検出モデルから出力された各サンプル画像ブロックにおける標的細胞のトレーニング位置情報を得るステップと、
前記トレーニング位置情報と前記基準位置情報との間の第１誤差を計算するステップと、
前記第１誤差が第２プリセット条件を満たさない場合、前記ディープラーニング検出モデルのモデルパラメータを調整し、モデルパラメータが調整されたディープラーニング検出モデルを初期のディープラーニング検出モデルとし、各サンプル画像ブロックを初期のディープラーニング検出モデルに入力するステップ及び後続のステップに戻って実行するステップと、
前記第１誤差が前記第２プリセット条件を満たす場合、前記ディープラーニング検出モデルのトレーニングが完成したと判定するステップと、によりトレーニングして得られる、
ことを特徴とする請求項１〜３のいずれか一項に記載の標的細胞標識方法。
【請求項５】
前記ディープラーニング検出モデルは、
予め設定された数のサンプル画像ブロックを選択するステップと、
各サンプル画像ブロックにおける標的細胞の状況に応じて、各サンプル画像ブロックにおける標的細胞の基準位置情報及び基準細胞タイプを標識するステップと、
各サンプル画像ブロックを初期のディープラーニング検出モデルに入力し、前記初期のディープラーニング検出モデルから出力された各サンプル画像ブロックにおける標的細胞のトレーニング位置情報及びトレーニング細胞タイプを得るステップと、
前記トレーニング位置情報と前記基準位置情報との間の第２誤差を計算し、前記トレーニング細胞タイプと前記基準細胞タイプとの間の第３誤差を計算するステップと、
前記第２誤差が第３プリセット条件を満たさない、又は前記第３誤差が第４プリセット条件を満たさない場合、前記ディープラーニング検出モデルのモデルパラメータを調整し、モデルパラメータが調整されたディープラーニング検出モデルを初期のディープラーニング検出モデルとし、各サンプル画像ブロックを初期のディープラーニング検出モデルに入力するステップ及び後続のステップに戻って実行するステップと、
前記第２誤差が前記第３プリセット条件を満たし、且つ前記第３誤差が前記第４プリセット条件を満たす場合、前記ディープラーニング検出モデルのトレーニングが完成したと判定するステップと、によりトレーニングして得られる、
ことを特徴とする請求項１〜３のいずれか一項に記載の標的細胞標識方法。
【請求項６】
前記の前記第３画像を表示するステップは、
前記第３画像における各標的細胞の細胞タイプを取得するステップと、
予め設定された対応関係に基づいて、各標的細胞の細胞タイプに対応する表示アイコン及び／又は表示色を確定するステップと、
各細胞タイプに対応する表示アイコン及び／又は表示色に従って、各標的細胞を前記第３画像に表示するステップと、を含む、
ことを特徴とする請求項５に記載の標的細胞標識方法。
【請求項７】
画像に基づく標的細胞標識装置であって、
オリジナルスキャン画像を取得し、前記オリジナルスキャン画像のオリジナル画像フォーマットを確定して、前記オリジナルスキャン画像を予め設定された画像フォーマットの第１画像に変換するためのフォーマット変換モジュールと、
予め設定されたカット方法によって前記第１画像を複数の画像ブロックにカットして、各画像ブロックの前記第１画像における配列位置を記録するための画像カットモジュールと、
各第１画像ブロックをそれぞれ予め設定されたディープラーニング検出モデルに入力し、前記ディープラーニング検出モデルから出力された各画像ブロックにおける標的細胞の第１位置情報を得るための標的細胞検出モジュールと、
各第１位置情報及び対応する配列位置により、各標的細胞の前記第１画像における第２位置情報を確定するための位置情報確定モジュールと、
前記配列位置に従って各画像ブロックに対して統合処理を行い、前記第２位置情報に基づいて、統合された第２画像において各標的細胞を標識するための標的細胞標識モジュールと、
標的細胞の標識が行われた第２画像を前記オリジナル画像フォーマットの第３画像に変換して、前記第３画像を表示するための標的細胞表示モジュールと、を含む、
ことを特徴とする標的細胞標識装置。
【請求項８】
前記標的細胞検出モジュールは、
各画像ブロックをそれぞれ予め設定された分類モデルに入力し、前記分類モデルから出力された各画像ブロックの分類結果を得るための画像ブロック分類ユニットと、
前記分類結果のうち、第１プリセット条件を満たす分類グループを確定するための分類グループ確定ユニットと、
前記分類グループが対応する画像ブロックを予め設定されたディープラーニング検出モデルに入力し、前記ディープラーニング検出モデルから出力された前記画像ブロックにおける標的細胞の第１位置情報を得るための標的細胞検出ユニットと、を含む、
ことを特徴とする請求項７に記載の標的細胞標識装置。
【請求項９】
前記画像カットモジュールは、
前記第１画像の細胞分布状況及び画像サイズを取得するための画像情報取得ユニットと、
前記細胞分布状況及び前記画像サイズに基づいて、前記第１画像を予め設定されたサイズの複数の画像ブロックにカットするための画像カットユニットと、を含む、
ことを特徴とする請求項７に記載の標的細胞標識装置。
【請求項１０】
前記標的細胞標識装置は、
予め設定された数のサンプル画像ブロックを選択するための第１サンプル画像ブロック選択モジュールと、
各サンプル画像ブロックにおける標的細胞の状況に応じて、各サンプル画像ブロックにおける標的細胞の基準位置情報を標識するための第１サンプル画像ブロック標識モジュールと、
各サンプル画像ブロックを初期のディープラーニング検出モデルに入力し、前記初期のディープラーニング検出モデルから出力された各サンプル画像ブロックにおける標的細胞のトレーニング位置情報を得るための第１トレーニング位置情報取得モジュールと、
前記トレーニング位置情報と前記基準位置情報との間の第１誤差を計算するための第１誤差計算モジュールと、
前記第１誤差が第２プリセット条件を満たさない場合、前記ディープラーニング検出モデルのモデルパラメータを調整し、モデルパラメータが調整されたディープラーニング検出モデルを初期のディープラーニング検出モデルとし、各サンプル画像ブロックを初期のディープラーニング検出モデルに入力するステップ及び後続のステップに戻って実行するための第１モデルパラメータ調整モジュールと、
前記第１誤差が前記第２プリセット条件を満たす場合、前記ディープラーニング検出モデルのトレーニングが完成したと判定するための第１トレーニング完成判定モジュールと、を更に含む、
ことを特徴とする請求項７〜９のいずれか一項に記載の標的細胞標識装置。
【請求項１１】
前記標的細胞標識装置は、
予め設定された数のサンプル画像ブロックを選択するための第２サンプル画像ブロック選択モジュールと、
各サンプル画像ブロックにおける標的細胞の状況に応じて、各サンプル画像ブロックにおける標的細胞の基準位置情報及び基準細胞タイプを標識するための第２サンプル画像ブロック標識モジュールと、
各サンプル画像ブロックを初期のディープラーニング検出モデルに入力し、前記初期のディープラーニング検出モデルから出力された各サンプル画像ブロックにおける標的細胞のトレーニング位置情報及びトレーニング細胞タイプを得るための第２トレーニング結果取得モジュールと、
前記トレーニング位置情報と前記基準位置情報との間の第２誤差を計算し、前記トレーニング細胞タイプと前記基準細胞タイプとの間の第３誤差を計算するための第２誤差計算モジュールと、
前記第２誤差が第３プリセット条件を満たさない、又は前記第３誤差が第４プリセット条件を満たさない場合、前記ディープラーニング検出モデルのモデルパラメータを調整し、モデルパラメータが調整されたディープラーニング検出モデルを初期のディープラーニング検出モデルとし、各サンプル画像ブロックを初期のディープラーニング検出モデルに入力するステップ及び後続のステップに戻って実行するための第２モデルパラメータ調整モジュールと、
前記第２誤差が前記第３プリセット条件を満たし、且つ前記第３誤差が前記第４プリセット条件を満たす場合、前記ディープラーニング検出モデルのトレーニングが完成したと判定するための第２トレーニング完成判定モジュールと、を更に含む、
ことを特徴とする請求項７〜９のいずれか一項に記載の標的細胞標識装置。
【請求項１２】
前記標的細胞表示モジュールは、
前記第３画像における各標的細胞の細胞タイプを取得するための細胞タイプ取得ユニットと、
予め設定された対応関係に基づいて、各標的細胞の細胞タイプに対応する表示アイコン及び／又は表示色を確定するためのアイコン色確定ユニットと、
各細胞タイプに対応する表示アイコン及び／又は表示色に従って、各標的細胞を前記第３画像に表示するための標的細胞表示ユニットと、を含む、
ことを特徴とする請求項１１に記載の標的細胞標識装置。
【請求項１３】
コンピュータ可読命令が記憶されているコンピュータ可読記憶媒体であって、
前記コンピュータ可読命令がプロセッサによって実行される時に、
オリジナルスキャン画像を取得し、前記オリジナルスキャン画像のオリジナル画像フォーマットを確定して、前記オリジナルスキャン画像を予め設定された画像フォーマットの第１画像に変換するステップと、
予め設定されたカット方法によって前記第１画像を複数の画像ブロックにカットして、各画像ブロックの前記第１画像における配列位置を記録するステップと、
各画像ブロックをそれぞれ予め設定されたディープラーニング検出モデルに入力し、前記ディープラーニング検出モデルから出力された各画像ブロックにおける標的細胞の第１位置情報を得るステップと、
各第１位置情報及び対応する配列位置により、各標的細胞の前記第１画像における第２位置情報を確定するステップと、
前記配列位置に従って各画像ブロックに対して統合処理を行い、前記第２位置情報に基づいて、統合された第２画像において各標的細胞を標識するステップと、
標的細胞の標識が行われた第２画像を前記オリジナル画像フォーマットの第３画像に変換して、前記第３画像を表示するステップと、を実現する、
ことを特徴とするコンピュータ可読記憶媒体。
【請求項１４】
前記の各画像ブロックをそれぞれ予め設定されたディープラーニング検出モデルに入力し、前記ディープラーニング検出モデルから出力された各画像ブロックにおける標的細胞の第１位置情報を得るステップは、
各画像ブロックをそれぞれ予め設定された分類モデルに入力し、前記分類モデルから出力された各画像ブロックの分類結果を得るステップと、
前記分類結果のうち、第１プリセット条件を満たす分類グループを確定するステップと、
前記分類グループが対応する画像ブロックを予め設定されたディープラーニング検出モデルに入力し、前記ディープラーニング検出モデルから出力された前記画像ブロックにおける標的細胞の第１位置情報を得るステップと、を含む、
ことを特徴とする請求項１３に記載のコンピュータ可読記憶媒体。
【請求項１５】
メモリと、プロセッサと、前記メモリに記憶され且つ前記プロセッサ上で実行可能なコンピュータ可読命令と、を備える端末デバイスであって、
前記プロセッサは、前記コンピュータ可読命令を実行する際に、
オリジナルスキャン画像を取得し、前記オリジナルスキャン画像のオリジナル画像フォーマットを確定して、前記オリジナルスキャン画像を予め設定された画像フォーマットの第１画像に変換するステップと、
予め設定されたカット方法によって前記第１画像を複数の画像ブロックにカットして、各画像ブロックの前記第１画像における配列位置を記録するステップと、
各画像ブロックをそれぞれ予め設定されたディープラーニング検出モデルに入力し、前記ディープラーニング検出モデルから出力された各画像ブロックにおける標的細胞の第１位置情報を得るステップと、
各第１位置情報及び対応する配列位置により、各標的細胞の前記第１画像における第２位置情報を確定するステップと、
前記配列位置に従って各画像ブロックに対して統合処理を行い、前記第２位置情報に基づいて、統合された第２画像において各標的細胞を標識するステップと、
標的細胞の標識が行われた第２画像を前記オリジナル画像フォーマットの第３画像に変換して、前記第３画像を表示するステップと、を実現する、
ことを特徴とする端末デバイス。
【請求項１６】
前記の各画像ブロックをそれぞれ予め設定されたディープラーニング検出モデルに入力し、前記ディープラーニング検出モデルから出力された各画像ブロックにおける標的細胞の第１位置情報を得るステップは、
各画像ブロックをそれぞれ予め設定された分類モデルに入力し、前記分類モデルから出力された各画像ブロックの分類結果を得るステップと、
前記分類結果のうち、第１プリセット条件を満たす分類グループを確定するステップと、
前記分類グループが対応する画像ブロックを予め設定されたディープラーニング検出モデルに入力し、前記ディープラーニング検出モデルから出力された各画像ブロックにおける標的細胞の第１位置情報を得るステップと、を含む、
ことを特徴とする請求項１５に記載の端末デバイス。
【請求項１７】
前記の予め設定されたカット方法によって前記第１画像を複数の画像ブロックにカットするステップは、
前記第１画像の細胞分布状況及び画像サイズを取得するステップと、
前記細胞分布状況及び前記画像サイズに基づいて、前記第１画像を予め設定されたサイズの複数の画像ブロックにカットするステップと、を含む、
ことを特徴とする請求項１５に記載の端末デバイス。
【請求項１８】
前記ディープラーニング検出モデルは、
予め設定された数のサンプル画像ブロックを選択するステップと、
各サンプル画像ブロックにおける標的細胞の状況に応じて、各サンプル画像ブロックにおける標的細胞の基準位置情報を標識するステップと、
各サンプル画像ブロックを初期のディープラーニング検出モデルに入力し、前記初期のディープラーニング検出モデルから出力された各サンプル画像ブロックにおける標的細胞のトレーニング位置情報を得るステップと、
前記トレーニング位置情報と前記基準位置情報との間の第１誤差を計算するステップと、
前記第１誤差が第２プリセット条件を満たさない場合、前記ディープラーニング検出モデルのモデルパラメータを調整し、モデルパラメータが調整されたディープラーニング検出モデルを初期のディープラーニング検出モデルとし、各サンプル画像ブロックを初期のディープラーニング検出モデルに入力するステップ及び後続のステップに戻って実行するステップと、
前記第１誤差が前記第２プリセット条件を満たす場合、前記ディープラーニング検出モデルのトレーニングが完成したと判定するステップと、によりトレーニングして得られる、
ことを特徴とする請求項１５〜１７のいずれか一項に記載の端末デバイス。
【請求項１９】
前記ディープラーニング検出モデルは、
予め設定された数のサンプル画像ブロックを選択するステップと、
各サンプル画像ブロックにおける標的細胞の状況に応じて、各サンプル画像ブロックにおける標的細胞の基準位置情報及び基準細胞タイプを標識するステップと、
各サンプル画像ブロックを初期のディープラーニング検出モデルに入力し、前記初期のディープラーニング検出モデルから出力された各サンプル画像ブロックにおける標的細胞のトレーニング位置情報及びトレーニング細胞タイプを得るステップと、
前記トレーニング位置情報と前記基準位置情報との間の第２誤差を計算し、前記トレーニング細胞タイプと前記基準細胞タイプとの間の第３誤差を計算するステップと、
前記第２誤差が第３プリセット条件を満たさない、又は前記第３誤差が第４プリセット条件を満たさない場合、前記ディープラーニング検出モデルのモデルパラメータを調整し、モデルパラメータが調整されたディープラーニング検出モデルを初期のディープラーニング検出モデルとし、各サンプル画像ブロックを初期のディープラーニング検出モデルに入力するステップ及び後続のステップに戻って実行するステップと、
前記第２誤差が前記第３プリセット条件を満たし、且つ前記第３誤差が前記第４プリセット条件を満たす場合、前記ディープラーニング検出モデルのトレーニングが完成したと判定するステップと、によりトレーニングして得られる、
ことを特徴とする請求項１５〜１７のいずれか一項に記載の端末デバイス。
【請求項２０】
前記の前記第３画像を表示するステップは、
前記第３画像における各標的細胞の細胞タイプを取得するステップと、
予め設定された対応関係に基づいて、各標的細胞の細胞タイプに対応する表示アイコン及び／又は表示色を確定するステップと、
各細胞タイプに対応する表示アイコン及び／又は表示色に従って、各標的細胞を前記第３画像に表示するステップと、を含む、
ことを特徴とする請求項１９に記載の端末デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２０１９年０１月２４日に中国特許庁に提出された、出願番号が２０１９１００６６２７８．１で、発明名称が「標的細胞標識方法、装置、記憶媒体及び端末デバイス」である中国特許出願の優先権を主張し、その全内容を引用により本出願に組み込んでいる。
【０００２】
本出願は画像処理の技術分野に関し、特に画像に基づく標的細胞標識方法、装置、コンピュータ可読記憶媒体及び端末デバイスに関する。
【背景技術】
【０００３】
標的細胞の検出と標識は生物学と医学の領域で非常に重要な役割を演じており、関連者の細胞分析や研究などに協力することができる。従来の標的細胞の検出と標識は通常、人工的に細胞に対して細胞質又は細胞核の分割を行うことによって実現し、或いは簡単な特徴抽出に基づく画像処理アルゴリズムによって標的細胞の検出と標識を行う。
【０００４】
細胞分割による標的細胞の検出標識方法は手間がかかるだけでなく、読み手の主観的な判定にも依存している。それに対して、簡単な特徴抽出に基づく画像処理アルゴリズムは特定の画像フォーマットの小さい画像への細胞検出と標識にしか適用できず、画像処理フォーマットが限られているだけでなく、比較的に大きい画像に対して標的細胞の検出と標識を行う時、標的細胞の検出と標識の漏れ或いは不完全を引き起こしやすく、標的細胞の全面的な検出と標識を実現することができず、標的細胞の検出と標識の正確性と確実性を大幅に低下させた。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本出願の実施例は、画像フォーマットが異なる比較的大きい画像に対して標的細胞の自動検出と標識が可能であり、標的細胞の検出漏れを回避し、標的細胞の検出と標識の全面性を確保するとともに、検出結果の可視化を実現し、読み手の主観に対する依存を低減することができ、標的細胞の検出と標識の正確性及び確実性を向上させる画像に基づく標的細胞標識方法、装置、コンピュータ可読記憶媒体、および端末デバイスを提供する。
【課題を解決するための手段】
【０００６】
本出願の実施例の第１の態様は、
オリジナルスキャン画像を取得し、前記オリジナルスキャン画像のオリジナル画像フォーマットを確定して、前記オリジナルスキャン画像を予め設定された画像フォーマットの第１画像に変換するステップと、
予め設定されたカット方法によって前記第１画像を複数の画像ブロックにカットして、各画像ブロックの前記第１画像における配列位置を記録するステップと、
各画像ブロックをそれぞれ予め設定されたディープラーニング検出モデルに入力して、前記ディープラーニング検出モデルから出力された各画像ブロックにおける標的細胞の第１位置情報を得るステップと、
各第１位置情報及び対応する配列位置により、各標的細胞の前記第１画像における第２位置情報を確定するステップと、
前記配列位置に従って各画像ブロックに対して統合処理を行い、前記第２位置情報に基づいて、統合された第２画像において各標的細胞を標識するステップと、
標的細胞の標識が行われた第２画像を前記オリジナル画像フォーマットの第３画像に変換して、前記第３画像を表示するステップと、を含む画像に基づく標的細胞標識方法を提供する。
【０００７】
本出願の実施例の第２の態様は、
オリジナルスキャン画像を取得し、前記オリジナルスキャン画像のオリジナル画像フォーマットを確定して、前記オリジナルスキャン画像を予め設定された画像フォーマットの第１画像に変換するためのフォーマット変換モジュールと、
予め設定されたカット方法によって前記第１画像を複数の画像ブロックにカットして、各画像ブロックの前記第１画像における配列位置を記録するための画像カットモジュールと、
各第１画像ブロックをそれぞれ予め設定されたディープラーニング検出モデルに入力して、前記ディープラーニング検出モデルから出力された各画像ブロックにおける標的細胞の第１位置情報を得るための標的細胞検出モジュールと、
各第１位置情報及び対応する配列位置により、各標的細胞の前記第１画像における第２位置情報を確定するための位置情報確定モジュールと、
前記配列位置に従って各画像ブロックに対して統合処理を行い、前記第２位置情報に基づいて、統合された第２画像において各標的細胞を標識するための標的細胞標識モジュールと、
標的細胞の標識が行われた第２画像を前記オリジナル画像フォーマットの第３画像に変換して、前記第３画像を表示するための標的細胞表示モジュールと、を含む画像に基づく標的細胞標識装置を提供する。
【０００８】
本出願の実施例の第３態様は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体にはコンピュータ可読命令が記憶され、前記コンピュータ可読命令がプロセッサによって実行されると、上記の第１の態様に記載の画像に基づく標的細胞標識方法のステップを実現する。
【０００９】
本出願の実施例の第４の態様は、メモリと、プロセッサと、前記メモリに記憶され、プロセッサ上で実行可能なコンピュータ可読命令と、を備える端末デバイスを更に提供し、前記プロセッサは、前記コンピュータ可読命令を実行する際に、
オリジナルスキャン画像を取得し、前記オリジナルスキャン画像のオリジナル画像フォーマットを確定して、前記オリジナルスキャン画像を予め設定された画像フォーマットの第１画像に変換するステップと、
予め設定されたカット方法によって前記第１画像を複数の画像ブロックにカットして、各画像ブロックの前記第１画像における配列位置を記録するステップと、
各第１画像ブロックをそれぞれ予め設定されたディープラーニング検出モデルに入力し、前記ディープラーニング検出モデルから出力された各画像ブロックにおける標的細胞の第１位置情報を得るステップと、
各第１位置情報及び対応する配列位置により、各標的細胞の前記第１画像における第２位置情報を確定するステップと、
前記配列位置に従って各画像ブロックに対して統合処理を行い、前記第２位置情報に基づいて、統合された第２画像において各標的細胞を標識するステップと、
標的細胞の標識が行われた第２画像を前記オリジナル画像フォーマットの第３画像に変換して、前記第３画像を表示するステップと、を実現する。
【発明の効果】
【００１０】
本出願の実施例では、フォーマット変換、画像カット、及びディープラーニング検出モデルにより、画像フォーマットの異なる比較的に大きい画像への標的細胞の自動検出を実現することができ、検出された位置情報及びカットする時の配列位置に基づいて標的細胞を自動的に標識することができ、標的細胞の検出漏れを回避し、標的細胞の検出と標識の全面性を確保し、標的細胞の検出と標識の正確性及び確実性を向上させる一方、標識結果をフォーマット復元した後の可視化表示により、読み手の主観に対する依存を低減することができ、読み手が標的細胞の標識状況を迅速に把握することを容易にする。
【図面の簡単な説明】
【００１１】
【図１】本出願の実施例における画像に基づく標的細胞標識方法の一実施例の流れ図である。
【図２】本出願の実施例における標的細胞標識方法が１つの応用シーンにおいて標的細胞の第１位置情報を取得する流れの概略図である。
【図３】本出願の実施例における標的細胞標識方法が１つの応用シーンにおいてディープラーニング検出モデルをトレーニングする流れの概略図である。
【図４】本出願の実施例における標的細胞標識方法が１つの応用シーンにおいて標識結果を表示する流れの概略図である。
【図５】本出願の実施例における画像に基づく標的細胞標識装置の一実施例の構成図である。
【図６】本出願の実施例により提供される端末デバイスの概略図である。
【発明を実施するための形態】
【００１２】
本出願の発明の目的及び特徴をより明確かつ分かりやすくするために、以下では本出願の実施例の図面を参照しながら、本出願の実施例における技術的解決策を、明確かつ全面的に説明し、以下で説明される実施例は、本出願の実施例の一部にすぎず、本出願の実施例のすべてではないことが明らかである。本願の実施例に基づいて、当業者が創造的な労働をしないことを前提に取得した他のすべての実施例は、本出願の保護の範囲に属する。
【００１３】
図１に示すように、本出願の実施例は、画像に基づく標的細胞標識方法を提供し、前記標的細胞標識方法は以下のステップを含む。
【００１４】
ステップＳ１０１において、オリジナルスキャン画像を取得し、前記オリジナルスキャン画像のオリジナル画像フォーマットを確定して、前記オリジナルスキャン画像を予め設定された画像フォーマットの第１画像に変換する。
【００１５】
本出願の実施例では、オリジナル画像フォーマットは、「．ｓｖｓ」、「．ｋｆｂ」、「．ｎｄｐｉ」または「．ｔｉｆ」のような画像フォーマットであってもよく、オリジナルスキャン画像は、一般に、画像サイズが約２Ｇであり、ピクセルが約１０００００ｘ１０００００であってもよいフルスキャン画像である。一方、前記予め設定された画像フォーマットは、「．ｊｐｇ」又は「．ｐｎｇ」等のコンピュータによる画像解析処理が容易な画像フォーマットであってもよく、画像解析処理の速度及び効率を向上させることができる。つまり、本出願の実施例では、さまざまなスキャナでスキャンされたさまざまな画像フォーマットのオリジナルスキャン画像が取得でき、例えば、フルスキャンＴＣＴ画像を取得し、前記オリジナルスキャン画像が、「．ｓｖｓ」フォーマットのようなコンピュータによる画像解析処理が容易ではない画像フォーマットである場合には、前記オリジナルスキャン画像を予め設定された画像フォーマットの第１画像に変換することができ、例えば、前記オリジナルスキャン画像を「．ｊｐｇ」フォーマットまたは「．ｐｎｇ」フォーマットの第１画像に変換することができ、それによって、コンピュータによる画像解析処理を容易にする。
【００１６】
ステップＳ１０２において、予め設定されたカット方法によって前記第１画像を複数の画像ブロックにカットして、各画像ブロックの前記第１画像における配列位置を記録する。
【００１７】
本出願の実施例では、前記オリジナルスキャン画像をフォーマット変換して前記第１画像を得た後、まずは、設定されたカット方法に従って、例えば平置きカットの方式によって前記第１画像に対して画像カットを行って、第１画像を予め設定されたサイズの複数の画像ブロックにカットすることができ、例えば、サイズが１０２４×１０２４の複数の画像ブロックにカットして、各画像ブロックの前記第１画像における配列位置を記録することができ、例えば、各画像ブロックの前記第１画像における配置順序に従って各画像ブロックを命名することができ、これで各画像ブロックの前記第１画像における配列位置を記録する。
【００１８】
好ましくは、本出願の実施例では、予め設定されたカット方法によって前記第１画像を複数の画像ブロックにカットするステップは、以下を含むことができる。
【００１９】
ステップａにおいて、前記第１画像の細胞分布状況及び画像サイズを取得する。ステップｂにおいて、前記細胞分布状況及び前記画像サイズに基づいて、前記第１画像を予め設定されたサイズの複数の画像ブロックにカットする。
【００２０】
上記のステップａとステップｂについて、本出願の実施例では、前記第１画像に対して画像カットを行う際には、先に前記第１画像の細胞分布状況及び画像サイズを取得することができ、そして胞分布状況及び画像サイズに基づいて、カットした後の画像ブロックサイズ及びカット位置を確定することができ、確定されたカット位置及び画像ブロックサイズに応じて前記第１画像に画像カットを行うことにより、前記第１画像を予め設定されたサイズの複数の画像ブロックにカットし、前記予め設定されたサイズが確定された画像ブロックのサイズである。
【００２１】
ステップＳ１０３において、各画像ブロックをそれぞれ予め設定されたディープラーニング検出モデルに入力し、前記ディープラーニング検出モデルから出力された各画像ブロックにおける標的細胞の第１位置情報を得る。
【００２２】
理解できるように、カットして複数の画像ブロックを得た後、各画像ブロックをそれぞれ予め設定されたディープラーニング検出モデルに入力して、前記ディープラーニング検出モデルにより各標的細胞の各画像ブロックにおける第１位置情報を検出する。本出願の実施例では、各画像ブロックをそれぞれ予め設定されたディープラーニング検出モデルに入力する前に、各画像ブロックに対して最適化処理を行うこともでき、例えば、ノイズ除去、鮮鋭化、コントラスト向上などの方法によって画像認識性を向上させることができ、ディープラーニング検出モデルの検出精度を向上させる。
【００２３】
更に、図２に示すように、前記の各画像ブロックをそれぞれ予め設定されたディープラーニング検出モデルに入力し、前記ディープラーニング検出モデルから出力された各画像ブロックにおける標的細胞の第１位置情報を得るステップは、以下のステップを含むことができる。
【００２４】
ステップＳ２０１において、各画像ブロックをそれぞれ予め設定された分類モデルに入力し、前記分類モデルから出力された各画像ブロックの分類結果を得る。
【００２５】
ステップＳ２０２において、前記分類結果のうち、第１プリセット条件を満たす分類グループを確定する。
【００２６】
ステップＳ２０３において、前記分類グループが対応する画像ブロックを予め設定されたディープラーニング検出モデルに入力し、前記ディープラーニング検出モデルから出力された前記画像ブロックにおける標的細胞の第１位置情報を得る。
【００２７】
上記のステップＳ２０１乃至ステップＳ２０３について、理解できるように、前記分類モデルは、畳み込みニューラルネットワークトレーニングによって得ることができ、前記分類モデルは、画像ブロックにおける標的細胞の初歩的な判断を行うために使用されることができ、すなわち、各画像ブロック内には標的細胞が存在するかどうかを確定するために使用され、これにより標的細胞が存在している画像ブロックを見つけ出し、そして見つけ出された標的細胞が存在している画像ブロックをディープラーニング検出モデルに入力し、これでディープラーニング検出モデルにより見つけ出された画像ブロックに対して標的細胞の正確的な検出と位置決めを行って、初歩的なスクリーニングにより画像ブロックの入力数を削減し、ディープラーニング検出モデルの画像処理の負担を軽減し、これにより標的細胞検出の検出速度及び検出効率を向上させる。
【００２８】
任意選択的には、図３に示すように、１つの応用シーンでは、前記ディープラーニング検出モデルは以下のステップによりトレーニングして得ることができる。
【００２９】
ステップＳ３０１において、予め設定された数のサンプル画像ブロックを選択する。
【００３０】
ステップＳ３０２において、各サンプル画像ブロックにおける標的細胞の状況に応じて、各サンプル画像ブロックにおける標的細胞の基準位置情報を標識する。
【００３１】
ステップＳ３０３において、各サンプル画像ブロックを初期のディープラーニング検出モデルに入力し、前記初期のディープラーニング検出モデルから出力された各サンプル画像ブロックにおける標的細胞のトレーニング位置情報を得る。
【００３２】
ステップＳ３０４において、前記トレーニング位置情報と前記基準位置情報との間の第１誤差を計算する。
【００３３】
ステップＳ３０５において、前記第１誤差が第２プリセット条件を満たすかどうかを判断する。
【００３４】
ステップＳ３０６において、前記第１誤差が前記第２プリセット条件を満たす場合、前記ディープラーニング検出モデルのトレーニングが完成したと判定する。
【００３５】
ステップＳ３０７において、前記第１誤差が第２プリセット条件を満たさない場合、前記ディープラーニング検出モデルのモデルパラメータを調整し、モデルパラメータが調整されたディープラーニング検出モデルを初期のディープラーニング検出モデルとし、各サンプル画像ブロックを初期のディープラーニング検出モデルに入力するステップ及び後続のステップに戻って実行する。
【００３６】
上記のステップＳ３０１については、ディープラーニング検出モデルのトレーニングを行う前に、トレーニング用のトレーニングサンプルを予め選択しておく必要があり、すなわち、予め設定された数のサンプル画像ブロックを取得しておく必要があり、これらのサンプル画像ブロックが標的細胞を含む画像ブロックであってもよく、標的細胞を含まない画像ブロックであってもよい。理解できるように、これらのトレーニングサンプルのデータ量が大きいほど、ディープラーニング検出モデルに対するトレーニングの効果が高くなるため、本出願の実施例では、できるだけ多くのトレーニングサンプルを選択することができる。
【００３７】
上記のステップＳ３０２については、トレーニング用のサンプル画像ブロックを取得した後、各サンプル画像ブロックにおける標的細胞の分布状況に応じて、これらのサンプル画像ブロックにおける標的細胞の基準位置情報を標識する必要があり、例えば、各サンプル画像ブロックにおいて標的細胞を枠で選択することができる。
【００３８】
上記のステップＳ３０３については、これらのサンプル画像ブロックにおける標的細胞の基準位置情報を標識した後、これらのサンプル画像ブロックを初期のディープラーニング検出モデルに入力して、各サンプル画像ブロックにおける標的細胞の初期のトレーニング位置情報を得ることができ、初期時点でディープラーニング検出モデルはまだトレーニングが完成していないため、この時点で出力されるトレーニング位置情報と標識された基準位置情報との間に一定のずれや誤差が存在する。
【００３９】
上記のステップＳ３０４及びステップＳ３０５については、トレーニング位置情報を取得した後、前記トレーニング位置情報と対応する基準位置情報との間の誤差を算出し、そして、例えば誤差が５％未満であるか否かを判断することなど、第２プリセット条件を満たすかどうかを判定する。ここで、前記第２プリセット条件は、特定のディープラーニング検出モデルをトレーニングするときに確定されてもよく、例えば、誤差が特定のしきい値を下回るように第２プリセット条件を設定することができ、該特定のしきい値は、パーセンテージの数値とすることができ、このうち、特定のしきい値が小さければ小さいほど、最終的にトレーニングの完成によって得られるディープラーニング検出モデルが安定的であり、識別精度が高い。
【００４０】
上記のステップＳ３０６については、理解できるように、前記トレーニング位置情報と前記基準位置情報との間の誤差が第２プリセット条件を満たす場合、例えば、前記トレーニング位置情報と前記基準位置情報との間の誤差が５％未満である場合には、前記ディープラーニング検出モデルトレーニングが完成したと判定することができる。
【００４１】
上記のステップＳ３０７については、前記トレーニング位置情報と前記基準位置情報との間の誤差が第２プリセット条件を満たさない場合、例えば、前記トレーニング位置情報と前記基準位置情報との間の誤差が１０％である場合には、前記ディープラーニング検出モデルのモデルパラメータを調整し、モデルパラメータが調整されたディープラーニング検出モデルを初期のディープラーニング検出モデルとし、そしてサンプル画像ブロックのトレーニングをやり直すことができ、最終的なトレーニング位置情報と基準位置情報との間の誤差が第２プリセット条件を満たすまで、ディープラーニング検出モデルのモデルパラメータを繰り返して調整して、複数回のサンプル画像ブロックのトレーニングを行うことにより、次のトレーニングで出力されるトレーニング位置情報と基準位置情報との間の誤差を最小化する。
【００４２】
更に、他の応用シーンでは、前記ディープラーニング検出モデルは更に以下のステップによりトレーニングして得ることができる。ステップｃにおいて、予め設定された数のサンプル画像ブロックを選択する。ステップｄにおいて、各サンプル画像ブロックにおける標的細胞の状況に応じて、各サンプル画像ブロックにおける標的細胞の基準位置情報及び基準細胞タイプを標識するステップｅにおいて、各サンプル画像ブロックを初期のディープラーニング検出モデルに入力し、前記初期のディープラーニング検出モデルから出力された各サンプル画像ブロックにおける標的細胞のトレーニング位置情報及びトレーニング細胞タイプを得る。ステップｆにおいて、前記トレーニング位置情報と前記基準位置情報との間の第２誤差を計算し、前記トレーニング細胞タイプと前記基準細胞タイプとの間の第３誤差を計算する。ステップｇにおいて、前記第２誤差が第３プリセット条件を満たさない、又は前記第３誤差が第４プリセット条件を満たさない場合、前記ディープラーニング検出モデルのモデルパラメータを調整し、モデルパラメータが調整されたディープラーニング検出モデルを初期のディープラーニング検出モデルとし、各サンプル画像ブロックを初期のディープラーニング検出モデルに入力するステップ及び後続のステップに戻って実行する。ステップｈにおいて、前記第２誤差が前記第３プリセット条件を満たし、且つ前記第３誤差が前記第４プリセット条件を満たす場合、前記ディープラーニング検出モデルのトレーニングが完成したと判定する。
【００４３】
理解できるように、該応用シーンにおけるトレーニングステップと上記の応用シーンにおけるトレーニングステップとの違いは次の通りである。該応用シーンでは、標的細胞の細胞タイプに対するトレーニングが追加され、すなわち、該シーンでディープラーニング検出モデルのトレーニングを行う時に、各サンプル画像ブロック内の各標的細胞の細胞タイプを予め標識することができ、サンプル画像ブロックにおける標識された細胞タイプに対して識別トレーニングを行うことにより、前記ディープラーニング検出モデルをトレーニングし、トレーニングが完成したディープラーニング検出モデルが各画像ブロックにおける標的細胞の細胞タイプを検出できるようにする。
【００４４】
説明が必要なのは、検出された標的細胞が異常細胞である場合、ディープラーニング検出モデルのトレーニングに、異常細胞の異常タイプ及び異常レベルのトレーニングを更に追加することができ、それによって、トレーニングが完成したディープラーニング検出モデルが、各画像ブロックにおける異常細胞の位置情報及び細胞タイプだけでなく、異常細胞の異常タイプ及び異常レベルを検出することもできるようにすることである。このうち、細胞タイプ、異常タイプおよび異常レベルの識別トレーニングは位置情報の識別トレーニングと基本原理が同じであり、簡明のため、ここでは再び説明しない。
【００４５】
ステップＳ１０４において、各第１位置情報及び対応する配列位置により、各標的細胞の前記第１画像における第２位置情報を確定する。
【００４６】
理解できるように、前記第１位置情報は、各画像ブロックにおける各標的細胞の位置情報であるので、各標的細胞のオリジナルスキャン画像における具体的な位置を正確に標識するためには、各標的細胞の前記第１画像における位置情報を確定する必要がある。したがって、本出願の実施例では、各画像ブロックにおける各標的細胞の第１位置情報が得られた後、前記第１位置情報と、対応する画像ブロックの前記第１画像における配列位置とに基づいて、該画像ブロックにおける標的細胞の前記第１画像における第２位置情報を確定することができ、すなわち、各画像ブロックにおける標的細胞の前記第１画像における具体的な位置情報を確定することができる。
【００４７】
ステップＳ１０５において、前記配列位置に従って各画像ブロックに対して統合処理を行い、前記第２位置情報に基づいて、統合された第２画像において各標的細胞を標識する。
【００４８】
理解できるように、各画像ブロックにおける標的細胞の前記第１画像における位置情報を確定した後、すなわち、上記の第２位置情報が確定した後、全ての画像ブロックを、各画像ブロックの前記第１画像における配列位置に従って統合処理し、そして統合された第２画像において、各第２位置情報に基づいて、対応する標的細胞を標識することができる。ここで、統合された第２画像は、第１画像と同じであってもよい。
【００４９】
ステップＳ１０６において、標的細胞の標識が行われた第２画像を前記オリジナル画像フォーマットの第３画像に変換して、前記第３画像を表示する。
【００５０】
本出願の実施例では、統合された第２画像は、前記第１画像と同じであるため、すなわち、統合された第２画像の画像フォーマットも、前記第１画像の画像フォーマットと同じであり、関連の読み手が一般的な読み取りソフトウェアを利用して標的細胞が標識された画像を読み取ることができるように、標識された第２画像を、前記オリジナル画像フォーマットの第３画像に復元することができ、そして対応の読み取りソフトウェアに前記第３画像を表示でき、これで前記オリジナルスキャン画像における標的細胞の標識結果を直感的に表示し、読み手の主観に対する依存を低減し、読み手が見やすくなる。
【００５１】
本出願の実施例では、もちろん、標識された第２画像を他の画像フォーマットの第３画像に復元してから表示することも可能であり、このうち、復元が必要となる画像フォーマットは、関連者が使用している読み取りソフトウェアに要求される画像フォーマットに基づいて確定することができる。
【００５２】
好ましくは、図４に示すように、本出願の実施例において、前記の第３画像を表示するステップは、以下のステップを含むことができる。ステップＳ４０１において、前記第３画像における各標的細胞の細胞タイプを取得する。ステップＳ４０２において、予め設定された対応関係に基づいて、各標的細胞の細胞タイプに対応する表示アイコン及び／又は表示色を確定する。ステップＳ４０３において、各細胞タイプに対応する表示アイコン及び／又は表示色に従って、各標的細胞を前記第３画像に表示する。
【００５３】
上記のステップＳ４０１〜ステップＳ４０３については、理解できるように、本出願の実施例では、各標的細胞の細胞タイプに対応する表示アイコン及び／又は表示色を予め設定しておくことができ、すなわち、細胞タイプが表示アイコン及び／又は表示色との対応関係を予め設定しておくことができ、したがって、前記ディープラーニング検出モデルから出力された各標的細胞の細胞タイプが得られた後、予め設定された対応関係に基づいて、各細胞タイプに対応する表示アイコン及び／又は表示色を確定することができ、そして第３画像を表示する際に、各標的細胞の細胞タイプを、対応する表示アイコン及び／又は表示色により同時に表示することができるので、読み手が各標的細胞の具体的な状況を直感的に理解しやすくなる。
【００５４】
本出願の実施例では、フォーマット変換、画像カット、及びディープラーニング検出モデルにより、画像フォーマットの異なる比較的に大きい画像に対して標的細胞の自動検出を実現することができ、検出された位置情報及びカットする時の配列位置に基づいて各標的細胞を自動的に標識することができ、標的細胞の検出と標識の漏れを回避し、これで標的細胞の検出と標識の全面性を確保し、標的細胞の検出と標識の正確性及び確実性を向上させる一方、標識結果をフォーマット復元した後の可視化表示により、読み手の主観に対する依存を低減することができ、読み手が標的細胞の標識状況を迅速に把握することを容易にする。
【００５５】
上記の実施例における各ステップの番号の大きさは、実行順の前後を意味するものではなく、各プロセスの実行順は、その機能およびその内在的論理によって確定されるべきであり、本出願の実施例の実施プロセスに対する制限とみなされないことを理解されたい。
【００５６】
以上は、主に画像に基づく標的細胞標識方法について説明したが、以下では、画像に基づく標的細胞標識装置について詳細に説明する。
【００５７】
図５に示すように、本出願の実施例は、画像に基づく標的細胞標識装置を提供し、前記標的細胞標識装置は、
オリジナルスキャン画像を取得し、前記オリジナルスキャン画像のオリジナル画像フォーマットを確定して、前記オリジナルスキャン画像を予め設定された画像フォーマットの第１画像に変換するためのフォーマット変換モジュール５０１と、
予め設定されたカット方法によって前記第１画像を複数の画像ブロックにカットして、各画像ブロックの前記第１画像における配列位置を記録するための画像カットモジュール５０２と、
各第１画像ブロックをそれぞれ予め設定されたディープラーニング検出モデルに入力し、前記ディープラーニング検出モデルから出力された各画像ブロックにおける標的細胞の第１位置情報を得るための標的細胞検出モジュール５０３と、
各第１位置情報及び対応する配列位置により、各標的細胞の前記第１画像における第２位置情報を確定するための位置情報確定モジュール５０４と、
前記配列位置に従って各画像ブロックに対して統合処理を行い、前記第２位置情報に基づいて、統合された第２画像において各標的細胞を標識するための標的細胞標識モジュール５０５と、
標的細胞の標識が行われた第２画像を前記オリジナル画像フォーマットの第３画像に変換して、前記第３画像を表示するための標的細胞表示モジュール５０６と、を含む。
【００５８】
更に、前記標的細胞検出モジュール５０３は、
各画像ブロックをそれぞれ予め設定された分類モデルに入力し、前記分類モデルから出力された各画像ブロックの分類結果を得るための画像ブロック分類ユニットと、
前記分類結果のうち、第１プリセット条件を満たす分類グループを確定するための分類グループ確定ユニットと、
前記分類グループが対応する画像ブロックを予め設定されたディープラーニング検出モデルに入力し、前記ディープラーニング検出モデルから出力された前記画像ブロックにおける標的細胞の第１位置情報を得るための標的細胞検出ユニットと、を含むことができる。
【００５９】
好ましくは、前記画像カットモジュール５０２は、
前記第１画像の細胞分布状況及び画像サイズを取得するための画像情報取得ユニットと、
前記細胞分布状況及び前記画像サイズに基づいて、前記第１画像を予め設定されたサイズの複数の画像ブロックにカットするための画像カットユニットと、を含むことができる。
【００６０】
任意選択的には、前記標的細胞標識装置は、
予め設定された数のサンプル画像ブロックを選択するための第１サンプル画像ブロック選択モジュールと、
各サンプル画像ブロックにおける標的細胞の状況に応じて、各サンプル画像ブロックにおける標的細胞の基準位置情報を標識するための第１サンプル画像ブロック標識モジュールと、
各サンプル画像ブロックを初期のディープラーニング検出モデルに入力し、前記初期のディープラーニング検出モデルから出力された各サンプル画像ブロックにおける標的細胞のトレーニング位置情報を得るための第１トレーニング位置情報取得モジュールと、
前記トレーニング位置情報と前記基準位置情報との間の第１誤差を計算するための第１誤差計算モジュールと、
前記第１誤差が第２プリセット条件を満たさない場合、前記ディープラーニング検出モデルのモデルパラメータを調整し、モデルパラメータが調整されたディープラーニング検出モデルを初期のディープラーニング検出モデルとし、各サンプル画像ブロックを初期のディープラーニング検出モデルに入力するステップ及び後続のステップに戻って実行するための第１モデルパラメータ調整モジュールと、
前記第１誤差が前記第２プリセット条件を満たす場合、前記ディープラーニング検出モデルのトレーニングが完成したと判定するための第１トレーニング完成判定モジュールと、を更に含むことができる。
【００６１】
更に、前記標的細胞標識装置は、
予め設定された数のサンプル画像ブロックを選択するための第２サンプル画像ブロック選択モジュールと、
各サンプル画像ブロックにおける標的細胞の状況に応じて、各サンプル画像ブロックにおける標的細胞の基準位置情報及び基準細胞タイプを標識するための第２サンプル画像ブロック標識モジュールと、
各サンプル画像ブロックを初期のディープラーニング検出モデルに入力し、前記初期のディープラーニング検出モデルから出力された各サンプル画像ブロックにおける標的細胞のトレーニング位置情報及びトレーニング細胞タイプを得るための第２トレーニング結果取得モジュールと、
前記トレーニング位置情報と前記基準位置情報との間の第２誤差を計算し、前記トレーニング細胞タイプと前記基準細胞タイプとの間の第３誤差を計算するための第２誤差計算モジュールと、
前記第２誤差が第３プリセット条件を満たさない、又は前記第３誤差が第４プリセット条件を満たさない場合、前記ディープラーニング検出モデルのモデルパラメータを調整し、モデルパラメータが調整されたディープラーニング検出モデルを初期のディープラーニング検出モデルとし、各サンプル画像ブロックを初期のディープラーニング検出モデルに入力するステップ及び後続のステップに戻って実行するための第２モデルパラメータ調整モジュールと、
前記第２誤差が前記第３プリセット条件を満たし、且つ前記第３誤差が前記第４プリセット条件を満たす場合、前記ディープラーニング検出モデルのトレーニングが完成したと判定するための第２トレーニング完成判定モジュールと、を更に含むことができる。
【００６２】
好ましくは、前記標的細胞表示モジュール５０６は、
前記第３画像における各標的細胞の細胞タイプを取得するための細胞タイプ取得ユニットと、
予め設定された対応関係に基づいて、各標的細胞の細胞タイプに対応する表示アイコン及び／又は表示色を確定するためのアイコン色確定ユニットと、
各細胞タイプに対応する表示アイコン及び／又は表示色に従って、各標的細胞を前記第３画像に表示するための標的細胞表示ユニットと、を含むことができる。
【００６３】
図６は本出願の実施例により提供される端末デバイスの概略図である。図６に示すように、該実施例の端末デバイス６は、プロセッサ６０と、メモリ６１と、前記メモリ６１に記憶され、プロセッサ６０上で実行可能な、例えば、画像ベースの標的細胞標識プログラムのようなコンピュータ可読命令６２と、を含む。前記プロセッサ６０は、前記コンピュータ可読命令６２を実行する時に、例えば図１に示されたステップＳ１０１〜ステップＳ１０６のような、上記の画像に基づく標的細胞標識方法の各実施例におけるステップを実現する。あるいは、前記プロセッサ６０は、前記コンピュータ可読命令６２を実行する時に、例えば図５に示されたモジュール５０１〜５０６の機能のような、上記の各装置実施例におけるモジュール／ユニットの機能を実現する。
【００６４】
例示的に、前記コンピュータ可読命令６２は、１つまたは複数のモジュール／ユニットに分割されることができ、前記１つまたは複数のモジュール／ユニットは前記メモリ６１に記憶され、そしてプロセッサ６０によって実行されて本出願を完成させることができる。前記１つまたは複数のモジュール／ユニットは、特定の機能を達成することができる一連のコンピュータ可読命令セグメントであってもよく、該命令セグメントは前記コンピュータ可読命令６２の前記端末デバイス６における実行プロセスを記述するために使用される。
【００６５】
前記端末デバイス６は、デスクトップコンピュータ、ノートパソコン、ＰＤＡやクラウドサーバなどのコンピューティングデバイスであってもよい。前記端末デバイスはプロセッサ６０とメモリ６１を含んでよいが、これらに制限されるものではない。当業者であれば、図６は端末デバイス６の一例に過ぎず、端末デバイス６を制限するものではなく、図示より多くの部品又はより少ない部品を含み、又は一部の部品若しくは異なる部品を組合せてもよく、例えば前記端末デバイスは更に出入力デバイス、ネットワークアクセスデバイスやバスなどを含んでもよいことを理解できる。
【００６６】
前記プロセッサ６０は中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、ＣＰＵ）であってもよいし、他の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ、ＦＰＧＡ）または他のプログラマブルロジックデバイス、ディスクリートゲートやトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよい。汎用プロセッサはマイクロプロセサであり、または当該プロセッサは任意の従来のプロセッサなどであってもよい。
【００６７】
前記メモリ６１は、例えば端末デバイス６のハードディスクやメモリなど、前記端末デバイス６の内部記憶ユニットであってもよい。前記メモリ６１は、例えば端末デバイス６に搭載されたプラグインハードディスク、スマートメモリカード（Ｓｍａｒｔ  Ｍｅｄｉａ（登録商標）  Ｃａｒｄ、ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ、  ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ  Ｃａｒｄ）など、前記端末デバイス６の外部記憶デバイスであってもよい。更に、前記メモリ６１は、前記端末デバイス６の内部記憶ユニットと外部記憶デバイスの両方を備えてもよい。前記メモリ６１は前記コンピュータ読み取り可能な命令および前記端末デバイスに必要な他のプログラムおよびデータを記憶するために用いられる。前記メモリ６１は更に出力された、または出力しようとするデータを一時的に記憶することに使用することができる。
【００６８】
また、本出願の各実施例における各機能ユニットは、１つの処理ユニットに統合されていてもよいし、物理的に別々に存在していてもよいし、２つ以上のユニットが１つのユニットに統合されてもよい。上記の統合ユニットは、ハードウェアの形態またはソフトウェア機能ユニットの形態を用いることができる。
【００６９】
当業者は、上記の実施例の方法における全部又は一部の流れの実施が、コンピュータ可読命令により関連するハードウェアを命令することによって完成できることを理解することができる。前記コンピュータ可読命令は、不揮発性コンピュータ可読記憶媒体に記憶され、実行されるときに、上記の各方法の実施例のような流れを含むことができる。ここでは、本出願で提供される様々な実施例で使用されるメモリ、記憶装置、データベース又は他の媒体へのいかなる言及は、不揮発性及び／又は揮発性メモリを含み得る。不揮発性メモリは、読み出し専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、又はフラッシュメモリを含むことができる。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）又は外部高速キャッシュメモリを含み得る。説明のためのものであって制限的ではないが、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、エンハンストＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期リンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、及びメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）などの様々な形態で利用可能である。
【００７０】
上述した実施例は本願の技術的解決手段を記述するためのものであり、これに限定されるものではない。上記の実施例を参照しながら本願を詳細に説明したが、当業者であれば、上記の各実施例に記載された技術的解決手段を変更し、またはその技術特徴の一部を同等置換することができることを理解されたい。これらの変更や置き換えは、対応する技術的解決手段の本質を本発明の各実施例の技術的解決手段の趣旨および範囲から逸脱させない。
【符号の説明】
【００７１】
6  端末デバイス
60  プロセッサ
61  メモリ
62  コンピュータ可読命令
501  フォーマット変換モジュール
502  画像カットモジュール
503  標的細胞検出モジュール
504  位置情報確定モジュール
505  標的細胞標識モジュール
506  標的細胞表示モジュール
【図１】
2021532459.tif 000003
【図２】
2021532459.tif 000004
【図３】
2021532459.tif 000005
【図４】
2021532459.tif 000006
【図５】
2021532459.tif 000007
【図６】
2021532459.tif 000008
【国際調査報告】
2021532459.tif 000009
2021532459.tif 000010
2021532459.tif 000011
2021532459.tif 000012