(57)【要約】本願の実施例では、画像処理方法及びその装置、電子機器並びにコンピュータ可読記憶媒体を開示する。前記方法は、位置合わせされるべき画像及び位置合わせに用いられる参照画像を取得することと、前記位置合わせされるべき画像及び前記参照画像を所定のニューラルネットワークモデルに入力することであって、前記所定のニューラルネットワークモデル訓練において、類似性を評価するためのターゲット関数は、所定の位置合わせされるべき画像及び所定の参照画像の相関係数損失を含む、ことと、前記所定のニューラルネットワークモデルに基づいて、前記位置合わせされるべき画像を前記参照画像と位置合わせし、位置合わせ結果を得ることと、を含む。前記方法は、画像位置合わせの精度及びリアルタイム性を向上させることができる。
2021530061.tif 000002
【特許請求の範囲】
【請求項１】
画像処理方法であって、
位置合わせされるべき画像及び位置合わせに用いられる参照画像を取得することと、
前記位置合わせされるべき画像及び前記参照画像を所定のニューラルネットワークモデルに入力することであって、前記所定のニューラルネットワークモデル訓練において、類似性を評価するためのターゲット関数は、所定の位置合わせされるべき画像及び所定の参照画像の相関係数損失を含む、ことと、
前記所定のニューラルネットワークモデルに基づいて、前記位置合わせされるべき画像を前記参照画像と位置合わせし、位置合わせ結果を得ることと、を含むことを特徴とする、前記画像処理方法。
【請求項２】
前記位置合わせされるべき画像及び位置合わせに用いられる参照画像を取得する前に、前記方法は、
位置合わせされるべき元画像及び元参照画像を取得し、前記位置合わせされるべき元画像及び前記元参照画像に対して画像正規化処理を行い、ターゲットパラメータを満たす位置合わせされるべき画像及び参照画像を得ることを更に含むことを特徴とする
請求項１に記載の画像処理方法。
【請求項３】
前記位置合わせされるべき元画像及び前記元参照画像に対して画像正規化処理を行い、ターゲットパラメータを満たす位置合わせされるべき画像及び参照画像を得ることは、
前記位置合わせされるべき元画像を所定の階調値範囲内の所定の画像寸法の位置合わせされるべき画像に変換することと、
前記元参照画像を前記所定の階調値範囲内の所定の画像寸法の参照画像に変換することと、を含むことを特徴とする
請求項２に記載の画像処理方法。
【請求項４】
前記所定のニューラルネットワークモデルの訓練過程は、
前記所定の位置合わせされるべき画像及び前記所定の参照画像を取得し、前記所定の位置合わせされるべき画像及び前記所定の参照画像を前記所定のニューラルネットワークモデルに入力して変形場を生成することと、
前記変形場に基づいて、前記所定の位置合わせされるべき画像を前記所定の参照画像と位置合わせし、位置合わせされた画像を得ることと、
前記位置合わせされた画像及び前記所定の参照画像の相関係数損失を得ることと、
前記相関係数損失に基づいて、前記所定のニューラルネットワークモデルに対してパラメータ更新を行い、訓練された所定のニューラルネットワークモデルを得ることと、を含むことを特徴とする
請求項１〜３のうちいずれか一項に記載の画像処理方法。
【請求項５】
前記所定の位置合わせされるべき画像及び前記所定の参照画像を取得した後、前記方法は、
前記所定の位置合わせされるべき画像及び前記所定の参照画像に対して画像正規化処理を行い、所定の訓練パラメータを満たす所定の位置合わせされるべき画像及び所定の参照画像を得ることを更に含み、
前記所定の位置合わせされるべき画像及び前記所定の参照画像を前記所定のニューラルネットワークモデルに入力して変形場を生成することは、
所定の訓練パラメータを満たす前記所定の位置合わせされるべき画像及び所定の参照画像を前記所定のニューラルネットワークモデルに入力して変形場を生成することを含むことを特徴とする
請求項４に記載の画像処理方法。
【請求項６】
前記方法は、
前記所定の位置合わせされるべき画像の寸法及び前記所定の参照画像の寸法を所定の画像寸法に変換することを更に含み、
前記所定の位置合わせされるべき画像及び前記所定の参照画像に対して画像正規化処理を行い、所定の訓練パラメータを満たす所定の位置合わせされるべき画像及び所定の参照画像を得ることは、
ターゲット窓幅に基づいて、前記変換された所定の位置合わせされるべき画像及び所定の参照画像を処理し、処理された所定の位置合わせされるべき画像及び所定の参照画像を得ることを含むことを特徴とする
請求項５に記載の画像処理方法。
【請求項７】
前記ターゲット窓幅に基づいて、前記変換された所定の位置合わせされるべき画像及び所定の参照画像を処理する前に、前記方法は、
前記所定の位置合わせされるべき画像のターゲットカテゴリタグを取得し、所定のカテゴリタグと所定の窓幅との対応関係に基づいて、前記ターゲットカテゴリタグに対応する前記ターゲット窓幅を決定することを更に含むことを特徴とする
請求項６に記載の画像処理方法。
【請求項８】
前記方法は、
所定のオプティマイザに基づいて、前記所定のニューラルネットワークモデルに対して、所定の学習率及び所定の閾値回数のパラメータ更新を行うことを更に含むことを特徴とする
請求項５〜７のうちいずれか一項に記載の画像処理方法。
【請求項９】
画像処理装置であって、前記装置は、取得モジュールと、位置合わせモジュールとを備え、
前記取得モジュールは、位置合わせされるべき画像及び位置合わせに用いられる参照画像を取得するように構成され、
前記位置合わせモジュールは、前記位置合わせされるべき画像及び前記参照画像を所定のニューラルネットワークモデルに入力するように構成され、前記所定のニューラルネットワークモデル訓練において、類似性を評価するためのターゲット関数は、所定の位置合わせされるべき画像及び所定の参照画像の相関係数損失を含み、
前記位置合わせモジュールは更に、前記所定のニューラルネットワークモデルに基づいて、前記位置合わせされるべき画像を前記参照画像と位置合わせし、位置合わせ結果を得るように構成されることを特徴とする、前記画像処理装置。
【請求項１０】
前記画像処理装置は、位置合わせされるべき元画像及び元参照画像を取得し、前記位置合わせされるべき元画像及び前記元参照画像に対して画像正規化処理を行い、ターゲットパラメータを満たす前記位置合わせされるべき画像及び前記参照画像を得るように構成される前処理モジュールを更に備えることを特徴とする
請求項９に記載の画像処理装置。
【請求項１１】
前記前処理モジュールは具体的には、
前記位置合わせされるべき元画像を所定の階調値範囲内の所定の画像寸法の位置合わせされるべき画像に変換し、
前記元参照画像を前記所定の階調値範囲内の所定の画像寸法の参照画像に変換するように構成されることを特徴とする
請求項１０に記載の画像処理装置。
【請求項１２】
前記位置合わせモジュールは、位置合わせユニットと、更新ユニットと、を備え、
前記位置合わせユニットは、前記所定の位置合わせされるべき画像及び前記所定の参照画像を取得し、前記所定の位置合わせされるべき画像及び前記所定の参照画像を前記所定のニューラルネットワークモデルに入力して変形場を生成するように構成され、
前記位置合わせユニットは更に、前記変形場に基づいて、前記所定の位置合わせされるべき画像を前記所定の参照画像と位置合わせし、位置合わせされた画像を得るように構成され、
前記更新ユニットは、前記位置合わせされた画像及び前記所定の参照画像の相関係数損失を得て、前記相関係数損失に基づいて、前記所定のニューラルネットワークモデルに対してパラメータ更新を行い、訓練された所定のニューラルネットワークモデルを得るように構成されることを特徴とする
請求項９〜１１のうちいずれか一項に記載の画像処理装置。
【請求項１３】
前記前処理モジュールは更に、
前記所定の位置合わせされるべき画像及び前記所定の参照画像に対して画像正規化処理を行い、所定の訓練パラメータを満たす所定の位置合わせされるべき画像及び所定の参照画像を得るように構成され、
前記位置合わせユニットは具体的には、所定の訓練パラメータを満たす前記所定の位置合わせされるべき画像及び所定の参照画像を前記所定のニューラルネットワークモデルに入力して変形場を生成するように構成されることを特徴とする
請求項１２に記載の画像処理装置。
【請求項１４】
前記前処理モジュールは具体的には、
前記所定の位置合わせされるべき画像の寸法及び前記所定の参照画像の寸法を所定の画像寸法に変換し、
ターゲット窓幅に基づいて、前記変換された所定の位置合わせされるべき画像及び所定の参照画像を処理し、処理された所定の位置合わせされるべき画像及び所定の参照画像を得るように構成されることを特徴とする
請求項１３に記載の画像処理装置。
【請求項１５】
前記前処理モジュールは更に具体的には、
所定の窓幅に基づいて、前記変換された所定の位置合わせされるべき画像及び所定の参照画像を処理する前に、前記所定の位置合わせされるべき画像のターゲットカテゴリタグを取得し、所定のカテゴリタグと所定の窓幅との対応関係に基づいて、前記ターゲットカテゴリタグに対応する前記ターゲット窓幅を決定するように構成されることを特徴とする
請求項１４に記載の画像処理装置。
【請求項１６】
前記更新ユニットは更に、
所定のオプティマイザに基づいて、前記所定のニューラルネットワークモデルに対して、所定の学習率及び所定の閾値回数のパラメータ更新を行うように構成されることを特徴とする
請求項１３〜１５のうちいずれか一項に記載の画像処理装置。
【請求項１７】
プロセッサ及びメモリを備える電子機器であって、前記メモリは１つ又は複数のプログラムを記憶するために使用され、前記１つ又は複数のプログラムは前記プロセッサにより実行されるように構成され、前記プログラムは請求項１〜８のうちいずれか一項に記載の方法を実行するように構成されることを特徴とする、前記電子機器。
【請求項１８】
電子データ交換用のコンピュータプログラムを記憶するコンピュータ可読記憶媒体であって、前記コンピュータプログラムは、コンピュータに、請求項１〜８のうちいずれか一項に記載の方法を実行させることを特徴とする、前記コンピュータ可読記憶媒体。
【請求項１９】
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器で実行される場合、前記電子機器におけるプロセッサは、請求項１〜８のうちいずれか一項に記載の方法を実行することを特徴とする、前記コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１８年１２月２７日に中国特許局に提出された出願番号２０１８１１６１４４６８．４、発明名称「画像処理方法及びその装置、電子機器並びにコンピュータ可読記憶媒体」の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
【０００２】
本発明は、コンピュータビジョン技術分野に関し、具体的には、画像処理方法及びその装置、電子機器並びにコンピュータ可読記憶媒体に関する。
【背景技術】
【０００３】
画像位置合わせ（Ｉｍａｇｅ  Ｒｅｇｉｓｔｒａｔｉｏｎ）は、異なる取得時刻、異なるセンサ、異なる条件下での同一のシーン又は同一の対象の２枚の画像又は複数枚の画像を位置合わせする過程であり、医用画像の処理に広く用いられる。医用画像位置合わせは、医用画像処理分野における重要な技術であり、臨床診断及び治療において、ますます重要な役割を果たしている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本願の実施例では、画像処理方法及びその装置、電子機器並びにコンピュータ可読記憶媒体を提供する。
【課題を解決するための手段】
【０００５】
本願の実施例の第１態様によれば、画像処理方法を提供する。前記方法は、
位置合わせされるべき画像及び位置合わせに用いられる参照画像を取得することと、
前記位置合わせされるべき画像及び前記参照画像を所定のニューラルネットワークモデルに入力することであって、前記所定のニューラルネットワークモデル訓練において、類似性を評価するためのターゲット関数は、所定の位置合わせされるべき画像及び所定の参照画像の相関係数損失を含む、ことと、
前記所定のニューラルネットワークモデルに基づいて、前記位置合わせされるべき画像を前記参照画像と位置合わせし、位置合わせ結果を得ることと、を含む。
【０００６】
任意選択的な実施形態において、前記位置合わせされるべき画像及び位置合わせに用いられる参照画像を取得する前に、前記方法は、
位置合わせされるべき元画像及び元参照画像を取得し、前記位置合わせされるべき元画像及び前記元参照画像に対して画像正規化処理を行い、ターゲットパラメータを満たす位置合わせされるべき画像及び参照画像を得ることを更に含む。
【０００７】
任意選択的な実施形態において、前記位置合わせされるべき元画像及び前記元参照画像に対して画像正規化処理を行い、ターゲットパラメータを満たす位置合わせされるべき画像及び参照画像を得ることは、
前記位置合わせされるべき元画像を所定の階調値範囲内の所定の画像寸法の位置合わせされるべき画像に変換することと、
前記元参照画像を前記所定の階調値範囲内の所定の画像寸法の参照画像に変換することと、を含む。
【０００８】
任意選択的な実施形態において、前記所定のニューラルネットワークモデルの訓練過程は、
前記所定の位置合わせされるべき画像及び前記所定の参照画像を取得し、前記所定の位置合わせされるべき画像及び前記所定の参照画像を前記所定のニューラルネットワークモデルに入力して変形場を生成することと、
前記変形場に基づいて、前記所定の位置合わせされるべき画像を前記所定の参照画像と位置合わせし、位置合わせされた画像を得ることと、
前記位置合わせされた画像及び前記所定の参照画像の相関係数損失を得ることと、
前記相関係数損失に基づいて、前記所定のニューラルネットワークモデルに対してパラメータ更新を行い、訓練された所定のニューラルネットワークモデルを得ることと、を含む。
【０００９】
任意選択的な実施形態において、前記所定の位置合わせされるべき画像及び前記所定の参照画像を取得した後、前記方法は、
前記所定の位置合わせされるべき画像及び前記所定の参照画像に対して画像正規化処理を行い、所定の訓練パラメータを満たす所定の位置合わせされるべき画像及び所定の参照画像を得ることを更に含み、
前記所定の位置合わせされるべき画像及び前記所定の参照画像を前記所定のニューラルネットワークモデルに入力して変形場を生成することは、
所定の訓練パラメータを満たす前記所定の位置合わせされるべき画像及び所定の参照画像を前記所定のニューラルネットワークモデルに入力して変形場を生成することを含む。
【００１０】
任意選択的な実施形態において、前記方法は、
前記所定の位置合わせされるべき画像の寸法及び前記所定の参照画像の寸法を所定の画像寸法に変換することを更に含み、
前記所定の位置合わせされるべき画像及び前記所定の参照画像に対して画像正規化処理を行い、所定の訓練パラメータを満たす所定の位置合わせされるべき画像及び所定の参照画像を得ることは、
ターゲット窓幅に基づいて、前記変換された所定の位置合わせされるべき画像及び所定の参照画像を処理し、処理された所定の位置合わせされるべき画像及び所定の参照画像を得ることを含む。
【００１１】
任意選択的な実施形態において、ターゲット窓幅に基づいて、前記変換された所定の位置合わせされるべき画像及び所定の参照画像を処理する前に、前記方法は、
前記所定の位置合わせされるべき画像のターゲットカテゴリタグを取得し、所定のカテゴリタグと所定の窓幅との対応関係に基づいて、前記ターゲットカテゴリタグに対応する前記ターゲット窓幅を決定することを更に含む。
【００１２】
任意選択的な実施形態において、前記方法は、
所定のオプティマイザに基づいて、前記所定のニューラルネットワークモデルに対して、所定の学習率及び所定の閾値回数のパラメータ更新を行うことを更に含む。
【００１３】
本願の実施例の第２態様によれば、画像処理装置を提供する。前記装置は、取得モジュールと、位置合わせモジュールとを備え、
前記取得モジュールは、位置合わせされるべき画像及び位置合わせに用いられる参照画像を取得するように構成され、
前記位置合わせモジュールは、前記位置合わせされるべき画像及び前記参照画像を所定のニューラルネットワークモデルに入力するように構成され、前記所定のニューラルネットワークモデル訓練において、類似性を評価するためのターゲット関数は、所定の位置合わせされるべき画像及び所定の参照画像の相関係数損失を含み、
前記位置合わせモジュールは更に、前記所定のニューラルネットワークモデルに基づいて、前記位置合わせされるべき画像を前記参照画像と位置合わせし、位置合わせ結果を得るように構成される。
【００１４】
任意選択的な実施形態において、前記画像処理装置は、
位置合わせされるべき元画像及び元参照画像を取得し、前記位置合わせされるべき元画像及び前記元参照画像に対して画像正規化処理を行い、ターゲットパラメータを満たす前記位置合わせされるべき画像及び前記参照画像を得るように構成される前処理モジュールを更に備える。
【００１５】
任意選択的な実施形態において、前記前処理モジュールは具体的には、
前記位置合わせされるべき元画像を所定の階調値範囲内の所定の画像寸法の位置合わせされるべき画像に変換し、
前記元参照画像を前記所定の階調値範囲内の所定の画像寸法の参照画像に変換するように構成される。
【００１６】
任意選択的な実施形態において、前記位置合わせモジュールは、位置合わせユニットと、更新ユニットと、を備え、
前記位置合わせユニットは、前記所定の位置合わせされるべき画像及び前記所定の参照画像を取得し、前記所定の位置合わせされるべき画像及び前記所定の参照画像を前記所定のニューラルネットワークモデルに入力して変形場を生成するように構成され、
前記位置合わせユニットは更に、前記変形場に基づいて、前記所定の位置合わせされるべき画像を前記所定の参照画像と位置合わせし、位置合わせされた画像を得るように構成され、
前記更新ユニットは、前記位置合わせされた画像及び前記所定の参照画像の相関係数損失を得て、前記相関係数損失に基づいて、前記所定のニューラルネットワークモデルに対してパラメータ更新を行い、訓練された所定のニューラルネットワークモデルを得るように構成される。
【００１７】
任意選択的な実施形態において、前記前処理モジュールは更に、
前記所定の位置合わせされるべき画像及び前記所定の参照画像に対して画像正規化処理を行い、所定の訓練パラメータを満たす所定の位置合わせされるべき画像及び所定の参照画像を得るように構成され、
前記位置合わせユニットは具体的には、所定の訓練パラメータを満たす前記所定の位置合わせされるべき画像及び所定の参照画像を前記所定のニューラルネットワークモデルに入力して変形場を生成するように構成される。
【００１８】
任意選択的な実施形態において、前記前処理モジュールは具体的には、
前記所定の位置合わせされるべき画像の寸法及び前記所定の参照画像の寸法を所定の画像寸法に変換し、
ターゲット窓幅に基づいて、前記変換された所定の位置合わせされるべき画像及び所定の参照画像を処理し、処理された所定の位置合わせされるべき画像及び所定の参照画像を得るように構成される。
【００１９】
任意選択的な実施形態において、前記前処理モジュールは更に具体的には、
所定の窓幅に基づいて、前記変換された所定の位置合わせされるべき画像及び所定の参照画像を処理する前に、前記所定の位置合わせされるべき画像のターゲットカテゴリタグを取得し、所定のカテゴリタグと所定の窓幅との対応関係に基づいて、前記ターゲットカテゴリタグに対応する前記ターゲット窓幅を決定するように構成される。
【００２０】
任意選択的な実施形態において、前記更新ユニットは更に、
所定のオプティマイザに基づいて、前記所定のニューラルネットワークモデルに対して、所定の学習率及び所定の閾値回数のパラメータ更新を行うように構成される。
【００２１】
本願の実施例の第３態様によれば、電子機器を提供する。前記電子機器は、プロセッサと、メモリと、を備え、前記メモリは、１つ又は複数のプログラムを記憶するためのものであり、前記１つ又は複数のプログラムは、前記プロセッサにより実行されるように構成され、前記プログラムは、本願の実施例の第１態様におけるいずれか１つの方法に記載の一部又は全部のステップを実行するように構成される。
【００２２】
本願の実施例の第４態様によれば、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体は、電子データ交換用のコンピュータプログラムを記憶するように構成され、前記コンピュータプログラムは、コンピュータに、本願の実施例の第１態様におけるいずれか１つの方法に記載の一部又は全部のステップを実行させる。
【００２３】
本願の実施例の第５態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される場合、前記電子機器におけるプロセッサは、上記方法を実行する。
【発明の効果】
【００２４】
本願の実施例では、位置合わせされるべき画像及び位置合わせに用いられる参照画像を取得し、上記位置合わせされるべき画像及び上記参照画像を所定のニューラルネットワークモデルに入力する。上記所定のニューラルネットワークモデル訓練において、類似性を評価するためのターゲット関数は、所定の位置合わせされるべき画像及び所定の参照画像の相関係数損失を含む。上記所定のニューラルネットワークモデルに基づいて、上記位置合わせされるべき画像を上記参照画像と位置合わせし、位置合わせ結果を得る。これにより、画像位置合わせの精度及びリアルタイム性を向上させることができる。
【図面の簡単な説明】
【００２５】
【図１】本願の実施例による画像処理方法を示すフローチャートである。
【図２】本願の実施例による所定のニューラルネットワークモデルの訓練方法を示すフローチャートである。
【図３】本願の実施例による画像処理装置の構造を示す概略図である。
【図４】本願の実施例による電子機器の構造を示す概略図である。
【００２６】
本願の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の記述に必要な図面を簡単に説明する。
【発明を実施するための形態】
【００２７】
当業者に本発明の技術的解決手段をより良く理解させるために、以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。勿論、記述される実施例は、全ての実施例ではなく、ただ本願の一部の実施例である。本願における実施例に基づいて、当業者が創造的な労力なしに得られる他の実施例の全ては、本発明の保護範囲に含まれる。
【００２８】
本発明の明細書及び特許請求の範囲並びに上記図面に言及された「第１」、「第２」等の用語は、様々な対象を区別するためのものであり、特定の順番を説明するためのものではない。なお、「備える」と「有する」という用語及びそれらの変形は、非排他的な包含を網羅することを意図している。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は装置は、明記されたステップ又はユニットに限定されず、明記されていないかステップ又はユニットを任意選択的に含んでもよく、又は、これらのプロセス、方法、製品又は装置固有の他のステップ又はユニットを任意選択的に含んでもよい
本明細書に言及した「実施例」は、実施例を参照しながら記述される特定の特徴、構造又は特徴が本願の少なくとも１つの実施例に含まれてもよいことを意味する。該用語が明細書中の様々な箇所に登場していても、必ずしもどれもが同一の実施例を指しているとは限らないし、必ずしも他の実施例と相互排他的である独立した実施例又は候補実施例を指しているとは限らない。本明細書に記述される実施例は、他の実施例と組み合わせることができることは、当業者が明示的又は暗黙的に理解すべきである。
【００２９】
本願の実施例に係る画像処理装置は、複数の他の端末装置からのアクセスを許容する。上記画像処理装置は、電子機器であってもよく、端末装置を含む。具体的な実現において、上記端末装置は、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパネル）を有する携帯電話、ラップトップコンピュータ又はタブレットコンピュータのような他の携帯機器を含むが、これらに限定されない。幾つかの実施例において、前記機器は、携帯型通信機器ではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパネル）を有するデスクトップコンピュータであることは、理解されるべきである。
【００３０】
本願の実施例における深層学習の概念は、人工ニューラルネットワークの検討に由来する。複数の隠れ層を含む多層パーセプトロンは、深層学習構造である。深層学習は、下位層特徴を組み合わせることで、より抽象的な上位層表示属性カテゴリ又は特徴を形成し、データの分散型特徴表示を発見する。
【００３１】
深層学習は、機械学習における、ペアデータに基づいて表現学習を行う方法である。観測値（例えば、１枚の画像）を、種々の形態で表すことができる。例えば、各画素点の強度値のベクトルで表す。又は、より抽象的に一連の辺、特定の形状の領域などで表す。特定の表現方法によれば、実例からタスク（例えば、顔認識又は顔表情認識）を学習することはより容易である。深層学習の利点は、手動による特徴取得の代わりに、教師なし方式又は半教師あり方式の特徴学習及び効率的な階層的特徴抽出アルゴリズムを利用することである。深層学習は、機械学習検討における新たな分野であり、その動機は、人間の脳を模倣して分析学習を行うニューラルネットワークを構築することである。それは、人間の脳の仕組みを模倣して、例えば画像、音声及びテキストのようなデータを解釈する。
【００３２】
以下、本願の実施例を詳しく説明する。
【００３３】
本願の実施例による画像処理方法を示すフローチャートである図１を参照されたい。図１に示すように、該画像処理方法は、上記画像処理装置により実行されてもよく、下記ステップを含む。
【００３４】
１０１において、位置合わせされるべき画像及び位置合わせに用いられる参照画像を取得する。
【００３５】
画像位置合わせは、異なる取得時刻、異なるセンサ、異なる条件下での同一のシーン又は同一の対象の２枚の画像又は複数枚の画像を位置合わせする過程であり、医用画像の処理に広く用いられる。医用画像位置合わせは、医用画像処理分野における重要な技術であり、臨床診断及び治療において、ますます重要な役割を果たしている。現代医学では、一般的には、複数のモード又は複数の時点で得られた医用画像を総合的に分析する必要がある。従って、分析前に、複数枚の画像に対して位置合わせを行う必要がある。
【００３６】
本願の実施例で言及した位置合わせされるべき画像（ｍｏｖｉｎｇ）及び位置合わせに用いられる参照画像（ｆｉｘｅｄ）は、いずれも、様々な医用画像装置により得られた医用画像であってもよく、特に、例えば、肺ＣＴのような、変形可能な器官の画像であってもよい。ここで、位置合わせされるべき画像及び位置合わせに用いられる参照画像は、一般的には、異なる時点又は異なる条件で収集された同一の器官の画像である。位置合わせを行った後、位置合わせ結果画像（ｍｏｖｅｄ）を得ることができる。
【００３７】
位置合わせを必要とする医用画像は、多様性を有する可能性があるため、画像において、画像階調値、画像寸法などの特徴の多様性として具現化されてもよい。任意選択的に、ステップ１０１の前に、位置合わせされるべき元画像及び元参照画像を取得し、前記位置合わせされるべき元画像及び前記元参照画像に対して画像正規化処理を行い、ターゲットパラメータを満たす位置合わせされるべき画像及び参照画像を得ることができる。
【００３８】
上記ターゲットパラメータは、画像特徴を記述するためのパラメータと理解されてもよい。つまり、上記元画像データのスタイルを一致させるための特定のパラメータと理解されてもよい。例えば、上記ターゲットパラメータは、画像解像度、画像階調、画像寸法などの特徴を記述するためのパラメータを含んでもよい。
【００３９】
上記処理位置合わせされるべき画像は、様々な医用画像装置により得られた医用画像であってもよく、特に、変形可能な器官の画像であってもよく、多様性を有する。画像において、画像階調値、画像寸法などの特徴の多様性として具現化されてもよい。位置合わせを行う前に、位置合わせされるべき元画像及び元参照画像に対して基本的な前処理を行ってもよく、上記位置合わせされるべき元画像のみに対して前処理を行ってもよい。ここで、上記画像正規化処理を含んでもよい。画像前処理の主な目的は、画像における無用な情報を除去し、有用な実情報を復元し、関連情報の検出可能性を向上させてデータを最大限簡略化することで、特徴抽出、画像分割、マッチング及び認識の信頼性を向上させることである。
【００４０】
本願の実施例における画像正規化とは、画像に対して一連の標準の処理変換を行い、固定標準形式に変換するプロセスを指す。該標準画像は、正規化画像と呼ばれる。画像正規化は、画像の不変モーメントを利用して一組のパラメータを探して、他の変換関数による画像変換への影響を無くし、処理されるべき元画像を対応する一意的標準形式に変換することができる。該標準形式の画像は、水平移動、回転、スケーリングなどのアフィン変換に対して、不変の特性を有する。従って、上記画像正規化処理により、スタイルが一致した画像を得て、後続の処理の安定性及び正確度を向上させることができる。
【００４１】
任意選択的に、上記位置合わせされるべき画像及び参照画像は、アルゴリズムにより抽出されたマスク（ｍａｓｋ）又は特徴点であってもよい。ここで、マスクは、画像フィルタのテンプレートと理解されてもよく、画像マスクは、選定した画像、図形又は物体を利用して、処理される画像（全部又は一部）を遮蔽し、画像処理領域又は処理過程を制御することと理解されてもよい。デジタル画像処理において、マスクは、一般的には、二次元マトリックスアレイである。なお、多値画像であることもあり、構造特徴の抽出に用いられる。
【００４２】
特徴又はｍａｓｋを抽出した後、画像処理における干渉を減少させ、位置合わせ結果をより正確にすることができる。
【００４３】
具体的には、上記位置合わせされるべき元画像を所定の階調値範囲内の所定の画像寸法の位置合わせされるべき画像に変換し、
上記元参照画像を上記所定の階調値範囲内の上記所定の画像寸法の参照画像に変換することができる。
【００４４】
本願の実施例における画像処理装置に、上記所定の階調値範囲及び上記所定の画像寸法が記憶されてもよい。ｓｉｍｐｌｅ  ＩＴＫ（Ｉｎｓｉｄｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ａｎｄ  Ｒｅｇｉｓｔｒａｔｉｏｎ  Ｔｏｏｌｋｉｔ）ソフトウェアによりリサンプリング（ｒｅｓａｍｐｌｅ）を行うことで、上記位置合わせされるべき画像と上記参照画像の位置及び解像度をほぼ一致させることができる。ＩＴＫは、オープンソース型クロスプラットフォームシステムであり、開発者のために、一連の画像分析用ソフトウェアツールを提供する。
【００４５】
上記所定の画像寸法は、縦横高さ４１６  ｘ  ４１６  ｘ  ８０であってもよい。切り取り又は充填（ゼロパディング）により、上記位置合わせされるべき画像と上記参照画像の画像寸法をいずれも４１６  ｘ  ４１６  ｘ  ８０にすることができる。
【００４６】
元画像データを前処理することで、その多様性を低下させることができる。従って、ニューラルネットワークモデルは、より安定した判定を行うことができる。
【００４７】
異なる時刻及び／又は異なる条件で取得した２枚の医用画像１と２を位置合わせる場合、マッピング関係Ｐを探し、画像２において、画像１での各点に一意的に対応する点を存在させる。また、該両点は、同一の解剖位置に対応する。マッピング関係Ｐは、一組の連続した空間変換と表現される。一般的に用いられる空間幾何変換は、剛性変換（Ｒｉｇｉｄ  ｂｏｄｙ  ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、アフィン変換（Ａｆｆｉｎｅ  ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、投影変換（Ｐｒｏｊｅｃｔｉｖｅ  ｔｒａｎｓｆｏｒｍａｔｉｏｎ）及び非線形変換（Ｎｏｎｌｉｎｅａｒ  ｔｒａｎｓｆｏｒｍａｔｉｏｎ）である。
【００４８】
ここで、剛性変換とは、物体内部のいずれか両点間の距離及び平行関係がそのまま維持することを指す。アフィン変換は、最も簡単な非剛性変換であり、平行性を維持するが、角度保持せず、距離が変動した変換である。多くの重要な臨床適用において、変形可能な画像位置合わせ方法を必要とすることが多い。例えば、腹部及び胸部の臓器の画像位置合わせを検討する場合、生理的動作又は患者の移動により内部器官及び組織の位置、寸法及び形態の変動を引き起こした時、変形可能な変換により画像変形を補償する必要がある。
【００４９】
本願の実施例において、上記前処理は、上記剛性変換を更に含んでもよい。つまり、まず画像の剛性変換を行った後、本願の実施例における方法により上記画像位置合わせを実現させる。
【００５０】
画像処理領域において、物体の位置（水平移動変換）及び向き（回転変換）のみが変動し、形状が変動しない。これにより得られた変換は、上記剛性変換と呼ばれる。
【００５１】
１０２において、上記位置合わせされるべき画像及び上記参照画像を所定のニューラルネットワークモデルに入力し、上記所定のニューラルネットワークモデル訓練において、類似性を評価するためのターゲット関数は、所定の位置合わせされるべき画像及び所定の参照画像の相関係数損失を含む。
【００５２】
本願の実施例において、画像処理装置に、上記所定のニューラルネットワークモデルが記憶されてもよく、該所定のニューラルネットワークモデルは、事前訓練により得られたものであってもよい。
【００５３】
上記所定のニューラルネットワークモデルは、相関係数損失に基づいて訓練されたものであってもよい。具体的には、所定の位置合わせされるべき画像及び所定の参照画像の相関係数損失を、類似度を評価するためのターゲット関数として、訓練を行うことで得られる。
【００５４】
本願の実施例で言及した相関係数は、統計学者カール・ピアソンにより初めて設計された統計指標であり、変数間の線形相関程度を検討するためのものであり、一般的には、アルファベットｒで表される。検討対象によって、相関係数の定義方式が複数であり、一般的には、ピアソン相関係数が用いられる。
【００５５】
相関係数は一般的には、積差方法で算出される。同様に、２つの変数とそれぞれの平均値のバラツキを基礎として、２つのバラツキを乗算することで２つの変数間の相関程度を反映する。線形単一相関係数の検討に注目する。ピアソン相関係数が唯一の相関係数ではないが、一般的な相関係数であり、本願の実施例における相関係数は、ピアソン相関係数であってもよい。
【００５６】
具体的には、所定のニューラルネットワークモデルにおいて、位置合わせされた画像及び所定の参照画像の特徴マップを抽出し、特徴マップ間の相関係数を利用して、上記相関係数損失を得ることができる。
【００５７】
上記相関係数損失は、下記式（１）により得られる。
2021530061.tif 000003
（１）
【００５８】
ここで、Ｆは、上記所定の参照画像を表してもよく、
2021530061.tif 000004
は、上記位置合わせされた画像を表してもよい。
2021530061.tif 000005
は、ニューラルネットワークにより代表された非線形関係を表してもよい。三角マークを付した
2021530061.tif 000006
、
2021530061.tif 000007
は、それぞれ、位置合わせされた画像の平均値及び所定の参照画像のパラメータ平均値を表す。例えば、
2021530061.tif 000008
は、所定の参照画像のパラメータ平均値を表すと、上記減算
2021530061.tif 000009
は、上記所定の参照画像の各画素値からパラメータ平均値を減算すると理解されてもよく、以下、同様である。
【００５９】
上記所定のニューラルネットワークモデルの訓練過程は、
上記所定の位置合わせされるべき画像及び上記所定の参照画像を取得し、上記所定の位置合わせされるべき画像及び上記所定の参照画像を上記所定のニューラルネットワークモデルに入力して変形場を生成することと、
上記変形場に基づいて、上記所定の位置合わせされるべき画像を上記所定の参照画像と位置合わせし、位置合わせされた画像を得ることと、
上記位置合わせされた画像及び上記所定の参照画像の相関係数損失を得ることと、
上記相関係数損失に基づいて、上記所定のニューラルネットワークモデルに対してパラメータ更新を行い、訓練された所定のニューラルネットワークモデルを得ることと、を含んでもよい。
【００６０】
具体的には、上記変形場に用いられる損失関数は、Ｌ２損失関数を含んでもよい。これにより、所定のニューラルネットワークモデルに、適切な変形場を学習させ、ｍｏｖｅｄ画像とｆｉｘｅｄ画像をより類似させる。
【００６１】
１０３において、上記所定のニューラルネットワークモデルに基づいて、上記位置合わせされるべき画像を上記参照画像と位置合わせし、位置合わせ結果を得る。
【００６２】
画像位置合わせを行う場合、一般的には、まず、２枚の画像に対して特徴抽出を行い、特徴点を得て、類似性評価を行うことでマッチングした特徴点ペアを探し、続いて、マッチングした特徴点ペアにより、画像空間座標変換パラメータを得て、最後に、座標変換パラメータにより、画像位置合わせを行う。
【００６３】
本願の実施例における所定のニューラルネットワークモデルの畳み込み層は、３Ｄ畳み込み層であってもよい。上記所定のニューラルネットワークモデルにより、変形場（ｄｅｆｏｒｍａｂｌｅ  ｆｉｅｌｄ）を生成し、続いて、３Ｄ空間変換層により、変形を必要とする位置合わせされるべき画像に対して変形可能な変換を行い、位置合わせされた上記位置合わせ結果を得る。つまり、生成された位置合わせ結果画像（ｍｏｖｅｄ）を含む。
【００６４】
ここで、上記所定のニューラルネットワークモデルにおいて、Ｌ２損失及び相関係数を損失関数として用いることで、上記変形場を滑らかにすると共に、先進した位置合わせ精度を達成することができる。
【００６５】
従来の方法において、教師あり深層学習により、位置合わせを行うため、信頼できる判断基準がほとんどない。タグを得るために、従来の位置合わせ方法を利用しなければならない。処理時間が長く、位置合わせ精度が限定される。また、従来の方法で位置合わせを行う場合、各画素点の変換関係を算出する必要があり、演算量が巨大であり、かかる時間も長い。
【００６６】
カテゴリが未知である（タグ付けされていない）訓練サンプルによりモデル認識における様々な課題を解決することは、教師無し学習と呼ばれる。本願の実施例では、教師無し深層学習に基づいたニューラルネットワークを利用して画像位置合わせを行うため、如何なる変形可能な臓器の位置合わせに適用可能である。本願の実施例では、ＧＰＵを利用して上記方法を実行することで数秒間で位置合わせ結果を得ることができ、効率がより高い。
【００６７】
本願の実施例では、位置合わせされるべき画像及び位置合わせに用いられる参照画像を取得し、上記位置合わせされるべき画像及び上記参照画像を所定のニューラルネットワークモデルに入力する。上記所定のニューラルネットワークモデル訓練において、類似性を評価するためのターゲット関数は、所定の位置合わせされるべき画像及び所定の参照画像の相関係数損失を含む。上記所定のニューラルネットワークモデルに基づいて、上記位置合わせされるべき画像を上記参照画像と位置合わせし、位置合わせ結果を得る。これにより、画像位置合わせの精度及びリアルタイム性を向上させることができる。
【００６８】
図２を参照されたい。図２は、本願の実施例によるもう１つの画像処理方法を示すフローチャートであり、具体的には、所定のニューラルネットワークの訓練方法を示すフローチャートである。図２は、図１を基礎として更に最適化されたものである。本願の実施例のステップを実行する主体は、画像処理装置であってもよく、図１に示した実施例の方法における画像処理装置と同じであるか又は異なる画像処理装置であってもよい。図２に示すように、該画像処理方法は、下記ステップを含む。
【００６９】
２０１において、所定の位置合わせされるべき画像及び所定の参照画像を取得し、上記所定の位置合わせされるべき画像及び上記所定の参照画像を上記所定のニューラルネットワークモデルに入力して変形場を生成する。
【００７０】
ここで、図１に示した実施例と同様に、上記所定の位置合わせされるべき画像（ｍｏｖｉｎｇ）及び上記所定の参照画像（ｆｉｘｅｄ）は、いずれも、様々な医用画像装置により得られた医用画像であってもよく、特に、例えば、肺ＣＴのような、変形可能な器官の画像であってもよい。ここで、位置合わせされるべき画像及び位置合わせに用いられる参照画像は、一般的には、異なる時点又は異なる条件で収集された同一の器官の画像である。「所定」という用語は、図１に示した実施例における位置合わせされるべき画像及び参照画像と区別するためのものである。ここの所定の位置合わせされるべき画像及び所定の参照画像は、主に、該所定のニューラルネットワークモデルの入力として、該所定のニューラルネットワークモデルの訓練に用いられる。
【００７１】
位置合わせを必要とする医用画像は、多様性を有する可能性があるため、画像において、画像階調値、画像寸法などの特徴の多様性として具現化されてもよい。任意選択的に、前記所定の位置合わせされるべき画像及び前記所定の参照画像を取得した後、上記方法は、
上記所定の位置合わせされるべき画像及び上記所定の参照画像に対して画像正規化処理を行い、所定の訓練パラメータを満たす所定の位置合わせされるべき画像及び所定の参照画像を得ることを更に含んでもよく、
上記所定の位置合わせされるべき画像及び上記所定の参照画像を上記所定のニューラルネットワークモデルに入力して変形場を生成することは、
所定の訓練パラメータを満たす上記所定の位置合わせされるべき画像及び所定の参照画像を上記所定のニューラルネットワークモデルに入力して変形場を生成することを含む。
【００７２】
上記所定の訓練パラメータは、所定の階調値範囲及び所定の画像寸法（例えば、４１６  ｘ  ４１６  ｘ  ８０）を含んでもよい。上記画像正規化処理過程は、図１に示した実施例のステップ１０１における具体的な説明を参照することができる。任意選択的に、まず、位置合わせ前に行われる前処理は、剛性変換を含んでもよい。具体的には、ｓｉｍｐｌｅ  ＩＴＫ  ソフトウェアによりリサンプリングを行うことで、所定の位置合わせされるべき画像と所定の参照画像の位置及び解像度をほぼ一致させることができる。後続の訓練過程における操作を容易にするために、画像に対して所定のサイズで切り取り又は充填を行うことができる。事前設定された入力画像の画像寸法を縦横高さ４１６  ｘ  ４１６  ｘ  ８０とすれば、切り取り又は充填（ゼロパディング）により、所定の位置合わせされるべき画像と所定の参照画像の画像寸法をいずれも４１６  ｘ  ４１６  ｘ  ８０にする必要がある。
【００７３】
任意選択的に、ターゲット窓幅に基づいて、上記変換された所定の位置合わせされるべき画像及び所定の参照画像を処理し、処理された所定の位置合わせされるべき画像及び所定の参照画像を得る。
【００７４】
ＣＴでの、様々な器官組織の表現は異なる。つまり、対応する階調レベルが異なる可能性がある。窓幅（ｗｉｎｄｏｗｉｎｇ）とは、ハンスフィールド（発明者）ユニット（Ｈｏｕｎｓｆｉｅｌｄ  Ｕｎｉｔ，ＨＵ）により得られたデータを利用して映像を算出するプロセスを指す。様々な放射強度（Ｒａｉｏｄｅｎｓｉｔｙ）は、２５６個の異なる程度の階調値に対応する。これらの様々な階調値は、ＣＴ値の様々な範囲に応じて減衰値を再定義することができる。ＣＴ範囲の中心値が不変のままであるとすれば、定義された範囲は、狭くなった後、狭窓と呼ばれる。従って、細部での小さい変動を認識することができる。映像処理の点で対比圧縮と呼ばれる。
【００７５】
肺ＣＴにおける重要な情報のために、まずターゲット窓幅を事前設定することができる。例えば、ターゲット窓幅［−１２００，６００］により、所定の位置合わせされるべき画像及び所定の参照画像を［０，１］までに正規化する。つまり、元画像における６００より大きいものを１とし、−１２００未満のものを０とする。
【００７６】
重要な情報をより好適に抽出するために、本願の実施例において、様々な組織について、ＣＴに公認された窓幅、窓を設定してもよい。ここの［−１２００，６００］における具体的な数値−１２００，６００は、窓を表し、範囲は、１８００であり、即ち窓幅である。上記画像正規化処理の目的は、後続の損失計算における勾配爆発を避けることである。
【００７７】
本願の実施例では、正規化層を提供することで、訓練の安定性及び収束性を向上させる。特徴マップの寸法をＮ  ｘ  Ｃ  ｘ  Ｄ  ｘ  Ｈ  ｘ  Ｗとする。ここで、Ｎは、ｂａｔｃｈ  ｓｉｚｅを指し、つまり、各バッチのデータ量の大きさを指す。Ｃは、チャネル数であり、Ｄは、深さであり、Ｈ及びＷはそれぞれ特徴マップの高さ及び幅である。任意選択的に、上記Ｈ、Ｗ、Ｄは、それぞれ、特徴マップの長さ、幅、高さを表すパラメータであってもよい。異なる用途で、他の画像パラメータにより特徴マップを記述してもよい。本願の実施例では、Ｃ  ｘ  Ｄ  ｘ  Ｈ  ｘ  Ｗの最小値及び最大値を算出することで、各画像データを正規化処理することができる。
【００７８】
任意選択的に、所定の窓幅に基づいて、上記変換された所定の位置合わせされるべき画像及び所定の参照画像を処理する前に、上記方法は、
上記所定の位置合わせされるべき画像のターゲットカテゴリタグを取得し、所定のカテゴリタグと所定の窓幅との対応関係に基づいて、上記ターゲットカテゴリタグに対応する上記ターゲット窓幅を決定することを更に含む。
【００７９】
具体的には、画像処理装置に、少なくとも１つの所定の窓幅及び少なくとも１つの所定のカテゴリタグが記憶されてもよい。また、上記所定のカテゴリタグと所定の窓幅との対応関係が記憶されてもよい。入力された所定の位置合わせされるべき画像は、ターゲットカテゴリタグを運んでもよい。又は、ユーザは、画像処理装置を操作することで、該所定の位置合わせされるべき画像のターゲットカテゴリタグを選択することができる。画像処理装置は、上記所定のカテゴリタグから、上記ターゲットカテゴリタグを検索し、上記所定のカテゴリタグと所定の窓幅との対応関係に基づいて、上記所定の窓幅から、上記ターゲットカテゴリタグに対応するターゲット窓幅を決定し、更に、該ターゲット窓幅に基づいて、上記変換された所定の位置合わせされるべき画像及び所定の参照画像を処理することができる。
【００８０】
上記ステップにより、画像処理装置は、様々な所定の位置合わせされるべき画像の処理に用いられる窓幅を迅速かつ柔軟に選択することができ、後続の位置合わせ処理を容易にする。
【００８１】
２０２において、上記変形場に基づいて、上記所定の位置合わせされるべき画像を上記所定の参照画像と位置合わせし、位置合わせされた画像を得る。
【００８２】
ここで、Ｌ２が滑らかな性質を有するため、変形場の勾配に対してＬ２損失関数を用いることができる。
【００８３】
前処理された所定の位置合わせされるべき画像及び所定の参照画像を訓練されるべきニューラルネットワークに入力して変形場（ｄｅｆｏｒｍａｂｌｅ  ｆｉｅｌｄ）を生成し、上記変形場に基づいて、上記所定の位置合わせされるべき画像を上記所定の参照画像と位置決めする。つまり、該変形場及び所定の参照画像を利用して、変形した位置合わせ結果画像（ｍｏｖｅｄ）を生成する。
【００８４】
上記位置合わせされた画像は、所定のニューラルネットワークモデルにより、所定の位置合わせされるべき画像を所定の参照画像と一次位置合わせした中間画像である。該過程は、複数回実行されると理解されてもよい。つまり、ステップ２０２及びステップ２０３を繰り返して実行することで、該所定のニューラルネットワークモデルを継続的に訓練して最適化することができる。
【００８５】
２０３において、上記位置合わせされた画像及び上記所定の参照画像の相関係数損失を得て、上記相関係数損失に基づいて、上記所定のニューラルネットワークモデルに対してパラメータ更新を行い、訓練された所定のニューラルネットワークモデルを得る。
【００８６】
本願の実施例において、相関係数損失を、位置合わせされた画像と参照画像との類似度を評価するための標準とすることで、ステップ２０２及びステップ２０３を繰り返して実行し、上記所定のニューラルネットワークモデルのパラメータを継続的に更新し、ネットワークの訓練を導く。
【００８７】
任意選択的に、所定のオプティマイザに基づいて、前記所定のニューラルネットワークモデルに対して、所定の学習率及び所定の閾値回数のパラメータ更新を行うことができる。
【００８８】
上記更新の場合に係る所定の閾値回数は、ニューラルネットワーク訓練におけるエポック（ｅｐｏｃｈ）を指す。１つのエポックは、全ての訓練サンプルの１つの順方向伝達及び１つの逆方向伝達と理解されてもよい。
【００８９】
オプティマイザに用いられるアルゴリズムは、一般的には、自己適応的勾配最適化アルゴリズム（Ａｄａｐｔｉｖｅ  Ｇｒａｄｉｅｎｔ：ＡｄａＧｒａｄ）及びＲＭＳＰｒｏｐアルゴリズムである。自己適応的勾配最適化アルゴリズムは、各パラメータに対して、異なる学習率を調整し、頻繁に変動したパラメータについて、より小さなステップ幅で更新を行い、スパースなパラメータについて、より大きなステップ幅で更新を行う。また、ＲＭＳＰｒｏｐアルゴリズムは、２乗勾配の指数移動平均により、学習率の変化を調整し、不安定な（Ｎｏｎ−Ｓｔａｔｉｏｎａｒｙ）ターゲット関数で、良好な収束を行うことができる。
【００９０】
具体的には、上記所定のオプティマイザとして、ＡＤＡＭのオプティマイザを用いてもよい。これは、ＡｄａＧｒａｄ及びＲＭＳＰｒｏｐという２つの最適化アルゴリズムの利点を有する。勾配の一次モーメントの推定（Ｆｉｒｓｔ  Ｍｏｍｅｎｔ  Ｅｓｔｉｍａｔｉｏｎ：即ち、勾配の平均値）及び二次モーメントの推定（ＳｅｃｏｎｄＭｏｍｅｎｔ  Ｅｓｔｉｍａｔｉｏｎ：即ち、勾配の中心化されていない分散）を総合的に考慮して、更新ステップ幅を算出する。
【００９１】
画像処理装置又は上記所定のオプティマイザに、上記所定の閾値回数及び所定の学習率を制記憶することで更新を制御することができる。例えば、学習率は、０．００１であり、所定の閾値回数は、３００  ｅｐｏｃｈである。また、学習率の調整ルールを設定し、該学習率の調整ルールに応じて、パラメータ更新の学習率を調整することもできる。例えば、４０、１２０及び２００  ｅｐｏｃｈで、学習率が半分になることを設定してもよい。
【００９２】
上記訓練された所定のニューラルネットワークモデルを得た後、画像処理装置は、図１に示した指令における一部又は全部の方法を実行することができる。つまり、上記所定のニューラルネットワークモデルに基づいて、位置合わせされるべき画像を参照画像と位置合わせし、位置合わせ結果を得ることができる。
【００９３】
一般的には、大部の技術において、相互情報量の位置合わせ方法を用いるため、結合分布密度を推定する必要がある。非パラメータ方法で相互情報量を推定する（例えばヒストグラムを用いる）と、演算量が大きくて、逆方向伝達をサポートせず、ニューラルネットワークに適用できない。本願の実施例では、一部の窓の相関係数を類似度評価損失として用いるため、訓練された所定のニューラルネットワークモデルは、画像位置合わせに使用可能である。特に、如何なる変形可能な臓器の医用画像位置合わせに適用可能である。異なる時点での追跡調査画像について変形可能な位置合わせを行い、位置合わせ効率が高く、結果がより正確である。
【００９４】
幾つかの手術で、術前又は術中で、品質及び速度の異なる種々の走査を行い、医用画像を得る必要がある。しかしながら、医用画像の位置合わせは、様々な走査を完了した後にのみ実行可能となる。これは手術中のリアルタイムなニーズを満たさない。一般的には、手術の結果を判定するために、更なる時間を必要とする。位置合わせを行った後に、手術結果が望ましくないことを発見する場合、後続の手術による治療を行う必要がある可能性がある。医者及び患者にとって時間の無駄であり、治療を遅らせてしまう。本願の実施例における所定のニューラルネットワークモデルに基づいた位置合わせは、手術中のリアルタイムな医用画像位置合わせに適用可能である。例えば、腫瘍切除術中、リアルタイムな位置合わせを行うことで、腫瘍が完全に切除されているかどうかを判定し、リアルタイム性を向上させる。
【００９５】
本願の実施例では、所定の位置合わせされるべき画像及び所定の参照画像を取得し、上記所定の位置合わせされるべき画像及び上記所定の参照画像を上記所定のニューラルネットワークモデルに入力して、変形場を生成する。上記変形場に基づいて、上記所定の位置合わせされるべき画像を上記所定の参照画像と位置合わせし、位置合わせされた画像を得て、上記位置合わせされた画像及び上記所定の参照画像の相関係数損失を得て、上記相関係数損失に基づいて、上記所定のニューラルネットワークモデルに対してパラメータ更新を行い、訓練された所定のニューラルネットワークモデルを得る。変形可能な位置合わせに適用可能であり、画像位置合わせの精度及びリアルタイム性を向上させることができる。
【００９６】
以上は、方法実行プロセスの点から本願の実施例の解決手段を説明した。画像処理装置は、上記機能を実現させるために、各機能を実行するためのハードウェア構造及び／又はソフトウェアモジュールを備えることは、理解されるべきである。本明細書に開示されている実施例に記載の各例におけるユニット及びアルゴリズムステップと合わせて、本願は、ハードウェア又はハードウェアとコンピュータソフトウェアの組み合わせにより実現することができることは、当業者であれば容易に理解すべきである。機能がハードウェアによって実行されるかコンピュータソフトウェアによるハードウェア駆動の形態で実行されるかは、技術的解決手段の、特定の適用例、及び設計制約条件に依存する。当業者は、特定の適用について、説明された機能を様々な方法で実現させることができるが、このような実現も本願の範囲に属する。
【００９７】
本願の実施例では、上記方法の例に基づいて、画像処理装置について機能ユニットの分割を行うことができる。例えば、各機能に対応するように、各機能ユニットを分割することができる。また、２つ又は２つ以上の機能を１つの処理ユニットに集積することもできる。上記集積ユニットは、ハードウェアの形態で実現してもよく、ソフトウェア機能ユニットの形態で実現してもよい。本願の実施例において、ユニットの分割は模式的なものであり、ただロジック機能の分割であり、実際に実現する時は他の分割方式によってもよい。
【００９８】
本願の実施例による画像処理装置の構造を示す概略図である図３を参照されたい。図３に示すように、該画像処理装置３００は、取得モジュール３１０と、位置合わせモジュール３２０とを備え、
上記取得モジュール３１０は、位置合わせされるべき画像及び位置合わせに用いられる参照画像を取得するように構成され、
上記位置合わせモジュール３２０は、上記位置合わせされるべき画像及び上記参照画像を所定のニューラルネットワークモデルに入力するように構成され、上記所定のニューラルネットワークモデル訓練において、類似性を評価するためのターゲット関数は、所定の位置合わせされるべき画像及び所定の参照画像の相関係数損失を含み、
上記位置合わせモジュール３２０は更に、上記所定のニューラルネットワークモデルに基づいて、上記位置合わせされるべき画像を上記参照画像と位置合わせし、位置合わせ結果を得るように構成される。
【００９９】
任意選択的に、上記画像処理装置３００は、位置合わせされるべき元画像及び元参照画像を取得し、上記位置合わせされるべき元画像及び上記元参照画像に対して画像正規化処理を行い、ターゲットパラメータを満たす上記位置合わせされるべき画像及び上記参照画像を得るように構成される前処理モジュール３３０を更に備える。
【０１００】
任意選択に、上記前処理モジュール３３０は具体的には、
上記位置合わせされるべき元画像を所定の階調値範囲内の所定の画像寸法の位置合わせされるべき画像に変換し、
上記元参照画像を上記所定の階調値範囲内の所定の画像寸法の参照画像に変換するように構成される。
【０１０１】
任意選択的に、上記位置合わせモジュール３２０は、位置合わせユニット３２１と、更新ユニット３２２と、を備え、
上記位置合わせユニット３２１は、上記所定の位置合わせされるべき画像及び上記所定の参照画像を取得し、上記所定の位置合わせされるべき画像及び上記所定の参照画像を前記所定のニューラルネットワークモデルに入力して変形場を生成するように構成され、
上記位置合わせユニット３２１は更に、上記変形場に基づいて、上記所定の位置合わせされるべき画像を上記所定の参照画像と位置合わせし、位置合わせされた画像を得るように構成され、
上記更新ユニット３２２は、上記位置合わせされた画像及び上記所定の参照画像の相関係数損失を得て、上記相関係数損失に基づいて、上記所定のニューラルネットワークモデルに対してパラメータ更新を行い、訓練された所定のニューラルネットワークモデルを得るように構成される。
【０１０２】
任意選択的に、上記前処理モジュール３３０は更に、
上記所定の位置合わせされるべき画像及び上記所定の参照画像に対して画像正規化処理を行い、所定の訓練パラメータを満たす所定の位置合わせされるべき画像及び所定の参照画像を得るように構成され、
上記位置合わせユニット３２１は具体的には、所定の訓練パラメータを満たす上記所定の位置合わせされるべき画像及び所定の参照画像を上記所定のニューラルネットワークモデルに入力して変形場を生成するように構成される。
【０１０３】
任意選択的に、上記前処理モジュール３３０は具体的には、
上記所定の位置合わせされるべき画像の寸法及び上記所定の参照画像の寸法を所定の画像寸法に変換し、
ターゲット窓幅に基づいて、上記変換された所定の位置合わせされるべき画像及び所定の参照画像を処理し、処理された所定の位置合わせされるべき画像及び所定の参照画像を得るように構成される。
【０１０４】
任意選択的に、上記前処理モジュール３３０は更に具体的には、
所定の窓幅に基づいて、上記変換された所定の位置合わせされるべき画像及び所定の参照画像を処理する前に、上記所定の位置合わせされるべき画像のターゲットカテゴリタグを取得し、所定のカテゴリタグと所定の窓幅との対応関係に基づいて、上記ターゲットカテゴリタグに対応する前記ターゲット窓幅を決定するように構成される。
【０１０５】
任意選択的に、上記更新ユニット３２２は更に、
所定のオプティマイザに基づいて、上記所定のニューラルネットワークモデルに対して、所定の学習率及び所定の閾値回数のパラメータ更新を行うように構成される。
【０１０６】
図３に示す実施例における画像処理装置は、図１及び／又は図２に示した実施例における一部又は全部の方法を実行することができる。
【０１０７】
図３に示す画像処理装置３００を実行すると、画像処理装置３００は、位置合わせされるべき画像及び位置合わせに用いられる参照画像を取得し、上記位置合わせされるべき画像及び上記参照画像を所定のニューラルネットワークモデルに入力する。上記所定のニューラルネットワークモデル訓練において、類似性を評価するためのターゲット関数は、所定の位置合わせされるべき画像及び所定の参照画像の相関係数損失を含む。上記所定のニューラルネットワークモデルに基づいて、上記位置合わせされるべき画像を上記参照画像と位置合わせし、位置合わせ結果を得る。これにより、画像位置合わせの精度及びリアルタイム性を向上させることができる。
【０１０８】
本願の実施例による電子機器の構造を示す概略図である図４を参照されたい。図４に示すように、該電子機器４００は、プロセッサ４０１と、メモリ４０２と、を備える。ここで、電子機器４００は、バス４０３を更に備えてもよい。プロセッサ４０１とメモリ４０２はバス４０３を介して接続される。バス４０３は、ペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ：ＰＣＩ）バス又は拡張業界標準アーキテクチャ（Ｅｘｔｅｎｄｅｄ  Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ：ＥＩＳＡ）バスなどであってもよい。バス４０３は、アドレスバス、データバス、制御バスなどに分けられてもよい。表示を容易にするために、図４において、１本の太線のみで表すが、１本のバス又は１つのタイプのバスのみを有することを意味しない。ここで、電子機器４００は、入力出力装置４０４を更に備えてもよい。入力出力装置４０４は、液晶ディスプレイのようなディスプレイを含んでもよい。メモリ４０２は、命令を含む１つ又は複数のプログラムを記憶するためのものである。プロセッサ４０１は、メモリ４０２に記憶された命令を呼び出して上記図１及び図２に示した実施例における一部又は全ての方法のステップを実行するためのものである。上記プロセッサは、図３における電子機器３００における各モジュールの機能を実現させることができる。
【０１０９】
図４に示した電子機器４００を実行すると、電子機器４００は、位置合わせされるべき画像及び位置合わせに用いられる参照画像を取得し、上記位置合わせされるべき画像及び上記参照画像を所定のニューラルネットワークモデルに入力する。上記所定のニューラルネットワークモデル訓練において、類似性を評価するためのターゲット関数は、所定の位置合わせされるべき画像及び所定の参照画像の相関係数損失を含む。上記所定のニューラルネットワークモデルに基づいて、上記位置合わせされるべき画像を上記参照画像と位置合わせし、位置合わせ結果を得る。これにより、画像位置合わせの精度及びリアルタイム性を向上させることができる。
【０１１０】
本願の実施例では、コンピュータ記憶媒体を更に提供する。該コンピュータ記憶媒体は、電子データ交換用のコンピュータプログラムを記憶するように構成され、該コンピュータプログラムは、コンピュータに、上記方法実施例に記載のいずれか１つの画像処理方法の一部又は全部のステップを実行させる。
【０１１１】
本願の実施例では、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される場合、前記電子機器におけるプロセッサは、上記方法実施例に記載のいずれか１つの画像処理方法の一部又は全部のステップを実行させる。
【０１１２】
前記各方法実施例について、説明の簡素化のため、一連の動作の組み合わせとして説明するが。本願は、記述された動作の順番に限定されないことは、当業者であれば、理解すべきである。本願によれば、これらのステップは他の順番で実行してもよく、同時に実行してもよい。また、明細書に記述された実施例はいずれも好適な実施例であり、関わる動作及びモジュールが、本願にとって必ずしも不可欠ではないことは、当業者であれば、理解すべきである。
【０１１３】
上記の実施例において、各々の実施例に対する説明はそれぞれ偏りがある。ある実施例に詳しく説明されていない部分に対しては、ほかの実施例に関する説明を参照することができる。
【０１１４】
本願で提供されるいくつかの実施例において、開示される装置及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記モジュール（又はユニット）の分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよく、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよく、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
【０１１５】
分離部材として説明したモジュールは、物理的に別個のものであってもよく、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよく、そうでなくてもよい。即ち、同一の位置に位置してもよく、複数のネットワークに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。
【０１１６】
また、本発明の各実施例における各機能モジュールは一つの処理モジュールに集積されてもよく、各モジュールが物理的に別個のものとして存在してもよく、２つ以上のモジュールが一つのモジュールに集積されてもよい。上記集積したモジュールはハードウェアとして実現してもよく、ソフトウェア機能モジュールとして実現してもよい。
【０１１７】
上記集積したモジュールがソフトウェア機能モジュールの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本願の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、メモリに記憶しても良く、また、コンピュータ設備（パソコン、サーバ、又はネットワーク装置など）に、本発明の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記のメモリは、ＵＳＢスティック、読み出し専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ：ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ：ＲＡＭ）、バブルハードディスク、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
【０１１８】
上記実施例における各方法の全ての又は一部のステップを、プログラムにより関連ハードウェアを命令することで実行することができることは、当業者であれば理解されるべきである。該プログラムは、コンピュータ可読メモリに記憶されてもよい。メモリは、フラッシュディスク、読み出し専用メモリ、ランダムアクセスメモリ、磁気ディスク又は光ディスクなどを含んでもよい。
【０１１９】
以上、本願の実施例を詳しく説明した。本明細書において具体的な例を利用して本願の原理及び実施形態を説明する。上記実施例の説明は、本願の方法及びその要旨を理解しやすくするためのものに過ぎない。また、当業者であれば、本願の要旨に基づいて、具体的な実施形態及び適用範囲を変更することもできる。要するに、本明細書は、本願を限定するものと理解されない。
【図１】
2021530061.tif 000010
【図２】
2021530061.tif 000011
【図３】
2021530061.tif 000012
【図４】
2021530061.tif 000013
【手続補正書】
【提出日】令和3年1月14日(2021.1.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像処理方法であって、
位置合わせされるべき画像及び位置合わせに用いられる参照画像を取得することと、
前記位置合わせされるべき画像及び前記参照画像を所定のニューラルネットワークモデルに入力することであって、前記所定のニューラルネットワークモデル訓練において、類似性を評価するためのターゲット関数は、所定の位置合わせされるべき画像及び所定の参照画像の相関係数損失を含む、ことと、
前記所定のニューラルネットワークモデルに基づいて、前記位置合わせされるべき画像を前記参照画像と位置合わせし、位置合わせ結果を得ることと、を含むことを特徴とする、前記画像処理方法。
【請求項２】
前記位置合わせされるべき画像及び位置合わせに用いられる参照画像を取得する前に、前記方法は、
位置合わせされるべき元画像及び元参照画像を取得し、前記位置合わせされるべき元画像及び前記元参照画像に対して画像正規化処理を行い、ターゲットパラメータを満たす位置合わせされるべき画像及び参照画像を得ることを更に含むことを特徴とする
請求項１に記載の画像処理方法。
【請求項３】
前記位置合わせされるべき元画像及び前記元参照画像に対して画像正規化処理を行い、ターゲットパラメータを満たす位置合わせされるべき画像及び参照画像を得ることは、
前記位置合わせされるべき元画像を所定の階調値範囲内の所定の画像寸法の位置合わせされるべき画像に変換することと、
前記元参照画像を前記所定の階調値範囲内の所定の画像寸法の参照画像に変換することと、を含むことを特徴とする
請求項２に記載の画像処理方法。
【請求項４】
前記所定のニューラルネットワークモデルの訓練過程は、
前記所定の位置合わせされるべき画像及び前記所定の参照画像を取得し、前記所定の位置合わせされるべき画像及び前記所定の参照画像を前記所定のニューラルネットワークモデルに入力して変形場を生成することと、
前記変形場に基づいて、前記所定の位置合わせされるべき画像を前記所定の参照画像と位置合わせし、位置合わせされた画像を得ることと、
前記位置合わせされた画像及び前記所定の参照画像の相関係数損失を得ることと、
前記相関係数損失に基づいて、前記所定のニューラルネットワークモデルに対してパラメータ更新を行い、訓練された所定のニューラルネットワークモデルを得ることと、を含むことを特徴とする
請求項１〜３のうちいずれか一項に記載の画像処理方法。
【請求項５】
前記所定の位置合わせされるべき画像及び前記所定の参照画像を取得した後、前記方法は、
前記所定の位置合わせされるべき画像及び前記所定の参照画像に対して画像正規化処理を行い、所定の訓練パラメータを満たす所定の位置合わせされるべき画像及び所定の参照画像を得ることを更に含み、
前記所定の位置合わせされるべき画像及び前記所定の参照画像を前記所定のニューラルネットワークモデルに入力して変形場を生成することは、
所定の訓練パラメータを満たす前記所定の位置合わせされるべき画像及び所定の参照画像を前記所定のニューラルネットワークモデルに入力して変形場を生成することを含むことを特徴とする
請求項４に記載の画像処理方法。
【請求項６】
前記方法は、
前記所定の位置合わせされるべき画像の寸法及び前記所定の参照画像の寸法を所定の画像寸法に変換することを更に含み、
前記所定の位置合わせされるべき画像及び前記所定の参照画像に対して画像正規化処理を行い、所定の訓練パラメータを満たす所定の位置合わせされるべき画像及び所定の参照画像を得ることは、
ターゲット窓幅に基づいて、前記変換された所定の位置合わせされるべき画像及び所定の参照画像を処理し、処理された所定の位置合わせされるべき画像及び所定の参照画像を得ることを含むことを特徴とする
請求項５に記載の画像処理方法。
【請求項７】
前記ターゲット窓幅に基づいて、前記変換された所定の位置合わせされるべき画像及び所定の参照画像を処理する前に、前記方法は、
前記所定の位置合わせされるべき画像のターゲットカテゴリタグを取得し、所定のカテゴリタグと所定の窓幅との対応関係に基づいて、前記ターゲットカテゴリタグに対応する前記ターゲット窓幅を決定することを更に含むことを特徴とする
請求項６に記載の画像処理方法。
【請求項８】
前記方法は、
所定のオプティマイザに基づいて、前記所定のニューラルネットワークモデルに対して、所定の学習率及び所定の閾値回数のパラメータ更新を行うことを更に含むことを特徴とする
請求項５〜７のうちいずれか一項に記載の画像処理方法。
【請求項９】
画像処理装置であって、前記装置は、取得モジュールと、位置合わせモジュールとを備え、
前記取得モジュールは、位置合わせされるべき画像及び位置合わせに用いられる参照画像を取得するように構成され、
前記位置合わせモジュールは、前記位置合わせされるべき画像及び前記参照画像を所定のニューラルネットワークモデルに入力するように構成され、前記所定のニューラルネットワークモデル訓練において、類似性を評価するためのターゲット関数は、所定の位置合わせされるべき画像及び所定の参照画像の相関係数損失を含み、
前記位置合わせモジュールは更に、前記所定のニューラルネットワークモデルに基づいて、前記位置合わせされるべき画像を前記参照画像と位置合わせし、位置合わせ結果を得るように構成されることを特徴とする、前記画像処理装置。
【請求項１０】
プロセッサ及びメモリを備える電子機器であって、前記メモリは１つ又は複数のプログラムを記憶するために使用され、前記１つ又は複数のプログラムは前記プロセッサにより実行されるように構成され、前記プログラムは請求項１〜８のうちいずれか一項に記載の方法を実行するように構成されることを特徴とする、前記電子機器。
【請求項１１】
電子データ交換用のコンピュータプログラムを記憶するコンピュータ可読記憶媒体であって、前記コンピュータプログラムは、コンピュータに、請求項１〜８のうちいずれか一項に記載の方法を実行させることを特徴とする、前記コンピュータ可読記憶媒体。
【請求項１２】
コンピュータに、請求項１〜８のうちいずれか一項に記載の方法を実行させることを特徴とする、コンピュータプログラム。
【国際調査報告】
2021530061.tif 000014
2021530061.tif 000015
2021530061.tif 000016
2021530061.tif 000017