(57)【要約】  本願は画像処理用のニューラルネットワークモデルのトレーニング方法、装置及び記憶媒体に関するものであり、前記方法は、複数の時間的に隣接するビデオフレームを取得するステップと、前記複数のビデオフレームをそれぞれニューラルネットワークモデル処理を経由させ、ニューラルネットワークモデルが対応する中間画像を出力するようにするステップと、複数の時間的に隣接するビデオフレーム内の時間順序的に前のビデオフレームから、時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報を取得するステップと、時間順序的に前のビデオフレームに対応する中間画像の前記オプティカルフロー情報に基づいて変化した後の画像を取得するステップと、時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を取得するステップと、前記複数の時間的に隣接するビデオフレームに対応する中間画像とターゲット特徴画像との間の特徴損耗を取得するステップと、前記ニューラルネットワークモデルがトレーニングの終了条件を満たすまで、前記時間損耗と前記特徴損耗とに基づいて、前記ニューラルネットワークモデルを調整し、前記複数の時間的に隣接するビデオフレームを取得するステップに戻ってトレーニングを継続するステップとを含む。
2019534520.tif 000002
【特許請求の範囲】
【請求項１】
画像処理用のニューラルネットワークモデルのトレーニング方法であって、電子装置に適用され、前記方法は、
複数の時間的に隣接するビデオフレームを取得するステップと、
前記複数のビデオフレームをそれぞれニューラルネットワークモデル処理を経由させ、前記ニューラルネットワークモデルが対応する中間画像を出力するようにするステップと、
前記複数の時間的に隣接するビデオフレームのうちの時間順序的に前のビデオフレームから、時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報を取得するステップと、
前記時間順序的に前のビデオフレームに対応する中間画像の前記オプティカルフロー情報に基づいて変化した後の画像を取得するステップと、
前記時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を取得するステップと、
前記複数の時間的に隣接するビデオフレームに対応する中間画像とターゲット特徴画像との間の特徴損耗を取得するステップと、
前記ニューラルネットワークモデルがトレーニングの終了条件を満たすまで、前記時間損耗と前記特徴損耗とに基づいて、前記ニューラルネットワークモデルを調整し、前記複数の時間的に隣接するビデオフレームを取得するステップに戻ってトレーニングを継続するステップと、を含む、
前記画像処理用のニューラルネットワークモデルのトレーニング方法。
【請求項２】
前記時間損耗と前記特徴損耗とに基づいて、前記ニューラルネットワークモデルを調整するステップは、
前記複数の時間的に隣接するビデオフレームに対応する中間画像と対応するビデオフレームとの間の内容損耗を取得するステップと、
前記時間損耗、前記特徴損耗、及び前記内容損耗に基づいて、トレーニングコストを生成するステップと、
前記トレーニングコストに基づいて、前記ニューラルネットワークモデルを調整するステップと、を含む、
請求項１に記載の方法。
【請求項３】
前記複数の時間的に隣接するビデオフレームに対応する中間画像と対応するビデオフレームとの間の内容損耗を取得するステップは、
前記中間画像と前記中間画像に対応するビデオフレームとを評価ネットワークモデルに入力するステップと、
前記評価ネットワークモデルに含まれる層で出力された、前記ビデオフレームに対応する特徴図と前記中間画像に対応する特徴図とを取得するステップと、
前記中間画像に対応する特徴図と前記ビデオフレームに対応する特徴図とに基づいて、前記中間画像と対応するビデオフレームとの間の内容損耗を確定するステップと、を含む、
請求項２に記載の方法。
【請求項４】
前記トレーニングコストに基づいて、前記ニューラルネットワークモデルを調整するステップは、
前記ニューラルネットワークモデルに含まれる層の順序に従って、前記トレーニングコストの各前記層に対応する非線形変化オペレータに従う変化率を逆順で確定するステップと、
前記ニューラルネットワークモデルに含まれる層に対応する非線形変化オペレータを前記逆順で調整し、対応的に調整する前記層に対応する非線形変化オペレータに従う前記トレーニングコストの変化率を減少させるステップと、を含む、
請求項２に記載の方法。
【請求項５】
前記時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を取得するステップは、
前記時間順序的に後ろのビデオフレームに対応する中間画像を、変化後の画像内の対応するピクセル位置の数値と減算し、差異分布図を得るステップと、
前記差異分布図に基づいて、前記時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を確定するステップと、を含む、
請求項１〜４のいずれか１項に記載の方法。
【請求項６】
前記複数の時間的に隣接するビデオフレームに対応する中間画像とターゲット特徴画像との間の特徴損耗を取得するステップは、
前記中間画像とターゲット特徴画像とを評価ネットワークモデルに入力するステップと、
前記評価ネットワークモデルに含まれる層で出力された、前記中間画像に対応する特徴図と前記ターゲット特徴画像に対応する特徴図とを取得するステップと、
前記中間画像に対応する特徴図と前記ターゲット特徴画像に対応する特徴図とに基づいて、前記中間画像とターゲット特徴画像との間の特徴損耗を確定するステップと、を含む、
請求項１〜４のいずれか１項に記載の方法。
【請求項７】
前記中間画像に対応する特徴図と前記ターゲット特徴画像に対応する特徴図とに基づいて、前記中間画像とターゲット特徴画像との間の特徴損耗を確定するステップは、
前記中間画像に対応する特徴図に基づいて、前記中間画像に対応する特徴マトリックスを確定するステップと、
前記ターゲット特徴画像に対応する特徴図に基づいて、前記ターゲット特徴画像に対応する特徴マトリックスを確定するステップと、
前記中間画像に対応する特徴マトリックスを、前記ターゲット特徴画像に対応する特徴マトリックス内の対応位置の数値と減算し、特徴差異マトリックスを得るステップと、
前記特徴差異マトリックスに基づいて、前記中間画像と前記ターゲット特徴画像との間の特徴損耗を確定するステップと、を含む、
請求項６に記載の方法。
【請求項８】
画像処理用のニューラルネットワークモデルのトレーニング装置であって、前記装置は、プロセッサと前記プロセッサに接続されるメモリを含み、前記メモリに前記プロセッサにより実行されることが可能である機械可読命令モジュールが記憶され、前記機械可読命令モジュールは、入力取得モジュール、出力取得モジュール、損耗取得モジュール、及びモデル調整モジュールを含み、
前記入力取得モジュールは、複数の時間的に隣接するビデオフレームを取得するように構成され、
前記出力取得モジュールは、前記複数のビデオフレームをそれぞれニューラルネットワークモデル処理を経由させ、前記ニューラルネットワークモデルが対応する中間画像を出力するようにするように構成され、
前記損耗取得モジュールは、前記複数の時間的に隣接するビデオフレームのうちの時間順序的に前のビデオフレームから、時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報を取得し、前記時間順序的に前のビデオフレームに対応する中間画像の前記オプティカルフロー情報に基づいて変化した後の画像を取得し、前記時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を取得し、前記複数の時間的に隣接するビデオフレームに対応する中間画像とターゲット特徴画像との間の特徴損耗を取得するように構成され、
前記モデル調整モジュールは、前記ニューラルネットワークモデルがトレーニングの終了条件を満たすまで、前記時間損耗と前記特徴損耗とに基づいて、前記ニューラルネットワークモデルを調整し、前記複数の時間的に隣接するビデオフレームを取得するステップに戻ってトレーニングを継続するように構成される、
前記画像処理用のニューラルネットワークモデルのトレーニング装置。
【請求項９】
前記モデル調整モジュールは、前記複数の時間的に隣接するビデオフレームに対応する中間画像と対応するビデオフレームとの間の内容損耗を取得し、前記時間損耗、前記特徴損耗、及び前記内容損耗に基づいて、トレーニングコストを生成し、前記トレーニングコストに基づいて、前記ニューラルネットワークモデルを調整するようにさらに構成される、
請求項８に記載の装置。
【請求項１０】
前記モデル調整モジュールは、前記中間画像と前記中間画像に対応するビデオフレームとを評価ネットワークモデルに入力し、前記評価ネットワークモデルに含まれる層で出力された、前記ビデオフレームに対応する特徴図と前記中間画像に対応する特徴図とを取得し、前記中間画像に対応する特徴図と前記ビデオフレームに対応する特徴図とに基づいて、前記中間画像と対応するビデオフレームとの間の内容損耗を確定するようにさらに構成される、
請求項９に記載の装置。
【請求項１１】
前記モデル調整モジュールは、前記ニューラルネットワークモデルに含まれる層の順序に従って、前記トレーニングコストの各前記層に対応する非線形変化オペレータに従う変化率を逆順で確定し、前記ニューラルネットワークモデルに含まれる層に対応する非線形変化オペレータを前記逆順で調整し、対応的に調整する前記層に対応する非線形変化オペレータに従う前記トレーニングコストの変化率を減少させるようにさらに構成される、
請求項９に記載の装置。
【請求項１２】
前記損耗取得モジュールは、前記時間順序的に後ろのビデオフレームに対応する中間画像を、変化後の画像内の対応するピクセル位置の数値と減算し、差異分布図を得、前記差異分布図に基づいて、前記時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を確定するようにさらに構成される、
請求項８〜１１のいずれか１項に記載の装置。
【請求項１３】
前記損耗取得モジュールは、前記中間画像とターゲット特徴画像とを評価ネットワークモデルに入力し、前記評価ネットワークモデルに含まれる層で出力された、前記中間画像に対応する特徴図と前記ターゲット特徴画像に対応する特徴図とを取得し、前記中間画像に対応する特徴図と前記ターゲット特徴画像に対応する特徴図とに基づいて、前記中間画像とターゲット特徴画像との間の特徴損耗を確定するようにさらに構成される、
請求項８〜１１のいずれか１項に記載の装置。
【請求項１４】
前記損耗取得モジュールは、前記中間画像に対応する特徴図に基づいて、前記中間画像に対応する特徴マトリックスを確定し、前記ターゲット特徴画像に対応する特徴図に基づいて、前記ターゲット特徴画像に対応する特徴マトリックスを確定し、前記中間画像に対応する特徴マトリックスを、前記ターゲット特徴画像に対応する特徴マトリックス内の対応位置の数値と減算し、特徴差異マトリックスを得、前記特徴差異マトリックスに基づいて、前記中間画像と前記ターゲット特徴画像との間の特徴損耗を確定するようにさらに構成される、
請求項１３に記載の装置。
【請求項１５】
不揮発性コンピュータ読み取り可能記憶媒体であって、前記記憶媒体に機械可読命令が記憶され、前記機械可読命令は、プロセッサにより実行され、
複数の時間的に隣接するビデオフレームを取得することと、
前記複数のビデオフレームをそれぞれニューラルネットワークモデル処理を経由させ、前記ニューラルネットワークモデルが対応する中間画像を出力するようにすることと、
前記複数の時間的に隣接するビデオフレームのうちの時間順序的に前のビデオフレームから、時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報を取得することと、
前記時間順序的に前のビデオフレームに対応する中間画像の前記オプティカルフロー情報に基づいて変化した後の画像を取得することと、
前記時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を取得することと、
前記複数の時間的に隣接するビデオフレームに対応する中間画像とターゲット特徴画像との間の特徴損耗を取得することと、
前記ニューラルネットワークモデルがトレーニングの終了条件を満たすまで、前記時間損耗と前記特徴損耗とに基づいて、前記ニューラルネットワークモデルを調整し、前記複数の時間的に隣接するビデオフレームを取得するステップに戻ってトレーニングを継続することと、
を実施するようにする、
前記不揮発性コンピュータ読み取り可能記憶媒体。
【請求項１６】
前記時間損耗と前記特徴損耗とに基づいて、前記ニューラルネットワークモデルを調整することは、
前記複数の時間的に隣接するビデオフレームに対応する中間画像と対応するビデオフレームとの間の内容損耗を取得することと、
前記時間損耗、前記特徴損耗、及び前記内容損耗に基づいて、トレーニングコストを生成することと、
前記トレーニングコストに基づいて、前記ニューラルネットワークモデルを調整することと、を含む、
請求項１５に記載の記憶媒体。
【請求項１７】
前記複数の時間的に隣接するビデオフレームに対応する中間画像と対応するビデオフレームとの間の内容損耗を取得することは、
前記中間画像と前記中間画像に対応するビデオフレームとを評価ネットワークモデルに入力することと、
前記評価ネットワークモデルに含まれる層で出力された、前記ビデオフレームに対応する特徴図と前記中間画像に対応する特徴図とを取得することと、
前記中間画像に対応する特徴図と前記ビデオフレームに対応する特徴図とに基づいて、前記中間画像と対応するビデオフレームとの間の内容損耗を確定することと、を含む、
請求項１６に記載の記憶媒体。
【請求項１８】
前記トレーニングコストに基づいて、前記ニューラルネットワークモデルを調整することは、
前記ニューラルネットワークモデルに含まれる層の順序に従って、前記トレーニングコストの各前記層に対応する非線形変化オペレータに従う変化率を逆順で確定することと、
前記ニューラルネットワークモデルに含まれる層に対応する非線形変化オペレータを前記逆順で調整し、対応的に調整する前記層に対応する非線形変化オペレータに従う前記トレーニングコストの変化率を減少させることと、を含む、
請求項１６に記載の記憶媒体。
【請求項１９】
前記時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を取得することは、
前記時間順序的に後ろのビデオフレームに対応する中間画像を、変化後の画像内の対応するピクセル位置の数値と減算し、差異分布図を得ることと、
前記差異分布図に基づいて、前記時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を確定することと、を含む、
請求項１５〜１８のいずれか１項に記載の記憶媒体。
【請求項２０】
前記複数の時間的に隣接するビデオフレームに対応する中間画像とターゲット特徴画像との間の特徴損耗を取得することは、
前記中間画像とターゲット特徴画像とを評価ネットワークモデルに入力することと、
前記評価ネットワークモデルに含まれる層で出力された、前記中間画像に対応する特徴図と前記ターゲット特徴画像に対応する特徴図とを取得することと、
前記中間画像に対応する特徴図と前記ターゲット特徴画像に対応する特徴図とに基づいて、前記中間画像とターゲット特徴画像との間の特徴損耗を確定することと、を含む、
請求項１５〜１８のいずれか１項に記載の記憶媒体。
【請求項２１】
前記中間画像に対応する特徴図と前記ターゲット特徴画像に対応する特徴図とに基づいて、前記中間画像とターゲット特徴画像との間の特徴損耗を確定することは、
前記中間画像に対応する特徴図に基づいて、前記中間画像に対応する特徴マトリックスを確定することと、
前記ターゲット特徴画像に対応する特徴図に基づいて、前記ターゲット特徴画像に対応する特徴マトリックスを確定することと、
前記中間画像に対応する特徴マトリックスを、前記ターゲット特徴画像に対応する特徴マトリックス内の対応位置の数値と減算し、特徴差異マトリックスを得ることと、
前記特徴差異マトリックスに基づいて、前記中間画像と前記ターゲット特徴画像との間の特徴損耗を確定することと、を含む、
請求項２０に記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は２０１７年３月８日に中国特許庁に提出され、出願番号が２０１７１０１３６４７１．９であり、発明の名称が「画像処理用のニューラルネットワークモデルのトレーニング方法及び装置」である中国特許出願の優先権を主張し、そのすべての内容が参照として本願に援用される。
【０００２】
本発明はコンピュータ技術分野に関し、特に画像処理用のニューラルネットワークモデルのトレーニング方法、装置、及び記憶媒体に関する。
【背景技術】
【０００３】
コンピュータ技術の発展に伴い、画像処理技術において、ニューラルネットワークモデルをよく用いて、画像の特徴に対して変換処理、例えば、画像色特徴変換、画像光影特徴変換、又は画像スタイル特徴変換等を行う。ニューラルネットワークモデルによって画像を特徴変換処理を行う前に、画像処理用のニューラルネットワークモデルをまずトレーニングする必要がある。
【発明の概要】
【課題を解決するための手段】
【０００４】
本願の実施例において、電子装置に適用される画像処理用のニューラルネットワークモデルのトレーニング方法が考案され、前記方法は、
複数の時間的に隣接するビデオフレームを取得するステップと、
前記複数のビデオフレームをそれぞれニューラルネットワークモデル処理を経由させ、前記ニューラルネットワークモデルが対応する中間画像を出力するようにするステップと、
前記複数の時間的に隣接するビデオフレームのうちの時間順序的に前のビデオフレームから、時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報を取得するステップと、
前記時間順序的に前のビデオフレームに対応する中間画像の前記オプティカルフロー情報に基づいて変化した後の画像を取得するステップと、
前記時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を取得するステップと、
前記複数の時間的に隣接するビデオフレームに対応する中間画像とターゲット特徴画像との間の特徴損耗を取得するステップと、
前記ニューラルネットワークモデルがトレーニングの終了条件を満たすまで、前記時間損耗と前記特徴損耗とに基づいて、前記ニューラルネットワークモデルを調整し、前記複数の時間的に隣接するビデオフレームを取得するステップに戻ってトレーニングを継続するステップと、を含む。
【０００５】
本願の実施例において、画像処理用のニューラルネットワークモデルのトレーニング装置が考案され、前記装置は、プロセッサと前記プロセッサに接続されるメモリとを含み、前記メモリに前記プロセッサによって実行される機械可読命令モジュールが記憶され、前記機械可読命令モジュールは、入力取得モジュール、出力取得モジュール、損耗取得モジュール、及びモデル調整モジュールを含み、
入力取得モジュールは、複数の時間的に隣接するビデオフレームを取得するように構成され、
出力取得モジュールは、前記複数のビデオフレームをそれぞれニューラルネットワークモデル処理を経由させ、前記ニューラルネットワークモデルが対応する中間画像を出力するようにするように構成され、
損耗取得モジュールは、前記複数の時間的に隣接するビデオフレームのうちの時間順序的に前のビデオフレームから、時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報を取得し、前記時間順序的に前のビデオフレームに対応する中間画像の前記オプティカルフロー情報に基づいて変化した後の画像を取得し、前記時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を取得し、前記複数の時間的に隣接するビデオフレームに対応する中間画像とターゲット特徴画像との間の特徴損耗を取得するように構成され、
モデル調整モジュールは、前記ニューラルネットワークモデルがトレーニングの終了条件を満たすまで、前記時間損耗と前記特徴損耗とに基づいて、前記ニューラルネットワークモデルを調整し、前記複数の時間的に隣接するビデオフレームを取得するステップに戻ってトレーニングを継続するように構成される。
【０００６】
本願の実施例において、不揮発性コンピュータ読み取り可能記憶媒体がさらに考案され、前記記憶媒体に機械可読命令が記憶され、前記機械可読命令は、プロセッサによって実行され、
複数の時間的に隣接するビデオフレームを取得することと、
前記複数のビデオフレームをそれぞれニューラルネットワークモデル処理を経由させ、前記ニューラルネットワークモデルが対応する中間画像を出力するようにすることと、
前記複数の時間的に隣接するビデオフレームのうちの時間順序的に前のビデオフレームから、時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報を取得することと、
前記時間順序的に前のビデオフレームに対応する中間画像の前記オプティカルフロー情報に基づいて変化した後の画像を取得することと、
前記時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を取得することと、
前記複数の時間的に隣接するビデオフレームに対応する中間画像とターゲット特徴画像との間の特徴損耗を取得することと、
前記ニューラルネットワークモデルがトレーニングの終了条件を満たすまで、前記時間損耗と前記特徴損耗とに基づいて、前記ニューラルネットワークモデルを調整し、前記複数の時間的に隣接するビデオフレームを取得するステップに戻ってトレーニングを継続することと、
という操作を実行するようにする。
【図面の簡単な説明】
【０００７】
【図１Ａ】本願の実施例に提供される画像処理用のニューラルネットワークモデルのトレーニング方法の実施環境の概略図である。
【図１Ｂ】本願の一つの実施例における画像処理用のニューラルネットワークモデルのトレーニング方法を実現するための電子装置の内部構成の概略図である。
【図２】本願の一つの実施例における画像処理用のニューラルネットワークモデルのトレーニング方法のフローの概略図である。
【図３】本願のもう一つの実施例における画像処理用のニューラルネットワークモデルのトレーニング方法のフローの概略図である。
【図４】本願の一つの実施例における画像処理用のニューラルネットワークモデルのトレーニングアーキテクチャ図である。
【図５】本願の一つの実施例における画像処理用のニューラルネットワークモデルのトレーニング装置の構成図である。
【図６】本願の一つの実施例における画像処理用のニューラルネットワークモデルのトレーニング装置のもう一つの構成図である。
【発明を実施するための形態】
【０００８】
本願の目的、技術案及び利点をより明瞭させるために、下記において図面と実施例を参照し、本願をさらに詳しく説明する。理解すべきものとして、ここで記載されている具体的な実施例は、本願を限定するためのものではなく、単に本願を解釈するためのものである。
【０００９】
従来のニューラルネットワークモデルのトレーニング方法を用いて、トレーニングした画像処理用のニューラルネットワークモデルは、ビデオを特徴変換する際に、各ビデオフレームの間の時間上一致性が考慮されていないため、大量のフリッカーノイズ（ｆｌｉｃｋｅｒｉｎｇ）が引き込まれ、ビデオ特徴変換の効果の劣化が引き起こされる。
【００１０】
これを鑑み、本願の実施例において、画像処理用のニューラルネットワークモデルのトレーニング方法、装置、及び記憶媒体が考案され、ニューラルネットワークモデルをトレーニングする際に、時間損耗と特徴損耗とを一緒にフィードバック調整依拠としてニューラルネットワークモデルを調整し、画像処理に使用可能なニューラルネットワークモデルをトレーニングして得るようにする。ここで、ニューラルネットワークモデルに対してトレーニングを行う時に、時間的に隣接するビデオフレームを入力とすることによって、時間順序的に前のビデオフレームに対応する中間画像に対して、時間順序的に前のビデオフレームから時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報に基づいて、時間順序的に後ろのビデオフレームの予期した対応する中間画像を得るようにし、それによって時間損耗を得る。当該時間損耗は、時間的に隣接するビデオフレームのそれぞれに対応する中間画像の間の時間上一致性における損耗が表される。トレーニング後のニューラルネットワークモデルがビデオに対して特徴変換を行う時に、ビデオの各ビデオフレームの間の時間上一致性を考慮することによって、特徴変換において引き込まれたフリッカーノイズを大きく減少させ、それによってビデオに対して特徴変換を行う時の変換効果を向上させることができる。同時に、ニューラルネットワークモデルの計算を電子装置のプロセッサ能力と結合して一緒にビデオ画像を処理し、ビデオ画像特徴の変換効果を犠牲せずにプロセッサの計算速度を向上させ、それによって、より優れた画像処理用のニューラルネットワークモデルを生成する。
【００１１】
図１Ａは、本願の実施例に提供される画像処理用のニューラルネットワークモデルのトレーニング方法の実施環境の概略図である。ここで、電子装置１には、本願のいずれかの実施例に提供される画像処理用のニューラルネットワークモデルのトレーニング装置１１が集成され、当該画像処理用のニューラルネットワークモデルのトレーニング装置１１は、本願のいずれかの実施例に提供される画像処理用のニューラルネットワークモデルのトレーニング方法を実現するために用いられる。当該電子装置１とユーザ端末２との間は、ネットワーク３を介して接続され、前記ネットワーク３は有線ネットワークであってもよく、無線ネットワークであってもよい。
【００１２】
図１Ｂは、本願の一つの実施例における画像処理用のニューラルネットワークモデルのトレーニング方法を実現するための電子装置の内部構成の概略図である。図１Ｂを示すように、当該電子装置は、システムバス１０１によって接続されるプロセッサ１０２、不揮発性メモリ１０３、及びメモリ１０４を含む。ここで、電子装置の不揮発性メモリ１０３にオペレーションシステム１０３１が記憶され、画像処理用のニューラルネットワークモデルのトレーニング装置１０３２がさらに記憶され、当該画像処理用のニューラルネットワークモデルのトレーニング装置１０３２は、画像処理用のニューラルネットワークモデルのトレーニング方法を実現するために用いられる。電子装置のプロセッサ１０２は、計算と制御能力を提供するために用いられ、電子装置全体の動作をサポートする。電子装置内のメモリ１０４は不揮発性メモリ１０３内の画像処理用のニューラルネットワークモデルのトレーニング装置の実行のために環境を提供する。当該メモリ１０４にコンピュータ読み取り可能な命令を記憶することができ、当該コンピュータ読み取り可能な命令がプロセッサ１０２によって実行される時に、プロセッサ１０２が画像処理用のニューラルネットワークモデルのトレーニング方法を実行するようにすることができる。当該電子装置は端末であってもよく、サーバであってもよい。端末はパソコン又は移動電子装置であってもよく、移動電子装置は携帯電話、タブレットコンピュータ、個人デジタルアシスタント又はウェアラブルデバイス等のうちの少なくとも一つを含む。サーバは独立のサーバ又は複数の物理サーバからなるサーバのクラスターによって実現されてもよい。当業者は、図１Ｂに示される構成が、本願の考案に関する一部の構成のブロック図だけであり、本願の考案の適用する電子装置に対する限定にならないことを理解することができ、具体的な電子装置は、図１Ｂに示される部品より多い又は少ない部品が含まれてもよく、又は何かしらの部品を組み合わせして、又は異なる部品の配置を有してもよい。
【００１３】
図２は本願の一つの実施例における画像処理用のニューラルネットワークモデルのトレーニング方法のフローの概略図である。本実施例において、主に当該方法を上記の図１Ｂ内の電子装置に適用することを例として説明する。図２に示すように、当該画像処理用のニューラルネットワークモデルのトレーニング方法は、具体的に下記のようなステップを含む。
【００１４】
ステップＳ２０２において、複数の時間的に隣接するビデオフレームを取得する。
【００１５】
具体的に、ビデオは、時間順序に並ぶ静的な画像の行列に分割されることができるデータを指している。ビデオを分割して得られた静的な画像をビデオフレームとすることが可能である。時間的に隣接するビデオフレームは、時間順序に並んでいるビデオフレームのうちの隣接するビデオフレームを指している。取得された時間的に隣接するビデオフレームは、具体的に二つ以上の、時間的に隣接するビデオフレームであってもよい。例えば、時間順序に並んでいるビデオフレームがｐ１、ｐ２、ｐ３、ｐ４……である場合、ｐ１とｐ２は時間的に隣接するビデオフレームであり、ｐ１、ｐ２とｐ３も時間的に隣接するビデオフレームである。
【００１６】
本願の一つの実施例において、電子装置にトレーニングサンプル集合が設けれ、トレーニングサンプル集合に複数セットの時間的に隣接するビデオフレームが記憶され、電子装置は、トレーニングサンプル集合からいずれか１セットの時間的に隣接するビデオフレームを取得することができる。トレーニングサンプル集合内の時間的に隣接するビデオフレームは、電子装置がインターネットから取得されたビデオに基づいて分割して得られたものであってよく、電子装置が当該電子装置に含まれる撮影デバイスで録画されたビデオに基づいて分割して得られたものであってよい。
【００１７】
本願の一つの実施例において、電子装置には複数のトレーニングサンプル集合を設けることができ、トレーニングサンプル集合毎に、対応するトレーニングサンプル集合識別子が設けられている。ユーザは、電子装置を通してトレーニングサンプル集合をアクセスし、電子装置を通してトレーニングするためのトレーニングサンプル集合を選択することができる。電子装置は、ユーザによりトリガーされたトレーニングサンプル集合識別子を含む選択命令を検出することができ、電子装置は、選択命令内のトレーニングサンプル集合識別子を抽出し、トレーニングサンプル集合識別子に対応するトレーニングサンプル集合から、時間的に隣接するビデオフレームを取得する。
【００１８】
ステップＳ２０４、複数のビデオフレームをそれぞれニューラルネットワークモデル処理を経由させ、前記ニューラルネットワークモデルが対応する中間画像を出力するようにする。
【００１９】
ここで、ニューラルネットワークモデルは、複数層により接続しあって形成された複雑なネットワークモデルを指している。本実施例において、電子装置はニューラルネットワークモデルに対してトレーニングを行うことができ、トレーニング終了後に得られたニューラルネットワークモデルは画像処理に用いられることができる。ニューラルネットワークモデルは、複数層の特徴変換層を含むことができ、各特徴変換層はいずれも対応する非線形変化オペレータを有し、各層の非線形変化オペレータは複数個であってもよく、各特徴変換層内の一つの非線形変化オペレータは、入力画像に対して非線形変化を行い、演算結果として特徴図（ｆｅａｔｕｒｅ  ｍａｐ）を得る。各特徴変換層が一層前の演算結果を受け、自身の演算を行い、次の層に本層の演算結果を出力する。
【００２０】
具体的に、電子装置は、時間的に隣接するビデオフレームを取得した後に、時間的に隣接するビデオフレームをそれぞれニューラルネットワークモデルに入力し、ニューラルネットワークモデルの各特徴変換層を順に通過させる。各特徴変換層において、電子装置は、当該特徴変換層に対応する非線形変化オペレータを利用し、１個前の層で出力された特徴図に含まれるピクセルポイントに対応するピクセル値に対して非線形変化を行い、現在の特徴変換層における特徴図を出力する。ここで、現在特徴変換層が第１層目の特徴変換層である場合、１個前の層で出力する特徴図は入力されたビデオフレームである。ピクセルポイントに対応するピクセル値は、具体的にピクセルポイントのＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）の三つの色値であってもよい。
【００２１】
例を挙げて説明すると、本願の一つの実施例において、トレーニングが必要であるニューラルネットワークモデルは、３つの畳み込み層、５つの残差モジュール、２つの逆畳み込み層、及び１つの畳み込み層を具体的に含む。電子装置はビデオフレームをニューラルネットワークモデルに入力した後に、まず畳み込み層を経由し、当該畳み込み層に対応する各畳み込みカーネルは、入力されたビデオフレームに対応するピクセル値マトリックスに対して畳み込み操作を行い、当該畳み込み層内の各畳み込みカーネルのそれぞれに対応するピクセル値マトリックス、即ち、特徴図を得てから、最後の畳み込み層が畳み込みカーネルの数に対応する特徴図を出力するまで、得られた各特徴図を一緒に次の層の畳み込み層の入力とし、層ずつ非線形変化を行い、そして各特徴図に対応するバイアス項に基づいて、各特徴図内のピクセル位置に対応するピクセル値に対して演算を行い、出力の中間画像として一つの特徴図に合成する。
【００２２】
電子装置は、そのうちの一つの畳み込み層における畳み込み操作を行ってからサブサンプリング操作を行うように設置してもよい。サブサンプリングの方式は、具体的に平均値サンプリング、又は極値サンプリングであってもよい。例えば、サブサンプリングの方式が２＊２ピクセル領域に対して平均値サンプリングである場合、その中の一つの２＊２ピクセル領域に対応するピクセル値マトリックスが［１，２，３，４］であり、そしてサブサンプリングで得られるピクセル値が（１＋２＋３＋４）／４＝２．５である。サブサンプリング操作後に得られた特徴図の解像度は、入力されたビデオフレーム解像度の１／４に減少される。さらに、出力された中間画像と入力されたビデオフレームの解像度を一致させるように保障するために、電子装置は、逆畳み込み層における逆畳み込み操作の後に、この前のサブサンプリング操作に対応するアップサンプリング操作を設置する必要があり、アップサンプリング操作後に得られる特徴図の解像度をアップサンプリング操作前の特徴図の解像度の４倍に増大させる。
【００２３】
ここで、ニューラルネットワークモデルに含まれる層の数と層の種類は、自ら定義して調整されてもよく、後続のトレーニングの結果に応じて調整してもよいが、入力のニューラルネットワークモデルの画像の解像度をニューラルネットワークモデルで出力する画像の解像度と一致することを満たす必要がある。
【００２４】
ステップＳ２０６において、前記複数の時間的に隣接するビデオフレームのうちの時間順序的に前のビデオフレームから、時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報を取得する。
【００２５】
ここで、オプティカルフローは、画像のグレースケールパターンの運動速度を表すことができる。画像内の空間位置に従って並んでいるすべてのオプティカルフローによりオプティカルフローフィールドが構成される。オプティカルフローフィールドは、画像内のピクセルポイントの変換状況を表し、画像の間の対応するピクセルポイントの運動情報を確定するために用いられることができる。
【００２６】
本願の実施例において、時間順序的に前のビデオフレームは、時間的に隣接するビデオフレームのうちのタイムスタンプの早いビデオフレームを指しており、時間順序的に後ろのビデオフレームは、時間的に隣接するビデオフレームのうちのタイムスタンプの遅いビデオフレームを指している。例えば、時間的に隣接するビデオフレームは、時間順序にｘ１、ｘ２とｘ３のように順に並んでいるとした場合、ｘ１は、ｘ２とｘ３に対して時間順序的に前のビデオフレームであり、ｘ２は、ｘ１に対して時間順序的に後ろのビデオフレームであり、ｘ２は、ｘ３に対して時間順序的に前のビデオフレームである。
【００２７】
本願の実施例において、時間順序的に前のビデオフレームから、時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報は、時間順序的に前のビデオフレームと時間順序的に後ろのビデオフレームとの間のオプティカルフローフィールドにより示すことができる。本実施例において、オプティカルフロー情報を計算するための方式は、具体的にオプティカルフロー拘束方程によって得られた微分に基づくオプティカルフローアルゴリズム、領域マッチングに基づくオプティカルフローアルゴリズム、エネルギーに基づくオプティカルフローアルゴリズム、位相に基づくオプティカルフローアルゴリズム、及び神経力学オプティカルフローアルゴリズム等のうちのいずれか一つであってもよく、本願の実施例は、これに対して限定しない。
【００２８】
具体的に、電子装置は、オプティカルフロー情報を計算するための方式で、時間順序的に前のビデオフレームから、時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報を計算することができ、時間順序的に前のビデオフレームの内の各ピクセルポイントの時間順序的に後ろのビデオフレームに対応するピクセルポイントのオプティカルフローを得る。電子装置は、時間順序的に前のビデオフレームから特徴点を選択し、疎なオプティカルフローの計算方式を採用して、選択した特徴点に対応するオプティカルフローを計算してもよい。例えば、時間順序的に前のビデオフレーム内のピクセルポイントＡの位置が（ｘ１、ｙ１）であり、時間順序的に後ろのビデオフレーム内のピクセルポイントＡの位置が（ｘ２、ｙ２）である場合、ピクセルポイントＡの速度ベクトル
【００２９】
【数１】
2019534520.tif 000003
【００３０】
である。時間順序的に前のビデオフレーム内の各ピクセルポイントが時間順序的に後ろのビデオフレーム内の対応するピクセルポイントまで変化した速度ベクトルより形成されたベクターフィールドは、時間順序的に前のビデオフレームから時間順序的に後ろのビデオフレームまで変化したオプティカルフローフィールドそのものである。
【００３１】
本願の一つの実施例において、時間的に隣接するビデオフレームが二つより多く、且つ時間的に隣接しているビデオフレームである場合、電子装置は、時間的に隣接するビデオフレームのうちの隣接し合う２フレームのビデオフレームの間のオプティカルフロー情報を計算してもよく、時間的に隣接するビデオフレームのうちの隣接しない２フレームのビデオフレームの間のオプティカルフロー情報を計算してもよい。例えば、時間的に隣接するビデオフレームは、時間順序にｘ１、ｘ２とｘ３のように順に並んでいるとした場合、電子装置は、ｘ１とｘ２の間のオプティカルフロー情報を計算してもよく、ｘ２とｘ３の間のオプティカルフロー情報を計算してもよく、さらにｘ１とｘ３との間のオプティカルフロー情報を計算してもよい。
【００３２】
本願の一つの実施例において、電子装置は、オプティカルフロー情報を計算するための方式で、時間順序的に前のビデオフレームから時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報を計算する時に、オプティカルフロー情報の信頼係数を確定、計算して得ることができる。オプティカルフロー情報の信頼係数は、オプティカルフロー情報と一対一対応され、対応するオプティカルフロー情報の信頼度を表すために用いられる。オプティカルフロー情報の信頼係数が高いほど、計算して得られるオプティカルフロー情報に表れる画像のピクセルポイントの運動情報が精確である。
【００３３】
ステップＳ２０８において、時間順序的に前のビデオフレームに対応する中間画像のオプティカルフロー情報に基づいて変化した後の画像を取得する。
【００３４】
具体的に、電子装置は、時間順序的に前のビデオフレームに対応する中間画像に含まれるピクセルポイントを、時間順序的に前のビデオフレームから時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報に基づいて変化させることができ、変化後のピクセルポイントにより形成される画像を得、即ち、時間順序的に後ろのビデオフレームの予期した対応する中間画像のピクセル値分布を得る。
【００３５】
本願の一つの実施例において、時間的に隣接するビデオフレームは、二つより多く、かつ時間的に隣接するビデオフレームである場合、電子装置は、時間的に隣接するビデオフレームのうちの隣接する２フレームのビデオフレームの間のオプティカルフロー情報に基づいて、隣接する２フレームのビデオフレームのうちの時間順序的に前のビデオフレームに対応する中間画像を、当該オプティカルフロー情報に基づいて、隣接する２フレームのビデオフレームのうちの時間順序的に後ろのビデオフレームの予期した対応する中間画像を得ることができる。例えば、時間的に隣接するビデオフレームが時間順序にｘ１、ｘ２とｘ３のように順に並んでいるとした場合、ニューラルネットワークモデルより出力されるｘ１、ｘ２、及びｘ３の中間画像は、ｙ１、ｙ２及びｙ３と対応的に順序付けられる。ｘ１からｘ２まで変化したオプティカルフロー情報がｇ１であり、ｘ２からｘ３まで変化したオプティカルフロー情報がｇ２であり、電子装置は、ｙ１をｇ１に基づいてｚ２に変化させ、ｚ２をｇ２に基づいてｚ３に変化させることができ、ここで、ｚ２は、ｘ２の予期した対応する中間画像であり、ｚ３はｘ３の予期した対応する中間画像である。
【００３６】
本願の一つの実施例において、電子装置は、時間的に隣接するビデオフレームのうちの隣接していない２フレームのビデオフレームの間のオプティカルフロー情報に基づいて、隣接していない２フレームのビデオフレームのうちの時間順序的に前のビデオフレームに対応する中間画像を、当該オプティカルフロー情報に基づいて、隣接していない２フレームのビデオフレームのうちの時間順序的に後ろのビデオフレームの予期した対応する中間画像を得してもよい。例えば、時間的に隣接するビデオフレームが時間順序にｘ１、ｘ２とｘ３のように順に並んでいるとした場合、ニューラルネットワークモデルで出力されるｘ１、ｘ２及びｘ３の中間画像は、ｙ１、ｙ２及びｙ３と対応的に順序付けされる。ｘ１からｘ３まで変化したオプティカルフロー情報がｇ３であり、電子装置は、ｙ１をｇ３に基づいてｚ３に変化させることができ、はｘ３の予期した対応する中間画像である。
【００３７】
本願の一つの実施例において、電子装置は、時間順序的に前のビデオフレームに対応する中間画像に含まれるピクセルポイントを、対応するオプティカルフロー情報に基づいて変化させるときに、オプティカルフロー情報の信頼係数を重みとして、変化後のピクセルポイントにより形成される画像を修正してもよい。
【００３８】
ステップＳ２１０において、時間順序的に後ろのビデオフレームに対応する中間画像とステップＳ２０８で取得する変化後の画像との間の時間損耗を取得する。
【００３９】
ここで、時間損耗は、時間的に隣接するビデオフレームが時間ドメインにおける変化と、時間的に隣接するビデオフレームがニューラルネットワークモデル処理を経由して得られた画像の間の時間ドメインにおける変化との差異を表すために用いられることができる。具体的に、電子装置は、時間順序的に後ろのビデオフレームに対応する中間画像を、時間順序的に前のビデオフレームに対応する中間画像を時間順序的に前のビデオフレームから時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報に基づいて変化した後の画像と比較し、両者の差異を得ることができ、そして当該差異に基づいて、時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を確定する。
【００４０】
例を挙げて説明すると、時間的に隣接するビデオフレームのフレーム数が２フレームであり、時間順序的に前のビデオフレームがxt-1であり、時間順序的に後ろのビデオフレームがxtであり、かつxt-1からxtまで変化したオプティカルフロー情報ｇGtであることを仮設した場合、xt-1がニューラルネットワークモデル処理を経由させた後に出力した中間画像がyt-1であり、xtがニューラルネットワークモデル処理を経由させた後に出力した中間画像がytである。電子装置は、yt-1をxt-1に基づいてxtに変換するオプティカルフロー情報Gtに基づいて変化させ、ztを得ることができ、ztを予期された時間順序的に後ろのビデオフレームxtに対応するニューラルネットワークモデル処理後の出力された画像とすることができる。そして電子装置は、ytとztとの差異をさらに比較し、それによってytとztとの間の時間損耗を得ることができる。
【００４１】
例を挙げて説明すると、仮に時間的に隣接するビデオフレームが時間順序にｘ１、ｘ２とｘ３のように順に並んでいるとした場合、ニューラルネットワークモデルで出力されたｘ１、ｘ２とｘ３に対応する中間画像は、ｙ１、ｙ２及びｙ３と対応的に順序付けられる。ｘ１からｘ２まで変化したオプティカルフロー情報がｇ１であり、ｘ２からｘ３まで変化したオプティカルフロー情報がｇ２であり、ｘ１からｘ３に変換したオプティカルフロー情報がｇ３である。電子装置は、ｙ１をｇ１に基づいてｚ２に変化させ、ｚ２をｇ２に基づいてｚ３に変化させ、ｙ１をｇ３に基づいてｚ’３に変化させることができ、ｚ２はｘ２の予期した対応する中間画像であり、ｚ３とｚ’３とはいずれもｘ３の予期した対応する中間画像であり、電子装置は、ｙ２とｚ２との差異を比較し、ｙ２とｚ２の間の時間損耗を得ることができ、電子装置は、ｙ３とｚ３との差異、ｙ３とｚ’３との差異を比較し、ｚ３とｚ’３の重みに基づいてｙ３とｚ３、ｚ’３との間の時間損耗を得ることができる。
【００４２】
ステップＳ２１２において、複数の時間的に隣接するビデオフレームに対応する中間画像とターゲット特徴画像の間の特徴損耗を取得する。
【００４３】
ここで、ニューラルネットワークモデルが画像に対して特徴変換を行うために用いられるときに、画像特徴、即ちターゲット特徴画像に対応する画像特徴に変換する必要がある。特徴損耗は、ニューラルネットワークモデルで出力された中間画像に対応する画像特徴と、ターゲット特徴画像に対応する画像特徴との間の差異である。画像特徴は、具体的に画像色特徴、画像光影特徴又は画像スタイル特徴等であってもよく。それに応じて、ターゲット特徴画像は、具体的にターゲット色特徴画像、ターゲット光影特徴画像又はターゲットスタイル特徴画像等であってもよく、中間画像とターゲット特徴画像との特徴損耗は、具体的に色特徴損耗、光影特徴損耗又はスタイル特徴損耗等であってもよい。
【００４４】
具体的に、電子装置は、まずトレーニング結果としようとする画像特徴を確定し、当該画像特徴に合致する画像をターゲット特徴画像として取得する。電子装置は、トレーニングできた、画像特徴を抽出するためのニューラルネットワークモデルをさらに採用し、中間画像とターゲット特徴画像とに対応する画像特徴をそれぞれ抽出し、そして中間画像に対応する画像特徴をターゲット特徴画像に対応する画像特徴と比較し、両者の間の差異を得、当該差異に基づいて中間画像とターゲット特徴画像の間の特徴損耗を確定することができる。
【００４５】
例を挙げて説明すると、ニューラルネットワークモデルが画像に対して画像スタイル特徴変換を行うために用いられることを仮設し、ターゲットスタイル特徴画像がSであり、時間的に隣接するビデオフレームのフレーム数が２フレームであり、時間順序的に前のビデオフレームがxt-1であり、時間順序的に後ろのビデオフレームがxtである。xt-1は、ニューラルネットワークモデル処理を経由させた後に出力された中間画像がyt-1であり、xtは、ニューラルネットワークモデル処理を経由させた後に出力された中間画像がytである。電子装置は、yt-1とSとの差異、及びytとSとの差異をそれぞれ比較し、yt-1とSの間のスタイル特徴損耗、及びytとSの間のスタイル特徴損耗を得ることができる。
【００４６】
ステップＳ２１４において、ニューラルネットワークモデルがトレーニングの終了条件を満たすまで、時間損耗と特徴損耗に基づいてニューラルネットワークモデルを調整し、複数の時間的に隣接するビデオフレームを取得するステップＳ２０２に戻ってトレーニングを継続する。
【００４７】
具体的に、ニューラルネットワークモデルのトレーニングの過程は、トレーニングを必要とするニューラルネットワークモデル内の特徴変換層に対応する非線形変化オペレータを確定する過程である。各非線形変化オペレータを確定する時に、電子装置は、トレーニングを必要とするニューラルネットワークモデル内の各特徴変換層に対応する非線形変化オペレータをまず初期化し、そして後続のトレーニング過程において、当該初期化された非線形変化オペレータを継続的に最適化し、最適化して得られた最も好ましい非線形変化オペレータをトレーニング後のニューラルネットワークモデルの非線形変化オペレータとすることができる。
【００４８】
本願の一つの実施例において、電子装置は、時間損耗に基づいてタイムドメインロス関数を構築し、特徴損耗に基づいて空間領域ロス関数を構築し、タイムドメインロス関数と空間領域ロス関数とを合成して合成関数を得、そして合成関数のニューラルネットワークモデル内の各特徴変換層に対応する非線形変化オペレータの変化に従う変化率を計算することができる。ニューラルネットワークモデルがトレーニングされて最適化されるために、電子装置は、計算して得られた変化率に基づいて、ニューラルネットワークモデル中の各特徴変換層に対応する非線形変化オペレータを調整し、計算して得られた変化率が小さくさせる。
【００４９】
本願の一つの実施例において、トレーニングの終了条件は、ニューラルネットワークモデルに対するトレーニング回数が予め設定されたトレーニング回数に達していることであってもよい。電子装置は、ニューラルネットワークモデルに対してトレーニングを行う時に、トレーニング回数をカウントすることができ、カウント数が予め設定されたトレーニング回数になる時に、電子装置は、ニューラルネットワークモデルがトレーニングの終了条件を満たすことを判定し、ニューラルネットワークモデルに対するトレーニングを終了する。
【００５０】
本願の一つの実施例において、トレーニングの終了条件は、合成関数が収束条件に満たすことであってもよい。電子装置は、ニューラルネットワークモデルに対してトレーニングを行う時に、毎回トレーニング後に計算して得られた合成関数の、ニューラルネットワークモデル内の各特徴変換層に対応する非線形変化オペレータに従う変化率を記録することができ、計算して得られた当該変化率が徐々にある特定した値に接近する時に、電子装置は、ニューラルネットワークモデルがトレーニングの終了条件を満たすことを判定し、ニューラルネットワークモデルに対するトレーニングを終了することができる。
【００５１】
上記画像処理用のニューラルネットワークモデルのトレーニング方法において、ニューラルネットワークモデルに対してトレーニングを行う時に、時間損耗と特徴損耗とを一緒にフィードバック調整依拠としてニューラルネットワークモデルを調整し、画像処理に使用可能なニューラルネットワークモデルをトレーニングして得るようにする。ここで、ニューラルネットワークモデルに対してトレーニングを行う時に、時間的に隣接するビデオフレームを入力とすることによって、時間順序的に前のビデオフレームに対応する中間画像に対して時間順序的に前のビデオフレームから時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報に基づいて、時間順序的に後ろのビデオフレームの予期した対応する中間画像を得るようにし、それによって時間損耗を得る。当該時間損耗は、時間的に隣接するビデオフレームのそれぞれに対応する中間画像の間の時間上一致性における損耗が表される。トレーニング後のニューラルネットワークモデルがビデオに対して特徴変換を行う時に、ビデオの各ビデオフレームの間の時間上一致性を考慮することによって、特徴変換において引き込まれたフリッカーノイズを大きく減少させ、それによってビデオに対して特徴変換を行う時の変換効果を向上させることができる。同時に、ニューラルネットワークモデルの計算を電子装置プロセッサ能力と結合して一緒にビデオ画像を処理し、ビデオ画像特徴の変換効果を犠牲せずにプロセッサの計算速度を向上させ、それによって、より優れた画像処理用のニューラルネットワークモデルを生成する。
【００５２】
本願の一つの実施例において、当該画像処理用のニューラルネットワークモデルのトレーニング方法において時間損耗と特徴損耗に基づいてニューラルネットワークモデルを調整することは、中間画像と中間画像に対応する入力されたビデオフレームの間の内容損耗を取得することと、時間損耗、特徴損耗及び内容損耗に基づいて、トレーニングコストを生成することと、トレーニングコストに基づいてニューラルネットワークモデルを調整することとを具体的に含む。
【００５３】
ここで、内容損耗は、ニューラルネットワークモデルで出力された中間画像と対応する入力されたビデオフレームとの間の画像内容における差異を指している。具体的に、電子装置は、トレーニング後の画像内容特徴を抽出するためのニューラルネットワークモデルを採用し、中間画像に対応する画像内容特徴と、中間画像に対応する入力されたビデオフレームに対応する画像内容特徴をそれぞれ抽出し、そして中間画像に対応する画像内容特徴を対応する入力されたビデオフレームに対応する画像内容特徴をさらに対比し、両者の間の差異を得、当該差異に基づいて、中間画像と対応するビデオフレームとの間の内容損耗を確定することができる。
【００５４】
本願の一つの実施例において、電子装置は、時間損耗に基づいてタイムドメインロス関数を構成し、特徴損耗と内容損耗に基づいて一緒に空間領域ロス関数をさらに構成し、タイムドメインロス関数と正相関し、かつ空間領域ロス関数と正相関するトレーニングコストを生成する。ニューラルネットワークモデルがトレーニングされて最適化されるために、電子装置は、トレーニングコストのニューラルネットワークモデル内の各特徴変換層に対応する非線形変化オペレータに従う変化率をさらに計算し、計算して得られた変化率に基づいてニューラルネットワークモデル内の各特徴変換層に対応する非線形変化オペレータを調整し、計算して得られた変化率が小さくさせることができる。
【００５５】
本願の一つの実施例において、電子装置は、ニューラルネットワークモデルで出力された中間画像に対してノイズ除去処理を行うことがさらにできる。具体的に、電子装置は、全変動（Ｔｏｔａｌ  Ｖａｒｉａｔｉｏｎ、ＴＶ）を実現するノイズ除去アルゴリズムに基づいて、中間画像のエッジピクセルポイントに対してノイズ除去処理を行うための全変動最小化項を確定し、当該全変動最小化項を特徴損耗と内容損耗とを結合して空間領域ロス関数を構築し、ニューラルネットワークモデルのトレーニングを行う。このような全変動最小化項を採用して画像に対してノイズ除去処理を行う方式は、ニューラルネットワークモデルがビデオに対して特徴変換を行う時の変換効果を向上させる。
【００５６】
本実施例において、ニューラルネットワークモデルに対してトレーニングを行う時に、時間損耗、特徴損耗を内容損耗と一緒にフィードバック調整依拠としてニューラルネットワークモデルを調整し、画像処理に使用可能なニューラルネットワークモデルをトレーニングして得るようにする、時間、内容及び特徴の３つの次元から画像特徴変換の精確性を保証し、トレーニングして得られたニューラルネットワークモデルがビデオに対して特徴変換を行う時の変換効果を向上させる。
【００５７】
本願の一つの実施例において、ステップＳ２１０は、時間順序的に後ろのビデオフレームに対応する中間画像を変化後の画像内の対応するピクセル位置の数値と減算し、差異分布図を得ることと、差異分布図に基づいて、時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を確定することと、を具体的に含む。
【００５８】
具体的に、電子装置は、時間順序的に後ろのビデオフレームに対応する中間画像を変化後の画像内の対応するピクセル位置の数値と減算して得られた差異分布図は、具体的にピクセル値差異マトリックスであってもよい。電子装置は、差異分布図に対して次元削減演算を行って時間損耗数値を得ることができる。電子装置は、初回目で時間損耗を計算する時に採用された次元削減演算方式を選定した後に、後続の時間損耗の計算は、すべて選定された当該次元削減演算方式を採用する。ここで、次元削減演算は、具体的に平均値次元削減又は極値次元削減であってもよい。例えば、ピクセル値差異マトリックスが［１，  ２，  ３，  ４］である場合、平均値次元削減演算で得られる時間損耗が（１＋２＋３＋４）／４＝２．５である。
【００５９】
本実施例において、時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像内の対応するピクセル位置のピクセル値との差異によって、時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を計算することによって、時間損耗の計算はより精確である。
【００６０】
本願の一つの実施例において、当該画像処理用のニューラルネットワークモデルのトレーニング方法において、中間画像と中間画像に対応する入力されたビデオフレームの間の内容損耗を取得するステップは、ビデオフレームと対応する中間画像とを評価ネットワークモデルに入力することと、評価ネットワークモデルに含まれる層で出力された、ビデオフレームに対応する特徴図と中間画像に対応する特徴図とを取得することと、中間画像に対応する特徴図と対応するビデオフレームに対応する特徴図に基づいて、中間画像と対応するビデオフレームとの間の内容損耗を確定することと、を含む。
【００６１】
ここで、評価ネットワークモデルは、入力画像の画像特徴を抽出するために用いられる。本実施例において、評価ネットワークモデルは、具体的にＡｌｅｘｎｅｔネットワークモデル、ＶＧＧ（Ｖｉｓｕａｌ  Ｇｅｏｍｅｔｒｙ  Ｇｒｏｕｐ  ビジュアル幾何グループ）ネットワークモデル又はＧｏｏｇＬｅＮｅｔネットワークであってもよい。評価ネットワークモデルに含まれる層に複数の特徴抽出因子が対応付けされており、各特徴抽出因子で異なる特徴を抽出する。特徴図は、評価ネットワークモデル内の層の変化オペレータによって、入力された画像を処理して得られた画像処理結果であり、画像処理結果は、画像特徴マトリックスであり、当該画像特徴マトリックスは、変化オペレータによって入力された画像マトリックスに対して処理して得られたレスポンス値により構成される。
【００６２】
具体的に、電子装置は、ビデオフレームと対応する中間画像とを評価ネットワークモデルに入力した後に、評価ネットワークモデルは、入力されたビデオフレームに対応するピクセル値マトリックス、及び対応する中間画像に対応するピクセル値マトリックスを得ることができる。特徴図を構成するために、評価ネットワークモデルに含まれる層で、当該層に対応する特徴抽出因子によって、入力されたビデオフレーム又は中間画像に対応するピクセル値マトリックスに対して操作を行い、対応するレスポンス値を得る。評価ネットワークモデル内の異なる層で抽出される特徴が異なる。電子装置は、評価ネットワークモデル内の画像内容特徴を抽出する層で出力された特徴図を、内容損耗を計算する特徴図とするように事前に構成されることが可能である。ここで、評価ネットワークモデル内の画像内容特徴を抽出する層は、具体的に１層であってもよく、複数層であってもよい。
【００６３】
電子装置は、中間画像に対応する特徴図と中間画像に対応する入力されたビデオフレームに対応する特徴図とを取得した後に、中間画像に対応する特徴図を、対応するビデオフレームに対応する特徴図内の対応するピクセル位置のピクセル値と減算し、両者の間の内容差異マトリックスを得、さらに内容差異マトリックスに対して次元削減演算を行って内容損耗を得る。
【００６４】
本実施例において、評価ネットワークモデルによって、特徴変換前のビデオフレームと特徴変換後の中間画像との画像内容特徴を抽出し、出力された、画像内容特徴を抽出した特徴図を利用して、対応する入力された画像の間の内容損耗を計算することによって、内容損耗の計算がより精確である。
【００６５】
本願の一つの実施例において、ステップＳ２１２は、中間画像とターゲット特徴画像とを評価ネットワークモデルに入力することと、評価ネットワークモデルに含まれる層で出力された、中間画像に対応する特徴図とターゲット特徴画像に対応する特徴図とを取得することと、中間画像に対応する特徴図とターゲット特徴画像に対応する特徴図とに基づいて、中間画像とターゲット特徴画像の間の特徴損耗を確定することと、を具体的に含む。
【００６６】
具体的に、電子装置は、評価ネットワークモデル内の画像特徴を抽出する層で出力された特徴図を、特徴損耗を計算する特徴図とするように事前に構成されることができる。ここで、評価ネットワークモデル内の画像特徴を抽出する層は、具体的に１層であってもよく、複数層であってもよい。本実施例において、評価ネットワークモデルによってターゲット特徴画像と特徴変換後の中間画像との画像特徴を抽出し、評価ネットワークモデルで出力された、画像特徴を抽出した特徴図を利用して、対応する入力された画像の間の特徴損耗を計算することによって、特徴損耗の計算がより精確である。
【００６７】
本願の一つの実施例において、当該画像処理用のニューラルネットワークモデルのトレーニング方法において、中間画像に対応する特徴図とターゲット特徴画像に対応する特徴図とに基づいて、中間画像とターゲット特徴画像の間の特徴損耗を確定するステップは、中間画像に対応する特徴図に基づいて、中間画像に対応する特徴マトリックスを確定することと、ターゲット特徴画像に対応する特徴図に基づいて、ターゲット特徴画像に対応する特徴マトリックスを確定することと、中間画像に対応する特徴マトリックスを、ターゲット特徴画像に対応する特徴マトリックス内の対応する位置の数値と減算し、特徴差異マトリックスを得ることと、特徴差異マトリックスに基づいて、中間画像とターゲット特徴画像との間の特徴損耗を確定することと、を具体的に含む。
【００６８】
本願の一つの実施例において、ニューラルネットワークモデルは、画像に対して画像スタイル特徴変換を行うために用いられ、中間画像に対応する特徴マトリックスは、具体的にスタイル特徴マトリックスであってもよい。スタイル特徴マトリックスは、画像スタイル特徴を表すマトリックスである。スタイル特徴マトリックスは、具体的にグラムマトリックス（Ｇｒａｍ  Ｍａｔｒｉｘ）であってもよい。電子装置は、中間画像に対応する特徴図に対して内積を求めることによって、中間画像に対応するスタイル特徴マトリックスとして、対応するグラムマトリックスを得、ターゲットスタイル画像に対応する特徴図に対して内積を求めることによって、ターゲットスタイル画像に対応するスタイル特徴マトリックスとして、対応するグラムマトリックスを得ることができる。電子装置は、さらに中間画像に対応するスタイル特徴マトリックスを、ターゲットスタイル画像に対応するスタイル特徴マトリックス内の対応する位置の数値と減算し、スタイル差異特徴マトリックスを得、そしてスタイル差異特徴マトリックスに対して次元削減演算を行ってスタイル特徴損耗を得ることができる。
【００６９】
本実施例において、画像特徴が表せる特徴マトリックスを採用して、特徴変換で得られた画像とターゲット特徴画像との間の特徴損耗を具体的に計算することによって、特徴損耗の計算がより精確である。
【００７０】
例を挙げて説明すると、電子装置は、評価ネットワークモデルとしてＶＧＧ−１９ネットワークモデルを選択することができ、当該ネットワークモデルは、１６層畳み込み層と５層プーリング層を含む。当該モデルの４層目の畳み込み層で抽出する特徴が画像内容特徴を表すことができることと、当該モデルの第１、２、３、４層の畳み込み層で抽出する特徴が画像スタイル特徴を表すことができることと、を試験で表明された。電子装置は、第４層の畳み込み層で出力された中間画像に対応する特徴図と、当該中間画像に対応する入力されたビデオフレームに対応する特徴図と取得し、取得された特徴図に基づいて、中間画像と対応するビデオフレームの間の内容損耗を計算することができる。電子装置は、第１、２、３、４層の畳み込み層で出力された中間画像に対応する特徴図と、前記中間画像に対応する入力されたビデオフレームに対応する特徴図とを取得し、取得された特徴図に基づいて、中間画像と対応するビデオフレームとの間のスタイル特徴損耗を計算することができる。
【００７１】
本願の一つの実施例において、当該画像処理用のニューラルネットワークモデルのトレーニング方法において、トレーニングコストに基づいてニューラルネットワークモデルを調整することは、ニューラルネットワークモデルに含まれる層の順序に従って、トレーニングコストの各層に対応する非線形変化オペレータに従う変化率を逆順で確定することと、ニューラルネットワークモデルに含まれる層に対応する非線形変化オペレータを逆順で調整し、トレーニングコストの、対応的に調整する層に対応する非線形変化オペレータに従う変化率を減少させることを含む。
【００７２】
具体的に、画像がニューラルネットワークモデルに入力した後に、一つの層を経由する度に一回の非線形変化を行い、そして出力された演算結果を次の層の入力とする。電子装置は、ニューラルネットワークモデルに含まれる層の順序に従って、ニューラルネットワークモデルに含まれる最後の層から、トレーニングコストの現在層に対応する非線形変化オペレータに従う変化率を確定してから、トレーニングコストの各層に対応する非線形変化オペレータに従う変化率を逆順で順次に確定する。電子装置は、ニューラルネットワークモデルに含まれる層に対応する非線形変化オペレータを逆順で順次にさらに調整し、トレーニングコストの、対応的に調整する層に対応する非線形変化オペレータに従う変化率を減少させることができる。
【００７３】
例を挙げて説明すると、トレーニングコストがLであり、ニューラルネットワークモデルに含まれる層の順序に従って、逆順の第１層に対応する非線形変化オペレータがzであるとした場合、Lのzに従う変化率が∂L/∂zであり、逆順の第２層に対応する非線形変化オペレータがbである場合、Lのbに従う変化率が(∂L/∂b)・(∂b/∂z)であり、逆順の第３層に対応する非線形変化オペレータがcである場合、Lのcに従う変化率が(∂L/∂c)・(∂c/∂b)・(∂b/∂z)である。変化率を求めるときに、連鎖律で導関数を求める方式は、層ずつ勾配を前の層に伝導することができる。変化率を逆順で求める工程がニューラルネットワークモデルに含まれる第１層まで到達するときに、電子装置は、ニューラルネットワークモデルに含まれる第１層（即ち、逆順における最後の１層目）に対応する非線形変化オペレータまで、非線形変化オペレータz、b、cを逆順で順次に調整することができ、逆順における最後の１層目で求めた変化率が減少させる。
【００７４】
本願の一つの実施例において、トレーニングコストは、具体的に、
【００７５】
【数２】
2019534520.tif 000004
【００７６】
のように示すことができる。
ここで、Lhybridはトレーニングコストを示し、Lspatial(xi,yi,s)は空間領域ロス関数を示し、Ltemporal(yt,yt-1)はタイムドメインロス関数を示し、時間損耗により生成され、λはタイムドメインロス関数に対応する重みである。空間領域ロス関数は、具体的に、
【００７７】
【数３】
2019534520.tif 000005
【００７８】
のように示すことができる。
ここで、lは、評価ネットワークモデル内の画像特徴を抽出する層を示し、
【００７９】
【数４】
2019534520.tif 000006
【００８０】
は、ニューラルネットワークモデルに入力された画像とニューラルネットワークモデルで出力された画像との間の内容損耗を示し、
【００８１】
【数５】
2019534520.tif 000007
【００８２】
は、ニューラルネットワークモデルで出力された画像とターゲット特徴画像との間の特徴損耗を示し、Rtvは全変動最小化項を示し、α、βとγは、各損耗に対応する重みである。例えば、αの値が１であってもよく、βの値が１であってもよく、γの値が１０４であってもよい。
【００８３】
本実施例において、逆伝播方式によってトレーニングコストのニューラルネットワークモデルの各層に対応する非線形変化オペレータに従う変化率を求め、ニューラルネットワークモデルの各層に対応する非線形変化オペレータを調整することによって、計算して得られた変化率を減少させ、ニューラルネットワークモデルをトレーニングし、それによって、トレーニングで得られたニューラルネットワークモデルが画像変換に用いるときの効果がより優れる。
【００８４】
図３に示すように、本願の一つの具体的な実施例において、画像処理用のニューラルネットワークモデルのトレーニング方法は、具体的に下記のステップを含む。
【００８５】
ステップＳ３０２において、複数の時間的に隣接するビデオフレームを取得する。
【００８６】
ステップＳ３０４において、前記複数のビデオフレームをそれぞれニューラルネットワークモデル処理を経由させ、前記ニューラルネットワークモデルが対応する中間画像を出力するようにする。
【００８７】
ステップＳ３０６において、時間順序的に前のビデオフレームから、時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報を取得する。
【００８８】
ステップＳ３０８において、時間順序的に前のビデオフレームに対応する中間画像のオプティカルフロー情報に基づいて変化した後の画像を取得する。
【００８９】
ステップＳ３１０において、時間順序的に後ろのビデオフレームに対応する中間画像を変化後の画像内の対応するピクセル位置の数値と減算し、差異分布図を得、差異分布図に基づいて、時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を確定する。
【００９０】
ステップＳ３１２において、中間画像とターゲット特徴画像とを評価ネットワークモデルに入力し、評価ネットワークモデルに含まれる層で出力された、中間画像に対応する特徴図とターゲット特徴画像に対応する特徴図とを取得し、中間画像に対応する特徴図に基づいて、中間画像に対応する特徴マトリックスを確定し、ターゲット特徴画像に対応する特徴図に基づいて、ターゲット特徴画像に対応する特徴マトリックスを確定し、中間画像に対応する特徴マトリックスを、ターゲット特徴画像に対応する特徴マトリックス内の対応する位置の数値と減算し、特徴差異マトリックスを得、特徴差異マトリックスに基づいて、中間画像とターゲット特徴画像との間の特徴損耗を確定する。
【００９１】
ステップＳ３１４において、ビデオフレームと当該ビデオフレームに対応する中間画像とを評価ネットワークモデルに入力し、評価ネットワークモデルに含まれる層により出力された、ビデオフレームに対応する特徴図と中間画像に対応する特徴図とを取得し、中間画像に対応する特徴図と対応するビデオフレームに対応する特徴図とに基づいて、中間画像と対応するビデオフレームとの間の内容損耗を確定する。
【００９２】
ステップＳ３１６において、時間損耗、特徴損耗及び内容損耗に基づいて、トレーニングコストを生成する。
【００９３】
ステップＳ３１８において、ニューラルネットワークモデルに含まれる層の順序に従って、トレーニングコストの各層に対応する非線形変化オペレータに従う変化率を逆順で確定し、ニューラルネットワークモデルに含まれる層に対応する非線形変化オペレータを逆順で調整し、トレーニングコストの、対応的に調整する層に対応する非線形変化オペレータに従う変化率を減少させる。
【００９４】
ステップＳ３２０において、ニューラルネットワークモデルがトレーニングの終了条件を満たしているか否かを判断し、ニューラルネットワークモデルがトレーニングの終了条件を満たしている場合、ステップＳ３２２に進み、ニューラルネットワークモデルがトレーニングの終了条件を満たしていない場合、ステップＳ３０２に進む。
【００９５】
ステップＳ３２２において、ニューラルネットワークモデルのトレーニングを終了する。
【００９６】
本実施例において、画像処理用のニューラルネットワークモデルに対してトレーニングを行う際に、時間損耗、特徴損耗、及び内容損耗を一緒にフィードバック調整依拠としてニューラルネットワークモデルを調整し、時間、特徴、及び内容との３つの次元でニューラルネットワークモデルをトレーニングし、ニューラルネットワークモデルのトレーニング効果を向上させることができる。
【００９７】
図４には、本願の一つの実施例における画像処理用のニューラルネットワークモデルのトレーニングアーキテクチャ図が示されている。図４に示すように、本実施例におけるニューラルネットワークモデルは、３つの畳み込み層、５つの残差モジュール、２つの逆畳み込み層、及び１つの畳み込み層により構成され、電子装置は、時間順序的に前のビデオフレームxt-1、時間順序的に後ろのビデオフレームxtを、ニューラルネットワークモデルにそれぞれ入力することができ、得られたニューラルネットワークモデルで出力された中間画像がyt-1とytである。電子装置は、xt-1とxtの間のオプティカルフロー情報に基づいて、yt-1とytのタイムドメインロス関数を得ることができ、さらにxt-1、xt、yt-1、yt、及びターゲット特徴画像Sを評価ネットワークモデルに入力し、評価ネットワークモデルに含まれる層で出力された特徴図によって、xt-1とyt-1、xtとytの間の内容損耗、yt-1とS、ytとSの間の特徴損耗を得ることができ、それによって空間領域ロス関数を得る。
【００９８】
本願の一つの実施例において、電子装置は、当該画像処理用のニューラルネットワークモデルのトレーニング方法に従って、ニューラルネットワークモデルをトレーニングした後に、当該ニューラルネットワークモデルをビデオ特徴変換に用いられることが可能である。電子装置は、特徴変換をしようとするビデオを時間的に隣接するビデオフレームに分割し、分割して得られたビデオフレームを、トレーニングできたニューラルネットワークモデルに順に入力し、ニューラルネットワークモデル処理を行って各ビデオフレームに対応する特徴変換後の出力画像を得ることができ、さらに各出力画像を対応する入力ビデオフレームの時間順序に従って合併し、特徴変換後のビデオを得る。ここで、ニューラルネットワークモデルは、同時に複数フレームのビデオフレームに対して特徴変換を行うことができる。
【００９９】
図５に示すように、本願の一つの実施例において、画像処理用のニューラルネットワークモデルのトレーニング装置５００を提供し、当該装置は、入力取得モジュール５０１、出力取得モジュール５０２、損耗取得モジュール５０３、及びモデル調整モジュール５０４を具体的に含む。
【０１００】
入力取得モジュール５０１は、複数の時間的に隣接するビデオフレームを取得するように構成される。
【０１０１】
出力取得モジュール５０２は、前記複数のビデオフレームをそれぞれニューラルネットワークモデル処理を経由させ、前記ニューラルネットワークモデルが対応する中間画像を出力するようにするように構成される。
【０１０２】
損耗取得モジュール５０３は、前記複数の時間的に隣接するビデオフレームのうちの時間順序的に前のビデオフレームから、時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報を取得し、時間順序的に前のビデオフレームに対応する中間画像のオプティカルフロー情報に基づいて変化した後の画像を取得し、時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を取得し、複数の時間的に隣接するビデオフレームに対応する中間画像とターゲット特徴画像との間の特徴損耗を取得するように構成される。
【０１０３】
モデル調整モジュール５０４は、ニューラルネットワークモデルがトレーニングの終了条件を満たすまで、時間損耗と特徴損耗に基づいて、ニューラルネットワークモデルを調整し、複数の時間的に隣接するビデオフレームを取得するステップを戻ってトレーニングを継続するように構成される。
【０１０４】
本願の一つの実施例において、モデル調整モジュール５０４は、複数の時間的に隣接するビデオフレームに対応する中間画像と対応するビデオフレームとの間の内容損耗を取得し、時間損耗、特徴損耗及び内容損耗に基づいて、トレーニングコストを生成し、トレーニングコストに基づいてニューラルネットワークモデルを調整するようにさらに構成される。
【０１０５】
本実施例において、ニューラルネットワークモデルに対してトレーニングを行う時に、時間損耗、特徴損耗、及び内容損耗を一緒にフィードバック調整依拠としてニューラルネットワークモデルを調整し、画像処理に使用可能なニューラルネットワークモデルをトレーニングして得るようにし、時間、内容、及び特徴との３つの次元から画像特徴変換の精確性を保証し、トレーニングで得られたニューラルネットワークモデルがビデオに対して特徴変換を行う時の変換効果を向上させることができる。
【０１０６】
本願の一つの実施例において、モデル調整モジュール５０４は、前記中間画像と前記中間画像に対応するビデオフレームとを評価ネットワークモデルに入力し、評価ネットワークモデルに含まれる層により出力された、ビデオフレームに対応する特徴図と中間画像に対応する特徴図とを取得し、中間画像に対応する特徴図と対応するビデオフレームに対応する特徴図とに基づいて、中間画像と対応するビデオフレームとの間の内容損耗を確定するようにさらに構成される。
【０１０７】
本実施例において、評価ネットワークモデルによって、特徴変換前のビデオフレームと特徴変換後の中間画像との画像内容特徴を抽出し、出力された、画像内容特徴を抽出した特徴図を利用して、対応する入力された画像の間の内容損耗を計算することによって、内容損耗の計算がより精確である。
【０１０８】
本願の一つの実施例において、モデル調整モジュール５０４は、ニューラルネットワークモデルに含まれる層の順序に従って、トレーニングコストの各層に対応する非線形変化オペレータに従う変化率を逆順で確定し、ニューラルネットワークモデルに含まれる層に対応する非線形変化オペレータを逆順で調整し、トレーニングコストの、対応的に調整する層に対応する非線形変化オペレータに従う変化率を減少させるようにさらに構成される。
【０１０９】
本実施例において、逆伝播方式によってトレーニングコストのニューラルネットワークモデルの各層に対応する非線形変化オペレータに従う変化率を求め、ニューラルネットワークモデルの各層に対応する非線形変化オペレータを調整することによって、計算して得られた変化率を減少させ、ニューラルネットワークモデルをトレーニングし、それによって、トレーニングで得られたニューラルネットワークモデルが画像変換に用いるときの効果がより優れる。
【０１１０】
本願の一つの実施例において、損耗取得モジュール５０３は、時間順序的に後ろのビデオフレームに対応する中間画像を変化後の画像内の対応するピクセル位置の数値と減算し、差異分布図を得、差異分布図に基づいて、時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を確定するようにさらに構成される。
【０１１１】
本実施例において、時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像内の対応するピクセル位置のピクセル値との差異によって、時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を計算することによって、時間損耗の計算はより精確である。
【０１１２】
本願の一つの実施例において、損耗取得モジュール５０３は、中間画像とターゲット特徴画像とを評価ネットワークモデルに入力し、評価ネットワークモデルに含まれる層で出力された、中間画像に対応する特徴図とターゲット特徴画像に対応する特徴図とを取得し、中間画像に対応する特徴図とターゲット特徴画像に対応する特徴図とに基づいて、中間画像とターゲット特徴画像との間の特徴損耗を確定するようにさらに構成される。
【０１１３】
本実施例において、評価ネットワークモデルによってターゲット特徴画像と特徴変換後の中間画像との画像特徴を抽出し、出力された、画像特徴を抽出した特徴図を利用して、対応的に入力された画像の間の特徴損耗を計算し、それによって特徴損耗の計算をより精確的にさせる。
【０１１４】
本願の一つの実施例において、損耗取得モジュール５０３は、中間画像に対応する特徴図に基づいて、中間画像に対応する特徴マトリックスを確定し、ターゲット特徴画像に対応する特徴図に基づいて、ターゲット特徴画像に対応する特徴マトリックスを確定し、中間画像に対応する特徴マトリックスを、ターゲット特徴画像に対応する特徴マトリックス内の対応する位置の数値と減算し、特徴差異マトリックスを得、特徴差異マトリックスに基づいて、中間画像とターゲット特徴画像との間の特徴損耗を確定するようにさらに構成される。
【０１１５】
本実施例において、画像特徴を表せる特徴マトリックスを採用して、特徴変換で得られた画像とターゲット特徴画像との間の特徴損耗を具体的に計算し、特徴損耗の計算をより精確的にさせる。
【０１１６】
図６は、本願の一つの実施例に提供される画像処理用のニューラルネットワークモデルのトレーニング装置のもう一つの構成ブロック図である。図６に示すように、当該装置は、プロセッサ６１０、及びバス６２０で前記プロセッサ６１０に接続されるメモリ６３０を含む。前記メモリ６３０に前記プロセッサ６１０により実行可能な機械可読命令モジュールが記憶される。前記機械可読命令モジュールは、入力取得モジュール６０１、出力取得モジュール６０２、損耗取得モジュール６０３、及びモデル調整モジュール６０４を含む。
【０１１７】
入力取得モジュール６０１は、複数の時間的に隣接するビデオフレームを取得するように構成される。
【０１１８】
出力取得モジュール６０２は、前記複数のビデオフレームをそれぞれニューラルネットワークモデル処理を経由させ、前記ニューラルネットワークモデルが対応する中間画像を出力するようにするように構成される。
【０１１９】
損耗取得モジュール６０３は、前記複数の時間的に隣接するビデオフレームのうちの時間順序的に前のビデオフレームから、時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報を取得し、時間順序的に前のビデオフレームに対応する中間画像のオプティカルフロー情報に基づいて変化した後の画像を取得し、時間順序的に後ろのビデオフレームに対応する中間画像と変化後の画像との間の時間損耗を取得し、複数の時間的に隣接するビデオフレームに対応する中間画像とターゲット特徴画像との間の特徴損耗を取得するように構成される。
【０１２０】
モデル調整モジュール６０４は、ニューラルネットワークモデルがトレーニングの終了条件に満たすまで、時間損耗と特徴損耗とに基づいて、ニューラルネットワークモデルを調整し、複数の時間的に隣接するビデオフレームを取得するステップに戻ってトレーニングを継続するように構成される。
【０１２１】
本願の実施例において、上記の入力取得モジュール６０１、出力取得モジュール６０２、損耗取得モジュール６０３、及びモデル調整モジュール６０４の具体的な機能と、上記の入力取得モジュール５０１、出力取得モジュール５０２、損耗取得モジュール５０３、及びモデル調整モジュール５０４と同様であり、ここで省略する。
【０１２２】
上記の画像処理用のニューラルネットワークモデルのトレーニング装置は、ニューラルネットワークモデルに対してトレーニングを行う時に、時間損耗と特徴損耗とを一緒にフィードバック調整依拠としてニューラルネットワークモデルを調整し、画像処理に使用可能なニューラルネットワークモデルをトレーニングして得るようにする。ここで、ニューラルネットワークモデルに対してトレーニングを行う時に、時間的に隣接するビデオフレームを入力とすることによって、時間順序的に前のビデオフレームに対応する中間画像に対して、時間順序的に前のビデオフレームから時間順序的に後ろのビデオフレームまで変化したオプティカルフロー情報に基づいて、時間順序的に後ろのビデオフレームの予期した対応する中間画像を得るようにし、それによって時間損耗を得る。当該時間損耗は、時間的に隣接するビデオフレームのそれぞれに対応する中間画像の間の時間上一致性における損耗が表される。トレーニング後のニューラルネットワークモデルがビデオに対して特徴変換を行う時に、ビデオの各ビデオフレームの間の時間上一致性を考慮することによって、特徴変換において引き込まれたフリッカーノイズを大きく減少させ、それによってビデオに対して特徴変換を行う時の変換効果を向上させることができる。同時に、ニューラルネットワークモデルの計算を電子装置プロセッサ能力と結合して一緒にビデオ画像を処理し、ビデオ画像特徴の変換効果を犠牲せずにプロセッサの計算速度を向上させ、それによって、より優れた画像処理用のニューラルネットワークモデルを生成する。
【０１２３】
当業者は、上述の実施例における方法のプロセスの全て又は一部が、関連するハードウェアを指示するコンピュータプログラムによって実装され得ることを理解することができる。プログラムは、不揮発性のコンピュータ可読記憶媒体に格納されてもよい。プログラム実行時には、上記実施例の方法のプロセスが実行される。記憶媒体は、磁気ディスク、光ディスク、読み出し専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ、ＲＯＭ）等であってもよい。
【０１２４】
上記の実施例の各技術的特徴は、任意に組み合わせてもよく、簡潔にするために、上記の実施例内の各技術的特徴のすべての可能な組み合わせを記載していないが、これらの技術的特徴の組み合わせが矛盾しない限り、本明細書の範囲内であることを理解すべきである。
【０１２５】
上記に記載されている実施例は、本願のいくつかの実施形態しか表しておらず、具体的に詳しく記載したが、本願の範囲に対する制限になると理解すべきではない。なお、当業者にとって、本願の思想を逸脱しない前提で、いくつかの変形と改善をしてもよく、これらのすべては本願の範囲内である。そのため、本願の範囲は、特許請求の範囲に準じるべきである。
【符号の説明】
【０１２６】
５００  画像処理用のニューラルネットワークモデルのトレーニング装置
５０１  入力取得モジュール
５０２  出力取得モジュール
５０３  損耗取得モジュール
５０４  モデル調整モジュール
６０１  入力取得モジュール
６０２  出力取得モジュール
６０３  損耗取得モジュール
６０４  モデル調整モジュール
６１０  プロセッサ
６２０  バス
６３０  メモリ
【図１Ａ】
2019534520.tif 000008
【図１Ｂ】
2019534520.tif 000009
【図２】
2019534520.tif 000010
【図３】
2019534520.tif 000011
【図４】
2019534520.tif 000012
【図５】
2019534520.tif 000013
【図６】
2019534520.tif 000014
【国際調査報告】
2019534520.tif 000015
2019534520.tif 000016
2019534520.tif 000017
2019534520.tif 000018