(57)【要約】  ビデオフレームを高速で品質よくレンダリングするために、圧縮センシングによる映像再構成方法、システム、電子装置及び記憶媒体を提供する。本発明は圧縮センシングによる映像再構成方法、システム、電子装置及び記憶媒体を開示し、前記方法は、再構成対象の圧縮ビデオフレームを受け取ると、所定の抽出ルールに基づき、前記圧縮ビデオフレームからフレーム断片を抽出するステップＢと、抽出されたフレーム断片を、予め訓練されたビデオフレーム再構成モデルのフレーム断片入力層に入力し、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、入力されたフレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立するステップＣと、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、確立された前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成し、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層により、再構成されたフレーム断片ブロックを出力し、再構成されたフレーム断片ブロックに基づき再構成映像を生成するステップＤと、を含む。
2019511850.tif 000002
【特許請求の範囲】
【請求項１】
圧縮センシングによる映像再構成方法であって、
再構成対象の圧縮ビデオフレームを受け取ると、所定の抽出ルールに基づき、前記圧縮ビデオフレームからフレーム断片を抽出するステップＢと、
抽出されたフレーム断片を、予め訓練されたビデオフレーム再構成モデルのフレーム断片入力層に入力し、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、入力されたフレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立するステップＣと、
前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、確立された前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成し、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層により、再構成されたフレーム断片ブロックを出力し、再構成されたフレーム断片ブロックに基づき再構成映像を生成するステップＤと、
を含むことを特徴とする圧縮センシングによる映像再構成方法。
【請求項２】
前記ステップＢを行う前に、さらに、
ビデオフレーム再構成モデルを確立して訓練するステップＡを含み、
前記ビデオフレーム再構成モデルは、少なくとも１つのフレーム断片入力層と、少なくとも１つのフレーム断片ブロック出力層と、複数の特徴抽象化隠れ層とを含む
ことを特徴とする請求項１に記載の圧縮センシングによる映像再構成方法。
【請求項３】
前記ビデオフレーム再構成モデルは、１つのフレーム断片入力層と、１つのフレーム断片ブロック出力層と、ｋ個の特徴抽象化隠れ層とを含み、ただし、ｋは１より大きい自然数であり、各特徴抽象化隠れ層は、ｈｋ（ｙ）＝θ（ｂｋ＋ｗｋｙ）を満たし、
ここで、ｈｋ（ｙ）は前記特徴抽象化隠れ層の活性値を表すベクトル、ただし、
2019511850.tif 000013
であり、Ｌｋはｋ層目の特徴抽象化隠れ層のニューロン数を表し、θ（ｂｋ＋ｗｋｙ）は活性化関数を表し、ｂｋは前記特徴抽象化隠れ層のニューロンのバイアス値を表すベクトル、ただし、
2019511850.tif 000014
であり、ｗｋは重み行列、ただし、
2019511850.tif 000015
であり、ｙは前記特徴抽象化隠れ層の入力ベクトル、ただし、
2019511850.tif 000016
であり、
前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列に基づいて訓練することでビデオフレーム再構成モデルｆ（ｙｉ；ω）を得て、ここで、ωは前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列のパラメータ集合を表し、ｙｉは前記フレーム断片入力層から入力されたフレーム断片を表し、ｆ（ｙｉ；ω）は複数の特徴抽象化隠れ層により、前記フレーム断片入力層から入力されたフレーム断片に対して特徴抽象化を行うことで確立したフレーム断片とフレーム断片ブロックとの間の非線形マッピングを表す
ことを特徴とする請求項１に記載の圧縮センシングによる映像再構成方法。
【請求項４】
前記ビデオフレーム再構成モデルは、１つのフレーム断片入力層と、１つのフレーム断片ブロック出力層と、ｋ個の特徴抽象化隠れ層とを含み、ただし、ｋは１より大きい自然数であり、各特徴抽象化隠れ層は、ｈｋ（ｙ）＝θ（ｂｋ＋ｗｋｙ）を満たし、
ここで、ｈｋ（ｙ）は前記特徴抽象化隠れ層の活性値を表すベクトル、ただし、
2019511850.tif 000017
であり、Ｌｋはｋ層目の特徴抽象化隠れ層のニューロン数を表し、θ（ｂｋ＋ｗｋｙ）は活性化関数を表し、ｂｋは前記特徴抽象化隠れ層のニューロンのバイアス値を表すベクトル、ただし、
2019511850.tif 000018
であり、ｗｋは重み行列、ただし、
2019511850.tif 000019
であり、ｙは前記特徴抽象化隠れ層の入力ベクトル、ただし、
2019511850.tif 000020
であり、
前記特徴抽象化隠れ層活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列に基づいて訓練することでビデオフレーム再構成モデルｆ（ｙｉ；ω）を得て、ここで、ωは前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列のパラメータ集合を表し、ｙｉは前記フレーム断片入力層から入力されたフレーム断片を表し、ｆ（ｙｉ；ω）は複数の特徴抽象化隠れ層により、前記フレーム断片入力層から入力されたフレーム断片に対して特徴抽象化を行うことで確立したフレーム断片とフレーム断片ブロックとの間の非線形マッピングを表す
ことを特徴とする請求項２に記載の圧縮センシングによる映像再構成方法。
【請求項５】
前記所定の抽出ルールとして、再構成対象の圧縮ビデオフレームに対してブロック分割を行って、前記再構成対象の圧縮ビデオフレームを複数のフレーム断片に分割する
ことを特徴とする請求項１に記載の圧縮センシングによる映像再構成方法。
【請求項６】
前記所定の抽出ルールとして、再構成対象の圧縮ビデオフレームに対してブロック分割を行って、前記再構成対象の圧縮ビデオフレームを複数のフレーム断片に分割する
ことを特徴とする請求項２に記載の圧縮センシングによる映像再構成方法。
【請求項７】
前記ステップＡは、さらに、訓練データ及びテストデータを生成するステップを含み、前記訓練データ及びテストデータを生成するステップとして、
異なる種類の自然シーンから所定の数量の映像を取得して、取得された各映像をグレースケール色空間に変換し、
変換された各映像を、予め定義したメトリック変換行列により圧縮し、
全ての圧縮された各ビデオを所定の割合により、第１のデータセット及び第２のデータセットに分割し、第１のデータセットを訓練セットとし、第２のデータセットをテストセットとする
ことを特徴とする請求項２に記載の圧縮センシングによる映像再構成方法。
【請求項８】
圧縮センシングによる映像再構成システムであって、
再構成対象の圧縮ビデオフレームを受け取ると、所定の抽出ルールに基づき、前記圧縮ビデオフレームからフレーム断片を抽出する抽出モジュールと、
抽出されたフレーム断片を、予め訓練されたビデオフレーム再構成モデルのフレーム断片入力層に入力し、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、入力されたフレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立する特徴抽象化モジュールと、
前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、確立された前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成し、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層により、再構成されたフレーム断片ブロックを出力し、再構成されたフレーム断片ブロックに基づき再構成映像を生成する再構成モジュールと、
を含むことを特徴とする圧縮センシングによる映像再構成システム。
【請求項９】
前記圧縮センシングによる映像再構成システムは、さらに、
ビデオフレーム再構成モデルを確立して訓練する確立モジュールを含み、
前記ビデオフレーム再構成モデルは、少なくとも１つのフレーム断片入力層と、少なくとも１つのフレーム断片ブロック出力層と、複数の特徴抽象化隠れ層とを含む
ことを特徴とする請求項８に記載の圧縮センシングによる映像再構成システム。
【請求項１０】
前記ビデオフレーム再構成モデルは、１つのフレーム断片入力層と、１つのフレーム断片ブロック出力層と、ｋ個の特徴抽象化隠れ層とを含み、ただし、ｋは１より大きい自然数であり、各特徴抽象化隠れ層は、ｈｋ（ｙ）＝θ（ｂｋ＋ｗｋｙ）を満たし、
ここで、ｈｋ（ｙ）は前記特徴抽象化隠れ層の活性値を表すベクトル、ただし、
2019511850.tif 000021
であり、Ｌｋはｋ層目の特徴抽象化隠れ層のニューロン数を表し、θ（ｂｋ＋ｗｋｙ）は活性化関数を表し、ｂｋは前記特徴抽象化隠れ層のニューロンのバイアス値を表すベクトル、ただし、
2019511850.tif 000022
であり、ｗｋは重み行列、ただし、
2019511850.tif 000023
であり、ｙは前記特徴抽象化隠れ層の入力ベクトル、ただし、
2019511850.tif 000024
であり、
前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列に基づいて訓練することでビデオフレーム再構成モデルｆ（ｙｉ；ω）を得て、ここで、ωは前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列のパラメータ集合を表し、ｙｉは前記フレーム断片入力層から入力されたフレーム断片を表し、ｆ（ｙｉ；ω）は複数の特徴抽象化隠れ層により、前記フレーム断片入力層から入力されたフレーム断片に対して特徴抽象化を行うことで確立したフレーム断片とフレーム断片ブロックとの間の非線形マッピングを表す
ことを特徴とする請求項８に記載の圧縮センシングによる映像再構成システム。
【請求項１１】
前記ビデオフレーム再構成モデルは、１つのフレーム断片入力層と、１つのフレーム断片ブロック出力層と、ｋ個の特徴抽象化隠れ層とを含み、ただし、ｋは１より大きい自然数であり、各特徴抽象化隠れ層は、ｈｋ（ｙ）＝θ（ｂｋ＋ｗｋｙ）を満たし、
ここで、ｈｋ（ｙ）は前記特徴抽象化隠れ層の活性値を表すベクトル、ただし、
2019511850.tif 000025
であり、Ｌｋはｋ層目の特徴抽象化隠れ層のニューロン数を表し、θ（ｂｋ＋ｗｋｙ）は活性化関数を表し、ｂｋは前記特徴抽象化隠れ層のニューロンのバイアス値を表すベクトル、ただし、
2019511850.tif 000026
であり、ｗｋは重み行列、ただし、
2019511850.tif 000027
であり、ｙは前記特徴抽象化隠れ層の入力ベクトル、ただし、
2019511850.tif 000028
であり、
前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列に基づいて訓練することでビデオフレーム再構成モデルｆ（ｙｉ；ω）を得て、ここで、ωは前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列のパラメータ集合を表し、ｙｉは前記フレーム断片入力層から入力されたフレーム断片を表し、ｆ（ｙｉ；ω）は複数の特徴抽象化隠れ層により、前記フレーム断片入力層から入力されたフレーム断片に対して特徴抽象化を行うことで確立したフレーム断片とフレーム断片ブロックとの間の非線形マッピングを表す
ことを特徴とする請求項９に記載の圧縮センシングによる映像再構成システム。
【請求項１２】
前記所定の抽出ルールとして、再構成対象の圧縮ビデオフレームに対してブロック分割を行って、前記再構成対象の圧縮ビデオフレームを複数のフレーム断片に分割する
ことを特徴とする請求項８に記載の圧縮センシングによる映像再構成システム。
【請求項１３】
前記所定の抽出ルールとして、再構成対象の圧縮ビデオフレームに対してブロック分割を行って、前記再構成対象の圧縮ビデオフレームを複数のフレーム断片に分割する
ことを特徴とする請求項９に記載の圧縮センシングによる映像再構成システム。
【請求項１４】
前記確立モジュールは、さらに、訓練データ及びテストデータを生成する生成手段を含み、前記生成手段は
異なる種類の自然シーンから所定の数量の映像を取得して、取得された各映像をグレースケール色空間に変換し、
変換された各映像を、予め定義したメトリック変換行列により圧縮し、
全ての圧縮された各ビデオを所定の割合により、第１のデータセット及び第２のデータセットに分割し、第１のデータセットを訓練セットとし、第２のデータセットをテストセットとする
ことを特徴とする請求項９に記載の圧縮センシングによる映像再構成システム。
【請求項１５】
電子装置であって、
前記電子装置は、処理機器と、記憶機器とを含み、
前記記憶機器に圧縮センシングによる映像再構成プログラムが記憶されており、前記圧縮センシングによる映像再構成プログラムは、少なくとも１つのコンピュータ読み取り可能なコマンドを含み、
前記少なくとも１つのコンピュータ読み取り可能なコマンドを前記処理機器が実行することで、
再構成対象の圧縮ビデオフレームを受け取ると、所定の抽出ルールに基づき、前記圧縮ビデオフレームからフレーム断片を抽出する動作と、
抽出されたフレーム断片を、予め訓練されたビデオフレーム再構成モデルのフレーム断片入力層に入力し、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、入力されたフレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立する動作と、
前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、確立された前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成し、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層により、再構成されたフレーム断片ブロックを出力し、再構成されたフレーム断片ブロックに基づき再構成映像を生成する動作と、を実現できる
ことを特徴とする電子装置。
【請求項１６】
前記少なくとも１つのコンピュータ読み取り可能なコマンドを前記処理機器が実行することで、ビデオフレーム再構成モデルを確立して訓練する動作を実現でき、
前記ビデオフレーム再構成モデルは、少なくとも１つのフレーム断片入力層と、少なくとも１つのフレーム断片ブロック出力層と、複数の特徴抽象化隠れ層と、を含む
ことを特徴とする請求項１５に記載の電子装置。
【請求項１７】
前記ビデオフレーム再構成モデルは、１つのフレーム断片入力層と、１つのフレーム断片ブロック出力層と、ｋ個の特徴抽象化隠れ層とを含み、ただし、ｋは１より大きい自然数であり、各特徴抽象化隠れ層は、ｈｋ（ｙ）＝θ（ｂｋ＋ｗｋｙ）を満たし、
ここで、ｈｋ（ｙ）は前記特徴抽象化隠れ層の活性値を表すベクトル、ただし、
2019511850.tif 000029
であり、Ｌｋはｋ層目の特徴抽象化隠れ層のニューロン数を表し、θ（ｂｋ＋ｗｋｙ）は活性化関数を表し、ｂｋは前記特徴抽象化隠れ層のニューロンのバイアス値を表すベクトル、ただし、
2019511850.tif 000030
であり、ｗｋは重み行列、ただし、
2019511850.tif 000031
であり、ｙは前記特徴抽象化隠れ層の入力ベクトル、ただし、
2019511850.tif 000032
であり、
前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列に基づいて訓練することでビデオフレーム再構成モデルｆ（ｙｉ；ω）を得て、ここで、ωは前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列のパラメータ集合を表し、ｙｉは前記フレーム断片入力層から入力されたフレーム断片を表し、ｆ（ｙｉ；ω）は複数の特徴抽象化隠れ層により、前記フレーム断片入力層から入力されたフレーム断片に対して特徴抽象化を行うことで確立したフレーム断片とフレーム断片ブロックとの間の非線形マッピングを表す
ことを特徴とする請求項１５に記載の電子装置。
【請求項１８】
前記所定の抽出ルールとして、再構成対象の圧縮ビデオフレームにブロック分割を行って、前記再構成対象の圧縮ビデオフレームを複数のフレーム断片に分割すること
を特徴とする請求項１５に記載の電子装置。
【請求項１９】
前記少なくとも１つのコンピュータ読み取り可能なコマンドを前記処理機器が実行することで、
異なる種類の自然シーンから所定の数量の映像を取得して、取得された各映像をグレースケール色空間に変換する動作と、
変換された各映像を、予め定義したメトリック変換行列により圧縮する動作と、
全ての圧縮された各ビデオを所定の割合により、第１のデータセット及び第２のデータセットに分割し、第１のデータセットを訓練セットとし、第２のデータセットをテストセットとする動作と、を実現できる
ことを特徴とする請求項１６に記載の電子装置。
【請求項２０】
コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な記憶媒体に少なくとも１つのコンピュータ読み取り可能なコマンドが記憶されており、
前記コンピュータ読み取り可能なコマンドを処理機器が実行することで、
再構成対象の圧縮ビデオフレームを受け取ると、所定の抽出ルールに基づき、前記圧縮ビデオフレームからフレーム断片を抽出する動作と、
抽出されたフレーム断片を、予め訓練されたビデオフレーム再構成モデルのフレーム断片入力層に入力し、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、入力されたフレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立する動作と、
前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、確立された前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成し、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層により、再構成されたフレーム断片ブロックを出力し、再構成されたフレーム断片ブロックに基づき再構成映像を生成する動作と、を実現する
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
「関連出願の相互参照」
本願は、パリ条約に基づき、２０１６年１２月３０日に中国国家知識産権局に出願された、中国特許出願第２０１６１１２６０７９３６号の「圧縮センシングによる映像再構成方法及び装置」と題する中国特許出願の優先権を主張し、前記出願の全体が参照により本願に援用される。
【０００２】
本発明は、コンピュータの技術分野に関し、詳しく言えば、圧縮センシングによる映像再構成方法、システム、電子装置及び記憶媒体に関するものである。
【背景技術】
【０００３】
従来の時間領域に基づくビデオの圧縮センシングアルゴリズムは、殆どが計算の複雑さに対して非常に敏感であり、特に再構成映像フレームをレンダリングする時の処理速度が非常に遅く、グラフィックスプロセッシングユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、ＧＰＵ）を用いて並列処理を行ってもこの問題を効果的に緩和することができない。現状では、圧縮センシングによるビデオブロックの再構成を速く実現できるアルゴリズムはあるものの、再構成の質が高くないのが現状である。これに鑑み、再構成映像フレームをいかに高速で品質よくレンダリングするかは、当業者が解決すべき課題となっている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、ビデオフレームを高速で品質よくレンダリングするために、圧縮センシングによる映像再構成方法、システム、電子装置及び記憶媒体を提供することを主な目的とする。
【課題を解決するための手段】
【０００５】
本発明の第１の態様は、圧縮センシングによる映像再構成方法を提供し、
前記方法は、
再構成対象の圧縮ビデオフレームを受け取ると、所定の抽出ルールに基づき、前記圧縮ビデオフレームからフレーム断片を抽出するステップＢと、
抽出されたフレーム断片を、予め訓練されたビデオフレーム再構成モデルのフレーム断片入力層に入力し、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、入力されたフレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立するステップＣと、
前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、確立された前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成し、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層により、再構成されたフレーム断片ブロックを出力し、再構成されたフレーム断片ブロックに基づき再構成映像を生成するステップＤと、
を含む。
【０００６】
本発明の第２の態様は、圧縮センシングによる映像再構成システムを提供し、
前記圧縮センシングによる映像再構成システムは、
再構成対象の圧縮ビデオフレームを受け取ると、所定の抽出ルールに基づき、前記圧縮ビデオフレームからフレーム断片を抽出する抽出モジュールと、
抽出されたフレーム断片を、予め訓練されたビデオフレーム再構成モデルのフレーム断片入力層に入力し、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、入力されたフレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立する特徴抽象化モジュールと、
前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、確立された前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成し、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層により、再構成されたフレーム断片ブロックを出力し、再構成されたフレーム断片ブロックに基づき再構成映像を生成する再構成モジュールと、
を含む。
【０００７】
本発明の第３の態様は、電子装置を提供し、
前記電子装置は、処理機器と記憶機器とを含み、
前記記憶機器に圧縮センシングによる映像再構成プログラムが記憶されており、前記圧縮センシングによる映像再構成プログラムは、少なくとも１つのコンピュータ読み取り可能なコマンドを含み、
前記少なくとも１つのコンピュータ読み取り可能なコマンドを前記処理機器が実行することで、
再構成対象の圧縮ビデオフレームを受け取ると、所定の抽出ルールに基づき、前記圧縮ビデオフレームからフレーム断片を抽出する動作と、
抽出されたフレーム断片を、予め訓練されたビデオフレーム再構成モデルのフレーム断片入力層に入力し、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、入力されたフレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立する動作と、
前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、確立された前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成し、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層により、再構成されたフレーム断片ブロックを出力し、再構成されたフレーム断片ブロックに基づき再構成映像を生成する動作と、
を実現できる。
【０００８】
本発明の第４の態様は、コンピュータ読み取り可能な記憶媒体を提供し、
前記コンピュータ読み取り可能な記憶媒体に少なくとも１つのコンピュータ読み取り可能なコマンドが記憶されており、
前記少なくとも１つのコンピュータ読み取り可能なコマンドを処理機器が実行することで、
再構成対象の圧縮ビデオフレームを受け取ると、所定の抽出ルールに基づき、前記圧縮ビデオフレームからフレーム断片を抽出する動作と、
抽出されたフレーム断片を、予め訓練されたビデオフレーム再構成モデルのフレーム断片入力層に入力し、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、入力されたフレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立する動作と、
前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、確立された前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成し、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層により、再構成されたフレーム断片ブロックを出力し、再構成されたフレーム断片ブロックに基づき再構成映像を生成する動作と、
を実現できる。
【発明の効果】
【０００９】
本発明の圧縮センシングによる映像再構成方法、システム、電子装置及び記憶媒体は、所定の抽出ルールにより、再構成対象の圧縮ビデオフレームからフレーム断片を抽出し、予め訓練されたビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、前記フレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立し、さらに、前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成して出力するものである。サイズの大きな圧縮ビデオフレームを直接処理する方式の代わりに、再構成対象の圧縮ビデオフレームからフレーム断片を抽出して、フレーム断片から再構成を行うことにより、計算の複雑さを低減し、ビデオフレーム再構成の速度を速めることができる。また、予め訓練されたビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、各フレーム断片に対して特徴抽象化を行い、フレーム断片をフレーム断片ブロックに再構成して出力することにより、圧縮ビデオフレームの全ての詳細的な特徴を効果的に抽出し、ビデオフレームの再構成の質を高めることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の圧縮センシングによる映像再構成方法の好ましい実施例を実現する環境の概略図である。
【図２】本発明の圧縮センシングによる映像再構成方法の実施例１のフローチャートである。
【図３】本発明の圧縮センシングによる映像再構成方法の実施例２のフローチャートである。
【図４】本発明の圧縮センシングによる映像再構成方法の一実施例におけるビデオフレーム再構成モデルの概略構造図である。
【図５】本発明の圧縮センシングによる映像再構成システムの実施例１の機能モジュールの概略図である。
【図６】本発明の圧縮センシングによる映像再構成システムの実施例２の機能モジュールの概略図である。
【発明を実施するための形態】
【００１１】
本発明の解決しようとする技術的課題、技術的解決手段及び有益な効果をより明瞭にするために、以下にて実施例及び図面を踏まえて、本発明の目的の達成、機能上の特徴及び利点について説明する。ただし、本明細書に記載された実施例は、本発明を説明するためのものに過ぎず、本発明を限定するためのものではない。
【００１２】
図１は、本発明の圧縮センシングによる映像再構成方法の好ましい実施例を実現する環境の概略図であり、図１によると、前記電子装置１は、例えば、予め設定された又は記憶されているコマンドに従って、数値計算及び／又は情報処理を自動的に実行できる機器である。前記電子装置１は、コンピュータであってもよく、単一のネットワークサーバ、複数のネットワークサーバからなるサーバ群、もしくはクラウドコンピューティングに基づく大量のホストやネットワークサーバからなるクラウド型機器であってもよい。なお、クラウドコンピューティングとは、分散コンピューティングの一種であり、疎結合されている複数のコンピュータクラスターからなる大型仮想コンピュータを指すものである。
【００１３】
本実施例では、電子装置１は、記憶機器１１及び処理機器１２などを含む。処理機器１２は、電子装置１の動作をサポートし、１つ又は複数のマイクロプロセッサ、デジタルプロセッサなどを含んでもよい。記憶機器１１に各種データ及びコンピュータ読み取り可能なコマンドが記憶され、１つ又は複数の不揮発性メモリ、例えば、ＲＯＭ、ＥＰＲＯＭ、又はＦｌａｓｈ  Ｍｅｍｏｒｙ（フラッシュメモリ）などを含んでもよい。一実施例では、記憶機器１１に圧縮センシングによる映像再構成プログラムが記憶されており、前記圧縮センシングによる映像再構成プログラムは、少なくとも１つのコンピュータ読み取り可能なコマンドを含み、前記コンピュータ読み取り可能なコマンドが記憶機器１１に記憶されており、前記少なくとも１つのコンピュータ読み取り可能なコマンドを処理機器１２が実行することで、本発明の各実施例における圧縮センシングによる映像再構成方法を実現できる。
【００１４】
本発明は、圧縮センシングによる映像再構成方法を提供し、図２は、本発明の圧縮センシングによる映像再構成方法の実施例１のフローチャートを示しており、図２によると、一実施例における前記圧縮センシングによる映像再構成方法は、ステップＳ１０と、ステップＳ２０と、ステップＳ３０とを含む。
【００１５】
ステップＳ１０：再構成対象の圧縮ビデオフレームを受け取ると、所定の抽出ルールに基づき、前記圧縮ビデオフレームからフレーム断片を抽出する。
【００１６】
本実施例では、再構成対象の圧縮ビデオフレームを受け取ると、前記圧縮ビデオフレームに対して直接レンダリングを行って再構成する代わりに、所定の抽出ルールに従って、前記圧縮ビデオフレームからフレーム断片を抽出しておく。前記所定の抽出ルールは、例えば、色、内容、フォーマット、面積の大きさなど異なる特徴に基づき、前記圧縮ビデオフレームからフレーム断片を抽出することであり、限定されるものではない。
【００１７】
場合によっては、前記所定の抽出ルールが、再構成対象の圧縮ビデオフレームに対してブロック分割を行って、前記再構成対象の圧縮ビデオフレームを複数のフレーム断片に分割することである。例えば、ＪＰＥＧ、ＰＮＧ、ＧＩＦなど各種タイプの圧縮ビデオフレームに対してブロック分割を行って、前記圧縮ビデオフレームをＮ×Ｍ（例えば、３２×３２）のフレーム断片に分割する（Ｎ及びＭは正の整数）。なお、前記圧縮ビデオフレームに対してブロック分割を行う際、前記圧縮ビデオフレームを同一サイズのフレーム断片に等分しても、前記圧縮ビデオフレームを特定の比例により又はランダムに、サイズが異なるフレーム断片に分割してもよく、限定されるものではない。フレーム断片は、形状が規則的な正方形や長方形などでも、形状が不規則的な断片でもよく、限定されるものではない。
【００１８】
ステップＳ２０：抽出されたフレーム断片を、予め訓練されたビデオフレーム再構成モデルのフレーム断片入力層に入力し、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、入力されたフレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立する。
【００１９】
前記圧縮ビデオフレームからフレーム断片を抽出した後、予め訓練されたビデオフレーム再構成モデルを用いて、前記フレーム断片に対して対応する処理を行ってもよい。前記ビデオフレーム再構成モデルは、毎回圧縮センシングによる映像再構成を行うたびに確立して訓練されるものでも、予め確立して訓練されたモデルが、毎回圧縮センシングによる映像再構成を行うたびに呼び出されるものでもよく、限定されるものではない。
【００２０】
例えば、本実施例では、前記ビデオフレーム再構成モデルは、フレーム断片入力層と、フレーム断片ブロック出力層と、複数の特徴抽象化隠れ層とを含み、前記圧縮ビデオフレームからフレーム断片を抽出した後、抽出されたフレーム断片を、前記ビデオフレーム再構成モデルのフレーム断片入力層に入力し、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、入力されたフレーム断片に対して特徴抽象化を行って、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立することにより、各フレーム断片と再構成されたフレーム断片ブロックとを関連付ける。
【００２１】
ステップＳ３０：前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、確立された前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成し、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層により、再構成されたフレーム断片ブロックを出力し、再構成されたフレーム断片ブロックに基づき再構成映像を生成する。
【００２２】
前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層は確立された非線形マッピング、すなわち特徴抽象化を経た各フレーム断片と再構成されたフレーム断片ブロックとの間のマッピング関係に基づき、入力されたフレーム断片を最終的なフレーム断片ブロックに再構成し、さらに、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層により、再構成されたフレーム断片ブロックを出力し、再構成されたフレーム断片ブロックに基づき再構成映像を生成し、例えば再構成されたフレーム断片ブロックを連結させ、組み合わせるなどの方式により最終的に再構成映像を生成することにより、レンダリングによる前記圧縮ビデオフレームの再構成を実現する。
【００２３】
本実施例は、所定の抽出ルールにより、再構成対象の圧縮ビデオフレームからフレーム断片を抽出し、予め訓練されたビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、前記フレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立し、さらに、前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成して出力するものである。サイズの大きな圧縮ビデオフレームを直接処理する方式の代わりに、再構成対象の圧縮ビデオフレームからフレーム断片を抽出して、フレーム断片から再構成を行うことにより、計算の複雑さを低減し、ビデオフレーム再構成の速度を速めることができる。また、予め訓練されたビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、各フレーム断片に対して特徴抽象化を行い、フレーム断片をフレーム断片ブロックに再構成して出力することにより、圧縮ビデオフレームの全ての詳細的な特徴を効果的に抽出し、ビデオフレームの再構成の質を高めることができる。
【００２４】
図３は、本発明の圧縮センシングによる映像再構成方法の実施例２を示しており、実施例１をベースに、前記ステップＳ１０の前に、さらにステップＳ４０を含む。
【００２５】
ステップＳ４０：ビデオフレーム再構成モデルを確立して訓練し、前記ビデオフレーム再構成モデルは、少なくとも１つのフレーム断片入力層と、少なくとも１つのフレーム断片ブロック出力層と、複数の特徴抽象化隠れ層とを含む。
【００２６】
本実施例では、ビデオフレームの再構成を行う前に、ビデオフレーム再構成モデルを確立して訓練する必要があり、前記ビデオフレーム再構成モデルは、少なくとも１つのフレーム断片入力層と、少なくとも１つのフレーム断片ブロック出力層と、複数の特徴抽象化隠れ層とを含む。ビデオフレーム再構成モデルを訓練する前に、さらに、訓練データ及びテストデータを生成するステップを含み、前記訓練データ及びテストデータを生成するステップとして、
異なる種類の自然シーンから所定の数量（例えば、１００個）の映像を取得し、取得された各映像をグレースケール色空間に変換し、ただし、取得された全ての映像のデータサイズの総和は所定の値（例えば、１０Ｋ）を満たすべきである。
【００２７】
変換された各映像を、予めサイズをＷｍ×ｈｍ×ｄｍ（例えば、Ｗｍ＝８、ｈｍ＝８、ｄｍ＝１６）に設定したメトリック変換行列により圧縮し、例えば、Ｗｂは所定の数量の映像を含むビデオブロックｂの幅を表し、ｈｂはビデオブロックｂの高さを表し、ｄｂはビデオブロックｂの長さ（すなわちビデオフレームの数量）を表し、ｘｉは各ビデオブロック、ただし、ｘｉ∈Ｗｂ×ｈｂ×ｄｂ、ｉ∈Ｎ、Ｎは１以上の正の整数であり、ｙｉは圧縮されたビデオフレーム、ただし、ｙｉ∈Ｗｂ×ｈｂ、ｙｉ＝φｂｘｉであり、φｂはメトリック変換行列を表す。
【００２８】
全ての圧縮された映像を所定の割合Ｘ：Ｙ（例えば、７：３）により、第１のデータセット及び第２のデータセットに分け（ただし、第１のデータセットの映像の数量は第２のデータセットの映像の数量より多い）、第１のデータセットを訓練セットとし、第２のデータセットをテストセットとし、ただし、Ｘ＞０、Ｙ＞０である。
【００２９】
一実施形態では、前記ビデオフレーム再構成モデルの訓練プロセスとして、
前記ビデオフレーム再構成モデルを訓練する際、例えば、入力されたビデオフレームのバッチサイズ（ｂａｔｃｈ  ｓｉｚｅ）を２００、総訓練回数（反復回数）を１０×１０６とし、入力された各ビデオフレームのサイズの差を平均０、標準偏差１に正則化する。訓練の初期段階では、各特徴抽象化隠れ層のニューロンの重みがランダムに初期化され、ランダム値は範囲 （−１／√ｓ，１／√ｓ）の一様分布から取得し、変数ｓは前の特徴抽象化隠れ層のニューロン数を表す。
【００３０】
訓練のプロセスにおいて、確率的勾配降下法（ＳＧＤ、Ｓｔｏｃｈａｓｔｉｃ  Ｇｒａｄｉｅｎｔ  Ｄｅｓｃｅｎｔ）により前記ビデオフレーム再構成モデルの各パラメータを最適化する。確率的勾配降下法は、制御変数が多く、被制御システムが複雑であり、正確な数学モデルを確立できないプロセスの最適化制御に適用される。本実施例では、例えば、初期学習率を０．００１とし、３× １０６回反復するたびに学習率が初期値の十分の一になる。確率的勾配降下法では例えば、モメンタム（Ｍｏｍｅｎｔｕｍ）を０．９とし、同時に勾配クリップを行うこともでき、目的関数をＥ（ｘ）＝ｆ（ｘ）＋ｒ（ｘ）とし、ここで、ｆ（ｘ）はモデル訓練の損失を評価する損失関数を表し、任意の微分可能な凸関数であり、ｒ（ｘ）はモデルに制約をかける正則化項を表し、モデルのパラメータの確率分布の違いによって、ｒ（ｘ）には、Ｌ１ノルム制約（モデルが正規分布に従う場合）及びＬ２ノルム制約（モデルがラプラス分布に従う場合）があり、重みを更新する際、Ｌ２ノルムによって勾配クリップを行って、勾配を一定の範囲に維持することで、勾配爆発によりモデルの収束に影響が与えられることを回避することができ、勾配クリップの閾値は、例えば、１０とする。
【００３１】
さらに、別の実施例として、図４に示す本発明の圧縮センシングによる映像再構成方法の一実施例におけるビデオフレーム再構成モデルの概略構造図によると、前記ビデオフレーム再構成モデルは、１つのフレーム断片入力層と、１つのフレーム断片ブロック出力層と、ｋ個の特徴抽象化隠れ層（ｋは１より大きい自然数）とを含み、各特徴抽象化隠れ層は、ｈｋ（ｙ）＝θ（ｂｋ＋ｗｋｙ）を満たす。
【００３２】
ここで、ｈｋ（ｙ）は前記特徴抽象化隠れ層の活性値を表すベクトル、ただし、
2019511850.tif 000003
であり、Ｌｋはｋ層目の特徴抽象化隠れ層のニューロン数を表し、θ（＊）、すなわちθ（ｂｋ＋ｗｋｙ）は活性化関数を表し、その式はθ（ｘ）＝ｍａｘ（ｘ，０）であり、ｂｋは前記特徴抽象化隠れ層のニューロンのバイアス値を表すベクトル、ただし、
2019511850.tif 000004
であり、ｗｋは重み行列、ただし、
2019511850.tif 000005
であり、ｙは前記特徴抽象化隠れ層の入力ベクトル、ただし、
2019511850.tif 000006
である。
【００３３】
前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列に基づいて訓練することでビデオフレーム再構成モデルｆ（ｙｉ；ω）を得て、ここで、ωは前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列のパラメータ集合を表し、ｙｉは前記フレーム断片入力層から入力されたフレーム断片を表し、ｆ（ｙｉ；ω）は複数の特徴抽象化隠れ層により、前記フレーム断片入力層から入力されたフレーム断片に対して特徴抽象化を行うことで確立したフレーム断片とフレーム断片ブロックとの間の非線形マッピングを表す。
【００３４】
図４によると、前記フレーム断片入力層は入力されたフレーム断片を受け取り、Ｋ層の特徴抽象化隠れ層によるフレームの特徴抽象化を経て、最終的に前記フレーム断片ブロック出力層に入力され、前記フレーム断片ブロック出力層の次元数は再構成されたビデオブロックの全体サイズと一致し、いずれもＷｍ×ｈｍ×ｄｍである。前記ビデオフレーム再構成モデルを訓練するためには、入力パラメータに基づき、モデルの重み及びバイアス項を常に調整する必要がある。モデルの全てのパラメータからなる集合をＬ（ω）で表し、誤差逆伝播法（Ｅｒｒｏｒ  Ｂａｃｋ  Ｐｒｏｐａｇａｔｉｏｎ、ＢＰ）によりパラメータを更新し、最適化関数を平均二乗誤差（Ｍｅａｎ  Ｓｑｕａｒｅｄ  Ｅｒｒｏｒ、ＭＳＥ）とすると、以下の関係を得る：
2019511850.tif 000007
【００３５】
一つの好ましい実施形態では、例えば、前記ビデオフレーム再構成モデルのフレーム断片入力層の次元数を８×８とし、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層の次元数を８×８×１６とし、前記ビデオフレーム再構成モデルの特徴抽象化隠れ層を７層とし、各特徴抽象化隠れ層の次元数は、それぞれ１２８、２５６、３８４、５１２、５１２、４０９６、２０４８とする。
【００３６】
本発明は、さらに、圧縮センシングによる映像再構成システムを提供し、図５は、本発明の圧縮センシングによる映像再構成システムの実施例１の機能モジュールの概略図を示しており、図５によると、前記圧縮センシングによる映像再構成システムは、抽出モジュール０１と、特徴抽象化モジュール０２と、再構成モジュール０３とを含む。
【００３７】
抽出モジュール０１は、再構成対象の圧縮ビデオフレームを受け取ると、所定の抽出ルールに基づき、前記圧縮ビデオフレームからフレーム断片を抽出する。
【００３８】
本実施例では、再構成対象の圧縮ビデオフレームを受け取ると、前記圧縮ビデオフレームに対して直接レンダリングを行って再構成する代わりに、所定の抽出ルールに従って、前記圧縮ビデオフレームからフレーム断片を抽出しておく。前記所定の抽出ルールは、例えば、色、内容、フォーマット、面積の大きさなど異なる特徴に基づき、前記圧縮ビデオフレームからフレーム断片を抽出することであり、限定されるものではない。
【００３９】
場合によっては、前記所定の抽出ルールが、再構成対象の圧縮ビデオフレームに対してブロック分割を行って、前記再構成対象の圧縮ビデオフレームを複数のフレーム断片に分割することである。例えば、ＪＰＥＧ、ＰＮＧ、ＧＩＦなど各種タイプの圧縮ビデオフレームに対してブロック分割を行って、前記圧縮ビデオフレームをＮ×Ｍ（例えば、３２×３２）のフレーム断片に分割する（Ｎ及びＭは正の整数）。なお、前記圧縮ビデオフレームに対してブロック分割を行う際、前記圧縮ビデオフレームを同一サイズのフレーム断片に等分しても、前記圧縮ビデオフレームを特定の比例により又はランダムに、サイズが異なるフレーム断片に分割してもよく、限定されるものではない。フレーム断片は、形状が規則的な正方形や長方形などでも、形状が不規則的な断片でもよく、限定されるものではない。
【００４０】
特徴抽象モジュール０２は、抽出されたフレーム断片を、予め訓練されたビデオフレーム再構成モデルのフレーム断片入力層に入力し、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、入力されたフレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立する。
【００４１】
前記圧縮ビデオフレームからフレーム断片を抽出した後、予め訓練されたビデオフレーム再構成モデルを用いて、前記フレーム断片に対して対応する処理を行ってもよい。前記ビデオフレーム再構成モデルは、毎回圧縮センシングによる映像再構成を行うたびに確立して訓練されるものでも、予め確立して訓練されたモデルが、毎回圧縮センシングによる映像再構成を行うたびに呼び出されるものでもよく、限定されるものではない。
【００４２】
例えば、本実施例では、前記ビデオフレーム再構成モデルは、フレーム断片入力層と、フレーム断片ブロック出力層と、複数の特徴抽象化隠れ層とを含み、前記圧縮ビデオフレームからフレーム断片を抽出した後、抽出されたフレーム断片を、前記ビデオフレーム再構成モデルのフレーム断片入力層に入力し、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、入力されたフレーム断片に対して特徴抽象化を行って、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立することにより、各フレーム断片と再構成されたフレーム断片ブロックとを関連付ける。
【００４３】
再構成モジュール０３は、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、確立された前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成し、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層により、再構成されたフレーム断片ブロックを出力し、再構成されたフレーム断片ブロックに基づき再構成映像を生成する。
【００４４】
前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層は確立された非線形マッピング、すなわち特徴抽象化を経た各フレーム断片と再構成されたフレーム断片ブロックとの間のマッピング関係に基づき、入力されたフレーム断片を最終的なフレーム断片ブロックに再構成し、さらに、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層により、再構成されたフレーム断片ブロックを出力し、再構成されたフレーム断片ブロックに基づき再構成映像を生成し、例えば再構成されたフレーム断片ブロックを連結させ、組み合わせるなどの方式により最終的に再構成映像を生成することにより、レンダリングによる前記圧縮ビデオフレームの再構成を実現する。
【００４５】
本実施例は、所定の抽出ルールにより、再構成対象の圧縮ビデオフレームからフレーム断片を抽出し、予め訓練されたビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、前記フレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立し、さらに、前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成して出力するものである。サイズの大きな圧縮ビデオフレームを直接処理する方式の代わりに、再構成対象の圧縮ビデオフレームからフレーム断片を抽出して、フレーム断片から再構成を行うことにより、計算の複雑さを低減し、ビデオフレーム再構成の速度を速めることができる。また、予め訓練されたビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、各フレーム断片に対して特徴抽象化を行い、フレーム断片をフレーム断片ブロックに再構成して出力することにより、圧縮ビデオフレームの全ての詳細な特徴を効果的に抽出し、ビデオフレームの再構成の質を高めることができる。
【００４６】
図６は、本発明の圧縮センシングによる映像再構成システムの実施例２を示しており、図６によると、実施例２は、実施例１をベースに、さらに、確立モジュール０４を含む。
【００４７】
確立モジュール０４は、ビデオフレーム再構成モデルを確立して訓練し、前記ビデオフレーム再構成モデルは、少なくとも１つのフレーム断片入力層と、少なくとも１つのフレーム断片ブロック出力層と、複数の特徴抽象化隠れ層とを含む。
【００４８】
本実施例では、ビデオフレームの再構成を行う前に、ビデオフレーム再構成モデルを確立して訓練する必要があり、前記ビデオフレーム再構成モデルは、少なくとも１つのフレーム断片入力層と、少なくとも１つのフレーム断片ブロック出力層と、複数の特徴抽象化隠れ層とを含む。前記確立モジュール０４は、さらに、訓練データ及びテストデータを生成する生成手段を含み、前記生成手段は、異なる種類の自然シーンから所定の数量（例えば、１００個）の映像を取得し、取得された各映像をグレースケール色空間に変換し、ただし、取得された全ての映像のデータサイズの総和は所定の値（例えば、１０Ｋ）を満たすべきである。
【００４９】
変換された各映像を、予めサイズをＷｍ×ｈｍ×ｄｍ（例えば、Ｗｍ＝８、ｈｍ＝８、ｄｍ＝１６）に設定したメトリック変換行列により圧縮し、例えば、Ｗｂは所定の数量の映像を含むビデオブロックｂの幅を表し、ｈｂはビデオブロックｂの高さを表し、ｄｂはビデオブロックｂの長さ（すなわちビデオフレームの数量）を表し、ｘｉは各ビデオブロック、ただし、ｘｉ∈Ｗｂ×ｈｂ×ｄｂ、ｉ∈Ｎ、Ｎは１以上の正の整数であり、ｙｉは圧縮されたビデオフレーム、ただし、ｙｉ∈Ｗｂ×ｈｂ、ｙｉ＝φｂｘｉであり、φｂはメトリック変換行列を表す。
【００５０】
全ての圧縮された映像を所定の割合Ｘ：Ｙ（例えば、７：３）により、第１のデータセット及び第２のデータセットに分け（ただし、第１のデータセットの映像の数量は第２のデータセットの映像の数量より多い）、第１のデータセットを訓練セットとし、第２のデータセットをテストセットとし、ただし、Ｘ＞０、Ｙ＞０である。
【００５１】
一実施形態では、前記ビデオフレーム再構成モデルの訓練プロセスとして、
前記ビデオフレーム再構成モデルを訓練する際、入力されたビデオフレームのバッチサイズを２００、総訓練回数（反復回数）を１０×１０６とし、入力された各ビデオフレームのサイズの差を平均０、標準偏差１に正則化する。訓練の初期段階では、各特徴抽象化隠れ層のニューロンの重みがランダムに初期化され、ランダム値は範囲 （−１／√ｓ，１／√ｓ）の一様分布から取得し、変数ｓは前の特徴抽象化隠れ層のニューロン数を表す。
【００５２】
訓練のプロセスにおいて、確率的勾配降下法により前記ビデオフレーム再構成モデルの各パラメータを最適化する。確率的勾配降下法は、制御変数が多く、被制御システムが複雑であり、正確な数学モデルを確立できないプロセスの最適化制御に適用される。本実施例では、例えば、初期学習率を０．００１とし、３× １０６回反復するたびに学習率が初期値の十分の一になる。確率的勾配降下法では例えば、モメンタムを０．９とし、同時に勾配クリップを行うこともでき、目的関数をＥ（ｘ）＝ｆ（ｘ）＋ｒ（ｘ）とし、ここで、ｆ（ｘ）はモデル訓練の損失を評価する損失関数を表し、任意の微分可能な凸関数であり、ｒ（ｘ）はモデルに制約をかける正則化項を表し、モデルのパラメータの確率分布の違いによって、ｒ（ｘ）には、Ｌ１ノルム制約（モデルが正規分布に従う場合）及びＬ２ノルム制約（モデルがラプラス分布に従う場合）があり、重みを更新する際、Ｌ２ノルムによって勾配クリップを行って、勾配を一定の範囲に維持することで、勾配爆発によりモデルの収束に影響が与えられることを回避することができ、勾配クリップの閾値は、例えば、１０とする。
【００５３】
さらに、別の実施例として、前記ビデオフレーム再構成モデルは、１つのフレーム断片入力層と、１つのフレーム断片ブロック出力層と、ｋ個の特徴抽象化隠れ層（ｋは１より大きい自然数）とを含み、各特徴抽象化隠れ層は、ｈｋ（ｙ）＝θ（ｂｋ＋ｗｋｙ）を満たす。
【００５４】
ここで、ｈｋ（ｙ）は前記特徴抽象化隠れ層の活性値を表すベクトル、ただし、
2019511850.tif 000008
であり、Ｌｋはｋ層目の特徴抽象化隠れ層のニューロン数を表し、θ（＊）、すなわちθ（ｂｋ＋ｗｋｙ）は活性化関数を表し、その式はθ（ｘ）＝ｍａｘ（ｘ，０）であり、ｂｋは前記特徴抽象化隠れ層のニューロンのバイアス値を表すベクトル、ただし、
2019511850.tif 000009
であり、ｗｋは重み行列、ただし、
2019511850.tif 000010
であり、ｙは前記特徴抽象化隠れ層の入力ベクトル、ただし、
2019511850.tif 000011
である。
【００５５】
前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列に基づいて訓練することでビデオフレーム再構成モデルｆ（ｙｉ；ω）を得て、ここで、ωは前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列のパラメータ集合を表し、ｙｉは前記フレーム断片入力層から入力されたフレーム断片を表し、ｆ（ｙｉ；ω）は複数の特徴抽象化隠れ層により、前記フレーム断片入力層から入力されたフレーム断片に対して特徴抽象化を行うことで確立したフレーム断片とフレーム断片ブロックとの間の非線形マッピングを表す。
【００５６】
図４によると、前記フレーム断片入力層は入力されたフレーム断片を受け取り、Ｋ層の特徴抽象化隠れ層によるフレームの特徴抽象化を経て、最終的に前記フレーム断片ブロック出力層に入力され、前記フレーム断片ブロック出力層の次元数は再構成されたビデオブロックの全体サイズと一致し、いずれもＷｍ×ｈｍ×ｄｍである。前記ビデオフレーム再構成モデルを訓練するためには、入力パラメータに基づき、モデルの重み及びバイアス項を常に調整する必要がある。モデルの全てのパラメータからなる集合をＬ（ω）で表し、誤差逆伝播法によりパラメータを更新し、最適化関数を平均二乗誤差とすると、以下の関係を得る：
2019511850.tif 000012
【００５７】
一つの好ましい実施形態では、例えば、前記ビデオフレーム再構成モデルのフレーム断片入力層の次元数を８×８とし、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層の次元数を８×８×１６とし、前記ビデオフレーム再構成モデルの特徴抽象化隠れ層を７層とし、各特徴抽象化隠れ層の次元数は、それぞれ１２８、２５６、３８４、５１２、５１２、４０９６、２０４８とする。
【００５８】
ハードウェアで実現するにあたり、処理機器が、抽出モジュール０１、特徴抽象化モジュール０２、再構成モジュール０３、確立モジュール０４などに対応する動作を呼び出して実行するためには、前記モジュールをハードウェアの形態で電子装置に埋め込み、もしくは電子装置から独立させるようにしてもよいが、ソフトウェアの形態で電子装置の記憶機器に記憶されてもよい。前記処理機器は、例えば、中央処理装置（ＣＰＵ）、マイクロプロセッサ、ワンチップマイコンなどである。
【００５９】
本発明は、さらに、コンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ読み取り可能な記憶媒体には圧縮センシングによる映像再構成システムが記憶されており、前記圧縮センシングによる映像再構成システムを少なくとも１つのプロセッサが実行することで、前記少なくとも１つのプロセッサに上記実施例の圧縮センシングによる映像再構成方法のステップを実行させることができ、前記圧縮センシングによる映像再構成方法のステップＳ１０、ステップＳ２０、ステップＳ３０などの詳細はすでに記載したため、ここでは説明を省略する。
【００６０】
本明細書における用語「含む」、又はこれに類する意味の他の用語は、非排他的に包括することを意味し、これにより、一連の要素を含むプロセス、方法、物品、もしくは装置は、これらの要素を含むだけでなく、明記していない他の要素も含み、又はこのようなプロセス、方法、物品、もしくは装置に固有の要素をさらに含む。よって、特段の限定がない限り、文言「〜を含む」などにより限定される要素は、前記要素を含むプロセス、方法、物品又は装置に他の同一の要素が存在する場合を排除しない。
【００６１】
当業者は、実施形態に関する上記の記載により、上記の実施例による方法は、ソフトウェアと、必要な汎用ハードウェアプラットフォームとを組み合わせた方式により実現でき、当然ながら、ハードウェアでも実現できるが、多くの場合には、前者がより好ましい実施形態であることを理解できるであろう。これにより、本発明の技術的解決手段の趣旨又は従来技術について改良した部分を、ソフトウェア製品の形態で実現でき、前記コンピュータソフトウェア製品は、１つの記憶媒体（例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、ＣＤＲＯＭ）に記憶されており、且つ、端末装置（例えば、携帯電話、コンピュータ、サーバ、空調設備、又はネットワーク機器などでもよい）により本発明の各実施例に記載の方法を実行可能とするための複数のコマンドを含む。
【００６２】
以上にて図面を参照しながら本発明の好ましい実施例を説明したが、これをもって本発明の特許請求の範囲を限定するものではなく、本発明の実施例に付与した番号は、記載上の便宜を図るためのものに過ぎず、実施例の優劣を示すものではない。また、フローチャートでは論理的な順序を示しているが、特定の状況においては、記載されたステップを異なる順序で実行することもできる。
【００６３】
当業者であれば、本発明の範囲及び趣旨から逸脱しない範囲で、種々の変更を加えて本発明を実現でき、例えば、一つの実施例の特徴を別の実施例に組み込むことで、もう一つの実施例を得ることができる。本発明の趣旨に対して行われる変更、同等な置換、又は改良などであれば、いずれも本発明の特許請求の範囲に含まれるものとする。
【図１】
2019511850.tif 000033
【図２】
2019511850.tif 000034
【図３】
2019511850.tif 000035
【図４】
2019511850.tif 000036
【図５】
2019511850.tif 000037
【図６】
2019511850.tif 000038
【手続補正書】
【提出日】平成30年6月12日(2018.6.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
圧縮センシングによる映像再構成方法であって、
再構成対象の圧縮ビデオフレームを受け取ると、所定の抽出ルールに基づき、前記圧縮ビデオフレームからフレーム断片を抽出するステップＢと、
抽出されたフレーム断片を、予め訓練されたビデオフレーム再構成モデルのフレーム断片入力層に入力し、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、入力されたフレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立するステップＣと、
前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、確立された前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成し、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層により、再構成されたフレーム断片ブロックを出力し、再構成されたフレーム断片ブロックに基づき再構成映像を生成するステップＤと、
を含むことを特徴とする圧縮センシングによる映像再構成方法。
【請求項２】
前記ステップＢを行う前に、さらに、
ビデオフレーム再構成モデルを確立して訓練するステップＡを含み、
前記ビデオフレーム再構成モデルは、少なくとも１つのフレーム断片入力層と、少なくとも１つのフレーム断片ブロック出力層と、複数の特徴抽象化隠れ層とを含む
ことを特徴とする請求項１に記載の圧縮センシングによる映像再構成方法。
【請求項３】
前記ビデオフレーム再構成モデルは、１つのフレーム断片入力層と、１つのフレーム断片ブロック出力層と、ｋ個の特徴抽象化隠れ層とを含み、ただし、ｋは１より大きい自然数であり、各特徴抽象化隠れ層は、ｈｋ（ｙ）＝θ（ｂｋ＋ｗｋｙ）を満たし、
ここで、ｈｋ（ｙ）は前記特徴抽象化隠れ層の活性値を表すベクトル、ただし、
2019511850.tif 000039
であり、Ｌｋはｋ層目の特徴抽象化隠れ層のニューロン数を表し、θ（ｂｋ＋ｗｋｙ）は活性化関数を表し、ｂｋは前記特徴抽象化隠れ層のニューロンのバイアス値を表すベクトル、ただし、
2019511850.tif 000040
であり、ｗｋは重み行列、ただし、
2019511850.tif 000041
であり、ｙは前記特徴抽象化隠れ層の入力ベクトル、ただし、
2019511850.tif 000042
であり、
前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列に基づいて訓練することでビデオフレーム再構成モデルｆ（ｙｉ；ω）を得て、ここで、ωは前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列のパラメータ集合を表し、ｙｉは前記フレーム断片入力層から入力されたフレーム断片を表し、ｆ（ｙｉ；ω）は複数の特徴抽象化隠れ層により、前記フレーム断片入力層から入力されたフレーム断片に対して特徴抽象化を行うことで確立したフレーム断片とフレーム断片ブロックとの間の非線形マッピングを表す
ことを特徴とする請求項１に記載の圧縮センシングによる映像再構成方法。
【請求項４】
前記ビデオフレーム再構成モデルは、１つのフレーム断片入力層と、１つのフレーム断片ブロック出力層と、ｋ個の特徴抽象化隠れ層とを含み、ただし、ｋは１より大きい自然数であり、各特徴抽象化隠れ層は、ｈｋ（ｙ）＝θ（ｂｋ＋ｗｋｙ）を満たし、
ここで、ｈｋ（ｙ）は前記特徴抽象化隠れ層の活性値を表すベクトル、ただし、
2019511850.tif 000043
であり、Ｌｋはｋ層目の特徴抽象化隠れ層のニューロン数を表し、θ（ｂｋ＋ｗｋｙ）は活性化関数を表し、ｂｋは前記特徴抽象化隠れ層のニューロンのバイアス値を表すベクトル、ただし、
2019511850.tif 000044
であり、ｗｋは重み行列、ただし、
2019511850.tif 000045
であり、ｙは前記特徴抽象化隠れ層の入力ベクトル、ただし、
2019511850.tif 000046
であり、
前記特徴抽象化隠れ層活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列に基づいて訓練することでビデオフレーム再構成モデルｆ（ｙｉ；ω）を得て、ここで、ωは前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列のパラメータ集合を表し、ｙｉは前記フレーム断片入力層から入力されたフレーム断片を表し、ｆ（ｙｉ；ω）は複数の特徴抽象化隠れ層により、前記フレーム断片入力層から入力されたフレーム断片に対して特徴抽象化を行うことで確立したフレーム断片とフレーム断片ブロックとの間の非線形マッピングを表す
ことを特徴とする請求項２に記載の圧縮センシングによる映像再構成方法。
【請求項５】
前記所定の抽出ルールとして、再構成対象の圧縮ビデオフレームに対してブロック分割を行って、前記再構成対象の圧縮ビデオフレームを複数のフレーム断片に分割する
ことを特徴とする請求項１に記載の圧縮センシングによる映像再構成方法。
【請求項６】
前記所定の抽出ルールとして、再構成対象の圧縮ビデオフレームに対してブロック分割を行って、前記再構成対象の圧縮ビデオフレームを複数のフレーム断片に分割する
ことを特徴とする請求項２に記載の圧縮センシングによる映像再構成方法。
【請求項７】
前記ステップＡは、さらに、訓練データ及びテストデータを生成するステップを含み、前記訓練データ及びテストデータを生成するステップとして、
異なる種類の自然シーンから所定の数量の映像を取得して、取得された各映像をグレースケール色空間に変換し、
変換された各映像を、予め定義したメトリック変換行列により圧縮し、
全ての圧縮された各ビデオを所定の割合により、第１のデータセット及び第２のデータセットに分割し、第１のデータセットを訓練セットとし、第２のデータセットをテストセットとする
ことを特徴とする請求項２に記載の圧縮センシングによる映像再構成方法。
【請求項８】
圧縮センシングによる映像再構成システムであって、
再構成対象の圧縮ビデオフレームを受け取ると、所定の抽出ルールに基づき、前記圧縮ビデオフレームからフレーム断片を抽出する抽出モジュールと、
抽出されたフレーム断片を、予め訓練されたビデオフレーム再構成モデルのフレーム断片入力層に入力し、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、入力されたフレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立する特徴抽象化モジュールと、
前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、確立された前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成し、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層により、再構成されたフレーム断片ブロックを出力し、再構成されたフレーム断片ブロックに基づき再構成映像を生成する再構成モジュールと、
を含むことを特徴とする圧縮センシングによる映像再構成システム。
【請求項９】
前記ビデオフレーム再構成モデルは、１つのフレーム断片入力層と、１つのフレーム断片ブロック出力層と、ｋ個の特徴抽象化隠れ層とを含み、ただし、ｋは１より大きい自然数であり、各特徴抽象化隠れ層は、ｈｋ（ｙ）＝θ（ｂｋ＋ｗｋｙ）を満たし、
ここで、ｈｋ（ｙ）は前記特徴抽象化隠れ層の活性値を表すベクトル、ただし、
2019511850.tif 000047
であり、Ｌｋはｋ層目の特徴抽象化隠れ層のニューロン数を表し、θ（ｂｋ＋ｗｋｙ）は活性化関数を表し、ｂｋは前記特徴抽象化隠れ層のニューロンのバイアス値を表すベクトル、ただし、
2019511850.tif 000048
であり、ｗｋは重み行列、ただし、
2019511850.tif 000049
であり、ｙは前記特徴抽象化隠れ層の入力ベクトル、ただし、
2019511850.tif 000050
であり、
前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列に基づいて訓練することでビデオフレーム再構成モデルｆ（ｙｉ；ω）を得て、ここで、ωは前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列のパラメータ集合を表し、ｙｉは前記フレーム断片入力層から入力されたフレーム断片を表し、ｆ（ｙｉ；ω）は複数の特徴抽象化隠れ層により、前記フレーム断片入力層から入力されたフレーム断片に対して特徴抽象化を行うことで確立したフレーム断片とフレーム断片ブロックとの間の非線形マッピングを表す
ことを特徴とする請求項８に記載の圧縮センシングによる映像再構成システム。
【請求項１０】
電子装置であって、
前記電子装置は、処理機器と、記憶機器とを含み、
前記記憶機器に圧縮センシングによる映像再構成プログラムが記憶されており、前記圧縮センシングによる映像再構成プログラムは、少なくとも１つのコンピュータ読み取り可能なコマンドを含み、
前記少なくとも１つのコンピュータ読み取り可能なコマンドを前記処理機器が実行することで、
再構成対象の圧縮ビデオフレームを受け取ると、所定の抽出ルールに基づき、前記圧縮ビデオフレームからフレーム断片を抽出する動作と、
抽出されたフレーム断片を、予め訓練されたビデオフレーム再構成モデルのフレーム断片入力層に入力し、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、入力されたフレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立する動作と、
前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、確立された前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成し、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層により、再構成されたフレーム断片ブロックを出力し、再構成されたフレーム断片ブロックに基づき再構成映像を生成する動作と、を実現できる
ことを特徴とする電子装置。
【請求項１１】
前記少なくとも１つのコンピュータ読み取り可能なコマンドを前記処理機器が実行することで、ビデオフレーム再構成モデルを確立して訓練する動作を実現でき、
前記ビデオフレーム再構成モデルは、少なくとも１つのフレーム断片入力層と、少なくとも１つのフレーム断片ブロック出力層と、複数の特徴抽象化隠れ層と、を含む
ことを特徴とする請求項１０に記載の電子装置。
【請求項１２】
前記ビデオフレーム再構成モデルは、１つのフレーム断片入力層と、１つのフレーム断片ブロック出力層と、ｋ個の特徴抽象化隠れ層とを含み、ただし、ｋは１より大きい自然数であり、各特徴抽象化隠れ層は、ｈｋ（ｙ）＝θ（ｂｋ＋ｗｋｙ）を満たし、
ここで、ｈｋ（ｙ）は前記特徴抽象化隠れ層の活性値を表すベクトル、ただし、
2019511850.tif 000051
であり、Ｌｋはｋ層目の特徴抽象化隠れ層のニューロン数を表し、θ（ｂｋ＋ｗｋｙ）は活性化関数を表し、ｂｋは前記特徴抽象化隠れ層のニューロンのバイアス値を表すベクトル、ただし、
2019511850.tif 000052
であり、ｗｋは重み行列、ただし、
2019511850.tif 000053
であり、ｙは前記特徴抽象化隠れ層の入力ベクトル、ただし、
2019511850.tif 000054
であり、
前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列に基づいて訓練することでビデオフレーム再構成モデルｆ（ｙｉ；ω）を得て、ここで、ωは前記特徴抽象化隠れ層の活性値を表すベクトル、ニューロン数、活性化関数、ニューロンのバイアス値を表すベクトル及び重み行列のパラメータ集合を表し、ｙｉは前記フレーム断片入力層から入力されたフレーム断片を表し、ｆ（ｙｉ；ω）は複数の特徴抽象化隠れ層により、前記フレーム断片入力層から入力されたフレーム断片に対して特徴抽象化を行うことで確立したフレーム断片とフレーム断片ブロックとの間の非線形マッピングを表す
ことを特徴とする請求項１０に記載の電子装置。
【請求項１３】
前記所定の抽出ルールとして、再構成対象の圧縮ビデオフレームにブロック分割を行って、前記再構成対象の圧縮ビデオフレームを複数のフレーム断片に分割すること
を特徴とする請求項１０に記載の電子装置。
【請求項１４】
前記少なくとも１つのコンピュータ読み取り可能なコマンドを前記処理機器が実行することで、
異なる種類の自然シーンから所定の数量の映像を取得して、取得された各映像をグレースケール色空間に変換する動作と、
変換された各映像を、予め定義したメトリック変換行列により圧縮する動作と、
全ての圧縮された各ビデオを所定の割合により、第１のデータセット及び第２のデータセットに分割し、第１のデータセットを訓練セットとし、第２のデータセットをテストセットとする動作と、を実現できる
ことを特徴とする請求項１１に記載の電子装置。
【請求項１５】
コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な記憶媒体に少なくとも１つのコンピュータ読み取り可能なコマンドが記憶されており、
前記コンピュータ読み取り可能なコマンドを処理機器が実行することで、
再構成対象の圧縮ビデオフレームを受け取ると、所定の抽出ルールに基づき、前記圧縮ビデオフレームからフレーム断片を抽出する動作と、
抽出されたフレーム断片を、予め訓練されたビデオフレーム再構成モデルのフレーム断片入力層に入力し、前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、入力されたフレーム断片に対して特徴抽象化を行うことにより、フレーム断片とフレーム断片ブロックとの間の非線形マッピングを確立する動作と、
前記ビデオフレーム再構成モデルの複数の特徴抽象化隠れ層により、確立された前記非線形マッピングに基づき、入力されたフレーム断片をフレーム断片ブロックに再構成し、前記ビデオフレーム再構成モデルのフレーム断片ブロック出力層により、再構成されたフレーム断片ブロックを出力し、再構成されたフレーム断片ブロックに基づき再構成映像を生成する動作と、を実現する
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【国際調査報告】
2019511850.tif 000055
2019511850.tif 000056
2019511850.tif 000057
2019511850.tif 000058