(57)【要約】【課題】ビデオ最適化処理システムを提供する。【解決手段】第１のビデオを圧縮して第２のビデオ及び第３のビデオを生成し、更に、第３のビデオと第２のビデオとの差分を比較して差分情報を生成し、差分情報に基づいて少なくとも１つの画像強化アルゴリズム及び少なくとも１つの強化パラメータを算出するためのサーバと、ビデオ再生ソフトウェアを実行し、サーバから第３のビデオ、少なくとも１つの画像強化アルゴリズムと少なくとも１つの強化パラメータを受信することに用いられ、ビデオ再生ソフトウェアが少なくとも１つの画像強化アルゴリズムと少なくとも１つの強化パラメータに基づいて第３のビデオを復元して第４のビデオを生成し、更に、第４のビデオを再生するユーザー装置と、を含むビデオ最適化処理システム。【選択図】図１Ａ
2019186917.tif 000002
【特許請求の範囲】
【請求項１】
第１のビデオを圧縮して第２のビデオ及び第３のビデオを生成し、更に、前記第３のビデオと前記第２のビデオとの差分を比較して差分情報を生成し、前記差分情報に基づいて少なくとも１つの画像強化アルゴリズム及び少なくとも１つの強化パラメータを算出するためのサーバと、
ビデオ再生ソフトウェアを実行し、前記サーバから前記第３のビデオ、前記少なくとも１つの画像強化アルゴリズムと前記少なくとも１つの強化パラメータを受信することに用いられ、前記ビデオ再生ソフトウェアが前記少なくとも１つの画像強化アルゴリズムと前記少なくとも１つの強化パラメータに基づいて前記第３のビデオを復元して第４のビデオを生成し、更に、前記第４のビデオを再生するユーザー装置と、
を含むビデオ最適化処理システム。
【請求項２】
前記サーバは、前記少なくとも１つの画像強化アルゴリズムと前記少なくとも１つの強化パラメータに基づいて前記第３のビデオを強化し、強化された前記第３のビデオに対して平滑化処理を行って画像補正情報を生成することに更に用いられる請求項１に記載のビデオ最適化処理システム。
【請求項３】
前記ビデオ再生ソフトウェアは、更に、前記画像補正情報、前記少なくとも１つの画像強化アルゴリズム及び前記少なくとも１つの強化パラメータに基づいて前記第３のビデオを復元して前記第４のビデオを生成する請求項２に記載のビデオ最適化処理システム。
【請求項４】
前記サーバは、強化された前記第３のビデオに対してハイパスフィルタ処理を行った後で、強化された前記第３のビデオに対して平滑化処理を行って前記画像補正情報を生成する請求項３に記載のビデオ最適化処理システム。
【請求項５】
前記第３のビデオの解像度は、前記第２のビデオの解像度よりも低い請求項１〜４の何れか１項に記載のビデオ最適化処理システム。
【請求項６】
前記第２のビデオの解像度は、前記第４のビデオの解像度と同じである請求項１〜５の何れか１項に記載のビデオ最適化処理システム。
【請求項７】
サーバによって第１のビデオを圧縮して第２のビデオ及び第３のビデオを生成し、更に、前記第３のビデオと前記第２のビデオとの差分を比較して差分情報を生成し、前記差分情報に基づいて少なくとも１つの画像強化アルゴリズム及び少なくとも１つの強化パラメータを算出する工程と、
ユーザー装置によってビデオ再生ソフトウェアを実行し、前記サーバから前記第３のビデオ、前記少なくとも１つの画像強化アルゴリズムと前記少なくとも１つの強化パラメータを受信し、前記ビデオ再生ソフトウェアが前記少なくとも１つの画像強化アルゴリズムと前記少なくとも１つの強化パラメータに基づいて前記第３のビデオを復元して第４のビデオを生成し、更に、前記第４のビデオを再生する工程と、
を備えるビデオ最適化処理方法。
【請求項８】
前記サーバによって前記少なくとも１つの画像強化アルゴリズムと前記少なくとも１つの強化パラメータに基づいて前記第３のビデオを強化し、強化された前記第３のビデオに対して平滑化処理を行って画像補正情報を生成する請求項７に記載のビデオ最適化処理方法。
【請求項９】
前記ビデオ再生ソフトウェアは、更に、前記画像補正情報、前記少なくとも１つの画像強化アルゴリズム及び前記少なくとも１つの強化パラメータに基づいて前記第３のビデオを復元して前記第４のビデオを生成する請求項８に記載のビデオ最適化処理方法。
【請求項１０】
前記サーバによって、強化された前記第３のビデオに対してハイパスフィルタ処理を行った後で、強化された前記第３のビデオに対して平滑化処理を行って前記画像補正情報を生成する請求項９に記載のビデオ最適化処理方法。
【請求項１１】
前記第３のビデオの解像度は、前記第２のビデオの解像度よりも低い請求項７〜１０の何れか１項に記載のビデオ最適化処理方法。
【請求項１２】
前記第２のビデオの解像度は、前記第４のビデオの解像度と同じである請求項７〜１１の何れか１項に記載のビデオ最適化処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、装置及び方法に関し、特に、ビデオ最適化処理システム及び方法に関する。
【背景技術】
【０００２】
ストリーミングメディア（Ｓｔｒｅａｍｉｎｇ  ｍｅｄｉａ）とは、一連のメディアデータを圧縮した後でネットワークセグメンテーションによってデータを伝送し、ネットワークで音声や映像をリアルタイムに伝送して視聴させるための技術である。この技術により、データパケットが水のように伝送されることができる。
【０００３】
一般的に、初期のメディアデータが巨大であるため、ネットワークによって送信される前に圧縮される必要がある。しかしながら、圧縮倍率が高いほど、メディアデータの損傷が深刻になるため、復元されたビデオの再生効果はより悪くなる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、従来の技術の問題を解決するために、ビデオ最適化処理システム及び方法を提出する。
【課題を解決するための手段】
【０００５】
本発明の一実施例において、本発明は、第１のビデオを圧縮して第２のビデオ及び第３のビデオを生成し、更に、第３のビデオと第２のビデオとの差分を比較して差分情報を生成し、差分情報に基づいて少なくとも１つの画像強化アルゴリズム及び少なくとも１つの強化パラメータを算出するサーバと、ビデオ再生ソフトウェアを実行し、サーバから第３のビデオ、少なくとも１つの画像強化アルゴリズムと少なくとも１つの強化パラメータを受信し、ビデオ再生ソフトウェアが少なくとも１つの画像強化アルゴリズムと少なくとも１つの強化パラメータに基づいて第３のビデオを復元して第４のビデオを生成し、更に第４のビデオを再生するユーザー装置と、を含むビデオ最適化処理システムを提供する。
【０００６】
本発明の一実施例において、サーバは、少なくとも１つの画像強化アルゴリズムと少なくとも１つの強化パラメータに基づいて第３のビデオを強化し、強化された第３のビデオに対して平滑化処理を行って画像補正情報を生成することに更に用いられる。
【０００７】
本発明の一実施例において、ビデオ再生ソフトウェアは、更に、画像補正情報、少なくとも１つの画像強化アルゴリズム及び少なくとも１つの強化パラメータに基づいて第３のビデオを復元して第４のビデオを生成する。
【０００８】
本発明の一実施例において、サーバは、強化された第３のビデオに対してハイパスフィルタ処理を行った後で、強化された第３のビデオに対して平滑化処理を行って画像補正情報を生成する。
【０００９】
本発明の一実施例において、第３のビデオの解像度は、第２のビデオの解像度よりも低い。
【００１０】
本発明の一実施例において、第２のビデオの解像度は、第４のビデオの解像度と同じである。
【００１１】
本発明の一実施例において、本発明は、サーバによって第１のビデオを圧縮して第２のビデオ及び第３のビデオを生成し、更に、第３のビデオと第２のビデオとの差分を比較して差分情報を生成し、差分情報に基づいて少なくとも１つの画像強化アルゴリズム及び少なくとも１つの強化パラメータを算出する工程と、ユーザー装置によってビデオ再生ソフトウェアを実行し、サーバから第３のビデオ、少なくとも１つの画像強化アルゴリズムと少なくとも１つの強化パラメータを受信し、ビデオ再生ソフトウェアが少なくとも１つの画像強化アルゴリズムと少なくとも１つの強化パラメータに基づいて第３のビデオを復元して第４のビデオを生成し、更に第４のビデオを再生する工程と、を備えるビデオ最適化処理方法を提供する。
【００１２】
本発明の一実施例において、サーバによって少なくとも１つの画像強化アルゴリズムと少なくとも１つの強化パラメータに基づいて第３のビデオを強化し、強化された第３のビデオに対して平滑化処理を行って画像補正情報を生成する。
【００１３】
本発明の一実施例において、ビデオ再生ソフトウェアは、更に、画像補正情報、少なくとも１つの画像強化アルゴリズムと及び少なくとも１つの強化パラメータに基づいて第３のビデオを復元して第４のビデオを生成する。
【００１４】
本発明の一実施例において、サーバによって、強化された第３のビデオに対してハイパスフィルタ処理を行った後で、強化された第３のビデオに対して平滑化処理を行って前記画像を生成する。
【００１５】
本発明の一実施例において、第３のビデオの解像度は、第２のビデオの解像度よりも低い。
【００１６】
本発明の一実施例において、第２のビデオの解像度は、第４のビデオの解像度と同じである。
【発明の効果】
【００１７】
以上をまとめると、本発明の技術案は、従来の技術よりも明らかな利点及び有益な効果を有する。本発明のビデオ最適化処理により、高圧縮倍数のビデオ伝送を可能にし、帯域幅を節約し、復元されたビデオが補償された後で、初期のビデオの品質に近似になることができる。
【００１８】
以下、実施形態によって上記の説明について詳しく説明し、本発明の技術案に対して更なる解釈を提供する。
【図面の簡単な説明】
【００１９】
下記の添付図面についての説明は、本発明の上記及び他の目的、特徴、メリット及び実施例をより分かりやすくするためのものである。
【図１Ａ】本発明の一実施例によるビデオ最適化処理システムを示すブロック図である。
【図１Ｂ】本発明の一実施例によるビデオ最適化処理システムの操作を示す模式図である。
【図２】本発明の一実施例によるビデオ最適化処理方法を示すフロー図である。
【発明を実施するための形態】
【００２０】
本発明の記述をより詳細化し充実させるために、添付図面及び下記の多様の実施例を参考してよいが、図面において同じ番号は、同じ又は類似の素子を示す。一方、周知の素子や工程は、本発明に不必要な制限を与えないように、実施例に叙述されていない。
【００２１】
実施形態及び特許請求の範囲において、「電気的接続」についての説明としては、素子が他の素子によって別の素子に間接的に電気的に結合されることを総括して指してもよく、又は素子が他の素子によらずに別の素子に直接に電気的に接続される。
【００２２】
実施形態及び特許請求の範囲において、「接続」についての説明としては、素子が他の素子によって別の素子に間接的に結合されることを総括して指してもよく、又は素子が他の素子によらずに別の素子に直接に接続される。
【００２３】
実施形態及び特許請求の範囲では、本文で冠詞について特に限定しない限り、「一つ」と「前記」は、単一又は複数のものを指してよい。
【００２４】
本文に使用される「約」、「大体」又は「おおよそ」とは、わずかに変わる数を修飾するために使用されるが、そのようなわずかな変化はその性質を変えない。本実施形態では、特に説明しない限り、「約」、「大体」又は「おおよそ」で表される誤差範囲は、２０％以内であり、好ましくは１０％以内であり、より好ましくは５％以内である。
【００２５】
図１Ａは、本発明の一実施例によるビデオ最適化処理システム１００を示すブロック図である。図１Ａに示すように、ビデオ最適化処理システム１００は、サーバ１１０とユーザー装置１２０を含む。構造において、サーバ１１０は、ネットワーク１５０（例えば、インタネット）によってユーザー装置１２０（例えば、モバイル機器、パソコン等）とオーディオ・ビデオストリーミング伝送を行う。これにより、ユーザー装置１２０は、サーバ１１０からストリーミングオーディオ・ビデオを受信することができる。
【００２６】
ビデオ最適化処理システム１００の操作を理解しやすくするために、図１Ｂを併せて参照されたい。図１Ｂは、本発明の一実施例によるビデオ最適化処理システム１００の操作を示す模式図である。伝送帯域幅を節約するために、サーバ１１０は、第１のビデオ（例えば、初期のオーディオ・ビデオデータ）を圧縮して第２のビデオ及び第３のビデオを生成する。具体的に、サーバ１１０は、異なる解像度及びコードレートによって第１のビデオを圧縮して第２、第３のビデオを生成する。例として、第３のビデオの解像度（例えば、７２０ｐ）が第２のビデオの解像度（例えば、１０８０ｐ）よりも低い。
【００２７】
一方、ユーザー装置１２０が各ビデオに対して最も適切な補償を行うのを助けるために、サーバ１１０は、更に、第３のビデオと第２のビデオとの差分を比較して差分情報を生成し、差分情報に基づいて少なくとも１つの画像強化アルゴリズム及び少なくとも１つの強化パラメータを算出する。
【００２８】
一実施例において、サーバ１１０は、差分情報に基づいて機械学習モードで少なくとも１つの画像強化アルゴリズム及び少なくとも１つの強化パラメータを得る。例として、サーバ１１０は、第３のビデオと第２のビデオとを比較して、更に、機械学習モードによって少なくとも１つの画像強化アルゴリズム及び少なくとも１つの強化パラメータを習得する。例えば、１種又は多種類のアルゴリズム（多種類のアルゴリズムの場合、下記はＡＬ１、ＡＬ２〜ＡＬ５で異なるアルゴリズムを示す）を含む少なくとも１つのアルゴリズムを採用してよく、機械学習をするように、第３のビデオを第２のビデオに近似するように強化する画像強化アルゴリズム及び強化パラメータを取得する。上記のアルゴリズムは、それぞれ自身の強度を持ち、異なる組み合わせによって異なる強化効果を生成することができる。例として、以下の通りである。
Ｆｒａｍｅ１：ＡＬ１（Ｌ１）＋ＡＬ２（Ｌ３）＋ＡＬ３（Ｌ２）＋ＡＬ４（Ｌ２）＋ＡＬ５（Ｌ３）
Ｆｒａｍｅ２：ＡＬ１（Ｌ１）＋ＡＬ３（Ｌ２）＋ＡＬ４（Ｌ１）＋ＡＬ５（Ｌ３）
Ｆｒａｍｅ３：ＡＬ３（Ｌ２）＋ＡＬ２（Ｌ１）＋ＡＬ４（Ｌ３）＋ＡＬ５（Ｌ３）
Ｆｒａｍｅ４：ＡＬ２（Ｌ３）
【００２９】
上記のように、ビデオＦｒａｍｅは、機械学習をするように上記のアルゴリズムの組合せを取得することができる。また、Ｌ１、Ｌ２、Ｌ３等は強度を表し、例えば、Ｌ１は第１の強度、Ｌ２は第２の強度である。なお、ＡＬ１（Ｌ１）は一方の強化パラメータ、ＡＬ２（Ｌ３）は別の強化パラメータを示し、このように類推すればよい。上記のように、ビデオＦｒａｍｅ１は、５つの強化パラメータを含む。一実施例において、強度の順序としては、Ｌ１が最も弱く、Ｌ２が二番目弱く、即ち数字が大きいほど、強度が強くてよい。又は、強度の順序としては、Ｌ１が最も強く、Ｌ２が二番目強く、即ち数字が小さいほど、強度が強くてよく、実際の要求に応じて定められる。一実施例において、少なくとも１つの画像強化アルゴリズムとしては、デリンギング（Ｄｅｒｉｎｇｉｎｇ）アルゴリズム又はデブロッキング（Ｄｅｂｌｏｃｋｉｎｇ）アルゴリズムを採用してよいが、本発明はそれに限定されず、実際の要求に応じて他の適切なアルゴリズムを使用してもよい。
【００３０】
使用者がストリーミングオーディオ・ビデオを見ようとする場合、ユーザー装置１２０によってビデオ再生ソフトウェアを実行し、サーバ１１０から第３のビデオ、少なくとも１つの画像強化アルゴリズム及び少なくとも１つの強化パラメータを受信してよい。第３のビデオが圧縮された小さいデータ（例えば、７２０ｐ）であり、且つ少なくとも１つの画像強化アルゴリズムと少なくとも１つの強化パラメータが数値データのみを含むので、伝送効率を高めることができる。
【００３１】
ビデオ再生ソフトウェアは、少なくとも１つの画像強化アルゴリズムと少なくとも１つの強化パラメータに基づいて、第３のビデオを復元して第４のビデオを生成し、更に第４のビデオを再生する。第４のビデオの解像度が第２のビデオの解像度と同じであり、且つ第２のビデオは、単にシミュレーションソフトウェアで補償することではなく、上記の機械学習形態による１種又は多種類の画像強化アルゴリズムと１種又は多種類の強化パラメータに基づいて第３のビデオを強化することで得られてよいため、同じ画像強化アルゴリズムと強化パラメータを採用して第３のビデオを復元して得られた第４のビデオの品質は、おおよそ第２のビデオの品質に近似することができる。
【００３２】
なお、サーバ１１０は、更に、少なくとも１つの画像強化アルゴリズムと少なくとも１つの強化パラメータに基づいて第３のビデオを強化し、強化された第３のビデオに対して平滑化処理を行って画像補正情報を生成することに用いられる。例として、本願において、最終的に第２のビデオ（例えば、１０８０ｐ）に強化される必要があることが知られているため、上記の機械学習形態により、１種又は多種類の画像強化アルゴリズムと１種又は多種類の強化パラメータを見出して、強化された第３のビデオを第２のビデオに近似させることができる。同時に、強化された第３のビデオと第２のビデオをより一致させるために、第３のビデオに対して平滑化処理を行って画像補正情報を取得し、更に強化された第３のビデオの失われた部分を加えて、両者をより一致させる。
【００３３】
これにより、ユーザー装置１２０がサーバ１１０から上記の画像補正情報を受信し、そのビデオ再生ソフトウェアで同時に画像補正情報、少なくとも１つの画像強化アルゴリズムと少なくとも１つの強化パラメータに基づいて第３のビデオを復元して第４のビデオを生成すると、第４のビデオを第２のビデオに更に近似させて、オーディオ・ビデオの再生効果を更に強化することができる。
【００３４】
また、上記の平滑化処理の前に、本願のサーバ１１０は、更に第３のビデオに対してハイパスフィルタ処理を行ってよく、ビデオにおける細部が多い部分を残し、細部の少ない部分を除外してから、上記の平滑化処理を実行すると、より詳しい画像補正情報が得られる。例として、上記の画像補正情報は、以下の式によって取得されることができる。
ｓｍｏｏｔｈ（ｈｉｇｈ−ｐａｓｓ  ｆｉｌｔｅｒ（ａ−Ｅｂ））…式１
【００３５】
式１に示すように、ａは第２の画像を示し、Ｅｂは強化された第３のビデオを示し、両者の差分情報を得た後、ハイパスフィルタ処理（ｈｉｇｈ−ｐａｓｓ  ｆｉｌｔｅｒ）を行い、その後、平滑化処理（ｓｍｏｏｔｈ）を行って画像補正情報を取得する。同様に、ユーザー装置１２０は、サーバ１１０から上記の画像補正情報を受信し、そのビデオ再生ソフトウェアで同時に画像補正情報、少なくとも１つの画像強化アルゴリズム及び少なくとも１つの強化パラメータに基づいて第３のビデオを復元して第４のビデオを生成すると、第４のビデオを更に第２のビデオに近似させて、更にオーディオ・ビデオの再生効果を強化することができる。
【００３６】
上記のビデオ最適化処理システムの動作方法を更に説明するために、図１Ａ、図１Ｂ、図２を同時に参照されたい。図２は、本発明の一実施例によるビデオ最適化処理方法２００を示すフロー図である。図２に示すように、ビデオ最適化処理方法２００は、工程Ｓ２０１〜Ｓ２０２を含む（本実施例で述べられた工程は、その順序を具体的に説明しない限り、何れも実際の要求に応じてその前後の順序を調整してよく、更に、同時に又は部分的に同時に実行してもよいことは理解されたい）。
【００３７】
工程Ｓ２０１において、サーバ１１０によって第１のビデオを圧縮して第２のビデオ及び第３のビデオを生成し、更に第３のビデオと第２のビデオとの差分を比較して差分情報を生成し、差分情報に基づいて少なくとも１つの画像強化アルゴリズム及び少なくとも１つの強化パラメータを算出する。
【００３８】
工程Ｓ２０２において、ユーザー装置１２０によってビデオ再生ソフトウェアを実行し、サーバ１１０から第３のビデオ、少なくとも１つの画像強化アルゴリズムと少なくとも１つの強化パラメータを受信し、ビデオ再生ソフトウェアが少なくとも１つの画像強化アルゴリズムと少なくとも１つの強化パラメータに基づいて第３のビデオを復元して第４のビデオを生成し、更に第４のビデオを再生する。
【００３９】
ビデオ最適化処理方法２００において、サーバ１１０によって少なくとも１つの画像強化アルゴリズムと少なくとも１つの強化パラメータに基づいて第３のビデオを強化し、強化された第３のビデオに対して平滑化処理を行って画像補正情報を生成する。
【００４０】
ビデオ最適化処理方法２００において、ビデオ再生ソフトウェアは、更に画像補正情報、少なくとも１つの画像強化アルゴリズム及び少なくとも１つの強化パラメータに基づいて第３のビデオを復元して第４のビデオを生成する。
【００４１】
ビデオ最適化処理方法２００において、サーバ１１０によって、強化された第３のビデオに対してハイパスフィルタ処理を行った後で、強化された第３のビデオに対して平滑化処理を行って画像補正情報を生成する。
【００４２】
ビデオ最適化処理方法２００において、第３のビデオの解像度は、第２のビデオの解像度よりも低い。
【００４３】
ビデオ最適化処理方法２００において、第２のビデオの解像度は、第４のビデオの解像度と同じである。
【００４４】
以上をまとめると、本発明の技術案は、従来の技術よりも明らかな利点及び有益な効果を有する。本発明のビデオ最適化処理により、高圧縮倍数のビデオ伝送を可能にし、帯域幅を節約し、復元されたビデオが補償された後で、初期のビデオの品質に近似になることができる。
【００４５】
本発明の実施形態を前記の通りに開示したが、これは、本発明を限定するものではなく、当業者であれば、本発明の精神と範囲から逸脱しない限り、多様の変更や修飾を加えてもよく、したがって、本発明の保護範囲は、後の特許請求の範囲で指定した内容を基準とするものである。
【符号の説明】
【００４６】
下記の添付符号についての説明は、本発明の上記及び他の目的、特徴、メリット及び実施例をより分かりやすくするためのものである。
１００  ビデオ最適化処理システム
１１０  サーバ
１２０  ユーザー装置
１５０  ネットワーク
２００  ビデオ最適化処理方法
Ｓ２０１〜Ｓ２０２  工程
【図１Ａ】
2019186917.tif 000003
【図１Ｂ】
2019186917.tif 000004
【図２】
2019186917.tif 000005