(57)【要約】  本願は、ビデオ符号化方法、ビデオ復号方法、コンピュータ装置および記憶媒体に関し、符号化対象となるビデオフレームを取得し、現在符号化情報及び／又は画像特徴情報に基づいて現在符号化モードを確定し、オプションの符号化モードはフル解像度モードとダウンサンプリングモードとを含むことと、符号化対象となるビデオフレームを現在符号化モードに応じて処理して、現在符号化ビデオフレームを得て、前記現在符号化モードがダウンサンプリングモードである場合に、符号化対象となるビデオフレームをダウンサンプリングして、現在符号化ビデオフレームを得て、前記現在符号化モードがフル解像度モードである場合に、前記符号化対象となるビデオフレームを現在符号化ビデオフレームとして確定することと、前記現在符号化ビデオフレームがインター符号化フレームである場合に、現在符号化ビデオフレームに対応する現在参照フレームを取得し、現在参照フレームと現在符号化ビデオフレームの解像度の高低に基づいて、対応する処理参照フレームを得ることと、処理参照フレームに基づいて現在符号化ビデオフレームを符号化して、符号化データを得ることと、を含む。【選択図】図４
2019537365.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ装置が、符号化対象となるビデオフレームを取得し、前記符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、フル解像度モードとダウンサンプリングモードとを含むオプションの符号化モードから現在符号化モードを確定することと、
前記コンピュータ装置が、前記符号化対象となるビデオフレームを現在符号化モードに応じて処理して、現在符号化ビデオフレームを得て、前記現在符号化モードがダウンサンプリングモードである場合に、前記符号化対象となるビデオフレームをダウンサンプリングして、現在符号化ビデオフレームを得て、前記現在符号化モードがフル解像度モードである場合に、前記符号化対象となるビデオフレームを現在符号化ビデオフレームとして確定することと、
前記現在符号化ビデオフレームがインター符号化フレームである場合に、前記コンピュータ装置は、前記現在符号化ビデオフレームに対応する現在参照フレームを取得し、前記現在参照フレームと現在符号化ビデオフレームの解像度の高低に基づいて、対応する処理参照フレームを得て、具体的には、前記コンピュータ装置は、前記現在参照フレームの解像度が現在符号化ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、前記現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、前記現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得ることと、
前記コンピュータ装置が、前記処理参照フレームに基づいて前記現在符号化ビデオフレームを符号化して、現在符号化モード情報が付加された第１の符号化データを得ることと、
を含むビデオ符号化方法。
【請求項２】
前記現在符号化情報は、量子化パラメータ情報を含み、前記コンピュータ装置が、前記符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、オプションの符号化モードから現在符号化モードを確定することは、
前記コンピュータ装置が、前記符号化対象となるビデオフレームに対応する現在量子化パラメータを取得することと、
前記コンピュータ装置が、前記符号化対象となるビデオフレームのフレーム予測タイプを取得し、前記フレーム予測タイプに対応する量子化パラメータ閾値を取得し、前記現在量子化パラメータが前記量子化パラメータ閾値より大きい場合に、前記現在符号化モードがダウンサンプリングモードであると確定し、そうでない場合に、前記現在符号化モードがフル解像度モードであると確定することと、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記現在符号化情報は、符号化率情報を含み、前記コンピュータ装置が、前記符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、オプションの符号化モードから現在符号化モードを確定することは、
前記コンピュータ装置が、前記符号化対象となるビデオフレームに対応する現在ターゲット符号化率を取得することと、
前記コンピュータ装置が、前記符号化対象となるビデオフレームのフレーム予測タイプを取得し、前記フレーム予測タイプに対応する符号化率閾値を取得し、前記現在ターゲット符号化率が前記符号化率閾値より高い場合に、前記現在符号化モードがフル解像度モードであると確定し、そうでない場合に、前記現在符号化モードがダウンサンプリングモードであると確定することと、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記画像特徴情報は、動き特徴情報およびテクスチャ情報を含み、前記コンピュータ装置が、前記符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、オプションの符号化モードから現在符号化モードを確定することは、
前記コンピュータ装置が、前記動き特徴情報に基づいて動き度合いを確定し、前記テクスチャ情報に基づいてテクスチャの複雑さを確定することと、
前記動き度合いが動きの予め設定された閾値を超えた場合に、或いは、前記テクスチャの複雑さがテクスチャの予め設定された閾値を超えていない場合に、前記コンピュータ装置は、前記現在符号化モードがダウンサンプリングモードであると確定し、そうでない場合に、前記現在符号化モードがフル解像度モードであると確定することと、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記コンピュータ装置が、符号化対象となるビデオフレームを取得した後、
前記コンピュータ装置が、前記符号化対象となるビデオフレームのフレーム予測タイプを取得し、イントラ予測フレームである場合に、前記現在符号化モードがフル解像度モードであると確定することと、
双方向インター予測フレームである場合に、前記コンピュータ装置は、前記現在符号化モードがダウンサンプリングモードであると確定することと、
前方向インター予測フレームである場合に、前記コンピュータ装置は、量子化パラメータ情報、符号化率情報、画像特徴情報のうちの少なくとも１種の情報に基づいて現在符号化モードを確定することと、をさらに含む、
ことを特徴とする請求項１ないし４のうちのいずれか一項に記載の方法。
【請求項６】
前記現在符号化ビデオフレームがイントラ符号化フレームである場合に、前記コンピュータ装置は、イントラ符号化を直接行って、現在符号化モード情報が付加された第２の符号化データを得ること、をさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記コンピュータ装置が、前記現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得ることは、
現在参照フレームの解像度が現在符号化ビデオフレームの解像度より高い場合に、前記コンピュータ装置は、現在参照フレームをダウンサンプリングして、現在符号化ビデオフレームと同じ解像度の処理参照フレームを得て、現在参照フレームの解像度が現在符号化ビデオフレームの解像度よりも低い場合に、前記コンピュータ装置は、現在参照フレームをアップサンプリングして、現在符号化ビデオフレームと同じ解像度の処理参照フレームを得ること、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項８】
コンピュータ装置が、符号化データを取得し、前記符号化データに対応する各符号化ビデオフレームに現在符号化モード情報が付加されていることと、
前記コンピュータ装置が、前記現在符号化モード情報に基づいて、現在復号ビデオフレームに対応する現在復号モードを確定することと、
前記現在復号ビデオフレームがインター符号化フレームである場合に、前記コンピュータ装置は、前記現在復号ビデオフレームに対応する現在参照フレームを取得し、前記現在参照フレームと現在復号ビデオフレームの解像度の高低に基づいて処理参照フレームを得て、具体的には、前記コンピュータ装置は、前記現在参照フレームの解像度が現在復号ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、前記現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、前記現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得ることと、
前記コンピュータ装置が、前記処理参照フレームに基づいて現在復号ビデオフレームを復号して、再構築ビデオフレームを得ることと、
前記コンピュータ装置が、前記再構築ビデオフレームを前記現在復号モードに従って処理して復号ビデオフレームを得て、前記現在復号モードがダウンサンプリングモードである場合に、前記再構築ビデオフレームをアップサンプリングして復号ビデオフレームを得て、前記現在符号化モード情報がフルサンプリングモードである場合に、前記再構築ビデオフレームを復号ビデオフレームとして確定することと、
を含むビデオ復号方法。
【請求項９】
メモリとプロセッサとを備え、前記メモリにコンピュータ読み取り可能な命令が記憶されており、前記コンピュータ読み取り可能な命令は、前記プロセッサによって実行されると、前記プロセッサに、
符号化対象となるビデオフレームを取得し、前記符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、フル解像度モードとダウンサンプリングモードとを含むオプションの符号化モードから現在符号化モードを確定するステップと、
前記符号化対象となるビデオフレームを現在符号化モードに応じて処理して、現在符号化ビデオフレームを得て、前記現在符号化モードがダウンサンプリングモードである場合に、前記符号化対象となるビデオフレームをダウンサンプリングして、現在符号化ビデオフレームを得て、前記現在符号化モードがフル解像度モードである場合に、前記符号化対象となるビデオフレームを現在符号化ビデオフレームとして確定するステップと、
前記現在符号化ビデオフレームがインター符号化フレームである場合に、前記現在符号化ビデオフレームに対応する現在参照フレームを取得し、前記現在参照フレームと現在符号化ビデオフレームの解像度の高低に基づいて、対応する処理参照フレームを得て、具体的には、前記現在参照フレームの解像度が現在符号化ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、前記現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、前記現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得るステップと、
前記処理参照フレームに基づいて前記現在符号化ビデオフレームを符号化して、現在符号化モード情報が付加された第１の符号化データを得るステップと、を実行させる、
コンピュータ装置。
【請求項１０】
前記現在符号化情報は、量子化パラメータ情報を含み、前記符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、オプションの符号化モードから現在符号化モードを確定することは、
前記符号化対象となるビデオフレームに対応する現在量子化パラメータを取得することと、
前記符号化対象となるビデオフレームのフレーム予測タイプを取得し、前記フレーム予測タイプに対応する量子化パラメータ閾値を取得し、前記現在量子化パラメータが前記量子化パラメータ閾値より大きい場合に、前記現在符号化モードがダウンサンプリングモードであると確定し、そうでない場合に、前記現在符号化モードがフル解像度モードであると確定することと、を含む、
ことを特徴とする請求項９に記載のコンピュータ装置。
【請求項１１】
前記現在符号化情報は、符号化率情報を含み、前記符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、オプションの符号化モードから現在符号化モードを確定することは、
前記符号化対象となるビデオフレームに対応する現在ターゲット符号化率を取得することと、
前記符号化対象となるビデオフレームのフレーム予測タイプを取得し、前記フレーム予測タイプに対応する符号化率閾値を取得し、前記現在ターゲット符号化率が前記符号化率閾値より高い場合に、前記現在符号化モードがフル解像度モードであると確定し、そうでない場合に、前記現在符号化モードがダウンサンプリングモードであると確定することと、を含む、
ことを特徴とする請求項９に記載のコンピュータ装置。
【請求項１２】
前記画像特徴情報は、動き特徴情報およびテクスチャ情報を含み、前記符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、オプションの符号化モードから現在符号化モードを確定することは、
前記動き特徴情報に基づいて動き度合いを確定し、前記テクスチャ情報に基づいてテクスチャの複雑さを確定することと、
前記動き度合いが動きの予め設定された閾値を超えた場合に、或いは、前記テクスチャの複雑さがテクスチャの予め設定された閾値を超えていない場合に、前記現在符号化モードがダウンサンプリングモードであると確定し、そうでない場合に、前記現在符号化モードがフル解像度モードであると確定することと、を含む、
ことを特徴とする請求項９に記載のコンピュータ装置。
【請求項１３】
前記符号化対象となるビデオフレームを取得した後、前記コンピュータ読み取り可能な命令は、前記プロセッサに、
前記符号化対象となるビデオフレームのフレーム予測タイプを取得し、イントラ予測フレームである場合に、前記現在符号化モードがフル解像度モードであると確定するステップと、
双方向インター予測フレームである場合に、前記現在符号化モードがダウンサンプリングモードであると確定するステップと、
前方向インター予測フレームである場合に、量子化パラメータ情報、符号化率情報、画像特徴情報のうちの少なくとも１種の情報に基づいて現在符号化モードを確定するステップと、をさらに実行させる、
ことを特徴とする請求項９ないし１２のうちのいずれか一項に記載のコンピュータ装置。
【請求項１４】
前記コンピュータ読み取り可能な命令は、前記プロセッサに、
前記現在符号化ビデオフレームがイントラ符号化フレームである場合に、イントラ符号化を直接行って、現在符号化モード情報が付加された第２の符号化データを得るステップ、をさらに実行させる、
ことを特徴とする請求項９に記載のコンピュータ装置。
【請求項１５】
前記現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得ることは、
現在参照フレームの解像度が現在符号化ビデオフレームの解像度より高い場合に、現在参照フレームをダウンサンプリングして、現在符号化ビデオフレームと同じ解像度の処理参照フレームを得て、現在参照フレームの解像度が現在符号化ビデオフレームの解像度よりも低い場合に、現在参照フレームをアップサンプリングして、現在符号化ビデオフレームと同じ解像度の処理参照フレームを得ること、を含む、
ことを特徴とする請求項９に記載のコンピュータ装置。
【請求項１６】
メモリおよびプロセッサを備え、前記メモリにコンピュータ読み取り可能な命令が記憶されており、前記コンピュータ読み取り可能な命令は、前記プロセッサによって実行されると、前記プロセッサに、
符号化データを取得し、前記符号化データに対応する各符号化ビデオフレームに現在符号化モード情報が付加されているステップと、
前記現在符号化モード情報に基づいて、現在復号ビデオフレームに対応する現在復号モードを確定するステップと、
前記現在復号ビデオフレームがインター符号化フレームである場合に、前記現在復号ビデオフレームに対応する現在参照フレームを取得し、前記現在参照フレームと現在復号ビデオフレームの解像度の高低に基づいて処理参照フレームを得て、具体的には、前記現在参照フレームの解像度が現在復号ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、前記現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、前記現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得るステップと、
前記処理参照フレームに基づいて現在復号ビデオフレームを復号して、再構築ビデオフレームを得るステップと、
前記再構築ビデオフレームを前記現在復号モードに従って処理して復号ビデオフレームを得て、前記現在復号モードがダウンサンプリングモードである場合に、前記再構築ビデオフレームをアップサンプリングして復号ビデオフレームを得て、前記現在符号化モード情報がフルサンプリングモードである場合に、前記再構築ビデオフレームを復号ビデオフレームとして確定するステップと、を実行させる、
コンピュータ装置。
【請求項１７】
コンピュータ読み取り可能な命令が記憶された１つ又は複数の不揮発性記憶媒体であって、前記コンピュータ読み取り可能な命令は、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに、
符号化対象となるビデオフレームを取得し、前記符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、フル解像度モードとダウンサンプリングモードとを含むオプションの符号化モードから現在符号化モードを確定するステップと、
前記符号化対象となるビデオフレームを現在符号化モードに応じて処理して、現在符号化ビデオフレームを得て、前記現在符号化モードがダウンサンプリングモードである場合に、前記符号化対象となるビデオフレームをダウンサンプリングして、現在符号化ビデオフレームを得て、前記現在符号化モードがフル解像度モードである場合に、前記符号化対象となるビデオフレームを現在符号化ビデオフレームとして確定するステップと、
前記現在符号化ビデオフレームがインター符号化フレームである場合に、前記現在符号化ビデオフレームに対応する現在参照フレームを取得し、前記現在参照フレームと現在符号化ビデオフレームの解像度の高低に基づいて、対応する処理参照フレームを得て、具体的には、前記現在参照フレームの解像度が現在符号化ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、前記現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、前記現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得るステップと、
前記処理参照フレームに基づいて前記現在符号化ビデオフレームを符号化して、現在符号化モード情報が付加された第１の符号化データを得るステップと、を実行させる記憶媒体。
【請求項１８】
前記現在符号化情報は、量子化パラメータ情報を含み、前記符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、オプションの符号化モードから現在符号化モードを確定することは、
前記符号化対象となるビデオフレームに対応する現在量子化パラメータを取得することと、
前記符号化対象となるビデオフレームのフレーム予測タイプを取得し、前記フレーム予測タイプに対応する量子化パラメータ閾値を取得し、前記現在量子化パラメータが前記量子化パラメータ閾値より大きい場合に、前記現在符号化モードがダウンサンプリングモードであると確定し、そうでない場合に、前記現在符号化モードがフル解像度モードであると確定することと、を含む、
ことを特徴とする請求項１７に記載の記憶媒体。
【請求項１９】
前記現在符号化情報は、符号化率情報を含み、前記符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、オプションの符号化モードから現在符号化モードを確定することは、
前記符号化対象となるビデオフレームに対応する現在ターゲット符号化率を取得することと、
前記符号化対象となるビデオフレームのフレーム予測タイプを取得し、前記フレーム予測タイプに対応する符号化率閾値を取得し、前記現在ターゲット符号化率が前記符号化率閾値より高い場合に、前記現在符号化モードがフル解像度モードであると確定し、そうでない場合に、前記現在符号化モードがダウンサンプリングモードであると確定することと、を含む、
ことを特徴とする請求項１７に記載の記憶媒体。
【請求項２０】
前記画像特徴情報は、動き特徴情報およびテクスチャ情報を含み、前記符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、オプションの符号化モードから現在符号化モードを確定することは、
前記動き特徴情報に基づいて動き度合いを確定し、前記テクスチャ情報に基づいてテクスチャの複雑さを確定することと、
前記動き度合いが動きの予め設定された閾値を超えた場合に、或いは、前記テクスチャの複雑さがテクスチャの予め設定された閾値を超えていない場合に、前記現在符号化モードがダウンサンプリングモードであると確定し、そうでない場合に、前記現在符号化モードがフル解像度モードであると確定することと、を含む、
ことを特徴とする請求項１７に記載の記憶媒体。
【請求項２１】
前記符号化対象となるビデオフレームを取得した後、前記コンピュータ読み取り可能な命令は、前記プロセッサに、
前記符号化対象となるビデオフレームのフレーム予測タイプを取得し、イントラ予測フレームである場合に、前記現在符号化モードがフル解像度モードであると確定するステップと、
双方向インター予測フレームである場合に、前記現在符号化モードがダウンサンプリングモードであると確定するステップと、
前方向インター予測フレームである場合に、量子化パラメータ情報、符号化率情報、画像特徴情報のうちの少なくとも１種の情報に基づいて現在符号化モードを確定するステップと、をさらに実行させる、
ことを特徴とする請求項１７ないし２０のうちのいずれか一項に記載の記憶媒体。
【請求項２２】
前記コンピュータ読み取り可能な命令は、前記プロセッサに、
前記現在符号化ビデオフレームがイントラ符号化フレームである場合に、イントラ符号化を直接行って、現在符号化モード情報が付加された第２の符号化データを得るステップ、をさらに実行させる、
ことを特徴とする請求項１７に記載の記憶媒体。
【請求項２３】
前記現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得ることは、
現在参照フレームの解像度が現在符号化ビデオフレームの解像度より高い場合に、現在参照フレームをダウンサンプリングして、現在符号化ビデオフレームと同じ解像度の処理参照フレームを得て、現在参照フレームの解像度が現在符号化ビデオフレームの解像度よりも低い場合に、現在参照フレームをアップサンプリングして、現在符号化ビデオフレームと同じ解像度の処理参照フレームを得ること、を含む、
ことを特徴とする請求項１７に記載の記憶媒体。
【請求項２４】
コンピュータ読み取り可能な命令が記憶された１つ又は複数の不揮発性記憶媒体であって、前記コンピュータ読み取り可能な命令は、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに、
符号化データを取得し、前記符号化データに対応する各符号化ビデオフレームに現在符号化モード情報が付加されているステップと、
前記現在符号化モード情報に基づいて、現在復号ビデオフレームに対応する現在復号モードを確定するステップと、
前記現在復号ビデオフレームがインター符号化フレームである場合に、前記現在復号ビデオフレームに対応する現在参照フレームを取得し、前記現在参照フレームと現在復号ビデオフレームの解像度の高低に基づいて処理参照フレームを得て、具体的には、前記現在参照フレームの解像度が現在復号ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、前記現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、前記現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得るステップと、
前記処理参照フレームに基づいて現在復号ビデオフレームを復号して、再構築ビデオフレームを得るステップと、
前記再構築ビデオフレームを前記現在復号モードに従って処理して復号ビデオフレームを得て、前記現在復号モードがダウンサンプリングモードである場合に、前記再構築ビデオフレームをアップサンプリングして復号ビデオフレームを得て、前記現在符号化モード情報がフルサンプリングモードである場合に、前記再構築ビデオフレームを復号ビデオフレームとして確定するステップと、を実行させる記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願への相互参照］
本願は、２０１７年３月２１日にて中国特許庁へ出願した、出願番号が２０１７１０１７０７３４８で、発明の名称が「ビデオ符号化方法および装置、ビデオ復号方法および装置」である中国特許出願の優先権を主張しており、その内容を全て参照により本願に組み込むものとする。
【０００２】
［技術分野］
本願は、コンピュータの技術分野に関し、特に、ビデオ符号化方法、ビデオ復号方法、コンピュータ装置および記憶媒体に関する。
【背景技術】
【０００３】
デジタルメディア技術およびコンピュータ技術の発展に伴い、ビデオは、例えばモバイル通信、ネットワーク監視、ネットワークテレビ等の各分野に適用されていく。ハードウェアの性能および画面の解像度の向上につれ、ユーザの高精細度ビデオに対する要望がますます強まっている。
【０００４】
モバイル帯域幅が限られた条件下で、従来のエンコーダは、ビデオフレームを同一の解像度で符号化しているため、シーンによっては、ビデオ品質が悪いという問題が出てくることがあり、例えば、７５０ｋｂｐｓでは、動きの激しいシーンについて、高い解像度で符号化すると主観品質が低く、Ｈ．２６４／Ｈ．２６５／ｉＯＳ等のエンコーダはいずれも同様な問題があると考えられる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本願に提供される様々な実施例によれば、ビデオ符号化方法、ビデオ復号方法、コンピュータ装置および記憶媒体を提供する。
【課題を解決するための手段】
【０００６】
ビデオ符号化方法であって、
コンピュータ装置が、符号化対象となるビデオフレームを取得し、前記符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、フル解像度モードとダウンサンプリングモードとを含むオプションの符号化モードから現在符号化モードを確定することと、
前記コンピュータ装置が、前記符号化対象となるビデオフレームを現在符号化モードに応じて処理して、現在符号化ビデオフレームを得て、前記現在符号化モードがダウンサンプリングモードである場合に、前記符号化対象となるビデオフレームをダウンサンプリングして、現在符号化ビデオフレームを得て、前記現在符号化モードがフル解像度モードである場合に、前記符号化対象となるビデオフレームを現在符号化ビデオフレームとして確定することと、
前記現在符号化ビデオフレームがインター符号化フレームである場合に、前記コンピュータ装置は、前記現在符号化ビデオフレームに対応する現在参照フレームを取得し、前記現在参照フレームと現在符号化ビデオフレームの解像度の高低に基づいて、対応する処理参照フレームを得て、具体的には、前記コンピュータ装置は、前記現在参照フレームの解像度が現在符号化ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、前記現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、前記現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得ることと、
前記コンピュータ装置が、前記処理参照フレームに基づいて前記現在符号化ビデオフレームを符号化して、現在符号化モード情報が付加された第１の符号化データを得ることと、を含む。
【０００７】
コンピュータ装置であって、メモリおよびプロセッサを備え、前記メモリにコンピュータ読み取り可能な命令が記憶されており、前記コンピュータ読み取り可能な命令は、前記プロセッサによって実行されると、前記プロセッサに、
符号化対象となるビデオフレームを取得し、前記符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、フル解像度モードとダウンサンプリングモードとを含むオプションの符号化モードから現在符号化モードを確定するステップと、
前記符号化対象となるビデオフレームを現在符号化モードに応じて処理して、現在符号化ビデオフレームを得て、前記現在符号化モードがダウンサンプリングモードである場合に、前記符号化対象となるビデオフレームをダウンサンプリングして、現在符号化ビデオフレームを得て、前記現在符号化モードがフル解像度モードである場合に、前記符号化対象となるビデオフレームを現在符号化ビデオフレームとして確定するステップと、
前記現在符号化ビデオフレームがインター符号化フレームである場合に、前記現在符号化ビデオフレームに対応する現在参照フレームを取得し、前記現在参照フレームと現在符号化ビデオフレームの解像度の高低に基づいて、対応する処理参照フレームを得て、具体的には、前記現在参照フレームの解像度が現在符号化ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、前記現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、前記現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得るステップと、
前記処理参照フレームに基づいて前記現在符号化ビデオフレームを符号化して、現在符号化モード情報が付加された第１の符号化データを得るステップと、を実行させる。
【０００８】
コンピュータ読み取り可能な命令が記憶された１つ又は複数の不揮発性記憶媒体であって、前記コンピュータ読み取り可能な命令は、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに、
符号化対象となるビデオフレームを取得し、前記符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、フル解像度モードとダウンサンプリングモードとを含むオプションの符号化モードから現在符号化モードを確定するステップと、
前記符号化対象となるビデオフレームを現在符号化モードに応じて処理して、現在符号化ビデオフレームを得て、前記現在符号化モードがダウンサンプリングモードである場合に、前記符号化対象となるビデオフレームをダウンサンプリングして、現在符号化ビデオフレームを得て、前記現在符号化モードがフル解像度モードである場合に、前記符号化対象となるビデオフレームを現在符号化ビデオフレームとして確定するステップと、
前記現在符号化ビデオフレームがインター符号化フレームである場合に、前記現在符号化ビデオフレームに対応する現在参照フレームを取得し、前記現在参照フレームと現在符号化ビデオフレームの解像度の高低に基づいて、対応する処理参照フレームを得て、具体的には、前記現在参照フレームの解像度が現在符号化ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、前記現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、前記現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得るステップと、
前記処理参照フレームに基づいて前記現在符号化ビデオフレームを符号化して、現在符号化モード情報が付加された第１の符号化データを得るステップと、を実行させる。
【０００９】
ビデオ復号方法であって、
コンピュータ装置が、符号化データを取得し、前記符号化データに対応する各符号化ビデオフレームに現在符号化モード情報が付加されていることと、
前記コンピュータ装置が、前記現在符号化モード情報に基づいて、現在復号ビデオフレームに対応する現在復号モードを確定することと、
前記現在復号ビデオフレームがインター符号化フレームである場合に、前記コンピュータ装置は、前記現在復号ビデオフレームに対応する現在参照フレームを取得し、前記現在参照フレームと現在復号ビデオフレームの解像度の高低に基づいて処理参照フレームを得て、具体的には、前記コンピュータ装置は、前記現在参照フレームの解像度が現在復号ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、前記現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、前記現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得ることと、
前記コンピュータ装置が、前記処理参照フレームに基づいて現在復号ビデオフレームを復号して、再構築ビデオフレームを得ることと、
前記コンピュータ装置が、前記再構築ビデオフレームを前記現在復号モードに従って処理して復号ビデオフレームを得て、前記現在復号モードがダウンサンプリングモードである場合に、前記再構築ビデオフレームをアップサンプリングして復号ビデオフレームを得て、前記現在符号化モード情報がフルサンプリングモードである場合に、前記再構築ビデオフレームを復号ビデオフレームとして確定することと、を含む。
【００１０】
コンピュータ装置であって、メモリおよびプロセッサを備え、前記メモリにコンピュータ読み取り可能な命令が記憶されており、前記コンピュータ読み取り可能な命令は、前記プロセッサによって実行されると、前記プロセッサに、
符号化データを取得し、前記符号化データに対応する各符号化ビデオフレームに現在符号化モード情報が付加されているステップと、
前記現在符号化モード情報に基づいて、現在復号ビデオフレームに対応する現在復号モードを確定するステップと、
前記現在復号ビデオフレームがインター符号化フレームである場合に、前記現在復号ビデオフレームに対応する現在参照フレームを取得し、前記現在参照フレームと現在復号ビデオフレームの解像度の高低に基づいて処理参照フレームを得て、具体的には、前記現在参照フレームの解像度が現在復号ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、前記現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、前記現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得るステップと、
前記処理参照フレームに基づいて現在復号ビデオフレームを復号して、再構築ビデオフレームを得るステップと、
前記再構築ビデオフレームを前記現在復号モードに従って処理して復号ビデオフレームを得て、前記現在復号モードがダウンサンプリングモードである場合に、前記再構築ビデオフレームをアップサンプリングして復号ビデオフレームを得て、前記現在符号化モード情報がフルサンプリングモードである場合に、前記再構築ビデオフレームを復号ビデオフレームとして確定するステップと、を実行させる。
【００１１】
コンピュータ読み取り可能な命令が記憶された１つ又は複数の不揮発性記憶媒体であって、前記コンピュータ読み取り可能な命令は、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに、
符号化データを取得し、前記符号化データに対応する各符号化ビデオフレームに現在符号化モード情報が付加されているステップと、
前記現在符号化モード情報に基づいて、現在復号ビデオフレームに対応する現在復号モードを確定するステップと、
前記現在復号ビデオフレームがインター符号化フレームである場合に、前記現在復号ビデオフレームに対応する現在参照フレームを取得し、前記現在参照フレームと現在復号ビデオフレームの解像度の高低に基づいて処理参照フレームを得て、具体的には、前記現在参照フレームの解像度が現在復号ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、前記現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、前記現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得るステップと、
前記処理参照フレームに基づいて現在復号ビデオフレームを復号して、再構築ビデオフレームを得るステップと、
前記再構築ビデオフレームを前記現在復号モードに従って処理して復号ビデオフレームを得て、前記現在復号モードがダウンサンプリングモードである場合に、前記再構築ビデオフレームをアップサンプリングして復号ビデオフレームを得て、前記現在符号化モード情報がフルサンプリングモードである場合に、前記再構築ビデオフレームを復号ビデオフレームとして確定するステップと、を実行させる。
【００１２】
本願の１つ又は複数の実施例の詳細について、以下の図面および説明において紹介する。本願の他の特徴、目的および利点は、明細書、図面および特許請求の範囲から明らかとなる。
【図面の簡単な説明】
【００１３】
本願の実施例における技術的構成をより明確に説明するために、以下、実施例の説明に必要な図面を簡単に説明するが、以下で説明される図面は本願の実施例の一部に過ぎないことは、言うまでもないことである。当業者にとって、創造的な労働を要せずに、これらの図面に基づいて他の図面を得ることもできる。
【図１】一実施例におけるビデオ符号化方法およびビデオ復号方法の適用環境図である。
【図２】一実施例における図１の端末の内部構造図である。
【図３】一実施例における図１のサーバの内部構造図である。
【図４】一実施例におけるビデオ符号化方法のフローチャートである。
【図５】一実施例における量子化パラメータに基づいて現在符号化モードを確定するフローチャートである。
【図６】一実施例における符号化率に基づいて現在符号化モードを確定するフローチャートである。
【図７】一実施例における画像特徴情報に基づいて現在符号化モードを確定するフローチャートである。
【図８】他の実施例における現在符号化モードを確定するフローチャートである。
【図９】更なる実施例における現在符号化モードを確定するフローチャートである。
【図１０】一実施例におけるビデオ復号方法のフローチャートである。
【図１１】一実施例における符号化・復号仕組み模式図である。
【図１２】一実施例におけるダウンサンプリングモードでの符号化フロー模式図である。
【図１３】一実施例におけるビデオ符号化装置の構造ブロック図である。
【図１４】一実施例における符号化モード確定モジュールの構造ブロック図である。
【図１５】他の実施例におけるビデオ符号化装置の構造ブロック図である。
【図１６】一実施例における符号化処理参照フレーム確定モジュールの構造ブロック図である。
【図１７】一実施例におけるビデオ復号装置の構造ブロック図である。
【発明を実施するための形態】
【００１４】
図１は、一実施例におけるビデオ符号化方法、ビデオ復号方法が実行される適用環境図である。図１に示すように、該適用環境は、端末１１０およびサーバ１２０を含み、端末１１０、サーバ１２０は、ネットワークを介して通信する。
【００１５】
端末１１０は、スマートフォン、タブレット型コンピュータ、ノート型コンピュータ、デスクトップ型コンピュータ等とすることができるが、これらに限定されない。ビデオ符号化方法、ビデオ復号方法は、端末１１０又はサーバ１２０にて完成されることができ、端末１１０は、符号化対象となるビデオフレームをビデオ符号化方法を用いて適応解像度符号化した後サーバ１２０に送信することができれば、サーバ１２０から適応解像度の符号化データを受信し、ビデオ復号方法を用いて復号した後復号ビデオフレームを生成することもできる。サーバ１２０は、コードストリームを記憶する際にトランスコードすることができ、この場合、ビデオ符号化方法はサーバにて完成され、一方、サーバ１２０によるコードストリームの復号が必要であれば、ビデオ復号方法はサーバにて完成される。
【００１６】
図２は、一実施例におけるコンピュータ装置の内部構造図を示している。該コンピュータ装置は、具体的には、図１における端末１１０であることができ、該端末１１０は、システムバスを介して接続されるプロセッサ、メモリ、ネットワークインターフェース、表示画面および入力装置を備える。メモリは、不揮発性記憶媒体および内部ストレージを含む。該コンピュータ装置の不揮発性記憶媒体は、オペレーティングシステムおよびコンピュータ読み取り可能な命令を記憶することができる。該コンピュータ読み取り可能な命令は、実行されると、プロセッサにビデオ符号化方法又はビデオ復号方法を実行させることができる。該内部ストレージにもコンピュータ読み取り可能な命令が記憶されてもよく、該コンピュータ読み取り可能な命令は、プロセッサによって実行されると、プロセッサにビデオ符号化方法又はビデオ復号方法を実行させることができる。該プロセッサは、端末１１０全体の動作をサポートするための計算および制御能力を提供する。ネットワークインターフェースは、サーバ１２０とネットワーク通信を行う。表示画面は、アプリケーションインターフェース等を表示し、液晶ディスプレイ又は電子インクディスプレイであることができ、入力装置は、ユーザから入力されたコマンド又はデータ等を受信し、表示画面上に覆われたタッチ層であってもよいし、端末のケースに設けられたキー、トラックボール又はタッチパッドであってもよく、さらに、外付けのキーボード、タッチパッド又はマウス等であってもよい。タッチパネルが付いた端末１１０は、表示画面および入力装置をタッチパネルとすることができる。図２に示される構造は、本願の構成に関する一部の構造のブロック図に過ぎず、本願の構成が適用される端末を限定するものではなく、具体的な端末は、図示よりも多い又は少ない部品を含むか、或いは、一部の部品を組み合わせるか、或いは、異なる部品配置を有することができる。
【００１７】
図３は、一実施例におけるコンピュータ装置の内部構造図を示している。該コンピュータ装置は、具体的には、図１におけるサーバ１２０であることができ、該サーバ１２０は、システムバスを介して接続されるプロセッサ、メモリおよびネットワークインターフェースを備える。メモリは、不揮発性記憶媒体および内部ストレージを含む。該コンピュータ装置の不揮発性記憶媒体は、オペレーティングシステムおよびコンピュータ読み取り可能な命令を記憶することができる。該コンピュータ読み取り可能な命令は、実行されると、プロセッサにビデオ符号化方法又はビデオ復号方法を実行させることができる。該内部ストレージにもコンピュータ読み取り可能な命令が記憶されてもよく、該コンピュータ読み取り可能な命令は、プロセッサによって実行されると、プロセッサにビデオ符号化方法又はビデオ復号方法を実行させることができる。該サーバ１２０のプロセッサは、サーバ１２０全体の動作をサポートするための計算および制御能力を提供する。該サーバ１２０のネットワークインターフェースは、外部の端末１１０とネットワークを介して接続され通信する。図２および図３に示される構造は、本願の構成に関する一部の構造のブロック図に過ぎず、本願の構成が適用される端末を限定するものではなく、具体的な端末又はサーバは、図示よりも多い又は少ない部品を含むか、或いは、一部の部品を組み合わせるか、或いは、異なる部品配置を有することができる。
【００１８】
一実施例において、図４に示すように、ビデオ符号化方法を提供し、上記適用環境における端末又はサーバに適用されることを例として説明し、以下のステップＳ２１０〜ステップＳ２５０を含む。
【００１９】
ステップＳ２１０：符号化対象となるビデオフレームを取得し、符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、オプションの符号化モードから現在符号化モードを確定し、オプションの符号化モードはフル解像度モードとダウンサンプリングモードとを含む。
【００２０】
具体的には、符号化対象となるビデオフレームは、即時通信のためにリアルタイムに収集されたビデオフレームであってもよいし、記憶されたビデオに対応するビデオフレームであってもよい。ビデオの現在符号化情報とは、ビデオの符号化時に得られたビデオ圧縮パラメータ情報であり、例えば、フレーム予測タイプ、動きベクトル、量子化パラメータ、映像のソース、符号化率、フレームレートおよび解像度のうちの１種又は複数種である。フレーム予測タイプは、Ｉフレームなどのイントラ予測、Ｐフレームなどの前方向インター予測、Ｂフレームなどの双方向インター予測を含む。画像特徴情報とは、画像コンテンツに関する情報であり、画像動き情報および画像テクスチャ情報のうちの１種又は複数種などを含み、例えば、エッジ等を含む。現在符号化情報及び／又は画像特徴情報に基づいて、符号化対象となるビデオフレームに対応する現在符号化モードを確定し、フルサンプリングモード又はダウンサンプリングモードであることができる。ダウンサンプリングモードとは、符号化対象となるビデオフレームをダウンサンプリングしてから符号化することを意味し、ダウンサンプリングのアルゴリズムは必要に応じてカスタマイズしてもよく、垂直ダウンサンプリング、水平ダウンサンプリング、垂直・水平ダウンサンプリングを含み、直接平均、フィルタ、バイキュービック補間（bicubic  interpolation）、バイリニア補間（bilinear  Interpolation）等のアルゴリズムを用いてダウンサンプリングすることができ、フルサンプリングモードとは、符号化対象となるビデオフレームを直接符号化することを意味する。
【００２１】
現在符号化情報及び／又は画像特徴情報は、ビデオフレームに対応するシーン、細部の複雑さ、動きの激しさ等を反映し、例えば、動きベクトル、量子化パラメータ、符号化率等により動きシーンを判断することができ、量子化パラメータが大きければ、一般的には動きが激しく、動きベクトルが大きければ、画像のシーンが動きの大きいシーンであることを示す。符号化済みＩフレームとＰフレーム、或いは符号化済みＩフレームとＢフレームの符号化率の比により判断することもでき、この比が第１の予め設定された閾値を超えた場合に、静止画であると判断し、この比が第２の予め設定された閾値未満である場合に、動きの激しい画像であると判断することができる。或いは、直接画像コンテンツに基づいて対象オブジェクトを追跡し、対象オブジェクトの動き速度に基づいて、動きの大きいシーンであるか否かを判定する。符号化率が一定であるときに表現できる情報量は決められており、動きの激しいシーンは、時間領域の情報量が大きく、これに伴い、空間領域の情報表現に利用可能な符号化率が低いため、低い解像度を用いることで優れた画像品質効果を達成することができ、ダウンサンプリングモードを選択して符号化する傾向にある。
【００２２】
フレーム予測タイプにより画面切替シーンを確定することができ、他のフレームに対するフレーム予測タイプの影響により、好んだ符号化モードを確定することもできる。例えば、Ｉフレームは、一般的には、先頭フレームあるか、或いは画面が切り替えられることがあり、Ｉフレームの品質は続くＰフレーム又はＢフレームの品質に影響を与えるため、イントラ予測フレームは、画像品質を保証するために、インター予測フレームに比べフル解像度符号化を選択する傾向がある。ＰフレームはＢフレームの参照フレームとされることができ、Ｐフレームの画像品質が続くＢフレームの画像品質に影響を与えるため、Ｐフレーム符号化を利用する場合は、Ｂフレーム符号化を利用する場合に比べフル解像度符号化を選択する傾向がある。
【００２３】
画像テクスチャ情報などの画像特徴情報により、符号化対象となるビデオフレームのテクスチャの複雑さを確定し、テクスチャが複雑で、細部が多く含まれていれば、画像の空域情報が多くなり、ダウンサンプリングすれば、ダウンサンプリングによって多くの細部情報がなくなるおそれがあり、ビデオ品質を損なうことから、テクスチャが複雑な符号化対象となるビデオフレームは、テクスチャが簡単な符号化対象となるビデオフレームに比べフル解像度符号化を選択する傾向がある。
【００２４】
以上の様々な符号化モード選択ルールに従い、現在符号化情報及び／又は画像特徴情報のうちの１種又は複数種の情報に基づいて、オプションの符号化モードから現在符号化モードを確定することができ、複数種の情報を考慮する場合、複数種の情報を統合して重み付けし、各情報に対応する符号化モード選択ルールに連動して最終の現在符号化モードを確定することができる。
【００２５】
ステップＳ２２０：符号化対象となるビデオフレームを現在符号化モードに応じて処理して、現在符号化ビデオフレームを得て、前記現在符号化モードがダウンサンプリングモードである場合に、符号化対象となるビデオフレームをダウンサンプリングして、現在符号化ビデオフレームを得て、前記現在符号化モードがフルサンプリングモードである場合に、符号化対象となるビデオフレームを現在符号化ビデオフレームとして確定する。
【００２６】
具体的には、ダウンサンプリングのアルゴリズムは必要に応じてカスタマイズしてもよく、垂直ダウンサンプリング、水平ダウンサンプリング、垂直・水平ダウンサンプリングを含む。具体的な方向におけるサンプリングのパラメータは必要に応じてカスタマイズしてもよく、１つの具体的な実施例において、符号化対象となるビデオフレームに対して水平１／２ダウンサンプリングを行うと、サンプリングされた画像の幅は、元のビデオフレームの半分となり、符号化対象となるビデオフレームに対して垂直１／２ダウンサンプリングを行うと、サンプリングされた画像の高さは、元のビデオフレームの半分となる。現在符号化モードがフルサンプリングモードであれば、符号化対象となるビデオフレームをサンプリングする必要がなく、そのまま現在符号化ビデオフレームとすることができる。ダウンサンプリングして得られた画像の幅、高さは、最大符号化ブロックの整倍数でなければ、画像を最大符号化ブロックの整倍数となるように画素拡大する必要がある。
【００２７】
ステップＳ２３０：前記現在符号化ビデオフレームがインター符号化フレームである場合に、現在符号化ビデオフレームに対応する現在参照フレームを取得し、前記現在参照フレームと現在符号化ビデオフレームの解像度の高低に基づいて、対応する処理参照フレームを得て、具体的には、現在参照フレームの解像度が現在符号化ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、ステップＳ２４０に入る。
【００２８】
具体的には、現在符号化ビデオフレームに対応する現在参照フレームは、インター予測タイプによっては、前方向参照フレーム又は双方向参照フレームであることができ、参照フレームの数は１つ又は複数であることができる。現在参照フレームは現在符号化ビデオフレームと解像度が同じであれば、現在参照フレームをそのまま処理参照フレームとして確定することができる。
【００２９】
一実施例において、前記現在符号化ビデオフレームがイントラ符号化フレームである場合に、イントラ符号化などを直接行って第２の符号化データを得て、第２の符号化データに現在符号化モード情報が付加されている。
【００３０】
具体的には、現在符号化ビデオフレームのイントラ予測を行ってイントラ予測残差を得て、イントラ予測残差の変換、量子化、エントロピー符号化などを行って第２の符号化データを得る。符号化中、予測モード選択速度を高めるために、迅速モード選択アルゴリズムを利用することができ、また、ターゲット符号化率を達成するために、符号化率制御アルゴリズムに従って量子化パラメータを設定する。符号化した後、第２の符号化データを得て、第２の符号化データに現在符号化モード情報が付加されており、つまり、コードストリームにフラグビットも追加され、フラグビットは、現在符号化ビデオフレームがフル解像度符号化を利用するか、それともダウンサンプリング符号化を利用するかを記述する。イントラ符号化フレームは、ダウンサンプリング符号化モードであってもよく、Ｉフレームの符号化率が高すぎることに起因するパケットロス問題を効果的に回避することができる。
【００３１】
ステップＳ２４０：現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得る。
【００３２】
具体的には、予め設定されたサンプリングルールは必要に応じてカスタマイズしてもよく、現在符号化ビデオフレームの解像度、参照フレームと現在符号化ビデオフレームとの距離に関連し得る。例えば、現在参照フレームと現在符号化ビデオフレームとの距離Ｄが予め設定された閾値を超えた場合に、１／Ｍダウンサンプリングを利用し、そうでない場合に、１／Ｎダウンサンプリングを利用し、ただし、Ｍ＜Ｎである。距離が大きい現在参照フレームは、距離が小さい現在参照フレームよりも参照価値が低い可能性があるため、距離が大きい現在参照フレームは、現在符号化ビデオフレームと解像度が異なっても、サンプリングを行わずに済むか、或いは、サンプリング後の解像度の変化を小さくすることで、サンプリング速度を大きくし、符号化速度全体を高めることができる。一実施例において、Ｍの値は距離Ｄに伴い変化することにより、サンプリングパラメータの柔軟性をさらに高める。
【００３３】
ステップＳ２５０：処理参照フレームに基づいて現在符号化ビデオフレームを符号化して、第１の符号化データを得て、第１の符号化データに現在符号化モード情報が付加されている。
【００３４】
具体的には、処理参照フレームの予測により予測残差を得て、予測残差の変換、量子化、エントロピー符号化などを行って符号化データを得る。符号化中、予測モード選択速度を高めるために、迅速モード選択アルゴリズムを利用することができ、また、ターゲット符号化率を達成するために、符号化率制御アルゴリズムに従って量子化パラメータを設定する。符号化した後、符号化データを得て、符号化データに現在符号化モード情報が付加されており、つまり、コードストリームにフラグビットも追加され、フラグビットは、現在符号化ビデオフレームがフル解像度符号化を利用するか、それともダウンサンプリング符号化を利用するかを記述する。
【００３５】
一実施例において、現在参照フレームは現在符号化ビデオフレームと解像度が異なる場合に、現在参照フレームをサンプリングして、現在符号化ビデオフレームと同じ解像度の処理参照フレームを得る。現在参照フレームをサンプリングすることは、アップサンプリングおよびダウンサンプリングを含み、現在参照フレームの解像度が現在符号化ビデオフレームの解像度よりも高ければ、現在参照フレームをダウンサンプリングして処理参照フレームを得て、現在参照フレームの解像度が現在符号化ビデオフレームの解像度よりも低ければ、現在参照フレームをアップサンプリングして処理参照フレームを得る。一実施例において、現在参照フレームの数が複数であれば、各現在参照フレームをそれぞれ現在参照フレームの解像度と現在符号化ビデオフレームの解像度とに基づいてサンプリングして、現在符号化ビデオフレームと同じ解像度の処理参照フレームを得る。
【００３６】
具体的には、処理参照フレームの解像度と現在符号化ビデオフレームの解像度とが同じであることにより、処理参照フレームと現在符号化ビデオフレームの画像一致度をある程度向上させることができ、インター予測の正確度を向上させ、予測残差を低減し、符号化画像の品質を向上させる。
【００３７】
一実施例において、現在参照フレームをサンプリングするサンプリングアルゴリズムが、ステップＳ２２０で符号化対象となるビデオフレームをダウンサンプリングして現在符号化ビデオフレームを得るサンプリングアルゴリズムとマッチングし、即ち、現在参照フレームをダウンサンプリングする場合、このダウンサンプリングアルゴリズムは、ステップＳ２２０で符号化対象となるビデオフレームをダウンサンプリングして現在符号化ビデオフレームを得るダウンサンプリングアルゴリズムと同様である。一方、現在参照フレームをアップサンプリングする場合、このアップサンプリングアルゴリズムと、ステップＳ２２０で符号化対象となるビデオフレームをダウンサンプリングして現在符号化ビデオフレームを得るダウンサンプリングアルゴリズムとは、マッチングする逆のサンプリングアルゴリズムである。
【００３８】
具体的には、現在参照フレームをサンプリングするサンプリングアルゴリズムが、符号化対象となるビデオフレームをダウンサンプリングして現在符号化ビデオフレームを得るサンプリングアルゴリズムとマッチングすることにより、現在参照フレームと現在符号化ビデオフレームの画像一致度をさらに向上させることができ、インター予測の正確度をさらに向上させ、予測残差を低減し、符号化画像の品質を向上させる。
【００３９】
本実施例において、符号化対象となるビデオフレームを取得し、符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、フル解像度モードとダウンサンプリングモードとを含むオプションの符号化モードから現在符号化モードを確定し、符号化対象となるビデオフレームを現在符号化モードに応じて処理して、現在符号化ビデオフレームを得て、現在符号化モードがダウンサンプリングモードである場合に、符号化対象となるビデオフレームをダウンサンプリングして、現在符号化ビデオフレームを得て、現在符号化モードがフル解像度モードである場合に、符号化対象となるビデオフレームを現在符号化ビデオフレームとして確定し、前記現在符号化ビデオフレームがインター符号化フレームである場合に、現在符号化ビデオフレームに対応する現在参照フレームを取得し、現在参照フレームと現在符号化ビデオフレームの解像度の高低に基づいて、対応する処理参照フレームを得て、具体的には、現在参照フレームの解像度が現在符号化ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、前記現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得て、さらに、処理参照フレームに基づいて現在符号化ビデオフレームを符号化して、現在符号化モード情報が付加された第１の符号化データを得ることにより、符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、符号化対象となるビデオフレームの符号化モードを適応的に確定することができるため、異なるシーンごとに、適切な解像度を適応的に選択して符号化し、ダウンサンプリング符号化により空域情報を適応的に低減することができ、これにより、異なるシーンごとに、限られた帯域幅でのビデオ品質を向上させるとともに、現在参照フレームと現在符号化ビデオフレームの解像度の高低に基づいて、現在参照フレームの解像度を調整することができ、現在参照フレームは現在符号化ビデオフレームと解像度が異なっても、参照フレームとされることができ、参照フレームの使用効率を向上させ、そのうえ、インター予測の正確度を向上させ、予測残差を低減し、符号化画像の品質を向上させることができる。
【００４０】
一実施例において、現在符号化情報は、量子化パラメータ情報を含み、図５に示すように、ステップＳ２１０では、符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、オプションの符号化モードから現在符号化モードを確定するステップは、ステップＳ２１１〜ステップＳ２１２を含む。
【００４１】
ステップＳ２１１：符号化対象となるビデオフレームに対応する現在量子化パラメータを取得する。
【００４２】
具体的には、符号化率が厳しく要求されないシーンでは、符号化の前に、それぞれの符号化対象となるビデオフレームごとに粒度が粗い量子化パラメータを割り当てることができ、例えば、１フレームに１つの量子化パラメータが対応し、この場合、現在量子化パラメータを簡便かつ迅速に取得することができる。或いは、１フレームを異なるスライス（slice）に分割し、各スライスごとに１つの量子化パラメータが対応し、この場合、各スライスに対応する量子化パラメータから現在量子化パラメータを算出することができ、例えば、各スライスに対応する量子化パラメータの平均値又は中央値を現在量子化パラメータとすることができる。符号化率が厳しく要求されるシーンでは、符号化の時に、それぞれの符号化対象となるビデオフレームごとにマクロブロック単位で粒度が細かい量子化パラメータを割り当て、それぞれの対応する量子化パラメータを基準量子化パラメータ付近で調整することができ、或いは、基準量子化パラメータを現在量子化パラメータとするか、又は、各マクロブロックに対応する平均値又は中央値を算出して現在量子化パラメータとすることができる。
【００４３】
ステップＳ２１２：符号化対象となるビデオフレームのフレーム予測タイプを取得し、フレーム予測タイプに対応する量子化パラメータ閾値を取得し、現在量子化パラメータが量子化パラメータ閾値より大きい場合に、現在符号化モードがダウンサンプリングモードであると確定し、そうでない場合に、現在符号化モードがフル解像度モードであると確定する。
【００４４】
具体的には、符号化モード確定ルールに従い、一般的には、イントラ予測フレームは、インター予測フレームに比べフル解像度符号化を選択する傾向があり、Ｐフレームの符号化は、Ｂフレームの符号化を利用する場合に比べフル解像度符号化を選択する傾向があるため、Ｉフレームの量子化パラメータ閾値がＰフレームの量子化パラメータ閾値以上であり、Ｐフレームの量子化パラメータ閾値がＢフレームの量子化パラメータ閾値以上であるとすると、現在符号化モードは、現在量子化パラメータが量子化パラメータ閾値より大きい場合にのみ、ダウンサンプリングモードであると確定され、そうでない場合に、フル解像度モードであると確定される。現在量子化パラメータが大きいほど、一般的には、動きが激しくなり、動きの激しいシーンでは、ダウンサンプリングモードを選択して符号化する傾向にある。
【００４５】
本実施例において、異なるフレーム予測タイプと量子化パラメータとを異なる量子化パラメータ閾値によって組み合わせて、符号化対象となるビデオフレームの現在符号化モードを確定することにより、現在符号化モードの確定精度を向上させることができる。
【００４６】
一実施例において、現在符号化情報は、符号化率情報を含み、図６に示すように、ステップＳ２１０では、符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、オプションの符号化モードから現在符号化モードを確定するステップは、ステップＳ２１３〜ステップＳ２１４を含む。
【００４７】
ステップＳ２１３：符号化対象となるビデオフレームに対応する現在ターゲット符号化率を取得する。
【００４８】
具体的には、符号化率が厳しく要求されるシーンでは、コードストリームのターゲット符号化率に基づいて、それぞれのフレームに対応するフレームターゲット符号化率を算出し割り当て、かつ、それぞれのフレームに対応するフレームターゲット符号化率は、過去の実際の符号化率に基づいて調整されてもよく、符号化率割り当てアルゴリズムに従って、符号化対象となるビデオフレームに対応する現在ターゲット符号化率を算出することができる。
【００４９】
ステップＳ２１４：符号化対象となるビデオフレームのフレーム予測タイプを取得し、フレーム予測タイプに対応する符号化率閾値を取得し、現在ターゲット符号化率が符号化率閾値より高い場合に、現在符号化モードがフル解像度モードであると確定し、そうでない場合に、現在符号化モードがダウンサンプリングモードであると確定する。
【００５０】
具体的には、符号化モード確定ルールに従い、一般的には、イントラ予測フレームは、インター予測フレームに比べフル解像度符号化を選択する傾向があり、かつ、Ｉフレームはイントラ符号化しか利用せず、一般的には、符号化率が高いとともに、割り当てられたターゲット符号化率も高く、Ｐフレームの符号化は、Ｂフレームの符号化を利用する場合に比べフル解像度符号化を選択する傾向があり、かつ、ＰフレームおよびＢフレームは、他のフレームを参照して符号化することができるため、一般的には、イントラ予測フレームよりも少ないターゲット符号化率が割り当てられる。このため、Ｉフレームの符号化率閾値がＰフレームの符号化率閾値よりも大きく、Ｐフレームの符号化率閾値がＢフレームの符号化率閾値以上であるとする。現在ターゲット符号化率が符号化率閾値より高い場合に、現在符号化モードがフル解像度モードであると確定し、そうでない場合に、現在符号化モードがダウンサンプリングモードであると確定する。ターゲット符号化率が高く、かつ予め設定された閾値を超えていることは、多くの画像の細部を有することを表し、フル解像度モードを選択して符号化することにより、画像の細部をそのままにすることができ、画像品質を保証する。
【００５１】
本実施例において、異なるフレーム予測タイプと符号化率とを異なる符号化率閾値によって組み合わせて、符号化対象となるビデオフレームの現在符号化モードを確定することにより、現在符号化モードの確定精度を向上させることができる。
【００５２】
一実施例において、画像特徴情報は、動き特徴情報およびテクスチャ情報を含み、図７に示すように、ステップＳ２１０では、符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、オプションの符号化モードから現在符号化モードを確定するステップは、ステップＳ２１５〜ステップＳ２１６を含む。
【００５３】
ステップＳ２１５：動き特徴情報に基づいて動き度合いを確定し、テクスチャ情報に基づいてテクスチャの複雑さを確定する。
【００５４】
具体的には、画像コンテンツに基づいて、例えば、物体追跡アルゴリズム等によって、動き特徴情報を抽出することができ、動き度合いは、画像の動きの激しさを表し、例えば動き速度などの異なる特徴によって評価することができる。画素の勾配を算出して画像の細部のテクスチャ情報を得ることにより、画像のテクスチャの複雑さを確定することができる。
【００５５】
ステップＳ２１６：動き度合いが動きの予め設定された閾値を超えた場合に、或いは、テクスチャの複雑さがテクスチャの予め設定された閾値を超えていない場合に、現在符号化モードがダウンサンプリングモードであると確定し、そうでない場合に、現在符号化モードがフル解像度モードであると確定する。
【００５６】
具体的には、符号化モード確定ルールに従い、動きの激しいシーンでは、ダウンサンプリングモードを選択して符号化する傾向にあり、テクスチャが複雑な符号化対象となるビデオフレームは、テクスチャが簡単な符号化対象となるビデオフレームに比べフル解像度符号化を選択する傾向があるため、動き度合いが動きの予め設定された閾値を超えた場合に、或いは、テクスチャの複雑さがテクスチャの予め設定された閾値を超えていない場合に、現在符号化モードがダウンサンプリングモードであると確定し、そうでない場合に、現在符号化モードがフル解像度モードであると確定する。
【００５７】
本実施例において、現在符号化モードは、画像コンテンツ情報に基づいて直接確定されることができ、符号化プロセスによらず、符号化の前に画像を分析し画像特徴を抽出することで各ビデオフレームに対応する符号化モードを得ることができる。
【００５８】
一実施例において、図８に示すように、ステップＳ２１０では、符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、オプションの符号化モードから現在符号化モードを確定するステップは、ステップＳ２１７〜ステップＳ２１９を含む。
【００５９】
ステップＳ２１７：符号化対象となるビデオフレームのフレーム予測タイプを取得し、イントラ予測フレームである場合に、現在符号化モードがフル解像度モードであると確定する。
【００６０】
ステップＳ２１８：双方向インター予測フレームである場合に、現在符号化モードがダウンサンプリングモードであると確定する。
【００６１】
ステップＳ２１９：前方向インター予測フレームである場合に、量子化パラメータ情報、符号化率情報、画像特徴情報のうちの少なくとも１種の情報に基づいて現在符号化モードを確定する。
【００６２】
具体的には、フレーム予測タイプによって、イントラ予測フレームである場合に、現在符号化モードがフル解像度モードであると確定し、Ｉフレームの符号化品質を保証し、双方向インター予測フレームである場合に、現在符号化モードがダウンサンプリングモードであると確定し、また、符号化対象となるビデオフレームが前方向インター予測フレームである場合に、量子化パラメータ情報、符号化率情報、画像特徴情報のうちの少なくとも１種の情報に基づいて現在符号化モードを確定することにより、特定したフレーム予測タイプについて現在符号化モードを迅速に確定することができ、符号化効率を向上させる。
【００６３】
一実施例において、現在符号化情報は、量子化パラメータ情報、符号化率情報およびフレーム予測タイプを含み、画像特徴情報は、動き特徴情報およびテクスチャ情報を含み、図９に示すように、ステップＳ２１０では、符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、オプションの符号化モードから現在符号化モードを確定するステップは、ステップＳ２１０１〜ステップＳ２１０２を含む。
【００６４】
ステップＳ２１０１：予め設定された条件と符号化モードとの対応関係テーブルを取得し、予め設定された条件は、量子化パラメータ、符号化率、フレーム予測タイプ、動き度合いおよびテクスチャの複雑さのうちの少なくとも２つの条件を含む。
【００６５】
具体的には、対応関係テーブルには、異なる予め設定された条件に対応する符号化モードがリストアップされており、少なくとも、２つの予め設定された条件に基づいて符号化モードを確定し、予め設定された条件は必要に応じてカスタマイズしてもよく、例えば、量子化パラメータが第１の予め設定された閾値よりも大きく、符号化率が第２の予め設定された閾値よりも高いなどとする。複数の予め設定された条件を組み合わせ、テーブルによって符号化モードを迅速に確定することができる。
【００６６】
ステップＳ２１０２：現在符号化情報、画像特徴情報から少なくとも２種の情報を取得し、対応関係テーブルにおける対応する予め設定された条件とのマッチングを行い、ターゲット符号化モードを現在符号化モードとして確定する。
【００６７】
具体的には、現在符号化情報、画像特徴情報から少なくとも２種の情報を取得し、現在符号化情報のうちの少なくとも２種の情報、例えば符号化率、フレーム予測タイプであることができれば、画像特徴情報のうちの少なくとも２種の情報、例えばテクスチャ情報、動き速度であることができ、また、現在符号化情報と画像特徴情報とを組み合わせた少なくとも２種の情報、例えば符号化率およびテクスチャ情報であることができる。テーブルに問い合わせることで、情報が満足する予め設定された条件に基づいて、対応するターゲット符号化モードを現在符号化モードとして確定する。２種又は複数種の情報によって現在符号化モードを確定する際に、テーブルに問い合わせることで、現在符号化モードを迅速に得ることができ、簡単かつ便利である。
【００６８】
一実施例において、図１０に示すように、ビデオ復号方法を提供し、上記適用環境における端末又はサーバに適用されることを例として説明し、以下のステップＳ３１０〜ステップＳ３５０を含む。
【００６９】
ステップＳ３１０：符号化データを取得し、符号化データに対応する各符号化ビデオフレームに現在符号化モード情報が付加されており、現在符号化モード情報に基づいて、現在復号ビデオフレームに対応する現在復号モードを確定する。
【００７０】
具体的には、コードストリームにおける予め設定された位置に対応するフラグビットを取得し、フラグビットによって現在符号化モード情報を得ることにより、現在復号モードがフル解像度モードであるか、それともダウンサンプリングモードであるかを判断することができる。現在復号モードが現在符号化モードと同じである。
【００７１】
ステップＳ３２０：現在復号ビデオフレームがインター符号化フレームである場合に、現在復号ビデオフレームに対応する現在参照フレームを取得し、現在参照フレームと現在復号ビデオフレームの解像度の高低に基づいて処理参照フレームを得て、具体的には、現在参照フレームの解像度が現在復号ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、ステップＳ３３０に入る。
【００７２】
具体的には、現在復号ビデオフレームに対応する現在参照フレームは、インター予測タイプによっては、前方向参照フレーム又は双方向参照フレームであることができ、参照フレームの数は１つ又は複数であることができる。現在参照フレームは現在復号ビデオフレームと解像度が同じであれば、現在参照フレームをそのまま処理参照フレームとして確定することができる。
【００７３】
一実施例において、現在復号ビデオフレームがイントラ符号化フレームである場合に、直接復号して再構築ビデオフレームを得る。
【００７４】
ステップＳ３３０：現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得る。
【００７５】
具体的には、復号時に利用される予め設定されたサンプリングルールは、符号化時に利用される予め設定されたサンプリングルールと同様に、現在符号化ビデオフレームの解像度、現在参照フレームと現在符号化ビデオフレームとの距離に関連し得る。例えば、現在参照フレームと現在符号化ビデオフレームとの距離Ｄが予め設定された閾値を超えた場合に、１／Ｍダウンサンプリングを利用し、そうでない場合に、１／Ｎダウンサンプリングを利用し、ただし、Ｍ＜Ｎである。距離が大きい参照フレームは、距離が小さい参照フレームよりも参照価値が低い可能性があるため、距離が大きい現在参照フレームは、現在符号化ビデオフレームと解像度が異なっても、サンプリングを行わずに済むか、或いは、サンプリング後の解像度の変化を小さくすることで、復号の時に、同様な方法でサンプリング速度を大きくし、復号速度全体を高めることができる。一実施例において、Ｍの値は距離Ｄに伴い変化することにより、サンプリングパラメータの柔軟性をさらに高める。一実施例において、現在参照フレームは現在復号ビデオフレームと解像度が異なる場合に、現在参照フレームをサンプリングして、現在復号ビデオフレームと同じ解像度の処理参照フレームを得て、現在参照フレームをサンプリングすることは、アップサンプリングおよびダウンサンプリングを含み、現在参照フレームの解像度が現在復号ビデオフレームの解像度より高い場合に、現在参照フレームをダウンサンプリングして処理参照フレームを得て、現在参照フレームの解像度が現在符号化ビデオフレームの解像度よりも低い場合に、現在参照フレームをアップサンプリングして処理参照フレームを得る。一実施例において、現在参照フレームの数が複数である場合に、各現在参照フレームをそれぞれ参照フレームの解像度と現在復号ビデオフレームの解像度とに基づいてサンプリングして、現在復号ビデオフレームと同じ解像度の処理参照フレームを得る。
【００７６】
一実施例において、現在参照フレームをサンプリングするサンプリングアルゴリズムは、ステップＳ３４０で再構築ビデオフレームをダウンサンプリングして復号ビデオフレームを得るサンプリングアルゴリズムとマッチングし、即ち、参照フレームをダウンサンプリングする場合、このダウンサンプリングアルゴリズムは、ステップＳ３４０で再構築ビデオフレームをダウンサンプリングして復号ビデオフレームを得るダウンサンプリングアルゴリズムと同様である。一方、参照フレームをアップサンプリングする場合、このアップサンプリングアルゴリズムと、ステップＳ３４０で再構築ビデオフレームをダウンサンプリングして復号ビデオフレームを得るダウンサンプリングアルゴリズムとは、マッチングする逆のサンプリングアルゴリズムである。
【００７７】
ステップＳ３４０：処理参照フレームに基づいて現在復号ビデオフレームを復号して、再構築ビデオフレームを得る。
【００７８】
具体的には、予測残差を復号し、処理参照フレームに対応する予測画素と重畳して再構築ビデオフレームを得る。
【００７９】
ステップＳ３５０：再構築ビデオフレームを現在復号モードに従って処理して復号ビデオフレームを得て、現在復号モードがダウンサンプリングモードである場合に、再構築ビデオフレームをアップサンプリングして復号ビデオフレームを得て、現在符号化モード情報がフルサンプリングモードである場合に、再構築ビデオフレームを復号ビデオフレームとして確定する。
【００８０】
具体的には、再構築ビデオフレームをアップサンプリングするアルゴリズムと、符号化側で符号化対象となるビデオフレームをダウンサンプリングして現在符号化ビデオフレームを得るアルゴリズムとは、マッチングする逆のサンプリングアルゴリズムである。
【００８１】
本実施例において、符号化データを取得し、符号化データに対応する各符号化ビデオフレームに現在符号化モード情報が付加されており、現在符号化モード情報に基づいて、現在復号ビデオフレームに対応する現在復号モードを確定し、現在復号ビデオフレームがインター符号化フレームである場合に、現在復号ビデオフレームに対応する現在参照フレームを取得し、現在参照フレームと現在復号ビデオフレームの解像度の高低に基づいて処理参照フレームを得て、具体的には、現在参照フレームの解像度が現在復号ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得て、処理参照フレームに基づいて現在復号ビデオフレームを復号して、再構築ビデオフレームを得て、再構築ビデオフレームを現在復号モードに従って処理して復号ビデオフレームを得て、現在復号モードがダウンサンプリングモードであれば、再構築ビデオフレームをアップサンプリングして復号ビデオフレームを得て、現在符号化モード情報がフルサンプリングモードであれば、再構築ビデオフレームを復号ビデオフレームとして確定することにより、適応変化モードで符号化するコードストリームについて、参照フレームの解像度を適応的に調整して復号することができ、適応変化モードで符号化するコードストリームは、異なるシーンごとに適切な解像度を選択して符号化するコードストリームであり、これにより、高い画像品質のコードストリームに対する復号をサポートする。
【００８２】
図１１に示すように、１つの具体的な実施例においてビデオ符号化方法とビデオ復号方法が適用された符号化・復号仕組み図であり、符号化・復号仕組みに入力された符号化対象となるビデオフレームについて、まず解像度選択モジュール４１０に入り、符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、オプションの符号化モードから現在符号化モードを確定し、フル解像度モードであれば、フル解像度符号化モジュール４２０に入り、現在符号化対象となるビデオフレームのフル解像度符号化を行って符号化コードストリームを出力する。ダウンサンプリングモードであれば、ダウンサンプリング符号化モジュール４３０に入り、現在符号化対象となるビデオフレームをダウンサンプリングして現在符号化ビデオフレームを得て、現在符号化ビデオフレームを符号化して符号化コードストリームを出力する。符号化コードストリームを複合解像度復号モジュール４４０に入力し、復号した後、再構築ビデオフレームを得て、ダウンサンプリングモードであれば、再構築ビデオフレームをアップサンプリングして復号ビデオフレームを得て、そうでなければ、復号ビデオフレームを直接出力する。
【００８３】
ダウンサンプリング符号化モジュール４３０の符号化時の具体的なフローは、図１２に示すように、まず最初にイントラ符号化フレームであるか否かを判断し、ＹＥＳであれば、イントラ予測を直接行って予測残差を得るとともに、変換、量子化、エントロピー符号化などを行って符号化データを得る。イントラ符号化フレームでなければ、参照フレームの解像度が現在符号化ビデオフレームと同じであるか否かを判断し、ＹＥＳであれば、イントラ又はインター予測を行って予測残差を得るとともに、変換、量子化、エントロピー符号化などを行って符号化データを得る。参照フレームと現在符号化ビデオフレームとは解像度が異なっていれば、参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、現在符号化ビデオフレームに対応する処理参照フレームを得てから、イントラ又はインター予測を行って予測残差を得るとともに、変換、量子化、エントロピー符号化などを行って符号化データを得る。符号化中、予測モード選択速度を高めるために、迅速モード選択アルゴリズムを利用することができ、また、ターゲット符号化率を達成するために、符号化率制御アルゴリズムに従って量子化パラメータを設定する。
【００８４】
一実施例において、コンピュータ装置をさらに提供し、該コンピュータ装置の内部構造は、図２又は図３に示すようなものとすることができ、該コンピュータ装置は、ビデオ符号化装置およびビデオ復号装置の少なくとも一方を備え、ビデオ符号化装置およびビデオ復号装置に各モジュールが備えられ、各モジュールは、全部又は一部がソフトウェア、ハードウェア又はそれらの組み合わせにより実現されることができる。
【００８５】
一実施例において、図１３に示すように、ビデオ符号化装置を提供し、以下のモジュールを備える。
【００８６】
符号化モード確定モジュール５１０は、符号化対象となるビデオフレームを取得し、符号化対象となるビデオフレームの現在符号化情報及び／又は画像特徴情報に基づいて、オプションの符号化モードから現在符号化モードを確定し、オプションの符号化モードはフル解像度モードとダウンサンプリングモードとを含む。
【００８７】
前処理モジュール５２０は、符号化対象となるビデオフレームを現在符号化モードに応じて処理して、現在符号化ビデオフレームを得て、現在符号化モードがダウンサンプリングモードである場合に、符号化対象となるビデオフレームをダウンサンプリングして、現在符号化ビデオフレームを得て、現在符号化モードがフル解像度モードである場合に、符号化対象となるビデオフレームを現在符号化ビデオフレームとして確定する。
【００８８】
符号化処理参照フレーム確定モジュール５３０は、現在符号化ビデオフレームがインター符号化フレームである場合に、現在符号化ビデオフレームに対応する現在参照フレームを取得し、現在参照フレームと現在符号化ビデオフレームの解像度の高低に基づいて、対応する処理参照フレームを得て、具体的には、現在参照フレームの解像度が現在符号化ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得る。
【００８９】
インター符号化モジュール５４０は、処理参照フレームに基づいて現在符号化ビデオフレームを符号化して、第１の符号化データを得て、第１の符号化データに現在符号化モード情報が付加されている。
【００９０】
一実施例において、現在符号化情報は、量子化パラメータ情報を含み、符号化モード確定モジュール５１０は、さらに、符号化対象となるビデオフレームに対応する現在量子化パラメータを取得し、符号化対象となるビデオフレームのフレーム予測タイプを取得し、フレーム予測タイプに対応する量子化パラメータ閾値を取得し、現在量子化パラメータが量子化パラメータ閾値より大きい場合に、現在符号化モードがダウンサンプリングモードであると確定し、そうでない場合に、現在符号化モードがフル解像度モードであると確定する。
【００９１】
一実施例において、現在符号化情報は、符号化率情報を含み、符号化モード確定モジュール５１０は、さらに、符号化対象となるビデオフレームに対応する現在ターゲット符号化率を取得し、符号化対象となるビデオフレームのフレーム予測タイプを取得し、フレーム予測タイプに対応する符号化率閾値を取得し、現在ターゲット符号化率が符号化率閾値より高い場合に、現在符号化モードがフル解像度モードであると確定し、そうでない場合に、現在符号化モードがダウンサンプリングモードであると確定する。
【００９２】
一実施例において、画像特徴情報は、動き特徴情報およびテクスチャ情報を含み、符号化モード確定モジュール５１０は、さらに、動き特徴情報に基づいて動き度合いを確定し、テクスチャ情報に基づいてテクスチャの複雑さを確定し、動き度合いが動きの予め設定された閾値を超えた場合に、或いは、テクスチャの複雑さがテクスチャの予め設定された閾値を超えていない場合に、現在符号化モードがダウンサンプリングモードであると確定し、そうでない場合に、現在符号化モードがフル解像度モードであると確定する。
【００９３】
一実施例において、図１４に示すように、符号化モード確定モジュール５１０は、
符号化対象となるビデオフレームのフレーム予測タイプを取得し、イントラ予測フレームである場合に、現在符号化モードがフル解像度モードであると確定し、双方向インター予測フレームである場合に、現在符号化モードがダウンサンプリングモードであると確定する符号化モード迅速確定ユニット５１１と、
前方向インター予測フレームであれば、量子化パラメータ情報、符号化率情報、画像特徴情報のうちの少なくとも１種の情報に基づいて現在符号化モードを確定する符号化モード精緻確定ユニット５１２と、を含む。
【００９４】
一実施例において、図１５に示すように、該装置は、
現在符号化ビデオフレームがイントラ符号化フレームである場合に、イントラ符号化を直接行って、現在符号化モード情報が付加された第２の符号化データを得るイントラ符号化モジュール５５０をさらに備える。
【００９５】
一実施例において、図１６に示すように、符号化処理参照フレーム確定モジュール５３０は、
現在参照フレームの解像度が現在符号化ビデオフレームの解像度より高い場合に、現在参照フレームをダウンサンプリングして、現在符号化ビデオフレームと同じ解像度の処理参照フレームを得る第１のサンプリングユニット５３１と、
現在参照フレームの解像度が現在符号化ビデオフレームの解像度よりも低い場合に、現在参照フレームをアップサンプリングして、現在符号化ビデオフレームと同じ解像度の処理参照フレームを得る第２のサンプリングユニット５３２と、を含む。
【００９６】
一実施例において、図１７に示すように、ビデオ復号装置を提供し、以下のモジュールを備える。
【００９７】
復号モード確定モジュール６１０は、符号化データを取得し、符号化データに対応する各符号化ビデオフレームに現在符号化モード情報が付加されており、現在符号化モード情報に基づいて、現在復号ビデオフレームに対応する現在復号モードを確定する。
【００９８】
復号処理参照フレーム確定モジュール６２０は、現在復号ビデオフレームがインター符号化フレームである場合に、現在復号ビデオフレームに対応する現在参照フレームを取得し、現在参照フレームと現在復号ビデオフレームの解像度の高低に基づいて処理参照フレームを得て、具体的には、現在参照フレームの解像度が現在復号ビデオフレームと同じであるか否かを判断し、解像度が同じである場合に、現在参照フレームをそのまま処理参照フレームとして確定し、そうでない場合に、現在参照フレームを予め設定されたサンプリングルールに従ってサンプリングして、対応する処理参照フレームを得る。
【００９９】
再構築モジュール６３０は、処理参照フレームに基づいて現在復号ビデオフレームを復号して、再構築ビデオフレームを得る。
【０１００】
復号ビデオフレーム確定モジュール６４０は、再構築ビデオフレームを現在復号モードに従って処理して復号ビデオフレームを得て、現在復号モードがダウンサンプリングモードであれば、再構築ビデオフレームをアップサンプリングして復号ビデオフレームを得て、現在符号化モード情報がフルサンプリングモードであれば、再構築ビデオフレームを復号ビデオフレームとして確定する。
【０１０１】
本願の各実施例における各ステップは、必ずしもステップの番号で示される順番で順に実行されるとは限らないことは、理解されるべきである。本文ではそうでないとする明確な指示がない限り、これらのステップの実行順番は厳しく制限されていないとともに、これらのステップは他の順番で実行されてもよい。そして、各実施例における少なくとも一部のステップは、複数のサブステップ又は複数の段階を含んでもよく、これらのサブステップ又は段階は、必ずしも同じタイミングで実行され完成されるとは限らず、異なるタイミングで実行されてもよく、これらのサブステップ又は段階の実行順番も、必ずしも順に行われるとは限らず、他のステップ、又は他のステップのサブステップ又は段階の少なくとも一部と順次又は交互に実行されてもよい。
【０１０２】
上述実施例方法におけるフローの全部又は一部は、コンピュータプログラムが関連するハードウェアを命令して完成させることができ、上記プログラムは、不揮発性コンピュータ読み取り可能な記憶媒体に記憶されることができ、該プログラムは、実行されると、上述のような各方法の実施例のフローを含むことができる、と当業者が理解されることができる。本願に提供される各実施例に挙げられたメモリ、記憶、データベース又は他の媒体は、それぞれ、不揮発性及び／又は揮発性メモリを含むことができる。不揮発性メモリは、リードオンリーメモリ(ＲＯＭ)、プログラマブルＲＯＭ(PＲＯＭ)、電気的プログラマブルＲＯＭ(ＥＰＲＯＭ)、電気的消去可能プログラマブルＲＯＭ(ＥＥＰＲＯＭ)又はフラッシュメモリを含むことができる。揮発性メモリは、ランダムアクセスメモリ(ＲＡＭ)又は外部キャッシュを含むことができる。説明のために、ＲＡＭは、様々な形態で得られ、例えば、スタティック  ＲＡＭ(ＳＲＡＭ)、ダイナミックＲＡＭ(ＤＲＡＭ)、シンクロナスＤＲＡＭ(ＳＤＲＡＭ)、ダブルデータレートＳＤＲＡＭ(ＤＤＲＳＤＲＡＭ)、エンハンストＳＤＲＡＭ(ＥＳＤＲＡＭ)、同期リンク(Synchlink)ＤＲＡＭ(ＳＬＤＲＡＭ)、ラムバス(Rambus)ダイレクトＲＡＭ(ＲＤＲＡＭ)、ダイレクトラムバスダイナミックＲＡＭ(ＤＲＤＲＡＭ)、及びラムバスダイナミックＲＡＭ(ＲＤＲＡＭ)等があるが、これらに限定されない。
【０１０３】
上述した実施例の各技術的特徴を任意に組み合わせることができ、説明を簡潔にするために、上述した実施例における各技術的特徴の存在可能な組み合わせをすべて説明していないが、しかし、これらの技術的特徴の組み合わせが互いに矛盾していなければ、すべてが本明細書に記載の範囲にあると考えられるべきである。
【０１０４】
上述した実施例は、本願のいくつかの実施形態のみを表し、その説明は具体的かつ詳細に行われているが、しかし、これにより発明特許範囲が制限されていると理解されてはいけない。なお、当業者にとって、本願の趣旨から逸脱しない限り、若干の変形や改良も可能であり、すべて本願の保護範囲内である。このため、本特許出願の保護範囲は特許請求の範囲によって限定されるべきである。
【図１】
2019537365.tif 000003
【図２】
2019537365.tif 000004
【図３】
2019537365.tif 000005
【図４】
2019537365.tif 000006
【図５】
2019537365.tif 000007
【図６】
2019537365.tif 000008
【図７】
2019537365.tif 000009
【図８】
2019537365.tif 000010
【図９】
2019537365.tif 000011
【図１０】
2019537365.tif 000012
【図１１】
2019537365.tif 000013
【図１２】
2019537365.tif 000014
【図１３】
2019537365.tif 000015
【図１４】
2019537365.tif 000016
【図１５】
2019537365.tif 000017
【図１６】
2019537365.tif 000018
【図１７】
2019537365.tif 000019
【国際調査報告】
2019537365.tif 000020
2019537365.tif 000021
2019537365.tif 000022
2019537365.tif 000023
2019537365.tif 000024