(57)【要約】  本願の実施例は予測モード選択方法、ビデオ符号化装置、及び記憶媒体を開示しており、ビデオ符号化技術分野に属する。当該方法は、ターゲット予測ユニットに対応するダウンサンプリングユニットの第１の最適フレーム内予測モードを取得し、ダウンサンプリングユニットがターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後に分割することにより得られ、第１の最適フレーム内予測モードが、ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られ、第１の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加し、ターゲット予測ユニットに対応する隣接予測ユニットの第２の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加し、候補モード集合における各候補フレーム内予測モードに対応する予測残差と符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定する、ことを含む。本願の実施例はフレーム内予測モードの選択にかかる時間を短縮しつつ、ビデオ符号化速度を向上させる効果ことを達成する。
2019531036.tif 000002
【特許請求の範囲】
【請求項１】
予測モード選択方法であって、前記方法は、
ターゲット予測ユニットに対応するダウンサンプリングユニットの第１の最適フレーム内予測モードを取得し、前記ダウンサンプリングユニットは前記ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後分割することにより得られ、前記第１の最適フレーム内予測モードは前記ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られ、
前記第１の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加し、
前記ターゲット予測ユニットに対応する隣接予測ユニットの第２の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加し、
前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定する、ことを含むことを特徴とする方法。
【請求項２】
前記ターゲット予測ユニットが１６×１６画素で、前記ダウンサンプリングユニットが８×８画素である場合に、前記した前記第１の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加することは、
前記第１の最適フレーム内予測モードが方向予測モードであると、前記第１の最適フレーム内予測モード、及び前記第１の最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加し、
前記第１の最適フレーム内予測モードが方向予測モードでないと、水平予測モードと、垂直予測モードとを、前記候補モード集合に追加する、ことを含み、
前記水平予測モードはａｎｇ_１０方向に対応するフレーム内予測モードであり、前記垂直予測モードはａｎｇ_２６方向に対応するフレーム内予測モードであることを特徴とする請求項１に記載の方法。
【請求項３】
前記した前記第１の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加した後には、さらに、
前記ダウンサンプリングユニットの次善フレーム内予測モードを取得し、前記次善フレーム内予測モードの符号化コスト値＞前記第１の最適フレーム内予測モードの符号化コスト値であり、
前記次善フレーム内予測モードの符号化コスト値＜２×前記第１の最適フレーム内予測モードの符号化コスト値であり、且つ前記次善フレーム内予測モードが方向予測モードであると、前記次善フレーム内予測モード、前記次善フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加することを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記ターゲット予測ユニットが３２×３２画素又は６４×６４画素で、前記ダウンサンプリングユニットが８×８画素である場合に、前記ターゲット予測ユニットに対応するダウンサンプリングユニットの第１の最適フレーム内予測モードを取得することは、
前記ターゲット予測ユニットに含まれるサブ予測ユニットを確定し、前記サブ予測ユニットは１６×１６画素の予測ユニットであり、
各サブ予測ユニットに対応するダウンサンプリングユニットの第１の最適フレーム内予測モードを取得することを含み、
前記した前記第１の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加することは、
各ダウンサンプリングユニットの第１の最適フレーム内予測モードを、前記候補モード集合に追加し、
前記候補モード集合における方向予測モードの数が閾値よりも小さいと、各ダウンサンプリングユニットの第１の最適フレーム内予測モードに基づいて、前記候補モード集合に候補フレーム内予測モードを追加することを含み、
前記候補モード集合における方向予測モードの数が前記閾値よりも大きいと、前記した前記ターゲット予測ユニットに対応する隣接予測ユニットの第２の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加するステップを実行する、ことを特徴とする請求項１に記載の方法。
【請求項５】
前記した各ダウンサンプリングユニットの第１の最適フレーム内予測モードに基づいて、前記候補モード集合に候補フレーム内予測モードを追加することは、
各ダウンサンプリングユニットの第１の最適フレーム内予測モードに同じ方向予測モードが含まれると、前記同じ方向予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加し、
前記候補モード集合に１種類の方向予測モードが含まれると、前記方向予測モードの隣接フレーム内予測モード、水平予測モード、及び垂直予測モードを、前記候補モード集合に追加し、
前記候補モード集合にｎ（１＜ｎ≦３）種類の方向予測モードが含まれると、ｎ種類の方向予測モードのそれぞれに対応する隣接フレーム内予測モードを、前記候補モード集合に追加することを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記隣接予測ユニットは、前記ターゲット予測ユニットの上側に位置する上側ブロック予測ユニット、及び/又は、前記ターゲット予測ユニットの左側に位置する左側ブロック予測ユニットを含み、
前記した前記ターゲット予測ユニットに対応する隣接予測ユニットの第２の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加することは、
前記上側ブロック予測ユニットの第２の最適フレーム内予測モード及び前記左側ブロック予測ユニットの第２の最適フレーム内予測モードのいずれも方向予測モードでないと、前記候補モード集合への候補フレーム内予測モードの追加を停止し、
前記上側ブロック予測ユニットの第２の最適フレーム内予測モード又は前記左側ブロック予測ユニットの第２の最適フレーム内予測モードが方向予測モードであると、方向予測モードに属する第２の最適フレーム内予測モードを、前記候補モード集合に追加し、
前記上側ブロック予測ユニットの第２の最適フレーム内予測モードと前記左側ブロック予測ユニットの第２の最適フレーム内予測モードとが異なり、且つ両方とも方向予測モードであると、前記上側ブロック予測ユニットの第２の最適フレーム内予測モードと前記左側ブロック予測ユニットの第２の最適フレーム内予測モードとを、前記候補モード集合に追加し、
前記上側ブロック予測ユニットの第２の最適フレーム内予測モードと前記左側ブロック予測ユニットの第２の最適フレーム内予測モードとが同じであり、且つ両方とも方向予測モードであると、前記上側ブロック予測ユニットの第２の最適フレーム内予測モードと、前記上側ブロック予測ユニットの第２の最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加することを含むことを特徴とする請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記方法は、平面Ｐｌａｎａｒモードと直流ＤＣモードとを前記候補モード集合に追加することをさらに含むことを特徴とする請求項１〜５のいずれか一項に記載の方法。
【請求項８】
前記した前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と符号化コスト値とに応じて、前記現在の予測ユニットの最適フレーム内予測モードを確定することは、
前記候補モード集合における各候補フレーム内予測モードに対応する予測残差を算出し、前記予測残差が、候補フレーム内予測モードに応じて予測された予測値と元の値との差を指示するために用いられ、
前記予測残差が小さい順に、各候補フレーム内予測モードをソートし、
前のｋ（ｋ≧２）種類の候補フレーム内予測モードをターゲット候補フレーム内予測モードとして確定し、
各ターゲット候補フレーム内予測モードに対応する符号化コスト値を算出し、
最小の符号化コスト値に対応するターゲット候補フレーム内予測モードを、前記ターゲット予測ユニットの最適フレーム内予測モードとして確定する、ことを含むことを特徴とする請求項１〜５のいずれか一項に記載の方法。
【請求項９】
前記した前記予測残差が小さい順に各候補フレーム内予測モードをソートした後には、さらに、
一番目の候補フレーム内予測モードが方向予測モードであり、且つ前記一番目の候補フレーム内予測モードの隣接フレーム内予測モードが前記候補モード集合に属しないと、前記一番目の候補フレーム内予測モードの隣接フレーム内予測モードを前記候補モード集合に追加するとともに、前記した前記候補モード集合における各候補フレーム内予測モードに対応する予測残差を算出するステップを実行することを含むことを特徴とする請求項８に記載の方法。
【請求項１０】
予測モード選択方法であって、前記方法は、
ビデオ符号化装置がターゲット予測ユニットに対応するダウンサンプリングユニットの第１の最適フレーム内予測モードを取得し、前記ダウンサンプリングユニットは前記ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後に分割することにより得られ、前記第１の最適フレーム内予測モードは前記ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られ、
前記ビデオ符号化装置が前記第１の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加し、
前記ビデオ符号化装置が前記ターゲット予測ユニットに対応する隣接予測ユニットの第２の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加し、
前記ビデオ符号化装置が前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定する、ことを含むことを特徴とする方法。
【請求項１１】
前記ターゲット予測ユニットが１６×１６画素で、前記ダウンサンプリングユニットが８×８画素である場合に、前記ビデオ符号化装置が前記第１の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加することは、
前記第１の最適フレーム内予測モードが方向予測モードであると、前記ビデオ符号化装置が前記第１の最適フレーム内予測モード、及び前記第１の最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加し、
前記第１の最適フレーム内予測モードが方向予測モードでないと、前記ビデオ符号化装置が水平予測モードと、垂直予測モードとを前記候補モード集合に追加する、ことを含み、
前記水平予測モードはａｎｇ_１０方向に対応するフレーム内予測モードであり、前記垂直予測モードはａｎｇ_２６方向に対応するフレーム内予測モードであることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記ビデオ符号化装置が前記第１の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加した後には、さらに、
前記ビデオ符号化装置が前記ダウンサンプリングユニットの次善フレーム内予測モードを取得し、前記次善フレーム内予測モードの符号化コスト値＞前記第１の最適フレーム内予測モードの符号化コスト値であり、
前記次善フレーム内予測モードの符号化コスト値＜２×前記第１の最適フレーム内予測モードの符号化コスト値であり、且つ前記次善フレーム内予測モードが方向予測モードであると、前記ビデオ符号化装置が前記次善フレーム内予測モード、前記次善フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加する、ことを含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記ターゲット予測ユニットが３２×３２画素又は６４×６４画素で、前記ダウンサンプリングユニットが８×８画素である場合に、前記ビデオ符号化装置がターゲット予測ユニットに対応するダウンサンプリングユニットの第１の最適フレーム内予測モードを取得することは、
前記ビデオ符号化装置が前記ターゲット予測ユニットに含まれるサブ予測ユニットを確定し、前記サブ予測ユニットが１６×１６画素の予測ユニットであり、
前記ビデオ符号化装置が各サブ予測ユニットに対応するダウンサンプリングユニットの第１の最適フレーム内予測モードを取得する、ことを含み、
前記ビデオ符号化装置が前記第１の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加することは、
前記ビデオ符号化装置が各ダウンサンプリングユニットの第１の最適フレーム内予測モードを前記候補モード集合に追加し、
前記候補モード集合における方向予測モードの数が閾値よりも小さいと、前記ビデオ符号化装置が各ダウンサンプリングユニットの第１の最適フレーム内予測モードに基づいて、前記候補モード集合に候補フレーム内予測モードを追加することを含み、
前記候補モード集合における方向予測モードの数が前記閾値よりも大きいと、前記ビデオ符号化装置が前記した前記ターゲット予測ユニットに対応する隣接予測ユニットの第２の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加するステップを実行する、ことを特徴とする請求項１０に記載の方法。
【請求項１４】
前記ビデオ符号化装置が各ダウンサンプリングユニットの第１の最適フレーム内予測モードに基づいて、前記候補モード集合に候補フレーム内予測モードを追加することは、
各ダウンサンプリングユニットの第１の最適フレーム内予測モードに同じ方向予測モードが含まれると、前記ビデオ符号化装置が前記同じ方向予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加し、
前記候補モード集合に１種類の方向予測モードが含まれると、前記ビデオ符号化装置が前記方向予測モードの隣接フレーム内予測モード、水平予測モード、及び垂直予測モードを、前記候補モード集合に追加し、
前記候補モード集合にｎ種類の方向予測モードが含まれると、前記ビデオ符号化装置がｎ（１＜ｎ≦３）種類の方向予測モードのそれぞれに対応する隣接フレーム内予測モードを、前記候補モード集合に追加する、ことを含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記隣接予測ユニットは、前記ターゲット予測ユニットの上側に位置する上側ブロック予測ユニット、及び/又は、前記ターゲット予測ユニットの左側に位置する左側ブロック予測ユニットを含み、
前記ビデオ符号化装置が前記ターゲット予測ユニットに対応する隣接予測ユニットの第２の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加することは、
前記上側ブロック予測ユニットの第２の最適フレーム内予測モードと前記左側ブロック予測ユニットの第２の最適フレーム内予測モードのいずれも方向予測モードでないと、前記ビデオ符号化装置が前記候補モード集合への候補フレーム内予測モードの追加を停止し、
前記上側ブロック予測ユニットの第２の最適フレーム内予測モード又は前記左側ブロック予測ユニットの第２の最適フレーム内予測モードが方向予測モードであると、前記ビデオ符号化装置が方向予測モードに属する第２の最適フレーム内予測モードを前記候補モード集合に追加し、
前記上側ブロック予測ユニットの第２の最適フレーム内予測モードと前記左側ブロック予測ユニットの第２の最適フレーム内予測モードとが異なり、且つ両方とも方向予測モードであると、前記ビデオ符号化装置が前記上側ブロック予測ユニットの第２の最適フレーム内予測モードと前記左側ブロック予測ユニットの第２の最適フレーム内予測モードとを、前記候補モード集合に追加し、
前記上側ブロック予測ユニットの第２の最適フレーム内予測モードと、前記左側ブロック予測ユニットの第２の最適フレーム内予測モードとが同じであり、且つ両方とも方向予測モードであると、前記ビデオ符号化装置が前記上側ブロック予測ユニットの第２の最適フレーム内予測モード、前記上側ブロック予測ユニットの第２の最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加する、ことを含むことを特徴とする請求項１０〜１４のいずれか一項に記載の方法。
【請求項１６】
前記方法は、前記ビデオ符号化装置が平面Ｐｌａｎａｒモードと直流ＤＣモードとを前記候補モード集合に追加することをさらに含むことを特徴とする請求項１０〜１４のいずれか一項に記載の方法。
【請求項１７】
前記ビデオ符号化装置が前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、前記現在の予測ユニットの最適フレーム内予測モードを確定することは、
前記ビデオ符号化装置が前記候補モード集合における各候補フレーム内予測モードに対応する予測残差を算出し、前記予測残差が候補フレーム内予測モードに応じて予測された予測値と元の値との差を指示するために用いられ、
前記ビデオ符号化装置が前記予測残差が小さい順に各候補フレーム内予測モードをソートし、
前記ビデオ符号化装置が前のｋ（ｋ≧２）種類の候補フレーム内予測モードをターゲット候補フレーム内予測モードとして確定し、
前記ビデオ符号化装置が各ターゲット候補フレーム内予測モードに対応する符号化コスト値を算出し、 
前記ビデオ符号化装置が最小の符号化コスト値に対応するターゲット候補フレーム内予測モードを前記ターゲット予測ユニットの最適フレーム内予測モードとして確定する、ことを含むことを特徴とする請求項１０〜１４のいずれか一項に記載の方法。
【請求項１８】
前記ビデオ符号化装置が前記予測残差が小さい順に、各候補フレーム内予測モードをソートした後には、さらに、
一番目の候補フレーム内予測モードが方向予測モードで、且つ前記一番目の候補フレーム内予測モードの隣接フレーム内予測モードが前記候補モード集合に属しないと、前記ビデオ符号化装置が前記一番目の候補フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加し、前記した前記候補モード集合における各候補フレーム内予測モードに対応する予測残差を算出するステップを実行する、ことをさらに含むことを特徴とする請求項１７に記載の方法。
【請求項１９】
予測モード選択装置であって、
前記装置は、
ターゲット予測ユニットに対応するダウンサンプリングユニットの第１の最適フレーム内予測モードを取得し、前記ダウンサンプリングユニットは、前記ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後に分割することにより得られ、前記第１の最適フレーム内予測モードは、前記ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られる取得モジュールと、
前記第１の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加するための第１の追加モジュールと、
前記ターゲット予測ユニットに対応する隣接予測ユニットの第２の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加するための第２の追加モジュールと、
前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定するための確定モジュールとを含むことを特徴とする装置。
【請求項２０】
前記ターゲット予測ユニットが１６×１６画素で、前記ダウンサンプリングユニットが８×８画素である場合に、前記第１の追加モジュールは、
前記第１の最適フレーム内予測モードが方向予測モードである場合に、前記第１の最適フレーム内予測モード、及び前記第１の最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加するための第１の追加ユニットと、
前記第１の最適フレーム内予測モードが方向予測モードでない場合に、水平予測モードと、垂直予測モードとを、前記候補モード集合に追加し、前記水平予測モードはａｎｇ_１０方向に対応するフレーム内予測モードであり、前記垂直予測モードはａｎｇ_２６方向に対応するフレーム内予測モードである第２の追加ユニットとを含むことを特徴とする請求項１９に記載の装置。
【請求項２１】
前記第１の追加モジュールは、
前記ダウンサンプリングユニットの次善フレーム内予測モード取得し、前記次善フレーム内予測モードの符号化コスト値＞前記第１の最適フレーム内予測モードの符号化コスト値である取得ユニットと、
前記次善フレーム内予測モードの符号化コスト値＜２×第１の最適フレーム内予測モードの符号化コスト値であり、且つ前記次善フレーム内予測モードが方向予測モードである場合に、前記次善フレーム内予測モード、前記次善フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加するための第３の追加ユニットとをさらに含むことを特徴とする請求項２０に記載の装置。
【請求項２２】
前記ターゲット予測ユニットが３２×３２画素又は６４×６４画素で、前記ダウンサンプリングユニットが８×８画素である場合に、前記取得モジュールは、
前記ターゲット予測ユニットに含まれるサブ予測ユニットを確定し、前記サブ予測ユニットが１６×１６画素の予測ユニットである第１の確定ユニットと、
各サブ予測ユニットに対応するダウンサンプリングユニットの第１の最適フレーム内予測モードを取得するための取得ユニットとを含み、
前記第１の追加モジュールは、
各ダウンサンプリングユニットの第１の最適フレーム内予測モードを、前記候補モード集合に追加するための第４の追加ユニットと、
前記候補モード集合における方向予測モードの数が閾値よりも小さいと、各ダウンサンプリングユニットの第１の最適フレーム内予測モードに基づいて、前記候補モード集合に候補フレーム内予測モードに追加するための第５の追加ユニットと、を含み、
前記第２の追加モジュールは、さらに、前記候補モード集合における方向予測モードの数が前記閾値よりも大きいと、前記した前記ターゲット予測ユニットに対応する隣接予測ユニットの第２の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加するステップを実行する、ことを特徴とする請求項１９に記載の装置。
【請求項２３】
前記隣接予測ユニットは、前記ターゲット予測ユニットの上側に位置する上側ブロック予測ユニット、及び/又は、前記ターゲット予測ユニットの左側に位置する左側ブロック予測ユニットを含み、
前記第２の追加モジュールは、
前記上側ブロック予測ユニットの第２の最適フレーム内予測モードと、前記左側ブロック予測ユニットの第２の最適フレーム内予測モードとのいずれも予測モードでない場合に、前記候補モード集合への候補フレーム内予測モードの追加を停止するための第６の追加ユニットと、
前記上側ブロック予測ユニットの第２の最適フレーム内予測モード、又は前記左側ブロック予測ユニットの第２の最適フレーム内予測モードが方向予測モードである場合に、方向予測モードに属する最適フレーム内予測モードを、前記候補モード集合に追加するための第７の追加ユニットと、
前記上側ブロック予測ユニットの第２の最適フレーム内予測モードと前記左側ブロック予測ユニットの第２の最適フレーム内予測モードとが異なり、且つ両方とも方向予測モードである場合に、前記上側ブロック予測ユニットの第２の最適フレーム内予測モードと、前記左側ブロック予測ユニットの第２の最適フレーム内予測モードとを、前記候補モード集合に追加するための第８の追加ユニットと、
前記上側ブロック予測ユニットの第２の最適フレーム内予測モードと、前記左側ブロック予測ユニットの第２の最適フレーム内予測モードとが同じで、且つ両方とも方向予測モードである場合に、前記上側ブロック予測ユニットの第２の最適フレーム内予測モード、前記上側ブロック予測ユニットの第２の最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加するための第９の追加ユニットとを含むことを特徴とする請求項１９〜２２のいずれか一項に記載の装置。
【請求項２４】
前記確定モジュールは、
前記候補モード集合における各候補フレーム内予測モードに対応する予測残差を算出し、前記予測残差は候補フレーム内予測モードに応じて予測された予測値と元の値との差を指示するために用いられる第１の算出ユニットと、
前記予測残差が小さい順に、各候補フレーム内予測モードをソートするためのソートユニットと、
前のｋ（ｋ≧２）種類の候補フレーム内予測モードをターゲット候補フレーム内予測モードとして確定するための第２の確定ユニットと、
各ターゲット候補フレーム内予測モードに対応する符号化コスト値を算出するための第２の算出ユニットと、
最小の符号化コスト値に対応するターゲット候補フレーム内予測モードを、前記ターゲット予測ユニットの最適フレーム内予測モードとして確定するための第３の確定ユニットとを含むことを特徴とする請求項１９〜２２のいずれか一項に記載の装置。
【請求項２５】
ビデオ符号化装置であって、
前記ビデオ符号化装置は、プロセッサーとメモリとを含み、前記メモリは少なくとも一つの命令を記憶し、前記命令は、前記プロセッサーによりロードされて実行されることで、請求項１〜９のいずれか一項に記載の予測モード選択方法を実現することを特徴とするビデオ符号化装置。
【請求項２６】
コンピュータ読み取り可能な記憶媒体であって、
前記記憶媒体は少なくとも一つの命令を記憶し、前記命令はプロセッサーにロードされて実行されることで請求項１〜９のいずれか一項に記載の予測モード選択方法を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願の実施例は、２０１７年０６月２３日に中国国家知識産権局に提出した、出願番号２０１７１０４８６５５７.４、発明の名称「予測モード選択方法、装置、及びビデオ符号化装置」の中国特許出願に基づく優先権を主張し、その全ての内容を本願で援用した。
【０００２】
本願の実施例は、ビデオ符号化の技術分野に関し、特に、予測モード選択方法、ビデオ符号化装置、及び記憶媒体に関する。
【背景技術】
【０００３】
ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格は、Ｈ.２６４に続く新世代のビデオ符号化規格である。ＨＥＶＣ規格では、３５種類のフレーム内予測モードを定義しており、画像フレームを符号化する場合に、３５種類のフレーム内予測モードから最適フレーム内予測モードを選択し、さらに、最適フレーム内予測モードを利用して符号化する。
【０００４】
最適フレーム内予測モードを選択する場合に、原画像フレームにおける各予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ，ＰＵ）に対して、それぞれ、３５種類のフレーム内予測モードにおけるＰＵの予測残差を予測し、当該予測残差は、フレーム内予測モードに応じて予測された予測値と元の値との差を指示するために用いられ、さらに、予測残差に応じて予備的に候補フレーム内予測モード選別する。選別された各候補フレーム内予測モードに対して、それぞれ、その符号化コスト値を算出することにより、最小符号化コスト値に対応する候補フレーム内予測モードを、最適フレーム内予測モードとして確定し、当該符号化コスト値は、符号化後のビットレートと再構成画像フレームの歪み率で示されてもよい。
【０００５】
しかしながら、上記フレーム内予測モードの選択過程で、全部のフレーム内予測モードに対して予測残差演算を行う必要があるため、フレーム内予測モードを選択するのに大量の時間がかかり、ビデオの符号化速度に影響を与える。
【発明の概要】
【課題を解決するための手段】
【０００６】
本願の実施例は、フレーム内予測モードの選択過程で、全部のフレーム内予測モードに対して予測残差演算を行うが必要があるため、フレーム内予測モードを選択するのに大量の時間がかかり、ビデオの符号化速度に影響を与えるという問題を解決することができる予測モード選択方法、ビデオ符号化装置、及び記憶媒体を提供する。前記技術案は以下の通りである。
【０００７】
本願の実施例の第１の側面によれば、予測モード選択方法を提供し、当該方法は、
ターゲット予測ユニットに対応するダウンサンプリングユニットの第１の最適フレーム内予測モードを取得し、ダウンサンプリングユニットがターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後分割することにより得られ、第１の最適フレーム内予測モードがダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られ、
第１の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加し、
ターゲット予測ユニットに対応する隣接予測ユニットの第２の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加し、
候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定する、ことを含んでいる。
【０００８】
本願の実施例の第２の側面によれば、予測モード選択装置を提供し、当該装置は、
ターゲット予測ユニットに対応するダウンサンプリングユニットの第１の最適フレーム内予測モードを取得し、ダウンサンプリングユニットが、ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後に分割することにより得られ、第１の最適フレーム内予測モードが、ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られる取得モジュールと、
第１の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加するための第１の追加モジュールと、
ターゲット予測ユニットに対応する隣接予測ユニットの第２の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加するための第２の追加モジュールと、
候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定するための確定モジュールとを含んでいる。
【０００９】
本願の実施例の第３の側面によれば、ビデオ符号化装置を提供し、当該装置はプロセッサーとメモリとを含み、前記メモリは少なくとも一つの命令を記憶し、前記命令は、プロセッサーによりロードされて実行されることで、第１の側面に記載の予測モード選択方法を実現する。
【００１０】
本願の実施例の第４の側面によれば、コンピュータ読み取り可能な記憶媒体を提供し、前記記憶媒体は少なくとも一つの命令を記憶し、前記命令はプロセッサーによりロードされて実行されることで第１の側面に記載の予測モード選択方法を実現する。
【００１１】
本願の実施例において、ターゲット予測ユニットの最適フレーム内予測モードを選択する場合に、まず、ダウンサンプリングユニットが元の予測ユニット特徴を保留するという特性に基づいて、プリコーディング中で得られたダウンサンプリングユニットの第１の最適フレーム内予測モードを取得し、これにより、ダウンサンプリングユニットの第１の最適フレーム内予測モードに基づいて部分の候補フレーム内予測モードを確定し、次に、隣接予測ユニットが類似の特徴を有するという特性に基づいて、現在の予測ユニットの隣接予測ユニットの第２の最適フレーム内予測モードに基づいて、再び一部の候補フレーム内予測モードを確定し、さらに、確定された候補フレーム内予測モードから現在の予測ユニットの最適フレーム内予測モードを選別し、一部の候補フレーム内予測モードに対応する予測残差を算出するだけでよいため、フレーム内予測モードの選択にかかる時間が短くなり、ビデオ符号化速度を向上させる効果を達成する。
【００１２】
本発明の実施例における技術案をより明確に説明するために、以下で実施例の記述において使用する必要がある図面を簡単に紹介し、もちろん、以下に記述の図面が本発明のいくつかの実施例に過ぎず、当業者にとって、創造的な労力をしない前提で、これらの図面に応じて他の図面を得ることもできる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例で提供されるフレーム内予測モードに係る３３種類の方向の概略図である。
【図２】本願の一実施例で提供される予測モード選択方法のフローチャートである。
【図３】現在の予測ユニットとダウンサンプリングユニットとの対応関係の概略図である。
【図４】本願の他の一実施例で提供される予測モード選択方法のフローチャートである。
【図５】本願の他の一実施例で提供される予測モード選択方法のフローチャートである。
【図６】本願の他の一実施例で提供される予測モード選択方法のフローチャートである。
【図７】本願の一実施例で提供される予測モード選択装置の構造ブロック図である。
【図８】本願の一実施例で提供される応用シナリオのシナリオ概略図である。
【図９】本願の一実施例で提供されるビデオ符号化装置のブロック図。
【発明を実施するための形態】
【００１４】
本発明における目的、技術案、及び利点をより明確にするために、以下では添付の図面を参照しながら本発明の実施形態をさらに詳細に記述する。
【００１５】
本明細書における「複数」とは、二つ以上を意味する。「及び／又は」は、関連対象の関連関係を記述するものであり、三つの関係が存在し得ることを示す。例えば、Ａ及び／又はＢは三つの状況、即ち、Ａのみが存在し、ＡとＢが同時に存在し、 Ｂのみが存在する状況を示す。なお、文字「／」は、通常、前後関連対象が「又は」の関係にあることを示す。
理解を容易にするために、本出願の実施形態に係る用語について、以下に解釈する。
【００１６】
画像フレーム：ビデオを構成する基本単位であり、一セクションのビデオは、いくつかのフレーム画像フレームからなる。ビデオ圧縮符号化は、一般的に、ブロックに基づく符号化方式を用い、即ち、ビデオにおける一つの画像フレームを複数の互に重複しないブロックに分割した後に、それらのブロックを符号化する。各画像フレームのビデオ符号化では、フレーム間符号化方式又はフレーム内符号化方式を使用することができる。本願の実施例は、主にフレーム内符号化方式に関する。
【００１７】
フレーム内予測符号化：ビデオシーケンス画像は、空間において非常に強い相関性を有し、例えば、一つの画像フレームにおいて、その背景は、一面が同じ模様と質感を有する壁であるので、当該画像フレームを分割したいくつかのブロックにおいて、壁に関するブロックは同じ又は類似の情報を表示する可能性があり、これらの強い空間の相関性を有するブロックについては、フレーム内予測技術を用いて符号化することができる。
【００１８】
予測ユニット：画像フレームにおいて予測符号化を行う場合における基本ユニットである。ＨＥＶＣ規格では、予測ユニットは６４×６４画素、３２×３２画素、１６×１６画素、又は８×８画素などのサイズのブロックであってもよい。
【００１９】
フレーム内予測モード：フレーム内予測符号化過程において、現在の予測ユニットに隣接する上側の一行の画素と、左側の一行の画素を利用して予測する予測モードである。ＨＥＶＣ規格では、３５種類のフレーム内予測モード、即ち、平面(Ｐｌａｎａｒ)予測モード、直流(Ｄｉｒｅｃｔ Ｃｕｒｒｅｎｔ，ＤＣ)予測モード、３３種類の方向予測モードを提供する。３３種類の方向予測モードは、ａｎｇ_２方向〜ａｎｇ_３４方向予測モードを含み、その中、ａｎｇ_１０方向が水平予測モードに対応し、ａｎｇ_２６方向が垂直予測モードに対応する。図１に示すように、各々の方向は、番号が小さい順に、左下隅４５°から右上隅（４５°）に向かって時計回りに配列されている。
【００２０】
隣接フレーム内予測モード：現在フレーム内予測モードが方向予測モードであると、現在フレーム内予測モードの+ｉモードと、-ｉモードは、その隣接するフレーム内予測モードであり、ｉ＝１又は２である。例えば、図１に示すように、隣接フレーム内予測モードが+２モードと-２モードであることを例にとって、ａｎｇ_１０フレーム内予測モードの隣接フレーム内予測モードは、ａｎｇ_８フレーム内予測モードとａｎｇ_１２フレーム内予測モードである。
【００２１】
隣接予測ユニット：本願の各実施例では、現在の予測ユニットの隣接予測ユニットは、現在の予測ユニットの上側に位置する上側ブロック予測ユニット及び/又は現在の予測ユニットの左側に位置する左側ブロック予測ユニットを含んでいる。なお、現在の予測ユニットが画像フレームの左側縁に位置すると、現在の予測ユニットに対応する左側ブロック予測ユニットが存在せず、現在の予測ユニットが画像フレームの上側縁に位置すると、現在の予測ユニットに対応する上側ブロック予測ユニットが存在しない。
【００２２】
ターゲット予測ユニットの最適フレーム内予測モードを選択する前に、まず、全てのフレーム内予測モードに対して予測残差演算を行う必要があり、これにより、予測残差に応じて一部のフレーム内予測モードを選別する。明らかに、サイズが大きい予測ユニット、例えば、１６×１６画素、３２×３２画素、６４×６４画素の予測ユニットについて、予測ユニットに大量の画素が含まれるので、大きなサイズの予測ユニットに対して予測残差演算を行う場合に大量のリソース及び時間を要する。しかしながら、実際の応用において、最終に大きなサイズの予測ユニットを選定してフレーム内予測モードを行う確率がそれほど高くないことが見出され、その結果、大きなサイズの予測ユニットの全てのフレーム内予測モードに対して予測残差演算を行うと処理リソースが浪費される。
【００２３】
本願の実施例において、ビデオ符号化装置は大きなサイズの予測ユニットの最適フレーム内予測モードを選択する場合に、ビデオプリコーディング分析で得られたダウンサンプリングユニットの最適フレーム内予測モード、及び隣接予測ユニットの最適フレーム内予測モードを利用して、予備的に一部のフレーム内予測モードを選別し、これにより、一部のフレーム内予測モードに対して予測残差を行うだけであり、予測残差演算の演算量を削減し、ひいては、ビデオ符号化速度を向上させる。
【００２４】
本願の実施例で提供される予測モード選択方法は、ビデオを符号化する必要があるシナリオに応用され得る。当該方法はビデオ符号化装置に応用され、当該ビデオ符号化装置は、ビデオコーデックソフトウェアをインストールした携帯端末であってもよいし、ビデオコーデック機能を有するサーバであってもよい。上記方法を採用した後、ビデオ符号化装置の符号化レートは向上され、符号化時の計算量は削減される。以下の実施形態では、説明の便宜上、予測モード選択方法をビデオ符号化装置に適用することを例にとって説明する。
【００２５】
選択的に、当該予測モード選択方法は、以下の製品シナリオに応用することができる。
【００２６】
インスタントメッセージングアプリケーションでのビデオ通話シナリオ
【００２７】
インスタントメッセージングアプリケーションは、通常、ビデオ通話機能を提供する。ビデオ通話機能を使用する場合、携帯端末は、採集された画像フレームを符号化し、符号化して得られた画像フレームデータをサーバに伝送し、サーバは画像フレームデータを、対応する携帯端末に送信し、復号して表示させる。なお、携帯端末による画像フレームの符号化速度は、直接にビデオ通話の品質に影響を与える。携帯端末は本願の実施例で提供される予測モード選択方法を採用すると、ダウンサンプリングユニット、及び隣接予測ユニットの最適フレーム内予測モードに応じて、現在の予測ユニットの最適フレーム内予測モードを確定することができ、これにより、確定した最適フレーム内予測モードに応じて予測ユニットを符号化し、ひいては、携帯端末の符号化速度を向上させ、最終的に、ビデオ通話の品質を向上させる。
【００２８】
ビデオ撮影アプリケーションにおけるビデオ符号化のシナリオ
【００２９】
ビデオ撮影アプリケーションを用いて撮影する過程において、端末は、採集された画像フレームを符号化することで、撮影を完成する際に相応するビデオファイルを生成する。関連技術におけるフレーム内予測モードを採用して画像フレームに対してフレーム内符号化を行う場合に、画像フレームにおける各予測ユニットに対して予測残差演算を３５回算出する必要があり、これにより、最適フレーム内予測モードを確定し、符号化の効率が低くなり、符号化の演算量が大きくなり、ビデオが撮影された後、ビデオファイルが取得されるまで比較的長い時間を待つ必要がある。本願の実施例で提供される予測モード選択方法を採用して最適フレーム内予測モードを選択する場合に、符号化の演算量が削減されるので、符号化速度がより速くなり、ビデオが撮影された直後、相応するビデオファイルを得ることができる。
【００３０】
なお、上記製品シナリオは、例示的な説明のために使用され、他の可能な実施形態において、フレーム内符号化に係るシナリオはいずれも本願の実施例で提供する予測モード選択方法を用いることができ、本願の実施例は、これを制限しない。
【００３１】
図２を参照して、本願の一実施例で提供する予測モード選択方法のフローチャートを示し、本実施例は、当該予測モード選択方法がビデオ符号化装置に応用されることを例にとって説明し、当該方法は、以下のステップを含む。
【００３２】
ステップ２０１において、ビデオ符号化装置は、ターゲット予測ユニットに対応するダウンサンプリングユニットの第１の最適フレーム内予測モードを取得し、ダウンサンプリングユニットは、ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後に分割することにより得られ、第１の最適フレーム内予測モードは、ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られる。
【００３３】
その中、ターゲット予測ユニットは、予め設定された画素サイズで、画像フレームを分割して得られた画素ブロックであり、当該ターゲット予測ユニットは、１６×１６画素、３２×３２画素又は６４×６４画素の画素ブロックであってもよい。本願の実施例におけるターゲット予測ユニットは、上から下へ、そして、左から右へと順次取得される画素ブロックである。他の可能な表現方式において、ターゲット予測ユニットは現在の予測ユニットとも呼ばれることがあり、本願の実施例は、ターゲット予測ユニットの具体的な呼称を制限しない。
【００３４】
ダウンサンプリングされた画像フレームに対してプリコーディング分析を行うことは、ビデオ符号化の分野における既存のアルゴリズムとして、自己適応Ｉフレーム (フレーム内符号化フレーム) 間隔選択や、自己適応Ｂフレーム(双方向予測補間符号化フレーム)の数の算出、ビットレート制御などのアルゴリズムに広く応用される。なお、プリコーディング分析の流れは、以下の通りである。
１、画像フレームに対して、２:１ダウンサンプリングを行うことで、ダウンサンプリング画像フレームを得る。
例えば、画像フレームの元の長さがａで、元の幅がｂであると、得られたダウンサンプリング画像フレームの長さは０.５ａで、幅は０.５ｂである。
２、ダウンサンプリング画像フレームを、８×８画素のダウンサンプリングユニットに分割する。
ダウンサンプリング画像フレームの長さ又は幅が８の整数倍ではない場合、予めダウンサンプリング画像フレームをエッジ拡大する必要があり、エッジ拡大されたダウンサンプリング画像フレームの長さと幅は両方とも８の整数倍である。
３、各ダウンサンプリングユニットに対してフレーム内プリコーディングを行うことで、最適フレーム内予測モードを選択する。
【００３５】
ダウンサンプリングユニットがフレーム内予測を採用する場合に、ビデオ符号化装置は、ダウンサンプリングユニットに対してフレーム内プリコーディングを行うことで、最適フレーム内予測モードを選択し、最適フレーム内予測モードに対応する符号化コスト値を算出する。
【００３６】
なお、ダウンサンプリングユニットに対してフレーム内プリコーディングを行う場合に、ビデオ符号化装置は、さらに、それに対してフレーム間プリコーディングを行うことで、最適フレーム間予測モードを選択し、最適フレーム間予測モードに対応する符号化コスト値を算出する。
【００３７】
ダウンサンプリングユニットが原画像フレームのうち対応する予測ユニットのサムネイルであるので、ダウンサンプリングユニットの最適フレーム内予測モードは、ある程度、ターゲット予測ユニットの最適フレーム内予測モードを反映することができ、従って、ビデオ符号化ユニットは、まず、ターゲット予測ユニットに対応するダウンサンプリングユニットの第１の最適フレーム内予測モードを取得する。
【００３８】
概略的には、図３に示すように、現在の画像フレーム３１は６４×６４画素であり、対応するダウンサンプリング画像フレーム３２は３２×３２画素であり、現在の画像フレーム３１は１６個の１６×１６画素の予測ユニット(番号は１〜１６である)を含み、ダウンサンプリング画像フレーム３２は、１６個の１６×１６画素のダウンサンプリングユニット(番号は１〜１６である)を含み、なお、番号が同じである予測ユニットは、ダウンサンプリングユニットに対応する。
【００３９】
ステップ２０２において、ビデオ符号化装置は第１の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加する。
【００４０】
ダウンサンプリング画像フレームは原画像フレームと比較して一部の細部を失うので、ターゲット予測ユニットの最適フレーム内予測モードと、対応するダウンサンプリングユニットの第１の最適フレーム内予測モードとは異なる可能性がある。選別された候補フレーム内予測モードの精度及び網羅性を向上するために、ビデオ符号化装置はダウンサンプリングユニットの第１の最適フレーム内予測モードを基に、いくつかの候補フレーム内予測モードを拡張し、候補モード集合に追加する。
【００４１】
ステップ２０３において、ビデオ符号化装置は、ターゲット予測ユニットに対応する隣接予測ユニットの第２の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加する。
【００４２】
同一の画像フレームにおける隣接する予測ユニットの間に強い関連性があるので、ターゲット予測ユニットの最適フレーム内予測モードとその隣接予測ユニットの最適フレーム内予測モードも強い関連性を有する。一つの可能な実施形態では、ビデオ符号化装置は、ターゲット予測ユニットに対応する隣接予測ユニットの第２の最適フレーム内予測モードを取得し、当該第２の最適フレーム内予測モードに応じて、いくつかの候補フレーム内予測モードを拡張し、候補モード集合に追加する。
【００４３】
選択的に、フレーム内符号化は左から右へ、そして、上から下へ、行ごとの符号化を行うため、ターゲット予測ユニットに対応する隣接予測ユニットはその上側に位置する上側ブロック予測ユニット(上側ブロック予測ユニットの下縁は現在の予測ユニットの上縁に隣接する)、及び/又は、左側に位置する左側ブロック予測ユニットであり(左側ブロック予測ユニットの右縁は現在の予測ユニットの左縁に隣接する)、なお、ターゲット予測ユニットの隣接予測ユニットは既にフレーム内予測モードで選択した。第２の最適フレーム内予測モードを取得する場合に、まず、ターゲット予測ユニットに対応している上側ブロック予測ユニット及び/又は左側ブロック予測ユニット(画像フレーム上縁に位置する予測ユニットは上側ブロック予測ユニットが存在せず、画像フレーム左縁に位置する予測ユニットは左側ブロック予測ユニットが存在しない)があるかどうかを検出し、現在の予測ユニットに対応している上側ブロック予測ユニット及び/又は左側ブロック予測ユニットがあることが検出された場合に、さらに、上側ブロック予測ユニット及び/又は左側ブロック予測ユニットの第２の最適フレーム内予測モードを取得する。
【００４４】
なお、上記ステップ２０１と、２０２と、２０３との間に厳密な優先関係は存在せず、即ち、ステップ２０３はステップ２０１、２０２の前に実行されてもよいし、ステップ２０１、２０２と同時に実行されてもよい。本願の実施形態はこれを制限しない。
【００４５】
候補モード集合が方向予測モード及び非方向予測モードの両方をカバーすることを可能にするために、ビデオ符号化装置は、ＰｌａｎａｒモードとＤＣモードとを候補モード集合に追加する。
【００４６】
ステップ２０４において、ビデオ符号化装置は、候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定する。
【００４７】
候補モード集合外のフレーム内予測モードと比較して、候補モード集合における候補フレーム内予測モードが最適フレーム内予測モードとなる可能性が高くなるので、候補モード集合を生成した後、ビデオ符号化装置は候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値と算出し、最終的に、予測残差と、符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定する。
【００４８】
一つの可能な実施形態において、このステップは以下のステップを含む。
【００４９】
一、候補モード集合における各候補フレーム内予測モードに対応する予測残差を算出し、予測残差は候補フレーム内予測モードに応じて予測された予測値と元の値との差を指示するために用いられる。
【００５０】
なお、候補フレーム内予測モードに対応する予測残差が小さいほど、当該候補フレーム内予測モードにより生成された予測ユニットが原画像ユニットに近いことを示す。
【００５１】
選択的に、ビデオ符号化装置は、アダマール変換の差の和(Ｈａｄａｍａｒｄ ａｂｓｏｌｕｔｅ ｄｉ８ｅｒｅｎｃｅ，ＨＡＤ)、絶対誤差の和(Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉ８ｅｒｅｎｃｅ，ＳＡＤ)、又は、変換された絶対誤差の和 (Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉ８ｅｒｅｎｃｅ，ＳＡＴＤ)のいずれか一つの方式を用いて予測残差を算出する。本願の実施例はこれを限定しない。
【００５２】
二、予測残差に応じて小さい順に、各候補フレーム内予測モードをソートする。
【００５３】
三、一番目の候補フレーム内予測モードが方向予測モードであり、且つ一番目の候補フレーム内予測モードの隣接フレーム内予測モードが候補モード集合に属しないと、一番目の候補フレーム内予測モードの隣接フレーム内予測モードを、候補モード集合に追加する。
【００５４】
選択的に、予測残差に応じて候補フレーム内予測モードをソートした後、ビデオ符号化装置は、さらに、一番目の候補フレーム内予測モードが方向予測モードであるかどうかを検出し、一番目の候補フレーム内予測モードが方向予測モードであると、ビデオ符号化装置は、さらに、当該方向予測モードの隣接フレーム内予測モードが候補モード集合に属するかどうかを検出し、当該方向予測モードの隣接フレーム内予測モードが候補モード集合に属しないと、隣接フレーム内予測モードを候補モード集合に追加し、ステップ１と２に戻って実行し、新たに候補モード集合に対して予備的に選択し、これにより、候補モード集合における候補フレーム内予測モードの品質をさらに向上させる。
【００５５】
なお、ビデオ符号化装置は、ステップ三をスキップして直接にステップ４を実行してもよい。この実施形態はこれを限定しない。
【００５６】
四、前のｋ種類の候補フレーム内予測モードをターゲット候補フレーム内予測モードとして確定し、ｋ≧２である。
【００５７】
選択的に、ビデオ符号化装置は、前のｋ種類の候補フレーム内予測モード以外の候補フレーム内予測モードを削除する(予測値と元の値との差が大きく、深刻な歪みである)、後続で前のｋ種類の候補フレーム内予測モードの符号化コスト値を算出するだけでよく、これにより算出量を削減する。
【００５８】
五、各ターゲット候補フレーム内予測モードに対応する符号化コスト値を算出する。
【００５９】
一つの可能な実施形態において、各ターゲット候補フレーム内予測モードについて、ビデオ符号化装置は、ターゲット候補フレーム内予測モードに応じて実際の符号化を行って、再構成画像フレームの歪み率、及び符号化後のビットレートを算出し、さらに、歪み率、及び符号化後のビットレートに応じて符号化コスト値を算出し得て、その中、符号化コスト値ｃｏｓｔ＝Ｄ+λＲとなり、Ｄは歪み率(再構成画像フレームと原画像フレームの画素差のＳＡＴＤを採用し得る)、Ｒは符号化後のビットレートであり、λはラグランジュの定数である。
【００６０】
再構成画像フレームの歪み率を算出するプロセスは、ターゲット候補フレーム内予測モードに応じて、ターゲット予測ユニットに対して逆量子化及び逆変換を行うことで、再構成画像フレームを得ることと、再構成画像フレームと、ターゲット予測ユニットが属する原画像フレームに応じて、歪み率を算出することとを含んでいる。
【００６１】
符号化後のビットレートを算出するプロセスは、第１のステップにて算出された予測残差に対して、変換、量子化、及びエントロピー符号化を行うことで、符号化後のコードストリームを得ることと、当該コードストリームに応じて符号化後のビットレートを算出することとを含んでいる。
【００６２】
六、最小符号化コスト値に対応するターゲット候補フレーム内予測モードを、ターゲット予測ユニットの最適フレーム内予測モードとして確定する。
【００６３】
最終的に、ビデオ符号化装置は、最小符号化コスト値に対応するターゲット候補フレーム内予測モードを、現在の予測ユニットの最適フレーム内予測モードとして確定し、当該最適フレーム内予測モードを用いて現在の予測ユニットを符号化する場合に、歪み率が低く且つビットレートが低い。
【００６４】
以上のように、本願の実施例では、ターゲット予測ユニットの最適フレーム内予測モードを選択する場合に、まず、ダウンサンプリングユニットが元の予測ユニットの特徴を保留するという特性に基づいて、プリコーディング中に得られたダウンサンプリングユニットの第１の最適フレーム内予測モードを取得し、これにより、ダウンサンプリングユニットの第１の最適フレーム内予測モードに基づいて、一部の候補フレーム内予測モードを確定し、次に、隣接予測ユニットが相似する特徴を有するという特性に基づいて、現在の予測ユニットの隣接予測ユニットの第２の最適フレーム内予測モードに応じて、一部の候補フレーム内予測モードを再び確定し、さらに、確定された候補フレーム内予測モードから現在の予測ユニットの最適フレーム内予測モードを選別する。一部の候補フレーム内予測モードに対応する予測残差を算出するだけでよいので、フレーム内予測モードの選択にかかる時間が短くなり、ビデオ符号化速度を向上させる効果を達成する。
【００６５】
選択的に、異なるサイズの予測ユニットについて、ビデオ符号化装置がダウンサンプリングユニットの第１の最適フレーム内予測モードに応じて候補モード集合に候補フレーム内予測モードを追加する方式は異なる。一つの可能な実施形態において、ターゲット予測ユニットが１６×１６画素であり、ダウンサンプリングユニットが８×８画素である場合に、図２に加えて、図４に示すように、上記ステップ２０２は以下のステップを含む。
【００６６】
ステップ２０２Ａにおいて、ビデオ符号化装置は、ダウンサンプリングユニットの第１の最適フレーム内予測モードが方向予測モードであるかどうかを検出する。
【００６７】
ターゲット予測ユニットが１６×１６画素で、且つダウンサンプリングして得られたダウンサンプリングユニットが８×８画素である場合に、ターゲット予測ユニットはダウンサンプリングユニットと一対一に対応し、従って、ビデオ符号化装置は、一つの最適フレーム内予測モードに基づいていくつかの候補フレーム内予測モードを拡張し得る。
【００６８】
ダウンサンプリングユニットの第１の最適フレーム内予測モードを取得した後に、ビデオ符号化装置は、当該第１の最適フレーム内予測モードが方向予測モードであるかどうかを検出する。当該第１の最適フレーム内予測モードが方向予測モードである(即ち、ａｎｇ_２〜ａｎｇ_３４方向に対応する)と、ビデオ符号化装置は下記のステップ２０２Ｂを実行し、当該第１の最適フレーム内予測モードが方向予測モードではない (即ち、Ｐｌａｎａｒモード又はＤＣモードである)と、ビデオ符号化装置は下記のステップ２０２Ｃを実行する。
【００６９】
ステップ２０２Ｂにおいて、第１の最適フレーム内予測モードが方向予測モードであると、ビデオ符号化装置は、第１の最適フレーム内予測モード、及び第１の最適フレーム内予測モードの隣接フレーム内予測モードを、候補モード集合に追加する。
【００７０】
ダウンサンプリングユニットは、ターゲット予測ユニットと比較して、一部の画像細部を失うので、ダウンサンプリングユニットの第１の最適フレーム内予測モードが方向予測モードであることが検出された場合に、ビデオ符号化装置は、第１の最適フレーム内予測モードを候補モード集合に追加した後、さらに、第１の最適フレーム内予測モードに対応する方向が類似する隣接フレーム内予測モードを、候補モード集合に追加する必要がある。
【００７１】
一つの可能な実施形態において、第１の最適フレーム内予測モードの隣接フレーム内予測モードが第１の最適フレーム内予測モードの+ｉモードと-ｉモードであり、ｉ＝１又は２であり、即ち、ダウンサンプリングユニットの第１の最適フレーム内予測モードに対応する方向がａｎｇ_Ｎである場合に、当該隣接フレーム内予測モードに対応する方向はａｎｇ_(Ｎ-ｉ)とａｎｇ_(Ｎ+ｉ)である。なお、Ｎ-ｉ＜２である場合に、ａｎｇ_(Ｎ-ｉ)はａｎｇ_(Ｎ-ｉ+３３)であり、Ｎ+ｉ＞３４である場合に、ａｎｇ_(Ｎ+ｉ)はａｎｇ_(Ｎ+ｉ-３３)である。
【００７２】
概略的には、図１に示すように、ダウンサンプリングユニットの第１の最適フレーム内予測モードに対応する方向がａｎｇ_２である場合に、その隣接フレーム内予測モードに対応する方向はａｎｇ_４とａｎｇ_３３であり、ダウンサンプリングユニットの第１の最適フレーム内予測モードに対応する方向がａｎｇ_３３である場合に、その隣接フレーム内予測モードに対応する方向はａｎｇ_３１とａｎｇ_２である。
【００７３】
ステップ２０２Ｃにおいて、第１の最適フレーム内予測モードが方向予測モードではないと、ビデオ符号化装置は、水平予測モードと、垂直予測モードとを、候補モード集合に追加する。
【００７４】
なお、水平予測モードは、ａｎｇ_１０方向に対応するフレーム内予測モードであり、垂直予測モードは、ａｎｇ_２６方向に対応するフレーム内予測モードである。
【００７５】
水平予測モード及び垂直予測モードが最適フレーム内予測モードである確率は高いので、ダウンサンプリングユニットの第１の最適フレーム内予測モードが方向予測モードではないと(即ち、Ｐｌａｎａｒモード又はＤＣモードである)ことが検出された場合に、ビデオ符号化装置は、水平予測モードと垂直予測モードとを、候補モード集合に追加する。
【００７６】
上記ステップ２０２Ａ〜２０２Ｃを経った後に、当該候補モード集合は、４〜５種類の候補フレーム内予測モードを含む(予め追加されたＰｌａｎａｒモード及びＤＣモードを含む)。
【００７７】
候補モード集合に実際の最適フレーム内予測モードが欠落してしまうことを避けるために、一つの可能な実施形態において、ビデオ符号化装置は、さらに、ダウンサンプリングユニットの次善フレーム内予測モードに基づいて、候補フレーム内予測モードを再び拡張する。
【００７８】
選択的に、図４に示すように、上記ステップ２０２Ａ〜２０２Ｃの後、以下のステップをさらに含む。
【００７９】
ステップ２０５において、ビデオ符号化装置はダウンサンプリングユニットの次善フレーム内予測モードを取得し、次善フレーム内予測モードの符号化コスト値＞第１の最適フレーム内予測モードの符号化コスト値である。
【００８０】
選択的に、当該次善フレーム内予測モードは、ビデオプリコーディング分析段階において、第１の最適フレーム内予測モードと一緒に出力される。なお、次善フレーム内予測モードの符号化コスト値は、第１の最適フレーム内予測モードの符号化コスト値よりも大きく、且つ他の３３種類のフレーム内予測モードの符号化コスト値よりも小さい。
【００８１】
ステップ２０６において、ダウンサンプリングユニットの次善フレーム内予測モードの符号化コスト値＜２×第１の最適フレーム内予測モードの符号化コスト値であり、次善フレーム内予測モードが方向予測モードであると、ビデオ符号化装置は次善フレーム内予測モード、次善フレーム内予測モードの隣接フレーム内予測モードを候補モード集合に追加する。
【００８２】
さらに、ビデオ符号化装置は、ダウンサンプリングユニットの第１の最適フレーム内予測モードと次善フレーム内予測モードの符号化コスト値とが近いか否かを検出し、二つのモードの符号化コスト値が近い場合に、ダウンサンプリングユニットの次善フレーム内予測モードに基づいて候補フレーム内予測モードを拡張する。
【００８３】
一つの可能な実施形態において、ダウンサンプリングユニットの第１の最適フレーム内予測モードの符号化コスト値がｍであり、次善フレーム内予測モードの符号化コスト値がｎであり、ｎ＜２ｍであると、ビデオ符号化装置は、さらに、当該次善フレーム内予測モードが方向予測モードであるかどうかを検出し、次善フレーム内予測モードが方向予測モードであると、次善フレーム内予測モード、次善フレーム内予測モードの隣接フレーム内予測モードを、候補モード集合に追加し、次善フレーム内予測モードが方向予測モードではないと、次善フレーム内予測モードに基づいて候補モード集合に候補フレーム内予測モードを追加しない。
【００８４】
上記ステップ２０５、２０６を経った後、当該候補モード集合は、４〜８種類の候補フレーム内予測モードを含む。
【００８５】
この実施例では、ビデオ符号化装置はダウンサンプリングユニットの第１の最適フレーム内予測モード及び/又は次善フレーム内予測モードを基に、候補モード集合を拡張し、候補フレーム内予測モード品質を保証するとともに、候補フレーム内予測モードの数を減少し、ひいては、後続する算出量を削減する。
【００８６】
他の一つの可能な実施形態において、ターゲット予測ユニットが３２×３２画素又は６４×６４画素で、且つダウンサンプリングユニットが８×８画素である場合に、図２に加えて、図５に示すように、上記ステップ２０１はステップ２０１Ａと２０１Ｂを含み、上記ステップ２０２はステップ２０２Ｄないし２０２Ｆを含む。
【００８７】
ステップ２０１Ａにおいて、ビデオ符号化装置はターゲット予測ユニットに含まれるサブ予測ユニットを確定し、サブ予測ユニットは１６×１６画素の予測ユニットである。
【００８８】
ターゲット予測ユニットのサイズが３２×３２画素又は６４×６４画素である場合に、当該ターゲット予測ユニットは複数の１６×１６画素のサブ予測ユニットを含む。なお、ターゲット予測ユニットのサイズが３２×３２画素である場合に、ターゲット予測ユニットは四つのサブ予測ユニットに対応し、ターゲット予測ユニットのサイズが６４×６４画素である場合に、ターゲット予測ユニットは１６個のサブ予測ユニットに対応する。
【００８９】
概略的には、図３に示すように、一つの３２×３２画素の予測ユニットは、番号が１、２、５、６であるサブ予測ユニットを含む。
【００９０】
ステップ２０１Ｂにおいて、ビデオ符号化装置は、各サブ予測ユニットに対応するダウンサンプリングユニットの第１の最適フレーム内予測モードを取得する。
【００９１】
各サブ予測ユニットはそれぞれのダウンサンプリングユニットに対応するので、サブ予測ユニットを確定した後、ビデオ符号化装置は、さらに、各サブ予測ユニットに対応するダウンサンプリングユニットの第１の最適フレーム内予測モードを取得する。
【００９２】
なお、現在の予測ユニットのサイズが３２×３２画素である場合に、ビデオ符号化装置は四つのダウンサンプリングユニットの最適フレーム内予測モードを取得し、現在の予測ユニットのサイズが６４×６４画素である場合に、ビデオ符号化装置は１６個のダウンサンプリングユニットの最適フレーム内予測モードを取得する。
【００９３】
ステップ２０２Ｄにおいて、ビデオ符号化装置は、各ダウンサンプリングユニットの第１の最適フレーム内予測モードを、候補モード集合に追加する。
【００９４】
さらに、ビデオ符号化装置は、取得した各ダウンサンプリングユニットの第１の最適フレーム内予測モードを、候補モード集合中に追加する。
【００９５】
異なるダウンサンプリングユニットの最適フレーム内予測モードが同じである可能性があるので、候補モード集合に最適フレーム内予測モードを追加する場合に、同じ最適フレーム内予測モードに対して重複排除を行う必要がある。
【００９６】
概略的には、ターゲット予測ユニットのサイズが３２×３２画素である場合に、ビデオ符号化装置が取得した四つのダウンサンプリングユニットの最適フレーム内予測モードは、それぞれ、ａｎｇ_５、ａｎｇ_８、ａｎｇ_５、ａｎｇ_５であり、ビデオ符号化装置は、ａｎｇ_５とａｎｇ_８とを、候補モード集合に追加する。
【００９７】
ステップ２０２Ｅにおいて、ビデオ符号化装置は、候補モード集合における方向予測モードの数が閾値よりも小さいかどうかを検出する。
【００９８】
候補モード集合に候補フレーム内予測モードを追加した後に(各ダウンサンプリングユニットの第１の最適フレーム内予測モードを含む)、ビデオ符号化装置は、当該候補モード集合における方向予測モードの数が閾値よりも小さいかどうかを検出し、方向予測モードの数が閾値よりも小さいと、候補モード集合に実際の最適フレーム内予測モードが欠落してしまうことを避けるために、ビデオ符号化装置は、さらに、各ダウンサンプリングユニットの最適フレーム内予測モードに応じて候補モード集合を拡張し、以下のステップ２０２Ｆを実行し、方向予測モードの数が閾値よりも大きいと、ビデオ符号化装置はステップ２０３を実行する。選択的に、当該閾値は、７又は８である。
【００９９】
ステップ２０２Ｆにおいて、候補モード集合における方向予測モードの数が閾値よりも小さいと、ビデオ符号化装置は、各ダウンサンプリングユニットの第１の最適フレーム内予測モードに基づいて、候補モード集合に候補フレーム内予測モードを追加する。
【０１００】
一つの可能な実施形態において、本ステップは、以下のステップを含む。
【０１０１】
一、各ダウンサンプリングユニットの第１の最適フレーム内予測モードに同じ方向予測モードが含まれる場合に、同じ方向予測モードの隣接フレーム内予測モードを、候補モード集合に追加する。
【０１０２】
各ダウンサンプリングユニットの最適フレーム内予測モードに同じ方向予測モードが含まれる場合に、各サブ予測ユニットの最適フレーム内予測モードが同じである確率は高く、且つ現在の予測ユニットが強いテクスチャ特性を表現し(テクスチャ方向で予測することができる)、それに対応して、同じ方向予測モード、及びその隣接フレーム内予測モードが最適フレーム内予測モードである確率が高い。従って、ビデオ符号化装置は、同じ方向予測モードの隣接フレーム内予測モードを、候補モード集合に追加する。
【０１０３】
概略的には、取得した四つのダウンサンプリングユニットの最適フレーム内予測モードがそれぞれａｎｇ_５、ａｎｇ_８、ａｎｇ_５、ａｎｇ_５である場合に、ビデオ符号化装置は、ａｎｇ_５の隣接フレーム内予測モードａｎｇ_３とａｎｇ_７とを、候補モード集合に追加する。
【０１０４】
二、候補モード集合に１種類の方向予測モードが含まれると、方向予測モードの隣接フレーム内予測モード、水平予測モード、及び垂直予測モードを、候補モード集合に追加する。
【０１０５】
候補モード集合に１種類の方向予測モードのみが含まれると、ビデオ符号化装置は、最適フレーム内予測モードである確率が高い水平予測モードと、垂直予測モードとを、候補モード集合に追加し、当該方向予測モードの隣接フレーム内予測モードを、候補モード集合に追加する。
【０１０６】
三、候補モード集合にｎ種類の方向予測モードが含まれると、ｎ種類の方向予測モードのそれぞれに対応する隣接フレーム内予測モードを、候補モード集合に追加し、１＜ｎ≦３である。
【０１０７】
候補モード集合に含まれる方向予測モードが少ない場合、ビデオ符号化装置は、候補モード集合における既存の方向予測モードの隣接フレーム内予測モードを、候補モード集合に追加する。
【０１０８】
なお、候補モード集合に２種類の方向予測モードのみが含まれる場合に、ビデオ符号化装置は候補モード集合に４種類の候補フレーム内予測モードを追加し、当候補モード集合に３種類の方向予測モードのみが含まれる場合に、ビデオ符号化装置は、候補モード集合に６種類の候補フレーム内予測モードを追加する。
【０１０９】
本実施例において、大きなサイズの予測ユニットに複数の小サイズのサブ予測ユニットが含まれる場合に、ビデオ符号化装置は、各サブ予測ユニットに対応するダウンサンプリングユニットに応じて、候補モード集合を拡張し、候補モード集合における候補フレーム内予測モードの品質を保証するとともに、候補フレーム内予測モードの数を減少し、ひいては、後続する算出量を削減する。
【０１１０】
隣接予測ユニットに応じて候補モード集合に候補フレーム内予測モードを追加するプロセスについて、一つの可能な実施形態において、隣接予測ユニットは、現在の予測ユニットの上側に位置する上側ブロック予測ユニット及び/又は現在の予測ユニットの左側に位置する左側ブロック予測ユニットを含み、図２に加えて、図６に示すように、上記ステップ２０３は以下のステップを含む。
【０１１１】
ステップ２０３Ａにおいて、上側ブロック予測ユニットの第２の最適フレーム内予測モードと左側ブロック予測ユニットの第２の最適フレーム内予測モードのいずれも方向予測モードでないと、ビデオ符号化装置は、候補モード集合への候補フレーム内予測モードの追加を停止する。
【０１１２】
現在の予測ユニットの隣接予測ユニットに応じて候補フレーム内予測モードの拡張を行う場合に、ビデオ符号化装置は、まず、現在の予測ユニットの上側ブロック予測ユニット、及び左側ブロック予測ユニットの最適フレーム内予測モードを取得する。
【０１１３】
なお、画像フレーム左縁に位置する予測ユニット、例えば、図３の番号が１、５、９、１３である予測ユニットについて、ビデオ符号化装置はそれに隣接する左側ブロック予測ユニットの最適フレーム内予測モードを取得することができず、画像フレーム上縁の予測ユニット、例えば、図１の番号が１、２、３、４である予測ユニットについて、ビデオ符号化装置は、それに隣接する上側ブロック予測ユニットの最適フレーム内予測モードを取得することができない。
【０１１４】
上側ブロック予測ユニットの第２の最適フレーム内予測モードと、左側ブロック予測ユニットの第２の最適フレーム内予測モードとのいずれも方向予測モードではないと、ターゲット予測ユニットと隣接予測ユニットのテクスチャ特徴が大きく異なることを表し、従って、ビデオ符号化装置は、候補モード集合への候補フレーム内予測モードの追加を停止し、ステップ２０４を実行する。
【０１１５】
ステップ２０３Ｂにおいて、上側ブロック予測ユニットの第２の最適フレーム内予測モード又は左側ブロック予測ユニットの第２の最適フレーム内予測モードが方向予測モードであると、ビデオ符号化装置は、方向予測モードに属する最適フレーム内予測モードを、候補モード集合に追加する。
【０１１６】
上側ブロック予測ユニットと左側ブロック予測ユニットのうち一つの予測ユニットのみの最適フレーム内予測モードが方向予測モードである場合に、ターゲット予測ユニットと、方向予測モードに対応する隣接予測ユニットとは類似のテクスチャ特徴を有することを表すので、ビデオ符号化装置は、当該方向予測モードを候補モード集合に追加し、ステップ２０４を実行する。
【０１１７】
ステップ２０３Ｃにおいて、上側ブロック予測ユニットの第２の最適フレーム内予測モードと左側ブロック予測ユニットの第２の最適フレーム内予測モードとが異なり、且つ両方とも方向予測モードであると、ビデオ符号化装置は、上側ブロック予測ユニットの第２の最適フレーム内予測モードと、左側ブロック予測ユニットの第２の最適フレーム内予測モードとを、候補モード集合に追加する。
【０１１８】
上側ブロック予測ユニット及び左側ブロック予測ユニットの最適フレーム内予測モードのいずれも方向予測モードである場合に、ビデオ符号化装置は、さらに、二種類の方向予測モードが同じであるかどうかを検出し、二種類の方向予測モードが異なると、ターゲット予測ユニットと隣接予測ユニットは類似のテクスチャ特徴を有することを表すので、実際の最適フレーム内予測モードを欠落することを避けるために、ビデオ符号化装置は、２種類の方向予測モードを候補モード集合に追加し、ステップ２０４を実行する。
【０１１９】
選択的に、候補フレーム内予測モードの網羅性を向上させるために、ビデオ符号化装置は２種類の方向予測モードに対応する隣接予測モードを一緒に候補モード集合に追加する。
【０１２０】
ステップ２０３Ｄにおいて、上側ブロック予測ユニットの第２の最適フレーム内予測モードと、左側ブロック予測ユニットの第２の最適フレーム内予測モードとが同じで、且つ両方とも方向予測モードであると、ビデオ符号化装置は、上側ブロック予測ユニットの第２の最適フレーム内予測モード、上側ブロック予測ユニットの第２の最適フレーム内予測モードの隣接フレーム内予測モードを、候補モード集合に追加する。
【０１２１】
上側ブロック予測ユニットと、左側ブロック予測ユニットの最適フレーム内予測モードのいずれも方向予測モードであり、且つ２種類の予測モードが同じである場合に、上側ブロック予測ユニットのテクスチャ特徴と、左側ブロック予測ユニットのテクスチャ特徴とが類似することを示し、現在の予測ユニットのテクスチャ特徴と隣接予測ユニットのテクスチャ特徴とが類似する確率が高く、従って、ビデオ符号化装置は、当該方向予測モジュール、及びその隣接フレーム内予測モードを、候補モード集合に追加し、ステップ２０４を実行する。
【０１２２】
選択的に、候補フレーム内予測モードの網羅性を向上させるために、ビデオ符号化装置は方向予測モードに対応する隣接予測モードを一緒に候補モード集合に追加する。
【０１２３】
本実施例において、ビデオ符号化装置は、隣接予測ユニットの最適フレーム内予測モードを基に、候補モード集合を拡張し、候補フレーム内予測モード品質を保証するとともに、候補フレーム内予測モードの数を減少し、ひいては、後続する算出量を削減する。
【０１２４】
なお、上記各々の実施例において、図４と図６に示す実施例を組み合せて一つの完全な実施例を得ることができ、図５、図６に示す実施例を組み合せて一つの完全な実施例を得ることができ、本願の実施例はここで再度説明しない。
【０１２５】
以下本出願の装置の実施例を記載し、装置実施例において詳細に記述されていない細部については、装置の実施例に一対一に対応する前述の方法の実施例を参照する。
【０１２６】
図７を参照して、本願の一実施例で提供される予測モード選択装置の構造ブロック図を示している。当該予測モード選択装置は、ビデオ符号化装置の全部又は一部として実現されてもよい。当該装置は、
ターゲット予測ユニットに対応するダウンサンプリングユニットの第１の最適フレーム内予測モードを取得し、前記ダウンサンプリングユニットは、前記ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後に分割することにより得られ、前記第１の最適フレーム内予測モードは、前記ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られる取得モジュール７１０と、
前記第１の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加するための第１の追加モジュール７２０と、
前記ターゲット予測ユニットに対応する隣接予測ユニットの第２の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加するための第２の追加モジュール７３０と、
前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、前記現在の予測ユニットの最適フレーム内予測モードを確定するための確定モジュール７４０とを含んでいる。
【０１２７】
選択的に、前記ターゲット予測ユニットが１６×１６画素で、前記ダウンサンプリングユニットが８×８画素である場合には、前記第１の追加モジュール７２０は、
前記第１の最適フレーム内予測モードが方向予測モードである場合に、前記第１の最適フレーム内予測モード、及び前記第１の最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加するための第１の追加ユニットと
前記第１の最適フレーム内予測モードが方向予測モードでない場合に、水平予測モードと、垂直予測モードとを、前記候補モード集合に追加するための第２の追加ユニットとを含み、
前記水平予測モードはａｎｇ_１０方向に対応するフレーム内予測モードであり、前記垂直予測モードはａｎｇ_２６方向に対応するフレーム内予測モードである。
【０１２８】
選択的に、前記第１の追加モジュール７２０は、
前記ダウンサンプリングユニットの次善フレーム内予測モードを取得し、前記次善フレーム内予測モードの符号化コスト値＞前記第１の最適フレーム内予測モードの符号化コスト値である取得ユニットと、
前記次善フレーム内予測モードの符号化コスト値＜２×前記第１の最適フレーム内予測モードの符号化コスト値であり、且つ前記次善フレーム内予測モードが方向予測モードである場合に、前記次善フレーム内予測モード、前記次善フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加するための第３の追加ユニットとをさらに含んでいる。
【０１２９】
選択的に、前記ターゲット予測ユニットが３２×３２画素又は６４×６４画素で、前記ダウンサンプリングユニットが８×８画素である場合に、前記取得モジュール７１０は、
ターゲット予測ユニットに含まれるサブ予測ユニットを確定し、前記サブ予測ユニットが１６×１６画素の予測ユニットである第１の確定ユニットと、
各サブ予測ユニットに対応するダウンサンプリングユニットの第１の最適フレーム内予測モードを取得するための取得ユニットとを含んでいる。
【０１３０】
前記第１の追加モジュール７２０は、
各ダウンサンプリングユニットの第１の最適フレーム内予測モードを、前記候補モード集合に追加するための第４の追加ユニットと、
前記候補モード集合における方向予測モードの数が閾値よりも小さいと、各ダウンサンプリングユニットの第１の最適フレーム内予測モードに基づいて、前記候補モード集合に候補フレーム内予測モードを追加するための第５の追加ユニットとを含んでいる。
【０１３１】
前記第２の追加モジュール７３０は、さらに、前記候補モード集合における方向予測モードの数が前記閾値よりも大きいと、前記した前記ターゲット予測ユニットに対応する隣接予測ユニットの第２の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加するステップを実行する。
【０１３２】
選択的に、前記第５の追加ユニットは、
各ダウンサンプリングユニットの第１の最適フレーム内予測モードに同じ方向予測モードが含まれると、前記同じ方向予測モードの隣接フレーム内予測モードを前記候補モード集合に追加し、
前記候補モード集合に１種類の方向予測モードが含まれると、前記方向予測モードの隣接フレーム内予測モード、水平予測モード、及び垂直予測モードを、前記候補モード集合に追加し、
前記候補モード集合にｎ種類の方向予測モードが含まれると、ｎ種類の方向予測モードのそれぞれに対応する隣接フレーム内予測モードを、前記候補モード集合に追加し、１＜ｎ≦３である。
【０１３３】
選択的に、前記隣接予測ユニットは、前記ターゲット予測ユニットの上側に位置する上側ブロック予測ユニット、及び/又は、前記ターゲット予測ユニットの左側に位置する左側ブロック予測ユニットを含んでいる。
【０１３４】
前記第２の追加モジュール７３０は、
前記上側ブロック予測ユニットの第２の最適フレーム内予測モードと、前記左側ブロック予測ユニットの第２の最適フレーム内予測モードのいずれも予測モードでない場合に、前記候補モード集合への候補フレーム内予測モードの追加を停止するための第６の追加ユニットと、
前記上側ブロック予測ユニットの第２の最適フレーム内予測モード又は前記左側ブロック予測ユニットの第２の最適フレーム内予測モードが方向予測モードである場合に、方向予測モードに属する最適フレーム内予測モードを、前記候補モード集合に追加するための第７の追加ユニットと、
前記上側ブロック予測ユニットの第２の最適フレーム内予測モードと前記左側ブロック予測ユニットの第２の最適フレーム内予測モードとが異なり、且つ両方とも方向予測モードである場合に、前記上側ブロック予測ユニットの第２の最適フレーム内予測モードと、前記左側ブロック予測ユニットの第２の最適フレーム内予測モードとを、前記候補モード集合に追加するための第８の追加ユニットと、
前記上側ブロック予測ユニットの第２の最適フレーム内予測モードと前記左側ブロック予測ユニットの第２の最適フレーム内予測モードとが同じで、且つ両方とも方向予測モードである場合に、前記上側ブロック予測ユニットの第２の最適フレーム内予測モード、前記上側ブロック予測ユニットの最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加するための第９の追加ユニットとを含んでいる。
【０１３５】
選択的に、前記装置は、
ＰｌａｎａｒモードとＤＣモードとを、前記候補モード集合に追加するための第３の追加モジュールをさらに含んでいる。
【０１３６】
選択的に、前記確定モジュール７４０は、
前記候補モード集合における各候補フレーム内予測モードに対応する予測残差を算出し、前記予測残差が候補フレーム内予測モードに応じて予測された予測値と元の値との差を指示するために用いられる第１の算出ユニットと、
前記予測残差が小さい順に、各候補フレーム内予測モードをソートするためのソートユニットと、
前のｋ（ｋ≧２）種類の候補フレーム内予測モードをターゲット候補フレーム内予測モードとして確定するための第２の確定ユニットと、
各ターゲット候補フレーム内予測モードに対応する符号化コスト値を算出するための第２の算出ユニットと、
最小の符号化コスト値に対応するターゲット候補フレーム内予測モードを、前記ターゲット予測ユニットの最適フレーム内予測モードとして確定するための第３の確定ユニットとを含んでいる。
【０１３７】
選択的に、前記確定モジュール７４０は、
一番目の候補フレーム内予測モードが方向予測モードであり、且つ前記一番目の候補フレーム内予測モードの隣接フレーム内予測モードが前記候補モード集合に属しない場合に、前記一番目の候補フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加するための第１０の追加ユニットをさらに含んでいる。
【０１３８】
以上のように、本願の実施例において、ターゲット予測ユニットの最適フレーム内予測モードを選択する場合に、まず、ダウンサンプリングユニットが元の予測ユニットの特徴を保留するという特性に基づいて、プリコーディング中で得られたダウンサンプリングユニットの第１の最適フレーム内予測モードを取得し、これにより、ダウンサンプリングユニットの第１の最適フレーム内予測モードに基づいて一部の候補フレーム内予測モードを確定し、そして、隣接予測ユニットが類似する特徴を有するという特性に基づいて、現在の予測ユニットの隣接予測ユニットの第２の最適フレーム内予測モードに基づいて、再び、一部の候補フレーム内予測モードを確定し、さらに、確定された候補フレーム内予測モードから現在の予測ユニットの最適フレーム内予測モードを選別する。一部の候補フレーム内予測モードに対応する予測残差を算出するだけでよいため、フレーム内予測モードの選択にかかる時間が短くなり、これにより、ビデオ符号化速度を向上させる効果を達成する。
【０１３９】
本実施例において、ビデオ符号化装置は、ダウンサンプリングユニットの最適フレーム内予測モード、及び/又は、次善フレーム内予測モードを基に、候補モード集合を拡張し、候補フレーム内予測モード品質を保証するとともに、候補フレーム内予測モードの数を減少し、ひいては、後続する算出量を削減する。
【０１４０】
本実施例において、大きなサイズの予測ユニットに複数の小サイズのサブ予測ユニットが含まれる場合に、ビデオ符号化装置は、各サブ予測ユニットに対応するダウンサンプリングユニットに応じて、候補モード集合を拡張し、候補モード集合における候補フレーム内予測モードの品質を保証するとともに、候補フレーム内予測モードの数を減少し、さらに、後続する算出量を削減する。
【０１４１】
本実施例において、ビデオ符号化装置は、隣接予測ユニットの最適フレーム内予測モードを基に、候補モード集合を拡張し、候補フレーム内予測モードの品質を保証するとともに、候補フレーム内予測モードの数を減少し、ひいては、後続する算出量を削減する。
【０１４２】
なお、上記の実施例で提供される予測モード選択装置は、上記の各機能モジュールの分割を例にとって説明したが、実際の応用では、必要に応じて上記機能を異なる機能モジュールに割り当てることができ、即ち、ビデオ符号化装置の内部構造を異なる機能モジュールに分割して以上で記述された機能の全部又は一部を完成できる。また、上記実施例で提供される予測モード選択装置、予測モード選択方法の実施例は同じ考え方に属する。 具体的な実現プロセスについては、方法の実施例を参照し、その詳細はここでは再度説明しない。
【０１４３】
一つの可能な応用シナリオにおいて、図８に示すように、ビデオ符号化装置８００は、カメラコンポーネントによりユーザＡのユーザ画像を採集した後、各フレームのユーザ画像に対してビデオ符号化を行い、サーバ８１０で符号化したビデオストリームデータを、ユーザーＢにより使用されているビデオ復号装置８２０に伝送し、ビデオ復号装置８２０はビデオストリームデータを復号してレンダリングし、最終的に、ユーザＡのユーザ画像を表示する。なお、ビデオ符号化装置８００及びビデオ復号装置８２０は、ビデオ通話アプリケーションがインストールされた端末であってもよい。本願の各実施例で提供される予測モード選択方法は、ビデオ符号化装置８００に適用される。
【０１４４】
図９は、本願の一実施例で提供されるビデオ符号化装置８００のブロック図を示し、当該装置は、無線周波数(ＲＦ，Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ)回路８０１、一つ以上のコンピュータ読み取り可能な記憶媒体を含むメモリ８０２、入力ユニット８０３、表示ユニット８０４、センサー８０５、オーディオ回路８０６、ワイヤレス・フィデリティ(ＷｉＦｉ，Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ)モジュール８０７、一つ以上の処理コアを含むプロセッサー８０８、及び電源８０９などの部品を含んでいる。当業者は、図９に示すビデオ符号化装置がビデオ符号化装置に対する限定を構成しないことを理解し得て、図示のものよりも多くの部品又は少ない部品を含んでもよく、いくつかの部品を組み合わせてもよく、或いは異なる部品配置を有してもよい。
【０１４５】
ＲＦ回路８０１は、情報の送受信や通話中で、信号を受信及び送信するために用いられてもよく、特に、基地局の下りリンク情報を受信した後に、一つ以上のプロセッサ８０８に送信し処理させ、上りリンクに係るデータを基地局に送信する。一般的に、ＲＦ回路８０１は、アンテナ、少なくとも一つの増幅器、チューナ、一つ又は複数の発振器、加入者識別モジュール（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ）カード、トランシーバ、カプラ、低雑音増幅器（Ｌｏｗ Ｎｏｉｓｅ Ａｍｐｌｉｆｉｅｒ）、デュプレクサ等を含むが、これらに限定されない。さらに、ＲＦ回路８０１はまた、無線通信によりネットワーク及び他の装置と通信してもよい。無線通信は、いずれかの通信標準又はプロトコルを使用してもよく、これは、グローバル移動通信システム（ＧＳＭ（登録商標），Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、汎用パケット無線サービス（ＧＰＲＳ，Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ）、符号分割多元アクセス（ＣＤＭＡ，Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、広帯域符号分割多元アクセス（ＷＣＤＭＡ（登録商標），Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ロングタームエボリューション（ＬＴＥ，Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、電子メール、ショートメッセージングサービス（ＳＭＳ，Ｓｈｏｒｔ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ）等を含むが、これらに限定されない。
【０１４６】
メモリ８０２は、ソフトウェアプログラム及びモジュールを記憶するために用いられてもよい。プロセッサ８０８は、メモリ８０２に記憶されたソフトウェアプログラム及びモジュールを実行することで、様々な機能アプリケーション及びデータ処理を実行する。メモリ８０２は、プログラム記憶エリア及びデータ記憶エリアを主に含んでもよく、プログラム記憶エリアは、オペレーティングシステム、少なくとも一つの機能（音声再生機能、画像表示機能等）等に必要なアプリケーションプログラムを記憶してもよい。データ記憶エリアは、ビデオ符号化装置の使用に従って作成されたデータ（例えば、オーディオデータ、電話帳など）等を記憶してもよい。本発明の実施例において、プログラム記憶エリアはビデオ符号化アプリケーションプログラムを記憶するために用いられ、データ記憶エリアは原のビデオデータと符号化後のビデオデータを記憶するために用いられる。さらに、メモリ８０２は、高速ランダムアクセスメモリを含んでもよく、また、不揮発性メモリ、例えば少なくとも一つの磁気ディスク記憶装置、フラッシュメモリ、又は他の揮発性ソリッドステート記憶装置をさらに含んでもよい。対応して、メモリ８０２は、メモリ８０２へのプロセッサ８０８及び入力ユニット８０３のアクセスを提供するために、メモリコントローラをさらに含んでもよい。
【０１４７】
入力ユニット８０３は、入力された数字又は文字情報を受信し、ユーザ設定及び機能制御に関するキーボード、マウス、ジョイスティック、光又はトラックボール信号入力を生成するために用いられてもよい。具体的には、一つの具体的な実施例において、入力ユニット８０３は、タッチ表面又は他の入力装置を含んでもよい。タッチ表面はタッチスクリーン又はタッチパネルとも呼ばれ、タッチ表面上又はその近くのユーザのタッチ操作（指又はスタイラスのようないずれか適切な物又はアクセサリを使用することによるタッチ表面上又はその近くのユーザの操作等）を収集し、予め設定されたプログラムに従って対応する接続装置を駆動してもよい。選択的に、タッチ表面は、タッチ検出装置及びタッチコントローラを含んでもよい。タッチ検出装置は、ユーザのタッチ位置を検出し、タッチ操作により生成された信号を検出し、信号をタッチコントローラに転送する。タッチコントローラは、タッチ検出装置からタッチ情報を受信し、タッチ情報をタッチ点座標に変換し、タッチ点座標をプロセッサ８０８に送信し、そして、プロセッサ８０８から送信されたコマンドを受信して実行できる。さらに、タッチ表面は、抵抗性タイプ、容量性タイプ、赤外線タイプ又は面音波タイプのような複数のタイプで実現されてもよい。タッチ表面に加えて、入力ユニット８０３は、他の入力装置をさらに含んでもよい。具体的には、他の入力装置は、物理キーボード、機能キー（例えば、音量制御キー又はスイッチボタン）、トラックボール、マウス又はジョイスティックのうち一つ以上を含んでもよいが、これらに限定されない。
【０１４８】
表示ユニット８０４は、ユーザにより入力された情報又はユーザに提供される情報と、ビデオ符号化装置のグラフィカルユーザインタフェースとを表示するために用いられてもよい。グラフィカルユーザインタフェースは、画像、テキスト、アイコン、ビデオ又はこれらの任意の組み合わせで構成されてもよい。表示ユニット８０４は、表示パネルを含んでもよく、選択的に、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）等の形式で構成されてもよい。さらに、タッチ表面は、表示パネルをカバーしてもよい。タッチ表面上又はその近くのタッチ操作を検出した後に、タッチ表面は、タッチイベントのタイプを決定するために、タッチ操作をプロセッサ８０８に転送し、次に、プロセッサ８０８は、タッチイベントのタイプに従って、表示パネル上に対応する視覚出力を提供する。図９において、タッチ表面及び表示パネルは、二つの別々の部分として入力及び出力機能を実現するが、他の実施例では、タッチ表面及び表示パネルは集積されて入力及び出力機能を実現してもよい。
【０１４９】
ビデオ符号化装置は、光センサ、モーション・センサ、及びその他のセンサ等のような少なくとも１つのセンサ８０５をさらに含んでもよい。具体的には、光センサは、周囲光センサ及びプロキシミティセンサを含んでもよい。周囲光センサは、周囲光の輝度に応じてディスプレイパネルの輝きを調整でき、プロキシミティセンサは、ビデオ符号化装置が耳元に動かされた場合に、ディスプレイパネル及び/又はバックライトをオフにしてもよい。モーションセンサの一つとして、重力加速度センサは、様々な方向で(一般的には３軸で)加速度の大きさを検出し、静止している場合に重力の大きさ及び方向を検出してもよく、携帯電話ジェスチャ識別の応用(例えば、水平及び垂直画面の切り替え、関連するゲーム、磁力計のジェスチャの校正)、振動識別の関連機能 (例えば、歩数計やノック)などに用いられてもよく、ビデオ符号化装置には、ジャイロ、気圧計、湿度計、温度計、及び赤外線センサのような他のセンサーが配置されてもよく、ここで詳細に説明しない。
【０１５０】
オーディオ回路８０６、スピーカ、及びマイクロフォンは、ユーザとビデオ符号化装置との間のオーディオ・インターフェースを提供する。オーディオ回路８０６は、受信したオーディオデータを電気信号に変換し、スピーカへ送信してもよく、スピーカは音声信号に変換し出力する。一方、マイクロフォンは、収集した音声信号を電気信号に変換し、オーディオ回路８０６は、電気信号を受信し、オーディオデータに変換し、オーディオデータをプロセッサ８０８へ出力して処理させた後、ＲＦ回路８０１を介して例えば別のビデオ符号化装置へ送信するか、或いは、更なる処理のためにオーディオデータをメモリ８０２へ出力する。オーディオ回路８０６は、周辺イヤホンとビデオ符号化装置との間の通信を提供するために、イヤプラグジャックをさらに含んでもよい。
【０１５１】
ＷｉＦｉは、近距離無線通信技術である。ビデオ符号化装置は、Ｗｉ-Ｆｉモジュール８０７により、ユーザが、電子メールを送受信し、ウェブページを閲覧し、ストリーム媒体にアクセスすること等を支援し、ワイヤレス・ブロードバンド・インターネット・アクセスをユーザに提供する。図９は、Ｗｉ-Ｆｉモジュール８０７を示しているが、Ｗｉ-Ｆｉモジュール８０７はビデオ符号化装置の必須構成要件には含まれず、必要に応じて、本発明の本質的な範囲を変更することなく、省略可能であることは理解される。
【０１５２】
プロセッサー８０８は、ビデオ符号化装置の制御センタであり、様々なインタフェース及びラインを利用することにより、携帯電話全体の様々な部分を接続し、メモリ８０２に記憶されたソフトウェアプログラム及び／又はモジュールを動作又は実行し、メモリ８０２に記憶されたデータを呼び出すことにより、ビデオ符号化装置の様々な機能を実行し、データを処理し、それにより、携帯電話全体を監視する。選択的に、プロセッサ８０８は、一つ以上の処理コアを含んでもよい。プロセッサ８０８は、アプリケーションプロセッサ及びモデムプロセッサを統合することが好ましく、アプリケーションプロセッサは、オペレーティングシステム、ユーザインタフェース、アプリケーションプログラム等を主に処理し、モデムプロセッサは、無線通信を主に処理する。上記のモデムプロセッサは、プロセッサ８０８に統合されなくてもよいことが理解され得る。
【０１５３】
ビデオ符号化装置は、電力を各コンポーネントに供給する電源８０９（例えば、バッテリ）をさらに含む。電源は、電源管理システムを介してプロセッサ８０８に論理的に接続されてもよく、それにより、電源管理システムにより、充電、放電及び電力消費の管理のような機能が実現される。電源８０９は、一つ以上の直流又は交流電源、再充電システム、電源異常検出回路、電源コンバータ又はインバータ、電源状態インジケータなどの任意のコンポーネントをさらに含んでもよい。
【０１５４】
図示しないが、ビデオ符号化装置は、カメラ、ブルートゥース（登録商標）モジュール等をさらに含んでもよい。ここでは詳細に説明しない。具体的には、本実施例において、ビデオ符号化装置のプロセッサ８０８は、メモリ８０２に記憶された少なくとも一つの命令を実行することで、上記各方法実施例で提供される予測モード選択方法を実現する。
【０１５５】
本願の実施例は、さらに、コンピュータ読み取り可能な記憶媒体を提供し、当該記憶媒体は少なくとも一つの命令を記憶し、当該命令は、プロセッサーによりロードされて実行されることで、上記各方法実施例で提供される予測モード選択方法を実現する。
【０１５６】
本発明の上記の実施例についてのシーケンス番号は、単なる記述のためであり、実施例の好適性を示すわけではない。
【０１５７】
上記の説明は本発明の好ましい実施例に過ぎず、本発明を制限するように意図しない。本発明の精神及び原理の範囲内でなされる任意の修正、均等な置換又は改善は、本発明の保護範囲に属する。
【図１】
2019531036.tif 000003
【図２】
2019531036.tif 000004
【図３】
2019531036.tif 000005
【図４】
2019531036.tif 000006
【図５】
2019531036.tif 000007
【図６】
2019531036.tif 000008
【図７】
2019531036.tif 000009
【図８】
2019531036.tif 000010
【図９】
2019531036.tif 000011
【国際調査報告】
2019531036.tif 000012
2019531036.tif 000013
2019531036.tif 000014
2019531036.tif 000015