(57)【特許請求の範囲】
【請求項１】
処理対象符号化ユニットの現在の最適モードの残差係数を特定することと、
前記残差係数が０でない場合に、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ取得して、予測特徴ベクトルサンプルを構成することであって、前記処理対象符号化ユニットの符号化情報特徴は、前記処理対象符号化ユニットのレート歪みコスト、量化係数、歪み及び分散であり、前記近隣符号化ツリーユニットの符号化情報特徴は、前記近隣符号化ツリーユニットのレート歪みコスト及び深さ情報である、構成することと、
前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを示すための予測結果を得ることと、を含み、
前記予測モデルは、符号化ユニットの深さ分割を行ったか否かを示す分類結果で標識されたトレーニングサンプルを用いて事前トレーニングしたものであり、前記トレーニングサンプルは、前記所定タイプの符号化情報特徴を含む、ことを特徴とする符号化ユニットの深さ特定方法。
【請求項２】
前記処理対象符号化ユニットは、非Ｉフレームビデオ画像に属する、ことを特徴とする請求項１に記載の方法。
【請求項３】
前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ抽出する前に、
前記処理対象符号化ユニットの符号化深さが０であるか否かを判断し、ＹＥＳであれば、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ抽出するステップを実行すること、をさらに含む、ことを特徴とする請求項１に記載の方法。
【請求項４】
前記予測モデルは、Ｐフレーム予測モデルとＢフレーム予測モデルとを含み、前記Ｐフレーム予測モデルの事前トレーニング時に使用されるトレーニングサンプルは、Ｐフレームビデオ画像に属する符号化ユニットから抽出した前記所定タイプの符号化情報特徴であり、前記Ｂフレーム予測モデルの事前トレーニング時に使用されるトレーニングサンプルは、Ｂフレームビデオ画像に属する符号化ユニットから抽出した前記所定タイプの符号化情報特徴であり、
前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される予測結果を得ることは、
前記処理対象符号化ユニットの属するビデオフレーム画像のタイプがＰフレームかそれともＢフレームかを特定することと、
Ｐフレームであれば、前記予測特徴ベクトルサンプルを前記Ｐフレーム予測モデルに入力し、前記Ｐフレーム予測モデルから出力される予測結果を得ることと、
Ｂフレームであれば、前記予測特徴ベクトルサンプルを前記Ｂフレーム予測モデルに入力し、前記Ｂフレーム予測モデルから出力される予測結果を得ることと、を含む、ことを特徴とする請求項１乃至３のうちのいずれか一項に記載の方法。
【請求項５】
処理対象符号化ユニットの現在の最適モードの残差係数を特定する残差係数特定ユニットと、
前記残差係数が０でない場合に、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ取得して、予測特徴ベクトルサンプルを構成する特徴取得ユニットであって、前記処理対象符号化ユニットの符号化情報特徴は、前記処理対象符号化ユニットのレート歪みコスト、量化係数、歪み及び分散であり、前記近隣符号化ツリーユニットの符号化情報特徴は、前記近隣符号化ツリーユニットのレート歪みコスト及び深さ情報である、特徴取得ユニットと、
前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを示すための予測結果を得るモデル予測ユニットと、を備え、
前記予測モデルは、符号化ユニットの深さ分割を行ったか否かを示す分類結果で標識されたトレーニングサンプルを用いて事前トレーニングしたものであり、前記トレーニングサンプルは、前記所定タイプの符号化情報特徴を含む、ことを特徴とする符号化ユニットの深さ特定装置。
【請求項６】
前記残差係数特定ユニットは、具体的には、非Ｉフレームビデオ画像に属する処理対象符号化ユニットの現在の最適モードの残差係数を特定する、ことを特徴とする請求項５に記載の装置。
【請求項７】
前記処理対象符号化ユニットの符号化深さが０であるか否かを判断する符号化深さ判断ユニット、をさらに備え、
前記特徴取得ユニットは、具体的には、前記符号化深さ判断ユニットの判断結果がＹＥＳである場合に、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ抽出する、ことを特徴とする請求項５に記載の装置。
【請求項８】
前記予測モデルは、Ｐフレーム予測モデルとＢフレーム予測モデルとを含み、前記Ｐフレーム予測モデルの事前トレーニング時に使用されるトレーニングサンプルは、Ｐフレームビデオ画像に属する符号化ユニットから抽出した前記所定タイプの符号化情報特徴であり、前記Ｂフレーム予測モデルの事前トレーニング時に使用されるトレーニングサンプルは、Ｂフレームビデオ画像に属する符号化ユニットから抽出した前記所定タイプの符号化情報特徴であり、
前記モデル予測ユニットは、
前記処理対象符号化ユニットの属するビデオフレーム画像のタイプがＰフレームかそれともＢフレームかを特定するフレームタイプ特定ユニットと、
前記フレームタイプ特定ユニットによってＰフレームであると特定された場合に、前記予測特徴ベクトルサンプルを前記Ｐフレーム予測モデルに入力し、前記Ｐフレーム予測モデルから出力される予測結果を得るＰフレームモデル予測ユニットと、
前記フレームタイプ特定ユニットによってＢフレームであると特定された場合に、前記予測特徴ベクトルサンプルを前記Ｂフレーム予測モデルに入力し、前記Ｂフレーム予測モデルから出力される予測結果を得るＢフレームモデル予測ユニットと、を含む、ことを特徴とする請求項５乃至７のうちのいずれか一項に記載の装置。
【請求項９】
プログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、プロセッサは、記憶されたプログラム命令を実行する時に、請求項１乃至４のうちのいずれか一項に記載の方法を実行することを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１７年４月２１日にて中国特許庁へ出願した、出願番号が２０１７１０２６６７９８８で、発明の名称が「符号化ユニットの深さ特定方法及び装置」である中国特許出願の優先権を主張し、その内容を全て参照により本願に組み込むものとする。
【０００２】
本願は、ビデオ符号化の技術分野に関し、より具体的には、符号化ユニットの深さ特定方法及び装置に関する。
【背景技術】
【０００３】
近年来、デジタルビデオは、多くの消費者向けアプリケーションで主流のメディアコンテンツとなっており、より高い解像度とより良いビデオ品質に対する需要が高まっている。この需要に応えて、次世代のビデオ符号化の国際規格ＨＥＶＣ(Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ、高効率ビデオ符号化規格)が策定され始めた。Ｈ．２６４／ＡＶＣ規格に比べ、ＨＥＶＣはより高い符号化圧縮性能を得た。
【０００４】
図１を参照しながらＨＥＶＣ符号化規格による符号化過程を紹介する。元ビデオシーケンスにおける１フレームの画像をキャッシュされた参照フレームとともにフレーム内予測又はフレーム間予測した後、予測値を得て、予測値を入力されたビデオフレームから減算して残差を得て、残差に対してＤＣＴ(Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ、離散サイコン変換)及び量化を施した後、残差係数を得て、そしてエントロピー符号化モジュールで符号化し、ビデオコードストリームを出力する。同時に、残差係数に対して逆量化及び逆変換を繰り返した後、再構築画像の残差値を得て、再構築画像の残差値とフレーム内又はフレーム間予測値とを加算して、再構築画像を得て、再構築画像に対してデブロッキングフィルタリング、ループフィルタリングを施した後、再構築フレームを得て、再構築フレームは、次のフレームの入力画像の参照フレームとして、参照フレームシーケンスに追加される。
【０００５】
ＨＥＶＣ規格において、入力されたビデオフレームは、一連の符号化ツリーユニットＣＴＵ(Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ)に分割される。フレーム内又はフレーム間予測の時、各ＣＴＵは、最大符号化ユニットＬＣＵ(Ｌａｒｇｅｓｔ  Ｃｏｄｅ  Ｕｎｉｔ)から、１レイヤーごとに、四分木の形で異なるサイズの符号化ユニットＣＵ(Ｃｏｄｉｎｇ  Ｕｎｉｔ)に分割される。深さが０である階層はＬＣＵであり、そのサイズは、一般的には６４＊６４であり、深さが１〜３である階層のサイズはそれぞれ３２＊３２、１６＊１６、８＊８である。最適な符号化性能を達成するために、従来のＨＥＶＣでは、符号化ユニットＣＵブロックの深さ分割において最適モードを選択する時、完全トラバース方式を採用し、ＣＵブロックの異なる深さの全てのモードについてレート歪みコストを算出し、そして１レイヤーずつに比較し、さらに、レート歪みコストが最小のモードを選択する。図２を参照し、最適モードのＣＵ分割状況が示され、図２において、左側の図は具体的な分割方式であり、右側の図は左側の図の分割方式に対応する四分木であり、四分木におけるリーフノードは、左側の図における矢印で示される分割順に従って、各レイヤーにおける４つのＣＵブロックをさらに分割する必要があるか否かを示し、ただし、１は、必要があることを示し、０は、必要がないことを示す。
【０００６】
上記図２から分かるように、一部のＣＵブロックは、１レイヤー分割された後、最適モードを見つけ、更なる下向き分割、レート歪みコストの算出や比較を必要としない。図２に示すように、四分木のうち第１レイヤーにおける２つ目のＣＵブロックのノードの数値は０であり、更なる分割を必要としないことを示す。明らかに、従来の完全トラバースアルゴリズムによれば、その符号化予測過程はかなり時間がかかり、かつ多くの計算リソースを消費する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
これに鑑みて、本願は、従来の完全トラバース方法によれば、符号化ユニットの深さを特定する方法は符号化予測時間が長く、多くの計算リソースを消費する問題があることを解決するために、符号化ユニットの深さ特定方法及び装置を提供する。
【課題を解決するための手段】
【０００８】
本願の第１態様によれば、符号化ユニットの深さ特定方法であって、
処理対象符号化ユニットの現在の最適モードの残差係数を特定することと、
前記残差係数が０でない場合に、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ取得して、予測特徴ベクトルサンプルを構成することと、
前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを示すための予測結果を得ることと、を含み、
前記予測モデルは、分類結果で標識されたトレーニングサンプルを用いて事前トレーニングしたものであり、前記トレーニングサンプルは、前記所定タイプの符号化情報特徴を含む方法を提供する。
【０００９】
本願の第２態様によれば、符号化ユニットの深さ特定装置であって、
処理対象符号化ユニットの現在の最適モードの残差係数を特定する残差係数特定ユニットと、
前記残差係数が０でない場合に、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ取得して、予測特徴ベクトルサンプルを構成する特徴取得ユニットと、
前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを示すための予測結果を得るモデル予測ユニットと、を備え、
前記予測モデルは、分類結果で標識されたトレーニングサンプルを用いて事前トレーニングしたものであり、前記トレーニングサンプルは、前記所定タイプの符号化情報特徴を含む装置をさらに提供する。
【００１０】
本願の実施例の第３態様によれば、プログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、プロセッサは、記憶されたプログラム命令を実行する時に、上記いずれかの方法を実行する記憶媒体をさらに提供する。
【発明の効果】
【００１１】
本願の実施例に提供される符号化ユニットの深さ特定方法によれば、分類結果で標識されたトレーニングサンプルを用いて予測モデルを予めトレーニングし、このトレーニングサンプルは、所定タイプの符号化情報特徴を含み、さらに、処理対象符号化ユニットの現在の最適モードの残差係数が０でないと特定された場合に、処理対象符号化ユニットがｓkｉｐ符号化ユニットではなく、符号化深さの予測を行う必要があることが示唆され、さらに、処理対象符号化ユニット及びその存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴を取得し、予測特徴ベクトルサンプルを構成し、予測モデルに入力し、機械学習予測モデルを用いて処理対象符号化ユニットの深さ分割を行う必要があるか否かを予測する。本願では、予測結果から、処理対象符号化ユニットの深さ分割を行う必要がないことが示唆される場合に、処理対象符号化ユニットの深さ分割及びレート歪みコストの算出や比較を行う必要がなく、従来技術に比べその符号化予測時間が大幅に削減されるとともに、計算リソースが低減され、計算の複雑さが軽減される。
【図面の簡単な説明】
【００１２】
本発明の実施例の技術的構成をより明瞭に説明するために、以下、実施例の説明に必要な図面を簡単に紹介する。以下に説明される図面は本発明の一部の実施例に過ぎず、当業者であれば、これらの図面に基づいて他の附図を得ることができることは、明らかである。
【００１３】
【図１】ＨＥＶＣによる符号化フレームワーク模式図である。
【図２】最適モードのＣＵ分割模式図を示している。
【図３】本願の実施例に開示されるサーバハードウェア構造模式図である。
【図４】本願の実施例に開示される符号化ユニットの深さ特定方法のフローチャートである。
【図５】本願の実施例に開示される他の符号化ユニットの深さ特定方法のフローチャートである。
【図６】本願の実施例に開示される更なる符号化ユニットの深さ特定方法のフローチャートである。
【図７】本願の実施例に開示される第１平均コストの特定方法のフローチャートである。
【図８】Ｃｕｒｒｅｎｔ  ＣＴＵの各近隣符号化ツリーユニットのＣＵ分割模式図を示している。
【図９】本願の実施例に開示される処理対象符号化ユニットの深さ分割を行う必要があるか否かを特定する方法のフローチャートである。
【図１０】本願の実施例に開示される符号化ユニットの深さ特定装置の構造模式図である。
【発明を実施するための形態】
【００１４】
以下、本願の実施例の図面を結合して本願の実施例中の技術的構成を明瞭かつ完全に説明する。説明する実施例は本願の実施例の一部に過ぎず、全部でないことは、言うまでもないことである。当業者が本願の実施例に基づいて、創造的な労働無しに得られた他の実施例も、全て本願の保護範囲内に含まれる。
【００１５】
本願の実施例は、サーバに基づいて実現されるビデオエンコーダに適用可能な符号化ユニットの深さ特定ソリューションを提供する。このサーバのハードウェア構造は、コンピュータ、ノートパソコン等の処理装置であることができ、本願の符号化ユニットの深さ特定方法の紹介に先立って、まずサーバのハードウェア構造を紹介する。図３に示すように、このサーバは、
プロセッサ１と、通信インターフェース２と、メモリ３と、通信バス４と、ディスプレイ５とを備えることができる。
【００１６】
プロセッサ１、通信インターフェース２、メモリ３およびディスプレイ５は通信バス４を介して相互間の通信を達成する。
【００１７】
次に、サーバのハードウェア構造を結合して、本願の符号化ユニットの深さ特定方法を紹介し、図４に示すように、この方法は、以下のステップＳ１００〜ステップＳ１２０を含む。
【００１８】
ステップＳ１００：処理対象符号化ユニットの現在の最適モードの残差係数を特定する。
【００１９】
具体的には、処理対象符号化ユニットについて、標準プロトコルに基づいて候補ｍｖ(ｍｏｔｉｏｎ  ｖｅｃｔｏｒ、動きベクトル)リストを構築し、そして、リストにおける各ｍｖをトラバースし、做動き補償を行い、予測値を得て、その後、予測値と処理対象符号化ユニットの原画素との差分の二乗和(ＳＳＤ、Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ)を算出し、対応するｍｖのインデックスでトラバースされたビット数ｂｉｔｓを推定し、レート歪みコストｒｄｃｏｓｔの最小値に対応するｍｖを見つけ、最適モードのｍｖになる。ここで、
ｒｄｃｏｓｔ＝ＳＳＤ＋λ＊ｂｉｔ(λは定数である)。
【００２０】
さらに、最適なｍｖに対応するＳＳＤを算出した結果を変換し量化して、残差係数を得る。残差係数が０であれば、処理対象符号化ユニットがｓkｉｐブロックであることが示され、そうでなければ、ｍｅｒｇｅブロックである。
【００２１】
なお、残差係数が０であれば、処理対象符号化ユニットがｓkｉｐブロックであることが示され、ＣＵ分割を直接終了してもよく、そうでなければ、処理対象符号化ユニットＣＵの分割予測を行う必要があることが示唆される。
【００２２】
具体的な実施にあたり、予め通信インターフェース２によって処理対象ビデオフレーム画像をメモリ３に記憶することができる。符号化時に、プロセッサ１は、通信バス４を介して、メモリに記憶された処理対象ビデオフレーム画像を取得し、複数の符号化ユニットに分割し、その中から処理対象符号化ユニットを特定し、処理対象符号化ユニットの現在の最適モードの残差係数を特定する。
【００２３】
オプションとして、通信インターフェース２は通信モジュールのインターフェース、例えば、ＧＳＭ（登録商標）モジュールのインターフェースであってもよい。
【００２４】
オプションとして、プロセッサ１は、中央処理装置ＣＰＵ又は特定用途向け集積回路ＡＳＩＣ(Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Iｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ)であるか、或いは、本願の実施例を実施する１つ又は複数の集積回路として構成されてもよい。
【００２５】
ステップＳ１１０：前記残差係数が０でない場合に、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ取得して、予測特徴ベクトルサンプルを構成する。
【００２６】
具体的には、本ステップで取得された符号化情報特徴のタイプと、予測モデルのトレーニング過程に使用されるトレーニングサンプルのタイプとが同じである。本願では、各タイプの符号化情報特徴テンプレートを予め設定することができ、さらに、符号化情報特徴テンプレートに従って、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから符号化情報特徴を取得し、取得された符号化情報特徴によって予測特徴ベクトルサンプルが構成される。符号化情報特徴の取得対象は、処理対象符号化ユニットＣＵ、および、処理対象符号化ユニットＣＵの存在する符号化ツリーユニットＣＴＵの近隣符号化ツリーユニットＣＴＵである。
【００２７】
具体的な実施にあたり、メモリ３に各タイプの符号化情報特徴テンプレートを予め記憶することができ、さらに、プロセッサ１は符号化情報特徴テンプレートに従って、処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから符号化情報特徴を取得して、予測特徴ベクトルサンプルを構成することができる。
【００２８】
ステップＳ１２０：前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される予測結果を得て、前記予測結果は、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを示すためである。
【００２９】
前記予測モデルは、分類結果で標識されたトレーニングサンプルを用いて事前トレーニングしたものであり、前記トレーニングサンプルは、前記所定タイプの符号化情報特徴を含む。
【００３０】
具体的な実施にあたり、予測モデルをメモリ３に予め記憶することができる。予測時に、プロセッサ１は、前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される予測結果を得て、ディスプレイ５を介して出力し表示する。
【００３１】
予測モデルは、ＳＶＭ(Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Mａｃｈｉｎｅ、サポートベクトルマシン)モデル、又は、ニューラルネットワークモデル機械学習モデル等であることができる。
【００３２】
本願の実施例に提供される符号化ユニットの深さ特定方法によれば、分類結果で標識されたトレーニングサンプルを用いて予測モデルを予めトレーニングし、このトレーニングサンプルは、所定タイプの符号化情報特徴を含み、さらに、処理対象符号化ユニットの現在の最適モードの残差係数が０でないと特定された場合に、処理対象符号化ユニットがｓkｉｐ符号化ユニットではなく、符号化深さの予測を行う必要があることが示唆され、さらに、処理対象符号化ユニット及びその存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴を取得して、予測特徴ベクトルサンプルを構成し、予測モデルに入力し、機械学習予測モデルを用いて処理対象符号化ユニットの深さ分割を行う必要があるか否かを予測する。本願では、予測結果から、処理対象符号化ユニットの深さ分割を行う必要がないことが示唆される場合に、処理対象符号化ユニットの深さ分割及びレート歪みコストの算出や比較を行う必要がなく、従来技術に比べその符号化予測時間が大幅に削減されるとともに、計算リソースが低減され、計算の複雑さが軽減される。
【００３３】
オプションとして、符号化全過程においてＩフレームの占める比率が小さいため、本願では、非Ｉフレームビデオ画像に属する処理対象符号化ユニットのみについて深さ特定を行ってもよく、つまり、上記処理対象符号化ユニットは非Ｉフレームビデオ画像に属する。
【００３４】
本願の他の実施例において、他の符号化ユニットの深さ特定方法を紹介し、図５に示すように、この方法は、以下のステップＳ２００〜ステップＳ２３０を含む。
【００３５】
ステップＳ２００：処理対象符号化ユニットの現在の最適モードの残差係数を特定する。
【００３６】
ステップＳ２１０：前記残差係数が０でない場合に、前記処理対象符号化ユニットの符号化深さが０であるか否かを判断し、ＹＥＳであれば、ステップＳ２２０を実行する。
【００３７】
具体的には、処理対象符号化ユニットの符号化深さが０であれば、処理対象符号化ユニットが最大符号化ユニットＬＣＵであることが示され、つまり、符号化ツリーユニットＣＴＵの分割を行っていない。
【００３８】
本実施例において、処理対象符号化ユニットの符号化深さが０であると特定された場合に、後述する予測モデルを用いて処理対象符号化ユニットの深さ分割を行う必要があるか否かを予測する操作を実行する。
【００３９】
なお、符号化深さが０でない処理対象符号化ユニットについて、予測モデルを用いて予測する中、その算出過程も複雑であり、本願では、他の方式で予測することができ、詳しくは、明細書の後述する関連紹介を参照する。
【００４０】
ステップＳ２２０：前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ取得して、予測特徴ベクトルサンプルを構成する。
【００４１】
ステップＳ２３０：前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される予測結果を得て、前記予測結果は、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを示すためである。
【００４２】
前記予測モデルは、分類結果で標識されたトレーニングサンプルを用いて事前トレーニングしたものであり、前記トレーニングサンプルは、前記所定タイプの符号化情報特徴を含む。
【００４３】
前の実施例に比べ、本実施例において、予測モデルを用いて符号化深さの予測を行う判断条件が追加され、即ち、処理対象符号化ユニットの符号化深さが０であると特定された場合に、モデル予測過程を実行する。符号化深さが０でない処理対象符号化ユニットについて、予測モデルを用いて予測する中、その算出過程も複雑であり、本願では、他の方式で予測することができ、詳しくは、明細書の後述する関連紹介を参照する。
【００４４】
本願の他の実施例において、予測モデルを紹介する。
【００４５】
ビデオコードストリームにおけるＢフレームとＰフレームの誤差積算周期が異なるため、予測モデルの予測結果をより正確にするために、本願では、予測モデルがＰフレーム予測モデルとＢフレーム予測モデルを含むとしてもよい。
【００４６】
ただし、
Ｐフレーム予測モデルの事前トレーニング時に使用されるトレーニングサンプルは、Ｐフレームビデオ画像に属する符号化ユニットから抽出した所定タイプの符号化情報特徴である。
【００４７】
Ｂフレーム予測モデルの事前トレーニング時に使用されるトレーニングサンプルは、Ｂフレームビデオ画像に属する符号化ユニットから抽出した前記所定タイプの符号化情報特徴である。
【００４８】
上記ステップＳ２３０において、前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される予測結果を得る過程は、具体的には、以下のステップにより実現される。
【００４９】
Ｓ１：前記処理対象符号化ユニットの属するビデオフレーム画像のタイプがＰフレームかそれともＢフレームかを特定する。
【００５０】
Ｓ２：Ｐフレームであれば、前記予測特徴ベクトルサンプルを前記Ｐフレーム予測モデルに入力し、前記Ｐフレーム予測モデルから出力される予測結果を得る。
【００５１】
Ｓ３：Ｂフレームであれば、前記予測特徴ベクトルサンプルを前記Ｂフレーム予測モデルに入力し、前記Ｂフレーム予測モデルから出力される予測結果を得る。
【００５２】
本願では、Ｂフレーム及びＰフレームビデオ画像に含まれる処理対象符号化ユニットに対して異なる予測モデルを用いて予測することで、予測結果の正確度を向上させている。
【００５３】
次に、本願の予測モデルの確立過程を紹介する。
【００５４】
一、トレーニング特徴の取得
まず、予測モデルのトレーニング時に使用されるトレーニングサンプルを紹介する。処理対象符号化ユニットを現在符号化ユニットとして定義し、処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットを現在符号化ユニットの近隣符号化ツリーユニットとして定義すれば、本願では、予測モデルのトレーニング時に使用される所定タイプの符号化情報特徴は、
１、現在符号化ユニットのコスト(ｃｕｒｒ＿ｍｅｒｇｅ＿ｒｄｃｏｓｔ)
２、現在符号化ユニットの歪み(ｃｕｒｒ＿ｍｅｒｇｅ＿ｄｉｓｔｏｒｔｉｏｎ)
３、現在符号化ユニットの量化係数(ｃｕｒｒ＿ｑｐ)
４、現在符号化ユニットの分散(ｃｕｒｒ＿ｖａｒ)
５、現在符号化ユニットの近隣符号化ツリーユニットのコスト(ａｒｏｕｎｄ＿ｒｄｃｏｓｔ)
６、現在符号化ユニットの近隣符号化ツリーユニットの深さ情報(ａｒｏｕｎｄ＿ｄｅｐｔｈ)、を含むことができる。
【００５５】
現在符号化ユニットの近隣符号化ツリーユニットは、現在符号化ユニットの存在する符号化ツリーユニットの上側の近隣符号化ツリーユニット及び左側の近隣符号化ツリーユニットであることができ、上記符号化情報特徴５は、具体的には、
５１、現在符号化ユニットの左側の近隣符号化ツリーユニットのコスト(ｌｅｆｔ＿ｒｄｃｏｓｔ)
５２、現在符号化ユニットの上側の近隣符号化ツリーユニットのコスト(ａｂｏｖｅ＿ｒｄｃｏｓｔ)、を含むことができる。
【００５６】
上記符号化情報特徴６は、具体的には、
６１、現在符号化ユニットの左側の近隣符号化ツリーユニットの深さ情報(ｌｅｆｔ＿ｄｅｐｔｈ)
６２、現在符号化ユニットの上側の近隣符号化ツリーユニットの深さ情報(ａｂｏｖｅ＿ｄｅｐｔｈ)、を含むことができる。
【００５７】
なお、予測モデルのトレーニング時に使用される符号化情報特徴のタイプと、処理対象符号化ユニットがモデル予測を行う時に取得した符号化情報特徴のタイプとは一致しなければならない。
【００５８】
これに基づいて、本願では、異なる場面でのビデオコードストリームシーケンスを選択することができ、シーケンスに含まれるトレーニングされる符号化ユニットごとに、上記各タイプの符号化情報特徴をオフラインで抽出し、実際の符号化過程において、トレーニングされる符号化ユニットの深さ分割を行ったか否かを記録し、ＹＥＳであれば、トレーニングされる符号化ユニットの分類結果を第１標識値として標識し、ＮＯであれば、トレーニングされる符号化ユニットの分類結果を第２標識値として標識する。第１標識値は１であることができ、第２標識値は−１であることができる。
【００５９】
トレーニングされる符号化ユニットで取得された各タイプの符号化情報特徴からトレーニング特徴ベクトルを構成し、トレーニング特徴ベクトル及びトレーニングされる符号化ユニットの分類結果からトレーニングサンプルを構成する。
【００６０】
なお、Ｂフレーム予測モデルとＰフレーム予測モデルとは個別にトレーニングされるため、ＢフレームとＰフレームの符号化情報特徴も個別に抽出されるべきである。そして、本実施例では、符号化深さが０であるトレーニングされる符号化ユニットのみを抽出してもよく、トレーニングした予測モデルは、符号化深さが０である処理対象符号化ユニットのみについて予測する。
【００６１】
二、モデルのトレーニング
本実施例では、ＳＶＭモデルでトレーニングすることができ、サードパーティによるオープンソースソフトウェアを用いて、オフラインでトレーニングする。
【００６２】
Ｓ１：トレーニングサンプルの組み合わせ。１：１の割合で、分類結果がそれぞれ深さ分割を必要とすること及び深さ分割を必要としないことであるトレーニングサンプルを取得し、そして入れ替えて全トレーニングサンプルセットになる。
【００６３】
Ｓ２：トレーニングサンプルの標準化。整理しておくトレーニングサンプルを標準化し、トレーニングサンプルを区間［−１，１］にマッピングする。
【００６４】
本ステップにおいて、トレーニングサンプルの標準化操作を行うのは、データ形式を統一するためであり、予測の正確度を向上させることができる。
【００６５】
Ｓ３：モデルのトレーニング。サードパーティによるオープンソースソフトウェアを呼び出し、ＲＢＦカーネルを用いて、Ｂフレームに属するトレーニングサンプル、Ｐフレームに属するトレーニングサンプルを個別にトレーニングし、最後にＢフレーム予測モデル及びＰフレーム予測モデルをそれぞれ得て、ｍｏｄｅ＿Ｂ＿ｃｕ６４＊６４及びｍｏｄｅ＿Ｐ＿ｃｕ６４＊６４として記する。
【００６６】
本願の更なる実施例において、更なる符号化ユニットの深さ特定方法を紹介し、図６に示すように、この方法は、以下のステップＳ３００〜ステップＳ３６０を含む。
【００６７】
ステップＳ３００：処理対象符号化ユニットの現在の最適モードの残差係数を特定する。
【００６８】
ステップＳ３１０：前記残差係数が０でない場合に、前記処理対象符号化ユニットの符号化深さが０であるか否かを判断し、ＹＥＳであれば、ステップＳ３２０を実行し、ＮＯであれば、ステップＳ３４０を実行する。
【００６９】
具体的には、処理対象符号化ユニットの符号化深さが０であれば、処理対象符号化ユニットが最大符号化ユニットＬＣＵであることが示され、つまり、符号化ツリーユニットＣＴＵの分割を行っていない。
【００７０】
本実施例において、処理対象符号化ユニットの符号化深さが０であると特定された場合に、後述する予測モデルを用いて処理対象符号化ユニットの深さ分割を行う必要があるか否かを予測する操作を実行する。処理対象符号化ユニットの符号化深さが０でないと特定された場合に、他の方法で符号化深さの予測を行う。
【００７１】
ステップＳ３２０：前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ取得して、予測特徴ベクトルサンプルを構成する。
【００７２】
ステップＳ３３０：前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される予測結果を得て、前記予測結果は、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを示す。
【００７３】
前記予測モデルは、分類結果で標識されたトレーニングサンプルを用いて事前トレーニングしたものであり、前記トレーニングサンプルは、前記所定タイプの符号化情報特徴を含む。
【００７４】
上記ステップＳ３００〜Ｓ３３０は、前の実施例におけるステップＳ２００〜Ｓ２３０と１対１で対応し、ここでは、その詳細な説明を省略する。
【００７５】
ステップＳ３４０：前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットのうち、前記処理対象符号化ユニットと同じ符号化深さの符号化ユニットの平均コストを特定し、第１平均コストとする；
ステップＳ３５０：前記処理対象符号化ユニットの存在する符号化ツリーユニットのうち、同じ符号化深さの符号化済みの符号化ユニットの平均コストを特定し、第２平均コストとする。
【００７６】
ステップＳ３６０：前記第１平均コスト及び前記第２平均コストに基づいて、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを特定する。
【００７７】
上述した各実施例に比べ、本実施例において、処理対象符号化ユニットの符号化深さが０でないと特定された場合に、処理対象符号化ユニットの符号化深さを予測する過程が追加され、即ち、処理対象符号化ユニット及びその存在する符号化ツリーユニットの近隣符号化ツリーユニットのうち同じ符号化深さの符号化ユニットの平均コストに基づいて、処理対象符号化ユニットの深さ分割を行う必要があるか否かを予測する。１フレームのビデオ画像における近隣する符号化ツリーユニットの像素分布に大きな差が出るはずはないため、符号化済みの近隣符号化ツリーのうち同じ符号化深さの符号化ユニットの平均コストに基づいて、処理対象符号化ユニットの深さ分割を行う必要があるか否かを予測することができ、その予測結果の正確率が比較的に高く、かつ処理対象符号化ユニットの深さ分割及びレート歪みコストの算出や比較を行う必要がなく、従来技術に比べその符号化予測時間が大幅に削減されるとともに、計算リソースが低減され、計算の複雑さが軽減される。
【００７８】
さらに、上記ステップＳ３４０の実現過程を紹介し、詳しくは図７を参照し、この過程は以下のステップＳ４００〜ステップＳ４２０を含むことができる。
【００７９】
ステップＳ４００：前記処理対象符号化ユニットの存在する符号化ツリーユニットの各近隣符号化ツリーユニットから、前記処理対象符号化ユニットと同じ符号化深さの符号化ユニットの平均コストを特定する。
【００８０】
ステップＳ４１０：各前記近隣符号化ツリーユニットと前記処理対象符号化ユニットの存在する符号化ツリーユニットとの方位関係に従って、各前記近隣符号化ツリーユニットの重み値を特定する。
【００８１】
具体的には、説明のために、処理対象符号化ユニットの存在する符号化ツリーユニットをＣｕｒｒｅｎｔ  ＣＴＵとして定義し、Ｃｕｒｒｅｎｔ  ＣＴＵの近隣符号化ツリーユニットは、左側の近隣符号化ツリーユニットＬｅｆｔ  ＣＴＵ、左上隅の近隣符号化ツリーユニットＡｂｏｖｅＬｅｆｔ  ＣＴＵ、上側の近隣符号化ツリーユニットＡｂｏｖｅ  ＣＴＵ、右上隅の近隣符号化ツリーユニットＡｂｏｖｅＲｉｇｈｔ  ＣＴＵを含むことができる。
【００８２】
図８には、Ｃｕｒｒｅｎｔ  ＣＴＵの各近隣符号化ツリーユニットが示されている。
【００８３】
なお、Ｃｕｒｒｅｎｔ  ＣＴＵと各近隣ＣＴＵとの方位関係が異なり、さらに、各近隣ＣＴＵの重み値も異なる。
【００８４】
オプションとする対応関係において、近隣ＣＴＵの重みの比は、
Ｌｅｆｔ  ＣＴＵ：Ａｂｏｖｅ  ＣＴＵ：ＡｂｏｖｅＬｅｆｔ  ＣＴＵ：ＡｂｏｖｅＲｉｇｈｔ  ＣＴＵ＝２：２：１：１である。
【００８５】
ステップＳ４２０：各前記近隣符号化ツリーユニットの重み値及びその平均コストに基づいて、各前記近隣符号化ツリーユニットの重み付き平均コストを特定し、第１平均コストとする。
【００８６】
具体的には、各近隣符号化ツリーユニットの平均コストと対応する重み値とを乗算し、乗算結果を得て、各乗算結果を加算し、重み付き平均コストを得て、第１平均コストとする。
【００８７】
図８に示される場合を例として、第１平均コストの特定過程を説明する。
【００８８】
処理対象符号化ユニットの符号化深さを１とする。図８から分かるように、Ｌｅｆｔ  ＣＴＵは、４つの符号化深さが１であるＣＵ３２＊３２を含み、ＡｂｏｖｅＬｅｆｔ  ＣＴＵは、３つの符号化深さが１であるＣＵ３２＊３２を含み、Ａｂｏｖｅ  ＣＴは、０個の符号化深さが１であるＣＵ３２＊３２を含み、ＡｂｏｖｅＲｉｇｈｔ  ＣＴＵは、２つの符号化深さが１であるＣＵ３２＊３２を含む。
【００８９】
ＣＴＵにおいて符号化深さが１である４つのＣＵ３２＊３２の位置標識は、時計回り方向に左上隅から順に０、１、２、３であると定義される。
【００９０】
図８から分かるように、
ｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ＝ｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ０＋ｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ１＋ｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ２＋ｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ３；
ａｂｏｖｅｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ＝ａｂｏｖｅｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ０＋ａｂｏｖｅｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ２＋ａｂｏｖｅｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ３；
ａｂｏｖｅｒｉｇｈｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ＝ａｂｏｖｅｒｉｇｈｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ１＋ａｂｏｖｅｒｉｇｈｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ２である。
【００９１】
式１を例として説明すると、ｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔは、左側の近隣ＣＴＵのうち符号化深さが１であるＣＵの平均コストを示し、ｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ０は、左側の近隣ＣＴＵのうち符号化深さが１であるＣＵにおける位置標識が０であるＣＵのコストを示す。
【００９２】
さらに、全ての近隣ＣＴＵのうち符号化深さが１であるＣＵの重み付き平均コストは、
Ａｖｇ＿ｄｅｐｔｈ１＿ｃｏｓｔ＝(ｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ＊２＋ａｂｏｖｅｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ＊１＋ａｂｏｖｅｒｉｇｈｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ＊１)／(ｌｅｆｔ＿ｄｅｐｔｈ１＿ｎｕｍ＊２＋ａｂｏｖｅｌｅｆｔ＿ｄｅｐｔｈ１＿ｎｕｍ＊１＋ａｂｏｖｅｒｉｇｈｔ＿ｄｅｐｔｈ１＿ｎｕｍ＊１)である。
【００９３】
式中、ｌｅｆｔ＿ｄｅｐｔｈ１＿ｎｕｍ、ａｂｏｖｅｌｅｆｔ＿ｄｅｐｔｈ１＿ｎｕｍ、ａｂｏｖｅｒｉｇｈｔ＿ｄｅｐｔｈ１＿ｎｕｍは、それぞれ、左側の近隣、左上の近隣及右上の近隣ＣＴＵのうち、符号化深さが１であるＣＵの数を示す。
【００９４】
なお、以上、あくまでも符号化深さが１である場合について説明したが、符号化深さが２、３である場合の算出方式は、上記と同様である。
【００９５】
さらに、上記ステップＳ３６０で、前記第１平均コスト及び前記第２平均コストに基づいて、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを特定する実現過程を紹介し、詳しくは図９を参照し、この過程は以下のステップＳ５００〜ステップＳ５３０を含むことができる。
【００９６】
ステップＳ５００：前記第１平均コスト及び前記第２平均コストに基づいて、コスト閾値を特定する。
【００９７】
具体的には、第１平均コストと第２平均コストについて異なる重み値を設定することができ、さらに、第１平均コスト及び第２平均コストを重み付き加算し、その結果をコスト閾値とすることができる。
【００９８】
オプションとして、近隣ＣＴＵはすべて符号化が済んだので、第１平均コストの重み値を第２平均コストの重み値よりも大きく設定してもよい。
【００９９】
ステップＳ５１０：前記処理対象符号化ユニットの現在の最適モードのコストが前記コスト閾値よりも小さいか否かを判断し、ＹＥＳであれば、ステップＳ５２０を実行し、ＮＯであれば、ステップＳ５３０を実行する。
【０１００】
ステップＳ５２０：前記処理対象符号化ユニットの深さ分割を行う必要がないと特定する。
【０１０１】
ステップＳ５３０：前記処理対象符号化ユニットの深さ分割を行う必要があると特定する。
【０１０２】
具体的には、処理対象符号化ユニットの現在の最適モードのコストがコスト閾値よりも小さければ、本願では、処理対象符号化ユニットの深さ分割をこれ以上行う必要がないと認められ、そうでなければ、処理対象符号化ユニットの深さ分割が依然として必要であることが示される。
【０１０３】
処理対象符号化ユニットの符号化深さを相変わらず１とし、図８に示されるものを結合して説明する。
【０１０４】
前記処理対象符号化ユニットの存在する符号化ツリーユニットのうち符号化深さが１である符号化済みの符号化ユニットの平均コストは、Ａｖｇ＿ｃｕｒｒ＿ＣＵ＿ｄｅｐｔｈ１で示され、つまり、第２平均コストはＡｖｇ＿ｃｕｒｒ＿ＣＵ＿ｄｅｐｔｈ１で示されることを定義する。
【０１０５】
第１平均コストと第２平均コストの重み値の比を４：３に設定する。コスト閾値は、
Ｔｈｒｅｓｈｏｌｄ＿ｄｅｐｔｈ１＝(Ａｖｇ＿ｄｅｐｔｈ１＿ｃｏｓｔ＊４＋Ａｖｇ＿ｃｕｒｒ＿ＣＵ＿ｄｅｐｔｈ１＊３)／(３＋４)で示される。
【０１０６】
処理対象符号化ユニットの現在の最適モードのコストをｃｕｒｒ＿ｃｏｓｔ＿ｄｅｐｔｈ１として定義し、ｃｕｒｒ＿ｃｏｓｔ＿ｄｅｐｔｈ１＜Ｔｈｒｅｓｈｏｌｄ＿ｄｅｐｔｈ１であると特定されていれば、処理対象符号化ユニットの深さ分割をこれ以上行う必要がないと認められ、そうでなければ、深さ分割を行う必要がある。
【０１０７】
本願に提供される上記方法及び従来技術によって実験検証すると、従来の完全トラバース方法に比べ、本願の方法では符号化速度が９４％増加し、圧縮率が３．１％減少したことが分かり、これにより、本願では、圧縮率が少し減少した割に、符号化速度がかなり増加しているため、ビデオエンコーダの符号化速度が大幅に増加され、算出の複雑さが大幅に軽減される。
【０１０８】
以下、本願の実施例に提供される符号化ユニットの深さ特定装置を説明し、後述する符号化ユニットの深さ特定装置は、上述した符号化ユニットの深さ特定方法と互いに対応して参照することができる。
【０１０９】
図１０を参照し、図１０は、本願の実施例に開示される符号化ユニットの深さ特定装置の構造模式図である。
【０１１０】
図１０に示すように、この装置は、
処理対象符号化ユニットの現在の最適モードの残差係数を特定する残差係数特定ユニット１１と、
前記残差係数が０でない場合に、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ取得して、予測特徴ベクトルサンプルを構成する特徴取得ユニット１２と、
前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを示すための予測結果を得るモデル予測ユニット１３と、を備え、
前記予測モデルは、分類結果で標識されたトレーニングサンプルを用いて事前トレーニングしたものであり、前記トレーニングサンプルは、前記所定タイプの符号化情報特徴を含む。
【０１１１】
本願の実施例に提供される符号化ユニットの深さ特定装置によれば、分類結果で標識されたトレーニングサンプルを用いて予測モデルを予めトレーニングし、このトレーニングサンプルは、所定タイプの符号化情報特徴を含み、さらに、処理対象符号化ユニットの現在の最適モードの残差係数が０でないと特定された場合に、処理対象符号化ユニットがｓkｉｐ符号化ユニットではなく、符号化深さの予測を行う必要があることが示唆され、さらに、処理対象符号化ユニット及びその存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴を取得して、予測特徴ベクトルサンプルを構成し、予測モデルに入力し、機械学習予測モデルを用いて処理対象符号化ユニットの深さ分割を行う必要があるか否かを予測する。本願では、予測結果から、処理対象符号化ユニットの深さ分割を行う必要がないことが示唆される場合に、処理対象符号化ユニットの深さ分割及びレート歪みコストの算出や比較を行う必要がなく、従来技術に比べその符号化予測時間が大幅に削減されるとともに、計算リソースが低減され、計算の複雑さが軽減される。
【０１１２】
オプションとして、前記残差係数特定ユニットは、具体的には、非Ｉフレームビデオ画像に属する処理対象符号化ユニットの現在の最適モードの残差を特定してもよい。
【０１１３】
オプションとして、本願の装置は、
前記処理対象符号化ユニットの符号化深さが０であるか否かを判断する符号化深さ判断ユニットをさらに備えてもよい。
【０１１４】
これに基づいて、前記特徴取得ユニットは、具体的には、前記符号化深さ判断ユニットの判断結果がＹＥＳである場合に、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ抽出する。
【０１１５】
オプションとして、本願の装置は、
前記処理対象符号化ユニットの符号化深さが０でないと判断された場合に、前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットのうち、前記処理対象符号化ユニットと同じ符号化深さの符号化ユニットの平均コストを特定し、第１平均コストとする近隣平均コスト特定ユニットと、
前記処理対象符号化ユニットの存在する符号化ツリーユニットのうち、同じ符号化深さの符号化済みの符号化ユニットの平均コストを特定し、第２平均コストとする自身平均コスト特定ユニットと、
前記第１平均コスト及び前記第２平均コストに基づいて、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを特定する深さ分割判断ユニットと、をさらに備えてもよい。
【０１１６】
オプションとして、前記予測モデルは、Ｐフレーム予測モデル及びＢフレーム予測モデルを含み、前記Ｐフレーム予測モデルの事前トレーニング時に使用されるトレーニングサンプルは、Ｐフレームビデオ画像に属する符号化ユニットから抽出した前記所定タイプの符号化情報特徴であり、前記Ｂフレーム予測モデルの事前トレーニング時に使用されるトレーニングサンプルは、Ｂフレームビデオ画像に属する符号化ユニットから抽出した前記所定タイプの符号化情報特徴であるようにしてもよい。これに基づいて、前記モデル予測ユニットは、
前記処理対象符号化ユニットの属するビデオフレーム画像のタイプがＰフレームかそれともＢフレームかを特定するフレームタイプ特定ユニットと、
前記フレームタイプ特定ユニットによってＰフレームであると特定された場合に、前記予測特徴ベクトルサンプルを前記Ｐフレーム予測モデルに入力し、前記Ｐフレーム予測モデルから出力される予測結果を得るＰフレームモデル予測ユニットと、
前記フレームタイプ特定ユニットによってＢフレームであると特定された場合に、前記予測特徴ベクトルサンプルを前記Ｂフレーム予測モデルに入力し、前記Ｂフレーム予測モデルから出力される予測結果を得るＢフレームモデル予測ユニットと、を含んでもよい。
【０１１７】
オプションとして、前記特徴取得ユニットは、
前記処理対象符号化ユニットのコスト、量化係数、歪み及び分散を取得する第１特徴取得ユニットと、
前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットのコスト及び深さ情報を取得する第２特徴取得ユニットと、を含んでもよい。
【０１１８】
オプションとして、前記近隣平均コスト特定ユニットは、
前記処理対象符号化ユニットの存在する符号化ツリーユニットの各近隣符号化ツリーユニットから、前記処理対象符号化ユニットと同じ符号化深さの符号化ユニットの平均コストを特定する第１近隣平均コスト特定サブユニットと、
各前記近隣符号化ツリーユニットと前記処理対象符号化ユニットの存在する符号化ツリーユニットとの方位関係に従って、各前記近隣符号化ツリーユニットの重み値を特定する第２近隣平均コスト特定サブユニットと、
各前記近隣符号化ツリーユニットの重み値及びその平均コストに基づいて、各前記近隣符号化ツリーユニットの重み付き平均コストを特定し、第１平均コストとする第３近隣平均コスト特定サブユニットと、を含んでもよい。
【０１１９】
オプションとして、前記深さ分割判断ユニットは、
前記第１平均コスト及び前記第２平均コストに基づいて、コスト閾値を特定するコスト閾値特定ユニットと、
前記処理対象符号化ユニットの現在の最適モードのコストが前記コスト閾値よりも小さいか否かを判断し、ＹＥＳであれば、前記処理対象符号化ユニットの深さ分割を行う必要がないと特定し、ＮＯであれば、前記処理対象符号化ユニットの深さ分割を行う必要があると特定するコスト閾値比較ユニットと、を含んでもよい。
【０１２０】
本願の実施例にはビデオエンコーダがさらに開示され、このビデオエンコーダは、上述した符号化ユニットの深さ特定装置を備える。
【０１２１】
さらに、ビデオエンコーダは、以上で紹介した予測モデルをさらに備えてもよい。本願に開示されるビデオエンコーダは、従来のビデオエンコーダに比べ、その符号化速度が大幅に増加され、算出の複雑さも大幅に軽減される。
【０１２２】
なお、最後に、本文において、第１及び第２のような関係を表す用語は、あくまでもエンティティ又は操作を他のエンティティ又は操作から区別するためであり、これらのエンティティ又は操作間にこのような実際の関係や順番があることを要求するか暗示するとは限らない。また、用語である「含む」、「有する」及びそれらの如何なる変形は、排他的にならずに含まれたものをカバーすることがその意図であり、これにより、一連の要素を含めた過程、方法、製品又は機器は、これらの要素を含むだけでなく、明確にリストアップされていない他の要素をも含むか、或いは、これらの過程、方法、製品又は機器に固有であったりする他の要素をも含む。更なる限定がない場合に、「１つの・・・を含む」という表現で限定された要素は、前記要素を含む過程、方法、製品又は機器には他の同一の要素がさらに含まれていることを排除しない。
【０１２３】
本明細書において、各実施例を順に説明し、各実施例について重点を置いて説明した部分は他の実施例と異なるものであり、各実施例間で同一の又は類似した部分は互いに参照すればよい。
【０１２４】
開示された実施例を以上のように説明することで、当業者は本願を実現又は使用することができる。これらの実施例に対する様々な修正は当業者にとって自明なものであり、本文に定義された一般的な原理は本願の思想や範囲から逸脱しない限り、他の実施例にて実現されることができる。このため、本願は本文に示されるこれらの実施例に制限されることなく、本文に開示された原理及び新規特徴と一致する最も広い範囲に合致する。
【符号の説明】
【０１２５】
１  プロセッサ
２  通信インターフェース
３  メモリ
４  通信バス
５  ディスプレイ
１１  残差係数特定ユニット
１２  特徴取得ユニット
１３  モデル予測ユニット
【図１】
0006843239.tif 000002
【図２】
0006843239.tif 000003
【図３】
0006843239.tif 000004
【図４】
0006843239.tif 000005
【図５】
0006843239.tif 000006
【図６】
0006843239.tif 000007
【図７】
0006843239.tif 000008
【図８】
0006843239.tif 000009
【図９】
0006843239.tif 000010
【図１０】
0006843239.tif 000011