(57)【要約】  ビデオ符号化においてアフィンブロックと共に使用する補間フィルタを選択する手法が開示される。アフィンブロックのサブブロックについて、制御点に基づいて動きベクトルが決定される。また、サブブロックのサブブロックサイズが決定される。サブブロックに対応する参照ブロックに適用する補間フィルタが選択される。補間フィルタはサブブロックサイズに基づいて選択される。サブブロックの動きベクトルとサブブロックの現在サンプルのオフセットを使って、参照ブロックの参照サンプルを決定する。これは、オフセットにある動きベクトルが参照ブロックの小数位置を指し示す場合に、参照サンプルを決定するために、参照ブロックに補間フィルタを適用することを含む。アフィンブロックをエンコードするために、参照サンプルを使って残余情報を決定する。
2021513813.tif 000002
【特許請求の範囲】
【請求項１】
エンコーダで実施される方法であって、前記方法は、
前記エンコーダのプロセッサにより、アフィンインター予測に従ってビデオ信号からアフィンブロックをエンコードするための制御点を決定するステップと、
前記プロセッサにより、前記サブブロックのサブブロックサイズを決定するステップと、
前記プロセッサにより、前記制御点に基づいて前記アフィンブロックのサブブロックの動きベクトルを決定するステップと、
前記プロセッサにより、前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択するステップであって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、ステップと、
前記プロセッサにより、現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定するステップであって、前記現在サンプルの前記動きベクトルが前記サブブロックの前記動きベクトルからオフセットされる、ステップと、
前記プロセッサにより、前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定するステップと、
前記プロセッサにより、前記サブブロックの前記現在サンプルと前記参照ブロックの前記参照サンプルとの差異に基づいて前記サブブロックの残余情報を決定するステップと、
前記プロセッサにより、前記制御点および前記残余情報をビットストリームにエンコードするステップと、
ビデオフレームの一部としての前記アフィンブロックの復元をサポートするために、前記エンコーダの送信器により、前記ビットストリームをデコーダへ送信するステップと
を含む、方法。
【請求項２】
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、前記サブブロックサイズが前記閾値以下である場合は第2の数のタップを含むように選択され、タップの前記第1の数はタップの前記第2の数よりも大きい、請求項1に記載の方法。
【請求項３】
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合に、6タップ、8タップ、または12タップを含む離散コサイン変換補間フィルタ（DCT-IF）として選択される、請求項1または2に記載の方法。
【請求項４】
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、4タップまたは6タップを含むDCT-IFとして選択される、請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、5タップを含むワーピング補間フィルタ（WIF）として選択される、請求項1から3のいずれか一項に記載の方法。
【請求項６】
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差、前記アフィンブロックの幅、および前記アフィンブロックの高さに基づいて決定される、請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、前記アフィンブロックのサイズ、および動きベクトル精度から決定される、請求項1から5のいずれか一項に記載の方法。
【請求項８】
ビデオ符号化装置によって使用されるコンピュータプログラムを格納した非一時的なコンピュータ読取可能媒体であって、前記コンピュータプログラムは、前記非一時的なコンピュータ読取可能媒体に格納されたコンピュータ実行可能命令を含み、前記コンピュータ実行可能命令は、プロセッサによって実行されると、前記ビデオ符号化装置に請求項1から7のいずれか一項に記載の方法を実行させる、非一時的なコンピュータ読取可能媒体。
【請求項９】
アフィンインター予測に従ってビデオ信号からアフィンブロックをエンコードするための制御点を決定することと、
前記サブブロックのサブブロックサイズを決定することと、
前記制御点に基づいて前記アフィンブロックのサブブロックの動きベクトルを決定することと、
前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択することであって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、ことと、
現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定することであって、前記現在サンプルの前記動きベクトルが前記サブブロックの前記動きベクトルからオフセットされる、ことと、
前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定することと、
前記サブブロックの前記現在サンプルと前記参照ブロックの前記参照サンプルとの差異に基づいて前記サブブロックの残余情報を決定することと、
前記制御点および前記残余情報をビットストリームにエンコードすることと
を行うように構成されたプロセッサと、
前記プロセッサに接続された送信器であって、ビデオフレームの一部としての前記アフィンブロックの復元をサポートするために、前記ビットストリームをデコーダへ送信するように構成された送信器と
を含む、ビデオ符号化装置。
【請求項１０】
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、前記サブブロックサイズが前記閾値以下である場合は第2の数のタップを含むように選択され、タップの前記第1の数はタップの前記第2の数よりも大きい、請求項9に記載のビデオ符号化装置。
【請求項１１】
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合に、6タップ、8タップ、または12タップを含む離散コサイン変換補間フィルタ（DCT-IF）として選択される、請求項9または10に記載のビデオ符号化装置。
【請求項１２】
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、4タップまたは6タップを含むDCT-IFとして選択される、請求項9から11のいずれか一項に記載のビデオ符号化装置。
【請求項１３】
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、5タップを含むワーピング補間フィルタ（WIF）として選択される、請求項9から11のいずれか一項に記載のビデオ符号化装置。
【請求項１４】
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差、前記アフィンブロックの幅、および前記アフィンブロックの高さに基づいて決定される、請求項9から13のいずれか一項に記載のビデオ符号化装置。
【請求項１５】
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、前記アフィンブロックのサイズ、および動きベクトル精度から決定される、請求項9から13のいずれか一項に記載のビデオ符号化装置。
【請求項１６】
アフィンインター予測に従ってビデオ信号からアフィンブロックをエンコードするための制御点を決定する制御点手段と、
前記サブブロックのサブブロックサイズを決定するサブブロックサイズ手段と、
前記制御点に基づいて前記アフィンブロックのサブブロックの動きベクトルを決定する動きベクトル手段と、
前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択するフィルタ選択手段であって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、フィルタ選択手段と、
現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定し、前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定する参照決定手段であって、前記現在サンプルの前記動きベクトルが前記サブブロックの前記動きベクトルからオフセットされる、参照決定手段と、
前記サブブロックの前記現在サンプルと前記参照ブロックの前記参照サンプルとの差異に基づいて前記サブブロックの残余情報を決定する残余手段と、
前記制御点および前記残余情報をビットストリームにエンコードするエンコーディング手段と、
ビデオフレームの一部としての前記アフィンブロックの復元をサポートするために、前記ビットストリームをデコーダへ送信する送信手段と
を含む、エンコーダ。
【請求項１７】
請求項1から7のいずれか一項に記載の方法を実施するようにさらに構成される、請求項16に記載のエンコーダ。
【請求項１８】
デコーダで実施される方法であって、前記方法は、
前記デコーダの受信器により、アフィンインター予測に従って符号化されたアフィンブロックを記述する制御点を含むビットストリームを受信するステップと、
前記デコーダのプロセッサにより、前記サブブロックのサブブロックサイズを決定するステップと、
前記プロセッサにより、前記制御点に基づいて前記アフィンブロックのサブブロックの動きベクトルを決定するステップと、
前記プロセッサにより、前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択するステップであって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、ステップと、
前記プロセッサにより、現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定するステップであって、前記現在サンプルの前記動きベクトルが前記サブブロックの前記動きベクトルからオフセットされる、ステップと、
前記プロセッサにより、前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定するステップと、
前記プロセッサにより、前記参照サンプルに基づいて予測情報を決定するステップと、
前記プロセッサにより、前記予測情報に基づき、かつ前記ビットストリームに含まれている前記アフィンブロックの残余情報に基づき、前記アフィンブロックを復元するステップと、
前記プロセッサにより、復元された前記アフィンブロックを復元されたビデオシーケンスの一部としてディスプレイへ転送するステップと
を含む、方法。
【請求項１９】
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、前記サブブロックサイズが前記閾値以下である場合は第2の数のタップを含むように選択され、タップの前記第1の数はタップの前記第2の数よりも大きい、請求項18に記載の方法。
【請求項２０】
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合に、6タップ、8タップ、または12タップを含む離散コサイン変換補間フィルタ（DCT-IF）として選択される、請求項18から19のいずれか一項に記載の方法。
【請求項２１】
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、4タップまたは6タップを含むDCT-IFとして選択される、請求項18から20のいずれか一項に記載の方法。
【請求項２２】
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、5タップを含むワーピング補間フィルタ（WIF）として選択される、請求項18から20のいずれか一項に記載の方法。
【請求項２３】
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差、前記アフィンブロックの幅、および前記アフィンブロックの高さに基づいて決定される、請求項18から22のいずれか一項に記載の方法。
【請求項２４】
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、前記アフィンブロックのサイズ、および動きベクトル精度から決定される、請求項18から22のいずれか一項に記載の方法。
【請求項２５】
ビデオ符号化装置によって使用されるコンピュータプログラムを格納した非一時的なコンピュータ読取可能媒体であって、前記コンピュータプログラムは、前記非一時的なコンピュータ読取可能媒体に格納されたコンピュータ実行可能命令を含み、前記コンピュータ実行可能命令は、プロセッサによって実行されると、前記ビデオ符号化装置に請求項18から24のいずれか一項に記載の方法を実行させる、非一時的なコンピュータ読取可能媒体。
【請求項２６】
アフィンインター予測に従って符号化されたアフィンブロックを記述する制御点を含むビットストリームを受信するように構成された受信器と、
前記受信器に接続されたプロセッサであって、
前記サブブロックのサブブロックサイズを決定することと、
前記制御点に基づいて前記アフィンブロックのサブブロックの動きベクトルを決定することと、
前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択することであって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、ことと、
現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定することであって、前記現在サンプルの前記動きベクトルが前記サブブロックの前記動きベクトルからオフセットされる、ことと、
前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定することと、
前記参照サンプルに基づいて予測情報を決定することと、
前記予測情報に基づき、かつ前記ビットストリームに含まれている前記アフィンブロックの残余情報に基づき、前記アフィンブロックを復元することと、
復元された前記アフィンブロックを復元されたビデオシーケンスの一部としてディスプレイへ転送することと
を行うように構成されたプロセッサと
を含む、ビデオ符号化装置。
【請求項２７】
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、前記サブブロックサイズが前記閾値以下である場合は第2の数のタップを含むように選択され、タップの前記第1の数はタップの前記第2の数よりも大きい、請求項26に記載のビデオ符号化装置。
【請求項２８】
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合に、6タップ、8タップ、または12タップを含む離散コサイン変換補間フィルタ（DCT-IF）として選択される、請求項26から27のいずれか一項に記載のビデオ符号化装置。
【請求項２９】
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、4タップまたは6タップを含むDCT-IFとして選択される、請求項26から28のいずれか一項に記載のビデオ符号化装置。
【請求項３０】
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、5タップを含むワーピング補間フィルタ（WIF）として選択される、請求項26から28のいずれか一項に記載のビデオ符号化装置。
【請求項３１】
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差、前記アフィンブロックの幅、および前記アフィンブロックの高さに基づいて決定される、請求項26から30のいずれか一項に記載のビデオ符号化装置。
【請求項３２】
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、前記アフィンブロックのサイズ、および動きベクトル精度から決定される、請求項26から30のいずれか一項に記載のビデオ符号化装置。
【請求項３３】
アフィンインター予測に従って符号化されたアフィンブロックを記述する制御点を含むビットストリームを受信する受信手段と、
前記制御点に基づいて前記アフィンブロックのサブブロックの動きベクトルを決定する動きベクトル手段と、
前記サブブロックのサブブロックサイズを決定するサブブロックサイズ手段と、
前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択するフィルタ選択手段であって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、フィルタ選択手段と、
現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定し、前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定する参照決定手段であって、前記現在サンプルの前記動きベクトルが前記サブブロックの前記動きベクトルからオフセットされる、参照決定手段と、
前記参照サンプルに基づいて予測情報を決定する予測手段と、
前記予測情報に基づき、かつ前記ビットストリームに含まれている前記アフィンブロックの残余情報に基づき、前記アフィンブロックを復元する復元手段と、
復元された前記アフィンブロックを復元されたビデオシーケンスの一部としてディスプレイへ転送する転送手段と
を含む、デコーダ。
【請求項３４】
請求項18から24のいずれか一項に記載の方法を実施するようにさらに構成される、請求項31に記載のデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本特許出願は、Huanbang Chenらによって2018年2月14日に提出された「Adaptive Interpolation Filter」と題する米国仮特許出願第62/630,607号の利益を主張するものであり、その内容が参照により本特許出願に援用される。
【０００２】
本開示は、一般的にはビデオ符号化に関し、具体的にはビデオ符号化でインター予測によりビデオブロックを符号化するための動きモデル候補リストの生成に関する。
【背景技術】
【０００３】
たとえ比較的短いビデオであっても、これを表すのに必要なビデオデータはかなりの量となるため、データのストリーミングが行われたり、帯域幅容量に限りがある通信ネットワークにまたがってデータが伝達されたりする場合には困難が生じることがある。このため、ビデオデータは通常、今日の通信ネットワークにまたがって伝達される前に圧縮される。ビデオがストレージ装置に格納される場合は、メモリーリソースが乏しい場合もあるため、ビデオのサイズが問題になることもある。ビデオ圧縮装置は多くの場合、伝送や格納に先立ち供給元でソフトウェアおよび／またはハードウェアを使ってビデオデータを符号化し、そうすることでデジタルビデオ画像を表すのに必要なデータの量を減らす。その後、圧縮されたデータは、供給先でビデオデータをデコードするビデオ解凍装置によって受け取られる。ネットワークリソースには限りがあり、より高いビデオ品質を求める要求が増大しているため、画質をほとんど犠牲にしないかまったく犠牲にせずに圧縮率を高める改善された圧縮・解凍技法が望まれている。
【発明の概要】
【課題を解決するための手段】
【０００４】
一実施形態において、本開示はエンコーダで実施される方法を含む。方法は、エンコーダのプロセッサにより、アフィンインター予測に従ってビデオ信号からアフィンブロックをエンコードするための制御点を決定するステップを含む。方法は、プロセッサにより、サブブロックのサブブロックサイズを決定するステップをさらに含む。方法は、プロセッサにより、制御点に基づいてアフィンブロックのサブブロックの動きベクトルを決定するステップをさらに含む。方法は、プロセッサにより、サブブロックに対応する参照ブロックに適用する補間フィルタを選択するステップであって、補間フィルタがサブブロックサイズに基づいて選択される、ステップをさらに含む。方法は、プロセッサにより、現在サンプルの動きベクトルが参照ブロックの小数位置を指し示していると判定するステップであって、現在サンプルの動きベクトルがサブブロックの動きベクトルからオフセットされる、ステップをさらに含む。方法は、プロセッサにより、参照ブロックに補間フィルタを適用して、小数位置で参照サンプルを決定するステップをさらに含む。方法は、プロセッサにより、サブブロックの現在サンプルと参照ブロックの参照サンプルとの差異に基づいてサブブロックの残余情報を決定するステップをさらに含む。方法は、プロセッサにより、制御点および残余情報をビットストリームにエンコードするステップをさらに含む。方法は、ビデオフレームの一部としてのアフィンブロックの復元をサポートするために、エンコーダの送信器により、ビットストリームをデコーダへ送信するステップをさらに含む。例えば、アフィンインター予測ではサブブロックの動きベクトルが選択される。その後、動きベクトルと、現在サンプルと動きベクトルの最初の位置とのオフセットとに基づいて、サブブロックの各サンプルが対応する参照サンプルに比較される。インター予測ではこのプロセスを用いて予測情報と残余情報を決定する。場合によっては、サンプルオフセットにある動きベクトルが参照フレームの小数位置を指し示すことがある。小数位置で参照サンプルの実効値を決定するために補間フィルタが適用され、これによりサンプルを比較することができる。フィルタは複雑度が様々であり、複雑なフィルタはエンコーダとデコーダの両方で処理リソースを犠牲にしてより高い精度を提供する。さらに、小さいブロックは大きいブロックよりも正確に動きに一致する傾向がある。開示される実施形態は、全てのサブブロックに対してただ1つの補間フィルタの適用を試みるのではなく、サブブロックのサイズに基づいて補間フィルタを選択することを含む。例えば、閾値よりも小さいサブブロックの場合は、複雑度が低いフィルタが選択され、閾値よりも大きいサブブロックの場合は、より複雑で強力な補間フィルタが使用される。これにより、フレームからフレームにかけて動きがよく一致し、相反するデータがほとんど存在しない場合は、複雑度が低いフィルタを使用し、動きがより複雑である場合は、複雑度が高いフィルタを使用することが可能となる。
【０００５】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、補間フィルタは、サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、サブブロックサイズが閾値以下である場合は第2の数のタップを含むように選択され、タップの第1の数はタップの第2の数よりも大きい。補間フィルタの複雑度は、フィルタで使われるタップ（例えば係数および／または項）の数で測定できる。本実施形態では、大きいサブブロックの場合にタップが多く複雑度が高いフィルタが使われ、小さいサブブロックの場合はタップが少なく複雑度が低いフィルタが使われる。
【０００６】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、補間フィルタは、サブブロックサイズが閾値よりも大きい場合に、6タップ、8タップ、または12タップを含む離散コサイン変換補間フィルタ（DCT-IF）として選択される。
【０００７】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、補間フィルタは、サブブロックサイズが閾値以下である場合に、4タップまたは6タップを含むDCT-IFとして選択される。
【０００８】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、補間フィルタは、サブブロックサイズが閾値以下である場合に、5タップを含むワーピング補間フィルタ（WIF）として選択される。
【０００９】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、サブブロックサイズは、アフィンブロックの制御点間の動きベクトル差、アフィンブロックの幅、およびアフィンブロックの高さに基づいて決定される。
【００１０】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、サブブロックサイズは、アフィンブロックの制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、アフィンブロックのサイズ、および動きベクトル精度から決定される。
【００１１】
一実施形態において、本開示は、ビデオ符号化装置によって使用されるコンピュータプログラム製品を含む非一時的なコンピュータ読取可能媒体を含み、コンピュータプログラム製品は非一時的なコンピュータ読取可能媒体に格納されたコンピュータ実行可能命令を含み、プロセッサによって実行されると、ビデオ符号化装置に上述した態様のいずれかの態様の方法を実行させる。
【００１２】
一実施形態において、本開示は、アフィンインター予測に従ってビデオ信号からアフィンブロックをエンコードするための制御点を決定するように構成されたプロセッサを含むビデオ符号化装置を含む。プロセッサは、サブブロックのサブブロックサイズを決定するようにさらに構成される。プロセッサは、制御点に基づいてアフィンブロックのサブブロックの動きベクトルを決定するようにさらに構成される。プロセッサは、サブブロックに対応する参照ブロックに適用する補間フィルタを選択し、補間フィルタはサブブロックサイズに基づいて選択される、ようにさらに構成される。プロセッサは、現在サンプルの動きベクトルが参照ブロックの小数位置を指し示していると判定し、現在サンプルの動きベクトルがサブブロックの動きベクトルからオフセットされる、ようにさらに構成される。プロセッサは、参照ブロックに補間フィルタを適用して、小数位置で参照サンプルを決定するようにさらに構成される。プロセッサは、サブブロックの現在サンプルと参照ブロックの参照サンプルとの差異に基づいてサブブロックの残余情報を決定するようにさらに構成される。プロセッサは、制御点および残余情報をビットストリームにエンコードするようにさらに構成される。ビデオ符号化装置はまた、プロセッサに接続された送信器を含み、送信器は、ビデオフレームの一部としてのアフィンブロックの復元をサポートするために、ビットストリームをデコーダへ送信するように構成される。開示される実施形態は、全てのサブブロックに対してただ1つの補間フィルタの適用を試みるのではなく、サブブロックのサイズに基づいて補間フィルタを選択することを含む。例えば、閾値よりも小さいサブブロックの場合は、複雑度が低いフィルタが選択され、閾値よりも大きいサブブロックの場合は、より複雑で強力な補間フィルタが使用される。これにより、フレームからフレームにかけて動きがよく一致し、相反するデータがほとんど存在しない場合は、複雑度が低いフィルタを使用し、動きがより複雑である場合は、複雑度が高いフィルタを使用することが可能となる。
【００１３】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、補間フィルタは、サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、サブブロックサイズが閾値以下である場合は第2の数のタップを含むように選択され、タップの第1の数はタップの第2の数よりも大きい。補間フィルタの複雑度は、フィルタで使われるタップ（例えば係数および／または項）の数で測定できる。本実施形態では、大きいサブブロックの場合にタップが多く複雑度が高いフィルタが使われ、小さいサブブロックの場合はタップが少なく複雑度が低いフィルタが使われる。
【００１４】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、補間フィルタは、サブブロックサイズが閾値よりも大きい場合に、6タップ、8タップ、または12タップを含むDCT-IFとして選択される。
【００１５】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、補間フィルタは、サブブロックサイズが閾値以下である場合に、4タップまたは6タップを含むDCT-IFとして選択される。
【００１６】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、補間フィルタは、サブブロックサイズが閾値以下である場合に、5タップを含むWIFとして選択される。
【００１７】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、サブブロックサイズは、アフィンブロックの制御点間の動きベクトル差、アフィンブロックの幅、およびアフィンブロックの高さに基づいて決定される。
【００１８】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、サブブロックサイズは、アフィンブロックの制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、アフィンブロックのサイズ、および動きベクトル精度から決定される。
【００１９】
一実施形態において、本開示は、アフィンインター予測に従ってビデオ信号からアフィンブロックをエンコードするための制御点を決定する制御点手段を含むエンコーダを含む。エンコーダは、サブブロックのサブブロックサイズを決定するサブブロックサイズ手段をさらに含む。エンコーダは、制御点に基づいてアフィンブロックのサブブロックの動きベクトルを決定する動きベクトル手段をさらに含む。エンコーダは、サブブロックに対応する参照ブロックに適用する補間フィルタを選択し、補間フィルタがサブブロックサイズに基づいて選択される、フィルタ選択手段をさらに含む。エンコーダは、現在サンプルの動きベクトルが参照ブロックの小数位置を指し示していると判定し、現在サンプルの動きベクトルがサブブロックの動きベクトルからオフセットされ、参照ブロックに補間フィルタを適用して、小数位置で参照サンプルを決定する参照決定手段をさらに含む。エンコーダは、サブブロックの現在サンプルと参照ブロックの参照サンプルとの差異に基づいてサブブロックの残余情報を決定する残余手段をさらに含む。エンコーダは、制御点および残余情報をビットストリームにエンコードするエンコーディング手段をさらに含む。エンコーダは、ビデオフレームの一部としてのアフィンブロックの復元をサポートするために、ビットストリームをデコーダへ送信する送信手段をさらに含む。開示される実施形態は、全てのサブブロックに対してただ1つの補間フィルタの適用を試みるのではなく、サブブロックのサイズに基づいて補間フィルタを選択することを含む。例えば、閾値よりも小さいサブブロックの場合は、複雑度が低いフィルタが選択され、閾値よりも大きいサブブロックの場合は、より複雑で強力な補間フィルタが使用される。これにより、フレームからフレームにかけて動きがよく一致し、相反するデータがほとんど存在しない場合は、複雑度が低いフィルタを使用し、動きがより複雑である場合は、複雑度が高いフィルタを使用することが可能となる。
【００２０】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、エンコーダは、上述した態様のいずれかの態様の方法を実行するようにさらに構成される。
【００２１】
一実施形態において、本開示はデコーダで実施される方法を含む。方法は、デコーダの受信器により、アフィンインター予測に従って符号化されたアフィンブロックを記述する制御点を含むビットストリームを受信するステップを含む。方法は、プロセッサにより、サブブロックのサブブロックサイズを決定するステップをさらに含む。方法は、プロセッサにより、制御点に基づいてアフィンブロックのサブブロックの動きベクトルを決定するステップをさらに含む。方法は、プロセッサにより、サブブロックに対応する参照ブロックに適用する補間フィルタを選択するステップであって、補間フィルタがサブブロックサイズに基づいて選択される、ステップをさらに含む。方法は、プロセッサにより、現在サンプルの動きベクトルが参照ブロックの小数位置を指し示していると判定するステップであって、現在サンプルの動きベクトルがサブブロックの動きベクトルからオフセットされる、ステップをさらに含む。方法は、プロセッサにより、参照ブロックに補間フィルタを適用して、小数位置で参照サンプルを決定するステップをさらに含む。方法は、プロセッサにより、参照サンプルに基づいて予測情報を決定するステップをさらに含む。方法は、プロセッサにより、予測情報に基づき、かつビットストリームに含まれているアフィンブロックの残余情報に基づき、アフィンブロックを復元するステップをさらに含む。方法は、プロセッサにより、復元されたアフィンブロックを復元されたビデオシーケンスの一部としてディスプレイへ転送するステップをさらに含む。開示される実施形態は、全てのサブブロックに対してただ1つの補間フィルタの適用を試みるのではなく、サブブロックのサイズに基づいて補間フィルタを選択することを含む。例えば、閾値よりも小さいサブブロックの場合は、複雑度が低いフィルタが選択され、閾値よりも大きいサブブロックの場合は、より複雑で強力な補間フィルタが使用される。これにより、フレームからフレームにかけて動きがよく一致し、相反するデータがほとんど存在しない場合は、複雑度が低いフィルタを使用し、動きがより複雑である場合は、複雑度が高いフィルタを使用することが可能となる。
【００２２】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、補間フィルタは、サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、サブブロックサイズが閾値以下である場合は第2の数のタップを含むように選択され、タップの第1の数はタップの第2の数よりも大きい。補間フィルタの複雑度は、フィルタで使われるタップ（例えば係数および／または項）の数で測定できる。本実施形態では、大きいサブブロックの場合にタップが多く複雑度が高いフィルタが使われ、小さいサブブロックの場合はタップが少なく複雑度が低いフィルタが使われる。
【００２３】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、補間フィルタは、サブブロックサイズが閾値よりも大きい場合に、6タップ、8タップ、または12タップを含むDCT-IFとして選択される。
【００２４】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、補間フィルタは、サブブロックサイズが閾値以下である場合に、4タップまたは6タップを含むDCT-IFとして選択される。
【００２５】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、補間フィルタは、サブブロックサイズが閾値以下である場合に、5タップを含むWIFとして選択される。
【００２６】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、サブブロックサイズは、アフィンブロックの制御点間の動きベクトル差、アフィンブロックの幅、およびアフィンブロックの高さに基づいて決定される。
【００２７】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、サブブロックサイズは、アフィンブロックの制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、アフィンブロックのサイズ、および動きベクトル精度から決定される。
【００２８】
一実施形態において、本開示は、ビデオ符号化装置によって使用されるコンピュータプログラム製品を含む非一時的なコンピュータ読取可能媒体を含み、コンピュータプログラム製品は非一時的なコンピュータ読取可能媒体に格納されたコンピュータ実行可能命令を含み、プロセッサによって実行されると、ビデオ符号化装置に上述した態様のいずれかの態様の方法を実行させる。
【００２９】
一実施形態において、本開示は、アフィンインター予測に従って符号化されたアフィンブロックを記述する制御点を含むビットストリームを受信するように構成された受信器を含むビデオ符号化装置を含む。ビデオ符号化装置は、受信器に接続され、サブブロックのサブブロックサイズを決定するように構成されたプロセッサをさらに含む。プロセッサは、制御点に基づいてアフィンブロックのサブブロックの動きベクトルを決定するようにさらに構成される。プロセッサは、サブブロックに対応する参照ブロックに適用する補間フィルタを選択し、補間フィルタはサブブロックサイズに基づいて選択される、ようにさらに構成される。プロセッサは、現在サンプルの動きベクトルが参照ブロックの小数位置を指し示していると判定し、現在サンプルの動きベクトルがサブブロックの動きベクトルからオフセットされる、ようにさらに構成される。プロセッサは、参照ブロックに補間フィルタを適用して、小数位置で参照サンプルを決定するようにさらに構成される。プロセッサは、参照サンプルに基づいて予測情報を決定するようにさらに構成される。プロセッサは、予測情報に基づき、かつビットストリームに含まれているアフィンブロックの残余情報に基づき、アフィンブロックを復元するようにさらに構成される。プロセッサは、復元されたアフィンブロックを復元されたビデオシーケンスの一部としてディスプレイへ転送するようにさらに構成される。開示される実施形態は、全てのサブブロックに対してただ1つの補間フィルタの適用を試みるのではなく、サブブロックのサイズに基づいて補間フィルタを選択することを含む。例えば、閾値よりも小さいサブブロックの場合は、複雑度が低いフィルタが選択され、閾値よりも大きいサブブロックの場合は、より複雑で強力な補間フィルタが使用される。これにより、フレームからフレームにかけて動きがよく一致し、相反するデータがほとんど存在しない場合は、複雑度が低いフィルタを使用し、動きがより複雑である場合は、複雑度が高いフィルタを使用することが可能となる。
【００３０】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、補間フィルタは、サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、サブブロックサイズが閾値以下である場合は第2の数のタップを含むように選択され、タップの第1の数はタップの第2の数よりも大きい。補間フィルタの複雑度は、フィルタで使われるタップ（例えば係数および／または項）の数で測定できる。本実施形態では、大きいサブブロックの場合にタップが多く複雑度が高いフィルタが使われ、小さいサブブロックの場合はタップが少なく複雑度が低いフィルタが使われる。
【００３１】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、補間フィルタは、サブブロックサイズが閾値よりも大きい場合に、6タップ、8タップ、または12タップを含むDCT-IFとして選択される。
【００３２】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、補間フィルタは、サブブロックサイズが閾値以下である場合に、4タップまたは6タップを含むDCT-IFとして選択される。
【００３３】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、補間フィルタは、サブブロックサイズが閾値以下である場合に、5タップを含むWIFとして選択される。
【００３４】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、サブブロックサイズは、アフィンブロックの制御点間の動きベクトル差、アフィンブロックの幅、およびアフィンブロックの高さに基づいて決定される。
【００３５】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、サブブロックサイズは、アフィンブロックの制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、アフィンブロックのサイズ、および動きベクトル精度から決定される。
【００３６】
一実施形態において、本開示は、アフィンインター予測に従って符号化されたアフィンブロックを記述する制御点を含むビットストリームを受信する受信手段を含むデコーダを含む。デコーダは、制御点に基づいてアフィンブロックのサブブロックの動きベクトルを決定する動きベクトル手段をさらに含む。デコーダは、サブブロックのサブブロックサイズを決定するサブブロックサイズ手段をさらに含む。デコーダは、サブブロックに対応する参照ブロックに適用する補間フィルタを選択し、補間フィルタがサブブロックサイズに基づいて選択される、フィルタ選択手段をさらに含む。デコーダは、現在サンプルの動きベクトルが参照ブロックの小数位置を指し示していると判定し、現在サンプルの動きベクトルがサブブロックの動きベクトルからオフセットされ、参照ブロックに補間フィルタを適用して、小数位置で参照サンプルを決定する参照決定手段をさらに含む。デコーダは、参照サンプルに基づいて予測情報を決定する予測手段をさらに含む。デコーダは、予測情報に基づき、かつビットストリームに含まれているアフィンブロックの残余情報に基づき、アフィンブロックを復元する復元手段をさらに含む。デコーダは、復元されたアフィンブロックを復元されたビデオシーケンスの一部としてディスプレイへ転送する転送手段をさらに含む。開示される実施形態は、全てのサブブロックに対してただ1つの補間フィルタの適用を試みるのではなく、サブブロックのサイズに基づいて補間フィルタを選択することを含む。例えば、閾値よりも小さいサブブロックの場合は、複雑度が低いフィルタが選択され、閾値よりも大きいサブブロックの場合は、より複雑で強力な補間フィルタが使用される。これにより、フレームからフレームにかけて動きがよく一致し、相反するデータがほとんど存在しない場合は、複雑度が低いフィルタを使用し、動きがより複雑である場合は、複雑度が高いフィルタを使用することが可能となる。
【００３７】
任意に選べることとして、先行する態様のいずれかの態様において、当該態様のもうひとつの実装が提供され、エンコーダは、上述した態様のいずれかの態様の方法を実行するようにさらに構成される。
【００３８】
明確にするために述べると、本開示の範囲内で前述の実施形態のいずれか1つを前述の他の実施形態のいずれか1つ以上と組み合わせて、新たな実施形態を作ることができる。
【００３９】
これらの特徴とその他の特徴は、添付の図面ならびにクレームと併せて以下の詳細な説明からより明確に理解されるであろう。
【００４０】
本開示をより完全に理解するために、これより添付の図面ならびに詳細な説明に関連して以下の簡単な説明を参照するが、同様の参照番号は同様の部分を表している。
【図面の簡単な説明】
【００４１】
【図１】ビデオ信号を符号化する例示的な方法の流れ図である。
【図２】ビデオ符号化のための例示的なコーディング・デコーディング（コーデック）システムの概略図である。
【図３】適応型補間フィルタを使用できる例示的なビデオエンコーダを示す概略図である。
【図４】適応型補間フィルタを使用できる例示的なビデオデコーダを示す概略図である。
【図５】片方向インター予測の一例を示す概略図である。
【図６】双方向インター予測の一例を示す概略図である。
【図７】アフィンインター予測のためのアフィン動きモデルの一例を示す概略図である。
【図８】参照ブロックにおける例示的な小数位置を示す概略図である。
【図９】ワーピング補間フィルタ（WIF）の例示的な一実装を示す概略図である。
【図１０】エンコーダで適応型補間フィルタを適用する例示的な方法の流れ図である。
【図１１】デコーダで適応型補間フィルタを適用する例示的な方法の流れ図である。
【図１２】例示的なビデオ符号化装置の概略図である。
【図１３】適応型補間フィルタを適用するエンコーディング装置の一実施形態である。
【図１４】適応型補間フィルタを適用するデコーディング装置の一実施形態である。
【発明を実施するための形態】
【００４２】
1つ以上の実施形態の例証的な実装が以下に提示されるが、開示されるシステムおよび／または方法を現在周知か存在するいくつもの技法で実装できることを最初に理解するべきである。本開示は、ここで例証され説明される例示的な設計および実装を含む、以下に例証される例証的な実装、図面、および技法に一切限定されないが、添付のクレームの範囲内とこれと同等のものの全範囲内で変更を加えることができる。
【００４３】
ビデオ符号化はインター予測とイントラ予測による圧縮の組み合わせをともなう。本開示は、精度および／または符号化効率を高めながら、計算の複雑さおよび／またはメモリーの使用量を低減するために、インター予測に関係する補間手法の改良に着目する。インター予測は、或るフレーム内の物体の位置を別のフレーム内の当該物体の位置に基づいてエンコードする手法である。例えば、動きベクトルは、ビデオシーケンスの複数のフレームにわたって表される物体の時間の経過にともなう動きの方向を示すことができる。それ故、参照フレーム内の物体と動きベクトルはエンコードでき、デコーダはこれを使って参照フレームに時間的に近いフレームを部分的に復元できる。インター予測では片方向インター予測および／または双方向インター予測を使用できる。片方向インター予測は、1つの参照フレームに対する1つの動きベクトルを使って現在フレーム内の物体の位置を予測する。双方向インター予測は、先行参照フレームを指し示す先行動きベクトルと、後続参照フレームを指し示す後続動きベクトルとを使用する。
【００４４】
アフィンインター予測は、フレームからフレームにかけて物体の形が視覚的に変わる場合に適用されるインター予測の一種である。この種の動きは非平行運動と呼ばれることがある。具体的に述べると、非平行運動は均一ではない動きである。例えば、カメラの拡大および／または縮小、回転、遠近運動、および／またはその他の不規則な動きによって、物体の形がフレームからフレームにかけて変わるように見えることがある。アフィンインター予測は参照フレームを歪め、これにより、現在フレーム内の物体の動きベクトルは参照フレームの物体の様々なサブポーションで正しい方向を向く。アフィン変換は、点、直線、平面、および／または線と線の平行関係を保つことができ、その一方で線間の角度と点間の距離を歪める。アフィンの脈絡でアフィンブロックと呼ばれることもある現在ブロックのアフィンインター予測では、アフィンブロックと参照ブロックとの間の物体の動きを記述するために動きモデルを選択することがある。アフィンブロックの全サンプルで動きベクトルを決定するのではなく、アフィンブロックはサブブロックに細分される。動きモデルに基づいてサブブロックごとに動きベクトルが選択される。エンコーディングかデコーディングの目的で、サブブロックサンプルの参照サンプルを決定するために、サブブロックの動きベクトルは対応するサブブロックサンプルに関連するオフセットによって修正される。その後、オフセット動きベクトルはサブブロックサンプルから参照サンプルを指し示す。
【００４５】
動きベクトルはサブペル精度を有するように構成されることがある。ペルはサンプルと呼ばれることもある画素の位置である。画素／サンプルは符号化の目的で整数位置に配置される。場合によっては、サブペル精度の動きベクトルはサブブロックサンプルの位置から参照ブロックの小数位置を指し示すことがある。小数位置は対応するサンプルを含む整数位置間の位置である。このため、アフィンサブブロックサンプルから参照ブロックの小数位置を指し示す動きベクトルは、対応する参照サンプルを明確に指定しない場合がある。この曖昧さは、補間フィルタを使用し、小数位置でアップサンプリングを行うことによって対処できる。例えば、参照ブロックに補間フィルタを適用することで、小数位置に近い参照サンプルの値に基づいて指示された小数位置に参照サンプルを作ることができる。補間フィルタの適用にあたっては、多大な処理および／またはメモリーリソースを使うことがある。例えば、複雑な補間フィルタは単純な補間フィルタよりも多くのメモリーリソースと処理リソースを使うが、より高い精度を提供する。したがって、補間フィルタの選択はハードウェアリソース使用と精度とのトレードオフとなり、それ故、符号化効率と復元される画像の画像明瞭度とのトレードオフとなる。
【００４６】
ここでは、補間が単純となることが見込まれる場合に、複雑度が低い計算と少ないリソースを使用し、それ以外の場合は、精度を上げるために複雑度が高い計算を使用する、適応型補間フィルタの手法が開示される。具体的に述べると、アフィンブロックは様々なサイズのサブブロックに分割されてよい。小さいサブブロックは通常、大きいサブブロックよりも均一なサンプルを含む、および／または動きの変化により正確に一致する。したがって、適応型補間フィルタは、サイズが閾値を超過するサブブロックの場合は複雑度が高いフィルタを適用し、サイズが閾値以下であるサブブロックの場合は複雑度が低いフィルタを適用する（例えば、閾値は4または8つの画素の高さまたは幅）。補間フィルタは周波数領域で作動でき、サブブロックにわたって変化する信号で1群の画素値を記述できる。信号は信号係数で記述できる。タップとしても知られる係数をより多く使用するフィルタはより複雑であるが、信号をより正確に記述する。それ故、適応型補間フィルタは、サブブロックのサイズが閾値よりも大きい場合はタップが多いフィルタを適用でき、サブブロックのサイズが閾値以下である場合はタップが少ないフィルタを適用できる。例えば、適応型補間フィルタは、閾値よりも大きいサブブロックの場合に、6タップ、8タップ、または12タップを含む離散コサイン変換補間フィルタ（DCT-IF）を選択できる。さらに、適応型補間フィルタは、閾値以下のサブブロックの場合に、4タップ、または6タップを含むDCT-IFを選択できる。もうひとつの例として、適応型補間フィルタは、サブブロックのサイズが閾値以下である場合に、5タップを含むワーピング補間フィルタ（WIF）を選択できる。
【００４７】
図1は、ビデオ信号を符号化する例示的な方法100の流れ図である。具体的に述べると、ビデオ信号はエンコーダでエンコードされる。エンコーディングプロセスは、ビデオファイルのサイズを減じる様々な手法を用いてビデオ信号を圧縮する。ファイルのサイズが小さければ、圧縮されたビデオファイルをユーザーへ伝送し、これにともなう帯域幅オーバーヘッドを減らすことが可能となる。その後、デコーダは圧縮されたビデオファイルをデコードし、エンドユーザーに向けて表示するため元のビデオ信号を復元する。デコーダでビデオ信号を着実に復元することを可能にするために、デコーディングプロセスは通常、エンコーディングプロセスを反映する。
【００４８】
ステップ101では、ビデオ信号がエンコーダに入力される。例えば、ビデオ信号はメモリーに格納された圧縮されていないビデオファイルであってよい。もうひとつの例として、ビデオカメラなどのビデオキャプチャ装置によってビデオファイルがキャプチャされ、ビデオのライブストリーミングをサポートするためにエンコードされてもよい。ビデオファイルはオーディオ成分とビデオ成分の両方を含むことがある。ビデオ成分は一連の画像フレームを含み、これが連続して見られると、視覚的な動きの印象を与える。フレームは画素を含み、画素は、ここでルマ成分と呼ばれる光と、クロマ成分と呼ばれる色とによって表される。いくつかの例では、三次元閲覧をサポートするために、フレームがデプス値を含むこともある。
【００４９】
ステップ103では、ビデオがブロックに区分けされる。区分けは、各フレーム内の画素を圧縮のために正方形および／または長方形のブロックに細分することを含む。例えば、コーディングツリーを使ってブロックを分割し、その後、さらなるエンコーディングをサポートする構成が達成されるまでブロックを再帰的に細分することができる。このため、高効率ビデオ符号化（HEVC）（H.265およびパート2としても知られる）ではブロックがコーディングツリーユニットと呼ばれることがある。例えば、フレームのルマ成分は、個々のブロックが比較的均一な照明値を含むようになるまで細分されてよい。さらに、フレームのクロマ成分は、個々のブロックが比較的均一な色値を含むようになるまで細分されてよい。したがって、区分け手法はビデオフレームの内容に応じて異なる。
【００５０】
ステップ105では、ステップ103で区分けされた画像ブロックを様々な圧縮手法を用いて圧縮する。例えば、インター予測および／またはイントラ予測が使われてよい。インター予測は、一般的なシーンの中の物体が連続するフレームに現れる傾向があるという事実を利用するようになっている。したがって、参照フレーム内の物体を表すブロックは、近接するフレームで繰り返し記述される必要はない。具体的に述べると、机などの物体は複数のフレームにわたって一定の位置にとどまることがある。それ故、机は一度記述され、近接するフレームは参照フレームを参照できる。パターンマッチング手法を用いることで、複数のフレームにわたって物体を整合させることができる。さらに、例えば物体の動きやカメラの動きにより、複数のフレームにわたって動く物体が表されることがある。個別の一例として、ビデオは複数のフレームにわたって画面を横切る自動車を表示することがある。このような動きは動きベクトルを使って記述できる。動きベクトルは、或るフレーム内の或る物体の座標から参照フレーム内の当該物体の座標までのオフセットを提供する二次元ベクトルである。このため、インター予測は、現在フレーム内の画像ブロックを、参照フレーム内の対応するブロックからのオフセットを示す1組の動きベクトルとしてエンコードできる。現在画像ブロックと参照ブロックとの差異は残余ブロックに格納される。ファイルをさらに圧縮するために、残余ブロックには変換が適用できる。
【００５１】
イントラ予測は一般的なフレーム内のブロックをエンコードする。イントラ予測は、ルマ成分とクロマ成分がフレームの中で群がる傾向があるという事実を利用する。例えば、木の一部分にある緑のパッチは、同様の緑のパッチの近くに位置する傾向がある。イントラ予測は、複数の方向予測モード（例えばHEVCで33）、平面モード、およびダイレクトカレント（DC）モードを使用する。方向モードは、現在ブロックが対応する方向で隣接ブロックのサンプルと同様／同じであることを指示する。平面モードは、行／列（例えば平面）沿いの一連のブロックを、行のエッジの隣接ブロックに基づいて補間できることを指示する。平面モードは、実際には、変化する値の比較的一定のスロープを使うことによって、行／列にわたる光／色の滑らかな遷移を示す。DCモードは境界平滑化に使われ、ブロックが、方向予測モードの角度方向と関連する全ての隣接ブロックのサンプルと関連する平均値と同様／同じであることを指示する。したがって、イントラ予測ブロックは、実際の値の代わりに様々な関係予測モード値として画像ブロックを表すことができる。さらに、インター予測ブロックは、実際の値の代わりに動きベクトル値として画像ブロックを表すことができる。いずれの場合でも、予測ブロックは場合によっては画像ブロックを正確に表さないことがある。差異は残余ブロックに格納される。ファイルをさらに圧縮するために、残余ブロックには変換が適用できる。
【００５２】
ステップ107では、様々なフィルタリング技法が適用される。HEVCではインループフィルタリング方式に従ってフィルタが適用される。上述したブロックに基づく予測は、デコーダでブロック状の画像を作ることがある。さらに、ブロックに基づく予測方式はブロックをエンコードし、エンコードされたブロックを後ほど参照ブロックとして使用するため復元することができる。インループフィルタリング方式は、ノイズ抑制フィルタ、デブロッキングフィルタ、適応型ループフィルタ、およびサンプル適応型オフセット（SAO）フィルタをブロック／フレームに繰り返し適用する。これらのフィルタはそのようなブロッキングアーチファクトを軽減するため、エンコードされたファイルは正確に復元できる。さらに、これらのフィルタは復元された参照ブロックでアーチファクトを軽減するため、復元された参照ブロックに基づいてエンコードされる後続のブロックでさらなるアーチファクトが発生する見込みは少なくなる。
【００５３】
ビデオ信号が区分けされ、圧縮され、フィルタされたら、できあがったデータがステップ109にてビットストリームでエンコードされる。このビットストリームは上述したデータを含むほか、デコーダでの適切なビデオ信号復元をサポートするにあたって望ましいシグナリングデータを含む。例えば、かかるデータは、区分データ、予測データ、残余ブロック、およびデコーダに符号化指図を提供する種々フラグを含み得る。ビットストリームは、要求に応じてデコーダへ伝送できるようにメモリーに格納されてよい。ビットストリームは、複数のデコーダに向けてブロードキャストおよび／またはマルチキャストされてもよい。ビットストリームの作成は繰り返し作業である。したがって、ステップ101、103、105、107、および109は、多数のフレームおよびブロックにわたって連続的に、および／または同時に、行われてよい。図1に示された順序は説明を明瞭かつ平易にするために提示されており、ビデオ符号化プロセスを特定の順序に限定することを意図するものではない。
【００５４】
デコーダはビットストリームを受け取り、ステップ111でデコーディングプロセスを開始する。具体的に述べると、デコーダはエントロピデコーディング方式を用いてビットストリームを対応するシンタクスデータとビデオデータに変換する。デコーダはステップ111で、ビットストリームからのシンタクスデータを使ってフレームの区分を決定する。区分けはステップ103におけるブロック区分けの結果に整合しなければならない。これより、ステップ111で使われるエントロピエンコーディング／デコーディングを説明する。エンコーダは、入力画像における値の空間的配置に基づいて数通りの選択肢からブロック区分け方式を選択するなど、圧縮過程で多数の選択を行う。ぴったりの選択肢を伝えるために、多数のビンを使用することがある。ここで使われるビンは、変数として扱われる2進値である（例えば、状況に応じて変わり得るビット値）。エントロピ符号化では、エンコーダはある特定の状況で明らかに成り立たないオプションを破棄し、許容可能なオプションからなる集合を残すことができる。その後、それぞれの許容可能オプションには符号語が割り当てられる。符号語の長さは許容可能オプションの数に基づいている（例えば、2つのオプションに対し1ビン、3乃至4つのオプションに対し2ビンなど）。その後、エンコーダは選択されたオプションの符号語をエンコードする。符号語は、全ての可能なオプションからなる大きい集合からの選択を一意に指示するのに対し、許容可能オプションからなる小さい部分集合からの選択を一意に指示する場合に所望の大きさになるため、この方式は符号語のサイズを縮小する。その後、デコーダは、エンコーダと同様に許容可能オプションからなる集合を決定することによって選択をデコードする。デコーダは、許容可能オプションからなる集合を決定することによって符号語を読み取り、エンコーダによって行われた選択を決定することができる。
【００５５】
ステップ113では、デコーダがブロックデコーディングを行う。具体的に述べると、デコーダは逆変換を用いて残余ブロックを生成する。その後、デコーダは残余ブロックと対応する予測ブロックを使用し、区分けに基づいて画像ブロックを復元する。予測ブロックは、ステップ105でエンコーダで生成されたイントラ予測ブロックとインター予測ブロックの両方を含み得る。その後、復元された画像ブロックは、ステップ111で決定された区分けデータに基づいて復元されたビデオ信号のフレームの中に配置される。ステップ113のシンタクスも上述したエントロピ符号化によりビットストリームで伝達されてよい。
【００５６】
ステップ115では、エンコーダにおけるステップ107と同様に復元されたビデオ信号のフレームに対してフィルタリングが行われる。ブロッキングアーチファクトを除去するために、例えばノイズ抑制フィルタ、デブロッキングフィルタ、適応型ループフィルタ、およびSAOフィルタをフレームに適用できる。フレームがフィルタされたら、ステップ117でビデオ信号をエンドユーザーによる閲覧のためディスプレイへ出力できる。
【００５７】
本開示は、アフィンインター予測の計算の複雑さを軽減するための改良に関する。具体的に述べると、本開示はインター予測に使用する補間フィルタを選択する手法を紹介する。高い精度が有益である場合は複雑度が高い補間フィルタが使われ、低い精度が求められる場合は複雑度が低い補間フィルタが使われる。これはエンコーダとデコーダにおけるブロック圧縮の平均的な複雑さを軽減するほか、場合によっては精度を高め、結果的に、残余が減り、平均的な符号化効率が上がる。それ故、以下の図で説明されるインター予測手法は、ステップ105におけるブロック圧縮の作業と、ステップ109におけるビットストリームのエンコーディングおよび伝送と、ステップ113におけるブロックデコーディングとに影響をおよぼす。
【００５８】
図2は、ビデオ符号化のための例示的なコーディング・デコーディング（コーデック）システム200の概略図である。具体的に述べると、コーデックシステム200は方法100の実施をサポートする機能を提供する。エンコーダとデコーダの両方で使われるコンポーネントを描くため、コーデックシステム200は概括されている。コーデックシステム200は方法100のステップ101および103に関して述べたようにビデオ信号を受け取り、これを区分けし、その結果、区分けされたビデオ信号201が得られる。コーデックシステム200はその後、方法100のステップ105、107、および109に関して述べたようにエンコーダとして機能する場合に、区分けされたビデオ信号201を符号化されたビットストリームに圧縮する。コーデックシステム200は、デコーダとして機能する場合に、方法100のステップ111、113、115、および117に関して述べたように、ビットストリームから出力ビデオ信号を生成する。コーデックシステム200は、総合コーダー制御コンポーネント211、変換スケーリング量子化コンポーネント213、イントラピクチャ推定コンポーネント215、イントラピクチャ予測コンポーネント217、動き補償コンポーネント219、動き推定コンポーネント221、スケーリング逆変換コンポーネント229、フィルタ制御解析コンポーネント227、インループフィルタコンポーネント225、デコード済みピクチャバッファコンポーネント223、およびヘッダーフォーマッティング・コンテキスト適応型バイナリ算術符号化（CABAC）コンポーネント231を含む。かかるコンポーネントは図示されたとおりに接続されている。図2で、黒い線はエンコード／デコードされるデータの動きを示しており、破線は他のコンポーネントの動作を制御する制御データの動きを示している。コーデックシステム200のコンポーネントはどれもエンコーダ内に存在してよい。デコーダはコーデックシステム200のコンポーネントの部分集合を含んでよい。例えば、デコーダは、イントラピクチャ予測コンポーネント217、動き補償コンポーネント219、スケーリング逆変換コンポーネント229、インループフィルタコンポーネント225、およびデコード済みピクチャバッファコンポーネント223を含んでよい。これよりこれらのコンポーネントを説明する。
【００５９】
区分けされたビデオ信号201は、コーディングツリーによって画素からなるブロックに区分けされたキャプチャ済みビデオシーケンスである。コーディングツリーは様々なスプリットモードを用いて画素からなるブロックをより小さい画素からなるブロックに細分する。その後、これらのブロックはより小さいブロックにさらに細分できる。ブロックはコーディングツリー上でノードと呼ばれることがある。大きい親ノードは小さい子ノードにスプリットされる。ノードが細分される回数はノード／コーディングツリーのデプスと呼ばれる。分割されたブロックは、場合によってはコーディングユニット（CU）と呼ばれる。スプリットモードは、バイナリツリー（BT）、トリプルツリー（TT）、およびクアドツリー（QT）を含み、これらのモードは、使用するスプリットモードに応じて形が異なる2つ、3つ、または4つの子ノードにノードを区分けするために使われる。区分けされたビデオ信号201は、圧縮のために、総合コーダー制御コンポーネント211、変換スケーリング量子化コンポーネント213、イントラピクチャ推定コンポーネント215、フィルタ制御解析コンポーネント227、および動き推定コンポーネント221へ転送される。
【００６０】
総合コーダー制御コンポーネント211は、用途の制約条件に応じてビデオシーケンスの画像をビットストリームに符号化することに関係する決定を下すように構成される。例えば、総合コーダー制御コンポーネント211はビットレート／ビットストリームサイズと復元品質との最適化を管理する。そのような決定は、使用できるストレージ空間／帯域幅と画像の解像度要求に基づいて下されてよい。総合コーダー制御コンポーネント211はまた、バッファのアンダーラン問題とオーバーラン問題を軽減するために、伝送速度を踏まえてバッファの使用状況を管理する。これらの問題を管理するために、総合コーダー制御コンポーネント211は、他のコンポーネントによる区分けと予測とフィルタリングを管理する。例えば、総合コーダー制御コンポーネント211は、解像度を上げて帯域幅使用を増大させるために圧縮の複雑度を動的に増大させることができ、あるいは解像度と帯域幅使用を低下させるために圧縮の複雑度を低下させることができる。それ故、総合コーダー制御コンポーネント211はコーデックシステム200の他のコンポーネントを制御することで、ビデオ信号の復元品質とビットレート問題のバランスをとる。総合コーダー制御コンポーネント211は、他のコンポーネントの動作を制御する制御データを生成する。制御データはまた、デコーダでのデコーディングのためのパラメータを伝達するために、ヘッダーフォーマッティングCABACコンポーネント231へ転送されてビットストリームでエンコードされる。
【００６１】
区分けされたビデオ信号201は、インター予測のために、動き推定コンポーネント221と動き補償コンポーネント219にも送信される。区分けされたビデオ信号201のフレームまたはスライスは複数のビデオブロックに分割できる。動き推定コンポーネント221と動き補償コンポーネント219は、時間予測を提供するために、1つ以上の参照フレーム内の1つ以上のブロックを基準にして受信したビデオブロックのインター予測符号化を行う。コーデックシステム200は、例えばビデオデータのブロックごとに適切な符号化モードを選択するために、複数の符号化工程を実行できる。
【００６２】
動き推定コンポーネント221と動き補償コンポーネント219は高度に一体化されてもよいが、概念的な目的のため別々に示されている。動き推定コンポーネント221によって行われる動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、予測ブロックに対する符号化された物体の移動を示すことができる。予測ブロックとは、画素差の点で、符号化されるブロックによく一致することが分かっているブロックである。予測ブロックは参照ブロックと呼ばれることもある。かかる画素差は、絶対差の和（SAD）、二乗差の和（SSD）、またはその他の差指標によって決定することができる。HEVCは、コーディングツリーユニット（CTU）、コーディングツリーブロック（CTB）、およびCUを含むいくつかの符号化された物体を使用する。例えば、CTUはCTBに分割でき、その後CTBはCUに分割でき、CUは要望に応じてさらに細分できる。CUは、予測データを含む予測ユニット（PU）として、および／またはCUの変換された残余データを含む変換ユニット（TU）として、エンコードできる。動き推定コンポーネント221は、レート歪み最適化プロセスの一部としてレート歪み解析を用いることによって動きベクトル、PU、およびTUを生成する。例えば、動き推定コンポーネント221は、現在ブロック／フレームについて複数の参照ブロック、複数の動きベクトルなどを決定することができ、最良のレート歪み特性を有する参照ブロック、動きベクトルなどを選択できる。最良のレート歪み特性とは、ビデオ復元の質（例えば、圧縮によるデータ損失量）と符号化効率（例えば、最終的なエンコーディングのサイズ）とのバランスをとるものである。
【００６３】
いくつかの例において、コーデックシステム200は、デコード済みピクチャバッファコンポーネント223に格納された参照ピクチャのサブ整数画素位置の値を計算できる。例えば、ビデオコーデックシステム200は、参照ピクチャの4分の1画素位置、8分の1画素位置、またはその他の小数画素位置の値を補間できる。したがって、動き推定コンポーネント221は全画素位置と小数画素位置を基準にして動き探索を行い、小数画素精度の動きベクトルを出力できる。動き推定コンポーネント221は、PUの位置を参照ピクチャの予測ブロックの位置に比較することによって、インター符号化されたスライス内のビデオブロックのPUについて動きベクトルを計算する。動き推定コンポーネント221は、計算した動きベクトルを動きデータとしてヘッダーフォーマッティングCABACコンポーネント231にエンコーディングのため出力し、動き補償コンポーネント219に動きを出力する。
【００６４】
動き補償コンポーネント219によって行われる動き補償では、動き推定コンポーネント221によって決定された動きベクトルに基づいて予測ブロックを取得または生成できる。繰り返しになるが、いくつかの例において、動き推定コンポーネント221と動き補償コンポーネント219は機能的に一体化されてもよい。現在ビデオブロックのPUの動きベクトルを受け取った動き補償コンポーネント219は、動きベクトルが指し示す予測ブロックの位置を特定できる。その後、符号化される現在ビデオブロックの画素値から予測ブロックの画素値を引いて画素差値を形成することによって、残余ビデオブロックが形成される。通常、動き推定コンポーネント221はルマ成分について動き推定を行い、動き補償コンポーネント219はルマ成分に基づいて計算された動きベクトルをクロマ成分とルマ成分の両方に使用する。予測ブロックと残余ブロックは変換スケーリング量子化コンポーネント213へ転送される。
【００６５】
区分けされたビデオ信号201はイントラピクチャ推定コンポーネント215とイントラピクチャ予測コンポーネント217にも送信される。動き推定コンポーネント221ならびに動き補償コンポーネント219と同様、イントラピクチャ推定コンポーネント215とイントラピクチャ予測コンポーネント217も高度に一体化されてよいが、概念的な目的のため別々に示されている。イントラピクチャ推定コンポーネント215とイントラピクチャ予測コンポーネント217は、上述したように、動き推定コンポーネント221と動き補償コンポーネント219によってフレームからフレームにかけて行われるインター予測の代わりに、現在フレーム内のブロックを基準にして現在ブロックをイントラ予測する。具体的に述べると、イントラピクチャ推定コンポーネント215は現在ブロックをエンコードするために使うイントラ予測モードを決定する。いくつかの例において、イントラピクチャ推定コンポーネント215は複数の実証済みイントラ予測モードから現在ブロックをエンコードする適切なイントラ予測モードを選択する。その後、選択されたイントラ予測モードはエンコーディングのためヘッダーフォーマッティングCABACコンポーネント231へ転送される。
【００６６】
例えば、イントラピクチャ推定コンポーネント215は様々な実証済みイントラ予測モードについてレート歪み解析を用いてレート歪み値を計算し、実証済みモードの中から最良のレート歪み特性を有するイントラ予測モードを選択する。レート歪み解析は通常、エンコード済みブロックと、エンコード済みブロックを生成するためにエンコードされた元のエンコードされていないブロックとの歪（または誤差）の量と、エンコード済みブロックの生成に使われたビットレート（例えばビット数）を決定する。イントラピクチャ推定コンポーネント215は様々なエンコード済みブロックの歪とレートから比率を計算することで、ブロックで最良のレート歪み値を示すイントラ予測モードがどれかを判定する。加えて、イントラピクチャ推定コンポーネント215は、レート歪み最適化（RDO）に基づくデプスモデリングモード（DMM）を使ってデプスマップのデプスブロックを符号化するように構成されてよい。
【００６７】
イントラピクチャ予測コンポーネント217は、エンコーダ上で実行される場合は、イントラピクチャ推定コンポーネント215によって決定された選択済みのイントラ予測モードに基づいて予測ブロックから残余ブロックを生成でき、あるいはデコーダ上で実行される場合は、ビットストリームから残余ブロックを読み取る。残余ブロックは、行列として表現される、予測ブロックと元のブロックとの値の差を含む。その後、残余ブロックは変換スケーリング量子化コンポーネント213へ転送される。イントラピクチャ推定コンポーネント215とイントラピクチャ予測コンポーネント217はルマ成分とクロマ成分の両方に作用できる。
【００６８】
変換スケーリング量子化コンポーネント213は、残余ブロックをさらに圧縮するように構成される。変換スケーリング量子化コンポーネント213は、離散コサイン変換（DCT）、離散サイン変換（DST）、または概念的に類似する変換などの変換を残余ブロックに適用し、残余変換係数値を含むビデオブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換、または他種変換を用いることもできる。変換は、画素値領域から周波数領域などの変換領域に残余情報を変換できる。変換スケーリング量子化コンポーネント213はまた、例えば周波数に基づいて、変換された残余情報をスケールするように構成される。かかるスケーリングでは残余情報にスケール率を適用し、これにより様々な周波数情報が様々な粒度で量子化され、これにより、復元されたビデオの最終的な視覚的品質が左右され得る。変換スケーリング量子化コンポーネント213はまた、ビットレートをさらに低減するために、変換係数を量子化するように構成される。量子化プロセスは係数の一部または全部に関連するビットデプスを減らすことができる。量子化の度合いは量子化パラメータを調節することによって変更できる。いくつかの例において、変換スケーリング量子化コンポーネント213はその後、量子化された変換係数を含む行列のスキャンを行うことができる。量子化された変換係数は、ビットストリームでエンコードされるために、ヘッダーフォーマッティングCABACコンポーネント231へ転送される。
【００６９】
スケーリング逆変換コンポーネント229は、動き推定をサポートするために、変換スケーリング量子化コンポーネント213の逆の操作を適用する。スケーリング逆変換コンポーネント229は、逆スケーリング、変換、および／または量子化を適用することで、例えば、別の現在ブロックの予測ブロックになり得る参照ブロックとして後ほど使用するために、残余ブロックを画素領域で復元する。動き推定コンポーネント221および／または動き補償コンポーネント219は、残余ブロックを、後のブロック／フレームの動き推定で使用する対応する予測ブロックに加えることによって、参照ブロックを計算できる。スケーリングと量子化と変換のときに生じるアーチファクトを軽減するために、復元された参照ブロックにはフィルタが適用される。さもないと、後続のブロックが予測されるときに、そのようなアーチファクトによって予測が不正確になる（また、さらなるアーチファクトが生じる）可能性がある。
【００７０】
フィルタ制御解析コンポーネント227とインループフィルタコンポーネント225は、残余ブロックに、および／または復元された画像ブロックに、フィルタを適用する。例えば、元の画像ブロックを復元するために、スケーリング逆変換コンポーネント229からの変換済み残余ブロックを、イントラピクチャ予測コンポーネント217および／または動き補償コンポーネント219からの対応する予測ブロックに組み合わせることができる。その後、復元された画像ブロックにフィルタを適用できる。いくつかの例において、フィルタは、代わりに、残余ブロックに適用できる。図2の他のコンポーネントと同様、フィルタ制御解析コンポーネント227とインループフィルタコンポーネント225は高度に一体化されて共に実行されてもよいが、概念的な目的のため別々に描かれている。復元された参照ブロックに適用されるフィルタは特定の空間領域に適用され、かかるフィルタがどのように適用されるかを調整する複数のパラメータを含む。フィルタ制御解析コンポーネント227は復元された参照ブロックを解析することで、かかるフィルタが適用されるべき状況を判定し、該当するパラメータを設定する。かかるデータは、エンコーディングのために、フィルタ制御データとしてヘッダーフォーマッティングCABACコンポーネント231へ転送される。インループフィルタコンポーネント225はフィルタ制御データに基づいてかかるフィルタを適用する。フィルタは、デブロッキングフィルタ、ノイズ抑制フィルタ、SAOフィルタ、および適応型ループフィルタを含み得る。かかるフィルタは、例に応じて空間／画素領域（例えば、復元された画素ブロック上）で、または周波数領域で、適用されてよい。
【００７１】
エンコーダとして作動する場合、フィルタされた復元済み画像ブロック、残余ブロック、および／または予測ブロックは、上述した動き推定で後ほど使用するためデコード済みピクチャバッファコンポーネント223に格納される。デコーダとして作動する場合、デコード済みピクチャバッファコンポーネント223は復元されフィルタされたブロックを格納し、出力ビデオ信号の一部としてディスプレイへ転送する。デコード済みピクチャバッファコンポーネント223は、予測ブロック、残余ブロック、および／または復元済み画像ブロックを格納できる何らかのメモリー装置であってよい。
【００７２】
ヘッダーフォーマッティングCABACコンポーネント231はコーデックシステム200の様々なコンポーネントからデータを受信し、かかるデータをデコーダへ伝送するため符号化されたビットストリームにエンコードする。具体的に述べると、ヘッダーフォーマッティングCABACコンポーネント231は、一般制御データやフィルタ制御データなどの制御データをエンコードするために、様々なヘッダーを生成する。さらに、イントラ予測および動きデータを含む予測データ、ならびに量子化された変換係数データの形をとる残余データは、いずれもビットストリームでエンコードされる。最終的なビットストリームは、デコーダが元の区分けされたビデオ信号201を復元するにあたって必要となる全情報を含んでいる。かかる情報は、イントラ予測モードインデックステーブル（符号語マッピングテーブルとも呼ばれる）、様々なブロックのエンコーディングコンテキストの設定、最も可能性の高いイントラ予測モードの指示、区分情報の指示なども含み得る。かかるデータはエントロピ符号化を用いてエンコードできる。例えば、情報は、コンテキスト適応型可変長符号化（CAVLC）、CABAC、シンタクス方式コンテキスト適応型バイナリ算術符号化（SBAC）、確率区間区分エントロピ（PIPE）符号化、または他のエントロピ符号化技法を用いてエンコードできる。エントロピ符号化の後には、符号化されたビットストリームを別の装置（例えばビデオデコーダ）へ伝送でき、あるいは後ほど伝送したり取り出したりするために格納できる。
【００７３】
本開示は、アフィンインター予測の計算の複雑さを軽減するための改良に関する。具体的に述べると、本開示はインター予測に使用する補間フィルタを選択する手法を紹介する。高い精度が有益である場合は複雑度が高い補間フィルタが使われ、低い精度が求められる場合は複雑度が低い補間フィルタが使われる。これはエンコーダとデコーダにおけるブロック圧縮の平均的な複雑さを軽減するほか、場合によっては精度を高め、結果的に、残余が減り、平均的な符号化効率が上がる。それ故、以下の図で説明されるインター予測手法は、動き推定コンポーネント221、動き補償コンポーネント219、および／またはヘッダーフォーマッティングCABACコンポーネント231の動作に影響をおよぼす。
【００７４】
図3は、適応型補間フィルタを使用できる例示的なビデオエンコーダ300を示すブロック図である。ビデオエンコーダ300は、コーデックシステム200のエンコーディング機能を実施するために、および／または方法100のステップ101、103、105、107、および／または109を実施するために使われてよい。エンコーダ300は入力ビデオ信号を区分けし、その結果として得られる区分けされたビデオ信号301は区分けされたビデオ信号201と実質的に同様である。その後、区分けされたビデオ信号301はエンコーダ300のコンポーネントによって圧縮され、ビットストリームにエンコードされる。
【００７５】
具体的に述べると、区分けされたビデオ信号301はイントラ予測のためイントラピクチャ予測コンポーネント317へ転送される。イントラピクチャ予測コンポーネント317はイントラピクチャ推定コンポーネント215およびイントラピクチャ予測コンポーネント217と実質的に同様であってよい。区分けされたビデオ信号301は、デコード済みピクチャバッファコンポーネント323内の参照ブロックに基づくインター予測のために、動き補償コンポーネント321にも転送される。動き補償コンポーネント321は動き推定コンポーネント221および動き補償コンポーネント219と実質的に同様であってよい。イントラピクチャ予測コンポーネント317と動き補償コンポーネント321からの予測ブロックと残余ブロックは、残余ブロックの変換と量子化のために、変換量子化コンポーネント313へ転送される。変換量子化コンポーネント313は変換スケーリング量子化コンポーネント213と実質的に同様であってよい。変換され量子化された残余ブロックと対応する予測ブロックは（関連制御データとともに）、ビットストリームへの符号化のために、エントロピ符号化コンポーネント331へ転送される。エントロピ符号化コンポーネント331はヘッダーフォーマッティングCABACコンポーネント231と実質的に同様であってよい。
【００７６】
変換され量子化された残余ブロックおよび／または対応する予測ブロックは、動き補償コンポーネント321によって使用される参照ブロックへの復元のために、変換量子化コンポーネント313から逆変換量子化コンポーネント329にも転送される。逆変換量子化コンポーネント329はスケーリング逆変換コンポーネント229と実質的に同様であってよい。例によっては、残余ブロックおよび／または復元された参照ブロックにインループフィルタコンポーネント325内のインループフィルタも適用される。インループフィルタコンポーネント325はフィルタ制御解析コンポーネント227およびインループフィルタコンポーネント225と実質的に同様であってよい。インループフィルタコンポーネント325はインループフィルタコンポーネント225に関して述べた複数のフィルタを含んでよい。フィルタされたブロックはその後、動き補償コンポーネント321によって参照ブロックとして使用されるために、デコード済みピクチャバッファコンポーネント323に格納される。デコード済みピクチャバッファコンポーネント323はデコード済みピクチャバッファコンポーネント223と実質的に同様であってよい。
【００７７】
これ以降は、方法100とコーデックシステム200とに関して説明した機能を用いてエンコーダ300によって適用されるアフィンインター予測のより詳細な説明である。アフィンインター予測は、ステップ105、ステップ113、動き補償コンポーネント219、動き推定コンポーネント221、および／または動き補償コンポーネント321によってエンコーディングおよびデコーディングに使われるインター予測の一種である。インター予測は動きベクトルと参照フレーム内の参照ブロックを使って、参照フレームに時間的に近い1つ以上のフレームのブロックをエンコードする。上述したように、これにより、全てのフレームで物体を繰り返し符号化せずに、参照フレームを基準にして物体を符号化することが可能となる。アフィンインター予測は物体の形がフレームからフレームにかけて視覚的に変わる場合に使用され、これは、カメラの拡大縮小、カメラの回転、遠近運動、および／またはその他の不規則な動きによって生じることがある。アフィンインター予測を使用する場合、動き補償コンポーネント321は、時間的に近いフレームで物体の形と位置を予想するため、参照フレームを歪める。
【００７８】
アフィンインター予測プロセスによって参照フレームが歪められると、対応する動きベクトルはエンコードされるブロックにわたって変化する。現在ブロックの動きベクトルは、現在ブロックの制御点動きベクトルに基づいて動きモデルで記述できる。現在ブロックは動きモデルに基づいて選択されるサイズのサブブロックに細分され、その後、動きモデルおよび／または制御点に基づいてサブブロックの動きベクトルを決定することができる。こうして得られたサブブロックの動きベクトルは動き補償コンポーネント321および／またはインループフィルタコンポーネント325でフィルタし、加重でき、これにより生成された予測情報（例えばPU）と残余情報は、変換量子化コンポーネント313とエントロピ符号化コンポーネント331でそれぞれ変換および／またはエンコードできる。
【００７９】
例えば、動き補償コンポーネント321はまず、レート歪み最適化プロセスの一部として現在ブロックの制御点ベクトルを決定することができる。動きベクトルは所定の優先順位に基づいて隣接する符号化済みブロックから継承できる。動き補償コンポーネント321はまた、制御点ベクトルに基づいて動きモデルを決定することができる。動きモデルは現在フレームおよび参照フレーム間のブロックの動きを記述する。その後、動き補償コンポーネント321は動きモデルおよび／または制御点に基づいて様々なサブブロックのサイズを決定することができる。動き補償コンポーネント321は各サブブロックの関連動きベクトルを決定することもできる。各サブブロックには1つの動きベクトルを使用できるが、各サンプル（例えば画素）の動きベクトルはサブブロックの動きベクトルとオフセットに基づいて決定することができる。動き補償コンポーネント321は片方向インター予測と双方向インター予測の一部としてかかるプロセスを使用できる。例えば、動き補償コンポーネント321はレート歪み最適化のときに片方向インター予測と双方向インター予測の両方を試みることができ、その後、符号化サイズとビデオ品質の最良のバランスに結びつくアプローチを選択することができる。片方向予測では1つの参照フレームによって現在ブロックが予測されるが、双方向予測では、時間的に先行する参照フレームと時間的に後続する参照フレームによって現在ブロックが予測される。
【００８０】
エンコーダ300では、各サブブロックの動きベクトルを使用して、サブブロックサンプルを動きベクトルによって指し示される参照ブロック内の対応するサンプルに比較する。この比較を用いることでデコーディングに使用する残余ブロックを生成する。例えば、動き補償コンポーネント321は、サブブロックの中心など、所定の位置に、サブブロックの動きベクトルに配置できる。動き補償コンポーネント321は所定の位置と現在サンプルとのオフセットを決定することもできる。その後、動き補償コンポーネント321はサブブロックの動きベクトルにオフセットを適用することで、現在サンプルの位置で動きベクトルの値を決定することができる。動きベクトルはサブペル精度を有することができ、ペルは画素位置である。このため、サンプル位置で計算された動きベクトルは参照ブロックの画素間の位置を指し示すことがある。この問題は補間フィルタを用いることで対処できる。補間フィルタは、周囲の参照サンプルの値に基づいて、実効参照サンプル値、動きベクトルによって指し示される位置を決定する。
【００８１】
補間フィルタの複雑さは様々である。複雑度が高い補間フィルタは周囲のサンプルのより多くの特性を考慮するため、より正確な実効参照サンプルを決定する。ただし、複雑度が高い補間フィルタはより多くの処理リソースも使用する。小さいサブブロックは通常、大きいサブブロックよりも均一なサンプルを含む、および／または動きの変化により正確に一致する。このため、動き補償コンポーネント321は、サイズが閾値を超過するサブブロックの場合は複雑度が高いフィルタを適用し、サイズが閾値以下のサブブロックの場合は複雑度が低いフィルタを適用する適応型補間フィルタを使用する。これは精度を高め、なおかつ、そのような精度が有益である場合は、大きいサブブロックで符号化効率を上げる。これはまた、複雑度が高い補間フィルタのメリットを大して引き出せない小さいサブブロックで処理の複雑さを軽減する。補間フィルタの一尺度は、フィルタで使われる、タップと呼ばれることがある、係数の数である。したがって、動き補償コンポーネント321は、小さいサブブロックの場合はタップが少ない補間フィルタを使用し、大きいサブブロックの場合はタップが多い補間フィルタを使用することができる。これらの態様については以下の図に関してより詳細に述べる。
【００８２】
図4は、適応型補間フィルタを使用できる例示的なビデオデコーダ400を示すブロック図である。ビデオデコーダ400は、コーデックシステム200のデコーディング機能を実施するために、および／または方法100のステップ111、113、115、および／または117を実施するために使われてよい。デコーダ400は、例えばエンコーダ300から、ビットストリームを受信し、エンドユーザー向けの表示のために、ビットストリームに基づいて復元された出力ビデオ信号を生成する。
【００８３】
ビットストリームはエントロピデコーディングコンポーネント433によって受信される。エントロピデコーディングコンポーネント433は、CAVLC、CABAC、SBAC、PIPE符号化、またはその他のエントロピ符号化法など、エントロピデコーディング方式を実施するように構成される。例えば、エントロピデコーディングコンポーネント433はヘッダー情報を使用して、ビットストリームで符号語としてエンコードされる追加データを解釈するためのコンテキストを提供できる。デコードされた情報は、一般制御データ、フィルタ制御データ、区分情報、動きデータ、予測データ、残余ブロックからの量子化変換係数など、ビデオ信号のデコードにあたって望ましい情報を含む。量子化変換係数は残余ブロックへの復元のため逆変換量子化コンポーネント429へ転送される。逆変換量子化コンポーネント429は逆変換量子化コンポーネント329と同様であってよい。
【００８４】
復元された残余ブロックおよび／または予測ブロックは、イントラ予測操作に基づく画像ブロックへの復元のためイントラピクチャ予測コンポーネント417へ転送される。イントラピクチャ予測コンポーネント417はイントラピクチャ推定コンポーネント215およびイントラピクチャ予測コンポーネント217と同様であってよい。具体的に述べると、イントラピクチャ予測コンポーネント417は予測モードを使ってフレーム内で参照ブロックの位置を特定し、その結果に残余ブロックを適用してイントラ予測された画像ブロックを復元する。復元されたイントラ予測済み画像ブロックおよび／または残余ブロックと対応するインター予測データは、インループフィルタコンポーネント425を経由してデコード済みピクチャバッファコンポーネント423へ転送され、これらのコンポーネントはそれぞれデコード済みピクチャバッファコンポーネント223およびインループフィルタコンポーネント225と実質的に同様であってよい。インループフィルタコンポーネント425は復元済みの画像ブロック、残余ブロック、および／または予測ブロックをフィルタし、かかる情報はデコード済みピクチャバッファコンポーネント423に格納される。復元済み画像ブロックはインター予測のためデコード済みピクチャバッファコンポーネント423から動き補償コンポーネント421へ転送される。動き補償コンポーネント421は動き推定コンポーネント221および／または動き補償コンポーネント219と実質的に同様であってよい。具体的に述べると、動き補償コンポーネント421は参照ブロックからの動きベクトルを使って予測ブロックを生成し、その結果に残余ブロックを適用して画像ブロックを復元する。そうして得られた復元済みブロックは、インループフィルタコンポーネント425を経由してデコード済みピクチャバッファコンポーネント423へ転送されてもよい。デコード済みピクチャバッファコンポーネント423はさらなる復元済み画像ブロックを引き続き格納し、これらの復元済み画像ブロックは区分情報によってフレームに復元できる。かかるフレームはシーケンスに並べられてもよい。このシーケンスは復元された出力ビデオ信号としてディスプレイへ出力される。
【００８５】
これ以降は、方法100とコーデックシステム200とに関して説明した機能を用いてデコーダ400によって適用されるアフィンインター予測のより詳細な説明である。アフィンインター予測はインター予測を行う一部として動き補償コンポーネント421によって適用される。例えば、動き補償コンポーネント421は、現在ブロックを復元するために、ビットストリーム内の予測情報を使用するように構成される。かかる予測情報は、ここでアフィンブロックと呼ばれることがある、アフィンインター予測に従ってエンコードされる現在ブロックの動きモデルおよび／または制御点を指示する候補インデックスを含んでよい。動き補償コンポーネント421は制御点および／または動きモデルを使用することでアフィンブロックの動きベクトルを決定することができる。動き補償コンポーネント421はまた、動きモデルおよび／または制御点を使用することでアフィンブロックのサブブロックのサイズを決定することができる。動き補償コンポーネント421はその後、動きベクトルを所定の位置に配置し、オフセットを適用して対応するサンプル位置で動きベクトルを決定し、かつ動きベクトルによって指し示される参照サンプルを得ることによって、各サブブロックのサンプルごとに参照サンプルを決定することができる。デコーダ400はその後、逆変換量子化コンポーネント429からの残余ブロックと動き補償コンポーネント421からの参照サンプルを使用して、エンコーダ300で圧縮されたブロックを反映する画素ブロックとしてアフィンブロックを復元できる。
【００８６】
エンコーダ300と同様、デコーダ400の動き補償コンポーネント421はサンプルの動きベクトルを生成できる、参照フレームにて非整数位置へのポイント。これは、サブペルの動きベクトルのオフセットへの適用によって起こり得る。したがって、動き補償コンポーネント421は補間フィルタを使って、動きベクトルによって指し示される実効参照サンプルを決定する。動き補償コンポーネント321と同様、動き補償コンポーネント421は、サイズが閾値以下のサブブロックの場合は複雑度が低い補間フィルタを使用し、サイズが閾値を超過するサブブロックの場合は複雑度が高い補間フィルタを使用することができる。これは精度を高め、なおかつ、そのような精度が有益である場合は、大きいサブブロックで符号化効率を上げる。これはまた、複雑度が高い補間フィルタのメリットを大して引き出せない小さいサブブロックで処理の複雑さを軽減する。したがって、動き補償コンポーネント421は、小さいサブブロックの場合はタップが少ない補間フィルタを使用し、大きいサブブロックの場合はタップが多い補間フィルタを使用することができる。これらの態様については以下の図に関してより詳細に述べる。
【００８７】
図5は、例えば、ブロック圧縮ステップ105、ブロックデコーディングステップ113、動き推定コンポーネント221、動き補償コンポーネント219、動き補償コンポーネント321、および／または動き補償コンポーネント421で、動きベクトル（MV）を決定するために行われる、片方向インター予測500の一例を示す概略図である。例えば、片方向インター予測500は、インター予測モードでブロックの動きベクトルを決定するために、および／またはアフィンインター予測モードでサブブロックの動きベクトルを決定するために、使用できる。
【００８８】
片方向インター予測500は、現在フレーム510内の現在ブロック511を予測するために、参照ブロック531を含む参照フレーム530を使用する。参照フレーム530は、図示されているように時間的に現在フレーム510の後ろに（例えば後続参照フレームとして）配置されてよいが、いくつかの例では、時間的に現在フレーム510の前に（例えば先行参照フレームとして）配置されてもよい。現在フレーム510は或る特定の時にエンコード／デコードされる例示的なフレーム／ピクチャである。現在フレーム510は、参照フレーム530の参照ブロック531内の物体に一致する物体を現在ブロック511内に含んでいる。参照フレーム530は、現在フレーム510をエンコードするための基準として使われるフレームであり、参照ブロック531は、現在フレーム510の現在ブロック511にも含まれている物体を含む参照フレーム530内のブロックである。
【００８９】
現在ブロック511は、符号化プロセスの所定の時点でエンコード／デコードされるコーディングユニットである。現在ブロック511は区分けされたブロック全体であってよく、あるいはアフィンインター予測の場合はサブブロックであってもよい。現在フレーム510はある程度の時間距離（TD）533で参照フレーム530から隔てられている。TD 533は、ビデオシーケンス内の現在フレーム510と参照フレーム530との間の時間量を表し、フレーム単位で測定できる。現在ブロック511の予測情報は、フレーム間の方向と時間距離を示す参照インデックスによって参照フレーム530および／または参照ブロック531を参照できる。TD 533によって表される期間にわたって、現在ブロック511内の物体は、現在フレーム510内の或る位置から参照フレーム530内の別の位置（例えば参照ブロック531の位置）まで動く。例えば、物体は、時間の経過にともなう物体の動きの方向である動き軌道513に沿って動き得る。動きベクトル535は、TD 533にわたる動き軌道513沿いの物体の動きの方向と大きさを記述する。したがって、エンコードされた動きベクトル535と参照ブロック531は、現在ブロック511を復元して現在フレーム510内に現在ブロック511を配置するにあたって十分な情報を提供する。アフィンインター予測の場合、物体の形は現在フレーム510と参照フレーム530の間で変わる。それ故、現在ブロック511はサブブロックに細分され、それらのサブブロックは、例えば動きモデルおよび／または制御点によって決定される対応する動きベクトル535を各々含む。
【００９０】
図6は、例えば、ブロック圧縮ステップ105、ブロックデコーディングステップ113、動き推定コンポーネント221、動き補償コンポーネント219、動き補償コンポーネント321、および／または動き補償コンポーネント421で、MVを決定するために行われる、双方向インター予測600の一例を示す概略図である。例えば、双方向インター予測600は、インター予測モードでブロックの動きベクトルを決定するために、および／またはアフィンインター予測モードでサブブロックの動きベクトルを決定するために、使用できる。
【００９１】
双方向インター予測600は片方向インター予測500と同様であるが、1対の参照フレームを使って現在フレーム610内の現在ブロック611を予測する。それ故、現在フレーム610および現在ブロック611はそれぞれ現在フレーム510および現在ブロック511と実質的に同様である。現在フレーム610は時間的に、ビデオシーケンスの中で現在フレーム610の前に出来する先行参照フレーム620と、ビデオシーケンスの中で現在フレーム610の後に出来する後続参照フレーム630との間に位置する。その他の点で、先行参照フレーム620と後続参照フレーム630は参照フレーム530と実質的に同様である。
【００９２】
現在ブロック611は、先行参照フレーム620内の先行参照ブロック621と、後続参照フレーム630内の後続参照ブロック631とに突き合わされる。かかる突き合わせは、ビデオシーケンスにわたって、物体が、動き軌道613沿いに現在ブロック611を通じて先行参照ブロック621の位置から後続参照ブロック631の位置に動くことを示す。現在フレーム610は、ある程度の先行時間距離（TD0）623で先行参照フレーム620から隔てられ、ある程度の後続時間距離（TD1）633によって後続参照フレーム630から隔てられている。TD0 623は、ビデオシーケンス内の先行参照フレーム620と現在フレーム610との間の時間量をフレーム単位で表す。TD1 633は、ビデオシーケンス内の現在フレーム610と後続参照フレーム630との間の時間量をフレーム単位で表す。それ故、物体は、TD0 623によって表される期間にわたって、先行参照ブロック621から動き軌道613に沿って現在ブロック611まで動く。物体はまた、TD1 633によって表される期間にわたって、現在ブロック611から動き軌道613に沿って後続参照ブロック631まで動く。現在ブロック611の予測情報は、フレーム間の方向と時間距離を示す一対の参照インデックスによって先行参照フレーム620および／または先行参照ブロック621と後続参照フレーム630および／または後続参照ブロック631を参照できる。
【００９３】
先行動きベクトル（MV0）625は、（例えば、先行参照フレーム620と現在フレーム610の間で）TD0 623にわたる動き軌道613沿いの物体の動きの方向と大きさを記述する。後続動きベクトル（MV1）635は、（例えば、現在フレーム610と後続参照フレーム630の間で）TD1 633にわたる動き軌道613沿いの物体の動きの方向と大きさを記述する。このため、双方向インター予測600では、先行参照ブロック621および／または後続参照ブロック631、MV0 625、およびMV1 635を使って現在ブロック611を符号化し復元できる。
【００９４】
アフィンブロックの動きモデルは片方向インター予測500および／または双方向インター予測600を使用できる。インター予測の方向とタイプは関連する動きベクトルの参照インデックスに左右され得る。例えば、動きモデルに使われるインター予測のタイプは、隣接符号化済みブロックに基づいて決定することができる制御点動きベクトルに左右され得る。
【００９５】
図7は、アフィンインター予測のためのアフィン動きモデル700の一例を示す概略図である。アフィン動きモデル700は片方向インター予測500と双方向インター予測600の両方に使用できる。それ故、アフィン動きモデル700は、ブロック圧縮ステップ105、ブロックデコーディングステップ113、動き推定コンポーネント221、動き補償コンポーネント219、動き補償コンポーネント321、および／または動き補償コンポーネント421で、動きベクトルを決定するために適用できる。
【００９６】
上述したように、アフィンインター予測は参照フレームを歪め、これにより、対応する物体が対応するフレーム間で動く間に、形の変化にかかわりなく、現在ブロック701を予測できる。したがって、現在ブロック701の動きベクトルは現在ブロック701にわたって異なる。現在ブロック701の動きベクトルは、動きベクトルを含む制御点で記述される。図示された例では、3つの制御点動きベクトルv0 702、v1 703、およびv2 704が示されている。ただし、現在ブロック701の動きは数が3つ以外の制御点でモデル化することもできる。制御点動きベクトルv0 702は現在ブロック701の左上隅に位置し、制御点動きベクトルv1 703は現在ブロック701の右上隅に位置し、制御点動きベクトルv2 704は現在ブロック701の左下隅に位置する。動きベクトルv0 702と動きベクトルv1 703は、ベクトルの大きさを示す水平（x）成分と垂直（y）成分とを含む。それ故、動きベクトルv0 702は（v0x，v0y）、動きベクトルv1 703は（v1x，v1y）、動きベクトルv2 704は（v2x、v2y）とそれぞれ記述できる。動きベクトルv0 702と動きベクトルv1 703と動きベクトルv2 704を使用することで、現在ブロック701全体の動きベクトル場を決定することができる。動きベクトル場は位置に基づいて変わるベクトルの場である。現在ブロック701の動きベクトルを決定する一アプローチは、サンプルごとに動きベクトルを計算することであって、サンプルは或る画素におけるルマおよび／またはクロマ値である。動いている現在ブロック701の動きベクトルを決定することは動き補償予測（MCP）として知られており、かかる補償をサンプル単位で行うことはパーサンプルMCPである。例えば、動きモデルに制御点を使用でき、これを使ってパーサンプル動きベクトルを計算できる。一例として、以下の式セットに従って4パラメータアフィンモデルを表すことができる。
【００９７】
【数１】
2021513813.tif 000003
【００９８】
（v0x，v0y）は座標（0，0）の動きベクトルv0 702であり、（v1x，v1y）は座標（W，0）の動きベクトルv1 703であり、Wは現在ブロック701の幅である。
【００９９】
ただし、パーサンプルMCPは計算量が多く、多大な処理リソースを使う。もうひとつのアプローチは、現在ブロック701をサブブロック740にスプリットし、それから各サブブロック740の動きベクトル741を計算する。このバージョンのMCPはパーサンプルMCPよりも計算量が少ない。サブブロックベースMCPを行う場合は、サブブロック740のサイズが決定される。次に、制御点に基づいてサブブロック740内の所定の位置で各サブブロック740の動きベクトル741が決定される。次に、エンコーダで対応する残余サンプルを決定するときに、またはデコーダでブロックを復元するときに、サブブロック740動きベクトル741に基づいてサブブロック740内のサンプル743ごとに動きベクトル747を決定することができる。
【０１００】
一例として、サブブロック740のサイズはサブブロックの高さ（N）とサブブロックの幅（M）で記述できる。サブブロック740のサイズは以下の式セット2に従って計算できる。
【０１０１】
【数２】
2021513813.tif 000004
【０１０２】
（v0x，v0y）は座標（0，0）の動きベクトルv0 702であり、（v1x，v1y）は座標（w，0）の動きベクトルv1 703であり、（v2x，v2y）は座標（h，0）の動きベクトルv2 704であり、wは現在ブロック701の幅であり、hは現在ブロック701の高さであり、MvPreは現在ブロック701を記述する動きモデルで使われる動きベクトルの精度であり、maxはカンマ区切り値の最大値を返す最大値関数であり、absは絶対値関数である。
【０１０３】
サブブロック740のサイズ（例えばMおよびN）が決定されたら、制御点に基づいてサブブロック740の動きベクトル741を決定することができる。サブブロック740の動きベクトル741は多数の様々な動きモデルのいずれか1つに従って決定することができる。例えば、動きベクトル741の既定の位置と対応する制御点動きベクトルv0 702、v1 703、およびv2 704の位置との距離に基づいて加重された制御点動きベクトルv0 702、v1 703、およびv2 704の平均として、サブブロック740の動きベクトル741を決定することができる。次に、サブブロック740の動きベクトル741に基づいて参照サンプル743の動きベクトル747を決定することができる。例えば、参照サンプル743は、オフセット745によってサブブロック740の動きベクトル741の原点から隔てられている。それ故、オフセット745を考慮に入れて動きベクトル741の変化として動きベクトル747を計算できる。
【０１０４】
エンコーダでは、サンプル743の動きベクトル747を使って参照ブロック／フレーム内の参照サンプルの位置を特定する（例えば、指し示す）ことができる。次に、サンプル743を参照サンプルに比較して残余サンプルを決定することができ、これはその後ビットストリームでエンコードできる。デコーダでは、サンプル743の動きベクトル747を使って参照ブロック／フレーム内の参照サンプルの位置を特定する（例えば、指し示す）ことができる。次に参照サンプルを使用し、ビットストリームでエンコードされた残余サンプルに基づいてサンプル743を復元できる。上記のプロセスを実行する場合、サンプル743について計算される動きベクトル747は、下の図8に示されているように、参照サンプルをぴったり指し示さないことがある。補間フィルタを使えばこの問題に対処でき、参照サンプルが指示された位置にあった場合に当該参照サンプルが持つ値を決定することができる。
【０１０５】
図8は、参照ブロック800における例示的な小数位置852を示す概略図である。参照ブロック800は、現在ブロック701などの現在ブロック（例えばアフィンブロック）によって参照される参照サンプル851を含むブロックである。例えば、参照ブロック800は片方向インター予測500および／または双方向インター予測600で参照されてよい。それ故、参照ブロック800は、ブロック圧縮ステップ105、ブロックデコーディングステップ113、動き推定コンポーネント221、動き補償コンポーネント219、動き補償コンポーネント321、および／または動き補償コンポーネント421で使用できる。
【０１０６】
図示されているように、参照ブロック800は、図8で位置P−2、P−1、P0、P1、およびP2として描かれている様々な整数位置に参照サンプル851を含んでいる。なお、論述を簡素にするために、参照サンプル851は1本の線で示されている。ただし、参照ブロック800は参照サンプル851の複数の線を含み、それぞれの線は参照ブロックの高さに従ってオフセットで隔てられている。いずれにせよ、図7に関して上述したように、サブブロックの動きベクトルとオフセットに基づいてサンプルの動きベクトルを決定することができる。サンプルの動きベクトルはサブペル精度を有することがあるため、サンプルの計算される動きベクトルは、参照サンプル851の整数位置間のPPと表記された小数位置852を指し示すように計算されることがある。参照サンプル851が小数位置852に位置した場合に持つ値は補間フィルタを使って決定することができる。補間フィルタは、小数位置852の周辺の参照サンプル851の値を使って小数位置852における実効参照サンプル851値を決定するフィルタである。多数の様々な補間フィルタをこの目的に使用できる。一部のフィルタは複雑度が高く、多数の参照サンプル851および／または参照サンプル851の多数の特性を使って小数位置における値を決定する。その他のフィルタは複雑度が低く、少数の参照サンプル851および／または対応する特性を使用する。複雑度が低いフィルタは計算速度のために精度を犠牲にする。
【０１０７】
上述したように、小さいサブブロック（例えばサブブロック740）は、より均一なサンプル値を含む、および／または参照ブロックの動きによりよく一致する。それ故、小さいサブブロックの場合は複雑度が低い補間フィルタを選択でき、そうすることで、補間精度を大幅に下げずに処理リソースの使用量を減らすことができる。大きいサブブロックの場合は、複雑な特性を有するサブブロックで精度を維持するため、複雑度が高い補間フィルタを使用できる。
【０１０８】
例示的な一補間フィルタはDCT-IFであり、そのタップ数は所望の複雑さに応じて異なる。例えば、DCT-IFは、順および逆変換DCT式の積である以下の式3に基づいて、4タップ、6タップ、8タップ、10タップ、12タップなどに設計できる。
【０１０９】
【数３】
2021513813.tif 000005
【０１１０】
αは小数ペルシフト値（例えば小数位置852のシフト）であり、fmは補間値であり、αに基づいてシフトされた小数位置852、Mは所望の係数（例えばタップ）の数であり、kおよびmはカウンタ変数であり、cは関数をデータに適合させるための関数に対する修正を表す係数（例えばタップ）である。したがって、Mの値を増大させると係数cが多くなり、αによって表される小数位置852を取り囲む参照サンプル851の周波数特性は次第に高くなる。それ故、サブブロックのサイズが閾値以下である場合は、低いM値を使って係数／タップを（例えば4タップまで）減らすことができ、サブブロックのサイズが閾値よりも大きい場合は、高いM値を使って係数／タップを増やすことができる。例えば以下の図9に示されているように、別の補間フィルタを使うこともできる。
【０１１１】
図9は、WIF 900の例示的な一実装を示す概略図である。WIF 900は上述した数種のDCTフィルタよりも複雑度が低い。それ故、WIF 900はサイズが閾値以下のサブブロックに使える。したがって、WIF 900は、現在ブロック701などの現在ブロック（例えばアフィンブロック）によって参照される参照サンプルを含む参照ブロック800に適用できる。それ故、WIF 900は、ブロック圧縮ステップ105、ブロックデコーディングステップ113、動き推定コンポーネント221、動き補償コンポーネント219、動き補償コンポーネント321、および／または動き補償コンポーネント421で使用できる。WIF 900は、片方向インター予測500および／または双方向インター予測600と併せて使用することもできる。
【０１１２】
WIF 900は2段階で適用される。具体的に述べると、WIF 900は参照ブロック901に適用される。図示されているように、参照ブロック901は現在ブロックの動きに基づいてワープされ、これにより現在ブロックの動きベクトルは正しい参照ブロックを指し示す。WIF 900は参照ブロック901にバイリニア補間とアップスケーリングを適用して補間された参照ブロック903を作る。補間された参照ブロック903は補間参照サンプル値を含む平坦なブロックである。補間された参照ブロック903の補間参照サンプル値は、ワーピングと動き関連のオフセットを補償するために修正されている。補間された参照ブロック903の太線は整数位置の値を表し、破線は小数位置の値を表している。補間された参照ブロック903にはシャープニングフィルタ905が適用される。シャープニングフィルタ905はダウンスケーリングを行う5タップ固定シンメトリカルフィルタである。黒点で示されているように、シャープニングフィルタ905は整数位置に適用される。黒点を取り囲む楕円によって示されているように、シャープニングフィルタ905は、水平方向と垂直方向に近接する整数位置とサブ整数位置に基づいてかかる位置の値を変える。畳み込みには第1段階からのハーフペル位置の画素／サンプル値が使われる。フィルタブロック907に示されているように、このアプローチの結果として整数位置で補間値が生成され、サブ整数位置で値が除去される。したがって、WIF 900の適用によって補間された参照フレームが得られ、現在ブロックの動きベクトルは整数位置を指し示す。このように補間を2つのステップに分けることで、小数オフセット補償とハイパスフィルタリングの分離が可能となる。また、このアプローチは、使用するフィルタのため、具体的に述べると、補間された参照ブロック903を作るバイリニアオフセット補償のための2タップフィルタ、ダウンスケーリングのための5タップシャープニングフィルタ905、および／またはハイパスフィルタリングのために適用される3タップフィルタのため、複雑さが比較的低いアプローチである。
【０１１３】
図10は、エンコーダで適応型補間フィルタを適用する例示的な方法1000の流れ図である。方法1000は、アフィン動きモデル700を使用する現在ブロックなどの現在ブロックによって参照される参照サンプルを決定するために、参照ブロック800などの参照ブロックにDCTまたはWIF 900フィルタを適用できる。方法1000は、片方向インター予測500および／または双方向インター予測600と併せて使用できる。さらに、方法1000は、ブロック圧縮ステップ105、動き推定コンポーネント221、動き補償コンポーネント219、および／または動き補償コンポーネント321で使用できる。
【０１１４】
方法1000は、アフィンインター予測に従って現在ブロックをアフィンブロックとしてエンコードするときに使われる。ステップ1001で、エンコーダはアフィンブロックを含むビデオ信号を検査する。エンコーダは、インター予測に従ってアフィンブロックをエンコードするために、制御点を決定する。場合によっては、エンコーダはアフィンブロックの動きを記述するために動きモデルを選択でき、次に当該動きモデルに基づいて制御点を計算する。制御点を選択する別の手法を使用することもできる。例えば、エンコーダは、現在ブロックの近接ブロックに使われる制御点に基づいて制御点を決定することができる。
【０１１５】
ステップ1003で、エンコーダはアフィンブロックのサブブロックのサブブロックサイズを決定する。サブブロックサイズは、例えば上述した式セット2に従って、アフィンブロックの制御点間の動きベクトル差、アフィンブロックの幅、およびアフィンブロックの高さに基づいて決定することができる。別の一例において、サブブロックサイズは、アフィンブロックの制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、アフィンブロックのサイズ、および動きベクトル精度から決定することができる。例えば、サブブロック幅Mはテーブル表記Table＿M［x］［y］［z］に設定でき、xはmax（abs（v1x−v0x），abs（v1y−v0y））と等しくなるよう設定され、yはアフィンブロック幅と等しくなるよう設定され、zは動きベクトル精度と等しくなるよう設定され、（v0x，v0y）と（v1x，v1y）は制御点動きベクトルである。さらに、サブブロック高さNはテーブル表記Table＿N［x］［y］［z］に設定でき、xはmax（abs（v2x−v0x），abs（v2y−v0y））と等しくなるよう設定され、yはアフィンブロック高さと等しくなるよう設定され、zは動きベクトル精度と等しくなるよう設定され、（v2x，v2y）もまた制御点ベクトルである。
【０１１６】
ステップ1004で、エンコーダは制御点およびサブブロックサイズに基づいてアフィンブロックのサブブロックの動きベクトルも決定する。上述したように、動きベクトルは制御点の加重平均に従って計算でき、制御点の影響は、サブブロックの動きベクトルの既定位置と制御点動きベクトルの位置との距離に基づいて加重される。
【０１１７】
ステップ1005で、エンコーダはサブブロックサイズに基づいてサブブロックに対応する参照ブロックに適用する補間フィルタを選択する。補間フィルタは、参照ブロックで参照サンプル値を決定するのをサポートするために使われる。現在サンプルに対応する参照サンプルを決定するために、エンコーダは、サブブロックの動きベクトルと、現在サンプルとサブブロックの既定動きベクトルとのオフセットを検討する。次に、エンコーダは参照サンプルを指し示す現在サンプルの動きベクトルを決定することができる。アフィンブロックと参照ブロックとの間の動きを考慮に入れるため、参照ブロックはワープされる。さらに、動きベクトルはサブペル精度を有する。ワーピングとサブペル精度のため、参照サンプルが整数位置に位置する場合でも、サンプルの動きベクトルは非整数位置を指し示すことがある。サブブロックの現在サンプルの動きベクトルが対応する参照サンプルを含む整数位置の代わりに小数位置を指し示す場合は、補間フィルタを使って参照ブロックの参照サンプル値を決定する。具体的に述べると、補間フィルタは、他の参照サンプル（例えば、整数位置の近接参照サンプル）の参照サンプル値に基づいて小数位置の参照サンプル値が何かを判定する。
【０１１８】
補間フィルタは、適応型補間フィルタを形成する補間フィルタ候補のグループから選択できる。例えば、補間フィルタは、サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択でき、サブブロックサイズが閾値以下である場合は第2の数のタップを含むように選択できる。この場合、タップの第1の数はタップの第2の数よりも大きい。このアプローチは、大きいサブブロックの場合に複雑度が高い補間フィルタを使用し、小さいサブブロックの場合に複雑度が低い補間フィルタを使用することを可能にする。具体的な一例として、サブブロックのサイズが閾値よりも大きい場合は、6タップ、8タップ、または12タップを含むDCT-IFとして補間フィルタを選択できる。さらに、サブブロックのサイズが閾値以下である場合は、4タップまたは6タップを含むDCT-IFとして補間フィルタを選択できる。もうひとつの一例として、サブブロックのサイズが閾値以下である場合は、5タップを含むWIF 900などのWIFとして補間フィルタを選択できる。閾値は、4、8、16、32、64などの値を含んでよい。それ故、一辺（例えば幅または高さ）が閾値を超過するサブブロックの場合は複雑度が高い補間フィルタが選択され、全辺が閾値以下であるサブブロックの場合は複雑度が低い補間フィルタが選択される。
【０１１９】
ステップ1006で、エンコーダはサブブロックの動きベクトルに基づいてサブブロックサンプルの動きベクトルを決定する。具体的に述べると、現在サンプルの動きベクトルはサブブロックの動きベクトルからオフセットされる。オフセットにある動きベクトルが参照ブロックの整数位置を指し示す場合は、サブブロックサンプルに対応する参照サンプルを得ることができる。ただし、エンコーダはステップ1006で、現在サンプルの動きベクトルが参照ブロックの小数位置を指し示していると判定する場合がある。この場合、ブロックサンプルは整数位置に位置するため、対応する参照サンプルの値は不明確である。
【０１２０】
ステップ1007で、エンコーダは、参照ブロックに補間フィルタを適用して、小数位置で参照サンプルを決定する。このように、現在サンプルについて小数位置の補間された参照サンプルが決定される。
【０１２１】
現在サンプルのための参照サンプルが決定されたら、エンコーダはステップ1009でサブブロックの残余情報を決定することができる。具体的に述べると、現在サンプルは参照ブロックの参照サンプルに比較できる。サブブロックの現在サンプルと参照ブロックの参照サンプルとの差異が残余情報を構成する。
【０１２２】
ステップ1011で、エンコーダはビットストリームで制御点および残余情報をエンコードできる。制御点は様々なやり方でエンコードできる。例えば、制御点は、アフィンブロックを含むフレーム内の他のブロックの動きベクトルを参照するインデックスによってエンコードできる。さらなる圧縮のために、エンコーディングの前に残余情報に変換を適用することもできる。エンコーダはその後、ビデオフレームの一部としてのアフィンブロックの復元をサポートするために、デコーダへビットストリームを送信できる。その後デコーダでは、エンドユーザー向けの表示のために、このビデオフレームを別のビデオフレームからなるシーケンスに加えてビデオを復元できる。（例えば、ステップ1005および1007で）サブブロックのサイズに基づいて複雑度が異なる補間フィルタを選択する適応型補間フィルタを適用することにより、エンコーダは、複雑な補間フィルタを使っても大きなメリットが得られない小さいサブブロックの場合は処理リソースを減らし、大きいサブブロックの場合は精度を高めることができる。したがって、適応型フィルタの適用によって精度が上がり、および／または処理リソースの使用量が減り、それ故、エンコーダの機能性が高まる。
【０１２３】
図11は、デコーダで適応型補間フィルタを適用する例示的な方法1100の流れ図である。方法1100は、アフィン動きモデル700を使用する現在ブロックなどの現在ブロックによって参照される参照サンプルを決定するために、参照ブロック800などの参照ブロックにDCTまたはWIF 900フィルタを適用できる。方法1100は、片方向インター予測500および／または双方向インター予測600と併せて使用できる。さらに、方法1100は、ブロック圧縮ステップ105、動き推定コンポーネント221、動き補償コンポーネント219、および／または動き補償コンポーネント421で使用できる。
【０１２４】
方法1100は、アフィンインター予測に従って現在ブロックをアフィンブロックとしてデコードするときに使われる。例えば、方法1100は方法1000を補完するものである。例えば、方法1100は、方法1000に従ってエンコーダでエンコードされたアフィンブロックをデコーダで復元するために使うことができる。ステップ1001で、デコーダはエンコードされたビデオを含むビットストリームを受信する。具体的に述べると、このビットストリームは、アフィンインター予測に従って符号化されたアフィンブロックを記述する制御点を含んでいる。例えば、ビットストリームは、複数のフレームにわたってアフィンブロックによって記述される物体の動きを記述する動きモデルを示すデータを含んでよい。具体的な一例として、動きモデルは、共通のフレーム内の他のブロックに基づいて候補リストに従って動きモデルを示すインデックスによって指示できる。その後、指示された動きモデルに従って制御点を決定することができる。前述したことは制御点をエンコードする例示的な手法であるが、かかるデータのエンコードにあたって多数の手法を使用できることに注意するべきである。さらに、方法1000に関して説明したように、ビットストリームはアフィンブロックの残余情報を含んでもよい。
【０１２５】
ステップ1103で、デコーダはアフィンブロックのサブブロックのサブブロックサイズを決定する。サブブロックサイズは、例えば上述した式セット2に従って、アフィンブロックの制御点間の動きベクトル差、アフィンブロックの幅、およびアフィンブロックの高さに基づいて決定することができる。別の一例において、サブブロックサイズは、アフィンブロックの制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、アフィンブロックのサイズ、および動きベクトル精度から決定することができる。例えば、サブブロック幅Mはテーブル表記Table＿M［x］［y］［z］に設定でき、xはmax（abs（v1x−v0x），abs（v1y−v0y））と等しくなるよう設定され、yはアフィンブロック幅と等しくなるよう設定され、zは動きベクトル精度と等しくなるよう設定され、（v0x，v0y）と（v1x，v1y）は制御点動きベクトルである。さらに、サブブロック高さNはテーブル表記Table＿N［x］［y］［z］に設定でき、xはmax（abs（v2x−v0x），abs（v2y−v0y））と等しくなるよう設定され、yはアフィンブロック高さと等しくなるよう設定され、zは動きベクトル精度と等しくなるよう設定され、（v2x，v2y）もまた制御点ベクトルである。
【０１２６】
ステップ1104で、デコーダは制御点およびサブブロックサイズに基づいてアフィンブロックのサブブロックの動きベクトルも決定する。上述したように、動きベクトルは制御点の加重平均に従って計算でき、制御点の影響は、サブブロックの動きベクトルの既定位置と制御点動きベクトルの位置との距離に基づいて加重される。
【０１２７】
ステップ1105で、デコーダはサブブロックに対応する参照ブロックに適用する補間フィルタを選択する。具体的に述べると、補間フィルタはサブブロックサイズに基づいて選択される。補間フィルタは、参照ブロックで参照サンプル値を決定するのをサポートするために使われる。現在サンプルに対応する参照サンプルを決定するために、デコーダは、サブブロックの動きベクトルと、現在サンプルとサブブロックの既定動きベクトルとのオフセットを検討する。次に、デコーダは参照サンプルを指し示す現在サンプルの動きベクトルを決定することができる。アフィンブロックと参照ブロックとの間の動きを考慮に入れるため、参照ブロックはワープされる。さらに、動きベクトルはサブペル精度を有する。ワーピングとサブペル精度のため、参照サンプルが整数位置に位置する場合でも、サンプルの動きベクトルは非整数位置を指し示すことがある。サブブロックの現在サンプルの動きベクトルが対応する参照サンプルを含む整数位置の代わりに小数位置を指し示す場合は、補間フィルタを使って参照ブロックの参照サンプル値を決定する。具体的に述べると、補間フィルタは、他の参照サンプル（例えば、整数位置の近接参照サンプル）の参照サンプル値に基づいて小数位置の参照サンプル値が何かを判定する。
【０１２８】
補間フィルタは、適応型補間フィルタを形成する補間フィルタ候補のグループから選択できる。例えば、補間フィルタは、サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択でき、サブブロックサイズが閾値以下である場合は第2の数のタップを含むように選択できる。この場合、タップの第1の数はタップの第2の数よりも大きい。このアプローチは、大きいサブブロックの場合に複雑度が高い補間フィルタを使用し、小さいサブブロックの場合に複雑度が低い補間フィルタを使用することを可能にする。具体的な一例として、サブブロックのサイズが閾値よりも大きい場合は、6タップ、8タップ、または12タップを含むDCT-IFとして補間フィルタを選択できる。さらに、サブブロックのサイズが閾値以下である場合は、4タップまたは6タップを含むDCT-IFとして補間フィルタを選択できる。もうひとつの一例として、サブブロックのサイズが閾値以下である場合は、5タップを含むWIF 900などのWIFとして補間フィルタを選択できる。閾値は、4、8、16、32、64などの値を含んでよい。それ故、一辺（例えば幅または高さ）が閾値を超過するサブブロックの場合は複雑度が高い補間フィルタが選択され、全辺が閾値以下であるサブブロックの場合は複雑度が低い補間フィルタが選択される。
【０１２９】
ステップ1106で、デコーダはサブブロックの動きベクトルに基づいてサブブロックサンプルの動きベクトルを決定する。具体的に述べると、現在サンプルの動きベクトルはサブブロックの動きベクトルからオフセットされる。オフセットにある動きベクトルが参照ブロックの整数位置を指し示す場合は、サブブロックサンプルに対応する参照サンプルを得ることができる。ただし、デコーダはステップ1106で、現在サンプルの動きベクトルが参照ブロックの小数位置を指し示していると判定する場合がある。この場合、ブロックサンプルは整数位置に位置するため、対応する参照サンプルの値は不明確である。
【０１３０】
ステップ1107で、デコーダは、参照ブロックに補間フィルタを適用して、小数位置で参照サンプルを決定する。このように、現在サンプルについて小数位置の補間された参照サンプルが決定される。
【０１３１】
ステップ1109で、デコーダは参照サンプルに基づいて予測情報を決定する。例えば、アフィンブロックの予測情報は、ステップ1107に従って決定された対応する参照ブロックの参照サンプルを含む。アフィンブロックはその後ステップ1111で、予測情報に基づき、かつビットストリームに含まれているアフィンブロックの残余情報に基づき、復元される。具体的に述べると、予測情報として使われる参照サンプルは残余情報に基づいて修正される。残余情報は参照サンプルとエンコーダでエンコードされたアフィンブロックとの差異を含んでいる。したがって、参照サンプルに残余情報を適用することで、エンコーダでエンコードされたアフィンブロックに実質的に同様の復元されたアフィンブロックが得られる。復元されたアフィンブロックはその後ステップ1113で、復元されたビデオシーケンスの一部としてディスプレイへ転送できる。具体的に述べると、アフィンブロックは復元されたフレームに含めることができ、この復元されたフレームが他の復元されたフレームとともに順次配置されることで、復元されたビデオシーケンスができあがる。（例えばステップ1105および1107で）サブブロックのサイズに基づいて複雑度が異なる補間フィルタを選択する適応型補間フィルタを適用することにより、デコーダは、複雑な補間フィルタを使っても大きなメリットが得られない小さいサブブロックの場合は処理リソースを減らし、大きいサブブロックの場合は精度を高めることができる。したがって、適応型フィルタの適用によって精度が上がり、および／または処理リソースの使用量が減り、それ故、デコーダの機能性が高まる。
【０１３２】
図12は、本開示の一実施形態による例示的なビデオ符号化装置1200の概略図である。ビデオ符号化装置1200は、ここで説明されている開示例／実施形態を実施するのに適している。ビデオ符号化装置1200は、ダウンストリームポート1220、アップストリームポート1250、および／またはネットワークにわたってデータをアップストリームおよび／またはダウンストリームに伝達する送信器および／または受信器を含むトランシーバユニット（Tx/Rx）1210を含む。ビデオ符号化装置1200はまた、データを処理するために論理装置および／または中央処理装置（CPU）を含むプロセッサ1230と、データを格納するメモリー1232とを含む。ビデオ符号化装置1200はまた、光−電気（OE）コンポーネント、電気−光（EO）コンポーネント、および／または光または無線通信ネットワークを介したデータ通信のためにアップストリームポート1250および／またはダウンストリームポート1220に接続された無線通信コンポーネントを含んでよい。ビデオ符号化装置1200はまた、ユーザーとデータをやり取りする入力および／または出力（I/O）装置1260を含んでよい。I/O装置1260は、ビデオデータを表示するディスプレイやオーディオデータを出力するスピーカなどの出力装置を含んでよい。I/O装置1260はまた、キーボード、マウス、トラックボール、および／またはかかる出力装置と相互に作用する対応するインターフェースなどの入力装置を含んでよい。
【０１３３】
プロセッサ1230はハードウェアとソフトウェアによって実装される。プロセッサ1230は、1つ以上のCPUチップ、コア（例えばマルチコアプロセッサ）、フィールドプログラマブルゲートアレイ（FPGA）、特定用途向け集積回路（ASIC）、およびデジタルシグナルプロセッサ（DSP）として実装されてよい。プロセッサ1230は、ダウンストリームポート1220、Tx/Rx 1010、アップストリームポート1250、およびメモリー1232と通信する。プロセッサ1230は符号化モジュール1214を含む。符号化モジュール1214は、方法100、1000、および／または1100、片方向インター予測500、双方向インター予測600、および／またはここで説明されている他のいずれかの方法／手法など、上述した開示実施形態を実施する。例えば、符号化モジュール1214は、例えばDCT-IFおよび／またはWIF 900を使用することによって、アフィン動きモデル700に従ってインター予測を実施して、参照ブロック800の参照サンプルを決定することができる。さらに、符号化モジュール1214は、コーデックシステム200、エンコーダ300、および／またはデコーダ400を実行できる。したがって、符号化モジュール1214を使用することでアフィンブロックのサブブロックサイズを決定することができる。さらに、符号化モジュール1214はサブブロックサイズに基づいて補間フィルタを選択し、これを参照ブロックに適用できる。動きベクトルが参照ブロックの小数位置を指し示す場合は、補間フィルタの適用によってアフィンブロックの参照サンプルを決定する。サブブロックサイズに基づいて補間フィルタを選択することによって、適応型補間フィルタが生成される。適応型補間フィルタは、閾値サイズ以下であるサブブロックの場合に複雑度が低い補間フィルタを適用し、閾値サイズを上回るサブブロックの場合に複雑度が高い補間フィルタを適用する。これは、複雑な補間フィルタを使っても大きなメリットが得られない小さいサブブロックの場合に処理リソースを減らし、大きいサブブロックの場合は精度を高める。したがって、適応型フィルタの適用によって精度が上がり、および／または処理リソースの使用量が減り、それ故、ビデオ符号化装置1200の機能性が高まる。さらに、符号化モジュール1214はビデオ符号化装置1200の変換を異なる状態まで達成する。あるいは、符号化モジュール1214はメモリー1232に格納された命令として実施でき、（例えば、非一時的な媒体に格納されたコンピュータプログラム製品として）プロセッサ1230によって実行できる。
【０１３４】
メモリー1232は、ディスク、テープドライブ、ソリッドステートドライブ、読み取り専用メモリー（ROM）、ランダムアクセスメモリー（RAM）、フラッシュメモリー、ターナリコンテントアドレッサブルメモリー（TCAM）、スタティックランダムアクセスメモリー（SRAM）などの1つ以上のメモリータイプを含む。メモリー1232は、プログラムが実行のため選択されるときにかかるプログラムを格納し、かつプログラムの実行中に読み取られる命令とデータを格納するために、オーバーフローデータストレージ装置として使われてよい。
【０１３５】
図13は、適応型補間フィルタを適用するエンコーディング装置1300の一実施形態である。エンコーディング装置1300は、アフィンインター予測に従ってビデオ信号からアフィンブロックをエンコードするために制御点を決定する制御点モジュール1301を含んでよい。エンコーディング装置1300はまた、制御点に基づいてアフィンブロックのサブブロックの動きベクトルを決定する動きベクトルモジュール1303を含んでよい。エンコーディング装置1300はまた、サブブロックのサブブロックサイズを決定するサブブロックサイズモジュール1305を含んでよい。エンコーディング装置1300はまた、サブブロックに対応する参照ブロックに適用する補間フィルタを選択し、補間フィルタがサブブロックサイズに基づいて選択される、フィルタ選択モジュール1307を含んでよい。エンコーディング装置1300はまた、現在サンプルの動きベクトルが参照ブロックの小数位置を指し示していると判定し、現在サンプルの動きベクトルがサブブロックの動きベクトルからオフセットされ、参照ブロックに補間フィルタを適用して、小数位置で参照サンプルを決定する参照決定モジュール1309を含んでよい。エンコーディング装置1300はまた、サブブロックの現在サンプルと参照ブロックの参照サンプルとの差異に基づいてサブブロックの残余情報を決定する残余モジュール1311を含んでよい。エンコーディング装置1300はまた、制御点および残余情報をビットストリームにエンコードするエンコーディングモジュール1313を含んでよい。エンコーディング装置1300はまた、ビデオフレームの一部としてのアフィンブロックの復元をサポートするために、デコーダへビットストリームを送信する送信モジュール1315を含んでよい。
【０１３６】
図14は、適応型補間フィルタを適用するデコーディング装置1400の一実施形態である。デコーディング装置1400は、アフィンインター予測に従って符号化されたアフィンブロックを記述する制御点を含むビットストリームを受信する受信モジュール1401を含んでよい。デコーディング装置1400はまた、制御点に基づいてアフィンブロックのサブブロックの動きベクトルを決定する動きベクトルモジュール1403を含んでよい。デコーディング装置1400はまた、サブブロックのサブブロックサイズを決定するサブブロックサイズモジュール1405を含んでよい。デコーディング装置1400はまた、サブブロックに対応する参照ブロックに適用する補間フィルタを選択し、補間フィルタがサブブロックサイズに基づいて選択される、フィルタ選択モジュール1407を含んでよい。デコーディング装置1400はまた、現在サンプルの動きベクトルが参照ブロックの小数位置を指し示していると判定し、現在サンプルの動きベクトルがサブブロックの動きベクトルからオフセットされ、参照ブロックに補間フィルタを適用して、小数位置で参照サンプルを決定する参照決定モジュール1409を含んでよい。デコーディング装置1400はまた、参照サンプルに基づいて予測情報を決定する予測モジュール1411を含んでよい。デコーディング装置1400はまた、予測情報に基づき、かつビットストリームに含まれているアフィンブロックの残余情報に基づき、アフィンブロックを復元する復元モジュール1413を含んでよい。デコーディング装置1400はまた、復元されたアフィンブロックを復元されたビデオシーケンスの一部としてディスプレイへ転送する転送モジュール1415を含んでよい。
【０１３７】
第1のコンポーネントは、第1のコンポーネントと第2のコンポーネントとの間の線、トレース、またはその他の媒介物を除いて介在するコンポーネントがない場合は、第2のコンポーネントに直接的に接続される。第1のコンポーネントは、第1のコンポーネントと第2のコンポーネントとの間の線、トレース、またはその他の媒介物以外に介在するコンポーネントがある場合は、第2のコンポーネントに間接的に接続される。用語「接続」とその変化形は直接的な接続と間接的な接続の両方を含む。用語「約」の使用は、別段の記載がない限り、後続する数値の±10％を含む範囲を意味する。
【０１３８】
本開示では数通りの実施形態が提示されているが、本開示の精神と範囲から逸脱せずに開示されているシステムおよび方法を他の多くの特定の形態で具現できることは理解できる。本書の例は制限的ではなく説明的なものとみなすべきであり、その意図は本書に記載された詳細に限定されない。例えば、様々なエレメントやコンポーネントは別のシステムで組み合わされたり統合されたりしてもよく、いずれかの機能は省略されてもよく、あるいは実施されなくてもよい。
【０１３９】
加えて、様々な実施形態で、個別のものとして、または単独のものとして、説明および例証されている技法、システム、サブシステム、および方法は、本開示の範囲から逸脱せずに他のシステム、コンポーネント、技法、または方法と組み合わされたり統合されたりしてよい。その他の変更、代用、および改変例は当業者によって解明可能であり、ここで開示されている精神と範囲から逸脱せずに実施できる。
【符号の説明】
【０１４０】
100  方法
200  コーデックシステム
201  区分けされたビデオ信号
211  総合コーダー制御コンポーネント
213  変換スケーリング量子化コンポーネント
215  イントラピクチャ推定コンポーネント
217  イントラピクチャ予測コンポーネント
219  動き補償コンポーネント
221  動き推定コンポーネント
229  スケーリング逆変換コンポーネント
227  フィルタ制御解析コンポーネント
225  インループフィルタコンポーネント
223  デコード済みピクチャバッファコンポーネント
231  ヘッダーフォーマッティング・コンテキスト適応型バイナリ算術コーディング（CABAC）コンポーネント
300  ビデオエンコーダ
317  イントラピクチャ予測コンポーネント
323  デコード済みピクチャバッファコンポーネント
321  動き補償コンポーネント
313  変換量子化コンポーネント
331  エントロピ符号化コンポーネント
329  逆変換量子化コンポーネント
325  インループフィルタコンポーネント
400  ビデオデコーダ
433  エントロピデコーディングコンポーネント
429  逆変換量子化コンポーネント
417  イントラピクチャ予測コンポーネント
425  インループフィルタコンポーネント
423  デコード済みピクチャバッファコンポーネント
421  動き補償コンポーネント
500  片方向インター予測
510  現在フレーム
511  現在ブロック
531  参照ブロック
530  参照フレーム
533  時間距離（TD）
513  動き軌道
535  動きベクトル
600  双方向インター予測
610  現在フレーム
611  現在ブロック
620  先行参照フレーム
630  後続参照フレーム
621  先行参照ブロック
631  後続参照ブロック
613  動き軌道
623  先行時間距離（TD0）
633  後続時間距離（TD1）
625  先行動きベクトル（MV0）
635  後続動きベクトル（MV1）
700  アフィン動きモデル
701  現在ブロック
702  制御点動きベクトルv0
703  制御点動きベクトルv1
704  制御点動きベクトルv2
740  サブブロック
741  動きベクトル
743  サンプル
747  動きベクトル
800  参照ブロック
852  小数位置
851  参照サンプル
900  WIF
901  参照ブロック
903  参照ブロック
905  シャープニングフィルタ
907  フィルタブロック
1200  ビデオ符号化装置
1220  ダウンストリームポート
1250  アップストリームポート
1210  トランシーバユニット（Tx/Rx）
1230  プロセッサ
1232  メモリー
1260  入力および／または出力（I/O）装置
1214  符号化モジュール
1300  エンコーディング装置
1301  制御点モジュール
1303  動きベクトルモジュール
1305  サブブロックサイズモジュール
1307  フィルタ選択モジュール
1309  参照決定モジュール
1311  残余モジュール
1313  エンコーディングモジュール
1315  送信モジュール
1401  受信モジュール
1400  デコーディング装置
1403  動きベクトルモジュール
1405  サブブロックサイズモジュール
1407  フィルタ選択モジュール
1409  参照決定モジュール
1411  予測モジュール
1413  復元モジュール
1415  転送モジュール
【図１】
2021513813.tif 000006
【図２】
2021513813.tif 000007
【図３】
2021513813.tif 000008
【図４】
2021513813.tif 000009
【図５】
2021513813.tif 000010
【図６】
2021513813.tif 000011
【図７】
2021513813.tif 000012
【図８】
2021513813.tif 000013
【図９】
2021513813.tif 000014
【図１０】
2021513813.tif 000015
【図１１】
2021513813.tif 000016
【図１２】
2021513813.tif 000017
【図１３】
2021513813.tif 000018
【図１４】
2021513813.tif 000019
【手続補正書】
【提出日】令和2年9月24日(2020.9.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０１２４
【補正方法】変更
【補正の内容】
【０１２４】
方法1100は、アフィンインター予測に従って現在ブロックをアフィンブロックとしてデコードするときに使われる。例えば、方法1100は方法1000を補完するものである。例えば、方法1100は、方法1000に従ってエンコーダでエンコードされたアフィンブロックをデコーダで復元するために使うことができる。ステップ1101で、デコーダはエンコードされたビデオを含むビットストリームを受信する。具体的に述べると、このビットストリームは、アフィンインター予測に従って符号化されたアフィンブロックを記述する制御点を含んでいる。例えば、ビットストリームは、複数のフレームにわたってアフィンブロックによって記述される物体の動きを記述する動きモデルを示すデータを含んでよい。具体的な一例として、動きモデルは、共通のフレーム内の他のブロックに基づいて候補リストに従って動きモデルを示すインデックスによって指示できる。その後、指示された動きモデルに従って制御点を決定することができる。前述したことは制御点をエンコードする例示的な手法であるが、かかるデータのエンコードにあたって多数の手法を使用できることに注意するべきである。さらに、方法1000に関して説明したように、ビットストリームはアフィンブロックの残余情報を含んでもよい。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
エンコーダで実施される方法であって、前記方法は、
前記エンコーダのプロセッサにより、アフィンインター予測に従ってビデオ信号からアフィンブロックをエンコードするための制御点を決定するステップと、
前記プロセッサにより、前記アフィンブロックのサブブロックのサブブロックサイズを決定するステップと、
前記プロセッサにより、前記制御点に基づいて前記サブブロックの動きベクトルを決定するステップと、
前記プロセッサにより、前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択するステップであって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、ステップと、
前記プロセッサにより、現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定するステップと、
前記プロセッサにより、前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定するステップと、
前記プロセッサにより、前記サブブロックの前記現在サンプルと前記参照ブロックの前記参照サンプルとの差異に基づいて前記サブブロックの残余情報を決定するステップと、
前記プロセッサにより、前記制御点および前記残余情報をビットストリームにエンコードするステップと、
ビデオフレームの一部としての前記アフィンブロックの復元をサポートするために、前記エンコーダの送信器により、前記ビットストリームをデコーダへ送信するステップと
を含む、方法。
【請求項２】
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、前記サブブロックサイズが前記閾値以下である場合は第2の数のタップを含むように選択され、タップの前記第1の数はタップの前記第2の数よりも大きい、請求項1に記載の方法。
【請求項３】
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合に、6タップ、8タップ、または12タップを含む離散コサイン変換補間フィルタ（DCT-IF）として選択される、請求項1または2に記載の方法。
【請求項４】
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、4タップまたは6タップを含むDCT-IFとして選択される、請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、5タップを含むワーピング補間フィルタ（WIF）として選択される、請求項1から3のいずれか一項に記載の方法。
【請求項６】
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差、前記アフィンブロックの幅、および前記アフィンブロックの高さに基づいて決定される、請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、前記アフィンブロックのサイズ、および動きベクトル精度から決定される、請求項1から5のいずれか一項に記載の方法。
【請求項８】
ビデオ符号化装置によって使用されるコンピュータプログラムを格納した非一時的なコンピュータ読取可能媒体であって、前記コンピュータプログラムは、前記非一時的なコンピュータ読取可能媒体に格納されたコンピュータ実行可能命令を含み、前記コンピュータ実行可能命令は、プロセッサによって実行されると、前記ビデオ符号化装置に請求項1から7のいずれか一項に記載の方法を実行させる、非一時的なコンピュータ読取可能媒体。
【請求項９】
アフィンインター予測に従ってビデオ信号からアフィンブロックをエンコードするための制御点を決定することと、
前記アフィンブロックのサブブロックのサブブロックサイズを決定することと、
前記制御点に基づいて前記サブブロックの動きベクトルを決定することと、
前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択することであって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、ことと、
現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定することと、
前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定することと、
前記サブブロックの前記現在サンプルと前記参照ブロックの前記参照サンプルとの差異に基づいて前記サブブロックの残余情報を決定することと、
前記制御点および前記残余情報をビットストリームにエンコードすることと
を行うように構成されたプロセッサと、
前記プロセッサに接続された送信器であって、ビデオフレームの一部としての前記アフィンブロックの復元をサポートするために、前記ビットストリームをデコーダへ送信するように構成された送信器と
を含む、ビデオ符号化装置。
【請求項１０】
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、前記サブブロックサイズが前記閾値以下である場合は第2の数のタップを含むように選択され、タップの前記第1の数はタップの前記第2の数よりも大きい、請求項9に記載のビデオ符号化装置。
【請求項１１】
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合に、6タップ、8タップ、または12タップを含む離散コサイン変換補間フィルタ（DCT-IF）として選択される、請求項9または10に記載のビデオ符号化装置。
【請求項１２】
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、4タップまたは6タップを含むDCT-IFとして選択される、請求項9から11のいずれか一項に記載のビデオ符号化装置。
【請求項１３】
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、5タップを含むワーピング補間フィルタ（WIF）として選択される、請求項9から11のいずれか一項に記載のビデオ符号化装置。
【請求項１４】
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差、前記アフィンブロックの幅、および前記アフィンブロックの高さに基づいて決定される、請求項9から13のいずれか一項に記載のビデオ符号化装置。
【請求項１５】
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、前記アフィンブロックのサイズ、および動きベクトル精度から決定される、請求項9から13のいずれか一項に記載のビデオ符号化装置。
【請求項１６】
アフィンインター予測に従ってビデオ信号からアフィンブロックをエンコードするための制御点を決定する制御点手段と、
前記アフィンブロックのサブブロックのサブブロックサイズを決定するサブブロックサイズ手段と、
前記制御点に基づいて前記サブブロックの動きベクトルを決定する動きベクトル手段と、
前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択するフィルタ選択手段であって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、フィルタ選択手段と、
現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定し、前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定する参照決定手段と、
前記サブブロックの前記現在サンプルと前記参照ブロックの前記参照サンプルとの差異に基づいて前記サブブロックの残余情報を決定する残余手段と、
前記制御点および前記残余情報をビットストリームにエンコードするエンコーディング手段と、
ビデオフレームの一部としての前記アフィンブロックの復元をサポートするために、前記ビットストリームをデコーダへ送信する送信手段と
を含む、エンコーダ。
【請求項１７】
請求項1から7のいずれか一項に記載の方法を実施するようにさらに構成される、請求項16に記載のエンコーダ。
【請求項１８】
デコーダで実施される方法であって、前記方法は、
前記デコーダの受信器により、アフィンインター予測に従って符号化されたアフィンブロックを記述する制御点を含むビットストリームを受信するステップと、
前記デコーダのプロセッサにより、前記アフィンブロックのサブブロックのサブブロックサイズを決定するステップと、
前記プロセッサにより、前記制御点に基づいて前記サブブロックの動きベクトルを決定するステップと、
前記プロセッサにより、前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択するステップであって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、ステップと、
前記プロセッサにより、現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定するステップと、
前記プロセッサにより、前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定するステップと、
前記プロセッサにより、前記参照サンプルに基づいて予測情報を決定するステップと、
前記プロセッサにより、前記予測情報に基づき、かつ前記ビットストリームに含まれている前記アフィンブロックの残余情報に基づき、前記アフィンブロックを復元するステップと、
前記プロセッサにより、復元された前記アフィンブロックを復元されたビデオシーケンスの一部としてディスプレイへ転送するステップと
を含む、方法。
【請求項１９】
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、前記サブブロックサイズが前記閾値以下である場合は第2の数のタップを含むように選択され、タップの前記第1の数はタップの前記第2の数よりも大きい、請求項18に記載の方法。
【請求項２０】
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合に、6タップ、8タップ、または12タップを含む離散コサイン変換補間フィルタ（DCT-IF）として選択される、請求項18から19のいずれか一項に記載の方法。
【請求項２１】
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、4タップまたは6タップを含むDCT-IFとして選択される、請求項18から20のいずれか一項に記載の方法。
【請求項２２】
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、5タップを含むワーピング補間フィルタ（WIF）として選択される、請求項18から20のいずれか一項に記載の方法。
【請求項２３】
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差、前記アフィンブロックの幅、および前記アフィンブロックの高さに基づいて決定される、請求項18から22のいずれか一項に記載の方法。
【請求項２４】
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、前記アフィンブロックのサイズ、および動きベクトル精度から決定される、請求項18から22のいずれか一項に記載の方法。
【請求項２５】
ビデオ符号化装置によって使用されるコンピュータプログラムを格納した非一時的なコンピュータ読取可能媒体であって、前記コンピュータプログラムは、前記非一時的なコンピュータ読取可能媒体に格納されたコンピュータ実行可能命令を含み、前記コンピュータ実行可能命令は、プロセッサによって実行されると、前記ビデオ符号化装置に請求項18から24のいずれか一項に記載の方法を実行させる、非一時的なコンピュータ読取可能媒体。
【請求項２６】
アフィンインター予測に従って符号化されたアフィンブロックを記述する制御点を含むビットストリームを受信するように構成された受信器と、
前記受信器に接続されたプロセッサであって、
前記アフィンブロックのサブブロックのサブブロックサイズを決定することと、
前記制御点に基づいて前記サブブロックの動きベクトルを決定することと、
前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択することであって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、ことと、
現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定することと、
前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定することと、
前記参照サンプルに基づいて予測情報を決定することと、
前記予測情報に基づき、かつ前記ビットストリームに含まれている前記アフィンブロックの残余情報に基づき、前記アフィンブロックを復元することと、
復元された前記アフィンブロックを復元されたビデオシーケンスの一部としてディスプレイへ転送することと
を行うように構成されたプロセッサと
を含む、ビデオ符号化装置。
【請求項２７】
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合は第1の数のタップを含むように選択され、前記サブブロックサイズが前記閾値以下である場合は第2の数のタップを含むように選択され、タップの前記第1の数はタップの前記第2の数よりも大きい、請求項26に記載のビデオ符号化装置。
【請求項２８】
前記補間フィルタは、前記サブブロックサイズが閾値よりも大きい場合に、6タップ、8タップ、または12タップを含む離散コサイン変換補間フィルタ（DCT-IF）として選択される、請求項26から27のいずれか一項に記載のビデオ符号化装置。
【請求項２９】
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、4タップまたは6タップを含むDCT-IFとして選択される、請求項26から28のいずれか一項に記載のビデオ符号化装置。
【請求項３０】
前記補間フィルタは、前記サブブロックサイズが閾値以下である場合に、5タップを含むワーピング補間フィルタ（WIF）として選択される、請求項26から28のいずれか一項に記載のビデオ符号化装置。
【請求項３１】
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差、前記アフィンブロックの幅、および前記アフィンブロックの高さに基づいて決定される、請求項26から30のいずれか一項に記載のビデオ符号化装置。
【請求項３２】
前記サブブロックサイズは、前記アフィンブロックの前記制御点間の動きベクトル差によってインデックスされる三次元ルックアップテーブル、前記アフィンブロックのサイズ、および動きベクトル精度から決定される、請求項26から30のいずれか一項に記載のビデオ符号化装置。
【請求項３３】
アフィンインター予測に従って符号化されたアフィンブロックを記述する制御点を含むビットストリームを受信する受信手段と、
前記制御点に基づいて前記アフィンブロックのサブブロックの動きベクトルを決定する動きベクトル手段と、
前記サブブロックのサブブロックサイズを決定するサブブロックサイズ手段と、
前記サブブロックに対応する参照ブロックに適用する補間フィルタを選択するフィルタ選択手段であって、前記補間フィルタが前記サブブロックサイズに基づいて選択される、フィルタ選択手段と、
現在サンプルの動きベクトルが前記参照ブロックの小数位置を指し示していると判定し、前記参照ブロックに前記補間フィルタを適用して、前記小数位置で参照サンプルを決定する参照決定手段と、
前記参照サンプルに基づいて予測情報を決定する予測手段と、
前記予測情報に基づき、かつ前記ビットストリームに含まれている前記アフィンブロックの残余情報に基づき、前記アフィンブロックを復元する復元手段と、
復元された前記アフィンブロックを復元されたビデオシーケンスの一部としてディスプレイへ転送する転送手段と
を含む、デコーダ。
【請求項３４】
請求項18から24のいずれか一項に記載の方法を実施するようにさらに構成される、請求項33に記載のデコーダ。
【国際調査報告】
2021513813.tif 000020
2021513813.tif 000021
2021513813.tif 000022
2021513813.tif 000023