(57)【要約】  ビデオ画素を補間するための方法及びシステムを記載する。この方法及びシステムでは、第１の１／４画素と、半画素と、第２の１／４画素との値は、ある補間フィルタ係数に基づいて計算される。
2014512730.tif 000002
【特許請求の範囲】
【請求項１】
画素の列に沿った第１の１／４画素（ＱＬ）と、半画素（Ｈ）と、第２の１／４画素（ＱＲ）とを補間するための方法において、前記画素の列は第１の整数画素（Ｌ３）と、第２の整数画素（Ｌ２）と、第３の整数画素（Ｌ１）と、第４の整数画素（Ｌ０）と、第５の整数画素（Ｒ０）と、第６の整数画素（Ｒ１）と、第７の整数画素（Ｒ２）と、第８の整数画素（Ｒ３）とを含み、前記方法は、
第１の１／４画素（ＱＬ）の値を次式に基づいて計算する工程と、
ＱＬ＝（−１＊Ｌ３＋４＊Ｌ２−１０＊Ｌ１＋５８＊Ｌ０＋１７＊Ｒ０−６＊Ｒ１＋３＊Ｒ２−１＊Ｒ３＋３２）＞＞６
半画素（Ｈ）の値を次式に基づいて計算する工程と、
Ｈ＝（−１＊Ｌ３＋４＊Ｌ２−１１＊Ｌ１＋４０＊Ｌ０＋４０＊Ｒ０−１１＊Ｒ１＋４＊Ｒ２−１＊Ｒ３＋３２）＞＞６
第２の１／４画素（ＱＲ）の値を次式に基づいて計算する工程と
ＱＲ＝（−１＊Ｌ３＋３＊Ｌ２−６＊Ｌ１＋１７＊Ｌ０＋５８＊Ｒ０−１０＊Ｒ１＋４＊Ｒ２−１＊Ｒ３＋３２）＞＞６
を備える方法。
【請求項２】
画素の列に沿った第１の１／４画素（ＱＬ）と、半画素（Ｈ）と、第２の１／４画素（ＱＲ）とを補間するための方法において、前記画素の列は第１の整数画素（Ｌ３）と、第２の整数画素（Ｌ２）と、第３の整数画素（Ｌ１）と、第４の整数画素（Ｌ０）と、第５の整数画素（Ｒ０）と、第６の整数画素（Ｒ１）と、第７の整数画素（Ｒ２）と、第８の整数画素（Ｒ３）とを含み、前記方法は、
第１の１／４画素（ＱＬ）の値を次式に基づいて計算する工程と、
ＱＬ＝（−１＊Ｌ３＋４＊Ｌ２−１０＊Ｌ１＋５５＊Ｌ０＋２１＊Ｒ０−７＊Ｒ１＋３＊Ｒ２−１＊Ｒ３＋３２）＞＞６
半画素（Ｈ）の値を次式に基づいて計算する工程と、
Ｈ＝（−１＊Ｌ３＋４＊Ｌ２−１１＊Ｌ１＋４０＊Ｌ０＋４０＊Ｒ０−１１＊Ｒ１＋４＊Ｒ２−１＊Ｒ３＋３２）＞＞６
第２の１／４画素（ＱＲ）の値を次式に基づいて計算する工程と
ＱＲ＝（−１＊Ｌ３＋３＊Ｌ２−６＊Ｌ１＋１７＊Ｌ０＋５８＊Ｒ０−１０＊Ｒ１＋４＊Ｒ２−１＊Ｒ３＋３２）＞＞６
を備える方法。
【請求項３】
画素の列に沿った第１の１／４画素（ＱＬ）と、半画素（Ｈ）と、第２の１／４画素（ＱＲ）とを補間するための方法において、前記画素の列は第１の整数画素（Ｌ３）と、第２の整数画素（Ｌ２）と、第３の整数画素（Ｌ１）と、第４の整数画素（Ｌ０）と、第５の整数画素（Ｒ０）と、第６の整数画素（Ｒ１）と、第７の整数画素（Ｒ２）と、第８の整数画素（Ｒ３）とを含み、前記方法は、
第１の１／４画素（ＱＬ）の値を次式に基づいて計算する工程と、
ＱＬ＝（−１＊Ｌ３＋３＊Ｌ２−１０＊Ｌ１＋５５＊Ｌ０＋２２＊Ｒ０−７＊Ｒ１＋３＊Ｒ２−１＊Ｒ３＋３２）＞＞６
半画素（Ｈ）の値を次式に基づいて計算する工程と、
Ｈ＝（−１＊Ｌ３＋４＊Ｌ２−１１＊Ｌ１＋４０＊Ｌ０＋４０＊Ｒ０−１１＊Ｒ１＋４＊Ｒ２−１＊Ｒ３＋３２）＞＞６
第２の１／４画素（ＱＲ）の値を次式に基づいて計算する工程と
ＱＲ＝（−１＊Ｌ３＋３＊Ｌ２−７＊Ｌ１＋２２＊Ｌ０＋５５＊Ｒ０−１０＊Ｒ１＋３＊Ｒ２−１＊Ｒ３＋３２）＞＞６
を備える方法。
【請求項４】
画素の列に沿った第１の１／４画素（ＱＬ）と、半画素（Ｈ）と、第２の１／４画素（ＱＲ）とを補間するための方法において、前記画素の列は第１の整数画素（Ｌ３）と、第２の整数画素（Ｌ２）と、第３の整数画素（Ｌ１）と、第４の整数画素（Ｌ０）と、第５の整数画素（Ｒ０）と、第６の整数画素（Ｒ１）と、第７の整数画素（Ｒ２）と、第８の整数画素（Ｒ３）とを含み、前記方法は、
第１の１／４画素（ＱＬ）の値を次式に基づいて計算する工程と、
ＱＬ＝（−１＊Ｌ３＋５＊Ｌ２−８＊Ｌ１＋５５＊Ｌ０＋２１＊Ｒ０−１０＊Ｒ１＋３＊Ｒ２−１＊Ｒ３＋３２）＞＞６
半画素（Ｈ）の値を次式に基づいて計算する工程と、
Ｈ＝（−１＊Ｌ３＋４＊Ｌ２−１１＊Ｌ１＋４０＊Ｌ０＋４０＊Ｒ０−１１＊Ｒ１＋４＊Ｒ２−１＊Ｒ３＋３２）＞＞６
第２の１／４画素（ＱＲ）の値を次式に基づいて計算する工程と
ＱＲ＝（−１＊Ｌ３＋３＊Ｌ２−１０＊Ｌ１＋２１＊Ｌ０＋５５＊Ｒ０−８＊Ｒ１＋５＊Ｒ２−１＊Ｒ３＋３２）＞＞６
を備える方法。
【請求項５】
画素の列に沿った第１の１／４画素（ＱＬ）と、半画素（Ｈ）と、第２の１／４画素（ＱＲ）とを補間するための方法において、前記画素の列は第１の整数画素（Ｌ３）と、第２の整数画素（Ｌ２）と、第３の整数画素（Ｌ１）と、第４の整数画素（Ｌ０）と、第５の整数画素（Ｒ０）と、第６の整数画素（Ｒ１）と、第７の整数画素（Ｒ２）と、第８の整数画素（Ｒ３）とを含み、前記方法は、
第１の１／４画素（ＱＬ）の値を次式に基づいて計算する工程と、
ＱＬ＝（−１＊Ｌ３＋５＊Ｌ２−８＊Ｌ１＋５４＊Ｌ０＋２２＊Ｒ０−１０＊Ｒ１＋３＊Ｒ２−１＊Ｒ３＋３２）＞＞６
半画素（Ｈ）の値を次式に基づいて計算する工程と、
Ｈ＝（−１＊Ｌ３＋４＊Ｌ２−１１＊Ｌ１＋４０＊Ｌ０＋４０＊Ｒ０−１１＊Ｒ１＋４＊Ｒ２−１＊Ｒ３＋３２）＞＞６
第２の１／４画素（ＱＲ）の値を次式に基づいて計算する工程と
ＱＲ＝（−１＊Ｌ３＋３＊Ｌ２−１０＊Ｌ１＋２２＊Ｌ０＋５４＊Ｒ０−８＊Ｒ１＋５＊Ｒ２−１＊Ｒ３＋３２）＞＞６
を備える方法。
【請求項６】
画素の列に沿った第１の１／４画素（ＱＬ）と、半画素（Ｈ）と、第２の１／４画素（ＱＲ）とを補間するための方法において、前記画素の列は第１の整数画素（Ｌ３）と、第２の整数画素（Ｌ２）と、第３の整数画素（Ｌ１）と、第４の整数画素（Ｌ０）と、第５の整数画素（Ｒ０）と、第６の整数画素（Ｒ１）と、第７の整数画素（Ｒ２）と、第８の整数画素（Ｒ３）とを含み、前記方法は、
第１の１／４画素（ＱＬ）の値を次式に基づいて計算する工程と、
ＱＬ＝（−１＊Ｌ３＋３＊Ｌ２−９＊Ｌ１＋５７＊Ｌ０＋１８＊Ｒ０−６＊Ｒ１＋２＊Ｒ２−０＊Ｒ３＋３２）＞＞６
半画素（Ｈ）の値を次式に基づいて計算する工程と、
Ｈ＝（−１＊Ｌ３＋４＊Ｌ２−１１＊Ｌ１＋４０＊Ｌ０＋４０＊Ｒ０−１１＊Ｒ１＋４＊Ｒ２−１＊Ｒ３＋３２）＞＞６
第２の１／４画素（ＱＲ）の値を次式に基づいて計算する工程と
ＱＲ＝（−０＊Ｌ３＋２＊Ｌ２−６＊Ｌ１＋１８＊Ｌ０＋５７＊Ｒ０−９＊Ｒ１＋３＊Ｒ２−１＊Ｒ３＋３２）＞＞６
を備える方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にビデオイメージ処理に関し、より詳細にはビデオ画素を補間する方法及びシステムに関する。
【背景技術】
【０００２】
従来の動き補償ハイブリッドビデオコーデックの主要な特徴の１つは、動きの記述をすべく平行移動モデルを使用することである。デジタルビデオシーケンスの画素値は、何らかのディスクリートセンサの検出範囲にある物体からの光強度を表す。物体の動きはサンプリンググリッドとは全く無関係であるので、時には物体の動きは１画素（フルペル、ｆｕｌｌ−ｐｅｌ）による動きというよりも小数画素による動きのようである。したがって、多くの現代のハイブリッドビデオ符号化の標準規格は、１／２画素又は１／４画素からなる小数画素変位ベクトルの分解能を使用する。
【０００３】
小数画素の変位を推定し、補償するために、これらの小数画素の位置についてのイメージ信号が、補間処理によって生成される必要がある。小数画素の信号を生成するために、補間フィルタのタップは整数画素を重み付けする。小数画素の信号の補間のための最も簡単なフィルタは、バイリニアフィルタであるが、１／８画素を越えた改良はされていない（非特許文献１参照）。したがって、バイリニア補間を使用する１／２画素の分解能のみが、ＭＰＥＧ−２及びＨ．２６３では採用されている。
【０００４】
ワーナーは、バイリニアフィルタの劣った性能の理由はナイキストサンプリング定理が満たされていないこと及びエイリアシングが動き補償の予測を乱していることであると考えている。彼はエイリアシングの影響を減らすためのウィーナー補間フィルタを提案している（非特許文献２参照）。したがって、ＭＰＥＧ−４パート２及びＨ．２６４などの最近のビデオ符号化の標準規格は、８タップ及び６タップのウィーナー補間フィルタをそれぞれ利用している。これらのフィルタは、ウィーナー−ホップ方程式を解くことによって得られる。その方程式は異なるフィルタ長を有する複数のフィルタに対して指定される必要があるので、得られるタップはある範囲内に限定されているとともに、異なるビデオシーケンスが入力信号として使用される。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】クリフ・リーダ（Ｃｌｉｆｆ  Ｒｅａｄｅｒ）、「ＭＰＥＧビデオ圧縮の歴史（Ｈｉｓｔｏｒｙ  ｏｆ  ＭＰＥＧ  Ｖｉｄｅｏ  Ｃｏｍｐｒｅｓｓｉｏｎ）」、ＩＳＯ／ＩＥＣのＭＰＥＧ及びＩＴＵ−ＴのＶＣＥＧから構成されるＪＶＴ（ＪＶＴ  ｏｆ  ＩＳＯ／ＩＥＣ  ＭＰＥＧ  ａｎｄ  ＩＴＵ−Ｔ  ＶＣＥＧ）、２００２年１０月、文献ＪＶＴ−Ｅ０６６
【非特許文献２】Ｏ．ワーナー（Ｏ．  Ｗｅｒｎｅｒ）、「ドリフト分析及びマルチレゾリューションハイブリッドビデオ符号化のためのドリフト低減（Ｄｒｉｆｔ  ａｎａｌｙｓｉｓ  ａｎｄ，  ｄｒｉｆｔ  ｒｅｄｕｃｔｉｏｎ  ｆｏｒ  ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ  ｈｙｂｒｉｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ）」、信号処理：イメージコミュニケーション（Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ：  Ｉｍａｇｅ  Ｃｏｍｍｕｎ．）、１９９６年７月、第８巻、第５号
【図面の簡単な説明】
【０００６】
【図１Ａ】本発明の様々な実施形態が使用され得るビデオシステムを示す図。
【図１Ｂ】本発明の実施形態が実装され得るコンピュータシステムを示す図。
【図２Ａ】本発明の一実施形態によるあるビデオ符号化の原理を示す図。
【図２Ｂ】本発明の一実施形態によるあるビデオ符号化の原理を示す図。
【図３Ａ】本発明の一実施形態によるあるビデオ符号化の原理を示す図。
【図３Ｂ】本発明の一実施形態によるあるビデオ符号化の原理を示す図。
【図４Ａ】本発明の一実施形態による符号化器及び復号器の可能なアーキテクチャを示す図。
【図４Ｂ】本発明の一実施形態による符号化器及び復号器の可能なアーキテクチャを示す図。
【図５Ａ】本発明の一実施形態によるビデオ符号化の原理をさらに示す図。
【図５Ｂ】本発明の一実施形態によるビデオ符号化の原理をさらに示す図。
【図６】画素の列を示す図。
【発明を実施するための形態】
【０００７】
本発明の様々な実施形態が、添付の図面を参照しつつ以下でより詳細に記載される。
しかしながら、添付の図面は本発明の実施形態を示しており、したがって本発明の範囲を限定すると考えられるべきではないことに注意されたい（本発明は他の同じく有効な実施形態の余地があり得るので）。
【０００８】
本発明の一実施形態が使用され得るビデオシステムの一例について、ここに記載する。図において機能ブロックとして示される要素は、ハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組み合わせとして実装されてよい。さらに、本発明の実施形態は、パーソナルコンピュータ、スマートフォン又はタブレットコンピュータ等の他のシステムにおいても利用され得る。
【０００９】
図１Ａを参照すると、一般に１０と付されているビデオシステムは、ケーブルテレビネットワークのヘッドエンド１００を備えている。ヘッドエンド１００はビデオコンテンツを近隣１２９，１３０，１３１に届けるように構成されている。ヘッドエンド１００は複数のヘッドエンドからなる階層内において動作してもよく、階層においてより高位のヘッドエンドが一般により大きな機能を有する。ヘッドエンド１００は衛星放送用パラボラアンテナ１１２に通信可能に連結されており、衛星放送用パラボラアンテナ１１２から全国番組（ｎｏｎ−ｌｏｃａｌ  ｐｒｏｇｒａｍｍｉｎｇ）のためのビデオ信号を受信する。さらにヘッドエンド１００は、地方番組をヘッドエンド１００に届ける地方局１１４に通信可能に連結されている。ヘッドエンド１００は、衛星放送用パラボラアンテナ１１２から受信されるビデオ信号を復号する復号器１０４と、地方局１１４から地方番組を受信する有線放送（ｏｆｆ−ａｉｒ）の受信機１０６と、ヘッドエンド１００の様々な構成要素の間でデータトラフィックのルーティングを行うスイッチャ１０２と、顧客に届けるべくビデオ信号を符号化する符号化器１１６と、顧客に届けるべく信号を変調する変調器１１８と、様々な信号を単一の多チャネル送信に合成する（ｃｏｍｂｉｎｅ）コンバイナ１２０とを備える。
【００１０】
ヘッドエンド１００は、ハイブリッドファイバケーブル（ＨＦＣ）ネットワーク１２２にも通信可能に連結されている。ＨＦＣネットワーク１２２は、複数のノード１２４，１２６，１２８に通信可能に連結されている。各ノード１２４，１２６，１２８は、同軸ケーブルによって近隣１２９，１３０，１３１のうちの１つに連結され、その近隣にケーブルテレビ信号を届ける。図１Ａの近隣１３０のうちの１つについて、より詳細に示す。図１Ａに示すように、その近隣１３０は複数の住宅を含んでおり、家屋１３２を含んでいる。その家屋１３２内には、ビデオディスプレイ１３６に通信可能に連結されるセットトップボックス１３４が存在する。セットトップボックス１３４は、第１の復号器１３８及び第２の復号器１４０を備える。第１の復号器１３８及び第２の復号器１４０は、ユーザインタフェース１４２及び大容量記憶装置１４４に通信可能に連結される。ユーザインタフェース１４２はビデオディスプレイ１３６に通信可能に連結される。
【００１１】
動作中、ヘッドエンド１００は、衛星放送用パラボラアンテナ１１２及び地方局１１４から、地方番組及び全国番組の信号を受信する。全国番組のビデオ信号はデジタルビデオストリームの形で受信される一方で、地方番組のビデオ信号はアナログビデオストリームとして受信される。いくつかの実施形態では、地方番組はデジタルビデオストリームとしても受信される場合がある。顧客の要求に応じて、デジタルビデオストリームは復号器１０４によって復号され、スイッチャ１０２に送られる。ヘッドエンド１００は、大容量記憶装置１１０に通信可能に連結されたサーバ１０８も備える。大容量記憶装置１１０は様々な種類のビデオコンテンツを記憶し（ビデオオンデマンド（ＶＯＤ）を含む）、サーバ１０８はビデオコンテンツを読出し、スイッチャ１０２に提供する。スイッチャ１０２は地方番組を変調器１１８に直接ルーティングを行い、変調器１１８は地方番組を変調する。スイッチャ１０２は全国番組（ＶＯＤを含む）を符号化器１１６にルーティングを行う。符号化器１１６は、全国番組をデジタル符号化する。次に、符号化された全国番組は変調器１１８に送信される。コンバイナ１２０は変調されたアナログビデオデータ及び変調されたデジタルビデオデータを受信し、ビデオデータを合成し、ＨＦＣネットワーク１２２に無線周波数（ＲＦ）による多チャネルを介して送信する。
【００１２】
ＨＦＣネットワーク１２２は合成されたビデオデータをノード１２４，１２６，１２８に送信し、ノードはデータを各近隣１２９，１３０，１３１に再送信する。家屋１３２では、このビデオデータがセットトップボックス１３４（より具体的には、第１の復号器１３８及び第２の復号器１４０）に受信される。第１の復号器１３８及び第２の復号器１４０は、ビデオデータのデジタル部分を復号し、復号されたデータをユーザインタフェース１４２に提供し、次にユーザインタフェースは復号されたデータをビデオディスプレイ１３６に提供する。
【００１３】
図１Ａの符号化器１１６並びに復号器１３８及び復号器１４０（又は、本明細書に記載された他の工程及び機能の全て）は、コンピュータ可読記憶装置（メモリ又は別の種類の記憶装置等）に記憶されたコンピュータ可読命令を含むコンピュータコードとして実装されてもよい。そのコンピュータコードは、コンピュータシステム上でプロセッサ（特定用途向け集積回路（ＡＳＩＣ）又は他の種類の回路等）によって実行される。例えば、符号化器１１６を実装するためのコンピュータコードは、ヘッドエンド１００に備わるコンピュータシステム（サーバ等）上で実行されてもよい。他方、復号器１３８及び復号器１４０のためのコンピュータコードは、セットトップボックス１３４上で実行されてよく、セットトップボックスは一種のコンピュータシステムを構成する。そのコードは、ソースコード、オブジェクトコード、実行可能なコード又は他のフォーマットによるプログラム命令から構成されるソフトウェアプログラムとして存在してもよい。
【００１４】
図１Ｂは、符号化器１１６並びに復号器１３８及び復号器１４０のためのコンピュータコードが実行され得るコンピュータシステムの例を示す。一般に４００と付されるコンピュータシステムは、プロセッサ４０１又は処理回路を備える。プロセッサ又は処理回路は、本明細書に記載の方法、機能及び他の工程のいくつか又は全てを実行するソフトウェア命令を実装し又は実行し得る。プロセッサ４０１からのコマンド及びデータは、通信バス４０３によって通信される。コンピュータシステム４００は、ランダムアクセスメモリ（ＲＡＭ）等のコンピュータ可読記憶装置４０２も備えており、起動時間中はプロセッサ４０１に対するソフトウェア及びデータはコンピュータ可読記憶装置４０２に常駐できる。記憶装置４０２は不揮発性データ記憶も備え得る。コンピュータシステム４００は、ネットワークに接続するためのネットワークインタフェース４０４も備え得る。他の既知の電子部品が、コンピュータシステム４００において示された構成要素に追加され又は代用されてもよい。コンピュータシステム４００はヘッドエンド１００に存在し、符号化器１１６を実施する場合がある。また、コンピュータシステム４００は、復号器１３８及び復号器１４０を実施すべく、セットトップボックス１３４において具現化される場合がある。さらに、コンピュータシステム４００は、ヘッドエンド１００及びセットトップボックス１３４以外の場所に存在してもよく、スマートフォン又はタブレットコンピュータに一体化できるように小型化される場合がある。
【００１５】
本発明の実施形態における符号化器１１６並びに復号器１３８及び復号器１４０によってどのようにビデオデータが符号化され復号されるかについての高水準な記述がここで提供される。この実施形態では、符号化器及び復号器は、高効率映像符号化（ＨＥＶＣ）方式によって動作する。ＨＥＶＣはブロックベースのハイブリッド時空間予測符号化方式である。図２Ａに示すように、ＨＥＶＣでは入力ピクチャは初めにＬＣＵ（最大符号化単位）と呼ばれる正方ブロックに分割される。他のビデオ符号化標準規格（基本の符号化単位は１６×１６のマクロブロックである。）とは異なり、ＨＥＶＣではＬＣＵは１２８×１２８画素程度の大きさにできる。ＬＣＵはＣＵ（符号化単位）と呼ばれる４つの正方ブロックに分割できる。ＣＵのサイズはＬＣＵの１／４である。各ＣＵはさらに４つのより小さなＣＵに分けられてもよく、より小さなＣＵは元のＣＵの１／４のサイズである。分ける処理はある基準が満たされるまで繰り返され得る。図３ＡはＬＣＵがＣＵへとパーティションに分割される一例を示す。
【００１６】
どのように個々のＬＣＵがＣＵへと分けられるかは、四分木によって表現できる。四分木の各ノードでは、ノードがさらにサブノードに分けられる場合にはフラグは“１”にセットされる。そうでない場合には、フラグはセットされず“０”である。例えば、図３ＡのＬＣＵのパーティションによる分割は、図３Ｂの四分木によって表現できる。それらの“スプリットフラグ”は、ビデオのビットストリームにおいて他のフラグと共に符号化され、ビデオのビットストリームはスキップモードフラグ、マージモードフラグ及び予測単位（ＰＵ）モードフラグを含んでいる。図３Ｂの四分木の場合では、スプリットフラグ１０１００が他のフラグとともにオーバヘッドとして符号化される。
【００１７】
各ＣＵはさらに予測単位（ＰＵ）に分割され得る。したがって、四分木の葉では、図２Ｂに示すように２Ｎ×２Ｎの最終的なＣＵは４つの可能なパターン（Ｎ×Ｎ，Ｎ×２Ｎ，２Ｎ×Ｎ，２Ｎ×２Ｎ）のうちの１つを有し得る。ＣＵは空間又は時間のいずれかに予測符号化されていてもよい。ＣＵがイントラモードにおいて符号化された場合には、ＣＵの各ＰＵはＰＵ自体の空間予測方向を有し得る。ＣＵがインタモードにおいて符号化された場合には、ＣＵの各ＰＵはＰＵ自体の動きベクトルと、関連する参照ピクチャとを有し得る。
【００１８】
さらに各ＣＵは、ブロック変換演算の適用によって変換単位（ＴＵ）へと分割され得る。ブロック変換演算はブロック内の画素の相関を失わせる傾向があり、ブロックエネルギを変換ブロックの低次の係数に圧縮する（ｃｏｍｐａｃｔ）傾向がある。８×８又は４×４のうちの１つの変換のみがＭＢに適用される他の方式とは異なり、本発明の実施形態では、異なるサイズの複数のブロック変換がＣＵに対して適用されてもよい。図５Ａに示すように、左のブロックはＰＵへとパーティションに分割されたＣＵであり、右のブロックは関連する複数の変換単位（ＴＵ）である。ＣＵ内の各ブロック変換のサイズと位置は、ＲＱＴと呼ばれる別の四分木によって記述される。図５Ｂは、図５Ａの一例におけるＣＵに対するＴＵの四分木表現を示す。この例では、１１０００がオーバヘッドの一部として符号化され送信される。
【００１９】
所与のＣＵに対するＴＵ及びＰＵは異なる目的のために使用され得る。ＴＵは、典型的には変換、量子化、符号化演算のために使用される。他方、ＰＵは、典型的には時空間予測のために使用される。所与のＣＵに対するＰＵの数とＴＵの数との間に直接の関係は必ずしも存在しない。
【００２０】
各符号化器１１６（図１Ａ）は、本発明の実施形態によると、いくつかの機能モジュールから構成される。これらのモジュールは図４Ａに示されている。これらのモジュールはハードウェア、ソフトウェア又はその２つの任意の組み合わせで実装され得ると理解される。図４Ａの符号化器１１６に対する入力は、現在のＰＵすなわちｘである。現在のＰＵすなわちｘが与えられると、まず予測ＰＵすなわちｘ’が空間予測又は時間予測のいずれかを通じて得られる。この空間予測又は時間予測は、空間予測モジュール４２９又は時間予測モジュール４３０によってそれぞれ実行される。
【００２１】
空間予測モジュール４２９がＰＵごとに実行できるいくつかの可能な空間予測方向が存在する（水平、垂直、対角４５度、対角１３５度、ＤＣ、プラナ等を含む。）。一実施形態では、４×４，８×８，１６×１６，６４×６４のブロックに対する輝度（Ｌｕｍａ）イントラ予測モードの数はそれぞれ、１８，３５，３５，３５，４である。輝度イントラモードを含み、ＩｎｔｒａＦｒｏｍＬｕｍａと呼ばれる追加のモードが彩度イントラ予測をすべく使用される場合がある。構文はＰＵごとの空間予測方向を示す。
【００２２】
符号化器１１６は、動き探索演算を通じて時間予測を実行する。一実施形態では、時間予測モジュール４３０（図４Ａ）は参照ピクチャ上で現在のＰＵに対して最も適合する予測を求める。最も適合する予測は、動きベクトル（ＭＶ）と、関連する参照ピクチャ（ｒｅｆＩｄｘ）とによって記述される。ＢピクチャにおけるＰＵは２つまでＭＶを有することができる。ＭＶ及びｒｅｆＩｄｘの両方はビットストリームにおけるシンタックスの一部である。
【００２３】
次に、予測ＰＵは現在のＰＵから減算され、残差ＰＵすなわちｅが得られる。次に、残差ＰＵすなわちｅは変換モジュール４１７によって変換され（一度に１つの変換単位（ＴＵ））、変換ドメインすなわちＥにおける残差ＰＵが得られる。このタスクを完了させるために、変換モジュール４１７は、正方ブロック変換又は非正方ブロック変換のいずれかを使用する。
【００２４】
戻って図４Ａを参照すると、変換係数Ｅは量子化モジュール４１８によって量子化され、高精度の変換係数を有限個の可能な値に変換する。次に、量子化された係数はエントロピー符号化モジュール４２０によってエントロピー符号化され、最終的な圧縮ビットが得られる。使用され得る２種類のエントロピー符号化は、コンテキスト適応型可変長符号化（ＣＡＶＬＣ）又はコンテキスト適応型２値算術符号化（ＣＡＢＡＣ）である。他の種類も使用されてよい。
【００２５】
時空間予測を行うべく、また符号化器１１６は量子化された変換係数Ｅを取得し、この量子化された変換係数Ｅを逆量子化モジュール４２２によって逆量子化する。これによって、逆量子化された変換係数Ｅ’が得られる。次に、逆量子化された変換係数Ｅ’は、逆変換モジュール４２４によって逆変換され、再構築された残差ＰＵすなわちｅ’が得られる。次に、再構築された残差ＰＵすなわちｅ’は、対応する予測（空間予測又は時間予測のいずれか）すなわちｘ’に加算され、再構築されたＰＵすなわちｘ”を形成する。
【００２６】
なおも図４Ａを参照して、ループフィルタ演算が再構築されたＰＵすなわちｘ”に対してループフィルタモジュール４２６によって実行される。このループフィルタ演算が実行され得る１つの可能な方法は、デブロッキングフィルタ演算によるものであり、ブロッキングアーティファクトを減少させる。別の可能な方法はサンプル適応型オフセット（ｓａｍｐｌｅ  ａｄａｐｔｉｖｅ  ｏｆｆｓｅｔ）処理によるものである。さらに、適応ループフィルタ関数が条件付きで実行される場合があり、入力ピクチャと出力ピクチャとの間の符号化歪を最小限にする。ループフィルタ演算の任意の組み合わせがループフィルタ４２６によって実行される場合もある。例えば、サンプル適応型オフセット処理は、復号されたピクチャに対するデブロッキングフィルタ処理の完了後に条件付きで実行される場合があり、再構築された画素と元の画素との間の画素値を補償する。
【００２７】
再構築されたピクチャが参照ピクチャの場合には、将来の時間予測のために参照バッファ４２８に記憶される。参照バッファ４２８から、参照ピクチャは補間フィルタ４２７の演算を受ける。より詳細に記載されるが、補間フィルタは小数画素の計算を含む演算を実行する。次に、参照ピクチャは時間予測モジュール４３０に提供される。
【００２８】
本発明の実施形態では、イントラピクチャ（Ｉピクチャ等）及びインタピクチャ（Ｐピクチャ又はＢピクチャ等）が符号化器１１６によってサポートされる（図１Ａ）。ＨＥＶＣによって実装されるときは、インタピクチャはＢピクチャである。イントラピクチャは他のピクチャを参照せずに符号化される。したがって、空間予測はイントラピクチャ内のＣＵ又はＰＵに対して使用される。イントラピクチャは、復号が開始できる可能な点を提供する。他方で、インタピクチャは高圧縮を目的とする。インタピクチャはイントラ予測及びインタ予測の両方をサポートする。インタピクチャのＣＵ又はＰＵは空間又は時間のいずれかに予測符号化される。時間の参照は、既に符号化されたイントラピクチャ又はインタピクチャである。
【００２９】
エントロピー符号化モジュール４２０によって出力されるビットは、エントロピー符号化されたサイン、重要度マップ（ｓｉｇｎｉｆｉｃａｎｃｅ  ｍａｐ）及び非零係数とともに、符号化器１１６によってビットストリームに挿入される。このビットストリームはＨＦＣネットワーク１２２上で復号器１３８及び復号器１４０に送られる（図１Ａ）。復号器１３８及び復号器１４０（図１Ａ）は、ビットストリームを受信すると、図４Ｂに示される関数を実行する。復号器１３８のエントロピー復号モジュール４４６は、サイン値、重要度マップ及び非零係数を復号し、量子化及び変換された係数を再現する。次に、エントロピー復号モジュール４４６は係数を逆量子化モジュール４４７に提供し、逆量子化モジュールは元の係数を逆量子化し、これによって、Ｅ’が得られる。逆量子化モジュール４４７は逆量子化された係数を逆変換モジュール４４８に提供する。逆変換モジュール４４８は係数に対して逆変換演算を実行し、再構築された残差ＰＵすなわちｅ’が得られる。次に、再構築された残差ＰＵすなわちｅ’は対応する空間予測すなわちｘ’に加算され、再構築されたＰＵすなわちｘ”を形成する。
【００３０】
なおも図４Ｂを参照して、ループフィルタモジュール４５０は、再構築されたＰＵに対してループフィルタ演算を実行する。ループフィルタ演算が実行され得る可能な方法は、図４Ａのループフィルタモジュール４２６に関連して既に説明した。再構築されたピクチャが参照ピクチャの場合には、将来の時間予測のために参照バッファ４５２に記憶される。参照バッファ４５２から、参照ピクチャは補間フィルタ４５４の演算を受ける。より詳細に記載されるが、補間フィルタ４５４は、小数画素の計算を含む演算を実行する。
【００３１】
ここで、本発明の実施形態による小数画素を補間するための様々な方法について記載する。これらの方法は、図１Ａのビデオシステム、図１Ｂのコンピュータシステム又は任意の同様のシステムに対して実行され得る。図４Ａ及び図４Ｂに示される符号化器１１６又は復号器１３８とともに実装されるとき、それらの方法は補間フィルタ４２７（図４Ａ）及び補間フィルタ４５４（図４Ｂ）によって実行され得る。これらの方法について、１つの画素の列を示す図６を参照して説明する。この画素の列は、第１の整数画素（Ｒ０）、第２の整数画素（Ｌ０）、第３の整数画素（Ｌ１）、第４の整数画素（Ｒ１）、第５の整数画素（Ｌ２）、第６の整数画素（Ｒ２）、第７の整数画素（Ｌ３）、第８の整数画素（Ｒ３）、第９の整数画素（Ｌ４）、第１０の整数画素（Ｒ４）、第１１の整数画素（Ｌ５）、第１２の整数画素（Ｒ６）を含む。図６から理解されるように、Ｌ０及びＲ０は、Ｌ１とＲ１との間に存在する。Ｌ１及びＲ１はＬ２とＲ２との間に存在し、Ｌ２及びＲ２はＬ３とＲ３との間に存在し、Ｌ３及びＲ３はＬ４とＲ４との間に存在し、Ｌ４及びＲ４はＬ５とＲ５との間に存在する。
【００３２】
整数画素Ｌ０とＲ０との間に１／４画素ＱＬ及びＱＲ並びに半画素Ｈが存在する。画素の列はイメージの複数の画素を表現しており、複数の画素は互いに実質的に直線に向けられている。しかしながら、その線は垂直又は対角を含む任意の方向に向けられてもよく、任意の大きさに延びてもよいことが理解される。１／４画素ＱＬ及びＱＲはしばしば“クォーターペル画素（ｑｕａｒｔｅｒ−ｐｅｌ  ｐｉｘｅｌ）”と呼ばれる。他方、半画素Ｈは時には“ハーフペル画素（ｈａｌｆ−ｐｅｌ  ｐｉｘｅｌ）”と呼ばれる。
【００３３】
第１の実施形態
第１の実施形態では、ハーフペル画素Ｈ並びにクォーターペル画素ＱＬ及びＱＲは、空間的に隣り合うフルペル画素Ｌ３，Ｌ２，Ｌ１，Ｌ０，Ｒ０，Ｒ１，Ｒ２，Ｒ３を使用して次のように補間される。
ＱＬ＝（−１＊Ｌ３＋４＊Ｌ２−１０＊Ｌ１＋５８＊Ｌ０＋１７＊Ｒ０−６＊Ｒ１＋３＊Ｒ２−１＊Ｒ３＋３２）＞＞６
Ｈ＝（−１＊Ｌ３＋４＊Ｌ２−１１＊Ｌ１＋４０＊Ｌ０＋４０＊Ｒ０−１１＊Ｒ１＋４＊Ｒ２−１＊Ｒ３＋３２）＞＞６
ＱＲ＝（−１＊Ｌ３＋３＊Ｌ２−６＊Ｌ１＋１７＊Ｌ０＋５８＊Ｒ０−１０＊Ｒ１＋４＊Ｒ２−１＊Ｒ３＋３２）＞＞６
テーブル１に、このフィルタ係数を要約する。
【００３４】
【表１】
2014512730.tif 000003
第２の実施形態
第２の実施形態では、ハーフペル画素Ｈ並びにクォーターペル画素ＱＬ及びＱＲは、空間的に隣り合うフルペル画素Ｌ３，Ｌ２，Ｌ１，Ｌ０，Ｒ０，Ｒ１，Ｒ２，Ｒ３を使用して次のように補間される。
ＱＬ＝（−１＊Ｌ３＋４＊Ｌ２−１０＊Ｌ１＋５５＊Ｌ０＋２１＊Ｒ０−７＊Ｒ１＋３＊Ｒ２−１＊Ｒ３＋３２）＞＞６
Ｈ＝（−１＊Ｌ３＋４＊Ｌ２−１１＊Ｌ１＋４０＊Ｌ０＋４０＊Ｒ０−１１＊Ｒ１＋４＊Ｒ２−１＊Ｒ３＋３２）＞＞６
ＱＲ＝（−１＊Ｌ３＋３＊Ｌ２−７＊Ｌ１＋２１＊Ｌ０＋５５＊Ｒ０−１０＊Ｒ１＋４＊Ｒ２−１＊Ｒ３＋３２）＞＞６
テーブル２に、このフィルタ係数を要約する。
【００３５】
【表２】
2014512730.tif 000004
第３の実施形態
第３の実施形態では、ハーフペル画素Ｈ並びにクォーターペル画素ＱＬ及びＱＲは、空間的に隣り合うフルペル画素Ｌ３，Ｌ２，Ｌ１，Ｌ０，Ｒ０，Ｒ１，Ｒ２，Ｒ３を使用して次のように補間される。
ＱＬ＝（−１＊Ｌ３＋３＊Ｌ２−１０＊Ｌ１＋５５＊Ｌ０＋２２＊Ｒ０−７＊Ｒ１＋３＊Ｒ２−１＊Ｒ３＋３２）＞＞６
Ｈ＝（−１＊Ｌ３＋４＊Ｌ２−１１＊Ｌ１＋４０＊Ｌ０＋４０＊Ｒ０−１１＊Ｒ１＋４＊Ｒ２−１＊Ｒ３＋３２）＞＞６
ＱＲ＝（−１＊Ｌ３＋３＊Ｌ２−７＊Ｌ１＋２２＊Ｌ０＋５５＊Ｒ０−１０＊Ｒ１＋３＊Ｒ２−１＊Ｒ３＋３２）＞＞６
テーブル３に、このフィルタ係数を要約する。
【００３６】
【表３】
2014512730.tif 000005
第４の実施形態
ＱＬ＝（−１＊Ｌ３＋５＊Ｌ２−８＊Ｌ１＋５５＊Ｌ０＋２１＊Ｒ０−１０＊Ｒ１＋３＊Ｒ２−１＊Ｒ３＋３２）＞＞６
Ｈ＝（−１＊Ｌ３＋４＊Ｌ２−１１＊Ｌ１＋４０＊Ｌ０＋４０＊Ｒ０−１１＊Ｒ１＋４＊Ｒ２−１＊Ｒ３＋３２）＞＞６
ＱＲ＝（−１＊Ｌ３＋３＊Ｌ２−１０＊Ｌ１＋２１＊Ｌ０＋５５＊Ｒ０−８＊Ｒ１＋５＊Ｒ２−１＊Ｒ３＋３２）＞＞６
テーブル４に、このフィルタ係数を要約する。
【００３７】
【表４】
2014512730.tif 000006
第５の実施形態
第５の実施形態では、ハーフペル画素Ｈ並びにクォーターペル画素ＱＬ及びＱＲは、空間的に隣り合うフルペル画素Ｌ３，Ｌ２，Ｌ１，Ｌ０，Ｒ０，Ｒ１，Ｒ２，Ｒ３を使用して次のように補間される。
ＱＬ＝（−１＊Ｌ３＋５＊Ｌ２−８＊Ｌ１＋５４＊Ｌ０＋２２＊Ｒ０−１０＊Ｒ１＋３＊Ｒ２−１＊Ｒ３＋３２）＞＞６
Ｈ＝（−１＊Ｌ３＋４＊Ｌ２−１１＊Ｌ１＋４０＊Ｌ０＋４０＊Ｒ０−１１＊Ｒ１＋４＊Ｒ２−１＊Ｒ３＋３２）＞＞６
ＱＲ＝（−１＊Ｌ３＋３＊Ｌ２−１０＊Ｌ１＋２２＊Ｌ０＋５４＊Ｒ０−８＊Ｒ１＋５＊Ｒ２−１＊Ｒ３＋３２）＞＞６
テーブル５に、このフィルタ係数を要約する。
【００３８】
【表５】
2014512730.tif 000007
第６の実施形態
第６の実施形態では、ハーフペル画素Ｈ並びにクォーターペル画素ＱＬ及びＱＲは、空間的に隣り合うフルペル画素Ｌ３，Ｌ２，Ｌ１，Ｌ０，Ｒ０，Ｒ１，Ｒ２，Ｒ３を使用して次のように補間される。
ＱＬ＝（−１＊Ｌ３＋３＊Ｌ２−９＊Ｌ１＋５７＊Ｌ０＋１８＊Ｒ０−６＊Ｒ１＋２＊Ｒ２−０＊Ｒ３＋３２）＞＞６
Ｈ＝（−１＊Ｌ３＋４＊Ｌ２−１１＊Ｌ１＋４０＊Ｌ０＋４０＊Ｒ０−１１＊Ｒ１＋４＊Ｒ２−１＊Ｒ３＋３２）＞＞６
ＱＲ＝（−０＊Ｌ３＋２＊Ｌ２−６＊Ｌ１＋１８＊Ｌ０＋５７＊Ｒ０−９＊Ｒ１＋３＊Ｒ２−１＊Ｒ３＋３２）＞＞６
テーブル６に、このフィルタ係数を要約する。
【００３９】
【表６】
2014512730.tif 000008
ＪＣＴ−ＶＣの参照ソフトウェアＨＭ２．０に対してテストされた実験結果を以下に示す。
【００４０】
第１の実施形態の補間フィルタは、高効率なテスト条件を使用してシーケンスＶｉｄｙｏ１を符号化したときは０．５％のビットレートの節約を達成する場合があり、低計算量のテスト条件を使用してシーケンスＶｉｄｙｏ１を符号化したときはビットレートを１．４％増加させる場合がある。
【００４１】
第２の実施形態の補間フィルタは、低計算量のテスト条件を使用してシーケンスＲａｃｅＨｏｒｓｅを符号化したときは０．６％のビットレートの節約を達成する場合があり、低計算量のテスト条件を使用してシーケンスＶｉｄｙｏ１を符号化したときはビットレートを３．４％増加させる場合がある。
【００４２】
第３の実施形態の補間フィルタは、低計算量のテスト条件を使用してシーケンスＶｉｄｙｏ３を符号化したときは１．１％のビットレートの節約を達成する場合があり、低計算量のテスト条件を使用してシーケンスＢＱＳｑｕａｒｅを符号化したときはビットレートを５．２％増加させる場合がある。
【００４３】
第６の実施形態の補間フィルタは、低計算量のテスト条件を使用してシーケンスＶｉｄｙｏ３を符号化したときは１．７％のビットレートの節約を達成する場合があり、低計算量のテスト条件を使用してシーケンスＢｌｏｗｉｎｇＢｕｂｂｌｅｓを符号化したときはビットレートを１．１％増加させる場合がある。
【００４４】
特定の補間フィルタはある種のビデオコンテンツに対して効果的な場合がある。補間フィルタを適応的に選択することが好適な場合がある。したがって、異なる補間フィルタが異なるビデオシーケンスに対して使用される場合がある。
【００４５】
さらに、水平線に沿った複数の画素の特徴と、垂直線に沿った複数の画素の特徴とは非常に異なっている場合がある。したがって、水平方向と垂直方向において、分離可能なフィルタが利用される場合がある。ビデオコンテンツに応じて、分離可能な水平フィルタ及び垂直フィルタは必ずしも同じではない場合がある。例えば、水平方向の細部が大部分である符号化単位又はピクチャでは、より強力な垂直フィルタが使用される等の場合がある。
【００４６】
フィルタ選択情報は、シーケンス、ピクチャ、スライス又さらにはＣＵレベルにおいて、明示的に信号で示されるか又は非明示的に導かれる。
本開示の全体を通じて詳細に具体的に記載されているが、代表例は広範囲の応用にわたり実用性を有しており、以上の議論は限定することを意図しておらず、限定すると解釈されるべきではない。本明細書で使用された用語、記載及び図は、例示としてのみ提示されており、限定としては意図されていない。複数の例の趣旨及び範囲内において多くの変形が可能であると当業者によって認められる。その複数の例は例を参照して記載されているが、以下の特許請求の範囲に記載される例の範囲及び均等物から逸脱することなく、当業者は記載された例に対して様々な改変をすることができる。
【図１Ａ】
2014512730.tif 000009
【図１Ｂ】
2014512730.tif 000010
【図２Ａ】
2014512730.tif 000011
【図２Ｂ】
2014512730.tif 000012
【図３Ａ】
2014512730.tif 000013
【図３Ｂ】
2014512730.tif 000014
【図４Ａ】
2014512730.tif 000015
【図４Ｂ】
2014512730.tif 000016
【図５Ａ】
2014512730.tif 000017
【図５Ｂ】
2014512730.tif 000018
【図６】
2014512730.tif 000019
【国際調査報告】
2014512730.tif 000020
2014512730.tif 000021
2014512730.tif 000022