(57)【要約】  スケーラブルビデオ圧縮における補間を実行する補間方法および補間装置を提供する。互いに独立した精度の各補間フィルタが、輝度成分とクロミナンス成分に対して適用される。このとき、各補間フィルタのタップ係数も互いに独立しており、各フィルタは、対称であっても非対称であってもよい。そして、補間結果はスケーラブルビデオ圧縮における補間に用いられて、良好な効果を得る。これにより、圧縮効率の向上と複雑さの低減を実現することが可能となる。上記補間方法は、上記補間装置において実現可能である。
2009523336.tif 000002
【特許請求の範囲】
【請求項１】
スケーラブルビデオ符号化における補間を実行する補間方法であって、上記補間方法は、スケーラブルビデオ符号化において層間予測に用いられる補間方法であり、上記層間予測は、輝度成分およびクロミナンス成分に対して補間フィルタリング処理を実行するステップを含んでおり、
上記補間フィルタリング処理を実行するステップは、
輝度成分とクロミナンス成分とのそれぞれに対して、互いに独立した所定の精度を有する各補間フィルタを用いて実行され、上記輝度成分と上記クロミナンス成分とのそれぞれに対する補間フィルタリング処理に用いられる各補間フィルタの各タップ係数は、互いに独立して定められていることを特徴とするスケーラブルビデオ符号化における補間を実行する補間方法。
【請求項２】
上記補間フィルタは、非対称の構造を有することを特徴とする、請求項１に記載の、スケーラブルビデオ符号化における補間を実行する補間方法。
【請求項３】
上記層間予測は、フレーム内基準層モードで行われることを特徴とする、請求項１に記載の、スケーラブルビデオ符号化における補間を実行する補間方法。
【請求項４】
通常空間スケーラビリティ技術を用いる際に、
輝度成分に用いる補間フィルタは、精度が１／２ピクセルの６タップ補間フィルタであり、かつ、クロミナンス成分に用いる補間フィルタは、精度が１／２ピクセルの２タップ補間フィルタである、
または、
輝度成分に用いる補間フィルタは、精度が１／２ピクセルの４タップ補間フィルタであり、かつ、クロミナンス成分に用いる補間フィルタは、精度が１／２ピクセルの２タップ補間フィルタである、
ことを特徴とする、請求項１から３までのいずれか１項に記載の、スケーラブルビデオ符号化における補間を実行する補間方法。
【請求項５】
精度が１／２ピクセルの上記６タップ補間フィルタは、
｛Ｃｏ１，Ｃｏ２，Ｃｏ３，Ｃｏ４，Ｃｏ５，Ｃｏ６｝／［Ｃｏ１＋Ｃｏ２＋Ｃｏ３＋Ｃｏ４＋Ｃｏ５＋Ｃｏ６］
の形式であり、ここで、Ｃｏｉ（ｉ＝１．．．６）は、上記補間フィルタのタップ係数であって、
具体的なタップ係数は、
［１，−５，２０，２０，−５，1］／３２
であり、
上記補間フィルタのタップ係数Ｃｏｉは、
ｒｏｕｎｄ（Ｃｏｉ×２ｊ）±１
を含む値を取ることができ、ここで、ｉ＝１．．．６、であり、かつ、ｊは任意の整数であり、
精度が１／２ピクセルの上記４タップ補間フィルタは、
｛Ｅｏ１，Ｅｏ２，Ｅｏ３，Ｅｏ４｝／［Ｅｏ１＋Ｅｏ２＋Ｅｏ３＋Ｅｏ４］
の形式であり、ここで、Ｅｏｉ（ｉ＝１．．．４）は、上記補間フィルタのタップ係数であって、
具体的なタップ係数は、
［−５，２１，２１，−５］／３２
であり、
上記補間フィルタのタップ係数Ｅｏｉは、
ｒｏｕｎｄ（Ｅｏｉ×２ｊ）±１
を含む値を取ることができ、ここで、ｉ＝１．．．４、であり、かつ、ｊは任意の整数であり、
精度が１／２ピクセルの上記２タップ補間フィルタは、
｛Ｄｏ１，Ｄｏ２｝／［Ｄｏ１＋Ｄｏ２］
の形式であり、ここで、Ｄｏｉ（ｉ＝１，２）は、上記補間フィルタのタップ係数であって、
具体的なタップ係数は、
［１６，１６］／３２
であり、
上記補間フィルタのタップ係数Ｄｏｉは、
ｒｏｕｎｄ（Ｄｏｉ×２ｊ）±１
を含む値を取ることができ、ここで、ｉ＝１，２、であり、かつ、ｊは任意の整数である、
ことを特徴とする、請求項４に記載の、スケーラブルビデオ符号化における補間を実行する補間方法。
【請求項６】
拡張空間スケーラビリティ（ＥＳＳ）技術を用いる際に、
輝度成分に用いる補間フィルタは、精度が１／１６ピクセルの６タップ補間フィルタであり、かつ、クロミナンス成分に用いる補間フィルタは、精度が１／１６ピクセルの２タップ補間フィルタ、精度が１／８ピクセルの２タップ補間フィルタ、精度が１／４ピクセルの２タップ補間フィルタまたは精度が１／２ピクセルの２タップ補間フィルタである、
もしくは、
輝度成分に用いる補間フィルタは、精度が１／１６ピクセルの４タップ補間フィルタであり、かつ、クロミナンス成分に用いる補間フィルタは、精度が１／１６ピクセルの２タップ補間フィルタ、精度が１／８ピクセルの２タップ補間フィルタ、精度が１／４ピクセルの２タップ補間フィルタまたは精度が１／２ピクセルの２タップ補間フィルタである、
もしくは、
輝度成分に用いる補間フィルタは、精度が１／８ピクセルの６タップ補間フィルタであり、かつ、クロミナンス成分に用いる補間フィルタは、精度が１／８ピクセルの２タップ補間フィルタ、精度が１／４ピクセルの２タップ補間フィルタまたは精度が１／２ピクセルの２タップ補間フィルタである、
もしくは、
輝度成分に用いる補間フィルタは、精度が１／８ピクセルの４タップ補間フィルタであり、かつ、クロミナンス成分に用いる補間フィルタは、精度が１／８ピクセルの２タップ補間フィルタ、精度が１／４ピクセルの２タップ補間フィルタまたは精度が１／２ピクセルの２タップ補間フィルタである、
ことを特徴とする、請求項１から３までのいずれか１項に記載の、スケーラブルビデオ符号化における補間を実行する補間方法。
【請求項７】
精度が１／１６ピクセルの上記６タップ補間フィルタは、
｛Ｇｏ１，Ｇｏ２，Ｇｏ３，Ｇｏ４，Ｇｏ５，Ｇｏ６｝／［Ｇｏ１＋Ｇｏ２＋Ｇｏ３＋Ｇｏ４＋Ｇｏ５＋Ｇｏ６］
の形式であり、ここで、Ｇｏｉ（ｉ＝１．．．６）は、上記補間フィルタのタップ係数であって、
具体的なタップ係数は、位相によって決まり、位相０から１５までにおいて、対応するタップ係数は、それぞれ、
［０，０，３２，０，０，０］／３２、［０，−２，３２，２，０，０］／３２、［１，−３，３１，４，−１，０］／３２、［１，−４，３０，７，−２，０］／３２、［１，−４，２８，９，−２，０］／３２、［１，−５，２７，１１，−３，１］／３２、［１，−５，２５，１４，−３，０］／３２、［１，−５，２２，１７，−４，１］／３２、［１，−５，２０，２０，−５，１］／３２、［１，−４，１７，２２，−５，１］／３２、［０，−３，１４，２５，−５，１］／３２、［１，−３，１１，２７，−５，１］／３２、［０，−２，９，２８，−４，１］／３２、［０，−２，７，３０，−４，１］／３２、［０，−１，４，３１，−３，１］／３２、［０，０，２，３２，−２，０］／３２
であり、
上記補間フィルタのタップ係数Ｇｏｉは、
ｒｏｕｎｄ（Ｇｏｉ×２ｊ）±１
を含む値を取ることができ、ここで、ｉ＝１．．．６、であり、かつ、ｊは任意の整数であり、
精度が１／８ピクセルの上記６タップ補間フィルタは、
｛Ｉｏ１，Ｉｏ２，Ｉｏ３，Ｉｏ４，Ｉｏ５，Ｉｏ６｝／［Ｉｏ１＋Ｉｏ２＋Ｉｏ３＋Ｉｏ４＋Ｉｏ５＋Ｉｏ６］
の形式であり、ここで、Ｉｏｉ（ｉ＝１．．．６）は、上記補間フィルタのタップ係数であって、
具体的なタップ係数は、位相によって決まり、位相０から８までにおいて、対応するタップ係数は、それぞれ、
［０，０，３２，０，０，０］／３２、［１，−３，３１，４，−１，０］／３２、［１，−４，２８，９，−２，０］／３２、［１，−５，２５，１４，−３，０］／３２、［１，−５，２０，２０，−５，１］／３２、［０，−３，１４，２５，−５，１］／３２、［０，−２，９，２８，−４，１］／３２、［０，−１，４，３１，−３，１］／３２
であり、
上記補間フィルタのタップ係数Ｉｏｉは、
ｒｏｕｎｄ（Ｉｏｉ×２ｊ）±１
を含む値を取ることができ、ここで、ｉ＝１．．．６、であり、かつ、ｊは任意の整数であり、
精度が１／１６ピクセルの上記４タップ補間フィルタは、
｛Ｋｏ１，Ｋｏ２，Ｋｏ３，Ｋｏ４｝／［Ｋｏ１＋Ｋｏ２＋Ｋｏ３＋Ｋｏ４］
の形式であり、ここで、Ｋｏｉ（ｉ＝１．．．４）は、上記補間フィルタのタップ係数であって、
具体的なタップ係数は、位相によって決まり、位相０から１６までにおいて、対応するタップ係数は、それぞれ、
［０，３２，０，０］／３２、［−２，３２，２，０］／３２、［−３，３２，４，−１］／３２、［−４，３１，６，−１］／３２、［−５，２９，９，−２］／３２、［−５，２８，１２，−３］／３２、［−５，２６，１５，−４］／３２、［−５，２３，１８，−４］／３２、［−５，２１，２１，−５］／３２、［−４，１８，２３，−５］／３２、，［−４，１５，２６，−５］／３２、［−３，１２，２８，−５］／３２、［−２，９，２９，−５］／３２、［−１，６，３１，−４］／３２、［−１，４，３１，−３］／３２、［０，２，３２，−２］／３２
であり、
上記補間フィルタのタップ係数Ｋｏｉは、
ｒｏｕｎｄ（Ｋｏｉ×２ｊ）±１
を含む値を取ることができ、ここで、ｉ＝１．．．４、であり、かつ、ｊは任意の整数であり、
精度が１／８ピクセルの上記４タップ補間フィルタは、
｛Ｏｏ１，Ｏｏ２，Ｏｏ３，Ｏｏ４｝／［Ｏｏ１＋Ｏｏ２＋Ｏｏ３＋Ｏｏ４］
の形式であり、ここで、Ｏｏｉ（ｉ＝１．．．４）は、上記補間フィルタのタップ係数であって、
具体的なタップ係数は、位相によって決まり、位相０から８までにおいて、対応するタップ係数は、それぞれ、
［０，３２，０，０］／３２、［−３，３２，４，−１］／３２、［−５，２９，９，−２］／３２、［−５，２６，１５，−４］／３２、［−５，２１，２１，−５］／３２、、［−４，１５，２６，−５］／３２、［−２，９，２９，−５］／３２、［−１，４，３１，−３］／３２
であり、
上記補間フィルタのタップ係数Ｏｏｉは、
ｒｏｕｎｄ（Ｏｏｉ×２ｊ）±１
を含む値を取ることができ、ここで、ｉ＝１．．．４であり、かつ、ｊは任意の整数であり、
精度が１／１６ピクセルの上記２タップ補間フィルタは、
｛Ｆｏ１，Ｆｏ２｝／［Ｆｏ１＋Ｆｏ２］
の形式であり、ここで、Ｆｏｉ（ｉ＝１，２）は、上記補間フィルタのタップ係数であって、
具体的なタップ係数は、位相によって決まり、位相０から１６までにおいて、対応するタップ係数は、それぞれ、
［３２，０］／３２、［３０，２］／３２、［２８，４］／３２、［２７，５］／３２、［２５，７］／３２、、［２２，１０］／３２、［２０，１２］／３２、［１８，１４］／３２、［１６，１６］／３２、［１４，１８］／３２、［１２，２０］／３２、［１０，２２］／３２、、［７，２５］／３２、［５，２７］／３２、［４，２８］／３２、［２，３０］／３２
であり、
上記補間フィルタのタップ係数Ｆｏｉは、ｒｏｕｎｄ（Ｆｏｉ×２ｊ）±１を含む値を取ることができ、ここで、ｉ＝１，２、であり、かつ、ｊは任意の整数であり、
精度が１／８ピクセルの上記２タップ補間フィルタは、
｛Ｈｏ１，Ｈｏ２｝／［Ｈｏ１＋Ｈｏ２］
の形式であり、ここで、Ｈｏｉ（ｉ＝１，２）は、上記補間フィルタのタップ係数であって、
具体的なタップ係数は、位相によって決まり、位相０から８までにおいて、対応するタップ係数は、それぞれ、
［３２，０］／３２、［２８，４］／３２、［２５，７］／３２、［２０，１２］／３２、［１６，１６］／３２、、［１２，２０］／３２、［７，２５］／３２、［４，２８］／３２
であり、
上記補間フィルタのタップ係数Ｈｏｉは、
ｒｏｕｎｄ（Ｈｏｉ×２ｊ）±１
を含む値を取ることができ、ここで、ｉ＝１，２、であり、かつ、ｊは任意の整数であり、
精度が１／４ピクセルの上記２タップ補間フィルタは、
｛Ｍｏ１，Ｍｏ２｝／［Ｍｏ１＋Ｍｏ２］
の形式であり、ここで、Ｍｏｉ（ｉ＝１，２）は、上記補間フィルタのタップ係数であって、
具体的なタップ係数は、位相によって決まり、位相０から４までにおいて、対応するタップ係数は、それぞれ、
［３２，０］／３２、［２５，７］／３２、［１６，１６］／３２、［７，２５］／３２
であり、
タップ係数Ｍｏｉは、
ｒｏｕｎｄ（Ｍｏｉ×２ｊ）±１
を含む値を取ることができ、ここで、ｉ＝１，２、であり、かつ、ｊは任意の整数であり、
精度が１／２ピクセルの上記２タップ補間フィルタは、
｛Ｎｏ１，Ｎｏ２｝／［Ｎｏ１＋Ｎｏ２］
の形式であり、ここで、Ｎｏｉ（ｉ＝１，２）は、上記補間フィルタのタップ係数であって、
具体的なタップ係数は、位相によって決まり、位相が０のとき、タップ係数は［３２，０］／３２であり、位相が１のとき、タップ係数は［１６，１６］／３２であり、
上記補間フィルタのタップ係数Ｎｏｉは、
ｒｏｕｎｄ（Ｎｏｉ×２ｊ）±１
を含む値を取ることができ、ここで、ｉ＝１，２、であり、かつ、ｊは任意の整数である、
ことを特徴とする、請求項６に記載の、スケーラブルビデオ符号化における補間を実行する補間方法。
【請求項８】
スケーラブルビデオ符号化における補間を実行する補間装置であって、
輝度成分に対して補間フィルタリング処理を実行する、所定の第１精度および所定の第１タップ係数を有する輝度補間フィルタと、
クロミナンス成分に対して補間フィルタリング処理を実行する、所定の第２精度および所定の第２タップ係数を有するクロミナンス補間フィルタとを備え、
上記所定の第１精度と上記所定の第２精度とは互いに独立し、上記所定の第１タップ係数と上記所定の第２タップ係数とは互いに独立していることを特徴とする補間装置。
【請求項９】
上記補間フィルタは、非対称の構成を含んでいることを特徴とする、請求項８に記載の、スケーラブルビデオ符号化における補間を実行する補間装置。
【請求項１０】
基準層から整数ピクセルのピクセル値を読み込む入力装置（１）と、
輝度成分に対してｎ位相の補間フィルタリングを実行するＰタップ補間フィルタリング装置（２）と、
クロミナンス成分に対してｍ位相の補間フィルタリングを実行するＱタップ補間フィルタリング装置（３）と、
補間結果を拡張層に出力する出力装置（４）と、
補間処理を制御するコントローラ（５）とを備え、
上記入力装置（１）の一端からの出力データは、並列接続された上記Ｐタップ補間フィルタリング装置（２）を並列に通過した後に、上記出力装置（４）に伝達され、
上記入力装置（１）のもう一端からの出力データは、並列接続された上記Ｑタップ補間フィルタリング装置（３）を並列に通過した後に、上記出力装置（４）に伝達され、
上記コントローラ（５）の一端から出力されたｎ個の出力データは、上記Ｐタップ補間フィルタリング装置（２）に伝達され、
上記コントローラ（５）のもう一端から出力されたｍ個の出力データは、上記Ｑタップ補間フィルタリング装置（３）に伝達されることを特徴とする請求項８または９に記載の、スケーラブルビデオ符号化における補間を実行する補間装置。
【発明の詳細な説明】
【技術分野】
【０００１】
〔技術分野〕
本発明は、電子デジタルデータ処理技術の分野に関し、特に、スケーラブルビデオ符号化における補間を実行する方法および装置に関する。
【背景技術】
【０００２】
〔背景技術〕
現在、ビデオ通信技術の分野において、ビデオ信号は、デジタルビデオ信号としてより一層広範囲で送信されている。デジタルビデオ信号が送信される間、ビデオ信号は、通常さまざまな形で圧縮プロセスにかかる。これにより、伝送効率を向上するための低データ速度が維持される。このため、様々なビデオ圧縮の標準規格が、ビデオ信号圧縮のための利用可能な仕様として業界で定義されてきた。
【０００３】
周知のビデオシステムでは、様々なビデオ符号化ソリューション、または、それらを変形例が、様々な種類のビデオ圧縮の標準規格に基づいて、ビデオ信号の圧縮符号化に一般に使用される。その結果、スケーラブルに符号化されたビデオストリームを利用するには、圧縮されたビデオストリームを、様々な機能、性能および要件を持つ複数のデコーダに伝送しなければならないことがある。ビデオ符号化の拡張性を利用することにより、デコーダは、ビデオストリームの一部分のみ利用できるようになり、また、その一部分から全体の画像を復号できるようになる。復号された画像の品質レベルは、デコーダが使用したスケーラブル圧縮ビデオストリームの数と、スケーラブル圧縮ビデオストリームを構成する方法とに依存するという点に注意すべきである。
【０００４】
既存のビデオ圧縮の標準規格では、空間の拡張性、信号対雑音比（ＳＮ比）、および時間は、通常スケーラブルな構造によって得られる。符号化されたビデオは、層ごとに対応する２以上の独立したビデオストリームに分けられる。このようなスケーラブルな構造では、非スケーラブル符号化ソリューションと同じように、基準層を符号化するのに混合予測符号化ループが利用される。これにより、データストリーム（すなわち、ビデオストリーム）が生成される。そして、このデータストリームが復号されるとき、低品質な全体画像がそのデータストリームから生成される。上記基準層に関連する拡張層は、当該基準層の画像に対応する残留信号のデータを含む。拡張データストリームは、この拡張層によって生成される。拡張データストリームが上記基準層の情報と結合するとき、拡張データストリームは、より良いビデオ画質レベルを提供することができる。
【０００５】
スケーラブルビデオ符号化における層間予測において、各拡張層に対応する基準層信号は、拡張層の予測信号として利用できるようにして、拡張層が圧縮されるように補間されることが必要である。基準層信号の補間は、スケーラブルビデオ符号化の性能に影響を及ぼす重要な処理である。上述の補間処理は、同精度の補間フィルタを輝度成分およびクロミナンス成分に適用する。これにより、相対的に計算が複雑となる。その上、左右対称な設計が、補間フィルタにたいてい利用されている。これにより、圧縮性能のさらなる改善が制限されてしまう。
【発明の開示】
【０００６】
〔発明の概要〕
本発明の実施形態では、スケーラブルビデオ符号化における補間を実行する方法および装置を提供する。これらによって、各層間において予測および補間を実行する場合に、予測精度を向上させて、複雑さを低減することが可能となる。
【０００７】
本発明の一実施形態では、スケーラブルビデオ符号化における補間を実行する方法を提供する。本方法は、スケーラブルビデオ符号化における層間予測に用いられる。上記層間予測は、輝度成分およびクロミナンス成分に対する補間フィルタリング処理を実行するステップを含み、上記補間フィルタリング処理を実行するステップでは、輝度成分およびクロミナンス成分に対する補間フィルタリング処理のそれぞれは、それぞれ独立して定められた精度を持つそれぞれの補間フィルタを用いて実行される。輝度成分およびクロミナンス成分に対する補間フィルタリング処理で用いられる、それぞれの補間フィルタのタップ係数は、それぞれ独立して定められる。
【０００８】
本発明の一実施形態では、スケーラブルビデオ符号化における補間を実行する装置を提供する。本装置は、輝度成分に対して補間フィルタリング処理を実行するようにあらかじめ定められた第１精度および第１タップ係数を有する輝度補間フィルタと、クロミナンス成分に対して補間のフィルタリング処理を実行するようにあらかじめ定められた第２精度および第２タップ係数を有するクロミナンス補間フィルタとを備え、上記第１精度および上記第２精度は互いに依存せず、上記第１タップ係数および上記第２タップ係数も互いに依存しない。
【０００９】
本発明の各実施形態は、従来技術に対して以下の優れた効果をもたらす。本発明の各実施形態では、輝度およびクロミナンスの異なる特徴に応じて別々に各処理が実行される。すなわち、輝度成分とクロミナンス成分とのそれぞれに対して、互いに独立した精度の補間フィルタが用いられ、また、補間フィルタのそれぞれのタップ係数も互いに独立している。したがって、本発明の各実施形態では、符号化および圧縮処理の複雑さを低減させることができるとともに、符号化効率を向上させることができるという効果を奏する。さらに、本発明の実施形態は、ビデオ符号化およびイメージ符号化の分野に限定されず、その他の信号処理アプリケーションにも適用できるものである。
【発明を実施するための最良の形態】
【００１０】
〔発明の詳細な説明〕
本発明の理解を容易にするため、本発明に係る様々な応用シナリオにおける各実施形態の詳細な説明を、添付の図面を参照して以下に記載する。
【００１１】
≪応用シナリオ１≫
本応用シナリオでは、最新のスケーラブル符号化技術に対して通常空間スケーラビリティ技術が使用されるとき、拡張層のより大きいブロックがフレーム内基準層モード（INTRA_Base）で符号化されている場合に、基準層に対応するブロックはまず輝度成分およびクロミナンス成分の補間が必要である。本応用シナリオでは２つの実施形態が提供される。しかしながら本発明を実際に用いる場合には、以下で記載する各実施形態に限定されない。すなわち、本発明の他の実施形態も本応用シナリオにおいて実現可能である。
【００１２】
＜実施形態１＞
本実施形態では、別々の精度の補間フィルタが、輝度成分およびクロミナンス成分の補間フィルタリング処理のそれぞれに対応して、特に以下のように用いられる。
【００１３】
輝度成分には、｛Ｃｏ１，Ｃｏ２，Ｃｏ３，Ｃｏ４，Ｃｏ５，Ｃｏ６｝／［Ｃｏ１＋Ｃｏ２＋Ｃｏ３＋Ｃｏ４＋Ｃｏ５＋Ｃｏ６］の形式における１／２ピクセルの精度の6タップ補間フィルタを利用してもよい。ここで、Ｃｏｉ（ｉ＝１．．．６）はフィルタのタップ係数である。
【００１４】
具体的なタップ係数としては、［１，−５，２０，２０，−５，1］／３２であってもよい。補間フィルタのタップ係数Ｃｏｉ（ｉ＝１．．．６）は、ｒｏｕｎｄ（Ｃｏｉ×２ｊ）±１の範囲において値を取ることができる。ここで、ｊは任意の整数である。したがって、上記タップ係数を次式のように調整してもよい。次式とはすなわち、
［１×２ｊ±１，−５×２ｊ±１，２０×２ｊ±１，２０×２ｊ±１，−５×２ｊ±１，１×２ｊ±１］／｛（１×２ｊ±１）＋（−５×２ｊ±１）＋（２０×２ｊ±１）＋（２０×２ｊ±１）＋（−５×２ｊ±１）＋（１×２ｊ±１）｝
である。ここで、ｊは任意の整数である。
【００１５】
クロミナンス成分には、｛Ｄｏ１，Ｄｏ２｝／［Ｄｏ１＋Ｄｏ２］の形式における１／２ピクセルの精度の2タップ補間フィルタを利用してもよい。ここで、Ｄｏｉはフィルタのタップ係数である（ｉ＝１，２）。
【００１６】
具体的なタップ係数としては、［１６，１６］／３２であってもよい。補間フィルタのタップ係数Ｄｏｉは、ｒｏｕｎｄ（Ｄｏｉ×２ｊ）±１の範囲において値を取ることができる（ｉ＝１，２）。ここで、ｊは任意の整数である。したがって、上記タップ係数を次式のように調整してもよい。すなわち、
［１６×２ｊ±１，１６×２ｊ±１］／｛（１６×２ｊ±１）＋（１６×２ｊ±１）｝
である。ここで、ｊは任意の整数である。
【００１７】
＜実施形態２＞
本実施形態では、輝度成分には、｛Ｅｏ１，Ｅｏ２，Ｅｏ３，Ｅｏ４｝／［Ｅｏ１＋Ｅｏ２＋Ｅｏ３＋Ｅｏ４］の形式における１／２ピクセルの精度の4タップ補間フィルタを用いる。ここでＥｏｉはフィルタのタップ係数である（ｉ＝１．．．４）。具体的なタップ係数としては、［−５，２１，２１，−５］／３２であってもよい。補間フィルタのタップ係数Ｅｏｉは、ｒｏｕｎｄ（Ｅｏｉ×２ｊ）±１を含む値を取ることができる（ｉ＝１．．．４）。ここで、ｊは任意の整数である。クロミナンス成分には、実施形態１における補間フィルタと同一のもの、すなわち、精度が１／２ピクセルの2タップ補間フィルタを使用してもよい。
【００１８】
特に、実施形態１および２において、通常空間スケーラビリティ技術では、基準層のイメージサイズと拡張層のイメージサイズとの間の比率は、２または２の倍数となる。
【００１９】
≪応用シナリオ２≫
本応用シナリオでは、最新のスケーラブル符号化技術に対して拡張空間スケーラビリティ（ＥＳＳ；Extended Space Scalability）技術が使用されるとき、拡張層のより大きいブロックがフレーム内基準層モード（INTRA_Base）で符号化されている場合に、基準層に対応するブロックはまず輝度成分およびクロミナンス成分の補間が必要である。本応用シナリオでは８つの実施形態が提供される。しかしながら本発明を実際に用いる場合には、以下で記載する各実施形態に限定されない。すなわち、本発明の他の実施形態も本応用シナリオにおいて実現可能である。
【００２０】
拡張空間スケーラビリティ（ＥＳＳ）技術を用いる場合、輝度成分に対しては、精度が１／１６ピクセルの6タップ補間フィルタ、精度が１／１６ピクセルの4タップ補間フィルタ、精度が１／８ピクセルの6タップ補間フィルタ、および、精度が１／８ピクセルの4タップ補間フィルタのいずれか１つを含む補間フィルタを使用することができる。そして、クロミナンス成分に対しては、精度が１／１６ピクセルの2タップ補間フィルタ、精度が１／８ピクセルの2タップ補間フィルタ、精度が１／4ピクセルの2タップ補間フィルタ、および、精度が１／２ピクセルの2タップ補間フィルタのいずれか１つを含む補間フィルタを使用することができる。さらに、輝度成分に使用される補間フィルタの精度を、クロミナンス成分に使用される補間フィルタの精度より低くする必要がある。具体的には、以下のいずれの組み合わせも用いることができる。
【００２１】
（１）輝度成分には、精度が１／１６ピクセルの6タップ補間フィルタを用い、クロミナンス成分には、精度が１／１６ピクセルの2タップ補間フィルタ、精度が１／８ピクセルの2タップ補間フィルタ、精度が１／４ピクセルの2タップ補間フィルタ、または、精度が1／2ピクセルの2タップ補間フィルタを用いる。
【００２２】
（２）輝度成分には、精度が１／１６ピクセルの4タップ補間フィルタを用い、クロミナンス成分には、精度が１／１６ピクセルの2タップ補間フィルタ、精度が１／８ピクセルの2タップ補間フィルタ、精度が１／４ピクセルの2タップ補間フィルタ、または、精度が1／2ピクセルの2タップ補間フィルタを用いる。
【００２３】
（３）輝度成分には、精度が１／８ピクセルの6タップ補間フィルタを用い、クロミナンス成分には、精度が１／８ピクセルの2タップ補間フィルタ、精度が１／４ピクセルの2タップ補間フィルタ、または、精度が1／2ピクセルの2タップ補間フィルタを用いる。
【００２４】
（４）輝度成分には、精度が１／８ピクセルの4タップ補間フィルタを用い、クロミナンス成分には、精度が１／８ピクセルの2タップ補間フィルタ、精度が１／４ピクセルの2タップ補間フィルタ、または、精度が1／2ピクセルの2タップ補間フィルタを用いる。
【００２５】
上記のように使用される個々の補間フィルタの具体的な実施形態の形式を以下に詳細に説明する。
【００２６】
（１）精度が１／１６ピクセルの6タップ補間フィルタの形式は以下のとおりである。
【００２７】
すなわち、｛Ｇｏ１，Ｇｏ２，Ｇｏ３，Ｇｏ４，Ｇｏ５，Ｇｏ６｝／［Ｇｏ１＋Ｇｏ２＋Ｇｏ３＋Ｇｏ４＋Ｇｏ５＋Ｇｏ６］である。ここで、Ｇｏｉは、フィルタのタップ係数である（ｉ＝１．．．６）。具体的なタップ係数は、位相によって決まる。位相０から１５までにおいて、対応するタップ係数は、それぞれ、［０，０，３２，０，０，０］／３２、［０，−２，３２，２，０，０］／３２、［１，−３，３１，４，−１，０］／３２、［１，−４，３０，７，−２，０］／３２、［１，−４，２８，９，−２，０］／３２、［１，−５，２７，１１，−３，１］／３２、［１，−５，２５，１４，−３，０］／３２、［１，−５，２２，１７，−４，１］／３２、［１，−５，２０，２０，−５，１］／３２、［１，−４，１７，２２，−５，１］／３２、［０，−３，１４，２５，−５，１］／３２、［１，−３，１１，２７，−５，１］／３２、［０，−２，９，２８，−４，１］／３２、［０，−２，７，３０，−４，１］／３２、［０，−１，４，３１，−３，１］／３２、［０，０，２，３２，−２，０］／３２である。さらに、補間フィルタのタップ係数Ｇｏｉは、ｒｏｕｎｄ（Ｇｏｉ×２ｊ）±１を含む値を取ることができる（ｉ＝１．．．６）。ここで、ｊは任意の整数である。
【００２８】
（２）精度が１／８ピクセルの6タップ補間フィルタの形式は以下のとおりである。
【００２９】
すなわち、｛Ｉｏ１，Ｉｏ２，Ｉｏ３，Ｉｏ４，Ｉｏ５，Ｉｏ６｝／［Ｉｏ１＋Ｉｏ２＋Ｉｏ３＋Ｉｏ４＋Ｉｏ５＋Ｉｏ６］である。ここで、Ｉｏｉは、フィルタのタップ係数である（ｉ＝１．．．６）。具体的なタップ係数は、位相によって決まる。位相0から8までにおいて、対応するタップ係数は、それぞれ、［０，０，３２，０，０，０］／３２、［１，−３，３１，４，−１，０］／３２、［１，−４，２８，９，−２，０］／３２、［１，−５，２５，１４，−３，０］／３２、［１，−５，２０，２０，−５，１］／３２、［０，−３，１４，２５，−５，１］／３２、［０，−２，９，２８，−４，１］／３２、［０，−１，４，３１，−３，１］／３２である。さらに、補間フィルタのタップ係数Ｉｏｉは、ｒｏｕｎｄ（Ｉｏｉ×２ｊ）±１を含む値を取ることができる（ｉ＝１．．．６）。ここで、ｊは任意の整数である。
【００３０】
（３）精度が１／１６ピクセルの4タップ補間フィルタの形式は以下のとおりである。
【００３１】
すなわち、｛Ｋｏ１，Ｋｏ２，Ｋｏ３，Ｋｏ４｝／［Ｋｏ１＋Ｋｏ２＋Ｋｏ３＋Ｋｏ４］である。ここで、Ｋｏｉは、フィルタのタップ係数である（ｉ＝１．．．４）。具体的なタップ係数は、位相によって決まる。位相０から１６までにおいて、対応するタップ係数は、それぞれ、［０，３２，０，０］／３２、［−２，３２，２，０］／３２、［−３，３２，４，−1］／３２、［−４，３１，６，−１］／３２、［−５，２９，９，−２］／３２、［−５，２８，１２，−３］／３２、［−５，２６，１５，−４］／３２、［−５，２３，１８，−４］／３２、［−５，２１，２１，−５］／３２、［−４，１８，２３，−５］／３２、［−４，１５，２６，−５］／３２、［−３，１２，２８，−５］／３２、［−２，９，２９，−５］／３２、［−１，６，３１，−４］／３２、［−１，４，３１，−３］／３２、［０，２，３２，−２］／３２である。さらに、補間フィルタのタップ係数Ｋｏｉは、ｒｏｕｎｄ（Ｋｏｉ×２ｊ）±１を含む値を取ることができる（ｉ＝１．．．４）。ここで、ｊは任意の整数である。
【００３２】
（４）精度が１／８ピクセルの4タップ補間フィルタの形式は以下のとおりである。
【００３３】
すなわち、｛Ｏｏ１，Ｏｏ２，Ｏｏ３，Ｏｏ４｝／［Ｏｏ１＋Ｏｏ２＋Ｏｏ３＋Ｏｏ４］である。ここで、Ｏｏｉは、フィルタのタップ係数である（ｉ＝１．．．４）。具体的なタップ係数は、位相によって決まる。位相0から8までにおいて、対応するタップ係数は、それぞれ、［０，３２，０，０］／３２、［−３，３２，４，−１］／３２、［−５，２９，９，−２］／３２、［−５，２６，１５，−４］／３２、［−５，２１，２１，−５］／３２、、［−４，１５，２６，−５］／３２、［−２，９，２９，−５］／３２、［−１，４，３１，−３］／３２である。さらに、補間フィルタのタップ係数Ｏｏｉは、ｒｏｕｎｄ（Ｏｏｉ×２ｊ）±１を含む値を取ることができる（ｉ＝１．．．４）。ここで、ｊは任意の整数である。
【００３４】
（５）精度が１／１６ピクセルの2タップ補間フィルタの形式は以下のとおりである。すなわち、｛Ｆｏ１，Ｆｏ２｝／［Ｆｏ１＋Ｆｏ２］である。ここで、Ｆｏｉは、フィルタのタップ係数である（ｉ＝１，２）。具体的なタップ係数は、位相によって決まる。位相０から１６までにおいて、対応するタップ係数は、それぞれ、［３２，０］／３２、［３０，２］／３２、［２８，４］／３２、［２７，５］／３２、［２５，７］／３２、［２２，１０］／３２、［２０，１２］／３２、［１８，１４］／３２、［１６，１６］／３２、［１４，１８］／３２、［１２，２０］／３２、［１０，２２］／３２、［７，２５］／３２、［５，２７］／３２、［４，２８］／３２、［２，３０］／３２である。さらに、補間フィルタのタップ係数Ｆｏｉは、ｒｏｕｎｄ（Ｆｏｉ×２ｊ）±１を含む値を取ることができる（ｉ＝１，２）。ここで、ｊは任意の整数である。
【００３５】
（６）精度が１／８ピクセルの2タップ補間フィルタの形式は以下のとおりである。すなわち、｛Ｈｏ１，Ｈｏ２｝／［Ｈｏ１＋Ｈｏ２］である。ここで、Ｈｏｉは、フィルタのタップ係数である（ｉ＝１，２）。具体的なタップ係数は、位相によって決まる。位相０から８までにおいて、対応するタップ係数は、それぞれ、［３２，０］／３２、［２８，４］／３２、［２５，７］／３２、［２０，１２］／３２、［１６，１６］／３２、［１２，２０］／３２、［７，２５］／３２、［４，２８］／３２である。さらに、補間フィルタのタップ係数Ｈｏｉは、ｒｏｕｎｄ（Ｈｏｉ×２ｊ）±１を含む値を取ることができる（ｉ＝１，２）。ここで、ｊは任意の整数である。
【００３６】
（７）精度が１／４ピクセルの2タップ補間フィルタの形式は以下のとおりである。
【００３７】
すなわち、｛Ｍｏ１，Ｍｏ２｝／［Ｍｏ１＋Ｍｏ２］である。ここで、Ｍｏｉは、フィルタのタップ係数である（ｉ＝１，２）。具体的なタップ係数は、位相によって決まる。位相０から４までにおいて、対応するタップ係数は、それぞれ、［３２，０］／３２、［２５，７］／３２、［１６，１６］／３２、［７，２５］／３２である。さらに、タップ係数Ｍｏｉは、ｒｏｕｎｄ（Ｍｏｉ×２ｊ）±１を含む値を取ることができる（ｉ＝１，２）。ここで、ｊは任意の整数である。
【００３８】
（８）精度が1／2ピクセルの2タップ補間フィルタの形式は以下のとおりである。
【００３９】
すなわち、｛Ｎｏ１，Ｎｏ２｝／［Ｎｏ１＋Ｎｏ２］である。ここで、Ｎｏｉは、フィルタのタップ係数である（ｉ＝１，２）。具体的なタップ係数は、位相によって決まる。位相が０のとき、タップ係数は［３２，０］／３２である。そして位相が１のとき、タップ係数は［１６，１６］／３２である。さらに、補間フィルタのタップ係数Ｎｏｉは、ｒｏｕｎｄ（Ｎｏｉ×２ｊ）±１を含む値を取ることができる（ｉ＝１，２）。ここで、ｊは任意の整数である。
【００４０】
応用シナリオ２における本発明の８つの実施形態をそれぞれ以下に説明する。
【００４１】
＜実施形態１＞
本実施形態では、精度が１／１６ピクセルの補間は輝度成分に用いられ、対応する補間フィルタには６タップが備えられている。図１に示すように、タップ係数は、次のとおり位相によって決まる。
【００４２】
位相が０のとき、タップ係数は［０，０，３２，０，０，０］／３２である。位相が１のとき、タップ係数は［０，−２，３２，２，０，０］／３２である。位相が２のとき、タップ係数は［１，−３，３１，４，−１，０］／３２である。位相が３のとき、タップ係数は［１，−４，３０，７，−２，０］／３２である。位相が４のとき、タップ係数は［１，−４，２８，９，−２，０］／３２である。位相が５のとき、タップ係数は［１，−５，２７，１１，−３，１］／３２である。位相が６のとき、タップ係数は［１，−５，２５，１４，−３，０］／３２である。位相が７のとき、タップ係数は［１，−５，２２，１７，−４，１］／３２である。位相が８のとき、タップ係数は［１，−５，２０，２０，−５，１］／３２である。位相が９のとき、タップ係数は［１，−４，１７，２２，−５，１］／３２である。位相が１０のとき、タップ係数は［０，−３，１４，２５，−５，１］／３２である。位相が１１のとき、タップ係数は［１，−３，１１，２７，−５，１］／３２である。位相が１２のとき、タップ係数は［０，−２，９，２８，−４，１］／３２である。位相が１３のとき、タップ係数は［０，−２，７，３０，−４，１］／３２である。位相が１４のとき、タップ係数は［０，−１，４，３１，−３，１］／３２である。位相が１５のとき、タップ係数は［０，０，２，３２，−２，０］／３２である。
【００４３】
精度が１／１６ピクセルの補間はクロミナンス成分に用いられ、補間を実行するフィルタには２タップが備えられている。図１に示すように、タップ係数は、次のとおり位相によって決まる。
【００４４】
位相が０のとき、タップ係数は［３２，０］／３２である。位相が１のとき、タップ係数は［３０，２］／３２である。位相が２のとき、タップ係数は［２８，４］／３２である。位相が３のとき、タップ係数は［２７，５］／３２である。位相が４のとき、タップ係数は［２５，７］／３２である。位相が５のとき、タップ係数は［２２，１０］／３２である。位相が６のとき、タップ係数は［２０，１２］／３２である。位相が７のとき、タップ係数は［１８，１４］／３２である。位相が８のとき、タップ係数は［１６，１６］／３２である。位相が９のとき、タップ係数は［１４，１８］／３２である。位相が１０のとき、タップ係数は［１２，２０］／３２である。位相が１１のとき、タップ係数は［１０，２２］／３２である。位相が１２のとき、タップ係数は［７，２５］／３２である。位相が１３のとき、タップ係数は［５，２７］／３２である。位相が１４のとき、タップ係数は［４，２８］／３２である。位相が１５のとき、タップ係数は［２，３０］／３２である。
【００４５】
図１に示すように、輝度成分の補間処理は以下のステップを含む。
【００４６】
（１）まず、縦方向補間が実行される。この補間は、Ａと、Ａの真上に位置するＡに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルと、Ｃと、Ｃの真下に位置するＣに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルとを用いて実行される。そして、整数ピクセルＡとＣとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。さらに、Ｂと、Ｂの真上に位置するＢに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルと、Ｄと、Ｄの真下に位置するＤに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルとを用いて補間が実行され、整数ピクセルＢとＤとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。
【００４７】
（２）次に、横方向補間が実行される。この補間は、Ａと、Ａの左に位置するＡに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルと、Ｂと、Ｂの右に位置するＢに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルとを用いて実行される。そして、整数ピクセルＡとＢとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。図１の中ほどにある位相４を有する他の１／１６ピクセルは、位相４を有する輝度補間フィルタが実行する補間によって得られる。上記補間には、以下の各ピクセルが用いられる。すなわち、ＡとＣとの間の位相８を有する１／１６ピクセル、ＢとＤとの間の位相８を有する１／１６ピクセル、Ａの左に位置するＡに最も近い整数ピクセルとＣの左に位置するＣに最も近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、Ａの左に位置するＡに２番目に近い整数ピクセルとＣの左に位置するＣに２番目に近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、Ｂの右に位置するＢに最も近い整数ピクセルとＤの右に位置するＤに最も近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、および、Ｂの右に位置するＢに２番目に近い整数ピクセルとＤの右に位置するＤに２番目に近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、の各ピクセルが用いられる。
【００４８】
図1に示すように、クロミナンス成分の補間処理は以下のステップを含む。
【００４９】
（１）まず、縦方向補間が実行される。この補間は、ＡおよびＣを用いて実行される。そして、整数ピクセルＡとＣとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。さらに、ＢおよびＤを用いて補間が実行され、整数ピクセルＢおよびＤの間において、１６の異なる位相を有する１／１６ピクセルが得られる。
【００５０】
（２）次に、横方向補間が実行される。この補間は、ＡおよびＢを用いて実行される。そして、整数ピクセルＡとＢとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。図１の中ほどにある位相４を有する他の１／１６ピクセルは、位相４を有するクロミナンス補間フィルタが実行する補間において、ＡとＣとの間の位相８を有する１／１６ピクセルと、ＢとＤとの間の位相８を有する１／１６ピクセルとを用いることにより得られる。
【００５１】
ここで、拡張空間スケーラビリティ（ＥＳＳ）技術の使用とは、基準層のイメージサイズおよび拡張層のイメージサイズの間の比率が任意であることを意味する。
【００５２】
＜実施形態２＞
本実施形態では、精度が１／１６ピクセルの補間は輝度成分に用いられ、補間を実行するフィルタには６タップが備えられている。図１に示すように、タップ係数は、次のとおり位相によって決まる。
【００５３】
位相が０のとき、タップ係数は［０，０，３２，０，０，０］／３２である。位相が１のとき、タップ係数は［０，−２，３２，２，０，０］／３２である。位相が２のとき、タップ係数は［１，−３，３１，４，−１，０］／３２である。位相が３のとき、タップ係数は［１，−４，３０，７，−２，０］／３２である。位相が４のとき、タップ係数は［１，−４，２８，９，−２，０］／３２である。位相が５のとき、タップ係数は［１，−５，２７，１１，−３，１］／３２である。位相が６のとき、タップ係数は［１，−５，２５，１４，−３，０］／３２である。位相が７のとき、タップ係数は［１，−５，２２，１７，−４，１］／３２である。位相が８のとき、タップ係数は［１，−５，２０，２０，−５，１］／３２である。位相が９のとき、タップ係数は［１，−４，１７，２２，−５，１］／３２である。位相が１０のとき、タップ係数は［０，−３，１４，２５，−５，１］／３２である。位相が１１のとき、タップ係数は［１，−３，１１，２７，−５，１］／３２である。位相が１２のとき、タップ係数は［０，−２，９，２８，−４，１］／３２である。位相が１３のとき、タップ係数は［０，−２，７，３０，−４，１］／３２である。位相が１４のとき、タップ係数は［０，−１，４，３１，−３，１］／３２である。位相が１５のとき、タップ係数は［０，０，２，３２，−２，０］／３２である。
【００５４】
精度が１／８ピクセルの補間はクロミナンス成分に用いられ、補間を実行するフィルタには２タップが備えられている。図２に示すように、タップ係数は、次のとおり位相によって決まる。
【００５５】
位相が０のとき、タップ係数は［３２，０］／３２である。位相が１のとき、タップ係数は［２８，４］／３２である。位相が２のとき、タップ係数は［２５，７］／３２である。位相が３のとき、タップ係数は［２０，１２］／３２である。位相が４のとき、タップ係数は［１６，１６］／３２である。位相が５のとき、タップ係数は［１２，２０］／３２である。位相が６のとき、タップ係数は［７，２５］／３２である。位相が７のとき、タップ係数は［４，２８］／３２である。
【００５６】
図１に示すように、輝度成分の補間処理は以下のステップを含む。
【００５７】
（１）まず、縦方向補間が実行される。この補間は、Ａと、Ａの真上に位置するＡに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルと、Ｃと、Ｃの真下に位置するＣに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルとを用いて実行される。そして、整数ピクセルＡとＣとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。さらに、Ｂと、Ｂの真上に位置するＢに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルと、Ｄと、Ｄの真下に位置するＤに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルとを用いて補間が実行され、整数ピクセルＢとＤとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。
【００５８】
（２）次に、横方向補間が実行される。この補間は、Ａと、Ａの左に位置するＡに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルと、Ｂと、Ｂの右に位置するＢに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルとを用いて実行される。そして、整数ピクセルＡとＢとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。図１の中ほどにある位相４を有する他の１／１６ピクセルは、位相４を有する輝度補間フィルタが実行する補間によって得られる。上記補間には、以下の各ピクセルが用いられる。すなわち、ＡとＣとの間の位相８を有する１／１６ピクセル、ＢとＤとの間の位相８を有する１／１６ピクセル、Ａの左に位置するＡに最も近い整数ピクセルとＣの左に位置するＣに最も近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、Ａの左に位置するＡに２番目に近い整数ピクセルとＣの左に位置するＣに２番目に近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、Ｂの右に位置するＢに最も近い整数ピクセルとＤの右に位置するＤに最も近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、および、Ｂの右に位置するＢに２番目に近い整数ピクセルとＤの右に位置するＤに２番目に近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、の各ピクセルが用いられる。
【００５９】
図２に示すように、クロミナンス成分の補間処理は以下のステップを含む。
【００６０】
（１）まず、縦方向補間が実行される。この補間は、ＡおよびＣを用いて実行される。そして、整数ピクセルＡとＣとの間において、８の異なる位相を有する１／８ピクセルが得られる。さらに、ＢおよびＤを用いて補間が実行され、整数ピクセルＢとＤとの間において、８の異なる位相を有する１／８ピクセルが得られる。
【００６１】
（２）次に、横方向補間が実行される。この補間は、ＡおよびＢを用いて実行される。そして、整数ピクセルＡとＢとの間において、８つの異なる位相を有する１／８ピクセルが得られる。図２の中ほどにある位相２を有する他の１／８ピクセルは、位相２を有するクロミナンス補間フィルタが実行する補間において、ＡとＣとの間の位相３を有する１／８ピクセルと、ＢとＤとの間の位相３を有する１／８ピクセルとを用いることにより得られる。
【００６２】
＜実施形態３＞
本実施形態では、精度が１／８ピクセルの補間は輝度成分に用いられ、補間を実行するフィルタには６タップが備えられている。図２に示すように、タップ係数は、次のとおり位相によって決まる。
【００６３】
位相が０のとき、タップ係数は［０，０，３２，０，０，０］／３２である。位相が１のとき、タップ係数は［１，−３，３１，４，−１，０］／３２である。位相が２のとき、タップ係数は［１，−４，２８，９，−２，０］／３２である。位相が３のとき、タップ係数は［１，−５，２５，１４，−３，０］／３２である。位相が４のとき、タップ係数は［１，−５，２０，２０，−５，１］／３２である。位相が５のとき、タップ係数は［０，−３，１４，２５，−５，１］／３２である。位相が６のとき、タップ係数は［０，−２，９，２８，−４，１］／３２である。位相が７のとき、タップ係数は［０，−１，４，３１，−３，１］／３２である。
【００６４】
精度が１／８ピクセルの補間はクロミナンス成分に用いられ、補間を実行するフィルタには２タップが備えられている。図２に示すように、タップ係数は、次のとおり位相によって決まる。
【００６５】
位相が０のとき、タップ係数は［３２，０］／３２である。位相が１のとき、タップ係数は［２８，４］／３２である。位相が２のとき、タップ係数は［２５，７］／３２である。位相が３のとき、タップ係数は［２０，１２］／３２である。位相が４のとき、タップ係数は［１６，１６］／３２である。位相が５のとき、タップ係数は［１２，２０］／３２である。位相が６のとき、タップ係数は［７，２５］／３２である。位相が７のとき、タップ係数は［４，２８］／３２である。
【００６６】
図２に示すように、輝度成分の補間処理は以下のステップを含む。
【００６７】
（１）まず、縦方向補間が実行される。この補間は、Ａと、Ａの真上に位置するＡに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルと、Ｃと、Ｃの真下に位置するＣに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルとを用いて実行される。そして、整数ピクセルＡとＣとの間において、８つの異なる位相を有する１／８ピクセルが得られる。さらに、Ｂと、Ｂの真上に位置するＢに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルと、Ｄと、Ｄの真下に位置するＤに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルとを用いて補間が実行され、整数ピクセルＢとＤとの間において、８つの異なる位相を有する１／８ピクセルが得られる。
【００６８】
（２）次に、横方向補間が実行される。この補間は、Ａと、Ａの左に位置するＡに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルと、Ｂと、Ｂの右に位置するＢに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルとを用いて実行される。そして、整数ピクセルＡとＢとの間において、８つの異なる位相を有する１／８ピクセルが得られる。図２の中ほどにある位相２を有する他の１／１６ピクセルは、位相２を有する輝度補間フィルタが実行する補間によって得られる。上記補間には、以下の各ピクセルが用いられる。すなわち、ＡとＣとの間の位相３を有する１／８ピクセル、ＢとＤとの間の位相３を有する１／８ピクセル、Ａの左に位置するＡに最も近い整数ピクセルとＤの左に位置するＤに最も近い整数ピクセルとの間の縦方向補間によって得られた位相３を有する１／８ピクセル、Ａの左に位置するＡに２番目に近い整数ピクセルとＣの左に位置するＣに２番目に近い整数ピクセルとの間の縦方向補間によって得られた位相３を有する１／８ピクセル、Ｂの右に位置するＢに最も近い整数ピクセルとＤの右に位置するＤに最も近い整数ピクセルとの間の縦方向補間によって得られた位相３を有する１／８ピクセル、および、Ｂの右に位置するＢに２番目に近い整数ピクセルとＤの右に位置するＤに２番目に近い整数ピクセルとの間の縦方向補間によって得られた位相３を有する１／８ピクセル、の各ピクセルが用いられる。
【００６９】
図２に示すように、クロミナンス成分の補間処理は以下のステップを含む。
【００７０】
（１）まず、縦方向補間が実行される。この補間は、ＡおよびＣを用いて実行される。そして、整数ピクセルＡとＣとの間において、８の異なる位相を有する１／８ピクセルが得られる。さらに、ＢおよびＤを用いて補間が実行され、整数ピクセルＢとＤとの間において、８の異なる位相を有する１／８ピクセルが得られる。
【００７１】
（２）次に、横方向補間が実行される。この補間は、ＡおよびＢを用いて実行される。そして、整数ピクセルＡとＢとの間において、８つの異なる位相を有する１／８ピクセルが得られる。図２の中ほどにある位相２を有する他の１／８ピクセルは、位相２を有するクロミナンス補間フィルタによる補間によって、ＡとＣとの間の位相３を有する１／８ピクセルと、ＢとＤとの間の位相３を有する１／８ピクセルとを用いることにより得られる。
【００７２】
＜実施形態４＞
本実施形態では、精度が１／１６ピクセルの4タップ補間フィルタが輝度成分に用いられる。図１に示すように、タップ係数は、次のとおり位相によって決まる。
【００７３】
位相が０のとき、タップ係数は［０，３２，０，０］／３２である。位相が１のとき、タップ係数は［−２，３２，２，０］／３２である。位相が２のとき、タップ係数は［−３，３２，４，−１］／３２である。位相が３のとき、タップ係数は［−４，３１，６，−１］／３２である。位相が４のとき、タップ係数は［−５，２９，９，−２］／３２である。位相が５のとき、タップ係数は［−５，２８，１２，−３］／３２である。位相が６のとき、タップ係数は［−５，２６，１５，−４］／３２である。位相が７のとき、タップ係数は［−５，２３，１８，−４］／３２である。位相が８のとき、タップ係数は［−５，２１，２１，−５］／３２である。位相が９のとき、タップ係数は［−４，１８，２３，−５］／３２である。位相が１０のとき、タップ係数は［−４，１５，２６，−５］／３２である。位相が１１のとき、タップ係数は［−３，１２，２８，−５］／３２である。位相が１２のとき、タップ係数は［−２，９，２９，−５］／３２である。位相が１３のとき、タップ係数は［−１，６，３１，−４］／３２である。位相が１４のとき、タップ係数は［−１，４，３１，−３］／３２である。位相が１５のとき、タップ係数は［０，２，３２，−２］／３２である。
【００７４】
精度が１／１６ピクセルの補間フィルタはクロミナンス成分に用いられ、補間を実行するフィルタには２タップが備えられている。図１に示すように、タップ係数は、次のとおり位相によって決まる。
【００７５】
位相が０のとき、タップ係数は［３２，０］／３２である。位相が１のとき、タップ係数は［３０，２］／３２である。位相が２のとき、タップ係数は［２８，４］／３２である。位相が３のとき、タップ係数は［２７，５］／３２である。位相が４のとき、タップ係数は［２５，７］／３２である。位相が５のとき、タップ係数は［２２，１０］／３２である。位相が６のとき、タップ係数は［２０，１２］／３２である。位相が７のとき、タップ係数は［１８，１４］／３２である。位相が８のとき、タップ係数は［１６，１６］／３２である。位相が９のとき、タップ係数は［１４，１８］／３２である。位相が１０のとき、タップ係数は［１２，２０］／３２である。位相が１１のとき、タップ係数は［１０，２２］／３２である。位相が１２のとき、タップ係数は［７，２５］／３２である。位相が１３のとき、タップ係数は［５，２７］／３２である。位相が１４のとき、タップ係数は［４，２８］／３２である。位相が１５のとき、タップ係数は［２，３０］／３２である。
【００７６】
図１に示すように、輝度成分の補間処理は以下のステップを含む。
【００７７】
（１）まず、縦方向補間が実行される。この補間は、Ａと、Ａの真上に位置するＡに最も近い整数ピクセルと、Ｃと、Ｃの真下に位置するＣに最も近い整数ピクセルとを用いて実行される。そして、整数ピクセルＡとＣとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。さらに、Ｂと、Ｂの真上に位置するＢに最も近い整数ピクセルと、Ｄと、Ｄの真下に位置するＤに最も近い整数ピクセルとを用いて補間が実行され、整数ピクセルＢとＤとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。
【００７８】
（２）次に、横方向補間が実行される。この補間は、Ａと、Ａの左に位置するＡに最も近い整数ピクセルと、Ｂと、Ｂの右に位置するＢに最も近い整数ピクセルとを用いて実行される。そして、整数ピクセルＡとＢとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。図１の中ほどにある位相４を有する他の１／１６ピクセルは、位相４を有する輝度補間フィルタが実行する補間によって得られる。上記補間には、以下の各ピクセルが用いられる。すなわち、ＡとＣとの間の位相８を有する１／１６ピクセル、ＢとＤとの間の位相８を有する１／１６ピクセル、Ａの左に位置するＡに最も近い整数ピクセルとＣの左に位置するＣに最も近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、および、Ｂの右に位置するＢに最も近い整数ピクセルとＤの右に位置するＤに最も近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、の各ピクセルが用いられる。図1に示すように、クロミナンス成分に補間が実行されるとき、まず縦方向補間において、ＡおよびＣに補間が実行され、整数ピクセルＡとＣとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。さらに、ＢおよびＤに補間が実行され、整数ピクセルＢとＤとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。そして、横方向補間では、ＡおよびＢに補間が実行され、整数ピクセルＡとＢとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。そして、図１の中ほどにある位相４を有する他の１／１６ピクセルは、位相４を有するクロミナンス補間フィルタが実行する補間において、ＡとＣとの間の位相８を有する１／１６ピクセルと、ＢとＤとの間の位相８を有する１／１６ピクセルと、を用いることにより得られる。
【００７９】
＜実施形態５＞
本実施形態では、精度が１／１６ピクセルの4タップ補間フィルタが輝度成分に用いられる。図１に示すように、タップ係数は、次のとおり位相によって決まる。
【００８０】
位相が０のとき、タップ係数は［０，３２，０，０］／３２である。位相が１のとき、タップ係数は［−２，３２，２，０］／３２である。位相が２のとき、タップ係数は［−３，３２，４，−１］／３２である。位相が３のとき、タップ係数は［−４，３１，６，−１］／３２である。位相が４のとき、タップ係数は［−５，２９，９，−２］／３２である。位相が５のとき、タップ係数は［−５，２８，１２，−３］／３２である。位相が６のとき、タップ係数は［−５，２６，１５，−４］／３２である。位相が７のとき、タップ係数は［−５，２３，１８，−４］／３２である。位相が８のとき、タップ係数は［−５，２１，２１，−５］／３２である。位相が９のとき、タップ係数は［−４，１８，２３，−５］／３２である。位相が１０のとき、タップ係数は［−４，１５，２６，−５］／３２である。位相が１１のとき、タップ係数は［−３，１２，２８，−５］／３２である。位相が１２のとき、タップ係数は［−２，９，２９，−５］／３２である。位相が１３のとき、タップ係数は［−１，６，３１，−４］／３２である。位相が１４のとき、タップ係数は［−１，４，３１，−３］／３２である。位相が１５のとき、タップ係数は［０，２，３２，−２］／３２である。
【００８１】
精度が１／８ピクセルの補間はクロミナンス成分に用いられ、補間を実行するフィルタには２タップが備えられている。図２に示すように、タップ係数は、次のとおり位相によって決まる。
【００８２】
位相が０のとき、タップ係数は［３２，０］／３２である。位相が１のとき、タップ係数は［２８，４］／３２である。位相が２のとき、タップ係数は［２５，７］／３２である。位相が３のとき、タップ係数は［２０，１２］／３２である。位相が４のとき、タップ係数は［１６，１６］／３２である。位相が５のとき、タップ係数は［１２，２０］／３２である。位相が６のとき、タップ係数は［７，２５］／３２である。位相が７のとき、タップ係数は［４，２８］／３２である。
【００８３】
図１に示すように、輝度成分の補間処理は以下のステップを含む。
【００８４】
（１）まず、縦方向補間が実行される。この補間は、Ａと、Ａの真上に位置するＡに最も近い整数ピクセルと、Ｃと、Ｃの真下に位置するＣに最も近い整数ピクセルとを用いて実行される。そして、整数ピクセルＡとＣとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。さらに、Ｂと、Ｂの真上に位置するＢに最も近い整数ピクセルと、Ｄと、Ｄの真下に位置するＤに最も近い整数ピクセルとを用いて補間が実行され、整数ピクセルＢとＤとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。
【００８５】
（２）次に、横方向補間が実行される。この補間は、Ａと、Ａの左に位置するＡに最も近い整数ピクセルと、Ｂと、Ｂの右に位置するＢに最も近い整数ピクセルとを用いて実行される。そして、整数ピクセルＡとＢとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。図１の中ほどにある位相４を有する他の１／１６ピクセルは、位相４を有する輝度補間フィルタが実行する補間によって得られる。上記補間には、以下の各ピクセルが用いられる。すなわち、ＡとＣとの間の位相８を有する１／１６ピクセル、ＢとＤとの間の位相８を有する１／１６ピクセル、Ａの左に位置するＡに最も近い整数ピクセルとＣの左に位置するＣに最も近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、および、Ｂの右に位置するＢに最も近い整数ピクセルとＤの右に位置するＤに最も近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、の各ピクセルが用いられる。図2に示すように、クロミナンス成分に補間が実行されるとき、まず縦方向補間において、ＡおよびＣを用いて補間が実行され、整数ピクセルＡとＣとの間において、８つの異なる位相を有する１／８ピクセルが得られる。さらに、ＢおよびＤを用いて補間が実行され、整数ピクセルＢとＤとの間において、８つの異なる位相を有する１／８ピクセルが得られる。そして、横方向補間では、ＡおよびＢを用いて補間が実行され、整数ピクセルＡとＢとの間において、８つの異なる位相を有する１／８ピクセルが得られる。そして、図２の中ほどにある位相２を有する他の１／８ピクセルは、位相２を有するクロミナンス補間フィルタが実行する補間において、ＡとＣとの間の位相３を有する１／８ピクセルと、ＢとＤとの間の位相３を有する１／８ピクセルとを用いることにより得られる。
【００８６】
＜実施形態６＞
本実施形態では、精度が１／８ピクセルの4タップ補間フィルタは、輝度成分に用いられる。図２に示すように、タップ係数は、次のとおり位相によって決まる。
【００８７】
位相が０のとき、タップ係数は［０，３２，０，０］／３２である。位相が１のとき、タップ係数は［−３，３２，４，−１］／３２である。位相が２のとき、タップ係数は［−５，２９，９，−２］／３２である。位相が３のとき、タップ係数は［−５，２６，１５，−４］／３２である。位相が４のとき、タップ係数は［−５，２１，２１，−５］／３２である。位相が５のとき、タップ係数は［−４，１５，２６，−５］／３２である。位相が６のとき、タップ係数は［−２，９，２９，−５］／３２である。位相が７のとき、タップ係数は［−１，４，３１，−３］／３２である。
【００８８】
精度が１／８ピクセルの補間はクロミナンス成分に用いられ、補間を実行するフィルタには２タップが備えられている。図２に示すように、タップ係数は、次のとおり位相によって決まる。
【００８９】
位相が０のとき、タップ係数は［３２，０］／３２である。位相が１のとき、タップ係数は［２８，４］／３２である。位相が２のとき、タップ係数は［２５，７］／３２である。位相が３のとき、タップ係数は［２０，１２］／３２である。位相が４のとき、タップ係数は［１６，１６］／３２である。位相が５のとき、タップ係数は［１２，２０］／３２である。位相が６のとき、タップ係数は［７，２５］／３２である。位相が７のとき、タップ係数は［４，２８］／３２である。
【００９０】
図２に示すように、輝度成分の補間処理は以下のステップを含む。
【００９１】
（１）まず、縦方向補間が実行される。この補間は、Ａと、Ａの真上に位置するＡに最も近い整数ピクセルと、Ｃと、Ｃの真下に位置するＣに最も近い整数ピクセルとを用いて実行される。そして、整数ピクセルＡとＣとの間において、８つの異なる位相を有する１／８ピクセルが得られる。さらに、Ｂと、Ｂの真上に位置するＢに最も近い整数ピクセルと、Ｄと、Ｄの真下に位置するＤに最も近い整数ピクセルとを用いて補間が実行され、整数ピクセルＢとＤとの間において、８つの異なる位相を有する１／８ピクセルを得る。
【００９２】
（２）次に、横方向補間が実行される。この補間は、Ａと、Ａの左に位置するＡに最も近い整数ピクセルと、Ｂと、Ｂの右に位置するＢに最も近い整数ピクセルとを用いて実行される。そして、整数ピクセルＡとＢとの間において、８つの異なる位相を有する１／８ピクセルが得られる。図2の中ほどにある位相2を有する他の１／８ピクセルは、位相２を有する輝度補間フィルタが実行する補間によって得られる。上記補間では、以下の各ピクセルが用いられる。すなわち、ＡとＣとの間の位相３を有する１／８ピクセル、ＢとＤとの間の位相３を有する１／８ピクセル、Ａの左に位置するＡに最も近い整数ピクセルとＣの左に位置するＣに最も近い整数ピクセルとの間の縦方向補間によって得られた位相３を有する１／８ピクセル、および、Ｂの右に位置するＢに最も近い整数ピクセルとＤの右に位置するＤに最も近い整数ピクセルとの間の縦方向補間によって得られた位相３を有する１／８ピクセル、の各ピクセルが用いられる。図2に示すように、クロミナンス成分に補間が実行されるとき、まず、縦方向補間において、ＡおよびＣを用いて補間が実行され、整数ピクセルＡとＣとの間において、８つの異なる位相を有する１／８ピクセルが得られる。さらに、ＢおよびＤを用いて補間が実行され、整数ピクセルＢとＤとの間において、８つの異なる位相を有する１／８ピクセルが得られる。次に、横方向補間では、ＡおよびＢを用いて補間が実行され、整数ピクセルＡとＢとの間において、８つの異なる位相を有する１／８ピクセルが得られる。そして、図２の中ほどにある位相２を有する他の１／８ピクセルは、位相２を有するクロミナンス補間フィルタが実行する補間において、ＡとＣとの間の位相３を有する１／８ピクセルと、ＢとＤとの間の位相３を有する１／８ピクセルを用いることにより得られる。 
【００９３】
＜実施形態７＞
本実施形態では、精度が１／１６ピクセルの補間は輝度成分に用いられ、補間を実行するフィルタには６タップが備えられている。図１に示すように、タップ係数は、次のとおり位相によって決まる。
【００９４】
位相が０のとき、タップ係数は［０，０，３２，０，０，０］／３２である。位相が１のとき、タップ係数は［０，−２，３２，２，０，０］／３２である。位相が２のとき、タップ係数は［１，−３，３１，４，−１，０］／３２である。位相が３のとき、タップ係数は［１，−４，３０，７，−２，０］／３２である。位相が４のとき、タップ係数は［１，−４，２８，９，−２，０］／３２である。位相が５のとき、タップ係数は［１，−５，２７，１１，−３，１］／３２である。位相が６のとき、タップ係数は［１，−５，２５，１４，−３，０］／３２である。位相が７のとき、タップ係数は［１，−５，２２，１７，−４，１］／３２である。位相が８のとき、タップ係数は［１，−５，２０，２０，−５，１］／３２である。位相が９のとき、タップ係数は［１，−４，１７，２２，−５，１］／３２である。位相が１０のとき、タップ係数は［０，−３，１４，２５，−５，１］／３２である。位相が１１のとき、タップ係数は［１，−３，１１，２７，−５，１］／３２である。位相が１２のとき、タップ係数は［０，−２，９，２８，−４，１］／３２である。位相が１３のとき、タップ係数は［０，−２，７，３０，−４，１］／３２である。位相が１４のとき、タップ係数は［０，−１，４，３１，−３，１］／３２である。位相が１５のとき、タップ係数は［０，０，２，３２，−２，０］／３２である。
【００９５】
精度が１／４ピクセルの補間はクロミナンス成分に用いられ、補間を実行するフィルタには２タップが備えられている。図３に示すように、タップ係数は、次のとおり位相によって決まる。
【００９６】
位相が０のとき、タップ係数は［３２，０］／３２である。位相が１のとき、タップ係数は［２５，７］／３２である。位相が２のとき、タップ係数は［１６，１６］／３２である。位相が３のとき、タップ係数は［７，２５］／３２である。
【００９７】
図１に示すように、輝度成分の補間処理は以下のステップを含む。
【００９８】
（１）まず、縦方向補間が実行される。この補間は、Ａと、Ａの真上に位置するＡに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルと、Ｃと、Ｃの真下に位置するＣに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルとを用いて実行される。そして、整数ピクセルＡとＣとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。さらに、Ｂと、Ｂの真上に位置するＢに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルと、Ｄと、Ｄの真下に位置するＤに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルとを用いて補間が実行され、整数ピクセルＢとＤとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。
【００９９】
（２）次に、横方向補間が実行される。この補間は、Ａと、Ａの左に位置するＡに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルと、Ｂと、Ｂの右に位置するＢに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルとを用いて実行される。そして、整数ピクセルＡとＢとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。図１の中ほどにある位相４を有する他の１／１６ピクセルは、位相４を有する輝度補間フィルタが実行する補間によって得られる。上記補間では、以下の各ピクセルが用いられる。すなわち、ＡとＣとの間の位相８を有する１／１６ピクセル、ＢとＤとの間の位相８を有する１／１６ピクセル、Ａの左に位置するＡに最も近い整数ピクセルとＣの左に位置するＣに最も近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、Ａの左に位置するＡに２番目に近い整数ピクセルとＣの左に位置するＣに２番目に近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、Ｂの右に位置するＢに最も近い整数ピクセルとＤの右に位置するＤに最も近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、および、Ｂの右に位置するＢに２番目に近い整数ピクセルとＤの右に位置するＤに２番目に近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、の各ピクセルが用いられる。
【０１００】
図3に示すように、クロミナンス成分の補間処理は以下のステップを含む。
【０１０１】
（１）まず、縦方向補間が実行される。この補間は、ＡおよびＣを用いて実行され、整数ピクセルＡとＣとの間において、４つの異なる位相を有する１／４ピクセルが得られる。さらに、ＢおよびＤを用いて補間が実行され、整数ピクセルＢとＤとの間において、４つの異なる位相を有する１／４ピクセルが得られる。
【０１０２】
（２）次に、横方向補間が実行される。この補間は、ＡおよびＢを用いて実行され、整数ピクセルＡとＢとの間において、４つの異なる位相を有する１／４ピクセルが得られる。図2の中ほどにある位相2を有する他の１／４ピクセルは、位相2を有するクロミナンス補間フィルタが実行する補間において、AとCとの間の位相3を有する１／４ピクセルと、BとDとの間の位相３を有する１／４ピクセルとを用いることにより得られる。
【０１０３】
＜実施形態８＞
本実施形態では、精度が１／１６ピクセルの補間は輝度成分に用いられ、補間を実行するフィルタには６タップが備えられている。図１に示すように、タップ係数は、次のとおり位相によって決まる。
【０１０４】
位相が０のとき、タップ係数は［０，０，３２，０，０，０］／３２である。位相が１のとき、タップ係数は［０，−２，３２，２，０，０］／３２である。位相が２のとき、タップ係数は［１，−３，３１，４，−１，０］／３２である。位相が３のとき、タップ係数は［１，−４，３０，７，−２，０］／３２である。位相が４のとき、タップ係数は［１，−４，２８，９，−２，０］／３２である。位相が５のとき、タップ係数は［１，−５，２７，１１，−３，１］／３２である。位相が６のとき、タップ係数は［１，−５，２５，１４，−３，０］／３２である。位相が７のとき、タップ係数は［１，−５，２２，１７，−４，１］／３２である。位相が８のとき、タップ係数は［１，−５，２０，２０，−５，１］／３２である。位相が９のとき、タップ係数は［１，−４，１７，２２，−５，１］／３２である。位相が１０のとき、タップ係数は［０，−３，１４，２５，−５，１］／３２である。位相が１１のとき、タップ係数は［１，−３，１１，２７，−５，１］／３２である。位相が１２のとき、タップ係数は［０，−２，９，２８，−４，１］／３２である。位相が１３のとき、タップ係数は［０，−２，７，３０，−４，１］／３２である。位相が１４のとき、タップ係数は［０，−１，４，３１，−３，１］／３２である。位相が１５のとき、タップ係数は［０，０，２，３２，−２，０］／３２である。
【０１０５】
精度が１／２ピクセルの2タップ補間フィルタＮはクロミナンス成分に用いられ、補間を実行するフィルタには２タップが備えられている。次のとおり図４に示すように、タップ係数は、位相によって決まる。
【０１０６】
位相が０のとき、タップ係数は［３２，０］／３２である。位相が１のとき、タップ係数は［１６，１６］／３２である。
【０１０７】
図１に示すように、輝度成分の補間処理は以下のステップを含む。
【０１０８】
（１）まず、縦方向補間が実行される。この補間は、Ａと、Ａの真上に位置するＡに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルと、Ｃと、Ｃの真下に位置するＣに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルとを用いて実行される。そして、整数ピクセルＡとＣとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。さらに、Ｂと、Ｂの真上に位置するＢに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルと、Ｄと、Ｄの真下に位置するＤに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルとを用いて補間が実行され、整数ピクセルＢとＤとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。
【０１０９】
（２）次に、横方向補間が実行される。この補間は、Ａと、Ａの左に位置するＡに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルと、Ｂと、Ｂの右に位置するＢに最も近い整数ピクセルおよび２番目に近い整数ピクセルの２つの整数ピクセルとを用いて補間が実行される。そして、整数ピクセルＡとＢとの間において、１６の異なる位相を有する１／１６ピクセルが得られる。図１の中ほどにある位相４を有する他の１／１６ピクセルは、位相４を有する輝度補間フィルタが実行する補間によって得られる。上記補間では、以下の各ピクセルが用いられる。すなわち、ＡとＣとの間の位相８を有する１／１６ピクセル、ＢとＤとの間の位相８を有する１／１６ピクセル、Ａの左に位置するＡに最も近い整数ピクセルとＣの左に位置するＣに最も近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、Ａの左に位置するＡに２番目に近い整数ピクセルとＣの左に位置するＣに２番目に近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、Ｂの右に位置するＢに最も近い整数ピクセルとＤの右に位置するＤに最も近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、および、Ｂの右に位置するＢに２番目に近い整数ピクセルとＤの右に位置するＤに２番目に近い整数ピクセルとの間の縦方向補間によって得られた位相８を有する１／１６ピクセル、の各ピクセルが用いられる。図4に示すように、クロミナンス成分に補間が実行されるとき、まず、縦方向補間において、ＡおよびＣを用いて補間が実行され、整数ピクセルＡとＣとの間において、２つの異なる位相を有する１／２ピクセルが得られる。さらに、ＢおよびＤを用いて補間が実行され、整数ピクセルＢとＤとの間において、２つの異なる位相を有する１／２ピクセルが得られる。次に、横方向補間において、ＡおよびＢを用いて補間が実行され、整数ピクセルＡとＢとの間において、２つの異なる位相を有する１／２ピクセルが得られる。図2の中ほどにある位相１を有する他の１／２ピクセルは、位相1を有するクロミナンス補間フィルタが実行する補間において、ＡとＣとの間の位相１を有する１／２ピクセルと、ＢとＤとの間の位相１を有する１／２ピクセルとを用いることにより得られる。
【０１１０】
上記タップ係数は、整数２の累乗によって増加されてもよい。たとえば、精度が１／２ピクセルの2タップ補間フィルタＮはクロミナンス成分に用いられ、補間を実行するフィルタには２タップが備えられている。タップ係数は位相によって決まる。位相が０のとき、タップ係数は［３２，０］／３２である。そして位相が１のとき、タップ係数は［１６，１６］／３２である。タップ係数は、整数２の累乗によって乗算することにより、タップ係数を以下のように修正することができる。位相が０のとき、タップ係数は［１６，０］／１６、そして位相が１のとき、タップ係数は［８，８］／１６、あるいは、位相が０のとき、タップ係数は［６４，０］／６４，そして位相が１のとき、タップ係数は［３２，３２］／６４のように修正することができる。
【０１１１】
本発明はさらに、スケーラブルビデオ符号化における補間を実行する装置の実施形態を提供する。図５に示す具体的な構成は、主に、以下のものを含む。すなわち、
輝度成分に対して補間フィルタリング処理を行うための、所定の第１精度および所定の第１タップ係数を有する輝度補間フィルタと、クロミナンス成分に対して補間フィルタリング処理を行うための、所定の第２精度および所定の第２タップ係数を有するクロミナンス補間フィルタとを含む。
【０１１２】
ここで、上記第１精度および上記第２精度は互いに依存せず、上記所定の第１タップ係数および上記所定の第２タップ係数も互いに依存しない。
【０１１３】
所定の第１精度および所定の第１タップ係数を有する輝度補間フィルタ、および、所定の第２精度および所定の第２タップ係数を有するクロミナンス補間フィルタとして使用される補間フィルタの形式は既に例示し記載されているため、ここでは重複する説明を省略する。
【０１１４】
実用化されるとき圧縮性能への要求に応じて、補間フィルタは非対称の構成になってもよい。また、当然ながら、対称の構成になってもよい。
【０１１５】
本発明に係る装置の一実施形態について、図６を参照しながら、実施形態１および２を例に挙げて以下に説明する。
【０１１６】
＜実施形態１＞
図6は、スケーラブルビデオ符号化における補間を実行する装置を示す。当該装置は、基準層から整数ピクセルのピクセル値を読み込む入力装置１と、輝度成分に対してｎ位相の補間フィルタリングを行う補間フィルタリング装置２と、クロミナンス成分に対してｍ位相の補間フィルタリングを行う補間装置３と、補間結果を拡張層に出力する出力装置４と、補間処理を制御するコントローラ５とを含んでいる。ここで、上記ｎは、１６であってもよいし、８であってもよい。また、上記ｍは、１６であってもよいし、８であってもよいし、４であってもよいし、あるいは、２であってもよい。輝度成分の補間フィルタのタップ数Ｐは、６であってもよいし、あるいは、４であってもよい。また、クロミナンス成分の補間フィルタのタップ数Ｑは、２であってもよいし、４であってもよいし、あるいは、６であってもよい。ここで、基準層から整数ピクセルのピクセル値を読み込む入力装置１、輝度成分に対してｎ位相の補間フィルタリングを行う補間フィルタリング装置２、クロミナンス成分に対してｍ位相の補間フィルタリングを行う補間装置３、補間結果を拡張層に出力する出力装置４、および、補間処理を制御するコントローラ５は、種々のプラットフォームにおいて、ソフトウェアプログラムにより実現されてもよいし、あるいは、ハードウェア回路により実現されてもよい。
【０１１７】
＜実施形態２＞
図６は、スケーラブルビデオ符号化における補間を実行する装置を示す。当該装置は、基準層から整数ピクセルのピクセル値を読み込む入力装置１と、輝度成分に対して１６位相の補間フィルタリングを行う６タップ補間フィルタリング装置２と、クロミナンス成分に対して１６位相の補間フィルタリングを行う２タップ補間装置３と、補間結果を拡張層に出力する出力装置４と、補間処理を制御するコントローラ５とを含んでいる。
【０１１８】
層間予測において、基準層から整数ピクセルのピクセル値を読み込む入力装置１は、基準層から整数ピクセルのピクセル値を読み込み、輝度成分とクロミナンス成分とを、データバスを介して、６タップ補間フィルタリング装置２と、２タップ補間装置３とに、それぞれ伝送する。６タップ補間フィルタリング装置２は、輝度成分に対して１６位相の補間フィルタリングを行うものであり、２タップ補間装置３は、クロミナンス成分に対して１６位相の補間フィルタリングを行うものである。１６位相の補間フィルタリングを輝度成分に対して実行する6タップ補間フィルタリング装置２は、コントローラ５の制御の下、上記基準層の輝度成分の様々な位相に対応する補間フィルタを用いて補間を実行する。そして、１／１６ピクセルを取得する。当該ピクセルは、スケーラブル圧縮の補間予測を実行するために、補間結果を拡張層に出力する出力装置４に伝送される。１６位相の補間フィルタリングをクロミナンス成分に対して実行する２タップ補間装置３は、コントローラ５の制御の下、上記基準層のクロミナンス成分の様々な位相に対応する補間フィルタを用いて補間を実行する。そして、１／１６ピクセルを取得する。当該ピクセルは、スケーラブル圧縮の補間予測を実行するために、補間結果を拡張層に出力する出力装置４に伝送される。
【０１１９】
上述の各実施形態は、発明を説明することを意図したものであり、本発明を限定する意図はない。本発明の特許請求の範囲に記載した発明の精神と範囲とを逸脱しない限り、どのような変更および変形例も本発明に含まれる。
【図面の簡単な説明】
【０１２０】
【図１】大文字で表した整数ピクセルおよび数字で表した１／１６ピクセルの位相を示した概略図である。
【図２】大文字で表した整数ピクセルおよび数字で表した１／８ピクセルの位相を示した概略図である。
【図３】大文字で表した整数ピクセルおよび数字で表した１／４ピクセルの位相を示した概略図である。
【図４】大文字で表した整数ピクセルおよび数字で表した1／2ピクセルの位相を示した概略図である。
【図５】本発明に係る装置の具体的な実施を示した概略構造図である。
【図６】スケーラブルビデオ符号化における補間を実行する装置の実施例を示した概略構造図である。
【図１】
2009523336.tif 000003
【図２】
2009523336.tif 000004
【図３】
2009523336.tif 000005
【図４】
2009523336.tif 000006
【図５】
2009523336.tif 000007
【図６】
2009523336.tif 000008
【手続補正書】
【提出日】平成20年9月2日(2008.9.2)
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2009523336.tif 000009
【国際調査報告】
2009523336.tif 000010
2009523336.tif 000011
2009523336.tif 000012
2009523336.tif 000013