(57)【要約】【課題】インター予測時に分数精度の動き補償処理を行う場合において、高精度の予測画像を生成することができるようにする。【解決手段】外側用FIRフィルタは、インター予測における参照画像に対して、外側用フィルタ係数を用いてフィルタリングを行うことにより、インター予測における予測画像を構成する画素のうちの外側に位置する画素である外側予測画素を生成する。内側用FIRフィルタは、インター予測における参照画像に対して、内側用フィルタ係数を用いてフィルタリングを行うことにより、インター予測における予測画像を構成する画素のうちの内側に位置する画素である内側予測画素を生成する。本技術は、例えば、符号化装置に適用することができる。【選択図】図３
2013098929.tif 000002
【特許請求の範囲】
【請求項１】
インター予測における参照画像に対して、第１のフィルタ特性でフィルタリングを行うことにより、前記インター予測における予測画像を構成する画素のうちの外側に位置する画素である外側予測画素を生成する外側フィルタ処理部と、
前記参照画像に対して、前記第１のフィルタ特性とは異なる第２のフィルタ特性でフィルタリングを行うことにより、前記予測画像を構成する画素のうちの内側に位置する画素である内側予測画素を生成する内側フィルタ処理部と
を備える画像処理装置。
【請求項２】
前記外側フィルタ処理部は、前記外側予測画素の低周波数成分を補間し、高周波成分を低減する外側用フィルタ係数を用いてフィルタリングを行い、
前記内側フィルタ処理部は、前記内側予測画素の低周波成分と高周波成分を補間する内側用フィルタ係数を用いてフィルタリングを行う
請求項１に記載の画像処理装置。
【請求項３】
前記外側フィルタ処理部は、前記参照画像を構成する画素のうちの、前記外側予測画素の周辺の第１の数の画素を用いた前記フィルタリングを行い、
前記内側フィルタ処理部は、前記参照画像を構成する画素のうちの、前記内側予測画素の周辺の前記第１の数より多い第２の数の画素を用いた前記フィルタリングを行う
請求項１に記載の画像処理装置。
【請求項４】
前記予測画像と符号化対象の画像の差分を演算する差分演算部
をさらに備える
請求項１に記載の画像処理装置。
【請求項５】
前記予測画像と復号対象の画像を加算する加算演算部
をさらに備える
請求項１に記載の画像処理装置。
【請求項６】
画像処理装置が、
インター予測における参照画像に対して、第１のフィルタ特性でフィルタリングを行うことにより、前記インター予測における予測画像を構成する画素のうちの外側に位置する画素である外側予測画素を生成する外側フィルタ処理ステップと、
前記参照画像に対して、前記第１のフィルタ特性とは異なる第２のフィルタ特性でフィルタリングを行うことにより、前記予測画像を構成する画素のうちの内側に位置する画素である内側予測画素を生成する内側フィルタ処理ステップと
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および画像処理方法に関し、特に、インター予測時に分数精度の動き補償処理を行う場合において、高精度の予測画像を生成することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
画像を圧縮する標準規格として、H．264/MPEG（Moving Picture Experts Group）-4 Part10 Advanced Video Coding（以下H．264/AVCという）がある。
【０００３】
H.264/AVCにおいては、フレームまたはフィールド間の相関に注目したインター予測が行われる。インター予測では、符号化済みの画像内の一部の領域を用いて動き補償処理が行われ、予測画像が生成される。
【０００４】
近年、この動き補償処理において、動きベクトルの分解能を2分の1や4分の1といった分数精度に向上させることにより、動き補償処理の精度を高めることが考えられている。
【０００５】
分数精度の動き補償処理では、参照画像の隣接する画素の間にSub pelと呼ばれる仮想的な分数位置の画素を設定し、そのSub pelを生成する処理（以下、インターポーレーションという）が追加して行われる（例えば、非特許文献１参照）。即ち、分数精度の動き補償処理では、動きベクトルの最小分解能が画素の分数倍になるため、分数位置の画素を生成するためのインターポーレーションが行われる。
【０００６】
インターポーレーションに用いられるフィルタであるインターポーレーションフィルタ（Interpolation filter(IF)）としては、通常、有限インパルス応答フィルタ(FIR（Finite Impulse Response） Filter)が用いられる。
【０００７】
一方、従来のインター予測では、予測ブロックを構成する全ての画素が平行に移動していることが想定されている。しかしながら、実際には、全ての画素が平行に移動していない場合がある。例えば、予測ブロックが、回転、縮小、拡大している場合、予測ブロックを構成する全ての画素は平行に移動していない。
【０００８】
そして、予測ブロックが縮小している場合、即ち、図１の上段に示す予測ブロックに対して、図１の中段に示すように、参照画像が拡大している場合、予測ブロックのうちの外側に位置する画素ほど、対応する参照画像の画素との位置のずれが大きくなる。同様に、予測ブロックが拡大している場合、即ち、図１の上段に示す予測ブロックに対して、図１の下段に示すように、参照画像が縮小している場合、予測ブロックのうちの外側に位置する画素ほど、対応する参照画像の画素との位置のずれが大きくなる。図示は省略するが、このことは、予測ブロックが回転している場合においても同様である。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting,Working Draft 4 of High-Efficiency Video Coding,JCTVC-F803_d2,Torino, IT, 14-22 July,2011
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述したように、予測ブロックが平行に移動していない場合、予測ブロックと参照画像の対応する画素の位置に誤差（以下、位置誤差という）が発生する。従って、分数精度の動き補償処理を行うことにより、動き補償処理の精度が高められた場合であっても、予測ブロックが平行に移動していない場合、予測画像の特に高周波成分の精度が劣化し、符号化効率が悪化する。
【００１１】
本技術は、このような状況に鑑みてなされたものであり、インター予測時に分数精度の動き補償処理を行う場合において、高精度の予測画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の一側面の画像処理装置は、インター予測における参照画像に対して、第１のフィルタ特性でフィルタリングを行うことにより、前記インター予測における予測画像を構成する画素のうちの外側に位置する画素である外側予測画素を生成する外側フィルタ処理部と、前記参照画像に対して、前記第１のフィルタ特性とは異なる第２のフィルタ特性でフィルタリングを行うことにより、前記予測画像を構成する画素のうちの内側に位置する画素である内側予測画素を生成する内側フィルタ処理部とを備える画像処理装置である。
【００１３】
本技術の一側面の画像処理方法は、本技術の一側面の画像処理装置に対応する。
【００１４】
本技術の一側面においては、インター予測における参照画像に対して、第１のフィルタ特性でフィルタリングが行われることにより、前記インター予測における予測画像を構成する画素のうちの外側に位置する画素である外側予測画素が生成され、前記参照画像に対して、前記第１のフィルタ特性とは異なる第２のフィルタ特性でフィルタリングが行われることにより、前記予測画像を構成する画素のうちの内側に位置する画素である内側予測画素が生成される。
【発明の効果】
【００１５】
本技術によれば、インター予測時に分数精度の動き補償処理を行う場合において、高精度の予測画像を生成することができる。
【図面の簡単な説明】
【００１６】
【図１】位置誤差を説明する図である。
【図２】本技術を適用した画像処理装置としての符号化装置の一実施の形態の構成例を示すブロック図である。
【図３】図２のインター予測部の第１の構成例を示すブロック図である。
【図４】予測画像のサイズが8×8画素である場合の外側Sub pelと内側Sub pelの領域を示す図である。
【図５】予測画像のサイズが16×16画素である場合の外側Sub pelと内側Sub pelの領域を示す図である。
【図６】予測画像のサイズが32×32画素である場合の外側Sub pelと内側Sub pelの領域を示す図である。
【図７】予測画像のサイズが8×4画素である場合の外側Sub pelと内側Sub pelの領域を示す図である。
【図８】予測画像のサイズが16×8画素である場合の外側Sub pelと内側Sub pelの領域を示す図である。
【図９】予測画像のサイズが32×16画素である場合の外側Sub pelと内側Sub pelの領域を示す図である。
【図１０】予測画像のサイズが4×8画素である場合の外側Sub pelと内側Sub pelの領域を示す図である。
【図１１】予測画像のサイズが8×16画素である場合の外側Sub pelと内側Sub pelの領域を示す図である。
【図１２】予測画像のサイズが16×32画素である場合の外側Sub pelと内側Sub pelの領域を示す図である。
【図１３】予測画素の生成方法を説明する第１の図である。
【図１４】予測画素の生成方法を説明する第２の図である。
【図１５】図２の符号化装置による符号化処理を説明する第１のフローチャートである。
【図１６】図２の符号化装置による符号化処理を説明する第２のフローチャートである。
【図１７】インター予測処理の第１の例の詳細を説明する第１のフローチャートである。
【図１８】インター予測処理の第１の例の詳細を説明する第２のフローチャートである。
【図１９】本技術を適用した画像処理装置としての復号装置の構成例を示すブロック図である。
【図２０】図１９の復号装置による復号処理を説明するフローチャートである。
【図２１】図２のインター予測部の第２の構成例を示すブロック図である。
【図２２】インター予測処理の第２の例の詳細を説明する第１のフローチャートである。
【図２３】インター予測処理の第２の例の詳細を説明する第２のフローチャートである。
【図２４】コンピュータの一実施の形態の構成例を示すブロック図である。
【図２５】テレビジョン受像機の主な構成例を示すブロック図である。
【図２６】携帯電話機の主な構成例を示すブロック図である。
【図２７】ハードディスクレコーダの主な構成例を示すブロック図である。
【図２８】カメラの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
＜一実施の形態＞
［符号化装置の一実施の形態の構成例］
図２は、本技術を適用した画像処理装置としての符号化装置の一実施の形態の構成例を示すブロック図である。
【００１８】
図２の符号化装置１０は、A/D変換部１１、画面並べ替えバッファ１２、演算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、逆量子化部１８、逆直交変換部１９、加算部２０、デブロックフィルタ２１、フレームメモリ２２、イントラ予測部２３、インター予測部２４、動き予測部２５、選択部２６、およびレート制御部２７により構成される。図２の符号化装置１０は、入力された画像を圧縮符号化する。
【００１９】
具体的には、符号化装置１０のA/D変換部１１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ１２に出力して記憶させる。画面並べ替えバッファ１２は、記憶した表示の順番のフレーム単位の画像を、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替える。そして、画面並べ替えバッファ１２は、並び替え後の画像を、スライス単位、LCU（Largest Coding Unit）単位、およびCU（Coding Unit）単位に順に分割し、演算部１３、イントラ予測部２３、および動き予測部２５に出力する。
【００２０】
演算部１３は、差分演算部として機能し、選択部２６から供給される予測画像と、画面並べ替えバッファ１２から出力された符号化対象の画像の差分を演算する。具体的には、演算部１３は、画面並べ替えバッファ１２から出力された符号化対象の画像から、選択部２６から供給される予測画像を減算する。演算部１３は、減算の結果得られる画像を、残差情報として直交変換部１４に出力する。なお、選択部２６から予測画像が供給されない場合、演算部１３は、画面並べ替えバッファ１２から読み出された画像をそのまま残差情報として直交変換部１４に出力する。
【００２１】
直交変換部１４は、演算部１３からの残差情報に対して離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その結果得られる係数を量子化部１５に供給する。
【００２２】
量子化部１５は、直交変換部１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１６に入力される。
【００２３】
可逆符号化部１６は、最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）をイントラ予測部２３から取得し、最適インター予測モードを示す情報（以下、インター予測モード情報という）、予測ブロックの動きベクトルと予測ベクトルとの差分である差分ベクトル(mvd)などをインター予測部２４から取得する。
【００２４】
可逆符号化部１６は、量子化部１５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行い、その結果得られる情報を圧縮画像とする。
【００２５】
また、可逆符号化部１６は、差分ベクトルを取得した場合、差分ベクトルの絶対値を指数ゴロム符号で２値化する。指数ゴロム符号は、データ部であるサフィックスのビット数だけ０が連続するプリフィックス、セパレータとしての１、および、サフィックスとしての０または１の系列により構成される。従って、差分ベクトルの絶対値のビット数が多くなるほど、即ち、差分ベクトルの絶対値の分解能が高いほど、指数ゴロム符号の符号量は多くなる。可逆符号化部１６は、２値化された差分ベクトルの絶対値と差分ベクトルのプラスマイナスの符号を差分ベクトル情報として生成する。
【００２６】
また、可逆符号化部１６は、イントラ予測モード情報、または、インター予測モード情報および差分ベクトル情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。可逆符号化部１６は、可逆符号化の結果得られるヘッダ情報が付加された圧縮画像を画像圧縮情報として蓄積バッファ１７に供給し、蓄積させる。
【００２７】
蓄積バッファ１７は、可逆符号化部１６から供給される画像圧縮情報を、一時的に記憶し、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
【００２８】
また、量子化部１５より出力された、量子化された係数は、逆量子化部１８にも入力され、逆量子化された後、逆直交変換部１９に供給される。
【００２９】
逆直交変換部１９は、逆量子化部１８から供給される係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部２０に供給する。
【００３０】
加算部２０は、加算演算部として機能し、逆直交変換部１９から供給される復号対象の画像としての残差情報と、選択部２６から供給される予測画像を加算して、局部的に復号された画像を得る。なお、選択部２６から予測画像が供給されない場合、加算部２０は、逆直交変換部１９から供給される残差情報を局部的に復号された画像とする。加算部２０は、局部的に復号された画像をデブロックフィルタ２１に供給するとともに、参照画像としてイントラ予測部２３に供給する。
【００３１】
デブロックフィルタ２１は、加算部２０から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ２１は、その結果得られる画像をフレームメモリ２２に供給し、蓄積させる。フレームメモリ２２に蓄積された画像は、参照画像としてインター予測部２４および動き予測部２５に出力される。
【００３２】
イントラ予測部２３は、画面並べ替えバッファ１２から読み出された画像と、加算部２０から供給された参照画像とに基づいて、候補となる全てのイントラ予測モードのイントラ予測を行い、予測画像を生成する。
【００３３】
このとき、イントラ予測部２３は、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部２３は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部２３は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部２６に供給する。イントラ予測部２３は、選択部２６から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部１６に供給する。
【００３４】
なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウェアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。
【００３５】
具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式（１）で表わされるコスト関数値が各予測モードに対して算出される。
【００３６】
Cost(Mode)=D＋λ・R                                          ・・・（１）
【００３７】
Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。
【００３８】
一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式（２）で表わされるコスト関数が各予測モードに対して算出される。
【００３９】
Cost(Mode)=D＋QPtoQuant(QP)・Header_Bit                      ・・・（２）
【００４０】
Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
【００４１】
Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。なお、ここでは、コスト関数値の算出手法としてHigh Complexity モードが採用されるものとする。
【００４２】
インター予測部２４は、動き予測部２５から供給されるインター予測モード情報と動きベクトルに基づいて、フレームメモリ２２から参照画像を読み出す。インター予測部２４は、動きベクトルとフレームメモリ２２から読み出された参照画像とに基づいて、インター予測処理を行う。具体的には、インター予測部２４は、動きベクトルに基づいて参照画像に対してインターポーレーションを行うことにより、分数精度の動き補償処理を行う。インター予測部２４は、その結果生成される予測画像と、動き予測部２５から供給されるコスト関数値とを選択部２６に供給する。
【００４３】
なお、インター予測モードとは、予測ブロックのサイズ、予測方向、参照インデックス、および符号化モードを表す情報である。予測方向には、インター予測の対象とする画像よりも表示時刻が早い参照画像を用いた前方向の予測（L0予測）、インター予測の対象とする画像よりも表示時刻が遅い参照画像を用いた後方向の予測（L1予測）、およびインター予測の対象とする画像よりも表示時刻が早い参照画像と遅い参照画像を用いた両方向の予測（双方向予測（Bi-prediction））がある。
【００４４】
また、参照インデックスとは、参照画像を特定するための番号であり、例えば、インター予測の対象とする画像に近い画像の参照インデックスほど番号が小さい。符号化モードには、差分ベクトルと残差情報を０とし、差分ベクトル情報と残差情報を伝送しないスキップモード、差分ベクトルのみを０とし、残差情報を伝送するが差分ベクトル情報を伝送しないマージモード、差分ベクトルと残差情報の両方を０にせず、差分ベクトル情報と残差情報を伝送する通常モードなどがある。
【００４５】
また、インター予測部２４は、選択部２６から最適インター予測モードで生成された予測画像の選択が通知された場合、動きベクトルと予測ベクトルから差分ベクトルを求める。予測ベクトル（pmv）としては、現在の予測ブロックに空間的に近い予測ブロックまたは時間的に近い周辺位置の予測ブロックの動きベクトルのうち、現在の予測ブロックの動きベクトルとの差分が最も小さい動きベクトルが採用される。インター予測部２４は、求められた差分ベクトル、インター予測モード情報、予測ベクトルとして選択された動きベクトルを表すpmv選択情報などを可逆符号化部１６に出力する。
【００４６】
動き予測部２５は、画面並べ替えバッファ１２から供給される画像と、フレームメモリ２２から供給される参照画像とに基づいて、候補となる全てのインター予測モードの動き予測処理を行い、分数精度の動きベクトルを生成する。具体的には、動き予測部２５は、インター予測モードごとに、参照画像に対してインター予測部２４と同様の手法でインターポーレーションを行う。そして、動き予測部２５は、インター予測モードごとに、インターポーレーション後の参照画像と、画面並べ替えバッファ１２から供給される画像とのマッチングを行い、分数精度の動きベクトルを生成する。本実施の形態では、インターポーレーションにより1/2画素位置のSub pelが生成され、動きベクトルの精度は、1/2画素精度であるものとする。
【００４７】
また、動き予測部２５は、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測部２５は、インター予測モード情報、並びに、対応する動きベクトルおよびコスト関数値をインター予測部２４に供給する。
【００４８】
選択部２６は、イントラ予測部２３およびインター予測部２４から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのいずれかを、最適予測モードに決定する。そして、選択部２６は、最適予測モードの予測画像を、演算部１３および加算部２０に供給する。また、選択部２６は、最適予測モードの予測画像の選択をイントラ予測部２３またはインター予測部２４に通知する。
【００４９】
レート制御部２７は、蓄積バッファ１７に蓄積された画像圧縮情報に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５の量子化動作のレートを制御する。
【００５０】
［インター予測部の第１の構成例］
図３は、図２のインター予測部２４の第１の構成例を示すブロック図である。
【００５１】
なお、図３では、説明の便宜上、インター予測部２４のインター予測処理を行うブロックのみが図示されており、コスト関数値、インター予測モード情報、差分ベクトル、pmv選択情報などを出力するブロックは省略されている。
【００５２】
図３において、インター予測部２４は、参照画像読出部４１、画素振り分け部４２、外側用FIRフィルタ４３、内側用FIRフィルタ４４、外側用フィルタ係数メモリ４５、内側用フィルタ係数メモリ４６、画素選択部４７、および中間結果メモリ４８により構成される。
【００５３】
インター予測部２４の参照画像読出部４１は、図２の動き予測部２５から供給されるインター予測モード情報のうちの参照インデックスおよび予測方向に基づいて、フレームメモリ２２に記憶されている画像のうちの参照画像を特定する。参照画像読出部４１は、インター予測モード情報のうちの予測ブロックのサイズと動きベクトルの整数値に基づいて、予測画像の生成に用いられる参照画像の画素（以下、参照画素という）をフレームメモリ２２から読み出し、一時的に保持する。
【００５４】
参照画像読出部４１は、予測画像の画素（以下、予測画素という）ごとに、一時的に保持されている参照画素のうち、その予測画素の生成に用いられる8個の参照画素を読み出す。参照画像読出部４１は、読みされた8個の参照画素を画素振り分け部４２に供給する。
【００５５】
画素振り分け部４２は、参照画像読出部４１から供給される8個の参照画素を8個の生成用画素とする。また、画素振り分け部４２は、動き予測部２５から供給される動きベクトルの分数値に基づいて、中間結果メモリ４８から、生成対象の予測画素に対応する8個のSub pelを8個の生成用画素として読み出す。
【００５６】
また、画素振り分け部４２は、生成対象のSub pelの予測画像上の位置に応じて、8個の生成用画素を外側用FIRフィルタ４３または内側用FIRフィルタ４４に供給する。具体的には、画素振り分け部４２は、生成対象のSub pelが、予測画像上の位置が予測画像内の外側または予測画像外であるSub pel（以下、外側Sub pelという）である場合、8個の生成用画素を外側用FIRフィルタ４３に供給する。一方、生成対象のSub pelが、予測画像上の位置が予測画像内の内側であるSub pel（以下、内側Sub pelという）である場合、画素振り分け部４２は、8個の生成用画素を内側用FIRフィルタ４４に供給する。
【００５７】
外側用FIRフィルタ４３は、２Ｄフィルタであり、外側フィルタ処理部として機能する。具体的には、外側用FIRフィルタ４３は、画素振り分け部４２から供給される8個の生成用画素に対して、外側用フィルタ係数メモリ４５から供給される外側用フィルタ係数を用いてフィルタリングを行う。外側用FIRフィルタ４３は、その結果得られる1個の画素を画素選択部４７に供給する。
【００５８】
内側用FIRフィルタ４４は、２Ｄフィルタであり、内側フィルタ処理部として機能する。具体的には、内側用FIRフィルタ４４は、画素振り分け部４２から供給される8個の生成用画素に対して、内側用フィルタ係数メモリ４６から供給される内側用フィルタ係数を用いてフィルタリングを行う。内側用FIRフィルタ４４は、その結果得られる1個の画素を画素選択部４７に供給する。
【００５９】
外側用フィルタ係数メモリ４５は、動きベクトルの分数値に対応付けて外側用FIRフィルタ４３用の外側用フィルタ係数を記憶している。外側用フィルタ係数は、生成する画素の低周波数成分を補間し、高周波数成分を低減する、8個の画素に対するフィルタ係数である。例えば、動きベクトルの分数値としての1/4に対応する各画素に対する外側用フィルタ係数は、-1,2,-8,55,21,-8,4,-1であり、1/2に対応する各画素に対する外側用フィルタ係数は、-1,4,-11,40,40,-11,4,-1である。また、動きベクトルの分数値としての3/4に対応する各画素に対する外側用フィルタ係数は、-1,4,-8,21,55,-8,2,-1である。外側用フィルタ係数メモリ４５は、動き予測部２５から供給される動きベクトルの分数値に基づいて、その分数値に対応付けて記憶されている外側用フィルタ係数を外側用FIRフィルタ４３に供給する。
【００６０】
内側用フィルタ係数メモリ４６は、動きベクトルの分数値に対応付けて内側用FIRフィルタ４４用の内側用フィルタ係数を記憶している。内側用フィルタ係数は、生成する画素の低周波成分と高周波成分を補間する、8個の画素に対するフィルタ係数である。例えば、動きベクトルの分数値としての1/4に対応する各画素に対する内側用フィルタ係数は、-1,4,-10,57,19,-7,3,1であり、1/2に対応する各画素に対する内側用フィルタ係数は、-1,4,-11,40,40,-11,4,-1である。また、動きベクトルの分数値としての3/4に対応する各画素に対する内側用フィルタ係数は、1,3,-7,19,57,-10,4,-1である。内側用フィルタ係数メモリ４６は、動き予測部２５から供給される動きベクトルの分数値に基づいて、その分数値に対応付けて記憶されている内側用フィルタ係数を内側用FIRフィルタ４４に供給する。
【００６１】
画素選択部４７は、動き予測部２５から供給される動きベクトルの分数値に基づいて、外側用FIRフィルタ４３または内側用FIRフィルタ４４から供給される画素を予測画素として図２の選択部２６に出力するか、中間結果メモリ４８に供給する。
【００６２】
具体的には、画素選択部４７は、動きベクトルの水平成分および垂直成分の少なくとも一方の分数値が0である場合、外側用FIRフィルタ４３または内側用FIRフィルタ４４から供給される画素を予測画素として選択部２６に供給する。一方、画素選択部４７は、動きベクトルの水平成分および垂直成分の両方の分数値が0ではない場合、外側用FIRフィルタ４３または内側用FIRフィルタ４４から供給される画素であるSub pelを、中間結果メモリ４８に供給し、保持させる。その結果、外側用FIRフィルタ４３または内側用FIRフィルタ４４において、中間結果メモリ４８に保持されているSub pelを用いて、再度フィルタリングが行われる。画素選択部４７は、その結果得られるSub pelを予測画素として選択部２６に出力する。
【００６３】
中間結果メモリ４８は、画素選択部４７から供給されるSub pelを保持する。
【００６４】
以上のように、外側用FIRフィルタ４３と内側用FIRフィルタ４４は、フィルタ特性としてフィルタ係数の異なるフィルタリングを行う。
【００６５】
［外側Sub pelと内側Sub pelの領域の説明］
図４乃至図１２は、予測画像のサイズが、それぞれ、8×8画素、16×16画素、32×32画素、8×4画素、16×8画素、32×16画素、4×8画素、8×16画素、16×32画素である場合の外側Sub pelと内側Sub pelの領域を示す図である。
【００６６】
図４乃至図１２において、間隔の狭い斜線が付された領域が外側Sub pelの領域であり、間隔の広い斜線が付されている領域が内側Sub pelの領域である。図４乃至図１２に示すように、外側Sub pelは、予測画像内の外側に位置するSub pelであり、内側Sub pelは、内側に位置するSub pelである。なお、図示は省略するが、予測画像外に位置するSub pelは、外側Sub pelとされる。
【００６７】
［予測画素の生成方法の説明］
図１３および図１４は、図３のインター予測部２４における予測画素の生成方法を説明する図である。
【００６８】
なお、図１３および図１４において、正方形は、予測画素の生成に用いられる参照画素を表し、菱形は予測画素を表す。また、図１３および図１４の例では、インター予測のブロックのサイズが8×8画素であり、予測画素の参照画像上の水平方向および垂直方向の位置が1/2画素位置である。
【００６９】
この場合、まず、図１３に示すように、水平方向の位置が1/2画素位置であり、垂直方向の位置が整数位置である、図中丸で示される8×15個のSub pelが生成される。
【００７０】
具体的には、画素振り分け部４２は、図１３中点線の菱形で示す8×8個の予測画素からなる予測画像の参照画像上の領域６１のうちの水平方向で内側の領域６２内の、図１３中間隔の広い斜線が付された丸で示す4×7個のSub pelを内側Sub pelとする。そして、画素振り分け部４２は、参照画像読出部４１から供給される、その内側Sub pelの左右に4つずつ位置する8個の参照画素を内側用FIRフィルタ４４に供給する。これにより、4×7個の内側Sub pelが生成され、中間結果メモリ４８に記憶される。
【００７１】
また、画素振り分け部４２は、図１３中間隔の狭い斜線が付された丸で示す、領域６１外のSub pelと領域６１内の領域６２外のSub pelを、外側Sub pelとする。そして、画素振り分け部４２は、参照画像読出部４１から供給される、その外側Sub pelの左右に4つずつ位置する8個の参照画素を外側用FIRフィルタ４３に供給する。これにより、外側Sub pelが生成され、中間結果メモリ４８に記憶される。
【００７２】
次に、図１４に示すように、中間結果メモリ４８に記憶された、図１４中間隔の広い斜線が付された丸で示す4×7個の内側Sub pelと、図１４中間隔の狭い斜線が付された丸で示す外側Sub pelを用いて、水平方向および垂直方向の位置が1/2画素位置である8×8個の予測画素が生成される。
【００７３】
具体的には、画素振り分け部４２は、領域６１のうちの垂直方向で内側の領域６３内の8×4個の予測画素を内側Sub pelとする。そして、画素振り分け部４２は、中間結果メモリ４８から供給される、その内側Sub pelの上下に4つずつ位置する8個のSub pelを内側用FIRフィルタ４４に供給する。これにより、8×4個の内側Sub pelが生成され、予測画素として出力される。
【００７４】
また、画素振り分け部４２は、領域６３外の予測画素を外側Sub pelとする。そして、画素振り分け部４２は、中間結果メモリ４８から供給される、その外側Sub pelの上下に4つずつ位置する8個のSub pelを外側用FIRフィルタ４３に供給する。これにより、外側Sub pelが生成され、予測画素として出力される。
【００７５】
以上のように、予測画像の領域６１うちの、水平方向および垂直方向で内側の領域６４内に位置する、図１４中水玉が付された菱形で示す予測画素は、内側用FIRフィルタ４４により水平方向と垂直方向にインターポーレーションが行われることにより生成される。一方、予測画像の領域６１のうちの領域６４外に位置する、図１４中黒色の菱形で示す予測画素は、水平方向および垂直方向の少なくとも一方のインターポーレーションが、外側用FIRフィルタ４３により行われることにより生成される。
【００７６】
なお、図示は省略するが、予測画素の水平方向の位置が分数位置であり、垂直方向の位置が整数位置である場合、水平方向の位置が内側の予測画素が、内側予測FIRフィルタ４４により生成され、水平方向の位置が外側の予測画素が、外側用FIRフィルタ４３により生成される。予測画素の垂直方向の位置が分数位置であり、水平方向の位置が整数位置である場合も同様である。
【００７７】
［符号化装置の処理の説明］
図１５および図１６は、図２の符号化装置１０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、入力信号としてフレーム単位の画像が符号化装置１０に入力されるたびに行われる。
【００７８】
図１５のステップＳ１１において、符号化装置１０のA/D変換部１１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ１２に出力して記憶させる。
【００７９】
ステップＳ１２において、画面並べ替えバッファ１２は、記憶した表示の順番のフレームの画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１２は、並べ替え後のフレーム単位の画像を、スライス単位、LCU、およびCU単位に順に分割し、演算部１３、イントラ予測部２３、および動き予測部２５に供給する。なお、以下のステップＳ１３乃至Ｓ３１の処理は、例えばCU単位で行われる。
【００８０】
ステップＳ１３において、イントラ予測部２３は、画面並べ替えバッファ１２から供給される画像と、加算部２０から供給される参照画像とに基づいて、候補となる全てのイントラ予測モードのイントラ予測を行い、予測画像を生成する。また、イントラ予測部２３は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部２３は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部２３は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部２６に供給する。
【００８１】
ステップＳ１４において、動き予測部２５は、画面並べ替えバッファ１２から供給される画像に対して、フレームメモリ２２から供給される参照画像を用いて、候補となる全てのインター予測モードの動き予測処理を行い、分数精度の動きベクトルを生成する。また、動き予測部２５は、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測部２５は、インター予測モード情報、並びに、対応する動きベクトルおよびコスト関数値をインター予測部２４に供給する。
【００８２】
ステップＳ１５において、インター予測部２４は、動き予測部２５から供給される動きベクトルとインター予測モード情報に基づいて、最適インター予測モードのインター予測処理を行う。このインター予測処理の詳細は、後述する図１７および図１８を参照して説明する。インター予測部２４は、インター予測処理の結果生成される予測画像と、動き予測部２５から供給されるコスト関数値とを選択部２６に供給する。
【００８３】
ステップＳ１６において、選択部２６は、イントラ予測部２３およびインター予測部２４から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、選択部２６は、最適予測モードの予測画像を、演算部１３および加算部２０に供給する。
【００８４】
ステップＳ１７において、選択部２６は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ１７で最適予測モードが最適インター予測モードであると判定された場合、選択部２６は、最適インター予測モードで生成された予測画像の選択をインター予測部２４に通知する。
【００８５】
そして、ステップＳ１８において、インター予測部２４は、動きベクトルと予測ベクトルから差分ベクトルを求める。インター予測部２４は、求められた差分ベクトル、インター予測モード情報、およびpmv選択情報を可逆符号化部１６に出力する。
【００８６】
ステップＳ１９において、可逆符号化部１６は、インター予測部２４から供給される差分ベクトルから差分ベクトル情報を生成し、インター予測モード情報、差分ベクトル情報、およびpmv選択情報を可逆符号化する。可逆符号化部１６は、その結果得られる情報を圧縮画像に付加されるヘッダ情報とし、処理をステップＳ２１に進める。
【００８７】
一方、ステップＳ１７で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、選択部２６は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部２３に通知する。これにより、イントラ予測部２３は、イントラ予測モード情報を可逆符号化部１６に供給する。
【００８８】
そして、ステップＳ２０において、可逆符号化部１６は、イントラ予測部２３から供給されるイントラ予測モード情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。そして、処理はステップＳ２１に進む。
【００８９】
ステップＳ２１において、演算部１３は、画面並べ替えバッファ１２から供給される画像から、選択部２６から供給される予測画像を減算する。演算部１３は、減算の結果得られる画像を、残差情報として直交変換部１４に出力する。
【００９０】
ステップＳ２２において、直交変換部１４は、演算部１３からの残差情報に対して直交変換を施し、その結果得られる係数を量子化部１５に供給する。
【００９１】
ステップＳ２３において、量子化部１５は、直交変換部１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１６と逆量子化部１８に入力される。
【００９２】
ステップＳ２４において、可逆符号化部１６は、量子化部１５から供給される量子化された係数を可逆符号化し、その結果得られる情報を圧縮画像とする。そして、可逆符号化部１６は、ステップＳ１９またはＳ２０の処理で生成されたヘッダ情報を圧縮画像に付加し、画像圧縮情報を生成する。
【００９３】
図１６のステップＳ２５において、可逆符号化部１６は、画像圧縮情報を蓄積バッファ１７に供給し、蓄積させる。
【００９４】
ステップＳ２６において、蓄積バッファ１７は、蓄積されている画像圧縮情報を、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
【００９５】
ステップＳ２７において、逆量子化部１８は、量子化部１５から供給される量子化された係数を逆量子化する。
【００９６】
ステップＳ２８において、逆直交変換部１９は、逆量子化部１８から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部２０に供給する。
【００９７】
ステップＳ２９において、加算部２０は、逆直交変換部１９から供給される残差情報と、選択部２６から供給される予測画像を加算し、局部的に復号された画像を得る。加算部２０は、得られた画像をデブロックフィルタ２１に供給するとともに、参照画像としてイントラ予測部２３に供給する。
【００９８】
ステップＳ３０において、デブロックフィルタ２１は、加算部２０から供給される局部的に復号された画像に対してフィルタリングを行うことにより、ブロック歪を除去する。
【００９９】
ステップＳ３１において、デブロックフィルタ２１は、フィルタリング後の画像をフレームメモリ２２に供給し、蓄積させる。フレームメモリ２２に蓄積された画像は、参照画像としてインター予測部２４および動き予測部２５に出力される。そして、処理は終了する。
【０１００】
なお、図１５および図１６の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。また、可逆符号化部１６において、差分ベクトル情報および量子化された係数が必ず可逆符号化されるようにしたが、実際には、符号化モードによって可逆符号化されない場合もある。即ち、スキップモードである場合、差分ベクトル情報と量子化された係数は可逆符号化されず、マージモードである場合、差分ベクトル情報は可逆符号化されない。
【０１０１】
図１７および図１８は、図１５のステップＳ１５のインター予測処理の第１の例の詳細を説明するフローチャートである。
【０１０２】
図１７のステップＳ５０において、インター予測部２４の参照画像読出部４１（図３）は、図２の動き予測部２５から供給されるインター予測モード情報のうちの予測方向と参照インデックスに基づいて、フレームメモリ２２に記憶されている画像のうちの参照画像を特定する。
【０１０３】
ステップＳ５１において、参照画像読出部４１は、インター予測モード情報のうちの予測ブロックのサイズに基づいて、予測画像のサイズを決定する。
【０１０４】
ステップＳ５２において、参照画像読出部４１は、インター予測モード情報のうちの動きベクトルの整数値および予測画像のサイズに基づいて、その予測画像の生成に用いられる参照画素をフレームメモリ２２から読み出し、一時的に保持する。
【０１０５】
ステップＳ５３において、参照画像読出部４１は、予測画像を構成する予測画素のうち、まだステップＳ５３の処理で生成対象の予測画素に決定されていない予測画素を生成対象の予測画素に決定する。
【０１０６】
ステップＳ５４において、参照画像読出部４１は、生成対象の予測画素の参照画像上の位置に基づいて、ステップＳ５２で保持された参照画素のうちの、生成対象の予測画素に対応する参照画像上の水平方向または垂直方向の位置が整数位置である画素（以下、予測対応画素という）の生成に用いられる8個の参照画素を読み出す。参照画像読出部４１は、読み出された8個の参照画素を画素振り分け部４２に供給する。
【０１０７】
なお、生成対象の予測画素の参照画像上の水平方向および垂直方向の少なくとも一方の位置が整数位置である場合、予測対応画素は予測画素である。一方、生成対象の予測画素の参照画像上の水平方向および垂直方向の両方の位置が分数位置である場合、予測対応画素は、予測画素の生成に用いられる、予測画素と水平方向の位置が同一で、垂直方向の位置が整数位置である、まだ生成されていない画素である。なお、予測対応画素が複数ある場合、ステップＳ５４乃至Ｓ６３の処理は、予測対応画素ごとに行われる。
【０１０８】
ステップＳ５５において、外側用フィルタ係数メモリ４５は、動き予測部２５から供給される動きベクトルの予測対応画素に対応する成分の分数値に基づいて、その分数値に対応付けて記憶されている外側用フィルタ係数を読み出し、外側用FIRフィルタ４３に供給する。同様に、内側用フィルタ係数メモリ４６は、動きベクトルの予測対応画素に対応する成分の分数値に基づいて、その分数値に対応付けて記憶されている内側用フィルタ係数を読み出し、内側用FIRフィルタ４４に供給する。
【０１０９】
なお、生成対象の予測画素の参照画像上の水平方向および垂直方向の一方の位置のみが分数位置である場合、予測対応画素に対応する成分は、その一方の方向の成分である。一方、生成対象の予測画素の参照画像上の水平方向および垂直方向の両方の位置が整数位置または分数位置である場合、予測対応画素に対応する成分は、水平方向の成分である。
【０１１０】
ステップＳ５６において、画素振り分け部４２は、予測対応画素の予測画像上の位置に基づいて、予測対応画素を外側Sub pelまたは内側Sub pelに決定する。
【０１１１】
ステップＳ５７において、画素振り分け部４２は、ステップＳ５６で予測対応画素が外側Sub pelに決定されたかどうかを判定する。ステップＳ５７で予測対応画素が外側Sub pelに決定されたと判定された場合、画素振り分け部４２は、参照画像読出部４１から供給される8個の参照画素を生成用画素として外側用FIRフィルタ４３に供給する。
【０１１２】
そして、ステップＳ５８において、外側用FIRフィルタ４３は、画素振り分け部４２から供給される8個の生成用画素としての参照画素に対して、外側用フィルタ係数メモリ４５から供給される外側用フィルタ係数を用いてフィルタリングを行う。外側用FIRフィルタ４３は、その結果得られる1個の予測対応画素を画素選択部４７に供給し、処理をステップＳ６０に進める。
【０１１３】
一方、ステップＳ５７で予測対応画素が外側Sub pelに決定されていないと判定された場合、即ち予測対応画素が内側Sub pelに決定された場合、画素振り分け部４２は、参照画像読出部４１から供給される8個の参照画素を生成用画素として内側用FIRフィルタ４４に供給する。
【０１１４】
そして、ステップＳ５９において、内側用FIRフィルタ４４は、画素振り分け部４２から供給される8個の生成用画素としての参照画素に対して、内側用フィルタ係数メモリ４６から供給される内側用フィルタ係数を用いてフィルタリングを行う。内側用FIRフィルタ４４は、その結果得られる1個の予測対応画素を画素選択部４７に供給し、処理をステップＳ６０に進める。
【０１１５】
ステップＳ６０において、画素選択部４７は、動き予測部２５から供給される動きベクトルの水平成分と垂直成分の両方の分数値が0以外であるかどうか、即ち予測画素の参照画像上の水平方向と垂直方向の両方の位置が分数位置であるかどうかを判定する。ステップＳ６０で動きベクトルの水平成分と垂直成分の少なくとも一方の分数値が0であると判定された場合、即ち予測画素の参照画像上の水平方向と垂直方向の少なくとも一方の位置が整数位置である場合、処理はステップＳ６１に進む。
【０１１６】
ステップＳ６１において、画素選択部４７は、外側用FIRフィルタ４３または内側用FIRフィルタ４４から供給される予測対応画素を予測画素として図２の選択部２６に出力する。
【０１１７】
ステップＳ６２において、参照画像読出部４１は、全ての予測画素が生成されたか、即ちステップＳ５３で予測画像を構成する全ての予測画素を生成対象の予測画素に決定したかどうかを判定する。ステップＳ６２でまだ全ての予測画素が生成されていないと判定された場合、処理はステップＳ５３に戻り、全ての予測画素が生成されるまで、ステップＳ５３乃至Ｓ６２の処理が繰り返される。
【０１１８】
一方、ステップＳ６２で全ての予測画素が生成されたと判定された場合、処理は図１５のステップＳ１５に戻り、ステップＳ１６に進む。
【０１１９】
また、ステップＳ６０で動きベクトルの水平成分と垂直成分の両方の分数値が0以外であると判定された場合、即ち予測画素の参照画像上の水平方向と垂直方向の両方の位置が分数位置である場合、処理はステップＳ６３に進む。
【０１２０】
ステップＳ６３において、画素選択部４７は、外側用FIRフィルタ４３または内側用FIRフィルタ４４から供給される予測対応画素としてのSub pelを、中間結果メモリ４８に供給し、保持させる。
【０１２１】
ステップＳ６４において、参照画像読出部４１は、全ての予測対応画素が生成されたか、即ちステップＳ５３で予測画像を構成する全ての予測画素を生成対象の予測画素に決定したかどうかを判定する。ステップＳ６４でまだ全ての予測対応画素が生成されていないと判定された場合、処理はステップＳ５３に戻り、全ての予測対応画素が生成されるまで、ステップＳ５３乃至Ｓ６０、ステップＳ６３、およびステップＳ６４の処理が繰り返される。
【０１２２】
一方、ステップＳ６４で全ての予測対応画素が生成されたと判定された場合、処理は図１８のステップＳ６５に進む。
【０１２３】
ステップＳ６５において、参照画像読出部４１は、予測画像を構成する予測画素のうち、まだステップＳ６５の処理で生成対象の予測画素に決定されていない予測画素を生成対象の予測画素に決定する。
【０１２４】
ステップＳ６６において、画素振り分け部４２は、生成対象の予測画素の参照画像上の位置に基づいて、中間結果メモリ４８から8個のSub pelを生成用画素として読み出す。
【０１２５】
ステップＳ６７において、外側用フィルタ係数メモリ４５は、動き予測部２５から供給される動きベクトルの垂直成分の分数値に基づいて、その分数値に対応付けて記憶されているフィルタ係数を外側用FIRフィルタ４３に供給する。同様に、内側用フィルタ係数メモリ４６は、動きベクトルの垂直成分の分数値に基づいて、その分数値に対応付けて記憶されているフィルタ係数を内側用FIRフィルタ４４に供給する。
【０１２６】
ステップＳ６８において、画素振り分け部４２は、予測画素の予測画像上の垂直方向の位置に基づいて、予測画素を外側Sub pelまたは内側Sub pelに決定する。
【０１２７】
ステップＳ６９乃至Ｓ７１の処理は、予測対応画素ではなく予測画素について判定が行われる点、および、参照画素ではなくSub pelに対してフィルタリングが行われる点を除いて、図１７のステップＳ５７乃至Ｓ５９の処理と同様であるので、説明は省略する。
【０１２８】
ステップＳ７２において、画素選択部４７は、外側用FIRフィルタ４３または内側用FIRフィルタ４４から供給される画素であるSub pelを、予測画素として選択部２６に出力する。
【０１２９】
ステップＳ７３において、参照画像読出部４１は、全ての予測画素が生成されたか、即ちステップＳ６５で予測画像を構成する全ての予測画素を生成対象の予測画素に決定したかどうかを判定する。ステップＳ７３でまだ全ての予測画素が生成されていないと判定された場合、処理はステップＳ６５に戻り、全ての予測画素が生成されるまで、ステップＳ６５乃至Ｓ７３の処理が繰り返される。
【０１３０】
一方、ステップＳ７３で全ての予測画素が生成されたと判定された場合、処理は図１５のステップＳ１５に戻り、ステップＳ１６に進む。
【０１３１】
以上のように、符号化装置１０は、インター予測時に、外側用フィルタ係数を用いて外側予測画素を生成し、内側用フィルタ係数を用いて内側予測画素を生成する。従って、位置誤差が大きい外側予測画素の高周波成分が低減される。その結果、高精度の予測画像を生成することができる。
【０１３２】
これに対して、例えば、インター予測時に、回転、縮小、拡大を行う変換として適したアフィン変換を用いて予測画像を生成することにより、上述した位置誤差を低減し、高精度の予測画像を生成することも考えられる。しかしながら、この場合、差分ベクトルの他に、アフィン変換のパラメータを復号装置側に伝送する必要があるため、オーバーヘッドにより符号化効率が悪化する。また、アフィン変換のパラメータを推定する処理は、従来の動き検出処理よりも複雑であるため、処理負荷がかかる。
【０１３３】
［復号装置の構成例］
図１９は、図２の符号化装置１０から出力される画像圧縮情報を復号する、本技術を適用した画像処理装置としての復号装置の構成例を示すブロック図である。
【０１３４】
図１９の復号装置１００は、蓄積バッファ１０１、可逆復号化部１０２、逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、画面並べ替えバッファ１０７、D/A変換部１０８、フレームメモリ１０９、イントラ予測部１１０、インター予測部１１１、およびスイッチ１１２により構成される。
【０１３５】
復号装置１００の蓄積バッファ１０１は、図２の符号化装置１０から画像圧縮情報を受け取り、蓄積する。蓄積バッファ１０１は、蓄積されている画像圧縮情報を可逆復号化部１０２に供給する。
【０１３６】
可逆復号化部１０２は、蓄積バッファ１０１からの画像圧縮情報に対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数とヘッダを得る。可逆復号化部１０２は、量子化された係数を逆量子化部１０３に供給する。また、可逆復号化部１０２は、ヘッダに含まれるイントラ予測モード情報などをイントラ予測部１１０に供給する。さらに、可逆復号化部１０２は、ヘッダに含まれる差分ベクトル情報をプラスマイナスの符号と差分ベクトルの絶対値の指数ゴロム符号に分解し、指数ゴロム符号を逆２値化してプラスマイナスの符号を付加することにより差分ベクトルを生成する。
【０１３７】
可逆復号化部１０２は、生成された差分ベクトル、並びに、ヘッダに含まれるpmv選択情報およびインター予測モード情報をインター予測部１１１に供給する。さらに、可逆復号化部１０２は、ヘッダに含まれるイントラ予測モード情報またはインター予測モード情報をスイッチ１１２に供給する。
【０１３８】
逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、フレームメモリ１０９、イントラ予測部１１０、および、インター予測部１１１は、図２の逆量子化部１８、逆直交変換部１９、加算部２０、デブロックフィルタ２１、フレームメモリ２２、イントラ予測部２３、および、インター予測部２４とそれぞれ同様の処理を行い、これにより、画像が復号される。
【０１３９】
具体的には、逆量子化部１０３は、可逆復号化部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。
【０１４０】
逆直交変換部１０４は、逆量子化部１０３からの係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部１０５に供給する。
【０１４１】
加算部１０５は、加算演算部として機能し、逆直交変換部１０４から供給される復号対象の画像としての残差情報と、スイッチ１１２から供給される予測画像を加算することにより、復号を行う。加算部１０５は、その結果得られる画像をデブロックフィルタ１０６に供給するとともに、参照画像としてイントラ予測部１１０に供給する。なお、スイッチ１１２から予測画像が供給されない場合、加算部１０５は、逆直交変換部１０４から供給される残差情報である画像をデブロックフィルタ１０６に供給するとともに、参照画像としてイントラ予測部１１０に供給する。
【０１４２】
デブロックフィルタ１０６は、加算部１０５から供給される画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１０６は、その結果得られる画像をフレームメモリ１０９に供給し、蓄積させるとともに、画面並べ替えバッファ１０７に供給する。フレームメモリ１０９に蓄積された画像は、参照画像としてインター予測部１１１に供給される。
【０１４３】
画面並べ替えバッファ１０７は、デブロックフィルタ１０６から供給される画像をフレーム単位で記憶する。画面並べ替えバッファ１０７は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１０８に供給する。
【０１４４】
D/A変換部１０８は、画面並べ替えバッファ１０７から供給されるフレーム単位の画像をD/A変換し、出力信号として出力する。
【０１４５】
イントラ予測部１１０は、加算部１０５から供給される参照画像を用いて、可逆復号化部１０２から供給されるイントラ予測モード情報が表すイントラ予測モードのイントラ予測を行い、予測画像を生成する。そして、イントラ予測部１１０は、予測画像をスイッチ１１２に供給する。
【０１４６】
インター予測部１１１は、保持している動きベクトルのうちの、可逆復号化部１０２から供給されるpmv選択情報が表す動きベクトルを、予測ベクトルとして読み出す。インター予測部１１１は、読み出された予測ベクトルと、可逆復号化部１０２から供給される差分ベクトルを加算することにより、動きベクトルを生成する。インター予測部１１１は、生成された動きベクトルを、保持する。
【０１４７】
また、インター予測部１１１は、可逆復号化部１０２から供給されるインター予測モード情報と動きベクトルに基づいて、図３のインター予測部２４と同様に、フレームメモリ１０９から参照画像を読み出す。インター予測部１１１は、動きベクトルとフレームメモリ１０９から読み出された参照画像とに基づいて、インター予測部２４と同様のインター予測処理を行う。インター予測部１１１は、その結果生成される予測画像をスイッチ１１２に供給する。
【０１４８】
スイッチ１１２は、可逆復号化部１０２からイントラ予測モード情報が供給された場合、イントラ予測部１１０から供給される予測画像を加算部１０５に供給する。一方、可逆復号化部１０２からインター予測モード情報が供給された場合、インター予測部１１１から供給される予測画像を加算部１０５に供給する。
【０１４９】
［復号装置の処理の説明］
図２０は、図１９の復号装置１００による復号処理を説明するフローチャートである。この復号処理は、例えば、フレーム単位の画像圧縮情報が復号装置１００に入力されるたびに行われる。
【０１５０】
図２０のステップＳ１０１において、復号装置１００の蓄積バッファ１０１は、図２の符号化装置１０からフレーム単位の画像圧縮情報を受け取り、蓄積する。蓄積バッファ１０１は、蓄積されている画像圧縮情報を可逆復号化部１０２に供給する。なお、以下のステップＳ１０２乃至Ｓ１１１の処理は、例えばCU単位で行われる。
【０１５１】
ステップＳ１０２において、可逆復号化部１０２は、蓄積バッファ１０１からの画像圧縮情報を可逆復号し、量子化された係数とヘッダを得る。可逆復号化部１０２は、量子化された係数を逆量子化部１０３に供給する。また、可逆復号化部１０２は、ヘッダに含まれるイントラ予測モード情報などをイントラ予測部１１０に供給する。さらに、可逆復号化部１０２は、ヘッダに含まれる差分ベクトル情報をプラスマイナスの符号と差分ベクトルの絶対値の指数ゴロム符号に分解し、指数ゴロム符号を逆２値化してプラスマイナスの符号を付加することにより差分ベクトルを生成する。
【０１５２】
可逆復号化部１０２は、生成された差分ベクトル、並びに、ヘッダに含まれるpmv選択情報およびインター予測モード情報をインター予測部１１１に供給する。さらに、可逆復号化部１０２は、ヘッダに含まれるイントラ予測モード情報またはインター予測モード情報をスイッチ１１２に供給する。
【０１５３】
ステップＳ１０３において、逆量子化部１０３は、可逆復号化部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。
【０１５４】
ステップＳ１０４において、逆直交変換部１０４は、逆量子化部１０３からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１０５に供給する。
【０１５５】
ステップＳ１０５において、インター予測部１１１は、可逆復号化部１０２から差分ベクトル、pmv選択情報、およびインター予測モード情報が供給されたかどうかを判定する。ステップＳ１０５で差分ベクトル、pmv選択情報、およびインター予測モード情報が供給されたと判定された場合、インター予測部１１１は、保持している動きベクトルのうちの、pmv選択情報が表す動きベクトルを、予測ベクトルとして読み出す。そして、処理はステップＳ１０６に進む。
【０１５６】
ステップＳ１０６において、インター予測部１１１は、予測ベクトルと差分ベクトルを加算することにより、動きベクトルを生成する。
【０１５７】
ステップＳ１０７において、インター予測部１１１は、ステップＳ１０６で生成された動きベクトルとインター予測モード情報に基づいて、図１７および図１８で説明したインター予測処理を行う。インター予測部１１１は、その結果生成される予測画像を、スイッチ１１２を介して加算部１０５に供給し、処理をステップＳ１０９に進める。
【０１５８】
一方、ステップＳ１０５で差分ベクトル、pmv選択情報、およびインター予測モード情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部１１０に供給された場合、処理はステップＳ１０８に進む。
【０１５９】
ステップＳ１０８において、イントラ予測部１１０は、加算部１０５から供給される参照画像を用いて、可逆復号化部１０２から供給されるイントラ予測モード情報が表すイントラ予測モードのイントラ予測を行う。そして、イントラ予測部１１０は、その結果生成される予測画像を、スイッチ１１２を介して加算部１０５に供給し、処理をステップＳ１０９に進める。
【０１６０】
ステップＳ１０９において、加算部１０５は、逆直交変換部１０４から供給される残差情報と、スイッチ１１２から供給される予測画像を加算する。加算部１０５は、その結果得られる画像をデブロックフィルタ１０６に供給するとともに、参照画像としてイントラ予測部１１０に供給する。
【０１６１】
ステップＳ１１０において、デブロックフィルタ１０６は、加算部１０５から供給される画像に対してフィルタリングを行い、ブロック歪を除去する。
【０１６２】
ステップＳ１１１において、デブロックフィルタ１０６は、フィルタリング後の画像をフレームメモリ１０９に供給し、蓄積させるとともに、画面並べ替えバッファ１０７に供給する。フレームメモリ１０９に蓄積された画像は、参照画像としてインター予測部１１１に供給される。
【０１６３】
ステップＳ１１２において、画面並べ替えバッファ１０７は、デブロックフィルタ１０６から供給される画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１０８に供給する。
【０１６４】
ステップＳ１１３において、D/A変換部１０８は、画面並べ替えバッファ１０７から供給されるフレーム単位の画像をD/A変換し、出力信号として出力する。
【０１６５】
以上のように、復号装置１００は、インター予測時に、外側用フィルタ係数を用いて外側予測画素を生成し、内側用フィルタ係数を用いて内側予測画素を生成する。従って、位置誤差が大きい外側予測画素の高周波成分が低減される。その結果、高精度の予測画像を生成することができる。
【０１６６】
［インター予測部の第２の構成例］
図２１は、図２のインター予測部２４の第２の構成例を示すブロック図である。
【０１６７】
図２１に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１６８】
図２１のインター予測部２４の構成は、主に、参照画像読出部４１、画素振り分け部４２、外側用FIRフィルタ４３、内側用FIRフィルタ４４、外側用フィルタ係数メモリ４５、内側用フィルタ係数メモリ４６の代わりに、参照画像読出部１３０、画素振り分け部１３１、６タップFIRフィルタ１３２、８タップFIRフィルタ１３３、６タップフィルタ係数メモリ１３４、８タップフィルタ係数メモリ１３５が設けられている点が図３の構成と異なる。
【０１６９】
図２１のインター予測部２４は、外側予測画素と内側予測画素について、フィルタ特性としてフィルタ係数の数が異なるフィルタリングを行う。
【０１７０】
具体的には、図２１のインター予測部２４の参照画像読出部１３０は、図３の参照画像読出部４１と同様に、参照インデックスおよび予測方向に基づいて、フレームメモリ２２に記憶されている画像のうちの参照画像を特定する。また、参照画像読出部１３０は、参照画像読出部４１と同様に、予測ブロックのサイズと動きベクトルの整数値に基づいて、参照画素をフレームメモリ２２から読み出し、一時的に保持する。
【０１７１】
また、参照画像読出部１３０は、予測画素ごとに、一時的に保持されている参照画素のうち、その予測画素の生成に用いられる参照画素を読み出す。このとき、参照画像読出部４１は、外側Sub pelの生成に用いられる参照画素の数が内側Sub pelの生成に用いられる参照画素の数より少なくなるように、参照画素を読み出す。なお、ここでは、外側Sub pelの生成に用いられる参照画素の数は6であり、内側Sub pelの生成に用いられる参照画素の数は8である。参照画像読出部１３０は、読み出された参照画素を画素振り分け部１３１に供給する。
【０１７２】
画素振り分け部１３１は、図３の画素振り分け部４２と同様に、参照画像読出部１３０から供給される参照画素を生成用画素とする。また、画素振り分け部１３１は、画素振り分け部４２と同様に、動きベクトルの分数値に基づいて、中間結果メモリ４８から、生成対象の予測画素に対応するSub pelを生成用画素として読み出す。このとき、画素振り分け部１３１は、外側Sub pelの生成に用いられるSub pelの数が内側Sub pelの生成に用いられるSub pelの数より少なくなるように、Sub pelを読み出す。なお、ここでは、外側Sub pelの生成に用いられるSub pelの数は6であり、内側Sub pelの生成に用いられるSub pelの数は8である。
【０１７３】
画素振り分け部１３１は、生成用画素の数に応じて、その生成用画素を6タップFIRフィルタ１３２または8タップFIRフィルタ１３３に供給する。具体的には、画素振り分け部１３１は、生成用画素の数が6である場合、その生成用画素を6タップFIRフィルタ１３２に供給し、生成用画素の数が8である場合、その生成用画素を8タップFIRフィルタ１３３に供給する。
【０１７４】
6タップFIRフィルタ１３２は、２Ｄフィルタであり、外側フィルタ処理部として機能する。具体的には、6タップFIRフィルタ１３２は、画素振り分け部１３１から供給される6個の生成用画素と、6タップフィルタ係数メモリ１３４から供給される6タップ用フィルタ係数を用いてフィルタリングを行う。6タップFIRフィルタ１３２は、その結果得られる1個の画素を画素選択部４７に供給する。
【０１７５】
8タップFIRフィルタ１３３は、２Ｄフィルタであり、内側フィルタ処理部として機能する。具体的には、8タップFIRフィルタ１３３は、画素振り分け部１３１から供給される8個の生成用画素と、8タップフィルタ係数メモリ１３５から供給される8タップ用フィルタ係数を用いてフィルタリングを行う。8タップFIRフィルタ１３３は、その結果得られる1個の画素を画素選択部４７に供給する。
【０１７６】
6タップフィルタ係数メモリ１３４は、動きベクトルの分数値に対応付けて6タップFIRフィルタ１３２用の6タップ用フィルタ係数を記憶している。6タップ用フィルタ係数は、6個の画素を用いて1個の画素を補間するフィルタ係数である。例えば、動きベクトルの分数値としての1/4に対応する各画素に対する6タップ用フィルタ係数は、1,-7,54,21,-7,2であり、1/2に対応する各画素に対する6タップ用フィルタ係数は、2,-9,39,39,-9,2である。また、動きベクトルの分数値としての3/4に対応する各画素に対する6タップ用フィルタ係数は、2,-7,21,54,-7,1である。従って、6タップ用フィルタ係数を用いたフィルタリングにより、画素の低周波数成分は補間されるが、高周波成分は低減される。6タップフィルタ係数メモリ１３４は、動きベクトルの分数値に基づいて、その分数値に対応付けて記憶されている6タップ用フィルタ係数を6タップFIRフィルタ１３２に供給する。
【０１７７】
8タップフィルタ係数メモリ１３５は、動きベクトルの分数値に対応付けて8タップFIRフィルタ１３３用の8タップ用フィルタ係数を記憶している。8タップ用フィルタ係数は、8個の画素を用いて1個の画素を補間するフィルタ係数である。例えば、動きベクトルの分数値としての1/4に対応する各画素に対する8タップ用フィルタ係数は、-1,4,-10,57,19,-7,3,1であり、1/2に対応する各画素に対する8タップ用フィルタ係数は、-1,4,-11,40,40,-11,4,-1である。また、動きベクトルの分数値としての3/4に対応する各画素に対する8タップ用フィルタ係数は、1,3,-7,19,57,-10,4,-1である。従って、8タップ用フィルタ係数を用いたフィルタリングにより、画素の低周波成分と高周波成分が補間される。8タップフィルタ係数メモリ１３５は、動きベクトルの分数値に基づいて、その分数値に対応付けて記憶されている8タップ用フィルタ係数を8タップFIRフィルタ１３３に供給する。
【０１７８】
［インター予測処理の第２の例の説明］
図２２および図２３は、図２１のインター予測部２４による図１５のステップＳ１５のインター予測処理の詳細を説明するフローチャートである。
【０１７９】
図２２のステップＳ１３１乃至Ｓ１３４の処理は、図１７のステップＳ５０乃至Ｓ５３の処理と同様であるので、説明は省略する。なお、予測対応画素が複数ある場合、以下のステップＳ１３４乃至Ｓ１４４の処理は、予測対応画素ごとに行われる。
【０１８０】
ステップＳ１３４の処理後、ステップＳ１３５において、参照画像読出部１３０は、予測対応画素の予測画像上の位置に基づいて、予測対応画素の生成に用いられる参照画素の数を6または8に決定する。具体的には、参照画像読出部１３０は、予測対応画素の予測画像上の位置に基づいて予測対応画素を外側Sub pelまたは内側Sub pelに決定する。そして、参照画像読出部１３０は、外側Sub pelである予測対応画素の参照画素の数を6に決定し、内側Sub pelである予測対応画素の参照画素の数を8に決定する。
【０１８１】
ステップＳ１３６において、参照画像読出部１３０は、ステップＳ１３５で決定された参照画素の数と、生成対象の予測画素の参照画像上の位置に基づいて、ステップＳ１３３で保持された参照画素のうちの、予測対応画素の生成に用いられる参照画素を読み出す。参照画像読出部１３０は、読み出された参照画素を画素振り分け部１３１に供給する。
【０１８２】
ステップＳ１３７において、6タップフィルタ係数メモリ１３４は、動きベクトルの予測対応画素に対応する成分の分数値に基づいて、その分数値に対応付けて記憶されている6タップ用フィルタ係数を読み出し、6タップFIRフィルタ１３２に供給する。同様に、8タップフィルタ係数メモリ１３５は、動きベクトルの予測対応画素に対応する成分の分数値に基づいて、その分数値に対応付けて記憶されている8タップ用フィルタ係数を読み出し、8タップFIRフィルタ１３３に供給する。
【０１８３】
ステップＳ１３８において、画素振り分け部１３１は、参照画像読出部１３０から供給される参照画素の数は6であるかどうかを判定する。ステップＳ１３８で参照画素の数は6であると判定された場合、画素振り分け部１３１は、参照画像読出部１３０から供給される6個の参照画素を、6個の生成用画素として6タップFIRフィルタ１３２に供給し、処理はステップＳ１３９に進む。
【０１８４】
ステップＳ１３９において、画素振り分け部１３１は、参照画像読出部１３０から供給される6個の参照画素と、6タップフィルタ係数メモリ１３４から供給される6タップ用フィルタ係数を用いてフィルタリングを行う。画素振り分け部１３１は、その結果得られる1個の予測対応画素を画素選択部４７に供給し、処理をステップＳ１４１に進める。
【０１８５】
ステップＳ１３８で参照画素の数は6ではないと判定された場合、即ち参照画素の数が8である場合、画素振り分け部１３１は、参照画像読出部１３０から供給される8個の参照画素を、8個の生成用画素として8タップFIRフィルタ１３３に供給し、処理はステップＳ１４０に進む。
【０１８６】
ステップＳ１４０において、画素振り分け部１３１は、参照画像読出部１３０から供給される8個の参照画素と、8タップフィルタ係数メモリ１３５から供給される8タップ用フィルタ係数を用いてフィルタリングを行う。画素振り分け部１３１は、その結果得られる1個の予測対応画素を画素選択部４７に供給し、処理をステップＳ１４１に進める。
【０１８７】
ステップＳ１４１乃至Ｓ１４６の処理は、図１７のステップＳ６０乃至図１８のステップＳ６５の処理と同様であるので、説明は省略する。
【０１８８】
ステップＳ１４７において、画素振り分け部１３１は、予測画素の予測画像上の垂直方向の位置に基づいて、中間結果メモリ４８から読み出す、その予測画素の生成に用いられるSub pelの数を6または8に決定する。具体的には、画素振り分け部１３１は、予測画素の予測画像上の垂直方向の位置に基づいて予測画素を外側Sub pelまたは内側Sub pelに決定する。そして、参照画像読出部１３０は、外側Sub pelである予測画素のSub pelの数を6に決定し、内側Sub pelである予測画素のSub pelの数を8に決定する。
【０１８９】
ステップＳ１４８において、画素振り分け部１３１は、ステップＳ１４７で決定されたSub pelの数と、生成対象の予測画素の参照画像上の位置に基づいて、中間結果メモリ４８からSub pelを生成用画素として読み出す。
【０１９０】
ステップＳ１４９において、6タップフィルタ係数メモリ１３４は、動きベクトルの垂直成分の分数値に基づいて、その分数値に対応付けて記憶されている6タップ用フィルタ係数を読み出し、6タップFIRフィルタ１３２に供給する。同様に、8タップフィルタ係数メモリ１３５は、動きベクトルの垂直成分の分数値に基づいて、その分数値に対応付けて記憶されている8タップ用フィルタ係数を読み出し、8タップFIRフィルタ１３３に供給する。そして、処理はステップＳ１５０に進む。
【０１９１】
ステップＳ１５０乃至Ｓ１５２の処理は、参照画素の代わりにSub pelに対して行われる点を除いて、図２２のステップＳ１３８乃至Ｓ１４０の処理と同様であるので、説明は省略する。
【０１９２】
ステップＳ１５２の処理後、ステップＳ１５３において、画素選択部４７は、6タップFIRフィルタ１３２または8タップFIRフィルタ１３３から供給される画素であるSub pelを、予測画素として選択部２６に出力する。
【０１９３】
ステップＳ１５４において、参照画像読出部１３０は、全ての予測画素が生成されたか、即ちステップＳ１４６で予測画像を構成する全ての予測画素を生成対象の予測画素に決定したかどうかを判定する。ステップＳ１５４でまだ全ての予測画素が生成されていないと判定された場合、処理はステップＳ１４６に戻り、全ての予測画素が生成されるまで、ステップＳ１４６乃至Ｓ１５４の処理が繰り返される。
【０１９４】
一方、ステップＳ１５４で全ての予測画素が生成されたと判定された場合、処理は図１５のステップＳ１５に戻り、ステップＳ１６に進む。
【０１９５】
以上のように、図２１のインター予測部２４は、インター予測時に、6タップ用フィルタ係数を用いて外側予測画素を生成し、8タップ用フィルタ係数を用いて内側予測画素を生成する。従って、位置誤差が大きい外側予測画素の高周波成分が低減される。その結果、高精度の予測画像を生成することができる。
【０１９６】
なお、説明は省略するが、符号化装置１０が図２１のインター予測部２４を備える場合、復号装置１００のインター予測部１１１は、図２１のインター予測部２４と同様の処理を行う。
【０１９７】
また、本実施の形態では、インターポーレーションにより1/2画素位置のSub pelが生成されるものとしたが、1/4画素位置や1/8画素位置のSub pelが生成されるようにしてもよい。この場合、フィルタ係数が異なること以外、1/2画素位置のSub pelの生成時と同様の処理が行われる。
【０１９８】
本実施の形態では、外側用FIRフィルタ４３、内側用FIRフィルタ４４、6タップFIRフィルタ１３２、および8タップFIRフィルタ１３３が、２Ｄフィルタ（分離型（Separable）フィルタ）により構成されたが、非分離型（Non-separable）フィルタにより構成されるようにしてもよい。この場合、水平方向と垂直方向の両方のフィルタリングが分離されずに同時に行われる。
【０１９９】
また、異なるフィルタ特性でフィルタリングする領域の数は、２に限定されない。この数が多いほど予測画像の精度は向上するが、記憶しておくフィルタ係数の数や処理量が多くなる。
【０２００】
さらに、予測ブロックが小さい場合、外側予測画素と内側予測画素の距離が短いため、外側予測画素で発生する位置誤差が小さい。従って、予測ブロックが大きい場合にのみ、外側予測画素と内側予測画素を生成する際のフィルタリングのフィルタ特性を異なるようにしてもよい。
【０２０１】
＜本技術を適用したコンピュータの説明＞
次に、上述した符号化処理や復号処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。符号化処理や復号処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２０２】
そこで、図２４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２０３】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部４０８やROM（Read Only Memory）４０２に予め記録しておくことができる。
【０２０４】
あるいはまた、プログラムは、リムーバブルメディア４１１に格納（記録）しておくことができる。このようなリムーバブルメディア４１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア４１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２０５】
なお、プログラムは、上述したようなリムーバブルメディア４１１からドライブ４１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部４０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２０６】
コンピュータは、CPU(Central Processing Unit)４０１を内蔵しており、CPU４０１には、バス４０４を介して、入出力インタフェース４０５が接続されている。
【０２０７】
CPU４０１は、入出力インタフェース４０５を介して、ユーザによって、入力部４０６が操作等されることにより指令が入力されると、それに従って、ROM４０２に格納されているプログラムを実行する。あるいは、CPU４０１は、記憶部４０８に格納されたプログラムを、RAM(Random Access Memory)４０３にロードして実行する。
【０２０８】
これにより、CPU４０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース４０５を介して、出力部４０７から出力、あるいは、通信部４０９から送信、さらには、記憶部４０８に記録等させる。
【０２０９】
なお、入力部４０６は、キーボードや、マウス、マイク等で構成される。また、出力部４０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２１０】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２１１】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２１２】
＜テレビジョン受像機の構成例＞
図２５は、本技術を適用した復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。
【０２１３】
図２５に示されるテレビジョン受像機５００は、地上波チューナ５１３、ビデオデコーダ５１５、映像信号処理回路５１８、グラフィック生成回路５１９、パネル駆動回路５２０、および表示パネル５２１を有する。
【０２１４】
地上波チューナ５１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ５１５に供給する。ビデオデコーダ５１５は、地上波チューナ５１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路５１８に供給する。
【０２１５】
映像信号処理回路５１８は、ビデオデコーダ５１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路５１９に供給する。
【０２１６】
グラフィック生成回路５１９は、表示パネル５２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路５２０に供給する。また、グラフィック生成回路５１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路５２０に供給するといった処理も適宜行う。
【０２１７】
パネル駆動回路５２０は、グラフィック生成回路５１９から供給されたデータに基づいて表示パネル５２１を駆動し、番組の映像や上述した各種の画面を表示パネル５２１に表示させる。
【０２１８】
表示パネル５２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路５２０による制御に従って番組の映像などを表示させる。
【０２１９】
また、テレビジョン受像機５００は、音声A/D（Analog/Digital)変換回路５１４、音声信号処理回路５２２、エコーキャンセル／音声合成回路５２３、音声増幅回路５２４、およびスピーカ５２５も有する。
【０２２０】
地上波チューナ５１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ５１３は、取得した音声信号を音声A/D変換回路５１４に供給する。
【０２２１】
音声A/D変換回路５１４は、地上波チューナ５１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路５２２に供給する。
【０２２２】
音声信号処理回路５２２は、音声A/D変換回路５１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路５２３に供給する。
【０２２３】
エコーキャンセル／音声合成回路５２３は、音声信号処理回路５２２から供給された音声データを音声増幅回路５２４に供給する。
【０２２４】
音声増幅回路５２４は、エコーキャンセル／音声合成回路５２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ５２５から出力させる。
【０２２５】
さらに、テレビジョン受像機５００は、デジタルチューナ５１６およびMPEGデコーダ５１７も有する。
【０２２６】
デジタルチューナ５１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ５１７に供給する。
【０２２７】
MPEGデコーダ５１７は、デジタルチューナ５１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ５１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路５２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路５１８に供給する。また、MPEGデコーダ５１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU５３２に供給する。
【０２２８】
テレビジョン受像機５００は、このように映像パケットをデコードするMPEGデコーダ５１７として、上述した復号装置１００を用いる。したがって、MPEGデコーダ５１７では、復号装置１００の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、高精度の予測画像を生成することができる。
【０２２９】
MPEGデコーダ５１７から供給された映像データは、ビデオデコーダ５１５から供給された映像データの場合と同様に、映像信号処理回路５１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路５１９において、生成された映像データ等が適宜重畳され、パネル駆動回路５２０を介して表示パネル５２１に供給され、その画像が表示される。
【０２３０】
MPEGデコーダ５１７から供給された音声データは、音声A/D変換回路５１４から供給された音声データの場合と同様に、音声信号処理回路５２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路５２３を介して音声増幅回路５２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ５２５から出力される。
【０２３１】
また、テレビジョン受像機５００は、マイクロホン５２６、およびA/D変換回路５２７も有する。
【０２３２】
A/D変換回路５２７は、音声会話用のものとしてテレビジョン受像機５００に設けられるマイクロホン５２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路５２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路５２３に供給する。
【０２３３】
エコーキャンセル／音声合成回路５２３は、テレビジョン受像機５００のユーザ（ユーザＡ）の音声のデータがA/D変換回路５２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路５２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路５２４を介してスピーカ５２５より出力させる。
【０２３４】
さらに、テレビジョン受像機５００は、音声コーデック５２８、内側バス５２９、SDRAM（Synchronous Dynamic Random Access Memory)５３０、フラッシュメモリ５３１、CPU５３２、USB（Universal Serial Bus) I/F５３３、およびネットワークI/F５３４も有する。
【０２３５】
A/D変換回路５２７は、音声会話用のものとしてテレビジョン受像機５００に設けられるマイクロホン５２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路５２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック５２８に供給する。
【０２３６】
音声コーデック５２８は、A/D変換回路５２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内側バス５２９を介してネットワークI/F５３４に供給する。
【０２３７】
ネットワークI/F５３４は、ネットワーク端子５３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F５３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック５２８から供給された音声データを送信する。また、ネットワークI/F５３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子５３５を介して受信し、それを、内側バス５２９を介して音声コーデック５２８に供給する。
【０２３８】
音声コーデック５２８は、ネットワークI/F５３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路５２３に供給する。
【０２３９】
エコーキャンセル／音声合成回路５２３は、音声コーデック５２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路５２４を介してスピーカ５２５より出力させる。
【０２４０】
SDRAM５３０は、CPU５３２が処理を行う上で必要な各種のデータを記憶する。
【０２４１】
フラッシュメモリ５３１は、CPU５３２により実行されるプログラムを記憶する。フラッシュメモリ５３１に記憶されているプログラムは、テレビジョン受像機５００の起動時などの所定のタイミングでCPU５３２により読み出される。フラッシュメモリ５３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。
【０２４２】
例えば、フラッシュメモリ５３１には、CPU５３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ５３１は、例えばCPU５３２の制御により、そのMPEG-TSを、内側バス５２９を介してMPEGデコーダ５１７に供給する。
【０２４３】
MPEGデコーダ５１７は、デジタルチューナ５１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機５００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ５１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。
【０２４４】
また、テレビジョン受像機５００は、リモートコントローラ５５１から送信される赤外線信号を受光する受光部５３７も有する。
【０２４５】
受光部５３７は、リモートコントローラ５５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU５３２に出力する。
【０２４６】
CPU５３２は、フラッシュメモリ５３１に記憶されているプログラムを実行し、受光部５３７から供給される制御コードなどに応じてテレビジョン受像機５００の全体の動作を制御する。CPU５３２とテレビジョン受像機５００の各部は、図示せぬ経路を介して接続されている。
【０２４７】
USB I/F５３３は、USB端子５３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機５００の外部の機器との間でデータの送受信を行う。ネットワークI/F５３４は、ネットワーク端子５３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。
【０２４８】
テレビジョン受像機５００は、MPEGデコーダ５１７として復号装置１００を用いることにより、インター予測時に分数精度の動き補償処理を行う場合において、高精度の予測画像を生成することができる。
【０２４９】
＜携帯電話機の構成例＞
図２６は、本技術を適用した符号化装置および復号装置を用いる携帯電話機の主な構成例を示すブロック図である。
【０２５０】
図２６に示される携帯電話機６００は、各部を統括的に制御するようになされた主制御部６５０、電源回路部６５１、操作入力制御部６５２、画像エンコーダ６５３、カメラI/F部６５４、LCD制御部６５５、画像デコーダ６５６、多重分離部６５７、記録再生部６６２、変復調回路部６５８、および音声コーデック６５９を有する。これらは、バス６６０を介して互いに接続されている。
【０２５１】
また、携帯電話機６００は、操作キー６１９、CCD（Charge Coupled Devices）カメラ６１６、液晶ディスプレイ６１８、記憶部６２３、送受信回路部６６３、アンテナ６１４、マイクロホン（マイク）６２１、およびスピーカ６１７を有する。
【０２５２】
電源回路部６５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機６００を動作可能な状態に起動する。
【０２５３】
携帯電話機６００は、CPU、ROMおよびRAM等でなる主制御部６５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０２５４】
例えば、音声通話モードにおいて、携帯電話機６００は、マイクロホン（マイク）６２１で集音した音声信号を、音声コーデック６５９によってデジタル音声データに変換し、これを変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。
【０２５５】
また、例えば、音声通話モードにおいて、携帯電話機６００は、アンテナ６１４で受信した受信信号を送受信回路部６６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部６５８でスペクトラム逆拡散処理し、音声コーデック６５９によってアナログ音声信号に変換する。携帯電話機６００は、その変換して得られたアナログ音声信号をスピーカ６１７から出力する。
【０２５６】
更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機６００は、操作キー６１９の操作によって入力された電子メールのテキストデータを、操作入力制御部６５２において受け付ける。携帯電話機６００は、そのテキストデータを主制御部６５０において処理し、LCD制御部６５５を介して、画像として液晶ディスプレイ６１８に表示させる。
【０２５７】
また、携帯電話機６００は、主制御部６５０において、操作入力制御部６５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機６００は、その電子メールデータを、変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。
【０２５８】
また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機６００は、基地局から送信された信号を、アンテナ６１４を介して送受信回路部６６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機６００は、その受信信号を変復調回路部６５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機６００は、復元された電子メールデータを、LCD制御部６５５を介して液晶ディスプレイ６１８に表示する。
【０２５９】
なお、携帯電話機６００は、受信した電子メールデータを、記録再生部６６２を介して、記憶部６２３に記録する（記憶させる）ことも可能である。
【０２６０】
この記憶部６２３は、書き換え可能な任意の記憶媒体である。記憶部６２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。
【０２６１】
さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機６００は、撮像によりCCDカメラ６１６で画像データを生成する。CCDカメラ６１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部６５４を介して、画像エンコーダ６５３で、例えばMPEG２やMPEG４等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。
【０２６２】
携帯電話機６００は、このような処理を行う画像エンコーダ６５３として、上述した符号化装置１０を用いる。したがって、画像エンコーダ６５３は、符号化装置１０の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、高精度の予測画像を生成することができる。
【０２６３】
なお、携帯電話機６００は、このとき同時に、CCDカメラ６１６で撮像中にマイクロホン（マイク）６２１で集音した音声を、音声コーデック６５９においてアナログデジタル変換し、さらに符号化する。
【０２６４】
携帯電話機６００は、多重分離部６５７において、画像エンコーダ６５３から供給された符号化画像データと、音声コーデック６５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機６００は、その結果得られる多重化データを、変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。
【０２６５】
なお、画像データを送信しない場合、携帯電話機６００は、CCDカメラ６１６で生成した画像データを、画像エンコーダ６５３を介さずに、LCD制御部６５５を介して液晶ディスプレイ６１８に表示させることもできる。
【０２６６】
また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機６００は、基地局から送信された信号を、アンテナ６１４を介して送受信回路部６６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機６００は、その受信信号を変復調回路部６５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機６００は、多重分離部６５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。
【０２６７】
携帯電話機６００は、画像デコーダ６５６において、符号化画像データを、MPEG２やMPEG４等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部６５５を介して液晶ディスプレイ６１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ６１８に表示される。
【０２６８】
携帯電話機６００は、このような処理を行う画像デコーダ６５６として、上述した復号装置１００を用いる。したがって、画像デコーダ６５６は、復号装置１００の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、高精度の予測画像を生成することができる。
【０２６９】
このとき、携帯電話機６００は、同時に、音声コーデック６５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ６１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。
【０２７０】
なお、電子メールの場合と同様に、携帯電話機６００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部６６２を介して、記憶部６２３に記録する（記憶させる）ことも可能である。
【０２７１】
また、携帯電話機６００は、主制御部６５０において、撮像されてCCDカメラ６１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。
【０２７２】
さらに、携帯電話機６００は、赤外線通信部６８１で赤外線により外部の機器と通信することができる。
【０２７３】
携帯電話機６００は、画像エンコーダ６５３として符号化装置１０を用いることにより、インター予測時に分数精度の動き補償処理を行う場合において、高精度の予測画像を生成することができる。
【０２７４】
また、携帯電話機６００は、画像デコーダ６５６として復号装置１００を用いることにより、インター予測時に分数精度の動き補償処理を行う場合において、高精度の予測画像を生成することができる。
【０２７５】
なお、以上において、携帯電話機６００が、CCDカメラ６１６を用いるように説明したが、このCCDカメラ６１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機６００は、CCDカメラ６１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。
【０２７６】
また、以上においては携帯電話機６００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機６００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機６００の場合と同様に、符号化装置１０および復号装置１００を適用することができる。
【０２７７】
＜ハードディスクレコーダの構成例＞
図２７は、本技術を適用した符号化装置および復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。
【０２７８】
図２７に示されるハードディスクレコーダ（HDDレコーダ）７００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。
【０２７９】
ハードディスクレコーダ７００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ７００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。
【０２８０】
さらに、ハードディスクレコーダ７００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ７６０に供給し、モニタ７６０の画面にその画像を表示させる。また、ハードディスクレコーダ７００は、モニタ７６０のスピーカよりその音声を出力させることができる。
【０２８１】
ハードディスクレコーダ７００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ７６０に供給し、モニタ７６０の画面にその画像を表示させる。また、ハードディスクレコーダ７００は、モニタ７６０のスピーカよりその音声を出力させることもできる。
【０２８２】
もちろん、この他の動作も可能である。
【０２８３】
図２７に示されるように、ハードディスクレコーダ７００は、受信部７２１、復調部７２２、デマルチプレクサ７２３、オーディオデコーダ７２４、ビデオデコーダ７２５、およびレコーダ制御部７２６を有する。ハードディスクレコーダ７００は、さらに、EPGデータメモリ７２７、プログラムメモリ７２８、ワークメモリ７２９、ディスプレイコンバータ７３０、OSD（On Screen Display）制御部７３１、ディスプレイ制御部７３２、記録再生部７３３、D/Aコンバータ７３４、および通信部７３５を有する。
【０２８４】
また、ディスプレイコンバータ７３０は、ビデオエンコーダ７４１を有する。記録再生部７３３は、エンコーダ７５１およびデコーダ７５２を有する。
【０２８５】
受信部７２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部７２６に出力する。レコーダ制御部７２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ７２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部７２６は、このとき、ワークメモリ７２９を必要に応じて使用する。
【０２８６】
通信部７３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部７３５は、レコーダ制御部７２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。
【０２８７】
復調部７２２は、チューナより供給された信号を、復調し、デマルチプレクサ７２３に出力する。デマルチプレクサ７２３は、復調部７２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ７２４、ビデオデコーダ７２５、またはレコーダ制御部７２６に出力する。
【０２８８】
オーディオデコーダ７２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部７３３に出力する。ビデオデコーダ７２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ７３０に出力する。レコーダ制御部７２６は、入力されたEPGデータをEPGデータメモリ７２７に供給し、記憶させる。
【０２８９】
ディスプレイコンバータ７３０は、ビデオデコーダ７２５またはレコーダ制御部７２６より供給されたビデオデータを、ビデオエンコーダ７４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部７３３に出力する。また、ディスプレイコンバータ７３０は、ビデオデコーダ７２５またはレコーダ制御部７２６より供給されるビデオデータの画面のサイズを、モニタ７６０のサイズに対応するサイズに変換する。ディスプレイコンバータ７３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ７４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部７３２に出力する。
【０２９０】
ディスプレイ制御部７３２は、レコーダ制御部７２６の制御のもと、OSD（On Screen Display）制御部７３１が出力したOSD信号を、ディスプレイコンバータ７３０より入力されたビデオ信号に重畳し、モニタ７６０のディスプレイに出力し、表示させる。
【０２９１】
モニタ７６０にはまた、オーディオデコーダ７２４が出力したオーディオデータが、D/Aコンバータ７３４によりアナログ信号に変換されて供給されている。モニタ７６０は、このオーディオ信号を内蔵するスピーカから出力する。
【０２９２】
記録再生部７３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。
【０２９３】
記録再生部７３３は、例えば、オーディオデコーダ７２４より供給されるオーディオデータを、エンコーダ７５１によりMPEG方式でエンコードする。また、記録再生部７３３は、ディスプレイコンバータ７３０のビデオエンコーダ７４１より供給されるビデオデータを、エンコーダ７５１によりMPEG方式でエンコードする。記録再生部７３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部７３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。
【０２９４】
記録再生部７３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部７３３は、デコーダ７５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部７３３は、復号したオーディオデータをD/A変換し、モニタ７６０のスピーカに出力する。また、記録再生部７３３は、復号したビデオデータをD/A変換し、モニタ７６０のディスプレイに出力する。
【０２９５】
レコーダ制御部７２６は、受信部７２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ７２７から最新のEPGデータを読み出し、それをOSD制御部７３１に供給する。OSD制御部７３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部７３２に出力する。ディスプレイ制御部７３２は、OSD制御部７３１より入力されたビデオデータをモニタ７６０のディスプレイに出力し、表示させる。これにより、モニタ７６０のディスプレイには、EPG（電子番組ガイド）が表示される。
【０２９６】
また、ハードディスクレコーダ７００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。
【０２９７】
通信部７３５は、レコーダ制御部７２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部７２６に供給する。レコーダ制御部７２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部７３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部７２６および記録再生部７３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。
【０２９８】
また、レコーダ制御部７２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ７３０に供給する。ディスプレイコンバータ７３０は、ビデオデコーダ７２５から供給されるビデオデータと同様に、レコーダ制御部７２６から供給されるビデオデータを処理し、ディスプレイ制御部７３２を介してモニタ７６０に供給し、その画像を表示させる。
【０２９９】
また、この画像表示に合わせて、レコーダ制御部７２６が、復号したオーディオデータを、D/Aコンバータ７３４を介してモニタ７６０に供給し、その音声をスピーカから出力させるようにしてもよい。
【０３００】
さらに、レコーダ制御部７２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ７２７に供給する。
【０３０１】
以上のようなハードディスクレコーダ７００は、ビデオデコーダ７２５、デコーダ７５２、およびレコーダ制御部７２６に内蔵されるデコーダとして復号装置１００を用いる。したがって、ビデオデコーダ７２５、デコーダ７５２、およびレコーダ制御部７２６に内蔵されるデコーダは、復号装置１００の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、高精度の予測画像を生成することができる。
【０３０２】
また、ハードディスクレコーダ７００は、エンコーダ７５１として符号化装置１０を用いる。したがって、エンコーダ７５１は、符号化装置１０の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、高精度の予測画像を生成することができる。
【０３０３】
なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ７００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ７００の場合と同様に、符号化装置１０および復号装置１００を適用することができる。
【０３０４】
＜カメラの構成例＞
図２８は、本技術を適用した符号化装置および復号装置を用いるカメラの主な構成例を示すブロック図である。
【０３０５】
図２８に示されるカメラ８００は、被写体を撮像し、被写体の画像をLCD８１６に表示させたり、それを画像データとして、記録メディア８３３に記録したりする。
【０３０６】
レンズブロック８１１は、光（すなわち、被写体の映像）を、CCD/CMOS８１２に入射させる。CCD/CMOS８１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部８１３に供給する。
【０３０７】
カメラ信号処理部８１３は、CCD/CMOS８１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部８１４に供給する。画像信号処理部８１４は、コントローラ８２１の制御の下、カメラ信号処理部８１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ８４１で例えばMPEG方式により符号化したりする。画像信号処理部８１４は、画像信号を符号化して生成した符号化データを、デコーダ８１５に供給する。さらに、画像信号処理部８１４は、オンスクリーンディスプレイ（OSD）８２０において生成された表示用データを取得し、それをデコーダ８１５に供給する。
【０３０８】
以上の処理において、カメラ信号処理部８１３は、バス８１７を介して接続されるDRAM（Dynamic Random Access Memory）８１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM８１８に保持させる。
【０３０９】
デコーダ８１５は、画像信号処理部８１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD８１６に供給する。また、デコーダ８１５は、画像信号処理部８１４から供給された表示用データをLCD８１６に供給する。LCD８１６は、デコーダ８１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。
【０３１０】
オンスクリーンディスプレイ８２０は、コントローラ８２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス８１７を介して画像信号処理部８１４に出力する。
【０３１１】
コントローラ８２１は、ユーザが操作部８２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス８１７を介して、画像信号処理部８１４、DRAM８１８、外部インタフェース８１９、オンスクリーンディスプレイ８２０、およびメディアドライブ８２３等を制御する。FLASH ROM８２４には、コントローラ８２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。
【０３１２】
例えば、コントローラ８２１は、画像信号処理部８１４やデコーダ８１５に代わって、DRAM８１８に記憶されている画像データを符号化したり、DRAM８１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ８２１は、画像信号処理部８１４やデコーダ８１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部８１４やデコーダ８１５が対応していない方式により符号化・復号処理を行うようにしてもよい。
【０３１３】
また、例えば、操作部８２２から画像印刷の開始が指示された場合、コントローラ８２１は、DRAM８１８から画像データを読み出し、それを、バス８１７を介して外部インタフェース８１９に接続されるプリンタ８３４に供給して印刷させる。
【０３１４】
さらに、例えば、操作部８２２から画像記録が指示された場合、コントローラ８２１は、DRAM８１８から符号化データを読み出し、それを、バス８１７を介してメディアドライブ８２３に装着される記録メディア８３３に供給して記憶させる。
【０３１５】
記録メディア８３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア８３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。
【０３１６】
また、メディアドライブ８２３と記録メディア８３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０３１７】
外部インタフェース８１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ８３４と接続される。また、外部インタフェース８１９には、必要に応じてドライブ８３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア８３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM８２４にインストールされる。
【０３１８】
さらに、外部インタフェース８１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ８２１は、例えば、操作部８２２からの指示に従って、DRAM８１８から符号化データを読み出し、それを外部インタフェース８１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ８２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース８１９を介して取得し、それをDRAM８１８に保持させたり、画像信号処理部８１４に供給したりすることができる。
【０３１９】
以上のようなカメラ８００は、デコーダ８１５として復号装置１００用いる。したがって、デコーダ８１５は、復号装置１００の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、高精度の予測画像を生成することができる。
【０３２０】
また、カメラ８００は、エンコーダ８４１として符号化装置１０を用いる。したがって、エンコーダ８４１は、符号化装置１０の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、高精度の予測画像を生成することができる。
【０３２１】
なお、コントローラ８２１が行う復号処理に復号装置１００の復号方法を適用するようにしてもよい。同様に、コントローラ８２１が行う符号化処理に符号化装置１０の符号化方法を適用するようにしてもよい。
【０３２２】
また、カメラ８００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。
【０３２３】
もちろん、符号化装置１０および復号装置１００は、上述した装置以外の装置やシステムにも適用可能である。
【０３２４】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３２５】
なお、本技術は、以下のような構成もとることができる。
【０３２６】
（１）
インター予測における参照画像に対して、第１のフィルタ特性でフィルタリングを行うことにより、前記インター予測における予測画像を構成する画素のうちの外側に位置する画素である外側予測画素を生成する外側フィルタ処理部と、
前記参照画像に対して、前記第１のフィルタ特性とは異なる第２のフィルタ特性でフィルタリングを行うことにより、前記予測画像を構成する画素のうちの内側に位置する画素である内側予測画素を生成する内側フィルタ処理部と
を備える画像処理装置。
（２）
前記外側フィルタ処理部は、前記外側予測画素の低周波数成分を補間し、高周波成分を低減する外側用フィルタ係数を用いてフィルタリングを行い、
前記内側フィルタ処理部は、前記内側予測画素の低周波成分と高周波成分を補間する内側用フィルタ係数を用いてフィルタリングを行う
前記（１）に記載の画像処理装置。
（３）
前記外側フィルタ処理部は、前記参照画像を構成する画素のうちの、前記外側予測画素の周辺の第１の数の画素を用いた前記フィルタリングを行い、
前記内側フィルタ処理部は、前記参照画像を構成する画素のうちの、前記内側予測画素の周辺の前記第１の数より多い第２の数の画素を用いた前記フィルタリングを行う
前記（１）に記載の画像処理装置。
（４）
前記予測画像と符号化対象の画像の差分を演算する差分演算部
をさらに備える
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記予測画像と復号対象の画像を加算する加算演算部
をさらに備える
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（６）
画像処理装置が、
インター予測における参照画像に対して、第１のフィルタ特性でフィルタリングを行うことにより、前記インター予測における予測画像を構成する画素のうちの外側に位置する画素である外側予測画素を生成する外側フィルタ処理ステップと、
前記参照画像に対して、前記第１のフィルタ特性とは異なる第２のフィルタ特性でフィルタリングを行うことにより、前記予測画像を構成する画素のうちの内側に位置する画素である内側予測画素を生成する内側フィルタ処理ステップと
を含む画像処理方法。
【符号の説明】
【０３２７】
１３  演算部，  ２４  インター予測部，  ４３  外側用FIRフィルタ，  ４４  内側用FIRフィルタ，  １０５  加算部，  １１１  インター予測部，  １３２  6タップFIRフィルタ，  １３３  8タップFIRフィルタ
【図１】
2013098929.tif 000003
【図２】
2013098929.tif 000004
【図３】
2013098929.tif 000005
【図４】
2013098929.tif 000006
【図５】
2013098929.tif 000007
【図６】
2013098929.tif 000008
【図７】
2013098929.tif 000009
【図８】
2013098929.tif 000010
【図９】
2013098929.tif 000011
【図１０】
2013098929.tif 000012
【図１１】
2013098929.tif 000013
【図１２】
2013098929.tif 000014
【図１３】
2013098929.tif 000015
【図１４】
2013098929.tif 000016
【図１５】
2013098929.tif 000017
【図１６】
2013098929.tif 000018
【図１７】
2013098929.tif 000019
【図１８】
2013098929.tif 000020
【図１９】
2013098929.tif 000021
【図２０】
2013098929.tif 000022
【図２１】
2013098929.tif 000023
【図２２】
2013098929.tif 000024
【図２３】
2013098929.tif 000025
【図２４】
2013098929.tif 000026
【図２５】
2013098929.tif 000027
【図２６】
2013098929.tif 000028
【図２７】
2013098929.tif 000029
【図２８】
2013098929.tif 000030