(57)【要約】【課題】動き予測・補償処理を高い画素精度で行うことができ、しかも小規模化、低価格化および省電力化が図れる画像処理装置を提供する。【解決手段】画像信号Ｓ４０の補間用画素信号を生成する６タップフィルタ回路４２および４タップフィルタ回路４３とを有し、選択回路４４がフィルタ選択信号Ｓ３４に基づいて、動きベクトル生成回路４６における動きベクトル検出のブロックサイズに基づいて６タップフィルタ回路４２および４タップフィルタ回路４３のうち一方のフィルタ回路を選択して使用する。【選択図】　　　図８
2004007337.tif 000002
【特許請求の範囲】
【請求項１】
記憶回路から読み出された第１の画像データの画素データを補間して得られた第２の画像データを用いて所定の画像データの動きベクトルを生成する場合に、前記第２の画像データを構成する前記補間された画素データを生成する画像処理装置であって、
前記第１の画像データの第１の画素数分の画素データを用いて前記第２の画像データを構成する補間用画素データを生成する第１の処理回路と、
前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第２の画像データを構成する補間用画素データを生成する第２の処理回路と、
前記記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて、前記第１の処理回路および前記第２の処理回路の何れを用いて前記補間用画素データを生成するかを選択する選択回路と
を有する画像処理装置。
【請求項２】
それぞれ動きベクトルを生成する単位となる複数の種類のブロックが規定されており、対象となる画像データ内の指定された前記種類のブロックを単位として前記動きベクトルが生成される場合に、
前記選択回路は、前記指定されたブロックの種類に基づいて、前記第１の処理回路および前記第２の処理回路の何れを用いて前記補間用画素データを生成するかを選択する
請求項１に記載の画像処理装置。
【請求項３】
前記第１の処理回路および前記第２の処理回路は、前記ブロックを単位として前記補間用画素データの生成を行い、処理対象となる前記ブロックの内側の補間位置に対応する前記補間用画素データを、当該ブロックの内側および外側の画素位置に対応する画素データを用いて生成する
請求項２に記載の画像処理装置。
【請求項４】
前記第１の画像データを記憶する前記記憶回路
をさらに有する請求項１に記載の画像処理装置。
【請求項５】
整数画素精度の前記第１の画像データと少数画素精度の前記補間用画像データとによって構成される前記第２の画像データと、前記所定の画像データとを用いて、前記動きベクトルを生成する動きベクトル生成回路
をさらに有する請求項１に記載の画像処理装置。
【請求項６】
指定された予測符号化の種類に応じて、前記所定の画像データの前あるいは後の画像データである前記第１の画像データを用いて前記動きベクトルが生成される場合に、
前記選択回路は、前記指定された予測符号化の種類に基づいて、前記第１の処理回路および前記第２の処理回路の何れを用いて前記補間用画素データを生成するかを選択する
請求項５に記載の画像処理装置。
【請求項７】
前記補間用画素データを用いて演算を行って新たな補間用画素データを生成する演算回路
をさらに有する請求項１に記載の画像処理装置。
【請求項８】
前記第１の処理回路は、前記第１の画像データの前記第１の画素数分の画素データを入力し、前記第２の画像データを構成する補間用画素データを出力する、第１のタップ数のフィルタ回路であり、
前記第２の処理回路は、前記第１の画像データの前記第１の画素数分の画素データを入力し、前記第２の画像データを構成する補間用画素データを出力する、第１のタップ数より少ない第２のタップ数のフィルタ回路である
請求項１に記載の画像処理装置。
【請求項９】
前記選択回路は、前記第２の処理回路を選択し、
前記演算回路は、前記新たな補間用画素データの一つとして、画素精度をぼかし表示効果により補うためのぼかし用画素データを、前記第２の処理回路が生成した前記補間用画素データを用いて生成する
請求項７に記載の画像処理装置。
【請求項１０】
前記選択回路は、前記第２の処理回路を選択し、
前記第２の処理回路は、隣接した画素位置の中間の補間位置に対応する前記補間用画素データを生成し、
前記演算回路は、前記新たな補間用画素データに対応する補間位置に対して対角線上の両側の補間位置に対応する前記補間用画素データを用いて演算を行って前記ぼかし用画素データを生成する
請求項９に記載の画像処理装置。
【請求項１１】
それぞれ動きベクトルを生成する単位となる複数の種類のブロックが規定されている場合に、前記所定の画像データ内の指定された前記種類のブロックを単位として前記動きベクトルが生成される場合に、
前記選択回路は、
第１の動作モードにおいて、所定サイズ以上の前記ブロックが前記指定されている場合に前記第１の処理回路を選択し、前記所定サイズより小さい前記ブロックが前記指定されている場合に前記第２の処理回路を選択し、
第２の動作モードにおいて、全ての前記ブロックについて前記第２の処理回路を選択し、
前記第１の動作モードおよび前記第２の動作モードのいずれにおいても、前記ぼかし用画素データの生成に用いる前記補間用画素データが前記第２の処理回路で生成されるように前記選択を行う
請求項９に記載の画像処理装置。
【請求項１２】
前記選択回路は、前記ぼかし用画素データの生成に用いる前記補間用画素データが前記第２の処理回路で生成され、当該補間用画素データ以外の補間用画素データが前記第１の処理回路で生成されるように前記選択を行う
請求項９に記載の画像処理装置。
【請求項１３】
第１の動作モードにおいて、前記演算回路が、前記ぼかし用画素データに対応する補間位置の周囲の位置の前記画素データを用いて演算を行って前記ぼかし用画素データを生成し、
第２の動作モードにおいて、前記演算回路が、前記新たな補間用画素データに対応する補間位置に対して対角線上の両側の位置に対応する前記補間用画素データを用いて演算を行って前記ぼかし用画素データを生成する
請求項９に記載の画像処理装置。
【請求項１４】
第１の画像データを記憶する記憶回路と、
前記記憶回路から読み出された前記第１の画像データの画素データを補間して得られた第２の画像データを用いて所定の画像データの動きベクトルを生成する動きベクトル生成回路と、
前記第１の画像データの画素データを用いて補間処理を行い、前記第２の画像データを構成する前記補間された画素データを生成する画像処理回路と
を有する画像処理装置であって、
前記画像処理回路は、
前記第１の画像データの第１の画素数分の画素データを用いて前記第２の画像データを構成する補間用画素データを生成する第１の処理回路と、
前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第２の画像データを構成する補間用画素データを生成する第２の処理回路と、
前記記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて、前記第１の処理回路および前記第２の処理回路の何れを用いて前記補間用画素データを生成するかを選択する選択回路と
を有する画像処理装置。
【請求項１５】
動きベクトルと記憶回路から読み出された第１の画像データとを基に第２の画像データを生成する画像処理装置であって、
前記第１の画像データの第１の画素数分の画素データを用いて第３の画像データを構成する補間用画素データを生成する第１の処理回路と、
前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第３の画像データを構成する補間用画素データを生成する第２の処理回路と、
前記記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて、前記第１の処理回路および前記第２の処理回路の何れを用いて前記補間用画素データを生成するかを選択する選択回路と、
前記第３の画像データと前記動きベクトルとを基に前記第２の画像データを生成する画像生成回路と
を有する画像処理装置。
【請求項１６】
前記第１の画像データを記憶する記憶回路と、
所定の画像データを復号して前記第１の画像データを生成する復号回路と、
前記第１の画像データと、前記第３の画像データとを用いて演算を行って第４の画像データを生成する演算回路と
をさらに有する請求項１５に記載の画像処理装置。
【請求項１７】
それぞれ前記動きベクトルを生成する単位となる複数の種類のブロックが規定されており、所定の画像データ内の指定された前記種類のブロックを単位として前記動きベクトルが生成される場合に、
前記選択回路は、前記指定されたブロックの種類に基づいて、前記第１の処理回路および前記第２の処理回路の何れを用いて前記補間用画素データを生成するかを選択する
請求項１５に記載の画像処理装置。
【請求項１８】
前記所定の画像データが指定された種類で予測符号化され、前記動きベクトルが前記指定された種類の予測符号化に応じて生成されている場合に、
前記選択回路は、前記指定された予測符号化の種類に基づいて、前記第１の処理回路および前記第２の処理回路の何れを用いて前記補間用画素データを生成するかを選択する
請求項１５に記載の画像処理装置。
【請求項１９】
記憶回路から読み出された第１の画像データの画素データを補間して得られた第２の画像データを用いて所定の画像データの動きベクトルを生成する場合に、前記第２の画像データを構成する前記補間された画素データを生成する画像処理方法であって、
前記第１の画像データの第１の画素数分の画素データを用いて前記第２の画像データを構成する補間用画素データを生成する第１の処理と、前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第２の画像データを構成する補間用画素データを生成する第２の処理とのうち、前記記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて一方の処理を選択し、
当該選択した処理を実行して前記補間用画素データを生成する
画像処理方法。
【請求項２０】
動きベクトルと記憶回路から読み出された第１の画像データとを基に第２の画像データを生成する画像処理方法であって、
前記第１の画像データの第１の画素数分の画素データを用いて第３の画像データを構成する補間用画素データを生成する第１の処理と、前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第３の画像データを構成する補間用画素データを生成する第２の処理とのうち、前記記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて一方の処理を選択し、
当該選択した処理を実行して前記補間用画素データを生成し、
前記第３の画像データと前記動きベクトルとを基に前記第２の画像データを生成する
画像処理方法。
【請求項２１】
第１の記憶回路から読み出された第１の画像データの画素データを補間して得られた第２の画像データを用いて所定の画像データの動きベクトルを生成する場合に、前記第２の画像データを構成する前記補間された画素データを生成する画像処理装置であって、
前記第１の記憶回路と、
前記第１の画像データの第１の画素数分の画素データを用いて前記第２の画像データを構成する第１の補間用画素データを生成する第１の処理回路と、
前記第１の補間用画素データを記憶する第２の記憶回路と、
前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第２の画像データを構成する第２の補間用画素データを生成する第２の処理回路と、
前記第２の補間用画素データを記憶する第３の記憶回路と、
前記第１の記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて、前記第２の記憶回路に記憶された前記第１の補間用画素データと前記第３の記憶回路に記憶された第２の補間用画素データとのうち一方を、前記動きベクトルを生成するために用いる前記第２の画像データを構成する画素データとして選択する選択回路と
を有する画像処理装置。
【請求項２２】
前記第１の記憶回路から読み出された前記画素データと前記選択回路が選択した補間用画素データとによって構成される前記第２の画像データと、前記所定の画像データとを用いて、前記所定の画像データの前記動きベクトルを生成する動きベクトル生成回路
をさらに有する請求項２１に記載の画像処理装置。
【請求項２３】
前記第２の画像データと前記動きベクトルとを用いて予測画像データを生成する予測画像生成回路
をさらに有する請求項２２に記載の画像処理装置。
【請求項２４】
指定された予測符号化の種類に応じて、前記所定の画像データの前あるいは後の画像データを用いて前記動きベクトルが生成される場合に、
前記選択回路は、前記指定された予測符号化の種類に基づいて、前記第２の記憶回路に記憶された前記第１の補間用画素データと前記第３の記憶回路に記憶された第２の補間用画素データとのうち一方を選択する
請求項２１に記載の画像処理装置。
【請求項２５】
それぞれ動きベクトルを生成する単位となる複数の種類のブロックが規定されており、対象となる画像データ内の指定された前記種類のブロックを単位として前記動きベクトルが生成される場合に、
前記選択回路は、前記指定されたブロックの種類に基づいて、前記第２の記憶回路に記憶された前記第１の補間用画素データと前記第３の記憶回路に記憶された第２の補間用画素データとのうち一方を選択する
請求項２１に記載の画像処理装置。
【請求項２６】
第１の記憶回路から読み出された第１の画像データの画素データを補間して得られた第２の画像データを用いて所定の画像データの動きベクトルを生成する場合に、前記第２の画像データを構成する前記補間された画素データを生成する画像処理方法であって、
前記第１の画像データの第１の画素数分の画素データを用いて前記第２の画像データを構成する第１の補間用画素データを生成して第２の記憶回路に記憶し、前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第２の画像データを構成する第２の補間用画素データを生成して第３の記憶回路に記憶し、
前記第１の記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて、前記第２の記憶回路に記憶された前記第１の補間用画素データと前記第３の記憶回路に記憶された第２の補間用画素データとのうち一方を、前記動きベクトルを生成するために用いる前記第２の画像データを構成する画素データとして選択する
画像処理方法。
【請求項２７】
第１の記憶回路から読み出された第１の画像データの画素データを補間して得られた第２の画像データを用いて所定の画像データの動きベクトルおよび予測画像データを生成する画像処理装置であって、
前記第１の記憶回路と、
前記第１の画像データの第１の画素数分の画素データを用いて前記第２の画像データを構成する第１の補間用画素データを生成する第１の処理回路と、
前記第１の補間用画素データを記憶する第２の記憶回路と、
前記所定の画像データ、前記第１の画像データおよび前記第１の補間用画素データを用いて、動きベクトルを生成する動きベクトル生成回路と、
前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第２の画像データを構成する第２の補間用画素データを生成する第２の処理回路と、
前記第１の記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて、前記第１の記憶回路から読み出した前記第１の画像データと、前記第２の記憶回路から読み出した前記第１の補間用画素データと、前記動きベクトルとを用いて予測画像データを生成する第１の処理と、前記第１の記憶回路から読み出した前記第１の画像データと、前記第２の処理回路を用いて生成された前記第２の補間用画素データと、前記動きベクトルとを用いて予測画像データを生成する第２の処理とのうち一方を選択して行う予測画像生成回路と
を有する画像処理装置。
【請求項２８】
指定された予測符号化の種類に応じて、前記所定の画像データの前あるいは後の画像データを用いて前記動きベクトルが生成される場合に、
前記選択回路は、前記指定された予測符号化の種類に基づいて、前記第１の処理および前記第２の処理のうち一方を選択して行う
請求項２７に記載の画像処理装置。
【請求項２９】
それぞれ動きベクトルを生成する単位となる複数の種類のブロックが規定されており、対象となる画像データ内の指定された前記種類のブロックを単位として前記動きベクトルが生成される場合に、
前記予測画像生成回路は、前記指定されたブロックの種類に基づいて、前記第１の処理および前記第２の処理のうち一方を選択して行う
請求項２７に記載の画像処理装置。
【請求項３０】
前記第２の処理回路は、前記ブロックに対応する前記第１の画像データの画素データを用いて前記第２の補間用画素データを生成する
請求項２９に記載の画像処理装置。
【請求項３１】
第１の記憶回路から読み出された第１の画像データの画素データを補間して得られた第２の画像データを用いて所定の画像データの動きベクトルおよび予測画像データを生成する画像処理方法であって、
前記第１の画像データの第１の画素数分の画素データを用いて前記第２の画像データを構成する第１の補間用画素データを生成して第２の記憶回路に記憶し、
前記所定の画像データ、前記第１の画像データおよび前記第１の補間用画素データを用いて、動きベクトルを生成し、
前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第２の画像データを構成する第２の補間用画素データを生成し、
前記第１の記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて、前記第１の記憶回路から読み出した前記第１の画像データと、前記第２の記憶回路から読み出した前記第１の補間用画素データと、前記動きベクトルとを用いて予測画像データを生成する第１の処理と、前記第１の記憶回路から読み出した前記第１の画像データと、前記第２の処理回路を用いて生成された前記第２の補間用画素データと、前記動きベクトルとを用いて予測画像データを生成する第２の処理とのうち一方を選択して行う
画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像符号化または復号を行う画像処理装置およびその方法に関する。
【０００２】
【従来の技術】
近年、画像データをデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＥＰＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。
ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ１４４９６−２としてその規格が国際標準に承認された。
【０００５】
さらに、近年、当初テレビ会議用の画像符号化を目的として、Ｈ．　２６Ｌ　（ＩＴＵ−Ｔ　Ｑ６／１６　ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌ規格ではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がＪｏｉｎｔ　Ｍｏｄｅｌ　ｏｆ　Ｅｎｈａｎｃｅｄ−Ｃｏｍｐｒｅｓｓｉｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇとして行われている。
【０００６】
このようなＨ．２６Ｌ規格の符号化および復号では、符号化効率を上げるために、１／４および１／８画素精度など高い画素精度で動き予測・補償処理が行われる。
この場合に、動き予測・補償処理において、フレームメモリから整数精度の複数の画素信号（画素データ）を読み出し、当該画素信号を補間して１／４および１／８画素精度の補間用画素信号を生成し、上記画素信号および上記補間用画素信号によって構成される１／４および１８画素精度の画像データを用いて動きベクトルの生成を行う。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述したように、フレームメモリから読み出した画素信号を用いて高い画素精度の補間用画素信号を生成する場合に、動きベクトルの生成処理内容によっては、フレームメモリからの画素信号の読み出し頻度が非常に高くなり、バンド幅の広い大規模かつ高価なフレームメモリや高性能な演算回路を備える必要があると共に、消費電力が大きくなるという問題がある。
【０００８】
本発明はかかる事情に鑑みてなされたものであり、その目的は、符号化効率を大幅に落とすことなく、小規模化、低価格化および省電力化が図れる画像処理装置およびその方法を提供することにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明の画像処理装置は、記憶回路から読み出された第１の画像データの画素データを補間して得られた第２の画像データを用いて所定の画像データの動きベクトルを生成する場合に、前記第２の画像データを構成する前記補間された画素データを生成する画像処理装置であって、前記第１の画像データの第１の画素数分の画素データを用いて前記第２の画像データを構成する補間用画素データを生成する第１の処理回路と、前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第２の画像データを構成する補間用画素データを生成する第２の処理回路と、
前記記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて、前記第１の処理回路および前記第２の処理回路の何れを用いて前記補間用画素データを生成するかを選択する選択回路とを有する。
【００１０】
第１の発明の画像処理装置の作用は以下のようになる。
選択回路によって、記憶回路からの第１の画像データの読み出しに影響を与える動きベクトルの生成処理の内容に基づいて、第１の処理回路および第２の処理回路の何れを用いて補間用画素データを生成するかが選択される。
そして、前記選択回路によって前記第１の処理回路が選択された場合には、前記第１の処理回路によって、前記記憶回路から読み出された前記第１の画像データの第１の画素数分の画素データを用いて前記第２の画像データを構成する補間用画素データが生成される。
また、前記選択回路によって前記第２の処理回路が選択された場合には、前記第２の処理回路によって、前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第２の画像データを構成する補間用画素データが生成される。
【００１１】
また、第１の発明の画像処理装置は、好ましくは、前記選択回路は、前記第２の処理回路を選択し、前記第２の処理回路は、隣接した画素位置の中間の補間位置に対応する前記補間用画素データを生成し、前記演算回路は、前記新たな補間用画素データに対応する画素位置に対して対角線上の両側の補間位置に対応する前記補間用画素データを用いて演算を行って前記ぼかし用画素データを生成する。
また、第１の発明の画像処理装置は、好ましくは、それぞれ動きベクトルを生成する単位となる複数の種類のブロックが規定されている場合に、前記所定の画像データ内の指定された前記種類のブロックを単位として前記動きベクトルが生成される場合に、前記選択回路は、第１の動作モードにおいて、所定サイズ以上の前記ブロックが前記指定されている場合に前記第１の処理回路を選択し、前記所定サイズより小さい前記ブロックが前記指定されている場合に前記第２の処理回路を選択し、第２の動作モードにおいて、全ての前記ブロックについて前記第２の処理回路を選択し、前記第１の動作モードおよび前記第２の動作モードのいずれにおいても、前記ぼかし用画素データの生成に用いる前記補間用画素データが前記第２の処理回路で生成されるように前記選択を行う。
【００１２】
また、第１の発明の画像処理装置は、好ましくは、第１の動作モードにおいて、前記演算回路が、前記ぼかし用画素データに対応する補間位置の周囲の位置の前記画素データを用いて演算を行って前記ぼかし用画素データを生成し、第２の動作モードにおいて、前記演算回路が、前記新たな補間用画素データに対応する補間位置に対して対角線上の両側の位置に対応する前記補間用画素データを用いて演算を行って前記ぼかし用画素データを生成する。
【００１３】
第２の発明の画像処理装置は、第１の画像データを記憶する記憶回路と、前記記憶回路から読み出された前記第１の画像データの画素データを補間して得られた第２の画像データを用いて所定の画像データの動きベクトルを生成する動きベクトル生成回路と、前記第１の画像データの画素データを用いて補間処理を行い、前記第２の画像データを構成する前記補間された画素データを生成する画像処理回路とを有する画像処理装置であって、前記画像処理回路は、前記第１の画像データの第１の画素数分の画素データを用いて前記第２の画像データを構成する補間用画素データを生成する第１の処理回路と、前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第２の画像データを構成する補間用画素データを生成する第２の処理回路と、前記記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて、前記第１の処理回路および前記第２の処理回路の何れを用いて前記補間用画素データを生成するかを選択する選択回路とを有する。
【００１４】
第３の発明の画像処理装置は、動きベクトルと記憶回路から読み出された第１の画像データとを基に第２の画像データを生成する画像処理装置であって、前記第１の画像データの第１の画素数分の画素データを用いて第３の画像データを構成する補間用画素データを生成する第１の処理回路と、前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第３の画像データを構成する補間用画素データを生成する第２の処理回路と、前記記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて、前記第１の処理回路および前記第２の処理回路の何れを用いて前記補間用画素データを生成するかを選択する選択回路と、前記第３の画像データと前記動きベクトルとを基に前記第２の画像データを生成する画像生成回路とを有する。
【００１５】
第３の発明の画像処理装置の作用は以下のようになる。
選択回路が、記憶回路からの第１の画像データの読み出しに影響を与える動きベクトルの生成処理の内容に基づいて、前記第１の処理回路および前記第２の処理回路の何れを用いて前記補間用画素データを生成するかを選択する。
そして、前記選択回路によって前記第１の処理回路が選択された場合には、前記第１の処理回路が、前記記憶回路から読み出された第１の画像データの第１の画素数分の画素データを用いて第３の画像データを構成する補間用画素データを生成する。
また、前記選択回路によって前記第２の処理回路が選択された場合には、前記第２の処理回路が、前記記憶回路から読み出された前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第３の画像データを構成する補間用画素データを生成する。
そして、前記画像生成回路が、前記第３の画像データと前記動きベクトルとを基に前記第２の画像データを生成する。
【００１６】
また、第３の発明の画像処理装置は、好ましくは、前記第１の画像データを記憶する記憶回路と、所定の画像データを復号して前記第１の画像データを生成する復号回路と、前記第１の画像データと、前記第３の画像データとを用いて演算を行って第４の画像データを生成する演算回路とをさらに有する。
【００１７】
第４の発明の画像処理方法は、記憶回路から読み出された第１の画像データの画素データを補間して得られた第２の画像データを用いて所定の画像データの動きベクトルを生成する場合に、前記第２の画像データを構成する前記補間された画素データを生成する画像処理方法であって、前記第１の画像データの第１の画素数分の画素データを用いて前記第２の画像データを構成する補間用画素データを生成する第１の処理と、前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第２の画像データを構成する補間用画素データを生成する第２の処理とのうち、前記記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて一方の処理を選択し、当該選択した処理を実行して前記補間用画素データを生成する。
【００１８】
第５の発明の画像処理方法は、動きベクトルと記憶回路から読み出された第１の画像データとを基に第２の画像データを生成する画像処理方法であって、前記第１の画像データの第１の画素数分の画素データを用いて第３の画像データを構成する補間用画素データを生成する第１の処理と、前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第３の画像データを構成する補間用画素データを生成する第２の処理とのうち、前記記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて一方の処理を選択し、当該選択した処理を実行して前記補間用画素データを生成し、前記第３の画像データと前記動きベクトルとを基に前記第２の画像データを生成する。
【００１９】
第６の発明の画像処理装置は、第１の記憶回路から読み出された第１の画像データの画素データを補間して得られた第２の画像データを用いて所定の画像データの動きベクトルを生成する場合に、前記第２の画像データを構成する前記補間された画素データを生成する画像処理装置であって、前記第１の記憶回路と、前記第１の画像データの第１の画素数分の画素データを用いて前記第２の画像データを構成する第１の補間用画素データを生成する第１の処理回路と、前記第１の補間用画素データを記憶する第２の記憶回路と、前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第２の画像データを構成する第２の補間用画素データを生成する第２の処理回路と、前記第２の補間用画素データを記憶する第３の記憶回路と、前記第１の記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて、前記第２の記憶回路に記憶された前記第１の補間用画素データと前記第３の記憶回路に記憶された第２の補間用画素データとのうち一方を、前記動きベクトルを生成するために用いる前記第２の画像データを構成する画素データとして選択する選択回路とを有する。
【００２０】
第７の発明の画像処理方法は、第１の記憶回路から読み出された第１の画像データの画素データを補間して得られた第２の画像データを用いて所定の画像データの動きベクトルを生成する場合に、前記第２の画像データを構成する前記補間された画素データを生成する画像処理方法であって、前記第１の画像データの第１の画素数分の画素データを用いて前記第２の画像データを構成する第１の補間用画素データを生成して第２の記憶回路に記憶し、前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第２の画像データを構成する第２の補間用画素データを生成して第３の記憶回路に記憶し、前記第１の記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて、前記第２の記憶回路に記憶された前記第１の補間用画素データと前記第３の記憶回路に記憶された第２の補間用画素データとのうち一方を、前記動きベクトルを生成するために用いる前記第２の画像データを構成する画素データとして選択する。
【００２１】
第８の発明の画像処理装置は、第１の記憶回路から読み出された第１の画像データの画素データを補間して得られた第２の画像データを用いて所定の画像データの動きベクトルおよび予測画像データを生成する画像処理装置であって、前記第１の記憶回路と、前記第１の画像データの第１の画素数分の画素データを用いて前記第２の画像データを構成する第１の補間用画素データを生成する第１の処理回路と、前記第１の補間用画素データを記憶する第２の記憶回路と、前記所定の画像データ、前記第１の画像データおよび前記第１の補間用画素データを用いて、動きベクトルを生成する動きベクトル生成回路と、前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第２の画像データを構成する第２の補間用画素データを生成する第２の処理回路と、前記第１の記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて、前記第１の記憶回路から読み出した前記第１の画像データと、前記第２の記憶回路から読み出した前記第１の補間用画素データと、前記動きベクトルとを用いて予測画像データを生成する第１の処理と、前記第１の記憶回路から読み出した前記第１の画像データと、前記第２の処理回路を用いて生成された前記第２の補間用画素データと、前記動きベクトルとを用いて予測画像データを生成する第２の処理とのうち一方を選択して行う予測画像生成回路とを有する。
【００２２】
第９の発明の画像処理方法は、第１の記憶回路から読み出された第１の画像データの画素データを補間して得られた第２の画像データを用いて所定の画像データの動きベクトルおよび予測画像データを生成する画像処理方法であって、前記第１の画像データの第１の画素数分の画素データを用いて前記第２の画像データを構成する第１の補間用画素データを生成して第２の記憶回路に記憶し、前記所定の画像データ、前記第１の画像データおよび前記第１の補間用画素データを用いて、動きベクトルを生成し、前記第１の画像データの前記第１の画素数より少ない第２の画素数分の画素データを用いて前記第２の画像データを構成する第２の補間用画素データを生成し、前記第１の記憶回路からの前記第１の画像データの読み出しに影響を与える前記動きベクトルの生成処理の内容に基づいて、前記第１の記憶回路から読み出した前記第１の画像データと、前記第２の記憶回路から読み出した前記第１の補間用画素データと、前記動きベクトルとを用いて予測画像データを生成する第１の処理と、前記第１の記憶回路から読み出した前記第１の画像データと、前記第２の処理回路を用いて生成された前記第２の補間用画素データと、前記動きベクトルとを用いて予測画像データを生成する第２の処理とのうち一方を選択して行う。
【００２３】
【発明の実施の形態】
〔本発明の関連技術〕
図１は、本発明の関連技術に係わる符号化装置５０１の機能ブロック図である。
図１に示す符号化装置５０１において、入力となる画像信号は、まず、Ａ／Ｄ変換回路５０１においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）構造に応じ、画面並べ替え回路５０２においてフレームの並べ替えが行われる。
そして、イントラ符号化が行われる画像に関しては、フレーム全体の画像情報が直交変換回路５０４に入力され、直交変換回路５０４において離散コサイン変換やカルーネン・レーベ変換等の直交変換が施される。
直交変換回路５０４の出力となる変換係数は、量子化回路５０５において量子化処理される。
量子化回路５０５の出力となる、量子化された変換係数は、可逆変換回路５０６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、バッファ５０７に蓄積され、圧縮された画像データとして出力される。
量子化回路５０５における量子化レートは、レート制御回路５１２によって制御される。同時に、量子化回路５の出力となる、量子化された変換係数は、逆量子化回路５０８に入力され、さらに逆直交変換回路５０９において逆直交変換処理が施されて、復号された画像信号となり、その画像信号はフレームメモリ５１０に蓄積される。
【００２４】
一方、インター符号化が行われる画像に関しては、先ず、その画像信号は動き予測・補償回路５１１に入力される。同時に参照となる画像信号がフレームメモリ５１０より読み出され、動き予測・補償回路５１１によって動き予測・補償処理が施され、予測画像信号が生成される。予測画像信号は演算回路５０３に出力され、演算回路５０３において、画面並べ替え回路５０２からの画像信号と、動き予測・補償回路５１１からの予測画像信号との差分信号である画像信号が生成され、当該画像信号が直交変換回路５０４に出力される。
また、動き補償・予測回路５１１は、動きベクトルＭＶを可逆符号化回路５０６に出力し、可逆符号化回路５０６において、動きベクトルＭＶが可変長符号化あるいは算術符号化といった可逆符号化処理され、画像信号のヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像信号と同様である。
【００２５】
図２は、図１に示す符号化装置５０１に対応する復号回路５０２の機能ブロック図である。
図２に示す復号回路５０２では、入力となる画像データがバッファ６１３に格納された後、可逆復号回路６１４に出力される。そして、可逆復号回路６１４において、定められた画像圧縮情報のフォーマットに基づき、可変長復号化、算術復号化等の処理が行われる。同時に、当該フレームがインター符号化されたものである場合には、可逆復号回路６１４において、画像信号のヘッダ部に格納された動きベクトルＭＶも復号され、その動きベクトルＭＶが動き予測・補償装置６２０に出力される。
【００２６】
可逆復号回路６１４の出力となる、量子化された変換係数は、逆量子化回路６１５に入力され、ここで変換係数が生成される。当該変換係数には、逆直交変換回路６１６において、定められた画像圧縮情報のフォーマットに基づき、逆離散コサイン変換や逆カルーネン・レーベ変換等の逆直交変換が施される。当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は画面並べ替え回路６１８に格納され、Ｄ／Ａ変換回路６１９によるＤ／Ａ変換処理を経て出力される。
【００２７】
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償回路６２０において生成された動きベクトルＭＶ、及びフレームメモリ６２１に格納された参照用の画像信号を基に予測画像信号が生成され、この予測画像信号と、逆直交変換回路６１６から出力された画像信号とが加算器６１７において加算される。その他の処理はイントラ符号化されたフレームと同様である。
【００２８】
Ｈ．２６Ｌ規格においては、１／４画素精度および１／８画素精度といった高精度の動き予測・補償処理が規定されている。
以下では、まず、１／４画素精度の動き予測・補償処理について述べる。
図３において、Ａで示された画素位置（位相）に、整数精度の画像信号（画素値）が存在するものとする。
先ず、補間位置ｂに対応する１／２画素精度の補間用画素信号が、６ｔａｐのＦＩＲフィルタ｛１，−５，２０，２０、−５，１｝により生成され、その結果が〔０，２５５〕の範囲でクリッピング処理される。
次に、当該補間位置ｂの補間用画素信号が上記ＦＩＲフィルタに入力され、補間位置ｃに対応する１／２画素精度の補間用画素信号が生成され、その結果が〔０，２５５〕の範囲でクリッピング処理される。
次に、補間位置ｄ，ｇ，ｅ，ｆに対応する補間用画素信号が、線形内挿により演算によって生成される。
次に、補間位置ｈに対応する補間用画素信号が、補間位置ｈの対角線上に位置する２つの補間位置ｂの補間用画素信号の平均を算出して生成される。
次に、補間位置ｉの補間用画素信号が、周囲の４つの画素位置Ａの画素信号を用いて演算により生成される。
【００２９】
ところで、６ｔａｐのＦＩＲフィルタを用いた動き予測・補償処理を行う場合、図４に示すように、当該動き予測・補償の処理単位となるＭＣ（Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ）　ブロックに対して上・左２画素、下、左３画素、すなわちそれぞれの行及び列に対して５画素分の画素信号を余計にフレームメモリから取り出す必要がある。
このオーバーヘッドは、最も大きな１６画素×１６ラインのＭＣブロックでは１．７２２６５６２５（＝（２１×２１）／（１６×１６）となり、最も小さなＭＣブロックでは５．０６２５（＝（９×９）／（４×４））となる。
すなわち、小さなＭＣブロック程、大きなオーバーヘッドが生じ、メモリバンド幅を広げる要因となる。
【００３０】
以下、上述した関連技術の問題を解決する本発明の実施の形態について説明する。
第１実施形態
以下、本発明の実施形態について説明する。
図５は、本実施形態の通信システム１の概念図である。
図５に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮した画像信号（ビットストリーム）を生成し、当該画像信号を変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張した画像信号を生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
なお、本実施形態では、符号化装置２および復号装置３において１／４画素精度で動き予測・補償を行う場合を説明する。
【００３１】
ここで、符号化装置２が第１および第２の発明の画像処理装置に対応している。
図６は、図５に示す符号化装置２の全体構成図である。
図６に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、フレームメモリ３１、レート制御回路３２、動き予測・補償ブロックサイズ判別回路３３、補間フィルタ選択回路３４および動き予測・補償回路３５を有する。
ここで、フレームメモリ３１が本発明の記憶回路に対応している。
【００３２】
符号化装置２は、補間フィルタ選択回路３４が動き予測・補償ブロックサイズ判別回路３３からの判別信号に基づいてフィルタ選択信号を生成し、動き予測・補償回路３５が当該フィルタ選択信号に基づいて動き予測・補償処理に使用するフィルタ回路を選択することに特徴を有している。
【００３３】
以下、符号化装置２の構成要素について説明する。
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される画像信号をデジタルの画像信号に変換し、これを画面並べ替え回路２３に出力する。
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２から入力した画像信号内のフレーム画像信号を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅｓ）　構造に応じて、符号化する順番に並べ替えた画像信号２３を演算回路２４および動き予測・補償回路３５に出力する。
【００３４】
演算回路２４は、画像信号Ｓ２３内のフレーム画像信号がインター（Ｉｎｔｅｒ）　符号化される場合には、当該フレーム画像信号と、動き予測・補償回路３５から入力した予測画像信号Ｓ３５ａとの差分を示す信号Ｓ２４を生成し、これを直交変換回路２５に出力する。
また、演算回路２４は、画像信号Ｓ２３内のフレーム画像信号がイントラ（Ｉｎｔｒａ）　符号化される場合には、当該フレーム画像信号を信号Ｓ２４として直交変換回路２５に出力する。
直交変換回路２５は、信号Ｓ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像信号（例えばＤＣＴ係数信号）Ｓ２５を生成し、これを量子化回路２６に出力する。
量子化回路２６は、レート制御回路３２から入力した量子化スケールで、画像信号Ｓ２５を量子化してデータＳ２６を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。
【００３５】
可逆符号化回路２７は、データＳ２６を可変長符号化あるいは算術符号化したデータをバッファ２８に格納する。
このとき、可逆符号化回路２７は、動き予測・補償回路３５から入力した動きベクトルＭＶあるいはその差分を符号化してスライスヘッダなどのヘッダデータに格納する。
また、可逆符号化回路２７は、後述する動き予測・補償回路３５の処理によって得られたフィルタ選択情報をヘッダデータなどに格納してもよい。
バッファ２８に格納された信号は、変調等された後に送信される。
逆量子化回路２９は、データＳ２６を逆量子化した信号を生成し、これを逆直交変換回路３０に出力する。
逆直交変換回路３０は、逆量子化回路２９から入力した信号に、上記直交変換を逆変換を施して生成したフレーム画像信号（参照用の画像信号、本発明の第１の画像データ）をフレームメモリ３１に格納する。
レート制御回路３２は、バッファ２３から読み出したデータを基に量子化スケールを生成し、これを量子化回路２６に出力する。
【００３６】
動き予測・補償ブロックサイズ判別回路３３は、動き予測・補償回路３５からの信号に基づいて、動き予測・補償回路３５で動き予測・補償処理を行う単位であるＭＣブロックのモード（種類）を判別し、その判別結果を補間フィルタ選択回路３４に出力する。
【００３７】
補間フィルタ選択回路３４は、動き予測・補償ブロックサイズ判別回路３３からの判別結果に基づいて、動き予測・補償回路３５で画素データの補間に用いるフィルタ回路を選択し、その選択結果を示すフィルタ選択信号Ｓ３４を動き予測・補償回路３５に出力する。
【００３８】
動き予測・補償回路３５は、画像信号Ｓ２３と、当該画像信号のピクチャタイプに対応する参照用の画像信号Ｓ３１とを入力し、画像信号Ｓ３１を１／４画素補間して生成した画像信号を用いて、指定された種類（モード）の後述するＭＣ（Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ）　ブロックを単位として、画像信号Ｓ２３に対応したフレーム画像の動きベクトルＭＶを１／４画素精度で生成する。
そして、動き予測・補償回路３５は、上記動きベクトルＭＶと、参照用の画像信号Ｓ３１から、動き予測された１／４画素精度の予測画像信号Ｓ３５ａを生成し、これを演算回路２４に出力する。
【００３９】
図７は、当該ＭＣブロックの種類を説明するための図である。
図７に示すように、ＭＣブロックは、１６画素×１６ラインの各マクロブロックについて規定されている。
ＭＣブロックの種類（モード）には、当該マクロブロック自体をＭＣブロックとする１６×１６モードと、それぞれ１６画素×８ラインの２つのブロックに当該マクロブロックを分割した各ブロックをＭＣブロックとする１６×８モードと、それぞれ８画素×１６ラインの２つのブロックに当該マクロブロックを分割した各ブロックをＭＣブロックとする８×１６モードと、それぞれ８画素×８ラインの４つのブロックに当該マクロブロックを分割した各ブロックをＭＣブロックとする８×８モードとが規定されている。
８×８モードのＭＣブロックの種類（モード）には、当該８×８モードのＭＣブロック自体をＭＣブロックとする８×８モードと、それぞれ８画素×４ラインの２つのブロックに当該ＭＣブロックを分割した各ブロックをＭＣブロックとする８×４モードと、それぞれ４画素×８ラインの２つのブロックに当該ＭＣブロックを分割した各ブロックをＭＣブロックとする４×８モードと、それぞれ４画素×４ラインの４つのブロックに当該ＭＣブロックを分割した各ブロックをＭＣブロックとする４×４モードとが規定されている。
８×８モードを構成する４つのＭＣブロックのそれぞれについては、８×８、８×４、４×８および４×４モードのなかから任意モードを指定できる。
【００４０】
図８は、図６に示す動き予測・補償回路３５の機能ブロック図である。
図８に示すように、動き予測・補償回路３５は、例えば、メモリアクセス回路４０、６タップフィルタ回路４２、４タップフィルタ回路４３、選択回路４４、補間演算回路４５、動きベクトル生成回路４６および予測画像生成回路４７を有する。
ここで、６タップフィルタ回路４２が本発明の第１のフィルタ回路に対応し、４タップフィルタ回路４３が本発明の第２のフィルタ回路に対応し、選択回路４４が本発明の選択回路に対応している。
【００４１】
メモリアクセス回路４０は、所定のタイミングで、フレームメモリ３１から、画像信号Ｓ２３（本発明の第１の画像データ）の参照画像信号となる画像信号Ｓ３１をフレームメモリ３１から読み出して画像信号Ｓ４０として６タップフィルタ回路４２、４タップフィルタ回路４３および動き予測・補償ブロックサイズ判別回路３３および補間演算回路４５に出力する。
【００４２】
６タップフィルタ回路４２は、ＦＩＲ（Ｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ）　フィルタであり、画像信号Ｓ４０内の６画素分の整数精度の画素信号あるいは補間演算回路４５から入力した６補間画素位置（位相）の補間用画素信号（本発明の第１の画素数の画素データ）を用いて、当該６画素の画素位置あるいは６補間画素位置の中間にある補間用の画素位置の画素データである補間画素信号を含む画像信号Ｓ４２を生成し、これを選択回路４４に出力する。
図９は、６タップフィルタ回路４２の構成図である。
図９に示すように、６タップフィルタ回路４２は、例えば、遅延回路５１＿１〜５１＿５、係数乗算回路５２＿１〜５２＿６および加算回路５３を有する。
遅延回路５１＿１〜５１＿５は、直列に接続され、遅延回路５１＿１に入力された画像信号Ｓ４０内の画素信号を、順に遅延回路５１＿５に向けて所定時間（画像信号Ｓ４０内の連続した画素信号の時間間隔）遅延させて伝送する。
係数乗算回路５２＿１は、画像信号４０内の画素信号に係数ｈ０を乗じた画素信号を生成し、これを加算回路５３に出力する。
係数乗算回路５２＿２〜５２＿６は、それぞれ遅延回路５１＿１〜５１＿５が出力した画素信号に、係数ｈ１〜ｈ６を乗じた画素信号を生成し、これを加算回路５３に出力する。
加算回路５３は、係数乗算回路５２＿１〜５２＿６から入力した画素信号を加算して補間用画素信号を生成し、これを画像信号Ｓ４２として選択回路４４に出力する。
【００４３】
本実施形態では、上記係数｛ｈ１，ｈ２，ｈ３，ｈ４，ｈ５，ｈ６｝として、例えば、｛１，−５，２０，２０，−５，１｝を用いる。
【００４４】
４タップフィルタ回路４３は、ＦＩＲフィルタであり、画像信号Ｓ４０内の４画素分の画素信号あるいは補間演算回路４５から入力した４補間画素位置の補間用画素信号（本発明の第２の画素数の画素データ）を用いて、当該４画素の画素位置あるいは４補間画素位置の中間にある補間用の画素位置の画素データである補間画素信号を含む画像信号Ｓ４３を生成し、これを選択回路４４に出力する。
図１０は、４タップフィルタ回路４３の構成図である。
図１０に示すように、４タップフィルタ回路４３は、例えば、遅延回路５１＿１１〜５１＿１３、係数乗算回路５２＿１１〜５２＿１４および加算回路５５を有する。
遅延回路５１＿１１〜５１＿１３は、直列に接続され、遅延回路５１＿１１に入力された画像信号Ｓ４０内の画素信号を、順に遅延回路５１＿１３に向けて所定時間（画像信号Ｓ４０内の連続した画素信号の時間間隔）遅延させて伝送する。
係数乗算回路５２＿１１は、画像信号４０内の画素信号に係数ｈ１１を乗じた画素信号を生成し、これを加算回路５５に出力する。
係数乗算回路５２＿１２〜５２＿１４は、それぞれ遅延回路５１＿１１〜５１＿１３が出力した画素信号に、係数ｈ１２〜ｈ１４を乗じた画素信号を生成し、これを加算回路５５に出力する。
加算回路５５は、係数乗算回路５２＿１１〜５２＿１４から入力した画素信号を加算して補間用画素信号を生成し、これを画像信号Ｓ４３として選択回路４４に出力する。
【００４５】
本実施形態では、上記係数｛ｈ１１，ｈ１２，ｈ１３，ｈ１４｝として、例えば、｛−１，５，５，−１｝を用いる。
【００４６】
選択回路４４は、後述するように、補間フィルタ選択回路３４からのフィルタ選択信号Ｓ３４に基づいて、フレームメモリ３１からの画素信号の読み出しに影響を与える動きベクトルの生成処理内容に応じて、６タップフィルタ回路４２および４タップフィルタ回路４３のうち一方のフィルタ回路を選択する。
選択回路４４は、図６に示す補間フィルタ選択回路３４から入力したフィルタ選択信号Ｓ３４が６タップフィルタ回路４２を選択する旨を示す場合には、画像信号Ｓ４２を選択して画像信号Ｓ４４として補間演算回路４５に出力する。
また、選択回路４４は、フィルタ選択信号Ｓ３４が４タップフィルタ回路４３を選択する旨を示す場合には、画像信号Ｓ４３を選択して画像信号Ｓ４４として補間演算回路４５に出力する。
なお、本実施形態では、選択回路４４によって選択されていないフィルタ回路は、メモリアクセスおよび演算を行わない。
また、フィルタ回路の前段に選択回路を設けてもよい。
【００４７】
本実施形態では、選択回路４４は、フィルタ選択信号Ｓ３４に基づいて、ＭＣブロックのモードが１６×１６、１６×８および８×１６の場合には画像信号Ｓ４２を選択する。これにより、６タップフィルタ回路４２において図１１に示す画素Ａ２，Ａ４を含むライン方向と直交する方向の６画素分の画素信号を用いて生成された画素Ａ２とＡ４の中間位置に対応する補間位置ｂ１の補間用画素信号と、図１１に示す画素Ａ３，Ａ４を含むライン方向と直交する方向の６画素分の画素信号を用いて生成された画素Ａ３とＡ４の中間位置に対応する補間位置ｂ２の補間用画素信号とを含む画像信号Ｓ４４が補間演算回路４５に出力される。
選択回路４４は、フィルタ選択信号Ｓ３４に基づいて、ＭＣブロックのモードが８×８の場合には画像信号Ｓ４３を選択する。これにより、６タップフィルタ回路４２において図１２に示す画素Ａ２，Ａ４を含むライン方向と直交する方向の４画素分の画素信号を用いて生成された画素Ａ２とＡ４の中間位置に対応する補間位置ｂ１の補間用画素信号と、図１２に示す画素Ａ３，Ａ４を含むライン方向と直交する方向の４画素分の画素信号を用いて生成された画素Ａ３とＡ４の中間位置に対応する補間位置ｂ２の補間用画素信号とを含む画像信号Ｓ４４が補間演算回路４５に出力される。
【００４８】
補間演算回路４５は、メモリアクセス回路４０から入力した画像信号Ｓ４０内の画素信号と、選択回路４４から入力した画像信号Ｓ４４内の補間用画素信号とを用いて、図１１および図１２に示す補間位置ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉの補間用画素信号を生成し、当該補間用画素信号と、画像信号Ｓ４０内の画素信号とを用いて構成される１／４画素精度、すなわち画像信号Ｓ４０の４倍の画素数分の画素データを持つ画像信号Ｓ４５（本発明の第２の画像データ）を生成し、これを動きベクトル生成回路４６および予測画像生成回路４７に出力する。
具体的には、補間演算回路４５は、図１１および図１２に示す補間位置ｃの補間用画素信号を生成する場合に、画像信号Ｓ４４内の補間位置ｂの１／２画素精度の補間用画素信号を〔０，２５５〕の範囲でクリッピングした後に、６タップフィルタ回路４２および４タップフィルタ回路４３に出力し、それに応じて選択回路４４から入力した補間用画素信号を同様に〔０，２５５〕の範囲でクリッピングして補間位置ｃの補間用画素信号Ｓ（ｃ）として用いる。
【００４９】
また、補間演算回路４５は、下記式（１），（２），（３），（４），（５）に基づいて、補間位置ｄ，ｇ，ｅ，ｆ，ｉの補間用画素信号Ｓ（ｄ），Ｓ（ｇ），Ｓ（ｅ），Ｓ（ｆ），Ｓ（ｉ）を、各補間位置の近傍の位置の画素Ａの整数精度の画素信号Ｓ（Ａ）、並びに補間位置ｂの補間画素信号Ｓ（ｂ）を用いて生成する。
【００５０】
【数１】
Ｓ（ｄ）＝（Ｓ（Ａ）＋Ｓ（ｂ））／２　　　　　　　…（１）
【００５１】
【数２】
Ｓ（ｇ）＝（Ｓ（ｂ）＋Ｓ（ｃ））／２　　　　　　　…（２）
【００５２】
【数３】
Ｓ（ｅ）＝（Ｓ（Ａ）＋Ｓ（ｂ））／２　　　　　　　…（３）
【００５３】
【数４】
Ｓ（ｆ）＝（Ｓ（ｂ）＋Ｓ（ｃ））／２　　　　　　　…（４）
【００５４】
【数５】
Ｓ（ｉ）＝（Ｓ（Ａ１）＋Ｓ（Ａ２）＋Ｓ（Ａ３）＋Ｓ（Ａ４））／４…（５）
なお、Ｓ（ｉ）は、後述する実施形態のように、その他の手法で用いてもよい。
【００５５】
動きベクトル生成回路４６は、動きベクトルの検出対象の画像の画像信号Ｓ２３（本発明の所定の画像データ）と、参照画像の画像信号Ｓ３１について生成された１／４画素精度の画像信号Ｓ４５（本発明の第２の画像データ）とを用いて、指定されたモードのＭＣブロックを単位として動きベクトルＭＶを生成し、動きベクトルＭＶを予測画像生成回路４７および可逆符号化回路２７に出力する。
【００５６】
予測画像生成回路４７は、動きベクトルＭＶと参照画像に対応する画像信号Ｓ４５とを用いて１／４画素精度で予測画像信号Ｓ３５ａを生成し、これを演算回路２４に出力する。
【００５７】
以下、図８に示す動き予測・補償回路３５の動作例を説明する。
メモリアクセス回路４０によって、所定のタイミングで、フレームメモリ３１から、画像信号Ｓ２３の参照画像信号となる画像信号Ｓ３１が画像信号Ｓ４０として読み出され、６タップフィルタ回路４２、４タップフィルタ回路４３および動き予測・補償ブロックサイズ判別回路３３および補間演算回路４５に出力される。
【００５８】
そして、６タップフィルタ回路４２および４タップフィルタ回路４３によって、補間画素信号を含む画像信号Ｓ４２およびＳ４３が生成され、これらが選択回路４４に出力される。
【００５９】
そして、選択回路４４において、フィルタ選択信号Ｓ３４に基づいて、ＭＣブロックのモードが１６×１６、１６×８および８×１６の場合には画像信号Ｓ４２が選択されて画像信号Ｓ４４として補間演算回路４５に出力され、ＭＣブロックのモードが８×８の場合には画像信号Ｓ４３が選択されて画像信号Ｓ４４として補間演算回路４５に出力される。
【００６０】
そして、補間演算回路４５において、メモリアクセス回路４０から入力した画像信号Ｓ４０内の画素信号と、選択回路４４から入力した画像信号Ｓ４４内の補間用画素信号とを図１１および図１２に示す補間位置の１／４画素精度の補間用画素信号が生成され、１／４画素精度の画像信号Ｓ４５が動きベクトル生成回路４６に出力される。
【００６１】
そして、動きベクトル生成回路４６において、動きベクトルの検出対象の画像の画像信号Ｓ２３と、参照画像の画像信号Ｓ３１について生成された１／４画素精度の画像信号Ｓ４５とを用いて、指定されたモードのＭＣブロックを単位として動きベクトルＭＶが生成され、動きベクトルＭＶが予測画像生成回路４７および可逆符号化回路２７に出力される。
【００６２】
そして、予測画像生成回路４７において、動きベクトルＭＶと参照画像に対応する画像信号Ｓ４５とを用いて１／４画素精度で予測画像信号Ｓ３５ａが生成され、これが演算回路２４に出力される。
【００６３】
図６に示す動き予測・補償ブロックサイズ判別回路３３は、図８に示す動き予測・補償回路３５のメモリアクセス回路４０から入力した画像信号Ｓ４０を基に、動きベクトル生成回路４６における動きベクトル生成の対象となる画像信号のＭＣブロックのモードが図７に示すモードの何れであるかを判別し、その判別結果を示すＭＣモード判別信号Ｓ３３を補間フィルタ選択回路３４に出力する。
【００６４】
補間フィルタ選択回路３４は、ＭＣモード選択信号Ｓ３３が１６×１６、１６×８あるいは８×１６モードを示す場合には、６タップフィルタ回路４２を選択することを示すフィルタ選択信号Ｓ３４を動き予測・補償回路３５に出力する。
補間フィルタ選択回路３４は、ＭＣモード選択信号Ｓ３３が８×８モードを示す場合には、４タップフィルタ回路４３を選択することを示すフィルタ選択信号Ｓ３４を動き予測・補償回路３５に出力する。
【００６５】
次に、図６に示す符号化装置２の全体動作を説明する。
入力となる画像信号は、まず、Ａ／Ｄ変換回路２２においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ構造に応じ、画面並べ替え回路２３においてフレームの並べ替えが行われる。
そして、イントラ符号化が行われる画像に関しては、フレーム全体の画像情報が直交変換回路２５に入力され、直交変換回路２５において離散コサイン変換やカルーネン・レーベ変換等の直交変換が施される。
直交変換回路２５の出力となる変換係数は、量子化回路２５において量子化処理される。
量子化回路２５の出力となる、量子化された変換係数は、可逆変換回路２７に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、バッファ２８に蓄積され、圧縮された画像データとして出力される。
量子化回路２６における量子化レートは、レート制御回路３２によって制御される。同時に、量子化回路２６の出力となる、量子化された変換係数は、逆量子化回路２９に入力され、さらに直交変換回路３０において逆直交変換処理が施されて、復号された画像信号となり、その画像信号はフレームメモリ３１に蓄積される。
【００６６】
一方、インター符号化が行われる画像に関しては、先ず、その画像信号は動き予測・補償回路３５に入力される。同時に参照となる画像信号Ｓ３１がフレームメモリ３１より読み出され、動き予測・補償回路３５においてフィルタ選択信号Ｓ３４を基に選択されたフィルタ回路を用いて動き予測・補償処理が施され、予測画像信号Ｓ３５ａが生成される。予測画像信号Ｓ３５ａは演算回路２４に出力され、演算回路２４において、画面並べ替え回路２３からの画像信号Ｓ２３と、動き予測・補償回路３５からの予測画像信号Ｓ３５ａとの差分信号である画像信号Ｓ２４が生成され、当該画像信号Ｓ２４が直交変換回路２５に出力される。
また、動き補償・予測回路３５は、フィルタ選択信号Ｓ３４を基に選択されたフィルタ回路を用いて動きベクトルＭＶを生成し、これを可逆符号化回路２７に出力し、可逆符号化回路２７において、動きベクトルＭＶが可変長符号化あるいは算術符号化といった可逆符号化処理され、画像信号のヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像信号と同様である。
【００６７】
以上説明したように、符号化装置２によれば、動き予測・補償回路３５における動き予測・補償処理が、１６×１６、１６×８および８×１６モードのＭＣブロックを単位として場合には６タップフィルタ回路４２を用いて補間用画素信号を生成し、８×８モードのＭＣブロックを単位として処理を行う場合には４タップフィルタ回路４３を用いて補間用画素信号を生成する。
そのため、前述した関連技術のように８×８モードの場合に６タップフィルタ回路で補間用画素信号を生成する場合に比べて、動き予測・補償回路３５の処理の負荷を軽減でき、動き予測・補償回路３５を小規模化できる。
【００６８】
具体的には、フレームメモリ３１へのアクセス負荷（オーバヘッド）が大きい８×８モードにおいて４タップフィルタ回路４３を用いることで、フレームメモリ３１の最大負荷を小さくでき、前述した関連技術に比べてメモリバンド幅の小さい小規模かつ安価なフレームメモリ３１およびメモリ４を用いることが可能になる。また、消費電力も小さくできる。
フレームメモリ３１に記憶された整数精度の画素データＳ（Ａ）へのアクセスパターンは、例えば、図１３に示される。図１３に示されるように、補間位置の補間用画素信号を生成するためにフレームメモリ３１から画素信号Ｓ（Ａ）を読み出す回数が、図３に示す関連技術の場合に比べ少なくなる。
例えば、４画素×４ラインのＭＣブロックを考えると、そのオーバヘッドが前述した関連技術では５．０６２５（＝（９×９）／（４×４））となるのに対して、本実施形態では３．０６２５（＝（７×７）／（４×４））となり、オーバヘッドを小さくできる。
【００６９】
また、動き予測・補償回路３５によれば、フレームメモリ３１へのアクセス負荷が小さい１６×１６、１６×８および８×１６モードのＭＣブロックを単位として処理を行う場合には、６タップフィルタ回路４２を用いるため、高品質な補間用画素信号を生成でき、符号化効率を高めることができる。
【００７０】
以下、図５に示す復号装置３について説明する。
復号装置３が本発明の第３の画像処理装置に対応している。
図１４は、復号装置３の機能ブロック図である。
図１４に示すように、復号装置３は、例えば、蓄積バッファ７１、可逆復号化回路７２、逆量子化回路７３、逆直交変換回路７４、演算回路７５、画面並べ替え回路７６、Ｄ／Ａ変換回路７７、フレームメモリ７８、動き予測・補償ブロックサイズ判別回路７９、補間フィルタ選択回路８０および動き予測・補償回路８１を有する。
ここで、演算回路７５が第３の発明の画像生成回路に対応している。
蓄積バッファ７１は、図５に示す送信側で符号化装置２で符号化され、続いて変調されて送信された画像信号が受信され、当該画像信号が復調されると、当該復調によって得られた画像データを記憶する。
【００７１】
可逆復号化回路７２は、蓄積バッファ７１から入力した画像データに対して、可逆符号化回路２７の符号化処理に対応する復号処理を行い、それによって得られた画像データを逆量子化回路７３に出力し、当該復号処理の過程で得られた動きベクトルＭＶを動き予測・補償回路８１に出力する。
逆量子化回路７３は、可逆復号化回路７２から入力した画像データを逆量子化して画像信号を生成し、これを逆直交変換回路７４に出力する。
逆直交変換回路７４は、逆量子化回路７３から入力した画像信号に、図６に示す直交変換回路２５の直交変換処理に対応する逆直交変換処理を施し、それによって得られた画像信号Ｓ７４を演算回路７５に出力する。
【００７２】
演算回路７５は、逆直交変換回路７４からの画像信号Ｓ７４と、動き予測・補償回路８１からの予測画像信号Ｓ８１とを加算して画像信号Ｓ７５（第３の発明の第２の画像データ）を生成し、これを画面並べ替え回路７６およびフレームメモリ７８に出力する。
画面並べ替え回路７６は、画像信号Ｓ７５のフレーム画像信号を表示順に並べ替えた画像信号を生成し、これをＤ／Ａ変換回路７７に出力する。
Ｄ／Ａ変換回路７７は、画面並べ替え回路７６から入力したデジタルの画像信号をアナログの画像信号に変換して出力する。
【００７３】
フレームメモリ７８は、画像信号Ｓ７５を記憶する。
動き予測・補償ブロックサイズ判別回路７９は、動き予測・補償回路８１からの画像信号Ｓ７８に基づいて、動き予測・補償回路８１で動き予測・補償処理を行う単位であるＭＣブロックの種類（モード）を判別し、その判別結果を補間フィルタ選択回路８０に出力する。
補間フィルタ選択回路８０は、動き予測・補償ブロックサイズ判別回路７９からの判別結果に基づいて、動き予測・補償回路８１で画素データの補間に用いるフィルタ回路を選択し、その選択結果を示すフィルタ選択信号Ｓ８０を動き予測・補償回路８１に出力する。
【００７４】
動き予測・補償回路３５は、フレームメモリ７８から読み出された画像信号Ｓ２３を入力し、画像信号Ｓ２３と、可逆復号化回路７２から入力した動きベクトルＭＶとを用いて、指定された種類（モード）の後述するＭＣブロックを単位として、１／４画素精度の予測画像信号Ｓ８１ａを生成し、これを演算回路７５に出力する。
【００７５】
図１５は、図１４に示す動き予測・補償回路８１の機能ブロック図である。
図１５に示すように、動き予測・補償回路８１は、例えば、６タップフィルタ回路４２、４タップフィルタ回路４３、選択回路４４、補間演算回路４５および予測画像生成回路８５を有する。
図１５において、図８と同じ符号を付した構成要素は、図８を用いて説明したものと同じである。
ここで、６タップフィルタ回路４２が本発明第１の処理回路に対応し、４タップフィルタ回路４３が本発明の第２の処理回路に対応し、選択回路４４が本発明の選択回路に対応している。
【００７６】
６タップフィルタ回路４２は、画像信号Ｓ７８（第３の発明の第１の画像データ）内の６画素分の画素信号を用いて、当該６画素の画素位置から所定の距離を隔てた補間用の画素位置の画素データである補間画素信号を含む画像信号Ｓ４２（第３の発明の第３の画像データ）を生成し、これを選択回路４４に出力する。
４タップフィルタ回路４３は、画像信号Ｓ７８内の４画素分の画素信号を用いて、当該４画素の画素位置から所定の距離を隔てた補間用の画素位置の画素データである補間画素信号を含む画像信号Ｓ４３（第３の発明の第３の画像データ）を生成し、これを選択回路４４に出力する。
【００７７】
選択回路４４は、後述するように、補間フィルタ選択回路８０からのフィルタ選択信号Ｓ８０に基づいて、フレームメモリ７８からの画素信号の読み出しに影響を与える動きベクトルの生成処理内容に応じて、６タップフィルタ回路４２および４タップフィルタ回路４３のうち一方のフィルタ回路を選択する。
選択回路４４は、図１４に示す補間フィルタ選択回路８０から入力したフィルタ選択信号Ｓ８０が６タップフィルタ回路４２を選択する旨を示す場合には、画像信号Ｓ４２を選択して画像信号Ｓ４４として補間演算回路４５に出力する。
また、選択回路４４は、フィルタ選択信号Ｓ８０が４タップフィルタ回路４３を選択する旨を示す場合には、画像信号Ｓ４３を選択して画像信号Ｓ４４として補間演算回路４５に出力する。
【００７８】
補間演算回路４５は、画像信号Ｓ７８を入力して処理する点を除いて、図８を用いて前述した処理と同様の処理を行う。
予測画像生成回路８５は、可逆復号化回路７２から入力した動きベクトルＭＶと、補間演算回路４５から入力された画像信号Ｓ４５とを用いて１／４画素精度の予測画像信号Ｓ８１ａを生成し、これを図１４に示す演算回路７５に出力する。
【００７９】
以下、図１５に示す動き予測・補償回路８１の動作例を説明する。
フレームメモリ７８から読み出された参照用の画素信号Ｓ７８が、６タップフィルタ回路４２および４タップフィルタ回路４３に入力され、６タップフィルタ回路４２および４タップフィルタ回路４３でそれぞれ生成された画像信号Ｓ４２およびＳ４３が、選択回路４４に出力される。
そして、選択回路４４によって、図１４に示す補間フィルタ選択回路８０から入力したフィルタ選択信号Ｓ８０が６タップフィルタ回路４２を選択する旨を示す場合には、画像信号Ｓ４２が選択されて画像信号Ｓ４４として補間演算回路４５に出力される。
また、選択回路４４によって、フィルタ選択信号Ｓ８０が４タップフィルタ回路４３を選択する旨を示す場合には、画像信号Ｓ４３が選択されて画像信号Ｓ４４として補間演算回路４５に出力される。
そして、補間演算回路４５において、１／４画素精度の補間用画素信号が生成され、１／４画素精度の画素信号Ｓ４５が予測画像生成回路８５に出力される。そして、予測画像生成回路８５において、可逆復号化回路７２から入力した動きベクトルＭＶと、補間演算回路４５から入力された画像信号Ｓ４５とを用いて１／４画素精度の予測画像信号８１ａが生成され、これが図１４に示す演算回路７５に出力される。
【００８０】
以下、復号装置３の全体動作例を説明する。
復号装置６１３では、入力となる画像データがバッファ７１に格納された後、可逆復号回路７２に出力される。そして、可逆復号回路７２において、定められた画像圧縮情報のフォーマットに基づき、可変長復号化、算術復号化等の処理が行われる。同時に、当該フレームがインター符号化されたものである場合には、可逆復号回路７２において、画像信号のヘッダ部に格納された動きベクトルＭＶも復号され、その動きベクトルＭＶが動き予測・補償装置８１に出力される。
【００８１】
可逆復号回路７２の出力となる、量子化された変換係数は、逆量子化回路７３に入力され、ここで変換係数が生成される。当該変換係数には、逆直交変換回路７４において、定められた画像圧縮情報のフォーマットに基づき、逆離散コサイン変換や逆カルーネン・レーベ変換等の逆直交変換が施される。当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は画面並べ替え回路７６に格納され、Ｄ／Ａ変換回路７７によるＤ／Ａ変換処理を経て出力される。
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償回路８１において、フィルタ選択信号Ｓ８０を基に選択されたフィルタ回路を用い動きベクトルＭＶ、及びフレームメモリ７８に格納された参照用の画像信号を基に予測画像信号Ｓ８１ａが生成され、この予測画像信号Ｓ８１ａと、逆直交変換回路７４から出力された画像信号Ｓ７４とが、加算器７５において加算される。
【００８２】
以上説明したように、復号装置３によれば、符号化装置２によって符号化された画像信号を、符号化装置２と同様に小規模、低価格かつ省電力の構成で適切に復号できる。
【００８３】
第２実施形態
上述した第１実施形態では、符号化装置２および復号装置３において１／４画素精度で動き予測・補償を行う場合を説明したが、本実施形態では、符号化装置２および復号装置３において１／２画素精度で動き予測・補償を行う場合を説明する。
この場合にも、図８および図１５に示す補間演算回路４５における処理を除いて、符号化装置２および復号装置３は同一の構成および動作を有する。
本実施形態では、補間演算回路４５は、画像信号Ｓ４４内の図１１および図１２に示す１／２画素位置である補間位置ｂの補間用画素信号Ｓ（ｂ）を〔０，２５５〕の範囲でクリッピングし、当該クリッピングの補間用画素信号Ｓ（ｂ）と、メモリアクセス回路４０から入力した画像信号Ｓ４０内の画素信号Ｓ（Ａ）とから構成される１／２画素精度の画像信号Ｓ４５を生成し、これを動きベクトル生成回路４６および予測画像生成回路４７に出力する。
これにより、指定されたモードのＭＣブロックを単位として１／２画素精度で、動きベクトル生成回路４６による動きベクトルＭＶの生成処理、並びに予測画像生成回路４７による予測画像信号Ｓ３５ａの生成処理が行われる。
【００８４】
第３実施形態
本実施形態では、図１に示す符号化装置２および復号装置３において１／８画素精度で動き予測・補償を行う場合を説明する。
符号化装置２の動き予測・補償回路３５および復号装置３の動き予測・補償回路８１の構成を除いて、第１実施形態の通信システム１と同じである。
図１６は、本実施形態の図６に示す動き予測・補償回路１３５の機能ブロック図である。
図１６に示すように、動き予測・補償回路１３５は、例えば、メモリアクセス回路４０、８タップフィルタ回路１４２、６タップフィルタ回路１４３、選択回路１４４、補間演算回路１４５、動きベクトル生成回路４６おび予測画像生成回路４７を有する。
図１６において、図８と同じ符号を付した構成要素は、第１実施形態で説明したものと同じである。
【００８５】
８タップフィルタ回路１４２は、ＦＩＲフィルタであり、画像信号Ｓ４０内の８画素分の画素信号あるいは補間演算回路４５から入力した８補間画素位置の補間用画素信号を用いて、当該８画素の画素位置あるいは８補間画素位置から所定の距離を隔てた補間位置の補間画素信号を含む画像信号Ｓ１４２を生成し、これを選択回路１４４に出力する。
８タップフィルタ回路１４２は、フィルタ係数｛−３，１２，−３７，２２９，７１，−２１，６，−１｝を用いて１／４補間位置の補間用画素信号を生成し、フィルタ係数｛−３，１２，−３９，１５８，１５８，−３９，１２，−３｝を用いて２／４補間位置の補間用画素信号を生成し、フィルタ係数｛−１，６，−２１，７１，２２９，−３７，１２，−３｝を用いて３／４補間位置の補間用画素信号を生成する。
【００８６】
６タップフィルタ回路１４３は、ＦＩＲフィルタであり、画像信号Ｓ４０内の６画素分の画素信号あるいは補間演算回路４５から入力した６補間画素位置の補間用画素信号を用いて、当該６画素の画素位置あるいは６補間画素位置に対応する１／４，２／４および３／４補間位置の補間画素信号を含む画像信号Ｓ１４３を生成し、これを選択回路１４４に出力する。
【００８７】
選択回路１４４は、フィルタ選択信号Ｓ３４に基づいて、ＭＣブロックのモードが１６×１６、１６×８および８×１６の場合には画像信号Ｓ１４２を選択して画像信号Ｓ１４４として補間演算回路１４５に出力する。
また、選択回路４４は、フィルタ選択信号Ｓ３４に基づいて、ＭＣブロックのモードが８×８の場合には画像信号Ｓ１４３を選択して画像信号Ｓ１４４として補間演算回路１４５に出力する。
【００８８】
補間演算回路１４５は、選択回路１４４から入力した画像信号Ｓ１４４内の図１７に示す補間位置ｂ，ｃの補間用画素信号を、四捨五入を行った後に、〔０，２５５〕の範囲でクリッピングして生成した補間用画素信号Ｓ（ｂ），Ｓ（ｃ）、並びにメモリアクセス回路４０から入力した画像信号Ｓ４０内の画素信号を用いて、図１７に示す補間位置ｄ，ｅ，ｆ，ｇの補間用画素信号Ｓ（ｄ），Ｓ（ｅ），Ｓ（ｆ），Ｓ（ｇ）を生成し、当該補間用画素信号と、画像信号Ｓ４０内の画素信号とを用いて構成される１／８画素精度、すなわち画像信号Ｓ４０の８倍の画素数分の画素データを持つ画像信号Ｓ１４５を生成し、これを動きベクトル生成回路４６および予測画像生成回路４７に出力する。
【００８９】
具体的には、補間演算回路１４５は、補間位置ｂの補間用画素信号Ｓ（ｂ）’を、「（Ｓ（ｂ）’＋１２８）／２５６」により正規化して，〔９，２５５〕の範囲でクリッピングして補間用画素信号Ｓ（ｂ）を生成する。
また、補間演算回路１４５は、図１７に示す補間位置ｃの位相に対応する補間用画素信号を、水平方向及び垂直方向に対して８タップフィルタ回路１４２あるいは６タップフィルタ回路１４３を用いて積和演算を行い、６５５３６による除算を行い、続いて四捨五入を行った後、［　０，２５５］　の範囲でクリッピング処理を行って生成する。
そして、補間演算回路１４５は、１／８画素の補間位置の補間用画素信号を図１８に示すアルゴリズムに基づいて生成する。
具体的には、補間演算回路１４５は、図１７に示す補間位置ｄで示された位相に対応する補間用画素信号を、水平方向若しくは垂直方向でもっとも近くの位相に存在する画素位置Ａ、補間位置ｂあるいはｃの２つの補間用画素信号の平均を計算して生成する。
【００９０】
また、補間演算回路１４５は、図１７に示す１／８画素精度の位相に対応する補間位置ｅの補間用画素信号を、補間位置ｂ１に対応する補間用画素信号を用いて、平均処理及び丸め処理を行って生成する。
また、補間演算回路１４５は、図１７に示す補間位置ｇに対応する補間用画素信号を、「（Ｓ（Ａ）＋Ｓ（３ｃ２２）＋２）／４」の演算を行って生成する。
また、補間演算回路１４５は、図１７に示す補間位置ｆに対応する補間用画素信号を、その対角線に沿って、「（３ｂ１＋ｂ１＋２）／４」の演算を行って生成する。
これにより、指定されたモードのＭＣブロックを単位として１／８画素精度で、動きベクトル生成回路４６による動きベクトルＭＶの生成処理、並びに予測画像生成回路４７による予測画像信号Ｓ３５ａの生成処理が行われる。
【００９１】
図１９は、図１６に対応する復号回路の動き予測・補償回路１８１の構成図である。
図１９に示すように、動き予測・補償回路１８１は、８タップフィルタ回路１４２、６タップフィルタ回路１４３、選択回路１４４、補間演算回路１４５および予測画像生成回路８５を有する。
８タップフィルタ回路１４２、６タップフィルタ回路１４３、選択回路１４４、補間演算回路１４５の処理は、図１６に示す同一符号の構成要素と同じである。
予測画像生成回路８５の処理は、１／８画素精度の画像信号Ｓ４５について処理を行う点を除いて、図１５に示す第１実施形態と同様である。
【００９２】
第４実施形態
本実施形態では、第１実施形態の符号化装置２および復号装置３において、補間フィルタ選択回路３４および補間フィルタ選択回路８０において、ＭＣブロックのモードに加えて、符号化対象の画像のピクチャタイプをさらに用いてフィルタ選択を行う点を特徴としている。
図２０は、本実施形態の符号化装置２０２の機能ブロック図である。
図２０に示すように、符号化装置２０２は、図６を用いて説明した符号化装置２にピクチャタイプ判別回路２１０を加え、補間フィルタ選択回路３４の代わりに補間フィルタ選択回路１３４を用いた点を特徴としている。
【００９３】
ピクチャタイプ判別回路２１０は、図８に示す動きベクトル生成回路４６から、動きベクトル生成の対象となる画像の画像信号Ｓ４０を入力し、画像信号Ｓ４０を基に、当該画像のピクチャタイプが、Ｉ（Ｉｎｔｒａ　Ｐｉｃｔｕｒｅ）　，Ｐ（ＰｒｅｄｉｃｔｉｖｅＰｉｃｔｕｒｅ），Ｂ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ　Ｐｉｃｔｕｒｅ）　の何れであるかを判別し、その判別結果を示すピクチャ判別信号Ｓ２１０を補間フィルタ選択回路２３４に出力する。図２１に示すように、Ｉピクチャはフレーム内符号化画像であり、Ｐピクチャはフレーム間順方向予測符号化画像であり、Ｂピクチャは双方向予測符号化画像である。
【００９４】
補間フィルタ選択回路２３４は、フレームメモリ３１からの画素信号の読み出しに影響を与える、動きベクトル生成に用いられるＭＣモードおよびピクチャタイプに基づいて、６タップフィルタ回路４２および４タップフィルタ回路４３のうち一方を選択する。
すなわち、補間フィルタ選択回路２３４は、ＭＣモード判別信号Ｓ３３およびピクチャ判別信号Ｓ２１０に基づいて、図８に示す動き予測・補償回路３５において６タップフィルタ回路４２および４タップフィルタ回路４３の何れのフィルタ回路を選択するか、あるいは補間演算回路４５において線形内挿により補間用画素信号を生成するか（何れのフィルタ回路も選択しないか）を決定し、その結果を示すフィルタ選択信号Ｓ３４を動き予測・補償回路３５に出力する。
具体的には、補間フィルタ選択回路２３４は、ピクチャ判別信号Ｓ２１０がＰピクチャを示す場合に、ＭＣモード判別信号Ｓ３３がＭＣブロックのモードが１６×１６、１６×８および８×１６であることを示す場合（８×８より大きい場合）に、図８に示す６タップフィルタ回路４２を選択することを示すフィルタ選択信号３４を動き予測・補償回路３５に出力し、そうでない場合には４タップフィルタ回路４３を選択することを示すフィルタ選択信号３４を動き予測・補償回路３５に出力する。
【００９５】
また、補間フィルタ選択回路２３４は、ピクチャ判別信号Ｓ２１０がＢピクチャを示す場合に、ＭＣモード判別信号Ｓ３３がＭＣブロックのモードが１６×１６、１６×８および８×１６であることを示す場合４タップフィルタ回路４３を選択することを示すフィルタ選択信号３４を動き予測・補償回路３５に出力し、そうでない場合には線形内挿により補間用画素信号を生成することを示すフィルタ選択信号３４を動き予測・補償回路３５に出力する。
【００９６】
なお、ピクチャタイプ判別回路２１０が、ＰピクチャとＢピクチャのどちらに属するものであるかに関する情報に代え、当該動き予測、補償ブロックが、前方向若しくは後方向のみの一方向予測に関するものであるか、双方向予測に関するものであるかに関する情報を生成し、補間フィルタ選択回路２３４が当該情報を用いてフィルタの選択を行ってもよい。
【００９７】
本実施形態によれば、Ｂピクチャは、Ｐピクチャに比して、前方向・後方向の動き予測・補償処理を行うため、より多くの演算量とメモリバンド幅を要するが、本発明による補間フィルタの切り替えを行うことで、その演算量とメモリバンド幅を削減することができる。
【００９８】
このようにして生成された１／２画素精度の画素値を元に１／４画素精度の画素値を生成する方法については、現行のＨ．２６Ｌ規格において定められている方法と同様である。また、１／８画素精度の動き予測・補償処理についても同様である。
【００９９】
図２２は、図２０に示す符号化装置２０２に対応する復号装置２０３の機能ブロック図である。
図２２において、図１４と同じ符号を付した構成要素は、第１実施形態で説明したものと同じであり、ピクチャタイプ判別回路２２０および補間フィルタ選択回路２８０は、図２０に示すピクチャタイプ判別回路２１０および補間フィルタ選択回路２３４と基本的に同じである。
【０１００】
本実施形態によっても、第１実施形態と同様の効果が得られる。
なお、上述した実施形態では、補間フィルタ選択回路２３４がＭＣモード判別信号Ｓ３３およびピクチャ判別信号Ｓ２１０の双方に基づいてフィルタ選択信号Ｓ３４を生成した場合を例示したが、ピクチャ判別信号Ｓ２１０のみに基づいてフィルタ選択信号Ｓ３４を生成してもよい。
【０１０１】
第５実施形態
本実施形態の通信システムは、以下に示す構成以外の構成は、第１実施形態と同じである。
本実施形態では、例えば、図６に示す動き予測・補償ブロックサイズ判別回路３３が画像信号Ｓ４０を基にしてＭＣモード判別信号Ｓ３３を生成し、補間フィルタ選択回路３４が、図７に示す１６×１６、１６×８、８×１６モード（ＭＣモード）が指定されている場合には図８に示す６タップフィルタ回路４２を選択し、それ以外のモードが指定されている場合には４タップフィルタ回路４３を選択する第１の動作モードと、指定されたＭＣモードとは無関係に４タップフィルタ回路４３を選択する第２の動作モードとを備えている。
補間フィルタ選択回路３４は、第２の動作モードにおいて、画素精度をぼかし表示効果により補うためのぼかし用画素データである補間位置ｉ（ｆｕｎｎｙ　ｐｏｓｉｔｏｎ）　の補間用画素信号Ｓ（ｉ）を、画素Ａの画素信号Ｓ（Ａ）から得られた１／２画素精度の補間用画素信号Ｓ（ｂ）のうち、当該補間位置ｉに隣接して対角線上の両側の補間位置に対応する補間用画素信号Ｓ（ｂ）の平均値を演算して（線形内挿により）生成する。
なお、動き予測・補償ブロックサイズ判別回路３３は、第１の動作モードにおいては第１実施形態で説明した動作を行う。
本実施形態では、スライスヘッサ内の制御情報を基に、何れの動作モードを選択するかを決定する。
【０１０２】
本実施形態によれば、低ビットレートで画像信号を符号化する場合に、補間用画素信号Ｓ（ｉ）の本来の目的である、画像をボケさせる効果を、タップ数の少ない４タップフィルタ回路４３を用いることで実現できる。これにより、ソフトウェアのコード数、並びにハードウェアの処理負担を少なくできる。
また、本実施形態によれば、高ビットレートの画像信号を符号化する場合には、６タップフィルタ回路４２を用いて高品質な補間用画素信号を生成できる。
また、本実施形態では、４タップフィルタ回路４３の機能を、補間演算回路４５による線形内挿演算により実現してもよい。
上述したようにして生成された１／２画素精度の補間用画素信号を基に、１／４画素精度の補間用画素信号を生成する方法は、Ｈ．２６Ｌに規定されたものを用いる。
また、同様に、１／８画素精度の補間用画素信号の生成も、１／４，２／４，３／４の補間位置（位相）の補間用画素信号を生成するための６タップあるいはそれ以下のタップ数のフィルタ回路を用い、ＭＣブロックのモードに応じて、これらを適宜切り換えて使用してもよい。
上述した処理は、対応する復号装置においても同様に行われる。
本実施形態によっても、メモリアクセス数を削減できる。
【０１０３】
第６実施形態
本実施形態の通信システムは、以下に示す構成以外の構成は、第１実施形態と同じである。
本実施形態では、図６に示す補間フィルタ選択回路３４が、全てのＭＣモードについて、６タップフィルタ回路４２を選択することを指示するフィルタ選択信号Ｓ３４を出力する。
但し、画素精度をぼかし表示効果により補うためのぼかし用画素データである補間位置ｉの補間用画素信号Ｓ（ｉ）を生成する場合には、４タップフィルタ回路４３によって画素Ａの画素信号Ｓ（Ａ）を用いて生成された１／２画素精度の補間用画素信号Ｓ（ｂ）のうち、当該補間位置ｉに隣接して対角線上の両側の補間位置に対応する補間用画素信号Ｓ（ｂ）の平均値を演算して（線形内挿により）生成する。
本実施形態では、スライスヘッサ内の制御情報を基に、何れの動作モードを選択するかを決定する。
【０１０４】
本実施形態によれば、低ビットレートで画像信号を符号化する場合に、補間用画素信号Ｓ（ｉ）の本来の目的である、画像をボケさせる効果を、タップ数の少ない４タップフィルタ回路４３を用いることで実現できる。これにより、ソフトウェアのコード数、並びにハードウェアの処理負担を少なくできる。
また、本実施形態では、４タップフィルタ回路４３の機能を、補間演算回路４５による線形内挿演算により実現してもよい。
上述したようにして生成された１／２画素精度の補間用画素信号を基に、１／４画素精度の補間用画素信号を生成する方法は、Ｈ．２６Ｌに規定されたものを用いる。
上述した処理は、対応する復号装置においても同様に行われる。
本実施形態によっても、メモリアクセス数を削減できる。
【０１０５】
第７実施形態
本実施形態の通信システムは、以下に示す構成以外の構成は、第１実施形態と同じである。
本実施形態では、補間演算回路４５は、第１の動作モードにおいて、補間位置ｉの補間用画素信号Ｓ（ｉ）を、周囲の４つの画素位置Ａの画素信号を用いて下記式（６）に示す演算を行って生成される。
【０１０６】
【数６】
Ｓ（ｉ）＝｛Ｓ（Ａ１）＋Ｓ（Ａ２）＋Ｓ（Ａ３）＋Ｓ（Ａ４）＋２｝／４…（６）
【０１０７】
一方、補間演算回路４５は、第２の動作モードにおいて、補間位置ｉの補間用画素信号Ｓ（ｉ）を、画素Ａの画素信号Ｓ（Ａ）を用いて図８に示す６タップフィルタ回路４２あるいは４タップフィルタ回路４３が生成した１／２画素精度の補間用画素信号Ｓ（ｂ）のうち、当該補間位置ｉに隣接して対角線上の両側の補間位置に対応する補間用画素信号Ｓ（ｂ）の平均値を演算して（線形内挿により）生成する。
【０１０８】
本実施形態によれば、低ビットレートで画像信号を符号化する場合に、補間用画素信号Ｓ（ｉ）の本来の目的である、画像をボケさせる効果を、少ない演算量で実現できる。これにより、ソフトウェアのコード数、並びにハードウェアの処理負担を少なくできる。
また、本実施形態によれば、高ビットレートの画像信号を符号化する場合には、６タップフィルタ回路４２あるいは４タップフィルタ回路４３を用いて高品質な補間用画素信号を生成できる。
上述したようにして生成された１／２画素精度の補間用画素信号を基に、１／４画素精度のその他の補間用画素信号を生成する方法は、Ｈ．２６Ｌに規定されたものを用いる。
また、同様に、１／８画素精度の補間用画素信号の生成も、１／４，２／４，３／４の補間位置（位相）の補間用画素信号を生成するための６タップあるいはそれ以下のタップ数のフィルタ回路を用い、ＭＣブロックのモードに応じて、これらを適宜切り換えて使用してもよい。
上述した処理は、対応する復号装置においても同様に行われる。
【０１０９】
上述した実施形態では、規格Ｈ．２６Ｌを例として説明してきたが、本発明はこれに限らず、可変ブロックサイズに基づく動き予測・補償処理を行う任意の動き予測・補償装置に適用可能である。
【０１１０】
以上、説明したように、本実施形態によれば、例えば、Ｈ．２６Ｌ規格などのように、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換方式、及び１／４画素精度若しくは１／８画素精度といった高精度の動き補償処理を用いた装置で、可変ブロックサイズに基づく動き予測・補償処理を行う画像情報符号化装置並びに復号化装置で、動き予測・補償ブロックサイズに応じて、補間フィルタを適応的に切り替えることで、画質劣化を最小限に抑えながら、演算量とメモリバンド幅を大幅に削減する手段を提供することができる。
【０１１１】
第８実施形態
本実施形態は、第６および第７の発明に対応した実施形態である。
図２３は、本実施形態の符号化装置２４２の全体構成図である。
図２３に示すように、符号化装置２４２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、フレームメモリ３１、レート制御回路３２、６タップフィルタ回路４２、４タップフィルタ回路４３、２タップフィルタ回路２１１、フレームメモリ２２１、フレームメモリ２２２、フレームメモリ２２３、選択回路２３０および動き予測・補償回路２３５を有する。
図２３において、図６および図８と同じ符号を付した構成要素は、第１実施形態で説明したものと同じである。
ここで、フレームメモリ３１が本発明の第１の記憶回路に対応している。
６タップフィルタ回路４２、４タップフィルタ回路４３および２タップフィルタ回路２１１のうち任意の２つが、本発明の第１の処理回路および第２の処理回路に対応している。
また、フレームメモリ２２１，２２２，２２３のうち任意の２つが、本発明の第２の記憶回路および第３の記憶回路に対応している。
また、選択回路２３０が本発明の選択回路に対応している。
なお、以下に示す各回路の処理の制御の内容は、例えば、プログラムに記述され、所定のデータ処理回路が当該プログラムを実行する形態で実現されてもよい。
【０１１２】
６タップフィルタ回路４２は、例えば、ＦＩＲフィルタであり、フレームメモリ３１から読み出した６画素分の整数精度の画素信号を入力して少数画素精度の補間用画素信号を生成し、これをフレームメモリ２２１に書き込む。
本実施形態では、１／４画素精度の補間用画素信号を生成する場合に、６タップフィルタ回路４２の係数｛ｈ１，ｈ２，ｈ３，ｈ４，ｈ５，ｈ６｝として、例えば、｛１，−５，２０，２０，−５，１｝を用いる。
４タップフィルタ回路４３は、例えば、ＦＩＲフィルタであり、フレームメモリ３１から読み出した４画素分の整数画素精度の画素信号を入力して少数画素精度の補間用画素信号を生成し、これをフレームメモリ２２２に書き込む。
本実施形態では、４タップフィルタ回路４３の係数｛ｈ１１，ｈ１２，ｈ１３，ｈ１４｝として、例えば、｛−１，５，５，−１｝を用いる。
２タップフィルタ回路２１１は、例えば、ＦＩＲフィルタであり、フレームメモリ３１から読み出した２画素分の整数画素精度の画素信号を入力して少数画素精度の補間用画素信号を生成し、これをフレームメモリ２２３に書き込む。
本実施形態では、２タップフィルタ回路２１１の係数｛ｈ２１，ｈ２２｝として、例えば、｛１，１｝を用いる。
選択回路２３０は、動き予測・補償回路２３５から入力した選択信号Ｓ２３５ｂに基づいて、フレームメモリ２２１，２２２，２２３から少数画素精度の補間用画素信号Ｓ２３０を読み出して動き予測・補償回路２３５に出力する。
【０１１３】
動き予測・補償回路２３５は、動きベクトル検出対象である現画像の画像信号Ｓ２３を入力し、ピクチャタイプおよびＭＣブロックサイズを検出し、その検出結果に基づいて選択信号Ｓ２３５ｂを生成し、これを選択回路２３０に出力する。
また、動き予測・補償回路２３５は、フレームメモリ３１から読み出した整数画素精度の画素信号と、選択回路２３０から入力した少数画素精度の補間用画素信号Ｓ２３０とを用いて、動きベクトルＭＶの生成、並びに予測画像信号Ｓ２３５ａの生成を行う。
【０１１４】
図２４は、動き予測・補償回路２３５の機能ブロック図である。
図２４に示すように、動き予測・補償回路２３５は、例えば、選択制御回路２４４、補間演算回路２４５、動きベクトル生成回路２４６および予測画像生成回路２４７を有する。
選択制御回路２４４は、画像信号Ｓ２３を基に、現画像のピクチャタイプおよびＭＣブロックサイズを検出し、処理対象のＭＣブロックがＰピクチャであり、かつＭＣブロックが８×８モードより大きい場合は、フレームメモリ２２１（６タップ）を選択することを指示する選択信号Ｓ２３５ｂを生成する。
また、選択制御回路２４４は、（１）処理対象のＭＣブロックがＰピクチャであり、かつブロックサイズが８×８モードあるいはそれより小さい場合、あるいは、（２）処理対象のＭＣブロックがＢピクチャであり、かつブロックサイズが８×８モードより大きい場合は、フレームメモリ２２２（４タップ）を選択することを指示する選択信号Ｓ２３５ｂを生成する。
また、選択制御回路２４４は、処理対象のＭＣブロックがＢピクチャであり、かつＭＣブロックが８×８モードあるいはそれより小さい場合は、フレームメモリ２２３（２タップ）を選択することを指示する選択信号Ｓ２３５ｂを生成する。
【０１１５】
補間演算回路２４５は、フレームメモリ３１から入力した整数画素精度の画素信号Ｓ３１と、選択回路２３０から入力した少数画素精度の補間用画素信号Ｓ２３０とを用いて補間処理を行って１／４画素精度の画像信号Ｓ２４５を生成し、これと画素信号Ｓ３１とを動きベクトル生成回路２４６および予測画像生成回路２４７に出力する。
なお、補間演算回路２４５の演算内容は、基本的に第１実施形態で説明した補間演算回路４５と同様である。
動きベクトル生成回路２４６は、画像並べ替え回路２３から入力した画像信号Ｓ２３（本発明の第１の画素データ）と、補間演算回路２４５から入力した画素信号Ｓ３１および補間用画素信号Ｓ２４５によって構成される参照画像信号（本発明の第２の画像データ）とを用いて、対象となるＭＣブロックの動きベクトルＭＶを１／４画素精度で生成し、これを可逆符号化回路２７および予測画像生成回路２４７に出力する。
【０１１６】
予測画像生成回路２４７は、補間演算回路２４５から入力した画素信号Ｓ３１および補間用画素信号Ｓ２４５によって構成される１／４画素精度の参照画像信号と、動きベクトルＭＶとを用いて予測画像信号Ｓ２３５ａを生成し、これを演算回路２４に出力する。
【０１１７】
以下、図２３に示す符号化装置２４２の動作例を説明する。
フレームメモリ３１に整数画素精度の画素信号を格納するまでの処理は、第１実施形態で説明したものと同じである。
フレームメモリ３１から読み出された整数画素精度の画素信号Ｓ３１が、６タップフィルタ回路４２、４タップフィルタ回路４３および２タップフィルタ回路２１１に出力される。
次に、６タップフィルタ回路４２、４タップフィルタ回路４３および２タップフィルタ回路２１１において、上述したフィルタ処理が行われ、少数画素精度の補間用画素信号がそれぞれフレームメモリ２２１，２２２，２２３に書き込まれる。
【０１１８】
また、図２４に示す動き予測・補償回路２３５の選択制御回路２４４が、画像信号Ｓ２３を基に、現画像のピクチャタイプおよびＭＣブロックサイズを検出し、フレームメモリ２２１，２２２，２２３の何れか一つを選択することを指示する選択信号Ｓ２３５ｂを生成し、これを選択回路２３０に出力する。
次に、選択回路２３０が、フレームメモリ２２１，２２２，２２３のうち、選択信号Ｓ２３５ｂで指定されたフレームメモリから少数画素精度の補間用画素信号Ｓ２３０を読み出し、これを動き予測・補償回路２３５の補間演算回路２４５に出力する。
【０１１９】
次に、補間演算回路２４５が、フレームメモリ３１から入力した整数画素精度の画素信号Ｓ３１と、選択回路２３０から入力した少数画素精度の補間用画素信号Ｓ２３０とを用いて補間処理を行って１／４画素精度の画像信号Ｓ２４５を生成し、これと画素信号Ｓ３１とを動きベクトル生成回路２４６および予測画像生成回路２４７に出力する。
次に、動きベクトル生成回路２４６が、画像並べ替え回路２３から入力した画像信号Ｓ２３と、補間演算回路２４５から入力した画素信号Ｓ３１および補間用画素信号Ｓ２４５によって構成される参照画像信号とを用いて、対象となるＭＣブロックの動きベクトルＭＶを生成し、これを可逆符号化回路２７および予測画像生成回路２４７に出力する。
【０１２０】
次に、予測画像生成回路２４７が、補間演算回路２４５から入力した画素信号Ｓ３１および補間用画素信号Ｓ２４５によって構成される参照画像信号と、動きベクトルＭＶとを用いて予測画像信号Ｓ２３５ａを生成し、これを演算回路２４に出力する。
【０１２１】
なお、上述した実施形態では、図２３に示すように、６タップフィルタ回路４２、４タップフィルタ回路４３および２タップフィルタ回路２１１の３種類のタップのフィルタ回路を用いる場合を例示したが、その他、８、６、４、２の４種類のタップフィルタのうち、任意の２以上のタップフィルタを用いてもよい。
また、上述した実施形態では、画素信号を１／４画素精度で補間する場合を例示したが、１／８画素精度などその他の画素精度で補間して動きベクトルＭＶおよび予測画像信号の生成を行ってもよい。この場合に、８タップフィルタ回路を用いるときに、フィルタ係数｛−３，１２，−３７，２２９，７１，−２１，６，−１｝を用いて１／４補間位置の補間用画素信号を生成し、フィルタ係数｛−３，１２，−３９，１５８，１５８，−３９，１２，−３｝を用いて２／４補間位置の補間用画素信号を生成し、フィルタ係数｛−１，６，−２１，７１，２２９，−３７，１２，−３｝を用いて３／４補間位置の補間用画素信号を生成してもよい。
また、この場合に、２タップフィルタ回路を用いるときに、フィルタ係数｛３，１｝を用いて１／４補間位置の補間用画素信号を生成し、フィルタ係数｛２，２｝を用いて２／４補間位置の補間用画素信号を生成し、フィルタ係数｛１，３｝を用いて３／４補間位置の補間用画素信号を生成してもよい。
【０１２２】
以上説明したように、符号化装置２４２によれば、画像信号Ｓ２３の処理対象となるＭＣブロックの種類に応じて、２，４，６タップのフィルタ回路を適宜切り換えて生成した参照用の画像信号を用いて動きベクトルおよび予測画像データを生成できる。
【０１２３】
第９実施形態
本実施形態は、第８および第９の発明に対応した実施形態である。
図２５は、本実施形態の符号化装置３０２の全体構成図である。
図２５に示すように、符号化装置３０２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、フレームメモリ３１、レート制御回路３２、６タップフィルタ回路４２、４タップフィルタ回路４３、２タップフィルタ回路２１１、フレームメモリ２２１および動き予測・補償回路３３５を有する。
図２５において、図６、図８および図２３と同じ符号を付した構成要素は、第１および第８実施形態で説明したものと同じである。
ここで、フレームメモリ３１が本発明の第１の記憶回路に対応している。
６タップフィルタ回路４２が本発明の第１の処理回路に対応し、フレームメモリ２２１が本発明の第２の記憶回路に対応している。
また、４タップフィルタ回路４３または２タップフィルタ回路２１１が本発明の第２の処理回路に対応している。
また、動き予測・補償回路３３５が本発明の動きベクトル生成回路および予測画像生成回路に対応している。
なお、以下に示す各回路の処理の制御の内容は、例えば、プログラムに記述され、所定のデータ処理回路が当該プログラムを実行する形態で実現されてもよい。
【０１２４】
６タップフィルタ回路４２は、例えば、ＦＩＲフィルタであり、フレームメモリ３１から読み出した６画素分の整数精度の画素信号（本発明の第１の画像データ）を入力して少数画素精度の補間用画素信号を生成し、これをフレームメモリ２２１に書き込む。
本実施形態では、１／４画素精度の補間用画素信号を生成する場合に、６タップフィルタ回路４２の係数｛ｈ１，ｈ２，ｈ３，ｈ４，ｈ５，ｈ６｝として、例えば、｛１，−５，２０，２０，−５，１｝を用いる。
４タップフィルタ回路４３は、例えば、ＦＩＲフィルタであり、動き予測・補償回路３３５を介してフレームメモリ３１から読み出した４画素分の整数画素精度の画素信号を入力して少数画素精度の補間用画素信号を生成し、動き予測・補償回路３３５に出力する。
本実施形態では、４タップフィルタ回路４３の係数｛ｈ１１，ｈ１２，ｈ１３，ｈ１４｝として、例えば、｛−１，５，５，−１｝を用いる。
２タップフィルタ回路２１１は、例えば、ＦＩＲフィルタであり、動き予測・補償回路３３５を介してフレームメモリ３１から読み出した２画素分の整数画素精度の画素信号を入力して少数画素精度の補間用画素信号を生成し、これを動き予測・補償回路３３５に出力する。
本実施形態では、２タップフィルタ回路２１１の係数｛ｈ２１，ｈ２２｝として、例えば、｛１，１｝を用いる。
【０１２５】
動き予測・補償回路３３５は、動きベクトル検出対象である現画像の画像信号Ｓ２３（本発明の所定の画像データ）を入力し、ピクチャタイプおよびＭＣブロックサイズを検出し、その検出結果に基づいて、画像信号Ｓ２３と、フレームメモリ３１から読み出した整数画素精度の画素信号Ｓ３１と、フレームメモリ２２１から読み出した少数画素精度の補間用画素信号Ｓ２２１と、４タップフィルタ回路４３および２タップフィルタ回路２１１から入力した補間用画素信号とを用いて、動きベクトルＭＶの生成、並びに予測画像信号Ｓ３３５ａの生成を行う。
【０１２６】
図２６は、動き予測・補償回路３３５の機能ブロック図である。
図２６に示すように、動き予測・補償回路３３５は、例えば、選択制御回路３４４、補間演算回路３４５、動きベクトル生成回路３４６、予測画像生成回路３４７および制御回路３４８を有する。
動きベクトル生成回路３４６が本発明の動きベクトル生成回路に対応し、予測画像生成回路３４７および制御回路３４８が本発明の予測画像生成回路に対応している。
選択制御回路３４４は、制御回路３４８からの制御の基づいて、フレームメモリ３１から読み出した整数画素精度の画素信号Ｓ３１を、４タップフィルタ回路４３および２タップフィルタ回路２１１のうち指定されたフィルタ回路に出力し、その応答として当該フィルタ回路から入力した少数画素精度の補間用画素信号Ｓ３４４を補間演算回路３４５に出力する。
【０１２７】
補間演算回路３４５は、制御回路３４８からの制御に基づいて、フレームメモリ３１から入力した整数画素精度の画素信号Ｓ３１とフレームメモリ２２１から入力した少数画素精度の補間用画素信号Ｓ２２１とを用いて補間処理を行って１／４画素精度の画像信号Ｓ２４５ａを生成する第１の処理を行う。
また、補間演算回路３４５が、制御回路３４８からの制御に基づいて、必要に応じて、整数画素精度の画素信号Ｓ３１と選択制御回路３４４から入力した少数画素精度の補間用画素信号Ｓ３４４とを用いて補間処理を行って１／４画素精度の画像信号Ｓ２４５ｂを生成する第２の処理を行う。
補間演算回路３４５は、上記第１の処理で生成した画像信号Ｓ２５４ａを動きベクトル生成回路３４６に出力し、上記第２の処理で生成した画像信号Ｓ２５４ｂを予測画像生成回路３４７に出力する。
なお、補間演算回路２４５の演算内容は、基本的に第１実施形態で説明した補間演算回路４５と同様である。
【０１２８】
動きベクトル生成回路２４６は、画像並べ替え回路２３から入力した画像信号Ｓ２３と、補間演算回路３４５から入力した１／４画素精度の画像信号Ｓ２４５ａ（参照画像信号、本発明の第２の画像データ）とを用いて、対象となるＭＣブロックの動きベクトルＭＶを１／４画素精度で生成し、これを可逆符号化回路２７および予測画像生成回路３４７に出力する。
【０１２９】
予測画像生成回路３４７は、制御回路３４８からの制御に基づいて、６タップフィルタ処理が指定されている場合には、補間演算回路３４５から入力した画像信号Ｓ２４５ａと動きベクトルＭＶとを用いて予測画像信号Ｓ３３５ａを生成し、これを演算回路２４に出力する。
また、予測画像生成回路３４７は、制御回路３４８からの制御に基づいて、４タップあるいは６タップのフィルタ処理が指定されている場合には、補間演算回路３４５から入力した画像信号Ｓ２４５ｂと動きベクトルＭＶとを用いて予測画像信号Ｓ３３５ａを生成し、これを演算回路２４に出力する。
【０１３０】
制御回路３４８は、画像信号Ｓ２３を基に、現画像のピクチャタイプおよびＭＣブロックサイズを検出し、処理対象のＭＣブロックがＰピクチャであり、かつＭＣブロックが８×８モードより大きい場合は、６タップフィルタ処理を指定する。
また、制御回路３４８は、（１）処理対象のＭＣブロックがＰピクチャであり、かつブロックサイズが８×８モードあるいはそれより小さい場合、あるいは、（２）処理対象のＭＣブロックがＢピクチャであり、かつブロックサイズが８×８モードより大きい場合は、４タップフィルタ処理を指定する。
また、制御回路３４８は、処理対象のＭＣブロックがＢピクチャであり、かつＭＣブロックが８×８モードあるいはそれより小さい場合は、２タップフィルタ処理を指定する。
【０１３１】
以下、図２３に示す符号化装置２４２の動作例を説明する。
フレームメモリ３１に整数画素精度の画素信号を格納するまでの処理は、第１実施形態で説明したものと同じである。
フレームメモリ３１から読み出された整数画素精度の画素信号Ｓ３１が、６タップフィルタ回路４２に出力される。
次に、６タップフィルタ回路４２において、上述したフィルタ処理が行われ、少数画素精度の補間用画素信号がフレームメモリ２２１に書き込まれる。
【０１３２】
次に、補間演算回路３４５が、制御回路３４８からの制御に基づいて、フレームメモリ３１から入力した整数画素精度の画素信号Ｓ３１とフレームメモリ２２１から入力した少数画素精度の補間用画素信号Ｓ２２１とを用いて補間処理を行って１／４画素精度の画像信号Ｓ２４５ａを生成する第１の処理を行う。
次に、動きベクトル生成回路２４６が、画像並べ替え回路２３から入力した画像信号Ｓ２３と、補間演算回路３４５から入力した画像信号Ｓ２４５ａ（参照画像信号）と用いて、対象となるＭＣブロックの動きベクトルＭＶを生成し、これを可逆符号化回路２７および予測画像生成回路３４７に出力する。
【０１３３】
また、制御回路３４８は、画像信号Ｓ２３を基に、現画像のピクチャタイプおよびＭＣブロックサイズを検出し、その結果を基に、６，４，２タップのフィルタ処理の何れかを指定する。
そして、制御回路３４８によって６タップフィルタ処理が指定された場合には、予測画像生成回路３４７が、補間演算回路３４５から入力した画像信号Ｓ２４５ａと動きベクトルＭＶとを用いて予測画像信号Ｓ３３５ａを生成し、これを演算回路２４に出力する。
また、制御回路３４８によって４タップフィルタ処理が指定された場合には、選択制御回路３４４が整数画素精度の画素信号Ｓ３１を４タップフィルタ回路４３に出力し、その応答を補間演算回路３４５に出力する。
次に、補間演算回路３４５が、整数画素精度の画素信号Ｓ３１と選択制御回路３４４から入力した少数画素精度の補間用画素信号Ｓ３４４とを用いて補間処理を行って１／４画素精度の画像信号Ｓ２４５ｂを生成し、これを予測画像生成回路３４７に出力する。
次に、予測画像生成回路３４７は、制御回路３４８からの制御に基づいて、補間演算回路３４５から入力した画像信号Ｓ２４５ｂと動きベクトルＭＶとを用いて予測画像信号Ｓ３３５ａを生成し、これを演算回路２４に出力する。
【０１３４】
また、制御回路３４８によって２タップフィルタ処理が指定された場合には、選択制御回路３４４が整数画素精度の画素信号Ｓ３１を２タップフィルタ回路２１１に出力し、その応答を補間演算回路３４５に出力する。
次に、補間演算回路３４５が、整数画素精度の画素信号Ｓ３１と選択制御回路３４４から入力した少数画素精度の補間用画素信号Ｓ３４４とを用いて補間処理を行って１／４画素精度の画像信号Ｓ２４５ｂを生成し、これを予測画像生成回路３４７に出力する。
次に、予測画像生成回路３４７は、制御回路３４８からの制御に基づいて、補間演算回路３４５から入力した画像信号Ｓ２４５ｂと動きベクトルＭＶとを用いて予測画像信号Ｓ３３５ａを生成し、これを演算回路２４に出力する。
【０１３５】
なお、上述した実施形態では、図２５に示すように、６タップフィルタ回路４２、４タップフィルタ回路４３および２タップフィルタ回路２１１の３種類のタップのフィルタ回路を用いる場合を例示したが、その他、８、６、４、２の４種類のタップフィルタのうち、任意の２以上のタップフィルタを用いてもよい。
また、上述した実施形態では、画素信号を１／４画素精度で補間する場合を例示したが、１／８画素精度などその他の画素精度で補間して動きベクトルＭＶおよび予測画像信号の生成を行ってもよい。この場合に、８タップフィルタ回路を用いるときに、フィルタ係数｛−３，１２，−３７，２２９，７１，−２１，６，−１｝を用いて１／４補間位置の補間用画素信号を生成し、フィルタ係数｛−３，１２，−３９，１５８，１５８，−３９，１２，−３｝を用いて２／４補間位置の補間用画素信号を生成し、フィルタ係数｛−１，６，−２１，７１，２２９，−３７，１２，−３｝を用いて３／４補間位置の補間用画素信号を生成してもよい。
また、この場合に、２タップフィルタ回路を用いるときに、フィルタ係数｛３，１｝を用いて１／４補間位置の補間用画素信号を生成し、フィルタ係数｛２，２｝を用いて２／４補間位置の補間用画素信号を生成し、フィルタ係数｛１，３｝を用いて３／４補間位置の補間用画素信号を生成してもよい。
【０１３６】
以上説明したように、符号化装置３０２によれば、画像信号Ｓ２３の処理対象となるＭＣブロックの種類に応じて、２，４，６タップのフィルタ回路を適宜切り換えて生成した参照用の画像信号を用いて動きベクトルおよび予測画像データを生成できる。また、符号化装置３０２によれば、少数画素精度の画素信号を記憶するフレ−ムメモリを第８実施形態の場合に比べて削減できる。
【０１３７】
【発明の効果】
以上説明したように、本発明によれば、動き予測・補償処理を高い画素精度で行うことができ、しかも小規模化、低価格化および省電力化が図れる画像処理装置およびその方法を提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明の関連技術に係わる符号化装置の機能ブロック図である。
【図２】図２は、本発明の関連技術に係わる復号装置の機能ブロック図である。
【図３】図３は、本発明の関連技術における１／４画素精度の画像信号を説明するための図である。
【図４】図４は、本発明の関連技術におけるメモリアクセスのオーバヘッドを説明するための図である。
【図５】図５は、本発明の第１実施形態に係わる通信システムの構成図である。
【図６】図６は、図５に示す符号化装置の機能ブロック図である。
【図７】図７は、ＭＣブロックを説明するための図である。
【図８】図８は、図６に示す動き予測・補償回路の機能ブロック図である。
【図９】図９は、図８に示す６タップフィルタ回路４２の構成図である。
【図１０】図１０は、図８に示す４タップフィルタ回路４３の構成図である。
【図１１】図１１は、１６×１６、１６×８、８×１６モードにおける補間用画素信号の生成方法を説明するための図である。
【図１２】図１２は、８×８モードにおける補間用画素信号の生成方法を説明するための図である。
【図１３】図１３は、第１実施形態におけるメモリアクセスのオーバヘッドの説明するための図である。
【図１４】図１４は、図５に示す復号装置の機能ブロック図である。
【図１５】図１５は、図１４に示す動き予測・補償回路の機能ブロック図である。
【図１６】図１６は、本発明の第３実施形態の符号化装置の機能ブロック図である。
【図１７】図１７は、本発明の第３実施形態における補間用画素信号の生成方法を説明するための図である。
【図１８】図１８は、本発明の第３実施形態において１／８画素精度の補間用画素信号の生成方法を説明するための図である。
【図１９】図１９は、本発明の第３実施形態の復号装置の機能ブロック図である。
【図２０】図２０は、本発明の第４実施形態の符号化装置の機能ブロック図である。
【図２１】図２１は、ピクチャタイプを説明するための図である。
【図２２】図２２は、本発明の第４実施形態の復号装置の機能ブロック図である。
【図２３】図２３は、本発明の第８実施形態の符号化装置の全体構成図である。
【図２４】図２４は、図２３に示す動き予測・補償回路の機能ブロック図である。
【図２５】図２５は、本発明の第９実施形態の符号化装置の全体構成図である。
【図２６】図２６は、図２５に示す動き予測・補償回路の機能ブロック図である。
【符号の説明】
２…符号化装置、３…復号装置、２２…Ａ／Ｄ変換回路、２３…画像並べ替え回路、２４…演算回路、２５…直交変換回路、２６…量子化回路、２７…可逆符号化回路、２８…バッファ、２９…逆量子化回路、３０…逆直交変換回路、３１…フレームメモリ、３２…レート制御回路、３３…動き予測・補償ブロックサイズ判別回路、３４…補間フィルタ選択回路、３５…動き予測・補償回路、４０…選択回路、４１…メモリ、４２…６タップフィルタ回路、４３…４タップフィルタ回路、４４…選択回路、４５…補間演算回路、４６…動きベクトル生成回路、４７…予測画像生成回路、７１…バッファ、７２…可逆復号化回路、７３…逆量子化回路、７４…逆直交変換回路、７５…演算回路、７６…画像並べ替え回路、７７…Ｄ／Ａ変換回路、７８…フレームメモリ、８０…補間フィルタ選択回路、２１１…２タップフィルタ回路、２２１、２２２、２２３…フレームメモリ、２３０…選択回路、２３５…動き予測・補償回路、３３５…動き予測・補償回路
【図１】
2004007337.tif 000003
【図２】
2004007337.tif 000004
【図３】
2004007337.tif 000005
【図４】
2004007337.tif 000006
【図５】
2004007337.tif 000007
【図６】
2004007337.tif 000008
【図７】
2004007337.tif 000009
【図８】
2004007337.tif 000010
【図９】
2004007337.tif 000011
【図１０】
2004007337.tif 000012
【図１１】
2004007337.tif 000013
【図１２】
2004007337.tif 000014
【図１３】
2004007337.tif 000015
【図１４】
2004007337.tif 000016
【図１５】
2004007337.tif 000017
【図１６】
2004007337.tif 000018
【図１７】
2004007337.tif 000019
【図１８】
2004007337.tif 000020
【図１９】
2004007337.tif 000021
【図２０】
2004007337.tif 000022
【図２１】
2004007337.tif 000023
【図２２】
2004007337.tif 000024
【図２３】
2004007337.tif 000025
【図２４】
2004007337.tif 000026
【図２５】
2004007337.tif 000027
【図２６】
2004007337.tif 000028