(57)【要約】  【課題】  画質劣化を考慮しつつ、復号処理における動き補償処理のフィルタによる演算量を削減し、動き補償処理を高速化した画像復号装置を提供する。  【解決手段】  動き補償部１００のフィルタ部１１０は、ローパス特性を有する２タップの第１フィルタ１１１と、エッジ強調特性を有する４タップの第２フィルタ１１２とを有する。動きベクトルに従って、参照画像データに対して、第１フィルタと第２フィルタとを１フレームごとに交互に切替えてフィルタ処理を施し、動き補償された動き補償画像データを生成する。この結果、フィルタ処理の必要演算量を通常の６タップフィルタの５５％に削減できる。しかも、第１フィルタ又は第２フィルタを単独に用いる場合よりも、フレームメモリ２６における復号画像の画質の蓄積効果により、画質劣化を大幅に抑制できる。この結果、画質劣化を抑制しつつ、復号における処理量を大幅に削減した画像復号装置を実現できる。【選択図】  図１
2007306538.tif 000002
【特許請求の範囲】
【請求項１】
すでに復号されフレームメモリに記憶されている参照画像データを参照して、圧縮された画像データを復号する画像復号装置であって、
前記画像データを復号し、復号データと動きベクトルを出力する可変長復号手段と、
すでに復号されフレームメモリに記憶されている参照画像データから、前記可変長復号手段により生成された動きベクトルに基づいて予測画像データを生成する動き補償手段とを備え、
前記動き補償手段は、
第１フィルタと、
第２フィルタと、
前記第１フィルタと前記第２フィルタを制御する制御手段とを含み、
前記動き補償手段は、符号化のときに動き補償において使用されたフィルタとは無関係に、前記第１フィルタと前記第２フィルタを切替えることを特徴とする画像復号装置。
【請求項２】
前記第１フィルタをローパスフィルタで構成し、前記第２フィルタをエッジ強調フィルタで構成することを特徴とする請求項１記載の画像復号装置。
【請求項３】
前記動き補償手段は、
通常の演算量の第１動き補償手段と、
通常より演算量が少ない第２動き補償手段と、
前記第１動き補償手段と前記第２動き補償手段の切り替えを制御する第１制御手段とを備え、
前記第１動き補償手段は、通常の演算量のフィルタを含み、
前記第２動き補償手段は、
通常より演算量が少ない第１フィルタと、
通常より演算量が少ない第２フィルタと、
前記第１フィルタと前記第２フィルタを制御する第２制御手段とを含み、
前記第１制御手段は、演算装置の負荷に基づき制御を行うことを特徴とする請求項１記載の画像復号装置。
【請求項４】
可変長符号化された画像データを復号する画像復号装置であって、
前記画像データを可変長復号し、量子化係数と動きベクトルを生成する可変長復号部と、
前記量子化係数を逆量子化してＤＣＴ係数を生成する逆量子化部と、
前記ＤＣＴ係数を逆直交変換して差分画像データを生成する逆直交変換部と、
前記動きベクトルと参照画像データとを用いて、動き補償画像データを生成する動き補償部と、
前記差分画像データと前記動き補償画像データとを加算して、再構成画像デ−タを生成する加算部と、
前記再構成画像デ−タをデブロックフィルタ処理して復号画像データを生成するループ内フィルタと、
前記復号画像データを前記参照画像データとして格納するフレームメモリとを備え、
前記動き補償部は、前記参照画像データに対して、フレームごとに異なる特性のフィルタ処理を行い、前記動き補償画像データを生成する画像復号装置。
【請求項５】
前記動き補償部は、フィルタ特性が異なる複数のフィルタを有し、前記複数のフィルタを所定のフレーム数ごとに切替えて、前記動き補償画像データを生成する請求項４記載の画像復号装置。
【請求項６】
前記動き補償部は、ローパス特性を有する第１フィルタと、エッジ強調特性を有する第２フィルタとを有し、前記第１フィルタと前記第２フィルタを所定のフレーム数ごとに切替えて、前記動き補償画像データを生成する請求項４記載の画像復号装置。
【請求項７】
前記第２フィルタは、タップ数が６タップ未満であるタップフィルタで構成され、
前記第１フィルタは、タップ数が前記第２フィルタのタップ数未満であるタップフィルタで構成される、請求項６記載の画像復号装置。
【請求項８】
前記第１フィルタは、２タップフィルタで構成され、
前記第２フィルタは、４タップフィルタで構成される、請求項６記載の画像復号装置。
【請求項９】
前記第１フィルタと前記第２フィルタとは、回路構成を動的に変更できる回路で構成される、請求項６記載の画像復号装置。
【請求項１０】
前記画像データの復号における処理の少なくとも一部と、前記画像データの復号処理以外の処理とを行うプロセッサの負荷量を示す負荷情報に基づいて、前記プロセッサの負荷量を判定する負荷判定部をさらに備え、
前記動き補償部は、前記負荷判定部の判定結果に基づいて、前記参照画像データに対して、フレームごとに異なる特性のフィルタ処理を行い、前記動き補償画像データを生成する請求項４記載の画像復号装置。
【請求項１１】
前記動き補償部は、
通常のフィルタ処理を行う通常動き補償部と、
前記通常動き補償部が行うフィルタ処理よりも演算量の少ないフィルタ処理を行う高速動き補償部とを備え、
前記負荷判定部が、前記プロセッサの負荷量が所定の値以下であると判定した場合には、前記動き補償部は、前記通常動き補償部によるフィルタ処理を行い、
前記負荷判定部が、前記プロセッサの負荷量が前記所定の値を超えると判定した場合には、前記動き補償部は、前記高速動き補償部によるフィルタ処理を行う、請求項１０記載の画像復号装置。
【請求項１２】
前記高速動き補償部は、ローパス特性を有する２タップの第１フィルタと、エッジ強調特性を有する４タップの第２フィルタとを有し、前記第１フィルタと前記第２フィルタを所定のフレーム数ごとに切替えて、前記動き補償画像データを生成し、
前記通常動き補償部は、タップ値（１、−５、２０、２０、−５、１）を有する６タップの第３フィルタを有し、前記動き補償画像データを生成する、請求項１１記載の画像復号装置。
【請求項１３】
前記第１フィルタと前記第２フィルタと前記第３フィルタとは、回路構成を動的に変更できる回路で構成される、請求項１２記載の画像復号装置。
【請求項１４】
可変長符号化された画像データを復号する画像復号方法であって、
前記画像データを可変長復号し、量子化係数と動きベクトルを生成する可変長復号ステップと、
前記量子化係数を逆量子化してＤＣＴ係数を生成する逆量子化ステップと、
前記ＤＣＴ係数を逆直交変換して差分画像データを生成する逆直交変換ステップと、
前記動きベクトルと参照画像データとを用いて、動き補償画像データを生成する動き補償ステップと、
前記差分画像データと前記動き補償画像データとを加算して、再構成画像デ−タを生成する加算ステップと、
前記再構成画像デ−タをデブロックフィルタ処理して復号画像データを生成するフィルタリングステップと、
前記復号画像データを前記参照画像データとして格納する格納ステップとを含み、
前記動き補償ステップは、前記参照画像データに対して、フレームごとに異なる特性のフィルタ処理を行い、前記動き補償画像データを生成する画像復号方法。
【請求項１５】
前記動き補償ステップは、ローパス特性を有する第１フィルタ処理と、エッジ強調特性を有する第２フィルタ処理とを所定のフレーム数ごとに切替えて実行し、前記動き補償画像データを生成する請求項１４記載の画像復号方法。
【請求項１６】
前記画像データの復号における処理の少なくとも一部と、前記画像データの復号処理以外の処理とを行うプロセッサの負荷量を示す負荷情報に基づいて、前記プロセッサの負荷量を判定する負荷判定ステップをさらに含み、
前記動き補償ステップは、前記負荷判定ステップにおける判定結果に基づいて、前記参照画像データに対して、フレームごとに異なる特性のフィルタ処理を行い、前記動き補償画像データを生成する請求項１４記載の画像復号方法。
【請求項１７】
前記負荷判定ステップにおいて、前記プロセッサの負荷量が所定の値以下であると判定された場合には、前記動き補償ステップは、通常の演算量の通常動き補償処理を行い、
前記負荷判定ステップにおいて、前記プロセッサの負荷量が前記所定の値を超えると判定された場合には、前記動き補償ステップは、前記通常動き補償処理よりも演算量の少ない高速動き補償処理を行う、請求項１６記載の画像復号方法。
【請求項１８】
前記高速動き補償処理は、ローパス特性を有する２タップフィルタによる第１フィルタ処理と、エッジ強調特性を有する４タップフィルタによる第２フィルタ処理とを所定のフレーム数ごとに切替えて実行し、前記動き補償画像データを生成し、
前記通常動き補償処理は、タップ値（１、−５、２０、２０、−５、１）を有する６タップフィルタによる第３フィルタ処理を実行し、前記動き補償画像データを生成する、請求項１７記載の画像復号方法。
【請求項１９】
可変長符号化された画像データを可変長復号し、量子化係数と動きベクトルを生成する可変長復号部と、
前記量子化係数を逆量子化してＤＣＴ係数を生成する逆量子化部と、
前記ＤＣＴ係数を逆直交変換して差分画像データを生成する逆直交変換部と、
前記動きベクトルと参照画像データとを用いて、動き補償画像データを生成する動き補償部と、
前記差分画像データと前記動き補償画像データとを加算して、再構成画像デ−タを生成する加算部と、
前記再構成画像デ−タをデブロックフィルタ処理して復号画像データを生成するループ内フィルタと、
前記復号画像データを前記参照画像データとして格納するフレームメモリとを備え、
前記動き補償部は、前記参照画像データに対して、フレームごとに異なる特性のフィルタ処理を行い、前記動き補償画像データを生成する半導体集積回路。
【請求項２０】
前記動き補償部は、ローパス特性を有する第１フィルタと、エッジ強調特性を有する第２フィルタとを有し、前記第１フィルタと前記第２フィルタを所定のフレーム数ごとに切替えて、前記動き補償画像データを生成する請求項１９記載の半導体集積回路。
【請求項２１】
前記画像データの復号処理の一部と、前記画像データの復号処理以外の処理とを行うプロセッサの負荷量を示す負荷情報に基づいて、前記プロセッサの負荷量を判定する負荷判定部をさらに備え、
前記動き補償部は、
通常のフィルタ処理を行う通常動き補償部と、
前記通常動き補償部が行うフィルタ処理よりも演算量の少ないフィルタ処理を行う高速動き補償部とを備え、
前記負荷判定部が、前記プロセッサの負荷量が所定の値以下であると判定した場合には、前記動き補償部は、前記通常動き補償部によるフィルタ処理を行い、
前記負荷判定部が、前記プロセッサの負荷量が前記所定の値を超えると判定した場合には、前記動き補償部は、前記高速動き補償部によるフィルタ処理を行う、請求項１９記載の半導体集積回路。
【請求項２２】
前記高速動き補償部は、ローパス特性を有する２タップの第１フィルタと、エッジ強調特性を有する４タップの第２フィルタとを有し、前記第１フィルタと前記第２フィルタを所定のフレーム数ごとに切替えて、前記動き補償画像データを生成し、
前記通常動き補償部は、タップ値（１、−５、２０、２０、−５、１）を有する６タップの第３フィルタを有し、前記動き補償画像データを生成する、請求項２１記載の半導体集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号装置に関し、特に画面間符号化された画像データを復号する際に使用される動き補償処理の高速化技術に関するものである。
【背景技術】
【０００２】
動画像データの符号化及び符号化動画像データの復号に関する標準規格として、ＩＴＵーＴ（国際電気通信連合  電気通信標準化部門）が勧告したＨ．２６４がある。
【０００３】
図１９は、Ｈ．２６４で開示されている従来の画像復号装置１のブロック図である。画像復号装置１は、可変長復号部２、逆量子化部３、逆直交変換部４、動き補償部５、加算部６、ループ内フィルタ７、及び、フレームメモリ８を備える。
【０００４】
入力端子１ａに入力された可変長符号化信号（ビットストリーム）が画面内符号化されている場合は、可変長復号部２は、入力された可変長符号化信号を可変長復号し、量子化係数を出力する。出力された量子化係数は、逆量子化部３によって、ＤＣＴ係数に逆量子化され、逆直交変換部４によって、復号画像データに逆直交変換される。復号画像データは、ループ内フィルタ７によってフィルタ処理され、出力端子１ｂに復号画像として出力されるとともに、フレームメモリ８に参照画像データとして格納される。
【０００５】
入力された可変長符号化信号が画面間符号化されている場合は、可変長復号部２は、入力された可変長符号化信号を可変長復号し、量子化係数と動きベクトルを出力する。出力された量子化係数は、逆量子化部３によって、ＤＣＴ係数に逆量子化され、逆直交変換部４によって、差分画像データに逆直交変換される。動き補償部５は、可変長復号部２が出力した動きベクトルに応じて、すでに復号されてフレームメモリ８に格納されている、参照フレームの参照画像データを動き補償して、動き補償画像データを生成する。加算部６は、差分画像データと動き補償画像データを加算して、再構成画像データを生成する。再構成画像データは、ループ内フィルタ７によってフィルタ処理され、出力端子１ｂに復号画像として出力されるとともに、フレームメモリ８に参照画像データとして格納される。
【０００６】
上述した可変長符号化動画像データの復号において、演算量の多い処理は、動き補償部５における、動き補償処理のためのフィルタ処理と、ループ内フィルタ７におけるブロック間ひずみ低減のためのフィルタ処理（デブロッキングフィルタ処理）である。
【０００７】
動画像データを扱う携帯情報端末（例えば、携帯電話）において、演算量の多い動画像データの復号は、処理能力及び処理に要する消費電力の観点から、重要な問題を呈している。すなわち、処理能力の低い携帯情報端末においては、受信した動画像データを時間内に復号することができず、表示画面の乱れやコマ落ちなどの問題が発生する。また、通常バッテリーで駆動されている携帯情報端末においては、受信した動画像データを復号することで、消費電力が増大し、バッテリーの消耗が早まるという問題が発生する。一般に、動画像データの復号における処理を一部省略したり簡素化したりすると、復号された動画像の画質が劣化する。したがって、携帯情報端末における動画像データの復号では、復号に要する演算量の削減と、復号された動画像の画質の確保をいかにバランスさせるかが重要である。
【０００８】
動画像データの復号における演算量の削減と復号画像の画質劣化防止に関して、いくつかの技術が開示されている。
【０００９】
特許文献１は、符号化時における量子化情報を用いてブロック歪やモスキートの出現を予測し、ループ内フィルタ７をローパスフィルタとエッジ強調フィルタに適宜切り替え、復号画像の高品質化を図る技術を開示する。特許文献１が開示する技術は、動きの大きな画像に対して符号量を減らすために量子化ステップを大きくとった場合に発生するブロック歪を低減するとともに、画像に輪郭がぼけるのを防止することが目的であって、復号に要する演算量の低減については言及していない。また、復号に要する演算量が最も多い、動き補償部５のフィルタ処理については全く述べられていない。
【００１０】
特許文献２は、多様な状況に応じて、画質に力点を置いた高画質な画像の符号化／復号と、処理量に力点を置いた低画質・低処理量の画像の符号化／復号とを選択できる画像符号化装置及び復号装置に関する技術を開示する。特許文献２が開示する技術は、符号化／復号する画像の画質に応じて、画素間フィルタ（図１９のループ内フィルタ７に相当する）を切替える。しかし、特許文献２が開示する技術は、符号化のときに使用した画素間フィルタと同じ画素間フィルタを使用して復号を行うことを前提としている。そのため、復号時のみ演算量を削減したい場合においては、適用が困難である。また、復号に要する演算量が最も多い、動き補償部５のフィルタ処理については、全く述べられていない。
【００１１】
特許文献３は、復号に係るＣＰＵの処理に余裕があるかないかに応じて、逆直交変換部４と動き補償部５における処理を、通常の処理モードにするか、演算量の少ない処理モードにするかを選択できる技術を開示する。特許文献３が開示する技術では、逆直交変換部４は、演算量の少ない処理モードにおいて、通常の８×８個のＤＣＴ係数に対して、４×８個のＤＣＴ係数または４×４個のＤＣＴ係数のみを逆変化することで演算量を削減する。その結果、当然画質の劣化が起こる。また、動き補償部５では、演算量の少ない処理モードにおいて、双方向の画像を参照して行う通常の動き補償処理を、一方向の画像のみを参照して行う片方向動き補償処理に限定する。こうすることによって、復号に係るＣＰＵの処理に余裕がない場合の演算量を削減し、復号処理の遅れによるコマ落ちの発生を抑制している。しかし、特許文献３が開示する技術では、復号処理で最も演算量の多い動き補償部５におけるフィルター処理は、通常の処理モードでも演算量の少ない処理モードでも、同じものであり、その結果、演算量の削減効果は乏しいと言わざるを得ない。
【００１２】
以上述べたように、従来の技術では、復号に要する演算量が最も多い、動き補償部５のフィルタ処理についての検討がほとんどなされていない。また、演算量の削減のための復号処理の一部省略は、必然的に、復号画像の画質劣化を伴うが、演算量の削減効果と画質劣化のトレードオフという観点からの考察はなされていない。
【特許文献１】特開２００３−１８６００号公報
【特許文献２】特開２００３−１７９９３３号公報
【特許文献３】特開２００４−２８９７４５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
そこで本発明は、画質劣化を考慮しつつ、復号処理における動き補償処理のフィルタによる演算量を削減し、動き補償処理を高速化した画像復号装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
第１の発明に係る画像復号装置は、既に復号されフレームメモリに記憶されている参照画像データを参照して、圧縮された画像データを復号する画像復号装置であって、画像データを復号し、復号データと動きベクトルを出力する可変長復号手段と、既に復号されフレームメモリに記憶されている参照画像データから、可変長復号手段により生成された動きベクトルに基づいて予測画像データを生成する動き補償手段とを備え、動き補償手段は、第１フィルタと、第２フィルタと、第１フィルタと第２フィルタを制御する制御手段とを含み、動き補償手段は、符号化のときに動き補償処理において使用されたフィルタとは無関係に、第１フィルタと第２フィルタを切り替える。
【００１５】
第２の発明に係る画像復号装置は、第１の発明に加え、第１フィルタをローパスフィルタで構成し、第２フィルタをエッジ強調フィルタで構成する。
【００１６】
これらの構成によれば、より演算量の少ない第１フィルタと第２フィルタを交互に切替えて動き補償処理を行うことにより、画質劣化を抑制し、演算量を削減することができる。
【００１７】
第３の発明に係る画像復号装置は、可変長符号化された画像データを復号する画像復号装置であって、画像データを可変長復号し、量子化係数と動きベクトルを生成する可変長復号部と、量子化係数を逆量子化してＤＣＴ係数を生成する逆量子化部と、ＤＣＴ係数を逆直交変換して差分画像データを生成する逆直交変換部と、動きベクトルと参照画像データとを用いて、動き補償画像データを生成する動き補償部と、差分画像データと動き補償画像データとを加算して、再構成画像デ−タを生成する加算部と、再構成画像デ−タをデブロックフィルタ処理して復号画像データを生成するループ内フィルタと、復号画像データを参照画像データとして格納するフレームメモリとを備え、動き補償部は、参照画像データに対して、フレームごとに異なる特性のフィルタ処理を行い、動き補償画像データを生成する。
【００１８】
この構成によれば、動き補償部において、フレームごとに異なる特性のフィルタ処理を行うことにより、より演算量の少ないフィルタ処理を行っても、画質劣化を抑制できる。この結果、この構成によれば、演算量の削減効果と画質劣化のバランスを保つことができる。
【００１９】
第４の発明に係る画像復号装置は、第３の発明に加え、動き補償部は、フィルタ特性が異なる複数のフィルタを有し、複数のフィルタを所定のフレーム数ごとに切替えて、動き補償画像データを生成する。
【００２０】
この構成によれば、動き補償部において、フィルタ特性が異なる複数のフィルタを所定のフレーム数ごとに切替えて、画質劣化を抑制しつつ、フィルタによる演算量を低減できる。
【００２１】
第５の発明に係る画像復号装置は、第３の発明に加え、動き補償部は、ローパス特性を有する第１フィルタと、エッジ強調特性を有する第２フィルタとを有し、第１フィルタと第２フィルタを所定のフレーム数ごとに切替えて、動き補償画像データを生成する。
【００２２】
この構成によれば、動き補償部において、ローパスフィルタとエッジ強調フィルタをフレームごとに切替えて、フィルタ処理することにより、画質劣化を抑制しつつ、フィルタによる演算量を低減できる。
【００２３】
第６の発明に係る画像復号装置は、第５の発明に加え、第２フィルタは、タップ数が６タップ未満であるタップフィルタで構成され、第１フィルタは、タップ数が第２フィルタのタップ数未満であるタップフィルタで構成される。
【００２４】
第７の発明に係る画像復号装置は、第５の発明に加え、第１フィルタは、２タップフィルタで構成され、第２フィルタは、４タップフィルタで構成される。
【００２５】
このれら構成によれば、第１フィルタを２タップのローパスフィルタで構成し、第２フィルタを４タップのエッジ強調フィルタで構成して、それらをフレームごとに切替えることにより、画質劣化を抑制しつつ、フィルタによる演算量を低減できる。
【００２６】
第８の発明に係る画像復号装置は、第５の発明に加え、第１フィルタと第２フィルタとは、回路構成を動的に変更できる回路で構成される。
【００２７】
この構成によれば、フィルタの回路構成を状況に応じて変更できる動き補償部を実現できる。
【００２８】
第９の発明に係る画像復号装置は、第３の発明に加え、画像データの復号における処理の少なくとも一部と、画像データの復号処理以外の処理とを行うプロセッサの負荷量を示す負荷情報に基づいて、プロセッサの負荷量を判定する負荷判定部をさらに備え、動き補償部は、負荷判定部の判定結果に基づいて、参照画像データに対して、フレームごとに異なる特性のフィルタ処理を行い、動き補償画像データを生成する。
【００２９】
この構成によれば、画像データの復号に係っているプロセッサの負荷状態に応じて、演算量の異なるフィルタを有する動き補償部を利用できるので、プロセッサの負荷量が大きい場合でも、所定の時間内に動き補償処理を完了でき、コマ落ちの発生を抑制できる。
【００３０】
第１０の発明に係る画像復号装置は、第９の発明に加え、動き補償部は、通常のフィルタ処理を行う通常動き補償部と、通常動き補償部が行うフィルタ処理よりも演算量の少ないフィルタ処理を行う高速動き補償部とを備え、負荷判定部が、プロセッサの負荷量が所定の値以下であると判定した場合には、動き補償部は、通常動き補償部によるフィルタ処理を行い、負荷判定部が、プロセッサの負荷量が所定の値を超えると判定した場合には、動き補償部は、高速動き補償部によるフィルタ処理を行う。
【００３１】
この構成によれば、画像データの復号に係っているプロセッサの処理に余裕がある場合には、動き補償部は、通常のフィルタ処理を行い、プロセッサの処理に余裕がない場合のみ、演算量を削減した、高速のフィルタ処理を行うことができる。この結果、復号画像の画質劣化を、極力抑えることができる。
【００３２】
第１１の発明に係る画像復号装置は、第１０の発明に加え、高速動き補償部は、ローパス特性を有する２タップの第１フィルタと、エッジ強調特性を有する４タップの第２フィルタとを有し、第１フィルタと第２フィルタを所定のフレーム数ごとに切替えて、動き補償画像データを生成し、通常動き補償部は、タップ値（１、−５、２０、２０、−５、１）を有する６タップの第３フィルタを有し、動き補償画像データを生成する。
【００３３】
この構成によれば、Ｈ．２４６によって規格化されている６タップフィルタを使用して、通常の動き補償処理を実行し、ローパス特性を有する２タップフィルタとエッジ強調特性を有する４タップフィルタを交互に切替えて、演算量の少ない高速の動き補償処理を実行できる。この結果、復号画像の画質劣化を、極力抑えることができる。
【００３４】
第１２の発明に係る画像復号装置は、第１１の発明に加え、第１フィルタと第２フィルタと第３フィルタとは、回路構成を動的に変更できる回路で構成される。
【００３５】
この構成によれば、動き補償部のフィルタの回路構成を状況に応じて、好適に変更できる。
【発明の効果】
【００３６】
本発明によれば、画質劣化を考慮しつつ、復号処理における動き補償処理のフィルタによる演算量を削減し、動き補償処理を高速化した画像復号装置を提供できる。
【発明を実施するための最良の形態】
【００３７】
以下図面を参照しながら、本発明の実施の形態を説明する。
【００３８】
（実施の形態１）
図１は、本発明の実施の形態１における画像復号装置のブロック図である。本形態の画像復号装置１０は、可変長復号部２１、逆量子化部２２、逆直交変換部２３、加算部２４、ループ内フィルタ２５、フレームメモリ２６、及び、動き補償部１００を備えている。
【００３９】
入力端子９１に入力された可変長符号化信号（ビットストリーム）が、画面間符号化されている場合について、本形態の画像復号装置１０の動作を以下に説明する。
【００４０】
可変長復号部２１は、入力された可変長符号化信号を可変長復号し、量子化係数と動きベクトルを出力する。出力された量子化係数は、逆量子化部２２によって、ＤＣＴ係数に逆量子化され、逆直交変換部２３によって、差分画像データに逆直交変換される。動き補償部１００は、可変長復号部２１が出力した動きベクトルに応じて、すでに復号されてフレームメモリ２６に格納されている、参照フレームの参照画像データを動き補償して、動き補償画像データを生成する。加算部２４は、差分画像データと動き補償画像データを加算して、再構成画像データを生成する。再構成画像データは、ループ内フィルタ２５によってフィルタ処理され、出力端子９９に復号画像として出力されるとともに、フレームメモリ２６に参照画像データとして格納される。
【００４１】
動き補償部１００における動作を除けば、本形態のその他の構成要素の動作は、従来技術として説明した図１９の画像復号装置１の対応する構成要素の動作と同じである。従って、以下の記述では、主として動き補償部１００に焦点をあわせて説明する。
【００４２】
本形態の動き補償部１００は、第１フィルタ１１１と第２フィルタ１１２とを有するフィルタ部１１０と、それを制御する制御部１２０とを含む。第１フィルタ１１１は、ローパス特性を有する２タップフィルタである。第２フィルタ１１２は、エッジ強調特性を有する４タップフィルタである。
【００４３】
なお、可変長復号手段は、可変長復号部２１に相当し、動き補償手段は、動き補償部１００に相当し、制御手段は、制御部１２０に相当する。
【００４４】
本形態の動き補償部１００は、可変長復号部２１から出力された動きベクトルに従って、フレームメモリ２６に格納されている前フレームの参照画像データに対して、第１フィルタ１１１または第２フィルタ１１２によるフィルタ処理を施し、動き補償された動き補償画像データを生成する。この時、フィルタ部１１０は、制御部１２０の制御の下で、第１フィルタ１１１と第２フィルタ１１２とを１フレームごとに切替える。こうすることによって、演算量が少ないフィルタを使用しているにもかかわらず、復号画像の画質劣化をかなり抑制できる。
【００４５】
本発明のより詳細な説明を行う前に、本発明者が、第１フィルタ１１１と第２フィルタ１１２とを１フレームごとに切替えることが、必要演算量を大幅に削減しているにも拘らず、復号画像の画質劣化の抑制に効果がある、という着想に至った経緯を先ず述べる。
【００４６】
Ｈ．２６４によれば、動きベクトルに従って、１／２画素精度の動き補償画像データを求める場合、動き補償部（例えば、図１の動き補償部１００）は、参照画像データに対して、タップ値（１、−５、２０、２０、−５、１）を有する６タップフィルタを用いたフィルタ処理を行う。
【００４７】
図８は、整数精度画素と１／２精度画素の配置図である。図８において、１／２精度画素の画素値ａは、その近傍の６個の整数精度画素の画素値Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆを用いて次式のように算出される。
【００４８】
ａ＝（Ａ−５Ｂ＋２０Ｃ＋２０Ｄ−５Ｅ＋Ｆ＋１６）＞＞５
ここで、カッコ内の各係数は、上述した６タップフィルタのタップ値であり、定数「１６」は、丸め演算のための定数であり、符号と数値「＞＞５」は、規格化のために行う値「３２」による除算に相当する５ビットシフト演算である。
【００４９】
上述した６タップフィルタによるフィルタ処理は、演算量が多い。したがって、携帯情報端末などで動画像データを復号する場合は、計算資源が限られているために６タップフィルタの演算量が問題になる。そこで、本発明者は、演算量を削減するために、６タップフィルタよりもタップ数が少ない２タップフィルタと４タップフィルタを、６タップフィルタに代用することを考察した。（なお、２タップフィルタは、リニアフィルタであるが、バイリニアフィルタと俗称されることもある。本明細書では、名称として２タップフィルタを用いる。）
図９は、２タップフィルタ、４タップフィルタ、及び６タップフィルタの周波数特性を示す。図９に示す周波数特性を求めた２タップフィルタは、タップ値（１、１）を有し、４タップフィルタは、タップ値（−４、２０、２０、−４）を有する。
【００５０】
図９に示すように、２タップフィルタの周波数特性（曲線Ａ）は、６タップフィルタの周波数特性（曲線Ｃ）に比べて、カットオフ周波数が低く、ローパス特性を有していることが分かる。このため、動き補償処理に２タップフィルタを用いて復号した復号画像は、境界がぼやけた画像になる。また、この復号画像は、次のフレームの参照画像として用いられるので、画像のぼけが蓄積するすることになる。このため、フレーム間符号化されたフレームが続くに従って復号画像の画質劣化が激しくなるという問題が生じる。
【００５１】
次に、４タップフィルタの周波数特性（曲線Ｂ）は、６タップフィルタの周波数特性（曲線Ｃ）に比べて、通過域の利得が高くなっている。このため、４タップフィルタで動き補償処理を行い復号した復号画像は、特定の周波数成分が大きくなり、境界が強調された画像となる。この画像の歪みは、フレーム間符号化されたフレームが続くに従って蓄積され、復号画像のさらなる画質劣化をもたらす。
【００５２】
このように、２タップフィルタと４タップフィルタによる動き補償処理は、６タップフィルタによる動き補償処理に比べて、演算量は大幅に削減されるものの、復号画像の画質劣化が著しい。しかし、それらの画質劣化の状態を仔細に考察すると、２タップフィルタを用いた復号画像は、境界がぼやけた画像になり、４タップフィルタを用いた復号画像は、境界が強調された画像になる。このことは、２タップフィルタと４タップフィルタを交互に用いれば、フレーム間符号化されたフレームが続くことによる画質の蓄積効果が作用して、画像の境界のぼけと強調が相殺され、画質劣化を抑制できることを意味している。
【００５３】
本発明者は、この現象にヒントを得て、動き補償処理におけるフィルタ処理を、２タップフィルタと４タップフィルタを１フレームごとに切替えて実行することを着想した。以下にその効果を述べる。
【００５４】
図１０は、６タップフィルタによる１／２精度画素の生成過程を示す説明図である。フレームＰ２（画素ｂ１〜ｂ８）は、フレームＰ１（画素ａ１〜ａ１１）を参照画像として、１／２精度画素の補間を行ったフレームである。フレームＰ３（画素ｃ１〜ｃ８）は、フレームＰ２を参照画像として、１／２精度画素の補間を行ったフレームである。フレームＰ１に６タップフィルタ（タップ値（１，−５，２０，２０，−５，１）を掛けてフレームＰ２を生成し、さらにフレームＰ２に同じ６タップフィルタを掛けてフレームＰ３を生成する。このときのフィルタ特性は、（数１）のように求まる。
【００５５】
【数１】
2007306538.tif 000003
【００５６】
ここで、（数１）において、右辺は、規格化を行うために定数３２で割り算している。（数１）より、６タップフィルタを２回掛けることは、タップ値（１，−１０，６５，−１６０，１９０，８５２，１９０，−１６０，６５，−１０，１）（規格化定数＝１０２４）の１１タップフィルタをフレームＰ１に掛けて、フレームＰ３を生成することと等価であることが分かる。
【００５７】
次に、上述の１１タップフィルタの周波数応答を求める。（数１）をｚ変換した後に、指数関数を三角関数に変換して（数２）を得る。
【００５８】
【数２】
2007306538.tif 000004
【００５９】
上述の１１タップフィルタの周波数応答は、（数２）の振幅項（Ｈ（ω）の絶対値）によって与えられ、（数３）のようになる。
【００６０】
【数３】
2007306538.tif 000005
【００６１】
図１１は、２タップフィルタによる１／２精度画素の生成過程を示す説明図である。図１１では、フレームＰ１に、タップ値（１、１）（規格化定数＝２）の２タップフィルタを掛けて、フレームＰ２を作成し、さらに、フレームＰ２に同じ２タップフィルタを掛けて、フレームＰ３を作成する。このときのフィルタ特性は、（数４）のように求まる。
【００６２】
【数４】
2007306538.tif 000006
【００６３】
（数４）より、２タップフィルタを２回掛けることは、タップ値（１，２，１）（規格化定数４）の３タップフィルタをフレームＰ１に掛けて、フレームＰ３を生成することと等価であることが分かる。
【００６４】
次に、この３タップフィルタの周波数応答を求める。（数２）の導出と同様な演算により、（数５）が得られる。
【００６５】
【数５】
2007306538.tif 000007
【００６６】
これより、３タップフィルタの周波数応答は、（数５）の振幅項（Ｈ（ω）の絶対値）より与えられ、（数６）のようになる。
【００６７】
【数６】
2007306538.tif 000008
【００６８】
図１２は、４タップフィルタによる１／２精度画素の生成過程を示す説明図である。
【００６９】
図１２では、フレームＰ１に、タップ値（−４，２０，２０，−４）（規格化定数＝３２）の４タップフィルタを掛けて、フレームＰ２を作成し、さらに、フレームＰ２に同じ４タップフィルタを掛けて、フレームＰ３を作成する。このときのフィルタ特性は、（数７）のように求まる。
【００７０】
【数７】
2007306538.tif 000009
【００７１】
（数７）より、４タップフィルタを２回掛けることは、タップ値（１，−１０，１５，５２，１５，−１０，１）（規格化定数６４）の７タップフィルタをフレームＰ１に掛けて、フレームＰ３を生成することと等価であることが分かる。
【００７２】
次に、この７タップフィルタの周波数応答を求める。（数２）の導出と同様な演算により、（数８）が得られる。
【００７３】
【数８】
2007306538.tif 000010
【００７４】
これより、７タップフィルタの周波数応答は、（数８）の振幅項（Ｈ（ω）の絶対値）より与えられ、（数９）のようになる。
【００７５】
【数９】
2007306538.tif 000011
【００７６】
図１３は、２タップフィルタと４タップフィルタによる１／２精度画素の生成過程を示す説明図である。
【００７７】
図１３では、フレームＰ１に、タップ値（１、１）（規格化定数＝２）の２タップフィルタを掛けて、フレームＰ２を作成し、さらに、フレームＰ２に、タップ値（−４，２０，２０，−４）（規格化定数＝３２）の４タップフィルタを掛けて、フレームＰ３を作成する。このときのフィルタ特性は、（数１０）のように求まる。
【００７８】
【数１０】
2007306538.tif 000012
【００７９】
（数１０）より、２タップフィルタと４タップフィルタを掛けることは、タップ値（−１，４，１０，４，−１）（規格化定数１６）の５タップフィルタをフレームＰ１に掛けて、フレームＰ３を生成することと等価であることが分かる。
【００８０】
次に、この５タップフィルタの周波数応答を求める。（数２）の導出と同様な演算により、（数１１）が得られる。
【００８１】
【数１１】
2007306538.tif 000013
【００８２】
これより、７タップフィルタの周波数応答は、（数１１）の振幅項（Ｈ（ω）の絶対値）より与えられ、（数１２）のようになる。
【００８３】
【数１２】
2007306538.tif 000014
【００８４】
図１４は、タップフィルタを２回掛けたときの周波数応答の図である。同図において、曲線Ｄは、２タップフィルタを連続して掛けた場合（数６）、曲線Ｅは、２タップフィルタと４タップフィルタを交互に掛けた場合（数１２）、曲線Ｆは、４タップフィルタを連続して掛けた場合（数９）、曲線Ｇは、６タップフィルタを連続して掛けた場合（数３）の、周波数応答をそれぞれ示す。
【００８５】
図１４より、２タップフィルタと４タップフィルタを交互に掛けた場合の周波数応答は、２タップフィルタを２回連続して掛けた場合より、カットオフ周波数が高く、画質のぼけ具合が改善されることが分かる。また、２タップフィルタと４タップフィルタを交互に掛けた場合の周波数応答は、４タップフィルタを２回連続して掛けた場合より、カットオフ周波数が低くなっているが、通過域での周波数応答が平坦になっているため、通過域での周波数応答の歪みに起因する画像の劣化が少なくなることが分かる。
【００８６】
図１４に示した周波数応答の違いによる、画質の違いをより明確にするために、以下の主観評価実験を実施した。
【００８７】
動き補償処理に６タップフィルタを使った復号画像を基準の画像として、２タップフィルタを使った復号画像、４タップフィルタを使った復号画像、２タップフィルタと４タップフィルタを１フレームごとに使った復号画像を準備し、それらの画質を表１に示す５段階で評価した。
【００８８】
【表１】
2007306538.tif 000015
【００８９】
主観評価実験は、表２に示す条件で行った。
【００９０】
【表２】
2007306538.tif 000016
【００９１】
主観評価実験では、基準画像（６タップフィルタ使用）を最初に提示し、その後、使用したフィルタのタップ数を伏して３つの被評価画像を順に提示し、評価を行った。表３に主観評価実験の結果を示す。
【００９２】
【表３】
2007306538.tif 000017
【００９３】
表３には、３つの被評価画像について、基準画像（６タップフィルタ使用）の主観評価ポイントを５点として、１０人の主観評価ポイントの平均点を示している。同図には、併せて、動き補償処理に各フィルタを使用したときの相対的な必要演算量を示している。
【００９４】
この主観評価実験によれば、２タップフィルタまたは４タップフィルタを用いた動き補償処理による復号画像は、主観評価ポイントが１．７または１．６であり、画質劣化は、視覚的に邪魔になるほど著しい。しかし、２タップフィルタと４タップフィルタをフレームごとに交互に用いた動き補償処理による復号画像は、主観評価ポイントが２．９で、評価基準の「劣化が気になるが邪魔にならない」に極めて近いことが判明した。しかも、２タップフィルタと４タップフィルタをフレームごとに交互に用いた動き補償処理の必要演算量は、６タップフィルタを用いた動き補償処理の必要演算量の５５％にまで、削減できている。
【００９５】
すなわち、本発明の２タップフィルタと４タップフィルタをフレームごとに交互に用いる動き補償処理によれば、主観的画質劣化がかなり抑制され、動き補償処理の必要演算量を大幅に削減できることが明らかとなった。このことより、動き補償処理において、第１フィルタ１１１と第２フィルタ１１２とを１フレームごとに切替えることが、必要演算量を大幅に削減しているにも拘らず、復号画像の画質劣化の抑制に効果があるという本発明者の着想の正当性が証明された。
【００９６】
次に、図１に示す本形態の画像復号装置１０の動作をさらに詳しく説明する。
【００９７】
図１５は、本発明の実施の形態１における画像復号装置１０のフローチャートである。
【００９８】
ステップＳ０で復号処理が開始される。
【００９９】
ステップＳ１において、第１フィルタ１１１と第２フィルタ１１２のどちらのフィルタを当該フレームの動き補償処理に使用するかが決定され、決定されたフィルタを示すフィルタフラグが保存される。このフィルタ制御ステップの詳細は、後述する。
【０１００】
続いて、当該フレームのマクロブロック毎に復号処理を行う。
【０１０１】
ステップＳ２において、可変長復号部２１は、入力された可変長符号化信号の先頭マクロブロックに対して可変長復号を行い、量子化係数と動きベクトルを出力する。
【０１０２】
ステップＳ３において、逆量子化部２２は、ステップＳ２において出力された量子化係数に対して、逆量子化処理を行い、ＤＣＴ係数を出力する。
【０１０３】
ステップＳ４において、逆直交変換部２３は、ステップＳ３において出力されたＤＣＴ係数を逆直交変換して、差分画像データを出力する。
【０１０４】
ステップＳ５において、動き補償部１００の制御部１２０は、ステップＳ１において保存されたフィルタフラグを判定する。フィルタフラグが第１フィルタ１１１を示す場合は、制御をステップＳ６に進め、フィルタ部１１０は、第１フィルタ１１１を選択して、動き補償処理を行う。フィルタフラグが第２フィルタ１１２を示す場合は、制御をステップＳ７に進め、フィルタ部１１０は、第２フィルタ１１２を選択して、動き補償処理を行う。この時、フィルタ部１１０は、ステップＳ２において可変長復号部２１が出力した動きベクトルに応じて、すでに復号されてフレームメモリ２６に格納されている、参照フレームの参照画像データに対して動き補償処理を行ない、動き補償画像データを生成する。
【０１０５】
ステップＳ８にいて、加算部２４は、ステップＳ４において出力された差分画像データと、ステップＳ６またはステップＳ７において生成された動き補償画像データとを加算して、再構成画像データを生成する。さらに、再構成画像データは、ループ内フィルタ２５によってフィルタ処理され、出力端子９９に復号画像として出力されるとともに、フレームメモリ２６に参照画像データとして格納される。
【０１０６】
ステップＳ９において、当該マクロブロックが、当該フレームの最後のマクロブロックであるかどうかを判定する。判定の結果、当該マクロブロックが当該フレームの最後のマクロブロックでない場合は、制御は、ステップＳ２に戻り、次のマクロブロックについて復号処理を行う。判定の結果、当該マクロブロックが当該フレームの最後のマクロブロックである場合は、制御は、ステップＳ１０に進む。
【０１０７】
ステップＳ１０において、当該フレームが、ストリーム終端のフレームであるかどうかの判定を行う。判定の結果、当該フレームがストリーム終端のフレームでない場合は、制御は、ステップＳ１に戻り、次のフレームについて復号処理を行う。判定の結果、当該フレームがストリーム終端のフレームである場合は、制御はステップＳ１１に進み、復号処理を終了する。
【０１０８】
図１６は、本発明の実施の形態１における画像復号装置１０のフローチャートであり、図１５のステップＳ１のフィルタ制御ステップの詳細である。
【０１０９】
ステップＳ２０において、フィルタ制御が開始されると、ステップＳ２１において、前フレームの復号において使用されたフィルタフラグが読み込まれる。復号するフレームが最初のフレームの場合は、フィルタフラグは、第１フィルタフラグに設定される。（あるいは、フィルタフラグは、第２フィルタフラグに設定されても良い。）第１フィルタフラグは、フィルタ部１１０において、第１フィルタ１１１を使用することを示し、第２フィルタフラグは、フィルタ部１１０において、第２フィルタ１１２を使用することを示す。
【０１１０】
ステップＳ２２において、フィルタフラグが第１フィルタフラグか第２フィルタフラグかを判定する。判定の結果、フィルタフラグが第２フィルタフラグである場合は、ステップＳ２３において、フィルタフラグは、第１フィルタフラグに設定される。判定の結果、フィルタフラグが第１フィルタフラグである場合は、ステップＳ２４において、フィルタフラグは、第２フィルタフラグに設定される。
【０１１１】
ステップＳ２５において、新しく設定されたフィルタフラグが保存され、ステップＳ２６おいて処理が終了する。
【０１１２】
以上述べたフィルタ制御により、フィルタ部１１０が動き補償処理に使用するフィルタをフレームごとに交互に切替えることができる。
【０１１３】
図１７は、本発明の実施の形態１における復号画像とフィルタフラグの関係図である。フレーム番号「０」のフレームＩ０はフレーム内符号化されたフレームであるため、動き補償処理は行わない。
【０１１４】
次のフレームＰ１からフレーム間符号化されたフレームとなる。フレームＰ１の動き補償処理では、フィルタフラグは、第１フィルタフラグであり、第１フィルタ１１１を使用する。
【０１１５】
次のフレームＰ２の動き補償処理では、フィルタフラグは、第２フィルタフラグであり、第２フィルタ１１２を使用する。以下、第１フィルタ１１１と第２フィルタ１１２をフレームごとに交互に使用する。
【０１１６】
このように、本形態の画像復号装置１０は、動き補償処理に２タップフィルタと４タップフィルタをフレームごとに交互に使用して、必要演算量を通常の６タップフィルタの必要演算量の５５％に削減している。しかも、２タップフィルタと４タップフィルタを１フレームごとに交互に使用することにより、低次のフィルタを使用しているにも拘わらず、フレームメモリ２６における復号画像の画質の蓄積効果により、主観的な画質劣化を大幅に抑制している。
【０１１７】
従って、本形態の画像復号装置１０は、主観的な画質劣化を大幅に抑制しつつ、復号における演算量を大幅に削減できるので、演算量の削減要求が大きい携帯情報端末などにおいて、特に有効である。
【０１１８】
（実施の形態２）
図２は、本発明の実施の形態２における画像復号装置のブロック図である。図２において、 図１と同様な構成要素については、同一の符号を付すことにより、説明を省略する。
【０１１９】
図２に示す本形態の画像復号装置１１は、本発明の実施の形態１における画像復号装置１０に加え、負荷判定部２７をさらに備え、動き補償部２００は、高速動き補償部２１０と通常動き補償部２２０とを含む。
【０１２０】
負荷判定部２７は、本形態の画像復号装置１１の処理の一部（例えば、可変長復号部２１が行う動きベクトルの復号処理など）とそれ以外の処理（例えば、音声信号処理、通信処理など）を行うＣＰＵの負荷量を示す負荷情報を、入力端子９２から入力する。そして、負荷判定部２７は、負荷情報に基づいて、ＣＰＵの負荷量を所定の設定値と比較し、ＣＰＵの負荷量に余裕があると判断される場合は、動き補償部２００に通常動き補償部２２０を選択するように指示し、ＣＰＵの負荷量に余裕がないと判断される場合は、動き補償部２００に高速動き補償部２１０を選択するように指示する。通常動き補償部２２０は、通常の演算量を有し、高速動き補償部２１０は、通常動き補償部２２０が行う演算量よりも少ない演算量を有する。
【０１２１】
動き補償部２００の高速動き補償部２１０は、本発明の実施の形態１の動き補償部１００と同じものである。すなわち、本形態の動き補償部２１０は、第１フィルタ１１１と第２フィルタ１１２とを有するフィルタ部１１０と、それを制御する制御部１２０とを含む。第１フィルタ１１１は、ローパス特性を有する２タップフィルタである。第２フィルタ１１２は、エッジ強調特性を有する４タップフィルタである。したがって、高速動き補償部２１０は、演算量が削減されたフィルタ処理により、高速の動き補償処理を行うことができる。
【０１２２】
通常動き補償部２２０は、第３フィルタ２３３を有するフィルタ部２３０と、それを制御する制御部２４０とを備える。第３フィルタ２３３は、タップ値（１、−５、２０、２０、−５、１）を有する６タップフィルタであり、対象とする１／２精度画素の画素値を、その近傍の６個の整数精度画素の画素値を用いて生成する。従って、通常動き補償部２２０は、通常の演算量を有し、通常の動き補償処理を行う。そこで得られた復号画像は、通常の画質が確保される。
【０１２３】
なお、第１動き補償手段は、通常動き補償部２２０に相当し、第２動き補償手段は、高速動き補償部２１０に相当し、第２制御手段は、制御部１２０に相当し、第１制御手段は、負荷判定部２７に含まれる。
【０１２４】
図１８は、本発明の実施の形態２における画像復号装置のフローチャートである。図１８に従って、図２に示す本形態の画像復号装置１１の動作を説明する。
【０１２５】
ステップＳ３０で復号処理が開始される。
【０１２６】
ステップＳ３１において、第１フィルタ１１１と第２フィルタ１１２のどちらのフィルタを当該フレームの動き補償処理に使用するかが決定され、決定されたフィルタを示すフィルタフラグが保存される。このフィルタ制御ステップの詳細は、本発明の実施の形態１で説明した図１６と同じであり、従って、説明を省略する。
【０１２７】
続いて、当該フレームのマクロブロック毎に復号処理を行う。
【０１２８】
ステップＳ３２において、可変長復号部２１は、入力された可変長符号化信号の先頭マクロブロックに対して可変長復号を行い、量子化係数と動きベクトルを出力する。
【０１２９】
ステップＳ３３において、逆量子化部２２は、ステップＳ３２において出力された量子化係数に対して、逆量子化処理を行い、ＤＣＴ係数を出力する。
【０１３０】
ステップＳ３４において、逆直交変換部２３は、ステップＳ３３において出力されたＤＣＴ係数を逆直交変換して、差分画像データを出力する。
【０１３１】
ステップＳ３５において、負荷判定部２７は、ＣＰＵの負荷量を所定の値と比較して、ＣＰＵの処理に余裕があるかどうかを判定する。判定の結果、ＣＰＵの負荷量が所定の値を超える（「Ｙｅｓ」）の場合は、制御は、ステップＳ３６に進められる。判定の結果、ＣＰＵの負荷量が所定の値以下（「Ｎｏ」）の場合は、制御は、ステップＳ３７に進められる。
【０１３２】
ステップＳ３６おいて、動き補償部２００は、高速動き補償部２１０を選択する。
【０１３３】
ステップＳ３８おいて、高速動き補償部２１０の制御部１２０は、ステップＳ３１において保存されたフィルタフラグを判定する。フィルタフラグが第１フィルタ１１１を示す場合は、制御をステップＳ３９に進め、フィルタ部１１０は、第１フィルタ１１１を選択して、動き補償処理を行う。フィルタフラグが第２フィルタ１１２を示す場合は、制御をステップＳ４０に進め、フィルタ部１１０は、第２フィルタ１１２を選択して、動き補償処理を行う。この時、フィルタ部１１０は、ステップＳ３２において可変長復号部２１が出力した動きベクトルに応じて、すでに復号されてフレームメモリ２６に格納されている、参照フレームの参照画像データに対して動き補償処理を行ない、動き補償画像データを生成する。
【０１３４】
ステップＳ３７において、動き補償部２００は、通常動き補償部２２０を選択する。
【０１３５】
ステップＳ４１において、通常動き補償部２２０のフィルタ部２３０は、第３フィルタ２３３を用いて、通常の動き補償処理を行う。この時、フィルタ部２３０は、ステップＳ３２において可変長復号部２１が出力した動きベクトルに応じて、すでに復号されてフレームメモリ２６に格納されている、参照フレームの参照画像データに対して通常の動き補償処理を行ない、動き補償画像データを生成する。
【０１３６】
ステップＳ４２にいて、加算部２４は、ステップＳ３４において出力された差分画像データと、ステップＳ３６またはステップＳ３７において生成された動き補償画像データとを加算して、再構成画像データを生成する。さらに、再構成画像データは、ループ内フィルタ２５によってフィルタ処理され、出力端子９９に復号画像として出力されるとともに、フレームメモリ２６に参照画像データとして格納される。
【０１３７】
ステップＳ４３において、当該マクロブロックが、当該フレームの最後のマクロブロックであるかどうかを判定する。判定の結果、当該マクロブロックが当該フレームの最後のマクロブロックでない場合は、制御は、ステップＳ３２に戻り、次のマクロブロックについて復号処理を行う。判定の結果、当該マクロブロックが当該フレームの最後のマクロブロックである場合は、制御は、ステップＳ４４に進む。
【０１３８】
ステップＳ４４において、当該フレームが、ストリーム終端のフレームであるかどうかの判定を行う。判定の結果、当該フレームがストリーム終端のフレームでない場合は、制御は、ステップＳ３１に戻り、次のフレームの復号を行う。判定の結果、当該フレームがストリーム終端のフレームである場合は、制御はステップＳ４５に進み、処理を終了する。
【０１３９】
このように、ＣＰＵの負荷量に応じて、通常の演算量の通常の動き補償処理と演算量を削減した高速の動き補償処理とを切り替えることで、ＣＰＵの処理能力に余裕がない場合でも、ストリームの復号を続けることができる。また、演算量を削減した高速の動き補償処理は、２タップフィルタと４タップフィルタをフレームごとに切り替えて行うため、演算量削減による画質劣化を軽減することができる。
【０１４０】
（実施の形態３）
図３は、本発明の実施の形態３における画像復号装置のブロック図である。図３において、 図２と同様な構成要素については、同一の符号を付すことにより、説明を省略する。
【０１４１】
図３に示す本形態の画像復号装置１２は、本発明の実施の形態１における画像復号装置１０に加え、負荷判定部２７をさらに備え、動き補償部３００は、フィルタ部３１０と制御部３２０とを含む。フィルタ部３１０は、第１フィルタ１１１、第２フィルタ１１２、及び、第３フィルタ２３３と、それらを選択するセレクタ３４０を有する。
【０１４２】
本形態の動き補償部３００は、本発明の実施の形態２における動き補償部２００と同等な機能を有する。
【０１４３】
負荷判定部２７は、ＣＰＵの負荷量を示す負荷情報に基づいて、ＣＰＵの負荷量を所定の設定値と比較し、ＣＰＵの負荷量に余裕があると判断される場合は、動き補償部３００に通常の動き補償処理を選択するように指示し、ＣＰＵの負荷量に余裕がないと判断される場合は、動き補償部３００に通常よりも演算量を削減した高速の動き補償処理を選択するように指示する。
【０１４４】
制御部３２０は、負荷判定部２７からの指示を受けて、セレクタ３４０を制御し、フィルタの切り替えを行う。
【０１４５】
第１フィルタ１１１は、ローパス特性を有する２タップフィルタである。第２フィルタ１１２は、エッジ強調特性を有する４タップフィルタである。この２つのフィルタは、負荷判定部２７によってＣＰＵの負荷量に余裕がないと判断される場合に、フレームごとに交互に選択され、本発明の実施の形態２の高速動き補償部２１０の機能と同様の機能を果たす。
【０１４６】
第３フィルタ２３３は、タップ値（１、−５、２０、２０、−５、１）を有する６タップフィルタであり、負荷判定部２７によってＣＰＵの負荷量に余裕があると判断される場合に選択されて、本発明の実施の形態２の通常動き補償部２２０の機能と同様の機能を果たす。
【０１４７】
このように、本形態の動き補償部３００は、ＣＰＵの負荷量に応じて、通常の動き補償処理と、演算量が削減された、高速の動き補償処理を行うことができる。
【０１４８】
（実施の形態４）
図４は、本発明の実施の形態４における画像復号装置のブロック図である。図４において、 図１と同様な構成要素については、同一の符号を付すことにより、説明を省略する。
【０１４９】
図４に示す本形態の画像復号装置１３は、本発明の実施の形態１における画像復号装置１０に加え、第１メモリ２８と第２メモリ２９をさらに備え、動き補償部４００は、動的再構成フィルタ４１０、セレクタ４２０、及び、制御部４３０を含む。
【０１５０】
動的再構成フィルタ４１０は、必要に応じて短時間に回路構成を切り替えることが可能な、いわゆる動的再構成（ダイナミック・リコンフィギュラブル）技術を用いた回路で構成される。動的再構成技術を用いた回路は、構成情報を入れ替えるだけで容易にかつ短時間に回路を切り替えることができるため、回路が動作している間に複数の機能を切り替えることができる。
【０１５１】
動的再構成技術を用いた回路には、基本回路要素となるアーキテクチャをセレクタとレジスタによって再構成するものと、ＦＰＧＡなどの回路そのものを再構成するのとがある。本形態の動的再構成フィルタ４１０は、いずれの手法を用いて、構成しても良い。
【０１５２】
第１メモリ２８には、動的再構成フィルタ４１０を、本発明の実施の形態１の第１フィルタ１１１と同じ機能を有する回路構成にするための、第１再構成情報が格納されている。
【０１５３】
第２メモリ２９には、動的再構成フィルタ４１０を、本発明の実施の形態１の第２フィルタ１１２と同じ機能を有する回路構成にするための、第２再構成情報が格納されている。
【０１５４】
制御部４３０は、セレクタ４２０を制御して、１フレームごとに、第１再構成情報と第２再構成情報とを交互に選択して、動的再構成フィルタ４１０に出力する。
【０１５５】
動的再構成フィルタ４１０は、制御部４３０の制御の下、１フレームごとに、第１再構成情報に基づく第１フィルタ１１１と同じ機能を有する回路と、第２再構成情報に基づく第２フィルタ１１２と同じ機能を有する回路を構成する。この結果、本形態の動き補償部４００は、演算量を削減した、高速の動き補償処理を実行できる。
【０１５６】
従って、本形態の画像復号装置１３は、フレーム単位でフィルタの機能を再構成することにより、複数のフィルタの機能を１つの動的再構成フィルタ４１０で実現できるため、本発明の実施の形態１における画像復号装置１０に比べ、フィルタ機能を有する回路ブロックの数を少なくすることができる。その結果、本形態の画像復号装置１３は、回路規模を小さくすることができ、ＬＳＩ化した場合のコスト削減と消費電力の低減に効果がある。
【０１５７】
なお、本形態の画像復号装置１３では、動的再構成フィルタ４１０が、２つのフィルタを構成する場合を説明したが、本形態の画像復号装置１３は、これに限定されるものではない。例えば、動的再構成フィルタ４１０が３つ以上のフィルタを構成し、それぞれのフィルタをフレームごとに切替えて、より細やかな動き補正処理を行うようにしても良い。
【０１５８】
本発明の実施の形態１の画像復号装置１０では、フィルタをそれぞれ別の回路ブロックで実装するため、フィルタの数が増える分だけ、回路規模が増大してしまう。これに比べて、本形態の画像復号装置１３では、複数のフィルタの機能を一つの動的再構成フィルタ４１０で実現するため、フィルタに係る回路規模は、全てのフィルタの回路規模を合計した回路規模ではなく、複数のフィルタの中で一番回路規模が大きくなるフィルタの回路規模で十分である。このように、本形態の画像復号装置１３は、動的再構成フィルタ４１０で実現するフィルタの数が増えるほど、回路規模抑制の効果が大きくなる。
【０１５９】
（実施の形態５）
図５は、本発明の実施の形態５における画像復号装置のブロック図である。図５において、 図３と同様な構成要素については、同一の符号を付すことにより、説明を省略する。
【０１６０】
図５に示す本形態の画像復号装置１４は、本発明の実施の形態３における画像復号装置１２の動き補償部３００と同じ機能を有する動き補償部５００を動的再構成回路を用いて構成している。
【０１６１】
すなわち、動き補償部５００は、動的再構成フィルタ５１０、再構成情報選択部５２０、第３メモリ５３０、及び、制御部５４０を備える。
【０１６２】
第３メモリ５３０には、本発明の実施の形態３におけるフィルタ部３１０の第１フィルタ１１１、第２フィルタ１１２、及び、第３フィルタ２３３と同じ機能を有する回路を、動的再構成フィルタ５１０に構成するための、第１再構成情報、第２再構成情報、及び、第３再構成情報が格納されている。
【０１６３】
再構成情報選択部５２０は、制御部５４０の制御の下、第３メモリ５３０に格納されている第１再構成情報、第２再構成情報、及び、第３再構成情報の内の１つを選択して、動的再構成フィルタ５１０に出力する。
【０１６４】
動的再構成フィルタ５１０は、制御部５４０の制御の下、動的再構成フィルタ５１０が出力した再構成情報を用いて、第１フィルタ１１１、第２フィルタ１１２、あるいは、第３フィルタ２３３と同じ機能を有する回路を構成する。
【０１６５】
負荷判定部２７からＣＰＵの負荷量に余裕があり、通常の動き補償処理を選択するように指示された場合は、制御部５４０は、再構成情報選択部５２０に第３再構成情報を選択するように指示し、動的再構成フィルタ５１０に第３フィルタ２３３と同じ機能を有する回路を構成する。この結果、ＣＰＵの負荷量に余裕がある場合は、動き補償部５００は、通常の動き補償処理を実行することができる。
【０１６６】
また、負荷判定部２７からＣＰＵの負荷量に余裕がなく、演算量を削減した高速の動き補償処理を選択するように指示された場合は、制御部５４０は、再構成情報選択部５２０に、第１再構成情報と第２再構成情報とをフレームが変わるごとに交互に選択するように指示し、動的再構成フィルタ５１０に、第１フィルタ１１１あるいは、第２フィルタ１１２と同じ機能を有する回路を１フレームごとに構成する。この結果、負荷量に余裕がない場合は、動き補償部５００は、演算量を削減した高速の動き補償処理を実行することができる。
【０１６７】
このように、本形態の画像復号装置１４では、動き補償部５００は、フレーム単位でフィルタの機能を再構成することにより複数のフィルタの機能を１つの動的再構成フィルタ５１０で実現できる。従って、ＣＰＵの負荷量に応じて、通常の動き補償処理と、演算量が削減された高速の動き補償処理を行うことができる。さらに、本形態の画像復号装置１４は、本発明の実施の形態２における画像復号装置１１に比べ、フィルタ機能を構成する回路ブロックの数を少なくすることができる。その結果、本形態の画像復号装置１４は、回路規模を小さくすることができ、ＬＳＩ化した場合のコスト削減と消費電力の低減に効果がある。
【０１６８】
なお、本形態の画像復号装置１４では、動的再構成フィルタ５１０が、３つのフィルタを構成する場合を説明したが、本形態の画像復号装置１４は、これに限定されるものではない。例えば、動的再構成フィルタ５１０が４つ以上のフィルタを構成し、１フレームごとあるいはＣＰＵの負荷量に応じて、それぞれのフィルタを切替えて、より細やかな動き補正処理を行うようにしても良い。
【０１６９】
本発明の実施の形態２または実施の形態３の実現方法では、フィルタをそれぞれ別の回路ブロックで実装するため、フィルタの数が増える分だけ、回路規模が増大してしまう。これに比べて、本形態では、複数のフィルタの機能を一つの動的再構成フィルタ５１０で実現するため、フィルタに係る回路規模は全てのフィルタの回路規模を合計した回路規模ではなく、複数のフィルタの中で一番回路規模が大きくなるフィルタの回路規模で十分である。このように、本形態の画像復号装置１４は、動的再構成フィルタ５１０で実現するフィルタの数が増えるほど、回路規模抑制の効果が大きくなる。
【０１７０】
（実施の形態６）
図６は、本発明の実施の形態６における半導体集積回路のブロック図である。本形態の半導体集積回路６００は、画像復号部６１０、画像符号化部６２０、オーディオ信号処理部６３０、及び、ＲＯＭ６４０を備え、外部のＣＰＵ６５０と外部メモリ６６０に接続している。
【０１７１】
本形態の画像復号部６１０は、本発明の実施の形態１〜５の画像復号装置１０〜画像復号装置１４のいずれかで構成され、入力された可変長符号化信号（ビットストリーム）を復号する。
【０１７２】
画像符号化部６２０は、入力された画像データを可変長符号化して、可変長符号化信号（ビットストリーム）を生成する。
【０１７３】
オーディオ信号処理部６３０は、オーディオ信号の符号化と復号、及び、信号処理を行う。
【０１７４】
ＲＯＭ６４０は、例えば、動的再構成フィルタを構築するための再構成情報を格納する。
【０１７５】
ＣＰＵ６５０は、可変長符号化信号の復号処理の少なくとも一部と、その他の処理を行う。
【０１７６】
外部メモリ６６０は、本発明の実施の形態１〜５の画像復号装置１０〜画像復号装置１４で使用するフレームメモリ２６の代用として、機能する。
【０１７７】
このように構成された半導体集積回路６００は、ＣＰＵ６５０の負荷量に応じて、通常の動き補償処理と、演算量が削減された高速の動き補償処理を行うことができる。
【０１７８】
したがって、本形態の半導体集積回路６００は、例えば、携帯情報端末に好適に利用できる。
【０１７９】
なお、外部メモリ６６０は、図６に示すように、半導体集積回路６００とは別に独立して構成されても良いし、半導体集積回路６００の内部に包含されても良い。
【０１８０】
（実施の形態７）
図７は、本発明の実施の形態７における電子機器のブロック図である。本形態の電子機器７００は、半導体集積回路７１０、ＣＰＵ７２０、通信回路部７３０、外部メモリ７４０、入出力インターフェース７５０、ディスプレイ７６０、及び、キーボード７７０を備える。
【０１８１】
本形態の半導体集積回路７１０は、本発明の実施の形態６の半導体集積回路６００であり、画像データの符号化／復号、オーディオ信号の符号化／復号、信号処理などを行うことができる。
【０１８２】
ＣＰＵ７２０は、半導体集積回路７１０の画像データの符号化／復号、オーディオ信号の符号化／復号、信号処理などの少なくとも一部の処理と、次に述べる通信回路部７３０の通信処理の少なくとも一部の処理、及び、本形態の電子機器７００全体の制御を行う。外部メモリ７４０は、本発明の実施の形態６の半導体集積回路６００に外部接続した外部メモリ６６０に相当する。
【０１８３】
通信回路部７３０は、本形態の電子機器７００と外部の電子機器との間の画像データ／オーディオデータの通信を処理する。
【０１８４】
ディスプレイ７６０は、画像データを表示する。
【０１８５】
キーボード７７０は、外部からの情報入力、制御入力のために使用される。
【０１８６】
入出力インターフェース７５０は、ディスプレイ７６０、キーボード７７０などと、他の構成要素をインターフェースする。
【０１８７】
このように構成された電子機器７００は、ＣＰＵ７２０の負荷量に応じて、通常の動き補償処理と、演算量が削減された高速の動き補償処理を行うことができる。
【０１８８】
したがって、本形態の電子機器７００は、例えば、携帯情報端末（ＰＤＡ）、携帯電話、カーナビゲーションシステム、車載用テレビ、ノートブックパソコン、ＨＤＤレコーダ、ＤＶＤレコーダなどに好適に利用できる。
【０１８９】
以上説明した、本発明の実施の形態２、３、５では、通常の動き補償処理を行うフィルタは、Ｈ．２６４の６タップフィルタを例に説明したが、通常の動き補償処理を行うフィルタは、これに限定されるものではない。必要に応じて、６タップ以外のタップフィルタを使用して、画素の補間を行っても良い。また、６タップフィルタは、本発明の実施の形態２、３、５で説明したタップ値と異なるタップ値を有していても良い。
【０１９０】
なお、本発明の実施の形態１〜５では、演算量の少ない第１フィルタ１１１は２タップフィルタについて、演算量の少ない第２フィルタ１１２は４タップフィルタについて説明した。しかし、第１フィルタ１１１と第２フィルタ１１２は、これに限定されるものではなく、第１フィルタ１１１がローパス特性を有し、第２フィルタ１１２がエッジ強調特性を有し、それぞれが、通常よりも演算量の少ないタップフィルタであれば、任意のタップ数のフィルタでも良い。また、２タップフィルタと４タップフィルタは、本発明の実施の形態１〜５で説明したタップ値と異なるタップ値を有していても良い。
【０１９１】
また、本発明の実施の形態１〜５では、第１フィルタ１１１と第２フィルタ１１２を１フレームごとに切替える場合を説明したが、第１フィルタ１１１と第２フィルタ１１２を切替えるフレーム数は、復号画像の画質劣化の抑制と演算量の削減とのトレードオフで任意に決定すればよい。例えば、第１フィルタ１１１が、本発明の実施の形態１の第１フィルタ１１１と同程度のローパス特性を有し、第２フィルタ１１１２が、本発明の実施の形態１の第２フィルタ１１２よりもさらに急峻なエッジ強調特性を有する場合には、第１フィルタ１１１と第２フィルタ１１２をフレーム数２対１で切替えると、フィルタ処理の演算量は、より少なくなり、かつ、復号画像の画質劣化も好適に抑制できる。
【０１９２】
一般に、画素補間に使用するフィルタのタップ数が多くなればなるほど、画素補間の演算量が多くなり、演算量削減の必要性が高まる。従って、タップ数の少ないフィルタをフレーム毎に切り替えて画素補間を行い、タップ数の多いフィルタによる画素補間に近い結果が得られる本発明の動き補正の方式は、きわめて有効である。
【０１９３】
以上説明したように、本発明の趣旨は、画質劣化を考慮しつつ、復号処理における動き補償処理のフィルタによる演算量を削減し、動き補償処理を高速化した画像復号装置を提供することにあるのであって、本発明の趣旨を逸脱しない限り、種々の変更が可能である。
【産業上の利用可能性】
【０１９４】
本発明に係わる画像復号装置は、例えば、携帯情報端末等、画像データの処理量削減が重要な電子機器とその応用分野において利用できる。
【図面の簡単な説明】
【０１９５】
【図１】本発明の実施の形態１における画像復号装置のブロック図
【図２】本発明の実施の形態２における画像復号装置のブロック図
【図３】本発明の実施の形態３における画像復号装置のブロック図
【図４】本発明の実施の形態４における画像復号装置のブロック図
【図５】本発明の実施の形態５における画像復号装置のブロック図
【図６】本発明の実施の形態６における半導体集積回路のブロック図
【図７】本発明の実施の形態７における電子機器のブロック図
【図８】整数精度画素と１／２精度画素の配置図
【図９】２タップフィルタ、４タップフィルタ、及び６タップフィルタの周波数特性
【図１０】６タップフィルタによる１／２精度画素の生成過程を示す説明図
【図１１】２タップフィルタによる１／２精度画素の生成過程を示す説明図
【図１２】４タップフィルタによる１／２精度画素の生成過程を示す説明図
【図１３】２タップフィルタと４タップフィルタによる１／２精度画素の生成過程を示す説明図
【図１４】タップフィルタを２回掛けたときの周波数応答の図
【図１５】本発明の実施の形態１における画像復号装置のフローチャート
【図１６】本発明の実施の形態１における画像復号装置のフローチャート
【図１７】本発明の実施の形態１における復号画像とフィルタフラグの関係図
【図１８】本発明の実施の形態２における画像復号装置のフローチャート
【図１９】従来の画像復号装置１のブロック図
【符号の説明】
【０１９６】
１  画像復号装置
２、２１  可変長復号部
３、２２  逆量子化部
４、２３  逆直交変換部
５、１００、２００、３００、４００、５００  動き補償部
６、２４  加算部
７、２５  ループ内フィルタ
８、２６  フレームメモリ
１ａ、９１、９２  入力端子
１ｂ、９９  出力端子
１０、１１、１２、１３、１４  画像復号装置
２７  負荷判定部
２８  第１メモリ
２９  第２メモリ
１１０、２３０、３１０  フィルタ部
１１１  第１フィルタ
１１２  第２フィルタ
１２０、２４０、３２０、４３０、５４０  制御部
２１０  高速動き補償部
２２０  通常動き補償部
２３３  第３フィルタ
３４０、４２０  セレクタ
４１０、５１０  動的再構成フィルタ
５２０  再構成情報選択部
５３０  第３メモリ
６００  半導体集積回路
６２０  画像符号化部
６４０  ＲＯＭ
６１０  画像復号部
６３０  オーディオ信号処理部
６５０、７２０  ＣＰＵ
６６０  外部メモリ
７００  電子機器
７１０  半導体集積回路
７４０  外部メモリ
７３０  通信回路部
７５０  入出力インターフェース
７６０  ディスプレイ
７７０  キーボード
【図１】
2007306538.tif 000018
【図２】
2007306538.tif 000019
【図３】
2007306538.tif 000020
【図４】
2007306538.tif 000021
【図５】
2007306538.tif 000022
【図６】
2007306538.tif 000023
【図７】
2007306538.tif 000024
【図８】
2007306538.tif 000025
【図９】
2007306538.tif 000026
【図１０】
2007306538.tif 000027
【図１１】
2007306538.tif 000028
【図１２】
2007306538.tif 000029
【図１３】
2007306538.tif 000030
【図１４】
2007306538.tif 000031
【図１５】
2007306538.tif 000032
【図１６】
2007306538.tif 000033
【図１７】
2007306538.tif 000034
【図１８】
2007306538.tif 000035
【図１９】
2007306538.tif 000036