(57)【特許請求の範囲】
【請求項１】
動画データを符号化するために適応補間フィルタリングを利用する動画符号器であって、
予測サンプルを生成するために、原動画データおよび再構成された動画データにしたがって予測処理を実行する予測ユニットと、
前記予測ユニットと連動し、前記再構成された動画データを構成するために前記予測サンプルを再構成する再構成ユニットと、
参照動画データとして前記再構成された動画データを記憶する参照画像バッファと、
前記予測ユニットと連動し、現在の画像の前記原動画データおよび前記現在の画像の参照画像のサンプルにしたがってフィルタパラメータを推定するフィルタパラメータ推定器と、
前記参照画像バッファおよび前記予測ユニットと連動し、符号化の順序における前の画像の記憶された前記フィルタパラメータにしたがって、前記参照画像をフィルタリングする適応補間フィルタとを備え、
前記フィルタパラメータ推定器は、前記適応補間フィルタを利用するか否かを決定するにあたってレート歪み基準を用いるレート歪み決定ユニットをさらに備え、
前記レート歪み決定ユニットは、前記適応補間フィルタに利用されるフィルタパラメータの集合を決定するために、推定された前記フィルタパラメータの各集合に対する前記レート歪み基準を用いることを特徴とする動画符号器。
【請求項２】
動画データを符号化するために適応補間フィルタリングを利用する動画符号器であって、
予測サンプルを生成するために、原動画データおよび再構成された動画データにしたがって予測処理を実行する予測ユニットと、
前記予測ユニットと連動し、前記再構成された動画データを構成するために前記予測サンプルを再構成する再構成ユニットと、
参照動画データとして前記再構成された動画データを記憶する参照画像バッファと、
前記予測ユニットと連動し、現在の画像の前記原動画データおよび前記現在の画像の参照画像のサンプルにしたがってフィルタパラメータを推定するフィルタパラメータ推定器と、
前記参照画像バッファおよび前記予測ユニットと連動し、符号化の順序における前の画像の記憶された前記フィルタパラメータにしたがって、前記参照画像をフィルタリングする適応補間フィルタとを備え、
前記フィルタパラメータ推定器は、前記適応補間フィルタを利用するか否かを決定するにあたってレート歪み基準を用いるレート歪み決定ユニットをさらに備え、
前記レート歪み決定ユニットは、前記適応補間フィルタに利用されるフィルタパラメータの集合を決定するために、符号化の順序における複数の前の画像に対応する複数のフィルタパラメータから、推定された前記フィルタパラメータの各集合に対する前記レート歪み基準を用いることを特徴とする動画符号器。
【請求項３】
動画データを符号化するために適応補間フィルタリングを利用する動画符号器であって、
予測サンプルを生成するために、原動画データおよび再構成された動画データにしたがって予測処理を実行する予測ユニットと、
前記予測ユニットと連動し、前記再構成された動画データを構成するために前記予測サンプルを再構成する再構成ユニットと、
参照動画データとして前記再構成された動画データを記憶する参照画像バッファと、
前記予測ユニットと連動し、現在の画像の前記原動画データおよび前記現在の画像の参照画像のサンプルにしたがってフィルタパラメータを推定するフィルタパラメータ推定器と、
前記参照画像バッファおよび前記予測ユニットと連動し、符号化の順序における前の画像の記憶された前記フィルタパラメータにしたがって、前記参照画像をフィルタリングする適応補間フィルタとを備え、
前記フィルタパラメータ推定器は、前記適応補間フィルタを利用するか否かを決定するにあたってレート歪み基準を用いるレート歪み決定ユニットをさらに備え、
前記レート歪み基準は、前記現在の画像の特定の領域から決定されることを特徴とする動画符号器。
【請求項４】
動画データを符号化するために適応補間フィルタリングを利用する動画符号器であって、
予測サンプルを生成するために、原動画データおよび再構成された動画データにしたがって予測処理を実行する予測ユニットと、
前記予測ユニットと連動し、前記再構成された動画データを構成するために前記予測サンプルを再構成する再構成ユニットと、
参照動画データとして前記再構成された動画データを記憶する参照画像バッファと、
前記予測ユニットと連動し、現在の画像の前記原動画データおよび前記現在の画像の参照画像のサンプルにしたがってフィルタパラメータを推定するフィルタパラメータ推定器と、
前記参照画像バッファおよび前記予測ユニットと連動し、符号化の順序における前の画像の記憶された前記フィルタパラメータにしたがって、前記参照画像をフィルタリングする適応補間フィルタとを備え、
前記フィルタパラメータ推定器は、前記適応補間フィルタを利用するか否かを決定するにあたってレート歪み基準を用いるレート歪み決定ユニットをさらに備え、
前記フィルタパラメータ推定器は、前記現在の画像または前記現在の画像の特定の領域をフィルタリングするために、いずれのフィルタパラメータの集合が使われたかを示すための、ビットストリームに挿入されるフィルタインデクスを提供することを特徴とする動画符号器。
【請求項５】
前記レート歪み決定ユニットは、フィルタリングされる信号の自己相関、原信号と前記フィルタリングされる信号との相互相関、および、推定された前記フィルタパラメータとにしたがってフィルタリングを行うために、前記適応補間フィルタを利用するか否かを決定するにあたってレート歪み基準を用いることを特徴とする請求項１から４のいずれか１項に記載の動画符号器。
【請求項６】
動画データを符号化するために適応補間フィルタリングを利用する動画符号器であって、
予測サンプルを生成するために、原動画データおよび再構成された動画データにしたがって予測処理を実行する予測ユニットと、
前記予測ユニットと連動し、前記再構成された動画データを構成するために前記予測サンプルを再構成する再構成ユニットと、
参照動画データとして前記再構成された動画データを記憶する参照画像バッファと、
前記予測ユニットと連動し、現在の画像の前記原動画データおよび前記現在の画像の参照画像のサンプルにしたがってフィルタパラメータを推定するフィルタパラメータ推定器と、
前記参照画像バッファおよび前記予測ユニットと連動し、符号化の順序における前の画像の記憶された前記フィルタパラメータにしたがって、前記参照画像をフィルタリングする適応補間フィルタとを備え、
前記フィルタパラメータ推定器は、前記現在の画像または前記現在の画像の特定の領域に対する平均オフセット値を推定することを特徴とする動画符号器。
【請求項７】
前記フィルタパラメータ推定器は、フィルタパラメータのレートを減らすために、フィルタパラメータの和を用いることによってフィルタパラメータをさらに予測することを特徴とする請求項１から６のいずれか１項に記載の動画符号器。
【請求項８】
動画データの符号化方法であって、
予測サンプルを生成するために、原動画データおよび再構成された動画データにしたがって、予測処理を実行する工程と、
前記再構成された動画データを構成するために前記予測サンプルを再構成する工程と、
現在の画像の前記原動画データおよび前記現在の画像の参照画像のサンプルにしたがってフィルタパラメータを推定する工程と、
符号化の順序における前の画像から導出された推定された前記フィルタパラメータを用いる前記現在の画像の前記参照画像のサンプルをフィルタリングする工程とを含み、
フィルタリングされた前記現在の画像の前記参照画像のサンプルは、画面内予測のために用いられ、
前記フィルタパラメータを推定する工程は、フィルタリングを行うか否かを決定するために、レート歪み基準を用いる工程をさらに含み、
前記レート歪み基準は、前記現在の画像の特定の領域から決定されることを特徴とする動画データの符号化方法。
【請求項９】
動画データの符号化方法であって、
予測サンプルを生成するために、原動画データおよび再構成された動画データにしたがって、予測処理を実行する工程と、
前記再構成された動画データを構成するために前記予測サンプルを再構成する工程と、
現在の画像の前記原動画データおよび前記現在の画像の参照画像のサンプルにしたがってフィルタパラメータを推定する工程と、
符号化の順序における前の画像から導出された推定された前記フィルタパラメータを用いる前記現在の画像の前記参照画像のサンプルをフィルタリングする工程とを含み、
フィルタリングされた前記現在の画像の前記参照画像のサンプルは、画面内予測のために用いられ、
前記フィルタパラメータを推定する工程は、フィルタリングを行うか否かを決定するために、レート歪み基準を用いる工程をさらに含み、
前記現在の画像または前記現在の画像の特定の領域のためのフィルタインデクスを、利用されるフィルタパラメータの集合を示すためにビットストリームへ挿入する工程をさらに含むことを特徴とする動画データの符号化方法。
【請求項１０】
前記フィルタパラメータを推定する工程は、フィルタリングされる信号の自己相関、原信号と前記フィルタリングされる信号との相互相関、および、推定された前記フィルタパラメータにしたがってフィルタリングを行うか否かを決定するために、レート歪み基準を利用することを特徴とする請求項８または９に記載の動画データの符号化方法。
【請求項１１】
動画データの符号化方法であって、
予測サンプルを生成するために、原動画データおよび再構成された動画データにしたがって、予測処理を実行する工程と、
前記再構成された動画データを構成するために前記予測サンプルを再構成する工程と、
現在の画像の前記原動画データおよび前記現在の画像の参照画像のサンプルにしたがってフィルタパラメータを推定する工程と、
符号化の順序における前の画像から導出された推定された前記フィルタパラメータを用いる前記現在の画像の前記参照画像のサンプルをフィルタリングする工程とを含み、
フィルタリングされた前記現在の画像の前記参照画像のサンプルは、画面内予測のために用いられ、
前記フィルタパラメータを推定する工程は、
複数の推定されたパラメータを記憶する工程と、
利用されるフィルタパラメータの集合を決定するために、推定された前記フィルタパラメータの各集合に対するレート歪み基準を用いる工程とをさらに含むことを特徴とする動画データの符号化方法。
【請求項１２】
前記フィルタパラメータを推定する工程は、フィルタパラメータのレートを減らすために、フィルタパラメータの和を用いることによってフィルタパラメータを予測する工程をさらに含むことを特徴とする請求項８から１１のいずれか１項に記載の動画データの符号化方法。
【請求項１３】
動画データの符号化方法であって、
予測サンプルを生成するために、原動画データおよび再構成された動画データにしたがって、予測処理を実行する工程と、
前記再構成された動画データを構成するために前記予測サンプルを再構成する工程と、
現在の画像の前記原動画データおよび前記現在の画像の参照画像のサンプルにしたがってフィルタパラメータを推定する工程と、
符号化の順序における前の画像から導出された推定された前記フィルタパラメータを用いる前記現在の画像の前記参照画像のサンプルをフィルタリングする工程とを含み、
フィルタリングされた前記現在の画像の前記参照画像のサンプルは、画面内予測のために用いられ、
前記フィルタパラメータを推定する工程は、前記現在の画像または前記現在の画像の特定の領域に対する平均オフセット値を推定することを特徴とする動画データの符号化方法。
【請求項１４】
請求項１から７のいずれか１項に記載の動画符号器によって、または、請求項８から１３のいずれか１項に記載の動画データの符号化方法によって符号化された動画データを復号するための動画復号器であって、
符号化されたビットストリームを解析するエントロピー復号ユニットと、
前記エントロピー復号ユニットにしたがって予測処理を実行する予測ユニットと、
前記予測ユニットと連動し、再構成された動画データを構成するために予測サンプルを再構成する再構成ユニットと、
参照動画データとして前記再構成された動画データを記憶する参照画像バッファと、
前記参照画像バッファおよび前記予測ユニットと連動し、前記予測サンプルを生成するための以前に復号されたフィルタパラメータを伴う参照画像を補間およびフィルタリングする適応補間フィルタとを備えることを特徴とする動画復号器。
【請求項１５】
請求項１から７のいずれか１項に記載の動画符号器によって、または、請求項８から１３のいずれか１項に記載の動画データの符号化方法によって符号化された動画データの復号方法であって、
エントロピー復号の結果にしたがって予測処理を実行する工程と、
再構成されたビデオデータを構成するために予測サンプルを再構成する工程と、
符号化の順序における前の画像の復号されたフィルタパラメータを利用して現在の画像の参照画像サンプルをフィルタリングする工程とを含み、
前記現在の画像のフィルタリングされた前記参照画像サンプルは、画面内予測に利用されることを特徴とする動画データの復号方法。
【発明の詳細な説明】
【背景技術】
【０００１】
〔関連出願の相互参照〕
本出願は、米国特許出願１２／４０５，２５０号の利益を享受するものである。当該出願は、２００９年３月１７日に出願され、参照によって本出願に含まれる。本出願は、さらに米国特許出願６１／０９９，９８１号の利益を享受するものである。当該出願は、２００８年９月２５日に出願され、参照によって本出願に含まれる。
【０００２】
〔背景技術〕
近年、動画を符号化する方法は、モーション推定、モーション補償、非ブロック化、そして動画圧縮のためのフィルタリングなど、幅広く様々な技術を用いている。従来の方法は、差分符号化ループを用いる。すなわち、動画像はブロックに分割され、予測符号化が行われて再構成され、次の画像を予測符号化するための参照として使われる。
【０００３】
近年の符号化に関する開発においては、符号化された画像の質をさらに改善するためにインループ・ウィーナーフィルタが用いられてきた。ウィーナーフィルタは、原信号とノイズを含む信号（符号化処理の結果として本来的に生じる特定の誤差を伴う信号）との当該誤差を減らすよう機能する。ウィーナーフィルタは、フィルタパラメータを推定するために、最初に自己相関行列と相互相関ベクトルを使う。この推定は、非ブロック化の過程の後に行うことが一般的である。ここで、図１を参照されたい。図１は、差分符号化ループとして適応ループフィルタを備えた、従来の動画符号器の構成である。動画符号器１００は、モーション推定／モーション補償（ＭＥ／ＭＣ）部１１０、画面内予測部１０５、マクロブロックモード決定部１５５、変換／量子化（Ｔ／Ｑ）部１４０、逆変換／逆量子化（ＩＴ／ＩＱ）部１４５、再構成ユニット１３５、非ブロック化ユニット１３０、エントロピー符号化ユニット１５０、フィルタパラメータ推定器１２５、適応ループフィルタ１２０、および参照画像バッファ１１５から構成される。ウィーナー・ホップの等式は、フィルタパラメータを推定するためのフィルタパラメータ推定器１２５によって構成され、解かれる。この等式は、非ブロック化された信号（フィルタリングされる信号）の自己相関、および、（入力からの）原信号と非ブロック化された信号との相互相関を計算するためのものであり、（入力からの）原画像および（非ブロック化ユニット１３０からの）非ブロック化された画像にアクセスすることにより構成され、この２つへのアクセスは同時になされる。これは、第１のパスとして知られる。したがって、ウィーナーフィルタ係数は、より小さな誤差で信号を生成するために、非ブロック化された画像に対して適用されなければならない。これは、第２のパスとして知られる。そして、生成された信号は、参照画像バッファ１２０に記録されなければならない。すなわち、参照画像バッファ１２０は、将来の参照に備えて再構成画像を記憶する。この処理は図２に示される。図から把握できるように、従来の２パス処理は、画素ごとに３回の読み込みおよび書き込みの処理を必要とする。この処理は頻繁にＤＲＡＭへアクセスする必要があるため、符号化のための待ち時間が増加する。
【０００４】
図１１は、差分符号化ループにおいて、適応ループフィルタを含む従来の動画復号器を示す図である。動画復号器１１００は、ＭＣ部１１２０、画面内予測部１１１５、ＩＴ／ＩＱ部１１１０、再構成ユニット１１３５、非ブロック化ユニット１１４０、エントロピー復号化ユニット１１０５、適応ループフィルタ１１３０、および参照画像バッファ１１２５から構成される。
【０００５】
ウィーナーフィルタリングは、画面内予測の処理にも適用されてよい。ここで、図３を参照されたい。図３は、差分符号化ループにおいて、適応補間フィルタを含む従来の動画符号器を示す図である。動画符号器３００は、ＭＥ／ＭＣ部３１０、画面内予測部３０５、マクロブロックモード決定部３３５、非ブロック化ユニット３３０、エントロピー符号化ユニット３５０、フィルタパラメータ推定器３２５、適応補間フィルタ３２０、および参照画像バッファ３１５から構成される。フィルタパラメータ推定器は、最適なフィルタパラメータを計算し、適応フィルタは原信号と予測信号との誤差を減らす。当初は、現在のある画像に対する最適なフィルタパラメータは未知である。予測信号（フィルタリングされる信号）の自己相関、および、（入力からの）原信号と（マクロブロックモード決定部の出力からの）予測信号との相互相関を計算することにより、フィルタパラメータ推定器はウィーナー・ホップの等式を構成し、予測信号は予め定義された標準の６タップフィルタ係数を用いて参照画像を補間することによって得られる。そして、フィルタパラメータ推定器は、最適なフィルタ係数を得るために当該等式を解く。これは、第１のパスとして知られる。次に、現在の画像の参照画像は補間され、２度目のＭＥ／ＭＣによる最適なフィルタパラメータによってフィルタリングされる。これは、第２のパスとして知られる。この第２のパスは、収束するまで反復して行われる。この処理は図４に示される。フローチャートから把握できるように、従来のマルチパス処理は、ＭＥ／ＭＣの処理を２回以上必要とする。符号化待ち時間および複雑度は、双方とも有意に増加する。
【０００６】
図１２は、差分符号化ループにおいて、適応補間フィルタを含む従来の動画復号器を示す図である。動画復号器１２００は、ＭＣ部１２２０、画面内予測部１２１５、ＩＴ／ＩＱ部１２１０、再構成ユニット１２３５、非ブロック化ユニット１２４０、エントロピー復号化ユニット１２０５、適応補間フィルタ１２２５、および参照画像バッファ１２３０から構成される。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、従来の２パスフィルタ処理と比べて、ＤＲＡＭへのアクセスが少なくて済む動画符号化のための適応フィルタを提供することを目的とする。本発明は、符号化にかかる待ち時間や計算複雑性を軽減する、様々な動画データの符号化方法を提供することも目的とする。
【課題を解決するための手段】
【０００８】
動画データを符号化するために適応補間フィルタリングを利用する動画符号器であって、原動画データおよび予測サンプルを生成するために再構成された動画データにしたがって予測技術を実行する予測ユニットと、前記予測ユニットと連動され、前記再構成された動画データを構成するために前記予測サンプルを再構成する再構成ユニットと、参照動画データとして前記再構成された動画データを記憶する参照画像バッファと、前記予測ユニットと連動され、現在の画像の前記原動画データと前記現在の画像の前記参照画像のサンプルにしたがってフィルタパラメータを推定するフィルタパラメータ推定器と、前記参照画像バッファおよび前記予測ユニットと連動され、符号化の順序における前の画像の、記憶された前記フィルタパラメータにしたがって、前記参照画像をフィルタリングする適応補間フィルタとを備えることを特徴とする動画符号器。
【０００９】
動画データの符号化方法であって、原動画データと、予測サンプルを生成するために再構成された動画データにしたがって、予測技術を実行する工程と、前記再構成された動画データを構成するために前記予測サンプルを再構成する工程と、現在の画像の前記原動画データと、前記現在の画像の前記参照画像のサンプルにしたがってフィルタパラメータを推定する工程と、符号化の順序における前の画像から導出された前記推定されたフィルタパラメータを用いる前記現在の画像の前記参照画像サンプルをフィルタリングする工程とを含み、フィルタリングされた前記現在の画像の前記参照画像サンプルは、画面内予測のために用いられることを特徴とする動画データの符号化方法。
【００１０】
符号化された動画データを復号するための動画復号器であって、符号化されたビットストリームを解析するエントロピー復号ユニットと、前記エントロピー復号ユニットにしたがって予測技術を実行する予測ユニットと、前記予測ユニットと連動され、再構成された動画データを構成するために予測サンプルを再構成する再構成ユニットと、参照動画データとして前記再構成された動画データを記憶する参照画像バッファと、前記参照画像バッファおよび前記予測ユニットと連動され、前記予測サンプルを生成するための以前に復号されたフィルタパラメータを伴う参照画像を補間およびフィルタリングする適応補間フィルタとを備えることを特徴とする動画復号器。
【００１１】
動画データの復号方法であって、エントロピー復号の結果にしたがって予測技術を実行する工程と、再構成されたビデオデータを構成するために予測サンプルを再構成する工程と、符号化の順序における前の画像の復号されたフィルタパラメータを利用して現在の画像の参照画像サンプルをフィルタリングする工程とを含み、前記現在の画像の前記フィルタリングされた参照画像サンプルは、画面内予測に利用されることを特徴とする動画データの復号方法。
【００１２】
本発明のこれらおよび他の目的は、様々な図や表で示される好ましい実施形態についての以下の詳細な記述を読んだ後で、通常の当業者にとって明らかになるであろう。
【図面の簡単な説明】
【００１３】
【図１】適応ループフィルタリングの従来技術に基づく動画符号器を示す図である。
【図２】図１に示される動画符号器によるＤＲＡＭへのアクセスを示す図である。
【図３】適応補間フィルタリングの従来技術に基づく動画符号器を示す図である。
【図４】図３に示される動画符号器の処理の流れを示す図である。
【図５】本発明の第１の実施形態に係る動画符号器を示す図である。
【図６】図５に示される動画符号器によるＤＲＡＭへのアクセスを示す図である。
【図７】本発明の第２の実施形態に係る動画符号器を示す図である。
【図８】図７に示される動画符号器によるＤＲＡＭへのアクセスを示す図である。
【図９】本発明の第３の実施形態に係る動画符号器を示す図である。
【図１０】図９に示される動画符号器によるＤＲＡＭへのアクセスを示す図である。
【図１１】図１における適応ループフィルタリングの従来技術に基づく動画復号器を示す図である。
【図１２】図３における適応補間フィルタリングの従来技術に基づく動画復号器を示す図である。
【図１３】本発明の第４の実施形態に係る動画符号器を示す図である。
【図１４】本発明の第５の実施形態に係る動画符号器を示す図である。
【図１５】本発明の第６の実施形態に係る動画符号器を示す図である。
【発明を実施するための形態】
【００１４】
図５を参照されたい。図５は、本発明の第１の実施形態に係る適応フィルタを伴う動画符号器５００を示す図である。動画符号器５００は、ＭＥ／ＭＣユニット５１０、画面内予測ユニット５０５、マクロブロックモード決定ユニット５５５、参照画像バッファ５２０、適応ループフィルタ５１５、フィルタパラメータ推定器５２５、再構成ユニット５３５、非ブロック化ユニット５３０、Ｔ／Ｑユニット５４０、ＩＴ／ＩＱユニット５４５、およびエントロピー符号化ユニット５５０から構成される。図から把握できるように、適応フィルタは２つの部分から成る。すなわち、第１の部分はパラメータ推定器５２５であり、非ブロック化ユニット５３０および参照画像バッファ５２０と連動するよう構成されている。第２の部分は適応ループフィルタ５１５であり、参照画像バッファ５２０およびＭＥ／ＭＣユニット５１０と連動するよう構成されている。ＭＥ／ＭＣのピクセルデータがチップ上に記憶されることで、これらをＤＲＡＭのアクセスと同時に実行できる。
【００１５】
フィルタパラメータ推定器５２５は、非ブロック化画像および原画像にアクセスし、ウィーナー・ホップの等式を解き、そして参照画像バッファ５２０にフィルタパラメータを書き込む。参照画像バッファは通常ＤＲＡＭによって実現されているが、キャッシュ、ＳＲＡＭやレジスタなどの内部メモリにフィルタ係数を記憶することができる。
【００１６】
１次元（１−Ｄ）または２次元（２−Ｄ）の有限インパルス反応（ＦＩＲ）フィルタのためのウィーナー・ホップの等式は、非ブロック化されたピクセル（フィルタリングされる信号）の自己相関行列と、原ピクセルおよび非ブロック化ピクセルとの相互相関ベクトルを最初に生成することによって解かれる。フィルタ係数はウィーナー・ホップの等式を解くことによって計算される。非ブロック化された画像も参照画像バッファ５２０へ書き込まれ、フィルタパラメータは対応する画像とともにそこへ記憶される。１つの実施形態においては、参照画像が参照画像バッファ５２０から削除されれば、対応するフィルタパラメータも削除されてよい。したがって、フィルタパラメータ推定器５２５は、非ブロック化ユニット５３０からの次の画像のために同じ処理を実行する。同時に、適応ループフィルタ５１５は、参照画像バッファ５２０から、符号化する順序における前の画像とそれに対応するフィルタパラメータを取り出し、当該前の画像に当該フィルタパラメータを適用して、ＭＥ／ＭＣ処理を行う。このように、各ピクセルに対して、非ブロック化された画像および参照画像バッファ５２０へは１回アクセスするだけでよい。フィルタリングは、適応ループフィルタ５１５で実行されるため、フィルタリングされた画像は直ちにＭＥ／ＭＣユニット５１０へ送られてもよい。いくつかの実施形態において、適応ループフィルタ５１５は、ＭＥ／ＭＣ処理における補間処理に組み込まれてよい。従来技術と比較して、このフィルタリングされた画像は、参照画像バッファ５２０に記録される必要がない。しかも、参照画像バッファ５２０は、探索範囲データなどのＭＥ／ＭＣデータを決めるためにいずれにせよ読み込まれる必要があるため、適応ループフィルタ５１５による参照画像の読み込みの際には、従来技術に比べて１回の読み込みおよび１回の書き込みが節約できる。また、ＭＥ／ＭＣが実行されると同時に行われる、フィルタパラメータ推定器５２５によるＤＲＡＭへのアクセスは、ＭＥ／ＭＣデータがチップ上へ通常の通り保存されることでＤＲＡＭの待ち時間には影響しない。したがって、適応ループフィルタリングのための１パスアルゴリズムが達成される。これは図６に図示される。
【００１７】
加えて、この１パスアルゴリズムは、この適応的方法の適合性能を評価することによって、動作／非動作を切り替えることができる。例えば、コスト関数やレート歪み基準が、あるピクセルに対して特定の処理を実行することの利益を決定するために利用される。レート歪み基準は、
ΔＪ＝ΔＤ＋λΔＲ
として表されてよい。ここで、ΔＲはパラメータビット、ΔＤ＝Ｄfilter on−Ｄfilter offであり、もし、ΔＪ＜０の場合はフィルタを動作させ、そうでない場合はフィルタを動作させる必要がないこととする。
【００１８】
例えば、図５で示される回路とする場合、最初の画像に対するレート歪み基準は、適応フィルタリングが実行されるべきかそうでないかを決定できる。コスト関数における項Ｄfilter onは、非ブロック化画像を実際にフィルタリングしなくとも適切に推定される。しかし、Ｄfilter onを近似してΔＤを得るためには、自己相関行列および相互相関ベクトルを計算しなければならず、ΔＲを推定するためには、フィルタパラメータを解かなければならない。１パスアルゴリズムを使うことにより、レート歪みの決定を計算するための複雑度は有意に下がる。ある実施形態においては、フィルタパラメータ推定器は、ウィーナーフィルタパラメータを決定するためのウィーナーフィルタ生成ユニット、および適応ループフィルタを動作させるか否かを決定するためのレート歪み基準を実行し、生成されたフィルタパラメータにしたがってフィルタリングを実行するためのレート歪み決定ユニットから構成される。
【００１９】
加えて、画像全体に対してフィルタリングの決定を行う必要はない。画像のある特定領域のみにフィルタリングを適用することが可能である。したがって、１パスアルゴリズムは、領域に基づくレート歪みの決定に極めて適している。この領域に基づくレート歪みの決定は、
ΔＪｍ＝ΔＤｍ＋λΔＲｍ
として表されてよい。ここで、ΔＲｍはパラメータビット、ΔＤｍ＝Ｄｍ,filter on−Ｄｍ,filter offであり、もし、ΔＪｍ＜０の場合はフィルタを動作させ、そうでない場合はフィルタをその領域に対して動作させる必要がないこととする。
【００２０】
１パス適応フィルタは、実際のフィルタリングがレート歪みの決定を行うために必要とされないことを意味するため、フィルタリング結果を保存する一時画像メモリを提供する必要はない。
【００２１】
従来の符号化は、符号化処理の正確さを改善するために、補間フィルタを内包することがある。補間フィルタは典型的な線形フィルタであるため、ＤＲＡＭへのさらなるアクセスを必要とすることなく、適応ループフィルタ５１５に組み込むことができる。適応ループフィルタおよび補間フィルタが、２つの連結された機能ブロックとして組み込まれている場合、適応ループフィルタは最初に整数のピクセルを処理し、次にフィルタされた整数のピクセルに関して補間が実行される。補間および適応ループフィルタリングは線形の処理であるため、これらは乗算器を共有するために、１つの複数機能ブロックにさらに組み込まれてよい。２つの組み合わせ手法のいずれも、ＤＲＡＭへ１回のアクセスしか必要としないが、再構成された画像の質を改善するように作用する。
【００２２】
加えて、ＤＲＡＭアクセスの待ち時間を減らすためのさまざまな手法が提供される。第１の手法は、２つの連続した画像の間の変化が有意でないことを仮定しているため、前の画像のフィルタパラメータを、現在の画像に対するパラメータとして使う。これにより、フィルタパラメータの推定および画像のフィルタリングは並行して実行できるため、フィルタパラメータ推定器および参照画像バッファによる適応ループフィルタを分離することなく、１パス画像データにアクセスすることができる。上述した１パス構造または領域に基づくフィルタリングは、このコンセプトへも適用できる。ここで、１つの適応ループフィルタだけが、フィルタパラメータの推定として１パスアルゴリズムを利用し、画像のフィルタリングが並行して実行されるため、この改良では２つの適応ループフィルタを必要としないことに注意する。図７を参照されたい。図７は、本発明の第２の実施形態に係る動画符号器７００を示す図である。動画符号器７００は、ＭＥ／ＭＣユニット７１０、画面内予測ユニット７０５、マクロブロックモード決定ユニット７５５、参照画像バッファ７１５、適応ループフィルタ７２０、フィルタパラメータ推定器７２５、再構成ユニット７３５、非ブロック化ユニット７３０、Ｔ／Ｑユニット７４０、ＩＴ／ＩＱユニット７４５、およびエントロピー符号化ユニット７５０から構成される。図から把握できるように、適応フィルタは２つの部分からなる。すなわち、第１の部分は、非ブロック化ユニット７３０および適応ループフィルタ７２０が連動するように構成されているフィルタパラメータ推定器７２５であり、第２の部分は、非ブロック化ユニット７３０および参照画像バッファ７１５が連動するよう構成されている適応ループフィルタ７２０である。非ブロック化ユニット７３０が現在の画像を出力するとき、以前に推定されたフィルタパラメータにしたがって、適応ループフィルタ７２０が現在の画像をフィルタする一方で、フィルタパラメータ推定器７２５は当該現在の画像のフィルタパラメータを推定する。これはＤＲＡＭへのアクセスが１回で済むため、１パスフィルタリングが達成される。ＤＲＡＭへのアクセス要求は図８に示される。ｋ＝１のときは符号化の順序においてｔ−１画像の、ｋ＝２のときは符号化の順序においてｔ−２画像のというように、いずれか１つの前の画像およびいずれかの事前に定義されたフィルタパラメータに対応するフィルタパラメータを適用するこの方法の変形例は、本発明の思想に従う。符号化の順序における前の画像に対応するフィルタパラメータを考慮する適応ループフィルタは、時間遅延を伴う適応ループフィルタの設計と呼ばれる。
【００２３】
パラメータの最適集合を得るために、現在の画像に対応するフィルタパラメータの集合をフィルタパラメータの他の集合と比較することができるなら、依然として１パス構造のための分離フィルタパラメータ推定器と適応ループフィルタ（すなわち、図５に示される装置）を使う必要があることに注意する。適応ループフィルタを選択または不能にするためのコスト関数を計算してもよく、対応するコストが複数のコストの中で最小であれば、適応ループフィルタは不能にされる。前の画像と同じように、現在の画像に対応するフィルタパラメータを考慮する適応ループフィルタは、時間シェアリングまたは時間乗算の適応ループフィルタの設計と呼ばれ、１パス（例えば図５）または２パス（例えば図１）のいずれの構造によって実現してもよい。記憶できるパラメータ集合の数の上限は、設計者の任意である。上述した領域に基づくフィルタリングは、このコンセプトにも適用できる。
【００２４】
上述したように、適応ループフィルタリングを実行するコストを決定するために、レート歪み基準を利用してもよい。複数の画像にそれぞれ対応する複数のフィルタリングパラメータがメモリに記憶されると、いずれの適応ループフィルタの集合が使用するのに最適な集合であるかを決定するために、すべてのパラメータ集合に対するコストを比較することができる。いくつかの実施形態においては、適応ループフィルタを不能にするためのコストも計算され、他のコストと比較され、対応するコストが複数のコストの中で最小であれば適応ループフィルタは不能にされる。
【００２５】
時間遅延または時間シェアリングの適応ループフィルタは、動画符号器によって生成されたビットストリームへフィルタインデクスを挿入するために、エントロピー符号化にフィルタインデクスを提供することができる。ビットストリームに挿入されるフィルタインデクスは、動画符号器において使われたパラメータ集合を選択するための、動画復号器のための指標である。例えば、時間シェアリングの適応ループフィルタが、符号化の順序において現在の画像より前にある１つの画像に対応するパラメータの最適集合を選択すれば、ビットストリームに挿入されるフィルタインデクスは、現在の画像に対するｔ−１画像（符号化の順序において、現在の画像より前にある１つの画像）のパラメータの集合を選択するための動画復号器を示す。
【００２６】
図９は、本発明の第３の実施形態に係る動画符号器の図である。この方法では、いくつかの連続する画像においてシーンの変化がなければ、その画像の間の変化は有意でないと仮定する。したがって、現在の画像は、ＭＣ／ＭＥを参照画像に適用するために、前の画像の補間フィルタパラメータを使うことができる。このように、フィルタパラメータの推定と参照画像のフィルタリングは並行して実行でき、したがって符号化ループを２回以上実行することなく１パス符号化を達成できる。この動画符号器は、ＭＥ／ＭＣ部９１０、画面内予測部９０５、マクロブロックモード決定部９５５、参照画像バッファ９１５、適応ループフィルタ９２０、フィルタパラメータ推定器９２５、再構成ユニット９３５、Ｔ／Ｑ部９４０、ＩＴ／ＩＱ部９４５、およびエントロピー符号化ユニット９５０から構成される。図から把握できるように、適応フィルタは２つの部分からなる。すなわち、第１の部分は、マクロブロックモード決定ユニット９５５および適応補間フィルタ９２０と連動するよう構成されるフィルタパラメータ推定器９２５であり、第２の部分は、参照画像バッファ９１５およびＭＥ／ＭＣユニット９１０と連動するよう構成される適応補間フィルタ９２０である。
【００２７】
現在の画像が符号化処理を通過すると、フィルタパラメータ推定器９２５は、マクロブロックレベルでデータを集め、これは適応補間フィルタのパラメータを計算するために使われる。特に、モード決定の後は、ブロック分割および現在のマクロブロックのモーションベクトルが達成され、これらの情報が参照ピクセルの自己相関行列、および、原ピクセルと参照ピクセルとの相互相関ベクトルの生成に使われる。自己相関行列および相互相関ベクトルは、マクロブロックの間で累積される。すべてのマクロブロックが符号化された後は、フィルタパラメータ推定器は、各ピクセルの位置に対してウィーナー・ホップの等式を解き、現在の画像のピクセルと予測されたピクセルとの間の予測誤差を最小化できる補間フィルタのパラメータを得る。計算されたフィルタパラメータは、符号化の順序において次の画像のために使われる。これは、時間遅延を伴う適応補間フィルタの設計と呼ばれる。適応補間フィルタ９２０は、以前に推定された補間フィルタのパラメータにしたがって参照画像を補間する。このように、全体の符号化ループは１回行うだけでよく、したがって１パス符号化が達成できる。この処理は図１０に示される。
【００２８】
上述された方法は、フィルタポイントをサブピクセル位置に限定しない。すなわち、サブピクセル位置が適応フィルタを使って補間されることはもちろん、整数ピクセル位置もこの方法を用いてフィルタされる。整数ピクセルのフィルタパラメータは、もしあれば、自己相関行列、相互相関ベクトル、およびウィーナー・ホップの等式を使って計算される。フィルタタップはユーザが適応的に決定し、または定義してよい。整数ピクセルは、他のサブピクセル位置とともにフィルタされてもよく、または最初にフィルタされ、フィルタされた整数ピクセルが他のサブピクセル位置のフィルタパラメータを計算するために使われてもよいことに注意する。
【００２９】
現在の画像のフィルタパラメータは、異なる適用環境にしたがって、指標フラッグとともに、あるいは指標フラッグなしにビットストリームへ記録されてもよい。第１のケースでは、符号化の順序において、前の画像のいずれか１つに対応するフィルタパラメータを使うことを現在の画像が適応的に決定してもよいため、フィルタパラメータは最小の遅延を伴うフレームとともに送信される。例えば、ｔ−２画像のフィルタパラメータはｔ画像に適用されるが、例えばｔ−１またはｔといった事前に定義された時間ポイントの画像のビットストリームとともに送信される。このケースにおいては、フィルタインデクスは符号化され、かつ、その符号器におけるビットストリームへ挿入されたエントロピーである。このフィルタインデクスは、動画符号器において使われるパラメータ集合を選択するための、動画復号器のための指標である。第２のケースにおいては、以前の画像に対する時間遅延パラメータはあらかじめ定義されているため、フィルタパラメータは現在の画像のビットストリームへ記録される。例えば、時間遅延パラメータｋが２と設定されている場合、ｔ−２画像のフィルタパラメータはｔ画像に適用され、ｔ画像のビットストリームとともに送信される。
【００３０】
符号化の順序において、現在の画像とそれに対応する参照画像とから導出された時刻ｔのフィルタパラメータを、時刻ｔ−ｋのフィルタパラメータと比較してもよく、これを時刻シェアリングの適応補間フィルタの設計と呼ぶことに注意する。この場合、符号化の手法はなおマルチパスの画像符号化構造を必要とする。単純な方法は、異なる符号化パスにおける異なる時刻に対応する、各候補となるフィルタパラメータ集合に適用されるため、符号化の性能を評価した後に最適な集合を選択する。コスト関数／レート歪み基準は、その符号化パスにおいて各フィルタパラメータ集合を適用することについて、フレームレベルで符号化性能の利益を決定することに利用される。
【００３１】
時間シェアリング処理は、計算複雑度およびデータアクセスを下げることによって単純化された２パス符号化手法も提供する。特に、最初の符号化パスの後、実際に符号化処理を実行する代わりに、候補となるフィルタパラメータ集合の符号化性能の推定に早いレート歪み基準を用いてもよい。この早いレート歪み基準は、最初の符号化パスと候補となるフィルタパラメータ集合の情報を使うだけで、符号化ビットと歪みを推定する。
【００３２】
この手法の１つの例は、以下の通りである。すなわち、動画符号器は、固定された標準の補間フィルタパラメータを使って最初の符号化パスを実行する。その後に、モードやモーションベクトルといった符号化情報は達成されてよい。したがって、情報はＭＣ処理を実行することによって符号化歪みを計算するための異なるフィルタパラメータ集合とともに使われる。フィルタパラメータ集合と符号化情報との間にミスマッチが発生するが、この方法によって複雑度は大幅に軽減される。最小の歪みで済むフィルタパラメータ集合を選択した後は、２回目のパスがそのフィルタパラメータ集合を適用することによって実行される。
【００３３】
実際的な符号化処理においては、特に画面内予測において、多くの要素が予測精度に影響を及ぼす。こうした要素の１つは平均オフセットにより説明できる。これは、動画信号または悪いフィルタパラメータを使用することに由来するＤＣコンポーネントのシフトを意味する。この問題を回避するために、フィルタパラメータ推定器の処理における平均オフセット推定法が提案されている。これは、ＤＣコンポーネントで起こる変化を補償することを目的とするものである。１パス構造を維持するために、平均オフセットは１パスの設定で推定される。平均オフセット推定ユニットは、フレームや領域でよく、推定された平均オフセットの値は、現在の符号化画像とともに送信される。平均オフセットを評価するための１つの単純な方法は、原ピクセルと対応する参照ピクセルとの間の平均差分を計算することである。平均オフセットは、あらかじめ定義された値、またはオフラインで学習された値であってよい。この場合、オフセット値はビットストリームへ送信されない。１つ以上の平均オフセット値は１つのユニットで推定されてよく、レート歪み基準は最適な平均オフセット値を選択するために使われてよいことに注意する。
【００３４】
加えて、上記で述べた領域に基づくフィルタリングは、上記で述べた時間遅延を伴う手法に適用されてよい。この領域に基づくフィルタ比較の１つの例は、マクロブロックレベルの１パス時間遅延フィルタリングである。この場合、フィルタの比較はマクロブロックレベルで実行され、前の画像だけのフィルタパラメータは、１パス符号化を達成するために使われる。現在のマクロブロックの符号化が始まると、以前に計算されたフィルタパラメータのいかなる組み合わせも、レート歪みの性能を使うことによってモード決定を行うために使われてよく、既存の標準の補間フィルタを含む。その後、最適な性能を発揮するフィルタパラメータの１つの集合は、現在のマクロブロックのために選択される。各マクロブロックのインデクスも符号化され、いずれのフィルタパラメータ集合が使われたかを示すためにビットストリームに挿入されたエントロピーである。予測的な符号化処理は、インデクスを符号化するときに適用される。このフィルタ比較処理も、整数ピクセルのフィルタパラメータとＤＣオフセット値を含むことに注意する。また、候補となるフィルタパラメータ集合は、同じ画像から学習された異なるフィルタパラメータ集合など、他の手法から導出されたフィルタを含んでもよいことに注意する。候補となるフィルタパラメータ集合を拡張する手法や対応する領域に基づくインデクスを伴う異なる領域の分割手法など、本手法の変形も本発明の思想に従う。
【００３５】
適応ループフィルタのパラメータまたは適応補間パラメータの和は、典型的には、特定の値に非常に近くなる。この性質は、最終的に送信される際、パラメータのビットを節約するために、フィルタパラメータを符号化することに適用される。例えば、平均ピクセル強度が増加または減少することを防ぐために、パラメータの和は１．０になることが仮定され、ビットストリーム中の最後のパラメータは、１．０から残りのパラメータの和を引くことによって予測される。
【００３６】
図１３は、本発明の第４の実施形態に係る動画復号器を示す図である。これは、図５で示された符号器によって生成された符号化されたビットストリームを復号するための動画復号器であり、符号化されたビットストリームを解析するためのエントロピー復号化ユニット１３０５、周波数領域から正しいスケールを持つ空間領域へ残差信号を変換するためのＩＴ／ＩＱユニット１３１０、画面内予測サンプルを生成するための画面内予測ユニット１３１５、画面間予測サンプルを生成するためのＭＣユニット１３２０、現在の画像の再構成サンプルを生成するための再構成ユニット１３３５、再構成された画像に含まれるブロックノイズを低減するための非ブロック化ユニット１３４０、後の画像の参照画像として非ブロック化された画像を記憶するための参照画像バッファ１３３０、および、参照画像バッファ１３３０およびＭＣユニット１３２０と連動され、ＭＣにサンプルを生成するために、参照画像バッファの中に記憶されている対応するフィルタパラメータを伴う参照画像をフィルタリングするための適応ループフィルタ１３２５から構成される。ＭＣの補間処理および適応ループフィルタの処理は、待ち時間のために、２つの連結する機能ブロック、または１つの複数機能ブロックに組み込まれてもよい。図５に示される符号器は、図１に示される符号器と論理的に等価であるため（すなわち、これらは正しい設定のもとで完全に同じビットストリームを生成できる）、図５に示される符号器によって生成されたビットストリームは、図１１に示される復号器によって適切に復号化される。同様に、図１に示される符号器によって生成されたビットストリームは、図１３に示される復号器によっても適切に復号される。
【００３７】
図１４は、本発明の第５の実施形態に係る動画復号器を示す図である。これは、図７で示された符号器によって生成された符号化されたビットストリームを復号するための動画復号器であり、符号化されたビットストリームを解析するためのエントロピー復号化ユニット１４０５、周波数領域から正しいスケールを持つ空間領域へ残差信号を変換するためのＩＴ／ＩＱユニット１４１０、画面内予測サンプルを生成するための画面内予測ユニット１４１５、画面間予測サンプルを生成するためのＭＣユニット１４２０、現在の画像の再構成サンプルを生成するための再構成ユニット１４３５、再構成された画像のブロックノイズを低減するための非ブロック化ユニット１４４０、適応ループフィルタ１４３０およびＭＣユニット１４２０と連動され、後の画像の参照画像として非ブロック化された画像を記憶するための参照画像バッファ１４２５、および、非ブロック化ユニット１４４０および参照画像バッファ１４２５と連動され、参照画像を生成するため、以前に復号されたフィルタパラメータを伴う非ブロック化画像をフィルタリングするための適応ループフィルタ１４３０から構成される。適応ループフィルタ１４３０は、前の画像のビットストリームから復号されたフィルタパラメータを記憶するためのメモリを持っている。これは、時間遅延を伴う適応ループフィルタリングと呼ばれる。符号化の順序において時刻ｔのフィルタパラメータが、符号化の順序において時刻ｔ−ｋの前の画像のフィルタパラメータと比較できる場合、これは時間シェアリングの適応ループフィルタリングと呼ばれ、適応ループフィルタ１４３０は、符号化の順序において新しく復号された時刻ｔのフィルタパラメータか、または符号化の順序において記憶されていた時刻ｔ−ｋのフィルタパラメータを選択することに注意する。
【００３８】
図１５は、本発明の第６の実施形態に係る動画復号器を示す図である。これは、図９で示された符号器によって生成された符号化されたビットストリームを復号するための動画復号器であり、符号化されたビットストリームを解析するためのエントロピー復号化ユニット１５０５、周波数領域から正しいスケールを持つ空間領域へ残差信号を変換するためのＩＴ／ＩＱユニット１５１０、画面内予測サンプルを生成するための画面内予測ユニット１５１５、画面間予測サンプルを生成するためのＭＣ１５２０、現在の画像の再構成サンプルを生成するための再構成ユニット１５３５、再構成された画像のブロックノイズを低減するための非ブロック化ユニット１５４０、後の画像の参照画像として非ブロック化された画像を記憶するための参照画像バッファ１５３０、および、ＭＣのサンプルを生成するため、以前に復号されたフィルタパラメータを伴う参照画像を補間し、フィルタリングするための適応補間フィルタ１５２５から構成される。適応補間フィルタ１５２５は、前の画像のビットストリームから復号されたフィルタパラメータを記憶するためのメモリを持っている。これは、時間遅延を伴う適応補間フィルタリングと呼ばれる。符号化の順序において時刻ｔのフィルタパラメータが、符号化の順序において時刻ｔ−ｋの前の画像のフィルタパラメータと比較できる場合、これは時間シェアリングの適応補間フィルタリングと呼ばれ、適応補間フィルタ１５３０は、符号化の順序において新しく復号された時刻ｔのフィルタパラメータか、または符号化の順序において記憶されていた時刻ｔ−ｋのフィルタパラメータを選択することに注意する。
【００３９】
まとめると、本発明は、少ないＤＲＡＭへのアクセス回数と計算資源でデータをフィルタリングできるいくつかの装置および方法を提供する。加えて、１パス構造は、レート歪みを決定することによって高い計算効率を達成可能にし、領域に基づくフィルタリング、時間遅延を伴う適応フィルタリングおよび時間シェアリングの適応ループフィルタリングは、より柔軟な選択を可能にし、より効率的にフィルタリングを実行できる。
【００４０】
当業者は、本発明の示唆を保持する一方で、この装置および方法の多くの変形例や代替例が作成されることが容易に分かる。したがって、上記の開示は、添付の請求項の境界や限界によってのみ限定されるものとして解釈されるべきである。
【図１】
0005180380.tif 000002
【図２】
0005180380.tif 000003
【図３】
0005180380.tif 000004
【図４】
0005180380.tif 000005
【図５】
0005180380.tif 000006
【図６】
0005180380.tif 000007
【図７】
0005180380.tif 000008
【図８】
0005180380.tif 000009
【図９】
0005180380.tif 000010
【図１０】
0005180380.tif 000011
【図１１】
0005180380.tif 000012
【図１２】
0005180380.tif 000013
【図１３】
0005180380.tif 000014
【図１４】
0005180380.tif 000015
【図１５】
0005180380.tif 000016