(57)【特許請求の範囲】
【請求項１】
符号化された第１フレームデータを復号し、第１パラメータを用いて平滑化された第１フレームデータと平滑化されていない第２フレームデータとの差分情報に基づいて符号化された第２フレームデータを復号する復号装置であって、
前記符号化された第１フレームデータを復号する復号手段と、
前記第１パラメータを用いて、前記復号手段により復号された第１フレームデータを平滑化し、前記符号化された第２フレームデータを復号するために参照する参照用第１フレームデータを出力する第１平滑化手段と、
再生用第１フレームデータの平滑化に用いるパラメータとして、前記第１パラメータか、当該第１パラメータとフィルタ強度の異なる第２パラメータかを選択する選択手段と、
前記選択手段によって選択されたパラメータを用いて前記復号手段により復号された第１フレームデータを平滑化し、再生用第１フレームデータを出力する第２平滑化手段とを有し、
前記復号手段は、前記第１平滑化手段により前記第１パラメータを用いて平滑化された前記参照用第１フレームデータを参照して、前記第１パラメータを用いて平滑化された第１フレームデータと前記平滑化されていない第２フレームデータとの差分情報に基づいて符号化された第２フレームデータを復号する
ことを特徴とする復号装置。
【請求項２】
前記第１及び第２平滑化手段は、前記第１フレームデータを構成する複数のブロックの境界における画素情報を平滑化する
ことを特徴とする請求項１記載の復号装置。
【請求項３】
前記復号された第１フレームデータから算出される、当該復号された第１フレームデータの特性情報に応じて、前記第２パラメータを設定する設定手段
を有することを特徴とする請求項１又は２記載の復号装置。
【請求項４】
前記選択手段は、前記第１フレームデータを含む動画像データにおいて、フレーム内符号化されたフレームがフレーム間符号化されたフレームより多い場合に、前記平滑化の強度が前記第１パラメータよりも弱くなるように設定された第２パラメータを選択することを特徴とする請求項１記載の復号装置。
【請求項５】
前記選択手段は、前記第１フレームデータを構成する複数のブロックのそれぞれにおける画素情報の変化が大きい場合に、前記平滑化の強度が弱くなるように設定された第２パラメータを選択することを特徴とする請求項１記載の復号装置。
【請求項６】
前記選択手段は、前記第１フレームデータ中において画素情報が周期的に変化する場合、前記画素情報の周期的な変化が前記第１フレームデータを構成する複数のブロックの境界で生じるかの判断に応じて、前記第２パラメータを選択することを特徴とする請求項１記載の復号装置。
【請求項７】
前記平滑化の強度を示す情報と、前記再生用第１フレームデータとを表示させる表示制御手段と、
前記平滑化の強度の変更指示を入力する入力手段と、
前記入力された指示に応じて、前記第２パラメータを設定する設定手段と
を有することを特徴とする請求項１又は２記載の復号装置。
【請求項８】
符号化された第１フレームデータを復号し、第１パラメータを用いて平滑化された第１フレームデータと平滑化されていない第２フレームデータとの差分情報に基づいて符号化された第２フレームデータを復号する復号装置が行う復号方法であって、
前記符号化された第１フレームデータを復号する復号工程と、
前記第１パラメータを用いて、前記復号工程により復号された第１フレームデータを平滑化し、前記符号化された第２フレームデータを復号するために参照する参照用第１フレームデータを出力する第１平滑化工程と、
再生用第１フレームデータの平滑化に用いるパラメータとして、前記第１パラメータか、当該第１パラメータとフィルタ強度の異なる第２パラメータかを選択する選択工程と、
前記選択工程によって選択されたパラメータを用いて前記復号工程により復号された第１フレームデータを平滑化し、再生用第１フレームデータを出力する第２平滑化工程とを有し、
前記復号工程は、前記第１平滑化工程により前記第１パラメータを用いて平滑化された前記参照用第１フレームデータを参照して、前記第１パラメータを用いて平滑化された第１フレームデータと前記平滑化されていない第２フレームデータとの差分情報に基づいて符号化された第２フレームデータを復号する
ことを特徴とする復号方法。
【請求項９】
符号化された第１フレームデータを復号し、第１パラメータを用いて平滑化された第１フレームデータと平滑化されていない第２フレームデータとの差分情報に基づいて符号化された第２フレームデータを復号するコンピュータに、
前記符号化された第１フレームデータを復号する復号手順と、
前記第１パラメータを用いて、前記復号手順により復号された第１フレームデータを平滑化し、前記符号化された第２フレームデータを復号するために参照する参照用第１フレームデータを出力する第１平滑化工程と、
再生用第１フレームデータの平滑化に用いるパラメータとして、前記第１パラメータか、当該第１パラメータとフィルタ強度の異なる第２パラメータかを選択する選択手順と、
前記選択手順によって選択されたパラメータを用いて前記復号手順により復号された第１フレームデータを平滑化し、再生用第１フレームデータを出力する第２平滑化手順とを実行させ、
前記復号手順は、前記第１平滑化手順により前記第１パラメータを用いて平滑化された前記参照用第１フレームデータを参照して、前記第１パラメータを用いて平滑化された第１フレームデータと前記平滑化されていない第２フレームデータとの差分情報に基づいて符号化された第２フレームデータを復号する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化された動画像データを復号化する技術に関する。
【背景技術】
【０００２】
莫大なデータ量であるデジタル映像を効率的に記憶、伝送するために、動画像データの符号化（圧縮）及び復号化（伸張）の技術がある。我が国でも地上波デジタル放送にて採用されているＭＰＥＧ−２（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ｐｈａｓｅ  ２）や、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ）によって標準化されたＨ．２６４等、種々の符号化方式が利用されている。
【０００３】
特に、Ｈ．２６４や、ＡＶＳ（Ａｕｄｉｏ  Ｖｉｄｅｏ  ｃｏｄｉｎｇ  Ｓｔａｎｄａｒｄ）といった符号化方式において、例えば、画像を符号化する過程で行われる量子化によって発生するブロック歪を解消するために、ポストフィルタ（デブロッキングフィルタ）処理が行われる。デブロッキングフィルタ処理は、フレームを分割したブロックの境界において、符号化時に設定されたフィルタ強度に応じて該境界の画素値を平滑化するためのフィルタ処理である。
【０００４】
例えば、特許文献１には、水平、垂直方向のデブロッキングフィルタ処理によって、複数のブロックに区分された動画像データのブロックのエッジを跨ぐ画素値をそれぞれ変更し、ブロック歪を低減することについて記載されている。
【特許文献１】特開２００８−４８１８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、符号化側で設定される平滑化フィルタのフィルタ強度によっては、映像が持っていた高周波成分がこのフィルタ処理によって過度に失われ、映像がぼけてしまう場合や、フィルタ処理による十分な効果が得られない恐れがあった。
【０００６】
つまり、例えば、ユーザが動画像の撮影時に、デブロッキングフィルタ処理に用いるフィルタ強度を、必要が無い（ブロック歪が生じない）にもかかわらず、必要以上に強く設定してしまった場合を例に挙げる。この場合、撮影時に設定されたフィルタ強度に応じてデブロッキングフィルタ処理を行ってしまうと、映像の持っていた高周波成分が過度に失われてしまい、映像がぼけてしまうことになる。
【０００７】
本発明は上記問題点に鑑みてなされたものであり、その目的は、符号化側で設定された平滑化フィルタのフィルタ強度によるフィルタ処理の過不足を補償することである。
【課題を解決するための手段】
【０００８】
かかる課題を解決するための本発明における復号装置は、以下の構成を有する。即ち、符号化された第１フレームデータを復号し、第１パラメータを用いて平滑化された第１フレームデータと平滑化されていない第２フレームデータとの差分情報に基づいて符号化された第２フレームデータを復号する復号装置であって、前記符号化された第１フレームデータを復号する復号手段と、前記第１パラメータを用いて、前記復号手段により復号された第１フレームデータを平滑化し、前記符号化された第２フレームデータを復号するために参照する参照用第１フレームデータを出力する第１平滑化手段と、再生用第１フレームデータの平滑化に用いるパラメータとして、前記第１パラメータか、当該第１パラメータとフィルタ強度の異なる第２パラメータかを選択する選択手段と、前記選択手段によって選択されたパラメータを用いて前記復号手段により復号された第１フレームデータを平滑化し、再生用第１フレームデータを出力する第２平滑化手段とを有し、前記復号手段は、前記第１平滑化手段により前記第１パラメータを用いて平滑化された前記参照用第１フレームデータを参照して、前記第１パラメータを用いて平滑化された第１フレームデータと前記平滑化されていない第２フレームデータとの差分情報に基づいて符号化された第２フレームデータを復号する。
【０００９】
また、本発明の処理方法は、符号化された第１フレームデータを復号し、第１パラメータを用いて平滑化された第１フレームデータと平滑化されていない第２フレームデータとの差分情報に基づいて符号化された第２フレームデータを復号する復号装置が行う復号方法であって、前記符号化された第１フレームデータを復号する復号工程と、前記第１パラメータを用いて、前記復号工程により復号された第１フレームデータを平滑化し、前記符号化された第２フレームデータを復号するために参照する参照用第１フレームデータを出力する第１平滑化工程と、再生用第１フレームデータの平滑化に用いるパラメータとして、前記第１パラメータか、当該第１パラメータとフィルタ強度の異なる第２パラメータかを選択する選択工程と、前記選択工程によって選択されたパラメータを用いて前記復号工程により復号された第１フレームデータを平滑化し、再生用第１フレームデータを出力する第２平滑化工程とを有し、前記復号工程は、前記第１平滑化工程により前記第１パラメータを用いて平滑化された前記参照用第１フレームデータを参照して、前記第１パラメータを用いて平滑化された第１フレームデータと前記平滑化されていない第２フレームデータとの差分情報に基づいて符号化された第２フレームデータを復号する。
【発明の効果】
【００１０】
本発明によれば、動画像データの符号化側で設定された平滑化フィルタのフィルタ強度によるフィルタ処理の過不足を補償することができる。
【発明を実施するための最良の形態】
【００１１】
＜実施形態１＞
図１は本発明における復号装置の構成例をブロック図で示したものである。尚、本発明の復号装置は、動画像データを構成するフレームデータを復号する復号装置であり、例えば、デジタルテレビに含まれる。また、本発明は、デジタルテレビ以外に、パーソナルコンピュータ、ワークステーション、ノートブックＰＣ、パームトップＰＣ、デコーダ装置、コンピュータを内蔵した各種家電製品、ゲーム機、携帯電話などのうち、動画像データを構成するフレームデータを復号する装置、もしくは、これらの組合せによっても実施可能である。
【００１２】
図１の復号装置は、図示されるように、エントロピー復号化部１０１、逆量子化部１０２、逆直交変換部１０３、補償処理部１０４、標準パラメータ計算部１０５、ポストフィルタ１０６、メモリ１０７を含む。また、図１の復号装置は、画面表示用フィルタ１０８、選択部１０９、画像処理部１１０、映像表示部１１１を含む。尚、詳細は後述するが、標準パラメータ計算部１０５は、標準化された符号化方式（例えば、Ｈ．２６４）に対応した、デブロッキングフィルタ処理に用いるフィルタパラメータである標準パラメータを計算する。
【００１３】
エントロピー復号化部１０１は、符号化された動画像データを入力とし、入力した動画像データに対して可変長復号化処理もしくは算術復号処理を行う。エントロピー復号化部１０１に入力される動画像データは、例えばストリーミング等で配信される映像ストリームであっても、記録媒体に記録されている映像データであっても良い。エントロピー復号化部１０１は、入力された動画像データから動きベクトルや量子化スケール値、マクロブロックタイプ、デブロッキングフィルタに用いるフィルタ強度などの符号化パラメータ、及び量子化された直交変換係数を逆量子化部１０２に出力する。尚、本実施形態では、上述の各符号化パラメータを、量子化された直交変換係数と共に逆量子化部１０２に出力している。しかし、これらの符号化パラメータは、直交変換係数とは異なる経路にて後段の処理に間に合うように適宜伝送するようにしても良い。
【００１４】
逆量子化部１０２は、エントロピー復号化部１０１から入力された量子化された直交変換係数に対し、量子化スケール値を用いて逆量子化処理を行い、直交変換係数を逆直交変換部１０３へ出力する。逆直交変換部１０３は、入力された直交変換係数に対して逆直交変換（整数変換）を施して予測誤差ブロックを生成し、補償処理部１０４に対して出力する。
【００１５】
補償処理部１０４は、逆直交変換部１０３から入力された予測誤差ブロックに対応するデータが、フレーム内予測されたマクロブロックか、フレーム間予測されたマクロブロックかを、例えばマクロブロックタイプの情報を参照することで判断する。ここで、マクロブロックは、１６ｘ１６画素で構成されるブロックを示す。補償処理部１０４は、その判断結果に応じて、フレーム内補償処理かフレーム間補償処理のいずれかの処理を行う。
【００１６】
フレーム内補償処理を行う場合、補償処理部１０４は、メモリ１０７に記憶されているフレーム内補償用参照画素を読み込み、フレーム内予測モードに対応したフレーム内補償用参照ブロックを生成する。フレーム内補償用参照画素は、同じフレーム内の復号画像でデブロッキングフィルタ処理が行われる前のブロックの画素データである。補償処理部１０４は、生成されたフレーム内補償用参照ブロックと逆直交変換部１０３からの出力である予測誤差ブロックとを加算することで補償後の復号画像データを生成する。そして、補償処理部１０４は、生成された復号画像データを標準パラメータ計算部１０５、ポストフィルタ１０６、及び画面表示用フィルタ１０８に出力する。また、補償処理部１０４は、補償後の復号画像データをフレーム内補償用にメモリ１０７に記憶させる。
【００１７】
一方、フレーム間補償処理を行う場合は、メモリ１０７に記憶されているフレーム間補償用参照画素を読み込み、動きベクトルや符号化モードに応じたフレーム間補償用参照ブロックを生成する。フレーム間補償用参照画素は、再生時刻の異なるフレームの復号画像でデブロッキングフィルタ処理が行われたブロックの画素データである。
【００１８】
補償処理部１０４は、生成されたフレーム間補償用参照ブロックと逆直交変換部１０３からの出力である予測誤差ブロックとを加算することで補償後の復号画像データを生成する。そして、補償処理部１０４は、生成された復号画像データを標準パラメータ計算部１０５、ポストフィルタ１０６、及び画面表示用フィルタ１０８に出力する。また、補償処理部１０４は、補償後の復号画像データをフレーム内補償用参照画素としてメモリ１０７に保存させる。
【００１９】
尚、Ｈ．２６４では、あるフレームデータ（例えば、あるフレームにおけるマクロブロック）の符号化を、参照フレームデータ（別のフレームにおけるマクロブロック）との差分の情報によって行うことができる。このように符号化する場合、参照フレームデータは、符号化方式に対応したフィルタパラメータである標準パラメータによりデブロッキングフィルタ処理が行われたフレームデータとなる。そして、復号装置では、上述したフレームデータの復号を、復号、及び標準パラメータによるデブロッキングフィルタ処理後の参照フレームデータと、符号化時に生成された、復号対象となるフレームデータと参照フレームデータとの差分の情報によって行う。
【００２０】
即ち、本実施形態のエントロピー復号化部１０１から補償処理部１０４は、符号化された第１フレームデータを復号する手段を構成する。また、本実施形態のエントロピー復号化部１０１から補償処理部１０４は、第１パラメータを用いて平滑化された第１フレームデータと平滑化されていない第２フレームデータとの差分情報に基づいて符号化された第２フレームデータを復号する手段を構成する。ここで、第１パラメータは標準パラメータ、第１フレームデータは参照フレームデータ、平滑化はフィルタ処理を示す。
【００２１】
標準パラメータ計算部１０５、及びポストフィルタ１０６は、補償処理部１０４から出力された補償後の復号画像データに対し、ポストフィルタ（デブロッキングフィルタ）処理を行う。
【００２２】
標準パラメータ計算部１０５は、補償処理部１０４から受け取ったフレーム内／フレーム間補償後の復号画像データ、及び動画像データに含まれるフィルタ強度を用いて（フィルタ処理する・しないを含む）マクロブロック毎のフィルタパラメータを計算する。ここで標準パラメータ計算部１０５によって計算されるフィルタパラメータは、標準化された符号化方式（例えば、Ｈ．２６４）に対応した、デブロッキングフィルタ処理に用いるフィルタパラメータ（標準パラメータ）である。即ち、標準パラメータは、復号装置に入力される動画像データに含まれるフィルタ強度と、マクロブロックごとの情報によって定まるパラメータであり、復号を行う装置によって変化しないパラメータである。
【００２３】
そして、計算された標準パラメータをポストフィルタ１０６、及び後述する選択部１０９に出力する。このように、本実施形態では、マクロブロック単位でデブロッキングフィルタ処理を行っている。しかし、このフィルタ処理を、マクロブロック単位ではなく、別の単位（例えば、４ｘ４画素単位等）毎に行うようにしても良い。つまり、標準パラメータ計算部１０５は、フィルタ処理を行う単位（例えば、４ｘ４画素単位等）でフィルタパラメータを計算することも可能である。
【００２４】
ポストフィルタ１０６は、標準パラメータ計算部１０５から受け取った標準パラメータを用いて、補償処理部１０４から受け取った補償後の復号画像データに対するデブロッキングフィルタ処理を行う。
【００２５】
デブロッキングフィルタ処理の例として、例えば、あるマクロブロックの垂直方向の境界における画素の画素値を、該境界を挟んで隣接する画素の画素値等に応じて平滑化する処理を例に挙げる。この場合、例えば、フィルタ処理の出力となる画素の画素値を４倍に重み付けした値と、左右に隣接する画素の画素値を、重み付けせずにそれぞれ加算し、６で除した画素値がフィルタ処理後の画素値となる。ただし、フィルタ強度等に応じて、各画素の重み付けの程度や、フィルタ処理に用いる画素の数は異なる。ポストフィルタ１０６は、デブロッキングフィルタ処理により、ブロック歪を軽減させた復号画像データをフレーム間補償用にメモリ１０７に保存させる。
【００２６】
即ち、ポストフィルタ１０６は、第１パラメータ（標準パラメータ）を用いて、エントロピー復号化部１０１から補償処理部１０４により復号された第１フレームデータ（復号画像データ）を平滑化（フィルタ処理）する。そして、符号化された第２フレームデータ（後に復号されるフレームにおける画像データ）を復号するために参照する参照用第１フレームデータをメモリ１０７に出力する。
【００２７】
また、ポストフィルタ１０６は、第１フレームデータ（復号画像データ）を構成する複数のブロック（マクロブロック）の境界における画素情報を平滑化する。
【００２８】
尚、図１では、メモリ１０７はフレーム間補償用の参照画素及びフレーム内補償用の参照画素の両方を保存する構成となっているが、このメモリは１つである必要は無く、フレーム間補償用・フレーム内補償用に別々のメモリを持つ構成も可能である。また、このことは後述の実施形態でも同様である。
【００２９】
選択部１０９は、標準パラメータ計算部１０５から受け取った標準パラメータか、復号装置で設定された独自パラメータのいずれかを選択し、選択されたフィルタパラメータを画面表示用フィルタ１０８へ出力する。選択部１０９によるフィルタパラメータの選択方法については、後述する。
【００３０】
画面表示用フィルタ１０８は、選択部１０９によって選択されたフィルタパラメータを用いて、補償処理部１０４から受け取った復号画像データに対してデブロッキングフィルタ処理を行い、フィルタ処理後の復号画像データを画像処理部１１０へ出力する。標準パラメータが選択された場合、ポストフィルタ１０６の出力と画面表示用フィルタ１０８の出力は、一致する。
【００３１】
画像処理部１１０は、画面表示用フィルタ１０８から受け取ったフィルタ処理後の復号画像データに対して色空間変換や画質改善のためのフィルタ処理等を行い映像表示部１１１に出力する。そして、映像表示部１１１は、画像処理部１１０から受け取った画像処理後の復号画像データを表示させる。このように、選択部１０９が、標準パラメータ計算部１０５から出力された標準パラメータを選択している場合は標準符号化方式に準拠した復号画像データが表示される。一方、選択部１０９が、独自パラメータを選択している場合は独自パラメータに応じてデブロッキングフィルタ処理が行われた復号画像データが表示される。
【００３２】
即ち、画面表示用フィルタ１０８は、復号装置で第２パラメータが設定された場合、第２パラメータを用いて、エントロピー復号化部１０１から補償処理部１０４により復号された第１フレームデータを平滑化し、再生用第１フレームデータを出力する。ここで、第２パラメータは独自パラメータ、平滑化はフィルタ処理を示す。
【００３３】
また、画面表示用フィルタ１０８は、第１フレームデータ（復号画像データ）を構成する複数のブロック（マクロブロック）の境界における画素情報を平滑化する。
【００３４】
このように、本実施形態の復号装置は、フレーム間補償用の復号画像データを得るためのフィルタ処理を行うポストフィルタ１０６と、表示させる復号画像データを得るためのフィルタ処理を行う画面表示用フィルタ１０８の２つのフィルタを備えている。
【００３５】
これは、以下の理由による。即ち、復号装置側で、デブロッキングフィルタ処理による映像ボケを防ぐために、例えば、符号化時に設定されたフィルタ強度を強制的に下げる（又はフィルタ処理を行わないようにする）ことも考えられる。しかし、例えば、Ｈ．２６４のような符号化方式では、デブロッキングフィルタ処理を行ったフレームのデータを、別のフレームのデータを復号するためのフレーム間補償用のデータとして用いている。つまり、符号化の対象となるデータ（例えばマクロブロック）と、デブロッキングフィルタ処理が行われた参照データとの差分値に対して、フィルタ強度に応じたフィルタパラメータが決まるように符号化が行われている。従って、従来の復号装置においてフィルタ強度を変更してしまうと、変更後のフィルタ強度でフィルタ処理されたフレームのデータを参照して、別のフレームのデータが復号されることになってしまう。即ち、例えば、復号の途中でフィルタ処理を行わないように変更した場合、フィルタ処理を行っていないデータが復号時の参照データとして用いられてしまう。そして、１度フィルタ処理を行わないようにしてしまうと、フィルタ処理を行うように設定を戻しても、フィルタ処理をしていないデータが参照されるため、例えば、フレーム間補償を行っていないフレームまで、標準方式に則った映像に戻らない場合があった。このように、復号中に１度変更したフィルタ強度を元に戻しても、標準方式に則った映像に戻るまでに時間がかかってしまう場合があった。
【００３６】
そこで、本実施形態の復号装置は、フレーム間補償用の復号画像データを得るためのフィルタ処理を行うポストフィルタ１０６と、表示させる復号画像データを得るためのフィルタ処理を行う画面表示用フィルタ１０８の２つのフィルタを備えている。このようにすることで、フィルタ強度の変更によって、フレーム間補償に用いる復号画像データが変化してしまうことを防ぐことができる。
【００３７】
次に、本実施形態のエントロピー復号化部１０１に入力された動画像データが、映像表示部１１１で表示されるまでに復号装置の各部で行われる主な処理の流れについて、図７のフローチャートを用いて説明する。
【００３８】
尚、本実施形態では、図１を用いて説明した各部の処理を、ハードウェアによって行う。しかし、これらの処理を、ソフトウェアによって行うことも可能である。即ち、復号装置の各制御を行うＣＰＵが、ＲＯＭ等に記憶される制御プログラムを、プログラムを実行するためのメモリ（例えばＲＡＭ）上に適宜読み出し、処理を実行することで、図１に示した各部の機能を実現することも可能である。図７、及び以下の説明は、本実施形態の復号装置の処理をソフトウェアによって実現する場合の処理の手順に対応する。また、本実施形態では、マクロブロック単位で一連の処理を行う例を示すが、上述のように、それ以外の単位で処理を行うようにしても良い。
【００３９】
Ｓ７０１において、エントロピー復号化部１０１は、符号化された動画像データを受け取る。尚、動画像データを受け取る形態は、動画像データをメモリから読み出しても、インターフェースから直接入力されても良い。
【００４０】
Ｓ７０２において、エントロピー復号化部１０１は、Ｓ７０１で受け取った、符号化された動画像データのデコード処理を行い、所望のデータを取得する。より具体的には、エントロピー復号化部１０１は、Ｓ７０３において、符号化された動画像データから、マクロブロックタイプ、動きベクトル、量子化スケール値、デブロッキングフィルタに用いるフィルタ強度などの符号化パラメータを取得する。そして、Ｓ７０４において、エントロピー復号化部１０１は、符号化された動画像データから、量子化された直交変換係数を取得する。Ｓ７０３、Ｓ７０４で得られた各データは、逆量子化部１０２に出力される。
【００４１】
Ｓ７０５において、逆量子化部１０２は、エントロピー復号化部１０１から受け取った量子化スケール値を用いて、量子化された直交変換係数の逆量子化を行う。また、Ｓ７０５において、逆直交変換部１０３は、例えば４ｘ４画素や８ｘ８画素単位で、逆整数変換やＩＤＣＴ（Ｉｎｖｅｒｓｅ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）等の逆直交変換処理を行う。
【００４２】
Ｓ７０６において、補償処理部１０４は、フレーム間／フレーム内補償処理を行い、復号画像データを得る。即ち、Ｓ７０２からＳ７０６の処理（復号手順）によって、符号化された第１フレームデータが復号される。
【００４３】
Ｓ７０６の処理について、図８を用いて詳細に説明する。図８は、Ｓ７０６において、補償処理部１０４が行う補償処理に対応するフローチャートである。Ｓ８０１において、補償処理部１０４は、エントロピー復号化部１０１で取得されたマクロブロックタイプを参照する。そして、補償処理部１０４は、補償処理を行う画像データ（マクロブロック）が、フレーム内予測された（イントラ）マクロブロックか、フレーム間予測された（インター）マクロブロックかを判断する。フレーム内予測されたマクロブロックであると判断された場合は、Ｓ８０２へ進む。Ｓ８０２において、補償処理部１０４は、メモリ１０７から、フレーム内補償用参照画素を読み込み、Ｓ８０３に進む。Ｓ８０３では、補償処理部１０４が、Ｓ８０２にて読み込まれたフレーム内補償用参照画素群から、フレーム内予測のモードに応じてフレーム内補償用参照ブロックを生成する。そして、補償処理部１０４は、生成されたフレーム内補償用参照ブロックと、Ｓ７０５で逆直交変換部１０３から出力された予測誤差ブロックとを加算し、復号画像データを得る。Ｓ８０４において、補償処理部１０４は、Ｓ８０３で得られた復号画像データが、後に補償処理を行う画像データのフレーム内予測で用いられる場合、フレーム内予測用としてメモリ１０７に保存する。
【００４４】
一方、Ｓ８０１において、補償処理を行う画像データ（マクロブロック）がフレーム間予測された（インター）マクロブロックであると判断された場合は、Ｓ８０５へ進む。Ｓ８０５において、補償処理部１０４は、図７のＳ７０３で取得された動きベクトルの情報に対応する参照画素群をメモリ１０７からフレーム間補償用参照画素として読み込み、Ｓ８０６に進む。ここで、フレーム間補償用参照画素は、再生時刻の異なるフレームの復号画像でデブロッキングフィルタ処理が行われたブロックの画素データである。
【００４５】
Ｓ８０６において、補償処理部１０４は、Ｓ８０５で読み込んだフレーム間補償用参照画素群から、動きベクトルや符号化モードに応じてフレーム間補償用参照ブロックを生成する。そして、補償処理部１０４は、生成されたフレーム間補償処理用参照ブロックと、Ｓ７０５で逆直交変換部１０３から出力された予測誤差ブロックとを加算し、復号画像データを得る。そして、復号画像データを、後に補償処理を行う画像データのフレーム内予測用に、メモリ１０７に保存する。
【００４６】
つまり、Ｓ８０６でフレーム内補償処理を行う場合は、補償処理部１０４は、メモリ１０７に記憶されているフレーム内補償用参照画素に応じて補償処理を行う。一方、フレーム間補償処理を行う場合は、補償処理部１０４は、メモリ１０７に記憶されているフレーム間補償用参照画素に応じて補償処理を行う。尚、フレーム内補償用参照画素は、デブロッキングフィルタ処理が行われる前のブロックの画素データであり、フレーム間補償用参照画素は、標準パラメータを用いてデブロッキングフィルタ処理が行われたブロックの画素データであることは上述の通りである。なお、補償処理部１０４は、復号画像データを標準パラメータ計算部１０５、ポストフィルタ１０６、及び画面表示用フィルタ１０８、メモリ１０７に出力する。
【００４７】
即ち、補償処理部１０４は、符号化された画像データ（第２フレームデータ）をＳ８０５で復号する時には、以下のように処理を行う。即ち、補償処理部１０４は、標準パラメータ（第１パラメータ）を用いて平滑化された参照用第１フレームデータを参照する。第２フレームデータは、第１パラメータを用いて平滑化されたフィルタ処理後の画像データ（第１フレームデータ）と平滑化されていない第２フレームデータとの差分情報に基づいて符号化されている。補償処理部１０４は、このように符号化された第２フレームデータを、上述したように復号する。ここで、平滑化はフィルタ処理のことを示している。
【００４８】
Ｓ７０７（第２平滑化手順）では、標準パラメータ計算部１０５とポストフィルタ１０６によって、デブロッキングフィルタ処理が行われる。Ｓ７０７の処理の詳細について、図９を用いて説明する。図９は、Ｓ７０７において、標準パラメータ計算部１０５、及びポストフィルタ１０６が行うデブロッキングフィルタ処理に対応するフローチャートである。Ｓ９０１において、標準パラメータ計算部１０５は、補償処理部１０４から受け取った復号画像データ、及びフィルタ強度等を用いて、標準パラメータを計算する。この標準パラメータは、標準の符号化方式に対応する、デブロッキングフィルタに用いるフィルタパラメータである。また、フィルタ強度は、動画像データに含まれている。
【００４９】
標準パラメータ計算部１０５は、計算した標準パラメータをポストフィルタ１０６、及び選択部１０９に出力する。そして、ポストフィルタ１０６は、標準パラメータ計算部１０５から受け取った標準パラメータを用いて、復号画像データに対してデブロッキングフィルタ処理を行う。この処理がＳ９０２に対応する。そして、ポストフィルタ１０６は、Ｓ９０３において、フィルタ処理後の復号画像データを、フレーム間補償用にメモリ１０７に保存させる。
【００５０】
即ち、Ｓ９０１において、標準パラメータ計算部１０５は、第１パラメータ（標準パラメータ）を用いて、Ｓ７０７により復号された復号画像データ（第１のフレームデータ）を平滑化（フィルタ処理）する。そして、標準パラメータ計算部１０５は、後に表示されるフレームにおける画像データ（第２のフレームデータ）を復号するために参照する参照用第１フレームデータをメモリ１０７に出力する。
【００５１】
Ｓ７０８において、選択部１０９は、標準パラメータと独自パラメータのうち、どちらのパラメータを画面表示用フィルタ１０８へ出力するかを、標準パラメータ計算部１０５によって出力された標準パラメータや、復号画像データに応じて選択する。
【００５２】
ここで、選択部１０９が、復号装置で設定された独自パラメータを選択する場合の例として、例えば、標準パラメータが、予め設定される閾値よりも高いと判断された場合が挙げられる。つまり、選択部１０９は、あまりにも高いフィルタ強度が設定されている場合は、高周波成分が過度に劣化してしまうと判断し、標準パラメータよりフィルタ強度が低くなるように、独自パラメータを選択し、画面表示用フィルタに出力する。また、逆に、選択部１０９は、標準パラメータが、予め設定される閾値よりも低い場合に、独自パラメータを選択するようにすることもできる。つまり、選択部１０９は、あまりにも低いフィルタ強度が設定されている（もしくはフィルタ処理を行わない）場合は、ブロック歪が発生すると判断し、標準パラメータよりフィルタ強度が強くなるように、独自パラメータを選択し、画面表示用フィルタに出力する。
【００５３】
また、選択部１０９が、独自パラメータを選択する別の例として、例えば編集容易性等のためにフレーム内予測で符号化されたフレームが多い場合が挙げられる。つまり、例えばＨ．２６４では、フレーム内予測を行っている画像データに対して、デブロッキングフィルタの効果がより強くなるように符号化しているためである。このような場合に、選択部１０９は、標準パラメータよりフィルタ強度が低くなるように、独自パラメータを選択し、画面表示用フィルタに出力する。また、逆に、フレーム間予測で符号化されたフレームが多いと判断された場合は、選択部１０９が、フィルタ強度が強くなるように独自パラメータを選択するようにしても良い。
【００５４】
さらに、選択部１０９が独自パラメータを選択する別の例として、高周波成分が特に強い動画像データ（例えば、森林において枯葉が混在した動画像）が入力されている場合が挙げられる。このような場合には、選択部１０９が、ブロック歪よりも映像ボケのほうが主観画質上の劣化が目立つと判断して標準パラメータよりもフィルタ強度が低くなるように、独自パラメータを選択し、画面表示用フィルタに出力する。また、逆に、高周波成分が弱いと判断された場合は、選択部１０９は、フィルタ強度が強くなるように独自パラメータを選択するようにしても良い。
【００５５】
即ち、選択部１０９は、例えば、復号されたマクロブロック内における、画素情報の変化を参照する。そして、画素情報の変化が大きい場合は、フィルタ強度が弱くなるように独自パラメータを設定する。
【００５６】
本実施形態の選択部１０９は、上記のような動画像データが入力された場合に、独自パラメータを選択することにより、映像ボケ抑制による主観画質向上の効果を、より得ることができる。
【００５７】
ここで、標準パラメータと独自パラメータの例について説明する。標準パラメータは、例えば、デブロッキングフィルタ処理の対象となる画素の画素値に、隣接する左右の画素の画素値を加算し、３で除して得られた値をフィルタ処理後の画素値とするパラメータであったとする。そして、それよりもフィルタ強度が弱くなるような独自パラメータの例を挙げる。即ち、独自パラメータとして、例えば、デブロッキングフィルタ処理の対象となる画素の画素値を４倍に重み付けした画素値と、隣接する左右の画素値との加算値を６で除して得られた値をフィルタ処理後の画素値とするようなパラメータが考えられる。このような場合に、独自パラメータを選択してフィルタ処理を行えば、標準パラメータでフィルタ処理をする場合と比較して、よりフィルタ処理の対象となる画素の元の画素値の影響を強く残すことができ、高周波成分が過度に失われることを防ぐことができる。
【００５８】
また、標準パラメータと独自パラメータのほかの例を挙げる。例えば、標準パラメータが、フィルタ処理の対象となる画素と、その左側２画素、及び右側２画素の画素値を加算し、５で除して得られた値をフィルタ処理後の画素値とするパラメータであったとする。そして、それよりもフィルタ強度が弱くなる独自パラメータの例として、デブロッキングフィルタ処理の対象となる画素と、その左側１画素、及び右側１画素の画素値を加算し、３で除して得られた値をフィルタ処理後の画素値とするパラメータが考えられる。このような場合に、独自パラメータを選択してフィルタ処理を行えば、標準パラメータでフィルタ処理をする場合と比較して、一般に、よりフィルタ処理の対象となる画素の元の画素値の影響を強く残すことができ高周波成分が過度に失われることを防ぐことができる。
【００５９】
このように、デブロッキングフィルタ処理に用いる画素の数（範囲）や、加算する画素値の重み付けを変化させることで、フィルタの強さを変更することができる。
【００６０】
尚、本実施形態の独自パラメータは、標準パラメータ計算部１０５で計算された標準パラメータを受け取り、そのフィルタパラメータよりもフィルタ強度が強く、又は弱くなるように設定されても良い。また、独自パラメータは、予め設定されたフィルタ強度に応じたフィルタパラメータであっても良い。
【００６１】
また、本実施形態では、標準パラメータや、復号画像データに応じて、標準パラメータと独自パラメータのうち、どちらのパラメータを用いるかを選択している。しかし、例えば、復号画像データに応じて、独自パラメータを設定するようにしても良い。この場合、例えば、選択部１０９が、上述した復号画像データの高周波成分の強さ（画素情報の変化の大きさ）に応じて、独自パラメータを設定するようにしても良い。つまり、選択部１０９は、例えば、復号されたマクロブロック内における、画素情報の変化を参照し、画素情報の変化の大きさに応じて、独自パラメータを設定するようにしても良い。
【００６２】
即ち、選択部１０９は、復号された第１フレームデータ（復号画像データ）から算出される、復号された第１フレームデータの特性情報（画素情報の変化の大きさ）に応じて、第２パラメータ（独自パラメータ）を設定する。
【００６３】
尚、上述のように、画素情報の変化の大きさとは、第１フレームデータを構成する複数のブロック（マクロブロック）のそれぞれにおける画素情報の変化に関する情報である。そして、選択部１０９は、マクロブロック内における画素情報の変化が大きい場合に、平滑化（フィルタ処理）の強度が弱くなるように、第２パラメータ（独自パラメータ）を設定する。
【００６４】
Ｓ７０９（第１平滑化手順）において、画面表示用フィルタ１０８は、選択部１０９から受け取ったフィルタパラメータを用いて、補償処理部１０４から受け取った復号画像データに対するデブロッキングフィルタ処理を行う。そして、Ｓ７１０において、画面表示用フィルタ１０８は、フィルタ処理後の復号画像データを画像処理部１１０に出力する。
【００６５】
尚、上述のように、画像処理部１１０は、画面表示用フィルタ１０８から受け取った復号画像データに対して色空間変換や画質改善のための処理等を行い映像表示部１１１に出力する。そして、映像表示部１１１は、画像処理部１１０から受け取った画像処理後の画像データを表示する。
【００６６】
即ち、Ｓ７０９では、Ｓ７０８で第２パラメータが設定された場合、画面表示用フィルタ１０８は、当該第２パラメータを用いて、第１のフレームデータ（復号画像データ）を平滑化し、再生用第１フレームデータを出力する。ここで、第２パラメータは独自パラメータ、平滑化はフィルタ処理のことを示している。
【００６７】
以上説明したように、本実施形態の復号装置では、選択部１０９において、入力される動画像データに含まれるフィルタ強度に応じた標準パラメータと、復号装置で設定した独自パラメータとのうち、どちらのフィルタパラメータを用いるかを選択する。そして、画面表示用フィルタ１０８は、選択部１０９によって設定されたフィルタパラメータを用いて、復号画像データのデブロッキングフィルタ処理を行っている。さらに、標準パラメータを用いてポストフィルタ１０６でデブロッキングフィルタ処理を行い、フィルタ処理後の復号画像データをフレーム間補償処理用にメモリ１０７に保存している。
【００６８】
このようにすることで、動画像データの符号化側で設定された平滑化フィルタのフィルタ強度によるフィルタ処理の過不足を補償することができる。また、動画像データの復号化側で調整した平滑化フィルタのフィルタ強度を、再生する映像に、より早く反映させることが可能となる。
【００６９】
尚、本実施形態では、選択部１０９によって標準パラメータが選択された場合、画面表示用フィルタ１０８で、標準パラメータを用いて復号画像データのデブロッキングフィルタ処理を行っている。しかし、標準パラメータが選択された場合は、ポストフィルタ１０６によってデブロッキングフィルタ処理された復号画像データを再生用として、画像処理部１１０に出力するようにしても良い。
【００７０】
即ち、復号装置で第２パラメータ（独自パラメータ）が設定されなかった場合、ポストフィルタ１０６は、以下のように処理を行う。即ち、第１パラメータ（標準パラメータ）を用いて、補償処理部１０４により復号された第１フレームデータに対して平滑化（フィルタ処理）して得られたフレームデータを再生用第１フレームデータとして出力する。
【００７１】
このようにすれば、画面表示用フィルタ１０８の処理を省略することができる。
【００７２】
また、本実施形態において、選択部１０９は、復号画像データから得られた標準パラメータの値、マクロブロックタイプ、高周波成分等によって標準パラメータと独自パラメータを選択することについて主に説明した。しかし、これに限らず、図１に示した復号装置の選択部１０９は、デブロッキングフィルタ処理後の復号画像データの特性や、ユーザからの指示等によって、フィルタパラメータの切り替えを行うようにすることも可能である。また、復号画像データの特性や、ユーザからの指示等に応じて、独自パラメータを変更するようにすることも可能である。実施形態２以降では、これらの実施形態について、詳細に説明する。
【００７３】
＜実施形態２＞
次に、本発明の第２の実施形態について、実施形態１との差異を中心に説明する。
【００７４】
実施形態２は、独自パラメータをデブロッキングフィルタ処理後の復号画像データに応じて調整する場合について説明する。図２は、本実施形態における復号装置の構成を示したブロック図である。図２の復号装置は、図示されるようにエントロピー復号化部２０１、逆量子化部２０２、逆直交変換部２０３、補償処理部２０４、標準パラメータ計算部２０５、ポストフィルタ２０６、メモリ２０７を含む。また、図２の復号装置は、画面表示用フィルタ２０８、選択部２０９、画像処理部２１０、映像表示部２１１、ブロック歪検出部２１２、独自パラメータ計算部２１３を含む。
【００７５】
尚、本実施形態の復号装置も、第１の実施形態と同様に、符号化された第１フレームデータを復号する。また、第１パラメータ（標準パラメータ）を用いて平滑化（フィルタ処理）された第１フレームデータと平滑化されていない第２フレームデータとの差分情報に基づいて符号化された第２フレームデータを復号する。
【００７６】
本実施形態において、ブロック歪検出部２１２は、画面表示用フィルタ２０８でデブロッキングフィルタ処理された復号画像データについてブロック歪が発生しているか否かを判断し、判断結果をブロック歪情報として独自パラメータ計算部２１３に出力する。
【００７７】
そして、独自パラメータ計算部２１３は、ブロック歪検出部２１２から出力されたブロック歪情報に応じて独自パラメータを計算し、後にデブロッキングフィルタ処理を行う復号画像データに用いるためのフィルタパラメータとして選択部２０９に出力する。
【００７８】
即ち、独自パラメータ計算部２１３は、第２パラメータ（独自パラメータ）を、平滑化（フィルタ処理）した再生用第１フレームデータから算出される、再生用第１フレームデータの特性情報（ブロック歪情報）に応じて設定する。尚、第２パラメータは、再生用第２フレームデータ（後に復号される画像データ）を得るためのものであり、エントロピー復号化部２０１から補償処理部２０４により復号された第２フレームデータの平滑化用いるフィルタパラメータである。
【００７９】
ブロック歪検出部２１２が、ブロック歪が発生しているか判断する方法として、例えば、フィルタ処理後の復号画像データのブロックの境界における画素値の差によって判断する方法がある。つまり、ブロック歪検出部２１２は、デブロッキングフィルタ処理された復号画像データを画面表示用フィルタ２０８から受け取ると、その復号画像データの、例えばマクロブロックの境界を挟んだ２つの画素値の差を求める。そして、ブロック歪検出部２１２は、その境界の画素値の差が、予め設定された範囲内である場合に、ブロック歪が起こっていると判断する。
【００８０】
尚、マクロブロックの境界に位置する全ての画素について、境界を挟んだ画素値の差を求める場合、閾値との比較は、その画素値の差の合計や、最大値、平均値などを用いることが可能である。また、例えば、マクロブロックの境界を挟む画素値の差分を全て求め、それぞれの差分に関連性がある場合に、ブロック歪が発生していると判断するようにしても良い。また、画素値の差を求めるときの対象とする画素は、境界を挟む２つの画素だけに限らず、境界から離れた画素を含む複数の画素を用いても良い。
【００８１】
また、ブロック歪検出部２１２が、ブロック歪が発生しているか判断する別の方法として、例えば、フィルタ処理後の復号画像データにおける周波数特性によって判断する方法がある。つまり、ブロック歪検出部２１２は、デブロッキングフィルタ処理された復号画像データを画面表示用フィルタ２０８から受け取ると、所定の範囲（例えば３２ｘ３２画素）の周波数特性を鑑みて画像が本来持っている画素変化なのかブロック歪なのかを判断する。つまり、例えば、隣接する画素値に差異が発生する周期がマクロブロックの境界が発生する周期（１６画素）と一致する場合、ブロック歪が発生しているとみなすことができる。即ち、マクロブロックの境界において、画素値に差異が発生したとしても、その画像の画素値の変化が、例えば、４画素ごとに発生している場合は、ブロック歪みは発生していない、つまり、画像が本来持っている画素変化であると判断する。また、１つ、又はいくつかのマクロブロックの境界において、画素値に差異が発生したとしても、その画像の画素値の変化が、例えば、３２画素ごとに発生している場合は、ブロック歪は発生していない、つまり、画像が本来持っている画素変化であると判断する。このように、マクロブロックの境界において画素値に変化が発生しても、それが画像が本来持っている画素変化であると判断すると、ブロック歪は発生していないと判断する。このようにすれば、画像が本来持っている画素変化であるにも関わらず、ブロック歪が発生していると誤って判断されてしまう機会を低減することができる。
【００８２】
独自パラメータ計算部２１３は、ブロック歪検出部２１２により、フィルタ処理後の復号画像データにブロック歪が起こっていると判断されると、より強くフィルタ処理が行われるように独自パラメータを設定する。一方、ブロック歪が起こっていないと判断されると、フィルタ処理が弱くなるように、独自パラメータを設定する。
【００８３】
即ち、独自パラメータ計算部２１３は、ある第１フレームデータ中（３２ｘ３２画素）において、画素情報が周期的に変化する場合、以下のように処理を行う。即ち、その画素情報の周期的な変化が第１フレームデータを構成するブロック（マクロブロック）の境界で生じるかの判断に応じて、第２パラメータ（独自パラメータ）を設定する。
【００８４】
選択部２０９は、独自パラメータ計算部２１３によって、ブロック歪情報に応じた独自パラメータが設定された場合、独自パラメータを選択する動作を行う。ここで設定された独自パラメータは、例えば、次にフィルタ処理される復号画像データ（マクロブロック）から適用される。
【００８５】
次に、本実施形態の復号装置に入力された動画像データが、映像表示部２１１で表示されるまでに復号装置の各部で行われる主な処理の流れについて、図１０のフローチャートを用いて説明する。
【００８６】
尚、本実施形態では、上述した各部の処理を、ハードウェアによって行う。しかし、これらの処理を、ソフトウェアによって行うことも可能である。即ち、復号装置の各制御を行うＣＰＵが、ＲＯＭ等に記憶される制御プログラムを、プログラムを実行するためのメモリ（例えばＲＡＭ）上に適宜読み出し、処理を実行することで、各部の機能を実現することも可能である。図１０、及び以下の説明は、本実施形態の復号装置の処理をソフトウェアによって実現する場合の処理の手順に対応する。尚、Ｓ１００１〜Ｓ１００５までの処理は、図７のＳ７０１〜Ｓ７１０の処理と同様であるので、説明を省略する。
【００８７】
Ｓ１００６において、ブロック歪検出部２１２は、画面表示用フィルタ２０８から出力されたフィルタ処理後の復号画像データについてブロック歪が発生しているか否かを判定する。そして、ブロック歪検出部２１２は、判定結果であるブロック歪情報を独自パラメータ計算部２１３に対して出力する。ブロック歪の判定方法は、上述の通りである。また、このブロック歪情報は、ブロック歪の発生有無だけでなく、発生しているブロック歪の程度等を示す情報とすることが可能である。このようにすることで、独自パラメータ計算部２１３は、ブロック歪の程度に応じた独自パラメータの計算を行うことが可能となる。
【００８８】
Ｓ１００７（設定手順）において、独自パラメータ計算部２１３は、Ｓ１００６で出力されたブロック歪情報により独自パラメータを計算し、計算された独自パラメータを選択部２０９に出力する。選択部２０９は、ブロック歪情報に応じて独自パラメータが更新された場合、独自パラメータを選択する。尚、Ｓ１００７で計算された独自パラメータは、これ以降に復号される復号画像データ（マクロブロック）のデブロッキングフィルタ処理のパラメータとして用いる。独自パラメータ計算部２１３は、ブロック歪が視聴者にとって認識できない範囲内で、最もフィルタ強度が弱くなるような独自パラメータを設定する。
【００８９】
即ち、Ｓ１００７において、独自パラメータ計算部２１３は、第２パラメータ（独自パラメータ）を、再生用第１フレームデータの特性情報に応じて設定する。前述の再生用第１フレームデータの特性情報は、平滑化（フィルタ処理）した再生用第１フレームデータから算出される。尚、第２パラメータ（独自パラメータ）は、再生用第２フレームデータ（後に復号される画像データ）を得るための平滑化のためのものであり、Ｓ１１０２により復号された第２フレームデータの平滑化（フィルタ処理）に用いるフィルタパラメータである。
【００９０】
尚、独自パラメータ計算部２１３は、上記のようなブロック歪情報に加えて、視聴者が予め設定している先鋭度（シャープネス）を参照して独自パラメータを決定するようにしても良い。このようにすれば、より視聴者の好みに応じた画質を提供することが可能となる。
【００９１】
また、ブロック歪検出部２１２に、例えば物体認識（オブジェクト抽出）の機能を付加すれば、物体の境界ではデブロッキングフィルタ処理を弱めることにより、画質劣化を未然に防ぐことも可能となる。
【００９２】
以上説明したように、本実施形態の復号装置では、画面表示用フィルタ２０８によるフィルタ処理後の復号画像データに応じて独自パラメータを調整している。また、動画像データに含まれるフィルタ強度に応じた標準パラメータを用いてポストフィルタ２０６でデブロッキングフィルタ処理を行い、得られた復号画像データをフレーム間補償処理用にメモリ２０７に保存している。
【００９３】
このようにすることにより、動画像データの符号化側で設定された平滑化フィルタのフィルタ強度によるフィルタ処理の過不足を補償することができる。また、動画像データの復号化側で調整した平滑化フィルタのフィルタ強度を、再生する映像に、より早く反映させることが可能となる。
【００９４】
＜実施形態３＞
次に、本発明の第３の実施形態について、実施形態１との差異を中心に説明する。実施形態３では、視聴者からの画質制御指示に応じて独自パラメータを調整する場合について説明する。図３は、本実施形態における復号装置の構成を示したブロック図である。図３の復号装置は、図示されるようにエントロピー復号化部３０１、逆量子化部３０２、逆直交変換部３０３、補償処理部３０４、標準パラメータ計算部３０５、ポストフィルタ３０６、メモリ３０７を含む。また、図３の復号装置は、画面表示用フィルタ３０８、選択部３０９、画像処理部３１０、映像表示部３１１、独自パラメータ計算部３１２を含む。
【００９５】
尚、本実施形態の復号装置も、第１の実施形態と同様に、符号化された第１フレームデータを復号する。また、第１パラメータ（標準パラメータ）を用いて平滑化（フィルタ処理）された第１フレームデータと平滑化されていない第２フレームデータとの差分情報に基づいて符号化された第２フレームデータを復号する。
【００９６】
本実施形態において、映像表示部３１１は、画像処理部３１０から出力された画像処理後の復号画像データと共に標準パラメータの状態についても表示を行う。
【００９７】
図４は、選択部３０９によって標準パラメータが選択されているときに、標準パラメータを用いてデブロッキングフィルタ処理された復号画像データと、標準パラメータの状態とを、画面上に表示する例を示したものである。ここで、４０２は、映像表示部３１１によって映像が表示される表示画面を示しており、この部分に、画像処理部３１０から出力された画像処理後の復号画像データが表示されているものとする。また、４０３は、標準パラメータの状態を示す映像ボケ情報であり、標準パラメータによるフィルタ強度を示すメーター、及び映像ボケが起こっていることを示す警告メッセージからなる。この映像ボケ情報は、映像コンテンツの付属情報として定量的に示される。
【００９８】
即ち、映像表示部３１１は、平滑化の強度を示す情報（映像ボケ情報）と、再生用第１フレームとを表示させる。
【００９９】
視聴者は、フィルタ強度を示すメーターと、再生されている映像を参照することにより、標準パラメータによるフィルタ処理によって再生されている映像がぼけてしまっていることがわかる。また、視聴者は、警告メッセージを参照することにより、現在のフィルタパラメータ（標準パラメータ）では、映像ボケが発生してしまっていることがわかる。尚、本実施形態では、メーターと警告メッセージを表示させているが、どちらか一方を表示させるようにしても良い。また、本実施形態では、フィルタ強度を示すメーターを表示させているが、このメーターには、例えば、再生されているフレームを構成するマクロブロックに対するフィルタパラメータの平均値等を表示させるようにしても良い。
【０１００】
視聴者は、再生されている映像、及び表示された映像ボケ情報を参照し、例えば、標準パラメータによる画質劣化が顕著であると感じた場合に、映像ボケを解消するための画質制御指示をリモコン等により行う。独自パラメータ計算部３１２は、視聴者からの画質制御指示に応じてフィルタ強度を弱めた独自パラメータを計算し、選択部３０９に対して出力する。
【０１０１】
即ち、選択部３０９は、平滑化の強度の変更指示を入力する。また、選択部３０９は、入力された変更指示に応じて、第２パラメータを設定する。選択部３０９は、視聴者から画質制御指示が出された時には標準パラメータの代わりに独自パラメータを選択する動作を行う。
【０１０２】
次に、本実施形態の復号装置に入力された動画像データが、映像表示部３１１で表示されるまでに復号装置の各部で行われる主な処理の流れについて、図１１のフローチャートを用いて説明する。
【０１０３】
尚、本実施形態では、上述した各部の処理を、ハードウェアによって行う。しかし、これらの処理を、ソフトウェアによって行うことも可能である。即ち、復号装置の各制御を行うＣＰＵが、ＲＯＭ等に記憶される制御プログラムを、プログラムを実行するためのメモリ（例えばＲＡＭ）上に適宜読み出し、処理を実行することで、各部の機能を実現することも可能である。図１１、及び以下の説明は、本実施形態の復号装置の処理をソフトウェアによって実現する場合の処理の手順に対応する。
【０１０４】
また、Ｓ１１０１〜Ｓ１１０４までの処理は、図７のＳ７０１〜Ｓ７０９の処理と同様であるので、説明を省略する。
【０１０５】
Ｓ１１０５において、画面表示用フィルタ３０８は、標準パラメータによるフィルタ強度を映像ボケ情報４０３として表示させるためのアニメーションの生成を行う。また、画面表示用フィルタ３０８は、映像ボケの発生具合を算出し、それが閾値よりも高い場合は、警告メッセージを表示させるためのアニメーションの生成を行う。ここで、映像ボケの発生具合の情報は、例えば、フィルタ処理後の復号画像データにおける周波数特性によって算出することができる。即ち、例えば、フィルタ処理後の復号画像データの周波数特性を参照する。そして、その画像が本来持っている画素値の変化に対して、ブロックの境界における画素値の変化が小さいと判断される場合、映像ボケが発生していると判断し、映像ボケの発生具合の情報を高く設定することができる。また、映像ボケの発生具合の情報として、フィルタ強度を用いることも可能である。つまり、画面表示用フィルタ３０８は、フィルタ強度が閾値よりも低い場合は、警告メッセージを表示させるためのアニメーションの生成を行うようにしても良い。
【０１０６】
Ｓ１１０６において、画面表示用フィルタ３０８は、Ｓ１１０５で生成した映像ボケ情報４０３、及びＳ１１０４でデブロッキングフィルタ処理を行った復号画像データを合成し、画像処理部３１０に出力する。そして、独自パラメータ計算部３１２は、視聴者からの画質制御指示の入力待ち状態となる。
【０１０７】
Ｓ１１０７において、視聴者から画質制御指示を入力された独自パラメータ計算部３１２は、画質制御指示に応じて独自パラメータを計算し、計算された独自パラメータを選択部３０９へ出力する。そして、選択部３０９は、受け取った独自パラメータを画面表示用フィルタ３０８に対して出力する。尚、画質制御指示により、選択部３０９で選択するフィルタパラメータを、切り替えるようにしても良い。つまり、例えば、標準パラメータよりもフィルタ強度が弱い独自パラメータが予め設定されている場合、画質制御指示により、選択部３０９が、選択するフィルタパラメータを切り替えるようにしても良い。
【０１０８】
Ｓ１１０８において、画面表示用フィルタ３０８は、Ｓ１１０７において計算された独自パラメータを受け取り、フィルタパラメータを更新する。Ｓ１２０８で更新されたフィルタパラメータは、次にフィルタ処理を行う復号画像データ（マクロブロック）から適用される。
【０１０９】
尚、上記の説明では、映像ボケ情報４０３として、標準パラメータを表示させる場合を説明したが、独自パラメータでフィルタ処理を行っている場合は、独自パラメータのフィルタ強度を示すようにすることができる。
【０１１０】
以上説明したように、本実施形態の復号装置では、再生する映像と共に、フィルタ強度を示すメーター、及び映像ボケが起こっていることを示す警告メッセージ等の映像ボケ情報４０３を表示させている。そして、視聴者からの画質制御指示に応じてフィルタ強度を調整している。また、動画像データに含まれるフィルタ強度に応じた標準パラメータを用いてポストフィルタ３０６でデブロッキングフィルタ処理を行い、得られた復号画像データをフレーム間補償処理用にメモリ３０７に保存している。
【０１１１】
このようにすることにより、動画像データの符号化側で設定された平滑化フィルタのフィルタ強度によるフィルタ処理の過不足を補償することができる。また、動画像データの復号化側で調整した平滑化フィルタのフィルタ強度を、再生する映像に、より早く反映させることが可能となる。
【０１１２】
＜実施形態４＞
次に、本発明の第４の実施形態について、実施形態１との差異を中心に説明する。実施形態４では、標準パラメータ、及び独自パラメータのそれぞれによってデブロッキングフィルタ処理が行われた復号画像データのうち、どちらを表示させるかを選択部が選択する場合の形態について説明する。図５は、本実施形態における復号装置の構成を示したブロック図である。
【０１１３】
図５の復号装置は、図示されるようにエントロピー復号化部５０１、逆量子化部５０２、逆直交変換部５０３、補償処理部５０４、標準パラメータ計算部５０５、ポストフィルタ５０６、独自フィルタ５０７、メモリ５０８を含む。また、図５の復号装置は、選択部５０９、画像処理部５１０、映像表示部５１１、ブロック歪検出部５１２、独自パラメータ計算部５１３を含む。
【０１１４】
尚、本実施形態の復号装置も、第１の実施形態と同様に、符号化された第１フレームデータを復号する。また、第１パラメータ（標準パラメータ）を用いて平滑化（フィルタ処理）された第１フレームデータと平滑化されていない第２フレームデータとの差分情報に基づいて符号化された第２フレームデータを復号する。
【０１１５】
本実施形態において、独自パラメータ計算部５１３の動作については上述の実施形態と同様である。独自フィルタ５０７は独自パラメータを用いてデブロッキングフィルタ処理を行い、フィルタ処理後の復号画像データを選択部５０９へ出力する。また、ポストフィルタ５０６は、標準パラメータ計算部５０５により計算された標準パラメータを用いて復号画像データのデブロッキングフィルタ処理を行い、フィルタ処理後の復号画像データを選択部５０９へ出力する。選択部５０９は、標準パラメータでフィルタ処理されたポストフィルタ５０６の出力と、独自パラメータでフィルタ処理された独自フィルタ５０７の出力を選択し、再生用画像データとして画像処理部５１０へ出力する。
【０１１６】
次に、本実施形態の復号装置に入力された動画像データが、映像表示部５１１で表示されるまでに復号装置の各部で行われる主な処理の流れについて、図１２のフローチャートを用いて説明する。
【０１１７】
尚、本実施形態では、上述した各部の処理を、ハードウェアによって行う。しかし、これらの処理を、ソフトウェアによって行うことも可能である。即ち、復号装置の各制御を行うＣＰＵが、ＲＯＭ等に記憶される制御プログラムを、プログラムを実行するためのメモリ（例えばＲＡＭ）上に適宜読み出し、処理を実行することで、各部の機能を実現することも可能である。図１２、及び以下の説明は、本実施形態の復号装置の処理をソフトウェアによって実現する場合の処理の手順に対応する。
【０１１８】
また、Ｓ１２０１〜Ｓ１２０３までの処理は、図７のＳ７０１〜Ｓ７０９の処理と同様であるので、説明を省略する。
【０１１９】
Ｓ１２０４において、選択部５０９は、標準パラメータでフィルタ処理を行った復号画像データと、独自パラメータでフィルタ処理を行った復号画像データのうち、どちらを表示させるか選択する。ここで、選択部５０９による選択の基準として、例えば、ブロック歪検出部５１２によってフィルタ処理後の復号画像データのブロック歪情報に応じて選択することができる。ブロック歪情報については、実施形態２で示した通りである。また、例えば、表示画面上に映像ボケ情報を表示させ、それに応じて視聴者がリモコン等で選択するようにしても良い。映像ボケ情報については、実施形態３で示した通りである。また、これらの方法を組み合わせることもできる。即ち、例えば、映像表示部５１１は、フィルタ処理後の復号画像データと共に映像ボケ情報を表示させ、選択部５０９は、ユーザからの画質制御指示が入力されない間は、ブロック歪情報に応じて表示させる復号画像データを選択する。そして、ユーザからの画質制御指示が入力されると、入力された画質制御指示に応じて、表示させる復号画像データを選択するようにすることができる。このように、選択部５０９は、種々の方法により、表示させるフィルタ処理後の復号画像データを選択することができる。
【０１２０】
Ｓ１２０５において、Ｓ１２０４の選択を行った選択部５０９は、表示させる復号画像データを画像処理部５１０へ出力する。尚、復号画像データを受け取った画像処理部５１０は、画像処理を行い、映像表示部５１１で映像が表示される。
【０１２１】
Ｓ１２０６において、ブロック歪検出部５１２は、画像処理部５１０から出力される復号画像データにおけるブロック歪の検出を行い、ブロック歪情報を独自パラメータ計算部５１３へ出力する。ブロック歪の検出方法については、実施形態２で説明した通りである。
【０１２２】
Ｓ１２０７において、独自パラメータ計算部５１３は、Ｓ１２０６で出力されたブロック歪情報に応じて、独自パラメータの計算を行う。そして、独自フィルタ５０７は、計算された独自パラメータを独自フィルタ５０７へ出力し、独自フィルタ５０７において独自パラメータが更新される。
【０１２３】
尚、本実施形態における２つのフィルタはハードウェアの多くを共有することが可能である。これはポストフィルタ５０６において異なるフィルタ効果のフィルタ演算を内部で並列に行っているためである。よって図６のように２種類のパラメータを用いて２系統の復号化映像を出力する構成が可能になる。
【０１２４】
以上説明したように、本実施形態では、選択部５０９が、標準パラメータでデブロッキングフィルタ処理を行った復号画像データと、独自パラメータでデブロッキングフィルタ処理を行った復号画像データのうちどちらを表示させるかを選択する。また、標準パラメータを用いてポストフィルタ５０６でデブロッキングフィルタ処理を行い、得られた復号画像データをフレーム間補償処理用にメモリ５０８に保存している。
【０１２５】
このようにすることにより、動画像データの符号化側で設定された平滑化フィルタのフィルタ強度によるフィルタ処理の過不足を補償することができる。また、動画像データの復号化側で調整した平滑化フィルタのフィルタ強度を、再生する映像に、より早く反映させることが可能となる。
【０１２６】
尚、上述の各実施形態では、マクロブロック単位でデブロッキングフィルタ処理を行っていたが、これに限らず、その他の単位でフィルタ処理を行うようにしても良い。
【０１２７】
また、各実施形態２〜４で説明した内容を適宜選択、組み合わせることによって、独自パラメータの設定や、フィルタパラメータの選択、フィルタ処理された復号画像データの選択等を行うようにすることが可能である。
【０１２８】
また、各実施形態では、符号化方式がＨ．２６４である場合について説明したが、これに限らず、例えば、ＶＣ−１や、ＡＶＳなど、ポストフィルタ処理を行っている符号化方式に適応することが可能である。
【図面の簡単な説明】
【０１２９】
【図１】実施形態１における復号装置を示すブロック図である。
【図２】実施形態２における復号装置を示すブロック図である。
【図３】実施形態３における復号装置を示すブロック図である。
【図４】実施形態３における映像ボケ情報の画面表示例を示す図である。
【図５】実施形態４における復号装置を示すブロック図である。
【図６】実施形態４におけるフィルタハードウェアの共有化を示す図である。
【図７】実施形態１における復号装置の動作を示すフローチャートである。
【図８】フレーム内／フレーム間補償処理の流れを示すフローチャートである。
【図９】標準方式のポストフィルタ処理の流れを示すフローチャートである。
【図１０】実施形態２における復号装置の動作を示すフローチャートである。
【図１１】実施形態３における復号装置の動作を示すフローチャートである。
【図１２】実施形態４における復号装置の動作を示すフローチャートである。
【符号の説明】
【０１３０】
１０４  補償処理部
１０５  標準パラメータ計算部
１０６  ポストフィルタ
１０７  メモリ
１０８  画面表示用フィルタ
１０９  選択部
２１２  ブロック歪検出部
２１３  独自パラメータ計算部
４０３  映像ボケ情報
【図１】
0005137687.tif 000002
【図２】
0005137687.tif 000003
【図３】
0005137687.tif 000004
【図４】
0005137687.tif 000005
【図５】
0005137687.tif 000006
【図６】
0005137687.tif 000007
【図７】
0005137687.tif 000008
【図８】
0005137687.tif 000009
【図９】
0005137687.tif 000010
【図１０】
0005137687.tif 000011
【図１１】
0005137687.tif 000012
【図１２】
0005137687.tif 000013