(57)【要約】【課題】復号装置において画質劣化が適切に抑制される再符号化データを生成できる再符号化装置を提供する。【解決手段】フィルタ手段を有する復号装置へ入力する符号化データを生成する再符号化装置において、入力された符号化データを復号して、復号データを生成するとともに、符号化データに関する情報を検出する復号手段と、復号手段が検出した情報に基づき、復号装置のフィルタ手段を制御するフィルタパラメータを生成するフィルタパラメータ生成手段と、復号手段が生成した復号データを符号化して、再符号化データを生成し、該再符号化データと、フィルタパラメータ生成手段が生成したフィルタパラメータとを出力する符号化手段とを備えることを特徴とする再符号化装置。【選択図】図１
2007336468.tif 000002
【特許請求の範囲】
【請求項１】
フィルタ手段を有する復号装置へ入力する再符号化データを生成する再符号化装置において、
入力された符号化データを復号して、復号データを生成するとともに、前記符号化データに関する情報を検出する復号手段と、
前記復号手段が検出した情報に基づき、前記フィルタ手段を制御するフィルタパラメータを生成するフィルタパラメータ生成手段と、
前記復号手段が生成した復号データを符号化して、再符号化データを生成し、該再符号化データに、前記フィルタパラメータ生成手段が生成したフィルタパラメータを重畳して出力する符号化手段と
を備えることを特徴とする再符号化装置。
【請求項２】
前記復号手段が検出する情報は、量子化ステップであることを特徴とする請求項１に記載の再符号化装置。
【請求項３】
前記復号手段が検出する情報は、ビットレートであることを特徴とする請求項１に記載の再符号化装置。
【請求項４】
前記復号手段が検出する情報は、フレームレートであることを特徴とする請求項１に記載の再符号化装置。
【請求項５】
前記復号手段が検出する情報は、ビットパーピクセルであることを特徴とする請求項１に記載の再符号化装置。
【請求項６】
前記復号手段が検出する情報は、ピクチャタイプであることを特徴とする請求項１に記載の再符号化装置。
【請求項７】
前記復号手段が検出する情報は、ブロックタイプであることを特徴とする請求項１に記載の再符号化装置。
【請求項８】
前記復号手段が検出する情報は、量子化ステップであり、
前記フィルタパラメータ生成手段は、前記復号手段が検出した量子化ステップと、前記符号化手段が前記復号データを符号化する際の量子化ステップとに基づき、前記フィルタ手段を制御するフィルタパラメータを生成すること
を特徴とする請求項１に記載の再符号化装置。
【請求項９】
前記フィルタパラメータ生成手段は、前記復号手段が検出した量子化ステップと、前記符号化手段が前記復号データを符号化する際の量子化ステップとの差に応じて、前記フィルタ手段を制御するフィルタパラメータを生成すること
を特徴とする請求項８に記載の再符号化装置。
【請求項１０】
入力された符号化データを復号して、復号データを生成するとともに、前記符号化データの量子化ステップを検出する復号手段と、
前記復号手段が検出した量子化ステップの最小値を検出する量子化ステップ生成手段と、
前記量子化ステップ生成手段が検出した最小値より大きな値の量子化ステップにて前記復号手段が生成した復号データを符号化する符号化手段と
を備えることを特徴とする再符号化装置。
【請求項１１】
フィルタ手段を有する復号装置へ入力する符号化データを生成する再符号化装置における再符号化方法において、
再符号化装置が、入力された符号化データを復号して、復号データを生成するとともに、前記符号化データに関する情報を検出する第１の過程と、
再符号化装置が、前記復号手段が検出した情報に基づき、前記フィルタ手段を制御するフィルタパラメータを生成する第２の過程と、
再符号化装置が、前記第１の過程にて生成した復号データを符号化して、再符号化データを生成し、該再符号化データに、前記第２の過程にて生成したフィルタパラメータを重畳して出力する第３の過程と
を備えることを特徴とする再符号化方法。
【請求項１２】
再符号化装置における再符号化方法において、
再符号化装置が、入力された符号化データを復号して、復号データを生成するとともに、前記符号化データの量子化ステップを検出する第１の過程と、
再符号化装置が、前記第１の過程にて検出した量子化ステップの最小値を検出する第２の過程と、
再符号化装置が、前記第２の過程にて検出した最小値より大きな値の量子化ステップにて前記第１の過程にて生成した復号データを符号化する第３の過程と
を備えることを特徴とする再符号化方法。
【請求項１３】
請求項１から請求項１０のいずれかに記載の再符号化装置として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再符号化装置、再符号化方法およびプログラム、特に符号化されたデジタル動画像データを復号した後に、再度符号化する再符号化装置、再符号化方法およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタル動画像符号化技術の発展はめざましく、ＢＳデジタル放送や地上波デジタル放送に代表されるテレビ放送や、ＨＤＤビデオレコーダを筆頭とする録画装置など、一般消費者の身近においてもその技術の応用が盛んである。とりわけＨＤＤビデオレコーダは、従来のＶＨＳ等のアナログ動画像録画装置と比べて、画質面での優位性があるだけでなく、内蔵されているＨＤＤに数十時間から数百時間に亘る長時間の動画像を取りためておくことができるため、大幅なユーザの利便性向上が図られている。また、ＨＤＤレコーダの中には、既に録画済みの映像を、より高い圧縮率で再符号化することでＨＤＤの残り容量を拡大し、更に長時間の録画を実現できるものも存在する。前記再符号化においては、圧縮率を高めつつも、可能な限り画質劣化を抑制する技術が重要である。
【０００３】
以下、再符号化における画質劣化を抑制する従来技術を説明する。なお、以下では「デジタル動画像」のことを単に「動画像」と記載する。
従来、例えば特許文献１の再符号化装置において、再符号化に伴う画質劣化を抑制している。図１４は、特許文献１の再符号化装置を含むコーデックシステムを示す概略ブロック図である。このコーデックシステムは、再符号化装置１３００と復号装置１３１０から構成される。さらに再符号化装置１３００は復号部１３０１、フィルタ部１３０２、符号化部１３０３から構成され、復号装置１３１０は復号部１３１１とフィルタ部１３１２から構成される。
【０００４】
復号部１３０１は符号化データを復号し画像データを出力する。出力された画像データはフィルタ部１３０２でフィルタリングされた後に符号化部１３０３に入力される。符号化部１３０３では入力された画像データを符号化する。フィルタ部１３０２のフィルタリングの効果は、一つには入力された符号化データの復号画像における画質の劣化を抑制する効果であり、もう一つは以下に説明する効果である。
【０００５】
図１５に示すように、復号部１３０１は、符号化データを逆量子化して係数Ｆｄを得る逆量子化部１４０１と、係数Ｆｄを逆離散コサイン変換するＩＤＣＴ部１４０２とを備える。符号化部１３０３は、画像を離散コサイン変換して係数Ｆｅを得るＤＣＴ部１４０４と、係数Ｆｅを量子化する量子化部１４０５とを備える。
【０００６】
ここで、もしフィルタ部１３１２が存在しないとすると、復号部１３０１のＩＤＣＴ部１４０２が係数Ｆｄを逆離散コサイン変換して得られた画像は、符号化部１３０３のＤＣＴ部１４０４に直接入力され離散コサイン変換がなされて係数Ｆｅとなる。逆離散コサイン変換は演算誤差を無視すれば離散コサイン変換の逆変換であるから、逆離散コサイン変換前の係数ＦｄとＤＣＴ後の係数Ｆｅは殆ど同じ値になる（Ｆｅ≒Ｆｄ）。ＩＤＣＴ部１４０２に入力される係数Ｆｄは逆量子化されたものであるから、逆量子化における量子化ステップで決まる整数しか値に取れない非連続的な値である。
【０００７】
Ｆｅ≒Ｆｄであるから係数Ｆｅも同じように量子化ステップで決まる整数しか値に取ることができない。このような非連続的な値である係数Ｆｅを、符号化部１３０３の量子化部１４０５でさらに別の量子化ステップで決まる非連続的な値に変換すると、変換前のＤＣＴ係数の大きさおよび量子化ステップの大きさによっては、量子化時の量子化ステップから考えられる通常の量子化誤差よりも誤差が大きくなる（再符号化特有の量子化誤差が生じる）。
【０００８】
この誤差による画質劣化を抑制するために、従来の再符号化装置１３００では、ＩＤＣＴ部１４０２とＤＣＴ部１４０４の間にフィルタ部１３０２を設けて、ＤＣＴ部１４０４に入力される前の画像ＩｅをＩＤＣＴ後の画像Ｉｄとは異なるものにする。この処理によってＩＤＣＴ部１４０２に入力される前の係数ＦｄとＤＣＴ部１４０４の出力の係数Ｆｅが殆ど同じになるという状況を防ぐ。この結果、ＩＤＣＴ部１４０２に入力される前の係数Ｆｄが非連続的な値であったとしても、ＤＣＴ部１４０４の出力の係数Ｆｅは必ずしも係数Ｆｄと殆ど同じ値の非連続的な値にはならず、非連続的な値を再度量子化することによる再符号化時特有の量子化誤差を防ぐことができる。従って、特許文献１に記載の技術を用いると再符号化特有の量子化誤差によって画質の劣化が生じることをある程度抑制することができる。
【０００９】
ところで、再符号化装置１３００で符号化された動画像データを、最終的にユーザが視聴するためには、ある復号装置で復号して再生する必要がある。図１４に示すコーデックシステムでは、復号装置１３１０がこの復号装置に相当する。復号装置１３１０では、再符号化データを復号する復号部１３１１に加え、符号化時に生じた画質の劣化を抑制するためのフィルタ部１３１２を備える。
【００１０】
特許文献２における再符号化装置１３００は、復号時にかけられるフィルタ（フィルタ部１３１２でかけるフィルタ）の強度を、符号化時に決定することによって、画質の劣化を抑制している。この再符号化装置１３００を図１４を再度、参照して説明する。
【００１１】
特許文献２に記載の技術においては、再符号化装置にてフィルタの強度を決めるためのパラメータとしてフィルタパラメータを決定し、復号装置では、復号時にかけるフィルタでは与えられたフィルタパラメータに応じた強度でフィルタをかける。本明細書における説明ではフィルタパラメータが大きいほど強いフィルタがかかるものとする。
【００１２】
また、フィルタパラメータは、符号化部１３０３において決定され、符号化部１３０３では、画像データを符号化するとともに、決定したフィルタパラメータを符号化して外部に出力する。出力された画像及びフィルタパラメータの再符号化データは復号部１３１１に伝送される。復号部１３１１では、再符号化データを復号し、画像データ及びフィルタパラメータを得る。得られた画像データ及びフィルタパラメータはフィルタ部１３１２に伝送される。フィルタ部１３１２は、復号部１３１１から伝送されたフィルタパラメータに従ってフィルタリングを行う。フィルタリングとしては、例えば、フィルタパラメータが１（フィルタ弱を意味する）、２（フィルタ強を意味する）の２つの値を持つとすると、復号されたフィルタパラメータが１（フィルタ弱）の場合には、（１  ２  １）／／４のＦＩＲフィルタによりフィルタリングを行い、復号されたフィルタパラメータが２（フィルタ強）の場合には、  （１  ２  ３  ４  ３  ２  １）／／１６のＦＩＲフィルタによりフィルタリングを行う。
【００１３】
続いて、符号化部１３０３においてどのようにフィルタパラメータを決定するのかを説明する。特許文献２に記載の技術では、ＳＮＲ（Signal to Noise Ratio）を用いることによって、フィルタパラメータを決定する。
【００１４】
ＳＮＲは、フィルタを施したあとの画像の良さを示す一つの指標であり、この指標の元では値が大きいほど良いフィルタであることになる。特許文献２のフィルタパラメータを決定する方法には２つある。図１６は、第１のフィルタパラメータを決定する方法を説明するための図である。図１６は、フィルタパラメータの大きさとＳＮＲ（ポストフィルタをかけた画像と符号化前の画像のＳＮＲ）の関係を示す。図１６のグラフの横軸はフィルタパラメータ、縦軸はＳＮＲである。特許文献２の方法では、まず、様々な値のフィルタパラメータに対し、そのフィルタパラメータを用いてフィルタをかけた画像を生成する。次に、フィルタリングされた画像と符号化前の画像とのＳＮＲを求める。最後に求めたＳＮＲを最大化するフィルタパラメータを選択するというものである。図１６よりある特定のフィルタパラメータにおいてＳＮＲを最大化できることが分かる。
【００１５】
図１７は、第２のフィルタパラメータを決定する方法を説明するための図である。図１７は、ＳＮＲとそのＳＮＲにおける最適なフィルタパラメータとの関係を示す。第２の方法では、予め様々な画像や符号化パラメータによって、ＳＮＲとそのＳＮＲにおける最適なフィルタパラメータとの関係を示すテーブルを求めておく。テーブルが得られた後には、符号化する際に、符号化前の画像と、符号化する際に生成されるローカル復号画像（符号化装置内の仮想復号装置で生成される画像。復号装置で生成される画像と等しい）とのＳＮＲを求め、次に図１７に示すテーブルを参照することによって、ＳＮＲからフィルタパラメータを求める。ＳＮＲと最適なフィルタパラメータとの関係は、図１７に示すように、ＳＮＲが小さい（画質が低い）ほど、最適なフィルタの強度は強くなる。
【００１６】
この理由は、以下のものである。まず画像は符号化されると量子化誤差が生じるが、この誤差というのはランダムなものである。この場合、フィルタによって平滑化したほうがランダムな誤差が平均的に抑制されてもとの画像に近づく。粗く量子化されたＳＮＲの低い画像の方が誤差が大きくなるため、誤差を減らすためにはフィルタ強度を強くする必要がある。また、高いＳＮＲを得るという指標だけではなく、視覚的に良い画質にするという指標においても、フィルタをかける前の画像のＳＮＲが低いほど強いフィルタをかけたほうが好適である。これは、ＳＮＲが低くなるほど、ブロックノイズやモスキートノイズなどのノイズが増大するため、これら視覚的に目立つノイズを抑制するようなフィルタも強くしなくてはいけないためである。
【００１７】
以上、ＳＮＲに基づいてフィルタパラメータを決定する方法を説明したが、従来の技術としては、ＳＮＲを使う方法のほか、量子化パラメータを使ってフィルタパラメータを決定する技術が知られている。量子化パラメータを使う利点は、一つには演算量の大きいＳＮＲを求める処理をしなくても良いので演算量を減らすことができる点である。また他の利点は、量子化パラメータは復号するときに得られる情報であるから、フィルタパラメータに量子化パラメータを用いる場合には、フィルタパラメータとして独立した情報を復号装置に伝送しなくても良いという点である。以下、フィルタパラメータの決定に、量子化パラメータを用いる方法を説明する。量子化パラメータが大きいほど量子化が粗くなることから、量子化パラメータが大きいほど、画質（ＳＮＲ）が低下する。これにより図１７と同様な関係を示す図１８が得られる。図１８は、量子化パラメータとその量子化パラメータにおける最適なフィルタパラメータとの関係を示すテーブルを示すグラフである。復号部１３１１では、図１８に示したようなテーブルを引くことによって最適なフィルタパラメータを決定することができる。
【００１８】
図１９は、再符号化装置がループフィルタを備える場合の従来のコーデックシステムの構成を示すブロック図である。本コーデックシステムは、再符号化装置１５００と復号装置１５１０から構成される。さらに再符号化装置１５００は復号部１５０１、フィルタ部１５０２、符号化部１５０３から構成され、復号装置１５１０は復号部１５１１から構成される。本コーデックシステムの構成では、符号化部１５０３及び復号部１５１１は内部にループフィルタ部１５０４及びループフィルタ部１５１２を備える。ループフィルタは画面間予測を行う際の参照画像を生成するために用いられるフィルタである。
【００１９】
ところで、画面間予測を用いた符号化方式においては、再符号化装置１５００と復号装置１５１０で同じ予測画像を用いなくてはならない。予測画像は参照画像を動き補償して生成される画像であるが、ループフィルタを備えるコーデックシステムにおいては、この参照画像もループフィルタによって生成されるものであるので、再符号化装置１５００と復号装置１５１０で同じ予測画像を用いるためには結局、再符号化装置１５００のループフィルタ部１５０４と復号装置１５１０のループフィルタ部１５１２で同じフィルタをかける必要がある。すなわち、再符号化装置１５００と復号装置１５１０で同じフィルタパラメータを用いる必要がある。非特許文献１の技術においては、再符号化装置１５００で決定されたフィルタパラメータは再符号化データ中に重畳され、再符号化装置１５００から復号装置１５１０に伝送される。復号装置１５１０では、符号化されたフィルタパラメータを復号して用いることで、再符号化装置１５００と同じフィルタパラメータを用いることができる。このようなループフィルタを備える再符号化システムにおいては、再符号化により生じた量子化誤差はループフィルタによって抑制される。
【００２０】
以上説明してきたように、特許文献２に記載の技術では、ポストフィルタをかけた画像と符号化前の画像とのＳＮＲ、もしくは、ローカル復号画像と符号化前の画像とのＳＮＲ、に応じて、復号時にかけるフィルタのフィルタパラメータを決定する。特許文献２に記載の技術はまた、決定されたフィルタパラメータに従って復号時にフィルタリングを行うことによって、復号して得られる画質の劣化を抑制することができる。
【特許文献１】特開平１１−４１５９３号公報
【特許文献２】特開平９−２１５００９号公報
【非特許文献１】"Information technology -Coding of audio-visual objects- Part10: Advanced Video Coding", ISO Standards, ISO/IEC14496-10:2005, 2005/12/12
【発明の開示】
【発明が解決しようとする課題】
【００２１】
特許文献１に記載の技術は、復号装置と符号化装置を備え、復号を行って得られる画像を再度、符号化することによって再符号化するような再符号化装置において、復号された画像データに対してフィルタリングを行うことによって、符号化の入力となる画像の段階で、符号化で生じていた画質の劣化を抑制し、さらに、再符号化特有の量子化誤差による画質の劣化を抑制するものである。
しかしながら、特許文献１に記載の技術では、再符号化装置から出力された再符号化データを復号する場合において、復号時にかかるポストフィルタをどのような強度にすればよいのかについては考慮されておらず、ポストフィルタの強度が不適切になることがあるという問題があった。また、再符号化装置の符号化部がループフィルタを備える場合においても、ループフィルタをどのような強度にすればよいのかについては考慮されておらず、ループフィルタの強度が不適切になることがあるという問題があった。
【００２２】
また、特許文献２に記載の技術は、符号化装置において、符号化装置で符号化された動画像データを復号するときにかかるポストフィルタのフィルタパラメータを決定する技術であり、符号化装置における符号化によって、符号化装置への入力画像がどれだけ劣化するのかに応じてフィルタパラメータを決定する。
しかしながら、特許文献２に記載の技術においては、再符号化装置の符号化部に入力された画像データは、元の符号化により既に画質が劣化したものになるが、特許文献２に記載の技術では、フィルタパラメータの決定に際して、このことを考慮されていなかった。そのため、再符号化された画像データに対して復号するときにかけるポストフィルタにおいてフィルタの強度が適切にならず、再符号化された画像の画質劣化を十分には抑制することができないことがあるという問題があった。また、フィルタパラメータの決定にＳＮＲを用いるため、演算量が非常に多いという問題があった。
また、復号するときにかかるフィルタの強度が量子化パラメータによって決定されるような符号化方法を用いて再符号化を行う場合の従来の方法では、符号化するときの量子化パラメータが小さくなることがあるために、復号するときにかかるフィルタの強度が不適切に弱くなり再符号化において生じる画質の劣化を適切に抑制できていないことがあるという問題があった。
【００２３】
本発明は、このような事情に鑑みてなされたもので、その目的は、復号装置において画質劣化が適切に抑制される再符号化データを、少ない演算量で生成できる再符号化装置を提供することにある。
【課題を解決するための手段】
【００２４】
この発明は上述した課題を解決するためになされたもので、本発明の再符号化装置は、フィルタ手段を有する復号装置へ入力する再符号化データを生成する再符号化装置において、入力された符号化データを復号して、復号データを生成するとともに、前記符号化データに関する情報を検出する復号手段と、前記復号手段が検出した情報に基づき、前記フィルタ手段を制御するフィルタパラメータを生成するフィルタパラメータ生成手段と、前記復号手段が生成した復号データを符号化して、再符号化データを生成し、該再符号化データに、前記フィルタパラメータ生成手段が生成したフィルタパラメータを重畳して出力する符号化手段とを備えることを特徴とする。
【００２５】
これにより、本発明の再符号化装置は、復号手段が検出した情報が画像劣化が大きくなることを示しているほど、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成することで、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、適切な強度のフィルタがかかり画質劣化が適切に抑制される再符号化データを生成することができる。
【００２６】
また、本発明の再符号化装置は、上述の再符号化装置であって、前記復号手段が検出する情報は、量子化ステップであることを特徴とする。
【００２７】
これにより、本発明の再符号化装置は、復号手段が検出した量子化ステップが大きくなるほど、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成することで、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、適切な強度のフィルタがかかり画質劣化が適切に抑制される再符号化データを、少ない演算量で生成することができる。
【００２８】
また、本発明の再符号化装置は、上述の再符号化装置であって、前記復号手段が検出する情報は、ビットレートであることを特徴とする。
【００２９】
これにより、本発明の再符号化装置は、復号手段が検出したビットレートが小さくなるほど、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成することで、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、適切な強度のフィルタがかかり画質劣化が適切に抑制される再符号化データを、少ない演算量で生成することができる。
【００３０】
また、本発明の再符号化装置は、上述の再符号化装置であって、前記復号手段が検出する情報は、フレームレートであることを特徴とする。
【００３１】
これにより、本発明の再符号化装置は、復号手段が検出したフレームレートが大きくなるほど、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成することで、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、適切な強度のフィルタがかかり画質劣化が適切に抑制される再符号化データを、少ない演算量で生成することができる。
【００３２】
また、本発明の再符号化装置は、上述の再符号化装置であって、前記復号手段が検出する情報は、ビットパーピクセルであることを特徴とする。
【００３３】
これにより、本発明の再符号化装置は、復号手段が検出したビットパーピクセルが小さくなるほど、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成することで、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、適切な強度のフィルタがかかり画質劣化が適切に抑制される再符号化データを、少ない演算量で生成することができる。
【００３４】
また、本発明の再符号化装置は、上述の再符号化装置であって、前記復号手段が検出する情報は、ピクチャタイプであることを特徴とする。
【００３５】
これにより、本発明の再符号化装置は、復号手段が検出したピクチャタイプが画面内符号化ピクチャであるときは、ピクチャタイプが画面間符号化ピクチャのときに比べて、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成することで、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、適切な強度のフィルタがかかり画質劣化が適切に抑制される再符号化データを、少ない演算量で生成することができる。
【００３６】
また、本発明の再符号化装置は、上述の再符号化装置であって、前記復号手段が検出する情報は、ブロックタイプであることを特徴とする。
【００３７】
これにより、本発明の再符号化装置は、復号手段が検出したブロックタイプが画面内符号化ブロックであるときは、画面間符号化ブロックのときに比べて、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成することで、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、適切な強度のフィルタがかかり画質劣化が適切に抑制される再符号化データを、少ない演算量で生成することができる。
【００３８】
また、本発明の再符号化装置は、上述の再符号化装置であって、前記復号手段が検出する情報は、量子化ステップであり、前記フィルタパラメータ生成手段は、前記復号手段が検出した量子化ステップと、前記符号化手段が前記復号データを符号化する際の量子化ステップとに基づき、前記フィルタ手段を制御するフィルタパラメータを生成することを特徴とする。
【００３９】
これにより、本発明の再符号化装置では、復号手段が検出した量子化ステップと、符号化手段が符号化する際の量子化ステップとの差が小さいほど、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成する。このため、本発明の再符号化装置は、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、２つの量子化ステップの差が小さいために発生する画質劣化が、適切な強度のフィルタがかかることで適切に抑制される再符号化データを生成することができる。
【００４０】
また、本発明の再符号化装置は、上述の再符号化装置であって、前記フィルタパラメータ生成手段は、前記復号手段が検出した量子化ステップと、前記符号化手段が前記復号データを符号化する際の量子化ステップとの差に応じて、前記フィルタ手段を制御するフィルタパラメータを生成することを特徴とする。
【００４１】
また、本発明の再符号化装置は、入力された符号化データを復号して、復号データを生成するとともに、前記符号化データの量子化ステップを検出する復号手段と、前記復号手段が検出した量子化ステップの最小値を検出する量子化ステップ設定手段と、前記量子化ステップ設定手段が検出した最小値より大きな値の量子化ステップにて前記復号手段が生成した復号データを符号化する符号化手段とを備えることを特徴とする。
【００４２】
これにより、本発明の再符号化装置は、量子化ステップに基づきフィルタの強度を決める復号装置にて復号するときに、適切な強度のフィルタがかかることで画質劣化が適切に抑制される再符号化データを、少ない演算量で生成することができる。
【００４３】
また、本発明の再符号化方法は、フィルタ手段を有する復号装置へ入力する再符号化データを生成する再符号化装置における再符号化方法において、再符号化装置が、入力された符号化データを復号して、復号データを生成するとともに、前記符号化データに関する情報を検出する第１の過程と、再符号化装置が、前記復号手段が検出した情報に基づき、前記フィルタ手段を制御するフィルタパラメータを生成する第２の過程と、再符号化装置が、前記第１の過程にて生成した復号データを符号化して、再符号化データを生成し、該再符号化データに、前記第２の過程にて生成したフィルタパラメータを重畳して出力する第３の過程とを備えることを特徴とする。
【００４４】
また、本発明の再符号化方法は、再符号化装置における再符号化方法において、再符号化装置が、入力された符号化データを復号して、復号データを生成するとともに、前記符号化データの量子化ステップを検出する第１の過程と、再符号化装置が、前記第１の過程にて検出した量子化ステップの最小値を検出する第２の過程と、再符号化装置が、前記第２の過程にて検出した最小値より大きな値の量子化ステップにて前記第１の過程にて生成した復号データを符号化する第３の過程とを備えることを特徴とする。
【００４５】
また、本発明のプログラムは、上述のいずれかに記載の再符号化装置として、コンピュータを機能させるためのプログラム。
【発明の効果】
【００４６】
この発明によれば、復号手段が検出した情報が画像劣化が大きくなることを示しているほど、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成することで、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、適切な強度のフィルタがかかり画質劣化が適切に抑制される再符号化データを生成する再符号化装置を提供できる。
【発明を実施するための最良の形態】
【００４７】
［第１の実施形態］
以下、図面を参照して、本発明の第１の実施の形態について説明する。図１は、本発明の第１の実施の形態の再符号化装置１００を用いた動画像のコーデックシステムの構成を示す概略ブロック図である。このコーデックシステムは再符号化装置１００と復号装置１１０から構成される。再符号化装置１００は、復号部１０１とフィルタ部１０２、符号化部１０３、フィルタパラメータ生成部１０４から構成される。復号装置１１０は、復号部１１１とフィルタ部１１２から構成される。
【００４８】
復号部１０１は、入力された符号化データを復号する。復号して得られる画像データは、フィルタ部１０２に伝送される。
【００４９】
フィルタ部１０２では、画像データをフィルタリングし、符号化によって生じた画質の劣化を抑制する。フィルタリングされた画像データは、符号化部１０３に伝送される。
【００５０】
復号部１０１はまた、符号化データを復号するときに得られる情報、例えば量子化ステップや量子化パラメータ、ビットレート、フレームレート、ｂｐｐ（ビットパーピクセル）、ピクチャタイプ（画面内符号化ピクチャ、画面間符号化ピクチャなど）などの情報をフィルタパラメータ生成部１０４に伝送する。なお、ｂｐｐ（ビットパーピクセル）は単位ピクセルあたりの符号化データのビット数であり、式（１）の計算で求められる
【００５１】
【数１】
2007336468.tif 000003
【００５２】
フィルタパラメータ生成部１０４は、復号部１０１から伝送された情報をもとに、フィルタパラメータＦＰを決定する（フィルタパラメータＦＰの決定方法は後述する）。決定されたフィルタパラメータＦＰは符号化部１０３に伝送される。
【００５３】
符号化部１０３は、復号部１０１から伝送された画像を符号化した再符号化データを出力する。さらに、符号化部１０３は、フィルタパラメータ生成部１０４から伝送されたフィルタパラメータＦＰを符号化し、再符号化データに重畳して出力する。
【００５４】
再符号化装置１００から出力された再符号化データは、復号装置１１０に伝送される。復号装置１１０では、まず復号部１１１により再符号化データが復号され、画像データとフィルタパラメータＦＰを得る。得られた画像データとフィルタパラメータＦＰはフィルタ部１１２に伝送される。
【００５５】
フィルタ部１１２では、復号部１１１から伝送された画像データを、同じく復号部１１１から伝送されたフィルタパラメータＦＰを用いてフィルタリングする。復号装置１１０の出力は、フィルタリングにより画質の劣化が抑制された画像データである。
【００５６】
本実施形態では、動画像の符号化技術として、動画像を構成する１枚１枚の画像を所定サイズのブロック（Ｍ画素×Ｎ画素からなるブロック、Ｍ、Ｎは１以上の整数、例えば４、８）に分割し、個々のブロック単位に離散コサイン変換（ＤＣＴ、Discrete Cosine Transform）を行い、得られたＤＣＴ係数を量子化することによって圧縮を行う技術を用いる。このような技術としては、例えば、ＩＳＯ／ＩＥＣ１４４９６−２及びＩＳＯ／ＩＥＣ１４４９６−１０がある。
【００５７】
図２は、符号化部１０３において、入力された動画像を符号化する機能についての構成を示した概略ブロック図である。符号化部１０３は、ＤＣＴ部１０３１と量子化部１０３２とを備える。
ＤＣＴ部１０３１は、入力された動画像を構成する１枚１枚の画像を所定サイズのブロックに分割し、個々のブロック単位に離散コサイン変換を行い、ＤＣＴ係数を得る。
量子化部１０３２が行う量子化は、式（２）により表される。
【００５８】
【数２】
2007336468.tif 000004
【００５９】
ここで、Ｆは、量子化される前の値（ここでは、ＤＣＴ部１０３１が生成したＤＣＴ係数）であり、以下では原信号と呼ぶ。ＱＦは量子化された後の値であり量子化係数と呼ぶ。ＱＳＴＥＰは量子化ステップである。λは、小数点以下を切捨てる、切上げる、四捨五入するなどの量子化の特性を決める値である。
量子化部１０３２は、ｆｌｏｏｒ操作により小数点未満を除去し整数化する。整数化する際には誤差が生じる。
【００６０】
図３は、復号部１０１において、上記符号化技術を用いて符号化された符号化データを復号する機能についての構成を示した概略ブロック図である。復号部１０１は、逆量子化部１０１１とＩＤＣＴ（Inverse Discrete Cosine Transform；逆離散コサイン変換）部１０１２とを備える。
逆量子化部１０１１が行う量子化係数ＱＦに対する逆量子化は、式（３）のように表現される。
Ｆ’＝（ＱＦ＋μ）・ＱＳＴＥＰ                          （３）
ここで、Ｆ’は、逆量子化によって得られる値である。Ｆ’は、原信号を再生する信号である（Ｆ≒Ｆ’である）ので、以下では再生信号と呼ぶ。μは逆量子化の特性を決める値である。ＱＳＴＥＰは、量子化において用いられた量子化ステップである。この量子化ステップＱＳＴＥＰは、動画像を符号化する際に、符号化データの中に量子化ステップＱＳＴＥＰに関する情報である量子化パラメータＱＰを埋め込んでおくことで、逆量子化部１０１１まで伝送される。逆量子化部１０１１は、符号化データから量子化パラメータＱＰを抽出し、この量子化パラメータＱＰから量子化ステップＱＳＴＥＰを求める。
【００６１】
逆量子化部１０１１は、整数化された量子化係数に式（３）の変換を施すことで逆量子化を行うため、逆量子化された再生信号Ｆ’が取り得る値の範囲は、量子化ステップＱＳＴＥＰにより決まる。再生信号Ｆ’が取り得る値の範囲は、連続した整数を値に取れるような連続的なものではなく、決められた整数しか値に取れない非連続的なものである。例えば、μが０の場合には、再生信号Ｆ’は、量子化ステップＱＳＴＥＰの倍数しか取ることができない。
【００６２】
再生信号Ｆ’と原信号Ｆの間の誤差は、量子化誤差と呼ばれる。量子化誤差は、量子化ステップＱＳＴＥＰが大きいほど大きくなる。一方、量子化ステップＱＳＴＥＰが大きくなると量子化係数の取り得る範囲が小さくなるため、量子化係数を符号化して得られる動画像データの符号量は小さくなる。
【００６３】
このような量子化により圧縮を行う技術において、圧縮率を高くする（符号量を小さくする）場合には、量子化ステップＱＳＴＥＰを大きくことになる。量子化ステップＱＳＴＥＰを大きくすると、各ＤＣＴ係数の再生信号Ｆ´が原信号Ｆから大きく離れるため、ＩＤＣＴされた場合には、ブロック全体の再生画素値に大きな誤差が発生する。この誤差の生じ方がブロック間で異なるものであるので、結果として隣り合うブロックの間に、原画像には存在しなかったエッジ（段差）が生じる。このようなエッジ状の歪みは、視覚的に目立つものでありブロックノイズと呼ばれる。ブロックノイズはブロックの内部が平坦であるほど視覚的には目立つ。符号化で生じるノイズには、ブロックノイズのほかリンギングノイズと呼ばれるノイズがある。リンギングノイズは特に高周波成分が粗く量子化された結果、物体の境界などの強いエッジを十分に表現できなくなったために生じるもので、エッジ付近に波打つような模様として視覚的に感じられる。リンギングノイズは蚊が飛び回るような模様にも見えることからモスキートノイズとも呼ばれる。
【００６４】
フィルタ部１０２は、このような画質劣化を抑制するために、復号部１０１が符号化データを復号した後の画像にフィルタをかける。このようなフィルタはメインの処理（復号）の後にポスト処理として行うフィルタであることからポストフィルタと呼ばれる。また、特にブロックノイズを抑制するためのフィルタである場合には、デブロッキングフィルタとも呼ばれる。
【００６５】
次に、フィルタ部１０２の動作を説明する。一般に画質の劣化が大きいほどフィルタの強度を強くしたほうが良いという性質があり、また、画質の劣化自体は量子化ステップに依存する。そのため本実施形態では、量子化ステップの大きさに従ってフィルタの強さを変化させる。ここで、フィルタの強度が強いとは、フィルタによるノイズ除去効果が強いことを示す。すなわち、フィルタによる画像データの変化量がより大きいこと、あるいは、フィルタにおいてノイズと判定する条件がより緩いことを表す。
【００６６】
フィルタ部１０２は、まず、復号部１０１から伝送された量子化ステップＱＳＴＥＰ１から、次式によりフィルタパラメータＴＨ１を求める。
ＴＨ１＝ＱＳＴＥＰ１                                    （４）
フィルタパラメータＴＨ１は、フィルタの強度を意味し、フィルタパラメータの一つである。以下に説明するフィルタ方法においてフィルタをかけるか否かを判定するための閾値ＴＨとして用いられる。続いて、フィルタ部１０２は、フィルタをかけると判定したときは、ブロックの境界に対してフィルタリングする。
【００６７】
本実施形態のフィルタ部１０２とフィルタ部１１２とに共通のフィルタ方法（フィルタＡと呼ぶ）を、図４を参照して説明する。図４は、縦横８画素×８画素からなるブロック２つを示している。中心の線は２つのブロックの境界（垂直境界）を示している。図中、ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、ｐ６、ｐ７、ｐ８は、ブロック境界に垂直な方向の画素の画素値（整数値）を示している。境界画素の画素値はｐ４とｐ５である。フィルタでは、ブロック境界に垂直な方向に（１  ２  １）／／４のＦＩＲフィルタをかける。
｜ｐ４−ｐ５｜＜ＴＨの場合には次式のフィルタをかける。
ｐ４´＝（ｐ３＋２・ｐ４＋ｐ５＋２）／４                    （５）
ｐ５´＝（ｐ４＋２・ｐ５＋ｐ６＋２）／４                    （６）
ここで、Ａ／Ｂは、ＡをＢで割った商の小数点以下を切り捨てる演算を表す。
｜ｐ４−ｐ５｜≧ＴＨの場合には、フィルタをかけない。
ここで、ＴＨは所定の閾値であり、｜ｘ｜はｘの絶対値を求める操作である。
【００６８】
また、このフィルタ方法に替えて、別のフィルタ方法、例えば、より強いフィルタである（１  ２  ３  ４  ３  ２  １）／／１６の７タップＦＩＲフィルタを用いてもよい。この場合、フィルタ後の画素値は、
ｐ４´＝（ｐ１＋２・ｐ２＋３・ｐ３＋４・ｐ４＋３・ｐ５＋２・ｐ６＋ｐ７＋８）／１６              （７）
ｐ５´＝（ｐ２＋２・ｐ３＋３・ｐ４＋４・ｐ５＋３・ｐ６＋２・ｐ７＋ｐ８＋  ８）／１６              （８）
となる。このフィルタの方がフィルタ強度が強く、ブロックノイズを低減する効果は高い。しかしながら、強いフィルタをかけると、フィルタ後の画像がぼけてしまうという問題がある。そのため、フィルタリングによってブロックノイズを低減する場合には、フィルタの強度を適切に設定することが重要である。
【００６９】
なお、画像は矩形のブロック単位に分割されて符号化されるので、画像の境界には水平方向の境界と垂直方向の境界の２つがある。水平方向の境界と垂直方向の境界にフィルタリングするために、フィルタリングにおいては、まずは水平方向の境界にフィルタリングを行い、次に水平方向の境界にフィルタリングされた結果に対して、垂直方向の境界にフィルタをかけるものとする。
【００７０】
上記のフィルタＡでは境界における画素値の差（｜ｐ４−ｐ５｜）を算出して、閾値ＴＨと比較しているが、この差は、復号後にブロック境界に存在するエッジの大きさを意味している。復号後にブロック境界に存在するエッジには、物体の境界や模様など、符号化される前から存在していたエッジと、量子化誤差により生じたエッジの２つがある。量子化誤差により生じたエッジは不要なエッジであるのでフィルタリングによりぼかすことが好適であるが、物体の境界などのエッジの場合は重要なエッジであるのでフィルタリングによりぼかすことは好ましくない。
【００７１】
上述のフィルタにおける閾値ＴＨを用いた判定は、この性質を考慮したものであり、エッジの大きさが閾値ＴＨ未満の場合には、エッジが量子化誤差によって生じたエッジであるとみなしてフィルタをかけ、エッジの大きさが閾値ＴＨ以上の場合には、元の画像に存在したエッジであるとみなしてフィルタをかけないというものである。上記の構成によりフィルタによって画像が必要以上にボケることを防ぐことができる。なお、上記で説明したフィルタは、ブロックノイズを抑制するデブロッキングフィルタであるが、リンギングノイズを抑制するデリンギングフィルタであっても構わない。
【００７２】
なお、本実施形態では最良の形態として、フィルタ部１０２を備えた構成を示しているが、フィルタ部１０２の実現には、ソフトで実現する場合には膨大な演算量を必要とし、ハードで実現する場合にも大きな回路規模を必要とする。ソフトの演算量やハードの回路規模を減らす目的として、フィルタ部１０２が無い構成も可能である。本発明の特徴的な部分は、フィルタパラメータ生成部１０４にあるため、フィルタ部１０２が存在しなくても発明の特徴は失われない。
【００７３】
また、復号部１０１で復号する符号化データの符号化方式がループフィルタを用いるものである場合には、復号部１０１は内部にループフィルタ部を備える。この場合、ループフィルタ部において復号部１０１の出力画像は既にフィルタリングされているので、フィルタ部１０２は不要である。
【００７４】
次に、復号装置１１０内のフィルタ部１１２の動作を説明する。
フィルタ部１１２では、まず、復号部１１１から伝送された量子化ステップＱＳＴＥＰ２と同じく復号部１１１から伝送されたフィルタパラメータＦＰから、次の式（９）よりフィルタパラメータＴＨ２を求める。
ＴＨ２＝ＱＳＴＥＰ２＋ＦＰ                                （９）
フィルタパラメータＴＨ２は、フィルタの強度を意味しフィルタパラメータの１つである。
【００７５】
なお、本実施形態においては、量子化ステップＱＳＴＥＰ２とフィルタパラメータＦＰの和を、最終的なフィルタパラメータ（ここではフィルタパラメータＴＨ２）として用いるが、式（９）に代えてＴＨ２＝ＦＰを用い、フィルタパラメータＦＰを直接、フィルタ部１１２で用いられる最終的なフィルタパラメータとしてもよい。
フィルタ部１１２ではフィルタ部１０２と同様にフィルタＡに従い、水平方向の境界、垂直方向の境界の順にフィルタをかける。ここでフィルタＡのＴＨは、ＴＨ＝ＴＨ２とする。本実施形態では、フィルタ部１０２とフィルタ部１１２とはフィルタＡに従う同じアルゴリズムを用いるが、別々のアルゴリズムを用いてもよい。
【００７６】
さて、図５は、再符号化システムの構成を示すブロック図である。図５の再符号化システムにおいて、入力された原画から最終的な出力画像までの間の画質の劣化について説明し、続いて、好適なフィルタ強度についての本発明の考え方、つまり、フィルタパラメータ生成部１０４におけるフィルタパラメータＦＰの生成とフィルタ部１１２におけるフィルタパラメータＦＰの生成を説明する。
図５の再符号化システムでは、システムに入力された原画Ｉ０は、符号化部３０１、復号部３０２、再符号化部３０３、復号部３０４という流れに従って変換される。本再符号化システムにおいては、符号化部３０１における符号化による画質の劣化が大きいほど、つまり、再符号化部３０３に入力される画像Ｉ１の画質が原画Ｉ０に対して劣化したものであればあるほど、再符号化の出力である最終的な画像Ｉ２の画質も劣化したものになるという特徴がある。
【００７７】
図６は、この特徴を示したグラフである。図６の横軸は、符号化部３０１における量子化ステップ、縦軸は、原画Ｉ０と本再符号化システムの最終的な出力画像（＝復号部３０４の出力画像）Ｉ２とのＳＮＲである。再符号化部３０３での符号化における量子化ステップは一定とする。この場合、図６のグラフで示されている通り、再符号化部３０３での符号化における量子化ステップが一定である場合においても、符号化部３０１での符号化における量子化ステップが大きくなるにつれて、つまり再符号化部３０１に入力される画像Ｉ１が劣化したものになるにつれて、最終的な画像Ｉ２のＳＮＲも低下する。画像Ｉ２にフィルタをかける場合には、ＳＮＲが低いものであるほど、ブロックノイズ及びモスキートノイズが増大している上に、原画に存在した模様（テクスチャ）なども歪んだものになっているため、強いフィルタをかけることが望ましい。
【００７８】
なお、ＳＮＲは以下の式（１０）によって測定される。
【００７９】
【数３】
2007336468.tif 000005
ここで、ＭＳＥは平均二乗誤差を表しており、以下の式（１１）から計算される。
【００８０】
【数４】
2007336468.tif 000006
【００８１】
ここでｘｉ，ｊは符号化前の画像の位置（i, j）における画像サンプルにおける画素値を表しており、ｙｉ，ｊはフィルタされた画像の位置（i, j）における画像サンプルにおける画素値を表している。Ｍ、Ｎは各々画像の幅と高さである。
【００８２】
本発明のフィルタパラメータ生成部１０４では、上記の性質に基づき、符号化部１０３に入力された時点における画質の劣化が大きいほど、復号時にフィルタ部１１２でかかるフィルタ強度が強くなるように設定する。符号化部１０３に入力された時点における画質の劣化は、復号部１０１で得られる量子化パラメータが大きいほど大きなものになるため、本実施形態のフィルタパラメータ生成部１０４では、復号部１０１が符号化データを復号するときに得られる量子化パラメータが大きいほど、強いフィルタになるようなフィルタパラメータＦＰを設定する。
【００８３】
フィルタパラメータ生成部１０４は、復号部１０１から伝送された量子化ステップＱＳＴＥＰ１を用いて、次式よりフィルタパラメータＦＰを計算する。
ＦＰ＝ＣＬＩＰ３（ＦＰｍｉｎ，ＦＰｍａｘ，ａ・ＱＳＴＥＰ１＋ｂ）  （１２）
ここで、ａ、ｂは所定の定数である（但しａは０以上１以下）、ＣＬＩＰ３（ｍｉｎ，ｍａｘ，ｘ）は、ｘをｍｉｎ以上、ｍａｘ以下の範囲にクリップする操作を意味する。ＦＰｍｉｎ、ＦＰｍａｘは所定の値であり、フィルタパラメータＦＰの最小値、最大値を意味する（但し、ＦＰｍｉｎ＜ＦＰｍａｘ）。
【００８４】
なお、フィルタパラメータＦＰは、前述のように量子化ステップの一次関数（をクリップした値）とするだけに限らず、量子化ステップとその量子化ステップにおけるフィルタパラメータＦＰとの関係を示すテーブルを定めておき、定めたテーブルを引くことによって、フィルタパラメータＦＰを決定しても良い。
【００８５】
フィルタパラメータＦＰを式（１２）のように決定すると、復号部１０１における量子化ステップＱＳＴＥＰ１が大きなものであれば、それだけフィルタパラメータＦＰも大きな値になる。
【００８６】
フィルタパラメータＦＰは、先に説明したように、フィルタ部１１２において、式（９）に従ってフィルタパラメータＴＨ２に変換される。フィルタパラメータＴＨ２は、式（９）及び式（１２）より、
ＴＨ２＝ＱＳＴＥＰ２＋ＦＰ
＝ＱＳＴＥＰ２＋ＣＬＩＰ３（ＦＰｍｉｎ，ＦＰｍａｘ，ａ・ＱＳＴＥＰ１＋ｂ）
（１３）
となる。
【００８７】
式（１３）は、復号部１１１での復号における量子化ステップＱＳＴＥＰ２が大きくなるにつれてフィルタパラメータＴＨ２が大きくなるだけではなく、復号部１０１における量子化ステップＱＳＴＥＰ１が大きくなった場合においてもフィルタパラメータＴＨ２が大きくなることを意味している。
【００８８】
ところで、再符号化を行うと、再符号化による量子化誤差が生じる。そのため再符号化における量子化ステップＱＳＴＥＰ２を小さいものにした場合においても、復号部１１１の出力画像の画質は、符号化部１０３の入力画像（＝フィルタ部１０２の出力画像）よりも劣化したものとなる。フィルタ部１０２によって、フィルタ部１０２の出力画像は、フィルタ部１０２の入力画像に対して、視覚的な画質は向上したものになるが、原画に対するＳＮＲの向上効果は小さい。そのため、再符号化における量子化誤差が極めて小さい場合（量子化ステップＱＳＴＥＰ２が極めて小さい場合）を除いて、復号部１１１の入力画像は、復号部１０１の出力画像の画質よりも原画に対しては劣化したものとなる。そのため、フィルタ１１２でのフィルタ強度は、フィルタ１０２でのフィルタ強度よりも強いものとすることが好適である。
【００８９】
フィルタパラメータ生成部１０４は、上記の性質を考慮して以下のようにして、フィルタパラメータＦＰを計算してもよい。この場合、フィルタパラメータ生成部１０４は、量子化ステップＱＳＴＥＰ２を必要とするので、符号化部１０２は、量子化ステップＱＳＴＥＰ２をフィルタパラメータ生成部１０４に伝送する。フィルタパラメータ生成部１０４は、次の式（１４）のようにフィルタパラメータＦＰを設定する。
【００９０】
【数５】
2007336468.tif 000007
【００９１】
フィルタ部１１２は、式（１４）にて設定されたフィルタパラメータＦＰを受けると、式（９）及び式（１４）より求められる式（１５）にて、フィルタパラメータＴＨ２を算出する。
【００９２】
【数６】
2007336468.tif 000008
【００９３】
この場合、量子化ステップＱＳＴＥＰ２と量子化ステップＱＳＴＥＰ１のどちらが大きい場合においても、大きいほうの量子化ステップの値にもう片方の量子化ステップの値のa倍を加え、さらにｂを加えた値を使うことになる。
【００９４】
フィルタ部１０２のフィルタパラメータＴＨ１はＱＳＴＥＰ１であるが、フィルタ部１１２のフィルタパラメータＴＨ２は大きいほうの量子化ステップの値以上の大きさになることから、常に、ＴＨ２≧ＴＨ１となる。このように、量子化ステップＱＳＴＥＰ２が量子化ステップＱＳＴＥＰ１よりも小さい場合においても、フィルタ部１１２のフィルタの強度はフィルタ部１０２よりも強くなる。
【００９５】
ところで、量子化・逆量子化方法によっては、最初の符号化で用いられた量子化ステップＱＳＴＥＰ１と二回目の符号化で用いられた量子化ステップＱＳＴＥＰ２が近い場合において、特に再量子化特有の量子化誤差が大きくなりやすいことがある。
【００９６】
フィルタパラメータ生成部１０４は、この性質を考慮して以下のようにフィルタパラメータＦＰを設定してもよい。
【００９７】
【数７】
2007336468.tif 000009
【００９８】
この場合、量子化ステップＱＳＴＥＰ１と量子化ステップＱＳＴＥＰ２が近いものであるほど、フィルタパラメータは大きな値を持つ。また、ＱＳＴＥＰ２がＱＳＴＥＰ２＞ＱＳＴＥＰ１の関係を満たす場合においては、量子化ステップＱＳＴＥＰ１が大きくなればなるほど量子化ステップＱＳＴＥＰ２に近づくため、量子化ステップＱＳＴＥＰ１が大きいほど、強いフィルタがかかる。ＱＳＴＥＰ２＝ＱＳＴＥＰ１の場合には大きな画質の劣化はないものであるから、フィルタパラメータＦＰには特に大きな値は設定しない。
【００９９】
ところで、フィルタパラメータ生成部１０４は、上記までの説明においては、フィルタパラメータＦＰの設定に、量子化ステップＱＳＴＥＰ１を用いたが、復号部１０１で符号化データを復号するときに得られる他の情報、例えば、ビットレートやフレームレート、ｂｐｐ（ビットパーピクセル）、ピクチャタイプ、ブロックタイプを用いても良い。量子化ステップは、ビットレートが小さい場合やフレームレートが大きい場合、ｂｐｐ（ビットパーピクセル）が小さな場合には大きくなることが多い。フィルタパラメータ生成部１０４は、この関係を利用して、符号化部１０３に入力される時点における画質の劣化の大きさを考慮して、フィルタパラメータＦＰを設定することができる。
【０１００】
まず、フィルタパラメータ生成部１０４は、フィルタパラメータの設定にビットレートを用いて、下記式に従ってフィルタパラメータＦＰを設定してもよい。
【０１０１】
【数８】
2007336468.tif 000010
【０１０２】
ここでｂｉｔｒａｔｅは、復号部１０１が符号化データについて検出し、フィルタパラメータ生成部１０４へ伝送したビットレートである。式（１７）により、ビットレートが小さいほうがフィルタパラメータＦＰは大きくなり強いフィルタがかかる。これは、ビットレートが小さいほど、復号部１０１で復号された画像の劣化が大きいため、一度復号した画像を再度符号化してできる画像である復号部１１１で復号された画像の画質の劣化も大きくなる。そのため、フィルタ部１１２でかけるフィルタの強度を強くするものである。
【０１０３】
次に、フィルタパラメータ生成部１０４が、フィルタパラメータの設定にフレームレートを用いる場合を説明する。ビットレートが同じ場合にはフレームレートが大きいほど、大きな圧縮率となるため画質が劣化する。従って、この場合、フィルタパラメータ生成部１０４は、下記式（１８）に従ってフィルタパラメータＦＰを設定する。
ＦＰ＝ＣＬＩＰ３（ＦＰｍｉｎ，ＦＰｍａｘ，ａ・ｆｒａｍｅｒａｔｅ＋ｂ）  （１８）
ここでｆｒａｍｅｒａｔｅは、復号部１０１が符号化データについて検出し、フィルタパラメータ生成部１０４に伝送したフレームレートである。式（１８）により、フレームレートが大きいほど大きなフィルタパラメータＦＰが設定される。
【０１０４】
次に、フィルタパラメータ生成部１０４が、フィルタパラメータの設定にｂｐｐ（ビットパーピクセル）を用いる場合を説明する。ｂｐｐは式（１）で示したとおり、画素当たりに用いられる平均ビット量を意味しているので、ｂｐｐが小さいほど画質が劣化する。従って、この場合、フィルタパラメータ生成部１０４は、下記式に従ってフィルタパラメータＦＰを設定する。
【０１０５】
【数９】
2007336468.tif 000011
【０１０６】
ここでｂｐｐは、復号部１０１が符号化データについて検出し、フィルタパラメータ生成部１０４に伝送したビットパーピクセルである。式（２１）により、ｂｐｐが小さいほど大きなフィルタパラメータＦＰが設定される。
【０１０７】
次に、フィルタパラメータ生成部１０４が、フィルタパラメータの設定にピクチャタイプを用いる場合を説明する。画面内符号化ピクチャの場合には、画面間符号化ピクチャに比べてブロックノイズが大きくなることが知られている。逆に、画面間符号化ピクチャの場合には画面内符号化ピクチャに比べればブロックノイズは大きくならない。従って、フィルタパラメータ生成部１０４は、復号部１０１が符号化データについて検出して、フィルタパラメータ生成部１０４に伝送したピクチャタイプに応じてフィルタパラメータＦＰを決定しても良い。フィルタパラメータ生成部１０４は、例えば、ピクチャタイプが画面内符号化であればフィルタパラメータＦＰに所定値を設定し、それ以外ならばフィルタパラメータＦＰにゼロを設定する。
【０１０８】
また、ピクチャタイプが画面間符号化ピクチャであるフレームにおいては、ブロック毎に画面内予測を行うか画面間予測を行うかの予測方法を選択できる符号化方法がある。各ブロックが、どちらの予測方法を用いているかをブロックタイプと呼ぶ。ブロック毎もしくはブロックの集合毎に、フィルタパラメータＦＰを変化させることができるようにコーデックシステムを構成した場合において、フィルタパラメータ生成部１０４は、復号部１０１が符号化データについて検出して、フィルタパラメータ生成部１０４に伝送したブロックタイプが画面内符号化ブロック（もしくはブロックの集合について、画面内符号化ブロックの割合が所定値以上）であればフィルタパラメータＦＰに所定値を設定し、それ以外ならばフィルタパラメータＦＰにゼロを設定する。
【０１０９】
以上、説明したように、本実施形態の方法によれば、フィルタパラメータ生成部１０４が、再符号化装置に入力された符号化データを復号するときに得られる情報に応じてフィルタパラメータを決定することによって、符号化するときの情報だけを用いてフィルタパラメータを決定する従来の方法と比較して、再符号化した場合における画質劣化を抑制することができる。また、ＳＮＲを用いる方法に比べると、本実施形態の方法によればＳＮＲを求める必要がないため演算量を削減することができる。
【０１１０】
［第２の実施形態］
本発明の第２の実施の形態について説明する。図７は、本発明の第２の実施の形態のコーデックシステムの構成を示した概略ブロック図である。本発明のコーデックシステムは再符号化装置５００と復号装置５１０から構成される。
再符号化装置５００は、復号部１０１と、フィルタ部１０２、符号化部５０３、フィルタパラメータ生成部５０４を備える。復号装置５１０は、復号部５１１を備える。図７に示す第２の実施形態のコーデックシステムは、図１を用いて説明した第１の実施の形態のコーデックシステムと異なり、符号化部５０３及び復号部５１１は内部にループフィルタ部５０５及びループフィルタ部５１２を備える。
なお、同図において図１の各部に対応する部分には同一の符号を付け、その説明を省略する。
【０１１１】
符号化方式としてループフィルタを用いる場合は、符号化部５０３のループフィルタ部５０５と、復号部５１１のループフィルタ部５１２では同じフィルタをかけなければならない。このため、本実施形態においては、再符号化装置５００から復号装置５１０に、ループフィルタにおけるフィルタの強度を制御するフィルタパラメータを伝送し、符号化側と復号側で同じフィルタがかかるように構成する。
【０１１２】
再符号化装置５００の動作について説明する。まず、復号部１０１は、符号化データが入力されると、入力された符号化データを復号して、画像データを得る。復号された画像データはフィルタ部１０２によりフィルタリングされる。フィルタリングされた画像データは符号化部５０３に伝送される。また、復号部１０１は、符号化データを復号するときに得られる情報、例えば量子化ステップや量子化パラメータ、ビットレート、フレームレート、ｂｐｐ（ビットパーピクセル）、ピクチャタイプなどの情報をフィルタパラメータ生成部５０４に伝送する。フィルタパラメータ生成部５０４は、復号部１０１から伝送された情報をもとに、フィルタパラメータを決定し、符号化部５０３に伝送する。符号化部５０３は、フィルタ部１０２から伝送された画像データを符号化して出力する。符号化部５０３は、その内部に備えるループフィルタ部５０５において、フィルタパラメータ生成部５０４から伝送されたフィルタパラメータに従って第１の実施形態にて説明したフィルタＡと同様のフィルタリングを行う。
【０１１３】
図８は、符号化部５０３におけるループフィルタ部５０５を含んだ符号化機能の構成を示す概略ブロック図である。
符号化部５０３は、加算部５０３０、５０３６、ＤＣＴ部５０３１、量子化部５０３２、エントロピー符号化部５０３３、逆量子化部５０３４、ＩＤＣＴ部５０３５、ループフィルタ部５０５、動き補償部５０３７から構成される。
【０１１４】
入力された画像データが符号化部５０３でどのように符号化されるかについて、ピクチャタイプが画面内符号化ピクチャである場合と、ピクチャタイプが画面間符号化ピクチャである場合に分けて説明する。画面内符号化ピクチャは、前後のフレームの画像データを用いずに符号化する。画面間符号化ピクチャは、前後のフレームの画像データを元に予測画像を生成して予測画像との差分をとって符号化する。
【０１１５】
まず、ピクチャタイプが画面内符号化ピクチャである場合を説明する。ピクチャタイプが画面内符号化ピクチャである場合には、ＤＣＴ部５０３１は、入力された画像データを離散コサイン変換してＤＣＴ係数を得る。量子化部５０３２は、このＤＣＴ係数を量子化して、量子化係数を得る。さらにエントロピー符号化部５０３３は、この量子化係数とフィルタパラメータ生成部５０４からループフィルタ部５０５に与えられるフィルタパラメータとをエントロピー符号化して再符号化データに変換する。
【０１１６】
一方、逆量子化部５０３４は、量子化部５０３２で変換された量子化係数を逆量子化してＤＣＴ係数を得る。ＩＤＣＴ部５０３５は、このＤＣＴ係数を逆離散コサイン変換して画像データに変換する。ループフィルタ部５０５は、この変換した画像データを参照画像として用いる前に、この変換した画像データの画質劣化を抑制する。すなわち、ループフィルタ部５０５は、フィルタパラメータ生成部５０４から指定されたフィルタパラメータに従って画像データにフィルタをかける。エントロピー符号化部５０３３は、フィルタパラメータをエントロピー符号化し、エントロピー符号化した量子化係数とともに再符号化データとして外部に出力する。なお、ループフィルタ部５０５でフィルタかかった画像は、一度符号化された画像データを符号化部５０３（ローカル）で復号した画像なのでローカル復号画像と呼ばれる。
【０１１７】
次に、ピクチャタイプが画面間符号化ピクチャである場合を説明する。ピクチャタイプが画面間符号化ピクチャである場合は、入力された画像データを直接離散コサイン変換するのではなく、動き補償部５０３７が入力画像の予測画像を生成し、加算部５０３０が入力画像とこの予測画像との差分（予測誤差）を生成し、ＤＣＴ部５０３１は、この予測誤差を離散コサイン変換して、ＤＣＴ係数を得る。さらに、量子化部５０３２は、このＤＣＴ係数を量子化して、量子化係数を得る。エントロピー符号化部５０３３は、この量子化係数とフィルタパラメータ生成部５０４から指定されたフィルタパラメータとをエントロピー符号化して、再符号化データを生成し、出力する。このように、フィルタパラメータは、再符号化データに重畳されて出力される。
【０１１８】
一方、逆量子化部５０３４は、量子化部５０３２が生成した量子化係数を、逆量子化して、ＤＣＴ係数を得る。ＩＤＣＴ部５０３５は、このＤＣＴ係数を逆離散コサイン変換する。加算部５０３６は、このＩＤＣＴ部５０３５の変換結果と動き補償部５０３７の生成した予測画像とを加算する。ループフィルタ部５０５は、加算部５０３６の加算結果を、フィルタパラメータ生成部５０４から指定されたフィルタパラメータに従って、フィルタをかけ、参照画像を生成する。
動き補償部５０３７は、ループフィルタ部５０５の出力である参照画像を動き補償することによって予測画像を生成する。つまり、動き補償部５０３７は、参照画像と入力された画像データとを比較して動きベクトル探索を行い、その結果の動きベクトルに基づき、参照画像を動き補償することで予測画像を生成する。
【０１１９】
続いて、復号装置５１０の動作について説明する。復号装置５１０では、入力された再符号化データを復号する。復号部５１１は内部にループフィルタ部５１２を持ち、復号装置の出力画像はフィルタリングされたものとなる。
復号部５１１は、再符号化データを復号して、画像データとフィルタパラメータを得る。復号部５１１内部のループフィルタ部５１２では、復号された画像データを、同じく復号されたフィルタパラメータに従って第１の実施形態にて説明したフィルタＡと同様のフィルタリングを行う。フィルタリングされた画像データは復号部５１１の出力となる。またフィルタリングされた画像は、画面間符号化ピクチャを復号するときに用いられる参照画像になる。なお、ループフィルタを用いた符号化技術として、ＩＳＯ／ＩＥＣ１４４９６−１０を用いてもよい。
【０１２０】
図９は、復号部５１１の内部の構成を示した概略ブロック図である。復号部５１１は、エントロピー符号化復号部５１１０、逆量子化部５１１１、ＩＤＣＴ部５１１２、加算部５１１３、ループフィルタ部５１２、動き補償部５１１５から構成される。エントロピー符号化復号部５１１０は、入力された再符号化データをエントロピー符号化復号し、量子化係数及びフィルタパラメータを得る。エントロピー符号化復号部５１１０は、復号した量子化係数は逆量子化部５１１１に伝送し、復号したフィルタパラメータはループフィルタ部５１２に伝送する。逆量子化部５１１１は、伝送された量子化係数を、逆量子化してＤＣＴ係数を得る。ＩＤＣＴ部５１１２は、このＤＣＴ係数を逆離散コサイン変換して、差分画像データを得る。加算部５１１３は、この差分画像データと動き補償部５１１５の生成した予測画像とを加算する。ループフィルタ部５１２は、エントロピー符号化復号部５１１０から伝送されたフィルタパラメータに基づき、この加算結果にフィルタリングして復号画像の画像データを得る。得られた復号画像の画像データは外部に出力される。また、動き補償部５１１５は、復号画像の画像データを参照画像として用いる。動き補償部５１１５は、参照画像を動き補償し、画面間予測における予測画像として加算部５１１３に伝送する。
【０１２１】
本実施形態において特徴的な部分は、フィルタパラメータ生成部５０４が、復号部５０１から伝送された符号化データを復号するときに得られる情報から、ループフィルタのフィルタ強度を制御するフィルタパラメータを決定する点である。本実施形態のフィルタパラメータ生成部５０４の動作は、第１の実施形態のフィルタパラメータ生成部１０４と同じもので構わない。
【０１２２】
以上説明してきたように、本実施形態の技術によれば、再符号化装置に入力された符号化データを復号するときに得られる情報に応じて、符号化におけるループフィルタの強度を決定することによって、復号するときに得られる情報を用いず、符号化するときの情報だけを用いてループフィルタの強度を設定していた従来の方法と比較して、再符号化した場合における画質劣化を抑制することができる。
【０１２３】
［第３の実施形態］
本発明の第３の実施の形態について説明する。図１０は、本発明の第３の実施の形態の再符号化装置の構成を示した概略ブロック図である。再符号化装置は、復号部６０１とフィルタ部６０２、符号化部６０３、量子化パラメータ生成部６０４から構成される。
【０１２４】
復号部６０１は、入力された動画像符号化データを復号する。復号された画像データは、フィルタ部６０２に伝送される。復号部６０１はまた、動画像符号化データを復号するときに得られた量子化パラメータを量子化パラメータ生成部６０４に伝送する。
フィルタ部６０２では、画像データをフィルタリングし、符号化によって生じた画質の劣化を抑制する。フィルタリングされた画像データは、符号化部６０３に伝送される。
量子化パラメータ生成部（量子化ステップ生成手段）６０４は、符号化部６０３で用いられる量子化パラメータの下限を求める。
符号化部６０３は、量子化パラメータ生成部６０４が求めた量子化パラメータの下限より大きな量子化パラメータにて復号部６０１から伝送された画像を符号化して出力する。
【０１２５】
次に、量子化パラメータと量子化ステップの関係を説明する。第１および第２の実施形態と同様に、量子化パラメータは、符号化データの中に埋め込まれた量子化ステップに関する情報である。復号するときに、符号化データから量子化パラメータが得られ、量子化パラメータから量子化ステップを得ることができる。図１１は量子化パラメータと量子化ステップの関係を示したものである。図１１に示したように、量子化パラメータと量子化ステップの関係には図１１の（ａ）や（ｂ）のように様々なものがあるが、本実施形態では、量子化パラメータは、その値が大きくなるにつれて量子化ステップも大きくなるという関係がある。また量子化パラメータは所定の範囲の整数を取る。
【０１２６】
符号化部６０３における量子化パラメータ決定の動作を説明する。符号化部６０３は内部に図示しないレート制御部を備える。レート制御部では、外部から指定されたビットレートに合うように量子化パラメータＱＰｒａｔｅを決定する。また、符号化部６０３は、量子化パラメータ生成部６０４から伝送された量子化パラメータＱＰｍｉｎを受け取る。符号化部６０３は、レート制御部の量子化パラメータＱＰｒａｔｅと、量子化パラメータ生成部６０４から伝送された量子化パラメータＱＰｍｉｎを比較し、大きいほうを選択する。式で表現すると式（２０）のようになる。
ＱＰ＝ＭＡＸ（ＱＰｒａｔｅ、ＱＰｍｉｎ）                    （２０）
ここでＭＡＸ（ｘ、ｙ）はｘ、ｙのうちの大きいほうを選択する操作である。符号化部６０３では選択された量子化パラメータＱＰを用いて量子化を行う。符号化部６０３における量子化で用いられた量子化パラメータをＱＰ２、量子化ステップをＱＳＴＥＰ２とする。なお、復号部６０１において逆量子化で用いられる量子化パラメータをＱＰ１、量子化ステップをＱＳＴＥＰ１とする。
【０１２７】
次に、図５を用いて再度、再符号化システムにおける画質の劣化について説明する。再符号化システムにおいては、原画Ｉ０と比較した画質において、画像Ｉ１の画質＞画像Ｉ２の画質である。すなわち、画像Ｉ２の画質は画像Ｉ１の画質よりも劣るものになる。画質が低い画像ほど強いフィルタ強度をかける方が好適であることを考慮すると、画像Ｉ２にかかるべきフィルタ強度は、画像Ｉ１にかかるべきフィルタ強度よりも強いものになる。
【０１２８】
ところで、ＩＳＯ／ＩＥＣ１４４９６−２及びＩＳＯ／ＩＥＣ１４４９６−１０に記載される技術では、復号された画像にかかるフィルタの強度は、符号化時の量子化の粗さ（量子化ステップ）に応じて決定され、量子化パラメータから求められる。すなわち符号化時の量子化ステップを決めると、フィルタの強度が決まる。このような技術を符号化部６０３に用いた装置の場合、復号された画像において所定レベル以上の強度のフィルタをかけるためには、再符号化における量子化パラメータとして所定レベル以上の値を設定する必要がある。本実施形態の量子化パラメータ生成部６０４は上記の考えに基づき、かかるべきフィルタ強度を基準として、量子化パラメータの下限を設定するものである。
【０１２９】
量子化パラメータ生成部６０４が、量子化パラメータの下限を設定する本実施形態における方法について説明する。
符号化部６０３での量子化ステップＱＳＴＥＰ２に応じて決定されるフィルタの強さを、復号部６０１での量子化ステップＱＳＴＥＰ１に応じて決定されるフィルタの強さ以上にするためには、量子化ステップＱＳＴＥＰ２≧量子化ステップＱＳＴＥＰ１となるような量子化ステップＱＳＴＥＰ２を符号化部６０３での量子化において用いればよい。
【０１３０】
もし、復号部６０１で復号に用いられる符号化方式と、符号化部６０３で符号化に用いられる符号化方式が同じものであった場合には、符号化部６０３での量子化パラメータＱＰ２≧復号部６０１での量子化パラメータＱＰ１とすればよい。したがって、復号部６０１での符号化方式と、符号化部での符号化方式が同じ場合には、量子化パラメータ生成部６０４では、量子化パラメータＱＰｍｉｎに復号部６０１での量子化パラメータＱＰ１を設定する。
【０１３１】
しかしながら、復号部６０１で復号に用いられる符号化方式と、符号化部６０３で符号化に用いられる符号化方式が異なるものである場合には、量子化パラメータと量子化ステップの関係は互いに異なるものであるから、ＱＰ２≧ＱＰ１となるＱＰ２を用いても、ＱＳＴＥＰ２≧ＱＳＴＥＰ１となるとは限らない。そのため、量子化パラメータ生成部６０４は、ＱＳＴＥＰ２≧ＱＳＴＥＰ１を満たす量子化パラメータＱＰ２を求める必要がある。
【０１３２】
ここでは、復号部６０１及び符号化部６０３で用いられる符号化方式における量子化パラメータと量子化ステップの関係が与えられた場合の、量子化パラメータ生成部６０４の動作を説明する。
まず、復号部６０１で用いられる符号化方式においては量子化パラメータＱＰ１と量子化ステップＱＳＴＥＰ１の関係は、式（２１）にて表されるとする。
ＱＳＴＥＰ１＝２ＱＰ１                                  （２１）
【０１３３】
また、図１２は、本実施形態の符号化部６０３における量子化パラメータと量子化ステップの関係を示したものである。
量子化パラメータ生成部６０４は、式（２１）によってＱＳＴＥＰ１を求めた後は、次に説明する方法によって設定すべき量子化パラメータを求める。図１３は、本実施形態における量子化パラメータ生成部６０４の量子化パラメータの求め方を示したフローチャートである。符号化部６０３における量子化パラメータと量子化ステップの関係が図１２のものである場合、図１３で示すフローチャートに従い量子化パラメータを求めることができる。
【０１３４】
Ｓ４０１では、量子化パラメータ生成部６０４は、量子化パラメータＱＰを符号化部６０３に設定可能な量子化パラメータの最小値とする。本実施形態の場合は量子化パラメータの最小値は０とする。
Ｓ４０２では、量子化パラメータ生成部６０４は、量子化パラメータＱＰから量子化ステップＱＳＴＥＰを求める。本実施形態の場合には、図１２に示した量子化パラメータと量子化ステップの関係を示すテーブルを引くことによって求める。
Ｓ４０３では、量子化パラメータ生成部６０４は、求められた量子化ステップＱＳＴＥＰが、予め求めておいたＱＳＴＥＰ１以上であるかの判定を行う。ＱＳＴＥＰ１以上である場合には、必要な量子化パラメータが求められたので終了する。ＱＳＴＥＰ１未満である場合にはＳ４０４に移る。
Ｓ４０４では、ＱＰが設定可能な量子化ステップの最大値に等しいかを判定する。最大値に等しい場合には、これ以上大きな量子化ステップを設定することができないのでここで終了する。最大値以下である場合にはＳ４０５に移る
Ｓ４０５では、ＱＰ＝ＱＰ＋１により、量子化パラメータに１を加える。
【０１３５】
図１３に示すフローチャートに示した動作によって求めた量子化パラメータＱＰを、量子化パラメータ生成部６０４の出力となる量子化パラメータＱＰｍｉｎとする。なお、上記フローチャートでは線形探索によって量子化パラメータを求めたが、量子化パラメータに対して量子化ステップが単調増加であることを利用して、２分探索を行っても良い。
【０１３６】
符号化部６０４では先に説明したように、量子化パラメータＱＰｍｉｎ以上の量子化パラメータで量子化するため、復号するときに量子化パラメータの大きさに応じてフィルタリングするような場合において、不適切に弱いフィルタがかかることはなくなる。
【０１３７】
以上説明してきたように、本実施形態の技術によれば、再符号化装置に入力された動画像符号化データを復号するときに得られる量子化パラメータに応じて、符号化における量子化パラメータの下限を決定する。これによって、復号時のポストフィルタやループフィルタにおいて不適切に弱いフィルタがかかることを防ぐことができ、再符号化において生じる画質の劣化を抑制することができる。
【０１３８】
また、図１における復号部１０１、フィルタ部１０２、符号化部１０３、フィルタパラメータ生成部１０４、復号部１１１、フィルタ部１１２、および、図７における復号部１０１、フィルタ部１０２、符号化部５０３、フィルタパラメータ生成部５０４、ループフィルタ部５０５、復号部５１１、ループフィルタ部５１２、および、図１０における復号部６０１、フィルタ部６０２、符号化部６０３、量子化パラメータ生成部６０４の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、これらの各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１３９】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０１４０】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【０１４１】
本発明は、ＨＤＤレコーダなどの符号化されたデジタル動画像データを受けて、再符号化して記録、あるいは、再配信する再符号化装置に用いて最適であるが、これに限られるものではなく、放送設備やネットワークへの配信設備などの再符号化装置に用いてもよい。
【図面の簡単な説明】
【０１４２】
【図１】この発明の第１の実施形態における再符号化装置１００を用いたコーデックシステムの構成を示した概略ブロック図である。
【図２】同実施形態おける符号化部１０３において、入力された動画像を符号化する機能についての構成を示した概略ブロック図である。
【図３】同実施形態おける復号部１０１において、符号化部１０３にて用いている符号化技術と同様の符号化技術を用いて符号化された動画像符号化データを復号する機能についての構成を示した概略ブロック図である。
【図４】同実施形態におけるフィルタを適用する領域を、縦横８画素×８画素からなるブロックを２つ示して説明する図である。
【図５】同実施形態における再符号化システムの構成を示した概略ブロック図である。
【図６】同実施形態における再符号化システムの符号化部３０１における量子化ステップと原画Ｉ０と画像Ｉ２のＳＮＲの関係を示したグラフである。
【図７】この発明の第２の実施形態における再符号化装置５００を用いたコーデックシステムの構成を示した概略ブロック図である。
【図８】同実施形態における符号化部５０３におけるループフィルタ部５０５を含んだ符号化機能の構成を示した概略ブロック図である。
【図９】同実施形態における復号部５１１の内部の構成を示した概略ブロック図である。
【図１０】この発明の第３の実施形態における再符号化装置の構成を示した概略ブロック図である。
【図１１】量子化パラメータと量子化ステップの関係の種類を示したグラフである。
【図１２】同実施形態における量子化パラメータと量子化ステップの関係を示した表である。
【図１３】同実施形態における量子化パラメータ生成部６０４の量子化パラメータを求める際の動作を示すフローチャートである。
【図１４】従来の再符号化装置を用いたコーデックシステムの構成を示した概略ブロック図である。
【図１５】従来の再符号化装置の構成を示した概略ブロック図である。
【図１６】従来のフィルタパラメータを決定する第１の方法を説明するためのグラフである。
【図１７】従来のフィルタパラメータを決定する第２の方法を説明するためのグラフである。
【図１８】量子化パラメータとその量子化パラメータにおける最適なフィルタパラメータとの関係を示すグラフである。
【図１９】ループフィルタを備える従来の再符号化装置を用いたコーデックシステムの構成を示した概略ブロック図である。
【符号の説明】
【０１４３】
１００…再符号化装置、                  １０１…復号部、
１０２…フィルタ部、                    １０３…符号化部、
１０４…フィルタパラメータ生成部、      １１０…復号装置、
１１１…復号部、                        １１２…フィルタ部、
３０１…符号化部、                      ３０２…復号部、
３０３…再符号化部、                    ３０４…復号部、
５００…再符号化装置、                  ５０３…符号化部、
５０４…フィルタパラメータ生成部、      ５０５…ループフィルタ部、
５１０…復号装置、                      ５１１…復号部、
５１２…ループフィルタ部、              ６０１…復号部、
６０２…フィルタ部、                    ６０３…符号化部、
６０４…量子化パラメータ生成部、        １０１１…逆量子化部、
１０１２…ＩＤＣＴ部、                  １０３１…ＤＣＴ部、
１０３２…量子化部、                    １３００…再符号化装置、
１３０１…復号部、                      １３０２…フィルタ部、
１３０３…符号化部、                    １３１０…復号装置、
１３１１…復号部、                      １３１２…フィルタ部、
１４０１…逆量子化部、                  １４０２…ＩＤＣＴ部、
１４０４…ＤＣＴ部、                    １４０５…量子化部、
１５００…再符号化装置、                １５０１…復号部、
１５０２…フィルタ部、                  １５０３…符号化部、
１５０４…ループフィルタ部、            １５１０…復号装置、
１５１１…復号部、                      １５１２…ループフィルタ部、
５０３０…加算部、                      ５０３１…ＤＣＴ部、
５０３２…量子化部、                    ５０３３…エントロピー符号化部、
５０３４…逆量子化部、                  ５０３５…ＩＤＣＴ部、
５０３６…加算部、                      ５０３７…動き補償部、
５１１０…エントロピー符号化復号部、    ５１１１…逆量子化部、
５１１２…ＩＤＣＴ部、                  ５１１３…加算部、
５１１５…動き補償部
【図１】
2007336468.tif 000012
【図２】
2007336468.tif 000013
【図３】
2007336468.tif 000014
【図４】
2007336468.tif 000015
【図５】
2007336468.tif 000016
【図６】
2007336468.tif 000017
【図７】
2007336468.tif 000018
【図８】
2007336468.tif 000019
【図９】
2007336468.tif 000020
【図１０】
2007336468.tif 000021
【図１１】
2007336468.tif 000022
【図１２】
2007336468.tif 000023
【図１３】
2007336468.tif 000024
【図１４】
2007336468.tif 000025
【図１５】
2007336468.tif 000026
【図１６】
2007336468.tif 000027
【図１７】
2007336468.tif 000028
【図１８】
2007336468.tif 000029
【図１９】
2007336468.tif 000030