(57)【要約】【課題】復号画像の知覚される画質を向上することができる符号化装置、符号化方法、復号装置、復号方法およびそれらのプログラムを提供する。【解決手段】符号化対象の画像データを基に、当該画像データ内のリフレッシング対策処理を行う画像領域データを特定する特定装置と、前記画像データを符号化する際に、前記特定装置が特定した画像領域データにリフレッシング対策処理を施すリフレッシング対策装置とを有する符号化装置。【選択図】図１
2009503999.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象の画像データを基に、当該画像データ内のリフレッシング対策処理を行う画像領域データを特定する特定手段と、
前記画像データを符号化する際に、前記特定手段が特定した画像領域データにリフレッシング対策処理を施すリフレッシング対策手段と
を有する符号化装置。
【請求項２】
前記特定手段は、前記画像データが動画像データを構成する場合に、当該画像データの一つ前に符号化される他の画像データとの間で動き量を基に、前記画像領域データを特定する
請求項１に記載の符号化装置。
【請求項３】
前記特定手段は、動画像データを構成する前記画像データをインター符号化した場合の予測差分画像と、イントラ符号化した場合の予測差分画像との間の差分を基に、前記画像領域データを特定する
請求項２に記載の符号化装置。
【請求項４】
前記特定手段は、前記画像データ内の色バラつきを基に、前記画像領域データを特定する
請求項１に記載の符号化装置。
【請求項５】
前記画像データがブロックデータを単位として符号化される場合に、
前記特定手段は、前記画像データを構成するブロックデータを前記画像領域データとして特定する
請求項１に記載の符号化装置。
【請求項６】
前記リフレッシング対策手段は、
フレーム間の連続性を持った画像データを生成し、当該画像データを原画像データとして量子化する
請求項５に記載の符号化装置。
【請求項７】
前記リフレッシング対策手段は、フレーム間符号化処理と、時間方向のフィルタリング処理と、符号化順が前の他の画像データを前記原画像データとして用いる処理との少なくとも一つの処理を行う
請求項６に記載の符号化装置。
【請求項８】
前記リフレッシング対策手段は、
前記フレーム間符号化するように変更した前記ブロックデータの量子化パラメータを、予め決められた量子化パラメータより小さくなるように変更する
請求項６に記載の符号化装置。
【請求項９】
前記リフレッシング対策手段は、前記特定手段が特定したブロックデータの直交変換係数のうち、当該ブロックデータの周囲のブロックデータに設定された量子化パラメータで量子化した場合にゼロになる前記直交変換係数を強制的にゼロにする
請求項５に記載の符号化装置。
【請求項１０】
符号化対象の画像データを基に、当該画像データ内のリフレッシング対策処理を行う画像領域データを特定する第１の工程と、
前記画像データを符号化する際に、前記第１の工程で特定した画像領域データにリフレッシング対策処理を施す第２の工程と
を有する符号化方法。
【請求項１１】
コンピュータが実行するプログラムであって、
符号化対象の画像データを基に、当該画像データ内のリフレッシング対策処理を行う画像領域データを特定する第１の手順と、
前記画像データを符号化する際に、前記第１の手順で特定した画像領域データにリフレッシング対策処理を施す第２の手順と
を前記コンピュータに実行させるプログラム。
【請求項１２】
符号化画像データを復号して復号画像データを生成する復号手段と、
前記復号手段が生成した復号画像データを基に、当該復号画像データ内のリフレッシング対策処理を行う画像領域データを特定する特定手段と、
前記復号手段が生成した復号画像データ内の前記特定手段が特定した画像領域データにリフレッシング対策処理を施すリフレッシング対策手段と
を有する復号装置。
【請求項１３】
前記特定手段は、前記画像データが動画像データを構成する場合に、当該画像データの一つ前に符号化される他の画像データとの間で動き量を基に、前記画像領域データを特定する
請求項１２に記載の復号装置。
【請求項１４】
前記特定手段は、動画像データを構成する前記画像データをインター符号化した場合の予測差分画像と、イントラ符号化した場合の予測差分画像との間の差分を基に、前記画像領域データを特定する
請求項１３に記載の復号装置。
【請求項１５】
前記特定手段は、前記画像データ内の色バラつきを基に、前記画像領域データを特定する
請求項１２に記載の復号装置。
【請求項１６】
前記リフレッシング対策手段は、前記画像領域データにノイズパターンを付加する
説明する１２に記載の復号装置。
【請求項１７】
符号化画像データを復号して復号画像データを生成する第１の工程と、
前記第１の工程で生成した復号画像データを基に、当該復号画像データ内のリフレッシング対策処理を行う画像領域データを特定する第２の工程と、
前記第１の工程で生成した復号画像データ内の前記第２の工程で特定した画像領域データにリフレッシング対策処理を施す第３の工程と
を有する復号方法。
【請求項１８】
コンピュータが実行するプログラムであって、
符号化画像データを復号して復号画像データを生成する第１の手順と、
前記第１の手順で生成した復号画像データを基に、当該復号画像データ内のリフレッシング対策処理を行う画像領域データを特定する第２の手順と、
前記第１の手順で生成した復号画像データ内の前記第２の手順で特定した画像領域データにリフレッシング対策処理を施す第３の手順と
を前記コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの符号化装置、符号化方法、復号装置、復号方法およびそれらのプログラムに関する。
【背景技術】
【０００２】
近年、画像データデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ(Moving Picture Experts Group)やＨ．２６４／ＡＶＣ(Advanced Video Coding)となどの符号化方式に準拠した符号化装置および復号装置、及び他の符号化システムが、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
上述した符号化方式は、動画像データを構成する複数のピクチャデータにＧＯＰ(GroupOf Pictures)構造に基づいたピクチャタイプＩ，Ｐ，Ｂを割り当て、Ｉピクチャデータについてはイントラ符号化を行い、Ｐ，Ｂピクチャデータについてはインター符号化を行う。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上述した符号化装置では、例えば、ピクチャデータ内の平坦な画像領域において、復号画像にリフレッシングと呼ばれるノイズパターン(Grain Noise)が生じ、それが知覚されて復号画像の画質が低くなってしまう。
【０００５】
復号画像の知覚される画質を向上することが符号化装置、符号化方法、復号装置、復号方法およびそれらのプログラムを提供するのが望ましい。
【課題を解決するための手段】
【０００６】
第１の観点の発明によれば、符号化対象の画像データを基に、当該画像データ内のリフレッシング対策処理を行う画像領域データを特定する特定手段と、前記画像データを符号化する際に、前記特定手段が特定した画像領域データにリフレッシング対策処理を施すリフレッシング対策手段とを有する符号化装置が提供される。
【０００７】
第２の観点の発明によれば、符号化対象の画像データを基に、当該画像データ内のリフレッシング対策処理を行う画像領域データを特定する第１の工程と、前記画像データを符号化する際に、前記第１の工程で特定した画像領域データにリフレッシング対策処理を施す第２の工程とを有する符号化方法が提供される。
【０００８】
第３の観点の発明によれば、コンピュータが実行するプログラムであって、符号化対象の画像データを基に、当該画像データ内のリフレッシング対策処理を行う画像領域データを特定する第１の手順と、前記画像データを符号化する際に、前記第１の手順で特定した画像領域データにリフレッシング対策処理を施す第２の手順とをコンピュータに実行させるプログラムが提供される。
【０００９】
第４の観点の発明によれば、符号化画像データを復号して復号画像データを生成する復号手段と、前記復号手段が生成した復号画像データを基に、当該復号画像データ内のリフレッシング対策処理を行う画像領域データを特定する特定手段と、前記復号手段が生成した復号画像データ内の前記特定手段が特定した画像領域データにリフレッシング対策処理を施すリフレッシング対策手段とを有する復号装置が提供される。
【００１０】
第５の観点の発明によれば、符号化画像データを復号して復号画像データを生成する第１の工程と、前記第１の工程で生成した復号画像データを基に、当該復号画像データ内のリフレッシング対策処理を行う画像領域データを特定する第２の工程と、前記第１の工程で生成した復号画像データ内の前記第２の工程で特定した画像領域データにリフレッシング対策処理を施す第３の工程とを有する復号方法が提供される。
【００１１】
第６の観点の発明によれば、コンピュータが実行するプログラムであって、符号化画像データを復号して復号画像データを生成する第１の手順と、前記第１の手順で生成した復号画像データを基に、当該復号画像データ内のリフレッシング対策処理を行う画像領域データを特定する第２の手順と、前記第１の手順で生成した復号画像データ内の前記第２の手順で特定した画像領域データにリフレッシング対策処理を施す第３の手順とを前記コンピュータに実行させるプログラムが提供される。
【発明の効果】
【００１２】
本発明によれば、復号画像の知覚される画質を向上することができる符号化装置、符号化方法、復号装置、復号方法およびそれらのプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本実施形態の通信システム１について説明する。
図１は、本実施形態の通信システム１の概念図である。
図１に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、復号装置３において受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
【００１４】
<符号化装置２＞
以下、図１に示す符号化装置２について説明する。
図２は、図１に示す符号化装置２の全体構成図である。
図２に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２１、ピクチャタイプ割り当て回路２２、画面並べ替え回路２３、ＭＢタイプ決定回路２６、演算回路３１、直交変換回路３２、量子化回路３３、レート制御回路３４、可逆符号化回路３５、バッファメモリ３６、逆量子化回路３７、逆直交変換回路３８、加算回路３９、デブロックフィルタ４０、フレームメモリ４１、イントラ予測回路４２、動き予測・補償回路４３、動き予測・補償回路５１、リフレッシュ検出回路５２、リフレッシュ対策回路５３、リフレッシュ対策回路５４を有する。
【００１５】
以下、符号化装置２の構成要素について説明する。
［Ａ／Ｄ変換回路２１］
Ａ／Ｄ変換回路２１は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される原画像信号Ｓ１０をデジタルのピクチャデータに変換し、これをピクチャタイプ割り当て回路２２に出力する。
【００１６】
［ピクチャタイプ割り当て回路２２］
ピクチャタイプ割り当て回路２２は、Ａ／Ｄ変換回路２１から入力したピクチャデータのそれぞれに、Ｉ，Ｐ，Ｂのいずれかのピクチャタイプを割り当てる。
【００１７】
［画面並べ替え回路２３］
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２が生成したピクチャデータを、ピクチャタイプ割り当て回路２２で割り当てたピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えて動き予測・補償回路５１およびリフレッシュ対策回路５３に出力する。
【００１８】
［ＭＢタイプ決定回路２６］
ＭＢタイプ決定回路２６は、画面並べ替え回路２３によって並べ替えられた各ピクチャデータのマクロブロックタイプ（例えば、４ｘ４や１６ｘ１６タイプ）を決定する。
【００１９】
［演算回路３１］
演算回路３１は、ＭＢタイプ決定回路２６から入力した符号化対象のピクチャデータと、イントラ予測回路４２あるいは動き予測・補償回路４３から入力した予測画像データＰＩとの差分を示す画像データを生成し、これを直交変換回路３２に出力する。
【００２０】
［直交変換回路３２］
直交変換回路３２は、演算回路３１から入力した画像データに離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）やカルーネン・レーベ変換などの直交変換を施して変換係数を示す画像データ（例えばＤＣＴ係数）を生成し、これをリフレッシュ対策回路５４に出力する。
直交変換回路３２は、例えば、ＭＢタイプ決定回路２６で決定されたブロックサイズに基づいて、直交変換を行う。
【００２１】
［量子化回路３３］
量子化回路３３は、リフレッシュ対策回路５４から入力した画像データＳ５４（量子化前の変換係数）を、レート制御回路３４から入力した量子化スケールＱＳを基に量子化して量子化後の変換係数を示す画像データを生成し、これを可逆符号化回路３５および逆量子化回路３７に出力する。
【００２２】
［レート制御回路３４］
レート制御回路３４は、例えば、バッファメモリ３６から読み出した画像データを基に量子化スケールＱＳを生成し、これを量子化回路３３に出力する。
【００２３】
［可逆符号化回路３５］
可逆符号化回路３５は、量子化回路３３から入力した画像データを可変長符号化した画像データをバッファ２８に格納する。
このとき、可逆符号化回路３５は、動き予測・補償回路４３から入力した動きベクトルＭＶあるいはその差分動きベクトル、参照画像データの識別データ、並びにイントラ予測回路４２から入力したイントラ予測モードをヘッダデータなどに格納する。
【００２４】
［バッファメモリ３６］
バッファメモリ３６に格納された画像データは、変調等された後に画像データＳ２として送信される。
当該画像データＳ２は、後述するように、復号装置３によって復号される。
［逆量子化回路３７］
逆量子化回路３７は、量子化回路３３の量子化に対応した逆量子化処理を、量子化回路３３からの画像データに施して、それによって得られたデータを生成し、これを逆直交変換回路３８に出力する。
［逆直交変換回路３８］
逆直交変換回路３８は、逆量子化回路３７から入力したデータに、直交変換回路３２における直交変換の逆変換を施して生成した画像データを加算回路３９に出力する。
【００２５】
［加算回路３９］
加算回路３３は、逆直交変換回路３８から入力した（デコードされた）画像データと、イントラ予測回路４２あるいは動き予測・補償回路４３から入力した予測画像データＰＩとを加算して参照（再構成）ピクチャデータを生成し、これをデブロックフィルタ４０に出力する。
【００２６】
［デブロックフィルタ４０］
デブロックフィルタ４０は、加算回路３９から入力した参照ピクチャデータのブロック歪みのみを除去してフレームメモリ４１に書き込む。
【００２７】
［イントラ予測回路４２］
イントラ予測回路４２は、イントラ符号化するマクロブロックにおいて、残差が最小となるイントラ予測のモードおよび予測ブロックのブロックサイズを決定する。
イントラ予測回路４２は、ブロックサイズとして、４ｘ４および１６ｘ１６画素を用いる。
イントラ予測回路４２は、イントラ予測が選択された場合に、イントラ予測による予測画像データＰＩを演算回路３１および加算回路３９に出力する。
【００２８】
［動き予測・補償回路４３］
動き予測・補償回路４３は、既に符号化され、局所復号され、フレームメモリ３１に記録されている画像から、動き予測を行い、残差を最小にする動きベクトルおよび動く補償のブロックサイズを決定する。
動き予測・補償回路４３は、ブロックサイズとして、１６ｘ１６、１６ｘ８、８ｘ１６、８ｘ８、８ｘ４、４ｘ８および４ｘ４画素を用いる。
動き予測・補償回路４３は、インター予測が選択された場合に、インター予測による予測画像データＰＩを演算回路３１および加算回路３９に出力する。
【００２９】
前述したように、符号化画像を復号したときに、図３に示すように、リフレッシングと呼ばれるノイズが発生することがある。
リフレッシングは、イントラリフレッシュ、あるいはイントラリフレッシュやイントラフリッカとも呼ばれ、イントラピクチャデータ毎に発生するノイズである。
【００３０】
以下、リフレッシングの発生（知覚）パターンについて考察すると、リフレッシングは、原画像に同様な特性が連続する（大きな動きがない）箇所で知覚される。また、リフレッシングは、イントラ符号とインター符号の難度が同じ箇所で知覚される。また、リフレッシングは、原画像の構成が単純な箇所で知覚される。
【００３１】
符号化装置２では、上述した特性を考慮して、符号化対象の画像データを構成するマクロブロックＭＢ毎に、リフレッシングが知覚される特性をマクロブロックＭＢがどの程度持つかを判断する指標となるリフレッシング発生予測レベルＶｏｔｅを算出する。
そして、符号化装置２は、リフレッシング発生予測レベルＶｏｔｅに基づいて、各マクロブロックＭＢについて、リフレッシング対策を行うか否かを決定する。
【００３２】
符号化装置２では、図２に示す動き予測・補償回路５１およびリフレッシュ検出回路５２によって、上述したリフレッシング発生予測レベルＶｏｔｅを算出し、これに基づいて、各マクロブロックＭＢについてリフレッシング対策を行うか否かを決定する。
そして、リフレッシュ対策回路５３が、リフレッシング対策を行うマクロブロックＭＢについて、そのマクロブロックＭＢが属するピクチャデータにピクチャタイプ割り当て回路２２おいてＩピクチャデータが割り当てられた場合に、それをＰピクチャデータとして符号化するように制御する。
また、リフレッシュ対策回路５４が、リフレッシング対策を行うマクロブロックＭＢについて、直交変換回路３２が生成したその画像データ（変換係数）を、リフレッシングが知覚され難いように調整して量子化回路３３に出力する。
【００３３】
［リフレッシュ検出回路５２およびリフレッシュ対策回路５３，５４］
以下、符号化装置２によるリフレッシング検出、並びに対策の処理について説明する。
図４は、図２に示す符号化装置２によるリフレッシング検出、並びに対策の処理を説明するためのフローチャートである。
以下に示す例では、リフレッシュ検出回路５２が、動き予測・補償回路５１からのＩｎｔｅｒＡＤ，ＩｎｔｒａＡＤに基づいて、リフレッシング対策処理を行うマクロブロックＲ−ＭＢを決定する場合を例示する。当該決定は、リフレッシュ検出回路５２におけるリフレッシング対策処理に反映される。
それとは別に、リフレッシュ検出回路５２は、動き予測・補償回路４３およびイントラ予測回路４２の処理結果に応じた実際のＩｎｔｅｒＡＤ，ＩｎｔｒａＡＤに基づいて、リフレッシング対策処理を行うマクロブロックＲ−ＭＢを決定する。当該決定は、例えば、リフレッシュ検出回路５４におけるリフレッシング対策処理に反映される。この場合におけるリフレッシュ検出回路５２による決定処理は、実際のＩｎｔｅｒＡＤ，ＩｎｔｒａＡＤを用いる点を除いて、以下に説明するステップＳＴ１２〜ＳＴ１７の処理と同じである。
【００３４】
ステップＳＴ１１：
図２に示す動き予測・補償回路５１が、画面並べ替え回路２３から入力した符号化対象のピクチャデータを構成する各マクロブロックＭＢについて、ＩｎｔｅｒＡＤ，ＩｎｔｒａＡＤを計算する。
動き予測・補償回路５１は、再構成ピクチャデータを用いることなく、画面並べ替え回路２３から入力した符号化前のピクチャデータのみを用いて、処理対象のマクロブロックＭＢをインター符号化およびイントラ符号化の各々で符号化する場合における、処理対象のマクロブロックＭＢと、予測マクロブロックＭＢとの間の差分（残差）の予測値を、それぞれＩｎｔｅｒＡＤ，ＩｎｔｒａＡＤとして計算する。
【００３５】
ステップＳＴ１２：
リフレッシュ検出回路５２は、ステップＳＴ１１で動き予測・補償回路５１が計算したＩｎｔｅｒＡＤ，ＩｎｔｒａＡＤを基に、前述した特性を考慮して、符号化対象の画像データを構成するマクロブロックＭＢ毎に、リフレッシングが知覚される特性をマクロブロックＭＢがどの程度持つかを判断する指標となるリフレッシング発生予測レベルＶｏｔｅを算出する。
当該ステップＳＴ１２の処理については後に詳細に説明する。
【００３６】
ステップＳＴ１３：
リフレッシュ検出回路５２は、図５に示すように、ステップＳＴ１２で算出したリフレッシング発生予測レベルＶｏｔｅを基に、下記式（１）により、エネルギーＥを算出する。
【００３７】
（数１）
Ｅ(MBi) =Vote(MBtop) * Vote(MBtop) +Vote(MBbottom) * Vote(MBbottom) + 
Vote(MBleft) * Vote(MBleft) +Vote(MBright) * Vote(MBright) +
Vote(MBi) * Vote(MBi)
…（１）
【００３８】
ステップＳＴ１４：
リフレッシュ検出回路５２は、ステップＳＴ１３で算出したエネルギーＥを基に、図６に示すヒストグラムデータＨＩＳＴを生成する。
そして、リフレッシュ検出回路５２は、上記生成したヒストグラムデータＨＩＳＴに基づいて、リフレッシング対策の対象を決める基準となる基準レベルを決定する。
具体的には、リフレッシュ検出回路５２は、所定の割合（例えば、２０％）のマクロブロックＭＢがリフレッシング対策の対象となるように、上記基準レベルを決定する。
ここで、上記所定の割合を低くすると、復号画像においてリフレッシングが知覚され易くなり、一方、上記所定の割合を高くすると、リフレッシング対策に伴う処理量によるオーバヘッドが大きくなる。
リフレッシュ検出回路５２は、上記基準レベルに応じたカットオフレベルを決定する。
そして、リフレッシュ検出回路５２は、図８に示すように、エネルギーＥが上記カットオフレベルＣＬより大きいマクロブロックＭＢをリフレッシング対策の対象のマクロブロックＭＢ（Ｒ−ＭＢ）として特定する。
【００３９】
ステップＳＴ１５：
リフレッシュ検出回路５２は、図９に示すように、周囲（上、下、左、右）の全てのマクロブロックＭＢ（ａ，ｂ，ｃ，ｄ）がマクロブロックＲ−ＭＢではないマクロブロックＲ−ＭＢ（ｅ）を、リフレッシング対策の対象から外す。すなわち、リフレッシング対策の対象でないマクロブロックＮＲ−ＭＢとする。
【００４０】
ステップＳＴ１６：
リフレッシュ検出回路５２は、処理対象のリフレッシング対策の対象でないマクロブロックＭＢについて、その周囲８個のマクロブロックＭＢにおいて、リフレッシング対策の対象のマクロブロックＲ−ＭＢが、リフレッシング対策の対象でないマクロブロックＮＲ−ＭＢより数が多い場合に、当該処理対象のマクロブロックＮＲ−ＭＢをリフレッシング対策の対象とする。すなわち、マクロブロックＲ−ＭＢとする。
リフレッシュ検出回路５２は、上記処理を予め決められた繰り返し回数（例えば、３）だけ実行する。
図９に示す例では、１回目の処理で、マクロブロックＮＲ―ＭＢ（ｘ）をマクロブロックＲ−ＭＢに変更し、２回目の処理で、マクロブロックＮＲ−ＭＢ（ｄ）をマクロブロックＲ−ＭＢに変更する。
【００４１】
ステップＳＴ１７：
リフレッシュ検出回路５２は、ピクチャデータの周辺領域に位置するマクロブロックＭＢについては、図１０に示すように、それに隣接する（周辺と反対側で隣接する）マクロブロックＭＢがマクロブロックＲ−ＭＢの場合には、当該周辺領域に位置するマクロブロックＭＢをマクロブロックＲ−ＭＢに変更する。
【００４２】
ステップＳＴ１８：
リフレッシュ対策回路５３およびリフレッシュ対策回路５４は、リフレッシュ検出回路５２においてリフレッシング対策の対象として決定されたマクロブロックＲ−ＭＢについて、リフレッシング対策処理を行う。
リフレッシュ対策回路５３およびリフレッシュ対策回路５４が行うリフレッシング対策処理については後に詳細に説明する。
【００４３】
［図４に示すステップＳＴ１２］
以下、図４に示すステップＳＴ１２におけるリフレッシング発生予測レベルＶｏｔｅの算出処理について説明する。
図１１および図１２は、図４に示すステップＳＴ１２の処理を説明するためのフローチャートである。
ステップＳＴ３１：
リフレッシュ検出回路５２は、下記式（２）により、図１３（Ａ）に示すように、検出対象のピクチャデータＰＩＣ（ｎ）のマクロブロックＭＢ（ｎ）と、その一つ前のピクチャデータＰＩＣ（ｎ−１）の対応する位置のマクロブロックＭＢ（ｎ−１）との間のＭＡＤ値の差分の絶対値に応じたＭａｄＤｉｆｆを算出する。
ＭＡＤ値は、マクロブロックＭＢを構成する画素データの平均絶対値和、マクロブロックＭＢ内の各画素値と、当該マクロブロックＭＢ内の画素値の平均値との差分を累積した値を示している。
【００４４】
（数２）
ＭａｄＤｉｆｆ＝ＡＢＳ（ＭＡＤ（ｎ−１，ｉ，ｊ）−ＭＡＤ（ｎ，ｉ，ｊ））／２５６
…（２）
【００４５】
ステップＳＴ３２：
リフレッシュ検出回路５２は、下記式（３）で示す条件１が満たされているか否かを判断し、条件１が満たされていると判断するとステップＳＴ３３に進み、そうでない場合にはステップＳＴ３４に進む。
ステップＳＴ３１，ＳＴ３２の処理は、背景の動きが小さいマクロブロックＭＢでリフレッシングが生じやすいという特性に基づいている。
【００４６】
（数３）
ＴＨ１≦ＭａｄＤｉｆｆ≦ＴＨ２
…（３）
【００４７】
ステップＳＴ３３：
リフレッシュ検出回路５２は、図１３（Ｂ）に示すように、マクロブロックＭＢを構成する４ｘ４の色差ブロックＣｂを構成する画素データの最大値（Ｍａｘ）と最小値（Ｍｉｎ）を特定し、それらの差分を算出する。
また、リフレッシュ検出回路５２は、図１４（Ｂ）に示すように、マクロブロックＭＢを構成する４ｘ４の色差ブロックＣｒを構成する画素データの最大値（Ｍａｘ）と最小値（Ｍｉｎ）を特定し、それらの差分を算出する。
リフレッシュ検出回路５２は、色差ブロックＣｂについて算出した上記差分と、色差ブロックＣｒについて算出した上記差分とを加算して値ＣｏｌｏｒＤｉｆｆを算出する。
【００４８】
ステップＳＴ３４：
リフレッシュ検出回路５２は、検出対象のマクロブロックＭＢのリフレッシング発生予測レベルＶｏｔｅとして「０」を設定する。
【００４９】
ステップＳＴ３５：
リフレッシュ検出回路５２は、下記式（４）で示す条件２が満たされているか否かを判断し、条件２が満たされていると判断するとステップＳＴ３６に進み、そうでない場合にはステップＳＴ３４に進む。
ステップＳＴ３４，ＳＴ３５の処理は、色のバリエーションが少ないブロックＭＢでリフレッシングが生じやすいという特性に基づいている。
【００５０】
（数４）
ＣｏｌｏｒＤｉｆｆ≦ＴＨ３
…（４）
【００５１】
ステップＳＴ３６：
リフレッシュ検出回路５２は、図４に示すステップＳＴ１１で説明したように動き予測・補償回路５１で算出したＩｎｔｅｒＡＤ，ＩｎｔｒａＡＤを用いて、下記式（５）により、値ＡｄＤｉｆｆを計算する。
【００５２】
（数５）
ＡｄＤｉｆｆ＝（ＩｎｔｅｒＡＤ−ＩｎｔｒａＡＤ）／２５６
…（５）
【００５３】
ステップＳＴ３７：
リフレッシュ検出回路５２は、ステップＳＴ３１で算出したＭＡＤ（ｎ，ｉ，ｊ）と、ステップＳＴ３６で算出したＡｄＤｉｆｆとを基に、下記式（６）で示す条件３が満たされているか否かを判断し、条件３が満たされていると判断するとステップＳＴ３８に進み、そうでない場合にはステップＳＴ３９に進む。
ステップＳＴ３６，ＳＴ３７の処理は、色のバリエーションが少ないブロックＭＢで、且つ、ＩｎｔｒａＡＤが比較的小さいマクロブロックＭＢでフレッシングが生じやすいという特性に基づいている。
【００５４】
（数６）
ＴＨ４≦ＡｄＤｉｆｆ≦ＴＨ５  ＆
ＴＨ６≦ＭＡＤ（ｎ，ｉ，ｊ）≦ＴＨ７
…（６）
【００５５】
ステップＳＴ３８：
リフレッシュ検出回路５２は、検出対象のマクロブロックＭＢのリフレッシング発生予測レベルＶｏｔｅとして「４」を設定する。
【００５６】
ステップＳＴ３９：
リフレッシュ検出回路５２は、図４に示すステップＳＴ１１で説明したように動き予測・補償回路５１で算出したＩｎｔｅｒＡＤ，ＩｎｔｒａＡＤを用いて、下記式（７）により、値ＡｄＤｉｆｆを計算する。
【００５７】
（数７）
ＡｄＤｉｆｆ＝（ＩｎｔｒａＡＤ−ＩｎｔｅｒＡＤ）／２５６
…（７）
【００５８】
ステップＳＴ４０：
リフレッシュ検出回路５２は、ステップＳＴ３１で算出したＭＡＤ（ｎ，ｉ，ｊ）と、ステップＳＴ３９で算出したＡｄＤｉｆｆとを基に、下記式（８）で示す条件４が満たされているか否かを判断し、条件４が満たされていると判断するとステップＳＴ４２に進み、そうでない場合にはステップＳＴ４１に進む。
ステップＳＴ３９，ＳＴ４０の処理は、色のバリエーションが大きいブロックＭＢで、且つ、ＩｎｔｒａＡＤが比較的大きいマクロブロックＭＢでリフレッシングが生じやすいという特性に基づいている。
【００５９】
（数８）
ＴＨ８≦ＡｄＤｉｆｆ≦ＴＨ９  ＆
ＴＨ１０≦ＭＡＤ（ｎ，ｉ，ｊ）≦ＴＨ１１
…（８）
【００６０】
ステップＳＴ４１：
リフレッシュ検出回路５２は、検出対象のマクロブロックＭＢのリフレッシング発生予測レベルＶｏｔｅとして「０」を設定する。
【００６１】
ステップＳＴ４２：
リフレッシュ検出回路５２は、検出対象のマクロブロックＭＢのリフレッシング発生予測レベルＶｏｔｅとして「４」を設定する。
【００６２】
［リフレッシュ対策回路５３］
リフレッシュ対策回路５３は、リフレッシュ検出回路５２から入力したリフレッシング結果（ＩｎｔｅｒＡＤ，ＩｎｔｒａＡＤの予測値に基づいたリフレッシング結果）に基づいて、例えば、図１４に示すように、リフレッシング対策の対象となるマクロブロックＭＢ＿２が、ピクチャタイプ割り当て回路２２においてＩピクチャデータに属し、Ｉ（フレーム内）符号化されると決められている場合に、それをＰ（フレーム間）符号化した結果を原画像データとして量子化させる。
これにより、マクロブロックＭＢ＿２は、その前のマクロブロックＭＢ＿１のパターンを引き継ぎ、リフレッシングを知覚し難くできる。
そして、リフレッシュ対策回路５３は、Ｐ符号化したマクロブロックＭＢ＿２を、Ｉ符号化されたマクロブロックＭＢ＿３として規定する。
これは、復号装置３が、一定間隔でＩピクチャデータが存在することを前提として復号を行うためである。
【００６３】
なお、リフレッシュ対策回路５３は、フレーム間の連続性を持った画像データを生成し、当該画像データを原画像データとして量子化する処理であれば上述した処理以外の処理、例えば、時間方向のフィルタリング処理や、符号化順が前の他の画像データを前記原画像データとして用いる処理の少なくとも一つの処理を行ってもよい。
【００６４】
［リフレッシュ対策回路５４］
リフレッシュ対策回路５４は、実際のＩｎｔｅｒＡＤ，ＩｎｔｒａＡＤを用いてリフレッシュ検出回路５２が行ったリフレッシング結果によってリフレッシング対策処理の対象とされたマクロブロックＲ−ＭＢについて、図１５に示すリフレッシング対策処理を行う。
なお、リフレッシュ対策回路５４は、ＩｎｔｅｒＡＤ，ＩｎｔｒａＡＤの予測値を用いてリフレッシュ検出回路５２が行ったリフレッシング結果によってリフレッシング対策処理の対象とされたマクロブロックＲ−ＭＢについて、図１５に示すリフレッシング対策処理を行ってもよい。
【００６５】
図１５は、リフレッシュ対策回路５４および量子化回路３３の処理を説明するためのフローチャートである。
ステップＳＴ５１：
リフレッシュ対策回路５４は、直交変換回路３２からＤＣＴ（直交変換）係数を示す画像データを入力する。
そして、リフレッシュ対策回路５４は、リフレッシング対策を行う対象となるマクロブロックＲ−ＭＢの各ＤＣＴ係数について、それを当該マクロブロックＭＢの周囲のマクロブロックＭＢの量子化パラメータＱＰ（量子化スケールＱＳ）で量子化した場合にゼロとなるＤＣＴ係数の位置をマスク位置として特定する。
【００６６】
ステップＳＴ５２：
リフレッシュ対策回路５４は、直交変換回路３２から入力したＤＣＴ係数を、予め決められた量子化パラメータＱＰ（リフレッシングが知覚できない程度の量子化を行う量子化パラメータ）で量子化するように量子化回路３３を制御する。
【００６７】
ステップＳＴ５３：
量子化回路３３は、リフレッシュ対策回路５４の制御により、ステップＳＴ５２で生成した量子化値のうち、ステップＳＴ５１で特定したマスク位置の量子化値をゼロにして、可逆符号化回路３５および逆量子化回路３７に出力する。
【００６８】
なお、リフレッシュ対策回路５４は、例えば、図１５のステップＳＴ５１において、一定値以下のＤＣＴ係数の位置を自動的にマスク位置として決定してもよい。
また、リフレッシュ対策回路５４は、ＤＣＴ係数の値とは無関係に所定の位置をマスク位置として決定してもよい。
また、リフレッシュ対策回路５４は、ステップＳＴ５１において、複数のマスク位置のパターンを予め用意し、画像データの特性に応じて、これらのパターンを選択的に用いてもよい。
また、リフレッシュ対策回路５４は、ＤＣＴ係数の値を基にマスク位置を決定する場合に、高周波成分のＤＣＴ係数に低周波成分のＤＣＴ係数より高いしきい値を規定してマスク位置を決定してもよい。
【００６９】
以下、図２に示す符号化装置２の全体動作を説明する。
入力となる画像信号は、まず、Ａ／Ｄ変換回路２１においてデジタル信号に変換される。
次に、ピクチャタイプ割り当て回路２２において、ピクチャタイプが割り当てられ、続いて、画面並べ替え回路２３において、画像圧縮情報のＧＯＰ構造に応じ、ピクチャデータの並べ替えが行われ、それによって得られたピクチャデータが、リフレッシュ対策回路５３およびＭＢタイプ決定回路２６を介して演算回路３１に出力される。
それと並行して、動き予測・補償回路５１およびリフレッシュ検出回路５２において、図４等を用いて説明したように、ＩｎｔｅｒＡＤ，ＩｎｔｒａＡＤの予測値を基に、リフレッシング対策処理の対象とするマクロブロックＲ−ＭＢを決定する。
【００７０】
演算回路３１に入力されたピクチャデータは、マクロブロックＭＢを単位として、イントラ予測回路４２によるイントラ符号化あるいは動き予測・補償回路４３によるインター符号化のいずれか一方が選択され、最終的に演算回路３１で生成された差分画像が、直交変換回路３２による直交変化処理および量子化回路３３による量子化処理を経て、可逆符号化回路３５で可逆符号化された後にバッファメモリ３６に書き込まれる。
【００７１】
このとき、リフレッシュ検出回路５２においてｎ動き予測・補償回路５１からのＩｎｔｅｒＡＤ，ＩｎｔｒａＡＤに基づいてリフレッシング対策処理を行うマクロブロックＲ−ＭＢを決定し、その結果に基づいて、リフレッシュ対策回路５３において図１５に示すリフレッシング対策処理が行われる。
また、リフレッシュ対策回路５３において動き予測・補償回路４３およびイントラ予測回路４２の処理結果に応じた実際のＩｎｔｅｒＡＤ，ＩｎｔｒａＡＤに基づいて、リフレッシング対策処理を行うマクロブロックＲ−ＭＢを決定する。そして、リフレッシュ対策回路５４において、当該決定されたマクロブロックＲ−ＭＢについて、図１６に示すリフレッシング対策処理を行う。
【００７２】
以上説明したように、符号化装置２によれば、図２に示すリフレッシュ検出回路５２においてリフレッシングが生じる可能性が高い特性を持つマクロブロックＲ−ＭＢを特定し、そのマクロブロックＲ−ＭＢに対してリフレッシュ対策回路５３およびリフレッシュ対策回路５４において、リフレッシングが知覚されないように予めリフレッシング対策処理を施す。
これにより、復号装置３において、復号画像にリフレッシングが知覚されることを抑制でき、高画質化を図れる。
【００７３】
＜復号装置３＞
以下、図１に示す復号装置３について説明する。
図１６は、図１に示す復号装置３の構成図である。
図１６に示すように、復号装置３は、例えば、バッファメモリ８１、可逆復号回路８２、逆量子化回路８３、逆直交変換回路８４、加算回路８５、フレームメモリ８６、画像並べ替えバッファ８７、Ｄ／Ａ変換回路８８、イントラ予測回路８９、動き予測・補償回路９０、動き予測・補償回路１５１、リフレッシュ検出回路１５２、リフレッシュ対策回路１５３を有する。
【００７４】
バッファメモリ８１は、符号化装置２から受信（入力）したビットストリームである画像データＳ２を記憶する。
可逆復号回路８２は、バッファメモリ８１から読み出した画像データＳ２を、図２に示す可逆符号化回路２７による可逆符号化に対した方法で復号して画像データＳ８２を生成する。
可逆復号回路８２は、画像データＳ２に多重化された直交変換サイズ信号ＴＲＳＩＺＥを分離および復号して逆量子化回路８３および逆直交変換回路８４に出力する。
可逆復号回路８２について後に詳細に説明する。
【００７５】
逆量子化回路８３は、可逆復号回路８２から入力した直交変換サイズ信号ＴＲＳＩＺＥを基に、可逆復号回路８２から入力した可逆復号後の画像データＳ８２を、図２に示す量子化回路２６に対応した逆量子化方法で逆量子化して画像データＳ８３を生成し、これを逆直交変換回路８４に出力する。
逆直交変換回路８４は、可逆復号回路８２から入力した直交変換サイズ信号ＴＲＳＩＺＥを基に、逆量子化回路８３から入力した画像データＳ８３を、図２に示す直交変換回路２５の直交変換に対応した直交逆変換を行って画像データＳ８４を生成し、これを加算回路８５に出力する。
加算回路８５は、イントラ予測回路８９あるいは動き予測・補償回路９０から入力した予測画像と、逆直交変換回路８４から入力した画像データＳ８４とを加算して画像データＳ８５を生成し、これをフレームメモリ８６および画像並べ替えバッファ８７に出力する。
画像並べ替えバッファ８７は、加算回路８５から入力した画像データＳ８５をピクチャ単位で表示順に並べ替えて動き予測・補償回路１５１およびリフレッシュ対策回路１５３に出力する。
【００７６】
イントラ予測回路８９は、フレームメモリ８６から読み出した画像データＳ８５内の復号対象のブロックデータがイントラ予測符号化されたものである場合に、当該ブロックデータをイントラ方式で復号して予測画像データを生成し、これを加算回路８５に出力する。
動き予測・補償回路９０は、フレームメモリ８６から読み出した画像データＳ８５内の復号対象のブロックデータがインター予測符号化されたものである場合に、当該ブロックデータをインター方式で復号して予測画像データを生成し、これを加算回路８５に出力する。
【００７７】
動き予測・補償回路１５１は、例えば、図２に示す動き予測・補償回路５１と同様の処理を行い、ＩｎｔｒａＡＤ，ＩｎｔｅｒＡＤの予測値を生成し、これをリフレッシュ検出回路１５２に出力する。
【００７８】
リフレッシュ検出回路１５２は、動き予測・補償回路１５１から入力したＩｎｔｒａＡＤ，ＩｎｔｅｒＡＤの予測値に基づいて、リフレッシュ検出回路５２と同様の手法で、リフレッシング対策の対象とするマクロブロックＲ−ＭＢを特定する。
【００７９】
リフレッシュ対策回路１５３は、画像並べ替えバッファ８７から入力したピクチャデータを構成するマクロブロックＭＢのうち、リフレッシュ検出回路１５２においてリフレッシング対策の対象とされたマクロブロックＲ−ＭＢに予め決められたノイズパターンを付加した後に、当該ピクチャデータをＤ／Ａ変換回路８８に出力する。
【００８０】
Ｄ／Ａ変換回路８８は、リフレッシュ対策回路１５３から入力したピクチャデータをＤ／Ａ変換してアナログの画像信号を生成する。
【００８１】
以上説明したように、復号装置３によれば、復号したピクチャデータ内の各マクロブロックＭＢについて、リフレッシングが知覚される可能性が高いマクロブロックＭＢをリフレッシュ検出回路１５２で特定し、そのマクロブロックＭＢに積極的にノイズパターンを付加する。
これにより、動きが小さいあるいは色バリエーションが小さい画像領域において知覚され易いリフレッシングを、ノイズパターンにより知覚されに難くすることができ、復号画像の知覚される画質を向上できる。
【００８２】
当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよいことが理解される。
例えば、上述した符号化装置２あるいは復号装置３の機能の全部あるいは一部を、図１７に示すように、メモリ２５２に記憶されたプログラムＰＲＧの記述に従ってＣＰＵなどの処理回路２５３が実行してもよい。
この場合に、インターフェース２５１を介して、符号化対象あるいは復号対象の画像データが入力され、その処理結果が出力される。
【図面の簡単な説明】
【００８３】
【図１】図１は、本発明は、本発明の実施形態の通信システムの構成図である。
【図２】図２は、図１に示す符号化装置の機能ブロック図である。
【図３】図３は、リフレッシングの発生要因を説明するための図である。
【図４】図４は、図２に示す符号化装置によるリフレッシング検出、並びに対策の処理を説明するためのフローチャートである。
【図５】図５は、図４に示すステップＳＴ１３の処理を説明するための図である。
【図６】図６は、図４に示すステップＳＴ１４を説明するための図である。
【図７】図７は、図４に示すステップＳＴ１４を説明するための図である。
【図８】図８は、図４に示すステップＳＴ１５の処理を説明するための図である。
【図９】図９は、図４に示すステップＳＴ１６の処理を説明するための図である。
【図１０】図１０は、図４に示すステップＳＴ１７の処理を説明するための図である。
【図１１】図１１は、図４に示すステップＳＴ１２の処理をより詳細に説明するためのフローチャートである。
【図１２】図１２は、図４に示すステップＳＴ１２の処理をより詳細に説明するための図１１の続きのフローチャートである。
【図１３】図１３（Ａ）は、図１１に示すステップＳＴ３１を説明するための図であり、図１３（Ｂ）はステップＳＴ３３を説明するための図である。
【図１４】図１４は、図２に示すリフレッシュ対策回路５３によるリフレッシング対策処理を説明するための図である。
【図１５】図１５は、図２に示すリフレッシュ対策回路および量子化回路による処理を説明するためのフローチャートである。
【図１６】図１６は、図１に示す復号装置の構成図である。
【図１７】図１７は、本実施形態の符号化装置および復号装置の変形例を説明するための図である。
【符号の説明】
【００８４】
１…通信システム、２…符号化装置、３…復号装置、２１…Ａ／Ｄ変換回路、２２…ピクチャタイプ割り当て回路、２３…画面並べ替え回路、２６…ＭＢタイプ決定回路、３１…演算回路、３２…直交変換回路、３３…量子化回路、３４…レート制御回路、３５…可逆符号化回路、３６…バッファメモリ、３７…逆量子化回路、３８…逆直交変換回路、３９…加算回路、４０…デブロックフィルタ、４１…フレームメモリ、４２…イントラ予測回路、４３…動き予測・補償回路、５１…動き予測・補償回路、５２…リフレッシュ検出回路、５３…リフレッシュ対策回路、５４…リフレッシュ対策回路、８１…バッファメモリ、８２…可逆復号回路、８３…逆量子化回路、８４…逆直交変換回路、８５…加算回路、８６…フレームメモリ、８７…画像並べ替えバッファ、８８…Ｄ／Ａ変換回路、８９…イントラ予測回路、９０…動き予測・補償回路、１５１…動き予測・補償回路、１５２…リフレッシュ検出回路、１５３…リフレッシュ対策回路、２５１…インターフェース、２５２…メモリ、２５３…演算回路
【図１】
2009503999.tif 000003
【図２】
2009503999.tif 000004
【図４】
2009503999.tif 000005
【図５】
2009503999.tif 000006
【図６】
2009503999.tif 000007
【図７】
2009503999.tif 000008
【図８】
2009503999.tif 000009
【図９】
2009503999.tif 000010
【図１０】
2009503999.tif 000011
【図１１】
2009503999.tif 000012
【図１２】
2009503999.tif 000013
【図１３】
2009503999.tif 000014
【図１５】
2009503999.tif 000015
【図１６】
2009503999.tif 000016
【図１７】
2009503999.tif 000017
【図３】
2009503999.tif 000018
【図１４】
2009503999.tif 000019
【国際調査報告】
2009503999.tif 000020