(57)【特許請求の範囲】
【請求項１】
原画像を第１の予測方式で符号化してから復号化した画像に相当する復号化画像を生成する復号化画像生成部と、
前記復号化画像を第２の予測方式で符号化して符号化データを生成する符号化部と、
前記原画像または前記復号化画像のいずれかを選択する選択部と、を備え、
前記復号化画像が選択された場合、前記符号化部は前記復号化画像を第２の予測方式で符号化して符号化データを生成し、
前記原画像が選択された場合、前記符号化部は前記原画像を第２の予測方式で符号化して符号化データを生成する、ことを特徴とする動画像符号化装置。
【請求項２】
原画像を第１の予測方式で符号化してから復号化した画像に相当する復号化画像を生成する復号化画像生成部と、
前記復号化画像を第２の予測方式で符号化して符号化データを生成する符号化部と、を備え、
前記符号化部は、前記原画像を第１の量子化スケールで量子化し、前記復号化画像を前記第１の量子化スケール以下の第２の量子化スケールで量子化する量子化部を有し、
前記第１の量子化スケールは、符号化順あるいは表示順で現在符号化している画像に最も近い時刻で参照画像として利用可能なＭ枚のフレームの画像内の量子化スケールの平均値である、ことを特徴とする動画像符号化装置。
【請求項３】
前記第１の予測方式は、画面間予測である、ことを特徴とする請求項１又は請求項２に記載の動画像符号化装置。
【請求項４】
前記第２の予測方式は、画面内予測である、ことを特徴とする請求項１又は請求項２に記載の動画像符号化装置。
【請求項５】
前記原画像と参照画像との動きベクトルの大きさが所定の閾値よりも小さい場合、前記選択部は前記復号化画像を選択する、ことを特徴とする請求項１から請求項４までのいずれか一項に記載の動画像符号化装置。
【請求項６】
前記第１の量子化スケールの大きさ、あるいは、前記第２の量子化スケールの大きさが所定の閾値よりも大きい場合、前記選択部は前記復号化画像を選択する、ことを特徴とする請求項１から請求項４までのいずれか一項に記載の動画像符号化装置。
【請求項７】
前記原画像あるいは前記復号化画像の分散が所定の閾値よりも大きい場合、前記選択部は前記復号化画像を選択する、ことを特徴とする請求項１から請求項４までのいずれか一項に記載の動画像符号化装置。
【請求項８】
前記復号化画像と参照画像との動き補償による残差信号の絶対値和、２乗和、分散、あるいは、平均値のいずれかが所定の閾値よりも小さい場合、前記選択部は前記復号化画像を選択する、ことを特徴とする請求項１から請求項４までのいずれか一項に記載の動画像符号化装置。
【請求項９】
前記復号化画像を前記第２の予測方式で符号化してから復号化した画像に相当する画像の符号化歪みが所定の閾値よりも小さい場合、前記選択部は前記復号化画像を選択する、ことを特徴とする請求項１から請求項４までのいずれか一項に記載の動画像符号化装置。
【請求項１０】
前記原画像を前記第２の予測方式で符号化してから復号化して得られる画像に相当する画像の符号化歪と前記復号化画像を前記第２の予測方式で符号化してから得られる画像に相当する画像の符号化歪との差の平均値、絶対値の平均値、分散、絶対値の分散、絶対値和あるいは２乗和が所定の閾値よりも大きい場合、前記選択部は前記復号化画像を選択する、ことを特徴とする請求項１から請求項４までのいずれか一項に記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化方法および動画像符号化プログラムに係わり、特に原画像を一度インター符号化した画像に置き換えて、イントラ符号化することにより、インター符号化およびイントラ符号化間に生じるフリッカを低減する効果が得られるようにした動画像符号化装置、動画像符号化方法および動画像符号化プログラムに関する。
【背景技術】
【０００２】
動画像符号化において、フレーム内予測を用いるイントラ符号化（主にＩピクチャで用いられる）とフレーム間予測を用いるインター符号化（主にＰ／Ｂピクチャで用いられる）がある。イントラ符号化とインター符号化とでは予測の違いがそれぞれあるため、符号化による歪みの違いがある。例えばＩ→Ｐ→Ｐ→Ｐ→Ｐ→Ｐ→Ｐ→Ｉ→Ｐと順番に符号化した場合にＰ→Ｉの部分で画面にちらつきが生じる。これは一般にフリッカと呼ばれている。この問題を解決するための手法が、すでに非特許文献１に提案されている。この手法は、符号化済みのＩピクチャとこれから符号化するＩピクチャとの符号化歪みが最も近くなるように符号化パラメータを制御する。しかしながら、上記手法は、動きが少ないシーンしかフリッカを低減できないという問題があった。実際は画面がパーンしているシーンや、ある程度動きのあるシーンでもＩピクチャとＰ／Ｂピクチャの符号化歪みの差によるフリッカが生じる。
【非特許文献１】ＦＩＴ２００４  ＬＪ−００９  適応量子化によるＡＶＣ／Ｈ．２６４イントラフレームのフリッカ抑制
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記のように、従来技術には動きが少ないシーンしかフリッカを低減できないという問題があった。
【０００４】
本発明は、上記従来技術の問題点を解決するためになされたものであって、イントラ符号化（Ｉピクチャ）で符号化予定の画像をまずインター符号化（Ｐ／Ｂピクチャ）で最初に符号化し、その復号化画像を原画像として当初のイントラ符号化（Ｉピクチャ）で再度符号化することにより、動きが少ないシーンのみならず、あらゆるシーンでフリッカを低減することを可能とする動画像符号化装置、動画像符号化方法および動画像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一局面は、入力画像を符号化して符号化画像を生成する符号化手段と、前記符号化画像を復号化し、復号化画像を生成する復号化手段と、前記符号化手段に入力される前記入力画像を前記復号化画像に選択的に置き換える手段とを具備し、前記復号化画像に置き換えられた前記入力画像を前記復号化手段により符号化することを特徴とする動画像符号化装置を提供する。
【０００６】
本発明の他の局面は、入力画像を符号化して符号化画像を生成する符号化ステップと、前記符号化画像を復号化し、復号化画像を生成する復号ステップと、前記符号化ステップにおいて前記入力画像を前記復号化画像に選択的に置き換えるステップと、前記復号化画像に置き換えられた前記入力画像を前記復号化手段により符号化するステップとを有することを特徴とする動画像符号化方法を提供する。
【０００７】
本発明の他の局面は、入力画像を符号化して符号化画像を生成する符号化ステップと、前記符号化画像を復号化し、復号化画像を生成する復号ステップと、前記符号化ステップにおいて前記入力画像を前記復号化画像に選択的に置き換えるステップと、前記復号化画像に置き換えられた前記入力画像を前記復号化手段により符号化するステップとをコンピュータに実行させる動画像符号化プログラムを提供する。
【発明の効果】
【０００８】
本発明によれば、イントラ符号化（Ｉピクチャ）はインター符号化（Ｐ／Ｂピクチャ）として最初に符号化された画像に似た性質を持つため、あらゆるシーンでフリッカを低減することが可能となる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態について説明する。
【００１０】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる動画像符号化装置を示すブロック図である。
【００１１】
第１の実施形態の動画像符号化装置によると、予測画像作成器１０１は入力画像から予測画像を作成するものであり、その出力は減算器を介して変換器（直交変換器）１０２に接続される。この変換器１０２は減算器から得られる入力画像と予測画像との残差信号を係数（例えば、ＤＣＴ係数、整数精度のＤＣＴ係数、あるいは、離散アダマール変換により得られる係数）に変換する。この変換器１０２の出力は係数を量子化する量子化器１０３に接続される。この量子化器１０３の出力はエントロピー符号化器１０４に接続される。エントロピー符号化器１０４は量子化された係数および予測画像作成に必要な情報（例えば、動きベクトルやブロック形状）をエントロピー符号化するものである。
【００１２】
量子化器１０３の出力は更に、量子化係数を逆量子化する逆量子化器１０５に接続される。逆量子化器１０５の出力は逆量子化係数を逆変換（逆ＤＣＴ）する逆変換器１０６に接続される。逆変換器１０６の出力は加算器を介してフレームバッファ１０７に接続される。フレームバッファ１０７は逆変換器１０６の逆変換信号と予測画像作成器１０１から出力される予測画像とを加算して得られる復号画像を保存する。
【００１３】
フレームバッファ１０７の出力はフリッカ低減制御器１０８及び入力画像置き替え器１０９に接続される。フリッカ低減制御器１０８は減算器からの残差信号及び量子化器１０３の量子化信号に基づきフリッカを低減させるか否か判定し、判定結果に応じた制御信号を入力画像置き替え器１０９に出力する。入力画像置き替え器１０９はフリッカ低減制御器１０８の制御信号に応じて、フレームバッファ１０７内の保存されている復号画像を受け取って入力画像と置き換える。
【００１４】
フリッカ低減制御器１０８は入力画像置き替え器１０９だけでなく、予測画像作成器１０１、フレームバッファ１０７および量子化器１０３並びにレート制御器１１０を制御する。レート制御器１１０はエントロピー符号化器１０４より発生した符号量を受け取り、ビットレートを制御するために量子化スケールを算出して量子化器１０３に設定する。
【００１５】
上記の第１の実施形態に係わる動画像符号化装置の動作を図２のフローチャートを参照して説明する。
【００１６】
まず、フリッカ低減制御器１０８は、フリッカを低減するか否か判定する（Ｓ１０１）。このとき、例えば、予測画像作成器１０１が入力画像と参照となる画像との動きベクトルを算出し、フリッカ低減制御器１０８はその動きベクトル情報を受け取ってその大きさを算出する。動きベクトルの値が所定の閾値よりも小さい場合や、レート制御器１１０により算出された量子化スケールが所定の閾値よりも大きい場合や、入力画像置き換え器１０９より入力画像を受け取ったフリッカ低減制御器１０８が入力画像の分散を算出し、その分散値が所定の閾値よりも大きい場合や、フリッカ低減制御器１０８が入力画像と予測画像作成器１０１で作成された予測画像との残差信号を受け取って、その絶対値和、２乗和、分散あるいは平均値を算出し、その平均値が所定の閾値よりも小さい場合に、フリッカ低減制御器１０８はフリッカを低減することを決定する。フリッカを低減すると決定した場合、処理は入力画像を仮符号化するための処理フローに移行する（Ｓ１０２）。フリッカを低減しないことを決定した場合、処理は入力画像を符号化するための処理フローに移行する（Ｓ１０６）。
【００１７】
仮符号化を行う場合、フリッカ低減制御器１０８は、第１の量子化スケールを算出し、量子化器１０３に設定する（Ｓ１０２）。この第１の量子化スケールは、次のような量子化スケールの平均値を用いる。
【００１８】
量子化器１０３が表示順でＮ個前あるいは符号化順でＮ個前の画像を量子化した際の量子化スケールがフリッカ低減制御器１０８によって保存され平均化された平均値、
量子化器１０３が現在符号化している画像を量子化した際の量子化スケールがフリッカ低減制御器１０８によって保存され平均化された平均値、あるいは
量子化器１０３が表示時間あるいは符号化時間が最も近い、参照となれるＮ個の画像（Ｉ／Ｐピクチャなど）を量子化した際の量子化スケールがフリッカ低減制御器１０８によって保存されて平均化された平均値。
【００１９】
入力画像から予測画像を予測画像作成器１０１で作成し、入力画像と予測画像との残差信号を変換器１０２で係数に変換し、変換された係数を第１の量子化スケールを用いて量子化器１０３で量子化することで、入力画像をインター符号化する（Ｓ１０３）。
【００２０】
量子化された係数を逆量子化器１０５で逆量子化し、逆量子化された係数を逆変換器１０６で逆変換し、逆変換された信号と予測画像作成器１０１から出力される予測画像を足し合わせて復号化画像を作成し、フレームバッファ１０７に保存する（Ｓ１０４）。入力画像置き換え器１０９は、作成された復号化画像をフレームバッファ１０７から受け取り、入力画像と置き換える（Ｓ１０５）。次に、入力画像を符号化するための処理フロー（Ｓ１０６）〜（Ｓ１０８）に移行する。
【００２１】
フリッカ低減制御器１０８は、実際の符号化に用いられる第２の量子化スケールを算出し、量子化器１０３に設定する。この第２の量子化スケールは、次のような値を用いる。
【００２２】
レート制御器１１０で算出された値、
フリッカ低減制御器１０８で算出された第１の量子化スケールに１００％以下又は未満の割合を乗じて得られる値、あるいは
符号化歪みが所定の閾値より小さくなる、量子化スケールの最大の値。即ち、入力画像を量子化器１０３で量子化し、量子化された係数を逆量子化器１０５で逆量子化し、逆量子化された係数を逆変換器１０６で逆変換する。逆変換された信号と予測画像作成器１０１から出力される予測画像を足し合わせて復号化画像を作成する。その復号化画像をフレームバッファ１０７に保存し、このフレームバッファ１０７の復号化画像と入力画像置き換え器１０９から入力画像とに基づいてフリッカ低減制御器１０８によって符号化歪みを算出する。この符号化歪みが所定の閾値よりも小さくなる、量子化スケールの最大の値が求められる。ただし、第２の量子化スケールは第１の量子化スケール以下又は未満にする。なお、符号化歪みとは、例えば、原画像と比較対象となる画像との差分信号の和、絶対値和、２乗和、平均、分散、
【数１】
0004528694.tif 000002
【００２３】
である。
【００２４】
予測画像作成器（１０１）は入力画像から予測画像を作成し、変換器１０２は入力画像と予測画像との残差信号を係数に変換する。変換された係数は第２の量子化スケールを用いて量子化器１０３によって量子化される。、量子化後の変換された係数に基づいて、入力画像がイントラ符号化される（Ｓ１０７）。
【００２５】
エントロピー符号化器（１０４）は、イントラ符号化された画像情報を量子化器１０３および予測画像作成器１０１から受け取ってエントロピー符号化してビットストリームを出力する（Ｓ１０８）。
【００２６】
なお、フリッカ低減制御器１０８の処理は、マクロブロック単位、ビデオパケット単位、スライス単位またはピクチャ単位で行われる。
【００２７】
（第２の実施形態）
次に図１および図３を用いて、本発明の第２の実施形態に係わる動画像符号化装置の動作について説明する。なお、図３は、本発明の第２の実施形態に係わる動画像符号化装置の動作を示すフローチャートである。
【００２８】
図３において、まず、フリッカ低減制御器１０８は、第１の量子化スケールを算出し、量子化器１０３に設定する（Ｓ２０１）。この第１の量子化スケールは、次のような値を用いる。即ち、
量子化器１０３が表示順でＮ個前あるいは符号化順でＮ個前の画像を量子化した際の量子化スケールが、フリッカ低減制御器（１０８）に保存され平均化された平均値、
量子化器１０３が現在符号化している画像を量子化した際の量子化スケールが、フリッカ低減制御器１０８に保存され平均化された平均値、
量子化器１０３が表示時間あるいは符号化時間が最も近い、参照となれるＮ個の画像（Ｉ／Ｐピクチャなど）を量子化した際の量子化スケールがフリッカ低減制御器１０８に保存され平均化された平均値、あるいは
レート制御器１１０で算出された値。
【００２９】
予測画像作成器１０１が入力画像から予測画像を作成し、変換器１０２が入力画像と予測画像との残差信号を係数に変換する。量子化器１０３は変換された係数を第１の量子化スケールを用いて量子化することによって、入力画像をインター符号化する（Ｓ２０２）。
【００３０】
逆量子化器１０５は量子化された係数を逆量子化し、逆量子化された係数は逆変換器１０６によって逆変換される。逆変換された信号と予測画像作成器１０１から出力される予測画像とを足し合わせて復号化画像が作成され、フレームバッファ１０７に保存される（Ｓ２０３）。
【００３１】
フリッカ低減制御器１０８は、フリッカを低減するか否か判定する（Ｓ２０４）。フリッカ低減制御器１０８は、例えば以下の条件のいずれかに合致する場合に、フリッカを低減することを決定する。
【００３２】
（Ａ）入力画像と参照画像との間の動きベクトルの大きさが所定の閾値よりも小さい場合。尚、この「動きベクトル」は予測画像作成器１０１によって算出されても構わない。また、この「動きベクトルの大きさ」は、フリッカ低減制御器１０８によって算出されても構わない。
【００３３】
（Ｂ）レート制御器１１０により算出された量子化スケールが所定の閾値よりも大きい場合。
【００３４】
（Ｃ）入力画像の分散が所定の閾値よりも大きい場合。尚、この「入力画像の分散」は、入力画像置き換え器１０９より入力画像を受けたフリッカ低減制御器１０８によって算出されても構わない。
【００３５】
（Ｄ）入力画像と予測画像との残差信号の絶対値和、２乗和、分散あるいは平均値が所定の閾値よりも小さい場合。尚、この「予測画像」は予測画像作成器１０１によって作成されても構わない。また、これら「絶対値和」、「２乗和」、「分散」あるいは「平均値」はフリッカ低減制御器１０８によって算出されても構わない。
【００３６】
フレームバッファ（１０７）から復号化画像と、入力画像置き換え器（１０９）から入力画像とをフリッカ低減制御器（１０８）が受けて符号化歪みを算出し、その歪み値が所定の閾値よりも小さい場合。
【００３７】
なお、符号化歪みとは、例えば、原画像と比較対象となる画像との差分信号の和、絶対値和、２乗和、平均、分散、
【数２】
0004528694.tif 000003
【００３８】
である。
【００３９】
フリッカ低減制御器１０８がフリッカを低減すると判定した場合、入力画像を置き換えるステップＳ２０５に移行し、フリッカを低減しないと判定した場合、入力画像を符号化するための処理フロー（Ｓ２０６〜Ｓ２０８）に移行する。
【００４０】
画像を置き換える場合、入力画像置き換え器１０９は、作成された復号化画像をフレームバッファ１０７から取り込み、入力画像と置き換える（Ｓ２０５）。次に、入力画像を符号化するためのステップＳ２０６に移行する。
【００４１】
フリッカ低減制御器１０８は、（実際の）符号化に用いられる第２の量子化スケールを算出し、量子化器１０３に設定する（Ｓ１０６）。この第２の量子化スケールは、次のような値に設定される。
【００４２】
レート制御器１１０で算出された値、
フリッカ低減制御器１０８で算出される、第１の量子化スケールに１００％以下又は未満の割合を乗じた値、あるいは
符号化歪みが所定の閾値よりも小さくなる、最大の値。即ち、量子化器１０３により量子化された係数を逆量子化器１０５で逆量子化し、逆量子化された係数を逆変換器１０６で逆変換し逆変換信号を得る。この逆変換信号と予測画像作成器１０１から出力される予測画像を足し合わせて復号化画像を作成し、フレームバッファ１０７に保存する。フレームバッファ１０７の復号化画像と入力画像置き換え器（１０９）から入力画像とをフリッカ低減制御器１０８が受け取って符号化歪みを算出し、その値が所定の閾値よりも小さくなる、量子化スケールの最大の値を求める。ただし、第２の量子化スケールは第１の量子化スケール以下又は未満にする。
【００４３】
予測画像作成器１０１が入力画像から予測画像を作成する。入力画像と予測画像との残差信号を変換器１０２により係数に変換し、変換された係数を第２の量子化スケールを用いて量子化器１０３で量子化する。これにより、入力画像をイントラ符号化する（Ｓ１０７）。
【００４４】
エントロピー符号化器１０４は、イントラ符号化された情報を量子化器１０３および予測画像作成器１０１から受け取ってエントロピー符号化してビットストリームを出力する（Ｓ１０８）。
【００４５】
なお、フリッカ低減制御器１０８の処理はマクロブロック単位、ビデオパケット単位、スライス単位、あるいはピクチャ単位で行われる。
【００４６】
本発明の第２の実施形態では必ず仮符号化を行うため、本発明の第１の実施形態に比べ演算量は増加する。しかしながらフリッカ低減制御器１０８で、フリッカを低減するか否かを判定するための情報が、仮符号化により増加するため判定精度の向上が図れる。
【００４７】
（第３の実施形態）
次に図４および図５を用いて、本発明の第３の実施形態に係わる動画像符号化装置を説明する。この実施形態では、図１と同じ構成要素は同一符号を用いて説明を省略する。図１および図４の違いはフリッカ制御器２０８がエントロピー符号化器２０４を制御する点にある。なお、図５は、本発明の第３の実施形態に係わる動画像符号化装置の動作を示すフローチャートである。
【００４８】
まず、入力画像は、入力画像を仮符号化するための処理フロー（Ｓ３０１〜Ｓ３０６）および入力画像を通常符号化するための処理フロー（Ｓ３０８〜Ｓ３０９）の両方の処理フローに入力される。両方の処理フローは、並列処理されても良いし、いずれか一方から順に処理されても良い。以下では、まず仮符号化するための処理フローから説明する。
【００４９】
フリッカ低減制御器２０８は、第１の量子化スケールを算出し、量子化器１０３に設定する（Ｓ３０１）。この第１の量子化スケールは、次のような値に設定される。
【００５０】
量子化器１０３で、表示順でＮ個前あるいは符号化順でＮ個前の画像を量子化した際に得られ、フリッカ低減制御器２０８に保存された量子化スケールの平均値、
量子化器１０３で、現在符号化している画像を量子化した際に得られ、フリッカ低減制御器２０８に保存された量子化スケールの平均値、
量子化器１０３で、表示時間あるいは符号化時間が最も近い、参照となれるＮ個の画像（Ｉ／Ｐピクチャなど）を量子化した際の量子化スケールの平均値、あるいは
レート制御器１１０で算出された値。
【００５１】
予測画像作成器１０１は入力画像から予測画像を作成し、入力画像と予測画像との残差信号を変換器１０２が係数に変換する。変換された係数を第１の量子化スケールを用いて量子化器１０３で量子化する。これにより、入力画像がインター符号化される（Ｓ３０２）。
【００５２】
量子化された係数を逆量子化器１０５で逆量子化し、逆量子化された係数を逆変換器１０６で逆変換し、逆変換された信号と予測画像作成器１０１から出力される予測画像を足し合わせて復号化画像を作成し、フレームバッファ２０７に保存する（Ｓ３０３）。
【００５３】
画像を置き換える場合、入力画像置き換え器１０９は、作成された復号化画像をフレームバッファ１０７から受け取り、入力画像と置き換える（Ｓ３０４）。
【００５４】
フリッカ低減制御器２０８は、（実際の）符号化に用いられる第２の量子化スケールを算出し、設定する（Ｓ３０５）。この第２の量子化スケールは、次のような値に設定される。
【００５５】
レート制御器１１０で算出された値、
フリッカ低減制御器２０８で算出された第１の量子化スケールに１００％以下又は未満の割合を乗じた値、あるいは
符号化歪みが所定の閾値より小さくなる、最大の値。即ち、量子化器１０３により量子化された係数を逆量子化器１０５で逆量子化する。逆量子化された係数を逆変換器１０６で逆変換し逆変換信号を生成する。逆変換信号と予測画像作成器１０１から出力される予測画像を足し合わせて復号化画像を作成し、フレームバッファ１０７に記憶する。フレームバッファ１０７の復号化画像と入力画像置き換え器１０９からの入力画像とからフリッカ低減制御器２０８により符号化歪みを算出し、その値が所定の閾値よりも小さくなる、最大の値を得る。ただし、第２の量子化スケールは第１の量子化スケール以下又は未満にする。なお、符号化歪みとは例えば、原画像と比較対象となる画像との差分信号の和、絶対値和、２乗和、平均、分散、
【数３】
0004528694.tif 000004
【００５６】
である。
【００５７】
入力画像から予測画像を予測画像作成器１０１で作成し、入力画像と予測画像との残差信号を変換器１０２で係数に変換し、変換された係数を第２の量子化スケールを用いて量子化器１０３で量子化する。これにより、入力画像がイントラ符号化される（Ｓ３０６）。ここで、得られた符号化画像を仮符号化画像Ａとしてフリッカ低減制御器（２０８）に保存する。
【００５８】
次に、通常符号化する処理フローを説明する。
【００５９】
まず、第３の量子化スケールが算出され、量子化器１０３に設定される（Ｓ３０８）。この第３の量子化スケールは、例えば、レート制御器１１０により算出され、量子化器１０３に設定される。
【００６０】
予測画像作成器１０１は入力画像から予測画像を生成し、変換器１０２が入力画像と予測画像との残差信号を係数に変換する。量子化器１０３は変換された係数を第３の量子化スケールに従って量子化することにより、入力画像をインター符号化する（Ｓ３０９）。ここで、得られた符号化画像を通常符号化画像Ｂとしてフリッカ低減制御器２０８に保存する。
【００６１】
フリッカ低減制御器２０８は、フリッカを低減するか否か判定する（Ｓ３０７）。このとき、例えば、予測画像作成器１０１が入力画像と参照画像との動きベクトルを算出し、フリッカ低減制御器（２０８）は次のような条件でフリッカを低減することを決定する。
【００６２】
動きベクトル情報を受け取ってその大きさを算出し、その値が所定の閾値よりも小さい場合
レート制御器１１０により算出された量子化スケールが所定の閾値よりも大きい場合
フリッカ低減制御器２０８で算出された第１の量子化スケールが所定の閾値よりも大きい場合、
入力画像置き換え器１０９より入力画像を受け取ったフリッカ低減制御器２０８で、入力画像の分散を算出し、その値が所定の閾値よりも大きい場合、
入力画像と予測画像作成器１０１で作成された予測画像との残差信号をフリッカ低減制御器２０８が受け取って、その絶対値和、２乗和、分散あるいは平均値を算出し、その値が所定の閾値よりも小さい場合、
フリッカ低減制御器２０８から仮符号化画像Ａおよび通常符号化画像Ｂを逆量子化器１０５が受け取って逆量子化し、逆量子化された係数を逆変換器１０６で逆変換し、逆変換された信号と予測画像作成器１０１から出力されるそれぞれの予測画像を足し合わせて、仮符号化画像Ａの復号化画像Ａおよび通常符号化画像Ｂの復号画像Ｂを生成してフリッカ低減制御器（２０８）に、入力画像置き換え器（２０９）からの入力画像とともに入力し、フリッカ低減制御器（２０８）がそれぞれの符号化歪みを算出し、それぞれの値が所定の閾値よりも小さい場合、あるいは
それぞれの符号化歪みの差が所定の閾値よりも大きい場合
フリッカを低減すると決定した場合、フリッカ低減制御器２０８は、仮符号化画像Ａをエントロピー符号化器１０４に送る。フリッカを低減しないと判定した場合、フリッカ低減制御器２０８は、通常符号化画像Ｂをエントロピー符号化器１０４に送る。エントロピー符号化器１０４は、イントラ符号化された情報をフリッカ低減制御器２０８から受け取ってエントロピー符号化してビットストリームを出力する（Ｓ３１０）。
【００６３】
なお、フリッカ低減制御器の処理はマクロブロック単位であったり、ビデオパケット単位であったり、スライス単位であったり、ピクチャ単位であったりする。
【００６４】
第３の実施形態では、フリッカを低減するための一連の符号化処理（Ｓ３０１〜Ｓ３０６）と通常の符号化処理（Ｓ３０８、Ｓ３０９）を両方行うため、本発明の第１あるいは第２の実施形態に比べ演算量は増加する。しかしながらフリッカ低減制御器２０８で、フリッカを低減するか否かを判定するための情報が、通常の符号化結果とフリッカを低減した符号化結果に基づいて判定できるため、判定精度の向上が図れる。
【００６５】
このように、第１、２、３の実施形態に係わる動画像符号化装置によれば、イントラ符号化（Ｉピクチャ）で符号化予定の画像をまずインター符号化（Ｐ／Ｂピクチャ）で最初に符号化し、その復号化画像を原画像として再度イントラ符号化（Ｉピクチャ）で符号化することで、あらゆるシーンでフリッカを低減することが可能となる。
【００６６】
なお、上記実施形態では、イントラ符号化におけるフリッカを低減する処理を説明しているが、本発明はイントラ符号化におけるフリッカを低減するだけに限定されない。インター符号化とインター符号化の間においても、フリッカが発生する場合が存在する。例えば、図６に示す例では、（ａ）のようにＰ３ピクチャはＢ１，Ｂ２ピクチャ及びＩ０ピクチャから予測している。このため、フリッカは生じない。これに対して、Ｂ４、Ｂ５ピクチャはフリッカの原因となるＩ６ピクチャから予測されているので、フリッカが生じる。このような場合は、上記実施形態におけるイントラ符号化処理をインター符号化処理に変更し、フリッカ低減制御器１０８は、インター符号化による仮符号化時の予測画像作成器１０１に予測構造の変更をさせることで解決できる。尚、（ａ）の場合、Ｂ４ピクチャはＰ３ピクチャから予測していないので両者間でストリーム編集が可能となる。
【００６７】
（ｂ）の場合は、Ｂ４、Ｂ５ピクチャがＩ６ピクチャとＰ３ピクチャから予測されているので、フリッカが生じない。従って、この場合には、予測画像作成器１０１に予測構造の変更をさせる必要がない。しかし、この例（ｂ）では、Ｐ３ピクチャとＢ４ピクチャとの間でストリーム編集ができない。
【００６８】
なお、この動画像符号化装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、予測画像作成、変換／逆変換、量子化／逆量子化、エントロピー符号化、フレームバッファ、入力画像置き換えおよびフリッカを低減させるか否かの判定は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、動画像符号化装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００６９】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００７０】
【図１】本発明の第１及び第２実施形態に係る動画像符号化装置の構成を示すブロック図。
【図２】本発明の第１の実施形態に係る動画像符号化装置の動作を示すフローチャート。
【図３】本発明の第２の実施形態に係る動画像符号化装置の動作を示すフローチャート。
【図４】本発明の第３の実施形態に係る動画像符号化装置の構成を示すブロック図。
【図５】本発明の第３の実施形態の動作を示すフローチャート。
【図６】Ｂピクチャでフリッカが発生する要因を示す図。
【符号の説明】
【００７１】
１０１…予測画像作成器、１０２…変換器、１０３…量子化器、１０４…エントロピー符号化器、１０５…逆量子化器、１０６…逆変換器、１０７…フレームバッファ、１０８…フリッカ低減制御器、１０９…入力画像置き換え器、１１０…レート制御器、２０４…エントロピー符号化器、２０８…フリッカ低減制御器
【図１】
0004528694.tif 000005
【図２】
0004528694.tif 000006
【図３】
0004528694.tif 000007
【図４】
0004528694.tif 000008
【図５】
0004528694.tif 000009
【図６】
0004528694.tif 000010