(57)【要約】【課題】動画像フレームの画質劣化を目立ちにくくする。【解決手段】  画質劣化度判定部１０１は、現フレームに含まれる複数のブロック毎に画質劣化度を判定してフラグ値を割り当てる。リフレッシュマップ生成部１０２は、動画像フレーム内におけるブロックの位置とそのブロックに割り当てられたフラグ値との対応関係を示すリフレッシュマップに画質劣化度判定部１０１によるフラグ値の割当結果を書き込む。リフレッシュ数設定部１０３は、フラグ値の各々に対してリフレッシュ数を割り当てる。リフレッシュ制御部１０４は、リフレッシュマップを参照して、同一フラグ値が割り当てられたブロックの中からそのフラグ値に対応するリフレッシュ数と同数の候補ブロックを選択し次フレームに含まれるブロックのうち選択した候補ブロックと同位置に存在するブロックに対してイントラ符号化を実行させる。【選択図】図１
2009272672.tif 000002
【特許請求の範囲】
【請求項１】
動画像フレームを所定サイズのブロック単位でイントラ符号化またはインター符号化することにより複数の動画像フレームを順次符号化する方法であって、
第１の動画像フレームに含まれる複数のブロックの各々の画質劣化度に応じてその複数のブロックの各々を複数のブロック群に分類するステップ（ａ）と、
前記ステップ（ａ）において分類された複数のブロック群の各々からそのブロック群の画質劣化度に対応した数のブロックを候補ブロックとして選択するステップ（ｂ）と、
前記第１の動画像フレームよりも後に符号化される第２の動画像フレームに含まれる複数のブロックのうち前記ステップ（ｂ）において選択された候補ブロックに対応するブロックに対して前記イントラ符号化を強制的に実行するステップ（ｃ）とを備える
ことを特徴とする動画像符号化方法。
【請求項２】
請求項１において、
前記ステップ（ｂ）では、画質劣化度が大きいブロック群ほどそのブロック群から選択される候補ブロックの数を多くする
ことを特徴とする動画像符号化方法。
【請求項３】
請求項１または請求項２において、
前記複数のブロック群は、それぞれ、画質劣化度についての複数の閾値に対応し、
前記複数の閾値は、それぞれ、複数のフラグ値に対応し、
前記複数のフラグ値は、それぞれ、複数のリフレッシュ数に対応し、
前記ステップ（ａ）では、前記複数のブロックの各々の画質劣化度と前記複数の閾値とを比較し、比較結果に対応するフラグ値をそのブロックに割り当て、
前記ステップ（ｂ）では、同一フラグ値が割り当てられたブロックの中からそのフラグ値に対応するリフレッシュ数と同数の候補ブロックを選択する
ことを特徴とする動画像符号化方法。
【請求項４】
請求項１〜３のいずれか１項において、
発生符号量に応じて、前記ステップ（ｂ）において前記複数のブロック群の各々から選択される候補ブロックの数を変更するステップ（ｄ）をさらに備える
ことを特徴とする動画像符号化方法。
【請求項５】
請求項４において、
前記ステップ（ｄ）では、画質劣化度の大きいブロック群ほどそのブロック群から選択される候補ブロックの数の増減量が少なくなるように、前記発生符号量に応じて前記複数のブロック群の各々から選択される候補ブロックの数を変更する
ことを特徴とする動画像符号化方法。
【請求項６】
請求項１〜５のいずれか１項において、
前記ステップ（ａ）では、前記複数のブロックの各々の画質劣化度を、そのブロックとそのブロックに対応する予測ブロックとの差分絶対値和に基づいて評価する
ことを特徴とする動画像符号化方法。
【請求項７】
請求項１〜６のいずれか１項に記載の動画像符号化方法をコンピュータに実行させる
ことを特徴とするプログラム。
【請求項８】
複数の動画像フレームを順次符号化する装置であって、
動画像フレームを所定サイズのブロック単位でイントラ符号化またはインター符号化する符号化部と、
前記符号化部によって符号化された動画像フレームに含まれる複数のブロックの各々について画質劣化度を判定し、その複数のブロックの各々を画質劣化度に応じて複数のブロック群に分類する画質劣化度判定部と、
前記画質劣化度判定部によって分類された複数のブロック群の各々からそのブロック群の画質劣化度に対応した数のブロックを候補ブロックとして選択し、次に符号化すべき動画像フレームに含まれる複数のブロックのうちその選択した候補ブロックに対応するブロックに対して前記符号化部に前記イントラ符号化を実行させるリフレッシュ制御部とを備える
ことを特徴とする動画像符号化装置。
【請求項９】
請求項８において、
前記リフレッシュ制御部は、画質劣化度が大きいブロック群ほどそのブロック群から選択する候補ブロックの数を多くする
ことを特徴とする動画像符号化装置。
【請求項１０】
請求項８または請求項９において、
前記複数のブロック群は、それぞれ、画質劣化度についての複数の閾値に対応し、
前記複数の閾値は、それぞれ、複数のフラグ値に対応し、
前記複数のフラグ値は、それぞれ、複数のリフレッシュ数に対応し、
前記画質劣化度判定部は、前記複数のブロックの各々の画質劣化度と前記複数の閾値とを比較し、比較結果に対応するフラグ値をそのブロックに割り当て、
前記リフレッシュ制御部は、同一フラグ値が割り当てられたブロックの中からそのフラグ値に対応するリフレッシュ数と同数の候補ブロックを選択する
ことを特徴とする動画像符号化方装置。
【請求項１１】
請求項８〜１０のいずれか１項において、
発生符号量に応じて、前記リフレッシュ制御部によって前記複数のブロック群の各々から選択される候補ブロックの数を変更するリフレッシュ数変更部をさらに備える
ことを特徴とする動画像符号化装置。
【請求項１２】
請求項１１において、
前記リフレッシュ数変更部は、画質劣化度の大きいブロック群ほどそのブロック群から選択される候補ブロックの数の増減量が少なくなるように、前記発生符号量に応じて前記複数のブロック群の各々から選択される候補ブロックの数を変更する
ことを特徴とする動画像符号化装置。
【請求項１３】
請求項８〜１２のいずれか１項において、
前記ステップ（ａ）では、前記複数のブロックの各々の画質劣化度を、そのブロックとそのブロックに対応する予測ブロックとの差分絶対値和に基づいて評価する
ことを特徴とする動画像符号化装置。
【請求項１４】
請求項８〜１３のいずれか１項に記載の動画像符号化装置を含む画像処理回路と、
被写体の映像を電気信号に変換する撮像回路と、
前記撮像回路からの電気信号をデジタル信号に変換して前記画像処理回路に供給するアナログ・デジタル変換回路とを備える
ことを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像フレームをイントラ符号化およびインター符号化によって符号化する技術に関し、さらに詳しくは、イントラ符号化によって符号化されたブロックを動画像フレーム内に挿入することにより画質劣化を抑制する技術に関する。
【背景技術】
【０００２】
従来、動画像フレームの符号化方式として、動画像フレーム内の空間的冗長性を取り除くことによりデータ量を圧縮するイントラ符号化（フレーム内符号化とも呼ばれる）と、複数の動画像フレーム間の時間的冗長性を取り除くことによりデータ量を圧縮するインター符号化（フレーム間符号化とも呼ばれる）とが用いられている。
【０００３】
一般的に、インター符号化による発生符号量は、イントラ符号化の場合よりも少ないが、インター符号化の場合、伝送路などにおいて、ある動画像フレームにエラー（データ誤りやデータ欠落など）が発生すると、その動画像フレームだけでなく別の動画像フレームにもエラーが伝播してしまう。また、インター符号化では動き補償が実行されているため、動画像符号化装置内のフレームメモリには、原フレーム（実際の動画像フレーム）とは多少異なる動画像フレームが保有される。インター符号化を継続して実行した場合、時間が経過するほど、この保有フレームの誤差が大きくなり、最終的に、原フレームとは大きく異なる動画像フレームが保有されることになる。この動画像フレームのマクロブロックが動き補償に用いられると、このマクロブロックの誤差が周辺のマクロブロックにまで伝播してしまう。このように、誤差が伝播することにより、動画像フレームの画質が劣化してしまう。
【０００４】
そこで、リフレッシュ処理（強制的なイントラ符号化）を周期的または非周期的に実行することにより、動画像フレーム内にイントラ符号化によって符号化された画像領域を挿入する技術が提案されている。イントラ符号化されたマクロブロックは、他の動画像フレームを参照することなく復号化することができるので、上述のような誤差の伝播を遮断することができ、その結果、画質劣化を抑制することが可能となる。例えば、特開２００１−３５９１０２号公報（特許文献１）には、予測マクロブロックとの差分値が閾値よりも大きいマクロブロック（すなわち、差分情報量が多いマクロブロック）をリフレッシュ対象とし、フレーム期間毎に所定数の対象マクロブロック（リフレッシュの対象となったマクロブロック）に対してリフレッシュ処理を実行する方法が開示されている。図９のように、対象マクロブロックを所定数ずつ順番に（例えば、動画像フレームの左上から右下の方向へ）リフレッシュすることにより、イントラ符号化による発生符号量の増大および画質劣化の増大を抑制している。
【０００５】
しかし、リフレッシュ数（１フレーム期間内にリフレッシュされるマクロブロックの数）が固定されている場合、対象マクロブロックの数が多くなるほど、リフレッシュ待ち期間（対象マクロブロックが選択されてから最後の対象マクロブロックが実際にリフレッシュされるまでに要する期間）が長くなる。そのような問題を解消するために、特許文献１の方法では、対象マクロブロックの総数やマクロブロックがリフレッシュの対象になってからの経過時間に基づいて、リフレッシュ数を決定している。
【特許文献１】特開２００１−３５９１０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来方法では、マクロブロックをリフレッシュ対象とするか否かの判定するために用いる閾値が１つしかないので、対象マクロブロックの間で差分値（すなわち、画質劣化度）にばらつきがある。また、従来方法では、予め定められた順番で対象マクロブロックがリフレッシュされるので、画質劣化度の大きい対象マクロブロックのリフレッシュが後回しになるおそれがある。この場合、動画像フレーム内において画質劣化が局所的に激しくなってしまうので、動画像フレームの画質劣化が目立ってしまう（すなわち、主観的な画質が劣化してしまう）。
【０００７】
例えば、画面の上半分の領域に動きの少ない被写体（風景など）が位置し、画面の下半分の領域に動きの多い被写体（歩行者など）が位置するように撮影した場合（例えば、監視カメラで交差点を定点撮影した場合）、動画像フレームの上半分の領域では対象マクロブロックの差分値は閾値よりも少し大きな値を示し、下半分の領域では対象マクロブロックの差分値は閾値よりも非常に大きな値を示す。すなわち、動画像フレームの下半分の領域における画質劣化度は、動画像フレームの上半分の領域よりも大きくなる。ここで、従来のように、対象マクロブロックを動画像フレームの左上から右下の方向へ順番にリフレッシュしたとすると、上半分の領域（すなわち、画質劣化度の小さい領域）のリフレッシュが完了した後に、下半分の領域（すなわち、画質劣化度の大きい領域）のリフレッシュが実行されることになる。この場合、下半分の領域における画質劣化が目立ってしまう。
【０００８】
そこで、この発明は、動画像フレームの画質劣化を目立ちにくくすることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明の１つの局面に従うと、動画像符号化方法は、動画像フレームを所定サイズのブロック単位でイントラ符号化またはインター符号化することにより複数の動画像フレームを順次符号化する方法であって、第１の動画像フレームに含まれる複数のブロックの各々の画質劣化度に応じてその複数のブロックの各々を複数のブロック群に分類するステップ（ａ）と、上記ステップ（ａ）において分類された複数のブロック群の各々からそのブロック群の画質劣化度に対応した数のブロックを候補ブロックとして選択するステップ（ｂ）と、上記第１の動画像フレームよりも後に符号化される第２の動画像フレームに含まれる複数のブロックのうち上記ステップ（ｂ）において選択された候補ブロックに対応するブロックに対して上記イントラ符号化を強制的に実行するステップ（ｃ）とを備える。
【００１０】
上記動画像符号化方法では、動画像フレーム内において画質劣化度の大きい領域を優先的にリフレッシュすることができるので、画質劣化が局所的に激しくなることを抑制でき、その結果、動画像フレームの画質劣化を目立ちにくくすることができる。
【００１１】
好ましくは、上記ステップ（ｂ）では、画質劣化度が大きいブロック群ほどそのブロック群から選択される候補ブロックの数を多くする。
【００１２】
上記動画像符号化方法では、画質劣化度の小さい領域は画質劣化の大きいよりもリフレッシュの必要性が低いので、動画像フレームの画質劣化を抑制しつつ発生符号量の増大を抑制することができる。これにより、符号量制御が実行される場合でも、その符号量制御に伴う画質劣化の増大を抑制することができる。
【００１３】
好ましくは、上記動画像符号化方法は、発生符号量に応じて、上記ステップ（ｂ）において上記複数のブロック群の各々から選択される候補ブロックの数を変更するステップ（ｄ）をさらに備える。
【００１４】
上記動画像符号化方法では、発生符号量の増大を抑制することができる。
【００１５】
好ましくは、上記ステップ（ｄ）では、画質劣化度の大きいブロック群ほどそのブロック群から選択される候補ブロックの数の増減量が少なくなるように、上記発生符号量に応じて上記複数のブロック群の各々から選択される候補ブロックの数を変更する。
【００１６】
上記動画符号化方法では、画質劣化度の大きい領域においてリフレッシュされるブロックの数が安定しているので、発生符号量が増減しても画質劣化度の大きい領域を優先的にリフレッシュすることができる。これにより、動画像フレームの画質劣化を抑制しつつ発生符号量の増大を抑制することができる。
【００１７】
この発明の別の局面に従うと、動画像符号化装置は、複数の動画像フレームを順次符号化する装置であって、動画像フレームを所定サイズのブロック単位でイントラ符号化またはインター符号化する符号化部と、上記符号化部によって符号化された動画像フレームに含まれる複数のブロックの各々について画質劣化度を判定し、上記複数のブロックの各々を画質劣化度に応じて複数のブロック群に分類する画質劣化度判定部と、上記画質劣化度判定部によって分類された複数のブロック群の各々からそのブロック群の画質劣化度に対応した数のブロックを候補ブロックとして選択し、次に符号化すべき動画像フレームに含まれる複数のブロックのうちその選択した候補ブロックに対応するブロックに対して上記符号化部に上記イントラ符号化を実行させるリフレッシュ制御部とを備える。
【００１８】
上記動画像符号化装置では、動画像フレーム内において画質劣化度の大きい領域を優先的にリフレッシュすることができるので、画質劣化が局所的に激しくなることを抑制でき、その結果、動画像フレームの画質劣化を目立ちにくくすることができる。
【発明の効果】
【００１９】
以上のように、動画像フレームの画質劣化を目立ちにくくすることができる。
【発明を実施するための最良の形態】
【００２０】
以下に本発明の実施の形態について、図面を参照しながら説明する。
【００２１】
（実施形態１）
図１は、この発明の実施形態１による動画像符号化装置の構成を示す。動画像符号化装置１は、複数の動画像フレームを順次符号化するものであり、動画像フレームの各々を所定のブロック単位（ここでは、マクロブロック単位）でイントラ符号化またはインター符号化する。また、動画像符号化装置１は、フレーム期間（動画像フレームを符号化するための期間）毎に、マクロブロックの画質劣化度に応じてリフレッシュ処理（強制的なイントラ符号化）を実行する。動画像符号化装置１は、モード選択部１１と、ブロック化部１２と、減算部１３と、直交変換部１４と、量子化部１５と、可変長符号化部１６と、逆量子化部１７と、逆直交変換部１８と、セレクタ１９と、加算部２０と、メモリ２１と、動き検出／補償部２２と、イントラ予測部２３と、画質劣化度判定部１０１と、リフレッシュマップ生成部１０２と、リフレッシュ数設定部１０３と、リフレッシュ制御部１０４とを備える。
【００２２】
〔符号化部〕
モード選択部１１は、動き検出／補償部２２およびイントラ予測部２３のそれぞれからマクロブロック単位の相関の程度を示すブロック相関情報を受け取り、マクロブロック毎にイントラ符号化およびインター符号化のいずれか一方を選択する。また、モード選択部１１は、リフレッシュ制御部１０４からリフレッシュ制御信号を受けると、強制的にイントラ符号化を選択する。ブロック化部１２は、動画像フレームを複数のマクロブロックに分割し、分割した複数のマクロブロックを順次出力する。減算部１３は、入力マクロブロック（ブロック化部１２からのマクロブロック）とセレクタ１９からの予測マクロブロックとの差分を算出し、算出結果を予測誤差マクロブロックとして出力する。直交変換部１４は、減算部１３からの予測誤差マクロブロックを直交変換する（例えば、離散コサイン変換する）。量子化部１５は、直交変換部１４によって直交変換されたマクロブロックを量子化する。可変長符号化部１６は、量子化部１５によって量子化されたマクロブロックを可変長符号化する。
【００２３】
逆量子化部１７は、量子化部１５によって量子化されたマクロブロックを逆量子化する。逆直交変換部１８は、逆量子化部１７によって逆量子化されたマクロブロックを逆直交変換する（例えば、逆離散コサイン変換する）。セレクタ１９は、モード選択部１１がイントラ符号化を選択している場合にはイントラ予測部２３からの予測マクロブロックを選択し、モード選択部１１がインター符号化を選択している場合には動き検出／補償部２２からの予測マクロブロックを選択する。加算部２０は、逆直交変換部１８によって逆直交変換されたマクロブロックにセレクタ１９によって選択された予測マクロブロックを加算する。これにより、直交変換および量子化が施される前のマクロブロックが復元される。加算部２０は、復元されたマクロブロックを出力する。メモリ２１は、加算部２０からのマクロブロックを格納する。メモリ２１では、複数の復元マクロブロック（加算部２０からのマクロブロック）によって参照フレームが再構築される。動き検出／補償部２２は、入力マクロブロック（ブロック化部１２からのマクロブロック）とメモリ２１に格納された参照フレームとを用いて動きベクトルを算出する（所謂、動き検出処理）。また、動き検出／補償部２２は、動きベクトルの算出の際に得られた予測マクロブロックをセレクタ１９へ出力する（所謂、動き補償処理）とともに、マクロブロック単位の相関の程度を示すブロック相関情報（例えば、ＳＡＤ）をモード選択部１１へ出力する。イントラ予測部２３は、入力マクロブロックとメモリ２２に格納された参照フレームとを用いてイントラ予測を実行して予測マクロブロックをセレクタ１９へ出力するとともに、ブロック相関情報をモード選択部１１へ出力する。
【００２４】
このようにして、動画像フレームがマクロブロック単位でイントラ符号化またはインター符号化される。
【００２５】
〔動き検出処理／動き補償処理〕
ここで、動き検出／補償部２２による処理について詳しく説明する。例えば、動き検出／補償部２２は、参照フレームのうち設定された動き探索範囲内において入力マクロブロックと同一サイズのブロック領域を候補マクロブロックとして選択し、選択した候補マクロブロックに含まれる各画素値と入力マクロブロックの平均画素値との差分絶対値和（ＳＡＤ）を算出する。次に、動き検出／補償部２２は、動き探索範囲内でブロック領域の位置を移動させ、次の候補マクロブロックを選択し、その候補マクロブロックについてＳＡＤを算出する。このようにして、動き検出／補償部２２は、動き探索範囲内において複数の候補マクロブロックを選択し、各候補マクロブロックについてＳＡＤを算出する。
【００２６】
次に、動き検出／補償部２２は、算出した各ＳＡＤに基づいて１つの候補マクロブロックを選択し、入力マクロブロックからその選択したマクロブロックまでの距離を示す動きベクトルを出力する。例えば、動き検出／補償部２２は、複数のＳＡＤのうち最小のＳＡＤに対応する候補マクロブロックを入力マクロブロックとの相関度が最も高いマクロブロックとして選択する。さらに、動き検出／補償部２２は、その選択したマクロブロックを予測マクロブロックとして出力する。
【００２７】
〔画質劣化度判定部〕
画質劣化度判定部１０１は、１つのマクロブロックが処理される毎に動き検出／補償部２２から画質劣化度を示す情報を受け、現フレーム（現在符号化されている動画像フレーム）に含まれるマクロブロックの各々について画質劣化度を判定する。例えば、画質劣化度判定部１０１は、動き検出／補償部２２からマクロブロックの各々に対応するＳＡＤが画質劣化度を示す情報として供給され、そのＳＡＤとＳＡＤについて予め設定された閾値Ｔｈｒ１，Ｔｈｒ２（ただし、Ｔｈｒ１＜Ｔｈｒ２）とを比較する。そして、画質劣化度判定部１０１は、次のように、比較の結果に応じてマクロブロックの各々に対してフラグ値を割り当てる。
【００２８】
〈比較の結果〉               〈フラグ値〉
ＳＡＤ＜Ｔｈｒ１  ・・・・  “０”
Ｔｈｒ１≦ＳＡＤ＜Ｔｈｒ２  ・・・・  “１”
Ｔｈｒ２≦ＳＡＤ            ・・・・  “２”
このようにマクロブロックの各々にフラグ値を割り当てることにより、マクロブロックが複数のマクロブロック群に分類される。なお、画質劣化度が大きいほどフラグ値が大きくなるように、マクロブロックの各々に対してフラグ値を割り当てることが好ましい。また、閾値は、３つ以上あっても良い。
【００２９】
〔リフレッシュマップ生成部〕
リフレッシュマップ生成部１０２は、動画像フレーム内におけるマクロブロックの位置とそのマクロブロックに割り当てられたフラグ値との対応関係を示すリフレッシュマップ（図２Ａ参照）を保持しており、そのリフレッシュマップに画質劣化度判定部１０１による分類結果（フラグ値の割当結果）を書き込む。
【００３０】
〔リフレッシュ数設定部〕
リフレッシュ数設定部１０３は、画質劣化度判定部１０１において使用されるフラグ値の各々に対してリフレッシュ数（次フレーム期間内においてリフレッシュ処理を実行すべきマクロブロックの数）を対応付ける。例えば、リフレッシュ数設定部１０３は、次のように、フラグ値の各々にリフレッシュ数を対応付ける。
【００３１】
〈フラグ値〉      〈リフレッシュ数〉
“０”  ・・・・・・・  ０
“１”  ・・・・・・・  ２
“２”  ・・・・・・・  ４
このように、フラグ値の各々にリフレッシュ数を対応付けることにより、画質劣化度判定部１０１によって分類されたブロック群毎にリフレッシュ数が設定される。なお、フラグ値が大きいほど（すなわち、画質劣化度が大きいマクロブロック群ほど）リフレッシュ数が大きくなるように、フラグ値の各々にリフレッシュ数を割り当てることが望ましい。
【００３２】
〔リフレッシュ制御部〕
リフレッシュ制御部１０４は、リフレッシュマップ生成部１０２によって生成されたリフレッシュマップを参照して、同一フラグ値が割り当てられたマクロブロックの中からリフレッシュ数設定部１０３によってそのフラグ値に割り当てられたリフレッシュ数と同数のマクロブロックを候補マクロブロック（次フレーム期間内においてリフレッシュ処理を実行すべきマクロブロック）として選択する。例えば、リフレッシュ制御部１０４は、フラグ値“０”が割り当てられたマクロブロックのいずれも選択せず、フラグ値“１”が割り当てられたマクロブロックの中から２個を選択し、フラグ値“２”が割り当てられたマクロブロックの中から４個を選択する（図２Ｂ参照）。
【００３３】
また、リフレッシュ制御部１０４は、次フレーム（現フレームの次に符号化される動画像フレーム）に含まれる複数のマクロブロックのうち選択した候補マクロブロックと同位置に存在するマクロブロックが符号化される際に、リフレッシュ制御信号を出力してモード選択部１１にイントラ符号化を選択させる。これにより、候補マクロブロックに対応する次フレームのマクロブロックに対して、リフレッシュ処理が実行される。さらに、リフレッシュ制御部１０４は、リフレッシュマップ生成部１０２にリフレッシュ制御信号を出力し、リフレッシュマップのうちリフレッシュ位置（リフレッシュ処理が実行されたマクロブロックの位置）にフラグ値“０”を書き込ませる（図２Ｃ参照）。
【００３４】
次に、図３を参照しつつ、図１に示した動画像符号化装置１によるリフレッシュ処理について説明する。なお、ここでは、動画像フレームの下半分の領域における画質劣化度は、動画像フレームの上半分の領域よりも大きいものとし、フラグ値“０”，“１”，“２”には、それぞれ、リフレッシュ数“０”，“２”，“４”が割り当てられているものとする。
【００３５】
１フレーム目では、動画像フレームの上半分の領域は、フラグ値“１”が割り当てられた１２個のマクロブロックを含み、下半分の領域は、フラグ値“２”が割り当てられた１２個のマクロブロックを含む。
【００３６】
次に、２フレーム目では、フラグ値“１”のマクロブロック群のうち２個のマクロブロックに対してリフレッシュ処理が行われ、フラグ値“２”のマクロブロック群のうち４個のマクロブロックに対してリフレッシュ処理が行われる。リフレッシュマップのうちリフレッシュされたマクロブロックの位置には、フラグ値“０”が書き込まれる。
【００３７】
続いて、３，４フレーム目においても、２フレーム目と同様に、フラグ値“１”のマクロブロック群から２個ずつリフレッシュされ、フラグ値“２”のマクロブロック群から４個ずつリフレッシュされる。４フレーム目では、フラグ値“２”のマクロブロックの全てに対してリフレッシュが完了する。
【００３８】
以上のように、画質劣化度に応じてリフレッシュすべきマクロブロックを選択することにより、動画像フレーム内において画質劣化度の大きい領域を優先的にリフレッシュすることができるので、画質劣化が局所的に激しくなることを抑制でき、その結果、画質劣化を目立ちにくくすることができる。
【００３９】
また、リフレッシュの対象となるマクロブロックの数が多くなる程、発生符号量（可変長符号化部から出力される符号化データのデータ量）が多くなる。この場合、発生符号量を所定値に近づけるために符号量制御回路（図示せず）が量子化パラメータ値を大きくするので、結果的に、マクロブロックの画質劣化が発生してしまう。しかし、この実施形態による動画像符号化装置１では、画質劣化度の小さいマクロブロック群に対応するリフレッシュ数を画質劣化度の大きいマクロブロック群に対応するリフレッシュ数よりも少なくすることにより、リフレッシュ数の合計を少なくすることができるので、発生符号量の増加を抑制することができる。
【００４０】
（実施形態２）
図５は、この発明の実施形態２による動画像符号化装置の構成を示す。この動画像符号化装置２では、前フレームの発生符号量（可変長符号化部１７による前フレームの可変長符号化によって発生した符号量）に応じてリフレッシュ数（すなわち、マクロブロック群の各々から選択される候補ブロックの数）が変更される。この動画像符号化装置２は、図１に示した構成に加えて、リフレッシュ数変更部２０１をさらに備える。
【００４１】
リフレッシュ数変更部２０１は、前フレームの発生符号量に応じて、リフレッシュ数設定部１０３によってフラグ値に各々に対応付けられたリフレッシュ数を変更する。また、リフレッシュ数変更部２０１は、フラグ値が大きいほど（すなわち、画質劣化度の大きいマクロブロック群ほど）そのフラグ値に対応するリフレッシュ数の増減量が少なくなるように、リフレッシュ数を変更する。
【００４２】
例えば、図５のように、リフレッシュ数設定部１０３がフラグ値“０”，“１”，“２”，“３”のそれぞれに対応するリフレッシュ数Ｎｒ０，Ｎｒ１，Ｎｒ２，Ｎｒ３を“０”，“２”，“３”，“５”に設定していたとする。この場合、リフレッシュ数の合計は、“１０”である。ここで、発生符号量が多くなると（例えば、発生符号量が上限閾値よりも多い場合）、リフレッシュ数変更部２０１は、リフレッシュ数Ｎｒ１，Ｎｒ２をそれぞれ“０”，“２”に変更する。これにより、リフレッシュ数の合計は減少して“７”になる。逆に、発生符号量が少なくなると（例えば、発生符号量が下限閾値よりも少ない場合）、リフレッシュ数変更部２０１は、リフレッシュ数Ｎｒ１，Ｎｒ２をそれぞれ“４”，“４”に変更する。これにより、リフレッシュ数の合計は増加して“１３”になる。
【００４３】
次に、図６を参照しつつ、図４に示したリフレッシュ数変更部２０１による動作について説明する。なお、ここではフラグ値“０”，“１”，“２”，“３”には、それぞれ、リフレッシュ数“０”，“２”，“３”，“５”が割り当てられているものとする。
【００４４】
１フレーム目では、動画像フレームの上部領域は、フラグ値“１”が割り当てられたマクロブロックを含み、中部領域は、フラグ値“２”が割り当てられたマクロブロックを含み、下部領域は、フラグ値“３”が割り当てられたマクロブロックを含む。
【００４５】
次に、２フレーム目では、フラグ値“１”のマクロブロックのうち２個に対してリフレッシュ処理が行われ、フラグ値“２”のマクロブロックのうち３個に対してリフレッシュ処理が行われ、フラグ値“３”のマクロブロックのうち５個に対してリフレッシュ処理が行われる。リフレッシュマップのうちリフレッシュされたマクロブロックの位置には、フラグ値“０”が書き込まれる。
【００４６】
ここで、２フレーム目の動画像フレームの発生符号量が多い場合、フラグ値“１”に対応するリフレッシュ数が“２”から“０”に変更され、フラグ値“２”に対応するリフレッシュ数が“３”から“２”に変更される。これにより、図６の上列のように、３フレーム目，４フレーム目では、リフレッシュされるマクロブロックの総数が２フレーム目よりも少なくなっている。しかし、４フレーム目において、フラグ値“３”のマクロブロックの全てに対してリフレッシュが完了する。
【００４７】
一方、２フレーム目の動画像フレームの発生符号量が少ない場合、フラグ値“１”に対応するリフレッシュ数が“２”から“４”に変更され、フラグ値“２”に対応するリフレッシュ数が“３”から“４”に変更される。これにより、図６の下列のように、３フレーム目，４フレーム目では、リフレッシュされるマクロブロックの総数が２フレーム目よりも多くなっている。これにより、４フレーム目において、フラグ値“３”のマクロブロックだけでなく、フラグ値“１”，“２”の全てに対してもリフレッシュが完了する。
【００４８】
以上のように、発生符号量に応じてリフレッシュ数の合計を変更することにより、発生符号量の増大を抑制することができる。その結果、符号量制御に伴う画質劣化の増大を抑制することができる。
【００４９】
また、画質劣化度の大きいマクロブロック群ほど、そのマクロブロック群に対応するリフレッシュ数の増減量が少なくなるように制御することにより、画質劣化度の大きい領域においてリフレッシュされるブロックの数が安定させることができる。そのため、発生符号量が増減しても、画質劣化度の大きい領域を優先的にリフレッシュすることができる。これにより、動画像フレームの画質劣化を抑制しつつ発生符号量の増大を抑制することができる。
【００５０】
（撮像システム）
図８のように、各実施形態による動画像符号化装置は、撮像システムに適用可能である。図８に示した撮像システムは、動画像符号化装置１を含む画像処理回路３３の他に、レンズ（光学系）３０と、センサ３１と、アナログ・デジタル変換回路３２と、記録回路３４と、再生回路３５と、タイミング制御回路３６と、システム制御回路３７とを備える。
【００５１】
この撮像システム３では、レンズ（光学系）３０を通って入射した画像光がセンサ３１上に結像され、光電変換される。光電変換によって得られた電気信号は、アナログ・デジタル変換回路３２によってデジタル信号に変換された後、画像処理回路３３に供給される。画像処理回路３３は、Ｙ／Ｃ処理，エッジ処理，画像の拡大縮小，ＪＰＥＧやＭＰＥＧ等の画像圧縮／伸張処理，画像圧縮されたストリームの制御等を実行する。画像処理回路３３によって処理された信号は、記録回路３４に記録される。記録回路３４に記録された信号は、再生回路３５により再生される。センサ３１および画像処理回路３３に含まれる動画像符号化装置１は、タイミング制御回路３６により制御され、レンズ３０，記録回路３４，再生回路３５，およびタイミング制御回路３６は、それぞれ、システム制御回路３７により制御される。
【００５２】
なお、記録回路３４に代えて、画像処理回路３３によって処理された信号をインターネット等を介して伝送する伝送回路が備えられていても良い。この場合、再生回路３５は、伝送回路によって伝送された信号を再生する。
【００５３】
また、図８に示した撮像システムでは、レンズ３０からの画像光をセンサ３１で光電変換してアナログ・デジタル変換回路３２に入力するカメラ機器等について説明したが、本発明はこれに限定されるものではなく、その他、テレビ等のＡＶ機器のアナログ映像入力を直接にアナログ・デジタル変換回路３２に供給しても良い。
【００５４】
（その他の実施形態）
以上の各実施形態において、画質劣化度を示す情報として差分絶対値和（ＳＡＤ）を例に挙げて説明したが、これに限らずその他のパラメータ（例えば、画像の複雑度を現すアクティビティなど）を用いても構わない。さらに、画質劣化度を示す複数のパラメータを組み合わせて用いても構わない。
【００５５】
また、各実施形態による動画像符号化装置は、ハードウェアで実現されても良い。例えば、動画像符号化装置は、典型的には集積回路であるＬＳＩとして実現される。動画像符号化装置を１チップ化しても良いし、動画像符号化装置を構成する機能ブロックの一部または全てを含むように１チップ化しても良い。なお、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。集積回路化の手法は、ＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。
【００５６】
また、各実施形態による動画像符号化装置は、ソフトウェアで実現されても良い。例えば、動画像符号化装置の制御ステップをプログラム化し、記録媒体（例えば、半導体メモリやハードディスクなど）に記録し、そのプログラムによってＣＰＵなどで構成されるコンピュータを動作させても良い。
【産業上の利用可能性】
【００５７】
この発明による動画像符号化方法および装置は、動画像フレームの画質劣化（主観的な画像劣化）を目立ちにくくすることができるので、監視カメラやネットワークカメラなどに有用である。
【図面の簡単な説明】
【００５８】
【図１】この発明の実施形態１による動画像符号化装置の構成図。
【図２】リフレッシュマップについて説明するための図。
【図３】図１に示した動画像符号化装置によるリフレッシュ処理について具体的に説明するための図。
【図４】この発明の実施形態２による動画像符号化装置の構成図。
【図５】発生符号量とリフレッシュ数との対応関係について説明するための図。
【図６】図５に示した動画像符号化装置によるリフレッシュ処理について具体的に説明するための図。
【図７】この発明の実施形態３による撮像システムの構成図。
【図８】従来のリフレッシュ処理について説明するための図。
【符号の説明】
【００５９】
１，２    動画像符号化装置
１１    モード制御部
１２    ブロック化部
１３    減算部
１４    直交変換部
１５    量子化部
１６    可変長符号化部
１７    逆量子化部
１８    逆直交変換部
１９    セレクタ
２０    加算部
２１    メモリ
２２    動き検出／補償部
２３    イントラ予測部
１０１    画質劣化度判定部
１０２    リフレッシュマップ生成部
１０３    リフレッシュ数設定部
１０４    リフレッシュ制御部
２０１    リフレッシュ数変更部
３０    レンズ（光学系）
３１    センサ
３２    アナログ／デジタル変換回路
３３    画像処理回路
３４    記録回路
３５    再生回路
３６    タイミング制御回路
３７    システム制御回路
【図１】
2009272672.tif 000003
【図２】
2009272672.tif 000004
【図３】
2009272672.tif 000005
【図４】
2009272672.tif 000006
【図５】
2009272672.tif 000007
【図６】
2009272672.tif 000008
【図７】
2009272672.tif 000009
【図８】
2009272672.tif 000010