【手続補正書】
【提出日】平成15年6月30日(2003.6.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像をフレーム毎に符号化しつつ、符号化レートを制御する画像符号化装置であって、
符号化済みフレームの画像符号化に要した符号量に基づいて、符号化対象フレームに対して目標符号量を設定する目標符号量設定手段と、
上記符号化対象フレームの画像の複雑さを示す画像複雑さ指標を検出する画像複雑さ検出手段と、
上記符号化対象フレームの画像複雑さ指標に応じて、上記符号化対象フレームの目標符号量を補正する目標符号量補正手段と、
上記符号化対象フレームの補正された目標符号量に基づいて、該符号化対象フレームの符号化条件を設定する符号化条件設定手段と、
上記符号化対象フレームの画像を、設定された符号化条件でもって圧縮符号化する圧縮符号化手段とを備えた、
ことを特徴とする画像符号化装置。
【請求項２】
請求項１記載の画像符号化装置において、
上記符号化対象フレームの画像複雑さ指標は、該符号化対象フレームを構成する画素の画素値の分散である、
ことを特徴とする画像符号化装置。
【請求項３】
請求項１記載の画像符号化装置において、
上記圧縮符号化手段は、フレーム毎に画像の画面内予測符号化あるいは画像の画面間予測符号化を行い、
上記画像複雑さ検出手段は、上記符号化対象フレームが、画像の画面内予測符号化が行われる画面内予測フレームであるとき、上記符号化対象フレームの画像複雑さ指標である、該符号化対象フレームを構成する画素の画素値の分散を検出し、上記符号化対象フレームが、画像の画面間予測符号化が行われる画面間予測フレームであるとき、上記符号化対象フレームの画像複雑さ指標である、該符号化対象フレームを構成する画素の画素値の絶対値和を検出する、
ことを特徴とする画像符号化装置。
【請求項４】
請求項１記載の画像符号化装置において、
上記目標符号量補正手段は、上記符号化対象フレームの画像複雑さ指標を、符号化済みフレームの画像複雑さ指標の平均値で割り算して得られる値を、上記符号化対象フレームの目標符号量に対する補正係数として用いる、
ことを特徴とする画像符号化装置。
【請求項５】
請求項４記載の画像符号化装置において、
上記目標符号量補正手段は、上記符号化対象フレームの目標符号量にその補正係数を乗算して、上記符号化対象フレームの目標符号量を補正する、
ことを特徴とする画像符号化装置。
【請求項６】
請求項１記載の画像符号化装置において、
上記符号化レートの制御は、連続する複数のフレームからなるセグメント毎に行われ、
上記符号化レートの制御対象となるセグメントは、該セグメントの最後のフレームまで画像符号化が行われる前に更新される、
ことを特徴とする画像符号化装置。
【請求項７】
画像をフレーム毎に符号化しつつ、符号化レートを制御する画像符号化装置であって、
符号化済みフレームの画像符号化に要した符号量に基づいて、該符号化済みフレームの画像の複雑さを示す画像複雑さ指標を検出する画像複雑さ検出手段と、
複数の符号化済みフレームの画像複雑さ指標を平均して画像複雑さ平均指標を生成する平均化手段と、
上記画像複雑さ平均指標に基づいて上記符号化対象フレームに対して目標符号量を設定する目標符号量設定手段と、
上記符号化対象フレームの目標符号量に基づいて、該符号化対象フレームの符号化条件を設定する符号化条件設定手段と、
上記符号化対象フレームの画像を、設定された符号化条件でもって圧縮符号化する圧縮符号化手段とを備えた、
ことを特徴とする画像符号化装置。
【請求項８】
請求項７記載の画像符号化装置において、
上記符号化レートの制御は、連続する複数のフレームからなるセグメントを単位として行われ、
上記符号化レートの制御単位であるセグメントは、該セグメントの最後のフレームまで画像符号化が行われる前に更新される、
ことを特徴とする画像符号化装置。
【請求項９】
画像をフレーム毎に符号化しつつ、符号化レートを制御する画像符号化方法であって、
符号化済みフレームの画像符号化に要した符号量に基づいて、符号化対象フレームに対して目標符号量を設定する目標符号量設定ステップと、
上記符号化対象フレームの画像の複雑さを示す画像複雑さ指標を検出する画像複雑さ検出ステップと、
上記符号化対象フレームの画像複雑さ指標に応じて、上記符号化対象フレームの目標符号量を補正する目標符号量補正ステップと、
上記符号化対象フレームの補正された目標符号量に基づいて、該符号化対象フレームの符号化条件を設定する符号化条件設定ステップと、
上記符号化対象フレームの画像を、設定された符号化条件でもって圧縮符号化する圧縮符号化ステップとを含む、
ことを特徴とする画像符号化方法。
【請求項１０】
請求項９記載の画像符号化方法において、
上記符号化対象フレームの画像複雑さ指標は、上記符号化対象フレームを構成する画素の画素値の分散である、
ことを特徴とする画像符号化方法。
【請求項１１】
請求項９記載の画像符号化方法において、
上記圧縮符号化ステップでは、画像の画面内予測符号化あるいは画像の画面間予測符号化がフレーム毎に行われ、
上記複雑さ検出ステップでは、上記符号化対象フレームが、画像の画面内予測符号化が行われる画面内予測フレームであるとき、上記符号化対象フレームの画像複雑さ指標である、該符号化対象フレームを構成する画素の画素値の分散が検出され、
上記符号化対象フレームが、画像の画面間予測符号化が行われる画面間予測フレームであるとき、上記符号化対象フレームの画像複雑さ指標である、該符号化対象フレームを構成する画素の画素値の絶対値和が検出される、
ことを特徴とする画像符号化方法。
【請求項１２】
請求項９記載の画像符号化方法において、
上記目標符号量補正ステップでは、上記符号化対象フレームの画像複雑さ指標を、符号化済みフレームの画像複雑さ指標の平均値で割り算して得られる値が、上記符号化対象フレームの目標符号量に対する補正係数として用いられる
ことを特徴とする画像符号化方法。
【請求項１３】
請求項１２記載の画像符号化方法において、
上記目標符号量補正ステップでは、上記符号化対象フレームの目標符号量は、上記補正係数が乗算されて補正される、
ことを特徴とする画像符号化方法。
【請求項１４】
画像をフレーム毎に符号化しつつ、符号化レートを制御する画像符号化方法であって、
符号化済みフレームの画像符号化に要した符号量に基づいて、該符号化済みフレームの画像の複雑さを示す画像複雑さ指標を検出する画像複雑さ検出ステップと、
複数の符号化済みフレームの画像複雑さ指標を平均して画像複雑さ平均指標を生成する平均化ステップと、
上記画像複雑さ平均指標に基づいて上記符号化対象フレームに対して目標符号量を設定する目標符号量設定ステップと、
上記符号化対象フレームの目標符号量に基づいて該符号化対象フレームの符号化条件を設定する符号化条件設定ステップと、
上記符号化対象フレームの画像を、設定された符号化条件でもって圧縮符号化する圧縮符号化ステップとを含む、
ことを特徴とする画像符号化方法。
【請求項１５】
画像をフレーム毎に符号化しつつ、符号化レートを制御する画像符号化方法であって、
上記符号化レートの制御は、連続する複数のフレームからなるセグメントを単位として行われ、
上記符号化レートの制御単位であるセグメントは、該セグメントの最後のフレームまで画像符号化が行われる前に更新される、
ことを特徴とする画像符号化方法。
【請求項１６】
請求項１５記載の画像符号化方法において、
上記セグメントの長さは、その画像が画面内予測符号化されるＩフレームの周期より長く、
上記符号化レートの制御単位であるセグメントは、該セグメント内のＩフレームを符号化する前に、該Ｉフレームを先頭フレームとするセグメントに更新される、
ことを特徴とする画像符号化方法。
【請求項１７】
請求項１６記載の画像符号化方法において、
上記セグメントの長さは、上記Ｉフレームの周期の２倍である、
ことを特徴とする画像符号化方法。
【請求項１８】
画像処理プログラムを格納したデータ記憶媒体であって、
上記画像処理プログラムは、コンピュータに請求項９ないし１７のいずれかに記載の画像符号化方法により画像の符号化を行わせる符号化プログラムである、
ことを特徴とするデータ記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
【課題を解決するための手段】
この発明（請求項１）に係る画像符号化装置は、画像をフレーム毎に符号化しつつ、符号化レートを制御する画像符号化装置であって、符号化済みフレームの画像符号化に要した符号量に基づいて、符号化対象フレームに対して目標符号量を設定する目標符号量設定手段と、上記符号化対象フレームの画像の複雑さを示す画像複雑さ指標を検出する画像複雑さ検出手段と、上記符号化対象フレームの画像複雑さ指標に応じて、上記符号化対象フレームの目標符号量を補正する目標符号量補正手段と、上記符号化対象フレームの補正された目標符号量に基づいて、該符号化対象フレームの符号化条件を設定する符号化条件設定手段と、上記符号化対象フレームの画像を、設定された符号化条件でもって圧縮符号化する圧縮符号化手段とを備えた、ことを特徴とするものである。


【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
この発明（請求項２）は、請求項１記載の画像符号化装置において、上記符号化対象フレームの画像複雑さ指標は、該符号化対象フレームを構成する画素の画素値の分散である、ことを特徴とするものである。


【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
この発明（請求項３）は、請求項１記載の画像符号化装置において、上記圧縮符号化手段は、フレーム毎に画像の画面内予測符号化あるいは画像の画面間予測符号化を行い、上記画像複雑さ検出手段は、上記符号化対象フレームが、画像の画面内予測符号化が行われる画面内予測フレームであるとき、上記符号化対象フレームの画像複雑さ指標である、該符号化対象フレームを構成する画素の画素値の分散を検出し、上記符号化対象フレームが、画像の画面間予測符号化が行われる画面間予測フレームであるとき、上記符号化対象フレームの画像複雑さ指標である、該符号化対象フレームを構成する画素の画素値の絶対値和を検出する、ことを特徴とするものである。


【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
この発明（請求項４）は、請求項１記載の画像符号化装置において、上記目標符号量補正手段は、上記符号化対象フレームの画像複雑さ指標を、符号化済みフレームの画像複雑さ指標の平均値で割り算して得られる値を、上記符号化対象フレームの目標符号量に対する補正係数として用いる、ことを特徴とするものである。


【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
この発明（請求項５）は、請求項４記載の画像符号化装置において、上記目標符号量補正手段は、上記符号化対象フレームの目標符号量にその補正係数を乗算して、上記符号化対象フレームの目標符号量を補正する、ことを特徴とするものである。


【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
この発明（請求項６）は、請求項１記載の画像符号化装置において、上記符号化レートの制御は、連続する複数のフレームからなるセグメント毎に行われ、上記符号化レートの制御対象となるセグメントは、該セグメントの最後のフレームまで画像符号化が行われる前に更新される、ことを特徴とするものである。


【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
この発明（請求項７）に係る画像符号化装置は、画像をフレーム毎に符号化しつつ、符号化レートを制御する画像符号化装置であって、符号化済みフレームの画像符号化に要した符号量に基づいて、該符号化済みフレームの画像の複雑さを示す画像複雑さ指標を検出する画像複雑さ検出手段と、複数の符号化済みフレームの画像複雑さ指標を平均して画像複雑さ平均指標を生成する平均化手段と、上記画像複雑さ平均指標に基づいて上記符号化対象フレームに対して目標符号量を設定する目標符号量設定手段と、上記符号化対象フレームの目標符号量に基づいて、該符号化対象フレームの符号化条件を設定する符号化条件設定手段と、上記符号化対象フレームの画像を、設定された符号化条件でもって圧縮符号化する圧縮符号化手段とを備えた、ことを特徴とするものである。


【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
この発明（請求項８）は、請求項７記載の画像符号化装置において、上記符号化レートの制御は、連続する複数のフレームからなるセグメントを単位として行われ、上記符号化レートの制御単位であるセグメントは、該セグメントの最後のフレームまで画像符号化が行われる前に更新される、ことを特徴とするものである。


【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
この発明（請求項９）に係る画像符号化方法は、画像をフレーム毎に符号化しつつ、符号化レートを制御する画像符号化方法であって、符号化済みフレームの画像符号化に要した符号量に基づいて、符号化対象フレームに対して目標符号量を設定する目標符号量設定ステップと、上記符号化対象フレームの画像の複雑さを示す画像複雑さ指標を検出する画像複雑さ検出ステップと、上記符号化対象フレームの画像複雑さ指標に応じて、上記符号化対象フレームの目標符号量を補正する目標符号量補正ステップと、上記符号化対象フレームの補正された目標符号量に基づいて、該符号化対象フレームの符号化条件を設定する符号化条件設定ステップと、上記符号化対象フレームの画像を、設定された符号化条件でもって圧縮符号化する圧縮符号化ステップとを含む、ことを特徴とするものである。


【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
この発明（請求項１０）は、請求項９記載の画像符号化方法において、上記符号化対象フレームの画像複雑さ指標は、上記符号化対象フレームを構成する画素の画素値の分散である、ことを特徴とするものである。


【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
この発明（請求項１１）は、請求項９記載の画像符号化方法において、上記圧縮符号化ステップでは、画像の画面内予測符号化あるいは画像の画面間予測符号化がフレーム毎に行われ、上記複雑さ検出ステップでは、上記符号化対象フレームが、画像の画面内予測符号化が行われる画面内予測フレームであるとき、上記符号化対象フレームの画像複雑さ指標である、該符号化対象フレームを構成する画素の画素値の分散が検出され、上記符号化対象フレームが、画像の画面間予測符号化が行われる画面間予測フレームであるとき、上記符号化対象フレームの画像複雑さ指標である、該符号化対象フレームを構成する画素の画素値の絶対値和が検出される、ことを特徴とするものである。


【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
この発明（請求項１２）は、請求項９記載の画像符号化方法において、上記目標符号量補正ステップでは、上記符号化対象フレームの画像複雑さ指標を、符号化済みフレームの画像複雑さ指標の平均値で割り算して得られる値が、上記符号化対象フレームの目標符号量に対する補正係数として用いられる、ことを特徴とするものである。


【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
この発明（請求項１３）は、請求項１２記載の画像符号化方法において、上記目標符号量補正ステップでは、上記符号化対象フレームの目標符号量は、上記補正係数が乗算されて補正される、ことを特徴とするものである。


【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
この発明（請求項１４）に係る画像符号化方法は、画像をフレーム毎に符号化しつつ、符号化レートを制御する画像符号化方法であって、符号化済みフレームの画像符号化に要した符号量に基づいて、該符号化済みフレームの画像の複雑さを示す画像複雑さ指標を検出する画像複雑さ検出ステップと、複数の符号化済みフレームの画像複雑さ指標を平均して画像複雑さ平均指標を生成する平均化ステップと、上記画像複雑さ平均指標に基づいて上記符号化対象フレームに対して目標符号量を設定する目標符号量設定ステップと、上記符号化対象フレームの目標符号量に基づいて該符号化対象フレームの符号化条件を設定する符号化条件設定ステップと、上記符号化対象フレームの画像を、設定された符号化条件でもって圧縮符号化する圧縮符号化ステップとを含む、ことを特徴とするものである。


【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
この発明（請求項１５）に係る画像符号化方法は、画像をフレーム毎に符号化しつつ、符号化レートを制御する画像符号化方法であって、上記符号化レートの制御は、連続する複数のフレームからなるセグメントを単位として行われ、上記符号化レートの制御単位であるセグメントは、該セグメントの最後のフレームまで画像符号化が行われる前に更新される、ことを特徴とするものである。
この発明（請求項１６）は、請求項１５記載の画像符号化方法において、上記セグメントの長さは、その画像が画面内予測符号化されるＩフレームの周期より長く、上記符号化レートの制御単位であるセグメントは、該セグメント内のＩフレームを符号化する前に、該Ｉフレームを先頭フレームとするセグメントに更新される、ことを特徴とするものである。
この発明（請求項１７）は、請求項１６記載の画像符号化方法において、上記セグメントの長さは、上記Ｉフレームの周期の２倍である、ことを特徴とするものである。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
この発明（請求項１８）に係るデータ記憶媒体は、画像処理プログラムを格納したデータ記憶媒体であって、上記画像処理プログラムは、コンピュータに請求項９ないし１７のいずれかに記載の画像符号化方法により画像の符号化を行わせる符号化プログラムである、ことを特徴とするものである。


【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１１７
【補正方法】変更
【補正の内容】
【０１１７】
【発明の効果】
以上のように、本発明（請求項１，９，１８）によれば、処理済フレームの発生符号化量に基づいて決定される対象フレームの目標ビット数を、対象フレームの画像複雑さに応じて補正し、補正された対象フレームの目標ビット数に基づいて発生符号量の制御を行うようにしたので、ビット資源を有効に利用することができ、符号化処理により得られる再生画像の画質を向上させることができるという効果がある。


【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１１８
【補正方法】変更
【補正の内容】
【０１１８】
本発明（請求項２，１０，１８）によれば、上記画像複雑さ指標として、フレームに対応する画素値の分散を用いるので、対象フレームの発生符号量を正確に予測することができ、符号化処理により得られる再生画像の画質をさらに向上させることができるという効果がある。


【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０１１９
【補正方法】変更
【補正の内容】
【０１１９】
本発明（請求項３，１１，１８）によれば、上記画像複雑さ指標として、Ｉフレームに対しては画素値の分散を用い、Ｐ，Ｂフレームに対しては画素値の絶対値和を用いるので、対象フレームの複雑さ指標の検出処理を簡単化でき、符号化処理量を軽減させることができるという効果がある。


【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０１２０
【補正方法】変更
【補正の内容】
【０１２０】
本発明（請求項４，１２，１８）によれば、対象フレームに対する目標ビット数を補正する補正係数として、上記対象フレームに対する画像複雑さ指標を処理済フレームに対する画像複雑さ指標の平均値で割り算して得られる値としたので、対象フレームに対する目標ビット数の補正係数を簡単に導出することができるという効果がある。


【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０１２１
【補正方法】変更
【補正の内容】
【０１２１】
本発明（請求項５，１３，１８）によれば、上記対象フレームに対する補正係数を上記対象フレームに対する目標符号量に乗算して得られる積算値を、補正された目標符号量とするので、対象フレームに対する目標ビット数の補正処理を簡単に行うことができるという効果がある。


【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】０１２２
【補正方法】変更
【補正の内容】
【０１２２】
本発明（請求項６，８，１５〜１８）によれば、符号化処理の制御の単位であるセグメントを、該セグメントの最後のフレームまで画像符号化が行われる前に更新するようにしたので、特定のフレームに、発生符号量と目標ビット数の差、特に不足分が蓄積することがなくなり、画質の劣化や周期的な画質の変化を抑制することができる効果がある。


【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正の内容】
【０１２３】
本発明（請求項７，１４，１８）によれば、複数の符号化処理済のフレームに対する画像複雑さを平均して得られる平均化画像複雑さ指標に基づいて、対象フレームの発生符号量を制御するようにしたので、画像複雑さに大きな差がない隣接するフレーム間で目標ビット数に揺らぎが発生するのを抑制でき、画質を安定させることができるという効果がある。