(57)【特許請求の範囲】
【請求項１】
動画像シーケンスをオブジェクト毎に符号化する動画像符号化システムであって、
ある時刻における前記オブジェクトの画像であるビデオオブジェクトプレーン（ＶＯＰ）の時系列シーケンスで構成されるオブジェクト画像データと、前記オブジェクトの各ＶＯＰにおける形状を表す情報である形状情報データとを、各ＶＯＰにおける発生符号量が入力される目標符号量になるように符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する符号化手段と、
前記形状情報データから、各ＶＯＰにおける前記オブジェクトの面積を算出し、面積データとして出力する面積算出手段と、
前記面積データの履歴から前記オブジェクトの面積の時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる面積の予測値を面積予測値算出パラメータとして出力する面積予測値算出パラメータ抽出手段と、
前記符号化情報と前記発生符号量と前記面積データとから、前記オブジェクトの単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する符号量モデルパラメータ算出手段と、
前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する符号量予測値算出パラメータ抽出手段と、
一定時間内に含まれる複数のＶＯＰに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのＶＯＰの前記発生符号量とから、前記一定時間内に含まれ、まだ符号化していないＶＯＰである未符号化ＶＯＰに割り当て可能な総符号量である未符号化ＶＯＰ割り当て可能符号量を算出し、前記面積予測値算出パラメータと前記符号量予測値算出パラメータとを用いて、前記未符号化ＶＯＰでの発生符号量を予測し、前記未符号化ＶＯＰ割り当て可能符号量を配分し、次に符号化する一枚のＶＯＰの目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のＶＯＰの各々に対して順次行う目標符号量算出手段とを有することを特徴とする動画像符号化システム。
【請求項２】
動画像シーケンスをオブジェクト毎に符号化する動画像符号化システムであって、
ある時刻における前記オブジェクトの画像であるビデオオブジェクトプレーン（ＶＯＰ）の時系列シーケンスで構成されるオブジェクト画像データと、前記オブジェクトの各ＶＯＰにおける形状を表す情報である形状情報データとを一時的に蓄積する蓄積手段と、
前記蓄積手段から、前記オブジェクト画像データと前記形状情報とを読み出し、各ＶＯＰにおける発生符号量が入力される目標符号量になるように符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する符号化手段と、
前記形状情報データから、各ＶＯＰにおける前記オブジェクトの面積を算出し、面積データとして出力する面積算出手段と、
前記符号化情報と前記発生符号量と前記面積データとから、前記オブジェクトの単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する符号量モデルパラメータ算出手段と、
前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する符号量予測値算出パラメータ抽出手段と、
一定時間内に含まれる複数のＶＯＰに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのＶＯＰの前記発生符号量とから、前記一定時間内に含まれ、まだ符号化していないＶＯＰである未符号化ＶＯＰに割り当て可能な総符号量である未符号化ＶＯＰ割り当て可能符号量を算出し、前記面積データと前記符号量予測値算出パラメータとを用いて、前記未符号化ＶＯＰでの発生符号量を予測し、前記未符号化ＶＯＰ割り当て可能符号量を配分し、次に符号化する一枚のＶＯＰの目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のＶＯＰの各々に対して順次行う目標符号量算出手段とを有することを特徴とする動画像符号化システム。
【請求項３】
前記オブジェクトは複数のオブジェクトを含むことを特徴とする請求項１又は２記載の動画像符号化システム。
【請求項４】
動画像シーケンスの各フレームを領域毎に符号量制御を行って符号化する動画像符号化システムであって、
画像データと、前記画像データの各フレームの領域を表す情報である領域情報データと、前記領域毎の目標符号量とが入力され、前記領域の発生符号量が前記目標符号量になるように前記領域毎に符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する符号化手段と、
前記領域情報データから、各フレームにおける前記領域の面積を算出し、面積データとして出力する面積算出手段と、
前記面積データの履歴から前記領域の面積の時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる面積の予測値を面積予測値算出パラメータとして出力する面積予測値算出パラメータ抽出手段と、
前記符号化情報と前記発生符号量と前記面積データとから、前記領域の単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する符号量モデルパラメータ算出手段と、
前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する符号量予測値算出パラメータ抽出手段と、
一定時間内に含まれる複数のフレームに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのフレームの前記発生符号量とから、前記一定時間内に含まれ、まだ符号化していないフレームである未符号化フレームに割り当て可能な総符号量である未符号化フレーム割り当て可能符号量を算出し、前記面積予測値算出パラメータと前記符号量予測値算出パラメータとを用いて、前記未符号化フレームの各領域での発生符号量を予測し、前記未符号化フレーム割り当て可能符号量を配分し、次に符号化する一枚のフレームの前記各領域での目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のフレームの各々に対して順次行う目標符号量算出手段とを有することを特徴とする動画像符号化システム。
【請求項５】
動画像シーケンスの各フレームを領域毎に符号量制御を行って符号化する動画像符号化システムであって、
画像データと、前記画像データの各フレームの領域を表す情報である領域情報データとを一時的に蓄積する蓄積手段と、
前記蓄積手段から、前記画像データと、前記領域情報データとを読み出し、前記領域の発生符号量が入力される領域毎の目標符号量になるように前記領域毎に符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する符号化手段と、
前記領域情報データから、各フレームにおける前記領域の面積を算出し、面積データとして出力する面積算出手段と、
前記符号化情報と前記発生符号量と前記面積データとから、前記領域の単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する符号量モデルパラメータ算出手段と、
前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータかあるいはその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する符号量予測値算出パラメータ抽出手段と、
一定時間内に含まれる複数のフレームに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのフレームの前記発生符号量とから、前記一定時間に含まれ、まだ符号化していないフレームである未符号化フレームに割り当て可能な総符号量である未符号化フレーム割り当て可能符号量を算出し、前記面積データと前記符号量予測値算出パラメータとを用いて、前記未符号化フレームの各領域での発生符号量を予測し、前記未符号化フレーム割り当て可能符号量を配分し、次に符号化する一枚のフレームの前記各領域での目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のフレームの各々に対して順次行う目標符号量算出手段とを有することを特徴とする動画像符号化システム。
【請求項６】
前記符号量モデルパラメータは、画像の単位面積あたりの複雑度を表す複雑度指標であり、
前記目標符号量算出手段では、前記複雑度指標の予測値と前記面積データの予測値との積に基づいて前記目標符号量を算出することを特徴とする請求項１又は４に記載された動画像符号化システム。
【請求項７】
前記符号量モデルパラメータは、画像の単位面積あたりの複雑度を表す複雑度指標であり、
前記目標符号量算出手段では、前記複雑度指標の予測値と前記面積データとの積に基づいて前記目標符号量を算出することを特徴とする請求項２又は５に記載された動画像符号化システム。
【請求項８】
前記符号量モデルパラメータ算出手段は、ＶＯＰのタイプ毎に前記符号量モデルパラメータを算出し、前記符号量予測値算出パラメータ抽出手段は、ＶＯＰのタイプ毎に符号量予測値算出パラメータを算出することを特徴とする請求項１又は２に記載された動画像符号化システム。
【請求項９】
前記符号量モデルパラメータ算出手段は、フレームのタイプ毎に前記符号量モデルパラメータを算出し、前記符号量予測値算出パラメータ抽出手段は、フレームのタイプ毎に符号量予測値算出パラメータを算出することを特徴とする請求項４又は５に記載された動画像符号化システム。
【請求項１０】
動画像シーケンスをオブジェクト毎に符号化する動画像符号化方法であって、
符号化手段により、ある時刻における前記オブジェクトの画像であるビデオオブジェクトプレーン（ＶＯＰ）の時系列シーケンスで構成されるオブジェクト画像データと、前記オブジェクトの各ＶＯＰにおける形状を表す情報である形状情報データとを、各ＶＯＰにおける発生符号量が入力される目標符号量になるように符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する工程と、
面積算出手段により、前記形状情報データから、各ＶＯＰにおける前記オブジェクトの面積を算出し、面積データとして出力する工程と、
面積予測値算出パラメータ抽出手段により、前記面積データの履歴から前記オブジェクトの面積の時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる面積の予測値を面積予測値算出パラメータとして出力する工程と、
符号量モデルパラメータ算出手段により、前記符号化情報と前記発生符号量と前記面積データとから、前記オブジェクトの単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する工程と、
符号量予測値算出パラメータ抽出手段により、前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する工程と、
目標符号量算出手段により、一定時間内に含まれる複数のＶＯＰに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのＶＯＰの前記発生符号量とから、前記一定時間内に含まれ、まだ符号化していないＶＯＰである未符号化ＶＯＰに割り当て可能な総符号量である未符号化ＶＯＰ割り当て可能符号量を算出し、前記面積予測値算出パラメータと前記符号量予測値算出パラメータとを用いて、前記未符号化ＶＯＰでの発生符号量を予測し、前記未符号化ＶＯＰ割り当て可能符号量を配分し、次に符号化する一枚のＶＯＰの目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のＶＯＰの各々に対して順次行う工程と、
を含むことを特徴とする動画像符号化方法。
【請求項１１】
動画像シーケンスをオブジェクト毎に符号化する動画像符号化方法であって、
蓄積手段により、ある時刻における前記オブジェクトの画像であるビデオオブジェクトプレーン（ＶＯＰ）の時系列シーケンスで構成されるオブジェクト画像データと、前記オブジェクトの各ＶＯＰにおける形状を表す情報である形状情報データとを一時的に蓄積する工程と、
符号化手段により、前記蓄積手段から、前記オブジェクト画像データと前記形状情報とを読み出し、各ＶＯＰにおける発生符号量が入力される目標符号量になるように符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する工程と、
面積算出手段により、前記形状情報データから、各ＶＯＰにおける前記オブジェクトの面積を算出し、面積データとして出力する工程と、
符号量モデルパラメータ算出手段により、前記符号化情報と前記発生符号量と前記面積データとから、前記オブジェクトの単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する工程と、
符号量予測値算出パラメータ抽出手段により、前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する工程と、
目標符号量算出手段により、一定時間内に含まれる複数のＶＯＰに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのＶＯＰの前記発生符号量とから、前記一定時間内に含まれ、まだ符号化していないＶＯＰである未符号化ＶＯＰに割り当て可能な総符号量である未符号化ＶＯＰ割り当て可能符号量を算出し、前記面積データと前記符号量予測値算出パラメータとを用いて、前記未符号化ＶＯＰでの発生符号量を予測し、前記未符号化ＶＯＰ割り当て可能符号量を配分し、次に符号化する一枚のＶＯＰの目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のＶＯＰの各々に対して順次行う工程と、
を含むことを特徴とする動画像符号化方法。
【請求項１２】
動画像シーケンスの各フレームを領域毎に符号量制御を行って符号化する動画像符号化方法であって、
符号化手段により、画像データと、前記画像データの各フレームの領域を表す情報である領域情報データと、前記領域毎の目標符号量とが入力され、前記領域の発生符号量が前記目標符号量になるように前記領域毎に符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する工程と、
面積算出手段により、前記領域情報データから、各フレームにおける前記領域の面積を算出し、面積データとして出力する工程と、
面積予測値算出パラメータ抽出手段により、前記面積データの履歴から前記領域の面積の時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる面積の予測値を面積予測値算出パラメータとして出力する工程と、
符号量モデルパラメータ算出手段により、前記符号化情報と前記発生符号量と前記面積データとから、前記領域の単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する工程と、
符号量予測値算出パラメータ抽出手段により、前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する工程と、
目標符号量算出手段により、一定時間内に含まれる複数のフレームに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのフレームの前記発生符号量とから、前記一定時間内に含まれ、まだ符号化していないフレームである未符号化フレームに割り当て可能な総符号量である未符号化フレーム割り当て可能符号量を算出し、前記面積予測値算出パラメータと前記符号量予測値算出パラメータとを用いて、前記未符号化フレームの各領域での発生符号量を予測し、前記未符号化フレーム割り当て可能符号量を配分し、次に符号化する一枚のフレームの前記各領域での目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のフレームの各々に対して順次行う工程と、
を含むことを特徴とする動画像符号化方法。
【請求項１３】
動画像シーケンスの各フレームを領域毎に符号量制御を行って符号化する動画像符号化方法であって、
蓄積手段により、画像データと、前記画像データの各フレームの領域を表す情報である領域情報データとを一時的に蓄積する工程と、
符号化手段により、前記蓄積手段から、前記画像データと、前記領域情報データとを読み出し、前記領域の発生符号量が入力される領域毎の目標符号量になるように前記領域毎に符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する工程と、
面積算出手段により、前記領域情報データから、各フレームにおける前記領域の面積を算出し、面積データとして出力する工程と、
符号量モデルパラメータ算出手段により、前記符号化情報と前記発生符号量と前記面積データとから、前記領域の単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する工程と、
符号量予測値算出パラメータ抽出手段により、前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータかあるいはその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する工程と、
目標符号量算出手段により、一定時間内に含まれる複数のフレームに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのフレームの前記発生符号量とから、前記一定時間に含まれ、まだ符号化していないフレームである未符号化フレームに割り当て可能な総符号量である未符号化フレーム割り当て可能符号量を算出し、前記面積データと前記符号量予測値算出パラメータとを用いて、前記未符号化フレームの各領域での発生符号量を予測し、前記未符号化フレーム割り当て可能符号量を配分し、次に符号化する一枚のフレームの前記各領域での目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のフレームの各々に対して順次行う工程と、
を含むことを特徴とする動画像符号化方法。
【請求項１４】
コンピュータを、
ある時刻における前記オブジェクトの画像であるビデオオブジェクトプレーン（ＶＯＰ）の時系列シーケンスで構成されるオブジェクト画像データと、前記オブジェクトの各ＶＯＰにおける形状を表す情報である形状情報データとを、各ＶＯＰにおける発生符号量が入力される目標符号量になるように符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する符号化手段と、
前記形状情報データから、各ＶＯＰにおける前記オブジェクトの面積を算出し、面積データとして出力する面積算出手段と、
前記面積データの履歴から前記オブジェクトの面積の時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる面積の予測値を面積予測値算出パラメータとして出力する面積予測値算出パラメータ抽出手段と、
前記符号化情報と前記発生符号量と前記面積データとから、前記オブジェクトの単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する符号量モデルパラメータ算出手段と、
前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する符号量予測値算出パラメータ抽出手段と、
一定時間内に含まれる複数のＶＯＰに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのＶＯＰの前記発生符号量とから、前記一定時間内に含まれ、まだ符号化していないＶＯＰである未符号化ＶＯＰに割り当て可能な総符号量である未符号化ＶＯＰ割り当て可能符号量を算出し、前記面積予測値算出パラメータと前記符号量予測値算出パラメータとを用いて、前記未符号化ＶＯＰでの発生符号量を予測し、前記未符号化ＶＯＰ割り当て可能符号量を配分し、次に符号化する一枚のＶＯＰの目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のＶＯＰの各々に対して順次行う目標符号量算出手段と、
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１５】
コンピュータを、
ある時刻における前記オブジェクトの画像であるビデオオブジェクトプレーン（ＶＯＰ）の時系列シーケンスで構成されるオブジェクト画像データと、前記オブジェクトの各ＶＯＰにおける形状を表す情報である形状情報データとを一時的に蓄積する蓄積手段と、
前記蓄積手段から、前記オブジェクト画像データと前記形状情報とを読み出し、各ＶＯＰにおける発生符号量が入力される目標符号量になるように符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する符号化手段と、
前記形状情報データから、各ＶＯＰにおける前記オブジェクトの面積を算出し、面積データとして出力する面積算出手段と、
前記符号化情報と前記発生符号量と前記面積データとから、前記オブジェクトの単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する符号量モデルパラメータ算出手段と、
前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する符号量予測値算出パラメータ抽出手段と、
一定時間内に含まれる複数のＶＯＰに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのＶＯＰの前記発生符号量とから、前記一定時間内に含まれ、まだ符号化していないＶＯＰである未符号化ＶＯＰに割り当て可能な総符号量である未符号化ＶＯＰ割り当て可能符号量を算出し、前記面積データと前記符号量予測値算出パラメータとを用いて、前記未符号化ＶＯＰでの発生符号量を予測し、前記未符号化ＶＯＰ割り当て可能符号量を配分し、次に符号化する一枚のＶＯＰの目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のＶＯＰの各々に対して順次行う目標符号量算出手段と、
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１６】
コンピュータを、
画像データと、前記画像データの各フレームの領域を表す情報である領域情報データと、前記領域毎の目標符号量とが入力され、前記領域の発生符号量が前記目標符号量になるように前記領域毎に符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する符号化手段と、
前記領域情報データから、各フレームにおける前記領域の面積を算出し、面積データとして出力する面積算出手段と、
前記面積データの履歴から前記領域の面積の時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる面積の予測値を面積予測値算出パラメータとして出力する面積予測値算出パラメータ抽出手段と、
前記符号化情報と前記発生符号量と前記面積データとから、前記領域の単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する符号量モデルパラメータ算出手段と、
前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する符号量予測値算出パラメータ抽出手段と、
一定時間内に含まれる複数のフレームに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのフレームの前記発生符号量とから、前記一定時間内に含まれ、まだ符号化していないフレームである未符号化フレームに割り当て可能な総符号量である未符号化フレーム割り当て可能符号量を算出し、前記面積予測値算出パラメータと前記符号量予測値算出パラメータとを用いて、前記未符号化フレームの各領域での発生符号量を予測し、前記未符号化フレーム割り当て可能符号量を配分し、次に符号化する一枚のフレームの前記各領域での目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のフレームの各々に対して順次行う目標符号量算出手段と、
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１７】
コンピュータを、
画像データと、前記画像データの各フレームの領域を表す情報である領域情報データとを一時的に蓄積する蓄積手段と、
前記蓄積手段から、前記画像データと、前記領域情報データとを読み出し、前記領域の発生符号量が入力される領域毎の目標符号量になるように前記領域毎に符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する符号化手段と、
前記領域情報データから、各フレームにおける前記領域の面積を算出し、面積データとして出力する面積算出手段と、
前記符号化情報と前記発生符号量と前記面積データとから、前記領域の単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する符号量モデルパラメータ算出手段と、
前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータかあるいはその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する符号量予測値算出パラメータ抽出手段と、
一定時間内に含まれる複数のフレームに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのフレームの前記発生符号量とから、前記一定時間に含まれ、まだ符号化していないフレームである未符号化フレームに割り当て可能な総符号量である未符号化フレーム割り当て可能符号量を算出し、前記面積データと前記符号量予測値算出パラメータとを用いて、前記未符号化フレームの各領域での発生符号量を予測し、前記未符号化フレーム割り当て可能符号量を配分し、次に符号化する一枚のフレームの前記各領域での目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のフレームの各々に対して順次行う目標符号量算出手段と、
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明はオブジェクト毎に符号化する動画像の符号化、あるいは動画像を複数の領域に分けて、領域ごとに符号量配分を決定して符号化する動画像の符号化に関し、特に符号量制御の改良に関する。
【０００２】
【従来の技術】
動画像の符号化において、割り当て可能な符号量から各フレームの目標符号量を決定し、各フレームの発生符号量がこの値に近くなるように制御する符号化制御システムにＭＰＥＧ−２（Moving Picture Experts Group、 Phase 2）のTest  Model  5（以下ではTM-5と略す）に実装されているシステムがある（文献「１９９３年３月、ISO/IEC JTC 1/SC 29/WG 11/N0400」）。
【０００３】
図３は、従来の符号量化手段である。符号化手段１００１へは、画像データと目標符号量算出手段１００２の出力が入力され、その第１の出力は符号列を出力し、第２の出力（発生符号量）は、符号量モデルパラメータ算出手段１００６と目標符号量算出手段１００２へ接続され、第３の出力（符号化情報）は符号量モデルパラメータ算出手段１００６へ接続される。符号量モデルパラメータ算出手段１００６へは、符号化手段１００１の第２と第３の出力が入力され、その出力（符号量モデルパラメータ）は、目標符号量算出手段１００２へ接続される。目標符号量算出手段１００２へは、符号量モデルパラメータ算出手段１００６の出力と符号化手段１００１の第２の出力と、割り当て可能符号量情報とが入力され、その出力は、符号化手段１００１へ接続される。
【０００４】
画像データは符号化手段１００１へ入力され、各フレームの符号量が他方から入力される目標符号量になるように符号化制御が行われ、画像データが符号化される。そして、符号化の結果を符号列として出力するとともに、各フレームでの発生符号量と、符号量情報を出力する。この場合、符号量情報は、符号化で用いた量子化パラメータの値である。
【０００５】
符号化モデルパラメータ算出手段１００６では、符号量をモデル化するパラメータを算出する。TM-5のシステムでは、このパラメータは、発生符号量と量子化パラメータとの積として定義される複雑度指標である。Ｉ、Ｐ、Ｂピクチャに対する複雑度指標をXI、XP、XBとし、Ｉ、Ｐ、Ｂの発生符号量をSI、SP、SB、量子化パラメータの平均値をQI、QP、QBとすると、式（１）、式（２）、式（３）が成り立つ。以下、数式は、一括して、[発明の実施の形態]欄の末尾に記載する。
【０００６】
得られた複雑度指標XI、XP、XBは符号化モデルパラメータとして、目標符号量算出手段１００２へ出力される。
【０００７】
目標符号量算出手段１００２では、割り当て可能符号量情報と、符号量モデルパラメータと、発生符号量とから、各ピクチャの目標符号量を算出し、符号化手段１００１へ出力する。符号量割り当ては、ＧＯＰ（Group Of Picture）単位で行う。まず、ＧＯＰに割り当て可能な符号量を割り当て可能符号量情報から求める。次に、その割り当て可能符号量から、そのＧＯＰの中で既に符号化が済んでいるピクチャに対する発生符号量を差し引き、ＧＯＰの残りのピクチャに割り当て可能な符号量（これをＲで表す）を算出する。そして、ＩピクチャとＰピクチャ、Ｂピクチャとの量子化の粗さの比を表す予め定まった定数ＫP、ＫBを用いて、以下の式（４）、式（５）、式（６）によって、Ｉ、Ｐ、Ｂピクチャの目標符号量（これらをそれぞれTI、TP、TBで表す）を算出する。式（４）、式（５）、式（６）中、ＮP、ＮBは、それぞれ、ＧＯＰ内の残りのＰ、Ｂピクチャの数である。これらの目標符号量は、符号化手段１００１へ出力され、符号量制御に用いられる。
【０００８】
上述の符号量制御システムでは、元来ＭＰＥＧ−２用に開発されたため、オブジェクトの形状情報を含んでいないが、オブジェクト単位で行うＭＰＥＧ−４符号化においては、特開２０００−５０２５４号公報や文献「１９９９年２月、アイ・イー・イー・イー・トランザクションズ・オン・サーキッツ・アンド・システムズ・フォー・ビデオ・テクノロジー、第ＣＳＶＴ−９巻、第１号、１８６〜１９９頁（IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY、 VOL。 CSVT-9、 NO。 1、 FEBRUARY、 1999）」によって開示されているシステムが提案されている。その中においては、文献「１９９７年２月、アイ・イー・イー・イー・トランザクションズ・オン・サーキッツ・アンド・システムズ・フォー・ビデオ・テクノロジー、第ＣＳＶＴ−７巻、第１号、２４６〜２５０頁（IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY、 VOL。 CSVT-7、 NO。 1、 FEBRUARY、 1997）」で開示されている２次のレート歪み曲線が用いられている。すなわち、式（１）、式（２）、式（３）のかわりに、式（７）、式（８）、式（９）を用いて符号量をモデル化している。式（７）、式（８）、式（９）中、Ｄは動き補償予測誤差信号の平均絶対値誤差（MAD）である。この場合は、XI、YI、XP、YP、XB、YB、およびＤが符号量モデルパラメータであり、符号量算出モデルパラメータ算出手段１００６では、これらの値を算出する。この算出では、過去に符号化したフレームにおける量子化パラメータとMADと発生符号量データとから、最小二乗法によって算出している。
【０００９】
この場合、式(10)、式（１１）を式(８)、式（９）に代入して、QP、QBを消去し、さらに、SI=TI、SP=TP、SB=TBとして、式（１２）に式(７)、式（８）、式(９)を代入して解くことにより、QIの値を算出できる。これより、目標符号量TI、TP、TBを算出できる。
【００１０】
特開２０００−５０２５４号公報においては、このようにして定めた各フレームの符号量を、フレームを構成する複数のオブジェクト間に配分するシステムについても開示しており、オブジェクトのサイズ、動き、アクティビティ情報を加重平均して得られる重み付け係数の比に従って、各オブジェクトに符号量を配分し、各オブジェクトのＶＯＰの目標符号量を決定している。
【００１１】
具体的には、まず、式（１３）によって各フレームに割り当てる符号量を決定する。式(13)中、Lは最低画質を保証する符号量であり、ｍはオブジェクトの数、Nは残りのフレーム数、Sjは前のフレームでのj番目のオブジェクトの発生符号量、αは重み付けの値である。重み付けの値としては、α=０．２を用いている。すなわち、残りの割り当て可能符号量Rを各ＶＯＰに均等に配分した場合の符号量に、前の符号化での発生符号量を加味し、フレームを構成するオブジェクト全体の目標符号量を算出している。
【００１２】
次に、式（１３）のオブジェクト全体に対する目標符号量Tに、バッファ処理等による修正を加えた後、式（１４）の重みに従って、フレームを構成するオブジェクト全体に対する目標符号量Tを各オブジェクトに配分する。式（１４）中、SIZEj、MOTj、MADjはそれぞれj番目のオブジェクトのサイズ、動きベクトルの大きさ、平均絶対値誤差（MAD）を表す。また、ws、wm、wvは重み付け係数であり、ws=０．４、wm=０．６、wv=０．０、または、ws=０．２５、wm=０．２５、wv=０．５を用いている。
【００１３】
【発明が解決しようとする課題】
しかし、従来の技術では、オブジェクトの大きさの変化による符号量の変化を考慮せずに符号量の算出を行っていた。TM-5の場合は、符号化対象となる画面の大きさが変化しないため、このことは問題なかったが、これをMPEG-4のようなオブジェクトベースの符号化に適用すると、オブジェクトの大きさが急激に増大するような場合は、ＧＯＶ（Group Of ＶＯＰ）の最後の方では、発生符号量が大幅に増加するにもかかわらず、符号量の割り当てがうまくいかず、画質劣化が生じたり、目標符号量内で符号化できなくなるような破綻が生じたりするという問題があった。
【００１４】
特開２０００−５０２５４号公報に開示されているシステムにおいては、式（１４）によって各フレームの目標符号量をオブジェクト間で配分する際にはオブジェクトのサイズ情報を考慮しているが、式（１３）によってフレームの目標符号量を決定する時点では考慮していないため、同様の問題が生じる。
【００１５】
また、特開２０００−５０２５４号公報に開示されているシステムによるフレームに対する目標符号量算出のための式（１３）では、各オブジェクトのＶＯＰレートは一定であることを仮定している。このため、オブジェクト間でフレームレートが異なった場合には、フレームの目標符号量の算出が適切でなくなるという問題がある。
【００１６】
また、特開２０００−５０２５４号公報に開示されているシステムによるオブジェクト間での符号量配分法では、オブジェクトのサイズ（面積）と動き、MADの線形加重和として与えられる重みによって符号量を配分している。このうち、MADの項はオブジェクトの大きさに依存せず、オブジェクトの大きさが非常に小さくても大きな値をとり得る。この結果、非常に小さなオブジェクトであってもMADが大きい場合には多くの符号量が配分されることになり、他のオブジェクトに割り当てられる符号量が相対的に減少し、他のオブジェクトの画質劣化を招いてしまうという問題がある。
【００１７】
そこで、本発明は、オブジェクトの大きさやテクスチャの特性が大幅に変化した場合であっても、高画質を保って符号化することが可能な符号量制御を有する動画像符号化システムを提供することを課題としている。
【００１８】
又、本発明は、オブジェクトごとにフレームレートが異なっても符号量割り当てが適切に行える符号量制御を有する動画像符号化システムを提供することを課題としている。
【００１９】
【課題を解決するための手段】
本発明における動画像符号化システムは、動画像シーケンスをオブジェクト毎に符号化する動画像符号化システムであって、ある時刻における前記オブジェクトの画像であるビデオオブジェクトプレーン（ＶＯＰ）の時系列シーケンスで構成されるオブジェクト画像データと、前記オブジェクトの各ＶＯＰにおける形状を表す情報である形状情報データとを、各ＶＯＰにおける発生符号量が入力される目標符号量になるように符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する符号化手段と、前記形状情報データから、各ＶＯＰにおける前記オブジェクトの面積を算出し、面積データとして出力する面積算出手段と、前記面積データの履歴から前記オブジェクトの面積の時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる面積の予測値を面積予測値算出パラメータとして出力する面積予測値算出パラメータ抽出手段と、前記符号化情報と前記発生符号量と前記面積データとから、前記オブジェクトの単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する符号量モデルパラメータ算出手段と、前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する符号量予測値算出パラメータ抽出手段と、一定時間内に含まれる複数のＶＯＰに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのＶＯＰの前記発生符号量とから、前記一定時間内に含まれ、まだ符号化していないＶＯＰである未符号化ＶＯＰに割り当て可能な総符号量である未符号化ＶＯＰ割り当て可能符号量を算出し、前記面積予測値算出パラメータと前記符号量予測値算出パラメータとを用いて、前記未符号化ＶＯＰでの発生符号量を予測し、前記未符号化ＶＯＰ割り当て可能符号量を配分し、次に符号化する一枚のＶＯＰの目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のＶＯＰの各々に対して順次行う目標符号量算出手段とを有する。
【００２０】
又、動画像符号化システムは、ある時刻における前記オブジェクトの画像であるビデオオブジェクトプレーン（ＶＯＰ）の時系列シーケンスで構成されるオブジェクト画像データと、前記オブジェクトの各ＶＯＰにおける形状を表す情報である形状情報データとを一時的に蓄積する蓄積手段と、前記蓄積手段から、前記オブジェクト画像データと前記形状情報とを読み出し、各ＶＯＰにおける発生符号量が入力される目標符号量になるように符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する符号化手段と、前記形状情報データから、各ＶＯＰにおける前記オブジェクトの面積を算出し、面積データとして出力する面積算出手段と、前記符号化情報と前記発生符号量と前記面積データとから、前記オブジェクトの単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する符号量モデルパラメータ算出手段と、前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する符号量予測値算出パラメータ抽出手段と、一定時間内に含まれる複数のＶＯＰに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのＶＯＰの前記発生符号量とから、前記一定時間内に含まれ、まだ符号化していないＶＯＰである未符号化ＶＯＰに割り当て可能な総符号量である未符号化ＶＯＰ割り当て可能符号量を算出し、前記面積データと前記符号量予測値算出パラメータとを用いて、前記未符号化ＶＯＰでの発生符号量を予測し、前記未符号化ＶＯＰ割り当て可能符号量を配分し、次に符号化する一枚のＶＯＰの目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のＶＯＰの各々に対して順次行う目標符号量算出手段とを備えてもよい。
【００２１】
又、本発明の動画像符号化システムは、画像データと、前記画像データの各フレームの領域を表す情報である領域情報データと、前記領域毎の目標符号量とが入力され、前記領域の発生符号量が前記目標符号量になるように前記領域毎に符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する符号化手段と、前記領域情報データから、各フレームにおける前記領域の面積を算出し、面積データとして出力する面積算出手段と、前記面積データの履歴から前記領域の面積の時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる面積の予測値を面積予測値算出パラメータとして出力する面積予測値算出パラメータ抽出手段と、前記符号化情報と前記発生符号量と前記面積データとから、前記領域の単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する符号量モデルパラメータ算出手段と、前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する符号量予測値算出パラメータ抽出手段と、一定時間内に含まれる複数のフレームに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのフレームの前記発生符号量とから、前記一定時間内に含まれ、まだ符号化していないフレームである未符号化フレームに割り当て可能な総符号量である未符号化フレーム割り当て可能符号量を算出し、前記面積予測値算出パラメータと前記符号量予測値算出パラメータとを用いて、前記未符号化フレームの各領域での発生符号量を予測し、前記未符号化フレーム割り当て可能符号量を配分し、次に符号化する一枚のフレームの前記各領域での目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のフレームの各々に対して順次行う目標符号量算出手段とを備えてもよい。
【００２２】
又、本発明の動画像符号化システムは、画像データと、前記画像データの各フレームの領域を表す情報である領域情報データとを一時的に蓄積する蓄積手段と、前記蓄積手段から、前記画像データと、前記領域情報データとを読み出し、前記領域の発生符号量が入力される領域毎の目標符号量になるように前記領域毎に符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する符号化手段と、前記領域情報データから、各フレームにおける前記領域の面積を算出し、面積データとして出力する面積算出手段と、前記符号化情報と前記発生符号量と前記面積データとから、前記領域の単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する符号量モデルパラメータ算出手段と、前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータかあるいはその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する符号量予測値算出パラメータ抽出手段と、一定時間内に含まれる複数のフレームに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのフレームの前記発生符号量とから、前記一定時間に含まれ、まだ符号化していないフレームである未符号化フレームに割り当て可能な総符号量である未符号化フレーム割り当て可能符号量を算出し、前記面積データと前記符号量予測値算出パラメータとを用いて、前記未符号化フレームの各領域での発生符号量を予測し、前記未符号化フレーム割り当て可能符号量を配分し、次に符号化する一枚のフレームの前記各領域での目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のフレームの各々に対して順次行う目標符号量算出手段とを備えてもよい。
【００２３】
又、本発明の動画像符号化方法は、動画像シーケンスをオブジェクト毎に符号化する動画像符号化方法であって、符号化手段により、ある時刻における前記オブジェクトの画像であるビデオオブジェクトプレーン（ＶＯＰ）の時系列シーケンスで構成されるオブジェクト画像データと、前記オブジェクトの各ＶＯＰにおける形状を表す情報である形状情報データとを、各ＶＯＰにおける発生符号量が入力される目標符号量になるように符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する工程と、面積算出手段により、前記形状情報データから、各ＶＯＰにおける前記オブジェクトの面積を算出し、面積データとして出力する工程と、面積予測値算出パラメータ抽出手段により、前記面積データの履歴から前記オブジェクトの面積の時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる面積の予測値を面積予測値算出パラメータとして出力する工程と、符号量モデルパラメータ算出手段により、前記符号化情報と前記発生符号量と前記面積データとから、前記オブジェクトの単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する工程と、符号量予測値算出パラメータ抽出手段により、前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する工程と、目標符号量算出手段により、一定時間内に含まれる複数のＶＯＰに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのＶＯＰの前記発生符号量とから、前記一定時間内に含まれ、まだ符号化していないＶＯＰである未符号化ＶＯＰに割り当て可能な総符号量である未符号化ＶＯＰ割り当て可能符号量を算出し、前記面積予測値算出パラメータと前記符号量予測値算出パラメータとを用いて、前記未符号化ＶＯＰでの発生符号量を予測し、前記未符号化ＶＯＰ割り当て可能符号量を配分し、次に符号化する一枚のＶＯＰの目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のＶＯＰの各々に対して順次行う工程と、を含んでいる。
又、本発明の動画像符号化方法は、動画像シーケンスをオブジェクト毎に符号化する動画像符号化方法であって、蓄積手段により、ある時刻における前記オブジェクトの画像であるビデオオブジェクトプレーン（ＶＯＰ）の時系列シーケンスで構成されるオブジェクト画像データと、前記オブジェクトの各ＶＯＰにおける形状を表す情報である形状情報データとを一時的に蓄積する工程と、符号化手段により、前記蓄積手段から、前記オブジェクト画像データと前記形状情報とを読み出し、各ＶＯＰにおける発生符号量が入力される目標符号量になるように符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する工程と、面積算出手段により、前記形状情報データから、各ＶＯＰにおける前記オブジェクトの面積を算出し、面積データとして出力する工程と、符号量モデルパラメータ算出手段により、前記符号化情報と前記発生符号量と前記面積データとから、前記オブジェクトの単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する工程と、符号量予測値算出パラメータ抽出手段により、前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する工程と、目標符号量算出手段により、一定時間内に含まれる複数のＶＯＰに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのＶＯＰの前記発生符号量とから、前記一定時間内に含まれ、まだ符号化していないＶＯＰである未符号化ＶＯＰに割り当て可能な総符号量である未符号化ＶＯＰ割り当て可能符号量を算出し、前記面積データと前記符号量予測値算出パラメータとを用いて、前記未符号化ＶＯＰでの発生符号量を予測し、前記未符号化ＶＯＰ割り当て可能符号量を配分し、次に符号化する一枚のＶＯＰの目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のＶＯＰの各々に対して順次行う工程と、を含んでいる。
【００２４】
又、本発明の動画像符号化方法は、動画像シーケンスの各フレームを領域毎に符号量制御を行って符号化する動画像符号化方法であって、符号化手段により、画像データと、前記画像データの各フレームの領域を表す情報である領域情報データと、前記領域毎の目標符号量とが入力され、前記領域の発生符号量が前記目標符号量になるように前記領域毎に符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する工程と、面積算出手段により、前記領域情報データから、各フレームにおける前記領域の面積を算出し、面積データとして出力する工程と、面積予測値算出パラメータ抽出手段により、前記面積データの履歴から前記領域の面積の時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる面積の予測値を面積予測値算出パラメータとして出力する工程と、符号量モデルパラメータ算出手段により、前記符号化情報と前記発生符号量と前記面積データとから、前記領域の単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する工程と、符号量予測値算出パラメータ抽出手段により、前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータ又はその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する工程と、目標符号量算出手段により、一定時間内に含まれる複数のフレームに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのフレームの前記発生符号量とから、前記一定時間内に含まれ、まだ符号化していないフレームである未符号化フレームに割り当て可能な総符号量である未符号化フレーム割り当て可能符号量を算出し、前記面積予測値算出パラメータと前記符号量予測値算出パラメータとを用いて、前記未符号化フレームの各領域での発生符号量を予測し、前記未符号化フレーム割り当て可能符号量を配分し、次に符号化する一枚のフレームの前記各領域での目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のフレームの各々に対して順次行う工程と、を含んでいる。
又、本発明の動画像符号化方法は、動画像シーケンスの各フレームを領域毎に符号量制御を行って符号化する動画像符号化方法であって、蓄積手段により、画像データと、前記画像データの各フレームの領域を表す情報である領域情報データとを一時的に蓄積する工程と、符号化手段により、前記蓄積手段から、前記画像データと、前記領域情報データとを読み出し、前記領域の発生符号量が入力される領域毎の目標符号量になるように前記領域毎に符号量制御を行って符号化し、得られた符号列を出力するとともに、符号化に用いた量子化パラメータを含む符号化情報と発生符号量とを出力する工程と、面積算出手段により、前記領域情報データから、各フレームにおける前記領域の面積を算出し、面積データとして出力する工程と、符号量モデルパラメータ算出手段により、前記符号化情報と前記発生符号量と前記面積データとから、前記領域の単位面積あたりの発生符号量をモデル化するのに必要なパラメータを算出し、符号量モデルパラメータとして出力する工程と、符号量予測値算出パラメータ抽出手段により、前記符号量モデルパラメータの履歴から、前記符号量モデルパラメータの時間的な変化を表す関数を求め、その関数を特定するパラメータかあるいはその関数によって求まる前記符号量モデルパラメータの予測値を符号量予測値算出パラメータとして出力する工程と、目標符号量算出手段により、一定時間内に含まれる複数のフレームに割り当て可能な総符号量を表す割り当て可能符号量情報と前記一定時間に含まれ、既に符号化済みのフレームの前記発生符号量とから、前記一定時間に含まれ、まだ符号化していないフレームである未符号化フレームに割り当て可能な総符号量である未符号化フレーム割り当て可能符号量を算出し、前記面積データと前記符号量予測値算出パラメータとを用いて、前記未符号化フレームの各領域での発生符号量を予測し、前記未符号化フレーム割り当て可能符号量を配分し、次に符号化する一枚のフレームの前記各領域での目標符号量を算出し、前記目標符号量として出力する一連の処理を前記一定時間に含まれる複数のフレームの各々に対して順次行う工程と、を含んでいる。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００２６】
図１を参照すると、本発明の一実施の形態としての動画像符号化手段が示されている。
【００２７】
符号化手段１０１へは、目標符号量算出手段１０２の出力(目標符号量)と形状情報データ、オブジェクト画像データが入力され、その第１の出力は符号列を生成し、第２の出力（発生符号量）は符号量モデルパラメータ算出手段１０６と目標符号量算出手段１０２とへ接続され、第３の出力（符号化情報）は符号量モデルパラメータ算出手段１０６へ接続される。
【００２８】
面積算出手段１０５へは、形状情報データが入力され、その出力（面積データ）は、面積予測値算出パラメータ抽出手段１０３と符号量モデルパラメータ算出手段１０６へ接続される。面積予測値算出パラメータ抽出手段１０３へは、面積算出手段１０５の出力が入力され、その出力（面積予測値算出パラメータ）は、目標符号量算出手段１０２へ接続される。
【００２９】
符号量モデルパラメータ算出手段１０６へは、符号化手段１０１の第２と第３の出力と、面積算出手段１０５の出力とが入力され、その出力（符号量モデルパラメータ）は、符号量予測値算出パラメータ抽出手段１０４へ接続される。
【００３０】
符号量予測値算出パラメータ抽出手段１０４へは、符号量モデルパラメータ算出手段１０６の出力が入力され、その出力（符号量予測値算出パラメータ）は目標符号量算出手段１０２へ接続される。目標符号量算出手段１０２へは、割り当て可能符号量情報と、符号化手段１０１の第２の出力と、面積予測値算出パラメータ抽出手段１０３の出力と、符号量予測値算出パラメータ抽出手段１０４の出力とが入力され、その出力（目標符号量）は、符号化手段１０１へ接続される。
【００３１】
形状情報データは、物体の形状を表すデータであり、例えば、物体領域を255、それ以外を0で表したマスク画像がこれに相当する。オブジェクト画像データは、各フレームのオブジェクトを抜き出して得られる画像のシーケンスである。
【００３２】
形状情報データとオブジェクト画像データは、符号化手段１０１へ入力され、ここで、形状情報と画像データの符号化が行われる。この符号化方法としては、例えば、ＭＰＥＧ-4の符号化を用いることができる。この際、各ＶＯＰ（ビデオオブジェクトプレーン、以下ＶＯＰと表す）の符号量が、目標符号量で定められる値になるように符号量制御を行う。そして、符号化によって得られた符号列を出力するとともに、発生符号量と符号化情報とを出力する。
【００３３】
ここで、符号化情報とは、アクティビティや動き補償予測誤差電力、動き補償予測誤差信号の平均絶対値誤差（MAD）、量子化パラメータ、動きベクトル情報など、符号化によって求まる特徴量である。
【００３４】
形状情報データは、面積算出手段１０５へも入力される。面積算出手段１０５では、形状情報データから、オブジェクト領域の面積を算出する手段であり、オブジェクト領域に含まれる画素数を計数することによって面積を算出する。形状情報が２値でなく、多値の場合には、まず、形状情報の２値化を行い、次に、面積を算出する。あるいは、画素数のかわりに、オブジェクトの領域を含む（マクロ）ブロックの数によって面積を表すことにしてもよい。算出された面積データは、面積予測値算出パラメータ抽出手段１０３と符号量モデルパラメータ算出手段１０６へ入力される。
【００３５】
面積予測値算出パラメータ抽出手段１０３では、面積算出手段１０５から入力される面積データの履歴に基づいて、オブジェクト面積の時間変化を近似する関数を求める。そして、この関数を記述するのに必要なパラメータを面積予測値算出パラメータとして出力する。
【００３６】
例えば、時刻t（あるいはＶＯＰの番号）におけるＶＯＰでのオブジェクトの面積をA(t)で表すことにし、これをn次の式（１５）で近似する。式（１５）中、パラメータpj （j=0、...、n）が面積予測値算出パラメータになる。これらの値を、過去に求まったいくつかのＶＯＰにおける面積値から、最小二乗法などによって算出する。あるいは、面積予測値算出パラメータは、数１５によって求まる、今後符号化する各ＶＯＰでの面積の予測値そのものであってもよい。あるいは、関数のタイプを予めいくつか定めておき、関数を特定するためのインデックスも一緒に面積予測値算出パラメータとして出力するようになっていてもよい。
【００３７】
この場合、予め定めた関数のタイプのうち、面積の変化を最もよく近似する関数とそのパラメータを求め、この関数のタイプを示すインデックスと、パラメータを面積予測値算出パラメータとする。求まった面積予測値算出パラメータは、目標符号量算出手段１０２へ出力される。
【００３８】
一方、符号化手段１０１から出力される発生符号量と符号化情報は、符号量モデルパラメータ算出手段１０６へ入力される。符号量モデルパラメータ算出手段１０６の動作は、基本的には図３に示す符号量モデルパラメータ算出手段１００６の動作と同様であり、符号量と符号化情報との関係を数学的なモデルで表し、このモデルを記述するためのパラメータを符号量モデルパラメータとして算出する。ただし、符号量モデルパラメータ算出手段１００６では、画面全体の符号量をモデル化したときのパラメータを算出するのに対し、符号量モデルパラメータ算出手段１０６では、単位面積あたりの発生符号量のモデル化を行う。
【００３９】
このため、符号量モデルパラメータ算出手段１０６へは、面積算出手段１０５で算出された面積データも入力され、符号量モデルパラメータの算出に用いられる。また、ここで用いるモデルは、式（１）〜（３）や式（７）〜（９）で与えられるモデルには限定されず、他のモデルを用いることもできる。
【００４０】
そして、算出された符号化モデルパラメータは、符号量予測値算出パラメータ抽出手段１０４へ出力される。
【００４１】
符号量予測値算出パラメータ抽出手段１０４では、符号化モデルパラメータ算出手段１０６から出力される符号化モデルパラメータの履歴に基づいて、符号化モデルパラメータの時間変化を近似する関数を求める。そして、この関数を記述するのに必要なパラメータを抽出し、符号量予測値算出パラメータとして出力する。
【００４２】
例えば、時刻t（あるいはＶＯＰの番号）におけるＶＯＰでの符号量モデルパラメータをX(t)で表すことにし、これをn次の式（１６）で近似する。式（１６）中、パラメータqj （j=0、...、n）が符号量予測値算出パラメータである。これらの値を、過去に求まったいくつかのＶＯＰにおける符号量モデルパラメータ値から、最小二乗法などによって算出する。あるいは、符号量予測値算出パラメータは、数１６によって求まる、今後符号化する各ＶＯＰでの符号化モデルパラメータの予測値そのものであってもよい。あるいは、関数のタイプを予めいくつか定めておき、関数を特定するためのインデックスも一緒に符号量予測値算出パラメータとして出力するようになっていてもよい。
【００４３】
面積予測値算出パラメータ抽出手段１０３から出力された面積予測値算出パラメータと符号量予測値算出パラメータ抽出手段１０４から出力された符号量予測値算出パラメータは、目標符号量算出手段１０２へ入力される。目標符号量算出手段１０２へは、これ以外に、割り当て可能符号量情報と、符号化手段１０１から出力される発生符号量も入力される。
【００４４】
目標符号量算出手段１０２では、面積予測値算出パラメータと符号量予測値算出パラメータを用いて各ＶＯＰにおける目標符号量を算出する。ある一定時間に割り当て可能な符号量をその一定時間に含まれる各ＶＯＰに対して配分する。この各ＶＯＰへの割り当て符号量が、目標符号量算出手段から出力される目標符号量となる。
【００４５】
この一定時間がＧＯＶの時間間隔に相当し、ＧＯＶ単位で符号量制御を行う場合には、まず、ＧＯＶに割り当て可能な符号量を割り当て可能符号量情報から算出する。割り当て可能符号量情報としては、例えば、ユーザが指定する符号化のビットレートがある。この場合は、割り当て可能符号量情報をＶＯＰレートで割り、ＧＯＶに含まれるＶＯＰの数をこれに乗じることによって、ＧＯＶに割り当て可能な符号量を算出する。
【００４６】
次に、ＧＯＶの中で、すでに符号化が終わったＶＯＰが存在する場合には、これらの符号化で発生した符号量をＧＯＶに割り当て可能な符号量から減じ、残りの割り当て可能符号量を求める。そして、この符号量を、ＧＯＶに含まれる残りのＶＯＰへの配分量を考慮しながら、次に符号化するＶＯＰの目標符号量を算出する。
【００４７】
以下では、式（１）〜（３）で与えられる符号量モデルを用い、Ｉ、Ｐ、Ｂ-ＶＯＰの目標符号量TI、TP、TBを算出するシステムについて述べる。ただし、式（１）〜（３）までは、画面全体の符号量を扱っているのに対し、ここでは、単位面積あたりの符号量に対して、式（１）〜（３）を適用する。
【００４８】
Ｉ−ＶＯＰの単位面積あたりの目標符号量をＴ、Ｉ−ＶＯＰの時刻をtI、時刻ｔにおける面積、Ｉ、Ｐ、Ｂ−ＶＯＰに対する複雑度指標をそれぞれA(t)、XI(t)、XP(t)、XB(t)とすると、時刻ｔにおけるＩ、Ｐ、Ｂ−ＶＯＰの目標符号量は、式（１７）、式（１８）、式（１９）で表される。式（１７）、式（１８）、式（１９）中、Kp、KBは、ＴＭ−５のシステムと同様の、Ｐ、Ｂピクチャに対する量子化の粗さを制御するためのパラメータである。割り当てが可能な残りの符号量をＲとすると、式（２０）が成り立つ。式（２０）中、τI、τP、τBは、ＧＯＶに含まれる残りのＶＯＰにおいて、ＶＯＰタイプがＩ、Ｐ、Ｂ−ＶＯＰである時刻の集合であり、式（２０）は、式（１２）を一般化した式である。ただし、残りのＶＯＰに対応するタイプのＶＯＰが存在しない場合には、τI、τP、τBは空集合となる。
【００４９】
これより、時刻tIにおけるＩ−ＶＯＰの目標符号量は、式（２１）で表される。同様にして、時刻tPのＰ-ＶＯＰ、時刻tBのＢ-ＶＯＰに対する目標符号量も算出でき、式（２２）、式（２３）によって与えられる。
【００５０】
従って、目標符号量算出手段１０２では、まず、面積予測値算出パラメータと符号量予測値算出パラメータを用いて、ＧＯＶに含まれる残りのＶＯＰにおける面積値と複雑度指標の値を算出し、次に、次に符号化するＶＯＰのタイプがＩ、Ｐ、Ｂ−ＶＯＰのいずれかによって式（２１）から式（２３）の１つを選択し、求まった面積値と複雑度指標の値を代入して計算することによって目標符号量を算出する。
【００５１】
また、式（７）〜（９）に示される２次の符号量モデルを用いることもできる。この場合、符号量モデルパラメータXI、YI、XP、YP、XB、YB、Ｄの時間的な変化を表す関数を求め、この関数を記述するパラメータが符号量予測値算出パラメータとなる。ただし、式（７）〜（９）までは、画面（オブジェクト）全体の符号量を扱っているのに対し、ここでは、単位面積あたりの符号量に対して、式（７）〜（９）を適用する。算出方法は、上述の場合と同様である。
【００５２】
このようにして算出される目標符号量は符号化手段１０１へ入力され、次のＶＯＰの符号化に用いられる。
【００５３】
以上述べた方法は、テクスチャの符号量のみで目標符号量を決定しているが、動きや形状の符号量も考慮して目標符号量を決定することもできる。
【００５４】
この場合は、符号化手段１０１では、動き、形状、テクスチャの発生符号量をそれぞれ別に計測し、得られた結果を発生符号量として出力する。
【００５５】
符号量モデルパラメータ算出手段１０６では、テクスチャに関する符号量モデルパラメータ以外に、単位面積あたりの動きや形状の符号量をモデル化するためのパラメータも算出する。単純には、動きや形状の符号量を面積算出手段１０５から入力される面積データで割ることによって単位面積あたりの動きや形状の符号量を算出し、これをそのまま動きや形状に関する符号量モデルパラメータとして出力する。
【００５６】
そして、符号量予測値算出パラメータ抽出手段１０４では、動きや形状に関する符号量モデルパラメータの履歴から、この時間変化を近似する関数を求め、これを記述するパラメータを符号量予測値算出パラメータとして、テクスチャに関する符号量予測値算出パラメータとともに出力する。
【００５７】
目標符号量算出手段１０２では、動きや形状の符号量予測値算出パラメータを用い、残りのＶＯＰに対して、単位面積あたりの動きと形状の符号量の予測値を求める。これに、面積予測値算出パラメータ抽出手段１０３から出力される面積予測値算出パラメータを用いて計算される面積の予測値を乗じて、動きと形状の符号量の予測値を算出する。残りのＶＯＰで予測値の総和をとったものを、残りの割り当て可能符号量Ｒから減じ、これを改めてＲとして式（２１）〜式（２３）を用いることで、テクスチャの目標符号量を算出する。これにより、動きや形状の符号量まで考慮した符号量配分が可能となる。
【００５８】
今までは、個々のオブジェクトを独立に符号量制御して符号化する場合について述べてきたが、複数のオブジェクトを同時に扱い、各オブジェクトのＶＯＰに対する目標符号量を決定し、符号化するシステムも可能である。
【００５９】
オブジェクトの数をＪ個とすると、図１の符号化手段において、形状情報データ、オブジェクト画像データはＪ個のオブジェクト分のデータとなる。同様に、面積データ、面積予測値算出パラメータ、符号化情報、発生符号量、符号量モデルパラメータ、符号量予測値算出パラメータ、目標符号量、符号列も、Ｊ個のオブジェクトそれぞれに対して存在する。そして、符号化手段１０１、面積算出手段１０５、面積予測値算出パラメータ抽出手段１０３、符号量モデルパラメータ算出手段１０６、符号量予測値算出パラメータ抽出手段１０４では、Ｊ個のオブジェクトそれぞれに対して、前述の処理を行う。
【００６０】
一方、目標符号量算出手段１０２では、割り当て可能符号量とＪ個のオブジェクトそれぞれに対する面積予測値算出パラメータと符号量予測値算出パラメータと発生符号量とから、Ｊ個のオブジェクトそれぞれに対する目標符号量を算出し、出力する。次に、この場合の各オブジェクトに対する目標符号量の算出法について述べる。
【００６１】
j番目のオブジェクトのＩ-ＶＯＰに対する量子化パラメータを式（２４）で表すことにする。式（２４）中、QI、jはj番目のオブジェクトのＩ−ＶＯＰに対する量子化パラメータであり、Qは基準となる量子化パラメータである。Ｑの値は割り当て可能符号量に依存して変動する。一方、Mjはオブジェクト毎に量子化の粗さを調整する定数である。Mjが全てのオブジェクトに対して1であれば、全てのオブジェクトを同程度の粗さで量子化することになるが、この値の大小によって、オブジェクト間で量子化の粗さに差異をもたせることができる。例えば、視覚的に重要と考えられるオブジェクトの量子化を細かくし、それ以外のオブジェクトの量子化を粗くするといった制御が可能になる。以下では、割り当て可能符号量に合うようにQを定め、これに基づいて各オブジェクトの目標符号量を算出するシステムについて述べる。
【００６２】
ｊ番目のオブジェクトのＰ、Ｂ−ＶＯＰでの量子化パラメータQP、j、QB、jは、式（２４）を用いて、式（２５）、式（２６）で与えられる。式（２５）、式（２６）中、KP、j、KB、jは、Ｉ−ＶＯＰの量子化パラメータに対するＰ、Ｂ−ＶＯＰの量子化パラメータの比である。これより、j番目のオブジェクトのＩ、Ｐ、Ｂ−ＶＯＰの目標符号量は、それぞれ、式（２７）、式（２８）,式（２９）となる。
【００６３】
j番目のオブジェクトに対し、ＧＯＶに含まれる残りのＶＯＰにおいて、ＶＯＰタイプがＩ、Ｐ、Ｂ−ＶＯＰである時刻の集合をτI、j、τP、j、τB、jとする。ただし、残りのＶＯＰに対応するタイプのＶＯＰが存在しない場合には、τI、j、τP、j、τB、jは空集合となる。このとき、式（３０）が成り立つため、式（２７）〜式（２９）を式（３０）に代入し、Qについて解くと、式（３１）を得る。
【００６４】
式（３１）を式（２７）〜（２９）に代入することで、式（３２）、式（３３）、式（３４）を得る。このようにして各オブジェクトの目標符号量を算出し、各オブジェクトの符号化手段へ出力する。
【００６５】
このように、複数のオブジェクトが存在する場合にも、適切に符号量配分を行うことができる。また、数３２〜３４で与えられる目標符号量はオブジェクトごとにフレームレートが異なっている場合でも適用可能である。
【００６６】
次に、図2を参照して、本発明の他の実施の形態について述べる。これは、符号化において、遅延が許される場合に適用できる。基本的には図１に示す符号化手段の構成と同様であるが、面積予測値算出パラメータ抽出手段１０３を具備しておらず、バッファ２００を具備している。
【００６７】
また、目標符号量算出手段１０２の代わりに目標符号量算出手段２０２を具備しており、符号量モデルパラメータ算出手段１０６の代わりに符号量モデルパラメータ算出手段２０６を有している。
【００６８】
バッファ２００へは、形状情報データとオブジェクト画像データとが入力され、その第１の出力（形状情報データ）と第２の出力（オブジェクト画像データ）はともに符号化手段１０１へ接続される。
【００６９】
そして、面積算出手段１０５へは、バッファ２００へ入力される前の形状データが入力され、その出力（面積データ）は目標符号量算出手段２０２と符号量モデルパラメータ算出手段２０６へ接続される。
【００７０】
目標符号量算出手段２０２へは、符号量予測値算出パラメータ抽出手段１０４の出力と面積算出手段１０５の出力と、割り当て可能符号量情報と符号化手段１０１の第２の出力（発生符号量）とが入力され、その出力は符号化手段１０１へ接続される。それ以外については、図１の符号化手段と同様である。
【００７１】
バッファ２００では、符号量制御の単位となる時間（例えばＧＯＶ）の間だけ、入力される形状情報と画像データを蓄積する。符号化手段１０１の動作は、図１のものと同様である。
【００７２】
符号量モデルパラメータ算出手段２０６の動作は、基本的には図１の符号量モデルパラメータ算出手段１０６と同様であるが、面積算出手段１０５から出力される面積データを一定時間記憶しておき、符号化手段１０１から出力される発生符号量に対応するＶＯＰの面積データを用いて符号量モデルパラメータの算出を行う。
【００７３】
目標符号量算出手段２０２においても、図１の目標符号量算出手段１０２と同様にして目標符号量を算出するが、目標符号量算出手段１０２では面積の予測値A(ｔ)を用いて目標符号量を算出したのに対し、目標符号量算出手段２０２では、面積算出手段１０５において符号化に先立って算出された面積データを用いて算出する。
【００７４】
それ以外の部分の動作については、図１の符号化手段のものと同様である。
【００７５】
図２の符号化手段では、目標符号量算出手段２０２での目標符号量の算出において、面積の予測値ではなく、実際の面積データを用いるため、図１の符号化手段よりも精度の高い符号量配分が可能になる。
【００７６】
以上、オブジェクトに分けて符号化するシステムについて述べてきたが、各オブジェクトを合成してできるフレームを、オブジェクトごとに分離せずに符号化するシステムの符号量配分にも適用できる。この場合は、オブジェクト毎にフレームの領域を分割し、その領域ごとに符号量制御を行う。この際、オブジェクトに対応する領域毎に符号化モデルパラメータを算出し、上述のオブジェクト毎に目標符号量を算出したシステムと同様にして、領域毎に目標符号量を算出する。そして、この目標符号量に従って、領域毎に個別に符号量制御を行って符号化する。この場合は、形状情報は符号化する必要はなく、符号量制御の目的にのみ用いる。
【００７７】
これにより、視覚的に重要なオブジェクトの面積がシーケンスで大きく変化する場合でも、割り当て可能な符号量をバランス良く配分することが可能になる。あるいは、オブジェクトを合成してできるシーケンスの符号化でなくても、画面を領域に分割し、上述のシステムによって領域毎に符号量制御を行う場合にも、同様のシステムを用いることができる。例えば、テレビ電話の画面の場合には、人物の写っている領域とそうでない領域とを分割し、領域毎に上述のシステムによって目標符号量を算出して符号化制御を行う。このようにすれば、領域の重要度に応じた符号量制御が可能となる。
【００７８】
以上、本発明の実施の形態について説明してきたが、本発明の動画像符号化システムの動作を実現できるプログラムを、ＣＤ?ＲＯＭやフロッピーディスク、不揮発性メモリカードなどの記憶媒体に記憶し、記憶媒体に記憶しているプログラムをコンピュータによって読み取り実行するようにしてもよい。
【００７９】
【数１】
0004534106.tif 000002
【００８０】
【数２】
0004534106.tif 000003
【００８１】
【数３】
0004534106.tif 000004
【００８２】
【数４】
0004534106.tif 000005
【００８３】
【数５】
0004534106.tif 000006
【００８４】
【数６】
0004534106.tif 000007
【００８５】
【数７】
0004534106.tif 000008
【００８６】
【数８】
0004534106.tif 000009
【００８７】
【数９】
0004534106.tif 000010
【００８８】
【発明の効果】
以上説明した本願発明によれば、これから符号化するＶＯＰに対して、面積と単位面積あたりの符号量の変化を予測しつつ符号量配分を行うことで、オブジェクトの面積がシーケンス中で大きく変わるような場合やテクスチャの特性が変化する場合でも、画質を維持して符号化できる。
【００８９】
又、オブジェクト毎のフレームレートが異なっていても適切に符号量配分を行うことができる。
【図面の簡単な説明】
【図１】本発明の動画像符号化手段を示すブロック図である。
【図２】本発明の他の実施の形態の動画像符号化手段を示すブロック図である。
【図３】従来の動画像符号化手段を示すブロック図である。
【符号の説明】
１０１  符号化手段
１０２  目標符号量算出手段
１０３  面積予測値算出パラメータ抽出手段
１０４  符号量予測値算出パラメータ抽出手段
１０５  面積算出手段
１０６  符号量モデルパラメータ算出手段
２００  バッファ
２０２  目標符号量算出手段
２０６  符号量モデルパラメータ算出手段
１００１  符号化手段
１００２  目標符号量算出手段
１００６  符号量モデルパラメータ算出手段
【図１】
0004534106.tif 000011
【図２】
0004534106.tif 000012
【図３】
0004534106.tif 000013