(57)【要約】【課題】  低消費電力化を図りながらも、破綻現象を回避することができる動画像符号化又は復号化処理システム及び動画像符号化又は復号化処理方法を提案する。【解決手段】  所定フレームの符号化又は復号化に必要な必要演算量を計算する必要演算量計算手段２と、所定フレームの符号化処理又は復号化処理に予め割り当てられている時間Ｔｅ内に前記必要演算量を符号化処理又は復号化処理可能な動作電源電圧及び基板バイアス電圧及び動作周波数を計算する動作決定手段３とを備え、時間Ｔｅ内は前記プロセッサ１が前記算出された一定の動作周波数及び動作電源電圧及び基板バイアス電圧で動作しながら所定フレームの符号化又は復号化処理を行い、さらに、必要演算量計算手段で算出された必要演算量が実際に必要な演算量よりも小さい場合におこる破綻現象を回避する破綻回避手段を備える。【選択図】  図１【特許請求の範囲】
【請求項１】
連続する複数のフレームから構成される動画像をフレーム単位で符号化する動画像符号化手段として機能するプロセッサを備え、
一のフレームの符号化に必要な必要演算量Ｋｐを計算する必要演算量計算手段と、当該一のフレームの符号化処理に予め割り当てられている時間Ｔｅ内に当該必要演算量Ｋｐを符号化処理可能な動作周波数を決定する動作決定手段とを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定手段により決定された動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら当該動画像符号化手段により当該一のフレームの符号化処理を行う動画像符号化処理システムであり、
所定のタイミングで符号化処理の演算量を削減する第１の破綻回避手段を備えることを特徴とする動画像符号化処理システム。
【請求項２】
前記第１の破綻回避手段は、符号化が終了していないマクロブロックのうち、色差信号の情報を持つブロックを無効ブロックとして処理を行うことを特徴とする請求項１記載の動画像符号化処理システム。
【請求項３】
前記第１の破綻回避手段は、符号化が終了していないマクロブロックに対し、フレーム内符号化処理を行うことを特徴とする請求項１記載の動画像符号化処理システム。
【請求項４】
前記第１の破綻回避手段は、符号化が終了していないマクロブロックに対し、動きベクトル検出を行うことなく動きベクトルを０としてフレーム間符号化処理を行うことを特徴とする請求項１記載の動画像符号化処理システム。
【請求項５】
前記第１の破綻回避手段は、符号化が終了していないマクロブロックに対し、量子化ステップサイズを大きくして符号化処理を行うことを特徴とする請求項１記載の動画像符号化処理システム。
【請求項６】
前記第１の破綻回避手段が前記一のフレームよりも後に符号化される後続フレームの符号化処理に与える影響を緩和する緩和手段を備えることを特徴とする請求項１乃至請求項５のいずれか１項に記載の動画像符号化処理システム。
【請求項７】
前記緩和手段は、当該一のフレームにおいて第１の破綻回避手段による処理が実行されたマクロブロックに対応する後続フレームのマクロブロックに対し、量子化ステップサイズを小さくすることを特徴とする請求項６に記載の動画像符号化処理システム。
【請求項８】
前記第１の破綻回避手段により前記一のフレームの符号化処理の演算量が削減された場合、当該一のフレームよりも後に符号化処理される後続フレームの必要演算量を増加させることを特徴とする請求項１乃至請求項７のいずれか１項に記載の動画像符号化処理システム。
【請求項９】
前記後続フレームの必要演算量、又は、必要演算量の算出に用いられる要素について、ｍ倍（ｍは１以上の実数）、又は、０より大きい実数ｎを加算することにより、前記後続フレームの必要演算量を増加させることを特徴とする請求項８記載の動画像符号化又は復号化処理システム。
【請求項１０】
連続する複数のフレームから構成される動画像をフレーム単位で符号化または復号化する動画像符号化又は復号化手段として機能するプロセッサを備え、
一のフレームの符号化又は復号化に必要な必要演算量Ｋｐを計算する必要演算量計算手段と、当該一のフレームの符号化又は復号化処理に予め割り当てられている時間Ｔｅ内に前記必要演算量Ｋｐを符号化又は復号化処理可能な動作周波数を決定する動作決定手段とを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は、当該動作決定手段により決定された動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら当該動画像符号化又は復号化手段により当該一のフレームの符号化又は復号化処理を行う動画像符号化又は復号化処理システムであり、
前記必要演算量算出手段で算出された必要演算量Ｋｐが実際に必要な演算量よりも小さい場合、当該一のフレームよりも後に符号化又は復号化される後続フレームの必要演算量を増加させる第２の破綻回避手段を備えることを特徴とする動画像符号化又は復号化処理システム。
【請求項１１】
前記第２の破綻回避手段は、前記後続フレームの必要演算量、又は、必要演算量の算出に用いられる要素について、ｍ倍（ｍは１以上の実数）、又は、０より大きい実数ｎを加算することを特徴とする請求項１０記載の動画像符号化又は復号化処理システム。
【請求項１２】
連続する複数のフレームから構成される動画像をフレーム単位で符号化または復号化する動画像符号化又は復号化手段として機能するプロセッサを備え、
一のフレームの符号化又は復号化に必要な必要演算量Ｋｐを計算する必要演算量計算手段と、当該一のフレームの符号化又は復号化処理に予め割り当てられている時間Ｔｅ内に前記必要演算量Ｋｐを符号化又は復号化処理可能な動作周波数を決定する動作決定手段とを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は、当該動作決定手段により決定された動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら動画像符号化又は復号化手段により当該一のフレームの符号化又は復号化処理を行う動画像符号化又は復号化処理システムであり、
所定のタイミングで前記時間Ｔｅを延長する第３の破綻回避手段を備えることを特徴とする動画像符号化又は復号化処理システム。
【請求項１３】
前記第３の破綻回避手段は、前記一のフレームの符号化処理に予め割り当てられている時間Ｔｅを延長した場合に、前記一のフレームよりも後に符号化又は復号化される後続フレームについて、当該後続フレームの符号化処理又は復号化処理に予め割り当てられている時間Ｔｅを変更することを特徴とする請求項１２記載の動画像符号化又は復号化処理システム。
【請求項１４】
前記第３の破綻回避手段は、前記一のフレームの符号化処理に予め割り当てられている時間Ｔｅを延長した場合に、次に符号化されるフレームを格納する入力フレームメモリに対して、フレームの書き込み先を変更することを特徴とする請求項１２又は請求項１３記載の動画像符号化処理システム。
【請求項１５】
前記第３の破綻回避手段は、前記一のフレームの符号化処理に予め割り当てられている時間Ｔｅを延長した場合に、次に符号化されるフレームを格納する入力フレームメモリに対して書き込み不可とすることを特徴とする請求項１２又は請求項１３記載の動画像符号化処理システム。
【請求項１６】
プロセッサを使用して連続する複数のフレームから構成される動画像をフレーム単位で符号化する動画像符号化ステップと、一のフレームの符号化に必要な必要演算量Ｋｐを計算する必要演算量計算ステップと、当該一のフレームの符号化処理に予め割り当てられている時間Ｔｅ内に当該必要演算量Ｋｐを符号化処理可能な動作周波数を決定する動作決定ステップとを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定ステップにおいて得られた動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら、動画像符号化又は復号化ステップにおいて当該一のフレームの符号化処理を行う動画像符号化処理方法であり、
所定のタイミングで符号化処理の実際の演算量を削減する第１の破綻回避ステップを備えることを特徴とする動画像符号化処理方法。
【請求項１７】
プロセッサを使用して連続する複数のフレームから構成される動画像をフレーム単位で符号化又は復号化する動画像符号化又は復号化ステップと、一のフレームの符号化又は復号化に必要な必要演算量Ｋｐを計算する必要演算量計算ステップと、当該一のフレームの符号化又は復号化処理に予め割り当てられている時間Ｔｅ内に前記必要演算量Ｋｐを符号化又は復号化処理可能な動作周波数を決定する動作決定ステップとを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定ステップにより得られた動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら、動画像符号化又は復号化ステップにおいて当該一のフレームの符号化又は復号化処理を行う動画像符号化又は復号化処理方法であり、
前記必要演算量算出手段で算出された必要演算量Ｋｐが実際に必要な演算量よりも小さい場合、当該一のフレームよりも後に符号化又は復号化される後続フレームの必要演算量を増加させる第２の破綻回避ステップを備えることを特徴とする動画像符号化又は復号化処理方法。
【請求項１８】
プロセッサを使用して連続する複数のフレームから構成される動画像をフレーム単位で符号化又は復号化する動画像符号化ステップと、一のフレームの符号化又は復号化に必要な必要演算量Ｋｐを計算する必要演算量計算ステップと、当該一のフレームの符号化又は復号化処理に予め割り当てられている時間Ｔｅ内に前記必要演算量Ｋｐを符号化又は復号化処理可能な動作周波数を決定する動作決定ステップとを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定ステップにおいて得られた動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら、動画像符号化又は復号化ステップにおいて当該一のフレームの符号化又は復号化処理を行う動画像符号化又は復号化処理方法であり、
所定のタイミングで当該時間Ｔｅを延長する第３の破綻回避ステップを備えることを特徴とする動画像符号化又は復号化処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作周波数、及び、動作電源電圧及び／又は基板バイアス電圧が変更可能なプロセッサを使用して、連続する複数のフレームから構成される動画像をフレーム単位で順次符号化や復号化を行う動画像符号化処理システム、動画像符号化又は復号化処理システム、動画像符号化処理方法、及び、動画像符号化又は復号化処理方法に関する。
【背景技術】
【０００２】
近年、伝送路を通じて動画像の送受信を行うことや、動画像を蓄積メディアに蓄積することが可能となっている。一般に、動画像は情報量が大きいため、伝送ビットレートの限られた伝送路を用いて動画像を伝送する場合、あるいは蓄積容量の限られた蓄積メディアに動画像を蓄積する場合には、動画像を符号化・復号化する技術が必要不可欠である。動画像の符号化・復号化方式として、ISO/IECが標準化を進めているＭＰＥＧ(Moving Picture Experts Group)やＨ.２６Ｘがある。これらは動画像を構成する経時的に連続した複数のフレームの符号化又は復号化を行うものであり、動画像の時間的相関、空間的相関を利用した冗長性の削減を行うことにより動画像の情報量を減らして符号化し、符号化された動画像を再度元の動画像に復号化する技術である。【０００３】
かかる符号化・復号化技術はパーソナルコンピュータやマイクロコンピュータを内蔵する携帯電話等の情報端末機器等に適用されており、符号化・復号化の手段を記述したプログラムに基づいてコンピュータのプロセッサ等を動作させることにより、動画像を送信等する場合は動画像符号化処理システムとして、動画像を受信等する場合は動画像復号化処理システムとして機能させている。しかしながら、かかる動画像符号化又は復号化処理は比較的に演算量が多いため消費電力が大きくなる傾向にあり、ハードウエアよりも汎用性の高いソフトウエアを使用して、符号化・復号化処理における低消費電力化を図ることが大きな課題となっている。【０００４】
以下に、ソフトウエアを使用した動画像符号化又は復号化システムにおける従来の低消費電力化の手段を説明する。従来の低消費電力化の手段としては、例えば下記の非特許文献１に開示されている。【０００５】
【非特許文献１】IEEE International Symposium on Circuits and System 2001(May,2001)の予稿集pp918-921 “ An LSI for Ｖｄｄ-Hopping and MPEG4 System Based on the Chip”(H. Kawaguchi, G. Zhang, S. Lee, and T. Sakurai)
【０００６】
図２２は、非特許文献１で示された、動画像（動画像）符号化処理システムについて従来の低消費電力化を行う手法を示した図である。なお、低消費電力化の手段は、動画像復号化処理システムにおいても同様である。【０００７】
非特許文献１では、動的に動作電源電圧及び動作周波数を変更可能なプロセッサ上で、動画像符号化（特にMPEG）を処理する場合の低消費電力化を行うための動作電源電圧及び動作周波数の制御方法を示している。すなわち非特許文献１の発明は、図２３に示すように、動画像符号化を行う場合に、動画像内の動きの激しさなどによりフレーム単位に動画像符号化又は復号化の演算量が異なることに注目し、プロセッサの動作周波数及び動作電源電圧を制御して低消費電力化を図るものである。【０００８】
符号化処理は、１フレームの処理時間が符号化方式（MPEGなど）の規定などにより時間Ｔfに制約されており、その処理時間Ｔf内に１フレームの符号化処理が完了することが必要とされる。１フレームの処理時間Ｔf（秒）に対して、それを一定間隔にＮ個に分割し、一つ一つの間隔（時間）をタイムスロットＴslot（Ｔslot＝Ｔf／Ｎ）と定義し、また、タイムスロットＴslot１からタイムスロットＴslotｉが終了した時点の残時間ＴＲiをＴＲi＝Ｔf−Ｔslot×ｉと定義する。一つのタイムスロットＴslotで処理する動画像のブロック数（動画像の符号化はブロック単位に処理が行われる）をＲ（すなわちＲ×Ｎが１フレームのブロック数となる）とし、（Ｒ×ｉ）ブロック処理にかかった時間（すなわちタイムスロットＴslot１からタイムスロットＴslotｉまでに処理すべきブロック群に対して実際に処理にかかった時間）をＴacc(i+1)とする。電圧変更した場合に動作電源電圧及び動作周波数が安定するまでの時間をＴrdとする。なお、実タイムスロットＲＴslotｉはタイムスロットＴslotｉ内に完了されるべき処理に対して実際に要した処理時間を示す。図２２では、まずタイムスロットＴslot１及びタイムスロットＴslot２に割り当てられたブロック群の処理に対しては、負荷が最大の場合でもそのタイムスロットＴslot１，Ｔslot２内に十分に処理が完了可能なクロック周波数Ｆmaxで動作させる。その処理にかかった時間Ｔacc３がＴacc３＜（Ｔf−ＴＲ２）である場合、すなわち、割り当てられたブロック群がタイムスロットＴslot１,Ｔslot２内で処理が完了した場合、次のタイムスロットＴslot３に割り当てられたブロック群の処理に使用可能な処理時間Ｔtar３はＴtar３＝Ｔf−Ｔacc３−ＴＲ３−Ｔrdであり、この処理時間Ｔtar３内にＴslot３に割り当てられたブロック群の処理が完結すればよいので、このブロック群に対しては動作周波数を下げて動作させる。図２２の処理時間Ｔf1，Ｔf2，Ｔf3は、タイムスロットＴslot３において負荷が最大の場合に、各動作周波数Ｆ１，Ｆ２，Ｆ３で動作させたときの処理時間を示す。動作周波数としては、図２２においてＦ２＝Ｆmax／２の動作周波数を選択すれば、負荷が最大の場合でもタイムスロットＴslot１からタイムスロットＴslot３までに完了されるべき処理時間が（Ｔf−ＴＲ３）以内である、次のタイムスロットＴslot４に処理が入り込むことはない。一方、動作周波数Ｆ３＝Ｆmax／３を選択した場合は、処理時間Ｔf3が処理時間Ｔtar３を超えてしまう。したがって、このタイムスロットＴslot３で処理すべきブロック群に対してはＦ２＝Ｆmax／２の動作周波数及びその動作周波数に適する動作電源電圧で動作させる。同様にして、タイムスロットＴslot毎にこの処理を行う。【０００９】
これにより、動的に動作クロック周波数及び動作電源電圧を変更するに際し、所定時間内に所定数のブロック群を処理可能な動作周波数のうち最小の動作周波数を選択することにより、総合的に動作周波数及び動作電源電圧を下げて動作させ、必要処理に応じて電圧を制御することにより、低消費電力化が図られている。【００１０】
ところで、ある一定の処理時間（例えば、ここでは１フレームの処理時間Ｔf）に完了すべき処理（例えば、ここでは１フレームの処理）に対しては、１フレームの処理時間を通してプロセッサを一定の動作電源電圧及び動作周波数で動作させて処理することが好ましい。すなわち、１フレームの処理時間をＴf（秒）とし、演算量Ｋf（サイクル）とし、動作周波数Ｆｆとすると、動作周波数Ｆｆ＝Ｋf／Ｔf（サイクル／秒）に設定し、１フレームの処理時間Ｔfを通してプロセッサを一定の動作周波数Ｆｆで動作させることにより、その処理時間Ｔｆ内で動作周波数Ｆｆを何回も変動させる場合と比較して、より低消費電力化が可能となる。【００１１】
しかしながら、非特許文献１では、処理時間Ｔfの同期する単位が１フレームであるにもかかわらず、１フレーム内で最大Ｎ回の動作電源電圧及び動作周波数の変更が行われており、低消費電力が十分に図られていなかった。すなわち、本従来例のように多段階に動作電源電圧及び動作周波数を制御可能なプロセッサでの動画像符号化又は復号化処理の低消費電力化は、１フレームの処理中に何回も動作電源電圧及び動作周波数を変更する必要があった。一方、上述のように、処理時間の制約の単位がフレームであるため、１フレームの処理中は処理を可能にする最低限の一定の周波数で制御するのが好ましい。そのため、１フレームの処理中に最大Ｎ回動作電源電圧及び動作周波数が変更される本従来例では十分な低消費電力化ができていなかった。【００１２】
そこで、本願発明者等は下記特許文献１の発明を完成させた。この発明は、一定の動作電源電圧・動作周波数でプロセッサ１を動作させながら符号化又は復号化処理を行うことにより低消費電力化を図るものである。
【特許文献１】特願２００３−４８５３５
【００１３】
また、プロセッサの低消費電力化を妨げる他の要因の一つとして、プロセッサを構成するＭＯＳトランジスタのサブスレッショルドリーク電流が挙げられる。サブスレッショルドリーク電流は、半導体基板に形成されるＭＯＳトランジスタのゲート電圧がしきい値電圧以下のとき流れる微少電流である。このサブスレッショルドリーク電流による消費電力は、ＭＯＳトランジスタの微細化が高まるにつれて支配的となる傾向にあり、半導体基板にＭＯＳトランジスタが集積されたプロセッサを使用して動画像の符号化又は復号化を行う動画像符号化又は復号化システムにおいて、低消費電力化を妨げる要因の一つとなっている。【００１４】
このサブスレッショルドリーク電流は、１フレームの処理時間Ｔｆ内でプロセッサの動作周波数Ｆｆを何回も変動させる場合と比較して、処理時間Ｔfを通して一定の動作周波数Ｆｆで動作させることにより低減され、プロセッサの低消費電力化が可能となる。上記非特許文献１の発明は、処理時間Ｔfの同期する単位が１フレームであるにもかかわらず、１フレーム内で最大Ｎ回の動作周波数の変更が行われており、動作電源電圧のみならずサブスレッショルドリーク電流の観点からも好ましくなかった。一方、ＭＯＳトランジスタに関しては、ＭＯＳトランジスタが形成される半導体領域の基板バイアス電圧を制御することにより、サブスレッショルドリーク電流を制御できることが知られている。【００１５】
そこで、本願発明者等は下記特許文献２の発明を完成させた。この発明は、フレームごとに符号化又は復号化に必要な演算量（以下、必要演算量という）を計算し、一定の基板バイアス電圧・動作周波数、又は、一定の基板バイアス電圧・動作電源電圧・動作周波数でプロセッサ１を動作させながら符号化又は復号化処理を行うことにより低消費電力化を図るものである。
【特許文献２】特願２００３−４０９６４１
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかしながら、上記特許文献１，２においては、必要演算量計算手段で算出された必要演算量Ｋpが、符号化又は復号化処理に実際に必要となる演算量よりも小さい場合、１フレームの処理に割り当てられた時間Ｔｅ内に符号化処理又は復号化処理が完了できないという破綻現象が生じる可能性があった。各特許文献１，２においても破綻現象を回避する破綻回避手段について開示したが、さらにいくつかの破綻回避手段が考えられ、特に破綻回避手段に伴う画質の劣化を改善することが強く望まれる。【００１７】
そこで本発明は、前記のような課題を解決するためのものであり、基板バイアス電圧や動作電源電圧や動作周波数を制御することにより低消費電力化を実現しながらも、破綻現象を回避可能な動画像符号化処理システム、動画像符号化又は復号化処理システム、動画像符号化処理方法、及び、動画像符号化又は復号化処理方法を提案することにある。
【課題を解決するための手段】
【００１８】
本発明の動画像符号化処理システムは、連続する複数のフレームから構成される動画像をフレーム単位で符号化する動画像符号化手段として機能するプロセッサを備え、
一のフレームの符号化に必要な必要演算量Ｋｐを計算する必要演算量計算手段と、当該一のフレームの符号化処理に予め割り当てられている時間Ｔｅ内に当該必要演算量Ｋｐを符号化処理可能な動作周波数を決定する動作決定手段とを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定手段により決定された動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら当該動画像符号化手段により当該一のフレームの符号化処理を行う動画像符号化処理システムであり、
所定のタイミングで符号化処理の実際の演算量を削減する第１の破綻回避手段を備えることを特徴とする。
また、本発明の動画像符号化処理方法は、プロセッサを使用して連続する複数のフレームから構成される動画像をフレーム単位で符号化する動画像符号化ステップと、一のフレームの符号化に必要な必要演算量Ｋｐを計算する必要演算量計算ステップと、当該一のフレームの符号化処理に予め割り当てられている時間Ｔｅ内に当該必要演算量Ｋｐを符号化処理可能な動作周波数を決定する動作決定ステップとを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定ステップにおいて得られた動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら、動画像符号化又は復号化ステップにおいて当該一のフレームの符号化処理を行う動画像符号化処理方法であり、
所定のタイミングで符号化処理の実際の演算量を削減する第１の破綻回避ステップを備えることを特徴とする。
第１の破綻回避手段や第１の破綻回避ステップは、符号化処理の一部を、それよりも演算量の少ない処理に変更することなどにより、実際の演算量を削減する。
ここで、「符号化処理」とは、動作決定手段・動作決定ステップの処理の後に行われる符号化処理手段・符号化処理ステップの処理を指し、「復号化処理」とは、動作決定手段・動作決定ステップの処理の後に行われる復号化処理手段・復号化処理ステップの処理を指す。【００１９】
本発明の動画像符号化処理システム及び動画像符号化処理方法によれば、時間Ｔｅ内に完了すべき一のフレームの符号化処理に必要な必要演算量Ｋｐを算出し、プロセッサを時間Ｔｅ内に必要演算量Ｋｐを処理可能な動作周波数とし、一のフレームを時間Ｔｅ内に符号化処理可能な最低限の（又は最低限に近い）動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で符号化処理を行うため、低消費電力化を図ることができる。たとえ、上記必要演算量計算手段により算出された必要演算量Ｋｐが実際に必要な演算量よりも小さい場合であっても、符号化処理の実際の演算量は第１の破綻回避手段や第１の破綻回避ステップにより削減されるため、破綻現象を回避可能となる。【００２０】
前記第１の破綻回避手段は、符号化が終了していないマクロブロックのうち、色差信号の情報を持つブロックを無効ブロックとして処理を行うことを特徴とする。【００２１】
この発明によれば、輝度信号の情報を持つブロック（以下、輝度ブロックとする）と色差信号の情報を持つブロック（以下、色差ブロックとする）で構成されるマクロブロックに対し、色差ブロックのみを無効ブロック化処理し、輝度ブロックに関しては通常と同様に符号化処理されることから、マクロブロックのうちすべてのブロックを無効ブロック化処理する場合と比較して、破綻現象を回避しながらも画質を確保することができる。ここで、無効ブロック化処理の対象を輝度ブロックではなく色差ブロックとした理由は、色差ブロックの無効ブロック化処理のほうが画質劣化への影響が小さいためである。【００２２】
前記第１の破綻回避手段は、符号化が終了していないマクロブロックに対し、フレーム内符号化処理を行うことを特徴とする。【００２３】
フレーム内符号化処理はフレーム間符号化処理よりも演算量が小さい。この発明によれば、符号化が終了していないマクロブロックに対してフレーム内符号化処理を行うことで、符号化処理に実際に必要な演算量を、必要演算量計算手段で算出された必要演算量Ｋｐよりも小さく又は必要演算量Ｋｐに近い値とすることができる。これにより、破綻現象を回避可能となる。【００２４】
前記第１の破綻回避手段は、符号化が終了していないマクロブロックに対し、動きベクトル検出を行うことなく動きベクトルを０としてフレーム間符号化処理を行うことを特徴とする。【００２５】
フレーム間符号化処理のうち動きベクトル検出処理に必要な演算量は、符号化処理の演算量の大部分を占める要素である。本発明によれば、動きベクトル検出処理を行わずに動きベクトルを強制的に０としてフレーム間符号化処理を行うため、動きベクトル検出処理を行う通常のフレーム間符号化処理よりも演算量が小さくなり、実際の符号化処理の演算量を、上記必要演算量Ｋｐよりも小さく又は必要演算量Ｋｐに近い値とすることができる。これにより、破綻現象を回避可能となる。【００２６】
前記第１の破綻回避手段は、符号化が終了していないマクロブロックに対し、量子化ステップサイズを大きくして符号化処理を行うことを特徴とする。【００２７】
この発明によれば、符号化が終了していないマクロブロックに対し量子化ステップサイズを大きくして符号化処理を行うことで、当該マクロブロックで発生する有効ブロックの数、有効係数の数を抑制し、有効ブロック、有効係数に対して行われる処理（たとえば、動画像符号化方式としてＭＰＥＧ４を用いる場合、ＩＤＣＴ処理、ＩＱ処理、ＶＬＣ処理）の実行回数を削減し、符号化処理の実際の演算量を上記必要演算量Ｋｐよりも小さく又は必要演算量Ｋｐに近い値とすることができる。これにより、破綻現象を回避可能となる。【００２８】
また、本発明の動画像符号化処理システムは、前記第１の破綻回避手段により前記一のフレームよりも後に符号化される後続フレームの符号化処理に与えられる影響を緩和する緩和手段を備えることを特徴とする。【００２９】
上記の第１の破綻回避手段は、通常行われるはずの符号化処理の処理内容を変更して破綻回避を行っているため、一のフレームにおいて第１の破綻回避手段が実行された場合、後続フレームの画質は少なからず第１の破綻回避手段による処理の影響を受けることとなる。本発明によれば、一のフレームにおいて第１の破綻回避手段による処理が実行された場合に後続フレームの符号化処理への影響を緩和する緩和手段により緩和処理を行うことで、後続フレームの符号化処理による画質の劣化を抑制することができる。【００３０】
前記緩和手段は、当該一のフレームにおいて第１の破綻回避手段による処理が実行されたマクロブロックに対応する後続フレームのマクロブロックに対し、量子化ステップサイズを小さくすることを特徴とする。【００３１】
この発明によれば、量子化ステップサイズを小さくすることで、対応するマクロブロックに割り当てられる符号量を大きくして画質を改善することができ、第１の破綻回避手段による破綻回避処理が行われた場合でも、破綻回避処理が行われた一のフレームよりも後に符号化される後続フレームに対する影響を緩和することができる。【００３２】
また、前記第１の破綻回避手段により前記一のフレームの符号化処理の演算量が削減された場合は、当該一のフレームよりも後に符号化処理される後続フレームの必要演算量を増加させることを特徴とする。たとえば、前記後続フレームの必要演算量、又は、必要演算量の算出に用いられる要素について、ｍ倍（ｍは１以上の実数）、又は、０より大きい実数ｎを加算することにより、前記後続フレームの必要演算量を増加させる。【００３３】
第１の破綻回避手段や第１の破綻回避ステップの処理が実行された場合、後続フレームについて上記必要演算量Ｋｐが実際に必要な演算量よりも小さくなる確率が高い。この発明によれば、第１の破綻回避手段や第１の破綻回避ステップの処理の後に、後続フレームの必要演算量を増加させるため、後続フレームに関して上記必要演算量が実際の演算量を満たす可能性が高くなり、後続フレームにおける破綻現象を回避することができる。【００３４】
本発明の動画像符号化又は復号化処理システムは、連続する複数のフレームから構成される動画像をフレーム単位で符号化または復号化する動画像符号化又は復号化手段として機能するプロセッサを備え、
一のフレームの符号化又は復号化に必要な必要演算量Ｋｐを計算する必要演算量計算手段と、当該一のフレームの符号化又は復号化処理に予め割り当てられている時間Ｔｅ内に前記必要演算量Ｋｐを符号化又は復号化処理可能な動作周波数を決定する動作決定手段とを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は、当該動作決定手段により決定された動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら当該動画像符号化又は復号化手段により当該一のフレームの符号化又は復号化処理を行う動画像符号化又は復号化処理システムであり、
前記必要演算量算出手段で算出された必要演算量Ｋｐが実際に必要な演算量よりも小さい場合、当該一のフレームよりも後に符号化又は復号化される後続フレームの必要演算量を増加させる第２の破綻回避手段を備えることを特徴とする。
また、本発明の動画像符号化又は復号化処理方法は、プロセッサを使用して連続する複数のフレームから構成される動画像をフレーム単位で符号化又は復号化する動画像符号化又は復号化ステップと、一のフレームの符号化又は復号化に必要な必要演算量Ｋｐを計算する必要演算量計算ステップと、当該一のフレームの符号化又は復号化処理に予め割り当てられている時間Ｔｅ内に前記必要演算量Ｋｐを符号化又は復号化処理可能な動作周波数を決定する動作決定ステップとを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定ステップにより得られた動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら、動画像符号化又は復号化ステップにおいて当該一のフレームの符号化又は復号化処理を行う動画像符号化又は復号化処理方法であり、
前記必要演算量算出手段で算出された必要演算量Ｋｐが実際に必要な演算量よりも小さい場合、当該一のフレームよりも後に符号化又は復号化される後続フレームの必要演算量を増加させる第２の破綻回避ステップを備えることを特徴とする。【００３５】
一のフレームについて上記必要演算量Ｋｐが実際に必要な演算量よりも小さい場合、後続フレームについても同様に上記必要演算量Ｋｐが実際に必要な演算量よりも小さくなる確率が高い。この発明によれば、第２の破綻回避手段や第２の破綻回避ステップが、後続フレームの必要演算量を増加させるため、後続フレームに関して上記必要演算量が実際の演算量を満たす可能性が高くなり、後続フレームにおける破綻現象を回避することができる。なお、第２の破綻回避手段・ステップの処理は、第１の破綻回避手段・ステップの有無にかかわらず、所定フレームの必要演算量Ｋｐが実際の演算量よりも小さい場合に行われる。【００３６】
前記第２の破綻回避手段や第２の破綻回避ステップは、前記後続フレームの必要演算量、又は、必要演算量の算出に用いられた要素について、ｍ倍（ｍは１以上の実数）、又は、０より大きい実数ｎを加算することを特徴とする。【００３７】
この発明によれば、後続フレームの処理における必要演算量計算手段で算出された必要演算量の値、又は、必要演算量の算出に用いられた要素の値について、ｍ倍（ｍは１以上の実数）又は０より大きい実数ｎを加算することで、後続フレームの必要演算量Ｋｐを増加させ、後続フレームでの破綻現象の発生を回避することができる。増加対象とする要素、及び、ｍやｎの値としては、予め実験等により適切な要素・値を導出してシステム内に設定するのが好ましい。【００３８】
本発明の動画像符号化又は復号化処理システムは、連続する複数のフレームから構成される動画像をフレーム単位で符号化または復号化する動画像符号化又は復号化手段として機能するプロセッサを備え、
一のフレームの符号化又は復号化に必要な必要演算量Ｋｐを計算する必要演算量計算手段と、当該一のフレームの符号化又は復号化処理に予め割り当てられている時間Ｔｅ内に前記必要演算量Ｋｐを符号化又は復号化処理可能な動作周波数を決定する動作決定手段とを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は、当該動作決定手段により決定された動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら動画像符号化又は復号化手段により当該一のフレームの符号化又は復号化処理を行う動画像符号化又は復号化処理システムであり、
所定のタイミングで前記時間Ｔｅを延長する第３の破綻回避手段を備えることを特徴とする。
また、本発明の動画像符号化又は復号化処理方法は、プロセッサを使用して連続する複数のフレームから構成される動画像をフレーム単位で符号化又は復号化する動画像符号化ステップと、一のフレームの符号化又は復号化に必要な必要演算量Ｋｐを計算する必要演算量計算ステップと、当該一のフレームの符号化又は復号化処理に予め割り当てられている時間Ｔｅ内に前記必要演算量Ｋｐを符号化又は復号化処理可能な動作周波数を決定する動作決定ステップとを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定ステップにおいて得られた動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら、動画像符号化又は復号化ステップにおいて当該一のフレームの符号化又は復号化処理を行う動画像符号化又は復号化処理方法であり、
所定のタイミングで当該時間Ｔｅを延長する第３の破綻回避ステップを備えることを特徴とする。【００３９】
この発明によれば、一のフレームの符号化又は復号化処理が予め割り当てられた時間Ｔｅに完了できない場合は、次の後続フレームの処理に割り当てられている時間を用いて前記一のフレームの処理時間Ｔｅを延長し、当該一のフレームの符号化又は復号化処理を完了する。これにより、符号化又は復号化の実際の処理量を削減することなく、かつ画質を劣悪にすることなく、破綻現象を回避することができる。【００４０】
さらに、前記第３の破綻回避手段は、前記一のフレームの符号化処理に予め割り当てられている時間Ｔｅを延長した場合に、前記一のフレームよりも後に符号化又は復号化される後続フレームについて、当該後続フレームの符号化処理又は復号化処理に予め割り当てられている時間Ｔｅを変更することを特徴とする。【００４１】
この発明によれば、一のフレームの時間Ｔｅを延長することにより、後続フレームに割り当てられる時間が短縮されることとなるが、次の後続フレームの符号化又は復号化処理については、後続フレームの符号化又は復号化処理に割り当てられている時間から、上記一のフレームに割り当てた延長処理時間を差し引いた時間を、後続フレームの符号化又は復号化処理の時間Ｔｅとするなどのように時間Ｔｅを変更するため、延長時間に応じて変更された時間内で後続フレームの符号化又は復号化処理可能なプロセッサの動作周波数が決定され、その動作周波数及びそれに適する基板バイアス電圧や動作電源電圧でプロセッサが動作する。したがって、後続フレームの符号化又は復号化処理においても低消費電力化が実現される。一のフレームに割り当てられた時間Ｔｅの延長により後続フレームに割り当てられた時間Ｔｅが短縮されても、後続フレームの時間Ｔｅを変更することにより、後続フレームの処理において破綻現象が発生する可能性を低くすることができる。【００４２】
前記第３の破綻回避手段は、前記一のフレームの符号化処理に予め割り当てられている時間Ｔｅを延長した場合に、次に符号化されるフレームを格納する入力フレームメモリに対して、フレームの書き込み先を変更することを特徴とする。【００４３】
この発明によれば、第３の破綻回避手段により時間Ｔｅが延長されると、順次入力されてくるフレームは、一のフレームを上書きすることなく、書き込み先を変更して格納されるため、入力フレームメモリに前記一のフレームを保持することができ、符号化処理を続行して完了させることが可能となる。【００４４】
前記第３の破綻回避手段は、前記一のフレームの符号化処理に予め割り当てられている時間Ｔｅを延長した場合に、次に符号化されるフレームを格納する入力フレームメモリに対して書き込み不可とすることを特徴とする。【００４５】
この発明によれば、前記第３の破綻回避手段により時間Ｔｅが延長されると、入力フレームメモリはフレームの書き込みが不可となるため、後続のフレームに上書きされることなく一のフレームを保持することができ、符号化処理を続行して完了させることが可能となる。さらに、複数フレームおきにフレームを符号化処理するに際しては、入力フレームメモリに符号化が予定されているフレームが入力される前に、入力フレームメモリが書き込み可能となれば、時間Ｔｅが延長されなかった場合と同様のフレームを対象に符号化処理を行うことができる。【００４６】
上記動画像符号化システムや動画像符号化又は復号化システムは、前記一のフレームより前に符号化処理されるフレームを前フレームとすると、動画像符号化処理を行う場合において、前記必要演算量計算手段は、所定フレームと前フレームとの動き量、所定フレームのアクティビティの量、前フレームのアクティビティの量、前フレームの量子化ステップサイズの平均値、前フレームの量子化ステップサイズの平均値とその一つ前のフレームの量子化ステップサイズの平均値の差、前フレームのマクロブロックマッチング回数、前フレームの有効ブロック数、前フレームの有効係数の数、前フレームの符号化に実際に要した演算量、前フレームの発生ビット数、所定フレームの符号化ビットレート、所定フレームについてフレーム内符号化又はフレーム間符号化のいずれであるかの種類、必要演算量計算手段により算出された前フレームの必要演算量のうち、一つ以上の要素を使用して必要演算量を計算することが好ましい。【００４７】
上記動画像符号化又は復号化システムは、上記一のフレームより前に復号化処理されるフレームを前フレームとすると、動画像復号化処理を行う場合において、前記必要演算量計算手段は、所定フレームの符号化データのビット数、前記所定フレームがフレーム内符号化されたものであるか又はフレーム間符号化されたものであるかの種類、所定フレーム若しくは前フレームの動きベクトルの大きさの平均値、所定フレーム若しくは前フレームの動きベクトルの大きさの分散、所定フレーム若しくは前フレームの有効ブロック数、所定フレーム若しくは前フレームの有効係数の数、所定フレーム若しくは前フレームのビットレート、所定フレーム若しくは前フレームの符号量、所定フレーム若しくは前フレームの量子化ステップサイズの平均値、量子化ステップサイズの平均値の差(所定フレームと１つ前のフレームの量子化ステップサイズの差，もしくは１つ前のフレームの量子化ステップサイズと２つ前のフレームの量子化ステップサイズの差)、前フレームの復号化に実際に要した演算量、必要演算量計算手段により算出された前フレームの必要演算量のうち一つ以上の要素を使用して必要演算量を計算することが好ましい。【００４８】
前記複数の要素はそれぞれ符号化又は復号化処理において必要演算量Ｋｐに影響を与える要素である。本発明によれば、前記要素のうち一つ以上が必要演算量計算手段の要素として使用されて必要演算量Ｋｐが計算されるため、必要演算量計算手段により計算される必要演算量Ｋｐが現実に符号化又は復号化処理を行ったときの演算量により近い値となる。したがって、算出された必要演算量Ｋｐが現実の演算量よりも大き過ぎて低消費電力化が阻害される可能性が少なく、また、必要演算量Ｋｐが現実の演算量よりも小さくて符号化又は復号化処理が時間内に完了しないという破綻現象が発生しにくい。
例えば１フレームの符号化処理の必要演算量はマクロブロックマッチングなどの要素処理の実行回数によって決定づけられる。要素処理はマクロブロックマッチング回数だけ繰り返し実行される処理，有効ブロックの数だけ繰り返し実行される処理，有効係数の数だけ繰り返し実行される処理に分類され、マクロブロックマッチング回数と有効ブロック数と有効係数の数の全てが最大となるとき１フレームの符号化処理に必要な演算量は最大（最悪）となる。実際の符号化処理においてマクロブロックマッチング回数，有効ブロック数，有効係数の数はフレーム毎に最大値以下で変動するため、フレーム毎に符号化処理に必要な演算量は変動することとなる。本願発明では符号化処理に必要な演算量がフレーム毎に異なるものの、時間的に近いフレーム間ではマクロブロックマッチング回数，有効ブロック数，有効係数の数，符号化処理の必要演算量が近い値となる性質に着目し、符号化処理の必要演算量を予測するために用いるパラメータとして、予測を行う時点ですでに符号化処理を完了している前フレームのマクロブロックマッチング回数，有効ブロック数，有効係数の数，符号化処理の必要演算量などを採用することで各フレームの必要演算量Ｋを、実際に符号化処理を行ったときの演算量に近似した値とすることができる。
同様に１フレームの復号化処理の必要演算量も復号化処理の要素処理の実行回数によって決定づけられる。要素処理は有効ブロックの数だけ繰り返し実行される処理、有効係数の数だけ繰り返し実行される処理に分類され、有効ブロック数と有効係数の数の全てが最大となるとき１フレームの復号化処理に必要な演算量は最大（最悪）となる。実際の復号化処理において有効ブロック数，有効係数の数はフレーム毎に最大値以下で変動するため、フレーム毎に復号化処理に必要な演算量は変動することとなる。本願発明では復号化処理に必要な演算量がフレーム毎に異なるものの、時間的に近いフレーム間では有効ブロック数，有効係数の数，復号化処理の必要演算量が近い値となる性質に着目し、復号化処理の必要演算量を予測するために用いるパラメータとして、予測を行う時点ですでに復号化処理を完了している前フレームの有効ブロック数，有効係数の数，符号化処理の必要演算量などを採用することで各フレームの必要演算量Ｋを、実際に復号化処理を行ったときの演算量に近似した値とすることができる。
【発明の効果】
【００４９】
以上説明したように、本発明の動画像符号化処理システム、動画像符号化又は復号化処理システム、及び、動画像符号化処理方法、動画像符号化又は復号化処理方法によれば、これから符号化又は復号化する一のフレーム（未来に符号化又は復号化するフレーム）に対して、符号化又は復号化に要する必要演算量Ｋｐを予測する計算を行い、その所定フレームの処理に割り当てられた時間Ｔｅ内は、必要演算量Ｋｐを処理するに必要な最小限又はそれに近い動作周波数とし、フレーム単位に動作周波数と動作電源電圧、又は、動作周波数と基板バイアス電圧、又は、動作周波数と基板バイアス電圧と動作電源電圧が動的に制御されるため、低消費電力を実現することができる。【００５０】
また、破綻回避手段を備えるため、必要演算量計算手段で算出された必要演算量Ｋｐが実際に必要な演算量よりも小さい場合に起きる破綻現象を回避することができ、符号化又は復号化処理された動画像が劣悪になるのを防止することができる。さらに、破綻回避手段による処理が実行された場合に後続フレームの符号化処理への影響を緩和する緩和手段により緩和処理を行うことで、後続フレームの符号化処理による画質の劣化を抑制することができる。
【図面の簡単な説明】
【００５１】
【図１】本発明の第１の実施の形態の動画像符号化処理システムの動作を示した概略ブロック図。
【図２】本発明の第１の実施の形態の動画像符号化処理システムの実装例を示す図。
【図３】上記実施の形態の動画像符号化処理システムとしてコンピュータを機能させる動画像符号化処理プログラムの概略フローチャートを示す図。
【図４】トリプルウエル構造を示す断面図。
【図５】上記実施の形態の動画像符号化処理システムに使用されるプロセッサの動作電源電圧・基板バイアス電圧・動作周波数を示す概念図。
【図６】動作電源電圧及び動作周波数を一定とすることにより低消費電力化を図ることができることを説明する説明図。
【図７】上記実施の形態における割り込みを行う際の時間と演算残量の関係を説明する説明図。
【図８】本発明の第２の実施の形態の動画像符号化処理システムの動作を示した概略ブロック図。
【図９】上記実施の形態の動画像符号化処理システムとしてコンピュータを機能させる動画像符号化処理プログラムの概略フローチャートを示す図。
【図１０】本発明の第３の実施の形態の動画像復号化処理システムの動作を示した概略ブロック図。
【図１１】上記実施の形態の動画像符号化処理システムとしてコンピュータを機能させる動画像符号化処置プログラムの概略フローチャートを示す図。
【図１２】通常の符号化処理の処理時間推移を示す図。
【図１３】第３の実施の形態における符号化処理の処理時間推移を示す図。
【図１４】第３の実施の形態における符号化処理の処理時間推移を示す図。
【図１５】第３の実施の形態における符号化処理の処理時間推移を示す図。
【図１６】本発明の第４の実施の形態の動画像復号化処理システムの動作を示した概略ブロック図。
【図１７】本発明の第５の実施の形態の動画像符号化処理システムの動作を示した概略ブロック図。
【図１８】上記実施の形態の動画像符号化処理システムに使用されるプロセッサの動作電源電圧・動作周波数の関係を説明する概念図。
【図１９】本発明の第６の実施の形態の動画像符号化処理システムの動作を示した概略ブロック図。
【図２０】上記実施の形態の動画像符号化処理システムに使用されるプロセッサの基板バイアス電圧・動作周波数の関係を説明する概念図。
【図２１】実施例におけるプロセッサの動作周波数と動作電源電圧、基板バイアス電圧の関係の例を示す図。
【図２２】動画像符号化処理システムについて従来の低消費電力化を行う手法を示した図。
【図２３】フレーム単位に動画像符号化又は復号化の演算量が異なる状態を示す概念図。
【符号の説明】
【００５２】
Ｓ１(Ｓ１１，Ｓ１２，Ｓ１３，Ｓ１４)，Ｓ２，Ｓ３，Ｓ５，Ｓ６  動画像符号化処理システム
Ｓ４                   動画像復号化処理システム
１，５１，６１    プロセッサ
２，４２          必要演算量計算手段
３，５３，６３    動作決定手段
４，５４，６４    動作制御手段
５          動画像符号化手段
４５        動画像復号化手段
６          局部復号フレームメモリ
７          入力フレームメモリ
８          要素メモリ
９１，９２，９３，９４，９５    第１の破綻回避手段
９６        第２の破綻回避手段
９７，９８        第３の破綻回避手段
１０        処理済マクロブロック数レジスタ
１０１      入力画像データ
１０２      動作電源電圧・基板バイアス電圧・動作周波数指示
１０３      局部復号データ
１０４      動作電源電圧・基板バイアス電圧・動作周波数指示
１０５      動作電源電圧・基板バイアス電圧・動作周波数供給
１０６      符号化データ
１０７      前フレームの量子化ステップサイズの平均値、
１０８      各フレームについてフレーム内符号化であるかフレーム間符号化であるかの種類  
１０９      動画像の符号化ビットレート
１１０      前フレーム（過去のフレーム）のアクティビティの量
１１１      前フレームのマクロブロックマッチング回数
１１２      前フレームの有効ブロック数
１１３      前フレームの有効係数の数
１１４      前フレームの量子化ステップサイズの平均値とその一つ前のフレームの量子化ステップサイズの平均値の差
１１５      前フレームの符号化に実際に要した処理量
１１６      必要演算量計算手段により算出された前フレームの必要演算量
１１７      処理済マクロブロック数
４５        動画像復号化手段
４６        局部復号フレームメモリ
４０１      入力符号化データ
４０６      復号化データ
５０２      動作電源電圧・動作周波数指示
５０５      動作電源電圧・動作周波数供給  
６０２      基板バイアス電圧・動作周波数指示
６０５      基板バイアス電圧・動作周波数供給  
ｐ−ｓｕｂ    ｐ型半導体基板
ｎ−ｗｅｌｌ  ｎ型ウエル
ｐ−ｗｅｌｌ  ｐ型ウエル
【発明を実施するための最良の形態】
【００５３】
以下、本発明の動画像符号化又は復号化処理システム及び動画像符号化又は復号化処理方法について説明する。本発明の動画像符号化又は復号化システムは、後述するプロセッサ１が動画像符号化処理及び動画像復号化処理を行うものであり、動画像符号化を行う場合は動画像符号化処理システムとして機能し、動画像復号化を行う場合を動画像復号化処理システムとして機能する。たとえば、本発明の動画像符号化又は復号化処理システムとしては、フレーム単位若しくは時間単位で符号化又は復号化を行うものでも良く、また、復号化処理のみ又は符号化処理のみを行うものでも良い。また，プロセッサ１は動画像符号化処理又は動画像復号化処理をより少ないサイクル数，より小さい消費電力，より小さいプログラムコード量で効率的に実現するための動画像処理専用の演算器（命令）を備えていてもよい．動画像処理専用の演算器（命令）の例として，離散コサイン変換処理などの行列演算で用いる積和演算器（積和演算命令），動きベクトル検出処理でのブロックマッチング演算などの演算で用いる差分絶対値和演算器（差分絶対値和命令）などがあげられる．以下、説明の便宜上、符号化を行う場合を動画像符号化システムとし、復号化を行う場合を動画像復号化システムとし、動画像符号化処理と動画像復号化処理に分けて詳述する。【００５４】
（第１の実施の形態）
本発明の第１の実施の形態の動画像符号化処理システムＳ１は、必要演算量計算手段２で算出された必要演算量Ｋｐが所定フレームの現実の演算量よりも小さい場合に生ずる、所定フレームの処理に割り当てられた時間内に処理が完了できないという破綻現象の問題を解決するためのものであり、所定フレームの符号化処理に予め割り当てられている時間内に所定フレームの符号化処理が終了しないと判断した場合には破綻現象を回避する処理を行う第１の破綻回避手段９を備え、動作周波数と基板バイアス電圧と動作電源電圧をフレーム単位に一定に制御する（すなわち、所定フレームの符号化処理または復号化処理に割り当てられた時間内はプロセッサが一定の動作周波数・一定の基板バイアス電圧・一定の動作電源電圧で動作し、所定フレームの符号化処理または復号化処理中は動作周波数や基板バイアス電圧や動作電源電圧を変更しない）ことにより、サブスレッショルドリーク電流と充放電電流とを適度に抑制し、低消費電力化を図るものである。本システムＳ１は、例えばマイクロコンピュータが内蔵された携帯電話やパーソナルコンピュータ等の情報端末機器であるコンピュータにより実現され、特に、そのコンピュータ内においてマルチメディア信号処理部などの一部として機能するシステムであり、連続する所定数のフレームから構成される動画像をフレーム単位で順次符号化を行うシステムである。【００５５】
図１は、本実施の形態の動画像符号化処理システムＳ１の動作を示した概略ブロック図であり、図３は本システムＳ１により実現される動画像符号化処理方法である。動画像符号化処理システムＳ１は、動作電源電圧Ｖｄｄ及び基板バイアス電圧Ｖｂｎ，Ｖｂｐ及び動作周波数Ｆがｒ段階（ｒは２以上の整数）に可変であり（すなわち、ｒ段階の動作電源電圧Ｖｄｄ及び基板バイアス電圧Ｖｂｎ、Ｖｂｐ及び動作周波数Ｆで動作可能であり）且つプログラムにより動作電源電圧及び基板バイアス電圧及び動作周波数を変更可能なプロセッサ１と、プロセッサ１の動作電源電圧及び基板バイアス電圧及び動作周波数を制御する動作制御手段４と、所定のデータを記憶する記憶領域である局部復号フレームメモリ６と入力フレームメモリ７と要素メモリ８とを少なくとも備えるコンピュータ（特にコンピュータ内のマルチメディア信号処理部）である。ただし、Ｖｂｎはｎ−チャネルＭＯＳトランジスタの基板バイアス電圧、Ｖｂｐはｐ−チャネルＭＯＳトランジスタの基板バイアス電圧である。局部復号メモリ６および入力フレームメモリ７等は、動作制御手段４によりプロセッサ１と同様に動作電圧・動作周波数・基板バイアス電圧が制御されてもよい。本実施の形態では、点線で示される制御領域ＣＡに含まれる要素（プロセッサ１、局部復号フレームメモリ６、要素メモリ８、処理済みマクロブロック数レジスタ１０、入力フレームメモリ７ａ，７ｂ、等）について、動作周波数と動作電圧と基板バイアス電圧が制御される。【００５６】
プロセッサ１は、トリプルウエル構造をとる半導体素子であり、ｎＭＯＳトランジスタ、ｐＭＯＳトランジスタともに基板バイアス電圧が制御可能となっている。局部復号メモリ６及び入力フレームメモリ７は半導体記憶素子であり、動作制御手段４により、プロセッサ１と同様に動作電源電圧・基板バイアス電圧・動作周波数が制御される。
【００５７】
図４はトリプルウエル構造のプロセッサ１の部分断面図である。プロセッサ１は、Ｐ型半導体基板ｐ−ｓｕｂにｎ型ウエルｎ−ｗｅｌｌを形成し、さらに、ｎ型ウエルｎ−ｗｅｌｌにｐ型ウエルｐ−ｗｅｌｌを形成することによってトリプルウエル構造としたものである。ｐ型ウエルｐ−ｗｅｌｌには、ｎ−チャネルＭＯＳトランジスタとｐ型ウエルコンタクト層ｐ−Contactとが形成されている。ｎ−チャネルＭＯＳトランジスタは、ｎ型の不純物層からなるソース／ドレイン層Ｓ，Ｄと、ゲート電極Ｇとを有する。ｎ型ウエルｎ−ｗｅｌｌには、ｐ−チャネルＭＯＳトランジスタとｎ型ウエルコンタクト層ｎ−Contactとが形成されている。ｎ−チャネルＭＯＳトランジスタは、ｐ型の不純物層からなるソース／ドレイン層Ｓ，Ｄと、ゲート電極Ｇとを有する。ｎ−チャネルＭＯＳトランジスタが形成される半導体領域であるｐ型ウエルｐ−ｗｅｌｌにはｐ型ウエルコンタクト層ｐ−Contactを介して基板バイアス電圧Ｖｂｎが印加される。ｐ−チャネルＭＯＳトランジスタが形成される半導体領域であるｎ型ウエルｎ−ｗｅｌｌにはｎ型ウエルコンタクト層ｎ−Contactを介して基板バイアス電圧Ｖｂｐが印加される。【００５８】
動作制御手段４は、ＤＣ−ＤＣコンバータなどを備えた動作電源電圧制御手段４ｃ、n-チャネルＭＯＳトランジスタの基板バイアス電圧を制御するための基板バイアス電圧Ｖｂｎ発生手段４ｄ、p-チャネルＭＯＳトランジスタの基板バイアス電圧を制御するための基板バイアス電圧Ｖｂｐ発生手段４ｅ、ＰＬＬなどを備えた動作周波数制御手段４ｂからなる。ただし、動作制御手段４の各要素は動画像符号化処理システムＳ１の外に存在し、動画像符号化処理システムＳ１の外から動作電源電圧または基板バイアス電圧または動作周波数を制御してもよい。プロセッサ１、各メモリ６，７、動作制御手段４は互いに配線を介して接続されている。【００５９】
プロセッサ１は、プロセッサ１上で動作する手段として、必要演算量計算手段２と、動作決定手段３と、動画像符号化手段５と第１の破綻回避手段９を備える。なお、符号１０１は入力画像データ、符号１０２は動作電源電圧及び基板バイアス電圧及び動作周波数指示、符号１０３は前フレームの局部復号データ、符号１０５は動作電源電圧・基板バイアス電圧・動作周波数供給、符号１０６はフレームの符号化データ、符号１０７は前フレームの量子化ステップサイズの平均値の情報、符号１０８は各フレームについてフレーム内符号化であるかフレーム間符号化であるかの種類、符号１０９は動画像の符号化ビットレートの情報、符号１１０は前フレームのアクティビティ量、符号１１１は前フレームのマクロブロックマッチング回数、符号１１２は前フレームの有効ブロック数、符号１１３は前フレームの有効係数の数、符号１１４は前フレームの量子化ステップサイズの平均値とその一つ前のフレームの量子化ステップサイズの平均値の差、符号１１５は前フレームの符号化に実際に要した処理量、符号１１６は必要演算量計算手段２により算出された前フレームの必要演算量である。要素メモリ８は、後述する必要演算量計算手段２において使用される複数の要素のうち一部の要素（フレーム内符号化であるかフレーム間符号化であるかの種類１０８や、符号化ビットレート１０９や、フレームのアクティビティの量１１０や、必要演算量計算手段２により算出された必要演算量１１６）が記憶される記憶領域である。処理済マクロブロック数レジスタ１０は、符号化処理済みのマクロブロック数１１７の情報を一時的に蓄積するレジスタである。動画像符号化手段５には符号化方式としてＭＰＥＧ−４が使用されるが、Ｈ．２６ＸやＭＰＥＧ−１、ＭＰＥＧ−２などの他の符号化方式が使用されていても良い。【００６０】
図２に動画像符号化処理システムＳ１の実装例を示す。システムＳ１は、主にプロセッサ１と、周辺装置として各種メモリＭＲ，７ａ，７ｂや各種インタフェースＣＩ，ＤＩ，ＢＩ、動作制御回路４ａ、ＰＬＬ４ｂ、ＤＣ−ＤＣコンバータ４ｃ、基板バイアス電圧発生回路４ｄ，４ｅ等を備えたハードウェアにより実現される。上記各構成要素は、バスＢ１，Ｂ２等を介して互いに通信可能となっている。【００６１】
プロセッサ１は、プロセッサコア１ａと、命令キャッシュメモリ１ｂと、データキャッシュメモリ１ｃと、バスコントローラＢＣとを備える。必要演算量計算手段２，動作決定手段３，動画像符号化手段５，破綻回避手段９，１１は、メモリＭＲに格納されたプログラムが必要に応じてプロセッサコア１ａ上で実行されることにより実現される。命令キャッシュメモリ１ｂおよびデータキャッシュメモリ１ｃは、プロセッサコア１ａ上で実行されるプログラムの処理の高速化を図るために設けられたキャッシュメモリである。【００６２】
局部復号フレームメモリ６，要素メモリ８，処理済みマクロブロック数レジスタ１０は、図２のメモリＭＲに集約されるとともに、前フレームの量子化ステップサイズの平均値１０７，各フレームについてフレーム内符号化であるかフレーム間符号化であるかの種類１０８，動画像符号化のビットレート１０９，前フレーム（過去のフレーム）のアクティビティの量１１０，前フレームのマクロブロックマッチング回数１１１，前フレームの有効ブロック数１１２，前フレームの有効係数の数１１３，前フレームの量子化ステップサイズの平均値とその一つ前のフレームの量子化ステップサイズの平均値の差１１４，前フレームの符号化に実際に要した処理量１１５，必要演算量計算手段により算出された前フレームの必要演算量１１６，処理済みマクロブロック数１１７はメモリＭＲにデータとして格納される。局部復号データ１０３は、バスコントローラＢＣを介してメモリＭＲとプロセッサコア１ａ間で信号１００ｊ，１００ｋ，１００ｌとして送受信される。【００６３】
二つの入力フレームメモリ７ａ，７ｂは、図１の入力フレームメモリ７に相当する。カメラインタフェースＣＩから入力されたビデオデータ（入力画像データ１０１）は、バスＢ２を介して入力フレームメモリ７ａ（又は入力フレームメモリ７ｂ）に入力される。入力フレームメモリ（＃０）７ａと入力フレームメモリ（＃１）７ｂは１フレームの処理が終わるごとに用途が入れ替わる。すなわち、ｉ番目のフレームの処理で、信号１００ｈにより入力フレームメモリ（＃１）７ｂに入力画像データが書き込まれ、動画像符号化処理手段による符号化処理のために信号１００ｏにより入力フレームメモリ（＃０）７ａから入力画像データが読み出されたとき、（ｉ＋１）番目のフレームの処理では、信号１００ｉにより入力フレームメモリ（＃０）７ａに入力画像データが書き込まれ、動画像符号化処理手段による符号化処理のために、信号１００ｐにより入力フレームメモリ（＃１）７ｂから入力画像データが読み出される。したがって、信号１００ｈにより入力フレームメモリ（＃１）７ｂに入力画像データが書き込まれているときは信号１００ｐが発生せず、逆に信号１００ｐにより画像が読み出されているときは信号１００ｈが発生しない。同様に、信号１００ｉにより入力フレームメモリ（＃０）７ａに入力画像データが書き込まれているときは信号１００ｏが発生せず、信号１００ｏにより入力フレームメモリ（＃０）７ａから入力画像データが読み出されているときは信号１００ｉが発生しない。このとき、ｉ番目のフレームの処理においては入力フレームメモリ（＃０）７ａが、（ｉ＋１）番目のフレームの処理においては入力フレームメモリ（＃１）７ｂが動作周波数，基板バイアス電圧及び動作電圧の制御対象となる。上記説明のように、入力フレームメモリを２フレーム分用意し、それぞれの動作周波数を独立に設定できるようにすることで、常に一定の動作周波数であるカメラインタフェースＣＩからの入力画像データの書き込み動作と、必要演算量の算出値に基づいて動作周波数が変動する入力画像データの読み出し動作を、互いに妨げることなく実行することができる。【００６４】
動作制御回路４ａは、ＰＬＬ４ｂ，ＤＣ−ＤＣコンバータ４ｃ，基板バイアス電圧発生回路４ｄ，４ｅと互いに信号を送受信可能となっており、これらは動作制御手段４として機能している。動作制御回路４ａは、プロセッサコア１ａからの信号１００ｅにより動作電源電圧・基板バイアス電圧・動作周波数指示１０２を受け、その指示１０２に基づいてＰＬＬ４ｂに対して信号１００ｕを発信し、ＤＣ−ＤＣコンバータ４ｃに対して信号１００ｖを発信し，基板バイアス電圧発生回路４ｄに対して信号１００ｗを発信し，基板バイアス電圧発生回路４ｅに対して信号１００ｘを発信する。ＰＬＬ４ｂは信号１００ｕに基づいて動作周波数信号１００ａを発信し、ＤＣ−ＤＣコンバータ４ｃは信号１００ｖに基づいて動作電源電圧１００ｂを供給し，基板バイアス電圧発生回路４ｄは信号１００ｗに基づいてｎＭＯＳ基板バイアス電圧１００ｃを供給し，基板バイアス電圧発生回路４ｅは信号１００ｘに基づいてｐＭＯＳ基板バイアス電圧１００ｄを供給する。これにより、図２において点線で示される制御領域ＣＡに含まれる要素（プロセッサ１、メモリＭＲ、入力フレームメモリ７ａ，７ｂ、バスコントローラＢＣ等）について、動作周波数と基板バイアス電圧と動作電源電圧が制御される。信号１００ｅ，１００ｊ，１００ｋ，１００ｌ，１００ｍ，１００ｏ，１００ｐ，１００ｑ，１００ｒ，１００ｓは、ＰＬＬ４ｂが出力する動作周波数信号１００ａ，ＤＣ−ＤＣコンバータ４ｃが出力する電源電圧供給１００ｂ，基板バイアス電圧発生回路４ｄが出力するｎＭＯＳ基板バイアス電圧１００ｃ，基板バイアス電圧発生回路４ｅが出力するｐＭＯＳ基板バイアス電圧１００ｄの値に応じて周波数と信号レベルが変化する。【００６５】
プロセッサ１上で動作する動画像符号化手段５による符号化後の符号化データ１０６は、バスＢ１を介してビットストリームインタフェースＢＩに信号１００ｍとして送信されて信号１００ｎとして出力され、符号化処理の過程で生成される局部復号データ１０６は局部復号フレームメモリ６として機能するメモリＭＲに信号１００ｊとして送信される。また、画像のデータなどは、バスＢ１を介してメモリから信号１００ｑとして読み出され、ディスプレイインタフェースＤＩに送信される。ディスプレイインタフェースＤＩに受信された信号１００ｑは、信号１００ｔによるビデオデータとして出力される。ビデオデータは、ディスプレイインタフェースＤＩと接続されるモニタを介して、動画像として出力・表示される。【００６６】
動作制御回路４ａ，ディスプレイインタフェースＤＩ，ビットストリームインタフェースＢＩは常に一定の動作電源電圧で動作するが、これらの間で送受信される信号１００ｅ，１００ｑ，１００ｍは制御領域ＣＡに含まれる要素（プロセッサ１やメモリＭＲや入力フレームメモリ７ａ，７ｂ等）の基板バイアス電圧と動作電源電圧の変更に応じて信号レベルが変動する。この影響を吸収するために、動作制御回路４ａ，ディスプレイインタフェースＤＩ，ビットストリームインタフェースＢＩは、受信した信号１００ｅ，１００ｑ，１００ｍの信号レベルを補正するレベルコンバータを備えることが望ましい。【００６７】
次に、本実施の形態の動画像符号化処理システムＳ１の動作を説明する。動画像符号化処理システムＳ１は、動画像符号化処理プログラムＰｒｇ１によりコンピュータ（特にコンピュータ内のマルチメディア信号処理部）を下記の所定の手段として機能させることにより実現される。また、本システムＳ１により、下記のステップからなる本発明の動画像符号化方法が実現される。以下、順次符号化されるフレームのうちこれから符号化される任意の一のフレームを所定フレーム（すなわち、あるフレームが符号化された時点を基準とすると次に符号化されるフレームであり、換言すると、その時点において未だに符号化処理されておらず未来に符号化処理が行われる予定であるフレーム、現フレームともいう）、所定フレームより前に符号化された一のフレーム（過去に符号化されたフレーム）を前フレームとし、所定フレームを符号化する処理について説明するが、いずれのフレームについても同様の処理が行われる。【００６８】
動画像符号化処理プログラムＰｒｇ１は、後述するステップ１からステップ５においてコンピュータを下記のように機能させる。（ステップ１）所定フレームの画像情報を入力フレームメモリ７に入力する。（ステップ２）所定フレームの必要演算量Ｋｐを計算させる必要演算量計算手段２として機能させる。（ステップ３）算出された必要演算量Ｋｐに応じてプロセッサの動作周波数Ｆ及び動作電源電圧Ｖｄｄ及び基板バイアス電圧Ｖｂｎ，Ｖｂｐを決定する動作決定手段３として機能させる。（ステップ４）算出された動作周波数Ｆ及び動作電源電圧Ｖｄｄ及び基板バイアス電圧Ｖｂｎ，Ｖｂｐでプロセッサ１を動作させる制御を行わせる動作制御手段４として機能させる。（ステップ５）所定フレームの画像情報を符号化させる動画像符号化手段５として機能させる。以上、ステップ１からステップ５の処理を入力フレームメモリ７に入力されるフレームの順番（すなわち、符号化される順番）に、すべてのフレームに対して行うことで、動画像の符号化を行う。以下、詳細に説明する。【００６９】
（ステップ１）入力された入力画像データは、フレームの同期をとるため、フレームを一時的に記憶する記憶領域である入力フレームメモリ７に一旦格納される。【００７０】
（ステップ２：必要演算量計算ステップ）必要演算量計算手段２は、入力フレームメモリ７にアクセスして所定フレームの入力画像データ１０１を取得し、所定フレームの符号化処理に必要な必要演算量Ｋｐを計算する。必要演算量Ｋｐの計算方法は様々な方法が考えられるが、たとえば、所定フレームの符号化処理の演算量に影響を与える要素を一つ以上使用して計算することが望ましい。要素としては、例えば、動画像符号化処理において、処理内容が動き補償である場合は、動きの激しい映像では演算量が多く、一方、動きの少ない映像では演算量が少ないことに注目して、所定フレームと前フレームとの動き量として差分絶対値和で計算される歪み値や、また、各々のフレームのアクティビティ量として隣接画素差分絶対値和で計算される値や、マクロブロックマッチング回数や、有効ブロック数や、有効係数の数や、符号化ビットレートや、発生ビット数や、前フレームの符号化に実際に要した演算量や、必要演算量計算手段２により算出された前フレームの必要演算量が挙げられる。ここで、各要素それぞれについて、一つの要素の値のみ変化し、他の要素の値が変化しないと仮定したときに、その一つの要素の値が大きい場合は小さい場合に比較して必要演算量が相対的に大きくなるようにし、その一つの要素の値が小さい場合は大きい場合と比較して必要演算量が相対的に小さくなるようにする。また、所定フレームがフレーム内符号化である場合はフレーム間符号化である場合と比較して必要演算量Ｋpが相対的に小さく、フレーム間符号化である場合はフレーム内符号化である場合と比較して必要演算量Ｋpが相対的に大きくなるようにする。すなわち、これらの複数の要素は所定フレームの符号化処理のために必要な必要演算量に影響を与える要素であるため、必要演算量計算手段２が、これらの要素に応じて必要演算量Ｋｐ（サイクル）を増減するように計算を行うことにより、必要演算量計算手段２により計算される必要演算量Ｋｐが現実に符号化処理を行ったときの演算量により近い値となる。【００７１】
たとえば、本実施の形態では、関数Ｇを使用して計算し、入力フレームメモリ７に記憶されている所定フレームの入力画像データ１０１と、局部復号フレームメモリ６に蓄積されている復号化された前フレームの局部復号データ１０３とを比較して、入力画像の動きの大きさの予測（計算）を行う。この前フレームの局部復号データ１０３は、所定フレームよりも前に符号化が行われる前フレームの符号化処理において、前フレームを符号化して形成した前フレームの符号化データ１０６を、ローカルデコーダで復号化することにより形成され、局部復号フレームメモリ６に記憶されている。動きの大きさの予測（計算）の一例として、例えば差分絶対値和を用いる。以下に、差分絶対値和Σと必要演算量Ｋpの求め方を説明する。なお、前フレームの画像データとしては、符号化後にローカルデコーダにより復号化された局部復号データ１０６を使用しても良いが、入力された前フレームの入力画像データをそのまま使用しても良い。【００７２】
入力フレームメモリ７に蓄積された所定フレームの入力画像データ１０１をＸ(i,j)（iは画像の水平方向の座標、jは垂直方向の座標）、後述する局部復号フレームメモリ６に蓄積された前フレームの局部復号データ１０３をＹ(i,j)（iは画像の水平方向の座標、jは垂直方向の座標）とすると、所定フレームと前フレームとの動き量は、差分絶対値和Ｚ＝Σ｜Ｘ(i,j)−Ｙ(i,j)｜をすべての（またはサンプルした）画素に対して計算する。この差分絶対値和の値をＺとする。一方、フレームのアクティビティ量においては、Ｘ(i,j)において隣接画素差分絶対値和Ｗ、つまり、水平方向Ｗｈ＝Σ｜Ｘ(i,j)−Ｘ(i-1,j)｜、垂直方向Ｗｖ＝Σ｜Ｘ(i,j)−Ｘ(i,j-1)｜を計算することにより求められ、全ての（又はサンプルした）入力画像に対して計算する。この隣接画素差分絶対値和の値（すなわち各フレームのアクティビティ量）をＷとする。【００７３】
差分絶対値和をＺ、所定フレームのアクティビティ量をＷａ、前フレーム（過去のフレーム）のアクティビティ量をＷｂ、前フレームの平均量子化ステップサイズ（量子化ステップサイズの平均値）をＱprev、前フレームのマクロブロックマッチング回数をＭ、前フレームの有効ブロック数をＢ、前フレームの有効係数の数をＣ、前フレームの符号化に実際に要した処理量をＳ、所定フレームの符号化ビットレートをＢＲ、前フレームの量子化ステップサイズの平均値とその一つ前のフレームの量子化ステップサイズの平均値の差をΔＱprev、前フレームの実際の発生ビット数をＤ、必要演算量計算手段により算出された前フレームの必要演算量をＫｐ’とおくと、これらの要素のうち一つ以上の要素を使用して、必要演算量Ｋpは、
Ｋｐ＝Ｇ（Ｚ，Ｗａ，Ｗｂ，Ｑprev，Ｍ，Ｂ，Ｃ，Ｓ，ＢＲ，ΔＱprev，Ｄ，Ｋｐ’）
で計算される。ただし、ＧはＺ，Ｗａ，Ｗｂ，Ｑprev，Ｍ，Ｂ，Ｃ，Ｓ，ＢＲ，ΔＱprev，Ｄ，Ｋｐ’のうち、一以上の要素から導き出される関数である。その一例としては、
Ｋｐ＝ｊ＋αＭ＋βＢ＋γＣ＋δＺ＋ε△Ｑprev
が挙げられるが、これに限られるわけではない。また、必要演算量Ｋｐの計算に使用される要素として、所定フレームがフレーム内符号化であるかフレーム間符号化であるかの種類Ｉが使用される。所定フレームがフレーム内符号化である場合の必要演算量Ｋｐは小さい値と、フレーム間符号化である場合の必要演算量Ｋｐは大きい値となる。すなわち、必要演算量計算手段２は、差分絶対値和Ｚを使用するときは差分絶対値和Ｚ＝Σ｜Ｘij−Ｙij｜を計算した後に、必要演算量Ｋp＝Ｇ（Ｚ，Ｗａ，Ｗｂ，Ｑprev，Ｍ，Ｂ，Ｃ，Ｓ，ＢＲ，ΔＱprev，Ｄ，Ｋｐ’）を計算する。【００７４】
以下、上記関数Ｇについて説明する。前フレームと所定フレームの間で画像の変化が大きい（小さい）場合、すなわち差分絶対値和Ｚが大きい（小さい）場合、所定フレームで実行されるマクロブロックマッチングの回数は大きく（小さく）なり、所定フレームの動き検出処理に必要な演算量（実行されるマクロブロックマッチング回数に依存する）が大きく（小さく）なる。また、所定フレームのアクティビティ量Ｗａが大きい（小さい）場合、所定フレームは画像の高周波成分を多く（少なく）含むことを意味し、この場合、所定フレームの符号化処理で発生する有効ブロックの数、有効係数の数は大きく（小さく）なり、所定フレームのＩＤＣＴ処理に必要な演算量（発生する有効ブロックの数に依存する）、ＩＱ処理に必要な演算量（発生する有効係数の数に依存する）、ＶＬＣ処理に必要な演算量（発生する有効係数の数に依存する）は大きく（小さく）なる。したがって、上記関数ＧはＺ，Ｗａなどのパラメータが大きい（小さい）場合、Ｋｐを大きく（小さく）設定するように構成する。【００７５】
動画像は連続するフレーム間での相関が大きいため、符号化処理で実行されるマクロブロックマッチング回数、符号化処理で発生する有効ブロック数、有効係数の数、符号化処理で必要となる演算量、アクティビティ量は、時間的に連続するフレーム間で非常に近い値となる。したがって、Ｍ，Ｂ，Ｃ，Ｓ，Ｗｂが大きい（小さい）場合、所定フレームにおいてもマクロブロックマッチング回数、有効ブロック数、有効係数の数、符号化処理に必要となる演算量、アクティビティ量が大きく（小さく）なる確率が高い。さらに、必要演算量計算手段で算出される予測演算量が実際の符号化処理に要した演算量に近い値となる場合、Ｓ≒Ｋｐ’となる。したがって，上記関数ＧはＭ，Ｂ，Ｃ，Ｓ，Ｗｂ，Ｋｐ’などのパラメータが大きい（小さい）場合、Ｋｐを大きく（小さく）設定するように構成する。【００７６】
ターゲットビットレートが大きい（小さい）場合、量子化ステップサイズの値は小さく（大きく）設定され、その結果、符号化処理で発生する有効ブロックの数、有効係数の数は大きく（小さく）なる。また、前フレームの発生ビット数がターゲットビットレートと比較して大きい（小さい）場合、所定フレームの量子化ステップサイズの値は小さく（大きく）設定され、符号化処理で発生する有効ブロックの数、有効係数の数は小さく（大きく）なる。したがって、上記関数Ｇは所定フレームの符号化ビットレートＢＲが大きい（小さい）場合、Ｋｐを大きく（小さく）設定するように、前フレームの実際の発生ビット数ＤがＢＲと比較して大きい（小さい）場合、Ｋｐを小さく（大きく）設定するように構成する。さらに、前フレームの平均量子化ステップサイズＱｐｒｅｖや前フレームの量子化ステップサイズの平均値とその一つ前のフレームの量子化ステップサイズの平均値の差ΔＱｐｒｅｖを考慮することで、上記関数Ｇが算出するＫｐが実際に所定フレームを符号化するために必要となる演算量に近い値とすることができる。【００７７】
なお、動画像の符号化ビットレート１０９や、所定フレーム及び前フレームについてフレーム内符号化であるかフレーム間符号化であるかの種類１０８や、前フレームのアクティビティの量１１０や、必要演算量計算手段により算出された前フレームの必要演算量１１６は要素が記憶される記憶領域である要素メモリ８に予め記憶されており、必要演算量Ｋｐの計算時に必要演算量計算手段２に読み込まれて使用される。前フレームの量子化ステップサイズの平均値１０７、前フレームのマクロブロックマッチング回数１１１、前フレームの有効ブロック数１１２、前フレームの有効係数の数１１３、前フレームの量子化ステップサイズの平均値とその一つ前のフレームの量子化ステップサイズの平均値との差１１４、及び前フレームの符号化に実際に要した処理量１１５は前フレームの符号化処理が行われたときに動画像符号化手段５から必要演算量計算手段２にフィードバックされる。必要演算量計算手段２においては、これらの要素のうち一つの要素のみを使用しても良いし、複数の要素を組み合わせて使用しても良い。【００７８】
（ステップ３：動作決定ステップ）動作決定手段３は、必要演算量Ｋｐの値をもとに、所定フレームの処理に対する動作周波数Ｆｅ（サイクル／秒）を予測する計算を行う。すなわち、符号化方式により処理時間が規定されている最小単位は１フレームであり、所定フレームの符号化処理に割り当てられた時間をＴｅ（秒）とすると、所定フレームに必要とされる動作周波数Ｆｅ（サイクル／秒）、すなわち時間Ｔｅ（秒）内に前記必要演算量Ｋｐを符号化処理可能な動作周波数Ｆｅ（サイクル／秒）はＦｅ＝Ｋｐ／Ｔｅで表されることから、動作決定手段３は動作周波数Ｆｅ＝Ｋｐ／Ｔｅを計算する。ただし、所定フレームの符号化処理に割り当てられた時間Ｔｅは、１フレームの処理の制限時間Ｔｆから、所定フレームに対する演算量を予測する時間Ｔｐ及びプロセッサの動作周波数・動作電源電圧・基板バイアス電圧を変更する時間Ｔｓを引いた時間である。図５に示すように、プロセッサ１および（又は）局部復号メモリ６等を含めた周辺装置がサポートする動作電源電圧・基板バイアス電圧・動作周波数がｒ段階（ｒは２以上の整数）で変更可能な場合、動作決定手段３は、Ｆ（ｎ）＞Ｆｅ且つＦｅ＞Ｆ（ｎ−１）となる動作周波数Ｆ（ｎ）を所定フレームの符号化処理を行う動作周波数として選択する計算を行い、その動作周波数Ｆ（ｎ）に適する動作電源電圧Ｖｄｄ（ｎ）及び基板バイアス電圧Ｖｂｎ，Ｖｂｐ（ｎ）を選択する計算を行い、プロセッサ１および（又は）局部復号メモリ６等を含めた周辺装置をその動作周波数Ｆ（ｎ）と動作電源電圧Ｖｄｄ（ｎ）と基板バイアス電圧Ｖｂｎ，Ｖｂｐ（ｎ）で動作させるように、動作電源電圧・基板バイアス電圧・動作周波数を動作制御手段４に指示する（符号１０２）。なお、ｎは１以上ｒ以下の整数である。【００７９】
図５は、動作周波数・動作電源電圧・基板バイアス電圧の関係を示す図である。動作決定手段３において、各動作周波数に対し、プロセッサ１、又は、プロセッサ１及び局部復号メモリ６等を含めた周辺装置で消費される電流が所定値以下となるように動作電源電圧・基板バイアス電圧の組合せが予め設定されている。たとえば、サブスレッショルドリーク電流Ｉｓｔと充放電電流Ｉｃｄとの関係から、各動作周波数ごとに消費電力Ｐが最小となる動作電源電圧Ｖｄｄと基板バイアス電圧Ｖｂｎ，Ｖｂｐを実験や計算等により求め、この動作電源電圧Ｖｄｄと基板バイアス電圧Ｖｂｎ，Ｖｂｐの組み合わせとすることが望ましい。ここで、電流の最小化を図る際、各電流要素を１つ以上用いて合計した電流を計算に用いる。なお、動作決定手段３に内蔵するハードウエアおよび（又は）プログラムで、動作周波数に応じた動作電源電圧に対し、自動的に基板バイアス電圧が計算されてもよい。また、動作決定手段３に内蔵するハードウエアおよび（又は）プログラムで、動作周波数に対し、動作電源電圧と基板バイアス電圧が計算されてもよい。【００８０】
（ステップ４）動作制御手段４は、動作決定手段３から指示を受けた動作電源電圧Ｖｄｄ（ｎ）及び基板バイアス電圧Ｖｂｎ（ｎ），Ｖｂｐ（ｎ）及び動作周波数Ｆ（ｎ）の値をプロセッサ１および（又は）局部復号メモリ６等を含めた周辺装置に供給し（符号１０５）、その動作電源電圧Ｖｄｄ（ｎ）及び基板バイアス電圧Ｖｂｎ（ｎ），Ｖｂｐ（ｎ）及び動作周波数Ｆ（ｎ）でプロセッサ１と周辺装置を一定に動作させる制御を行う。これにより、プロセッサ１および（又は）局部復号メモリ６等を含めた周辺装置は、一定の動作電源電圧Ｖｄｄ（ｎ）及び基板バイアス電圧Ｖｂｎ（ｎ），Ｖｂｐ（ｎ）及び動作周波数Ｆ（ｎ）で動作することになる。具体的には、動作制御手段４に内蔵する動作電源電圧制御手段４ｃにより一定の動作電源電圧Ｖｄｄ（ｎ）でプロセッサ１を動作させる制御を行い、基板バイアス電圧Ｖｂｎ制御手段４ｄによりｎ−チャネルＭＯＳトランジスタに対する一定の基板バイアス電圧Ｖｂｎ（ｎ）でプロセッサ１を動作させる制御を行い、基板バイアス電圧Ｖｂｐ制御手段４ｂによりｐ−チャネルＭＯＳトランジスタに対する一定の基板バイアス電圧Ｖｂｐ（ｎ）でプロセッサ１を動作させる制御を行い、動作周波数制御手段（ＰＬＬ）４ｂにより一定の動作周波数Ｆ（ｎ）でプロセッサ１を一定に動作させる制御を行う。【００８１】
基板バイアス電圧制御は、基板バイアス電圧Ｖｂｎ（ｎ），Ｖｂｐ（ｎ）に対し、ｎ−チャネルＭＯＳトランジスタに対し適切な基板バイアス電圧Ｖｂｎ（ｎ）を印加し、ｐ−チャネルＭＯＳトランジスタに対し適切な基板バイアス電圧Ｖｂｐ（ｎ）を印加することにより行う。具体的には、ｎ−チャネルＭＯＳトランジスタに対する基板バイアス電圧Ｖｂｎ（ｎ）とグランド電位Ｖｓｓとの電位差をＶｂｂｎ（ｎ）とし、ｐ−チャネルＭＯＳトランジスタに対する基板バイアス電圧Ｖｂｐ（ｎ）と動作電源電圧Ｖｄｄ（ｎ）との電位差をＶｂｂｐ（ｎ）とする。すなわち、
Ｖｂｎ（ｎ）＝Ｖｂｂｎ（ｎ）＋Ｖｓｓ
Ｖｂｐ（ｎ）＝Ｖｂｂｐ（ｎ）＋Ｖｄｄ（ｎ）
の関係が成り立つ。電圧Ｖｂｂｎ（ｎ）とＶｂｂｐ（ｎ）と動作電源電圧Ｖｄｄ（ｎ）は独立に設定できる。ただし、Ｖｂｂｎ（ｎ）は、ｎ−チャネルＭＯＳトランジスタのドレイン−ソース間ｐｎ接合に印加された電圧であり、この電圧が拡散電位Ｖφを超えないようにし、Ｖｂｂｐ（ｎ）は、ｐ−チャネルトランジスタのドレイン−ソース間ｐｎ接合に印加された電圧であり、この電圧が拡散電位−Ｖφを下回らないようにする。拡散電位Ｖφは通常０．６Ｖである。【００８２】
（ステップ５：動画像符号化ステップ）動画像符号化手段５は、動画像符号化処理プログラムＰｒｇ１によりコンピュータのプロセッサ１上で実現される手段であり、プロセッサ１を使用して入力フレームメモリ７に格納された入力画像データを動画像符号化を行う単位でアクセスし、符号化処理を行う手段である。すなわち、動画像符号化手段５は、入力フレームメモリ７から所定フレームの入力画像データ１０１を取得し、符号化して符号化データ１０６を生成する。ステップ４において、プロセッサ１および（又は）局部復号メモリ６等を含めた周辺装置は動作制御手段４から供給された一定の動作電源電圧Ｖｄｄ（ｎ）及び基板バイアス電圧Ｖｂｎ（ｎ），Ｖｂｐ（ｎ）及び動作周波数Ｆ（ｎ）で動作している状態となっているため、ステップ５では、動作制御手段４がその一定の動作周波数Ｆ（ｎ）及び動作電源電圧Ｖｄｄ（ｎ）及び基板バイアス電圧Ｖｂｎ（ｎ），Ｖｂｐ（ｎ）でプロセッサ１および（又は）局部復号メモリ６等を含めた周辺装置を動作させながら、そのプロセッサ１を使用して符号化を行う動画像符号化手段５が所定フレームの符号化を行うこととなる。たとえば動きの激しい画像（所定フレームの入力画像データ１０１）に対してはプロセッサ１および（又は）局部復号メモリ６等を含めた周辺装置を高い周波数で一定に動作させ、動きの少ない画像に対しては低い周波数で一定に動作させることにより低消費電力化を図ることが可能になる。さらに、動画像符号化手段５は、符号化データ１０６を復号する機能を有するローカルデコーダを備えており、所定フレームの符号化データ１０６はローカルデコーダにより復号されて局部復号フレームメモリ６に局部復号データ１０３として蓄積される。この所定フレームの局部復号データ１０３は所定フレームの次に符号化されるフレームについて必要演算量Ｋｐを計算する際に使用される。所定フレームの符号化データ１０６は伝送路を通じて送信されたり、蓄積メディアに蓄積されたりする。【００８３】
なお、動作電源電圧及び基板バイアス電圧の制御は、動作周波数Ｆに応じて動作電源電圧Ｖｄｄ、ｐ−チャネルＭＯＳトランジスタの基板バイアス電圧Ｖｂｐ，ｎ−チャネルＭＯＳトランジスタの基板バイアス電圧Ｖｂｎのうち少なくとも１つの電圧だけ制御してもよい。【００８４】
また、１フレームの処理に用いられる動作周波数・動作電源電圧・基板バイアス電圧を一定に動作させるだけでなく、動作決定手段３により動作周波数・動作電源電圧・基板バイアス電圧をＮ組（Ｎは正の整数）選択してもよい。この場合、Ｎ組の動作周波数・動作電源電圧・基板バイアス電圧各々の動作時間を計算し、プロセッサ１を動作させることとなる。【００８５】
（第１の破綻回避ステップ）
符号化処理システムＳ１は破綻現象を回避するための第１の破綻回避手段を備え、第１の破綻回避ステップは動画像符号化ステップに割り込みを行うことで実行される。第１の破綻回避手段は、所定フレームの符号化処理が割り当てられた時間Ｔｅ内に終了できないと判断された場合、符号化処理が割り当てられた時間Ｔｅ内に終了できるように、通常の符号化処理の演算量を削減できる処理に切り替えて、破綻現象を回避する。このとき、処理を切り替えるタイミングＴｉは、割り込み処理を行って符号化処理を一時中断して算出される。また演算量を削減する処理を行うマクロブロックの数を最小限に抑えるため、符号化された処理に応じてタイミングＴｉの更新を行ってもよい。【００８６】
（切り替えタイミングＴｉの算出・決定）
第１の破綻回避手段を実行するタイミングＴｉの決定について具体的に説明する。図７は割り込みを行う際の時間と演算残量の関係を示している。１フレームの符号化処理に割り当てられている時間Ｔｅ、１フレームのマクロブロック数をＭＢとし、１つのマクロブロックの最大演算量をＫｗ、１つのマクロブロックで第１の破綻回避手段による処理に必要な演算量をＫｓとする。プロセッサ１は、処理済マクロブロック数レジスタ１０から符号化処理が終了したマクロブロックの数ＭＢｉ（符号１１７）の読み出しを行い、切り替えタイミングＴｉを以下に示す数式で算出する。
Ｔｉ＝Ｔｅ−（Ｋｓ×（ＭＢ−ＭＢｉ））／Ｆ
ただし、（ステップ５）内において、符号化処理を開始する前に、ＭＢｉ＝０としてＴｉを予め算出する。Ｔｉの更新は、予め算出された時刻Ｔｉで行われ、その際割り込み処理により符号化処理を一時中断し、Ｔｉの更新を行うか否かをＫｗ×（ＭＢ−ＭＢｉ）＞Ｆ×（Ｔｅ−Ｔｉ）か、Ｋｗ×（ＭＢ−ＭＢｉ）＜Ｆ×（Ｔｅ−Ｔｉ）で判断する。ここで、判断する前提としてＭＢｉ≠ＭＢである。Ｋｗ×（ＭＢ−ＭＢｉ）＜Ｆ×（Ｔｅ−Ｔｉ）となれば、演算量に余裕があると判断され、上記の数式によりＴｉの更新が行われる。Ｋｗ×（ＭＢ−ＭＢｉ）＞Ｆ×（Ｔｅ−Ｔｉ）となれば、演算量に余裕がないと判断され、第１の破綻回避手段９により演算量を削減する処理に切り替える。なお、Ｔｉの更新を行うかの判断をする際にＭＢｉ＝ＭＢである場合は、処理を切り替えることなく符号化処理ルーチンを終了する。第１の破綻回避手段としては、下記の例１から例４が挙げられる。【００８７】
（第１の破綻回避手段の例１）例１の第１の破綻回避手段９１は、ステップ５において動画像符号化手段５が所定フレームの入力画像データ１０１の符号化処理ルーチンを実行している際に、上記で決定されたタイミングＴｉで、符号化が終了していないマクロブロックに対して色差ブロックのみを強制的に無効ブロック化する処理を行う。マクロブロックのうち色差ブロックのみ強制的に無効ブロック化する処理を行い、輝度ブロックは通常と同様に符号化処理を行うことで、画質が劣悪になるのを防ぐことができ、すべてのブロックを強制的に無効ブロック化して破綻を回避するよりも画質を改善することができる。【００８８】
（第１の破綻回避手段の例２）例２の第１の破綻回避手段９２は、所定フレームの符号化処理ルーチンを実行している際に、上記で決定されるタイミングＴｉにおいて、符号化が終了していないマクロブロックに対して強制的にフレーム内符号化処理を行う。フレーム間符号化を行う場合に比べ、最も処理量の割合を占める動きベクトル検出処理を行わないので、実際の演算量を削減することができる。また、最後のマクロブロックまで符号化処理を行うので、例１と比較して該当するマクロブロックの数が増えるが、画質をさらに改善することができる。【００８９】
（第１の破綻回避手段の例３）例３の第１の破綻回避手段９３は、所定フレームの符号化処理ルーチンを実行している際に、上記で決定されるタイミングＴｉにおいて、符号化が終了していないマクロブロックに対し、強制的に動きベクトルの大きさを０としてフレーム間符号化処理を行う。例３は、動きベクトル検出処理を行わずにフレーム間符号化処理を行うため、演算量の削減量は小さく該当するマクロブロックの数は増えるが、次のフレームの符号化処理に与える影響は例２に比べ小さく、画質が劣悪になるのを、さらに改善することができる。【００９０】
（第１の破綻回避手段の例４）例４の第１の破綻回避手段９４は、上記で決定されるタイミングＴｉにおいて、符号化が終了していないマクロブロックに対して強制的に量子化ステップサイズを大きくして符号化処理を行う。これにより、当該マクロブロックに対して有効ブロック数、有効係数の数の発生が小さくなり、符号化処理のうち、有効ブロックに対して行われる処理、有効係数に対して行われる可変長符号化処理の回数を削減することができる。【００９１】
上記第１の破綻回避手段の各例は、通常の符号化処理の内容を省略し、強制的に動きベクトルを０としたり、有効ブロック数、有効係数の発生を抑えることで必要演算量を削減している。このため、所定フレームで第１の破綻回避手段による破綻回避処理を行うことにより、次のフレームの処理において、所定フレームで破綻回避処理を実行したマクロブロックに対応する、次のフレームのマクロブロックでフレーム間符号化処理を行った場合、画質に影響を及ぼす可能性がある。このため、所定フレームで破綻回避処理による画質劣化の防止を図ったにも関わらず、次のフレームに画質が劣悪になる可能性がある。【００９２】
そこで、所定フレームにおいて第１の破綻回避手段を実行したマクロブロックに対応する、次のフレームのマクロブロックの符号化処理への影響を緩和するため、当該マクロブロックに対し量子化ステップサイズを小さくして符号化処理を行う緩和手段９５により緩和処理を行う。この処理により、対応するマクロブロックに割り当てられる発生符号量が大きくなり、マクロブロックから得られる情報を大きくして画質の改善を図ることができる。【００９３】
（証明１）
以下に、プロセッサの動作周波数を複数回変更しながら一のフレームを符号化する従来技術と比較して、本願発明がよりサブスレッショルドリーク電流による消費電力を低減できることを証明する。たとえば、プロセッサ１の基板バイアス電圧及び動作周波数は図５に示すようにｒ段階に可変とし、任意の一のフレームの必要演算量をＫtとし、そのフレームの処理に割り当てられる時間をＴtとする。図６（ａ）に示すように、動作周波数をＦtと設定し、プロセッサ１を動作周波数Ｆtで動作させるときの基板バイアス電圧をＶｂｐ、Ｖｂｎとし、基板バイアス電圧Ｖｂｐ、Ｖｂｎに適するしきい値電圧をＶｔとし、時間Ｔtで必要演算量Ｋtの処理が終了する場合をCase１とし、図６（ｂ）に示すように、初期値の動作周波数をｈ＊Ｆtと設定し、プロセッサを動作周波数ｈ＊Ｆtで動作させるときの基板バイアス電圧をＶｂｐ１、Ｖｂｎ１とし、基板バイアス電圧Ｖｂｐ１、Ｖｂｎ１に適するしきい値電圧をＶｔ１とし、時間Ｔ１が経過した時点でプロセッサの動作周波数をｈ＊Ｆｔ／２に変更し、プロセッサ１を動作周波数ｈ＊Ｆｔ／２で動作させるときの基板バイアス電圧をＶｂｐ２、Ｖｂｎ２とし、基板バイアス電圧Ｖｂｐ２、Ｖｂｎ２に適するしきい値電圧をＶｔ２とし、時間Ｔ１＋Ｔ２で必要演算量Ｋtの処理が終了する場合をCase２とし、各Case1,Case2について前記任意の一のフレームを符号化する場合を考えてみる。ただし、しきい値電圧についてＶｔ１＞Ｖｔ＞Ｖｔ２であり、サブスレッショルドリーク電流による消費電力は、
Ｐｓｔ＝Ｖｄｄ×Ｉ０×１０＾（−Ｖｔ／Ｓ）
Ｉ０：定数、Ｖｄｄ：動作電源電圧、Ｖｇｓ：ゲート−ソース間電圧、
Ｖｔ：しきい値電圧、Ｓ：サブスレッショルドswing
と表される。これを用いてCase１のサブスレッショルドリーク電流による消費電力Ｐｓｔ１とCase２のサブスレッショルドリーク電流による消費電力Ｐｓｔ２を計算すると、
Ｐｓｔ１＝Ｖｄｄ×Ｉ０×１０＾（−Ｖｔ／Ｓ）×Ｔｔ
Ｐｓｔ２＝Ｖｄｄ×Ｉ０×１０＾（−Ｖｔ１／Ｓ）×Ｔ１＋Ｉ０×１０＾（−Ｖｔ２／Ｓ）×Ｔ２
となり、
Ｐｓｔ１：Ｐｓｔ２＝１０＾（−Ｖｔ／Ｓ）×Ｔｔ：（１０＾（−Ｖｔ１／Ｓ）×Ｔ１＋１０＾（−Ｖｔ１／Ｓ）×Ｔ２）
となる。ここで、たとえばｈ＝１．５、Ｔａ＝１／３×Ｔｔ、Ｔｂ＝２／３×Ｔｔ、Ｖｔ１＝３×Ｓ，Ｖｔ２＝Ｓ，Ｖｔ＝２×Ｓとすると、
Ｐｓｔ１：Ｐｓｔ２＝１０−２：（１０−３／３＋１０−１×２／３）
≒０．０１：０．０７
となり、Ｐｓｔ１＜Ｐｓｔ２となる。すなわち、決められた演算量を一定時間で処理する場合、同一演算量Ｋｔにもかかわらず、Case１の場合のように、その時間内で処理が終了可能な最小の動作周波数により、その処理時間を通してプロセッサの基板バイアス電圧を一定に動作させるほうが、従来のように処理時間中に動作周波数を変更するCase２の場合よりも低消費電力であることがわかる。したがって、一定の基板バイアス電圧及び動作周波数でプロセッサ１を動作させながら一のフレームの符号化処理を行う本発明によれば、ブロックごとに基板バイアス電圧及び動作周波数が決定されるため一のフレームの符号化中に何度も動作周波数が変更される従来技術と比較して、低消費電力化が図られることがわかる。【００９４】
（証明２）
以下に、プロセッサの動作電源電圧及び動作周波数を複数回変更しながら一のフレームを符号化する従来技術と比較して、本願発明がより低消費電力化を図ることができることを証明する。たとえば、ある特定の時間Ｔtにある特定の演算量Ｋtを行う場合、その特定の時間の間は、同一周波数で制御を行い、周波数Ｆtを
Ｆt＝Ｋt／Ｔt
に設定すると低消費電力を実現できる。たとえば、プロセッサ１の動作電源電圧及び動作周波数は図５に示すようにｒ段階に可変とし、任意の一のフレームの必要演算量をＫtとし、そのフレームの処理に割り当てられる時間をＴtとする。図６（ａ）に示すように、動作周波数をＦtと設定し、プロセッサ１を動作周波数Ｆtで動作させるときの動作電源電圧をＶｄｄとし、時間Ｔtで必要演算量Ｋtの処理が終了する場合（すなわち、動作周波数が一定の場合）をCase１とし、図６（ｂ）に示すように、初期値の動作周波数をｈ＊Ｆtと設定し、プロセッサを動作周波数ｈ＊Ｆtで動作させるときの動作電源電圧をＶ１とし、時間Ｔ１が経過した時点でプロセッサの動作周波数をｈ＊Ｆｔ／２に変更し、プロセッサ１を動作周波数ｈ＊Ｆｔ／２で動作させるときの動作電源電圧をＶ２とし、時間Ｔ１＋Ｔ２で必要演算量Ｋtの処理が終了する場合（すなわち、動作周波数の切り替えが１回行われる場合）をCase２とし、各Case1,Case2について前記任意の一のフレームを符号化する場合を考えてみる。どちらも同一の演算量、すなわちＫt（サイクル）となる。一方、消費電力は、
Ｐ＝α×Ｃ×ｆ×Ｖｄｄ２×ｔ
α：係数、Ｃ：プロセッサのトランジスタ数
ｆ：動作周波数、Ｖｄｄ：動作電源電圧、ｔ：動作時間
で表される。これを用いてCase１の消費電力ＰａとCase２の消費電力Ｐｂを計算すると、
Ｐａ＝α×Ｃ×Ｆt×Ｖ２×Ｔt
Ｐｂ＝α×Ｃ×（ｈ×Ｆt）×Ｖ１２×Ｔ１＋α×Ｃ×（ｈ×Ｆt／２）×Ｖ２２×Ｔ２
となり、
Ｐａ：Ｐｂ＝Ｖ２×Ｔt：（ｈ×Ｖ１２×Ｔ１＋（ｈ／２）×Ｖ２２×Ｔ２）
となる。ここでたとえばｈ＝１．５、Ｔ１＝１／３×Ｔｔ、Ｔｂ＝２／３×Ｔｔ、Ｖ＝１，Ｖ１＝１．５，Ｖ２＝０．７５とすると、
Ｐａ：Ｐｂ＝１２：（１．５×１．５２／３＋（１．５／２）×０．７５２×（２／３）
≒１：１．４１
となり、Ｐａ＜Ｐｂとなる。すなわち、決められた演算量を一定時間で処理する場合、同一演算量Ｋｔにもかかわらず、Case１の場合のように、その時間内で処理が終了可能な最小の動作周波数により、その処理時間を通してプロセッサを一定に動作させるほうが、従来のように処理時間中に動作周波数を変更するCase２場合よりも低消費電力であることがわかる。したがって、一定の動作電源電圧及び動作周波数でプロセッサ１を動作させながら一のフレームの符号化処理を行う本発明によれば、ブロックごとに動作電源電圧及び動作周波数が決定されるため一のフレームの符号化中に何度も動作電源電圧及び動作周波数が変更される従来技術と比較して、低消費電力化が図られることがわかる。【００９５】
なお、プロセッサに用意されている動作周波数において、予測された動作周波数以上の動作周波数と予測された動作周波数より低い動作周波数を選択し、予め定められたタイミングで割り込みを行い、２段階に動作周波数等を制御してもよい。その割り込み時点において、必要演算量計算手段で算出された所定フレームの必要演算量の残量が、符号化又は復号化処理手段による所定フレームの符号化又は復号化処理に実際に必要な演算量の残量よりも小さい場合は、切替タイミングを早めて、高い動作周波数で動作する時間を長くするようにしても良い。【００９６】
さらに、動画像符号化処理システムＳ１は、上記第１の破綻回避手段により所定フレームの符号化処理の演算量が削減された場合に、所定フレームよりも後に符号化処理される後続フレームの必要演算量を増加させるようにしても良い。この後続フレームの必要演算量を増加させる処理は、所定フレームの後に符号化処理が行われる後続フレームの必要演算量計算手段２の処理において、後続フレームの必要演算量Ｋｐを所定値だけ増加させる処理を行うものであり、後続フレームの必要演算量計算ステップ（Ｓｔｅｐ２）内で実行される。具体的には、所定フレームの符号化処理の後に行われる後続フレームの必要演算量計算ステップ内において、必要演算量Ｋｐをｍ倍（ｍは1以上の実数）する。たとえばｍ＝１．１とすると、算出した必要演算量Ｋｐに対し、１０％の余裕を持たせる（増加させる）ことができる。また、必要演算量Ｋｐに実数ｎ（ｎは０以上の実数）を加算しても良く、算出された必要演算量の値に関わらず一定の値で余裕を持たせる（増加させる）ことができる。上述の例を用いると、最終的に算出される必要演算量Ｋｐは、
Ｋp＝Ｇ（Ｚ）×ｍ    ・・・（数式１）
Ｋp＝Ｇ（Ｚ）＋ｎ    ・・・（数式２）
により求められる。２式を組み合わせて、
Ｋp＝Ｇ（Ｚ）×ｍ＋ｎ    ・・・（数式３）
としてもよい。【００９７】
また、所定フレームの必要演算量が実際に必要な演算量よりも小さく、第１の破綻回避手段を実行した場合は、後続フレームの必要演算量計算ステップ内において必要演算量を算出する関数Ｇ（Ｚ）に用いたいずれかの要素の係数を、ｍ倍（ｍは１以上の実数）する。たとえば、破綻回避処理を実行したためにマクロブロックマッチング回数Ｍが小さくなってしまった場合、上述の例を用いると、次のフレームで算出される必要演算量Ｋｐは、
Ｋｐ＝ｊ＋（α×ｍ）×Ｍ＋βＢ＋γＣ＋δＺ＋ε△Ｑprev
Ｋｐ＝ｊ＋（α＋ｎ）×Ｍ＋βＢ＋γＣ＋δＺ＋ε△Ｑprev
により求められる。２式を組み合わせて
Ｋｐ＝ｊ＋（α×ｍ＋ｎ）×Ｍ＋βＢ＋γＣ＋δＺ＋ε△Ｑprev
としてもよい。また、要素一つだけに限らず、いくつかの要素を増加しても良い。関数に用いるすべての要素をｍ倍（ｍは１以上の実数）、あるいはすべての要素に実数ｎ（ｎは０以上の実数）を加算しても良く、上記の（数式１）、（数式２）、（数式３）のように算出された必要演算量の値に関わらず一定の値で増加させても良い。【００９８】
（第２の実施の形態）
図８は、本実施の形態の動画像符号化処理システムＳ２の概略ブロック図であり、図９は、このシステムＳ２により実現される動画像符号化方法を説明する概略フローチャートである。本実施の形態の動画像符号化処理システムＳ２は、第２の破綻回避手段９６を備える。第２の破綻回避手段９６は、所定フレームの符号化処理が終了した後に、所定フレームにおける必要演算量算出手段で算出された必要演算量Ｋｐと所定フレームの符号化処理に実際に要した演算量とを比較して、「必要演算量Ｋｐ＜実際に要した演算量」である場合は、所定フレームの後に符号化処理が行われる後続フレームの必要演算量計算手段の処理において、後続フレームの必要演算量Ｋｐを増加させる機能を備える。その他の点については第１の実施の形態と同様である。動画像符号化処理システムＳ２は、第１の破綻回避手段・ステップと第２の破綻回避手段・ステップの両方を備えるようにしても良いし、第２の破綻回避手段・ステップのみを備えても良い。【００９９】
（第２の破綻回避ステップ）
第２の破綻回避手段９６は、必要演算量計算手段２の一部として機能する手段であり、必要演算量計算ステップ（Ｓｔｅｐ２）内で実行される。具体的には、第２の破綻回避手段９６により、所定フレームにおける必要演算量算出手段で算出された必要演算量Ｋｐと所定フレームの符号化処理に実際に要した演算量とを比較して、「必要演算量Ｋｐ＜実際に要した演算量」である場合は、所定フレームの後に符号化処理が行われる後続フレームの必要演算量計算手段の処理において、後続フレームの必要演算量Ｋｐを増加させる。後続フレームの必要演算量Ｋｐを増加させるには、たとえば、所定フレームよりも後に符号化処理される後続フレームの必要演算量計算ステップ内において、必要演算量Ｋｐをｍ倍（ｍは１以上の実数）する。ｍ＝１．１とすると、算出した必要演算量Ｋｐに対し、１０％の余裕を持たせる（増加させる）ことができる。また、必要演算量Ｋｐに実数ｎ（ｎは０以上の実数）を加算しても良く、算出された必要演算量の値に関わらず一定の値で余裕を持たせる（増加させる）ことができる。上述の例を用いると、最終的に算出される必要演算量Ｋｐは、
Ｋp＝Ｇ（Ｚ）×ｍ    ・・・（数式１）
Ｋp＝Ｇ（Ｚ）＋ｎ    ・・・（数式２）
により求められる。２式を組み合わせて、
Ｋp＝Ｇ（Ｚ）×ｍ＋ｎ    ・・・（数式３）
としてもよい。【０１００】
また、所定フレームの必要演算量が実際に必要な演算量よりも小さく、第１の破綻回避手段を実行した場合は、後続フレームの必要演算量計算ステップ内において必要演算量を算出する関数Ｇ（Ｚ）に用いたいずれかの要素の係数を、ｍ倍（ｍは１以上の実数）する。たとえば、破綻回避処理を実行したためにマクロブロックマッチング回数Ｍが小さくなってしまった場合、上述の例を用いると、次のフレームで算出される必要演算量Ｋｐは、
Ｋｐ＝ｊ＋（α×ｍ）×Ｍ＋βＢ＋γＣ＋δＺ＋ε△Ｑprev
Ｋｐ＝ｊ＋（α＋ｎ）×Ｍ＋βＢ＋γＣ＋δＺ＋ε△Ｑprev
により求められる。２式を組み合わせて
Ｋｐ＝ｊ＋（α×ｍ＋ｎ）×Ｍ＋βＢ＋γＣ＋δＺ＋ε△Ｑprev
としてもよい。また、要素一つだけに限らず、いくつかの要素を増加しても良い。関数に用いるすべての要素をｍ倍（ｍは１以上の実数）、あるいはすべての要素に実数ｎ（ｎは０以上の実数）を加算しても良く、上記の（数式１）、（数式２）、（数式３）のように算出された必要演算量の値に関わらず一定の値で増加させても良い。【０１０１】
（第３の実施の形態）
本発明の第３の実施の形態の動画像符号化処理システムＳ３は、第１の破綻回避手段に換えて所定フレームの符号化処理に割り当てられた時間が経過した際に、符号化処理が完了していない場合は破綻現象を回避する処理を行う第３の破綻回避手段を備える。その他の点については第２の実施の形態と同様である。【０１０２】
（第３の破綻回避ステップ）
図１０は、第３の破綻回避手段９７を備える動画像符号化処理システムＳ３の概略ブロック図であり、図１１は、このシステムＳ３により実現される動画像符号化処理方法を説明する概略フローチャートである。第３の破綻回避手段９７は、ステップ５において動画像符号化手段５が所定フレームの入力画像データ１０１の符号化処理ルーチンを実行して、割り当てられた時間Ｔｅが経過した際に符号化処理が終了しているか終了していないかを判定し、符号化処理が終了していない場合は、次のフレームに割り当てられている時間を用いて符号化処理が完了するまで所定フレームの処理時間を延長することにより、符号化処理が完了できないという破綻現象を回避できるようにしている。【０１０３】
(入力フレームメモリ)
以下に、第３の破綻回避手段９７について具体的に説明する。まず、１フレームの処理時間が符号化方式（MPEGなど）の規定などにより時間Ｔｆに制限されている理由の１つとして、入力画像のデータがフレームレートの間隔で入力フレームメモリに1フレームごと記憶され、入力画像のフレームレートの間隔で入力フレームメモリのデータが１フレームずつ更新されるということが挙げられる。入力フレームメモリのデータが更新される間隔はフレームレートによって異なり、１フレームの符号化処理時間は入力画像のフレームレートにより制限された時間が割り当てられる。ここで、入力フレームメモリ７は複数フレーム分（ここでは２フレーム分）のデータを記憶できるメモリであり、データの先頭アドレスはメモリのアドレスで指定されているものとし、データは指定されたアドレスから順次格納されていくものとする。【０１０４】
（処理時間制御）
図１２は通常の符号化処理の場合の処理時間推移を示す図であり、図１３，図１４，図１５は第３の破綻回避手段によって第３の破綻回避ステップを実行した符号化処理の場合の処理時間推移を示す図である。たとえば、実時間処理において、１秒間に３０枚の画像データが入力されれば、外部メモリのデータは１／３０秒毎に更新される。動画像符号化処理システムで１秒間に１０枚の画像を符号化する場合、３枚に１枚の割合で入力画像が符号化されることになる。ここで、符号化される１フレ−ムに割り当てられる時間はＴｆ＝１／１０秒であり、入力画像のフレームの番号を＃１，＃２，＃３，＃４，・・・とすると、通常符号化されるフレームの番号は，図１２で示すように＃１，＃４，＃７，＃１０，・・・となる。第３の破綻回避手段は、所定フレームにおいて、必要演算量計算手段により算出された必要演算量Ｋｐが実際に必要な演算量Ｋｍよりも小さい場合、つまり、符号化処理に割り当てられた時間が経過したにもかかわらず、符号化処理が終了されない場合に対し、次フレームに割り当てられている符号化処理時間を用いて所定フレームの処理時間Ｔｅを延長し、所定フレームの符号化処理を続行して処理を完了させるために、入力フレームメモリの状態信号を制御する手段である。第３の破綻回避手段としては、以下の例１、例２が挙げられる。【０１０５】
（第３の破綻回避手段の例１）第３の破綻回避手段９７は後述する手順１から手順４を実行する機能を備える。（手順１）所定フレームにおいて符号化処理に割り当てられた時間Ｔｅの延長を行うため、入力フレームメモリの状態制御を行い、所定フレームの符号化処理を続行する。（手順２）所定フレームの符号化処理が完了した際に、次フレームの符号化処理可能な時間を算出する。（手順３）入力フレームメモリ状態の切り替え制御を行う。以下、手順１から手順３について詳述する。【０１０６】
（手順１：時間Ｔｅの延長）図１３に、破綻回避手段９７による符号化処理時間の推移を示す。上記の例を用いると、＃４のフレームデータは入力フレームメモリ７ｂに記憶され、＃７のフレームデータは入力フレームメモリ７ｂに記憶されている。ここで、＃４の符号化が符号化処理に割り当てられた時間Ｔｅにおいて終了できなかった場合、＃４の符号化処理時間Ｔｅを延長して処理を続行するためには、＃４のフレームデータを保持する必要がある。そこで、入力フレームメモリの状態制御を行い、入力フレームメモリ７ｂは書き込み不可の状態に制御し、入力フレームメモリ７ａを書き込み可能な状態に維持し、＃８のフレームデータの書き込み先を入力フレームメモリ７ａに変更する。入力フレームメモリ７ｂは＃４のフレームデータを保持でき、＃４の符号化処理は続行可能となるので、＃４の符号化処理が完了するまで時間を延長することができる。【０１０７】
（手順２：次のフレーム処理時間の算出）＃４の符号化処理が完了した際、割り当てられた時間Ｔｅ経過後、＃４の符号化処理に費やした延長時間Ｔｏが求められる。次の符号化対象となるフレームの符号化処理時間Ｔｌは、Ｔｌ＝Ｔｅ−Ｔｏにより算出される。ここで、時間Ｔｌは、次の符号化対象となるフレームに対し、必要とされる演算量が必要演算量計算手段により算出され、動作決定手段により動作周波数・動作電源電圧および基板バイアス電圧を決定する際に用いるので、時間Ｔｌを算出しておく。なお、時間Ｔｌは次フレームの必要演算量計算手段を実行する際に算出してもよい。【０１０８】
（手順３：メモリ状態の切り替え制御）手順２により算出された延長時間Ｔｏにおいて、Ｔｏ＜Ｔｆ／３の場合は、次の符号化対象フレームは＃８となる。＃８のフレームデータの書き込みが終了する際に、入力フレームメモリ７の状態の切り替え制御を行うことで、入力フレームメモリ７ａは＃８のフレームデータの読み込み状態に、入力フレームメモリ７ｂは次のフレームである＃９の書き込み状態に切り替わり、＃８の符号化ステップに移行する。また、Ｔｆ／３＜Ｔｏ＜２Ｔｆ／３の場合は、図１４に示すように、次の符号化対象フレームは＃９となり、＃９のフレームデータの書き込みが終了する際に、入力フレームメモリ７の状態制御の切り替えが同様に行われ、＃９の符号化ステップに移行する。以上の手順をもって、入力フレームメモリの状態を制御することにより、所定フレームの処理時間を変更して時間を延長することができ、所定フレームの符号化処理を完了させることで、破綻を完全に回避できる。【０１０９】
また、次フレームの符号化処理時間Ｔｌを算出することで、次フレームの符号化に最適な動作周波数・動作電源電圧および基板バイアス電圧を決定することができ、後続フレームに対しても効率良く低消費電力化を図ることができる。なお、時間Ｔｌの算出は、次の符号化対象となるフレームの符号化ステップの必要演算量計算手段を実行する際に算出しても良い。【０１１０】
（第３の破綻回避手段の例２）第３の破綻回避手段９８は、第３の破綻回避手段９７に対し、入力フレームメモリの状態制御方法のみが異なり、その他の点については、第３の破綻回避手段９７と同様である。図１５は、第３の破綻回避手段９８による符号化処理の時間推移を示したものである。第３の破綻回避手段９８は、入力フレームメモリの状態制御において、＃４に割り当てられた符号化処理時間Ｔｅにおいて処理が終了できなかった場合、少なくとも延長時間Ｔｏの間は入力フレームメモリ７ａ，７ｂともに書き込み不可の状態に制御し、時間Ｔｅを時間Ｔｏだけ延長する。入力フレームメモリは、入力フレームメモリ７ｂに格納されている＃４のフレームデータと、入力フレームメモリ７ａに格納されている＃７のフレームデータが保持された状態となる。＃４のフレームについては時間Ｔｅの延長により破綻現象が回避される。延長時間Ｔｏ中に入力される＃８のフレームは、入力フレームメモリに書き込まれない。＃４の符号化処理が完了した時点で、入力フレームメモリ７ａ，７ｂの書き込み・読み出しの状態切り替えを行う。書き込み状態に制御された入力フレームメモリ７ｂは、入力されたフレームデータが書き込み可能となる。入力フレームメモリ７ａは＃７のフレームデータの読み出しが行われ、入力フレームメモリ７ｂには＃９，＃１０のフレームが順次書き込まれる。延長時間Ｔｏにかかわらず、＃４のフレームの符号化処理の後は、＃７，＃１０のフレームデータの符号化処理が順次行われる。通常の符号化処理と等しいフレーム番号を符号化させるため、通常の符号化処理と同等の画質を得ることができる。【０１１１】
また、入力画像データのフレームレートと動画像符号化処理システムのフレームレートが等しい場合は、符号化されるフレームは＃１，＃２，＃３，＃４，＃５，＃６，＃７，・・・であり、符号化処理時間を延長できる範囲は最大Ｔｆとなる。＃４の符号化処理の延長時間がＴｆを超える場合は＃６を次のフレームとして符号化しても良い。【０１１２】
（第４の実施の形態）
本発明の第４の実施の形態の動画像復号化処理システムＳ４は、符号化された動画像を復号化するシステムである。図１６は動画像復号化処理システムＳ４の動作を示した概略ブロック図である。本実施の形態の動画像復号化処理システムＳ４は、動作電源電圧及び基板バイアス電圧及び動作周波数がｒ段階（ｒは２以上の整数）に用意され且つプログラムにより動作電源電圧及び基板バイアス電圧及び動作周波数を変更可能なプロセッサ１と、前記プロセッサ１の動作電源電圧及び基板バイアス電圧及び動作周波数を制御する動作制御手段４と、前フレームの復号化データを記憶する局部復号フレームメモリ４６とを備える。また、局部復号メモリ４６は動作制御手段４により，プロセッサ１と同様に動作電源電圧・基板バイアス電圧・動作周波数が制御されてもよい。プロセッサ１は、プロセッサ１上で動作する手段として、必要演算量計算手段４２と、動作決定手段３と、動画像復号化手段３５と、第３の破綻回避手段９７とを備える。符号４０１は入力符号化データ、符号１０２は動作電源電圧・基板バイアス電圧・動作周波数指示、符号１０５は動作電源電圧・基板バイアス電圧・動作周波数供給、符号４０６は復号化データであり、第１の実施の形態と同一符号は同一機能又はそれ相当の機能を有する部分である。符号化ではなく復号化を行う点及び下記以外の点は第３の実施の形態と同様である。【０１１３】
図１６に従って、動画像復号化処理システムＳ４の動作を説明する。以下、順次復号化されるフレームのうちこれから復号化される任意の一のフレーム（すなわち、あるフレームが復号化された時点を基準とすると次に復号化されるフレームであり、換言すると、その時点において未だに復号化処理されておらず未来に復号化処理が行われる予定であるフレーム）を所定フレーム、所定フレームより前に復号化された一のフレーム（過去に復号化されたフレーム）を前フレームとし、所定フレームを復号化する処理について説明するが、いずれのフレームについても同様の処理が行われる。コンピュータを動画像復号化処理システムＳ４として機能させる動画像復号化処理プログラムＰｒｇ４は、前記動画像符号化処理プログラムＰｒｇ１とほぼ同様であるが、ステップ５において、所定フレームの符号化データを復号化させる動画像復号化手段４５としてコンピュータ（詳しくはコンピュータに内蔵されるプロセッサ１）を機能させる。動画像復号化処理システムＳ４に入力されてきた入力符号化データ４０１は、必要演算量計算手段４２に入力される。必要演算量計算手段４２は符号化データ４０１の一フレーム分（すなわち、所定フレームの符号化データ４０１）の発生情報量（ビット数）ＦＢを計算し、必要計算量Ｋｐを予測する計算を行う（必要演算量計算ステップ）。必要演算量Ｋｐは、
Ｋp＝Ｇ（ＦＢ，ＭＶａ，ＭＶｖ，Ｂ，Ｃ，ＢＲ，Ｑ，ΔＱ，Ｉ，Ｅ，Ｐ）
で表される。ここで、ＦＢは所定フレームもしくは前フレームの符号化データのビット数、ＭＶａは所定フレームもしくは前フレームの動きベクトルの大きさの平均値、ＭＶｖは所定フレームもしくは前フレームの動きベクトルの大きさの分散、Ｂは所定フレームもしくは前フレームの有効ブロック数、Ｃは所定フレームもしくは前フレームの有効係数の数、ＢＲは所定フレームもしくは前フレームのビットレート、Ｑは所定フレームもしくは前フレームの量子化ステップサイズの平均値、ΔＱは所定フレームと前フレームの量子化ステップサイズの平均値の差もしくは前フレームと前々フレームの量子化ステップサイズの平均値の差、Ｉは所定フレームがＩピクチャであるか，ＰピクチャであるかＢピクチャであるかの種類、Ｅは前フレームの復号化に要した演算量、Ｐは必要演算量計算手段により算出された前フレームの必要演算量を表す。以下、上記関数Ｇについて説明する。【０１１４】
所定フレームの復号化に必要な演算量は、所定フレームの復号化で実行されるＩＤＣＴ処理、ＩＱ処理、ＶＬＤ処理の実行回数に依存する。また、ＩＤＣＴ処理の実行回数は所定フレームに含まれる有効ブロックの数に、ＩＱ処理およびＶＬＤ処理の実行回数は所定フレームに含まれる有効係数の数に依存する。すなわち、所定フレームに含まれる有効ブロックの数や有効係数の数が大きい（小さい）場合は、復号化処理に必要な演算量は大きく（小さく）なる。したがって、上記関数Ｇは、Ｂ，Ｃが大きい（小さい）場合、Ｋｐを大きく（小さく）設定するように構成する。【０１１５】
前フレームと所定フレームの間で画像の変化が大きい（小さい）場合、動きベクトルの大きさの平均値ＭＶａや動きベクトルの大きさの分散ＭＶｖが大きく（小さく）なるが、このとき所定フレームの有効ブロックの数や有効係数の数は大きく（小さく）なり、符号化処理に必要な演算量は大きく（小さく）なる。したがって、上記関数Ｇは，ＭＶａやＭＶｖが大きい（小さく）場合、Ｋｐを大きく（小さく）設定するように構成する。【０１１６】
所定フレームがＩピクチャの場合、復号化データを生成するときに予測画像と差分画像の加算を行わなくてよいので、復号化処理に必要な演算量は小さくなる。したがって、上記関数Ｇは、所定フレームがＩピクチャの場合、Ｋｐを小さく設定するように構成する。【０１１７】
符号化データのビット数ＦＢやフレームレートＢＲが大きい（小さい）場合、有効ブロックの数や有効係数の数は大きく（小さく）なる。したがって、上記関数Ｇは、ＦＢやＢＲが大きい（小さい）場合、Ｋｐを大きく（小さく）設定するように構成する。また、量子化ステップサイズはビットレートの制御に際して値が変更されるため、量子化ステップサイズの平均値Ｑや量子化ステップサイズの平均値の差ΔＱを考慮することで、上記関数Ｇが算出するＫｐが実際に所定フレームを復号化するために必要な演算量に近い値とすることができる。【０１１８】
動画像は連続するフレーム間での相関が大きいため、ＭＶａ，ＭＶｖ，Ｂ，Ｃ，ＢＲ，ＦＢ，Ｑは所定フレームと前フレームとで近い値となる。したがって、これらのパラメータを上記関数Ｇで使用する場合は、所定フレームでの値を用いても良いし、前フレームでの値を用いても良い。所定フレームでの値を用いる場合は、入力符号化データを受信した後、このデータの一部を復号化し、値を取り出して用いる。このとき、所定フレームでの値を用いることで予測演算量Ｋｐを実際の復号化処理に必要な演算量により近い値にすることができるメリットがある。前フレームでの値を用いる場合、所定フレームの入力符号化データを受信する前に予測演算量Ｋｐを算出することができるため、入力符号化データを受信しながら、受信済みのデータ分について復号化処理を同時に行うことができるメリットがある。【０１１９】
また、動画像は連続するフレーム間での相関が大きいため、所定フレームの復号化処理に必要演算量は前フレームの復号化処理で実際に必要であった演算量Ｅと近い値となる。さらに、必要演算量計算手段で算出される予測演算量が実際の復号化処理に要した演算量に近い値となる場合，Ｐ≒Ｅとなる。したがって、ＥやＰを考慮することで、上記関数Ｇが算出するＫｐが実際に所定フレームを復号化するために必要な演算量に近い値とすることができる。ＦＢは一フレーム分の発生情報量（ビット数）である。ただし、関数Ｇは要素ＦＢ，ＭＶａ，ＭＶｖ，Ｂ，Ｃ，ＢＲ，Ｄ，Ｑ，ΔＱprev，Ｉ，Ｅ，Ｐの一つ以上の要素を用いて導き出される関数である。必要演算量Ｋｐは、所定フレームに必要と予測される演算性能（周波数，サイクル）であり、所定フレーム内のビット数ＦＢが大きければ高い値と、ビット数ＦＢが小さければ低い値となる。また、必要演算量Ｋｐを予測する計算である必要演算量計算手段４２の要素として、所定フレームがフレーム内符号化であるかフレーム間符号化であるかの種類も使用することが可能であり、所定フレームがフレーム内符号化である場合の必要演算量Ｋｐは小さい値と、フレーム間符号化である場合の必要演算量Ｋｐは大きい値となる。さらに、必要計算量Ｋｐは、動きベクトルの大きさの平均値(これから復号化するフレームの，もしくは前フレームのもの)ＭＶａ、動きベクトルの大きさの分散  (これから復号化するフレームの，もしくは前フレームのもの)ＭＶｖ、有効ブロック数(これから復号化するフレームの，もしくは前フレームのもの)Ｂ、有効係数の数(これから復号化するフレームの，もしくは前フレームのもの)Ｃ、ビットレート(これから復号化するフレームの，もしくは前フレームのもの)ＢＲ、発生情報量(これから復号化するフレームの，もしくは前フレームのもの)ＦＢ、量子化ステップサイズの平均値(これから復号化するフレームの，もしくは前フレームのもの)Ｑ、量子化ステップサイズの平均値の差(これから復号化するフレームのＱと1つ前のフレームのＱの差，もしくは１つ前のフレームのＱと２つ前のフレームのＱの差)ΔＱ、ＩピクチャであるかＰピクチャであるかＢピクチャであるかの種類Ｉ、前フレームの復号化に実際に要した演算量Ｅ、前フレームの復号化に必要な演算量の予測値（すなわち、必要演算量計算手段により算出された前フレームの必要演算量）Ｐにも影響され、これらを必要演算量計算手段４２において要素として使用しても良い。例えば、動きベクトルの大きさの平均値(これから復号化するフレームの，もしくは前フレームのもの)ＭＶａ、動きベクトルの大きさの分散  (これから復号化するフレームの，もしくは前フレームのもの)ＭＶｖ、有効ブロック数(これから復号化するフレームの，もしくは前フレームのもの)Ｂ、有効係数の数(これから復号化するフレームの，もしくは前フレームのもの)Ｃについては、各要素それぞれについて、他の要素の値が変化しないと仮定したときに、要素の値が大きい場合は小さい場合と比較して必要演算量Ｋｐが相対的に大きくなるようにし、要素の値が小さい場合は大きい場合と比較して必要演算量Ｋｐが相対的に小さくなるようにする。必要演算量計算手段４２においては、これらの要素のう��一つの要素のみを使用しても良いし、複数組み合わせて使用しても良い。すなわち、これらの複数の要素は所定フレームの復号化処理のために必要な必要演算量に影響を与える要素であるため、必要演算量計算手段４２が、これらの要素に応じて必要演算量Ｋｐ（サイクル）を増減させるように計算を行うことにより、必要演算量計算手段４２により計算される必要演算量Ｋｐが現実に復号化処理を行ったときの演算量により近い値となる。【０１２０】
動作決定手段３（動作決定ステップ）及び動作制御手段４は、前記第１の実施の形態と同様である。動画像復号化手段４５は、所定フレームの入力符号化データ４０１を復号化して復号化データ４０６を生成する（動画像復号化ステップ）。動画像復号化手段４５による復号化処理に際しては、動作制御手段４により動作制御手段４により一定の動作電源電圧及び基板バイアス電圧及び動作周波数でプロセッサ１を動作させながら復号化処理が行われる。フレームごとに、そのフレームの復号化処理の前に必要な必要演算量が算出され、その必要演算量に応じた一定の動作周波数及び動作電源電圧及び基板バイアス電圧でプロセッサを動作させながらそのフレームの復号化が行われるため、低消費電力化を図ることができる。復号化データ４０６は、携帯電話やパソコンの画像表示部に動画像として表示されたり、ハードディスク等の記憶媒体に記憶されたりする。なお、プロセッサに用意されている動作周波数において、予測された動作周波数以上の動作周波数と予測された動作周波数より低い動作周波数を選択し、予め定められたタイミングで割り込みを行い、２段階に動作周波数等を制御してもよい。【０１２１】
動画像復号化処理システムＳ４においても、上記第３の破綻回避手段９７，９８を備えることが好ましい。各破綻回避手段は第３の実施の形態とほぼ同様であるが、符号化処理の演算量ではなく復号化処理の演算量について判断する点で異なる。第３の破綻回避手段９７，９８により、破綻現象を回避することができる。【０１２２】
本発明の動画像符号化処理システムは、第１の破綻回避手段９１，９２，９３，９４、緩和手段９５を伴う第１の破綻回避手段、第２の破綻回避手段９６、第３の破綻回避手段９７，９８をそれぞれ単独で備えても良く、また、各手段を適宜組み合わせて備えても良い。復号化処理システムは、各第２の破綻回避手段９６と、第３の破綻回避手段９７，９８をそれぞれ単独で備えてもよく、また、各手段を適宜組み合わせて備えても良い。たとえば、符号化処理システムの場合は、第１の破綻回避手段９１，９２，９３，９４、緩和手段９５を伴う第１の破綻回避手段、及び、第２の破綻回避手段９６の何れかを備えるようにし、第２の破綻回避手段９６により必要演算量を増加させても破綻を回避できない場合は、第１の破綻回避手段９１により、色差ブロックのみ無効ブロック化処理を行うか、あるいは第１の破綻回避手段９２により、フレーム内符号化処理を行うか、あるいは第１の破綻回避手段９３により、動きベクトルの大きさを０としてフレーム間符号化処理を行うか、あるいは第１の破綻回避手段９４により、量子化ステップサイズを大きくして符号化処理を行うようにしても良い。また、上記動画像符号化又は復号化処理プログラムは、２段階に動作周波数及び基板バイアス電圧及び動作電圧を制御して低消費電力化を実現しても良いし，プログラムと同様の機能を備えるハードウエアで実現されても良い。【０１２３】
（第５の実施の形態）
上記第１の実施の形態乃至第４の実施の形態は、動作電源電圧、基板バイアス電圧及び動作周波数を制御するものであるが、本実施の形態は、動作電源電圧及び動作周波数を制御することにより、低消費電力化を図るものである。なお、本実施の形態は半導体に集積されたシステムに限らない。図１７は、本実施の形態の動画像符号化システムＳ５の動作を示した概略ブロック図であり、図１８はプロセッサ５１の動作電源電圧・動作周波数の関係を示す概念図である。本実施の形態の動画像符号化処理システムＳ５は、上記第１の実施の形態のプロセッサ１に代えて、動作電源電圧Ｖｄｄ及び動作周波数がｒ段階（ｒは２上の整数）に可変であり（すなわち、ｒ段階の動作電源電圧Ｖｄｄ及び動作周波数で動作可能であり）且つプログラムにより動作電源電圧及び動作周波数を変更可能なプロセッサ５１とする。また、前記動作制御手段５４は、プロセッサ１の動作電源電圧及び動作周波数を制御する。プロセッサ５１、又は、プロセッサ１及び周辺装置（局部部復号メモリ６や入力フレームメモリ７等）は動作制御手段５２により動作電源電圧・動作周波数が制御される。【０１２４】
動作決定手段５３は、Ｆ（ｎ）＞Ｆｅであり、且つＦｅ＞Ｆ（ｎ−１）となる動作周波数Ｆ（ｎ）を所定フレームの符号化処理を行う動作周波数として選択する計算を行い、動作周波数Ｆ（ｎ）に適する動作電源電圧Ｖｄｄ（ｎ）を選択する計算を行い、プロセッサ１及び（又は）局部復号メモリ６等を含めた周辺装置をその動作周波数Ｆ（ｎ）及び動作電源電圧Ｖｄｄ（ｎ）で一定に動作させるように、動作制御手段５４に指示する（符号５０２）。動作制御手段５４は、動作決定手段５３から指示を受けた動作周波数Ｆ（ｎ）及び動作電源電圧Ｖｄｄ（ｎ）の値をプロセッサ１及び（又は）局部復号メモリ６等を含めた周辺装置に供給し（符号５０５）、その動作周波数Ｆ（ｎ）及び動作電源電圧Ｖｄｄ（ｎ）でプロセッサ１を一定に動作させる制御を行う。これにより、プロセッサ１及び（又は）局部復号メモリ６等を含めた周辺装置は、動作電源電圧Ｖｄｄ（ｎ）及び動作周波数Ｆ（ｎ）で動作することになる。その他の点については、第１の実施の形態とほぼ同様である。【０１２５】
本動画像符号化処理システムＳ５においても、上記第１の破綻回避手段９１，９２，９３，９４，９５や、上記第２の破綻回避手段９６、又は第３の破綻回避手段９７，９８を備えることが好ましい。【０１２６】
（第６の実施の形態）
上記第１の実施の形態乃至第４の実施の形態は、動作電源電圧、基板バイアス電圧及び動作周波数を制御するものであるが、本実施の形態は、基板バイアス電圧及び動作周波数を制御することにより、低消費電力化を図るものである。図１９は、本実施の形態の動画像符号化システムＳ６の動作を示した概略ブロック図であり、図２０はプロセッサ６１の基板バイアス電圧・動作周波数の関係を示す概念図である。本実施の形態の動画像符号化処理システムＳ６は、上記第１の実施の形態のプロセッサ１に代えて、基板バイアス電圧Ｖｂｎ、Ｖｂｐ及び動作周波数がｒ段階（ｒは２以上の整数）に可変であり（すなわち、ｒ段階の基板バイアス電圧Ｖｂｎ、Ｖｂｐ及び動作周波数で動作可能であり）且つプログラムにより基板バイアス電圧及び動作周波数を変更可能なプロセッサ６１とする。また、前記動作制御手段６４は、プロセッサ１の基板バイアス電圧及び動作周波数を制御する。プロセッサ６１、又は、プロセッサ６１及び周辺装置（局部部復号メモリ６や入力フレームメモリ７等）は動作制御手段６４により基板バイアス電圧・動作周波数が制御される。【０１２７】
動作決定手段６３は、Ｆ（ｎ）＞Ｆｅであり、且つＦｅ＞Ｆ（ｎ−１）となる動作周波数Ｆ（ｎ）を所定フレームの符号化処理を行う動作周波数として選択する計算を行い、動作周波数Ｆ（ｎ）に適する基板バイアス電圧Ｖｂｎ（ｎ）、Ｖｂｐ（ｎ）を選択する計算を行い、プロセッサ１及び（又は）局部復号メモリ６等を含めた周辺装置をその動作周波数Ｆ（ｎ）及び基板バイアス電圧Ｖｂｎ（ｎ）、Ｖｂｐ（ｎ）で動作させるように、基板バイアス電圧・動作周波数を動作制御手段６４に指示する（符号６０２）。動作制御手段６４は、動作決定手段６３から指示を受けた動作周波数Ｆ（ｎ）及び基板バイアス電圧Ｖｂｎ（ｎ）、Ｖｂｐ（ｎ）の値をプロセッサ６１及び（又は）局部復号メモリ６等を含めた周辺装置に供給し（符号６０５）、その動作周波数Ｆ（ｎ）及び基板バイアス電圧Ｖｂｎ（ｎ）、Ｖｂｐ（ｎ）でプロセッサ６１を一定に動作させる制御を行う。これにより、プロセッサ６１及び（又は）局部復号メモリ６等を含めた周辺装置は、一定の基板バイアス電圧Ｖｂｎ（ｎ）、Ｖｂｐ（ｎ）及び動作周波数Ｆ（ｎ）で動作することになる。その他の点については、第１の実施の形態とほぼ同様である。【０１２８】
本動画像符号化処理システムＳ６においても、上記第１の破綻回避手段９１，９２，９３，９４，９５又は第３の破綻回避手段９７，９８や、上記第２の破綻回避手段９６を備えることが好ましい。【０１２９】
また、上記第４の実施の形態の動画像復号化システムＳ４についても、動作周波数に適する動作電源電圧及び基板バイアス電圧を制御することに代えて、動作周波数に適する動作電源電圧、又は基板バイアス電圧を制御することが可能である。【０１３０】
（実施例）
実施例を説明する。本実施例は、第２の実施の形態の動画像符号化システム２に、第１の破綻回避手段９１と第２の破綻回避手段が含まれたシステムについての実施例である。符号化の対象として７５枚のフレームから成る動画像データを使用し、符号化されるフレームとして３５番目のフレームを例に説明する。各フレームは１４４行１７６列の画素配列で構成されている。符号化処理としては、ＭＰＥＧ−４を使用する。図２１は、動画像符号化システムＳ２のプロセッサ１における動作周波数と動作電源電圧、基板バイアス電圧の関係の例を表している。動画像符号化システムＳ２のプロセッサ１は、動作周波数５０ＭＨｚ〜２５０ＭＨｚ、動作電源電圧０．５Ｖ〜１．０Ｖ、基板バイアス電圧―１．０Ｖ〜０．５Ｖであり、５段階に可変となっている。【０１３１】
まず、動画像符号化システムＳ２は、入力フレームメモリ７にアクセスして、３５番目のフレームを取得し、必要演算量計算手段２により、そのフレームの必要演算量Ｋｐを計算する。必要演算量Ｋｐは、具体的には、まず、前フレームとして３４番目のフレームを使用し下記の数式により差分絶対値和Ｚを算出する。
Ｚ＝Σ｜Ｘij−Ｙij｜＝４１５４１
次に、前フレームのマクロブロックマッチング回数Ｍ＝３０８、前フレームの量子化ステップサイズ（量子化ステップサイズの平均値）Ｑprev＝３、前フレームの有効ブロック数Ｂ＝１０９、前フレームの有効係数の数Ｃ＝６２０、前フレームの符号化に実際に要した処理量Ｓ＝３５６１３０３、所定フレームの符号化ビットレートＢＲ＝６５５３６を得る。また、前フレームの量子化ステップサイズの平均値とそのひとつ前の３３番目のフレームの量子化ステップサイズの平均値の差ΔＱprev＝０を算出する。また、前フレームの実際の発生ビット数Ｄ＝５６７９７を得る。次に、各要素を使用して下記の数式により必要演算量Ｋｐを算出する。
Ｋｐ＝ｊ＋αＭ＋βＢ＋γＣ＋δＺ＋ε△Ｑprev
以上より、本実施例１では必要演算量Ｋｐ＝６９５８２１７が得られる。【０１３２】
次に、下記の数式により動作周波数を計算する。
Ｆｅ＝Ｋｐ／Ｔｅ＝６９５８２１７／（１／１５）＝１０４ＭＨｚ
Ｆ（ｎ）＞Ｆｅであり且つＦｅ＞Ｆ（ｎ−１）となるＦ（ｎ）を計算し、プロセッサ１の５段階に可変な動作周波数のうち、動作周波数Ｆ（３）＝１５０ＭＨｚを選択し、動作周波数Ｆ（３）＝１５０ＭＨｚに適する動作電源電圧Ｖｄｄ（３）＝０．８Ｖ及び基板バイアス電圧Ｖｂｎ（３）＝０Ｖ、Ｖｂｐ（３）＝０．８Ｖを決定する。プロセッサ１を動作周波数Ｆ＝１５０ＭＨｚ及び動作電源電圧Ｖｄｄ＝０．８Ｖ及び基板バイアス電圧Ｖｂｎ＝０Ｖ、Ｖｂｐ＝０．８Ｖで動作させるように、動作制御手段４に指示する。動作制御手段４は、少なくともプロセッサ１を動作電源電圧Ｆ＝１５０ＭＨｚ及び動作電源電圧Ｖｄｄ＝０．８Ｖ及び基板バイアス電圧Ｖｂｎ＝０Ｖ、Ｖｂｐ＝０．８Ｖで一定に動作させる制御を行う。また、上記破綻回避手段９１を備える場合は、下記の数式より切り替えタイミング時間を算出しておく。
Ｔｉ＝Ｔｅ−（Ｋｓ×（ＭＢ−ＭＢｉ））／Ｆ
＝０．０６６６６−（４７５０×（９９−０））／(１５０００００００)
≒０．０６３５３
ここで、Ｋｓは１つのマクロブロックのうち、色差ブロックのみを無効ブロックとして処理するために必要なサイクル数である。動画像符号化手段５は、上記動作周波数Ｆ＝１５０ＭＨｚ及び動作電源電圧Ｖｄｄ＝０．９Ｖ及び基板バイアス電圧Ｖｂｎ＝０Ｖ、Ｖｂｐ＝０．８Ｖで一定に動作させられた状態のプロセッサ１を使用して符号化処理を行い、符号化データを生成する。【０１３３】
さらに、符号化処理ルーチンを実行している際に、上記第１の破綻回避手段９１を備える場合は、上記Ｔｉが経過したタイミングでＫｗ×（ＭＢ−ＭＢｉ）＞Ｆ×（Ｔｅ−Ｔｉ）であるか否かの判断をする。本実施例１では、Ｔｉ＝０．０６３５３のタイミングでＫｗ×（ＭＢ−ＭＢｉ）＜Ｆ×（Ｔｅ−Ｔｉ）であり、演算量に余裕があると判断し、切り替えタイミングの更新を行う。このときＭＢｉ＝８３であったので、下記の数式によりＴｉが更新される。
Ｔｉ＝Ｔｅ−（Ｋｓ×（ＭＢ−ＭＢｉ））／Ｆ
＝０．０６６６６−（４７５０×（９９−８３））／(１５０００００００)
≒０．０６６６２
上記のタイミングにおいては、ＭＢｉ≠ＭＢであり、Ｋｗ×（ＭＢ−ＭＢｉ）＞Ｆ×（Ｔｅ−Ｔｉ）であることから、残りのマクロブロック全てを色差ブロックのみ無効ブロック化する処理に切り替える。【０１３４】
３５番目のフレームのステップが終了し、次の３６番目のフレームのステップに移行する。上記第２の破綻回避手段９６を備える場合、必要演算量計算手段において、前フレームのマクロブロックマッチング回数Ｍ＝３２７、前フレームの量子化ステップサイズ（量子化ステップサイズの平均値）Ｑprev＝３、前フレームの有効ブロック数Ｂ＝１２１、前フレームの有効係数の数Ｃ＝７４９、前フレームの符号化に実際に要した処理量Ｓ＝７０１３９３３、前フレームの実際の発生ビット数Ｄ＝８３９４２を得て、且つ１つ前のフレームで破綻回避処理が実行されたか、されていないかをチェックする。破綻回避処理が実行されているため、第２の破綻回避手段９６により、必要演算量の予測値を増加する処理を行う。本実施例では、マクロブロックマッチング回数Ｍと有効ブロック数Ｂと有効係数の数Ｃを１．１倍し、下記の数式により必要演算量Ｋｐを算出する。
Ｋｐ＝ｊ＋（α×１．１）Ｍ＋（β×１．１）Ｂ＋（γ×１．１）Ｃ＋δＺ＋ε△Ｑprev
以上により、必要演算量Ｋｐ＝７１０１４７２が得られる。【０１３５】
また、第１の破綻回避手段９５により、前のフレームで破綻回避処理を実行したマクロブロックに対応する所定フレームのマクロブロックにおいて、量子化ステップサイズＱ＝４からＱ＝３とする。これにより、前フレームの画質の影響を緩和し、画質をより改善することができる。
【図１】
2006004065.tif 000002
【図２】
2006004065.tif 000003
【図３】
2006004065.tif 000004
【図４】
2006004065.tif 000005
【図５】
2006004065.tif 000006
【図６】
2006004065.tif 000007
【図７】
2006004065.tif 000008
【図８】
2006004065.tif 000009
【図９】
2006004065.tif 000010
【図１０】
2006004065.tif 000011
【図１１】
2006004065.tif 000012
【図１２】
2006004065.tif 000013
【図１３】
2006004065.tif 000014
【図１４】
2006004065.tif 000015
【図１５】
2006004065.tif 000016
【図１６】
2006004065.tif 000017
【図１７】
2006004065.tif 000018
【図１８】
2006004065.tif 000019
【図１９】
2006004065.tif 000020
【図２０】
2006004065.tif 000021
【図２１】
2006004065.tif 000022
【図２２】
2006004065.tif 000023
【図２３】
2006004065.tif 000024
【手続補正書】
【提出日】平成18年5月19日(2006.5.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】請求の範囲
【請求項１】連続する複数のフレームから構成される動画像をフレーム単位で符号化する動画像符号化手段として機能するプロセッサを備え、
一のフレームの符号化に必要な必要演算量Ｋｐを計算する必要演算量計算手段と、当該一のフレームの符号化処理に予め割り当てられている時間Ｔｅ内に当該必要演算量Ｋｐを符号化処理可能な動作周波数を決定する動作決定手段とを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定手段により決定された動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら当該動画像符号化手段により当該一のフレームの符号化処理を行う動画像符号化処理システムであり、
所定のタイミングで符号化処理の演算量を削減する第１の破綻回避手段を備え、当該第１の破綻回避手段は、符号化が終了していないマクロブロックのうち、色差信号の情報を持つブロックを無効ブロックとして処理を行うことを特徴とする動画像符号化処理システム。
【請求項２】（削除）
【請求項３】連続する複数のフレームから構成される動画像をフレーム単位で符号化する動画像符号化手段として機能するプロセッサを備え、
一のフレームの符号化に必要な必要演算量Ｋｐを計算する必要演算量計算手段と、当該一のフレームの符号化処理に予め割り当てられている時間Ｔｅ内に当該必要演算量Ｋｐを符号化処理可能な動作周波数を決定する動作決定手段とを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定手段により決定された動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら当該動画像符号化手段により当該一のフレームの符号化処理を行う動画像符号化処理システムであり、
所定のタイミングで符号化処理の演算量を削減する第１の破綻回避手段を備え、当該第１の破綻回避手段は、符号化が終了していないマクロブロックに対し、フレーム内符号化処理を行うことを特徴とする動画像符号化処理システム。
【請求項４】連続する複数のフレームから構成される動画像をフレーム単位で符号化する動画像符号化手段として機能するプロセッサを備え、
一のフレームの符号化に必要な必要演算量Ｋｐを計算する必要演算量計算手段と、当該一のフレームの符号化処理に予め割り当てられている時間Ｔｅ内に当該必要演算量Ｋｐを符号化処理可能な動作周波数を決定する動作決定手段とを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作决定手段により決定された動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら当該動画像符号化手段により当該一のフレームの符号化処理を行う動画像符号化処理システムであり、
所定のタイミングで符号化処理の演算量を削減する第１の破綻回避手段を備え、当該第１の破綻回避手段は、符号化が終了していないマクロブロックに対し、動きベクトル検出を行うことなく動きベクトルを０としてフレーム間符号化処理を行うことを特徴とする動画像符号化処理システム。
【請求項５】連続する複数のフレームから構成される動画像をフレーム単位で符号化する動画像符号化手段として機能するプロセッサを備え、
一のフレームの符号化に必要な必要演算量Ｋｐを計算する必要演算量計算手段と、当該一のフレームの符号化処理に予め割り当てられている時間Ｔｅ内に当該必要演算量Ｋｐを符号化処理可能な動作周波数を決定する動作決定手段とを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定手段により決定された動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら当該動画像符号化手段より当該一のフレームの符号化処理を行う動画像符号化処理システムであり、
所定のタイミングで符号化処理の演算量を削減する第１の破綻回避手段を備え、当該第１の破綻回避手段は、符号化が終了していないマクロブロックに対し、量子化ステップサイズを大きくして符号化処理を行うことを特徴とする動画像符号化処理システム。
【請求項６】前記第１の破綻回避手段が前記一のフレームよりも後に符号化される後続フレームの符号化処理に与える影響を緩和する緩和手段を備えることを特徴とする請求項１又は請求項３乃至請求項５のいずれか１項に記載の動画像符号化処理システム。
【請求項７】前記緩和手段は、当該一のフレームにおいて第１の破綻回避手段による処理が実行されたマクロブロックに対応する後続フレームのマクロブロックに対し、量子化ステップサイズを小さくすることを特徴とする請求項６に記載の動画像符号化処理システム。
【請求項８】前記第１の破綻回避手段により前記一のフレームの符号化処理の演算量が削減された場合、当該一のフレームよりも後に符号化処理される後続フレームの必要演算量を増加させることを特徴とする請求項１又は請求項３乃至請求項７のいずれか１項に記載の動画像符号化処理システム。
【請求項９】前記後続フレームの必要演算量、又は、必要演算量の算出に用いられる要素について、ｍ倍（ｍは１以上の実数）、又は、０より大きい実数ｎを加算することにより、前記後続フレームの必要演算量を増加させることを特徴とする請求項８記載の動画像符号化処理システム。
【請求項１０】連続する複数のフレームから構成される動画像をフレーム単位で符号化または復号化する動画像符号化又は復号化手段として機能するプロセッサを備え、
一のフレームの符号化又は復号化に必要な必要演算量Ｋｐを計算する必要演算量計算手段と、当該一のフレームの符号化又は復号化処理に予め割り当てられている時間Ｔｅ内に前記必要演算量Ｋｐを符号化又は復号化処理可能な動作周波数を決定する動作決定手段とを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は、当該動作決定手段により決定された動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら当該動画像符号化又は復号化手段により当該一のフレームの符号化又は復号化処理を行う動画像符号化又は復号化処理システムであり、
前記必要演算量算出手段で算出された必要演算量Ｋｐが実際に必要な演算量よりも小さい場合、当該一のフレームよりも後に符号化又は復号化される後続フレームの必要演算量を増加させる第２の破綻回避手段を備えることを特徴とする動画像符号化又は復号化処理システム。
【請求項１１】前記第２の破綻回避手段は、前記後続フレームの必要演算量、又は、必要演算量の算出に用いられる要素について、ｍ倍（ｍは１以上の実数）、又は、０より大きい実数ｎを加算することを特徴とする請求項１０記載の動画像符号化又は復号化処理システム。
【請求項１２】連続する複数のフレームから構成される動画像をフレーム単位で符号化または復号化する動画像符号化又は復号化手段として機能するプロセッサを備え、
一のフレームの符号化又は復号化に必要な必要演算量Ｋｐを計算する必要演算量計算手段と、当該一のフレームの符号化又は復号化処理に予め割り当てられている時間Ｔｅ内に前記必要演算量Ｋｐを符号化又は復号化処理可能な動作周波数を決定する動作決定手段とを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は、当該動作決定手段により決定された動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら動画像符号化又は復号化手段により当該一のフレームの符号化又は復号化処理を行う動画像符号化又は復号化処理システムであり、
所定のタイミングで前記時間Ｔｅを延長する第３の破綻回避手段を備え、当該第３の破綻回避手段が、前記一のフレームの符号化処理に予め割り当てられている時間Ｔｅを延長した場合に、前記一のフレームよりも後に符号化又は復号化される後続フレームについて、当該後続フレームの符号化処理又は復号化処理に予め割り当てられている時間Ｔｅを変更することを特徴とする動画像符号化又は復号化処理システム。
【請求項１３】（削除）
【請求項１４】連続する複数のフレームから構成される動画像をフレーム単位で符号化または復号化する動画像符号化又は復号化手段として機能するプロセッサを備え、
一のフレームの符号化又は復号化に必要な必要演算量Ｋｐを計算する必要演算量計算手段と、当該一のフレームの符号化又は復号化処理に予め割り当てられている時間Ｔｅ内に前記必要演算量Ｋｐを符号化又は復号化処理可能な動作周波数を決定する動作決定手段とを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は、当該動作決定手段により決定された動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら動画像符号化又は復号化手段により当該一のフレームの符号化又は復号化処理を行う動画像符号化又は復号化処理システムであり、
所定のタイミングで前記時間Ｔｅを延長する第３の破綻回避手段を備え、当該第３の破綻回避手段が、前記一のフレームの符号化処理に予め割り当てられている時間Ｔｅを延長した場合に、次に符号化されるフレームを格納する入力フレームメモリに対して、フレームの書き込み先を変更することを特徴とする動画像符号化処理システム。
【請求項１５】連続する複数のフレームから構成される動画像をフレーム単位で符号化または復号化する動画像符号化又は復号化手段として機能するプロセッサを備え、
一のフレームの符号化又は復号化に必要な必要演算量Ｋｐを計算する必要演算量計算手段と、当該一のフレームの符号化又は復号化処理に予め割り当てられている時間Ｔｅ内に前記必要演算量Ｋｐを符号化又は復号化処理可能な動作周波数を決定する動作決定手段とを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は、当該動作決定手段により決定された動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら動画像符号化又は復号化手段により当該一のフレームの符号化又は復号化処理を行う動画像符号化又は復号化処理システムであり、
所定のタイミングで前記時間Ｔｅを延長する第３の破綻回避手段を備え、当該第３の破綻回避手段が、前記一のフレームの符号化処理に予め割り当てられている時間Ｔｅを延長した場合に、次に符号化されるフレームを格納する入力フレームメモリに対して書き込み不可とすることを特徴とする動画像符号化処理システム。
【請求項１６】プロセッサを使用して連続する複数のフレームから構成される動画像をフレーム単位で符号化する動画像符号化ステップと、一のフレームの符号化に必要な必要演算量Ｋｐを計算する必要演算量計算ステップと、当該一のフレームの符号化処理に予め割り当てられている時間Ｔｅ内に当該必要演算量Ｋｐを符号化処理可能な動作周波数を決定する動作決定ステップとを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定ステップにおいて得られた動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら、動画像符号化又は復号化ステップにおいて当該一のフレームの符号化処理を行う動画像符号化処理方法であり、
所定のタイミングで符号化処理の実際の演算量を削減する第１の破綻回避ステップを備え、当該第１の破綻回避ステップは、符号化が終了していないマクロブロックのうち、色差信号の情報を持つブロックを無効ブロックとして処理を行うことを特徴とする動画像符号化処理方法。
【請求項１７】プロセッサを使用して連続する複数のフレームから構成される動画像をフレーム単位で符号化又は復号化する動画像符号化又は復号化ステップと、一のフレームの符号化又は復号化に必要な必要演算量Ｋｐを計算する必要演算量計算ステップと、当該一のフレームの符号化又は復号化処理に予め割り当てられている時間Ｔｅ内に前記必要演算量Ｋｐを符号化又は復号化処理可能な動作周波数を決定する動作決定ステップとを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定ステップにより得られた動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら、動画像符号化又は復号化ステップにおいて当該一のフレームの符号化又は復号化処理を行う動画像符号化又は復号化処理方法であり、
前記必要演算量算出ステップで算出された必要演算量Ｋｐが実際に必要な演算量よりも小さい場合、当該一のフレームよりも後に符号化又は復号化される後続フレームの必要演算量を増加させる第２の破綻回避ステップを備えることを特徴とする動画像符号化又は復号化処理方法。
【請求項１８】プロセッサを使用して連続する複数のフレームから構成される動画像をフレーム単位で符号化又は復号化する動画像符号化ステップと、一のフレームの符号化又は復号化に必要な必要演算量Ｋｐを計算する必要演算量計算ステップと、当該一のフレームの符号化又は復号化処理に予め割り当てられている時間Ｔｅ内に前記必要演算量Ｋｐを符号化又は復号化処理可能な動作周波数を決定する動作決定ステップとを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定ステップにおいて得られた動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら、動画像符号化又は復号化ステップにおいて当該一のフレームの符号化又は復号化処理を行う動画像符号化又は復号化処理方法であり、
所定のタイミングで当該時間Ｔｅを延長する第３の破綻回避ステップを備え、当該第３の破綻回避ステップは、前記一のフレームの符号化処理に予め割り当てられている時間Ｔｅを延長した場合に、前記一のフレームよりも後に符号化又は復号化される後続フレームについて、当該後続フレームの符号化又は復号化処理に予め割り当てられている時間Ｔｅを変更することを特徴とする動画像符号化又は復号化処理方法。
【請求項１９】プロセッサを使用して連続する複数のフレームから構成される動画像をフレーム単位で符号化又は復号化する動画像符号化ステップと、一のフレームの符号化又は復号化に必要な必要演算量Ｋｐを計算する必要演算量計算ステップと、当該一のフレームの符号化又は復号化処理に予め割り当てられている時間Ｔｅ内に前記必要演算量Ｋｐを符号化又は復号化処理可能な動作周波数を決定する動作決定ステップとを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定ステップにおいて得られた動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら、動画像符号化又は復号化ステップにおいて当該一のフレームの符号化又は復号化処理を行う動画像符号化又は復号化処理方法であり、
所定のタイミングで当該時間Ｔｅを延長する第３の破綻回避ステップを備え、当該第３の破綻回避ステップは、前記一のフレームの符号化処理に予め割り当てられている時間Ｔｅを延長した場合に、次に符号化されるフレームを格納する入力フレームメモリに対して、フレームの書き込み先を変更することを特徴とする動画像符号化又は復号化処理方法。
【請求項２０】プロセッサを使用して連続する複数のフレームから構成される動画像をフレーム単位で符号化又は復号化する動画像符号化ステップと、一のフレームの符号化又は復号化に必要な必要演算量Ｋｐを計算する必要演算量計算ステップと、当該一のフレームの符号化又は復号化処理に予め割り当てられている時間Ｔｅ内に前記必要演算量Ｋｐを符号化又は復号化処理可能な動作周波数を決定する動作決定ステップとを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定ステップにおいて得られた動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら、動画像符号化又は復号化ステップにおいて当該一のフレームの符号化又は復号化処理を行う動画像符号化又は復号化処理方法であり、
所定のタイミングで当該時間Ｔｅを延長する第３の破綻回避ステップを備え、当該第３の破綻回避ステップは、前記一のフレームの符号化処理に予め割り当てられている時間Ｔｅを延長した場合に、次に符号化されるフレームを格納する入力フレームメモリに対して書き込み不可とすることを特徴とすることを特徴とする動画像符号化又は復号化処理方法。
【請求項２１】プロセッサを使用して連続する複数のフレームから構成される動画像をフレーム単位で符号化する動画像符号化ステップと、一のフレームの符号化に必要な必要演算量Ｋｐを計算する必要演算量計算ステップと、当該一のフレームの符号化処理に予め割り当てられている時間Ｔｅ内に当該必要演算量Ｋｐを符号化処理可能な動作周波数を決定する動作決定ステップとを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定ステップにおいて得られた動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら、動画像符号化又は復号化ステップにおいて当該一のフレームの符号化処理を行う動画像符号化処理方法であり、
所定のタイミングで符号化処理の実際の演算量を削減する第１の破綻回避ステップを備え、当該第１の破綻回避ステップは、符号化が終了していないマクロブロックに対し、フレーム内符号化処理を行うことを特徴とする動画像符号化処理方法。
【請求項２２】プロセッサを使用して連続する複数のフレームから構成される動画像をフレーム単位で符号化する動画像符号化ステップと、一のフレームの符号化に必要な必要演算量Ｋｐを計算する必要演算量計算ステップと、当該一のフレームの符号化処理に予め割り当てられている時間Ｔｅ内に当該必要演算量Ｋｐを符号化処理可能な動作周波数を決定する動作決定ステップとを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定ステップにおいて得られた動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら、動画像符号化又は復号化ステップにおいて当該一のフレームの符号化処理を行う動画像符号化処理方法であり、
所定のタイミングで符号化処理の実際の演算量を削減する第１の破綻回避ステップを備え、当該第１の破綻回避ステップは、符号化が終了していないマクロブロックに対し、動きベクトル検出を行うことなく動きベクトルを０としてフレーム間符号化処理を行うことを特徴とする動画像符号化処理方法。
【請求項２３】プロセッサを使用して連続する複数のフレームから構成される動画像をフレーム単位で符号化する動画像符号化ステップと、一のフレームの符号化に必要な必要演算量Ｋｐを計算する必要演算量計算ステップと、当該一のフレームの符号化処理に予め割り当てられている時間Ｔｅ内に当該必要演算量Ｋｐを符号化処理可能な動作周波数を決定する動作決定ステップとを備え、
当該プロセッサが、予め割り当てられている時間Ｔｅ内は当該動作決定ステップにおいて得られた動作周波数、及び、当該動作周波数に適する動作電源電圧及び／又は基板バイアス電圧で動作しながら、動画像符号化又は復号化ステップにおいて当該一のフレームの符号化処理を行う動画像符号化処理方法であり、
所定のタイミングで符号化処理の実際の演算量を削減する第１の破綻回避ステップを備え、当該第１の破綻回避ステップは、符号化が終了していないマクロブロックに対し、量子化ステップサイズを大きくして符号化処理を行うことを特徴とする動画像符号化処理方法。
【国際調査報告】
2006004065.tif 000025
2006004065.tif 000026
2006004065.tif 000027
2006004065.tif 000028