(57)【要約】【課題】映像の符号化処理において演算量を制御する場合に，演算量可変要素の特性を考慮し，演算量制御による符号量制御の破綻や画品質の低下を防止する。【解決手段】映像符号化処理における演算量可変要素を発生符号量増加型と発生符号量減少型の２つのタイプに分類しておく。演算量の削減が必要な場合に（Ｓ１），符号量制御情報を取得し（Ｓ２），符号量制御アルゴリズムが発生符号量の増加または減少のどちら側に制御しているかを調べる（Ｓ３）。増加傾向の場合には発生符号量増加型の演算量可変要素を利用し（Ｓ４），減少傾向の場合には発生符号量減少型の演算量可変要素を利用して演算量制御を行う（Ｓ７）。それぞれの演算量可変要素タイプだけで演算量削減量が十分でない場合には（Ｓ５，Ｓ８），異なるタイプの演算量可変要素も利用して演算量制御を行う（Ｓ６，Ｓ９）。【選択図】図１
2005277486.tif 000002
【特許請求の範囲】
【請求項１】
映像符号化処理における処理内容を変えることで演算量を変更可能な複数の演算量可変要素を制御することにより，符号化処理の演算量を制御する演算量制御方法であって，
符号量制御の制御情報を取得する過程と，
前記符号量制御の制御情報をもとに，演算量の制御に利用する演算量可変要素を決定する過程と，
決定した演算量可変要素を制御することにより，符号化処理の演算量を制御する過程とを有する
ことを特徴とする映像符号化演算量制御方法。
【請求項２】
請求項１に記載の映像符号化演算量制御方法において，
前記複数の演算量可変要素は，演算量を削減すると発生符号量が増加する発生符号量増加型と，演算量を削減すると発生符号量が減少する発生符号量減少型のいずれかのタイプに分類されており，
前記演算量の制御に利用する演算量可変要素を決定する過程では，符号量制御において符号量が増加傾向に制御されているのか減少傾向に制御されているのかを前記符号量制御の制御情報から判別し，増加傾向に制御されている場合には，前記発生符号量増加型の演算量可変要素を優先的に前記演算量の制御に利用する演算量可変要素とし，減少傾向に制御されている場合には，前記発生符号量減少型の演算量可変要素を優先的に前記演算量の制御に利用する演算量可変要素とする
ことを特徴とする映像符号化演算量制御方法。
【請求項３】
請求項２に記載の映像符号化演算量制御方法において，
前記演算量の制御に利用する演算量可変要素を決定する過程では，優先的に利用することが決定された演算量可変要素について演算量の制御を行う場合の演算量削減量と，削減が必要な目標演算量削減量とを比較し，演算量削減量が目標演算量削減量に満たない場合には，優先的に利用することが決定された前記発生符号量増加型の演算量可変要素または前記発生符号量減少型の演算量可変要素の一方とは別のタイプの演算量可変要素も演算量の制御に利用する演算量可変要素とする
ことを特徴とする映像符号化演算量制御方法。
【請求項４】
請求項１から請求項３までのいずれかに記載の映像符号化演算量制御方法において，
前記符号量制御の制御情報を取得する過程では，量子化ステップサイズもしくはバッファ占有量の変化量，または目標発生符号量と実際の発生符号量との差の情報を，符号化制御の制御情報として取得する
ことを特徴とする映像符号化演算量制御方法。
【請求項５】
映像符号化処理における処理内容を変えることで演算量を変更可能な複数の演算量可変要素を制御することにより，符号化処理の演算量を制御する映像符号化演算量制御装置であって，
符号量制御の制御情報を取得する手段と，
前記符号量制御の制御情報をもとに，演算量の制御に利用する演算量可変要素を決定し，決定した演算量可変要素を制御することにより，符号化処理の演算量を制御する演算量可変要素制御手段とを有する
ことを特徴とする映像符号化演算量制御装置。
【請求項６】
請求項５に記載の映像符号化演算量制御装置において，
前記複数の演算量可変要素は，演算量を削減すると発生符号量が増加する発生符号量増加型と，演算量を削減すると発生符号量が減少する発生符号量減少型のいずれかのタイプに分類されており，
前記演算量可変要素制御手段は，符号量制御において符号量が増加傾向に制御されているのか減少傾向に制御されているのかを前記符号量制御の制御情報から判別し，増加傾向に制御されている場合には，前記発生符号量増加型の演算量可変要素を優先的に前記演算量の制御に利用し，減少傾向に制御されている場合には，前記発生符号量減少型の演算量可変要素を優先的に前記演算量の制御に利用する
ことを特徴とする映像符号化演算量制御装置。
【請求項７】
請求項６に記載の映像符号化演算量制御装置において，
前記演算量可変要素制御手段は，優先的に利用することが決定された演算量可変要素について演算量の制御を行う場合の演算量削減量と，削減が必要な目標演算量削減量とを比較し，演算量削減量が目標演算量削減量に満たない場合には，優先的に利用することが決定された前記発生符号量増加型の演算量可変要素または前記発生符号量減少型の演算量可変要素の一方とは別のタイプの演算量可変要素も演算量の制御に利用する
ことを特徴とする映像符号化演算量制御装置。
【請求項８】
請求項５から請求項７までのいずれかに記載の映像符号化演算量制御装置において，
前記符号量制御の制御情報を取得する手段は，量子化ステップサイズもしくはバッファ占有量の変化量，または目標発生符号量と実際の発生符号量との差の情報を，符号化制御の制御情報として取得する
ことを特徴とする映像符号化演算量制御装置。
【請求項９】
請求項５から請求項７までのいずれかに記載の映像符号化演算量制御装置を実現するために，少なくとも前記符号量制御の制御情報を取得する手段および前記演算量可変要素制御手段として，コンピュータを機能させるための映像符号化演算量制御プログラム。
【請求項１０】
請求項５から請求項７までのいずれかに記載の映像符号化演算量制御装置を実現するために，少なくとも前記符号量制御の制御情報を取得する手段および前記演算量可変要素制御手段として，コンピュータを機能させるための映像符号化演算量制御プログラムを，コンピュータ読み取り可能な記録媒体に記録した
ことを特徴とする映像符号化演算量制御プログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，映像の符号化処理において，処理時間やシステム負荷等により符号化処理の演算量を制御する技術に関するものである。
【背景技術】
【０００２】
現在，映像信号などをディジタル信号に変換し，符号化してデータサイズを圧縮する符号化方式が多く利用されている。特に，近年，パーソナルコンピュータ等を利用したソフトウェアによる符号化処理を行うことが多くなっている。しかし，十分な符号化効率を得ようとすると，現在のＣＰＵパワーでは，符号化処理の演算時間は，符号化対象映像時間の数十倍以上といった時間を要する。そこで，ある程度現実的な時間で符号化処理を行うため，演算量を制御する必要がある。特に，ライブ中継やテレビ電話などの実時間処理を要求されるアプリケーションでは，重要な課題である。
【０００３】
符号化処理の演算量制御では，主に，演算量の制御対象（以下，演算量可変要素という）に対して，処理の制限や打ち切り，処理アルゴリズムの切り替えなどを行う。例えば，動きベクトル探索処理では，その探索範囲を拡大・縮小したり，検出精度を変化させることにより，演算量を制御することができる。また，ＤＣＴや量子化処理では，高次係数の処理を打ち切る方法を用いることにより，演算量を制御することができる。演算量の削減が必要な場合には，このような演算量可変要素を用いて，演算量を制御する。
【０００４】
符号化演算量の制御方法としては，［１］ＣＰＵ負荷を用いた制御方法（例えば，特許文献１「ソフトウェアによる画像符号化方法」参照），［２］映像信号をバッファメモリに蓄えておき，その占有量で演算量を制御する方法（例えば，特許文献２「画像符号化および復号方法」参照）などがある。また，［３］過去の処理時間から目標時間内に処理を完了できるように演算量を決定する方法（例えば，特許文献３「処理時間適応画像符号化方法およびそのプログラムの記録媒体」参照）もある。
【０００５】
［１］ＣＰＵの負荷に応じた演算量制御方法では，ＣＰＵの負荷が大きくなると，演算量可変要素に対して演算量を軽減するように制御を行う。逆に，ＣＰＵの負荷が軽い場合には，演算量を増加させるように制御を行う。
【０００６】
図５は，従来の映像符号化装置の構成例を示す図である。映像符号化装置は，演算量制御部５０，フレームメモリ（ＦＭ）５１，動き検出部５２，動き補償部５３，減算器５４，ＤＣＴ部５５，量子化部５６，逆量子化部５７，ＩＤＣＴ部５８，加算器５９，クリッピング部６０，符号化部６１，符号量制御部６２から構成される。
【０００７】
動き検出部５２は，入力映像信号の画像（符号化ブロック）とフレームメモリ５１に蓄積された参照画像との間で動きベクトルを探索し，動き補償部５３は，検出された動きベクトルで動き補償を行うことにより，参照画像から予測画像を作成する。減算器５４は，入力映像信号の画像と予測画像との差分から予測誤差を算出し，ＤＣＴ部５５は，その予測誤差に対して離散コサイン変換を行う。量子化部５６は，離散コサイン変換の変換係数を符号量制御部６２が決定した量子化ステップサイズに従って量子化し，符号化部６１は，その量子化された変換係数を符号化する。また，符号化部６１は，動き検出部５２で検出された動きベクトルを符号化する。
【０００８】
逆量子化部５７は，量子化部５６で量子化された変換係数を逆量子化し，ＩＤＣＴ部５８は，逆量子化された変換係数に対して逆ＤＣＴ変換を行う。加算器５９は，予測画像と逆ＤＣＴ変換された結果の予測誤差とを加算して局部復号画像を生成し，クリッピング部６０は，復号画像の値が所定の範囲に収まるようにクリッピングし，参照画像としてフレームメモリ５１に蓄積する。符号量制御部６２は，目標符号量と符号化部６１により符号化した実際の符号量とから量子化ステップサイズを決定し，この量子化ステップサイズを変更することにより符号量を制御する。演算量制御部５０は，ＣＰＵ負荷情報等をもとに，演算量可変要素に対する演算量の制御を行う。
【０００９】
図５の例では，実時間での符号化処理を目的とし，演算量可変要素として，動き探索のＯＮ／ＯＦＦ，ＤＣＴ係数の高次係数の演算打ち切りを利用している。演算量制御部５０では，ＣＰＵ負荷に応じて２つの演算量可変要素の動作を切り替えることで，演算量制御を実現する。ＣＰＵ負荷に余裕がある場合には，どちらの演算量可変要素も，本来の動作，すなわち演算量を制限せずに符号化効率が最も高くなるような動作を行う。しかし，ＣＰＵ負荷が高く，実時間処理が困難な場合には，その負荷の高さに応じて演算量を削減すべく演算量可変要素の動作を切り替える。
【００１０】
このとき，どの演算量可変要素の動作を切り替えるかは，ＣＰＵ負荷の高さと，各演算量可変要素の演算量削減量とから決定する。例えば，ＤＣＴ係数の打ち切り処理だけで実時間処理が可能であれば，動き探索処理はそのままで，ＤＣＴ係数の打ち切り処理を行う。非常にＣＰＵ負荷が高い場合には，動き探索をＯＦＦにし，ＤＣＴ係数の打ち切り処理も同時に行う。
【００１１】
［２］入力バッファ占有量に応じた演算量制御方法では，未符号化映像信号を蓄積するための入力バッファを設け，この入力バッファの占有量により演算量制御を行う。入力バッファの占有量が増加し，入力情報量に対して処理速度が遅いと判断される場合，演算量を削減する。逆に，入力バッファの占有量が低下し，入力信号の情報量に対して処理速度が速い場合には，より演算量を増加させる制御を行う。
【００１２】
［３］処理時間予測による演算量制御方法では，過去の符号化処理時間から，次の符号化対象信号で必要とする符号化処理の演算量を推定し，処理内容を決定する。
【００１３】
以上説明したような方法により，従来は符号化処理の演算量を制御していた。
【特許文献１】特許第３２８３１５９号公報
【特許文献２】特開平９−４６７０８号公報
【特許文献３】特開２００２−１１２２７４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
多くの符号化装置では，目標発生符号量が与えられ，符号量制御を行っている。先に述べた演算量制御は，この符号量制御とは独立して動作している。
【００１５】
演算量制御に用いる演算量可変要素は，次のどちらかのタイプに分類される。
【００１６】
・発生符号量増加型
演算量を減少させることにより，発生符号量が増加する。例えば，動きベクトル探索の探索範囲を狭めたり，検出精度を低下させると，演算量は減少するものの動き補償予測の効率低下により予測残差が増加し，発生符号量が増加する。
【００１７】
・発生符号量減少型
演算量を減少させることにより，発生符号量も減少する。例えば，ＤＣＴ部５５や量子化部５６で高次係数の演算を省略したり，マクロブロックスキップのように強制的に符号化処理を停止することで，発生符号量が減少する。しかし，符号化対象信号の情報が伝送されないため，画品質は低下する。
【００１８】
図６は，符号化効率と演算量との関係を示す図である。図６（Ａ）は，演算量と発生符号量との関係を示し，図６（Ｂ）は，演算量と符号化歪量との関係を示す。どちらの型の演算量可変要素でも，演算量を削減すると符号化効率は低下する。しかし，符号化効率の低下が発生符号量に与える影響は異なる。
【００１９】
発生符号量増加型では，符号化歪量は大きく変化しないものの，発生符号量が増加する。発生符号量減少型では，発生符号量は減少するものの，必要な情報が符号化されないため，符号化歪量が増加する。
【００２０】
従来の演算量制御方法では，演算量制御部５０と符号量制御部６２とは独立に動作し，かつ，前述の演算量可変要素の特性は考慮せず，目的の演算量に制御することのみを目的としていた。このため，発生符号量制御において，制御不能に陥る可能性があった。例えば，符号量制御部６２が発生符号量を減少させる方向に働き，演算量制御部５０が発生符号量を増加させる方向に働いた場合には，符号量制御部６２で予測したほど発生符号量が減少しない。この状態が継続すれば，実際の発生符号量が目標発生符号量を超過してしまう可能性がある。
【００２１】
また，目標発生符号量に対して実際の発生符号量が少なく，かつ，演算量に余裕がない場合には，演算量制御要素として発生符号量減少型の要素を用いると，演算量制御の影響による著しい画品質の低下が発生する。
【００２２】
このように，従来方法では，演算量可変要素の特性を無視し，２つの制御アルゴリズムが独立して動作することによって，発生符号量の制御が機能しない可能性がある。また，演算量制御による画品質の低下も現れる。
【００２３】
本発明は，上記の問題点の解決を図り，符号量制御の破綻や画品質の低下を防止することができる効果的な演算量制御を実現することを目的とする。
【課題を解決するための手段】
【００２４】
本発明は，上記課題を解決するため，演算量制御を行う際に，符号量制御の結果を考慮し，演算量制御に用いる演算量可変要素のタイプを切り替えることを特徴とする。符号量制御の結果が，発生符号量を減少させる方向であれば，演算量可変要素として発生符号量減少型の演算量可変要素を利用し，発生符号量を増加させる方向であれば，演算量可変要素として発生符号量増加型の演算量可変要素を用いる。
【００２５】
すなわち，本発明は，符号化処理における処理内容を変えることで演算量を削減することができる複数の演算量可変要素を制御することにより，処理時間やシステム負荷等に応じて演算量を制御する映像符号化方式において，符号量制御の制御情報を取得する手段と，符号量制御の制御情報をもとに演算量の削減に使用する演算量可変要素を切り替える手段とを有し，符号量制御と連携して演算量制御を行うことを特徴とする。
【００２６】
また，本発明は，前記演算量可変要素を発生符号量増加型と発生符号量減少型とに分類し，符号量制御が増加傾向に制御する場合には，発生符号量増加型の演算量可変要素を，符号量制御が減少傾向に制御する場合には，発生符号量減少型の演算量可変要素を優先して演算量の削減に利用することを特徴とする。
【００２７】
また，本発明は，符号量制御情報から使用する演算量可変要素のタイプを決定後，目標演算量削減量と予想される演算量削減量とを比較し，予想される演算量削減量が目標演算量削減量に満たない場合には，異なるタイプの演算量可変要素も利用して演算量削減を行うことを特徴とする。
【００２８】
前記符号量制御の制御情報としては，例えば量子化ステップサイズまたはバッファ占有量の変化量，目標発生符号量と現在の発生符号量との差を用いることができる。
【００２９】
以上の映像符号化における演算量の制御の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【００３０】
図１は，本発明による演算量制御を説明するフローチャートである。
【００３１】
〔ステップＳ１：演算量制御の要不要判断〕
演算量制御の必要性を確認し，必要であれば，次のステップＳ２へ進む。不要であれば，以下の処理を行わない。
【００３２】
〔ステップＳ２：符号量制御情報の取得〕
符号量制御情報を取得する。
【００３３】
〔ステップＳ３：発生符号量の傾向確認〕
次に，取得した符号量制御情報から，符号量制御アルゴリズムが増加または減少のどちらに制御しているかを確認する。増加傾向にある場合には，ステップＳ４へ進む。減少傾向にある場合には，ステップＳ７へ進む。
【００３４】
〔ステップＳ４：発生符号量増加型の演算量可変要素を利用〕
増加傾向の場合には，利用する演算量可変要素タイプを発生符号量増加型に決定する。すなわち，演算量可変要素のタイプを発生符号量増加型に切り替え，発生符号量増加型の演算量可変要素のみを利用して演算量制御を試みる。
【００３５】
〔ステップＳ５：演算量削減量の確認〕
利用した発生符号量増加型の演算量可変要素のみで演算量削減量が十分であるかどうかを判断する。不足する場合には，ステップＳ６へ進む。
【００３６】
〔ステップＳ６：発生符号量減少型の演算量可変要素も利用〕
演算量削減量が不足する場合には，利用する演算量可変要素タイプを追加し，発生符号量減少型の演算量可変要素も利用して演算量制御を行う。
【００３７】
〔ステップＳ７：発生符号量減少型の演算量可変要素を利用〕
ステップＳ３において発生符号量の傾向を確認した結果，減少傾向の場合には，利用する演算量可変要素タイプを発生符号量減少型に決定する。すなわち，演算量可変要素のタイプを発生符号量減少型に切り替え，発生符号量減少型の演算量可変要素のみを利用して演算量制御を試みる。
【００３８】
〔ステップＳ８：演算量削減量の確認〕
利用した発生符号量減少型の演算量可変要素のみで演算量削減量が十分であるかどうかを判断する。不足する場合には，ステップＳ９へ進む。
【００３９】
〔ステップＳ９：発生符号量増加型の演算量可変要素も利用〕
演算量削減量が不足する場合には，利用する演算量可変要素タイプを追加し，発生符号量増加型の演算量可変要素も利用して演算量制御を行う。
【００４０】
以上のように，基本的には，符号量制御情報により演算量可変要素のタイプを切り替えるが，演算量削減量が不十分な場合には，異なるタイプの演算量可変要素も利用する。ここで，符号量制御情報としては，量子化ステップサイズ，バッファ占有量の変化量，目標発生符号量と実際の発生符号量との差などが利用できる。
【００４１】
符号量制御の結果により演算量可変要素のタイプを切り替えることで，符号量制御に影響を与えることなく演算量制御を行うことができる。
【発明の効果】
【００４２】
本発明により，符号量制御の結果から演算量可変要素のタイプを切り替えて演算量制御を行うことで，符号量制御の破綻を防止できる。また，発生符号量が少ない場合における演算量制御による画品質の低下も防ぐことができる。
【発明を実施するための最良の形態】
【００４３】
以下，本発明の実施の形態について，図を用いて説明する。図２は，本実施の形態における映像符号化装置の構成例を示す図である。映像符号化装置は，演算量制御部１０，フレームメモリ（ＦＭ）１１，動き検出部１２，動き補償部１３，減算器１４，ＤＣＴ部１５，量子化部１６，逆量子化部１７，ＩＤＣＴ部１８，加算器１９，クリッピング部２０，符号化部２１，符号量制御部２２から構成される。
【００４４】
本実施の形態では，符号化アルゴリズムとして，動き補償フレーム間予測符号化方式と離散コサイン変換（ＤＣＴ）とを使用する。動き検出部１２は，入力映像信号の画像とフレームメモリ１１に蓄積された参照画像との間で動きベクトルを探索し，動き補償部１３は，検出された動きベクトルで動き補償を行うことにより，参照画像から予測画像を作成する。減算器１４は，入力映像信号の画像と予測画像との差分から予測誤差を算出し，ＤＣＴ部１５は，その予測誤差に対して離散コサイン変換を行う。量子化部１６は，離散コサイン変換の変換係数を符号量制御部２２が決定した量子化ステップサイズに従って量子化し，符号化部２１は，その量子化された変換係数を符号化する。また，符号化部２１は，動き検出部１２で検出された動きベクトルを符号化する。
【００４５】
逆量子化部１７は，量子化部１６で量子化された変換係数を逆量子化し，ＩＤＣＴ部１８は，逆量子化された変換係数に対して逆ＤＣＴ変換を行う。加算器１９は，予測画像と逆ＤＣＴ変換された結果の予測誤差とを加算して局部復号画像を生成し，クリッピング部２０は，復号画像の値が所定の範囲に収まるようにクリッピングし，参照画像としてフレームメモリ１１に蓄積する。符号量制御部２２は，目標符号量と符号化部２１により符号化した実際の符号量とから量子化ステップサイズを決定し，この量子化ステップサイズを変更することにより符号量を制御する。演算量制御部１０は，符号量制御部２２の制御情報をもとに，目標処理時間等から算出した目標演算量削減量に応じて演算量可変要素に対する演算量の制御を行う。
【００４６】
本実施の形態で用いた演算量可変要素は２種類であり，発生符号量増加型の演算量可変要素として動き検出部１２における動き探索処理を用い，発生符号量減少型の演算量可変要素としてＤＣＴ部１５等におけるＤＣＴ係数打ち切り処理を用いた。符号量制御情報としては，量子化ステップサイズを利用し，直前の量子化ステップサイズと比較することで，増減傾向の判断を行う。演算量制御は，目標処理時間Ｔo に対する実際の処理時間Ｔt の差で行う。
【００４７】
目標処理時間Ｔo は，１フレーム分の目標処理時間をＴ，１フレームの符号化ブロック数をＮ，現在までの符号化済みブロック数をＭとしたとき，例えば次式により求められる値である。
【００４８】
Ｔo ＝（Ｍ／Ｎ）×Ｔ
また，処理時間Ｔt は，現在のフレームの符号化を開始してからＭブロック分のデータを符号化するのにかかった現在の時間である。もちろん，目標処理時間Ｔo と実際の処理時間Ｔt とをフレーム単位ではなく，例えば入力映像の符号化開始時点を基準として算出するようにしてもよい。
【００４９】
図３は，本実施の形態における演算量制御部の構成例を示す図である。演算量制御部１０は，削減演算量算出部１０１，発生符号量増減判定部１０２，量子化ステップサイズメモリ１０３，演算量可変要素制御部１０４から構成される。
【００５０】
演算量制御部１０には，入力として現在の処理時間Ｔt および量子化ステップサイズＱＰt を与える。演算量制御部１０からの出力は，各演算量可変要素の演算量削減処理のＯＮ／ＯＦＦ情報である。
【００５１】
削減演算量算出部１０１は，現在の処理時間Ｔt から削減する演算量を計算する。この削減演算量は，演算量可変要素制御部１０４に送られる。発生符号量増減判定部１０２は，入力された量子化ステップサイズＱＰt と直前の量子化ステップサイズＱＰt-1 とを比較し，その大小関係から符号量制御部２２の制御傾向を判断する。量子化ステップサイズが小さくなっている場合には発生符号量増加傾向，逆に大きくなっている場合には減少傾向と判断する。入力された量子化ステップサイズＱＰt は，次の判定のため，量子化ステップサイズメモリ１０３に蓄積される。
【００５２】
演算量可変要素制御部１０４は，動き探索処理を行うか行わないかの制御およびＤＣＴ係数打ち切り処理の制御を行う。演算量可変要素制御信号の出力をＯＮにすることで，演算量削減処理となる。つまり，演算量可変要素制御部１０４から動き検出部１２への出力がＯＮになると，動き検出部１２では動き検出を行わずにスキップし（動き探索ＯＦＦ），また，ＤＣＴ部１５／ＩＤＣＴ部１８／量子化部１６／逆量子化部１７への出力がＯＮになると，ＤＣＴ部１５／ＩＤＣＴ部１８／量子化部１６／逆量子化部１７では高次係数の演算を行わない（ＤＣＴ係数打ち切り処理）。演算量削減が不要な場合には，発生符号量増減判定部１０２の結果に関係なく，両方の演算量可変要素への出力をＯＦＦにする。演算量削減が必要な場合には，発生符号量増減判定部１０２の判定結果に基づき，どちらかの演算量可変要素の制御信号をＯＮにする。加えて，どちらかの演算量可変要素だけでは目標演算量削減量に満たない場合には，両方の演算量可変要素の制御信号をＯＮにする。
【００５３】
図４は，本実施の形態における演算量制御処理フローチャートである。ここでは，動き探索処理による演算量削減量をＴMEとし，ＤＣＴ係数打ち切り処理による演算量削減量をＴDCT とする。これらの演算量削減量ＴMEおよびＴDCT は，あらかじめ標準的な映像信号を利用した実験などにより求めておくことができる。
【００５４】
まず，演算量制御部１０は，削減演算量算出部１０１よって，現在の処理時間Ｔt を取得し（ステップＳ１０），必要な削減演算時間Ｔr （Ｔr ＝Ｔt −Ｔo ）を算出する（ステップＳ１１）。
【００５５】
次に，演算量制御部１０は，Ｔr ＞０であるか否かによって，演算量制御の要不要を判断する（ステップＳ１２）。Ｔr ＞０でない場合には，演算量制御が不要なため，演算量の削減を行わないで処理を終了し，通常の符号化処理を続行するようにする。
【００５６】
ステップＳ１２においてＴr ＞０である場合には，発生符号量増減判定部１０２において，現在の量子化ステップサイズＱＰt を取得し（ステップＳ１３），現在の量子化ステップサイズＱＰt と量子化ステップサイズメモリ１０３に記憶していた過去の量子化ステップサイズＱＰt-1 とを比較し（ステップＳ１４），発生符号量の増減傾向を確認する。この増減傾向に合わせて，演算量可変要素制御部１０４は，以下に説明するように演算量可変要素を切り替える。
【００５７】
ステップＳ１４においてＱＰt ≦ＱＰt-1 である場合には，動き探索をスキップ（動き探索ＯＦＦ）する（ステップＳ１５）。削減演算時間Ｔr と動き探索処理による演算量削減量ＴMEとを比較し（ステップＳ１６），Ｔr ＞ＴMEである場合には，さらにＤＣＴ係数打ち切り処理を行う（ステップＳ１７）。Ｔr ≦ＴMEである場合には，演算量削減量が十分であると判断し，処理を終了する。
【００５８】
ステップＳ１４においてＱＰt ≦ＱＰt-1 でない場合には，ＤＣＴ係数打ち切り処理を行う（ステップＳ１８）。削減演算時間Ｔr とＤＣＴ係数打ち切り処理による演算量削減量ＴDCT とを比較し（ステップＳ１９），Ｔr ＞ＴDCT である場合には，さらに動き探索をスキップ（動き探索ＯＦＦ）する（ステップＳ２０）。Ｔr ＞ＴDCT でない場合には，演算量削減量が十分であると判断し，処理を終了する。
【００５９】
このようにして，量子化ステップサイズＱＰt から符号量制御情報を抽出して演算量可変要素のタイプを切り替えることで，符号量制御に即した演算量削減が可能となる。符号量制御情報として量子化ステップサイズを用いる例を説明したが，バッファ占有量の変化量，目標発生符号量と現在の発生符号量との差などの情報を利用してもよい。
【００６０】
なお，本実施の形態では演算量可変要素を２つとしたが，それ以上の演算量可変要素を用いることで，より細かい演算量制御が可能となる。例えば，動き検出部１２による動き探索をスキップするかしないかの演算量制御を行うのではなく，動き検出部１２の動き探索範囲をどの程度まで小さくするか，また検出精度をどの程度まで低くするかなどの段階的な演算量制御を行うこともできる。
【図面の簡単な説明】
【００６１】
【図１】本発明による演算量制御を説明するフローチャートである。
【図２】本実施の形態における映像符号化装置の構成例を示す図である。
【図３】本実施の形態における演算量制御部の構成例を示す図である。
【図４】本実施の形態における演算量制御処理フローチャートである。
【図５】従来の映像符号化装置の構成例を示す図である。
【図６】符号化効率と演算量との関係を示す図である。
【符号の説明】
【００６２】
１０，５０  演算量制御部
１１，５１  フレームメモリ（ＦＭ）
１２，５２  動き検出部
１３，５３  動き補償部
１４，５４  減算器
１５，５５  ＤＣＴ部
１６，５６  量子化部
１７，５７  逆量子化部
１８，５８  ＩＤＣＴ部
１９，５９  加算器
２０，６０  クリッピング部
２１，６１  符号化部
２２，６２  符号量制御部
１０１  削減演算量算出部
１０２  発生符号量増減判定部
１０３  量子化ステップサイズメモリ
１０４  演算量可変要素制御部
【図１】
2005277486.tif 000003
【図２】
2005277486.tif 000004
【図３】
2005277486.tif 000005
【図４】
2005277486.tif 000006
【図５】
2005277486.tif 000007
【図６】
2005277486.tif 000008