(57)【要約】【課題】各々が１画像よりも小さく個々に処理される複数のデータ単位から構成される符号化情報の処理に必要な演算資源量を、従来に比べてより細かい単位で調整する。【解決手段】Ｂｌｏｃｋを前記データ単位の一例として、前記符号化情報を符号化処理又は復号化処理する演算機器において使用可能な演算資源量を測定する演算資源量測定部１３１と、前記測定された演算資源量で符号化処理又は復号化処理できるＢｌｏｃｋの上限数以下の数を目標Ｂｌｏｃｋ数として決定する目標Ｂｌｏｃｋ数決定部１３４と、前記符号化情報に含まれるＢｌｏｃｋの数を、前記目標Ｂｌｏｃｋ数以下に制御するＢｌｏｃｋ数制御手段とを備える。画素、係数、マクロブロック、及びスライスは、前記データ単位の他の一例である。【選択図】図１
2008172688.tif 000002
【特許請求の範囲】
【請求項１】
動画像を表す符号化情報の生成処理又は復号化処理に要する演算資源量を調整する演算量調整装置であって、
前記符号化情報は、各々が１画像よりも小さく個々に処理される複数のデータ単位から構成され、
前記生成処理又は復号化処理を行う演算機器において使用可能な演算資源量を測定する演算資源量測定手段と、
前記測定された演算資源量で生成処理又は復号化処理できる前記データ単位の上限数以下の数を目標データ単位数として決定する目標データ単位数決定手段と、
前記符号化情報に含まれる前記データ単位の数を、前記目標データ単位数以下に制御するデータ単位数制御手段と
を備えることを特徴とする演算量調整装置。
【請求項２】
前記符号化情報は、Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｉｍａｇｅ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐで標準化された規格に準拠した動画像データ、又はＩｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒが勧告する規格に準拠した動画像データであり、
前記データ単位は、画素、係数、ブロック、マクロブロック、及びスライスのうちの少なくとも１つである
ことを特徴とする請求項１記載の演算量調整装置。
【請求項３】
前記データ単位数制御手段は、前記符号化情報から取り除いた場合に復号化して得られる画像の画質劣化がより目立ちにくいデータ単位を優先して取り除くことにより、前記データ単位の数を前記目標データ単位数以下に制御する
ことを特徴とする請求項１記載の演算量調整装置。
【請求項４】
前記目標データ単位数決定手段は、先に復号化して得られた画像の画質が所定の目標画質よりも悪かった場合には、前記画像を表す符号化情報を生成する際に決定された目標データ単位数よりも大きな値を前記目標データ単位数として決定する
ことを特徴とする請求項１記載の演算量調整装置。
【請求項５】
前記目標データ単位数決定手段は、前記符号化情報を復号化して得られる画像の画質を前記所定の目標画質とするために決定すべき値が前記上限数を超える場合、ユーザに対して目標画質の下方修正を促す通知を行うか、若しくは前記演算機器において前記生成処理又は前記復号化処理以外の処理を行うアプリケーションプログラムが使用する演算資源量を減少させる制御を行う
ことを特徴とする請求項４記載の演算量調整装置。
【請求項６】
前記目標データ単位数決定手段は、先に復号化して得られた複数の画像の画質のばらつきが一定値以上となった場合、ユーザに対して目標画質の上方修正を促す通知を行うか、若しくは前記演算機器において前記生成処理又は前記復号化処理以外の処理を行うアプリケーションプログラムが使用する演算資源量を減少させる制御を行う
ことを特徴とする請求項４記載の演算量調整装置。
【請求項７】
前記目標データ単位数決定手段は、前記演算機器において、新たな生成処理又は新たな復号化処理を開始できるだけの演算資源量がない場合、ユーザに対して目標画質の下方修正を促す通知を行うか、若しくは先に動作している生成処理又は復号化処理が使用する演算資源量を減少させる制御を行う
ことを特徴とする請求項１記載の演算量調整装置。
【請求項８】
動画像を表す符号化情報の生成処理及び復号化処理を行う動画像処理システムであって、
前記符号化情報は、各々が１画像よりも小さく個々に処理される複数のデータ単位から構成され、
前記生成処理又は復号化処理を行う演算機器において使用可能な演算資源量を測定する演算資源量測定手段と、
前記測定された演算資源量で生成処理又は復号化処理できる前記データ単位の上限数以下の数を目標データ単位数として決定する目標データ単位数決定手段と、
前記符号化情報に含まれる前記データ単位の数を、前記目標データ単位数以下に制御するデータ単位数制御手段と
を備えることを特徴とする動画像処理システム。
【請求項９】
動画像を表す符号化情報の生成処理又は復号化処理に要する演算資源量を調整する演算量調整方法であって、
前記符号化情報は、各々が１画像よりも小さく個々に処理される複数のデータ単位から構成され、
前記符号化情報を生成処理又は復号化処理する演算機器において使用可能な演算資源量を測定する演算資源量測定ステップと、
前記測定された演算資源量で生成処理又は復号化処理できる前記データ単位の上限数以下の数を目標データ単位数として決定する目標データ単位数決定ステップと、
前記符号化情報に含まれる前記データ単位の数を、前記目標データ単位数以下に制御するデータ単位数制御ステップと
を含むことを特徴とする演算量調整方法。
【請求項１０】
動画像を表す符号化情報の生成処理又は復号化処理に要する演算資源量を調整するためのプログラムであって、
前記符号化情報は、各々が１画像よりも小さく個々に処理される複数のデータ単位から構成され、
請求項９記載の演算量調整方法に含まれるステップをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ会議システム、監視カメラ、映像記録再生装置、映像作成装置など、動画像の符号化、復号化、またはその両方を行うシステムにおいて、符号化処理および復号化処理に使用される演算量が目標とする演算量になるように画像の符号化情報を調整する演算量調整装置および方法に関する。
【背景技術】
【０００２】
デジタル化された動画像はそのままでは膨大なデータ量であり、そのハンドリングは困難であるが、このデータ量を削減する技術である動画像の符号化／復号化を用いることにより、近年では、各種映像装置やパーソナルコンピュータ（以下ＰＣ）や携帯電話などのような機器で、動画像を記録／再生／編集することが可能となってきている。この動画像の符号化／復号化方式の規格としてＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などのＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｉｍａｇｅ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）で標準化された規格、また、Ｈ．２６１、Ｈ．２６２、Ｈ．２６３、Ｈ．２６４などのＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ）が勧告するＨ．２６０番台の規格が広く用いられている。まず、これらの規格に準拠した動画像符号化／復号化方式について説明する。
【０００３】
図１７は、ＭＰＥＧおよびＩＴＵ−Ｔ  Ｈ．２６０番台の動画像符号化／復号化方式規格に準拠した動画像処理システムの機能的な構成を示すブロック図である。これらの規格は、時間的に冗長な情報を削減する動き補償予測、空間的に冗長な情報を削減する空間周波数変換、出現頻度に応じた符号量割り当てにより情報量を削減するエントロピー符号化を組み合わせたハイブリッド符号化方式を定めている。
【０００４】
符号化装置である符号化部１３０１０では、まず、ＭＥ（Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ、動き検出）１３０１１およびＭＣ（Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ、動き補償）１３０１２が、符号化対象画像である原画像１３００１に対し、原画像１３００１に対し時間的に前または後ろの画像である参照画像Ａ１３００２を参照し、動き補償予測を行うことにより時間的に冗長な情報を削減する。
【０００５】
つぎに、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ、離散コサイン変換）１３０１３が、時間的冗長情報を削減したデータを空間周波数に変換し、更に、Ｑ（Ｑｕａｎｔｉｚｅ、量子化）１３０１４が、それを量子化することにより、空間的に冗長な情報を削減する。なお、このＱ１３０１４が行う量子化のステップ幅を制御することにより、発生する符号化情報量を調整させている。
【０００６】
最後に、ＶＬＣ（Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｉｎｇ、可変長符号化）１３０１５が空間的冗長情報を削減したデータをエントロピー符号化することにより、情報量を削減し、符号化情報を出力する。
【０００７】
復号化装置である復号化部１３０２０では、ＶＬＤ（Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｄｅｃｏｄｉｎｇ、可変長復号化）１３０２１、ＩＱ（Ｉｎｖｅｒｓｅ  Ｑｕａｎｔｉｚｅ、逆量子化）１３０１２、ＩＤＣＴ（Ｉｎｖｅｒｓｅ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ、逆離散コサイン変換）１３０２３、ＩＭＣ（Ｉｎｖｅｒｓｅ  Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ、逆動き補償）１３０２４がそれぞれ、ＶＬＣ１３０１５、Ｑ１３０１４、ＤＣＴ１３０１３、ＭＣ１３０１２とは逆の変換を行うことにより、符号化情報から復号化された再生画像である復号化画像１３００４を出力する。
【０００８】
参照画像Ｂ１３００３は、ＩＭＣ１３０２４が逆動き補償を行うときに参照される画像であり、これには、時間的に前または後ろの復号化画像１３００４が用いられる。また、符号化部１３０１０でも、Ｑ１３０１４が出力する空間的冗長情報を削減したデータに対し、ＩＱ１３０１６、ＩＤＣＴ１３０１７、ＩＭＣ１３０１８を行うことにより、符号化情報から復号化された再生画像である参照画像Ａ１３００２を生成しており、ＤＣＴおよびＱの演算誤差を無視すれば、符号化部１３０１０の参照画像Ａ１３００２と復号化部１３０２０の参照画像Ｂ１３００３とは、原理的に同じ画像である。
【０００９】
図１８に、ＭＰＥＧおよびＩＴＵ−Ｔ  Ｈ．２６０番台の動画像符号化／復号化方式規格における処理データ単位を説明する図を示す。
【００１０】
Ｐｉｃｔｕｒｅ１４００１はある時刻ｔの１枚の画像全体を表すデータ単位であり、（Ｍ×１６画素，Ｎ×１６ライン）の大きさをもつ（Ｍ、Ｎは自然数）。Ｓｌｉｃｅ１４００２は、Ｐｉｃｔｕｒｅ１４００１を垂直方向に１６ライン単位で分割した領域を表すデータ単位であり、（Ｎ×１６Ｎ画素，１６ライン）の大きさをもつ。ＭＢ（Ｍａｃｒｏ  Ｂｌｏｃｋ）１４００３は、Ｓｌｉｃｅ１４００２を水平方向１６画素単位で分割した領域を表すデータ単位であり、（１６画素，１６ライン）の大きさをもつ。Ｂｌｏｃｋ１４００４は、ＭＢ１４００３を水平および垂直方向とも２分割した領域を表すデータ単位であり、（８画素，８ライン）の大きさをもつ。Ｐｉｘｅｌ１４００５は、Ｂｌｏｃｋ１４００４に含まれる１６×１６個の画素を表すデータ単位であり、ＤＣＴ１３０１３が行う空間周波数変換の後のデータに関してはＤＣ係数またはＡＣ係数とも呼ばれる。
【００１１】
符号化部１３０１０および復号化部１３０２０はそれぞれ、時間順に並ぶ複数のＰｉｃｔｕｒｅ１４００１を順次、符号化および復号化処理して行く。このとき、各Ｐｉｃｔｕｒｅ１４００１を、ＭＥ１３０１１、ＭＣ１３０１２、ＩＭＣ１３０１８、ＩＭＣ１３０２４はＭＢ１４００３のデータ単位で処理し、ＤＣＴ１３０１３、ＩＤＣＴ１３０１７、ＩＤＣＴ１３０２３はＢｌｏｃｋ１４００４のデータ単位で処理し、Ｑ１３０１４、ＩＱ１３０１６、ＶＬＣ１３０１５、ＶＬＤ１３０２１はＰｉｘｅｌまたは係数１４００５の単位で処理する。
【００１２】
つぎに、限られた演算資源量および通信資源量を持つ機器において、これらＭＰＥＧおよびＩＴＵ−Ｔ  Ｈ．２６０番台の規格に準じた動画像符号化／復号化方式により、１または複数の動画像符号化／復号化処理を実行し、または、動画像符号化／復号化処理と他のアプリケーションを同時に実行する技術について説明する。
【００１３】
動画像の各Ｐｉｃｔｕｒｅ１４００１の入出力タイミングは予め定められている（例えば、ＮＴＳＣ方式では各Ｐｉｃｔｕｒｅ１４００１は約１／３０秒間隔）ため、その期間内で各Ｐｉｃｔｕｒｅ１４００１の符号化／復号化処理、および、符号化部１３０１０が出力／送信する符号化情報を通信回線と介して復号化部１３０２０に入力／受信させる必要があるように、動画像符号化／復号化処理はリアルタイム性が要求される。
【００１４】
しかしながら、機器が持つ演算資源量および通信資源量では動画像符号化／復号化処理のリアルタイム性を満たせない場合には、動画像符号化／復号化処理に対して演算量および通信量を削減／調整させるための何かしらの対策を施さなければならない。
【００１５】
このようなリアルタイム性に関する困難は、例えば、復号化部１３０２０が動作する演算機器において復号化部１３０２０以外のアプリケーションが同時に動作すること、符号化対象である原画像１３００１の画像内容によって符号化部１３０１０または復号化部１３０２０の演算量が変動し（この詳細については発明が解決しようとする課題に記す）、想定していた以上の演算資源量が必要となること、および符号化部１３０１０または復号化部１３０２０の機能拡張／バグフィックスなどで必要となる演算資源量が増加することなどによって生じる。
【００１６】
なお、動画像符号化／復号化処理のリアルタイム性を満たすために十分な演算資源量および通信資源量を事前に用意する対策も考えられるが、組込み機器ではコスト制約が強く、限られた演算資源量でリアルタイムな動画像符号化／復号化処理を行うことを強く要請されており、また、符号化部１３０１０または復号化部１３０２０が使用する演算資源量の増加にあわせて、それらが動作する演算機器を再設計するのでは、開発時間とコストがかかり過ぎる。
【００１７】
特許文献１は、このような問題の解決を図る技術を開示している。特許文献１に示される技術では、符号化情報に含まれる１秒間当りのＰｉｃｔｕｒｅ１４００１の枚数であるフレームレートを低くすること、Ｐｉｃｔｕｒｅ１４００１の大きさである画像サイズ（または解像度）を１／２または１／４にすること、Ｑ１３０１４の量子化ステップ幅を制御することで符号化部１３０１０が出力／送信する符号化情報量を削減することにより、動画像符号化／復号化処理が使用する演算資源量および通信資源量の削減を実現する。
【００１８】
なお、フレームレート、画像サイズ、量子化ステップ幅と、演算資源量や通信資源量との対応関係は、予め測定した複数の代表値をスプライン関数で近似して得ている。
【特許文献１】特許第２９６８７８９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
しかしながら、特許文献１に開示される技術によっても、依然として２つの課題が残る。以下にそれぞれの課題について説明する。
【００２０】
第１の課題は、特許文献１の技術では、符号化／復号化処理の対象となる動画像の１秒間当りのＰｉｃｔｕｒｅ１４００１の枚数であるフレームレートを低くする、Ｐｉｃｔｕｒｅ１４００１の大きさである画像サイズを１／２または１／４にするなどにより符号化／復号化処理に必要となる演算量を削減するが、その調整の単位が粗いことである。
【００２１】
調整の単位を単純に計算すれば、フレームレートの調整では符号化／復号化全演算量の１／３０単位、画像サイズの調整では符号化／復号化全演算量の１／２または１／４単位という粗い量である。特許文献１の技術では、この単位よりも細かな単位で符号化／復号化処理の演算量を削減できないため、演算量が過剰に削減されるように符号化情報を調整してしまい、この単位未満の量の演算資源を使用することなく余す事態が生じ得る。その場合には、演算資源をちょうど使い切るような復号化画像の画質よりも劣る画質の復号化画像をユーザに提供することになる。
【００２２】
このように、特許文献１の技術によれば、削減の調整量の単位が粗いために、演算資源を使い切ることなく余してしまい、より良い画質の復号化画像をユーザに提供することができない事態が起こるという課題がある。演算の調整量の単位は、より細かい方がよい。
【００２３】
第２の課題は、特許文献１では、動き補償予測により時間的冗長情報を削減されるデータの量に対する考慮がなされていない点にある。
【００２４】
上記説明したようにＭＰＥＧおよびＩＴＵ−Ｔ  Ｈ．２６０番台の動画像符号化／復号化方式規格の処理では、動き補償予測により時間的冗長情報を削減したデータに対し、符号化部１３０１０のＤＣＴ１３０１３、およびそれ以降のＩＱ１３０１４、ＶＬＣ１３０１５、ＩＱ１３０１６、ＩＤＣＴ１３０１７、ＩＭＣ１３０１８、復号化部１３０２０内の全ての処理がなされることになる。
【００２５】
このため、動き補償予測により時間的冗長情報を削減したデータ量に依存して、これらの演算量が変化する。動き補償予測により削減されるデータ量は、符号化対象である原画像１３００１の画像内容（絵柄）に依存し、１つの画像シーケンス内でも時間的にも変化する（以後これをコンテンツ依存性と呼ぶ）。例えば、画像内で時間的変化がない背景領域の多少で、動き補償予測により削減されるデータ量は増減する。特許文献１では、この点が考慮されていない。
【００２６】
フレームレート、画像サイズ、量子化ステップ幅などの調整パラメータに対する演算量や通信量の対応関係テーブルを事前に決定することは、上記コンテンツ依存性の面から困難であり、また多くのコンテンツの統計データから近似するにしても、世の中に存在する全てのコンテンツから統計データをとる必要があり、これも困難である。このように、コンテンツ依存性のために、調整パラメータに対する演算量や通信量の対応関係を正確に事前に見積もることは困難である。
【００２７】
最も演算量および通信量が大きくなる最悪ケースの画像を想定し、その量に基づいて対応関係を作成してもよい。しかし、この場合、想定した最悪ケースの画像でない画像を符号化／復号化する場合には、演算資源を余してしまい、より良い画質の復号化画像をユーザに提供することができない事態が起こる。
【００２８】
また、調整パラメータに対する演算量や通信量の対応関係をニューラルネットワークやファジイクラシファイシステムに学習させることも考えられる、シーンチェンジなど画像内容が劇的に変化する場合、その追従能力は学習の収束スピードに依存し、学習中は適切な対応関係とならない。この学習結果に基づき演算量を調整した場合、演算資源を余す、または、演算資源が不足するなどの結果を招く。
【課題を解決するための手段】
【００２９】
上記従来の技術を解決するために、本発明の演算量調整装置は、動画像を表す符号化情報の生成処理又は復号化処理に要する演算資源量を調整する演算量調整装置であって、前記符号化情報は、各々が１画像よりも小さく個々に処理される複数のデータ単位から構成され、前記生成処理又は復号化処理を行う演算機器において使用可能な演算資源量を測定する演算資源量測定手段と、前記測定された演算資源量で生成処理又は復号化処理できる前記データ単位の上限数以下の数を目標データ単位数として決定する目標データ単位数決定手段と、前記符号化情報に含まれる前記データ単位の数を、前記目標データ単位数以下に制御するデータ単位数制御手段とを備える。
【００３０】
ここで、前記データ単位は、前記符号化情報は、Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｉｍａｇｅ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐで標準化された規格に準拠した動画像データ、又はＩｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒが勧告する規格に準拠した動画像データであり、前記データ単位は、画素、係数、ブロック、マクロブロック、及びスライスのうちの少なくとも１つであるとしてもよい。
【００３１】
この構成によれば、従来の技術に比べてより細かい単位で、また、コンテンツ依存性なく、前記符号化情報を、前記演算装置で使用可能な演算資源量の中で符号化処理又は複合化処理されるように調整できる。
【００３２】
また、前記データ単位数制御手段は、前記符号化情報から取り除いた場合に復号化して得られる画像の画質劣化がより目立ちにくいデータ単位を優先して取り除くことにより、前記データ単位の数を前記目標データ単位数以下に制御してもよい。
【００３３】
この構成によれば、前記符号化情報を調整した結果、復号化することにより得られる画像に生じる画質劣化の印象を、抑制することができる。
【００３４】
また、前記目標データ単位数決定手段は、先に復号化して得られた画像の画質が所定の目標画質よりも悪かった場合には、前記画像を表す符号化情報を生成する際に決定された目標データ単位数よりも大きな値を前記目標データ単位数として決定してもよい。
【００３５】
この構成によれば、前記目標データ単位数が、前記符号化情報を復号化することにより得られる画像の画質を目標画質に近づけるように決定される結果、前記符号化情報の調整によって演算資源量を制限しつつ、目標画質を維持できる可能性が高まる。
【００３６】
また、前記目標データ単位数決定手段は、前記符号化情報を復号化して得られる画像の画質を前記所定の目標画質とするために決定すべき値が前記上限数を超える場合、ユーザに対して目標画質の下方修正を促す通知を行うか、若しくは前記演算機器において前記生成処理又は前記復号化処理以外の処理を行うアプリケーションプログラムが使用する演算資源量を減少させる制御を行ってもよい。
【００３７】
この構成によれば、演算資源量の制限と、目標画質の維持とを両立できない場合に、ユーザの介入、又は他のアプリケーションプログラムに対する制御によって、演算資源量と目標画質との新たなトレードオフを見出すことができる。
【００３８】
また、前記目標データ単位数決定手段は、先に復号化して得られた複数の画像の画質のばらつきが一定値以上となった場合、ユーザに対して目標画質の上方修正を促す通知を行うか、若しくは前記演算機器において前記生成処理又は前記復号化処理以外の処理を行うアプリケーションプログラムが使用する演算資源量を減少させる制御を行ってもよい。
【００３９】
この構成によれば、画質の時間的ばらつきによる画質印象の劣化を軽減することができる。
【００４０】
また、前記目標データ単位数決定手段は、前記演算機器において、新たな生成処理又は新たな復号化処理を開始できるだけの演算資源量がない場合、ユーザに対して目標画質の下方修正を促す通知を行うか、若しくは先に動作している生成処理又は復号化処理が使用する演算資源量を減少させる制御を行ってもよい。
【００４１】
この構成によれば、ユーザの介入、又は先に動作している生成処理又は復号化処理に対する制御によって、前記新たな符号化処理又は前記新たな復号化処理を開始できる可能性が高まる。
【００４２】
なお、本発明は、演算量調整装置を含む動画像処理システムとして実現することもできる。また、演算量調整方法、およびその方法をコンピュータに実行させるプログラムとして実現することもできる。また、複数の演算量調整装置が動作するシステムとして実現することできる。また、本発明に係るプログラムをＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができることは言うまでもない。
【発明の効果】
【００４３】
本発明の演算量調整装置によれば、１画像を構成する１画像よりも小さなデータ単位である、Ｐｉｘｅｌ、係数、Ｂｌｏｃｋ、ＭＢ、Ｓｌｉｃｅのデータ単位で、符号化処理により生成される符号化情報に含まれる上記データ単位のデータ数を制限するので、従来の技術に比べてより細かな単位で、前記符号化情報の処理に必要な演算資源量を制限することができる。
【００４４】
これにより、演算資源を過剰に抑制することがなくなるので、演算資源をぎりぎりまで使い切きり、より良い画質の復号化画像をユーザに提供することが可能となる。また、コンテンツに依存せず演算量をある一定値以下に調整することができるため、演算資源を過剰に抑制する、抑制し足りず必要な演算資源が不足する、または、画質が急激に変化することによる画質印象の劣化などを起こすことがない。
【００４５】
更には、符号化処理または復号化処理を行う演算機器の演算資源量、または、演算機器に残存する演算資源量に基づき、符号化または復号化処理で使用する演算資源量を調整するので、予め正確な演算量を見積もりする必要がない。また、同時に他のアプリケーションが動作する状況や、符号化処理または復号化処理の機能拡張又はバグフィックスなどで当初より必要な演算資源量が増加する状況においても、状況に追従して好適な調整を行うことが可能となる。
【発明を実施するための最良の形態】
【００４６】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００４７】
（実施の形態１）
本実施の形態では、復号化部の演算量を調整する機能を持つ動画像処理システム、及びその動画像処理システムに含まれる演算量調整装置について、図１〜図４を用いて説明する。
【００４８】
まず、演算量調整装置を含む動画像処理システムの機能的な構成について説明する。
図１は、本発明の実施の形態１における画像処理システムの機能的な構成を表すブロック図である。図１において、符号化部１１０におけるＭＥ１１１、ＭＣ１１２、ＤＣＴ１１３、Ｑ１１４、ＶＬＣ１１５、ＩＱ１１６、ＩＤＣＴ１１７、ＩＭＣ１１８、および、復号化部１２０におけるＶＬＤ１２１、ＩＱ１２２、ＩＤＣＴ１２３、ＩＭＣ１２４は、背景技術の項で説明したＭＰＥＧおよびＩＴＵ−Ｔ  Ｈ．２６０番台の動画像符号化／復号化方式規格に準拠した機能ブロックである（図１７を参照）。
【００４９】
符号化部１１０では、符号化対象である原画像１０１を参照画像Ａ１０２および参照画像Ｂ１０３を参照しながら符号化／復号化処理を行うことによって符号化情報を生成し、復号化部１２０では、その符号化情報から復号化画像である復号化画像１０４を得ている。
【００５０】
演算資源量測定部１３１は、復号化部１２０が動作している演算機器の、復号化部１２０によって使用される演算資源量と残存演算資源量とを、例えば次の考え方に従って測定する。
【００５１】
背景技術において説明したように、ＭＰＥＧおよびＩＴＵ−Ｔ  Ｈ．２６０番台の動画像符号化／復号化方式規格の各機能ブロックについて、例えばＩＤＣＴ１２３であればＢｌｏｃｋ１４００４単位でというように、処理を行うためのデータ単位が決まっている。また、各機能ブロックをソフトウエアまたはハードウエアロジックに実装した時点で、各機能ブロックが１データ単位を処理するために使用する演算資源量（例えば、前記演算機器が動作する時間）は決定している。
【００５２】
そこで、各機能ブロックが処理すべきデータ単位の数と１つのデータ単位の処理に使用される演算資源量とを乗じて総和を取ることにより、復号化部１２０が使用する演算資源量を算出する。さらに、復号化部１２０が動作している演算機器で使用可能な全ての演算資源量を測定し、その測定の結果から前記算出された演算資源量を引くことにより、符号化部１２０が動作した場合にその演算機器で使用可能な残存演算資源量を算出する。
【００５３】
この残存演算資源量は、演算機器の全ての演算資源量よりも復号化部１２０によって使用される演算資源量が大きい場合、負の量として算出される。負の残存演算資源量は、その演算機器で使用可能な全ての演算資源を使用しても、符号化部１２０は処理すべき全てのデータ単位を処理しきれないことを意味する。
【００５４】
画質評価部１３２は、参照画像Ａ１０２の画質を評価する。背景技術において説明したように、参照画像Ａ１０２は、符号化部１１０が生成した符号化情報から復号化された再生画像であり、復号化部１２０の参照画像Ｂ１０３は参照画像Ａ１０２と同じ画像である。また、参照画像Ｂ１０３は復号化部１２０で再生される復号化画像１０４に対し、時間的に前または後ろの画像であり、参照画像Ａ１０２の画質を評価することは、復号化部１２０で再生される復号化画像１０４の画質を評価することとほぼ等しい。
【００５５】
画質評価方式としては一般的によく知られた、ＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ、ピーク信号対雑音比）を用いるが、画像の良し悪しを判定する指数を導き出す方式であれば、その他の方式であってもよい。また、復号化画像１０４を直接人間が見て、主観評価によりその指数を示してもよい。
【００５６】
目標画質１３３は、復号化部１２０の復号化画像の画質の目標を前述した指数で表した情報あり、これは復号化部１２０の処理に先立って、または処理中に、ユーザ、他のアプリケーションなどによって設定、または変更される。
【００５７】
目標Ｂｌｏｃｋ数決定部１３４は、演算資源量測定部１３１が出力する、復号化部１２０が動作している演算機器における復号化部１２０によって使用される演算資源量と残存演算資源量、画質評価部１３２が出力する参照画像Ａ１０２の画質、目標画質１３３をもとに、符号化部１１０が出力する符号化情報に含まれる１Ｐｉｃｔｕｒｅ１４００１あたりのＢｌｏｃｋ１４００４の目標数を決定する。
【００５８】
Ｂｌｏｃｋ数制御部１３５は、目標Ｂｌｏｃｋ数決定部１３４が決定した目標数に従って、Ｑ１１４が出力する情報に含まれる１Ｐｉｃｔｕｒｅ１４００１あたりのＢｌｏｃｋ１４００４の数を制限し、その制限した情報をＶＬＣ１１５に出力する。
【００５９】
背景技術において説明したように、符号化情報においては、ＭＥ１１１およびＭＣ１１２により時間的に冗長な情報が削減された後に、ＤＣＴ１１３およびＱ１１４により空間的に冗長な情報が削減されている。
【００６０】
図２は、符号化情報における時間的および空間的に冗長な情報の削減を模式的に説明する図である。図２において、Ｐｉｃｔｕｒｅ１４００３内の各四角形はＢｌｏｃｋ１４００４を示し、４つのＢｌｏｃｋ１４００４のかたまりがＭＢ１４００３を示す。黒く塗りつぶした各四角形で示される箇所には係数１４００５が存在し（係数が０ではない）、黒く塗りつぶしていない箇所には係数１４００５が存在しない（係数が０である）。
【００６１】
図２に示すように、時間的および空間的に冗長な情報が削減された情報には係数１４００５を持たないＢｌｏｃｋ１４００４があり、これらのＢｌｏｃｋ１４００４は、符号化情報として復号化部１２０には送られない。係数１４００５を持つＢｌｏｃｋ１４００４のみが符号化情報として復号化部１２０に送られ、復号化処理される。
【００６２】
符号化部１１０のＩＤＣＴ１１７、および復号化部１２０のＩＤＣＴ１２３は、Ｂｌｏｃｋ１４００４単位で符号化情報を処理するため、符号化情報に含まれる１Ｐｉｃｔｕｒｅ１４００１あたりのＢｌｏｃｋ１４００４の数を制限することにより、ＩＤＣＴ１１７およびＩＤＣＴ１２３がその符号化情報を処理する際に使用する演算資源量を制限することが可能になる。
【００６３】
つぎに、本発明の実施の形態における動画像処理システムの実装及び動作環境について説明する。
【００６４】
本実施の形態における動画像処理システムは、図１に示されるように、符号化部１１０、復号化部１２０、演算資源量測定部１３１、画質評価部１３２、目標Ｂｌｏｃｋ数決定部１３４、Ｂｌｏｃｋ数制御部１３５によって構成される。これらの部の全てまたは一部が、ソフトウエアとして実装されてもよく、また、ハードウエアロジックとして実装されてもよい。
【００６５】
これらの部の中で、演算資源量測定部１３１、画質評価部１３２、目標Ｂｌｏｃｋ数決定部１３４、Ｂｌｏｃｋ数制御部１３５が連携して、符号化情報に含まれるＢｌｏｃｋの数を制限することにより、ＩＤＣＴ１１７およびＩＤＣＴ１２３がその符号化情報を処理する際に使用する演算資源量を削減する。つまり、演算資源量測定部１３１、画質評価部１３２、目標Ｂｌｏｃｋ数決定部１３４、Ｂｌｏｃｋ数制御部１３５が、本発明の実施の形態における演算量調整装置を構成する。
【００６６】
図３は、動画像処理システムの動作環境の一例を示す図である。
ＰＣ３１０は一般的なパーソナルコンピュータであり、ＣＰＵ、ＤＳＰ、ハードウエアロジックなどで実現される演算部３０１、メモリやハードディスクなどで実現される記憶部３０２、カメラやディスプレイなどである画像入出力部３０３、有線ＬＡＮアダプタや無線ＬＡＮアダプタなどである通信部３０４から構成される。
【００６７】
各ＰＣ３１０の通信部３０４は、有線ＬＡＮや無線ＬＡＮなどであるＬＡＮ３１１を介して接続されている。
【００６８】
本発明の演算量調整装置を含む動画像処理システムの各部は、各ＰＣ３１０内の演算部３０１で実行され、参照画像Ａ１０２および参照画像Ｂ１０３や、実行中の中間情報や符号化情報は記憶部３０２に一時的に記憶させてもよい。
【００６９】
また、動画像処理システムの各部がソフトウエアとして実装されている場合には、そのソフトウエアのプログラムは記憶部３０２に記憶される。符号化対象画像である原画像１０１および復号化画像である復号化画像１０４は画像入出力部３０３により取得され、かつ表示される。符号化部と復号化部とが異なるＰＣ３１０に実装される場合、符号化情報は通信部３０４およびＬＡＮ３１１を介して、それらのＰＣ３１０間で伝送される。
【００７０】
また、動画像処理システムの各部は、どのＰＣ３１０に実装され動作しているかは特に特定されない。各ＰＣ３１０が通信部３０４およびＬＡＮ３１１により通信可能だから、各機能ブロック間のデータの受け渡しは通信部３０４およびＬＡＮ３１１を介して行えばよく、動画像処理システムの各部はどのＰＣ３１０に実装されているとしても動作可能である。全てが１台のＰＣ３１０に実装／実行されてもよく、極端な例では、全てが異なるＰＣ３１０に実装／実行されてもよい。
【００７１】
更に、符号化部１１０と復号化部１２０は同時刻に実行されてもよく、また異なる時刻に実行されてもよい。同時刻に実行する例としては、ＴＶ放送やＴＶ会議のように、リアルタイムに符号化情報を復号化して復号化画像を見る例があり、異なる時刻に実行する例としては、映像録画／再生機のように、符号化情報を記憶部３０２に記録し、後で復号化して復号化画像を見る例がある。
【００７２】
符号化部１１０と復号化部１２０とが異なる時刻に実行される場合、演算資源量測定部１３１は、符号化部１１０の実行中には復号化部１２０が動作する予定の演算機器の残存演算資源量を測定することはできないため、復号化部１２０の演算量を０とすることにより、前記演算機器で使用可能な全ての演算資源量を残存演算資源量として測定する。
【００７３】
また、動画像処理システムを構成する、符号化部１１０、復号化部１２０、演算資源量測定部１３１、画質評価部１３２、目標Ｂｌｏｃｋ数決定部１３４、Ｂｌｏｃｋ数制御部１３５の組が、１つまたは複数、ＰＣ３１０に実装され実行していてもよい。動画像処理システムの複数の組が同一ＰＣ３１０で実行されている場合は、共通する部の演算資源をタイムシュアして利用してもよい。その場合、演算資源量測定部１３１が測定する演算量は、演算資源のタイムシュアしている時間比を加味して測定されるべきである。
【００７４】
つぎに、実施の形態１における演算量の調整に関する基本的な考え方について以下に説明する。
【００７５】
この説明において、復号化部１２０内のＶＬＤ１２１およびＩＱ１２２およびＩＭＣ１２４の演算量は変動しない、または、固定であると仮定する。背景技術において説明したように、ＶＬＤ１２１およびＩＱ１２２は係数１４００５単位、ＩＭＣ１２４はＭＢ１４００３単位で符号化情報を処理する。符号化部１１０がＣＢＲ（Ｃｏｎｓｔａｎｔ  Ｂｉｔ  Ｒａｔｅ、固定ビットレート）で符号化を行うのであれば、符号化情報に含まれる１Ｐｉｃｔｕｒｅ１４００１あたりの係数１４００５の数はほぼ一定である。
【００７６】
また、ＩＭＣ１２４は、復号化画像１０４を構成するために、符号化情報には含まれないＭＢ１４００３をも参照画像Ｂ１０３から参照する必要がある。この参照のための演算資源量が符号化情報に含まれるＭＢ１４００３を参照するための演算資源量と等しいのであれば、ＩＭＣ１２４は符号化情報によらず一定の演算量となる。このため、上記仮定は、このような場合正しい。
【００７７】
復号化部１２０内のＶＬＤ１２１およびＩＱ１２２およびＩＭＣ１２４の演算量は変動しない、または固定であるのであれば、復号化部１２０が使用する演算資源量の変動要因は、ＩＤＣＴ１２３における演算量の変化のみとなる。ＩＤＣＴ１２３はＢｌｏｃｋ１４００４単位で符号化情報を処理するから、符号化情報に含まれる１Ｐｉｃｔｕｒｅ１４００１あたりのＢｌｏｃｋ１４００４の数を制限すれば、復号化部１２０が使用する演算資源量をある一定値以下に制限させることが可能になる。
【００７８】
つぎに、動画像処理システムの動作について、図４を参照しながら以下に説明する。
符号化部１１０は、その構成要素であるＭＥ１１１、ＭＣ１１２、ＤＣＴ１１３、Ｑ１１４、ＶＬＣ１１５、ＩＱ１１６、ＩＤＣＴ１１７、ＩＭＣ１１８により、画像入出力部３０２から入力される時間的に異なる一連の原画像１０１を順次符号化し、符号化情報を出力する。符号化情報は復号化部１２０に入力され、その構成要素であるＶＬＤ１２１、ＩＱ１２２、ＩＤＣＴ１２３、ＩＭＣ１２４により、符号化情報を復号化し、復号化画像である復号化画像１０４を画像入出力部３０２から出力する。
【００７９】
この動きと並行して、１Ｐｉｃｔｕｒｅ１４００１毎に、演算資源量測定部１３１は、復号化部１２０の演算量および復号化部１２０が動作している演算機器の残存演算資源量を順次測定し（ステップ１５００１）、画質評価部１３２は、参照画像Ａ１０２の画質を順次評価する（ステップ１５００２）。
【００８０】
そして、演算資源量測定部１３１の測定結果および画質評価部１３２の画質評価結果は順次、目標Ｂｌｏｃｋ数決定部１３４に入力される。目標Ｂｌｏｃｋ数決定部１３４は、演算資源量測定部１３１の測定結果、画質評価部１３２の画質評価結果および目標画質１３３から、以下のように、１Ｐｉｃｔｕｒｅ１４００１毎に、目標Ｂｌｏｃｋ数を決定する（ステップ１５００３）。
【００８１】
復号化部１２０が動作しているＰＣ３１０で使用可能な全ての演算量を使用して復号化部１２０を動作させるのであれば、（式１）に従って目標Ｂｌｏｃｋ数を決定する。
【数１】
2008172688.tif 000003
【００８２】
（式１）において、Ｔblock＿aは目標Ｂｌｏｃｋ数（ＩＤＣＴ１２３が処理できるＢｌｏｃｋ数の上限を表す）、Ｔ’blockは前回（１Ｐｉｃｔｕｒｅ前）の目標Ｂｌｏｃｋ数（１Ｐｉｃｔｕｒｅ前が存在しない場合０）、Ｒcalは演算資源量測定部１３１で測定された復号化部１２０が動作しているＰＣ３１０の残存演算資源量、ＣIDCTはＩＤＣＴ１２３が１Ｂｌｏｃｋ１４００４の処理に使用する演算資源量である。（式１）において画質は考慮されていない。
【００８３】
ここで、（式１）は、ＰＣ３１０の残存演算資源量（ＰＣ３１０で使用可能な演算資源量）が正値つまり残余なら、その残余によって処理可能となるＢｌｏｃｋ数だけ目標Ｂｌｏｃｋ数を増やし、負値つまり不足なら、その不足によって処理不能となるＢｌｏｃｋ数だけ目標Ｂｌｏｃｋ数を減らすことにより、目標Ｂｌｏｃｋ数を相対的に決定することに注意する。
【００８４】
他方、画質を考慮して、復号化部１２０で得られる復号化画像の画質が目標画質１３３に近づくように、ＰＣ３１０で復号化部１２０を動作させるのであれば、符号化情報に含まれるＢｌｏｃｋ数が増えるほど画質は向上するため、（式２）に従って目標Ｂｌｏｃｋ数を決定する。
【数２】
2008172688.tif 000004
【００８５】
（式２）において、Ｔblock＿bは目標Ｂｌｏｃｋ数、Ｑnowは画質評価部１３２が評価した現在の画質、Ｑtargetは目標画質１３３、αは係数である。但し、ＰＣ３１０で使用可能な演算量を超えてはならないので、Ｔblock＿bは（式１）のＴblock＿a以下に制限される。
【００８６】
（式２）のＴblock＿bがＴblock＿aを超える値となる場合は、目標画質１３３とするには復号化部１２０が動作しているＰＣ３１０の残存演算資源量では不足であることを意味する。このような場合、図１には示されていないが、目標Ｂｌｏｃｋ数決定部１３４は、復号化部１２０を使用するユーザにその旨を通知し、目標画質１３３を下げるようユーザに再設定を促してもよい。
【００８７】
また、復号化部１２０が実装／実行されているＰＣ３１０における残存演算資源量を増加させるために、ＰＣ１３０で同時に動作している他のアプリケーションを、停止させるか、または、演算量を減少させるように制御してもよい。例えば、ＰＣ１３０でもう一組の演算量調整装置を含む動画像処理システムが動作している場合、その演算量調整装置に対して目標画質を下げるよう要求することにより、その動画像処理システムが使用する演算資源量を減少させ、その結果として、残存演算資源量を増加させることが可能である。
【００８８】
（式２）の係数αは固定値でもよいが、（式３）に示す式により決定してもよい。
【数３】
2008172688.tif 000005
【００８９】
（式３）において、βは係数である。（式３）により、目標画質Ｑtargetと現在の画質Ｑnowとの差が大きい程、係数αは大きな値となり、より早く目標画質となるような目標Ｂｌｏｃｋ数Ｔblock＿bに収束する。
【００９０】
なお、（式３）では、目標画質Ｑtargetと現在の画質Ｑnowとの差の絶対値としたが、目標画質Ｑtargetと現在の画質Ｑnowとの差の二乗値、四乗値としてもよい。目標画質Ｑtargetと現在の画質Ｑnowとの差が大きい程、係数αは大きな値となり、目標画質Ｑtargetと現在の画質Ｑnowとの差が小さい程、係数αは０となる式であれば、どのような式であってもよい。
【００９１】
なお、このような目標Ｂｌｏｃｋ数の決定は、１Ｐｉｃｔｕｒｅ１４００１毎に、目標Ｂｌｏｃｋ数決定部１３４によって行われる。目標Ｂｌｏｃｋ数決定部１３４は、この決定を、演算資源量測定部１３１が測定した残存演算資源量および画質評価部１３２が評価した画質を用いて行う。
【００９２】
目標Ｂｌｏｃｋ数決定部１３４が決定した目標Ｂｌｏｃｋ数は、Ｂｌｏｃｋ数制御部１３５に入力される。Ｂｌｏｃｋ数制御部１３５は、以下に述べるようにして、Ｑ１１４が出力する情報から目標Ｂｌｏｃｋ数を上回るＢｌｏｃｋ１４００４を取り除くことにより、その情報に含まれる１Ｐｉｃｔｕｒｅ１４００１あたりのＢｌｏｃｋ１４００４の数を制限する（ステップ１５００３〜１５００７）。
【００９３】
まず、Ｂｌｏｃｋ数制御部１３５が取り除く取り除き対象Ｂｌｏｃｋの選択基準について説明する。取り除き対象Ｂｌｏｃｋは、それを取り除いた場合に、復号化画像である復号化画像１０４ができる限り画質劣化しないＢｌｏｃｋとする。
【００９４】
Ｑ１１４が出力する情報は時間的に冗長な情報が削減された情報であるので、その情報の量（係数の数や係数の大きさ）の大きさは、原画像１０１と参照画像Ａの時間的な差の大きさを示す。このため、情報の量が大きいＢｌｏｃｋほど、それを取り除いた場合、画質に影響を大きく及ぼしてしまうので、情報の量が少ないＢｌｏｃｋを優先して取り除き対象Ｂｌｏｃｋとする。
【００９５】
また、Ｑ１１４が出力する情報は空間周波数に変換された情報であるが、人間の目は低周波成分の欠落による画質劣化は高周波成分の欠落による画質劣化より敏感である。このため、低周波成分の量（係数の数や係数の量）が少ないＢｌｏｃｋを優先して取り除き対象Ｂｌｏｃｋとする。
【００９６】
このように、１Ｂｌｏｃｋデータ単位の情報内で情報の量が小さいＢｌｏｃｋほど、さらに、低周波成分の量が少ないＢｌｏｃｋほど、優先して取り除き対象Ｂｌｏｃｋとする。
【００９７】
なお、以上説明した選択基準は、一例でしかなく、取り除き対象Ｂｌｏｃｋは、それを取り除いた場合に、復号化画像である復号化画像１０４ができる限り画質劣化しないＢｌｏｃｋを選択する基準であれば、他の選択基準であってもよい。例えば、候補となるＢｌｏｃｋを取り除いた場合の画質劣化度合いをＰＳＮＲで評価し、その指数をもとに選択してもよい。
【００９８】
つぎに、Ｂｌｏｃｋ数制御部１３５が上記選択基準に基づいて、Ｑ１１４が出力する情報から取り除き対象Ｂｌｏｃｋを取り除く動作について説明する。
【００９９】
Ｂｌｏｃｋ数制御部１３５は、所定の蓄積単位に含まれる１以上のＢｌｏｃｋを一時的に蓄える。ここで、所定の蓄積単位とは、例えば、所定複数のＢｌｏｃｋ１４００４、１以上の所定数のＭＢ１４００３、１以上の所定数のＳｌｉｃｅ１４００２、または、１つのＰｉｃｔｕｒｅ１４００１である。
【０１００】
そして、その蓄えた情報の中から、Ｂｌｏｃｋ数が目標Ｂｌｏｃｋ数以下になるまで、上記選択基準に基づいて取り除き対象Ｂｌｏｃｋの情報を取り除き、残ったＢｌｏｃｋの情報をＶＬＣ１１５およびＩＱ１１６に出力する（ステップ１５００５）。
【０１０１】
目標Ｂｌｏｃｋ数決定部１３４は、１Ｐｉｃｔｕｒｅ１４００１あたりの目標Ｂｌｏｃｋ数を出力するので、Ｐｉｃｔｕｒｅ１４００１単位でＢｌｏｃｋを一時的に蓄える場合、その目標Ｂｌｏｃｋ数はそのまま適用される。
【０１０２】
また、所定数のＢｌｏｃｋ１４００４、所定数のＭＢ１４００３、または、所定数のＳｌｉｃｅ１４００２を１蓄積単位として、その蓄積単位に含まれるＢｌｏｃｋを蓄える場合、目標Ｂｌｏｃｋ数決定部１３４から出力される目標Ｂｌｏｃｋ数は、それぞれの蓄積単位に応じた目標Ｂｌｏｃｋ数に変換される（ステップ１５００４）。ステップ１５００４は、一例として、１つのＭＢ１４００３を蓄積単位とする場合を示している。
【０１０３】
（式４）に、その変換に用いられる式を示す。
【数４】
2008172688.tif 000006
【０１０４】
（式４）において、Ｔblock＿Xは蓄積単位あたりの目標Ｂｌｏｃｋ数、Ｔblock＿pictureは１Ｐｉｃｔｕｒｅ１４００１あたりの目標Ｂｌｏｃｋ数、ＮX＿MAXは１Ｐｉｃｔｕｒｅ１４００１に含まれる蓄積単位の数である。
【０１０５】
また、１Ｐｉｃｔｕｒｅ１４００１の処理中に、複数の蓄積単位について順次、Ｑ１１４から出力される情報の蓄積、Ｂｌｏｃｋの取り除き、ＶＬＣ１１５およびＩＱ１１６への情報の出力を行う場合、（式５）に示す式を用いて、その処理の進行時点に応じた好適な目標Ｂｌｏｃｋ数を定めてもよい。
【数５】
2008172688.tif 000007
【０１０６】
（式５）において、ＮXは現在までに情報を蓄積した蓄積単位の総数（Ｐｉｃｔｕｒｅの先頭で０にリセット）、Ｏblockは現在までにＢｌｏｃｋ数制御部１３５から出力されたＢｌｏｃｋの総数（Ｐｉｃｔｕｒｅの先頭で０にリセット）である。
【０１０７】
図５は、（式５）により定められる目標Ｂｌｏｃｋ数に従って、情報の蓄積、Ｂｌｏｃｋの取り除き、情報の出力が行われる場合に、Ｂｌｏｃｋ数制御部１３５に蓄えられている情報量の変動の一例をＢｌｏｃｋ数で表したグラフである。
【０１０８】
図５には、ＮX＿MAXが４である、すなわち１Ｐｉｃｔｕｒｅに４つの蓄積単位（例えば４つのＳｌｉｃｅとしてもよい）が含まれる例が示される。ＮX（ＮX＝１〜４）番目の蓄積単位の処理における目標Ｂｌｏｃｋ数は、（式５）により（ＮX×Ｔblock＿picture／４）−Ｏblockである。
【０１０９】
４つの蓄積単位について順次、情報が蓄積され、この目標Ｂｌｏｃｋ数に従ってＢｌｏｃｋが取り除かれ、そして残ったＢｌｏｃｋの情報が出力される。その結果、Ｂｌｏｃｋ数制御部１３５に蓄えられる情報量は、図５に示されるように変化する。出力されたＢｌｏｃｋ数が目標Ｂｌｏｃｋ数を下回った場合（図５における第２蓄積単位）、目標Ｂｌｏｃｋ数と出力されたＢｌｏｃｋ数との差δは後続の蓄積単位の目標Ｂｌｏｃｋ数に加算される。
【０１１０】
以上、Ｂｌｏｃｋ数制御部１３５によって行われる、データ数の制限動作を説明した。この動作において、Ｂｌｏｃｋ数制御部１３５は、Ｑ１１４が出力する情報から、Ｂｌｏｃｋ数が目標Ｂｌｏｃｋ数以下になるように、Ｂｌｏｃｋ１４００４単位でデータを取り除くことにより、その情報に含まれる１Ｐｉｃｔｕｒｅ１４００１あたりのＢｌｏｃｋ１４００４の数を制限する。
【０１１１】
以上、実施の形態１に係る演算量調整装置、及びその演算量調整装置を含む動画像処理システムについて説明した。以上のように、符号化部１１０が画像入出力部３０２から入力される時間的に異なる一連の原画像１０１を順次符号化し、符号化情報を出力し、復号化部１２０が、その符号化情報を復号化し、復号化画像である復号化画像１０４を画像入出力部３０２から出力／表示する。
【０１１２】
また、この動きと並行して、演算資源量測定部１３１が測定した復号化部１２０の演算量および復号化部１２０が動作している演算機器の残存演算資源量、および、画質評価部１３２が評価した参照画像Ａ１０２の画質、および、目標画質１３３をもとに、目標Ｂｌｏｃｋ数決定部１３４が１Ｐｉｃｔｕｒｅ１４００１データ単位あたりの目標Ｂｌｏｃｋ数を決定する。
【０１１３】
Ｂｌｏｃｋ数制御部１３５が、決定された目標Ｂｌｏｃｋ数以下となるように、符号化情報に含まれる１Ｐｉｃｔｕｒｅ１４００１あたりのＢｌｏｃｋの数を制限する。
【０１１４】
この結果、ＩＤＣＴ１２３が符号化情報を処理するために使用する演算資源量が、目標Ｂｌｏｃｋ数に応じた一定量に制限され、その結果、復号化部１２０の演算量はある一定量以下に制限される。
【０１１５】
ここで一定量とは、演算資源量測定部１３１が測定した復号化部１２０が必要とする演算資源量および復号化部１２０が動作している演算機器の残存演算資源量、画質評価部１３２が評価した画質、および、目標画質１３３に基づいて定められ、復号化部１２０が動作している演算機器の残存演算資源量を超えず、かつ、復号化される画像の画質を目標画質１３３に近づけるような演算量である。
【０１１６】
このようにして、本演算量調整装置を含む動画像処理システムによれば、復号化部１２０が動作している演算機器の残存演算資源量を超えず、かつ、復号化される画像の画質を目標画質１３３に近づけるような演算量で復号化部１２０が復号化可能な好適な符号化情報が、符号化部１１０で生成される。
【０１１７】
また、本演算量調整装置によれば、従来の技術が演算量を調整するためにその数を削減していたデータの単位であるＰｉｃｔｕｒｅ１４００１などより、はるかに小さいＢｌｏｃｋ１４００４単位で演算量を調整している。例えば、Ｐｉｃｔｕｒｅ１４００１データ単位の大きさは、一般のＮＴＳＣ方式のＴＶ画像の場合、７２０×４８０画素程度であり、Ｂｌｏｃｋ１４００４データ単位の大きさは、ＭＰＥＧおよびＩＴＵ−Ｔ  Ｈ．２６０番台の動画像符号化／復号化方式規格によれば８×８画素程度である。
【０１１８】
このため、Ｂｌｏｃｋ１４００４単位での調整は、符号化／復号化全演算量の１／５４００単位という極めて細かい単位で調整可能である。これは従来の技術に比べ数段細かく、また、発明が解決しようとする課題に説明したように、この単位はより細かい方が、演算資源を余すことがより少なくなり、より良い画質の復号化画像をユーザに提供することが可能である。
【０１１９】
このため、本演算量調整装置によれば、従来の技術に比べ、より細かい単位で演算量を調整することにより、演算資源量をより余すことなく、より良い画質の復号化画像をユーザに提供することができる。
【０１２０】
また、本演算量調整装置によれば、演算資源量測定部１３１が測定した復号化部１２０の演算量および復号化部１２０が動作している演算機器の残存演算資源量に基づき、目標Ｂｌｏｃｋ数決定部１３４が決定した目標Ｂｌｏｃｋ数以下に、Ｂｌｏｃｋ数制御部１３５が符号化情報に含まれる１Ｐｉｃｔｕｒｅ１４００１あたりのＢｌｏｃｋの数を制限することにより、符号化対象画像である原画像１０１の画像内容によらず、つまりコンテンツ依存性なく、復号化部１２０が動作している演算機器の演算資源量に収まる演算量に演算量を調整する。
【０１２１】
このため、本演算量調整装置は、発明が解決しようとする課題の項で説明したコンテンツ依存性による問題を起こすことがない。
【０１２２】
なお、背景技術および本実施の形態１では説明を簡単にするために、暗黙の内にデータは輝度データとし、特に色データについて言及しなかった。
【０１２３】
符号化対象データである原画像１０１に色データが含まれる場合、図１８に示す処理データ単位のＭＢ１４００３に、輝度データとは別に色データに関するＢｌｏｃｋが含まれることになる。この場合、単にＭＢ１４００３に含まれるＢｌｏｃｋ数が多くなるだけであるので、実施の形態１で説明した演算量調整装置を同様に適用可能である。そして、その適用によって、符号化対象データである原画像１０１に色データが含まれる場合においても同様の効果が得られることは言うまでもない。
【０１２４】
また、本実施の形態１では、１Ｐｉｃｔｕｒｅ１４００１あたりのＢｌｏｃｋ１４００４の数を制限したが、所定複数のＰｉｃｔｕｒｅ１４００１あたり、１以上の所定数のＳｌｉｃｅ１４００２あたりなどでＢｌｏｃｋ１４００４の数を制限しても、同様の効果が得られることは言うまでもない。
【０１２５】
また、背景技術および本実施の形態１では、ＭＰＥＧおよびＩＴＵ−Ｔ  Ｈ．２６０番台の動画像符号化／復号化方式規格に順ずる符号化／復号化方式を取り上げたが、これらの標準化された規格以外の符号化／復号化方式、または、今後開発される符号化／復号化方式であっても、これら動画像符号化／復号化方式と同じく、時間的に冗長な情報を削減させる動き補償予測、空間的に冗長な情報を削減する空間周波数変換、出現頻度に応じた符号量割り当てにより情報量を削減するエントロピー符号化を組み合わせたハイブリッド符号化／復号化方式であれば、本演算量調整装置を適用することが可能であり、その適用によって同様の効果が得られることは言うまでもない。
【０１２６】
（実施の形態２）
本実施の形態では、実施の形態１で説明した演算量調整装置およびその演算量調整装置を含む動画像処理システムの変形例について、図６〜図８を用いて説明する。
【０１２７】
実施の形態１では、復号化部１２０内のＶＬＤ１２１およびＩＱ１２２およびＩＭＣ１２４の演算量は変動しない、または、固定であると仮定していたが、この中で、ＩＭＣ１２４の演算量は変動するとした場合の実施の形態について以下に説明する。
【０１２８】
まず、演算量調整装置を含む動画像処理システムを構成する機能ブロックについて、以下に説明する。図６は、本発明の実施の形態２における演算量調整装置の機能ブロック図である。
【０１２９】
図６において、符号化部１１０におけるＭＥ１１１、ＭＣ１１２、ＤＣＴ１１３、Ｑ１１４、ＶＬＣ１１５、ＩＱ１１６、ＩＤＣＴ１１７、ＩＭＣ１１８、および、復号化部１２０におけるＶＬＤ１２１、ＩＱ１２２、ＩＤＣＴ１２３、ＩＭＣ１２４は、それぞれ実施の形態１で説明した部と同一である。また、演算資源量測定部１３１、画質評価部１３２、目標画質１３３、目標Ｂｌｏｃｋ数決定部１３４、Ｂｌｏｃｋ数制御部１３５も、それぞれ実施の形態１で説明した部と同様である。実施の形態１との相違点は、目標ＭＢ数決定部１３６およびＭＢ数制御部１３７が追加された点である。
【０１３０】
つぎに、実施の形態１と異なる箇所のみ、実施の形態２における演算量調整装置の構成及び動作について図７を参照しながら説明する。目標ＭＢ数決定部１３６は、目標Ｂｌｏｃｋ数決定部１３４と同様に動作することによって、目標とするＢｌｏｃｋ１４００４の数ではなく、目標とするＭＢ１４００３の数を決定する。
【０１３１】
目標ＭＢ数決定部１３６は、（式６）または（式７）により、１Ｐｉｃｔｕｒｅ１４００１あたりのＭＢ１４００３の数の目標数を決定する（ステップ１６００３）。
【数６】
2008172688.tif 000008
【数７】
2008172688.tif 000009
【０１３２】
（式６）および（式７）において、ＴMB＿aおよびＴMB＿bは目標Ｂｌｏｃｋ数、Ｔ’MBは前回（１Ｐｉｃｔｕｒｅ前）の目標ＭＢ数（１Ｐｉｃｔｕｒｅ前が存在しない場合０）、Ｒcalは演算資源量測定部１３１が測定した復号化部１２０が動作しているＰＣ３１０の残存演算資源量、ＣIMCはＩＭＣ１２４のＭＢ１４００３あたりの演算量、Ｑnowは画質評価部１３２が評価した現在の画質、Ｑtargetは目標画質１３３、αは係数である。
【０１３３】
但し、ＰＣ３１０において使用可能な演算量を超えてはならないので、ＴMB＿bはＴMB＿a以下に制限する。
【０１３４】
また、ＰＣ３１０において使用可能な演算量を超えてはならないので、目標Ｂｌｏｃｋ数決定部１３４の目標Ｂｌｏｃｋ数の決定式である（式１）のＲcalと、目標ＭＢ数決定部１３６の目標ＭＢ数の決定式である（式６）のＲcalとの和は、ＰＣ３１０の残存演算資源量を超えないように制限しなければならない。
【０１３５】
このため、（式８）により、Ｂｌｏｃｋ及びＭＢについてぞれぞれのＲcalを求めるものとする。
【数８】
2008172688.tif 000010
【０１３６】
（式８）において、Ｒcal＿blockは（式１）のＲcal、Ｒcal＿MBは（式６）のＲcal、Ｒcalは演算資源量測定部１３１が測定した復号化部１２０が動作しているＰＣ３１０の残存演算資源量、ＣIDCTはＩＤＣＴ  １２５が１つのＢｌｏｃｋ１４００４を処理するために使用する演算資源量、ＣIMCはＩＭＣ１２４が１つのＭＢ１４００３を処理するために使用する演算資源量である。
【０１３７】
なお、（式８）に示す割り当て方は一例であり、Ｒcal＿blockとＲcal＿MBの和がＲcalを超えない割り当て方であれば、別の割り当て方であってもよい。
【０１３８】
更に、ＭＢ１４００３を構成するＢｌｏｃｋ１４００４の数は、一定数Ｋと決まっている（例えば、図１８ではＫ＝４）。このため、目標Ｂｌｏｃｋ数決定部１３４が決定する目標Ｂｌｏｃｋ数は、目標ＭＢ数決定部１３６が決定する目標ＭＢ数のＫ倍以上となっても、ＭＢ数制御部１３７がＭＢ数を制限しているために、Ｂｌｏｃｋ数制御部１３５には目標ＭＢ数のＫ倍以上のＢｌｏｃｋ数を含む情報が入力されないので、無意味である。
【０１３９】
そこで、目標ＭＢ数決定部１３６と目標Ｂｌｏｃｋ数決定部１３４は、お互いの目標数を、目標Ｂｌｏｃｋ数が目標ＭＢ数のＫ倍以上とならず、ＰＣ３１０で使用可能な演算量を超えない値に調整する。例えば、図８に示す処理フローチャートのように、目標ＭＢ数決定部１３６が決定した目標ＭＢ数を目標Ｂｌｏｃｋ数決定部１３４に通知し（ステップ１７００１）、目標Ｂｌｏｃｋ数決定部１３４は目標Ｂｌｏｃｋ数が目標ＭＢ数のＫ倍以下に制限し（ステップ１７００２〜ステップ１７００３）、その結果もし、ＰＣ３１０の残存演算資源量がＣIMC以上残っているのであれば（ステップ１７００４）、目標ＭＢ数決定部１３６は目標ＭＢ数を１増加させ（ステップ１７００５）、その結果もし更に、ＰＣ３１０の残存演算資源量がＣIDCT以上残っているのであれば（ステップ１７００６）、目標Ｂｌｏｃｋ数を再計算する（ステップ１７００７）。
【０１４０】
以上を、ＰＣ３１０の残存演算資源量がＣIMCまたはＣIDCT以上残らなくなるまで繰り返す。
【０１４１】
なお、図８に示す処理は、目標Ｂｌｏｃｋ数決定部１３４が目標Ｂｌｏｃｋ数を決定し（図４のステップ１５００３）、かつ、目標ＭＢ数決定部１３６が目標ＭＢ数を決定した（図７のステップ１６００３）直後に行われ、図８に示す処理が完了した後は、続く処理（図４のステップ１５００４および図７のステップ１６００４）が行われる。
【０１４２】
ＭＢ数制御部１３７は、Ｂｌｏｃｋ数制御部１３５と同様に動作することによって、Ｂｌｏｃｋ１４００４の数ではなく、ＭＢ１４００３の数を制限する。
【０１４３】
ＭＢ数制御部１３７は、（式９）または（式１０）により、ＰｉｃｔｕｒｅあたりのＭＢ１４００３の目標数を、所定のデータ単位（例えばＳｌｉｃｅ）あたりのＭＢ１４００３の目標数に変換し（ステップ１６００４）、その目標数以下になるようにＭＢの数を制限し（ステップ１６００５）、その結果、ＭＣ１１２が出力する情報に含まれる１Ｐｉｃｔｕｒｅ１４００１あたりのＢｌｏｃｋ１４００４の数を制限する。
【数９】
2008172688.tif 000011
【数１０】
2008172688.tif 000012
【０１４４】
（式９）および（式１０）において、ＴMB＿Xは所定のデータ単位（例えばＳｌｉｃｅ）あたりの目標ＭＢ数、ＴMB＿pictureは１Ｐｉｃｔｕｒｅ１４００１あたりの目標ＭＢ数、ＮX＿MAXは１Ｐｉｃｔｕｒｅ１４００１に含まれる前記データ単位の個数、ＮXは現在までにＭＢ数制御部１３７に一時的に蓄えられた前記データ単位の総数（Ｐｉｃｔｕｒｅの先頭で０にリセット）、ＯMBは現在までにＭＢ数制御部１３７から出力されたＭＢの総数（Ｐｉｃｔｕｒｅの先頭で０にリセット）である。
【０１４５】
但し、Ｂｌｏｃｋ数制御部１３５がＢｌｏｃｋ数を制限した結果、あるＭＢに含まれるＢｌｏｃｋが全てなくなり、その結果、１Ｐｉｃｔｕｒｅ１４００１あたりのＭＢ１４００３の数が減少することがある。
【０１４６】
このため、Ｂｌｏｃｋ数制御部１３５は、ＭＢ１４００３の数が減少した場合、その減少数をＭＢ数制御部１３７に通知し、ＭＢ数制御部１３７はその減少数を加味した（式１１）または（式１２）により、所定のデータ単位あたりのＭＢ１４００３データ単位のデータ数の目標数を決定するのが望ましい。
【数１１】
2008172688.tif 000013
【数１２】
2008172688.tif 000014
【０１４７】
（式１１）および（式１２）において、ＤMBはＢｌｏｃｋ数制御部１３５において減少したＭＢ数である。
【０１４８】
以上、実施の形態１と異なる箇所のみ、実施の形態２における演算量調整装置、及びその演算量調整装置を含む動画像処理システムについて説明した。以上から、ＩＭＣ１２４の演算量が変動する場合においても、実施の形態１と同様の効果が得られることが明らかである。
【０１４９】
また、実施の形態１では、復号化部１２０内のＶＬＤ１２１およびＩＱ１２２およびＩＭＣ１２４の演算量は変動しない、または、固定と仮定していたが、この中で、ＶＬＤ１２１およびＩＱ１２２の演算量は変動するとした場合に適用可能な変形例を考えることもできる。
【０１５０】
その場合、実施の形態１および実施の形態２と同様に、目標係数数決定部および係数数制御部を新設し（係数数制御部はＢｌｏｃｋ数制御部１３５の後段に新設）、目標係数数決定部が、演算資源量測定部１３１および画質評価部１３２の出力と目標画質１３３をもとに目標とする係数数を決定し、係数数制御部が符号化情報に含まれる１Ｐｉｃｔｕｒｅ１４００１あたりの係数１４００５の数を制限する。これにより、実施の形態１と同様の効果が得られることは言うまでもない。
【０１５１】
目標係数数決定部および係数数制御部はそれぞれ、目標Ｂｌｏｃｋ数決定部１３４および目標ＭＢ数決定部１３６、Ｂｌｏｃｋ数制御部１３５およびＭＢ数制御部１３７と同様に動作することによって、係数の数に関して目標数の決定とその数の制限とを行う。
【０１５２】
（実施の形態３）
本実施の形態では、符号化部の演算量を調整する機能を持つ動画像処理システム、及びその動画像処理システムに含まれる演算量調整装置について、図９を用いて説明する。
【０１５３】
まず、演算量調整装置を含む動画像処理システムの機能的な構成について、以下に説明する。
【０１５４】
図９は、本発明の実施の形態３における画像処理システムの機能的な構成を表すブロック図である。図９において、符号化部１１０におけるＭＥ１１１、ＭＣ１１２、ＤＣＴ１１３、Ｑ１１４、ＶＬＣ１１５、ＩＱ１１６、ＩＤＣＴ１１７、ＩＭＣ１１８、および、復号化部１２０におけるＶＬＤ１２１、ＩＱ１２２、ＩＤＣＴ１２３、ＩＭＣ１２４は、実施の形態１及び実施の形態２で説明した部と同一である。
【０１５５】
また、演算資源量測定部１３１、画質評価部１３２、目標画質１３３、目標Ｂｌｏｃｋ数決定部１３４、Ｂｌｏｃｋ数制御部１３５も、実施の形態１および実施の形態２で説明した部と同一である。但し、演算資源量測定部１３１は、復号化部１２０ではなく、符号化部１１０が動作している演算機器の、符号化部１１０によって使用される演算資源量と残存演算資源量とを測定する。
【０１５６】
実施の形態１及び実施の形態２との相違点は、目標ＭＢ数決定部１３６が目標ＭＢ数および目標Ｂｌｏｃｋ数決定部１３８に変更され、ＭＢ数制御部１３７であったものがＭＢ数およびＢｌｏｃｋ数制御部１３９に変更される点である。
【０１５７】
つぎに、実施の形態３における演算量の調整に関する基本的な考え方について以下に説明する。実施の形態１及び実施の形態２において、１Ｐｉｃｔｕｒｅ１４００１あたりのＢｌｏｃｋ１４００４の数を制限し、さらに必要であれば、１Ｐｉｃｔｕｒｅ１４００１あたりのＭＢ１４００３の数や、１Ｐｉｃｔｕｒｅ１４００１あたりの係数１４００５の数を制限することにより、復号化部１２０の演算量を制御した。
【０１５８】
符号化部１１０において、ＭＥ１１１およびＭＣ１１２の演算量は、Ｐｉｃｔｕｒｅ１４００１を構成するＭＢ１４００３の数だけ必ず処理を行うため固定である。また、ＩＭＣ１１８、ＩＤＣＴ１１７、ＩＱ１１６、および、Ｑ１１４、ＶＬＣ１１５は復号化部１２０におけるＩＭＣ１２４、ＩＤＣＴ１２３、ＩＱ１１２、ＶＬＤ１２１と同じかまたは逆変換であるので、実施の形態１及び実施の形態２と同様にして、それらの演算量を制御することができる。
【０１５９】
従って、符号化部１１０において残るＤＣＴ１１３が使用する演算量を制御すれば、符号化部１１０の全体的な演算量を制御することが可能になる。
【０１６０】
つぎに、実施の形態３における演算量調整装置の動作について、実施の形態１および実施の形態２の説明と異なる事項のみ以下に説明する。
【０１６１】
演算資源量測定部１３１、画質評価部１３２、目標Ｂｌｏｃｋ数決定部１３４、Ｂｌｏｃｋ数制御部１３５はそれぞれ、実施の形態１および実施の形態２で説明した動作と同一の動作をする。
【０１６２】
また、目標ＭＢ数および目標Ｂｌｏｃｋ数決定部１３８、ＭＢ数およびＢｌｏｃｋ数制御部１３９は、それぞれ目標ＭＢ数決定部１３６、ＭＢ数制御部１３７と同様の動作を行うと共に、それぞれ目標Ｂｌｏｃｋ数決定部１３４、Ｂｌｏｃｋ数制御部１３５と同様の動作をも行う。
【０１６３】
背景技術で説明したように、符号化部１１０におけるＤＣＴ１１３の処理は、Ｂｌｏｃｋ１４００４単位で行われるので、ＭＢ数およびＢｌｏｃｋ数制御部１３９により、ＤＣＴ１１３に入力する情報に含まれる１Ｐｉｃｔｕｒｅ１４００１あたりのＢｌｏｃｋ１４００４の数を制限することにより、ＤＣＴ１１３の演算量を制御する。
【０１６４】
目標ＭＢ数および目標Ｂｌｏｃｋ数決定部１３８が目標Ｂｌｏｃｋ数を決定する処理の手順、及びＭＢ数およびＢｌｏｃｋ数制御部１３９がＢｌｏｃｋ数を制限する処理の手順はそれぞれ、実施の形態２で説明した目標Ｂｌｏｃｋ数を決定する処理の手順、Ｂｌｏｃｋ数を制限する処理の手順と同一である。
【０１６５】
Ｑ１１４が係数を制限した結果、あるＢｌｏｃｋに含まれる係数が全てなくなることがあるので、目標ＭＢ数および目標Ｂｌｏｃｋ数決定部１３８が決定する目標Ｂｌｏｃｋ数は、目標Ｂｌｏｃｋ数決定部１３４が決定する目標Ｂｌｏｃｋ数より大きくするほうがよい。これは、実施の形態２における、目標Ｂｌｏｃｋ数が目標ＭＢ数のＫ倍以上となる場合は無意味になることと、同じ関係である。
【０１６６】
以上、実施の形態３における演算量調整装置について、実施の形態１および実施の形態２と異なる事項のみ説明した。以上により、本発明の演算量調整装置は、符号化部１１０においても、演算量を符号化部１１０が動作している演算機器の残存演算資源量、または、目標画質１３３にするだけに必要な演算量以下に制限することができることは明らかである。
【０１６７】
（実施の形態４）
本実施の形態では、実施の形態１から実施の形態３までに説明した演算量調整装置、及びその演算量調整装置を含む動画像処理システムにおける、符号化情報の制限量と復号化画像の画質と関係について図１０〜図１３を用いて説明する。また、ユーザに認識される画質の劣化を緩和する方法についても説明する。
【０１６８】
まず、本発明の演算量調整装置を含む動画像処理システムによる符号化／復号化をシミュレーションした結果を以下に示す。この符号化／復号化シミュレーションでは、４：２：０、６４０×４８０画素、６００枚の一連の画像を符号化対象画像としている。
【０１６９】
図１０に符号化対象画像の一部を示す。この一連の画像は、天井から撮影され、人物が右から左へ移動し（Ｐｉｃｔｕｒｅ７０からＰｉｃｔｕｒｅ１３０）、手前から奥へまた奥から手前へ移動する（Ｐｉｃｔｕｒｅ３１０からＰｉｃｔｕｒｅ５００）様子が撮影されている。
【０１７０】
動画像処理システムは、この一連の画像を、符号化方式としてＭＰＥＧ−２方式を用い、動き検出範囲±３１．５、Ｍ＝１、Ｎ＝１５０、発生符号量４Ｍｂｉｔ／ｓｅｃのＣＢＲで符号化する。
【０１７１】
図１１に、Ｂｌｏｃｋ数を調整しないか、又はそれぞれ異なる度合いで調整した４つの場合について、Ｐｉｃｔｕｒｅ７０の復号化画像を示す。また、前記４つの場合のそれぞれについて、図１２に、復号化画像の輝度（Ｙ）の画質（ＰＳＮＲ）を示し、図１３に、Ｑ１１４で用いられるＱステップ幅の１Ｐｉｃｔｕｒｅ１４００１期間での平均値を示す。
【０１７２】
ここで、“Ｂｌｏｃｋ数調整なし”とは、本発明の演算量調整装置を用いず、通常のＭＰＥＧ−２で符号化／復号化した場合の結果である。
【０１７３】
また、“Ｂｌｏｃｋ数を１／２以下に調整”とは、本発明の演算量調整装置を用い、符号化情報に含まれる１Ｐｉｃｔｕｒｅ１４００１あたりのＢｌｏｃｋ１４００４の数を１／２以下に調整した結果である。具体的には、６４０×４８０画素の大きさの１Ｐｉｃｔｕｒｅ１４００１に含まれる８×８画素の大きさのＢｌｏｃｋ１４００４の最大数４８００個に対して、Ｂｌｏｃｋ数を１／２以下つまり、２４００個以下に調整している。
【０１７４】
“Ｂｌｏｃｋ数を１／３以下に調整”、および、“Ｂｌｏｃｋ数を１／６以下に調整”に関しても“Ｂｌｏｃｋ数を１／２以下に調整”と同様であり、それぞれ、１ＰｉｃｔｕｒｅあたりのＢｌｏｃｋ数を１／３以下（１６００個以下）、１／６以下（８００個以下）に調整した結果である。なお、“Ｂｌｏｃｋ数調整なし”時の符号化情報に含まれる１Ｐｉｃｔｕｒｅ１４００１データ単位あたりのＢｌｏｃｋ１４００４データ単位のデータ数は、平均４３８０個程度であった。
【０１７５】
図１１の復号化画像が示すように、Ｂｌｏｃｋ数を１／２、１／３、１／６と下げるにつれて、復号化画像にＢｌｏｃｋノイズ（８×８サイズのＢｌｏｃｋ形状で画質劣化が見られる現象）が表れてくるものの、その画質は例えば監視用途などに十分実用になる程度に維持される。
【０１７６】
この結果は、図１２に示す輝度（Ｙ）の画質（ＰＳＮＲ）にも現れている。“Ｂｌｏｃｋ数を１／６以下に調整”時のＢｌｏｃｋ数は８００個以下であり、“Ｂｌｏｃｋ数調整なし”時の４３８０個程度に対し大幅にＢｌｏｃｋ数が削減しているにもかかわらず、４ｄＢ程度しか画質劣化していない。これは、Ｂｌｏｃｋ数が削減されたことに伴い、削減したＢｌｏｃｋの符号化情報の量だけ、他の削減しなかったＢｌｏｃｋの符号化情報が多くなるためである。このため、他の削減しなかったＢｌｏｃｋに関しては、符号化情報量が増え、その結果画質が向上する。
【０１７７】
図１３に示す平均Ｑステップ幅にもそのことが現れている。Ｂｌｏｃｋ数を１／２以下、１／３以下、１／６以下と下げるにつれて、Ｑ１１４で符号化情報が量子化される際に用いられるＱステップ幅の平均値は低下（ステップ幅が縮小）する。つまり、削減しなかったＢｌｏｃｋに対する符号化情報量が増えていることがわかる。
【０１７８】
以上のように、符号化／復号化シミュレーション結果によれば、本発明の演算量調整装置によりＢｌｏｃｋ数を大幅に削減したとしても、それに伴う画質劣化は実用性を損なうほどのものではない。しかも、以下に説明する事項を行うことにより、ユーザがうける画質劣化の印象をより緩和させることができる。
【０１７９】
まず、図１１の復号化画像が示すように、本発明の演算量調整装置が符号化情報に含まれるデータ単位を制限することによる画質劣化は、Ｂｌｏｃｋノイズとして現れる。このＢｌｏｃｋノイズが特定の位置に連続して現れる、または、人物などの移動物体など、ユーザが注目するような位置に現れる場合、ユーザがうける画質印象は大きく低下してしまう。また、このＢｌｏｃｋノイズは削減したＢｌｏｃｋの箇所に現れる。
【０１８０】
そこで、実施の形態１で説明したＢｌｏｃｋ数制御部１３５の取り除き対象Ｂｌｏｃｋの選択基準に、以下の項目を加える。まず、時間的に前の１ないし複数Ｐｉｃｔｕｒｅにおいて取り除いたＢｌｏｃｋが位置に存在するＢｌｏｃｋは、取り除き対象Ｂｌｏｃｋから除外する。
【０１８１】
この処理は、Ｂｌｏｃｋ数制御部１３５において、時間的に前の１ないし複数Ｐｉｃｔｕｒｅにおいて取り除いたＢｌｏｃｋの位置をメモリなどに記録し、この記録をもとに判定すれば簡単に実現することができ、Ｂｌｏｃｋノイズが特定の位置に連続して現れることを防ぐことができる。
【０１８２】
つぎに、動きが大きいＢｌｏｃｋは取り除き対象Ｂｌｏｃｋから除外する。ユーザは移動する人物や物体など、動きが多い箇所に注目することが多く、これら動きが大きいＢｌｏｃｋを取り除き対象Ｂｌｏｃｋから除外することにより、ユーザが注目するような位置にＢｌｏｃｋノイズが現れることを防ぐ。
【０１８３】
この処理は、Ｂｌｏｃｋ数制御部１３５において、画像間の動きの情報を用いて動きの多少を判断することにより、簡単に実現できる。画像間の動きの情報はＭＥ１１１が検出する情報を用いることができる。
【０１８４】
なお、動きが大きい箇所に限らず、ユーザが注目すると考えられる位置を特定し、その特定された位置に存在するＢｌｏｃｋを取り除き対象Ｂｌｏｃｋから除外してもよい。そのような位置は、例えば、画像認識により抽出される人物／物体の位置であり、また、ユーザの視線位置検出の技術を用いて検出される位置である。
【０１８５】
つぎに、図１２の輝度（Ｙ）の画質（ＰＳＮＲ）が示すように、Ｂｌｏｃｋ数を１／２以下、１／３以下、１／６以下にするにつれて、画質が時刻に伴い変化するばらつき度合いが大きくなっている。このばらつきが大きいほど、時間的前後の画質の差がユーザに見て取れて、画質印象が悪くなることがある。
【０１８６】
そこで、画質評価部１３２において、各Ｐｉｃｔｕｒｅの画質測定とあわせて、画質の時間的なばらつき度合いも測定し、このばらつき度合いが一定値以上となった場合、その旨を、ユーザに通知することにより、目標画質１３３を高めるようユーザに再設定を促す。又は、並行動作している他の動画像処理システムにおける演算量調整装置、または、他のアプリケーションなどに通知することにより、他の動画像処理システムやアプリケーションが使用する演算資源量を削減させ、本発明の演算量調整装置に用いることができる演算資源量を増加させる。これにより、画質のばらつきによる画質印象の低下を防ぐことができる。
【０１８７】
なお、以上Ｂｌｏｃｋ数の制御に関して説明したが、ＭＢ数の制御に関しても同様であり、実施の形態２で説明したＭＢ数制御部１３７の取り除き対象ＭＢの選択基準を、以上に説明した事項に加えることにより、同様の効果が得られることは明らかである。
【０１８８】
（実施の形態５）
本実施の形態では、実施の形態１から実施の形態４までに説明した演算量調整装置のいくつかの利用上の補足事項について、図１４〜図１５を用いて説明する。
【０１８９】
まず、本発明の演算量調整装置では、符号化情報のうち、時間的に累積していく符号化誤差を解消する働きを持つ部分について、その部分に含まれるデータ単位を取り除きの対象から除外することを、以下に説明する。
【０１９０】
ＭＰＥＧおよびＩＴＵ−Ｔ  Ｈ．２６０番台の動画像符号化／復号化方式規格では、順次符号化する原画像１０１は、Ｉ−Ｐｉｃｔｕｒｅ（Ｉｎｔｒａ  Ｐｉｃｔｕｒｅ、フレーム内符号化画像）、Ｐ−Ｐｉｃｔｕｒｅ（Ｐｒｅｄｉｃｔｉｖｅ  Ｐｉｃｔｕｒｅ、片方向動き予測符号化画像）、または、Ｂ−Ｐｉｃｔｕｒｅ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  Ｐｒｅｄｉｃｔｉｖｅ  Ｐｉｃｔｕｒｅ、両方向動き予測符号化画像）として符号化される。
【０１９１】
これらＰｉｃｔｕｒｅのうちＩ−Ｐｉｃｔｕｒｅのみは、時間的に冗長な情報を削減させる動き補償予測を用いず符号化される画像である。Ｉ−Ｐｉｃｔｕｒｅは、時間的に累積していく符号化誤差を解消するために必要とされ、順次符号化される原画像１０１は、一定周期に、このＩ−Ｐｉｃｔｕｒｅとして符号化される。
【０１９２】
また、Ｉ−Ｐｉｃｔｕｒｅと同じく、時間方向に累積していく符号化誤差を解消するために、Ｐ−Ｐｉｃｔｕｒｅに含まれる１または複数のＳｌｉｃｅ１４００２データ単位のデータ全てをＩｎｔｒａ  ＭＢ（Ｉｎｔｒａ  Ｍａｃｒｏ  Ｂｌｏｃｋ、フレーム内符号化マクロブロック）として符号化することもある（以後、これをＩｎｔｒａ  Ｓｌｉｃｅと記載する）。Ｉｎｔｒａ  ＭＢは、時間的に冗長な情報を削減させる動き補償予測を用いず符号化されるＭＢである。
【０１９３】
本発明の演算量調整装置は、Ｐ−ＰｉｃｔｕｒｅにおけるＩｎｔｒａ  Ｓｌｉｃｅ以外のＳｌｉｃｅ、およびＢ−Ｐｉｃｔｕｒｅに含まれるデータ単位（ＭＢ、Ｂｌｏｃｋ、Ｐｉｘｅｌ、係数）のみを取り除き対象として動作し、反面、Ｉ−Ｐｉｃｔｕｒｅに含まれるデータ単位、およびＰ−ＰｉｃｔｕｒｅにおけるＩｎｔｒａ  Ｓｌｉｃｅに含まれるデータ単位を取り除きの対象から除外する、つまりそれらに対して動作しない。
【０１９４】
これは、本発明の演算量調整装置により、Ｉ−ＰｉｃｔｕｒｅおよびＩｎｔｒａ  ＳｌｉｃｅにおけるＭＢ１４００３、Ｂｌｏｃｋ１４００４、Ｐｉｘｅｌ、または係数１４００５が破棄されることにより、累積された符号化誤差を解消する働きが阻害されることを防ぐためである。但し、あえてその働きを弱めてでも符号化部１１０および復号化部１２０の演算量を制限させたい場合には、この限りではない。
【０１９５】
つぎに、Ｉ−Ｐｉｃｔｕｒｅ、Ｐ−Ｐｉｃｔｕｒｅ、Ｂ−Ｐｉｃｔｕｒｅでの符号化時における、演算量の違いおよびその設定について以下に説明する。
【０１９６】
上記説明したように、Ｉ−ＰｉｃｔｕｒｅおよびＰ−Ｐｉｃｔｕｒｅに含まれるＩｎｔｒａ  Ｓｌｉｃｅでは、時間的に冗長な情報を削減させる動き補償予測を用いず符号化されるため、ＭＥ１１１およびＭＣ１１２は動作しない。また、本発明の演算量調整装置は、これらに対して動作しない場合がある。
【０１９７】
更に、Ｐ−ＰｉｃｔｕｒｅおよびＢ−Ｐｉｃｔｕｒｅでは、動き補償予測時に用いられる動きベクトルの探索範囲や予測方式などの違いにより、ＭＥ１１１およびＭＣ１１２の演算量がＰ−ＰｉｃｔｕｒｅおよびＢ−Ｐｉｃｔｕｒｅで異なる場合がある。この結果、Ｉ−Ｐｉｃｔｕｒｅ、Ｐ−Ｐｉｃｔｕｒｅ、Ｂ−ｐｉｃｔｕｒｅでの符号化処理の演算量は、それぞれ異なる場合がある。
【０１９８】
但し、Ｉ−ＰｉｃｔｕｒｅおよびＰ−Ｐｉｃｔｕｒｅに含まれるＩｎｔｒａ  Ｓｌｉｃｅ部分では、時間的に冗長な情報を削減させる動き補償予測を用いないために、本発明の演算量調整装置および方法がこれらに対して動作しない場合において、符号化情報に含まれる１Ｐｉｃｔｕｒｅ１４００１あたりのＭＢ１４００３数およびＢｌｏｃｋ１４００４数は固定である。このため、Ｉ−ＰｉｃｔｕｒｅおよびＰ−Ｐｉｃｔｕｒｅに含まれるＩｎｔｒａ  Ｓｌｉｃｅ部分の演算量は、ある一定値である。
【０１９９】
また、Ｐ−Ｐｉｃｔｕｒｅに含まれるＩｎｔｒａ  Ｓｌｉｃｅ以外の部分およびＢ−Ｐｉｃｔｕｒｅでは、ＭＥ１１１およびＭＣ１１２の演算量の違いはあるが、これらの演算量はそれぞれ予め決められた一定値であり、かつ、本発明の演算量調整装置により演算量がある一定値以下に制限される。このため、Ｐ−Ｐｉｃｔｕｒｅに含まれるＩｎｔｒａ  Ｓｌｉｃｅ以外の部分およびＢ−Ｐｉｃｔｕｒｅの演算量もまた、ある一定値である。
【０２００】
また、Ｉ−Ｐｉｃｔｕｒｅ、Ｐ−Ｐｉｃｔｕｒｅ、Ｂ−ｐｉｃｔｕｒｅでの符号化処理における演算量はそれぞれ異なるが、それぞれの演算量はある一定値である。
【０２０１】
そしてこれら一定値は、ＭＥ１１１の動きベクトルの探索範囲やＭＣ１１２の予測方式の設定値、および、本発明の演算量調整装置の設定値（残存演算量などの設定）により、予め簡単に設定することができる。
【０２０２】
そこで、復号化部１２０において、上記説明したそれぞれ一定量である、Ｉ−Ｐｉｃｔｕｒｅが復号化される時の演算量ＣI＿D、Ｐ−Ｐｉｃｔｕｒｅが復号化される時の演算量ＣP＿D、Ｂ−Ｐｉｃｔｕｒｅが復号化される時の演算量ＣB＿Dはそれぞれ、（式１３）に示す関係を満たす値に設定する。
【０２０３】
ＭＰＥＧおよびＩＴＵ−Ｔ  Ｈ．２６０番台の動画像符号化／復号化方式規格では、図１４に示すように、原画像１０１は予め決められた一定周期で、Ｉ−Ｐｉｃｔｕｒｅ、Ｐ−Ｐｉｃｔｕｒｅ、Ｂ−Ｐｉｃｔｕｒｅで符号化されることを繰り返し、この１周期はＩ−ＰｉｃｔｕｒｅからつぎのＩ−Ｐｉｃｔｕｒｅまでの期間である。
【数１３】
2008172688.tif 000015
【０２０４】
（式１３）において、この１周期について、ＮIはＩ−Ｐｉｃｔｕｒｅで符号化／復号化される画像の数、ＮP  Ｐ−Ｐｉｃｔｕｒｅで符号化／復号化される画像の数、ＮBはＢ−Ｐｉｃｔｕｒｅで符号化／復号化される画像の数、Ｃpicture＿Dは１Ｐｉｃｔｕｒｅ１４００１データ単位あたりの復号化部１２０演算量である。
【０２０５】
また、符号化部１１０において、上記説明したそれぞれ一定量である、Ｉ−Ｐｉｃｔｕｒｅが符号化される時の演算量ＣI＿E、Ｐ−Ｐｉｃｔｕｒｅが符号化される時の演算量ＣP＿E、Ｂ−Ｐｉｃｔｕｒｅが符号化される時の演算量ＣB＿Eはそれぞれ、（式１４）に示す関係を満たす値に設定する。
【数１４】
2008172688.tif 000016
【０２０６】
図１５に、符号化部１１０および復号化部１２０のＩ−Ｐｉｃｔｕｒｅ、Ｐ−Ｐｉｃｔｕｒｅ、Ｂ−ｐｉｃｔｕｒｅに対する符号化／復号化処理の時間的流れを示す。図１５に示すように、（式１３）および（式１４）の関係を満たす値であれば、とどこおりなく、画像入力、符号化部１１０の符号化処理、復号化部１２０の復号化処理、画像出力／表示を行うことができる。
【０２０７】
（実施の形態６）
最後に、本実施の形態では、実施の形態１から実施の形態５で説明した演算量調整装置のより具体的な利用例について、幾つかの利用シーンを示しながら説明する。
【０２０８】
まず、前の晩など家で映像録画／再生装置において録画した番組を、その映像録画／再生装置で再生するのではなく、その番組の符号化情報を携帯端末などに転送／記憶し、通勤途中など出先で再生するという利用シーンがよく存在する。
【０２０９】
携帯端末は携帯性を高めるために小型化、低消費電力化する必要があり、その演算能力や記録容量は、映像録画／再生装置などの据え置き型の機器に比べ少ない。このため、映像録画／再生装置の演算能力に適合するように符号化された番組の符号化情報を携帯端末で再生した場合、映像の一部のＰｉｃｔｕｒｅ１４００１が再生されない（いわゆるコマ落ち）などの不具合が発生してしまう。
【０２１０】
そこで、映像録画／再生装置で録画した番組の符号化情報を一旦復号化し、携帯端末の演算能力に基づいて改めて符号化してから、携帯端末に転送する。
【０２１１】
そして、この符号化の際、本発明の演算量調整装置を用い、演算資源量測定部１３１により復号化部１２０が動作する携帯端末の演算資源量を測定し、それに基づき、目標Ｂｌｏｃｋ数決定部１３４およびＢｌｏｃｋ数制御部１３５、目標ＭＢ数決定部１３６およびＭＢ数制御部１３７などが、符号化情報に含まれる１Ｐｉｃｔｕｒｅ１４００１データ単位あたりのＭＢ１４００３データ単位やＢｌｏｃｋ１４００４データ単位などの数を制限する。
【０２１２】
これにより、携帯端末に転送される符号化情報は、携帯端末でコマ落ちを起こすことなく完全に再生される。コマ落ちが発生しないということは、その符号化情報には携帯端末で再生不可能な情報が含まれないということであり、符号化情報を記録する携帯端末の少ない記録容量が、その携帯端末で再生不可能な情報により圧迫されることを防ぐことができる。
【０２１３】
つぎに、ＴＶ会議など、複数のユーザがお互いの映像をリアルタイムにやりとりする利用シーンもよく存在する。
【０２１４】
この利用シーンにおいて、例えば図１６に示すように、ユーザ１２００１ＡがＰＣ３１０Ａを用い、かつユーザ１２００１ＢがＰＣ３１０Ｂを用いてＴＶ会議している途中に、新たにユーザ１２００１ＣがＰＣ３１０Ｃを用いてＴＶ会議に参加する場合を考える。
【０２１５】
ユーザ１２００１Ｃが新たにＴＶ開始に参加する場合、ＰＣ３１０Ａでは新たに復号化部１２０ＣＡを起動し、ＰＣ３１０Ｂでは新たに復号化部１２０ＣＢを起動し、ＰＣ３１０Ｃでは新たに復号化部１２０ＡＣ、復号化部１２０ＢＣ、符号化部１１０Ｃを起動する必要がある。
【０２１６】
先に動作している符号化部及び復号化部が演算資源量の調整機能を持たない場合、これら各ＰＣにおいて新たに起動される符号化部や復号化部が使用する量の演算資源が確保できなければ、ユーザ１２００１ＣはＴＶ会議に参加することができない。
【０２１７】
そこで、本発明の演算量調整装置を用いて符号化部や復号化部の演算量を調整することにより、ユーザ１２００１ＣがＴＶ会議に参加することを可能にする。
【０２１８】
ユーザ１２００１ＣがＴＶ会議に参加する前、図１６に実線で示されるように、ＰＣ３１０Ａ、ＰＣ３１０Ｂにおいて、それぞれ１つの符号化部と１つの復号化部とからなる２組の動画像処理システムが動作している。本発明の演算量調整装置は、これらの動画像処理システムにそれぞれ１つずつ含まれる。
【０２１９】
さらにユーザ１２００１ＣがＴＶ会議に参加した状態では、図１６に実線及び点線で示されるように、ＰＣ３１０Ａ、ＰＣ３１０Ｂ、ＰＣ３１０Ｃにおいて、それぞれ１つの符号化部と２つの復号化部とからなる３組の動画像処理システムが動作する。本発明の演算量調整装置は、これらの動画像処理システムにそれぞれ１つずつ含まれる。
【０２２０】
図１６において、この演算量調整装置を実現する演算資源量測定部１３１、画質評価部１３２、目標Ｂｌｏｃｋ数決定部１３３、Ｂｌｏｃｋ数制限部１３５、目標ＭＢ数決定部１３６、ＭＢ数制御部１３７などの図示は省略される。
【０２２１】
ＰＣ３１０Ａに注目して説明を続ける。ユーザ１２００１ＣがＴＶ会議へ参加する際、符号化部１１０Ｃ、復号化部１２０ＣＡ、復号化部１２０ＣＢからなる動画像処理システムは、この演算量調整装置によって、復号化部１２０ＣＡが使用する演算資源量がＰＣ３１０Ａで使用可能な演算資源量を超えないように起動され、動作する。
【０２２２】
もし、ＰＣ３１０Ａにおいて使用可能な演算資源量がまったくないか、または、その量では復号化部１２０ＣＡが起動できないのであれば、符号化部１１０Ａが使用する演算資源量を下げるべく、符号化部１１０Ａで生成される符号化情報に含まれる目標ＭＢ数や目標Ｂｌｏｃｋ数を下げ、また、復号化部１２０ＢＡが使用する演算資源量を下げるべく、ＰＣ３１０Ｂで動作している符号化部１１０Ｂで生成される符号化情報に含まれる目標ＭＢ数や目標Ｂｌｏｃｋ数を下げるように、先に動作している動画像処理システムにおける演算量調整装置が働く。
【０２２３】
符号化部１１０Ａおよび符号化部１１０Ｂでは、目標ＭＢ数や目標Ｂｌｏｃｋ数を下げることにより、生成される符号化情報に含まれるＭＢ数やＢｌｏｃｋ数を低減し、その結果、符号化部１１０Ａ及び復号化部１２０ＢＡが使用する演算資源量を低減させる。
【０２２４】
具体的に、前記演算量調整装置における目標ＭＢ数決定部１３６や目標Ｂｌｏｃｋ数決定部１３４が、ＰＣ３１０Ａにおいて現在使用可能な演算資源量から復号化部１２０ＣＡの起動に必要な演算資源量だけ引いた値をＰＣ３１０Ａの残存演算資源量として用いて目標ＭＢ数や目標Ｂｌｏｃｋ数を決定することにより、上記制御を行うことができる。
【０２２５】
なお、目標ＭＢ数決定部１３６や目標Ｂｌｏｃｋ数決定部１３４は、ユーザへの通知により目標画質１３３を下げるようユーザに再設定を促すことによって、結果的に符号化情報に含まれるＭＢ数やＢｌｏｃｋ数を減少させてもよい。
【０２２６】
上記制御の結果、ＰＣ３１０Ａの残存演算資源量が、復号化部１２０ＡＣの動作に必要な演算資源量となることで、ＰＣ３１０Ａにおいて、符号化部１１０Ａ、復号化部１２０ＢＡ、復号化部１２０ＣＡが全て動作可能となる。ＰＣ３１０Ｂ、ＰＣ３１０Ｃにおいても同様である。
【０２２７】
また、これら符号化部／復号化部起動後、必要であれば、各符号化部／復号化部の符号化／復号化画像の画質により、これら符号化部／復号化部の演算量をさらに調整してもよい。
【０２２８】
例えば、各符号化部／復号化部の符号化／復号化画像の画質をほぼ等しくするのであれば、各ＰＣでの目標画質１３３を等しい値に設定すれば、この目標画質１３３、および、画質評価部１３２が評価した各符号化部／復号化部の符号化／復号化画像の画質に基づいて、本発明の演算量調整装置は、各符号化部／復号化部の符号化／復号化画像の画質がほぼ等しくなるような演算量で、各符号化部／復号化部を動作させる。
【０２２９】
また、ＴＶ会議の発言者の符号化／復号化画像の画質を、他の符号化／復号化画像の画質より高くしたいのであれば、同様に、発言者の画像を符号化する符号化部を含む動画像処理システムの目標画質１３３を他の動画像処理システムの目標画質に比べ高く設定すればよい。これにより、本発明の演算量調整装置は、ＴＶ会議の発言者の符号化／復号化画像の画質を、他の符号化／復号化画像の画質に比べ高くなるような演算量で、各符号化部／復号化部を動作させる。
【０２３０】
以上、本発明の演算量調整装置のより具体的な利用例について、幾つかの利用シーンを示したが、これに限らず、ＴＶ電話、ビデオサーバー、ＶＯＤ（Ｖｉｄｅｏ  ｏｎ  Ｄｅｍａｎｄ）、監視システムの映像配信など、１ないし複数の符号化または復号化処理を行う動画像処理システムにおいても、同様に利用することが可能である。
【産業上の利用可能性】
【０２３１】
本発明に係る演算量調整装置は、例えばＴＶ電話、ビデオサーバー、ＶＯＤ、監視システムなど、符号化または復号化に利用可能な演算資源量に細かく適応した符号化情報を生成する動画像処理システムに広く利用できる。
【図面の簡単な説明】
【０２３２】
【図１】実施の形態１における動画像処理システムの機能的な構成を表すブロック図
【図２】符号化情報における時間的および空間的に冗長な情報の削減を説明する図
【図３】実施の形態１から３における動画像処理システムの動作環境の一例を示す図
【図４】実施の形態１における演算量調整装置の動作の一例を示すフローチャート
【図５】実施の形態１におけるＢｌｏｃｋ数制御部に蓄えられている情報量の変動の一例を表すグラフ
【図６】実施の形態２における動画像処理システムの機能的な構成を表すブロック図
【図７】実施の形態２における演算量調整装置の動作の一例を示すフローチャート
【図８】実施の形態２における目標ＭＢ数決定部および目標Ｂｌｏｃｋ数決定部の動作の一例を示すフローチャート
【図９】実施の形態３における動画像処理システムの機能的な構成を表すブロック図
【図１０】実施の形態４における符号化対象画像の一部を示す図
【図１１】実施の形態４における異なる度合いでＢｌｏｃｋ数を調整した場合の復号化画像を示す図
【図１２】実施の形態４における異なる度合いでＢｌｏｃｋ数を調整した場合の輝度（Ｙ）の画質（ＰＳＮＲ）を示すグラフ
【図１３】実施の形態４における異なる度合いでＢｌｏｃｋ数を調整した場合のＱステップ幅平均値を示すグラフ
【図１４】ＭＰＥＧおよびＩＴＵ−Ｔ  Ｈ．２６０番台の動画像符号化／復号化方式規格によるＩ−Ｐｉｃｔｕｒｅ、Ｐ−Ｐｉｃｔｕｒｅ、Ｂ−Ｐｉｃｔｕｒｅの周期の一例を説明する図
【図１５】実施の形態５におけるＩ−Ｐｉｃｔｕｒｅ、Ｐ−Ｐｉｃｔｕｒｅ、Ｂ−Ｐｉｃｔｕｒｅに対する符号化／復号化処理の時間的流れを説明する図
【図１６】実施の形態６における、ＴＶ会議システムでの利用例を説明する図
【図１７】ＭＰＥＧおよびＩＴＵ−Ｔ  Ｈ．２６０番台の動画像符号化／復号化方式規格に準拠した動画像処理システムの機能的な構成を示すブロック図
【図１８】ＭＰＥＧおよびＩＴＵ−Ｔ  Ｈ．２６０番台の動画像符号化／復号化方式規格における処理データ単位を説明する図
【符号の説明】
【０２３３】
１０１  原画像
１０２  参照画像Ａ
１０３  参照画像Ｂ
１０４  復号化画像
１１０  符号化部
１１１  動き検出部
１１２  動き補償部
１１３  離散コサイン変換部
１１４  量子化部
１１５  可変長符号化部
１１６  逆量子化部
１１７  逆離散コサイン変換部
１１８  逆動き補償部
１２０  復号化部
１２１  可変長復号化部
１２２  逆量子化部
１２３  逆離散コサイン変換部
１２４  逆動き補償部
１３１  演算資源量測定部
１３２  画質評価部
１３３  目標画質
１３４  目標ｂｌｏｃｋ数決定部
１３５  Ｂｌｏｃｋ数制御部
１３６  目標ＭＢ数決定部
１３７  ＭＢ数制御部
１３８  目標ＭＢ数および目標Ｂｌｏｃｋ数決定部
１３９  ＭＢ数およびＢｌｏｃｋ数制御部
【図１】
2008172688.tif 000017
【図２】
2008172688.tif 000018
【図３】
2008172688.tif 000019
【図４】
2008172688.tif 000020
【図５】
2008172688.tif 000021
【図６】
2008172688.tif 000022
【図７】
2008172688.tif 000023
【図８】
2008172688.tif 000024
【図９】
2008172688.tif 000025
【図１０】
2008172688.tif 000026
【図１１】
2008172688.tif 000027
【図１２】
2008172688.tif 000028
【図１３】
2008172688.tif 000029
【図１４】
2008172688.tif 000030
【図１５】
2008172688.tif 000031
【図１６】
2008172688.tif 000032
【図１７】
2008172688.tif 000033
【図１８】
2008172688.tif 000034