(57)【要約】【課題】  簡易な処理によって、発生符号量を抑えつつ時間方向の分解能が高い符号化を行うこと。【解決手段】  画像処理装置１は、仮想バッファ９０の符号量占有率を監視し、その符号量に応じて、適応量子化制御およびフレーム単位で閉じた空間方向符号量制御を行い、さらに、符号量占有率が上昇した場合には、時間方向符号量制御を行う。したがって、簡易な処理によって、発生符号量を抑えつつ時間方向の分解能が高い符号化を行うことが可能となる。【選択図】  図１１
2005303710.tif 000002
【特許請求の範囲】
【請求項１】
連続する複数フレームによって構成された動画像を所定の符号化方式に基づいて符号化処理するための動画像符号化方法であって、
複数のフレームの符号化処理において発生した発生符号量を検出する検出ステップと、
前記発生符号量が第１の閾値および第１の閾値より大きい第２の閾値に達しているか否かを判定する判定ステップと、
前記発生符号量が第１の閾値に達していると判定された場合に、後続の符号化対象であるフレームのフレームサイズを縮小して符号化処理を行う空間方向符号量制御ステップと、
前記発生符号量が第２の閾値に達していると判定された場合に、後続の所定フレームの符号化をスキップする時間方向符号量制御ステップと、
を含むことを特徴とする動画像符号化方法。
【請求項２】
前記所定の符号化方式は、ＭＰＥＧ−４Version１であって、
前記空間方向符号量制御ステップにおいて、符号化対象とされるフレームを縮小すると共に、該フレームに対応する参照フレームを縮小して、ＭＰＥＧ−４Version１に基づく符号化処理を行うことを特徴とする請求項１記載の動画像符号化方法。
【請求項３】
前記空間方向符号量制御ステップにおいて縮小されたフレームが、縮小されていないフレームの符号化処理において参照フレームとされる場合に、該フレームを拡大する拡大ステップをさらに含むことを特徴とする請求項１または２記載の動画像符号化方法。
【請求項４】
連続する複数フレームによって構成された動画像を所定の符号化方式に基づいて符号化処理する画像処理装置であって、
複数フレームの符号化処理において発生した発生符号量を検出する検出手段と、
前記検出手段によって検出された発生符号量が第１の閾値に達している場合に、符号化処理におけるフレームの解像度をより低く設定する空間符号量制御手段と、
符号化対象となるフレームの符号化処理の際に参照される参照フレームを記憶する参照フレーム記憶手段と、
前記空間符号量制御手段によって設定された解像度に応じて、前記参照フレーム記憶手段に記憶された参照フレームの解像度変換を行う解像度変換手段と、
入力されたフレームに対し、前記所定の符号化方式に基づく符号化処理を行う符号化処理手段と、
前記空間符号量制御手段によって設定された解像度に応じて、前記符号化処理手段に入力されるフレームの縮小を行う縮小手段と、
前記検出手段によって検出された発生符号量が第２の閾値に達している場合に、前記符号化処理手段に入力させるフレームを間引くフレームスキップ手段と、
を含むことを特徴とする画像処理装置。
【請求項５】
前記所定の符号化方式は、ＭＰＥＧ−４Version１であって、
前記参照フレーム記憶手段と前記符号化処理手段とによって、ＭＰＥＧ−４Version１に基づく符号化処理を実行可能であることを特徴とする請求項４記載の画像処理装置。
【請求項６】
連続する複数フレームによって構成された動画像を所定の符号化方式に基づいて符号化処理するための画像処理プログラムであって、
複数フレームの符号化処理において発生した発生符号量を検出する検出機能と、
前記検出手段によって検出された発生符号量が第１の閾値に達している場合に、符号化処理におけるフレームの解像度をより低く設定する空間符号量制御機能と、
符号化対象となるフレームの符号化処理の際に参照される参照フレームを記憶する参照フレーム記憶機能と、
前記空間符号量制御機能によって設定された解像度に応じて、前記参照フレーム記憶機能によって記憶された参照フレームの解像度変換を行う解像度変換機能と、
入力されたフレームに対し、前記所定の符号化方式に基づく符号化処理を行う符号化処理機能と、
前記空間符号量制御機能によって設定された解像度に応じて、前記符号化処理機能に入力されるフレームの縮小を行う縮小機能と、
前記検出機能によって検出された発生符号量が第２の閾値に達している場合に、前記符号化処理機能に入力させるフレームを間引くフレームスキップ機能と、
をコンピュータに実現させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の符号化処理を行うための動画像符号化方法、画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
近年、動画像を再生可能な携帯電話が急速に普及しつつあり、このような携帯電話を始めとする携帯端末に対して、ネットワークを介した動画像の配信が今後、盛んに行われることが予想される。
このように配信される動画像の有力な符号化標準方式として、ＭＰＥＧ（Moving Picture Experts Group）−４方式が知られている。
【０００３】
ＭＰＥＧ−４は、幅広いビットレートおよびアプリケーションを想定した規格であり、シンプルプロファイル（simple profile）においては、低伝送レートが要求される端末装置での通信を想定している。
そのため、ＭＰＥＧ−４のシンプルプロファイルでは、伝送路の帯域幅の制約から、符号量を制限する必要性が高いと共に、低ビットレートで不可逆的な符号化を行うことから、画質改善の必要性が高いものとなる。
【０００４】
ここで、ＭＰＥＧ−４の検証モデルの１つであるＶＭ（Verification Model）１８．０の規格として、基本的な部分を規定したVersion１と、Version１に盛り込まれていない付加的な部分を規定したVersion２とが用意されている。
そして、ＭＰＥＧ−４における符号量制御の方法として、Version１では、適応量子化制御および時間方向符号量制御が規格化され、Version２では、さらに、空間方向符号量制御が規格化されている。
【０００５】
適応量子化制御は、信号の振幅方向の符号量制御であり、符号化対象となる信号を量子化することによって、符号量の削減を行うものである。
適応量子化制御においては、画像の有する特徴や、量子化パラメータと符号量との関係から、容易に歪みが最小となる符号化を行うことが可能である。
例えば、ＭＰＥＧ−４ＶＭ１８．０においては、適応量子化制御として、割り当て可能な全ビット数から現在のフレームに割り当て可能なビット数を導出し、それを用いて、現在のフレームに対する歪みが最小となる量子化パラメータを算出する。
【０００６】
ところが、量子化パラメータは、規格によって１〜３１の範囲に限定されているため、符号量制御の幅が限られることとなり、適応量子化制御のみでは十分に符号量制御を行うことが困難である。
そこで、適応量子化制御に加え、時間方向符号量制御および空間方向符号量制御が用いられる。
【０００７】
時間方向符号量制御においては、任意のフレームの符号化をスキップすることによって、単位時間の発生符号量が制御される。
例えば、ＭＰＥＧ−４ＶＭ１８．０においては、時間方向符号量制御として、前フレームの符号化処理において多くの符号量が発生した場合に、現在のフレームの符号化がスキップ（ポストフレームスキップコントロール）される。
【０００８】
より具体的には、ポストフレームスキップコントロールとして、仮想バッファＶＢを設定し、単位時間あたりの発生符号量を以下の式に従って制御する。
ＶＢ（ｔ）＝ＶＢ（ｔ）＋（Ｒ（ｔ）−Ｒ’）                            （１）
そして、ＶＢ（ｔ）＞０．８・ＶＢＳとなった場合（仮想バッファの最大容量に対して符号量が８０％を超えた場合）には、そのフレームの符号化がスキップされる。ここで、ＶＢ（ｔ）は時刻ｔにおいて仮想バッファに蓄積されている符号量、Ｒ（ｔ）は時刻ｔにおける１フレーム当たりの発生符号量、Ｒ’は画像全体における１フレーム当たりの発生符号量の平均値、ＶＢＳは最大バッファサイズである。
【０００９】
また、空間方向符号量制御においては、任意のフレーム内の空間解像度（画像のサイズ）を変化させることによって符号量の削減を図る解像度変換と、任意のフレームの帯域を制限することによって符号量の削減を図るフィルタ処理とによって、符号量の制御が行われる。
例えば、ＭＰＥＧ−４ＶＭ１８．０（Version２）においては、高解像度時における最低画質と低解像度時における最高画質とを定量化し、それに基づいて、マクロブロック（ＭＢ）単位で予測誤差の解像度変換（予測誤差解像度選択）を行い、符号量の発生を抑えることとしている。
【００１０】
より具体的には、予測誤差解像度選択として、発生した符号量を閾値によって判定し、次式（２）の場合には低解像度、次式（３）の場合には高解像度を選択することによって、過度の符号量の発生を抑制する。
ＱＰｔ・Ｒ（ｔ）＞ＴＨ１                                               （２）
ＱＰｔ・Ｒ（ｔ）＜ＴＨ２                                               （３）
なお、ＱＰｔは時刻ｔにおいて設定されている量子化パラメータ、ＴＨ１およびＴＨ２は、以下の式によって定義される閾値である。
ＴＨ１＝ＱＰｌｏｗ×ビットレート／フレームレート                        （４）
ＴＨ２＝ＱＰｈｉｇｈ×ビットレート／フレームレート                       （５）
ただし、ＱＰｌｏｗは低解像度選択用に設定された量子化パラメータの閾値、ＱＰｈｉｇｈは、高解像度選択用に設定された量子化パラメータの閾値である。
【００１１】
このようなＭＰＥＧ−４に関する規格は、ISO/IEC JTC1/SC29/WG11によって策定され、http://isotc.ISO.ch/livelink/livelink/fetch/2000/2489/Ittf_Home/PubliclyAvailableStandards.htmに示すＵＲＬに“PubliclyAvailable Standards”として公開されている。
【非特許文献１】“Publicly AvailableStandards”、［online］、２００４年３月２日、International Organization for Standardization、［平成１６年３月２２日検索］、インターネット＜ＵＲＬ：http://isotc.ISO.ch/livelink/livelink/fetch/2000/2489/Ittf_Home/PubliclyAvailableStandards.htm＞
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、上述の時間方向符号量制御においては、前フレームの符号量が増加すると、直ちに現在のフレームの符号化をスキップすることから、いわゆるコマ落ちが頻繁に発生し、画像における動きの滑らかさが低下する可能性がある。
また、上述の空間方向符号量制御においては、ＭＰＥＧ−４ＶＭ１８．０のVersion２に従い、マクロブロック単位で解像度変換を行うことから、Version１に基づく汎用の符号化器および復号化器において行われる演算に対して付加的な演算が必要となり、それに対応する構成とする必要がある。
【００１３】
さらに、上述の時間方向符号量制御および空間方向符号量制御が独立した処理として行われることから、特に、低ビットレートで符号化を行う場合に、必要以上にフレームのスキップが発生する場合があり、時間方向の十分な分解能を確保することができなかった。
このように、従来の技術における符号量制御においては、簡易な処理によって、発生符号量を抑えつつ時間方向の分解能が高い符号化を行うことが困難であった。
【００１４】
本発明の課題は、簡易な処理によって、発生符号量を抑えつつ時間方向の分解能が高い符号化を行うことである。
【課題を解決するための手段】
【００１５】
以上の課題を解決するため、本発明は、
連続する複数フレームによって構成された動画像を所定の符号化方式に基づいて符号化処理するための動画像符号化方法であって、複数のフレームの符号化処理において発生した発生符号量を検出する検出ステップ（例えば、図１１における統合制御部１００が行う仮想バッファ９０の符号量占有率を検出する処理工程）と、前記発生符号量が第１の閾値（例えば、図７の符号量占有率における“７０％”の値）および第１の閾値より大きい第２の閾値（例えば、図７の符号量占有率における“８０％”の値）に達しているか否かを判定する判定ステップ（例えば、図１１の統合制御部１００が仮想バッファ９０の符号量占有率を７０％あるいは８０％等であると判定する処理工程）と、前記発生符号量が第１の閾値に達していると判定された場合に、後続の符号化対象であるフレームのフレームサイズを縮小して符号化処理を行う空間方向符号量制御ステップ（例えば、図１１の統合制御部１００とＤＳ部３０が符号化対象画像データの解像度変換を行う処理工程、および、統合制御部１００とＤＳ部１６０が予測誤差を示す画像を縮小して再構成／フレームメモリ部１７０に出力する処理工程）と、前記発生符号量が第２の閾値に達していると判定された場合に、後続の所定フレームの符号化をスキップする時間方向符号量制御ステップ（例えば、図１１の統合制御部１００およびフレームスキップ処理部１０がフレームのスキップを行う処理工程）とを含むことを特徴としている。
【００１６】
これにより、符号化処理において発生符号量が増加した場合に、まず、フレーム単位の空間方向符号量制御、即ち、フレームの解像度変換が行われ、さらに発生符号量が増加した場合に、時間方向符号量制御が行われる。
したがって、簡易な処理によって、発生符号量を抑えつつ時間方向の分解能が高い符号化を行うことが可能となる。
【００１７】
また、前記所定の符号化方式は、ＭＰＥＧ−４Version１であって、前記空間方向符号量制御ステップにおいて、符号化対象とされるフレームを縮小すると共に、該フレームに対応する参照フレームを縮小して、ＭＰＥＧ−４Version１に基づく符号化処理を行うことを特徴としている。
これにより、ＭＰＥＧ−４Version１に基づく符号化処理に対し、所定の解像度変換処理を付加することで、発生符号量を抑えつつ時間方向の分解能が高い符号化を行うことが可能となる。
【００１８】
また、前記空間方向符号量制御ステップにおいて縮小されたフレームが、縮小されていないフレームの符号化処理において参照フレームとされる場合に、該フレームを拡大する拡大ステップ（例えば、図１１の統合制御部１００とＵＳ部１５０が予測誤差を示す画像を拡大して再構成／フレームメモリ部１７０に入力する処理工程）をさらに含むことを特徴としている。
【００１９】
これにより、符号化処理における発生符号量が低下し、フレームの縮小が不要となった場合に、再び通常のフレームサイズに戻して符号化処理を続行することが可能となる。
また、本発明は、
連続する複数フレームによって構成された動画像を所定の符号化方式に基づいて符号化処理する画像処理装置であって、複数フレームの符号化処理において発生した発生符号量を検出する検出手段（例えば、図１１の統合制御部１００および仮想バッファ９０）と、前記検出手段によって検出された発生符号量が第１の閾値に達している場合に、符号化処理におけるフレームの解像度をより低く設定する（即ち、通常のフレームサイズから縮小する）空間符号量制御手段（例えば、図１１の統合制御部１００）と、符号化対象となるフレームの符号化処理の際に参照される参照フレームを記憶する参照フレーム記憶手段（例えば、図１１の再構成／フレームメモリ部１７０）と、前記空間符号量制御手段によって設定された解像度に応じて、前記参照フレーム記憶手段に記憶された参照フレームの解像度変換を行う解像度変換手段（例えば、図１１のＵＳ部１５０およびＤＳ部１６０）と、入力されたフレームに対し、前記所定の符号化方式に基づく符号化処理を行う符号化処理手段（例えば、図１１の減算部４０、ＤＣＴ部５０、量子化部６０、ＶＬＣ部７０、逆量子化部１２０、逆ＤＣＴ部１３０、再構成／フレームメモリ部１７０および動き検出・動き補償処理部１８０からなる部分）と、前記空間符号量制御手段によって設定された解像度に応じて、前記符号化処理手段に入力されるフレームの縮小を行う縮小手段（例えば、図１１のＤＳ部３０）と、前記検出手段によって検出された発生符号量が第２の閾値に達している場合に、前記符号化処理手段に入力させるフレームを間引くフレームスキップ手段（例えば、図１１のフレームスキップ処理部１０）とを含むことを特徴としている。
【００２０】
また、前記所定の符号化方式は、ＭＰＥＧ−４Version１であって、前記参照フレーム記憶手段と前記符号化処理手段とによって、ＭＰＥＧ−４Version１に基づく符号化処理を実行可能であることを特徴としている。
また、本発明は、
連続する複数フレームによって構成された動画像を所定の符号化方式に基づいて符号化処理するための画像処理プログラムであって、複数フレームの符号化処理において発生した発生符号量を検出する検出機能と、前記検出手段によって検出された発生符号量が第１の閾値に達している場合に、符号化処理におけるフレームの解像度をより低く設定する空間符号量制御機能と、符号化対象となるフレームの符号化処理の際に参照される参照フレームを記憶する参照フレーム記憶機能と、前記空間符号量制御機能によって設定された解像度に応じて、前記参照フレーム記憶機能によって記憶された参照フレームの解像度変換を行う解像度変換機能と、入力されたフレームに対し、前記所定の符号化方式に基づく符号化処理を行う符号化処理機能と、前記空間符号量制御機能によって設定された解像度に応じて、前記符号化処理機能に入力されるフレームの縮小を行う縮小機能と、前記検出機能によって検出された発生符号量が第２の閾値に達している場合に、前記符号化処理機能に入力させるフレームを間引くフレームスキップ機能とをコンピュータに実現させることを特徴としている。
【００２１】
このように、本発明によれば、簡易な処理によって、発生符号量を抑えつつ時間方向の分解能が高い符号化を行うことが可能となる。
【発明を実施するための最良の形態】
【００２２】
以下、図を参照して本発明に係る画像処理装置の実施の形態を説明する。
初めに、本発明における動画像符号化方法の基本的な考え方について説明する。
本発明においては、ＭＰＥＧ−４ＶＭ１８．０のVersion１（以下、単に「Version１」という。）に規定された符号化処理を前提としつつ、ＭＰＥＧ−４ＶＭ１８．０のVersion２（以下、単に「Version２」という。）とは異なる特有の空間方向符号量制御を取り入れている。具体的には、主として２つの考え方に従い符号化処理を行うものであり、第１に、マクロブロック単位でなく、フレーム単位で閉じた空間方向符号量制御を行い、第２に、時間方向および空間方向の符号量制御を統合することとしている。そして、このとき、Version１に基づく符号化器に対し、構成の変更をより少ないものとしながら、時間方向の分解能を高めるものである。
【００２３】
そこで、以下、Version２との比較を行いながら、本発明における動画像符号化方法について説明する。
まず、上記第１の考え方を説明するために、図１〜図４を参照して、フレーム単位で空間方向符号量制御を行う場合（本発明の場合）の符号化処理とマクロブロック単位で空間方向符号量制御を行う場合（上述のVersion２の場合）の符号化処理とを比較して説明する。
【００２４】
本発明における動画像符号化方法においては、空間方向符号量制御を行う場合、フレーム単位で解像度変換を行い、解像度変換後のフレームに対し、引き続く符号化処理が施される。なお、解像度変換が行われる場合、ダウンサンプリング（ＤＳ：Down Sampling）によって画像サイズが縮小され、アップサンプリング（ＵＳ：Up Sampling）によって画像サイズが拡大される。
【００２５】
図１は、参照フレームと現フレーム（符号化対象フレーム）との関係に応じた解像度変換の態様を示す図である。
図１において、フレーム単位で閉じた解像度変換を行う場合、フレーム毎に解像度が異なる場合があるため、参照フレームおよび現フレームのそれぞれにおいて解像度変換が施されているか否かに応じた処理が行われる。
【００２６】
即ち、空間符号量制御の必要が生じ、解像度変換が行われている状態においては、（１）参照フレームが解像度変換されており、現フレームも解像度変換の必要がある場合、（２）参照フレームが解像度変換されておらず、現フレームは解像度変換の必要がある場合、（３）参照フレームが解像度変換されており、現フレームは解像度変換の必要がない場合、の３形態が発生し得る。
【００２７】
そのため、本発明における動画像符号化方法においては、上記（１）〜（３）の場合に応じて、参照フレームを必要に応じてアップサンプリングあるいはダウンサンプリングした上で参照すると共に、現フレームについても、必要に応じてダウンサンプリングする。なお、ここでは、縦横１／２に解像度変換が行われる場合の例について説明するが、解像度変換の具体的な数値は任意に設定することが可能である。
【００２８】
一方、図１において、マクロブロック単位で空間方向符号量制御を行う場合、フレーム単位では画像サイズの変更が行われないため、フレーム本来のサイズのまま処理が行われる。
次に、図２は、動き検出処理の相違を示す図である。
図２において、フレーム単位で閉じた解像度変換を行う場合、画像サイズは縦横１／２となっている一方、マクロブロックは１６×１６画素のままである。
【００２９】
したがって、ブロックマッチングに要する処理負荷が軽減されると共に、動きベクトル等の符号化対象データも縮小されることから、発生符号量を抑制することが可能となる。
また、図２において、縮小された画像の空白領域（縦横１／２とされることにより生じた、元のサイズの画像との差である３／４の部分）には、サイズを合わせるため、便宜的に“０”が挿入される。
【００３０】
したがって、この“０”を挿入した領域を含めて、縮小されたフレームを汎用的な符号化器（上述のVersion１に対応する符号化器）に入力することにより、以後、特別な処理を行うことなく、符号化された画像のビットストリームを得ることができる。なお、“０”が挿入された領域については、便宜的に設けられた領域であるため、ブロックマッチング等の符号化処理が不要である。
【００３１】
一方、図２において、マクロブロック単位で空間符号量制御を行う場合、Version２の規格である３２×３２画素のまま動き検出が行われる。なお、データ量を圧縮するために、ここで取得された動きベクトルは縮小される。
続いて、図３は、予測誤差の離散コサイン変換（ＤＣＴ：DiscreteCosine Transform）処理の相違を示す図である。
【００３２】
図３において、フレーム単位で閉じた解像度変換を行う場合、Version１に基づく符号化処理をそのまま適用することができ、便宜的に“０”が挿入されている部分については処理をスキップすることが可能である。そのため、演算量の軽減を図ることができる。
一方、図３において、マクロブロック単位で空間符号量制御を行う場合、元の画像サイズのまま予測誤差が取得され、その後、取得された予測誤差を示す画像が縦横１／２に縮小される。
【００３３】
したがって、予測誤差を示す画像のサイズが元の画像サイズと異なることとなり、これによって、Version１に基づく符号化処理を適用できないものとなっている。
さらに、図４は、復号化処理の相違を示す図である。
図４において、フレーム単位で閉じた解像度変換を行う場合、上述の便宜的に“０”が挿入された縮小画像に対して、Version１に基づく逆ＤＣＴ変換あるいは動き補償等の復号化処理をそのまま適用することができる。また、便宜的に“０”が挿入されている部分については処理をスキップすることが可能である。
【００３４】
一方、図４において、マクロブロック単位で空間符号量制御を行う場合、縮小されている予測誤差を示す画像が元のサイズに拡大された上で、逆ＤＣＴ変換あるいは動き補償等の復号化処理が行われる。
このように、マクロブロック単位でなく、フレーム単位で閉じた空間方向符号量制御を行うことにより、Version１に基づく符号化処理に対して、アップサンプリングおよびダウンサンプリングを行うことで、空間方向符号量制御を実現することができる。
【００３５】
図５は、本発明の場合およびVersion２の場合における符号化器の構成を比較する概念図であり、図５（ａ）は、本発明の場合、図５（ｂ）は、Version２の場合を示している。
図５において、本発明における符号化器は、Version１に基づく汎用的な符号化器に対し、アップサンプリングを行う部分およびダウンサンプリングを行う部分が付加された構成である。一方、図５において、上述のVersion２に対応する符号化器の場合、規格に基づいて空間方向符号量制御を行う機能が組み込まれており、汎用性が失われている。
【００３６】
また、図６は、本発明の場合およびVersion２の場合における復号化器の構成を比較する概念図であり、図６（ａ）は、本発明の場合、図６（ｂ）は、Version２の場合を示している。
図６に示すように、復号化器についても符号化器と同様、本発明の場合には、Version１に基づく汎用的な復号化器に対し、アップサンプリングを行う部分およびダウンサンプリングを行う部分が付加された構成となっている。
【００３７】
次に、上記第２の考え方を説明する。
上述のように、第２の考え方では、時間方向および空間方向の符号量制御を統合する。具体的には、（１）式によって示される仮想バッファＶＢに蓄積されている符号量を監視し、その符号量に対して設定された閾値に応じて、（Ａ）適応量子化制御のみ、（Ｂ）適応量子化制御および上述した空間方向符号量制御、（Ｃ）（Ｂ）の制御に加えて時間方向符号量制御、と切り換えて符号量制御を行う。
【００３８】
図７は、時刻ｔと仮想バッファＶＢの符号量占有率との関係を示す図である。
図７において、時刻ｔの経過と共に、発生符号量は刻々と変化しており、仮想バッファＶＢの符号量占有率（最大バッファサイズに対する蓄積符号量）が常時監視されている。
そして、符号量占有率が７０％に達するまでは、仮想バッファＶＢの容量に十分な余裕があるとみなし、適応量子化制御のみによって発生符号量を制御する。
【００３９】
一方、符号量占有率が７０％を超えた場合、適応量子化制御および上述した空間方向符号量制御を行うことによって、時間方向の分解能を維持しつつ、画像の解像度を変換（縮小）することによって発生符号量を制御する。
さらに、符号量占有率が８０％を超えた場合、適応量子化制御および上述した空間方向符号量制御に加え、時間方向符号量制御を行うことによって発生符号量を制御する。
【００４０】
このように、時間方向符号量制御のみならず、空間方向符号量制御についても仮想バッファＶＢの符号量占有率を監視して行うことにより、フレームのスキップが発生することを抑制しつつ、発生符号量を制御することが可能である。また、フレームのスキップが抑制されることから、時間方向の分解能を従来より高めることが可能である。
さらに、仮想バッファＶＢがオーバーフローすることを防ぐことにより、単位時間当たりの発生符号量を安定させることが可能となる。
【００４１】
なお、ここでは、符号量占有率の閾値として、８０％あるいは７０％といった値を設定したが、これらの値は、符号化対象となる画像の内容や、符号化器の処理能力等に応じて適宜定めることが可能である。
また、符号量占有率が上昇しつつある場合と下降しつつある場合とによって、上述の閾値を異ならせることが可能である。例えば、符号量占有率が下降しつつある場合には、符号化処理の安定を考慮し、符号化器の処理能力に十分な余裕が生ずる５０％程度に符号量占有率が下降した場合に、適応量子化制御のみの符号量制御に戻すこととしても良い。
【００４２】
次いで、上述の動画像符号化方法によって符号量制御を行った結果について説明する。
まず、第１の考え方による符号量制御を行った結果について説明する。
図８は、発生符号量（Total bit）と画質（PSNR：PeakSignal to Noise Ratio）との関係の一例を示す図である。
図８において、ＭＰＥＧ−４に基づき単純に符号量制御（適応量子化制御のみ）を行った場合（Version１の場合）に比べ、Version２およびフレーム単位で閉じた空間方向符号量制御を行った場合は、共に同等の符号量制御能力を呈している。
【００４３】
したがって、本発明の第１の考え方に基づく空間方向符号量制御においては、Version１に基づく符号化処理を基本としながら、アップサンプリングおよびダウンサンプリングを必要に応じて行うことにより、Version２と同等の符号量制御を行うことが可能となる。
次に、第２の考え方による符号量制御を行った結果について説明する。
【００４４】
図９は、サンプル画像を符号化処理した場合の画質および発生符号量を示す図であり、図９（ａ）は、復号画像の各フレームにおけるＰＳＮＲを示す図、図９（ｂ）は、符号化処理において実際に発生した符号量を示す図である。なお、図９においては、符号化対象の画像として、ＭＰＥＧ−４シンプルプロファイルのレベル２、符号化ビットレート６４［ｋｂｐｓ］、フレームレート１５［ｆｐｓ］の動画像を用いている。
【００４５】
図９においては、Version１の場合、Version２の場合および本発明の場合それぞれの特性を折れ線によって示しており、折れ線の途絶えている区間は、フレームのスキップが発生している部分である。
図９によれば、Version１の場合、高い頻度でフレームのスキップが発生している（オリジナルの１５［ｆｐｓ］に対し、１０．６［ｆｐｓ］）のに対し、Version２および本発明の場合には、フレームのスキップが抑制されていることがわかる（Version２では１３．０［ｆｐｓ］、本発明では１４．６［ｆｐｓ］）。
【００４６】
さらに、Version２の場合、突発的に符号量が増加し、フレームのスキップが発生する事態が頻発するのに対し、本発明の場合、発生符号量が安定しており、フレームのスキップがVersion２よりもさらに抑制されている。
これは、Version２においては、空間方向符号量制御と時間方向符合量制御とが統合して行われておらず、空間方向符号量制御が突発的に切り換わり、それに伴って時間方向符合量制御が行われ、フレームのスキップが発生するためである。一方、本発明の場合、時間方向および空間方向の符号量制御が統合して行われることから、このような事態を招くことなく、時間方向の分解能が高められている。
【００４７】
また、より低ビットレートで符号化を行う場合、本発明を用いることによる効果がさらに大きなものとなる。
図１０は、図９に示す例において、符号化ビットレートを４８［ｋｂｐｓ］とした場合を示す図である。
図１０によれば、Version１の場合、図９の場合より高い頻度でフレームのスキップが発生している（７．２［ｆｐｓ］）のに対し、Version２および本発明の場合には、図９とほぼ変わらないフレームレートが維持されていることがわかる（Version２では１２．２［ｆｐｓ］、本発明では１４．２［ｆｐｓ］）。
【００４８】
また、図９の例と同様に、Version２の場合、突発的に符号量が増加し、フレームのスキップが発生する事態が頻発するのに対し、本発明の場合、発生符号量が安定しており、フレームのスキップがVersion２よりもさらに抑制されている。
次に、上述の動画像符号化方法を実現するための画像処理装置について説明する。
まず、構成を説明する。
【００４９】
図１１は、本発明に係る画像処理装置１の機能構成を示すブロック図である。
図１１において、フレームスキップ処理部１０と、切り換え部２０，１４０と、ダウンサンプリング（ＤＳ）部３０，１６０と、減算部４０と、ＤＣＴ部５０と、量子化部６０と、可変長符号化（ＶＬＣ）部７０と、バッファ８０と、仮想バッファ９０と、統合制御部１００と、適応量子化制御部１１０と、逆量子化部１２０と、逆ＤＣＴ部１３０と、アップサンプリング（ＵＳ）部１５０と、再構成／フレームメモリ部１７０と、動き検出・動き補償処理部１８０とを含んで構成される。なお、画像処理装置１において行われるダウンサンプリングおよびアップサンプリングは、上述した空間方向符号量制御を適用したものであり、フレーム単位で閉じた解像度変換が行われる。
【００５０】
フレームスキップ処理部１０には、符号化対象となる画像データ（符号化対象画像データ）が入力される。また、フレームスキップ処理部１０は、統合制御部１００からフレームのスキップ指示信号が入力された場合、符号化対象画像データを１フレーム分破棄し、フレームスキップ指示信号が入力されない場合には、符号化対象画像データを切り換え部２０に出力する。
【００５１】
切り換え部２０は、統合制御部１００から解像度変換指示信号が入力された場合、フレームスキップ処理部１０から入力された符号化対象画像データをＤＳ部３０に出力し、統合制御部１００から解像度変換指示信号が入力されていない場合、フレームスキップ処理部１０から入力された符号化対象画像データを減算部４０に出力する。
ＤＳ部３０は、切り換え部２０から符号化対象画像データが入力された場合、画像のダウンサンプリング（間引き）を行って縮小画像データを生成し、その縮小画像データを減算部４０に出力する。
【００５２】
減算部４０は、切り換え部２０から入力された符号化対象画像データあるいはＤＳ部３０から入力された縮小画像データと、動き検出・動き補償処理部１８０から入力された予測画像（後述）との差分（予測誤差）を算出し、予測誤差を示す画像をＤＣＴ部５０に出力する。
ＤＣＴ部５０は、減算部４０から入力された予測誤差を示す画像をＤＣＴによって空間領域から周波数領域に変換し、変換により取得されたＤＣＴ係数を量子化部６０に出力する。
【００５３】
量子化部６０は、ＤＣＴ部５０から入力されたＤＣＴ係数を、適応量子化制御部１１０によって設定された量子化パラメータによって量子化し、その結果をＶＬＣ部７０に出力する。
ＶＬＣ部７０は、量子化部６０から入力された量子化結果および動き検出・動き補償処理部１８０から入力された動きベクトルを可変長符号化（例えばハフマン符号化等）し、符号化結果をバッファ８０および仮想バッファ９０に出力する。ＶＬＣ７０による符号化結果は、符号化された画像データとして復号側に送信されるデータとなる。
【００５４】
バッファ８０は、ＶＬＣ部７０による符号化結果を一時的に保持すると共に、ＶＬＣ部７０の符号化結果が有する符号量を適応量子化制御部１１０に出力する。
仮想バッファ９０は、所定のサイズが設定された仮想的な記憶領域であり、ＶＬＣ部７０による符号化結果を、符号化処理の進行に合わせて累積して保持する。この仮想バッファ９０は、符号化処理において発生している符号量を測る目安とするために設けられる仮想記憶領域であることから、実際には、ＳＲＡＭ（Static Random Access Memory）等の記憶装置上に形成される。
【００５５】
統合制御部１００は、仮想バッファ９０の最大バッファサイズに対する蓄積符号量（符号量占有率）を検出し、その符号量占有率に基づいて、本発明における空間方向符号量制御および時間方向符号量制御の実行を制御する。
具体的には、統合制御部１００は、仮想バッファ９０の符号量占有率が７０％以下である場合、空間方向符号量制御および時間方向符号量制御を行わない。そのため、この場合、Version１における適応量子化制御のみが行われることとなる。
【００５６】
そして、符号量占有率が上昇し、７０％を超えた場合、統合制御部１００は、適応量子化制御に加え、空間方向符号量制御を行い、解像度変換を施すことによって符号化対象画像データのサイズを縮小して符号化を行わせる。このとき、統合制御部１００は、切り換え部２０に対し、符号化対象画像データをＤＳ部３０に出力させるための解像度変換指示信号を出力する。また、フレームの解像度変換を行って符号化処理を行うことにより、参照フレームの解像度変換を行う必要が生ずる。そのため、統合制御部１００は、切り換え部１４０に対し、符号化対象画像データの解像度（画像サイズ）に参照フレームの解像度を合わせる解像度変換指示信号を出力する。
【００５７】
また、さらに符号量占有率が上昇し、８０％を超えた場合、統合制御部１００は、適応量子化制御および空間方向符号量制御に加え、時間方向符号量制御を行い、適宜フレームの符号化をスキップさせる。このとき、統合制御部１００は、フレームスキップ処理部１０に対し、フレームのスキップを指示するフレームスキップ指示信号を出力する。
適応量子化制御部１１０は、バッファ８０から入力される符号量に基づいて、適応量子化制御を行い、逐次算出される量子化パラメータを量子化部６０に出力する。
【００５８】
逆量子化部１２０は、量子化部６０から入力された量子化結果を逆量子化し、その結果を逆ＤＣＴ部１３０に出力する。
逆ＤＣＴ部１３０は、逆量子化部１２０から入力された逆量子化結果に対して、逆ＤＣＴ変換を行うことにより予測誤差を示す画像を生成し、その予測誤差を示す画像を切り換え部１４０に出力する。
【００５９】
切り換え部１４０は、統合制御部１００から解像度変換指示信号が入力された場合、その指示内容に応じて、逆ＤＣＴ部１３０から入力された逆ＤＣＴ結果（予測誤差を示す画像）をＵＳ部１５０あるいはＤＳ部１６０に切り換えて出力する。なお、図示しないが、解像度変換が行われていない場合には、逆ＤＣＴ結果がそのまま再構成／フレームメモリ部１７０に入力される。
【００６０】
ＵＳ部１５０は、ダウンサンプリングすることによって縮小されている予測誤差を示す画像が入力された場合に、線形補間を行うことにより、画像のサイズを縮小前のサイズに戻し、その結果である画像データを再構成／フレームメモリ部１７０に出力する。
ＤＳ部１６０は、ダウンサンプリングされていない予測誤差を示す画像が入力された場合に、画像のダウンサンプリング（間引き）を行って縮小された予測誤差を示す画像（以下、「縮小予測誤差データ」という。）を生成し、縮小予測誤差データを再構成／フレームメモリ部１７０に出力する。
【００６１】
再構成／フレームメモリ部１７０は、ＵＳ部１５０あるいはＤＳ部１６０から入力された予測誤差を示す画像を記憶する。
さらに、再構成／フレームメモリ部１７０は、動き検出・動き補償処理部１８０から入力された予測画像に予測誤差を加算して、復号側で取得される復号画像に相当する画像（以下、「再構成画像」という。）を生成して記憶し、要求に応じて動き検出・動き補償処理部１８０に出力する。
【００６２】
動き検出・動き補償処理部１８０は、画像処理装置１に入力される符号化対象画像データと、再構成／フレームメモリ部１７０から入力される再構成画像と、連続するフレーム間で取得した動きベクトルとに基づいて、予測画像を生成し、減算部４０に出力する。即ち、動き検出・動き補償処理部１８０は、再構成／フレームメモリ部１７０に記憶されている再構成画像を対象として、現在のフレームの各マクロブロックについて動き検出を行い、動きベクトルを取得する。また、動き検出・動き補償処理部１８０は、再構成／フレームメモリ部１７０に記憶されている参照フレームの再構成画像に対し、取得した動きベクトルを用いて動き補償を行い、予測画像を生成する。そして、動き検出・動き補償処理部１８０は、その予測画像を、現在のフレームの予測誤差を算出するために、減算部４０に出力する。また、動き検出・動き補償処理部１８０は、動き補償の結果取得した予測誤差を再構成／フレームメモリ部１７０に出力する。
【００６３】
さらに、動き検出・動き補償処理部１８０は、動き検出の結果取得した動きベクトルをＶＬＣ部７０に出力する。
なお、動き検出・動き補償処理部１８０は、統合制御部１００から切り換え部２０に出力される解像度変換指示信号を監視しており、解像度変換指示信号が出力された場合、予測画像の解像度も変換する必要があることから、入力された符号化対象画像データをダウンサンプリングする機能を備えている。
【００６４】
次に、動作を説明する。
まず、画像処理装置１には、符号化対象画像データが連続するフレームとして入力される。
すると、画像処理装置１は、当初、ＭＰＥＧ−４Version１に基づく符号化処理を行う。即ち、切り換え部２０を減算部４０側と接続させると共に、逆ＤＣＴ部１３０の逆ＤＣＴ結果をそのまま再構成／フレームメモリ部１７０に入力し、適応量子化制御部１１０による適応量子化制御のみによって符号量制御を行いながら符号化処理を遂行する。
【００６５】
このとき、統合制御部１００は、仮想バッファ９０の符号量占有率を監視している。
そして、符号量占有率が上昇し、７０％を超えると、統合制御部１００は、切り換え部２０に解像度変換指示信号を出力し、ＤＳ部３０側と接続させる。また、これに対応して、動き検出・動き補償処理部１８０は、入力された符号化対象画像データをダウンサンプリングし、その結果得られる縮小画像データに対し、再構成／フレームメモリ部１７０から入力される再構成画像と動き検出・動き補償を行う。
【００６６】
すると、減算部４０は、ＤＳ部３０から入力された縮小画像データと、動き検出・動き補償処理部１８０から入力された予測画像との減算を行い、予測誤差を算出する。
この予測誤差は、ＤＣＴ部５０および量子化部６０によって処理され、さらにＶＬＣ部７０によって処理され、符号化後の画像データとされる。
一方、量子化部６０の処理結果は、逆量子化部１２０および逆ＤＣＴ部１３０によって処理され、切り換え部１４０に出力される。
【００６７】
切り換え部１４０は、このときの符号量占有率に応じて統合制御部１００が出力する解像度変換指示信号に従って、逆量子化結果をＵＳ部１５０あるいはＤＳ部１６０に出力する。
そして、ＵＳ部１５０によってアップサンプリングされた予測誤差を示す画像あるいはＤＳ部１６０によってダウンサンプリングされた予測誤差を示す画像が、再構成／フレームメモリ部１７０に出力される。
【００６８】
再構成／フレームメモリ部１７０は、動き検出・動き補償処理部１８０から入力される予測画像と、ＵＳ部１５０あるいはＤＳ部１６０から入力される予測誤差とから再構成画像を生成し、動き検出・動き補償処理部１８０に出力する。
統合制御部１００は、符号量占有率が８０％を超えるまで、上記の処理を繰り返しつつ、符号量制御を行う。
【００６９】
そして、符号量占有率が８０％を超えると、統合制御部１００は、フレームスキップ処理部１０に対し、フレームスキップ指示信号を出力し、これに対応して、フレームスキップ処理部１０が、処理能力を超える分のフレームの符号化をスキップする。このとき、符号化がスキップされないフレームの符号化においては、上述の空間方向符号量制御が行われる。
【００７０】
この後、統合制御部１００は、符号量占有率を監視し続け、符号量占有率が５０％以下となった場合に、切り換え部２０を減算部４０側に接続させ、逆ＤＣＴ部１３０の処理結果を再構成／フレームメモリ部１７０にそのまま入力させることにより、当初の状態、即ち、適応量子化制御のみが行われる状態に戻す。
以上のように、本実施の形態に係る画像処理装置１は、仮想バッファ９０の符号量占有率を監視し、その符号量に応じて、適応量子化制御およびフレーム単位で閉じた空間方向符号量制御を行い、さらに、符号量占有率が上昇した場合には、時間方向符号量制御を行う。
【００７１】
したがって、汎用的な構成であるＭＰＥＧ−４Version１に基づく符号化器を用いながら、空間方向符号量制御を行うことができ、フレームのスキップが発生することを極力抑えることが可能となる。
また、このとき行われる空間方向符号量制御は、フレーム単位で閉じた解像度変換であるため、ＭＰＥＧ−４Version１に基づく符号化器にアップサンプリングおよびダウンサンプリングを行う機能を付加することにより実現することができる。即ち、簡易な処理によって、空間方向符号量制御を行うことができる。
【００７２】
このように、本発明によれば、簡易な処理によって、発生符号量を抑えつつ時間方向の分解能が高い符号化を行うことが可能となる。
【図面の簡単な説明】
【００７３】
【図１】参照フレームと現フレーム（符号化対象フレーム）との関係に応じた解像度変換の態様を示す図である。
【図２】動き検出処理の相違を示す図である。
【図３】予測誤差の離散コサイン変換処理の相違を示す図である。
【図４】復号化処理の相違を示す図である。
【図５】本発明の場合およびVersion２の場合における符号化器の構成を比較する概念図である。
【図６】本発明の場合およびVersion２の場合における復号化器の構成を比較する概念図である。
【図７】時刻ｔと仮想バッファＶＢの符号量占有率との関係を示す図である。
【図８】発生符号量（Total bit）と画質（PSNR：Peak Signal to Noise Ratio）との関係の一例を示す図である。
【図９】サンプル画像を符号化処理した場合の画質および発生符号量を示す図である。
【図１０】図９に示す例において、符号化ビットレートを４８［ｋｂｐｓ］とした場合を示す図である。
【図１１】本発明に係る画像処理装置１の機能構成を示すブロック図である。
【符号の説明】
【００７４】
１  画像処理装置、１０  フレームスキップ処理部、２０，１４０  切り換え部、３０，１６０  ＤＳ部、４０  減算部、５０  ＤＣＴ部、６０  量子化部、７０  ＶＬＣ部、８０  バッファ、９０  仮想バッファ、１００  統合制御部、１１０  適応量子化制御部、１２０  逆量子化部、１３０  逆ＤＣＴ部、１５０  ＵＳ部、１７０  再構成／フレームメモリ部、１８０  動き検出・動き補償処理部
【図１】
2005303710.tif 000003
【図２】
2005303710.tif 000004
【図３】
2005303710.tif 000005
【図４】
2005303710.tif 000006
【図５】
2005303710.tif 000007
【図６】
2005303710.tif 000008
【図７】
2005303710.tif 000009
【図８】
2005303710.tif 000010
【図９】
2005303710.tif 000011
【図１０】
2005303710.tif 000012
【図１１】
2005303710.tif 000013