(57)【要約】【課題】    符号化における演算量を低減させる動画像符号化装置を提供する。【解決手段】    動画像符号化装置においては、フレームが時系列的に入力され、シーンチェンジが検出される。同一或いは類似シーンを識別するシーン番号が各フレームに付与され、新たなシーンが出現する場合には、新たなシーン番号が付与される。同一シーン番号が付され、連続して入力されるフレームは、インター予測モードで符号化され、シーンチェンジの後に入力されるフレームは、シーン番号で参照フレームが検索され、参照フレームがない場合には、イントラ予測モードで符号化される。参照フレームがある場合には、当該フレームが符号化コストを最小とするイントラ予測モード及びインター予測モードのいずれか一方で符号化される。【選択図】  図１
2006270435.tif 000002
【特許請求の範囲】
【請求項１】
時系列的に入力され、動画像を構成するフレームからシーンチェンジを検出し、このシーンチェンジの検出に応答して同一或いは類似シーンを識別するシーン識別子を各フレームに付与するシーンチェンジ検出部と、
前記各シーンに属するフレームを前記シーン識別子で特定される参照フレームとして格納する格納部と、
イントラ予測モード及びインター予測モードのいずれか一方のモードに設定する設定部と、
前記シーンチェンジ間に入力される前記フレームをインター予測モードで符号化し、前記シーンチェンジに続いて入力されるフレームに付与されるシーン識別子で前記参照フレームを検索し、当該シーン識別子で特定される参照フレームがない場合には、当該シーンチェンジに続いて入力されるフレームをイントラ予測モードで符号化し、当該シーン識別子で特定される参照フレームがある場合には、当該シーンチェンジに続いて入力されるフレームの符号化を前記インター予測モード及びイントラ予測モードの一方であって、符号化コストを最小とするように前記イントラ予測モード及びインター予測モードのいずれか一方の符号化モードで当該フレームを符号化する符号化部と、
を具備することを特徴とする動画像符号化装置。
【請求項２】
前記シーンチェンジ検出部は、
連続して入力されるフレームの相関からシーンチェンジを検出して比較信号を発生する相関比較部と、
前記識別子で特定される前記シーンに属するフレームを比較画像として格納するメモリと、
このメモリ中の比較画像と前記シーンチェンジ後のフレームとを比較して当該フレームにシーン識別子を付与するシーン比較部と、
を具備することを特徴とする請求項１の動画像符号化装置。
【請求項３】
前記シーンチェンジ検出部は、入力されるフレームの順序に従ってフレーム番号を付与し、前記シーン識別子は、フレーム番号毎に付与されることを特徴とする請求項１の動画像符号化装置。
【請求項４】
前記符号化部は、
予測画像と前記フレームとの差分をマクロブロック単位で符号化して符号化データを出力する変換部と、
前記予測画像を参照して前記符号化データを前記参照フレームに逆変換する逆変換部と、
入力されたフレームの動きベクトルを検出する動きベクトル検出部と、
前記参照画像及び前記動きベクトルを参照して逆変換された参照フレームを動き補償して前記予測画像を生成する動き補償部と、
を含むことを特徴とする請求項１の動画像符号化装置。
【請求項５】
前記格納部は、前記逆変換部から出力されるフレームを前記参照画像として格納することを特徴とする請求項１の動画像符号化装置。
【請求項６】
時系列的に入力され、動画像を構成するフレーム番号で特定されるフレームからシーンチェンジを検出し、このシーンチェンジの検出に応答して同一或いは類似シーンを識別するシーン番号を各フレームに付与するシーンチェンジ検出部であって、前記シーンチェンジ前の所定範囲に同一或いは類似シーンがあれば、当該シーンと同一のシーン番号を付与し、前記シーンチェンジ前の所定範囲に同一或いは類似シーンがなく、新たなシーンが出現する場合には、新たなシーン番号を付与するシーンチェンジ検出部と、
前記各シーンに属するフレームを前記シーン番号及びフレーム番号で特定される参照フレームとして格納する格納部と、
イントラ予測モード及びインター予測モードのいずれか一方のモードに設定する設定部と、
前記同一シーン番号が付され、連続して入力されるフレームをインター予測モードで符号化し、前記シーンチェンジに続いて入力されるフレームに付与されるシーン番号で前記参照フレームを検索し、当該シーン番号で特定される参照フレームがない場合には、当該シーンチェンジに続いて入力されるフレームをイントラ予測モードで符号化し、当該シーン番号で特定される参照フレームがある場合には、当該シーンチェンジに続いて入力されるフレームの符号化を前記インター予測モード及びイントラ予測モードの一方であって、符号化コストを最小とするように前記イントラ予測モード及びインター予測モードのいずれか一方の符号化モードで当該フレームを符号化する符号化部と、
を具備することを特徴とする動画像符号化装置。
【請求項７】
前記シーンチェンジ検出部は、
連続して入力されるフレームの相関が閾値と比較され、相関が閾値以下である場合には、前記シーンチェンジの検出としてシーンチェンジ信号を発生する相関比較部と、
前記シーン番号で特定される前記シーンに属するフレームを比較画像として格納するメモリと、
このメモリ中の比較画像と前記シーンチェンジ後のフレームとを比較して同一或いは類似していれば前記比較画像と同一のシーン番号を付与するシーン比較部と、
を具備することを特徴とする請求項６の動画像符号化装置。
【請求項８】
前記符号化部は、
予測画像と前記フレームとの差分をマクロブロック単位で符号化して符号化データを出力する変換部と、
前記予測画像を参照して前記符号化データを前記参照フレームに逆変換する逆変換部と、
入力されたフレームの動きベクトルを検出する動きベクトル検出部と、
前記参照画像及び前記動きベクトルを参照して逆変換された参照フレームを動き補償して前記予測画像を生成する動き補償部と、
を含むことを特徴とする請求項１の動画像符号化装置。
【請求項９】
前記格納部は、前記逆変換部から出力されるフレームを前記参照画像として格納することを特徴とする請求項１の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像を符号化する動画像符号化装置に係り、特に、動画像を符号化するに際して動き推定に係る処理量を軽減することができる動画像符号化装置に関する。
【背景技術】
【０００２】
動画の符号化・復号化技術は、近年、ますます進化しつつある。これは、動画像の高品質化が進み、情報量が多くなったこと、また、有線或いは無線によるネットワークが発展し、これらネットワークを通じて画像情報を伝送する要望が高くなったことに起因している。
【０００３】
動画像の符号化・復号化技術は、圧縮効率が高いこと、復号時の品質が高いこと、また、伝送効率が良いことなどが要望される。これらの要望に沿う動画像の符号化・復号化技術として国際標準として認められているＨ．２６４／ＡＶＣ(Advanced video coding)と称せられる技術（以下単にＨ．２６４と称する。）があり、この動画像の符号化・復号化技術は、例えば、非特許文献１に開示されている。
【非特許文献１】IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 13, NO. 7, JULY 2003，Overview of the H.264/AVC Video Coding Standard, ThomasWiegand
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一般に、ビデオ信号（映像信号）を符号化する動画像符号化装置では、１又は複数の参照フレーム（画像）を基準としてインター(Inter)予測することで画像データを圧縮符号化している。動画像符号化規格の一つであるＨ．２６４規格では、複数の参照フレームを用いてインター予測できることから、動き予測のための演算が膨大となっている。
【０００５】
このようなＨ．２６４規格に準拠した動画像符号化装置では、シーンチェンジが発生したフレームをＩＤＲ（Instantaneous Decoding Refresh）フレームとすることで参照フレームを初期化できる。しかし明暗が繰り返されるようなフラッシュ或いは同一シーンが繰り返される映像が含まれるシーケンスでは、ＩＤＲフレーム以前のフレームが参照できなくなる問題があるため、全てのシーンチェンジをＩＤＲフレームとすると符号化効率が劣化する。
【０００６】
また、Ｈ．２６４規格では、ＭＰＥＧ−４のようにイントラマクロブロック（Intra MB）を挿入しないため、ＩＤＲフレームを周期的に挿入する必要があるが、必ずしもシーンチェンジをＩＤＲフレームにする必要がないとされている。
【０００７】
以上のような状況に伴い、動き推定に係る処理量、特に、シーンチェンジ後のフレームにおける動き推定を削減することができる動画像符号化装置が望まれている。
【課題を解決するための手段】
【０００８】
本発明は、上記問題点を解決するためになされてものであり、その目的は、動画の符号化に際して演算量を低減することができる動画像符号化装置を提供することにある。
【０００９】
この発明によれば、
時系列的に入力され、動画像を構成するフレームからシーンチェンジを検出し、このシーンチェンジの検出に応答して同一或いは類似シーンを識別するシーン識別子を各フレームに付与するシーンチェンジ検出部と、
前記各シーンに属するフレームを前記シーン識別子で特定される参照フレームとして格納する格納部と、
イントラ予測モード及びインター予測モードのいずれか一方のモードに設定する設定部と、
前記シーンチェンジ間に入力される前記フレームをインター予測モードで符号化し、前記シーンチェンジに続いて入力されるフレームに付与されるシーン識別子で前記参照フレームを検索し、当該シーン識別子で特定される参照フレームがない場合には、当該シーンチェンジに続いて入力されるフレームをイントラ予測モードで符号化し、当該シーン識別子で特定される参照フレームがある場合には、当該シーンチェンジに続いて入力されるフレームの符号化を前記インター予測モード及びイントラ予測モードの一方であって、符号化コストを最小とするように前記イントラ予測モード及びインター予測モードのいずれか一方の符号化モードで当該フレームを符号化する符号化部と、
を具備することを特徴とする動画像符号化装置が提供される。
【００１０】
また、この発明によれば、
時系列的に入力され、動画像を構成するフレーム番号で特定されるフレームからシーンチェンジを検出し、このシーンチェンジの検出に応答して同一或いは類似シーンを識別するシーン番号を各フレームに付与するシーンチェンジ検出部であって、前記シーンチェンジ前の所定範囲に同一或いは類似シーンがあれば、当該シーンと同一のシーン番号を付与し、前記シーンチェンジ前の所定範囲に同一或いは類似シーンがなく、新たなシーンが出現する場合には、新たなシーン番号を付与するシーンチェンジ検出部と、
前記各シーンに属するフレームを前記シーン番号及びフレーム番号で特定される参照フレームとして格納する格納部と、
イントラ予測モード及びインター予測モードのいずれか一方のモードに設定する設定部と、
前記同一シーン番号が付され、連続して入力されるフレームをインター予測モードで符号化し、前記シーンチェンジに続いて入力されるフレームに付与されるシーン番号で前記参照フレームを検索し、当該シーン番号で特定される参照フレームがない場合には、当該シーンチェンジに続いて入力されるフレームをイントラ予測モードで符号化し、当該シーン番号で特定される参照フレームがある場合には、当該シーンチェンジに続いて入力されるフレームの符号化を前記インター予測モード及びイントラ予測モードの一方であって、符号化コストを最小とするように前記イントラ予測モード及びインター予測モードのいずれか一方の符号化モードで当該フレームを符号化する符号化部と、
を具備することを特徴とする動画像符号化装置が提供される。
【発明の効果】
【００１１】
シーンチェンジ後のフレームにおける動き推定に係る処理量を削減することができる動画像符号化装置を提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、必要に応じて図面を参照しながら、この発明の一実施の形態に係る動画像符号化装置を説明する。
【００１３】
図１は、この発明の１実施例に係る映像信号（ビデオ信号）をＨ．２６４規格に従って可変長符号化する動画像符号化装置を示すブロック図である。この動画像符号化装置には、図２に示されるようにフレームで構成される映像信号（ディジタル化ビデオ信号）が入力される。
【００１４】
始めに、この発明の動画像符号化装置の基本的な発明者の着想に関して図１及び図２を参照して説明する。
【００１５】
Ｈ．２６４規格に準拠した動画符号化装置では、複数の参照フレームからインター(Inter）予測を行うことができるとされている。具体的には、符号化すべきフレームを基準として前後１６枚のフレームを参照することができる。これら全ての参照フレーム中から参照対象のブロックを決定し符号化を行う動き推定では、通常、膨大な演算量が必要とされる。そこで、図２に示されるように、時系列的に図１に示す動画像符号化装置に入力されるフレームをシーン毎のグループに分類し、同一シーンに属するフレームには、同一シーン番号を与え、このシーン番号に基づいて動き推定を行う。
【００１６】
また、シーンチェンジが発生し、シーンチェンジ以降のフレームの動きを推定する場合は、シーンチェンジ直前の参照フレームが属するシーンのフレームが参照候補から除外することで動き推定に必要とされる演算量を低減させることができる。即ち、入力されたフレーム毎にシーン番号が付され、同一シーンには、フレームに同一シーン番号が付され、異なるシーンでは、フレームに異なるシーン番号が付されるので、このシーン番号が参照されてシーン内で動き推定するか或いは当該シーンに類似したシーンを検索してそのシーンに属するフレームから動き推定かが決定されている。
【００１７】
ここで、シーンとは、動画における各場面を意味し、シーンチェンジは、場面の切り替わりを意味し、例えば、明暗が繰り返されるようなフラッシュ或いは同一シーンが繰り返される映像が含まれるシーケンスでは、シーンチェンジが起きても再び元のシーンに戻される場合が多い。
【００１８】
以上のようにシーンチェンジを検出した動き予想（ＭＥ）では、参照フレームを絞り込むことで処理量を削減することができる。これにより処理量が低減したフレームでは、高度な動き推定或いはモード選択等を用いることができることとなる。
【００１９】
図１に示される動画像符号化装置では、上述の着想を基に、その入力側にシーンチェンジを検出するシーンチェンジ検出部１０１が設けられている。
【００２０】
例えば、時間の経過とともに図２に示されるようにフレームＦＲ０〜ＦＲ５が次々にこのシーンチェンジ検出部１０１に入力され、シーンチェンジ検出部１０１でシーンの切り替わり（シーンチェンジ）の検出が行われる。シーンチェンジ検出部１０１では、フレームＦＲ０〜ＦＲ５の入力順序に従ってフレーム番号が付されるとともにフレーム番号に関連づけられてシーン番号が与えられている。
【００２１】
シーンチェンジ検出部１０１にフレームＦ０，ＦＲ１が入力されると、フレームＦＲ０，ＦＲ１に対してフレーム番号，１０とフレームＦＲ０，ＦＲ１属するシーンを示すシーン番号０が与えると共に、フレーム番号０がシーン番号０に属する旨を符号化制御部１０６に通知する。
【００２２】
続いてフレームＦＲ２が入力されると、このフレームＦＲ２にフレーム番号２を与えると共に、フレームＦＲ１、ＦＲ２間の相関を判断し、フレームＦＲ１とフレームＦＲ２の間（図２のＴ１）でシーンチェンジが生じていると判断すると、フレーム番号２のフレームＦＲ２には、更新されたシーン番号１が与えられる。そして同様に、フレーム番号２がシーン番号１に属する旨を符号化制御部１０６に通知する。
【００２３】
また、フレームＦＲ２に続いてフレームＦＲ３が入力されると、このフレームＦＲ３にフレーム番号３を与え、更にフレームＦＲ２、ＦＲ３間の相関を判断する。ここで、シーンチェンジが生じていないと判断されると、フレーム番号３のフレームＦＲ３には、シーン番号が更新されず、シーン番号１が与えられる。
【００２４】
以後同様の判断を行って、フレームＦＲ４とフレームＦＲ５にフレーム番号とシーン番号が付与される。
【００２５】
なお、図２ではフレームＦＲ４とフレームＦＲ５の間（図２のＴ２）でもシーンチェンジが生じているが、ここでは、フレーム番号５のフレームＦＲ５にシーン番号の付与は、新たな番号が与えるに先立ってフレームＦＲ５が属するシーンがあるか否かが判断される。
【００２６】
即ち、フレームＦＲ５は、フレームＦＲ４との間に相関がないと判断される場合には、フレームＦＲ４が属するシーン以外の他のシーンに属するフレームと比較される。ここで、フレームＦＲ５が他のシーンに属するフレームと相関があると判断されれば、そのフレームが属するシーンのシーン番号、例えば、シーン番号０が与えられる。フレーム番号５がシーン番号０番に属する旨が符号化制御部１０６に与えられる。
【００２７】
上述したようにシーンチェンジ検出部１０１においては、フレーム番号ｎが与えられたフレームＦＲは、フレーム番号（ｎー１）が付され、シーン番号ｍに属するフレームＦＲと比較されてシーンチェンジが生じていることが判別される。そして、シーンチェンジが生じている場合には、フレーム番号ｎが与えられたフレームＦＲは、シーン番号ｍに属するフレームＦＲを参照候補とせずに、他のシーン番号（ｍ―１，ｍ−２・・・ｍ−ｋ（ｋは整数））で指定されるシーンに属するフレームＦＲと比較されてある一定の相関があれば、同一シーンと判断してそのシーン番号が与えられ、後述のように、同一シーンと判別された場合には、そのシーンに属するフレームが参照フレーム候補に指定されて動き推定が実施される。
【００２８】
シーンチェンジ検出部１０１からは、フレームＦＲ１〜ＦＲ５が次々と減算部１０２を介して周波数変換及び量子化部１０４に供給され、周波数変換処理及び量子化処理が実施される。即ち、周波数変換及び量子化部１０４に入力されたフレームＦＲには、符号化制御部１０６の制御下でフレームの最小単位であるブロック毎に直交変換（周波数変換演算）が施されて周波数変換係数が求められ、更にこの周波数変換係数に量子化処理が施される。そして、量子化された周波数変換係数は、エントロピー符号化部（可変長符号化部）１０５へと供給される。エントロピー符号化部（可変長符号化部）１０５では、符号化制御部１０６の制御下で量子化された周波数変換係数を可変長符号化し、符号化情報を符号化ビットストリームとして出力する。
【００２９】
一方、周波数変換及び量子化部１０４から出力された量子化周波数変換係数は、逆量子化及び逆周波数変換部１０７にも入力され、逆量子化並びに逆周波数変換されてマクロブロック単位で加算器１０８に供給される。加算器１０８では、マクロブロック単位で供給されるローカルデコード画像信号にスイッチ１０３からの予測画像信号と加算されてローカル復号化信号としてデブロッキングフィルタ１０９に出力される。
【００３０】
デブロッキングフィルタ１０９では、ローカル復号化信号中に生じているブロック間の歪みがフィルター処理され、このローカル復号化信号が参照フレームとしてフレーム単位でフレームメモリ１１１に格納される。
【００３１】
新たにシーンチェンジ検出部１０１から出力されたフレームＦＲは、動きベクトル検出部１１２にも与えられて動きベクトルが検出される。検出された動きベクトルは、動き補償部１１０に与えられるとともにエントロピー符号化部（可変長符号化部）１０５に与えられる。
【００３２】
動き補償部１１０では、フレームメモリ１１１に格納されている参照フレームを参照して動きベクトルに基づいて予測フレームを生成し、スイッチ１０３を介して減算部１０２に与える。
【００３３】
減算部１０２では、新たに入力されたフレームＦＲと動き補償部１１０からの予測フレームとの差分データをブロック単位で求めて周波数変換及び量子化部１０４に与える。そして上記の通り量子化された周波数変換係数が求められる。
【００３４】
シーン検出部１０１でシーンチェンジが検出され、新たなシーンに係るフレームＦＲが検出されて新たなシーン番号が与えられた場合には、符号化制御部１０６は、相関の高いフレームＦＲがないものとしてスイッチ１０３を切り替えて画面内圧縮処理（イントラ予測処理）を実行する。
【００３５】
画面内圧縮処理（イントラ予測処理）では、画面内で予測されるフレーム内の予測マクロブロックと新たに入力されるマクロブロックとの差分データが求められて周波数変換及び量子化部１０４に入力される。周波数変換及び量子化部１０４では、ブロック単位の差分データ単位で直交変換（周波数変換演算）して周波数変換係数を求め、この周波数変換係数に量子化処理を行って量子化された周波数変換係数を求める。その後、この量子化された周波数変換係数は、逆量子化及び逆周波数変換部１０７で逆量子化並びに逆周波数変換されてブロック単位で加算器１０８に供給される。
【００３６】
加算器１０８では、スイッチ１０３からのブロック単位の予測画像信号と加算されてローカル復号化信号として加算部１０８を介して画面内予測部１１３に供給され、ブロック単位の予測画像が生成される。生成されたブロックの画像は、減算部１０２で次のブロックの画像と比較され、その差分が周波数変換及び量子化部１０４に供給されて周波数変換並びに量子化される。この処理の繰り返しで、あるブロックの周囲にあるマクロブロックとの相関が取られてフレーム内或いはスライス内でフレーム内符号化される。周波数変換及び量子化部１０４から出力される量子化された周波数変換係数は、エントロピー符号化部１０５で可変長符号化されてビットストリームのペイロードとして出力される。
【００３７】
画面内圧縮処理（イントラ予測処理）の情報は、エントロピー符号化部１０５に与えられて付加情報として可変長符号化されてペイロードとともに出力される。
【００３８】
図１に示すシーンチェンジ検出部１０１は、例えば、図３に示すように構成されてフレーム番号に関連付けられてシーン番号が発生される。即ち、図２に示すように映像信号としてフレームＦＲ０、ＦＲ１がシーンチェンジ検出部１０１に入力されると、一時的にフレームＦＲ０、ＦＲ１がバッファ部２０１に格納される。フレームＦＲ０、ＦＲ１は、ＳＡＤ計算・比較部２０２で両フレームＦＲ０、ＦＲ１の互いに対応するマクロブロックが比較されてマクロブロック毎にその差が算出され、その差の絶対値が加算されて絶対値誤差和（ＳＡＤ：Sum of Absolute Difference）が求められる。この絶対値誤差和（ＳＡＤ）が参照値Ｒｅｆ 1と比較され、この参照値Ｒｅｆ 1よりも絶対値誤差和が大きければ、シーンチェンジと判断され、この参照値Ｒｅｆ 1よりも絶対値誤差和が小さければ、シーンチェンジなしで同一シーンと判断される。この判別結果は、ＳＡＤ計算・比較部２０２から比較信号としてシーン比較部２０３に供給される。フレームＦＲ０、ＦＲ１が同一シーンであれば、同一シーン判別信号がシーン比較部２０３に与えられ、フレームＦＲ０は、シーン比較部２０３を介して減算部１０２に供給される。フレームＦＲ０を減算部１０２に供給するに際してシーン比較部２０３は、符号化制御部１０６にシーン番号０、フレーム番号０のデータを与える。同様にフレームＦＲ１がシーン比較部２０３から減算部１０２に供給されるに際しても、シーン比較部２０３は、符号化制御部１０６にシーン番号０、フレーム番号１のデータを与える。
【００３９】
フレームＦＲ１に続いてフレームＦＲ２がバッファ部２０１に供給されて両者のマクロブロックが比較されて絶対値誤差和（ＳＡＤ）が参照値Ｒｅｆ 1より大きい場合には、フレームＦＲ１とフレームＦＲ２との間でシーンチェンジが生じたとして比較信号としてシーンチェンジ信号がシーン比較部２０３に与えられる。従って、シーン比較部２０３において、フレームＦＲ２は、他のシーンの代表的フレームが格納されているフレームメモリ２０４内のフレームと次々に比較される。この比較は、フレームＦＲ２と比較されるフレームとの絶対値誤差和（ＳＡＤ）を求めて参照値Ｒｅｆ ２よりも小さければ、両者のフレームは、類似したシーンに属すると判断される。シーン比較部２０３でフレームＦＲ２のシーンに類似したフレームがなければ、新たなシーン番号１がフレームＦＲ２に与えられる。このシーン番号１及びフレーム番号２は、符号化制御部１０６に供給されるとともにその新たなシーン番号１のフレームＦＲ２がフレームメモリ２０４に格納されるとともにフレームＦＲ２がシーン比較部２０３から減算部１０２に供給される。
【００４０】
フレームＦＲ３、ＦＲ４については、フレームＦＲ２と同様に同一シーンに属するものとして処理され、シーン比較部２０３からフレーム番号ＦＲ３，ＦＲ４及びシーン番号１が符号化制御部１０６に供給されるとともにフレームＦＲ３、ＦＲ４が次々に減算部１０２に供給される。フレームＦＲ５がバッファ部２０１に供給されると、絶対値誤差和（ＳＡＤ）が参照値Ｒｅｆ 1より大きくなり、シーンチェンジ信号がシーン比較部２０３に供給される。シーン比較部２０３においては、フレームＦＲ５がフレームメモリ２０４内のフレームＦＲ１と近似していると判断される場合には、フレームＦＲ５が減算部１０２に供給されるに伴い類似するシーン番号０及びフレーム番号５が符号化制御部１０６に供給される。
【００４１】
図４のフローチャートを参照して図１に示される符号化装置における符号化制御部１０６が制御する符号化処理の動作について説明する。
【００４２】
図２に示すフレームＦＲ１〜ＦＲ５が，シーンチェンジ検出部１０１に次々に符号化装置に入力されると、図４のステップＳ１２に示されるように始めに符号化すべきフレームが参照すべき参照シーンが検出される。符号化制御部１０６は、ステップＳ１４に示されるようにシーンチェンジが生じていなければ、当該フレームＦＲが前フレームと同一シーンであり、参照シーンがあるとしてステップＳ２８に移行する。ステップＳ１４において、シーンチェンジが生じているが、当該フレームＦＲが属するシーンのフレームがフレームメモリ２０４に格納されていれば、同様に、参照シーンがあるとしてステップＳ２８に移行する。ステップＳ１４において、シーンチェンジが生じ、しかも、図３に示すフレームメモリ２０４に参照対象とされる類似のシーンがないと判断される場合には、ステップＳ１６に移行する。
【００４３】
ステップＳ１６においては、符号化制御部１０６は、当該符号化すべきフレームに新規なシーン番号を設定する。次に，画像をブロックに分割し，ブロック毎にステップＳ１８において，イントラ予測部１１３による予測誤差と，エントロピー符号化部１０５による発生符号量の関係から，コストを最小とするイントラ予測の予測モードを決定する。
【００４４】
ここで、コストとは、コスト関数で定義され、符号化モードを決定する為のパラメータで一般に以下の式が用いられる。
【００４５】
コスト関数＝Ｄ＋λ・Ｒ
Ｄは、歪み(Distortion）を表し、絶対誤差和（ＳＡＤ：Sum of Absolute Difference）、二乗誤差和（ＳＳＤ：Sum of Square Difference）のいずれかが用いられる。ＳＳＤは、予測誤差の夫々を２乗し、その総和を算出したものである。λは、ビットレートで定まる定数（ラグランジュ乗数）及びＲは、イントラ予測ならばイントラ予測モードを符号化する為の発生符号量（Generated Bit)を表し，インター予測ならば動きベクトル（ＭＶ）及び参照フレームを符号化する為の発生符号量を表し、符号化対象ブロックを当該候補モードで符号化した場合の発生ビットを表している。各予測モードに対して上記コストを算出し、コストを最小とする予測モードの組み合わせが最適なパラメータ値とされる。
【００４６】
次にステップ２０において，ステップＳ１４にて，参照すべきフレームがないと判定されているため，インター予測は行われず，ステップ１８にて決定されたイントラ予測モードが，そのままコストを最小とする予測方式として選択される．
ステップＳ２２では、ステップＳ２０で選択された予測モードでブロックがエンコードされる。即ち、周波数変換及び量子化部１０４により，周波数変換(trans：transform)及び量子化（Quant: quantum)が実行されて当該マクロブロックの周波数変換係数が求められる。その後、符号化制御部１０６により，ステップＳ２４において符号化すべきフレームＦＲの全てのブロックに関しての符号化処理が終了したかが確認され、終了していなければ、ステップＳ１８に戻される。フレームＦＲの全てのブロックに関しての符号化処理が終了していれば、ステップＳ２６に進められ、次のフレームＦＲの処理の為にステップＳ１２に戻される。
【００４７】
符号化制御部１０６は，ステップＳ１４において、シーンチェンジがなく、当該フレームＦＲが前フレームと同一シーンである場合には、或いは、シーンチェンジが生じているが、当該フレームＦＲが属するシーンのフレームがシーンチェンジ検出部１０１のフレームメモリ２０４にあれば、同様に、参照シーンがあるとしてステップＳ２８に移行する。ステップＳ２８に示されるように当該フレームＦＲに参照されるべきフレームが属するシーン番号が設定される。次に、ステップＳ３０において、フレームメモリ１１１に格納され、あるフレーム番号ｎが付されたフレームＦＲのシーン番号が当該フレームＦＲに設定されたシーン番号と同一かが確認される。同一のシーンでなければ、ステップＳ３４に示されるように新たなフレームに変更される。この選定されたフレームＦＲがフレームメモリ１１１に格納されＮ枚を超えていなければ、再びステップＳ３０に戻され、選定されたフレームＦＲのシーンが現フレームＦＲのフレームと同一であるかが確認される。
【００４８】
符号化制御部１０６は、画像をブロックに分割し、ブロック毎にステップＳ３０において、選定されたフレームＦＲのシーンが現フレームＦＲのシーンと同一であれば、動きベクトル検出部１１２が、ステップＳ３２において、コストを最小とする動きベクトル（ＭＶ）を決定する。このコストは、動き補償部１１０による予測誤差と，エントロピー符号化部１０５による動きベクトル（ＭＶ）と参照フレームの発生符号量から、算出される。この参照フレームのフレーム番号と決定された動きベクトル（ＭＶ）は、符号化制御部１０６により，後の比較の為に一時記憶される。ステップＳ３４において、新たなフレームに変更される。この選定されたフレームＦＲがフレームメモリ１１１に格納されＮ枚を超えていなければ、再びステップＳ３０に戻され、選定されたフレームＦＲのシーンが現フレームＦＲのフレームと同一であるかが確認される。同一シーンのフレームＦＲがあれば、これを参照フレームとしてコストを最小とする動きベクトル（ＭＶ）が動きベクトル検出部１１２により決定される。シーン番号が同一のフレームが複数ある場合には、ステップＳ３２において、コストともに複数の参照フレームのフレーム番号と複数の決定された動きベクトル（ＭＶ）が一時記憶される。
【００４９】
ステップＳ３６において、Ｎ枚の参照フレームについての同一シーンの検索が終了されると、一次記憶されている複数のコストが比較され、ステップＳ３８に示すようにコストが最小の参照フレーム及び動きベクトル（ＭＶ）が決定される。従って、インター予測のための参照フレーム及び動きベクトル（ＭＶ）が決定される。
【００５０】
次に、ステップＳ４０において、比較のためにコストを最小とするイントラ予測が決定される。ステップＳ４２において、ステップＳ４０で決定されたインター予測のコストとステップＳ４２で決定されたイントラ予測のコストとが比較され、コストを最小とする予測モードが選択される。イントラ予測が決定された場合には、図１に示されるスイッチ１０３が画面内予測部１１３側に切り替えられ、インター予測が決定されると、図１に示されるスイッチ１０３が動き補償部１１０に切り替えられる。
【００５１】
ステップＳ４４では、ステップＳ４２で選択された予測モードでブロックがエンコードされる。即ち、周波数変換及び量子化部１０４により，周波数変換(trans：transform)及び量子化（Quant:quantum)が実行されて当該ブロックの周波数変換係数が求められる。その後、ステップＳ４６において符号化すべきフレームＦＲの全てのブロックに関しての符号化処理が終了したかが確認され、終了していなければ、ステップＳ３０に戻される。フレームＦＲの全てのブロックに関しての符号化処理が終了していれば、ステップＳ２６に進められ、次のフレームＦＲの処理の為にステップＳ１２に戻される。
【００５２】
以上のようにシーンチェンジ検出後における動き推定（ＭＥ：motion estimation）においては、参照フレームを絞り込むことによって処理量を削減することができる。これにより処理用が低減したフレームでは、高度な動き推定或いはモード選択を採用することができる。
【００５３】
サーチ範囲がＲ×Ｒ、Ｎ枚の参照フレームについて動き推定する動画像符号化装置（エンコーダ）では、最大参照画素数がＲ×Ｒ×Ｎとなり、１枚のフレームの符号化におけるサーチ範囲がｒ＝ｓｑｒｔ（Ｒ×Ｒ×Ｎ／ｎ）となる。ここで、ｎは、実際に動き推定する参照枚数（ｎ＜＝Ｎ）である。
【００５４】
ツーパス（Two Pass)符号化処理では、フレーム間に周期性ある場合には、Non-IDR（Non Instantaneous Decoding Refresh）フレームでシーンチェンジ前のフレームがフレームメモリに保存され、周期性がなければＩＤＲフレームとすることが好ましく、この処理により符号化の効率を向上することができる。
【００５５】
以上のように、この発明によれば、シーンチェンジ後のフレームにおける動き推定に係る処理量を削減することができる動画像符号化装置を提供することができる。
【図面の簡単な説明】
【００５６】
【図１】この発明の一実施例に係る動画像符号化装置を示すブロック図である。
【図２】図１に示される動画像符号化装置で符号化される動画フレームの例を示す模式図である。
【図３】図１に示すシーンチェンジ検出回路の一例を示すブロック図である。
【図４】図１に示した動画像符号化装置における動画像の符号化の過程を示すフローチャートである。
【符号の説明】
【００５７】
１０１．．．シーンチェンジ検出部、１０２．．．減算部、１０３．．．スイッチ、１０４．．．量子化部、１０５．．．エントロピー符号化部、１０６．．．符号化制御部、１０８．．．加算部、１０９．．．デブロッキングフィルタ、１１０．．．動き補償部、１１１．．．フレームメモリ、１１２．．．動きベクトル検出部、
【図１】
2006270435.tif 000003
【図２】
2006270435.tif 000004
【図３】
2006270435.tif 000005
【図４】
2006270435.tif 000006