(57)【要約】      （修正有）【課題】シーンチェンジ後の動画像符号化信号の画質劣化を防止する。【解決手段】ＧＯＰ最後のＭ（本実施形態の例では、Ｍ＝３である。）ピクチャ内でシーンチェンジが発生しても、シーンチェンジ後の最初のレファレンスピクチャがＰピクチャである場合、符号化制御部は、シーンチェンジ後のＰピクチャを、Ｉピクチャ相当の符号量（量子化配分）により符号化を行うよう量子化部２０を制御する。また、Ｐピクチャの符号化により発生した符合量を含めた現在までのＧＯＰの総符号量に、"（Ｍ−１）×Ｌｃｂｂ"を加えた値が、ＧＯＰに対して要求される総符号量の上限を超えるか否かを判断し、超える場合には、このＰピクチャの符号化結果を廃棄し、その代わりに後方向予測（または前方向予測）／動きベクトル０／予測誤差０のＣｂｂ信号を出力する。ＧＯＰの発生符号量を一定値以下にしつつシーンチェンジ後の動画像の画質劣化を防止することができる。【選択図】図１
2010034939.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号を符号化する符号化手段と、
動画像信号内でシーンチェンジが発生するか否かを検出するシーンチェンジ検出手段と、
前記シーンチェンジ検出手段によってシーンチェンジが検出された場合、当該シーンチェンジ検出後の最初のリファレンスピクチャがＰピクチャであるか否かを判断し、Ｐピクチャであると判断した場合、当該ＰピクチャをＩピクチャと同等の符号化配分で符号化するよう前記符号化手段を制御する符号量制御手段と、
前記符号化手段によって符号化された動画像信号を出力するバッファと、
を有する動画像符号化装置。
【請求項２】
請求項１に記載の動画像符号化装置であって、
前記符号量制御手段は、
さらに、
前記ＰピクチャをＩピクチャと同等の量子化配分で符号化した符号量を含めたＧＯＰ先頭から当該Ｐピクチャまでの符号量と、予めピクチャを示すための符号長が最小限の最小限信号の符号量に前記Ｍの値から１減算した値を乗算したＰピクチャ以降の最低必要符号量とを加算した値と、ＧＯＰに対して要求される総符号量上限値とに基づいて、前記加算した値が前記総符号量上限値を超えそうもない場合には、当該Ｐピクチャの符号化結果を出力するよう前記バッファを制御する一方、超えそうである場合には、当該Ｐピクチャの符号化結果を廃棄するよう前記バッファを制御する、動画像符号化装置。
【請求項３】
請求項２に記載の動画像符号化装置であって、
前記符号量制御手段は、
前記加算した値と前記総符号量上限値とに基づいて、前記加算した値が、ＧＯＰに対して要求される総符号量上限値を超えそうな場合には、当該Ｐピクチャの符号化結果を廃棄するよう前記バッファを制御し、さらに、前記最小限信号を前記バッファを介して出力させる、動画像符号化装置。
【請求項４】
請求項２に記載の動画像符号化装置であって、
前記符号量制御手段は、
前記加算した値と前記総符号量上限値とに基づいて、前記加算した値が、ＧＯＰに対して要求される総符号量上限値を超えそうな場合には、当該Ｐピクチャの符号化結果を廃棄するよう前記バッファを制御し、かつ、前記シーンチェンジ直前のピクチャをＰピクチャとして符号化させ、その符号化結果および前記最小限信号を前記バッファを介して出力するよう前記符号化手段を制御する、動画像符号化装置。
【請求項５】
請求項２に記載の動画像符号化装置であって、
前記符号量制御手段は、
さらに、
前記加算した値と前記総符号量上限値とに基づいて、前記加算値が前記総符号量上限値を超えそうもない場合、当該Ｐピクチャの符号化結果を出力するよう前記バッファを制御すると共に、シーンチェンジ直前のピクチャをＢピクチャ相当の量子化配分で前記符号化手段に符号化させ、当該シーンチェンジ直前のＢピクチャをＢピクチャ相当の量子化配分で符号化した符号量を含めたＧＯＰ先頭から当該Ｂピクチャまでの符号量と、前記最小限信号の符号量に前記Ｍの値から２減算した値を乗算した当該Ｂピクチャ以降の最低必要符号量とを加算した値と、ＧＯＰに対して要求される総符号量上限値とに基づいて、前記加算した値が前記総符号量上限値をを超えそうもない場合には、当該Ｂピクチャの符号化結果を出力するよう前記バッファを制御する一方、超えそうな場合には、当該Ｂピクチャの符号化結果を廃棄するよう前記バッファを制御し、かつ、前記最小限信号を前記バッファを介して出力させる、動画像符号化装置。
【請求項６】
請求項４に記載の動画像符号化装置であって、
前記符号量制御手段は、
さらに、
前記シーンチェンジ直前のピクチャと、前記シーンチェンジより前のＰピクチャとの間に、符号化すべきピクチャが存在するか否かを判断し、存在する場合には、当該符号化すべきピクチャをＢピクチャとして符号化させ、その符号化結果を出力するよう前記符号化手段を制御する、動画像符号化装置。
【請求項７】
動画像信号を符号化する符号化手段と、
動画像信号のＧＯＰ毎にＭ（Ｍは、ＭＮ値のＭの値）ピクチャ毎に分割し、各Ｍピクチャ内でシーンチェンジが発生するか否かを検出するシーンチェンジ検出手段と、
シーンチェンジ検出後の最初のリファレンスピクチャがＰピクチャであるか否かを判断し、Ｐピクチャであると判断した場合、当該ＰピクチャをＩピクチャと同等の量子化配分で符号化するよう前記符号化手段を制御する符号量制御手段と、
前記符号化手段によって符号化された動画像信号を出力するバッファと、
を有する動画像符号化装置。
【請求項８】
動画像信号内でシーンチェンジが発生するか否かを検出するステップと、
動画像信号内でーンチェンジが検出された場合、当該シーンチェンジ検出後の最初のリファレンスピクチャがＰピクチャであるか否かを判断し、Ｐピクチャであると判断した場合、当該ＰピクチャをＩピクチャと同等の符号化配分で符号化するステップと、
符号化された前記動画像信号を出力するステップと、
を有する動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号を符号化する動画像符号化装置および動画像符号化方法に関する。
【背景技術】
【０００２】
従来の動画像符号化装置には、動画像信号にてシーンの切り替わるシーンチェンジを検出した場合、シーンチェンジ前の画像に対しては粗い量子化を行う一方、シーンチェンジ後の画像に対しては相対的に大きな情報量を割当てて、シーンチェンジ後の画質向上に寄与するようにしたものがある（例えば、特許文献１参照。）。これは、シーンチェンジ前の画像よりも、シーンチェンジ後の画像のほうが、視聴者の意識に残るという一般的な人の視覚的特性を考慮しているからである。
【特許文献１】特開２００７−９４７６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、動画像符号化装置では、動画像符号化信号の編集性を高めるためにＧＯＰ単位で符号量を所定の規定値以下にすることが要求される場合がある。かかる場合、ＧＯＰ後半でシーンチェンジが発生すると、シーンチェンジ後の画像の符号化には通常平均的な符号量以上の符号量が必要となるので、シーンチェンジ後の画像に対して十分な符号量を割り当てることが出来ず、シーンチェンジ後の動画像符号化信号の画質が劣化する、という問題がある。
【０００４】
そこで、本発明は、シーンチェンジ後の動画像符号化信号の画質劣化を防止することができる、動画像符号化装置および動画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明に係る動画像符号化装置は、動画像信号を符号化する符号化手段と、動画像信号内でシーンチェンジが発生するか否かを検出するシーンチェンジ検出手段と、前記シーンチェンジ検出手段によってシーンチェンジが検出された場合、当該シーンチェンジ検出後の最初のリファレンスピクチャがＰピクチャであるか否かを判断し、Ｐピクチャであると判断した場合、当該ＰピクチャをＩピクチャと同等の符号化配分で符号化するよう前記符号化手段を制御する符号量制御手段と、前記符号化手段によって符号化された動画像信号を出力するバッファと、を有する。
ここで、シーン検出手段は、動画像信号のＧＯＰ毎に各ＧＯＰ最後のＭピクチャや、各ＧＯＰ最後の数Ｍピクチャ内でシーンチェンジが発生するか否かを検出するようにしても良い。
また、前記符号量制御手段は、さらに、前記ＰピクチャをＩピクチャと同等の量子化配分で符号化した符号量を含めたＧＯＰ先頭から当該Ｐピクチャまでの符号量と、予めピクチャを示すための符号長が最小限の最小限信号の符号量に前記Ｍの値から１減算した値を乗算したＰピクチャ以降の最低必要符号量とを加算した値と、ＧＯＰに対して要求される総符号量上限値とに基づいて、前記加算した値が前記総符号量上限値を超えそうもない場合には、当該Ｐピクチャの符号化結果を出力するよう前記バッファを制御する一方、超えそうである場合には、当該Ｐピクチャの符号化結果を廃棄するよう前記バッファを制御する、ようにしても良い。
また、前記符号量制御手段は、前記加算した値と前記総符号量上限値とに基づいて、前記加算した値が、ＧＯＰに対して要求される総符号量上限値を超えそうな場合には、当該Ｐピクチャの符号化結果を廃棄するよう前記バッファを制御し、さらに、前記最小限信号を前記バッファを介して出力させる、ようにしても良い。
また、前記符号量制御手段は、前記加算した値と前記総符号量上限値とに基づいて、前記加算した値が、ＧＯＰに対して要求される総符号量上限値を超えそうな場合には、当該Ｐピクチャの符号化結果を廃棄するよう前記バッファを制御し、かつ、前記シーンチェンジ直前のピクチャをＰピクチャとして符号化させ、その符号化結果および前記最小限信号を前記バッファを介して出力するよう前記符号化手段を制御する、ようにしても良い。
また、前記符号量制御手段は、さらに、前記加算した値と前記総符号量上限値とに基づいて、前記加算値が前記総符号量上限値を超えそうもない場合、当該Ｐピクチャの符号化結果を出力するよう前記バッファを制御すると共に、シーンチェンジ直前のピクチャをＢピクチャ相当の量子化配分で前記符号化手段に符号化させ、当該シーンチェンジ直前のＢピクチャをＢピクチャ相当の量子化配分で符号化した符号量を含めたＧＯＰ先頭から当該Ｂピクチャまでの符号量と、前記最小限信号の符号量に前記Ｍの値から２減算した値を乗算した当該Ｂピクチャ以降の最低必要符号量とを加算した値と、ＧＯＰに対して要求される総符号量上限値とに基づいて、前記加算した値が前記総符号量上限値をを超えそうもない場合には、当該Ｂピクチャの符号化結果を出力するよう前記バッファを制御する一方、超えそうな場合には、当該Ｂピクチャの符号化結果を廃棄するよう前記バッファを制御し、かつ、前記最小限信号を前記バッファを介して出力させる、ようにしても良い。
また、前記符号量制御手段は、さらに、前記シーンチェンジ直前のピクチャと、前記シーンチェンジより前のＰピクチャとの間に、符号化すべきピクチャが存在するか否かを判断し、存在する場合には、当該符号化すべきピクチャをＢピクチャとして符号化させ、その符号化結果を出力するよう前記符号化手段を制御する、ようにしても良い。
また、本発明の別の動画像符号化装置は、動画像信号を符号化する符号化手段と、動画像信号のＧＯＰ毎にＭ（Ｍは、ＭＮ値のＭの値）ピクチャ毎に分割し、各Ｍピクチャ内でシーンチェンジが発生するか否かを検出するシーンチェンジ検出手段と、シーンチェンジ検出後の最初のリファレンスピクチャがＰピクチャであるか否かを判断し、Ｐピクチャであると判断した場合、当該ＰピクチャをＩピクチャと同等の量子化配分で符号化するよう前記符号化手段を制御する符号量制御手段と、前記符号化手段によって符号化された動画像信号を出力するバッファと、を有する。
また、本発明の動画像符号化方法は、動画像信号内でシーンチェンジが発生するか否かを検出するステップと、動画像信号内でーンチェンジが検出された場合、当該シーンチェンジ検出後の最初のリファレンスピクチャがＰピクチャであるか否かを判断し、Ｐピクチャであると判断した場合、当該ＰピクチャをＩピクチャと同等の符号化配分で符号化するステップと、符号化された前記動画像信号を出力するステップと、を有する。ここで、本発明の動画像符号化方法でも、上記動画像符号化装置における符号量制御手段と同等の符号量制御を行っても良い。
【発明の効果】
【０００６】
本発明によれば、少なくとも、動画像信号内あるいは動画像信号のＧＯＰ毎にＭピクチャ毎に分割し、各Ｍピクチャ内でシーンチェンジが発生するか否かを検出し、シーンチェンジが検出された場合、当該シーンチェンジ検出後の最初のピクチャがＰピクチャであるか否かを判断し、Ｐピクチャであると判断した場合、当該ＰピクチャをＩピクチャと同等の符号化配分で符号化するので、シーンチェンジ後の動画像符号化信号の画質劣化を防止することができる。
【発明を実施するための最良の形態】
【０００７】
実施の形態１．
本発明の実施の形態について図面を参照して詳細に説明する。
【０００８】
図１は、本発明の実施の形態である動画像符号化装置の構成例を示すブロック図である。
【０００９】
図１において、動画像符号化装置は、シーン検出部１０、並び替え部１２、減算器１４、第１モード切替え部１６、ＤＣＴ部１８、量子化部２０、可変長符号化部２２、バッファ２４、逆量士化部２６、逆ＤＤＣＴ部２８、加算器３０、第２モード切り替え部３２、参照画像メモリ３４、動き補償予測部３６、符号化制御部３８を有する。なお、これら以外の構成要素を有していても勿論、良い。また、本装置では、ＭＰＥＧ２やＨ．２６４／ＡＶＣ符号化方式により説明するが、本発明では、これに限られない。
【００１０】
次に、動作を説明する。
【００１１】
本装置にビデオカメラ等によって撮影された動画像信号が入力すると、まず、シーン検出部１０は、その動画像信号のＧＯＰ毎に、各ＧＯＰ最後のＭ（Ｍは、ＭＮ値のＭの値）ピクチャ内で、シーンが急激に切り替わるシーンチェンジが発生するか否かを検出して並び替え部１２へ出力する。その際、シーンチェンジを検出した場合、シーン検出部１０は、シーンチェンジ検出信号として、符号化制御部３８へ出力する。なお、シーンチェンジ検出の方法は、周知の方法、例えば、動画像信号における輝度信号等の変化に基づいて行う。また、本実施形態では、ＭＮ値が例えば、それぞれＮ＝１５、Ｍ＝３のＧＯＰ構造により説明する。また、動画像信号のＧＯＰ毎に、各ＧＯＰ最後のＭ（Ｍは、ＭＮ値のＭの値）ピクチャ内であるか否かは、シーン検出部１０が、符号化制御部３６または並び替え部１２からＧＯＰ構造を示す信号を入力して判断してもよいし、並び替え部１２で判断するようにしても良い。
【００１２】
次に、並び替え部１２は、動画像信号を、符号化の順に並び替えて、減算器１４、第１モード切替え部１６および動き補償予測部３６へ出力する。ここで、並び替え部１２は、ＤＣＴ部１８における符号化モードに応じて、ＤＣＴ部１８がＩ（画面内符号化）ピクチャを出力するイントラ符号化モードの場合は、符号化対象の動画像信号を、減算器１４を介さずに第１モード切替え部１６へ出力し、ＤＣＴ部１８がＰ（前方向予測符号化）ピクチャまたはＢ（両方向予測符号化）ピクチャを出力するインター符号化モードの場合は、減算器１４を介してＤＣＴ部１８へ出力する。なお、並び替えが不要な場合は、並び替え部１２を省略しても良い。
【００１３】
減算器１４は、ＤＣＴ部１８における符号化モードに応じて、インター符号化モードの場合は、並び替え部１２からの動画像信号と、動き補償予測部３６からの予測画像と差分（残差）をとった差分信号を第１モード切替え部１６へ出力する。
【００１４】
第１モード切替え部１６は、並び替え部１２からの動画像信号を、ＤＣＴ部１８における符号化モードに応じて、イントラ符号化モードの場合はそのまま、インター符号化モードの場合は減算器１４により予測画像と差分をとった差分信号とを切替えて、ＤＣＴ部１８へ出力する。
【００１５】
ＤＣＴ部１８は、符号化モードに応じて、第１モード切替え部１６からの動画像信号をＤＣＴ変換して量子化部２０へ出力する。
【００１６】
量子化部２０は、ＤＣＴ部１８からＤＣＴ係数を、符号化制御部３８から指示された量子化ステップにより量子化して、量子化係数を可変長符号化部２２および逆量士化部２６へ出力する。
【００１７】
可変長符号化部２２は、その量子化係数を可変長符号化してバッファ２４へ出力し、外部へ符号化ビット列として出力する。
【００１８】
一方、逆量士化部２６では、量子化部２０からの量子化係数を量子化部２０における量子化とは反対に逆量子化して、ＤＣＴ係数を復元し、逆ＤＤＣＴ部２８へ出力する。
【００１９】
逆ＤＣＴ（ＩＤＣＴ）部２８では、逆量士化部２６からの復元されたＤＣＴ係数を逆ＤＣＴ（ＩＤＣＴ）変換して復号信号とし、ＤＣＴ部１８の符号化モードに応じて、加算器３０および第２モード切り替え部３２へ出力する。つまり、イントラ符号化モードの場合は加算器３０を介さず第２モード切り替え部３２へ出力し、インター符号化モードの場合は加算器３０を出力する。
【００２０】
加算器３０は、インター符号化モードの場合のみ、逆ＤＣＴ（ＩＤＣＴ）部２８からの復号信号と、減算器１４に入力した予測信号と同じ予測信号動き補償予測部３６からの予測信号とを加算して復元画像信号として、第２モード切り替え部３２へ出力する。
【００２１】
第２モード切り替え部３２は、符号化モードに応じて、復元画像信号を参照画像メモリ３４に出力する。参照画像メモリ３４は、第２モード切り替え部３２からの復元画像信号を、参照画像として記憶する。
【００２２】
動き補償予測部３６は、インター符号化モードの場合、並び替え部１２からの入力動画像信号を入力して、その入力動画像信号に最も差分の少ない参照画像を参照画像メモリ３４にて検索して、予測画像および動きベクトルを出力する動き補償予測を行う。なお、動き補償予測をした予測画像は、減算器１４および加算器３０へ出力し、動きベクトルは、可変長符号化部２２へ出力する。
【００２３】
そして、符号化制御部３８は、シーンチェンジ検出部１０からのシーンチェンジ検出信号に基づいて、後述するように量子化部２０に量子化制御信号を出力する一方、バッファ２４に符号化結果のバッファ制御信号等を出力する。
【００２４】
図２は、シーンチェンジが発生しない場合におけるＧＯＰにおけるピクチャの符号化順等を示す図である。
【００２５】
図２は、ＭＮ値が例えば、それぞれＮ＝１５、Ｍ＝３のＧＯＰ構造の一例を示しているが、本発明は、勿論このＧＯＰ構造に限定されることはない。なお、ＭＮ値のＮ値は、ＧＯＰを構成するピクチャ数、Ｍ値は、Ｐピクチャの繰り返し周期、すなわち（Ｍ−１）がＰピクチャ間のＢピクチャの数を示す。
【００２６】
まず、図２（ａ）に示すように、入力動画像信号（INPUT）は、例えば、画像０〜１４を有している。
【００２７】
次に、並び替え部１２は、図２（ａ）に示す入力動画像信号を、図２（ｂ）に示すようにイントラピクチャが先頭になるように符号化順に並び替え、ＤＣＴ部１８や量子化部２０、可変長符号化部２２では、並び替えられたその順に入力動画像信号の符号化を行う。図２（ｂ）では、Ｉピクチャ２（Ｉ２）、Ｂピクチャ０（Ｂ０）、Ｂピクチャ１（Ｂ１）、Ｐピクチャ５（Ｐ５）、Ｂピクチャ画像３（Ｂ３）、Ｂピクチャ４（Ｂ４）、…の順に並び替えられる。
【００２８】
そして、バッファ２４は、図２（ｃ）に示すように、すなわち図２（ｂ）と同じ並びで可変長符号化部２４からの符号化画像を保持し、１タイミング遅延してその並びで出力する。
【００２９】
一方、図示しない動画像復号装置では、この動画像符号化装置から出力された図２（ｃ）に示すような符号化画像列を入力して、図２（ｄ）に示すように復号して、図２（ｅ）に示すように復号信号を再生順に並べ替えて出力する。
【００３０】
以上が、本装置におけるシーンチェンジが発生しない場合の各ピクチャの符号化順等である。
【００３１】
図３は、シーンチェンジが発生した場合におけるＧＯＰにおけるピクチャの符号化順等を示す図である。本実施の形態１では、ＧＯＰの最後のＭ（本実施形態の例では、Ｍ＝３である。）ピクチャ内でシーンチェンジが発生する場合を想定している。
【００３２】
つまり、図３（ａ）に示すように、例えば、Ｂピクチャ１３（Ｂ１３）と、Ｐピクチャ１４（Ｐ１３）との間でシーンチェンジが検出された場合における本実施の形態の処理を示している。
【００３３】
つまり、シーンチェンジ検出部１０は、画像間の輝度の変化などを監視していて、輝度が予め設定した所定閾値を超えた場合、シーンチェンジが検出されたことを示すフラグＦｃｎｇを１にして、符号化制御部３８へ出力する。ここで、図３（ａ）に示すように、Ｂピクチャ１３（Ｂ１３）とピクチャ１４（Ｐ１３）との間でシーンチェンジが発生したことを検出したので、シーンチェンジ検出部１０は、図３（ｂ）に示すように、Ｐピクチャ１４（Ｐ１３）の後シーンチェンジ検出フラグＦｃｎｇを１をセットする。
【００３４】
符号化制御部３８は、シーンチェンジ検出部１０からシーンチェンジ検出フラグＦｃｎｇの状態、すなわちＦｃｎｇが０であるか、あるいは１であるかに基づいて、ピクチャタイプ毎に、次に示すような手順で符号量制御を行う。その結果、ＤＣＴ部１８、量子化部２０および可変長符号化部２２は、図３（ｃ）に示すような画像の並びで符号化を行う。
【００３５】
（１）Ｉピクチャの符号
Ｉピクチャについては、符号化制御部３８は、シーンチェンジ検出フラグＦｃｎｇの値にかかわらず、通常通り符号化を行い、符号化終了後、シーンチェンジ検出フラグＦｃｎｇを０にする。つまり、Ｉピクチャの符号化により、必ず、シーンチェンジ検出フラグＦｃｎｇをリセットにする。
【００３６】
（２）Ｐピクチャの符号化
Ｐピクチャについては、符号化制御部３８は、シーンチェンジ検出フラグＦｃｎｇ値が０のときは、通常通り、すなわち通常のＰピクチャ相当の符号量（量子化配分）により符号化を行うよう量子化部２０に量子化制御信号を送り制御する。
【００３７】
これに対し、シーンチェンジ検出フラグＦｃｎｇ値が１のとき、すなわちシーンチェンジ後の最初のレファレンスピクチャがＰピクチャである場合、符号化制御部３８は、該当するシーンチェンジ後のＰピクチャを、Ｉピクチャ相当の符号量（量子化配分）により符号化を行うよう量子化部２０に対し量子化制御信号を送る。なお、符号量（量子化配分）は、Ｉピクチャが最も大きく、次に、Ｐピクチャ、Ｂピクチャの順になり、ＧＯＰの総符号量の上限値を超えないようにＧＯＰを構成する各ピクチャの符号量が決められる。これにより、シーンチェンジ後のＰピクチャをＩピクチャ相当の量子化配分、すなわちＩピクチャと同等の符号化配分により符号化を行うことができるので、そのＰピクチャに十分な符号量を割り当てることができ、シーンチェンジ後の動画像符号化信号の画質劣化を防止することができる。
【００３８】
次に、符号化制御部３８は、入力される動画像信号に依存しない符号長が最小限の固定長の最小限信号として、Ｂピクチャに対する最低限度の符号語となる後（未来）または前（過去）の画像をそのまま使用することを示す後方向予測（または前方向予測）／動きベクトル０／予測誤差０のＣｂｂ信号の符号長をＬｃｂｂとして、このＰピクチャの符号化により発生した符合量を含めた現在までのＧＯＰの総符号量に、"（Ｍ−１）×Ｌｃｂｂ"を加えた値が、ＧＯＰに対して要求される総符号量の上限を超えるか否かを判断する。これは、そのシーンチェンジ発生直後のＰピクチャであるＰピクチャ１４（Ｐ１４）の後に、Ｂピクチャ１２（Ｂ１２）、Ｂピクチャ１３（Ｂ１３）の符号化が続くので、そのシーンチェンジ発生直後のPピクチャであるピクチャ１４（Ｐ１４）をＩピクチャ相当の符号量で符号化しても、ＧＯＰの総符号量上限値を超えることがない否かを判断している。
【００３９】
ここで、本実施形態では、Ｍ＝３であるので、符号化制御部３８は、"２×Ｌｃｂｂ"を加えた値が、ＧＯＰに対して要求される総符号量の上限を超えるか否かを判断し、超える場合には、このＰピクチャの符号化結果を廃棄し、Ｐピクチャの符号化結果を廃棄することを示すＰピクチャスキップフラグＦＰskipを１とし、シーンチェンジ検出フラグＦｃｎｇを０にする。これに対し、超えない場合は、このＰピクチャの符号化結果をそのまま採用し、ＰピクチャスキップフラグＦＰskipを０とし、シーンチェンジ検出フラグＦｃｎｇを０にする。
【００４０】
図３では、"２×Ｌｃｂｂ"を加えた値がＧＯＰ総符号量上限値を超える場合を示しているので、符号化制御部３８は、Ｐピクチャ１４（Ｐ１４）を符号化した後に、バッファ２４に対しＰピクチャ１４（Ｐ１４）の符号化結果を廃棄するようバッファ制御信号を送信する一方、図３（ｄ）に示すように、Ｐピクチャ１４（Ｐ１４）の符号化結果を廃棄することを示すＰピクチャスキップフラグＦＰskipを１にセットする一方、図３（ｂ）に示すように、シーンチェンジ検出フラグＦｃｎｇを０に戻す。
【００４１】
これにより、バッファ２４は、ＰピクチャスキップフラグＦＰskipが１の場合、符号化制御部３８からのバッファ制御信号により、図３（ｆ）に示すように、Ｐピクチャ１４（Ｐ１４）の符号化結果を廃棄する。
【００４２】
また、符号化制御部３８は、ＰピクチャスキップフラグＦＰskipが１の場合、すなわち図３（ｆ）に示すようにＰピクチャ１４（Ｐ１４）の符号化結果を廃棄する場合には、それ以降に続くＢピクチャ１２（Ｂ１２）、Ｂピクチャ１３（Ｂ１３）の参照画像がなくなるので、図３（ｃ）に示すように、シーンチェンジ直前のＢピクチャ１３（Ｂ１３）を、Ｐピクチャ１３（Ｐ１３）に変換して、Ｐピクチャ相当の符号量で量子化されるよう量子化部２０に対し量子化制御信号を送り、量子化部２０はその量子化制御信号に基づいてＤＣＴ係数を量子化する。
【００４３】
（３）Ｂピクチャの符号化
Ｂピクチャについては、符号化制御部３８は、ＰピクチャスキップフラグＦＰskipが０の場合、通常のＢピクチャ相当の符号量で量子化されるよう量子化部２０に対し量子化制御信号を送り、量子化部２０はその量子化制御信号に基づいてＤＣＴ係数を量子化する。
【００４４】
次に、符号化制御部３８は、このＢピクチャの符号化により発生した符合量を含めた現在までのＧＯＰの総符号量に、（Ｍ−２）×Ｌｃｂｂ、ここでは１×Ｌｃｂｂを加えた値が、ＧＯＰに対して要求される総符号量上限値を超えるか否かを判断する。そして、（Ｍ−２）×ＬｃｂｂがＧＯＰ総符号量上限値を超える場合、このＢピクチャの符号化結果を廃棄し、その結果を示すＢピクチャスキップフラグＦＢskipを１にする。これに対し、（Ｍ−２）×ＬｃｂｂがＧＯＰ総符号量上限値を超えない場合、このＢピクチャの符号化結果をそのまま利用し、その結果を示すＢピクチャスキップフラグＦＢskipを０にする。図３に示す例では、後者の（Ｍ−２）×ＬｃｂｂがＧＯＰ総符号量上限値を超えない場合である。
【００４５】
ＰピクチャスキップフラグＦＰskipが１の場合、シーンチェンジ直前ピクチャと、廃棄されていない１つ前のＰピクチャとの間に符号化すべきピクチャが存在する場合には、当該ピクチャを符号化し、その後に符号化列Ｃｂｂを付加した上で、ＰピクチャスキップフラグＦＰskipを０に戻す。
【００４６】
例えば、図３の場合、シーンチェンジ直前Ｂピクチャ１３（Ｂ１３）と、廃棄されていない１つ前のＰピクチャ１１（Ｐ１１）との間に、Ｂピクチャ１２（Ｂ１２）が存在するので、図３（ｆ）に示すように、Ｂピクチャ１２（Ｂ１２）を符号化し、その後に符号化列Ｃｂｂを付加した上で、ＰピクチャスキップフラグＦＰskipを０に戻す。
【００４７】
なお、図示はしていないが、ＰピクチャスキップフラグＦＰskipが０、ＢピクチャスキップフラグＦＢskipが１の場合は、Ｐピクチャ（Ｐ１３）に続きＢピクチャ１２（Ｂ１２）の符号化結果も廃棄する場合なので、Ｐピクチャ（Ｐ１３）に続きＢピクチャ１２（Ｂ１２）の符号化結果の代わりに、後方向予測（または前方向予測）／動きベクトル０／予測誤差０のＣｂｂ信号を２回続けて出力した上で、ＰピクチャスキップフラグＦＰskipを０に戻す。なお、この場合は、例えば、Ｂピクチャ（Ｂ１２）と、Ｐピクチャ（Ｐ１３）との間でシーンチェンジが検出された場合が該当する。
【００４８】
そして、ＰピクチャスキップフラグＦＰskipおよびＢピクチャスキップフラグＦＢskipが共に０の場合は、通常の手続通り、Ｂピクチャを符号化する。そして、ＧＯＰ最後のＢピクチャの符号化により発生した符合量を含めた現在までの総符号量が、ＧＯＰ全体の総符号量の上限を超えるか否かを判断し、超えてしまう場合は、ＧＯＰ最後のこのＢピクチャの符号化結果を廃棄し、その代わりに後方向予測（または前方向予測）／動きベクトル０／予測誤差０のＣｂｂ信号を付加する一方、超えない場合はＧＯＰ最後のこのＢピクチャの符号化結果をそのまま出力する。
【００４９】
従って、本実施の形態１の動画像符号化装置によれば、ＧＯＰの最後のＭ（本実施形態の例では、Ｍ＝３である。）ピクチャ内でシーンチェンジが発生しても、シーンチェンジ後の最初のレファレンスピクチャがＰピクチャである場合、符号化制御部３８は、シーンチェンジ後のＰピクチャを、Ｉピクチャ相当の符号量（量子化配分）により符号化を行うよう量子化部２０を制御するので、シーンチェンジ後のＰピクチャに十分な符号量を割り当てることができ、シーンチェンジ後の動画像符号化信号の画質劣化を防止することができる。
【００５０】
また、本実施の形態１では、ＧＯＰの最後のＭ（本実施形態の例では、Ｍ＝３である。）ピクチャ内でシーンチェンジが発生した場合、Ｐピクチャの符号化により発生した符合量を含めた現在までのＧＯＰの総符号量に、"（Ｍ−１）×Ｌｃｂｂ"を加えた値が、ＧＯＰに対して要求される総符号量の上限を超えるか否かを判断し、超える場合には、このＰピクチャの符号化結果を廃棄し、その代わりに後方向予測（または前方向予測）／動きベクトル０／予測誤差０のＣｂｂ信号、すなわち後（未来）または前（過去）の画像をそのまま使用することを示すＣｂｂ信号を出力するので、シーンチェンジ後の動画像の画質劣化を防止することができると共に、ＧＯＰの発生符号量を一定値以下にできる。
【００５１】
また、本実施の形態１によれば、ＧＯＰ構造を変えるような複雑な処理をすることなく、メモリなどの資源を大量に必要とすることもない。
【００５２】
なお、上記実施の形態では、ＭＮ値がそれぞれＮ＝１５、Ｍ＝３の場合で説明したが、本発明では、このＭＮ値に制限されることはなく、他のＭＮ値でも勿論よい。このことは、実施の形態２でも同様である。
【００５３】
また、本実施の形態１では、Ｂピクチャとして挿入する最小限信号として、後方向予測（または前方向予測）／動きベクトル０／予測誤差０のＣｂｂ信号、すなわち後（未来）または前（過去）の画像をそのまま使用することを示すＣｂｂ信号を挿入するように説明したが、本発明では、これに限らず、後（未来）および前（過去）の画像の双方を使用して平均化（１／２）等しても勿論良く、要は、入力される動画像信号に依存しない、符号長の短い符号化ビット列の信号であれば何でもよい。このことは、実施の形態２でも同様である。
【００５４】
また、本実施の形態１では、ＰピクチャをＩピクチャと同等の符号化配分で符号化した符号量を含めたＧＯＰ先頭から当該Ｐピクチャまでの符号量と、予めピクチャを示すための符号長が最小限の最小限信号の符号量に前記Ｍの値から１または２減算した値を乗算したＰピクチャ以降の最低必要符号量とを加算した値が、ＧＯＰに対して要求される総符号量上限値を超えるか否かを判断するように説明したが、本発明では、これに限らず、その加算値と総符号量上限値との差分を求めて、その差分が所定の閾値を超えるか否かにより、その加算値が総符号量上限値を超えそうか、超えそうもない、と判断するようにしても勿論よい。このことは、実施の形態２でも同様である。
【００５５】
また、本実施の形態１では、前記加算値と前記総符号量上限値とに基づいて、前記加算した値が、ＧＯＰに対して要求される総符号量上限値を超える場合、当該Ｐピクチャの符号化結果を廃棄するようバッファ２４を制御し、かつ、最小限信号であるＣｂｂをバッファ２４を介して出力させるように説明したが、本発明では、これに限らず、当該Ｐピクチャの符号化結果を廃棄するようバッファ２４を制御するだけで、後のＧＯＰ構造を崩さない限り、最小限信号であるＣｂｂをバッファ２４を介して出力させなくても良い。このことは、実施の形態２でも同様である。
【００５６】
また、本実施の形態１では、動画像信号のＧＯＰ毎に各ＧＯＰ最後のＭ（Ｍは、ＭＮ値のＭの値）ピクチャ内でシーンチェンジが発生するか否かを検出するように説明したが、本発明では、これに限らず、ＧＯＰ最後の数Ｍピクチャ数内でも、さらには、ＧＯＰ最後のＭピクチャでなく、ＧＯＰの最初の方でも、中央付近でも、ＧＯＰ内であればどこでも良い。
【００５７】
実施の形態２.
上記実施の形態１では、例えば、ＧＯＰ最後のＭ（本実施形態の例では、Ｍ＝３である。）ピクチャ内でシーンチェンジが発生した場合に、ＧＯＰ単位で総符号量がＧＯＰの上限値を超えないように説明したが、シーンチェンジは何時発生するのかわからないのが普通である。
【００５８】
そこで、本実施の形態２では、ＧＯＰをＭ値で区切り、Ｍ値単位でシーンチェンジが発生しても、Ｍ値単位で総符号量がＧＯＰの上限値を超えないようにする。
【００５９】
例えば、上記実施の形態１と同様に、ＧＯＰのＭＮ値がそれぞれＮ＝１５、Ｍ＝３の場合、１ＧＯＰをＰピクチャの出現割合を示すＭ値の３ピクチャ毎に区切った場合、この３ピクチャ（フレーム）毎に一単位としてＧＯＰ先頭からの総符号量を決めておき、この３フレーム毎の一単位により、上記実施の形態１の同様の処理を行っても勿論よい。
【００６０】
従って、本実施の形態２によれば、上記実施の形態１と同様に、シーンチェンジ後の動画像の画質劣化を防止することができると共に、ＧＯＰの発生符号量を一定値以下にできる。
【００６１】
また、本実施の形態２では、ＧＯＰをＭ値で区切り、Ｍピクチャ単位でシーンチェンジが発生しても、Ｍピクチャ単位で総符号量がＧＯＰの上限値を超えないようにしているため、ＧＯＰ内のいずれの箇所でシーンチェンジが発生しても、そのシーンチェンジが発生したＭピクチャ内で上記実施の形態１と同様の処理を行い、それ以降のピクチャの符号化には影響を与えないので、ＧＯＰの最初や前半等でシーンチェンジが発生しても、シーンチェンジによる画質劣化等の悪影響が及ぶピクチャを少なくすることが出来る。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施の形態である動画像符号化装置の構成例を示すブロック図である。
【図２】シーンチェンジが発生しない場合のＧＯＰにおけるピクチャの符号化順等を示す図である。
【図３】シーンチェンジが発生した場合のＧＯＰにおけるピクチャの符号化順等を示す図である。抽出した撮影情報を記録したテーブルの一例を示す図である。
【符号の説明】
【００６３】
１０  シーン検出部、１２  並び替え部、１４  減算器、１６  第１モード切替え部、１８  ＤＣＴ部、２０  量子化部、２２  可変長符号化部、２４  バッファ、２６  逆量士化部、２８  逆ＤＤＣＴ部２８、３０  加算器、３２  第２モード切り替え部、３４  参照画像メモリ、３６  動き補償予測部、３８  符号化制御部。
【図１】
2010034939.tif 000003
【図２】
2010034939.tif 000004
【図３】
2010034939.tif 000005