(57)【要約】【課題】シーンチェンジに係わる符号化ピクチャ先頭での判定処理の負荷を軽減することのできる動画像符号化装置を得る。【解決手段】シーンチェンジに係わる制御情報を一つのノードに格納し、ノードと他のノードとを連結したリスト形式の制御シーケンスの集合からなるシーンチェンジ制御データ１０５を予め設ける。制御シーケンス判定部８は、シーンチェンジが発生した場合、シーンチェンジ制御データ１０５を用いて、制御情報に基づく制御をピクチャの符号化開始前に判定する。シーンチェンジ制御設定部９は、制御シーケンス判定部８の判定結果に基づいて符号化に関する設定を符号化処理部３に対して行う。【選択図】図１
2008236197.tif 000002
【特許請求の範囲】
【請求項１】
動画像を差分符号化する動画像符号化装置において、
シーンチェンジに係わる制御情報を一つのノードに格納し、当該ノードと他のノードとを連結したリスト形式の制御シーケンスを用いて、符号化対象となるピクチャに対し、前記制御情報に基づく制御を前記ピクチャの符号化開始前に設定し、次のノードがあれば次のピクチャの符号化時には次のノードの制御情報に基づく制御を行うシーンチェンジ制御設定部と、
前記シーンチェンジ制御設定の設定を受け、各ピクチャの符号化処理を行う符号化処理部とを備えた動画像符号化装置。
【請求項２】
制御シーケンスの制御情報は、イントラブロック指定と予測方向指定と予測フィールド指定とからなることを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
符号化情報が与えられた場合、当該符号化情報に基づいて符号化処理部への符号化処理の設定を行う通常制御設定部を備えたことを特徴とする請求項１または請求項２に記載の動画像符号化装置。
【請求項４】
制御シーケンスは、参照可能なピクチャの挿入間隔と符号化するピクチャの構造と制御種別情報とによって分類されると共に、
参照可能なピクチャの挿入間隔と、符号化するピクチャの構造と、制御種別情報とが入力された場合、前記分類された制御シーケンスの中から該当する制御シーケンスを選択し、シーンチェンジ制御設定部に出力する制御シーケンス判定部を備えたことを特徴とする請求項２に記載の動画像符号化装置。
【請求項５】
動画像における各画像でのシーンチェンジ有無の情報を持つノードを連結した映像シーンチェンジ情報に基づいて、符号化するピクチャのノードからシーンチェンジの発生した画像までの距離を制御種別情報として出力する制御種別判定部を備えたことを特徴とする請求項４記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像を差分符号化する動画像符号化装置に関するものである。
【背景技術】
【０００２】
映像符号化では、映像のもつ膨大な情報量を圧縮するため、時間的に前後の画面との差分を符号化することで冗長な情報を除去している。しかし、シーンチェンジなどで連続性がとぎれてしまうと、とぎれた箇所では差分が大きくなり符号化効率が低下すると共に、類似でない画像を参照部分として選択してしまうことにより、映像に乱れが発生し、画質が劣化する。
【０００３】
このような問題を回避するため、従来より様々な対策が取られている。例えば、特許文献１に示すような動画像符号化装置では、差分を取る画像を限定することで符号化効率の改善および画質の改善を行っている。このような装置を実現しようとする場合、シーンチェンジの前後の画像を符号化する際のいくつかのフレームに渡って予測方向や予測フィールドを制限する、動き予測のモードを限定するなどの制限を行う必要がある。
【０００４】
また、シーンチェンジに関係する制御にはこれ以外にも、例えば、特許文献２に示すように、イントラブロックを選択する方法もある。
【０００５】
このような様々な制御を行う場合には、符号化処理を行う際に、現符号化ピクチャの構造（ストラクチャ）や参照可能ピクチャのフレーム間隔であるＭ値、現ピクチャの符号化モードおよびシーンチェンジ発生箇所との時間順序関係および符号化のための並べ替えを考慮して処理の有無および処理内容を判定する必要がある。
【０００６】
【特許文献１】特開２０００−２７０３３２号公報
【特許文献２】特開平５−２９２４８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、このような様々な処理をピクチャ毎にシーンチェンジとの位置関係やピクチャタイプ、今までに符号化されたピクチャがどちらの映像か等の情報から判断しようとすると、複数の判定処理が必要となり、処理の負荷が重くなってしまうという問題があった。
【０００８】
この発明は上記のような課題を解決するためになされたもので、シーンチェンジに係わる符号化ピクチャ先頭での判定処理の負荷を軽減することのできる動画像符号化装置を得ることを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る動画像符号化装置は、シーンチェンジに係わる制御情報を一つのノードに格納し、ノードと他のノードとを連結したリスト形式の制御シーケンスを用いて、符号化対象となるピクチャに対し、制御情報に基づく制御をピクチャの符号化開始前に設定し、次のノードがあれば次のピクチャの符号化時には次のノードの制御情報に基づく制御を行うシーンチェンジ制御設定部と、シーンチェンジ制御設定の設定を受け、各ピクチャの符号化処理を行う符号化処理部とを備えたものである。
【発明の効果】
【００１０】
この発明の動画像符号化装置は、シーンチェンジに係わる制御情報を一つのノードに格納し、ノードと他のノードとを連結したリスト形式の制御シーケンスを用いて、各ピクチャへの符号化を設定するようにしたので、シーンチェンジに係わる符号化ピクチャ先頭での判定処理の負荷を軽減することができる。
【発明を実施するための最良の形態】
【００１１】
実施の形態１．
図１は、この発明の実施の形態１による動画像符号化装置を示す構成図である。
図において、動画像符号化装置は、並べ替え部１、入力画像メモリ２、符号化処理部３、局部復号画像メモリ４、通常制御設定部５、シーンチェンジ検出部６、制御種別判定部７、制御シーケンス判定部８、シーンチェンジ制御設定部９を備えている。
【００１２】
並べ替え部１は、インターレースの入力画像１０１を入力し、これを符号化順に並べ替える機能部であり、入力画像メモリ２は、並べ替え部１が並べ替え処理を行う際に用いるメモリである。符号化処理部３は、通常制御設定部５およびシーンチェンジ制御設定部９の設定に基づき、また、局部復号画像メモリ４に格納された局部復号画像を参照画像として用い、並べ替え部１で並べ替えられた各ピクチャの符号化処理を行う機能部である。また、符号出力１０２は符号化処理部３で符号化された出力である。局部復号画像メモリ４は、符号化時に作成した局部復号画像を蓄積するためのメモリである。通常制御設定部５は、符号化情報１０３に基づき、符号化処理部３に対してピクチャ構造や符号化タイプといった設定を行う機能部である。この符号化情報１０３は、符号化しているＭＰＥＧ−２の設定情報である。
【００１３】
シーンチェンジ検出部６は、入力画像１０１の前フレーム差分を元にシーンチェンジを検出する機能部であり、検出したシーンチェンジ情報は、映像シーンチェンジ情報１０４として制御種別判定部７に出力される。制御種別判定部７は、映像シーンチェンジ情報１０４のリスト内の符号化対象のノードからシーンチェンジ有の位置を検索し、制御種別の値を算出する機能部である。制御シーケンス判定部８は、符号化情報１０３と制御種別判定部７から出力された制御種別情報とシーンチェンジ制御データ１０５に基づいて、制御シーケンスを判定する機能部である。シーンチェンジ制御データ１０５は、参照可能なピクチャの挿入間隔および符号化するピクチャの構造、制御種別情報によって分類されたリスト形式の制御シーケンスの集合であるが、これについては後述する。
【００１４】
シーンチェンジ制御設定部９は、制御シーケンス判定部８で判定された制御シーケンスに基づき、符号化処理部３に対して、イントラブロックの指定、予測方向の指定、予測フィールドの再設定を行う機能部である。
【００１５】
次に、実施の形態１の動画像符号化装置の動作について説明する。
並べ替え部１は、インターレースの入力画像１０１を入力し、入力画像メモリ２を用いて符号化順に並べ替えを行う。次に、符号化処理部３は、並べ替え部１で並べ替えられた各ピクチャに対するＭＰＥＧ−２の符号化処理を行う。この符号化処理は、ピクチャの符号化前にピクチャに対するいくつかの符号化パラメータを受け付ける事ができる符号化処理である。ここで、設定できる符号化パラメータは以下のものであるとする。
Ａ）ピクチャの構造（フレーム構造、トップフィールド構造、ボトムフィールド構造のうちから一つ）
Ｂ）符号化タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）
Ｃ）イントラＭＢ（マクロブロック）の使用（ＯＮ／ＯＦＦ）
Ｄ）参照画像として選択できる方向（前、後）
Ｅ）参照画像として選択できるフィールド（トップ、ボトム）
【００１６】
局部復号画像メモリ４には、符号化時に作成した局部復号画像が蓄えられており、符号化処理部３において、差分符号化での参照画像として指定できる様に構成されている。また同時に、符号化処理部３は、可変長符号化を行ったＭＰＥＧ−２の符号出力１０２も行う。
【００１７】
符号化情報１０３は、符号化しているＭＰＥＧ−２の設定情報である。これは、ａ）フレーム構造またはフィールド構造、ｂ）Ｍ値、ｃ）Ｎ値の三つのパラメータである。ここで、Ｎ値はＩピクチャのフレーム間隔であり、Ｎ値はＭ値で割り切れるものに限定する。通常制御設定部５は、符号化情報１０３に従って、前述のＡ），Ｂ）を後述の判定処理によって設定し、Ｃ），Ｄ），Ｅ）は常に固定で、Ｃ）はＯＦＦ、Ｄ）は前後両方、Ｅ）はトップ，ボトム両方に常に設定する。通常制御設定部５における判定処理としては、Ａ）の設定は、ａ）の設定がフレーム構造である場合はフレーム構造固定、ａ）の設定がフィールド構造であればトップフィールド構造とボトムフィールド構造をピクチャ毎に交互に指定するものとする。Ｂ）の判定は通常制御設定部５内に存在する図示しないフレームカウンタを元に算出する。フレームカウンタは、初期値０で１フレームの符号化が完了すると１インクリメントするカウンタで、インクリメントした結果、ｃ）のＮ値と同じ値になると０になるものとする。フレームカウンタ値が０で、Ａ）の値がトップフィールド構造またはフレーム構造の場合にＩピクチャを選択し、それ以外でフレームカウンタ値をＭで割り切れる場合はＰピクチャを選択し、それ以外はＢピクチャを選択する。
【００１８】
シーンチェンジ検出部６は、入力画像１０１の前フレーム差分を元にシーンチェンジを検出する。検出したシーンチェンジ情報は、映像シーンチェンジ情報１０４のリストに格納する。
図２は、映像シーンチェンジ情報１０４のリストを示す説明図である。
図示のように、映像シーンチェンジ情報１０４は、下記の４情報からなるノードのリスト構造とする。
Ｈ）フレームタイプ（ＰフレームもしくはＢフレーム）
Ｉ）トップフィールド直前のシーンチェンジ（ＳＣ）有無
Ｊ）ボトムフィールド直前のシーンチェンジ（ＳＣ）有無
Ｋ）前のフレームへのポインタ
【００１９】
シーンチェンジ検出部６は、通常制御設定部５とは異なるフレームカウンタを持っており、このフレームカウンタは、通常制御設定部５と同様に初期値０で１フレームのシーンチェンジ検出処理が完了すると１インクリメントするカウンタで、インクリメントした結果、ｃ）のＮ値と同じ値になると０になるものとする。シーンチェンジ検出部６は、本カウンタを元に、Ｈ）フレームタイプを設定する。映像シーンチェンジ情報１０４のリストは入力順のリストであるため、条件が異なり、フレームカウンタの値＋１がＭ値で割り切れる場合にＰフレームとし、それ以外はＢフレームとする。Ｉ）およびＪ）はシーンチェンジ検出処理の結果が格納される。更に、フレームの切れ目を検出すると、次のノードの領域を確保し、次のノードの前フレームへのポインタを現ノードにＫ）として設定し、判定結果を保存するノードを次のノードに変更する。
【００２０】
制御種別判定部７は、Ｐピクチャの符号化が指示されたピクチャの符号化前に処理を始める。映像シーンチェンジ情報１０４のリスト内の符号化対象のノードからシーンチェンジ有の位置を検索し、制御種別の値を算出する。尚、制御種別とは、符号化するピクチャのノードからシーンチェンジの発生した画像までの距離である。
図３は、制御種別判定部７における検索手順を示すフローチャートである。
先ず、制御種別の初期値として０を代入し、処理ノードを符号化対象のノードとする（ステップＳＴ１）。次に、通常制御設定部５で設定したＡ）ピクチャの構造によって処理が３分岐する（ステップＳＴ２）。ステップＳＴ２において、ピクチャの構造がボトムフィールド構造の場合は、処理ノードのボトムのシーンチェンジ有無を検索し（ステップＳＴ３）、その結果と処理種別＝０で判定が完了する（ステップＳＴ４，ＳＴ５）。
【００２１】
ステップＳＴ２において、ピクチャ構造がフレームまたはトップフィールドであった場合、フレーム構造とトップフィールド構造では始点が異なるが、制御種別の値をインクリメントしながら処理ノードのＪ）およびＩ）の値を検索し、シーンチェンジ有りが発見した時点で検索を完了する（ステップＳＴ６〜ステップＳＴ１３）。例えば、ステップＳＴ２においてフレーム構造であった場合は、処理ノードのＪ）ボトムの値を判定し（ステップＳＴ６）、“シーンチェンジあり”であった場合は「シーンチェンジあり」として（ステップＳＴ７）、終了する。一方、“シーンチェンジなし”であった場合は、制御種別の値を＋１して（ステップＳＴ８）、処理ノードのＩ）トップの値を判定する（ステップＳＴ９）。
【００２２】
ステップＳＴ９において、Ｉ）トップの値が“シーンチェンジあり”であった場合は、ステップＳＴ７に進んで「シーンチェンジあり」とし、“シーンチェンジなし”であった場合は、制御種別の値を＋１して（ステップＳＴ１０）、処理ノードの前のフレームにおけるＨ）フレームタイプの値を判定する（ステップＳＴ１１）。ステップＳＴ１において、前のフレームがＢフレームであった場合は、処理ノードを前フレームのノードとし（ステップＳＴ１２）、ステップＳＴ６に戻る。一方、ステップＳＴ１１において前フレームがＰフレームであった場合は「シーンチェンジなし」として（ステップＳＴ１３）、終了する。即ち、シーンチェンジが見つからない場合は前のフレームのノードのＨ）フレームタイプがＰフレームになるまでステップＳＴ６〜ステップＳＴ１２の処理を繰り返す。
【００２３】
以上のような処理によって、シーンチェンジの有無と制御種別の値が判定される。
図４は、トップフィールドの符号化時に図２のシーンチェンジ情報のリストで制御種別した場合の例を示す説明図である。この場合、制御種別１でシーンチェンジありと判定される。
【００２４】
制御種別判定部７でシーンチェンジありと判定され、制御種別情報が制御シーケンス判定部８に出力されると、制御シーケンス判定部８は、シーンチェンジ制御データ１０５から対応する制御シーケンスを判定する。即ち、シーンチェンジ制御設定部９は、入力された制御情報種別の値と、符号化情報１０３におけるピクチャ構造とＭ値から制御シーケンスを特定する。制御シーケンスは、予めシーンチェンジ制御データ１０５として、３種類のピクチャ構造と、１から３までのＭ値と、制御種別の値毎に用意されている。シーンチェンジ制御データ１０５は、可変長のリストで、その一例を図５に示す。この例は、Ｍ＝３、トップフィールド、制御種別１の場合のリストであり、これは次のようなシーンチェンジが発生した場合に対応しているものである。
【００２５】
図６は、シーンチェンジが発生した場合の符号化処理の説明図である。
例えば、ＭＰＥＧ−２のフィールド構造でＭ＝３の場合に、図中（ａ）で示すように、４フレーム目のフィールド間でシーンチェンジが発生した場合、シーンチェンジの制御は、図中（ｂ）に示すように、Ｐピクチャである５フレーム目の符号化から開始し、Ｂピクチャである３フレーム目と４フレーム目の６ピクチャが対象となる。最初のＰピクチャである５フレーム目のトップフィールド（Ｐ５ｔ）は、符号化順でシーンチェンジ後の最初の映像であるのでイントラブロックを選択する。次のＰピクチャである５フレーム目のボトムフィールド（Ｐ５ｂ）は、トップフィールド参照でＰ５ｔをボトムフィールド参照でＰ２ｂを選択できるが、シーンチェンジ後の映像でかつ既にシーンチェンジ後の映像がＰ５ｔで符号化されているので、予測フィールドをトップフィールドに限定しＰ５ｔのみ選択するように限定する。次に符号化するＢピクチャのトップフィールド（Ｂ３ｔ）は２フレーム目のトップフィールド（Ｉ２ｔ）とボトムフィールド（Ｐ２ｂ）、５フレーム目のトップフィールド（Ｐ５ｔ）とボトムフィールド（Ｐ５ｂ）の４ピクチャの画像を参照画像として選択可能であるが、シーンチェンジ前の映像であるため、Ｉ２ｔ，Ｐ２ｂの前方向予測のみに限定する。次に符号化する３フレーム目のボトムフィールド（Ｂ３ｔ）と４フレーム目のトップフィールド（Ｂ４ｔ）は共にＢ３ｔと同じ制御を行う。４フレーム目のボトムフィールド（Ｂ４ｂ）は、シーンチェンジ後の映像であるため、Ｐ５ｔとＰ５ｂの後方向のみに限定する。即ち、処理対象となる６ピクチャのイントラブロックと予測方向と予測フィールドの関係は図中（ｃ）に示す通りとなる。
【００２６】
このような場合、実施の形態１では、図６の（ｃ）に示すようなイントラブロックと予測方向と予測フィールドとの関係が、リスト形式でシーンチェンジ制御データ１０５に登録されているため、従来のように各ピクチャの符号化前にその都度判定処理を行う、といったことが不要となり、シーンチェンジのタイプやストラクチャ、およびＭ値に応じて選択し、機械的に設定すればよいだけとなる。
【００２７】
尚、図５の例では、各ノードにイントラブロックの指定および予測方向の限定情報、予測フィールド限定情報の３種類としたが、更にこれに加えてフィールドＤＣＴ（離散コサイン変換）指定やフィールドＭＣ（動き補償）指定を追加することも可能である。
【００２８】
シーンチェンジ制御判定部９は、制御シーケンス判定部８から制御シーケンスがセットされると、先頭のノードの制御情報から制御内容を読みとり、Ｃ），Ｄ），Ｅ）の設定を符号化処理部３に書き込む。シーンチェンジ制御判定部９の設定は、通常制御設定部５による通常制御設定の後に実行する様にし、設定値を上書きする。次の符号化ピクチャの開始前になると、処理ノードを一つ進めて次のノードの設定を行う。このようにしてリストの終端まで処理を進める。リストの終端に達し、処理ノードが無い場合は設定処理を行わない。
【００２９】
以上のように処理を行うことで、シーンチェンジ検出後のピクチャにおいて、シーンチェンジ発生箇所の位置および符号化による並べ替えを意識する必要なく、機械的に制御を実行することができる。
【００３０】
以上のように、実施の形態１の動画像符号化装置によれば、動画像を差分符号化する動画像符号化装置において、シーンチェンジに係わる制御情報を一つのノードに格納し、ノードと他のノードとを連結したリスト形式の制御シーケンスを用いて、符号化対象となるピクチャに対し、制御情報に基づく制御をピクチャの符号化開始前に設定し、次のノードがあれば次のピクチャの符号化時には次のノードの制御情報に基づく制御を行うシーンチェンジ制御設定部と、シーンチェンジ制御設定の設定を受け、各ピクチャの符号化処理を行う符号化処理部とを備えたので、シーンチェンジに係わる符号化ピクチャ先頭での判定処理の負荷を軽減することができる。
【００３１】
また、実施の形態１の動画像符号化装置によれば、制御シーケンスの制御情報は、イントラブロック指定と予測方向指定と予測フィールド指定とからなるようにしたので、シーンチェンジに係わる予測に使用する画像の制限を実現することができる。
【００３２】
また、実施の形態１の動画像符号化装置によれば、符号化情報が与えられた場合、符号化情報に基づいて符号化処理部への符号化処理の設定を行う通常制御設定部を備えたので、外部より任意の符号化設定を行うことができる。
【００３３】
また、実施の形態１の動画像符号化装置によれば、制御シーケンスは、参照可能なピクチャの挿入間隔と符号化するピクチャの構造と制御種別情報とによって分類されると共に、参照可能なピクチャの挿入間隔と、符号化するピクチャの構造と、制御種別情報とが入力された場合、分類された制御シーケンスの中から該当する制御シーケンスを選択し、シーンチェンジ制御設定部に出力する制御シーケンス判定部を備えたので、予めシーンチェンジを検出した場合の処理手順が記憶されているため、シーンチェンジ発生箇所の位置および符号化による並べ替えを意識する必要なく、機械的に制御を実行することができる。
【００３４】
また、実施の形態１の動画像符号化装置によれば、動画像における各画像でのシーンチェンジ有無の情報を持つノードを連結した映像シーンチェンジ情報に基づいて、符号化するピクチャのノードからシーンチェンジの発生した画像までの距離を制御種別情報として出力する制御種別判定部を備えたので、符号化するピクチャのノードからシーンチェンジの発生した画像までの距離を容易に求めることができる。
【図面の簡単な説明】
【００３５】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像符号化装置の映像シーンチェンジ情報を示す説明図である。
【図３】この発明の実施の形態１による動画像符号化装置の制御種別判定処理を示すフローチャートである。
【図４】この発明の実施の形態１による動画像符号化装置の制御種別判定処理を示す説明図である。
【図５】この発明の実施の形態１による動画像符号化装置の制御シーケンスの一例を示す説明図である。
【図６】この発明の実施の形態１による動画像符号化装置のシーンチェンジが発生した場合の符号化処理の説明図である。
【符号の説明】
【００３６】
１  並べ替え部、３  符号化処理部、５  通常制御設定部、６  シーンチェンジ検出部、７  制御種別判定部、８  制御シーケンス判定部、９  シーンチェンジ制御設定部、１０１  入力画像、１０３  符号化情報、１０４  映像シーンチェンジ情報、１０５  シーンチェンジ制御データ。
【図１】
2008236197.tif 000003
【図２】
2008236197.tif 000004
【図３】
2008236197.tif 000005
【図４】
2008236197.tif 000006
【図５】
2008236197.tif 000007
【図６】
2008236197.tif 000008