(57)【要約】      （修正有）【課題】複数の符号化器を用いた並列動画像符号化装置において、バッファ破綻から即時復帰できるようにする。【解決手段】複数の符号化器により並列符号化処理を実行中に、一方の符号化器においてバッファのアンダーフローが発生した場合、バッファ破掟発生の情報を他方の符号器に送り、他方の符号化器において、バッファ破綻発生ピクチャのビットストリーム出力を停止し、かつ現在符号化中のピクチャデータを繰り返し出力することでバッファ破綻の復帰処理を行う。【選択図】図４
2015171114.tif 000002
【特許請求の範囲】
【請求項１】
一つの入力映像信号を複数の符号化器に分配し、各符号化器でピクチャ単位の画面内符号化処理を並列に実行した後、複数のビットストリームの多重化された一つのビットストリームを出力する動画像符号化装置であって、
前記符号化器による符号化処理時にバッファ破綻を検出するバッファ破綻検知手段と、
バッファ破綻発生の情報を他方の符号化器に送信するバッファ破綻送信手段と、
前記バッファ破綻発生の情報を受信するバッファ破綻受信手段と、
符号化ピクチャの次のピクチャに対して、前記バッファ破綻発生の後の発生符号量を抑制して、符号化を行わせる符号化制御手段と、
バッファ破綻が発生した符号化ピクチャデータのビットストリーム出力を破棄するピクチャデータ破棄手段と、
符号化ピクチャの次のピクチャを、繰り返しビットストリームとして出力するピクチャデータリピート出力手段と、
を具備することを特徴とする動画像符号化装置。
【請求項２】
前記符号化制御手段は、前記バッファ破綻発生の情報を受信したときの符号化ピクチャの符号化処理を一時停止する符号化一時停止手段と、当該符号化ピクチャにおける残りの発生符号量を抑制して、符号化を再開する符号化再開手段と、を具備することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記符号化制御手段は、符号化ピクチャとその後のピクチャとの符号化難易度を比較する比較手段と、前記比較手段による比較に基づき、難易度が低い方のピクチャに対して発生符号量の抑制の対象とするよう切り替えるピクチャ選択手段と、を具備することを特徴とする請求項１又は請求項２に記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ−２方式やＨ．２６４方式による動画像符号化装置に関し、特に、高解像度の動画像データを複数の圧縮符号化装置を用いて並列処理し、得られた複数のビットストリームを一つのビットストリームに多重する符号化方法および装置に関するものである。
【背景技術】
【０００２】
近年、デジタル信号処理の進歩により、動画像や静止画像、音声等、大量のデジタル情報を高能率で符号化し、小型の記録媒体へ記録したり、通信媒体による伝送を行ったりすることが可能になっている。
【０００３】
このような技術を応用して、テレビ放送やビデオカメラで撮影した動画像をストリームに変換できる動画像符号化装置の開発が行われている。
【０００４】
さらに近年、業務用の映像機器や大型テレビでは、映像信号の画面サイズを、従来のＨＤＴＶ（１９２０ピクセルｘ１０８０ライン）よりもさらに大きな４ｋ２ｋ（４０９６ｘ２１６０あるいは３８４０ｘ２１６０）や８ｋ４ｋ（７６８０ｘ４３２０）まで高解像度化したり、フレームレートを１２０Ｈｚや２４０Ｈｚ等の高フレームレート化したりすることによって画質を向上する技術が提案されている。
【０００５】
一般に、このような業務用映像機器の動画符号化装置は、編集環境の利便性を考慮し、画面内予測（イントラピクチャ）のみを用いた符号化が行われることが多い。
【０００６】
しかし上記の大きな画面解像度や、高速なフレームレートの映像信号を符号化処理する場合、従来の映像信号より情報量が増大することから、高速処理可能な高性能の動画像符号化装置が必要になってしまうという問題が発生する。
【０００７】
上記の問題を解決し、高解像度あるいは高フレームレートの映像信号が入力された場合でも従来の符号化装置を利用して、符号化ストリーム出力を実現する手段として以下の先行技術が提案されている。
【０００８】
特許文献１では、入力画像を複数の画像信号に画面分割し、分割画像毎に複数の符号化装置を用いた符号化を行う。
【０００９】
この時、それぞれの符号化装置のビットレートの総和が、所定の値となるようにビットレート割り当てを行うという構成が開示されている。
【００１０】
割り当てるビットレートは、バッファ（ＶＢＶバッファ）をアンダーフローさせないために常に少な目に目標符号量を設定する。
【００１１】
特許文献２では、高フレームレートの映像入力を、複数の符号化装置へフレーム毎に分配して一本のビットストリームを出力する構成を有し、半分のフレームレートで分配した映像入力を、従来のフレームレート期間で並列符号化するという構成が開示されている。
【００１２】
そして、一つのビットストリームとして多重化する時、各符号化装置のフレーム参照関係が正しく保たれるようにヘッダ情報を更新する手段を有することを特徴としている。
【００１３】
このように上記の先行技術によれば、従来よりも大きな高解像度あるいは高フレームレートの入力映像であっても、複数の符号化装置を並列処理することで符号化に伴う処理負荷を分散させることが実現できるようになる。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００１−３４６２０１号公報
【特許文献２】特許第０４３８９８８３号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら特許文献１においては、画面全体のピクチャデータ符号量を、画面分割数に応じて平均的に各動画像符号化装置に目標符号量を割り当てている。
【００１６】
そのため、一部の領域だけが高周波成分の多い複雑な絵柄の場合、その領域だけ画質劣化が目立ってしまう可能性がある。
【００１７】
また、特許文献２による入力画像を分配して並列処理する構成の場合、上述のような画面分割した一部の領域での画質劣化は回避されるものの、次の問題が新たに発生する。
その問題を下図１および２を用いて説明する。
【００１８】
図１には、二つの符号化装置で符号化した場合の動作タイミング例を、図２には当該動作時にバッファアンダーフローが発生してしまった場合のバッファ遷移を図示した。
【００１９】
図１の動作タイミングのように、入力画像が一画面単位にフレーム周期で入力され、各符号化装置に一画面ずつ交互に転送される。
【００２０】
そのため、符号化装置単体にとっては、最大２倍のフレーム周期期間を符号化処理時間として使用することができるようになる。
【００２１】
一方、符号化対象画像の符号化順番で見ると、Ｐｉｃ２と３、Ｐｉｃ３と４のように同じフレーム周期期間に二つのピクチャ符号化を同時に行っている。
【００２２】
このことから、一方の符号化器でピクチャ符号化をしている途中にも、同時にもう一方の符号化器で、ストリーム出力時を仮定したバッファモデルシミュレーションを行わなければならない。
【００２３】
そのため、図２のように一方の符号化装置においてバッファをアンダーフローしてしまうピクチャデータが発生してしまった時（２０１）、並列処理中の他方の符号化ピクチャにおいても、符号化開始前のバッファモデルシミュレーション結果と実際のバッファ占有量が異なり、図中dt1とdt2のタイミングで連続してアンダーフローしてしまう（２０２）問題が発生する。
【００２４】
一般的に、１パス構成の符号化装置においてバッファアンダーフローするピクチャ発生時は、当該ピクチャのビットストリーム出力を破棄し、予め用意した全てのマクロブロックが前方フレーム参照するコピーピクチャに置換する回避方法が知られている。
【００２５】
しかしながら、前述のような業務用の映像機器で使用される符号化装置では、編集時に利便性の高いイントラピクチャのみで符号化しているため、フレーム参照予測を用いたコピーピクチャによるバッファ破綻回避策は実施できない制約がある。
【００２６】
本発明では上述の点に鑑み、複数の符号化器を用いた動画像符号化装置において、バッファ破綻から即時復帰できるようにすることを目的とする。
【課題を解決するための手段】
【００２７】
上述の課題を解決するため、本発明の動画像符号化装置は、一つの入力映像信号を複数の符号化器に分配し、各符号化器でピクチャ単位の画面内符号化処理を並列に実行した後、複数のビットストリームの多重化された一つのビットストリームを出力する動画像符号化装置であって、前記符号化器による符号化処理時にバッファ破綻を検出するバッファ破綻検知手段と、バッファ破綻発生の情報を他方の符号化器に送信するバッファ破綻送信手段と、前記バッファ破綻発生の情報を受信するバッファ破綻受信手段と、符号化ピクチャの次のピクチャに対して、前記バッファ破綻発生の後の発生符号量を抑制して、符号化を行わせる符号化制御手段と、バッファ破綻が発生した符号化ピクチャデータのビットストリーム出力を破棄するピクチャデータ破棄手段と、符号化ピクチャの次のピクチャを、繰り返しビットストリームとして出力するピクチャデータリピート出力手段とを具備することを特徴とする。
【発明の効果】
【００２８】
本発明によれば、複数の符号化器を用いた動画像符号化装置において、バッファ破綻から即時復帰できるようになる。
【図面の簡単な説明】
【００２９】
【図１】本発明の課題を説明する動作タイミング図
【図２】本発明の課題を説明するバッファ遷移図
【図３】本発明を適用するシステム構成図
【図４】本発明の実施形態１に係る符号化装置内のブロック図
【図５】本発明の実施形態１に係る符号化装置内の動作フロー
【図６】本発明の実施形態１に係るバッファ遷移図
【図７】本発明の実施形態１に係る出力ビットストリームのデータ構造
【図８】本発明の実施形態２に係る符号化装置内のブロック図
【図９】本発明の実施形態２に係る符号化装置内の動作フロー
【図１０】本発明の実施形態２に係る出力ビットストリームのデータ構造
【図１１】本発明の実施形態２に係るバッファ遷移図
【図１２】本発明の実施形態３に係る符号化装置内のブロック図
【図１３】本発明の実施形態３に係る符号化装置内の動作フロー
【図１４】本発明の実施形態４に係るシステム構成図
【図１５】本発明の実施形態４に係る動作タイミング図
【図１６】本発明の実施形態４に係る出力ビットストリームのデータ構造
【発明を実施するための形態】
【００３０】
（実施形態１）
＜システム構成＞
図３には、本実施形態に係る動画像符号化装置のシステム構成を示した。
【００３１】
当該符号化装置は、分配器３０１、第一の符号化器３０２、フレームバッファメモリ３０３、第二の符号化器３０４、バッファ破綻送受信ポート３０５、そして多重化器３０６から構成される。
【００３２】
分配器３０１は、入力映像フレームレートを符号化装置の個数で分周した期間毎に、入力映像データを後段の符号化装置へ分配する。
【００３３】
例えば、６０Ｈｚの入力映像を３０Ｈｚの周期で、符号化装置３０１と３０４へ交互に転送するような動作をする。
【００３４】
符号化器３０２は、分配器３０１から転送された1画面分の映像データを内部のフレームバッファメモリ３０３へ蓄積し、当該メモリに蓄積した映像データを現画像として、前述の各種フォーマットによる符号化を行う。
【００３５】
本発明の符号化器では特に断りの無い限り、Ｈ．２６４（ＡＶＣ）方式の画面内予測モードのみを使用して符号化するものとする。
【００３６】
同様に第二の符号化器３０４は、入力された映像データを圧縮符号化し、符号化ピクチャデータを出力する。
【００３７】
また、符号化器３０２および３０４の間では、後述するバッファ破綻の有無を相互に送受信するため専用ポート３０５を備える。
【００３８】
実施形態１、実施形態２、実施形態３では、特に断りの無い限り二つの符号化装置を並列処理する前提で動作内容を記載する。
【００３９】
多重化器３０６は、前記各符号化器から出力された符号化ピクチャデータを、入力映像順の並びになるように一本のビットストリームとして多重化を行う。
【００４０】
以上が本発明の実施形態１におけるシステム構成となる。
【００４１】
＜ブロック構成＞
続いて図４には前記システム構成で説明した、複数構成から成る符号化器３０２および３０４共通の内部処理ブロックを示した。
【００４２】
当該符号化装置は、リピート出力制御部４０１、バッファ破綻受信部４０２、ピクチャ符号化部４０３、目標符号量設定部４０４、ビットストリーム出力部４０５、バッファ破綻送信部４０６から構成される。
【００４３】
以下、各ブロックの機能、およびブロック間の制御内容について説明する。
【００４４】
尚、本発明を適用する上記のブロックは、ＡＳＩＣ等の専用ハードウェアとして実現しても良いし、符号化装置内に具備された図示せぬＣＰＵ等のプロセッサ上で動作するプログラムとして実現しても良いものとし、特に限定しないものとする。
【００４５】
リピート出力制御部４０１は、バッファ破綻受信部４０２からのバッファ破綻有無通知に基づいて、次回当該符号化装置において符号化するピクチャデータを、繰り返し出力する制御信号を、ビットストリーム出力部４０１へ発行する。
【００４６】
バッファ破綻受信部４０２は、符号化装置間で割り込み信号等の専用ポートを用いて、他方の符号化装置においてバッファ破綻してしまうほどの大きなピクチャデータが発生したことを検出する。
【００４７】
バッファ破綻を検出した時は、リピート出力制御部４０１と目標符号量設定部４０４に即時に当該破綻の有無を通知する。
【００４８】
ピクチャ符号化部４０３は、バッファメモリ３０２に格納された入力画像に対して画面内符号化モードで画像圧縮を行い、符号化ピクチャデータをビットストリーム出力部４０５へ転送する。
【００４９】
またピクチャ符号化４０３は、目標符号量設定部４０４からの符号化パラメタ設定に基づき、量子化制御や予測モード選択、エントロピー符号化を内部動作として切り替える。
【００５０】
そして、符号化開始時に予め設定されたバッファ上のピクチャデータ占有量と目標発生符号量を監視し、バッファアンダーフローとなるデータサイズのピクチャデータを符号化してしまった場合には、その旨をバッファ破綻送信部４０６に通知する。
【００５１】
目標符号量設定部４０４は、バッファ破綻受信部４０２からの他方の符号化装置でのバッファ破綻情報、バッファ破綻送信部４０６からの当該符号化でのバッファ破綻発生情報、およびピクチャ符号化部４０３からピクチャ単位で符号化完了ピクチャの発生符号量を受け取る。
【００５２】
上記バッファ破綻情報と、符号化ピクチャの発生符号量を元に、バッファモデルの占有位置をシミュレーションし、次回符号化するピクチャ、または、現在符号化途中のピクチャがバッファアンダーフローおよびオーバフローしないように目標となる発生符号量の計算と設定を行う。
【００５３】
ビットストリーム出力部４０５は、ピクチャ符号化部４０３が出力した符号化済みピクチャデータを受信し、リピート出力制御部４０１からの当該ピクチャデータの繰り返し出力制御信号、およびバッファ破綻送信部４０６からの当該ピクチャデータの出力停止制御信号に基づいて、後段の多重化器１０６へビットストリーム出力を行う。
【００５４】
バッファ破綻送信部４０６は、ピクチャ符号化部４０３で発生したバッファ破綻を受信し、ビットストリーム出力部４０５へ当該ピクチャデータのビットストリーム出力をスキップする制御信号の発行と、他方の符号化装置および目標符号量設定部４０４に対して、当該符号化装置でのバッファ破綻発生を通知する。
【００５５】
他方の符号化装置への前記バッファ破綻送信手段としては、上述のバッファ破綻受信部４０２と同様にハードウェアによる専用ポート等によって瞬時に送受信可能な手段が望ましい。
【００５６】
以上が、本発明を適用する符号化装置を構成するブロックの説明である。
【００５７】
＜破綻送信フロー＞
続いて、本発明の特徴となる前述の機能ブロックを用いて実現する破綻検出と、他の符号化装置への送信処理について、図５の各フローチャートを用いて説明する。
【００５８】
図５（ａ）において、はじめにステップＳ５０１では、当該動画像符号化装置のピクチャ符号化器４０３においてバッファ破綻が発生したか否かを判断する。
【００５９】
バッファ破綻が発生していない場合(ステップＳ５０１のＦＡＬＳＥ)は、本動作フローを終了し当該ピクチャの符号化が完了後、そのままビットストリーム出力部４０５からピクチャデータを出力する。
【００６０】
一方、バッファ破綻が発生した場合（ステップＳ５０１のＴＲＵＥ）は、バッファ破綻送信部４０６から、即時に他方の符号化装置にバッファ破綻送信を行う（ステップＳ５０２）。
【００６１】
バッファ破綻送信後、破綻ピクチャの符号化が終了したかを判断し、符号化が終了するまで待機する（ステップＳ５０３）。
【００６２】
本発明では特に限定しないが、後の破綻復帰処理のフィードバック制御を即時に実行できるためにも、例えばマクロブロック単位等のタイミングで破綻発生が判明した時点で符号化を中断することが望ましい。
【００６３】
破綻ピクチャの符号化終了後（ステップＳ５０３のＴＲＵＥ）、当該ピクチャデータのビットストリーム出力をスキップする制御信号を、バッファ破綻送信部４０６からビットストリーム出力部４０５へ設定し、当該符号化ピクチャを多重化器３０６への転送を停止する（ステップＳ５０４）。
【００６４】
最後に、当該符号化装置で次回符号化するピクチャの目標符号量を設定する(ステップＳ５０５)。
【００６５】
この時設定する目標符号量は、当該符号化装置でバッファ破綻するまでの発生符号量を取得し、当該符号量よりも十分小さいピクチャデータを、他方の符号化装置にて繰り返し出力した後の予測バッファ位置を求めて設定する。
【００６６】
上記ステップによる目標符号量の再計算を行うことで、通常動作時に設定する他方の符号化装置にて符号化中の前ピクチャ発生符号量から導出したバッファ占有量を用いないため、連続したバッファ破綻を事前に回避する。
【００６７】
以上が、バッファ破綻送信時の処理フローである。
【００６８】
＜破綻受信フロー＞
続いて、本発明の特徴となる前述の機能ブロックを用いて実現する破綻受信時の処理について、図５（ｂ）のフローチャートを用いて説明する。
【００６９】
ステップＳ５０６では、前記ステップＳ５０３にて他方の符号化装置が発行したバッファ破綻の受信処理を行う。
【００７０】
バッファ破綻受信が無い場合（ステップＳ５０６のＦＡＬＳＥ）は、本動作フローを終了し、通常動作の符号化処理を継続する。
【００７１】
一方、バッファ破綻を受信した場合（ステップＳ５０６のＴＲＵＥ）、現在符号化中のピクチャが符号化完了するまで待機する（ステップＳ５０７）。
【００７２】
ピクチャ符号化完了後（ステップＳ５０７のＴＵＲＥ）、当該ピクチャの発生符号量からバッファ占有量を更新し、次に符号化するピクチャの目標符号量の割り当てを計算する（ステップＳ５０８）。
【００７３】
上記の目標符号量は、破綻発生ピクチャ発生後のバッファ占有量を用いず、当該符号化装置において前回ピクチャ符号化が完了した時点でのバッファ占有量を用いて、バッファ破綻を発生しない十分小さな目標符号量を設定する。
【００７４】
例えば、現在のバッファ占有量と符号化ビットレートとフレーム周期から計算した蓄積データ量から、今回符号化するピクチャのデコード時間におけるバッファ占有量を予測し、当該占有量の半分に収まるような目標符号量を割り当てる方法等が有効である。
【００７５】
そして、上記目標符号量および各種符号化パラメタを符号化器４０３へ設定し、ピクチャの符号化処理を開始する（ステップＳ５０９）。
【００７６】
続いて発生符号量を抑制するパラメタ設定を行った当該破綻回避用の符号化ピクチャの符号化完了を待ち（ステップＳ５１０）、ピクチャ符号化が完了した時点で（ステップＳ５１０のＴＲＵＥ）、リピート出力制御部４０１に対して当該ピクチャの繰り返し制御を許可する信号を発行する。
【００７７】
前記制御信号によって符号化ピクチャデータをビットストリーム出力部４０５にて、２回繰り返して出力する（ステップＳ５１１）。
【００７８】
以上が、本発明によるバッファ破綻受信時の符号化装置における処理フローである。
【００７９】
＜出力データ構造＞
続いて、本発明による上記動作フローを適用した、各符号化装置の動作タイミング（図６（a））と、出力ビットストームのデータ構造（図６(b)）を図６に示した。
【００８０】
動作タイミング例は、上述の動作フローに従い、符号化器１と符号化器２の二つの符号化装置も用いて、それぞれＰｉｃ１，３，５，７，９の順番と、Ｐｉｃ２，４，６，８の順番でピクチャ符号化を行った場合である。
【００８１】
この時、図中の網掛けで示したＰｉｃ３（６０１）に相当するピクチャ符号化時にバッファのアンダーフローが発生したものとする。
【００８２】
アンダーフロー発生直後、符号化器１での符号化は即時に終了し、バッファ破綻発生を符号化器２に、図中６０２の矢印で示したタイミングで送信する。
【００８３】
そして符号化器２は、上記バッファ破綻を受信し、Ｐｉｃ２の符号化完了を待った後、後続ピクチャであるＰｉｃ４について、破綻受信から符号化完了までに発生する図中６０３の期間に相当する符号量を前記ステップＳ５０７およびＳ５０８に基づいて抑制する。
【００８４】
上記動作タイミングによって符号化したピクチャデータは、ビットストリーム出力部４０５での出力制御によって、図中（ｂ）で示した。
【００８５】
本図では、バッファ破綻ピクチャＰｉｃ３の出力はスキップし、代わりに発生符号量を抑制してバッファ破綻回避したピクチャＰｉｃ４を図中６０４と、６０５の構造になるように２回繰り返して出力した例である。
【００８６】
以上が、本発明による符号化装置の動作タイミングと、出力ビットストリームのデータ構造例である。
【００８７】
＜バッファ遷移図＞
続いて、本発明による上述の動作フローと動作例を適用して出力したビットストームのバッファ遷移を図７に示した。
【００８８】
本図では、太い実線が符号化器１で符号化したピクチャ符号量であり、破線が符号化器２において符号化したピクチャ符号量として図示した。
【００８９】
図６における符号化器２で符号化して、２回繰り返しビットストリーム出力したバッファ破綻回避ピクチャＰｉｃ４がデコードされるタイミングがｄｔ１とｄｔ２のタイミング（図中７０１の区間）となる。
【００９０】
この時、バッファ遷移としては２回繰り返して同じ小さなピクチャ符号量を持ったデコードバッファからのピクチャ掃引が行われ、バッファ占有量がアンダーフローと、次ピクチャ符号化時の空き容量を十分確保できるようになる。
【００９１】
これにより連続したバッファ破綻の回避と、後続する符号化ピクチャへの画質劣化の伝搬を最小限に防止できるようにしている。
【００９２】
以上が、本発明による符号化装置で出力したビットストリームのバッファ遷移例である。
【００９３】
（実施形態２）
実施形態１では、バッファ破綻を受信した際、後続するピクチャを符号化する際に符号量を抑制して符号化を行い、符号化後のピクチャデータを繰り返しビットストリーム出力する方法を説明した。
【００９４】
実施形態２では、バッファ破綻を受信した時点で、入力ピクチャ順として前のピクチャを符号化実行中だった場合は、破綻受信時点以降のピクチャ符号化の目標符号量を更新し、当該符号化ピクチャを繰り返しビットストリーム出力する。
【００９５】
一方、後続ピクチャの符号化実行中だった場合、同様に破綻受信時点以降の発生符号量を更新し、後続ピクチャを繰り返しビットストリーム出力することを、さらに異なる動作として実施する。
【００９６】
これにより、バッファ破綻受信が符号化開始直後に判明すれば、後続ピクチャの画面全部に対して発生符号量を抑制して符号化することなく、即時に前ピクチャの画面途中から符号量の抑制が可能になるため、出力画面としての符号化劣化範囲の低減を実現できる。
【００９７】
以下、本発明の実施形態２について、図を用いて説明する。
【００９８】
なお、実施形態２の説明において、上述した実施形態１と共通する部分について、同一の符号を付して適宜説明を省略する。
【００９９】
＜ブロック構成＞
実施形態２を適用可能な動画像符号化装置のブロック構成を図８に示した。
【０１００】
当該符号化装置は、実施形態１のブロックに加えて、符号化ピクチャ順番判断部８０１から構成されることを特徴とする。
【０１０１】
符号化ピクチャ順判断部８０１は、バッファ破綻を受信した時、バッファ破綻ピクチャと、符号化ピクチャ部４０３で符号化中のピクチャの符号化順を判断する。
【０１０２】
上記判断部の結果に基づいて、破綻ピクチャよりも前のピクチャ符号化時は、前ピクチャの発生符号量抑制とリピート出力制御をし、後続ピクチャの時は後続ピクチャの発生符号量抑制とリピート出力制御をするよう切り替える。
【０１０３】
その他のブロック機能については、実施形態１と同様であるため説明を省略する。
【０１０４】
＜破綻受信フロー＞
図９には、前述の機能ブロックを用いて実現する破綻受信時の動作フローを示した。
【０１０５】
尚、バッファ破綻送信時の動作フローは実施形態１と同様のため省略する。
【０１０６】
最初にステップＳ５０６では、他方の符号化装置が発行したバッファ破綻の受信処理を行う。
【０１０７】
バッファ破綻が受信されなかった場合（ステップＳ５０６のＦＡＬＳＥ）は、本動作フローを終了し、通常動作の符号化処理を継続する。
【０１０８】
一方、バッファ破綻を受信した場合（ステップＳ５０６のＴＲＵＥ）、ピクチャ符号化器４０３の符号化動作を一時停止し、既に符号化完了済みの発生符号量を取得する（ステップＳ９０１）。
【０１０９】
続いて，ステップＳ９０１で取得した符号化済みピクチャデータサイズに基づいて、当該符号化ピクチャの残りの発生符号量について、バッファをアンダーフローしないよう目標符号量の割り当てを再計算する（ステップＳ９０２）。
【０１１０】
上記の目標符号量は、破綻発生ピクチャ発生後のバッファ占有量を用いず、当該符号化ピクチャの符号化開始時のバッファ占有量と、前記ステップＳ９０１で取得した符号化済みピクチャデータの合計より現在のバッファ占有量を求め、バッファ破綻を発生しない十分小さな目標符号量を設定する。
【０１１１】
例えば、現在のバッファ占有量と符号化ビットレートとフレーム周期から計算した蓄積データ量から、当該符号化ピクチャのデコード時間におけるバッファ占有量を予測し、当該占有量の半分に収まるような目標符号量を割り当てる方法等が有効である。
【０１１２】
そして、上記目標符号量および各種符号化パラメタを符号化器４０３へ設定し、当該ピクチャの符号化処理を再開する（ステップＳ９０３）。
【０１１３】
以降、実施形態１と同様にステップＳ５１０、S５１１の処理を実行して、本動作フローを終了する。
【０１１４】
以上が、バッファ破綻受信時の処理フローである。
【０１１５】
＜出力データ構造＞
続いて、本発明による上記動作フローを適用した、各符号化装置の動作タイミング図と、出力ビットストームのデータ構造を図１０に示した。
【０１１６】
図１０（a）は、符号化器１でのＰｉｃ３ピクチャ符号化時のバッファ破綻が、符号化器２のＰｉｃ４符号化中に発生した場合であり、ｔ２のフレーム期間でバッファ破綻を受信したケースである。
【０１１７】
一方、図１０（ｂ）は、符号化器１でのＰｉｃ３ピクチャ符号化時のバッファ破綻が、符号化器２のＰｉｃ２符号化中に発生した場合であり、ｔ１のフレーム期間でバッファ破綻を受信したケースである。
【０１１８】
上記のように、バッファ破綻発生のタイミングが、符号化器２で並列処理している符号化ピクチャの符号順によって、本動作フローを実行した時のビットストリーム出力が変化する。
【０１１９】
Ｐｉｃ４符号化中は、実施形態１の図６と同様に符号化ピクチャＰｉｃ４を２回繰り返してビットリーム出力をする。
【０１２０】
そしてＰｉｃ２符号化中であった場合は、符号化ピクチャＰｉｃ２の発生符号量を抑制して繰り返してビットストリーム出力したデータ構造となる。
【０１２１】
実施形態１では、バッファ破綻の発生タイミングと関係なく、固定的に破綻ピクチャに続く後続ピクチャＰｉｃ４を符号量抑制と繰り返し出力していたが、並列動作中のピクチャ符号化途中でも即時にフィードバックするよう変更した。
【０１２２】
以上が、本発明による符号化装置の動作タイミングと、出力ビットストリームのデータ構造例である。
【０１２３】
＜バッファ遷移図＞
続いて、本発明による上記動作フローを適用して出力した、ビットストームのバッファ遷移を図１１に示した。
【０１２４】
図１１（ａ）は、実施形態１と同様に、破綻ピクチャＰｉｃ３の後に続くＰｉｃ４を符号量抑制し、繰り返しビットストリーム出力した場合のバッファ遷移である。ｄｔ０のタイミングではＰｉｃ２がバッファから掃引され、ｄｔ１およびｄｔ２のタイミングで符号量抑制したピクチャデータＰｉｃ４がデコード出力されている。
【０１２５】
一方、図１１（ｂ）では、破綻ピクチャＰｉｃ３の前にあるＰｉｃ２について発生符号量を抑制して、繰り返しビットストリーム出力した場合のバッファ遷移である。
【０１２６】
図１１（ａ）と異なる点は、ｄｔ０とｄｔ１のタイミングで、同じピクチャデータＰｉｃ２が繰り返しバッファから掃引され、ｄｔ２のタイミングではピクチャＰｉｃ４がデコード出力される遷移となる。
【０１２７】
どちらも、実施形態１と同様に連続したバッファアンダーフローを回避し、さらに図１１（ｂ）のように符号化途中でのＰｉｃ２に対する符号量再設定を行うことで、後続ピクチャＰｉｃ４への画面全体に及ぶような画質劣化を最小限に抑えることが可能となる。
【０１２８】
以上が、本発明による符号化装置で出力したビットストリームのバッファ遷移例である。
【０１２９】
（実施形態３）
実施形態２では、バッファ破綻を受信した時点での、符号化ピクチャ順を判断し、当該判断結果に基づいて現在符号化中ピクチャ、または後続ピクチャのどちらかの目標符号量を更新し、当該符号化ピクチャを繰り返しビットストリーム出力する方法を説明した。
【０１３０】
実施形態３では、第二の構成に加えて、さらにバッファ破綻を前のピクチャ符号化中に受信した時、予めフレームバッファメモリに格納されている後続ピクチャに相当する符号化対象画像の画面難易度を計算し、現在符号化中のピクチャデータの画面難易度と比較を行う。
【０１３１】
そして前記比較結果に基づき、画面難易度の低いピクチャ画像を選択して発生符号量の抑制を適用することを、異なる動作として実施する。
【０１３２】
これにより、発生符号量の抑制およびピクチャデータのリピート処理を実施しても、より再生時の画質劣化を目立ちにくい画像を用いた破綻回避を実現できる。
【０１３３】
尚、本実施形態による動作は、符号化中のピクチャの符号化順が、破綻ピクチャよりも前のピクチャを符号化中である場合にのみ適用可能である。
【０１３４】
以下、本発明の実施形態３について、図を用いて説明する。
【０１３５】
なお、実施形態３の説明において、上述した実施形態１，２と共通する部分について、同一の符号を付して適宜説明を省略する。
【０１３６】
実施形態３を適用可能な動画像符号化装置のブロック構成を図１２に示した。
【０１３７】
この動画像符号化装置は、実施形態２のブロックに加えて、画面難易度判定部１２０１から構成されることを特徴とする。
【０１３８】
画面難易度判定部１２０１は、符号化装置内のバッファメモリに予め蓄積されている次回符号化する現画像データを読み出し、当該画像の画面難易度を符号化に先立って計算し、当該符号化装置において現在符号化中のピクチャデータの画面難易度と比較判定する。
【０１３９】
そのため実施形態３の構成では、分配器３０１から入力された画像を格納するフレームバッファメモリ３０２の領域を、２画面以上の大きさ分確保しておく。
【０１４０】
前記判定部１２１０で行う画面難易度の取得方法は、例えばMPEG-2のソフトウェアモデル「ＴＭ５（ＴｅｓｔＭｏｄｅｌ）」において採用されている符号量制御の、アクティビティ値を対象画像について導出する方法等が有効である。
【０１４１】
アクティビティ値は、４×４あるいは８×８等の画素ブロック単位で、ブロック内の輝度値変化の大小を求める。そのため高周波成分の多い画像か否かを判断する推定することができるため、間接的に符号化劣化が目立ちやすい画像化どうかを判断できる。
【０１４２】
すなわち前記アクティビティ値が小さいほど、画面内の絵柄が一様で平坦であると判断できる。
【０１４３】
一般に、発生符号量の抑制を大きくすると、ＤＣＴ(離散コサイン変換)等の直交変換を用いて周波数変換した画像データの高周波成分への量子化値が大きくなるため、原画像に高周波成分が多いと劣化が目立ちやすくなる。
【０１４４】
本発明の実施形態では、上記アクティビティ値を、バッファ破綻受信時に符号化しているピクチャ画像と、次回符号予定のピクチャ画像について求め、二つのアクティビティ値を比較する。
【０１４５】
そして上記理由より、アクティビティ値が小さいピクチャに対して符号量抑制を行い、再生時の劣化を目立たなくさせることを特徴とする。
【０１４６】
その他のブロック機能については、実施形態１と同様であるため説明を省略する。
【０１４７】
＜破綻受信フロー＞
図１３には、前述の機能ブロックを用いて実現する破綻受信時の動作フローを示した。
【０１４８】
尚、バッファ破綻送信時の動作フローは実施形態１，２と同様のため省略する。
【０１４９】
最初にステップＳ５０６では、他方の符号化装置が発行したバッファ破綻の受信処理を行う。
【０１５０】
バッファ破綻が受信されなかった場合（ステップＳ５０６のＦＡＬＳＥ）は、本動作フローを終了し、通常動作の符号化処理を継続する。
【０１５１】
一方、バッファ破綻を受信した場合（ステップＳ５０６のＴＲＵＥ）は、前記符号化ピクチャ判断部８０１にて、現在符号化中のピクチャが、破綻ピクチャを基準にして前か後にあるかを判断する（ステップＳ１２０１）。
【０１５２】
後続ピクチャを符号化中の場合（ステップＳ１２０１のＦＡＬＳＥ）は、実施形態２と同様にステップＳ９０１、Ｓ９０２、Ｓ９０３、Ｓ５１０、Ｓ５１１の処理を行い、後続ピクチャの符号量抑制と、繰り返しビットストリーム出力し、本動作フローを終了する。
【０１５３】
そして、前のピクチャを符号化中の場合（ステップＳ１２０１のＴＲＵＥ）は、符号化器３０２内のフレームバッファメモリ３０３へアクセスし、既に格納されている次回符号化予定の現画像について、画面難易度を計算して取得する（ステップＳ１２０２）。
【０１５４】
そして前記画面難易度判定部１２０１ブロックにて、ステップＳ１２０２で取得した画面難易度と、現在符号化中ピクチャの画面難易度から、どちらが画面内の複雑さが小さいかを比較する（ステップＳ１２０３）。
【０１５５】
前記ステップＳ１２０３の比較結果から、ステップＳ１２０２で取得した次回符号化予定のピクチャの方が画面内の複雑さが小さいかを判断する（ステップＳ１２０４）。
【０１５６】
次回符号化予定のピクチャよりも、現在符号化中のピクチャの方が、低難易度である場合（ステップＳ１２０４のＦＡＬＳＥ）は、ステップＳ９０1へ移行し、実施形態２と同様のフローによって現在符号化中ピクチャの符号量抑制と、ピクチャデータのストリーム出力を繰り返し行い、本動作フローを終了する。
【０１５７】
反対に次回符号化予定ピクチャの方が、低難易度の場合（ステップＳ１２０４のＴＲＵＥ）は、ステップＳ５０７へ移行し、実施形態１と同様のフローによって後続ピクチャの符号量抑制と、ピクチャデータのストリーム出力を繰り返し行い、本動作フローを終了する。
【０１５８】
以上が、バッファ破綻受信時の処理フローである。
【０１５９】
上述の動作フローによって、出力されるビットストリームのデータ構造およびバッファ遷移は、図１０および図１１を用いて説明した内容と同様になる。
【０１６０】
すなわち、符号化中のピクチャより次回符号化画像の方が、低難易度である場合は、後続ピクチャの符号量を抑制するケースになるので、図１０の（ａ）および図１１の（ａ）と同じデータ構造とバッファ遷移となる。
【０１６１】
そして、符号化中のピクチャの方が、低い画面難易度である場合は、現在符号化中のピクチャ（破綻ピクチャの前のピクチャ）に対して符号量抑制と繰り返しビットストリーム出力するため、図１０（ｂ）および図１１（ｂ）と同等のデータ構造とバッファ遷移となる。
【０１６２】
ただし実施形態２の場合と異なる点として、発生符号量抑制を行う対象ピクチャを画面難易度判定によって選択しているため、上記出力ビットストリームの再生画面の画質劣化が目立ちにくくなる効果を実現できる。
【０１６３】
（実施形態４）
実施形態１〜３では、二つの符号化装置を並列処理したシステム構成でのバッファ破綻送受信と、破綻復帰方法について説明した。
【０１６４】
実施形態４では、三つの符号化装置を並列処理する場合のシステム構成を前提に、システム構成と破綻送受信方法をより汎用的に制御することを、異なる動作として実施する。
【０１６５】
これにより、三つ以上の符号化装置を用いた大規模なエンコーダシステムにおいても破綻回避処理を実現することができる。
【０１６６】
＜システム構成＞
図１４には、本発明の実施形態４で適用する符号化装置のシステム構成を示した。
【０１６７】
当該符号化装置は、実施形態１で記載のシステム構成に加えて、第三の符号化器１４０１および、バッファ破綻管理器１４０２から構成される。
【０１６８】
第三の符号化装置１４０１は、実施形態１と同様の動作を行う。
【０１６９】
バッファ破綻管理器１４０２は、各符号化器３０２、３０４、および１４０１から送信されるバッファ破綻の受信と、各符号化器へバッファ破綻情報を送信する機能を持つ。
【０１７０】
上述までの実施形態では、二つの符号化装置のみの構成を前提とし、符号化器間で、直接バッファ破綻信号を送受信していたが、三つ以上の符号化器を持つ構成の場合、バッファ破綻の送受信が同一の符号化器へループしてしまうことと、ピクチャデータの繰り返し出力する符号化装置が複数になってしまうことを回避する必要がある。
【０１７１】
そのため本実施形態では、上記バッファ破綻管理器１４０２を用いて、どの符号化装置でバッファ破綻が発生したかを集中管理することを特徴とする。
【０１７２】
上記破綻管理器１４０２の動作として、例えば符号化器３０２でバッファ破綻発生を受信した時、バッファ破綻送信を第二の符号化器３０４あるいは第三の符号化器１４０１どちらか一方にだけ送信するようなマスク機能を有する。
【０１７３】
そのため、各符号化器と前記破綻管理器１４０２間を結ぶ、バッファ破綻送受信情報（１４０３、１４０４）には、破綻の有無に加え、本システムにおいて予め一意に与えた符号化器を識別するための情報を伝送するものとする。
【０１７４】
以上が本発明の実施形態４におけるシステム構成となる。
【０１７５】
＜実施形態４の動作例＞
続いて、前記システム構成によるバッファ破綻ピクチャ発生時の、破綻復帰処理の動作タイミングと、データ構造例について図１５と図１６を用いて説明する。
【０１７６】
尚、各符号化器内の処理ブロック、破綻送受信時の動作フローは上述の実施形態１〜３までと同様であるため省略する。
【０１７７】
図１５は三つの符号化器を並列処理した場合の動作タイミングであり、入力映像のフレーム周期の３倍を符号化処理に割り当てながら、各符号化器でパイプラインに動作している例である。
【０１７８】
図１５に示した符号化器１において、網かけで塗りつぶしたＰｉｃ４（１５０１）に相当するピクチャ符号化時にバッファ破綻が発生した場合、一旦符号化器１から前述のバッファ破綻管理器１４０２へ破綻情報を送信し、符号化器２あるいは符号化器３にだけ、再度バッファ破綻を送信する。
【０１７９】
そして、符号化器２に対してバッファ破綻通が送信された場合は、バッファ破綻が発生ピクチャ以後のピクチャ、Ｐｉｃ５（１５０２）の発生符号量の抑制を、符号化器３に対して送信された場合は、Ｐｉｃ６（１５０３）の発生符号量の抑制を、実施形態１〜３までのバッファ破綻受信動作フローに従って行う。
【０１８０】
上記のタイミングで符号化処理を行った後に出力されるビットストリームは、バッファ破綻を受信した符号化器によって、図１６に示したようなデータ構造となる。
【０１８１】
本図では、符号化器２のピクチャデータＰｉｃ５を２回繰り返して出力した場合（図１６（ａ））と、符号化器３のピクチャデータＰｉｃ６を２回繰り返し出力した場合（図１６（ｂ））をそれぞれ示した。
【０１８２】
本発明の実施形態では、破綻発生した符号化器以外のどちらの符号化器に破綻発生を送信するかは特に限定していないが、符号化システムとして予め定めた送信パスとしても良い。
【０１８３】
例えば、符号化器１が破綻した場合は符号化器２へ送信、符号化器２が破綻した場合は符号化器３へ送信、そして符号化器３が破綻した場合は符号化器１へ送信するなどの組み合わせでれば、バッファ破綻管理器の論理を簡素化できる。
【０１８４】
尚、本実施形態は３つの符号化装置を用いたシステム構成において説明しているが、４つ以上の符号化装置を用いた並列動作システムでも汎用的に適用可能である。
【符号の説明】
【０１８５】
３０１：分配器
３０２：符号化器
３０３：バッファメモリ
３０４：第二の符号化器
３０５：バッファ破綻通信ポート
３０６：多重化器
４０１：リピート出力制御部
４０２：バッファ破綻受信部
４０３：ピクチャ符号化器
４０４：目標符号量設定部
４０５：ビットストリーム出力部
４０６：バッファ破綻送信部
【図１】
2015171114.tif 000003
【図２】
2015171114.tif 000004
【図３】
2015171114.tif 000005
【図４】
2015171114.tif 000006
【図５】
2015171114.tif 000007
【図６】
2015171114.tif 000008
【図７】
2015171114.tif 000009
【図８】
2015171114.tif 000010
【図９】
2015171114.tif 000011
【図１０】
2015171114.tif 000012
【図１１】
2015171114.tif 000013
【図１２】
2015171114.tif 000014
【図１３】
2015171114.tif 000015
【図１４】
2015171114.tif 000016
【図１５】
2015171114.tif 000017
【図１６】
2015171114.tif 000018