(57)【要約】【課題】従来は、符号量割当と実際の符号化難度との相関性が低く、アングルブロック間、ＧＯＰ間での画質差が発生する。また、目標符号量への厳密な符号量制御が必要となり、目標符号量に合わせるために帳尻合わせの作業が発生し、画質への悪影響が出る。【解決手段】バッファチェッカ部１４は、仮想デコーダのバッファ占有量をアングルブロック単位で算出し、仮想デコーダのバッファが破綻する場合は、エンコード部１２によりそのアングルブロックの再エンコードを行わせる。ストリーム補正部１７は、チェック済みのマルチアングルストリームの各アングルブロック毎にバッファ占有量最終状態の最小値を求め、その最小値をアングルブロックの代表値とすると共に、代表値を示したアングルブロック以外の同じ順番の他のアングルブロックのバッファ占有量最終状態の値と代表値との符号量差分の補完用データを、他のアングルブロックに追加する。【選択図】図１
2008258858.tif 000002
【特許請求の範囲】
【請求項１】
複数の動画データをそれぞれ符号化して複数のマルチアングルストリームを生成する動画像符号化装置であって、
前記複数の動画データのそれぞれに対し、先頭を面内符号化ピクチャとし、かつ、面間符号化ピクチャはブロック内で完結するようにした複数の符号化ピクチャからなるアングルブロックを共通単位として符号化を行って、それぞれのアングルブロックが時系列的に合成された複数の符号化ビットストリームを出力するエンコード手段と、
前記複数の符号化ビットストリームのそれぞれについて、前記アングルブロック単位で仮想デコーダのバッファ占有量を計算する計算手段と、
前記計算手段で計算したアングルブロックの前記仮想デコーダのバッファ占有量が所定のバッファ占有量範囲を超えているときは、仮想デコーダのバッファ破綻と判定して、このバッファ破綻と判定したアングルブロックの符号化前の前記動画データに対して前記バッファ破綻を起こさないように再符号化を行う再エンコード手段と、
前記エンコード手段又は前記再エンコード手段により符号化された前記仮想デコーダのバッファ占有量が前記所定のバッファ占有量範囲内である前記アングルブロックで、かつ、前記複数の符号化ビットストリームの同じ順番の複数の前記アングルブロックのうち、前記計算手段で計算した前記バッファ占有量最終状態の値が最小となる数値を、その順番のアングルブロックの代表値とする処理を前記アングルブロック単位で行う代表値検出手段と、
前記複数のアングルブロックのうちバッファ占有量最終状態の値が前記代表値と異なるアングルブロックに対して、代表値とバッファ占有量最終状態の値との符号量差分だけ補完用データを付加する補完手段と、
前記代表値が検出された前記アングルブロックと前記補完手段により前記補完用データが付加された前記アングルブロックとをそれぞれ前記複数のマルチアングルストリームとして蓄積する蓄積手段と
を有することを特徴とする動画像符号化装置。
【請求項２】
前記エンコード手段から出力される前記複数の符号化ビットストリームのそれぞれに対し、前記アングルブロック単位で所定のピクチャの仮想デコーダのバッファモデル状態を記す部分にダミーデータを記録する記録手段と、
同じ順番の前記複数のアングルブロックの前記ダミーデータが記録された部分に、それぞれ前記代表値を上書きで記録する代表値適用手段と、
を更に有し、前記計算手段は前記ダミーデータが記録された前記複数の符号化ビットストリームのそれぞれについて、前記アングルブロック単位で仮想デコーダのバッファ占有量を計算することを特徴とする請求項１記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像符号化装置に係り、特にマルチアングル動画データに対して符号化を行う動画像符号化装置に関する。
【背景技術】
【０００２】
従来、光ディスクなどのパッケージメディアでは、ＭＰＥＧ（Moving Picture Experts Group）に代表される圧縮符号化技術を用いて作成されたビデオストリームとオーディオストリームとを多重化して記録している。また、光ディスク規格であるＤＶＤ(Digital Versatile Disk)やブルーレイディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｋ）などでは、ストリーム再生時にユーザの操作により複数のストリームをシームレスに切り換えることができるマルチアングル機能が採用されている。このマルチアングル機能により、例えばある物体を複数台のカメラで同時に撮影した動画データを、編集を施すことなくカメラ単位で別ストリームとして圧縮、多重化記録を行うことで、再生時にユーザが自由にストリームを切り換え、好みの視点を選ぶことが可能となる。
【０００３】
一方、複数のマルチアングルストリームのシームレスな切り換えを実現するためには、各マルチアングルストリームにおけるアングル切り換え点での整合性をとる必要がある。各マルチアングルストリームをアングル切り換え点で区切った単位をアングルブロックと呼ぶ。光ディスク等で使用されるＭＰＥＧ２（例えば、非特許文献１参照）やＭＰＥＧ４−ＡＶＣ（例えば、非特許文献２参照）などの規格に代表される動画像符号化方式により圧縮されたマルチアングルストリームにおいて、アングルブロック間での接続整合性をとるためには、アングルブロック内で完結した複数のＧＯＰ（Group Of Picture）構造をとること、アングルブロック間で規格に定められた仮想デコーダのバッファモデルを破綻させないことが求められる。なお、ＧＯＰとは、１枚の面内符号化画像を先頭とした複数枚のピクチャからなるピクチャ処理単位である。
【０００４】
図５はＧＯＰの一例の構造を示す。同図において、Ｉピクチャ（I−Picture）は面内符号化画像であり、Ｐピクチャ（P-Picture）は過去１枚のピクチャを参照して符号化された面間順方向予測符号化画像であり、Ｂピクチャ（B-Picture）は例えば過去、未来各１枚のピクチャを参照して符号化された面間双予測符号化画像である。被参照となるピクチャはＩピクチャとＰピクチャに限定されており、Ｉピクチャを起点とした再生は保証されている。しかし、これらの制約は画質の向上に足かせとなる。また、すべてのアングルブロック間で整合性をとる必要があり、切り換え可能なマルチアングルストリームの数が多く、そのストリーム時間も長い場合、膨大な作業量が必要となる。
【０００５】
そこで、アングルブロック間での接続整合性をとりながら、作業量の削減と無駄な発生符号を抑えるビットストリームエンコードを行うデータ圧縮装置が従来知られている（例えば、特許文献１参照）。図６は特許文献１におけるマルチアングル対応ストリーム作成方法を説明するフローチャートを示す。特許文献１ではマルチアングル対応のストリームを作成するに当たり、まず、ＧＯＰ構造を固定とする（ステップＳ３１）。その状態で固定の量子化値によるエンコードにより発生した符号量を基にした困難度を測定する（ステップＳ３２）。
【０００６】
続いて、測定された困難度についてＧＯＰ単位で集計し（ステップＳ３４）、ストリーム間で対応するＧＯＰ内で最も困難度が大きいものから計算した目標符号量を対応するすべてのＧＯＰの目標符号量とする（ステップＳ３５、Ｓ３６）。以上のステップＳ３４〜Ｓ３６の処理をＧＯＰ単位ですべてのＧＯＰについて行った後（ステップＳ３３、Ｓ３７）、ＧＯＰの目標符号量を基に仮想デコーダのバッファモデルのバッファ占有量の計算を行い（ステップＳ３８）、問題があるかどうか判定し（ステップＳ３９）、問題がある場合は問題がある箇所の目標符号量に補正を加える（ステップＳ４０）。問題がない場合は最終的に算出された目標符号量に合うように、対応するＧＯＰ間で共通設定された目標符号量に合わせてエンコードを行う（ステップＳ４１）。
【０００７】
これにより、アングルブロック間の仮想デコーダのバッファモデル破綻を回避することで作業量を抑え、アングルブロックより小さいＧＯＰ単位でアングルブロック間の符号量均一化を図ることで無駄な発生符号を抑える。
【０００８】
【非特許文献１】ISO/IEC 13818-2：2000,Information technology--Generic coding of moving pictures and associated audio information：Video
【非特許文献２】ISO/IEC 14496-10：2004,Information technology--Coding of audio-visual objects--Part 10：Advanced Video Coding
【特許文献１】特開平１０−２９０４２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１では予測発生符号量に基づいた制御を行うため、符号量割当と実際の符号化難度との相関性が低く、アングルブロック間、ＧＯＰ間での画質差が発生する。また、仮想デコーダのバッファモデル破綻検証を目標符号量で行っているため、目標符号量への厳密な符号量制御が必要となり、目標符号量に合わせるために帳尻合わせの作業が発生し、画質への悪影響が出るという課題がある。
【００１０】
本発明は以上の点に鑑みてなされたもので、画質への影響を抑えつつアングルブロック間での接続整合性をとることが可能な動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、本発明は、複数の動画データをそれぞれ符号化して複数のマルチアングルストリームを生成する動画像符号化装置であって、複数の動画データのそれぞれに対し、先頭を面内符号化ピクチャとし、かつ、面間符号化ピクチャはブロック内で完結するようにした複数の符号化ピクチャからなるアングルブロックを共通単位として符号化を行って、それぞれのアングルブロックが時系列的に合成された複数の符号化ビットストリームを出力するエンコード手段と、複数の符号化ビットストリームのそれぞれについて、アングルブロック単位で仮想デコーダのバッファ占有量を計算する計算手段と、計算手段で計算したアングルブロックの仮想デコーダのバッファ占有量が所定のバッファ占有量範囲を超えているときは、仮想デコーダのバッファ破綻と判定して、このバッファ破綻と判定したアングルブロックの符号化前の動画データに対してバッファ破綻を起こさないように再符号化を行う再エンコード手段と、エンコード手段又は再エンコード手段により符号化された仮想デコーダのバッファ占有量が所定のバッファ占有量範囲内であるアングルブロックで、かつ、複数の符号化ビットストリームの同じ順番の複数のアングルブロックのうち、計算手段で計算したバッファ占有量最終状態の値が最小となる数値を、その順番のアングルブロックの代表値とする処理をアングルブロック単位で行う代表値検出手段と、複数のアングルブロックのうちバッファ占有量最終状態の値が代表値と異なるアングルブロックに対して、代表値とバッファ占有量最終状態の値との符号量差分だけ補完用データを付加する補完手段と、代表値が検出されたアングルブロックと補完手段により補完用データが付加されたアングルブロックとをそれぞれ複数のマルチアングルストリームとして蓄積する蓄積手段とを有することを特徴とする。
【００１２】
この発明では、アングルブロック単位で、アングルブロックの仮想デコーダのバッファ破綻の有無を判定し、バッファ破綻と判定したときは、そのアングルブロックの符号化前の動画データに対してバッファ破綻を起こさないように再符号化を行うようにしたため、画質の悪影響を最小限に抑えることができ、また、複数のマルチアングルストリームにおける同じ順番の複数のアングルブロックのうちバッファ占有量最終状態の値が代表値と異なるアングルブロックに対して、代表値とバッファ占有量最終状態の値との符号量差分だけ補完用データを付加するようにしたため、代表値が検出されたアングルブロックと補完用データが付加されたアングルブロックとの接続整合性をとることができる。
【００１３】
また、上記の目的を達成するため、本発明はエンコード手段から出力される複数の符号化ビットストリームのそれぞれに対し、アングルブロック単位で所定のピクチャの仮想デコーダのバッファモデル状態を記す部分にダミーデータを記録する記録手段と、同じ順番の複数のアングルブロックのダミーデータが記録された部分に、代表値を上書きでそれぞれ記録する代表値適用手段とを更に有し、計算手段はダミーデータが記録された複数の符号化ビットストリームのそれぞれについて、アングルブロック単位で仮想デコーダのバッファ占有量を計算することを特徴とする。この発明では、アングルブロックにダミーデータを記録することで、その領域を予め確保しておくようにしたため、その後アングルブロックに代表値を簡単に上書きすることができる。
【発明の効果】
【００１４】
本発明によれば、アングルブロック単位で、アングルブロックの仮想デコーダのバッファ破綻の有無を判定し、バッファ破綻と判定したときは、そのアングルブロックの符号化前の動画データに対して破綻を起こさないように再符号化を行い、また、バッファ占有量最終状態の値が代表値と異なるアングルブロックに対して補完用データを付加して代表値が検出されたアングルブロックと同じバッファ占有量最終状態の値とするようにしたため、画質への悪影響を最小限に抑えつつ、アングルブロック間での接続整合性をとるマルチアングルストリームエンコード機能を実現することができる。
【発明を実施するための最良の形態】
【００１５】
次に、発明を実施するための最良の形態について図面と共に説明する。図１は本発明になる画像符号化装置の一実施の形態の構成図を示す。図１に示すように、本実施の形態は、マルチアングル動画データ蓄積部１１、エンコード部１２、ストリームバッファ部１３、バッファチェッカ部１４、スイッチ１５、チェック済みストリームバッファ部１６、ストリーム補正部１７、及びストリーム貯蓄部１８から構成されている。
【００１６】
マルチアングル動画データ蓄積部１１は、一つのタイトルで同一時間で進行する複数の場面を収録して得られた、ユーザの操作切替で選択して再生可能な複数のマルチアングル動画データを蓄積している。エンコード部１２は複数のマルチアングル動画データを所定の符号化方式（例えば、ＭＰＥＧ２、あるいはＭＰＥＧ４−ＡＶＣ）でアングルブロックを共通単位として、エンコード（符号化）を行う。エンコード時に先頭が面内符号化画像（Ｉピクチャ）で構成され、面間符号化がブロック内で完結するアングルブロックを単位としてエンコードを行ってマルチアングルストリームを出力する。アングルブロックの構成はピクチャ数についてはアングルストリーム間で共通である。また、エンコード部１２はマルチアングルストリームの各アングルブロック毎に、そのアングルブロックの所定のピクチャの仮想デコーダのバッファモデル状態を記す部分に第１のダミーデータを記録する。
【００１７】
図２はアングルブロック構成の一例を示す。同図（Ａ）に示すマルチアングルストリームは、第１のマルチアングル動画データをエンコードして得られたストリームであり、同図（Ｂ）に示すマルチアングルストリームは、第２のマルチアングル動画データをエンコードして得られたストリームであり、共にアングルブロックが時系列的に合成されたストリームである。図２に示すように、アングルブロックＡ、Ｂはそれぞれ先頭に面内符号化ピクチャ（Ｉピクチャ）が配置され、その面内符号化ピクチャと二以上の面間符号化ピクチャ（Ｐピクチャ、Ｂピクチャ）とからなる複数の符号化ピクチャで構成されると共に、面間符号化がブロック内で完結するブロックである。
【００１８】
また、複数のマルチアングルストリームの間において、同じ順番のアングルブロックは共通のピクチャ数を単位としている。すなわち、図２（Ａ）に示す第１のマルチアングルストリームの先頭のアングルブロックＡと、図２（Ｂ）に示す第２のマルチアングルストリームの先頭のアングルブロックＡとは共にピクチャ数は「７」で共通であり、また、各マルチアングルストリームの２番目のアングルブロックＢは共にピクチャ数は「４」で共通である。
【００１９】
一方、同じ順番のアングルブロックのピクチャ構成は同一とは限らない。例えば、図２（Ａ）に示す第１のマルチアングルストリームの先頭のアングルブロックＡと、図２（Ｂ）に示す第２のマルチアングルストリームの先頭のアングルブロックＡとは、前者がＩピクチャの数が「１」であるのに対し、後者のＩピクチャの数は「２」であり、ピクチャ構成が異なっている。しかし、アングルブロックＢのように、マルチアングルストリーム間で同じピクチャ構成をとってもよい。また、アングルブロックＡとアングルブロックＢに含まれるピクチャ数が違うが、同ストリーム内でのアングルブロック内ピクチャ数に制限は無い。
【００２０】
図１のストリームバッファ部１３は、エンコード部１２からの複数のマルチアングルストリームを一時保持し、複数のマルチアングルストリームの同じ順番のアングルブロックの符号化動画データをそれぞれバッファチェッカ部１４に供給する。バッファチェッカ部１４は、仮想デコーダのバッファ占有量をアングルブロック単位で算出し、仮想デコーダのバッファが破綻しないかをチェックする。破綻する場合は、そのアングルブロックの符号化動画データをスイッチ１５を介して破棄し、エンコード部１２により再度そのアングルブロックの再エンコードを行わせる。
【００２１】
チェック済みストリームバッファ部１６はスイッチ１５を介して入力されるチェック済みのマルチアングルストリームを一時保持する。ストリーム補正部１７は、チェック済みのマルチアングルストリームのアングルブロック単位の仮想デコーダのバッファモデル状態のうちバッファ占有量最終状態が最小となる数値をアングルブロックの代表値とし、その代表値をマルチアングルストリームの各アングルブロックの所定のバッファモデル状態を記す部分に上書きすると共に、これにより発生した実数値との符号量差分を第２のダミーデータ（補完用データ）で追加補完する。ストリーム貯蓄部１８は、ストリーム補正部１７からの複数のマルチアングルストリームを貯蓄する。
【００２２】
次に、図１の実施の形態の動作について、図３のフローチャート及び図４のストリームバッファ部１３の構成図と共に詳細に説明する。図１において、マルチアングル動画データ蓄積部１１に蓄積されている複数のマルチアングルデータが順番にエンコード部１２に供給され、仮想デコーダバッファの破綻にかかわらず各アングルブロック単位でエンコードが行われ、マルチアングルストリームを出力する（図３のステップＳ１１）。ここで、エンコード部１２は先頭が面内符号化ピクチャで構成され面間符号化がブロック内で完結するアングルブロックを、複数のマルチアングル動画データ間で共通単位としてエンコードを行う。前述した図２（Ａ）、（Ｂ）に示すように、アングルブロックの構成はピクチャ数については複数のマルチアングルストリーム間で共通である。
【００２３】
また、エンコード部１２は、エンコード結果であるビットストリーム（マルチアングルストリーム）における仮想デコーダのバッファモデル状態（バッファ占有量）を記す部分（例えば、ＭＰＥＧ４−ＡＶＣでは、「Buffering period SEI message」内のinitial_cpb_removal_delay及びinitial_cpb_removal_delay_offset、及び「Picture timing SEI message」内のcpb_removal_delayなど）に第１のダミーデータを記録する。これは、第１のダミーデータは固定のデータであり、その後にアングルブロックが変更になっても、その第１のダミーデータの記録領域は変わらないので、その第１のダミーデータの記録領域を予め確保しておき、それを後で検索して後述する代表値を上書きすることができるようにするためである。
【００２４】
上記のエンコードは、前記マルチアングル動画データが入力されなくなるまで繰り返され、その全てのエンコード結果であるビットストリーム（マルチアングルストリーム）はストリームバッファ１３に入力され、一旦蓄積される。
【００２５】
このストリームバッファ部１３の構成は図４（Ａ）、（Ｂ）、（Ｃ）に示すように、各マルチアングル動画データのエンコード結果であるマルチアングルストリームＡ，Ｂ，Ｃ別にアングルブロックを単位としたアングルブロックストリームを符号化順に配列した構成をとる。なお、図４では３つのマルチアングルストリームＡ、Ｂ、Ｃについて図示しているが、その数についてはこれに限定されるものではない。
【００２６】
次に、図１のバッファチェッカ部１４へストリームバッファ部１３からまず、図４の各マルチアングルストリームＡ、Ｂ、Ｃそれぞれの先頭のアングルブロックＡＡ、ＢＡ、ＣＡが入力される。バッファチェッカ部１４は入力されたアングルブロックＡＡ、ＢＡ、ＣＡの仮想デコーダのバッファ占有量の初期値を設定した後（図３のステップＳ１４）、その符号量により仮想デコーダのバッファ占有量Ｂをアングルブロック単位で算出し（図３のステップＳ１５）、仮想デコーダのバッファが破綻しないかをチェックする（図３のステップＳ１６）。ステップＳ１６では、算出したバッファ占有量Ｂが、
Ｂｍｉｎ≦Ｂ≦Ｂｍａｘ        （１）
を満たすときに仮想デコーダバッファは破綻していないと判断する。なお、（１）式中、Ｂｍｉｎは仮想デコーダバッファが破綻しない最小符号量、Ｂｍａｘは最大符号量であり、動画圧縮符号化規格で規定されるものである。
【００２７】
バッファ占有量Ｂが（１）式を満たさないときには仮想デコーダバッファは破綻するので、スイッチ１５をｂ側に接続してそのアングルブロックを破棄する。また、バッファチェッカ部１４は、チェック結果から仮想デコーダバッファが破綻する箇所と量を特定し、それらの情報をエンコード部１２へ入力する。
【００２８】
エンコード部１２は、バッファチェック部１４からの入力を受け付けた場合、バッファチェック部１４からの入力を基に、仮想デコーダバッファの破綻を回避する方向に該当する箇所を含む区間の再エンコードを行う（図３のステップＳ１７）。そのエンコード結果のアングルブロックはストリームバッファ部１３を通して、バッファチェッカ部１４へ入力され再チェックが行われる（図３のステップＳ１４、Ｓ１５、Ｓ１６）。
【００２９】
一方、算出したバッファ占有量ＢがステップＳ１６にて（１）式を満足し、バッファチェッカ部１４にて破綻していないと判断された場合、スイッチ１５をａ側に接続してそのアングルブロックをチェック済みストリームバッファ部１６へ出力すると共に、バッファ占有量最終状態をストリーム補正部１７へ出力する。
【００３０】
図４に示した３つのマルチアングルストリームの先頭のアングルブロックＡＡ、ＢＡ、ＣＡに対して以上のステップＳ１４〜Ｓ１６、Ｓ１７の一連の処理が完了すると、続いて、３つのマルチアングルストリームのそれぞれの２番目のアングルブロックＡＢ、ＢＢ、ＣＢがストリームバッファ部１３からバッファチェッカ部１４に入力されて上記の一連の処理が行われる。以下、上記と同様にして、マルチアングルストリームに所属する同じ順番のアングルブロック同士について、上記のステップＳ１４〜Ｓ１６、Ｓ１７の一連の処理が全てのアングルブロックが無くなるまで繰り返される（ステップＳ１４、Ｓ１８）。
【００３１】
このようにしてバッファチェッカ部１４から、チェック済みストリームバッファ部１６に全てのマルチアングルストリームに対するアングルブロックが供給されると、ストリーム補正部１７へチェック済みストリームバッファ部１６からアングルブロックが出力される。ストリーム補正部１７では、バッファチェッカ部１４から入力されたバッファ占有量最終状態のうち、全マルチアングルストリームの共通アングルブロック毎の最小値をバッファ占有量最終状態代表値として採用する（図３のステップＳ１９）。
【００３２】
ストリーム補正部１７で採用されたバッファ占有量最終状態代表値はバッファチェッカ部１４へ出力される。バッファチェッカ部１４は入力されたバッファ占有量最終状態代表値を次アングルブロックストリームのバッファ占有量初期値として適用し（図３のステップＳ２０）チェックを続ける（図３のステップＳ１５〜Ｓ１７）。
【００３３】
また、ストリーム補正部１７は入力されるアングルブロックに対し前記バッファ占有量最終状態代表値を適用する。すなわち、各アングルブロックの前記第１のダミーデータが記録されている仮想デコーダのバッファモデル状態を記す部分に、代表値（バッファ占有量最終状態が最小となる数値）を用いてバッファモデル状態を計算し上書き記述する。この適用に当たり、アングルブロックのバッファ占有量最終状態の値とバッファ占有量最終状態代表値に差異（符号量差分）があるかどうか判定し（図３のステップＳ２２）、差異がある場合は、第２のダミーデータを付加することでバッファ占有量最終状態代表値と整合性をとる（図３のステップＳ２３）。
【００３４】
ここで、バッファ占有量最終状態代表値と整合性をとるために第２のダミーデータを付加する理由について説明する。仮想デコーダにおけるバッファモデルの入出力符号量は簡易的にまとめると、入力符号量は指定ビットレートに応じた単位時間当たりの符号量であり、出力符号量は単位時間当たりのストリームの符号量となる。本実施の形態では、単位時間当たりのストリーム符号量はマルチアングルストリームの符号量に等しいので、バッファ占有量最終状態の最小値はマルチアングルストリームの終盤符号量が最大であり、整合性をとるためには、他のマルチアングルストリームの終盤符号量を増やす必要があり、そのために他のマルチアングルストリームに第２のダミーデータを付加するのである。
【００３５】
このようにして、ストリーム補正部１７はバッファ占有量最終状態代表値を、入力される全てのマルチアングルストリームのアングルブロックに適用する（図３のステップＳ２４）。その後、アングルブロックストリームはビットストリーム貯蓄部１８へ出力され、アングルブロック単位で連結される（図３のステップＳ２１〜Ｓ２６）。
【００３６】
例えば、図４（Ａ）、（Ｂ）、（Ｃ）に示したマルチアングルストリームＡ、Ｂ、Ｃについて処理を行っている場合、マルチアングルストリームＡ、Ｂ、Ｃそれぞれ先頭のアングルブロックＡＡ、ＢＡ、ＣＡについて検証を行い、仮想デコーダバッファ破綻がある場合は該当アングルブロックの再エンコードを行う。
【００３７】
そして、仮想デコーダバッファ破綻がないすべてのアングルブロックＡＡ、ＢＡ、ＣＡのバッファ占有量最終状態値を算出し、そのうちのバッファ占有量最終状態値の最小値を代表値として適用し、ストリーム貯蓄部１８に出力する。その後、続いてマルチアングルストリームＡ、Ｂ、Ｃそれぞれの２番目のアングルブロックＡＢ、ＢＢ、ＣＢ以降についても、先のバッファ占有量最終状態代表値をバッファ占有量初期値として用いながら、バッファ占有量最終状態代表値を算出し、ダミーデータ付加により各アングルブロックの整合性をとりながら上記と同様の処理を行う。
【００３８】
以上の処理により、最終的にストリーム貯蓄部１８へ出力された各マルチアングルストリームにおけるアングルブロック間の接続は、符号化構造的に問題なく、仮想デコーダバッファモデルは確実に破綻しない、シームレスな接続が可能となる。また、特許文献１のように極端な符号量制御は必要ではなく、画質に基づいたエンコード手法を適用できるためエンコード画質の向上及びアングル間の安定化が図られる。さらに、仮想デコーダバッファ破綻による再エンコードにおいても、バッファのチェック時に特定したバッファが破綻する箇所及び破綻量を用いてアングルブロック単位のピンポイントで補正をすることができ、極端な符号量制御による画質劣化を防ぐことができる。
【００３９】
以上、説明したように、本発明により、複数のマルチアングル動画データに対し、先頭が面内符号化ピクチャで構成され面間符号化がブロック内で完結するアングルブロックをマルチアングル動画データ間で共通単位としエンコードを行い、エンコード結果であるビットストリームそれぞれについてアングルブロック単位で仮想デコーダのバッファモデル状態（すなわち、バッファ占有量）を計算し、アングルブロック単位でバッファ占有量最終状態が最小となる数値をアングルブロックの代表値とし、その代表値を他ビットストリームのアングルブロックに適用し、適用手段により発生した実数値との符号量差分をダミーデータで補完し、その代表値を次にアングルブロックのバッファ占有量初期値として適用し引き続き次アングルブロック群の処理を行い、万一、バッファモデル状態を計算した段階においてバッファモデルが破綻した場合に該当アングルブロックについて破綻を回避する方向へ再エンコードを行うことにより、画質への影響を抑えつつアングルブロック間での接続整合性をとるマルチアングルストリームエンコード機能を提供することができる。
【００４０】
なお、本発明は以上の実施の形態に限定されるものではなく、コンピュータにより図１の動画像符号化装置の各構成の機能を実行させる動画像符号化プログラムも包含するものであり、そのフローチャートは図３のようになる。この動画像符号化プログラムは、記録媒体に記録されていて記録媒体からコンピュータに取り込まれてもよいし、ネットワークを介して配信されてコンピュータにダウンロードされてもよいし、予め装置内にファームウエアとして組み込まれてもよい。
【図面の簡単な説明】
【００４１】
【図１】本発明の動画像符号化装置の一実施の形態のブロック図である。
【図２】本発明におけるマルチアングル動画データとアングルブロックの一例を示した図である。
【図３】本発明の動画像符号化の動作説明用フローチャートである。
【図４】本発明の動画像符号化装置の一実施の形態におけるストリームバッファ部の構成の一例を示す図である。
【図５】ＧＯＰ構造の一例を示す図である。
【図６】従来例におけるデータ圧縮装置におけるマルチアングル対応ストリーム作成の手順を示したフローチャートである。
【符号の説明】
【００４２】
１１  マルチアングル動画データ蓄積部
１２  エンコード部
１３  ストリームバッファ部
１４  バッファチェッカ部
１５  スイッチ
１６  チェック済みストリームバッファ部
１７  ストリーム補正部
１８  ストリーム貯蓄部
【図１】
2008258858.tif 000003
【図３】
2008258858.tif 000004
【図４】
2008258858.tif 000005
【図６】
2008258858.tif 000006
【図２】
2008258858.tif 000007
【図５】
2008258858.tif 000008