(57)【特許請求の範囲】
【請求項１】
入力される音声データおよび動画像データの符号化を行う動画像符号化装置であって、
前記音声データを符号化し、音声ストリームを出力する音声符号化部と、
符号化された前記動画像データを復号化する際における仮想的なデータ占有量の推移を示すバッファシミュレーションの結果に基づいて、前記動画像データを符号化し、画像ストリームを出力する画像符号化部と、
前記音声ストリーム、前記画像ストリームおよび他の情報を多重化することにより、多重化ストリームを生成する多重化部と、を備え、
前記画像符号化部は、前記画像符号化部において第１動画像データに後続する第２動画像データを符号化する場合、前記多重化部における多重化処理の処理時間を考慮した前記バッファシミュレーションを実行し、
前記多重化部は、前記画像符号化部において第１動画像データに後続する第２動画像データを符号化する場合、（ａ）（１）前記第２動画像データ、前記第２動画像データに対応する音声ストリームおよび他の情報の多重化処理を考慮しない場合の前記第２動画像データのバッファシュミュレーションにおける前記データ占有量が最初に増加する開始時刻に対して、（２）前記第２動画像データ、前記第２動画像データに対応する前記音声ストリームおよび前記他の情報の多重化に係る時刻を加算することにより、実際のバッファシュミュレーションにおける前記データ占有量が増加する開始時刻を設定し、（ｂ）前記開始時刻における前記データ占有量を前記第１動画像データの符号化が終了した時点におけるデータ占有量と設定し、（ｃ）設定した前記データ占有量および前記開始時刻を前記画像符号化部に出力し、
前記画像符号化部は、前記第２動画像データを符号化する際、前記多重化部が出力する前記データ占有量および前記開始時刻から決定される、前記第２動画像データが前記バッファシミュレーションにおける仮想的なバッファから最初に引抜かれる時点でのデータ占有量を用いて、バッファシミュレーションを実行する
動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データの符号化を行う動画像符号化装置に関する。
【背景技術】
【０００２】
従来、例えば、デジタルコンテンツである映画等の１つのタイトルは、複数のチャプタにより構成されている。また、これらチャプタの実体は、符号化された動画像データと音声データ等が多重化されたストリームである。
【０００３】
従って、１つのタイトルを構成する各ストリームを生成する際には、ストリーム間で動画像が途切れずにシームレスに再生されるように、その生成の際の符号化処理を制御する必要がある。
【０００４】
ここで、動画像データを符号化する符号化装置では、例えばＶＢＶ（Ｖｉｄｅｏ  Ｂｕｆｆｅｒｉｎｇ  Ｖｅｒｉｆｉｅｒ）バッファと呼ばれる仮想バッファを想定し、復号化装置のバッファにおけるデータ占有量の推移をシミュレーションすることができる。
【０００５】
また、このバッファシミュレーションの結果により、復号化装置のバッファがオーバーフローおよびアンダーフローをしないように、符号化処理を制御する。
【０００６】
図５は、シームレス接続がなされていない２つのストリームの仮想バッファにおける占有量の推移の一例を示す模式図である。
【０００７】
図５に示す例では、先行ストリーム１１０１の各ピクチャが所定の間隔で仮想バッファから引抜かれている。また、最後のピクチャＢ１３が復号化され、その後に、後続ストリーム１１０２の仮想バッファへの蓄積が開始されている。なお、上記所定の間隔は、各ストリームのフレームレートの逆数であり、例えば１／６０秒である。
【０００８】
この場合、図に示すように、先行ストリーム１１０１の最後のピクチャＢ１３のデコード画像と、後続ストリーム１１０２の最初のピクチャＩ２のデコード画像との間に途切れが発生することになる。
【０００９】
図６は、シームレス接続がなされている２つのストリームの仮想バッファにおける占有量の推移の一例を示す模式図である。
【００１０】
図６に示すように、後続ストリームの復号化開始時期を早めることで、ピクチャＢ１３のデコード画像とピクチャＩ２のデコード画像との間に途切れが生じず、シームレス再生が可能となる。
【００１１】
このように、先行ストリームと後続ストリームとがシームレスに再生されるように、符号化装置において後続ストリームを生成する場合、先行ストリーム１１０１についての最後の仮想バッファ量を考慮する必要がある。
【００１２】
これは、後続ストリーム１１０２の仮想バッファへの蓄積が開始される時点での仮想バッファ量はゼロではなく、上記の最後の仮想バッファ量を始点として蓄積されることになるからである。
【００１３】
図６に示すように、先行ストリーム１１０１についての最後の仮想バッファ量をＳ0とする。この場合、時刻ｔ1から後続ストリーム１１０２の蓄積が開始され仮想バッファ量はＳ0から増加する。その後、時刻ｔ3においてピクチャＢ１３が仮想バッファから引き抜かれることで、仮想バッファ量はＳ1となる。
【００１４】
このＳ1は、蓄積量の始点となるＳ0と、時刻ｔ3−時刻ｔ1により求まる蓄積時間と、蓄積量の増加角θと、ピクチャＢ１３の符号量とにより求めることができる。なお、増加角θは後続ストリーム１１０２のビットレートによって決定される値である。
【００１５】
その後、時刻ｔ4においてピクチャＩ２が仮想バッファから引抜かれる。このとき、ピクチャＩ２の符号量は、仮想バッファがアンダーフローしない量である必要がある。
【００１６】
そこで、符号化装置は、ピクチャＩ２を生成する際に、後続ストリーム１１０２についての仮想バッファ量の初期値Ｓ10に応じて、ピクチャＩ２の符号量を決定する。
【００１７】
なお、後続ストリーム１１０２についての仮想バッファ量の初期値とは、図６に示すように、後続ストリーム１１０２に含まれる画像ストリームのデータが最初に仮想バッファから引抜かれる時点（ｔ4）の仮想バッファ量である。つまり、図６ではＳ10である。
【００１８】
この初期値Ｓ10は、具体的には、先に求めた時刻ｔ3の時点の蓄積量Ｓ1と、時刻ｔ4−時刻ｔ3により求まる蓄積時間と、増加角θとにより求められる。
【００１９】
符号化装置では、このようにして求めた初期値Ｓ10から、必要に応じて所定のマージン量を減算し、その減算後の値以下になるように、ピクチャＩ２の符号量を決定する。さらに、その符号量になるようにピクチャＩ２に対応する動画像データを符号化する。
【００２０】
ここで、上述の時刻ｔ3、時刻ｔ4、およびθの各値は予め決定されている値である。そのため、符号化装置は、仮想バッファ量の初期値Ｓ10を決定するためには、時刻ｔ1とＳ0とを取得すればよい。
【００２１】
図７は、従来の動画像符号化装置の機能的な構成の一例を示す機能ブロック図である。
【００２２】
図７に示す、従来の動画像符号化装置２００は、入力信号から音声ストリームを生成する音声符号化部２０１と、入力信号から画像ストリームを生成する画像符号化部２０２と、音声ストリームと画像ストリームとを多重化する多重化部２０３とを備える。
【００２３】
また、画像符号化部２０２から出力される仮想バッファの蓄積量を示す情報を仮想バッファ情報２０４として保持している。
【００２４】
多重化部２０３は、先行ストリーム１１０１についての最後の仮想バッファ量Ｓ0、および、後続ストリーム１１０２に含まれる画像ストリームの開始時刻である時刻ｔ1を画像符号化部２０２に通知する。
【００２５】
この開始時刻ｔ1としては、例えば、図６に示すように、後続ストリーム１１０２において画像ストリームに先行して音声ストリームが存在する場合、先行ストリーム１１０１の最後のピクチャＢ１３が仮想バッファから引抜かれる時刻ｔ0に、その音声ストリームの符号量に相当する時間が加算された値が与えられる。
【００２６】
または、画像符号化部２０２は、開始時刻ｔ1に対応する所定の値を情報として有しており、多重化部２０３から開始時刻ｔ1を与えられることなく、この所定の値を開始時刻ｔ1としてバッファシミュレーションに用いる。
【００２７】
画像符号化部２０２は、後続ストリーム１１０２に含まれることになる画像ストリームを生成する前に、開始時刻ｔ1と、仮想バッファ量Ｓ0とを用いて、バッファシミュレーションを行い、後続ストリーム１１０２についての仮想バッファ量の初期値Ｓ10を決定する。さらに、当該初期値に従って符号化処理を制御する。
【００２８】
このような、ストリームのシームレス接続に関する技術も開示されている（例えば、特許文献１参照）。
【特許文献１】特許第３６７５４６４号公報
【発明の開示】
【発明が解決しようとする課題】
【００２９】
ここで、後続ストリーム１１０２についての多重化処理の開始時期は、先行ストリーム１１０１の終端より早めることはできない。すなわち、先行ストリーム１１０１の多重化処理終了後にのみ、後続ストリーム１１０２についての多重化処理の開始が可能となる。
【００３０】
そのため、先行ストリーム１１０１の出力の終了から後続ストリーム１１０２の出力の開始までには、実際には多重化処理のための時間が必要である。
【００３１】
また、先行ストリーム１１０１の終端部分および、後続ストリーム１１０２の開始部分に、多重化ストリームの終端処理および開始処理のための制御情報を含む特殊情報を付加する場合がある。
【００３２】
図８は、後続ストリーム１１０２に含まれる画像ストリームの開始時期の違いを示す模式図である。
【００３３】
図８の（ｉ）において、先行ストリーム１１０１および後続ストリーム１１０２には特殊情報が含まれていない。また、（ｉｉ）では、先行ストリーム１１０１に特殊情報１２０３が含まれており、後続ストリーム１１０２には特殊情報１２０４が含まれている。
【００３４】
そのため、後続ストリーム１１０２に含まれる画像ストリームの開始時期が、（ｉ）の場合と比較するとＤ0だけ遅れることになる。
【００３５】
また、同様に（ｉｉｉ）では、先行ストリーム１１０１および後続ストリーム１１０２の間に、多重化に要する時間が存在する。そのため、後続ストリーム１１０２に含まれる画像ストリームの開始時期が（ｉ）の場合と比較するとＤ0だけ遅れることになる。
【００３６】
このように、多重化に要する時間および多重化ストリームに付加された特殊情報の分だけ、後続ストリーム１１０２に含まれる画像ストリームの開始時期が遅れることになる。
【００３７】
しかし、上記従来の技術ではこれらの点を考慮していないため、誤って画像ストリームの開始時期を早めに設定することになる。
【００３８】
これにより、仮想バッファにおけるバッファ占有量の遷移が正しいものではなくなり、後続ストリーム１１０２についてのバッファ量の初期値を誤って算出することになる。
【００３９】
図９は、誤ったバッファ占有量の遷移と正しいバッファ占有量の遷移とを示す模式図である。
【００４０】
図９に示すように、従来の技術によれば、先行ストリーム１１０１と後続ストリーム１１０２とが（ｉ）のような状態にあることを想定している。そのため、後続ストリーム１１０２に含まれる画像ストリームの開始時刻は、ｔ1となり、この条件でバッファシミュレーションした結果、仮想バッファ量の初期値は、Ｓ10となる。
【００４１】
しかし、実際には、（ｉｉ）のように、先行ストリーム１１０１および後続ストリーム１１０２に、特殊情報１２０３および１２０４が存在することなどを起因として開始時刻がｔ1より遅くなる。
【００４２】
具体的には、本例においては図に示すように開始時刻はｔ2となり、正しいバッファ占有量は誤ったバッファ占有量よりも低い値で推移する、その結果、仮想バッファ量の初期値はＳ11となる。
【００４３】
つまり、従来の技術によれば、仮想バッファ量の初期値は、正しい値であるＳ11よりも大きな値であるＳ10となる。さらに、このＳ10に基づいて後続ストリーム１１０２における第１ピクチャの符号量が決定される。
【００４４】
このように、誤った初期値に基づいて第１ピクチャの符号量が決定された場合、図に示すように、第１ピクチャが仮想バッファから引抜かれた時点（ｔ4）でアンダーフローを生じる可能性がある。
【００４５】
つまり、上記従来の技術によれば、復号化装置においてバッファにアンダーフローを生じさせる規格違反のストリームが生成される可能性がある。
【００４６】
なお、このような特殊情報に換えて、図８の（ｉｉｉ）に示すように、先行ストリーム１１０１と後続ストリーム１１０２との間に、多重化に要する時間が存在することのみによっても同様に、後続ストリーム１１０２に含まれる画像ストリームの仮想バッファへの蓄積開始時刻の遅延が生じることになる。
【００４７】
本発明は、上記従来の課題を考慮し、シームレスに再生可能な複数のストリームを生成する動画像符号化装置であって、復号化装置のバッファにアンダーフローを生じさせないストリームを生成する動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００４８】
上記従来の課題を解決するために、本発明の動画像符号化装置は、入力される音声データおよび動画像データの符号化を行う動画像符号化装置であって、前記音声データを符号化し、音声ストリームを出力する音声符号化部と、符号化された前記動画像データを復号化する際における仮想的なデータ占有量の推移を示すバッファシミュレーションの結果に基づいて、前記動画像データを符号化し、画像ストリームを出力する画像符号化部と、前記音声ストリーム、前記画像ストリームおよび他の情報を多重化することにより、多重化ストリームを生成する多重化部と、を備え、前記画像符号化部は、前記画像符号化部において第１動画像データに後続する第２動画像データを符号化する場合、前記多重化部における多重化処理の処理時間を考慮した前記バッファシミュレーションを実行し、前記多重化部は、前記画像符号化部において第１動画像データに後続する第２動画像データを符号化する場合、（ａ）バッファシミュレーションにおける前記データ占有量が最初に増加する開始時刻を、前記第２動画像データ、前記第２動画像データに対応する音声ストリームおよび他の情報の多重化が終了した時刻と設定し、（ｂ）前記開始時刻における前記データ占有量を前記第１動画像データの符号化が終了した時点におけるデータ占有量と設定し、（ｃ）設定した前記データ占有量および前記開始時刻を前記画像符号化部に出力し、前記画像符号化部は、前記第２動画像データを符号化する際、前記多重化部が出力するデータ占有量および開始時刻に基づいてバッファシミュレーションを実行する。
また、本発明の動画像符号化装置において、前記多重化部は、前記第２動画像データ、前記第２動画像データに対応する音声ストリームおよび他の情報の多重化にかかる時間および、前記他の情報を生成する際に必要となる時間に基づいて、前記開始時刻を設定するとしてもよい。
また、本発明の動画像符号化装置は、画像ストリームと他の情報とが多重化された、先行ストリームと後続ストリームとがシームレスに再生されるように前記後続ストリームを生成する際に、その発生符号量と出力先への転送符号量とにより規定される仮想バッファの占有量に応じて符号化処理の制御を行う動画像符号化装置であって、前記後続ストリームについての仮想バッファ量の初期値を決定する際に、前記先行ストリームについての最後の仮想バッファ量に加え、多重化に伴い発生する遅延量を用いて前記初期値を決定するとしてもよい。
【００４９】
本発明の動画像符号化装置は、このように、多重化に伴い発生する遅延量を考慮して後続ストリームについての仮想バッファ量の初期値を決定する。これにより、従来よりも現実に即したバッファシミュレーションを行うことができる。そのため、本発明の動画像符号化装置は、復号化装置のバッファにアンダーフローを生じさせることなく、かつ、シームレスに再生可能な複数のストリームを生成することができる。
【００５０】
また、前記動画像符号化装置は、前記遅延量である、前記後続ストリームを生成する際の多重化に要する時間を用いて前記初期値を決定するとしてもよい。
【００５１】
また、前記動画像符号化装置は、前記先行ストリームおよび前記後続ストリームの少なくとも一方に、前記先行ストリームの終端処理または前記後続ストリームの開始処理のための制御情報を含む特殊情報をさらに多重化し、前記遅延量である前記特殊情報の符号量を用いて前記初期値を決定するとしてもよい。
【００５２】
このように、本発明の動画像符号化装置は、多重化に要する時間、または特殊情報の符号量、もしくはこれら両方を用いて後続ストリームについての仮想バッファ量の初期値を決定することができる。
【００５３】
また、当該初期値の決定に際し、前記動画像符号化装置は、前記後続ストリームに含まれる画像ストリームの、前記遅延量を考慮しない場合の前記仮想バッファへの蓄積の開始時刻に前記遅延量を加算することで、前記遅延量が考慮された前記開始時刻を算出し、算出した前記開始時刻と、前記最後の仮想バッファ量とを用いて、前記初期値である、前記後続ストリームに含まれる画像ストリームのデータが前記仮想バッファから最初に引抜かれる時点での仮想バッファ量を決定するとしてもよい。
【００５４】
また、本発明の画像符号化装置は、動画像データを符号化し画像ストリームを生成する画像符号化手段と、前記画像符号化手段から得られる画像ストリームと他の情報とを多重化することで前記先行ストリームおよび前記後続ストリームを生成する多重化手段と、前記多重化手段が前記後続ストリームを生成する前に、前記多重化に伴い発生する遅延量を算出する算出手段とを備え、前記画像符号化手段は、前記先行ストリームについての最後の仮想バッファ量と、前記算出手段により算出された遅延量とを用いて前記初期値を決定し、決定した前記初期値に基づいて動画像データを符号化することで前記後続ストリームに含まれる画像ストリームを生成するとしてもよい。
【００５５】
つまり、本発明の画像符号化装置を、このように複数の処理手段により実現することもできる。
【００５６】
また、前記算出手段は、前記遅延量である前記多重化に要する時間を算出し、前記画像符号化手段は、前記多重化に要する時間を用いて前記初期値を決定するとしてもよい。
【００５７】
また、前記多重化手段はさらに、前記先行ストリームおよび前記後続ストリームの少なくとも一方に、前記先行ストリームの終端処理または前記後続ストリームの開始処理のための制御情報を含む特殊情報を多重化し、前記算出手段は、前記遅延量である前記特殊情報の符号量を算出し、前記画像符号化手段は、前記特殊情報の符号量を用いて前記初期値を決定するとしてもよい。
【００５８】
また、当該初期値の決定に際し、前記算出手段は、前記後続ストリームに含まれる画像ストリームの、前記遅延量を考慮しない場合の前記仮想バッファへの蓄積の開始時刻に前記遅延量を加算することで、前記遅延量が考慮された前記開始時刻を算出し、算出した前記開始時刻を前記画像符号化手段に通知し、前記符号化手段は、通知された前記開始時刻と、前記最後の仮想バッファ量とを用いて、前記初期値である、前記後続ストリームに含まれる画像ストリームのデータが前記仮想バッファから最初に引抜かれる時点での仮想バッファ量を決定するとしてもよい。
【００５９】
また、本発明の動画像符号化装置は、集積回路として実現することもできる。
【００６０】
さらに、本発明は、本発明の動画像符号化装置の特徴的な構成部の動作をステップとする方法として実現したり、それらステップをコンピュータに実行させるためのプログラムとして実現したり、そのプログラムが記録された記録媒体として実現することもできる。そして、そのプログラムをインターネット等の伝送媒体又はＤＶＤ等の記録媒体を介して配信することもできる。
【発明の効果】
【００６１】
以上のように、本発明の動画像符号化装置によれば、多重化に伴い発生する遅延量が考慮された仮想バッファ量の初期値を決定することができる。
【００６２】
具体的には、後続ストリームを生成する際の多重化に要する時間、および先行ストリームおよび後続ストリームに付加される特殊情報の符号量を用いて当該初期値を決定することができる。
【００６３】
つまり、本発明の動画像符号化装置は、従来は考慮されていなかった遅延量を考慮することで、より現実に即したバッファシミュレーションを行うことができる。
【００６４】
これにより、特に、復号化装置のバッファにアンダーフローを生じさることなく先行ストリームと後続ストリームとをシームレスに再生させることができるという効果が発揮される。
【００６５】
このように、本発明は、復号化装置のバッファにアンダーフローを生じさせることなく、かつ、シームレス再生が可能なストリームを生成することができる動画像符号化装置を提供することができる。
【発明を実施するための最良の形態】
【００６６】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００６７】
図１は、本発明の実施の形態における動画像符号化装置の主要な機能構成を示す機能ブロック図である。
【００６８】
図１に示す本実施の形態の動画像符号化装置１００は、画像ストリームと他の情報とが多重化された、先行ストリームと後続ストリームとがシームレスに再生されるように、後続ストリームを生成する際に、その発生符号量と出力先への転送符号量とにより規定される仮想バッファの占有量に応じて符号化を制御する装置である。
【００６９】
図１に示すように、本実施の形態の動画像符号化装置１００は、音声符号化部１０１と画像符号化部１０２と、多重化部１０３とを備える。
【００７０】
多重化部１０３は、特殊情報生成部１０５と、処理時間算出部１０６と、開始時刻算出部１０７とを有している。また、多重化部１０３は、画像符号化部１０２から出力される、仮想バッファの蓄積量を示す情報を仮想バッファ情報１０４として保持している。
【００７１】
音声符号化部１０１は、入力される音声データを符号化し音声ストリームを生成する処理部である。画像符号化部１０２は、入力される動画像データを符号化し画像ストリームを生成する処理部である。
【００７２】
画像符号化部１０２は、発生符号量に基づき仮想バッファを用いてバッファシミュレーションを行い、仮想バッファがアンダーフローしないように自身の符号化処理を制御する機能を有している。
【００７３】
具体的には、画像符号化部１０２は、先行ストリームについての最後の仮想バッファ量と、多重化に伴い発生する遅延量とを用いて後続ストリームについての仮想バッファ量の初期値を決定する。さらに、決定した初期値に基づいて動画像データを符号化する。
【００７４】
多重化部１０３は、画像符号化部１０２から得られる画像ストリームと他の情報とを多重化することで先行ストリームおよび後続ストリームを生成する処理部である。
【００７５】
具体的には、多重化部１０３は、画像ストリームに音声ストリームおよび特殊情報などの情報を多重化して時系列データである多重化ストリームを生成する。
【００７６】
また、多重化部１０３は、画像符号化部１０２に、適正なバッファシミュレーションの実行に必要な情報を与える機能を有している。
【００７７】
具体的には、特殊情報生成部１０５は、外部から入力される情報に基づき、先行チャプタに対応するストリームの終端処理に必要な特殊情報や、後続チャプタに対応するストリームの開始処理に必要な特殊情報を生成する。
【００７８】
また、処理時間算出部１０６は、画像ストリーム、音声ストリーム、および特殊情報などの多重化に要する時間を算出する。
【００７９】
なお、処理時間算出部１０６は、例えば、理論値または実測値等から求められた、各種情報の多重化に要する時間そのもの、またはその時間を算出するための数式を保持している。また、保持している時間、または数式から求めた時間を、必要に応じた組み合わせで加算等することで多重化に要する全体の時間を算出する。
【００８０】
開始時刻算出部１０７は、特殊情報生成部１０５から得られる特殊情報の符号量と、処理時間算出部１０６から得られる多重化に要する時間の少なくとも一方を用いて、後続ストリーム１１０２に含まれる画像ストリームの蓄積が開始される時刻（以下、単に「開始時刻」という。）を算出する。
【００８１】
図２は、本発明の実施の形態における動画像符号化装置１００の動作の流れを示すフロー図である。
【００８２】
図３は、動画像符号化装置１００の仮想バッファにおけるバッファ占有量の推移の一例を示す模式図である。
【００８３】
図２および図３を用いて、動画像符号化装置１００の動作の流れを説明する。
【００８４】
多重化部１０３は、外部から入力されるチャプタ情報によりチャプタが終了した旨の通知を受け付けると（Ｓ１）、後続ストリーム１１０２の画像ストリームの蓄積開始時刻ｔ2を算出する（Ｓ２）。
【００８５】
具体的には、開始時刻算出部１０７が、特殊情報生成部１０５から得られる特殊情報１２０３および１２０４の符号量に相当する時間を算出し、これに処理時間算出部１０６から得られる多重化に要する時間を加算する。これにより、多重化に伴い発生する遅延量が得られる。
【００８６】
さらに、この遅延量を考慮しない場合の開始時刻に、遅延量を加算することで、当該遅延量が考慮された開始時刻ｔ2を得ることができる。
【００８７】
多重化部１０３は、このようにして得た開始時刻ｔ2と、仮想バッファ情報１０４として保持している先行ストリーム１１０１についての最後の仮想バッファ量Ｓ0とを画像符号化部１０２に通知する（Ｓ３）。
【００８８】
画像符号化部１０２は、多重化部１０３から受け取ったｔ2とＳ0とを用いてバッファシミュレーションを行い、後続ストリーム１１０２についての仮想バッファ量の初期値Ｓ11を決定する（Ｓ４）。
【００８９】
さらに、初期値Ｓ11から所定のマージン量であるＳ12（０≦Ｓ12＜Ｓ11）を減算し、減算後の値以下になるように第１ピクチャ（Ｉ２）の符号量を決定する。
【００９０】
また、以降の各ピクチャについても、仮想バッファがオーバーフローおよびアンダーフローしないように、それぞれの符号量を決定する。
【００９１】
画像符号化部１０２は、各ピクチャがこれら決定した符号量になるように、入力された動画像データを符号化する（Ｓ５）。
【００９２】
また、画像符号化部１０２は、以下の式で、値Ｄ1を算出する。
【００９３】
Ｄ1＝ｔ3−ｔ2          （式１）
【００９４】
このＤ1が、後続ストリーム１１０２に含まれる画像ストリームについてのバッファ初期遅延時間に相当する値である。
【００９５】
画像符号化部１０２は、このＤ1を、符号化方式がＭＰＥＧ２であれば、ｖｂｖ＿ｄｅｌａｙとして画像ストリームに設定する。また、符号化方式がＨ．２６４であれば、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙとして画像ストリームに設定する。
【００９６】
その後、多重化部１０３は、画像符号化部１０２から得られる画像ストリームと、音声符号化部１０１から得られる音声ストリームと、必要に応じて生成される特殊情報を多重化することで、後続ストリーム１１０２を生成し出力する。
【００９７】
このように動画像符号化装置１００は、バッファシミュレーションにおいて後続ストリーム１１０２についての仮想バッファ量の初期値を決定する際に、先行ストリーム１１０１についての最後の仮想バッファ量に加え、多重化に伴い発生する遅延量を用いて当該初期値を決定する。
【００９８】
また、このようにして決定された仮想バッファの初期値に基づいて、後続ストリーム１１０２に含まれる画像ストリームの各ピクチャの符号量を決定する。
【００９９】
動画像符号化装置１００は、このような符号化処理の制御を行うことにより、出力する複数のストリームを、復号化装置のバッファにオーバーフローを生じさせることなく、かつ、シームレスに再生可能なものとすることができる。
【０１００】
なお、本実施の形態において、先行ストリーム１１０１についての最後の仮想バッファ量Ｓ0は、多重化部１０３から画像符号化部１０２に通知されるとした。
【０１０１】
しかしながら、仮想バッファ量Ｓ0は、画像符号化部１０２におけるバッファシミュレーションにより得られる値である。そのため、画像符号化部１０２がＳ0を保持しておき、後続ストリーム１１０２についての仮想バッファ量の初期値Ｓ11の算出に用いてもよい。
【０１０２】
また、多重化部１０３は、後続ストリーム１１０２の画像ストリームの蓄積開始時刻ｔ2を算出し、画像符号化部１０２に通知するとした。
【０１０３】
しかしながら、多重化部１０３は、例えば、開始時刻ｔ2に換えて特殊情報の符号量および多重化に要する時間のみ、つまり、多重化に伴う遅延量を示す情報のみを画像符号化部１０２に通知してもよい。
【０１０４】
この場合、画像符号化部１０２は、多重化に伴う遅延量を、この遅延量を考慮しない場合の所定の開始時刻に加算することで、正しい開始時刻ｔ2を得ることができる。
【０１０５】
つまり、動画像符号化装置１００は、入力信号を符号化する機能、および各種情報を多重化する機能等の当然に備えるべき機能に加え、多重化に伴い発生する遅延量を考慮して後続ストリーム１１０２についての仮想バッファ量の初期値Ｓ11を決定する機能を有していればよい。
【０１０６】
従って、このような仮想バッファ量の初期値Ｓ11を決定するための正しい開始時刻ｔ2の算出等の処理を、どの処理部に実行させるかは、実装上の都合および符号化の効率性等により決定すればよい。
【０１０７】
また、動画像符号化装置１００を構成する各機能ブロックは典型的には集積回路であるＬＳＩとして実現されてもよい。
【０１０８】
図４は、本実施の形態の動画像符号化装置１００における集積回路化の一例を示す図である。
【０１０９】
図４に示すＬＳＩ１１０は集積回路化の一例を示している。つまり、図４に示すように、動画像符号化装置１００が備える特徴的な機能ブロックの全てを１つの集積回路により実現してもよい。
【０１１０】
なお、動画像符号化装置１００が備える各機能ブロックは個別に１チップ化されても良いし、一部の複数の機能ブロックを含むように１チップ化されても良い。
【０１１１】
なお、ここでは、ＬＳＩと記載しているが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１１２】
さらに、集積回路の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１１３】
また、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【０１１４】
本発明の動画像符号化装置は、画像ストリームに多重化する特殊情報の符号量、および、多重化に要する時間等の、多重化に伴う遅延量を用いて当該画像ストリームの符号化処理を制御する。
【０１１５】
これにより、本発明の動画像符号化装置から出力されたストリームを復号化し再生する復号化装置では、バッファにアンダーフローが生じることなく、かつ、シームレスな再生が可能となる。
【０１１６】
したがって、本発明は、このような符号化制御を必要とするデジタルビデオカメラ等に有用である。
【図面の簡単な説明】
【０１１７】
【図１】本発明の実施の形態における動画像符号化装置の主要な機能構成を示す機能ブロック図である。
【図２】本発明の実施の形態における動画像符号化装置の動作の流れを示すフロー図である。
【図３】図２に示す動画像符号化装置の仮想バッファにおけるバッファ占有量の推移の一例を示す模式図である。
【図４】本実施の形態の動画像符号化装置における集積回路化の一例を示す図である。
【図５】シームレス接続がなされていない２つのストリームの仮想バッファにおける占有量の推移の一例を示す模式図である。
【図６】シームレス接続がなされている２つのストリームの仮想バッファにおける占有量の推移の一例を示す模式図である。
【図７】従来の動画像符号化装置の機能的な構成の一例を示す機能ブロック図である。
【図８】後続ストリームに含まれる画像ストリームの開始時期の違いを示す模式図である。
【図９】誤ったバッファ占有量の遷移と正しいバッファ占有量の遷移とを示す模式図である。
【符号の説明】
【０１１８】
１００    動画像符号化装置
１０１    音声符号化部
１０２    画像符号化部
１０３    多重化部
１０４    仮想バッファ情報
１０５    特殊情報生成部
１０６    処理時間算出部
１０７    開始時刻算出部
１１０    ＬＳＩ
１１０１    先行ストリーム
１１０２    後続ストリーム
１２０３、１２０４    特殊情報
【図１】
0005052220.tif 000002
【図２】
0005052220.tif 000003
【図３】
0005052220.tif 000004
【図４】
0005052220.tif 000005
【図５】
0005052220.tif 000006
【図６】
0005052220.tif 000007
【図７】
0005052220.tif 000008
【図８】
0005052220.tif 000009
【図９】
0005052220.tif 000010