(57)【要約】  時系列データを圧縮符号化して符号化ビットストリームを生成する時系列データ符号化手段１１と、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の推移を算出する仮想バッファ１２と、蓄積データ量の推移を解析して、バッファのサイズおよびバッファの所定時刻における蓄積データ量を示すパラメータを再設定するバッファ利用量解析手段１３と、時系列データ符号化手段１１が生成した符号化ビットストリームと、バッファ利用量解析手段１３が再設定したパラメータとを多重化する多重化手段１４とを備える。
2014196113.tif 000002
【特許請求の範囲】
【請求項１】
時系列データを圧縮符号化して符号化ビットストリームを生成する時系列データ符号化手段と、
符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の推移を算出する仮想バッファと、
前記蓄積データ量の推移を解析して、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定するバッファ利用量解析手段と、
前記時系列データ符号化手段が生成した符号化ビットストリームと、前記バッファ利用量解析手段が再設定したパラメータとを多重化する多重化手段とを備える
ことを特徴とする時系列データ符号化装置。
【請求項２】
バッファ利用量解析手段は、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値と最小値とを用いて、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定する
請求項１に記載の時系列データ符号化装置。
【請求項３】
バッファ利用量解析手段は、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値をＡ、最小値をＢとし、前記符号化方式に応じて規定される仮想復号器のバッファのサイズをＣ、前記バッファの所定時刻における蓄積データ量をＤとするとき、前記バッファのサイズの再設定後の値を式Ｅ＝Ａ−Ｂに基づいて算出し、前記バッファの所定時刻における蓄積データ量の再設定後の値を式Ｆ＝Ｄ−Ｂに基づいて算出する
請求項２に記載の時系列データ符号化装置。
【請求項４】
符号化方式に応じて規定される仮想復号器のバッファの動作パラメータを含む符号化ビットストリームの多重化を解除する多重化解除手段と、
多重化解除された時系列データビットストリームにおける所定時間ごとのデータ量を算出する符号量検出手段と、
前記バッファに蓄積されるデータ量の推移を算出する仮想バッファと、
前記蓄積データ量の推移を解析して、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定するバッファ利用量解析手段と、
前記多重化解除された時系列データビットストリームと、前記バッファ利用量解析手段が再設定したパラメータとを多重化する多重化手段とを備える
ことを特徴とする時系列データ再符号化装置。
【請求項５】
バッファ利用量解析手段は、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値と最小値とを用いて、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定する
請求項４に記載の時系列データ再符号化装置。
【請求項６】
バッファ利用量解析手段は、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値をＡ、最小値をＢとし、前記符号化方式に応じて規定される仮想復号器のバッファのサイズをＣ、前記バッファの所定時刻における蓄積データ量をＤとするとき、前記バッファのサイズの再設定後の値を式Ｅ＝Ａ−Ｂに基づいて算出し、前記バッファの所定時刻における蓄積データ量の再設定後の値を式Ｆ＝Ｄ−Ｂに基づいて算出する
請求項５に記載の時系列データ再符号化装置。
【請求項７】
時系列データを圧縮符号化して符号化ビットストリームを生成し、
符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の推移を算出し、
前記蓄積データ量の推移を解析して、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定し、
前記生成された符号化ビットストリームと、前記再設定されたパラメータとを多重化する
ことを特徴とする時系列データ符号化方法。
【請求項８】
符号化方式に応じて規定される仮想復号器のバッファの動作パラメータを含む符号化ビットストリームの多重化を解除し、
多重化解除された時系列データビットストリームにおける所定時間ごとのデータ量を算出し、
前記仮想復号器のバッファに蓄積されるデータ量の推移を算出し、
前記蓄積データ量の推移を解析して、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定し、
前記多重化解除された時系列データビットストリームと、前記再設定されたパラメータとを多重化する
ことを特徴とする時系列データ再符号化方法。
【請求項９】
コンピュータに、
時系列データを圧縮符号化して符号化ビットストリームを生成する処理と、
符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の推移を算出する処理と、
前記蓄積データ量の推移を解析して、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定する処理と、
前記生成された符号化ビットストリームと、前記再設定されたパラメータとを多重化するする処理とを実行させる
ための時系列データ符号化プログラム。
【請求項１０】
コンピュータに、
符号化方式に応じて規定される仮想復号器のバッファの動作パラメータを含む符号化ビットストリームの多重化を解除する処理と、
多重化解除された時系列データビットストリームにおける所定時間ごとのデータ量を算出する処理と、
前記仮想復号器のバッファに蓄積されるデータ量の推移を算出する処理と、
前記蓄積データ量の推移を解析して、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定する処理と、
前記多重化解除された時系列データビットストリームと、前記再設定されたパラメータとを多重化する処理とを実行させる
ための時系列データ再符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像などの時系列データの符号化技術に関し、特に、伝送時のバッファサイズおよび伝送遅延を低減可能な時系列データ符号化装置、時系列データ再符号化装置、時系列データ符号化方法、時系列データ再符号化方法、時系列データ符号化プログラムおよび時系列データ再符号化プログラムに関する。
【背景技術】
【０００２】
画像フレームの時系列集合である映像データの蓄積・伝送においては、蓄積容量や伝送路帯域を抑えるために、しばしば圧縮符号化が適用される。圧縮符号化においては一般に、可変長符号化が用いられる。そのため、圧縮後のデータ列（以下、ビットストリームという。）におけるフレームあたりのデータ量は一定とはならない。そのようなビットストリームをリアルタイムで伝送し処理する系においては、単位時間あたりの送受信データ量が伝送路の特性とは独立に変動するので、安定した伝送が行えないことが問題となる。そのような問題を解決するため、符号化器の後段および復号器の前段にバッファを設けることによって、伝送路を流れる単位時間あたりのデータ量を平滑化し伝送路の特性に合わせる手法が一般に用いられている。【０００３】
図７は、映像符号化送出装置と映像復号装置とを備える系の一例を示すブロック図である。図７に示す系では、映像符号化送出装置７１０が、入力された映像をリアルタイムで圧縮符号化する。そして、映像符号化送出装置７１０は、バッファを介してデータ（ビットストリーム）を映像復号装置７２０に送信する。映像復号装置７２０は、映像符号化送出装置７１０から受信したデータをリアルタイムで復号して映像として出力する。【０００４】
映像符号化送出装置７１０は、符号化器７１１と、送信バッファ７１２とを備える。符号化器７１１は、入力された映像を構成する画像フレームを順次圧縮符号化してビットストリームを生成し、送信バッファ７１２に供給する。送信バッファ７１２は、供給されたビットストリームを蓄積しながら所定の転送速度（ビットレート）で出力する。映像符号化送出装置７１０から出力されたビットストリームは、例えばネットワークなどを介して映像復号装置７２０に供給される。【０００５】
映像復号装置７２０は、受信バッファ７２１と、復号器７２２とを備える。受信バッファ７２１は、所定のビットレートで入力されるビットストリームを蓄積しながら、フレームごとにデータを切り出す。そして、受信バッファ７２１は、切り出したデータを所定のタイミングで復号器７２２に供給する。復号器７２２は、供給されたビットストリームを順次復号して画像フレームを生成し、映像として出力する。【０００６】
また、予め蓄積された多数の映像コンテンツから選択的に映像を伝送し処理することがある。このような場合、映像コンテンツを蓄積しておくストレージの記憶容量や、伝送時の圧縮符号化処理の演算コストなどを低減するために、入力された映像を予めオフラインで圧縮符号化して蓄積しておき、受信側からの要求に応じて送信を行う系が用いられる。この場合でも、安定した伝送を行うためには、符号化器の後段および復号器の前段にバッファを設ける必要がある。【０００７】
図８は、映像符号化装置と映像送出装置と映像復号装置とを備える系の一例を示すブロック図である。図８に示す系では、映像符号化装置８１０が、入力された映像を圧縮符号化してストレージ（記憶装置８２０）に蓄積したのち、映像送出装置８３０が、バッファを介してデータ（ビットストリーム）を映像復号装置８４０に送信する。映像復号装置８４０は、受信したデータを復号して映像として出力する。【０００８】
映像符号化装置８１０は、入力された映像を構成する画像フレームを、順次圧縮符号化してビットストリームを生成し、記憶装置８２０に蓄積する。【０００９】
映像送出装置８３０は、送出器８３１と、送信バッファ８３２とを備える。送出器８３１は、記憶装置８２０に蓄積されたビットストリームを取り出し、送信バッファ８３２に供給する。送信バッファ８３２は、供給されたビットストリームを蓄積しながら、所定のビットレートで出力する。映像送出装置８３０から出力されたビットストリームは、例えばネットワークなどを介して映像復号装置８４０に供給される。【００１０】
映像復号装置８４０は、受信バッファ８４１と、復号器８４２とを備える。受信バッファ８４１は、所定のビットレートで入力されるビットストリームを蓄積しながら、フレームごとにデータを切り出す。そして、受信バッファ８４１は、切り出したデータを所定のタイミングで復号器８４２に供給する。復号器８４２は、供給されたビットストリームを順次復号して画像フレームを生成し、映像として出力する。【００１１】
このように、送信バッファおよび受信バッファを備える映像伝送系において、映像符号化装置は、映像復号装置においてバッファのオーバーフローやアンダーフローが起きないように符号化を行う必要がある。そのため、映像符号化装置は、映像復号装置の受信バッファの動作を模した仮想バッファを用いて、仮想バッファを監視しながら圧縮符号化処理を行う。具体的には、映像符号化装置は、圧縮符号化処理を行う際に、仮想バッファにおいてオーバーフローおよびアンダーフローが起きないように、各画像フレームの圧縮率を調整する。【００１２】
仮想バッファは、映像圧縮符号化方式によってそのモデルが定められている。例えば、映像圧縮符号化方式としてISO/IEC 13818-2 MPEG-2方式およびISO/IEC 14496-2 MPEG-4 Part 2 方式を用いる場合には、VBV(Video Buffering Verifier) バッファモデルが仮想バッファモデルとして定められている。また例えば、映像圧縮符号化方式としてISO/IEC 14496-10 MPEG-4 AVC/H.264 方式を用いる場合には、仮想デコーダHRD(Hypothetical Reference Decoder) 内のCPB(Coded Picture Buffer) モデルが仮想バッファモデルとして定められている。仮想バッファモデルについての詳細は、例えば非特許文献１に記載されている。【００１３】
以下、図９と図１０を用いて、仮想バッファの代表的な動作を説明する。具体的には、予め定められた仮想バッファの動作パラメータに基づいて仮想バッファを制御する映像符号化装置の動作を説明する。【００１４】
図９は、ある映像を圧縮符号化して得られたビットストリームにおける、画像フレームごとの発生符号量の一例を示す説明図である。図１０は、当該ビットストリームを入力とする受信バッファを模した仮想バッファにおけるバッファ占有量の推移の一例を示す説明図である。【００１５】
仮想バッファは、予め定められたバッファサイズBmaxを有する。仮想バッファは、所定の時刻Dinit に達するまで、所定のビットレートR で、仮想バッファのバッファ占有量を増加させ続ける。仮想バッファは、時刻Dinit に達すると、フレーム番号０の画像フレームに相当するデータ群の符号量A(0)を、バッファ占有量から減算する。この処理は、実際の映像復号装置において、当該フレームのデータ群を受信バッファから復号器に供給する処理に該当する。この時刻をt(0)とし、映像の画像フレーム間再生時間間隔をf とすると、仮想バッファは、以下の式（１）によって定められる時刻t(1)に達するまで、再び所定のビットレートR で仮想バッファのバッファ占有量を増加させ続ける。そして、映像符号化装置は、時刻t(1)において、フレーム番号１の画像フレームに相当するデータ群の符号量A(1)を、バッファ占有量から減算する。【００１６】
t(k+1) = t(k) + f  ・・・式（１）【００１７】
仮想バッファは、以降、所定のビットレートR で仮想バッファのバッファ占有量を増加させながら、フレーム番号ｋの画像フレームに相当するデータ群の符号量A(k)を、時刻t(k)においてバッファ占有量から減算する処理を繰り返す。【００１８】
上記のパラメータ群のうち、ビットレートR 、バッファサイズBmaxおよび復号開始遅延時間Dinit は、一般に画質要求や遅延要求、伝送路の特性などに応じて符号化処理開始前に決定され、ビットストリームとともに映像復号装置に伝達される。また、復号開始遅延時間Dinit の代わりに、以下の式（２）によって得られる初期バッファ占有量Binit を伝達してもよい。伝達方法としては、例えば、非特許文献２に記載された規則に順じ、補助情報として符号化し、ビットストリームに多重化して伝送する方法がある。【００１９】
Binit = Dinit x R  ・・・式（２）【００２０】
図１１は、このように仮想バッファの動作を監視しながら符号化を行う一般的な映像符号化装置の構成の一例を示すブロック図である。【００２１】
図１１に示す映像符号化装置は、映像符号化器９１１と、仮想バッファ９１２と、多重化器９１３とを備える。【００２２】
映像符号化器９１１は、仮想バッファ９１２の動作を監視しながら、入力データ（入力映像）を構成する各画像フレームに対して符号化を行って映像ビットストリームを生成する。そして、映像符号化器９１１は、生成した映像ビットストリームを多重化器９１３に供給するとともに、発生符号量を仮想バッファ９１２に供給する。【００２３】
仮想バッファ９１２は、バッファサイズや遅延量などを含むバッファ設定情報と、映像符号化器９１１から供給される発生符号量によって、各時刻におけるバッファ占有量を算出する。仮想バッファ９１２は、算出結果を映像符号化器９１１にフィードバックする。【００２４】
多重化器９１３は、バッファ設定情報を補助情報として符号化し、映像符号化器９１１から供給される映像ビットストリームに対して多重化して、ビットストリームとして出力する。【００２５】
ところで、上述したように、図７および図８に示す、送信バッファおよび受信バッファを介して伝送を行う系においては、ビットストリーム内の単位時間あたりのデータ量が変動しても、その変動をバッファによって吸収することができる。従って、映像復号装置は、所定のビットレートで伝送されたビットストリームを破綻なく復号し、映像として出力することが可能となる。しかし、そのような系では映像伝送の際に、図１０に示すDinit に相当する遅延が発生する。映像伝送に伴う遅延は、例えばテレビ放送においては受信チャネルの切り替えがスムーズに行えないなど、インタラクティブ性を損なう要因になる。従って、送信バッファおよび受信バッファを介して伝送を行う系では、伝送遅延は可能な限り小さいことが求められる。
【先行技術文献】
【特許文献】
【００２６】
【特許文献１】特許第４２６４５３５号公報
【特許文献２】特許第４０２３４５１号公報
【非特許文献】
【００２７】
【非特許文献１】Jordi R. -C, Philip A. C, Shankar L. R, ”A Generalized Hypothetical Reference Decoder for H.264/AVC,” IEEE Trans. CSVT, vol. 13, no. 7, July. 2003.
【非特許文献２】ISO/IEC 14496-10 Advanced Video Coding,“Annex E Video usability information”
【発明の概要】
【発明が解決しようとする課題】
【００２８】
しかし、図８に示すように、映像符号化装置が、圧縮符号化した入力映像を、ストレージに蓄積したのちバッファを介して映像復号装置に送信し、映像復号装置が、受信したデータをリアルタイムで復号して映像として出力する系も存在する。この系においては、符号化処理開始前に予め決定された動作設定、例えばＤｉｎｉｔなどによって、伝送遅延が定められてしまう。つまり、このような系においては、映像符号化装置によってビットストリームが生成され記憶装置に蓄積された時点の動作設定によって、伝送遅延が定められてしまうため、伝送遅延をそれ以上低減することができない。【００２９】
ところで、バッファ動作を監視しながら圧縮符号化処理を行う際に、各画像フレームの圧縮符号化によって発生する符号量は、圧縮符号化処理前に正確に知ることはできない。そのため、映像符号化装置は、当該符号量を予測した上で、アンダーフローおよびオーバーフローを発生させないように制御を行う必要がある。そのような制御技術は、例えば特許文献１に開示されている。特許文献１に記載された技術では、仮想バッファの上限値（例えば、図１０に示すBmax）および下限値（例えば、０）の上限と下限に何らかのマージンを設け、バッファ占有量が上限マージンを超えたり下限マージンを下回ったりしないように制御を行う。映像符号化装置がこのような制御を行うことによって、バッファのアンダーフローおよびオーバーフローを確実に回避することができる。一方で、バッファ占有量は厳密には、バッファの上限および下限に達しない。また、入力映像の特性によって、ビットストリームにおける単位時間あたりの発生符号量の変動が小さく、結果的にバッファ占有量は、定められたバッファの上限および下限に達しない場合もある。そのため、特許文献１に記載された技術では、伝送に必要となるバッファのサイズに無駄が生じたり、無駄な伝送遅延が生じたりするという課題がある。【００３０】
一方で、遅延量を低減して伝送する他の手段として、予め作成しておいたビットストリームを一旦映像として復号したのち、所定のバッファサイズおよび遅延量に合わせて圧縮符号化をやり直すことが考えられる。例えば、特許文献２には、映像を圧縮したビットストリームを再圧縮符号化する技術が記載されている。しかし、特許文献２に記載された技術を用いて再圧縮符号化処理を行う場合においては、映像の復号処理および圧縮符号化処理を要するために、処理に伴う演算量が多くなるという課題がある。また、一旦圧縮した映像を再圧縮することにより、画質劣化が発生するという別の課題もある。【００３１】
そこで、本発明は、圧縮符号化された時系列データを伝送する際に、時系列データに対する再圧縮処理を行うことなく、伝送に必要となるバッファサイズおよび伝送遅延を低減することができる時系列データ符号化装置、時系列データ再符号化装置、時系列データ符号化方法、時系列データ再符号化方法、時系列データ符号化プログラムおよび時系列データ再符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００３２】
本発明による時系列データ符号化装置は、時系列データを圧縮符号化して符号化ビットストリームを生成する時系列データ符号化手段と、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の推移を算出する仮想バッファと、蓄積データ量の推移を解析して、バッファのサイズおよびバッファの所定時刻における蓄積データ量を示すパラメータを再設定するバッファ利用量解析手段と、時系列データ符号化手段が生成した符号化ビットストリームと、バッファ利用量解析手段が再設定したパラメータとを多重化する多重化手段とを備えることを特徴とする。【００３３】
本発明による時系列データ再符号化装置は、符号化方式に応じて規定される仮想復号器のバッファの動作パラメータを含む符号化ビットストリームの多重化を解除する多重化解除手段と、多重化解除された時系列データビットストリームにおける所定時間ごとのデータ量を算出する符号量検出手段と、バッファに蓄積されるデータ量の推移を算出する仮想バッファと、蓄積データ量の推移を解析して、バッファのサイズおよびバッファの所定時刻における蓄積データ量を示すパラメータを再設定するバッファ利用量解析手段と、多重化解除された時系列データビットストリームと、バッファ利用量解析手段が再設定したパラメータとを多重化する多重化手段とを備えることを特徴とする。【００３４】
本発明による時系列データ符号化方法は、時系列データを圧縮符号化して符号化ビットストリームを生成し、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の推移を算出し、蓄積データ量の推移を解析して、バッファのサイズおよびバッファの所定時刻における蓄積データ量を示すパラメータを再設定し、生成された符号化ビットストリームと、再設定されたパラメータとを多重化することを特徴とする。【００３５】
本発明による時系列データ再符号化方法は、符号化方式に応じて規定される仮想復号器のバッファの動作パラメータを含む符号化ビットストリームの多重化を解除し、多重化解除された時系列データビットストリームにおける所定時間ごとのデータ量を算出し、仮想復号器のバッファに蓄積されるデータ量の推移を算出し、蓄積データ量の推移を解析して、バッファのサイズおよびバッファの所定時刻における蓄積データ量を示すパラメータを再設定し、多重化解除された時系列データビットストリームと、再設定されたパラメータとを多重化することを特徴とする。【００３６】
本発明による時系列データ符号化プログラムは、コンピュータに、時系列データを圧縮符号化して符号化ビットストリームを生成する処理と、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の推移を算出する処理と、蓄積データ量の推移を解析して、バッファのサイズおよびバッファの所定時刻における蓄積データ量を示すパラメータを再設定する処理と、生成された符号化ビットストリームと、再設定されたパラメータとを多重化する処理とを実行させることを特徴とする。【００３７】
本発明による時系列データ再符号化プログラムは、コンピュータに、符号化方式に応じて規定される仮想復号器のバッファの動作パラメータを含む符号化ビットストリームの多重化を解除する処理と、多重化解除された時系列データビットストリームにおける所定時間ごとのデータ量を算出する処理と、仮想復号器のバッファに蓄積されるデータ量の推移を算出する処理と、蓄積データ量の推移を解析して、バッファのサイズおよびバッファの所定時刻における蓄積データ量を示すパラメータを再設定する処理と、多重化解除された時系列データビットストリームと、再設定されたパラメータとを多重化する処理とを実行させることを特徴とする。
【発明の効果】
【００３８】
本発明によれば、圧縮符号化された時系列データを伝送する際に、時系列データに対する再圧縮処理を行うことなく、伝送に必要となるバッファサイズおよび伝送遅延を低減することができる。
【図面の簡単な説明】
【００３９】
【図１】第１の実施形態の映像符号化装置の構成を示すブロック図である。
【図２】第１の実施形態のバッファ利用量解析器の最適バッファ設定情報算出処理を示すフローチャートである。
【図３】第２の実施形態の映像再符号化装置の構成を示すブロック図である。
【図４】本発明を適用する情報処理システムの構成の一例を示すブロック図である。
【図５】本発明による映像符号化装置の最小構成を示すブロック図である。
【図６】本発明による映像再符号化装置の最小構成を示すブロック図である。
【図７】映像符号化送出装置と映像復号装置とを備える系の一例を示すブロック図である。
【図８】映像符号化装置と映像送出装置と映像復号装置とを備える系の一例を示すブロック図である。
【図９】ある映像を圧縮符号化して得られたビットストリームにおける、画像フレームごとの発生符号量の一例を示す説明図である。
【図１０】ある映像を圧縮符号化して得られたビットストリームを入力とする受信バッファを模した仮想バッファにおけるバッファ占有量の推移の一例を示す説明図である。
【図１１】仮想バッファの動作を監視しながら符号化を行う一般的な映像符号化装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００４０】
実施形態１．
以下、本発明の第１の実施形態を図面を参照して説明する。
【００４１】
第１の実施形態では、入力映像を符号化してビットストリームを出力する、時系列データ符号化装置（映像符号化装置）の構成および動作を説明する。
【００４２】
図１は、第１の実施形態の映像符号化装置の構成を示すブロック図である。図１に示すように、本実施形態の映像符号化装置は、映像符号化器１０１と、仮想バッファ１０２と、バッファ利用量解析器１０３と、多重化器１０４とを備える。
【００４３】
本実施形態の映像符号化装置は、図１１に示す映像符号化装置と比較すると、バッファ利用量を解析して最適バッファ設定情報を算出する、バッファ利用量解析器１０３を備える点が異なる。
【００４４】
映像符号化器１０１は、仮想バッファ１０２の動作を監視しながら、入力映像を構成する各画像フレームに対して符号化を行って映像ビットストリームを生成する。映像符号化器１０１は、生成した映像ビットストリームを多重化器１０４に供給するとともに、発生符号量を仮想バッファ１０２に供給する。
【００４５】
仮想バッファ１０２は、符号化方式に応じて規定される仮想復号器のバッファのバッファサイズおよび遅延量などを含む初期バッファ設定情報と、映像符号化器１０１から供給される発生符号量によって、各時刻におけるバッファに蓄積されるデータ量（蓄積データ量）、つまり各時刻におけるバッファ占有量を算出する。仮想バッファ１０２は、算出結果を、映像符号化器１０１にフィードバックするとともに、バッファ利用量解析器１０３にも供給する。
【００４６】
バッファ利用量解析器１０３は、仮想バッファ１０２から供給されるバッファ占有量の算出結果を示すデータによって仮想バッファ１０２の動作を監視する。そして、バッファ利用量解析器１０３は、バッファ占有量の推移から実際の伝送に必要な最小バッファサイズおよび最小遅延量を算出する。バッファ利用量解析器１０３は、算出結果を最適バッファ設定情報として多重化器１０４に供給する。
【００４７】
多重化器１０４は、バッファ利用量解析器１０３から供給される最適バッファ設定情報を符号化して、映像符号化器１０１から供給される映像ビットストリームに対して多重化し、ビットストリームとして出力する。
【００４８】
このような構成により、映像符号化装置は、伝送に必要となるバッファサイズおよび伝送遅延を低減するように、ビットストリームを構成することができる。その理由は、バッファ利用量解析器１０３が、仮想バッファ１０２から受け取ったバッファ占有量の推移を解析して最適バッファ設定情報を算出し、多重化器１０４が、最適バッファ設定情報を、初期バッファ設定情報の代わりにビットストリームに多重化して、映像送出装置および映像復号装置に伝達するからである。つまり、映像送出装置および映像復号装置に、伝送に必要となる最低限のバッファサイズおよび遅延量を認識させることができるからである。
【００４９】
なお、映像符号化器１０１、仮想バッファ１０２、バッファ利用量解析器１０３および多重化器１０４は、例えば、時系列データ符号化プログラムに従って動作するコンピュータによって実現される。この場合、ＣＰＵが時系列データ符号化プログラムを読み込み、そのプログラムに従って、映像符号化器１０１、仮想バッファ１０２、バッファ利用量解析器１０３および多重化器１０４として動作する。また、映像符号化器１０１、仮想バッファ１０２、バッファ利用量解析器１０３および多重化器１０４は別々のハードウェアで実現されていてもよい。
【００５０】
次に、本実施形態の動作を説明する。
【００５１】
ここでは、バッファ利用量解析器１０３における最適バッファ設定情報算出処理を説明する。図２は、第１の実施形態のバッファ利用量解析器の最適バッファ設定情報算出処理を示すフローチャートである。
【００５２】
図２に示すように、まず、バッファ利用量解析器１０３は、最大バッファ占有量Bmax´ 、最小バッファ占有量Bmin´ 、バッファ占有量BOC 、フレーム番号ｋを初期化する（ステップＳ２０１）。バッファ利用量解析器１０３は、最大バッファ占有量Bmax´ に０を初期値として設定し、最小バッファ占有量Bmin´ に初期バッファ設定情報におけるバッファサイズBmaxを初期値として設定する。また、バッファ利用量解析器１０３は、バッファ占有量BOC に初期バッファ設定情報における初期バッファ占有量Binit を初期値として設定し、フレーム番号ｋに０を初期値として設定する。
【００５３】
バッファ利用量解析器１０３は、フレーム番号がｋであるフレームｋの符号量を、現在のバッファ占有量から減算する（ステップＳ２０２）。フレームｋの符号量をＡ（ｋ）とするとき、バッファ占有量は、以下の式（３）により更新される。
【００５４】
BOC = BOC - A(k)   ・・・式（３）
【００５５】
バッファ利用量解析器１０３は、現在のバッファ占有量BOC が最小バッファ占有量Bmin´ を下回るか否かを判定する（ステップＳ２０３）。現在のバッファ占有量BOC が最小バッファ占有量Bmin´ を下回る場合には（ステップＳ２０３のＹＥＳ）、バッファ利用量解析器１０３は、ステップＳ２０４の処理に移行する。現在のバッファ占有量BOC が最小バッファ占有量Bmin´ を下回らない場合には（ステップＳ２０３のＮＯ）、ステップＳ２０５の処理に移行する。
【００５６】
ステップＳ２０４において、バッファ利用量解析器１０３は、最小バッファ占有量Bmin´ の値を、現在のバッファ占有量BOC で更新する。
【００５７】
ステップＳ２０５において、バッファ利用量解析器１０３は、現在のフレームが処理すべき最後のフレームであるか否かを判定する。現在のフレームが処理すべき最後のフレームである場合には（ステップＳ２０５のＹＥＳ）、ステップＳ２０９の処理に移行する。現在のフレームが処理すべき最後のフレームでない場合には（ステップＳ２０５のＮＯ）、ステップＳ２０６の処理に移行する。
【００５８】
ステップＳ２０６において、バッファ利用量解析器１０３は、フレーム番号を１増分する。また、バッファ利用量解析器１０３は、次のフレームの符号量減算処理直前のバッファ占有量を求める。フレーム間の時間間隔をf 、単位時間あたりの伝送ビットレートをR とするとき、バッファ占有量は、以下の式（４）により更新される。
【００５９】
BOC = BOC + f x R  ・・・式（４）
【００６０】
バッファ利用量解析器１０３は、現在のバッファ占有量BOC が最大バッファ占有量Bmax´ を上回るか否かを判定する（ステップＳ２０７）。現在のバッファ占有量BOC が最大バッファ占有量Bmax´ を上回る場合には（ステップＳ２０７のＹＥＳ）、ステップＳ２０８の処理に移行する。現在のバッファ占有量BOC が最大バッファ占有量Bmax´ を上回らない場合には（ステップＳ２０７のＮＯ）、ステップＳ２０２の処理に戻る。
【００６１】
ステップＳ２０８において、バッファ利用量解析器１０３は、最大バッファ占有量Bmax´ の値を、現在のバッファ占有量BOC で更新する。バッファ利用量解析器１０３がステップＳ２０８の処理を実行した後、ステップＳ２０２の処理に戻る。
【００６２】
ステップＳ２０９において、バッファ利用量解析器１０３は、最適バッファ設定情報を算出する。ここで、最適バッファ設定情報におけるバッファサイズ、初期バッファ占有量、復号開始遅延時間を、それぞれBmax_real  ，Binit_real，Dinit_realとする。このとき、Bmax_real  ，Binit_real，Dinit_realはそれぞれ、以下の式（５）、式（６）、式（７）により算出される。
【００６３】
Bmax_real = Bmax´ - Bmin´  ・・・式（５）
Binit_real = Binit - Bmin´    ・・・式（６）
Dinit_real = Binit_real / R    ・・・式（７）
【００６４】
バッファ利用量解析器１０３が最適バッファ設定情報を算出すると、バッファ利用量解析処理を終了する。
【００６５】
なお、映像符号化装置（具体的には多重化器１０４）は、バッファ利用量解析器１０３が算出した最適バッファ設定情報を、例えば、非特許文献２に記載された規則に準じ、補助情報として符号化し、ビットストリームに多重化して伝送してもよい。また、多重化器１０４は、当該多重化を、ランダムアクセス周期となるGOP 毎に行ってもよいし、任意の単位で行ってもよい。
【００６６】
以上に説明したように、本実施形態では、バッファ利用量解析器１０３が、仮想バッファ１０２から受け取ったバッファ占有量の推移を解析して最適バッファ設定情報を算出し、多重化器１０４が、最適バッファ設定情報を初期バッファ設定情報の代わりにビットストリームに多重化し、映像送出装置および映像復号装置に伝達する。それにより、映像符号化装置は、映像送出装置および映像復号装置に、伝送に必要となる最低限のバッファサイズおよび遅延量を認識させることができる。従って、映像符号化装置は、生成したビットストリームをバッファを介して映像復号装置に伝送する場合に、映像データに対する再圧縮処理を行うことなく、伝送に必要となるバッファサイズおよび伝送遅延を低減することができる。
【００６７】
また、本実施形態では、バッファ利用量解析器１０３が最適バッファ設定情報を１回のみ算出する例を示した。しかし、バッファ利用量解析器１０３は、最適バッファ情報を複数回算出するようにしてもよい。例えば、バッファ利用量解析器１０３は、ランダムアクセス周期ごとに、バッファ占有量および復号開始遅延時間を算出し、最適バッファ設定情報として出力してもよい。
【００６８】
また、本実施形態では、バッファ利用量解析器１０３が最適バッファ設定情報をバッファ占有量の最大値と最小値の双方を用いて算出する例を示した。しかし、バッファ利用量解析器１０３は、例えばバッファ占有量の最大値と最小値のいずれか一方を用いて最適バッファ設定情報を算出してもよい。
【００６９】
また、本実施形態では、バッファ利用量解析器１０３がビットレートR およびフレーム時間間隔f を所定の定数として、バッファ占有量の推移を算出する例を示した。しかし、例えば、ビットレートRおよびフレーム時間間隔f は、時刻によって変化する可変値であってもよい。
【００７０】
また、本実施形態では、バッファ利用量解析器１０３が画像フレーム単位でバッファ占有量を解析し、最適バッファ設定情報を算出する例を示した。しかし、バッファ利用量解析器１０３は、例えば、画像フレームを分割したスライスなどの部分画像を単位としてバッファ占有量を解析し、最適バッファ設定情報を算出してもよい。
【００７１】
実施形態２．
以下、本発明の第２の実施形態を図面を参照して説明する。
【００７２】
第２の実施形態では、映像ビットストリームとバッファ設定情報とが多重化されたビットストリームを再符号化する、時系列データ再符号化装置（映像再符号化装置）の構成および動作を説明する。
【００７３】
図３は、第２の実施形態の映像再符号化装置の構成を示すブロック図である。図３に示すように、本実施形態の映像再符号化装置は、多重化解除器３０１と、フレーム検出器３０２と、仮想バッファ３０３と、バッファ利用量解析器３０４と、多重化器３０５とを備える。本実施形態の映像再符号化装置の特徴的な点は、バッファ利用量を解析して最適バッファ設定情報を算出する、バッファ利用量解析器３０４を備えていることである。
【００７４】
多重化解除器３０１は、多重化されたビットストリームを入力し、当該ビットストリームの多重化を解除する。つまり、多重化解除器３０１は、多重化された、映像ビットストリームとバッファ設定情報とを分離する。そして、多重化解除器３０１は、映像ビットストリームを、フレーム検出器３０２および多重化器３０５に供給する。また、多重化解除器３０１は、バッファ設定情報を、仮想バッファ３０３およびバッファ利用量解析器３０４に供給する。
【００７５】
フレーム検出器３０２は、多重化解除器３０１から供給される映像ビットストリームを走査し、画像フレームを構成するデータ群とデータ群の切れ目を検出する。そして、フレーム検出器３０２は、画像フレームごとの符号量を算出し、算出結果（発生符号量）を仮想バッファ３０３に供給する。
【００７６】
仮想バッファ３０３は、多重化解除器３０１から供給される、バッファサイズや遅延量などを含むバッファ設定情報と、フレーム検出器３０２から供給される発生符号量によって、各時刻におけるバッファ占有量を算出し、バッファ利用量解析器３０４に供給する。
【００７７】
バッファ利用量解析器３０４は、仮想バッファ３０３から供給されるバッファ占有量の算出結果を示すデータによって仮想バッファ３０３の動作を監視し、バッファ占有量の推移から最適バッファ設定情報を算出する。そして、バッファ利用量解析器３０４は、多重化器３０５に算出した最適バッファ設定情報を供給する。
【００７８】
なお、バッファ利用量解析器３０４におけるバッファ利用量解析処理は、第１の実施形態の映像符号化装置のバッファ利用量解析器１０３における処理と同じであるので、説明を省略する。
【００７９】
多重化器３０５は、バッファ利用量解析器３０４から供給される最適バッファ設定情報を符号化し、多重化解除器３０１から供給される映像ビットストリームに対して多重化する。そして、多重化器３０５は、最適バッファ設定情報を多重化した映像ビットストリームを出力する。
【００８０】
このような構成により、映像再符号化装置は、映像ビットストリームを復号し再圧縮することなく、伝送に必要となるバッファサイズおよび伝送遅延を低減するように、ビットストリームを再構成することができる。その理由は、バッファ利用量解析器３０４が、仮想バッファ３０３から受け取ったバッファ占有量の推移を解析して最適バッファ設定情報を算出し、多重化器３０５が、入力ビットストリームに付与されたバッファ設定情報の代わりに、最適バッファ設定情報をビットストリームに多重化し、映像送出装置および映像復号装置に伝達するからである。つまり、映像送出装置および映像復号装置に、伝送に必要となる最低限のバッファサイズおよび遅延量を認識させることができるからである。
【００８１】
なお、多重化解除器３０１、フレーム検出器３０２、仮想バッファ３０３、バッファ利用量解析器３０４および多重化器３０５は、例えば、時系列データ再符号化プログラムに従って動作するコンピュータによって実現される。この場合、ＣＰＵが時系列データ再符号化プログラムを読み込み、そのプログラムに従って、多重化解除器３０１、フレーム検出器３０２、仮想バッファ３０３、バッファ利用量解析器３０４および多重化器３０５として動作する。また、多重化解除器３０１、フレーム検出器３０２、仮想バッファ３０３、バッファ利用量解析器３０４および多重化器３０５は別々のハードウェアで実現されていてもよい。
【００８２】
本発明による映像再符号化装置は、例えば、図８に示す映像伝送系に好適に適用可能である。つまり、図８に示す映像伝送系において、記憶装置と映像送出装置との間に映像再符号化装置を配置することにより、記憶装置に蓄積されたビットストリームを、映像送出装置に供給する前に、再符号化して最適化することができる。
【００８３】
以上、これまで述べてきた各実施形態は、本発明の好適な実施形態を示したものであり、本発明は上記実施形態のみに限定されるものではない。本発明は、本発明の要旨を逸脱しない範囲において、種々の変更を施した形態での実施が可能である。例えば、本発明は、映像データの伝送のみに限定されるものではなく、音声やその他の任意の時系列データの伝送に対しても適用することが可能である。
【００８４】
なお、上述した説明からも明らかなように、本発明はハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【００８５】
図４は、本発明を適用する情報処理システムの構成の一例を示すブロック図である。図４に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、記憶媒体１００３および記憶媒体１００４を備える。なお、記憶媒体１００３および記憶媒体１００４は、別個の記憶媒体であってもよいし、記憶領域を異にする同一の記憶媒体であってもよい。記憶媒体には、ハードディスク等の磁気記憶媒体を用いることができる。この場合、プログラムメモリ１００２に格納されているコンピュータプログラム（時系列データ符号化プログラムまたは時系列データ再符号化プログラム）で動作するプロセッサ１００１が、上述した各実施形態と同様の機能、動作を実現する。また、本発明を適用する情報処理システムの構成は、図４に示す構成に限定されるものではなく、本発明は、上述した実施形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。
【００８６】
次に、本発明の概要を説明する。図５は、本発明による時系列データ符号化装置の最小構成を示すブロック図である。図６は、本発明による時系列データ再符号化装置の最小構成を示すブロック図である。
【００８７】
図５に示すように、本発明による時系列データ符号化装置は、時系列データを圧縮符号化して符号化ビットストリームを生成する時系列データ符号化手段１１（図１に示す映像符号化装置における映像符号化器１０１に相当。）と、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の推移を算出する仮想バッファ１２（図１に示す映像符号化装置における仮想バッファ１０２に相当。）と、蓄積データ量の推移を解析して、バッファのサイズおよびバッファの所定時刻における蓄積データ量を示すパラメータを再設定するバッファ利用量解析手段１３（図１に示す映像符号化装置におけるバッファ利用量解析器１０３に相当。）と、時系列データ符号化手段１１が生成した符号化ビットストリームと、バッファ利用量解析手段１３が再設定したパラメータとを多重化する多重化手段１４（図１に示す映像符号化装置における多重化器１０４に相当。）とを備える。
【００８８】
そのような構成によれば、時系列データ符号化装置は、例えば、映像送出装置および映像復号装置に、伝送に必要となる最低限のバッファサイズおよび遅延量を認識させることができる。従って、時系列データ符号化装置は、生成したビットストリームをバッファを介して映像復号装置等に伝送する場合に、時系列データに対する再圧縮処理を行うことなく、伝送に必要となるバッファサイズおよび伝送遅延を低減することができる。
【００８９】
また、バッファ利用量解析手段１３は、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値と最小値とを用いて、バッファのサイズおよびバッファの所定時刻における蓄積データ量を示すパラメータを再設定してもよい。そのような構成によれば、例えば、ランダムアクセス周期ごとに、仮想バッファの蓄積データ量（バッファ占有量）を算出し、最適バッファ設定情報として出力することができる。そのため、伝送に必要となるバッファサイズおよび伝送遅延を低減することができる。
【００９０】
また、バッファ利用量解析手段１３は、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値から最小値を減じて、バッファのサイズの再設定後の値を算出し、バッファの所定時刻における蓄積データ量から最小値を減じて、バッファの所定時刻における蓄積データ量の再設定後の値を算出してもよい。そのような構成によれば、仮想バッファのサイズおよび仮想バッファの所定時刻における蓄積データ量を示すパラメータを正確に算出することができる。そのため、確実に、伝送に必要となるバッファサイズおよび伝送遅延を低減することができる。
【００９１】
図６に示すように、本発明による時系列データ再符号化装置は、符号化方式に応じて規定される仮想復号器のバッファの動作パラメータを含む符号化ビットストリームの多重化を解除する多重化解除手段２１（図３に示す映像再符号化装置における多重化解除器３０１に相当。）と、多重化解除された時系列データビットストリームにおける所定時間ごとのデータ量を算出する符号量検出手段２２（図３に示す映像再符号化装置におけるフレーム検出器３０２に相当。）と、バッファに蓄積されるデータ量の推移を算出する仮想バッファ２３（図３に示す映像再符号化装置における仮想バッファ３０３に相当。）と、蓄積データ量の推移を解析して、バッファのサイズおよびバッファの所定時刻における蓄積データ量を示すパラメータを再設定するバッファ利用量解析手段２４（図３に示す映像再符号化装置におけるバッファ利用量解析器３０４に相当。）と、多重化解除された時系列データビットストリームと、バッファ利用量解析手段２４が再設定したパラメータとを多重化する多重化手段２５（図３に示す映像再符号化装置における多重化器３０５に相当。）とを備える。
【００９２】
そのような構成によれば、時系列データビットストリームを復号し再圧縮することなく、伝送に必要となるバッファサイズおよび伝送遅延を低減するように、ビットストリームを再構成することができる。
【００９３】
また、バッファ利用量解析手段２４は、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値と最小値とを用いて、バッファのサイズおよびバッファの所定時刻における蓄積データ量を示すパラメータを再設定してもよい。そのような構成によれば、例えば、ランダムアクセス周期ごとに、仮想バッファの蓄積データ量（バッファ占有量）を算出し、最適バッファ設定情報として出力することができる。そのため、伝送に必要となるバッファサイズおよび伝送遅延を低減することができる。
【００９４】
また、バッファ利用量解析手段２４は、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値をＡ、最小値をＢとし、符号化方式に応じて規定される仮想復号器のバッファのサイズをＣ、バッファの所定時刻における蓄積データ量をＤとするとき、バッファのサイズ（すなわち、Ｃ）の再設定後の値を式Ｅ＝Ａ−Ｂに基づいて算出し、バッファの所定時刻における蓄積データ量（すなわち、Ｄ）の再設定後の値を式Ｆ＝Ｄ−Ｂに基づいて算出してもよい。そのような構成によれば、仮想バッファのサイズおよび仮想バッファの所定時刻における蓄積データ量を示すパラメータの設定を正確に算出することができる。そのため、確実に、伝送に必要となるバッファサイズおよび伝送遅延を低減することができる。
【００９５】
また、上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
【００９６】
（付記１）時系列データを圧縮符号化して符号化ビットストリームを生成する時系列データ符号化手段と、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の推移を算出する仮想バッファと、前記蓄積データ量の推移を解析して、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定するバッファ利用量解析手段と、前記時系列データ符号化手段が生成した符号化ビットストリームと、前記バッファ利用量解析手段が再設定したパラメータとを多重化する多重化手段とを備えることを特徴とする時系列データ符号化装置。
【００９７】
（付記２）バッファ利用量解析手段は、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値と最小値とを用いて、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定する付記１に記載の時系列データ符号化装置。
【００９８】
（付記３）バッファ利用量解析手段は、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値をＡ、最小値をＢとし、前記符号化方式に応じて規定される仮想復号器のバッファのサイズをＣ、前記バッファの所定時刻における蓄積データ量をＤとするとき、前記バッファのサイズの再設定後の値を式Ｅ＝Ａ−Ｂに基づいて算出し、前記バッファの所定時刻における蓄積データ量の再設定後の値を式Ｆ＝Ｄ−Ｂに基づいて算出する付記２に記載の時系列データ符号化装置。
【００９９】
（付記４）時系列データが映像データである付記１から付記３のうちのいずれか１つに記載の時系列データ符号化装置。
【０１００】
そのような構成によれば、時系列データ符号化装置は、生成したビットストリームをバッファを介して伝送する場合に、映像データに対する再圧縮処理を行うことなく、伝送に必要となるバッファサイズおよび伝送遅延を低減することができる。
【０１０１】
（付記５）符号化方式に応じて規定される仮想復号器のバッファの動作パラメータを含む符号化ビットストリームの多重化を解除する多重化解除手段と、多重化解除された時系列データビットストリームにおける所定時間ごとのデータ量を算出する符号量検出手段と、前記バッファに蓄積されるデータ量の推移を算出する仮想バッファと、前記バッファの蓄積データ量の推移を解析して、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定するバッファ利用量解析手段と、前記多重化解除された時系列データビットストリームと、前記バッファ利用量解析手段が再設定したパラメータとを多重化する多重化手段とを備えることを特徴とする時系列データ再符号化装置。
【０１０２】
（付記６）バッファ利用量解析手段は、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値と最小値とを用いて、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定する付記５に記載の時系列データ再符号化装置。
【０１０３】
（付記７）バッファ利用量解析手段は、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値をＡ、最小値をＢとし、前記符号化方式に応じて規定される仮想復号器のバッファのサイズをＣ、前記バッファの所定時刻における蓄積データ量をＤとするとき、前記バッファのサイズの再設定後の値を式Ｅ＝Ａ−Ｂに基づいて算出し、前記バッファの所定時刻における蓄積データ量の再設定後の値を式Ｆ＝Ｄ−Ｂに基づいて算出する付記６に記載の時系列データ再符号化装置。
【０１０４】
（付記８）時系列データが映像データである付記５から付記７のうちのいずれか１つに記載の時系列データ再符号化装置。
【０１０５】
そのような構成によれば、映像ビットストリームを復号し再圧縮することなく、伝送に必要となるバッファサイズおよび伝送遅延を低減するように、ビットストリームを再構成することができる。
【０１０６】
（付記９）時系列データを圧縮符号化して符号化ビットストリームを生成し、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の推移を算出し、前記蓄積データ量の推移を解析して、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定し、前記生成された符号化ビットストリームと、前記再設定されたパラメータとを多重化することを特徴とする時系列データ符号化方法。
【０１０７】
（付記１０）符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値と最小値とを用いて、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定する付記９に記載の時系列データ符号化方法。
【０１０８】
（付記１１）符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値をＡ、最小値をＢとし、前記符号化方式に応じて規定される仮想復号器のバッファのサイズをＣ、前記バッファの所定時刻における蓄積データ量をＤとするとき、前記バッファのサイズの再設定後の値を式Ｅ＝Ａ−Ｂに基づいて算出し、前記バッファの所定時刻における蓄積データ量の再設定後の値を式Ｆ＝Ｄ−Ｂに基づいて算出する付記１０に記載の時系列データ符号化方法。
【０１０９】
（付記１２）時系列データが映像データである付記９から付記１１のうちのいずれか１つに記載の時系列データ符号化方法。
【０１１０】
（付記１３）符号化方式に応じて規定される仮想復号器のバッファの動作パラメータを含む符号化ビットストリームの多重化を解除し、多重化解除された時系列データビットストリームにおける所定時間ごとのデータ量を算出し、前記仮想復号器のバッファに蓄積されるデータ量の推移を算出し、前記蓄積データ量の推移を解析して、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定し、前記多重化解除された時系列データビットストリームと、前記再設定されたパラメータとを多重化することを特徴とする時系列データ再符号化方法。
【０１１１】
（付記１４）符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値と最小値とを用いて、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定する付記１３に記載の時系列データ再符号化方法。
【０１１２】
（付記１５）符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値をＡ、最小値をＢとし、前記符号化方式に応じて規定される仮想復号器のバッファのサイズをＣ、前記バッファの所定時刻における蓄積データ量をＤとするとき、前記バッファのサイズの再設定後の値を式Ｅ＝Ａ−Ｂに基づいて算出し、前記バッファの所定時刻における蓄積データ量の再設定後の値を式Ｆ＝Ｄ−Ｂに基づいて算出する付記１４に記載の時系列データ再符号化方法。
【０１１３】
（付記１６）時系列データが映像データである付記１３から付記１５のうちのいずれか１つに記載の時系列データ再符号化方法。
【０１１４】
（付記１７）コンピュータに、時系列データを圧縮符号化して符号化ビットストリームを生成する処理と、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の推移を算出する処理と、前記蓄積データ量の推移を解析して、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定する処理と、前記生成された符号化ビットストリームと、前記再設定されたパラメータとを多重化する処理とを実行させるための時系列データ符号化プログラム。
【０１１５】
（付記１８）コンピュータに、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値と最小値とを用いて、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定する処理を実行させる付記１７に記載の時系列データ符号化プログラム。
【０１１６】
（付記１９）コンピュータに、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値をＡ、最小値をＢとし、前記符号化方式に応じて規定される仮想復号器のバッファのサイズをＣ、前記バッファの所定時刻における蓄積データ量をＤとするとき、前記バッファのサイズの再設定後の値を式Ｅ＝Ａ−Ｂに基づいて算出し、前記バッファの所定時刻における蓄積データ量の再設定後の値を式Ｆ＝Ｄ−Ｂに基づいて算出する処理を実行させる付記１８に記載の時系列データ符号化プログラム。
【０１１７】
（付記２０）時系列データが映像データである付記１７から付記１９のうちのいずれか１つに記載の時系列データ符号化プログラム。
【０１１８】
（付記２１）コンピュータに、符号化方式に応じて規定される仮想復号器のバッファの動作パラメータを含む符号化ビットストリームの多重化を解除する処理と、多重化解除された時系列データビットストリームにおける所定時間ごとのデータ量を算出する処理と、前記仮想復号器のバッファに蓄積されるデータ量の推移を算出する処理と、前記蓄積データ量の推移を解析して、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定する処理と、前記多重化解除された時系列データビットストリームと、前記再設定されたパラメータとを多重化する処理とを実行させるための時系列データ再符号化プログラム。
【０１１９】
（付記２２）コンピュータに、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値と最小値とを用いて、前記バッファのサイズおよび前記バッファの所定時刻における蓄積データ量を示すパラメータを再設定する処理を実行させる付記２１に記載の時系列データ再符号化プログラム。
【０１２０】
（付記２３）コンピュータに、符号化方式に応じて規定される仮想復号器のバッファに蓄積されるデータ量の最大値をＡ、最小値をＢとし、前記符号化方式に応じて規定される仮想復号器のバッファのサイズをＣ、前記バッファの所定時刻における蓄積データ量をＤとするとき、前記バッファのサイズの再設定後の値を式Ｅ＝Ａ−Ｂに基づいて算出し、前記バッファの所定時刻における蓄積データ量の再設定後の値を式Ｆ＝Ｄ−Ｂに基づいて算出する処理を実行させる付記２２に記載の時系列データ再符号化プログラム。
【０１２１】
（付記２４）時系列データが映像データである付記２１から付記２３のうちのいずれか１つに記載の時系列データ再符号化プログラム。
【０１２２】
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１２３】
この出願は、２０１３年６月６日に出願された日本特許出願２０１３−１１９８５３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１２４】
１１  時系列データ符号化手段
１２  仮想バッファ
１３  バッファ利用量解析手段
１４  多重化手段
２１  多重化解除手段
２２  符号量検出手段
２３  仮想バッファ
２４  バッファ利用量解析手段
２５  多重化手段
１０１、９１１  映像符号化器
１０２、９１２  仮想バッファ
１０３  バッファ利用量解析器
１０４、９１３  多重化器
３０１  多重化解除器
３０２  フレーム検出器
３０３  仮想バッファ
３０４  バッファ利用量解析器
３０５  多重化器
７１０  映像符号化送出装置
７１１  符号化器
７１２  送信バッファ
７２０、８４０  映像復号装置
７２１、８４１  受信バッファ
７２２、８４２  復号器
８１０  映像符号化装置
８２０  記憶装置
８３０  映像送出装置
８３１  送出器
８３２  送信バッファ
１００１  プロセッサ
１００２  プログラムメモリ
１００３、１００４  記憶媒体
【図１】
2014196113.tif 000003
【図２】
2014196113.tif 000004
【図３】
2014196113.tif 000005
【図４】
2014196113.tif 000006
【図５】
2014196113.tif 000007
【図６】
2014196113.tif 000008
【図７】
2014196113.tif 000009
【図８】
2014196113.tif 000010
【図９】
2014196113.tif 000011
【図１０】
2014196113.tif 000012
【図１１】
2014196113.tif 000013
【国際調査報告】
2014196113.tif 000014
2014196113.tif 000015
2014196113.tif 000016
2014196113.tif 000017