(57)【要約】【課題】ＭＰＥＧストリームの画質の向上を図ることができるようにしたピクチャ・アライン方法を提供する。【解決手段】ビデオＥＳ及びオーディオＥＳを多重化してＭＰＥＧ２−ＰＳを生成する場合において、ビデオＥＳがＩＢＢＰ構成で、ＩピクチャおよびＰピクチャの先頭をパック・ヘッダの直後にアラインする場合、Ｉピクチャの直前のＢピクチャの後およびＰピクチャの直前のＢピクチャの後にビデオＥＳのスタッフィング・データを挿入する。このスタッフィング・データの挿入は、ビデオ信号を符号化するビデオ符号化部において、Ｉピクチャ又はＰピクチャの直前のＢピクチャの符号化が終わった後に行う。【選択図】図１
2007189570.tif 000002
【特許請求の範囲】
【請求項１】
素材別のエレメンタリ・ストリームを多重化してＭＰＥＧストリームを生成する際に、所定のピクチャの先頭をパックの所定位置にアラインする場合、前記所定のピクチャの直前のピクチャの後にビデオ・エレメンタリ・ストリームのスタッフィング・データを挿入することを特徴とするピクチャ・アライン方法。
【請求項２】
前記スタッフィング・データの挿入は、ビデオ符号化部において、前記所定のピクチャの直前のピクチャの符号化が終わった後に行うことを特徴とする請求項１記載のピクチャ・アライン方法。
【請求項３】
ＶＢＶバッファの下限より前記スタッフィング・データ分だけ高い値を前記ＶＢＶバッファの仮下限とし、前記仮下限以上の値でレートコントロールを行うようにすることを特徴とする請求項１又は２記載のピクチャ・アライン方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ（Moving Picture Experts Group）ストリームを作成する際に使用して好適なピクチャ・アライン方法に関する。
【背景技術】
【０００２】
図４はＭＰＥＧ２−ＰＳ（Program Stream）のデータ構造を示す図である。図４（Ａ）はＭＰＥＧ２−ＰＳの一例、図４（Ｂ）はＭＰＥＧ２−ＰＳ内のビデオＥＳ（Elementary Stream）の一例を示しており、ＭＰＥＧ２−ＰＳでは、システム・レイヤを最上位レイヤとし、その下にビデオ・レイヤ（ビデオＥＳ）、オーディオ・レイヤ（オーディオＥＳ）が配置される。
【０００３】
ビデオＥＳは、Ｉピクチャ、Ｂピクチャ、Ｐピクチャが、たとえば、ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢの順で繰り返して並ぶ構成（ＩＢＢＰ構成）とされ、パックに入る単位で分割され、システム・レイヤのパックに格納される。また、ＭＰＥＧ２−ＰＳでは、再生時におけるサーチや編集はピクチャ単位で扱う必要があるため、パックの先頭部に位置するヘッダの直後にピクチャの先頭が揃うようにピクチャをアラインする必要がある。
【０００４】
図５は従来のピクチャ・アライン方法を説明するための図である。図５の例は、ビデオＥＳがＩＢＢＰ構成である場合において、Ｐピクチャの先頭をパック・ヘッダの直後にアラインする場合を示しており、オーディオＥＳは図示を省略している。
【０００５】
図５の例では、３枚目のＢピクチャの後にパディング（padding）ＰＥＳ（Packetized Elementary Stream）を挿入することにより４枚目のＰピクチャの先頭をパック・ヘッダの直後にアラインしている。このように、従来では、ピクチャの先頭をパック・ヘッダの直後にアラインする場合、アライン対象のピクチャの直前のピクチャの後にパディングＰＥＳを挿入していた。
【０００６】
ここで、ＭＰＥＧ２−ＰＳのシステム・ビット・レートをＸａとし、そのうち、システム・レイヤのヘッダ分をＸｂ、ピクチャ・アライン用のパディングＰＥＳ分をＸｃ、オーディオＥＳ分をＸｄ、ビデオＥＳ分をＸｅとすると、ビデオＥＳ分Ｘｅは、
【０００７】
【数１】
2007189570.tif 000003
【０００８】
となる。しかしながら、ビデオＥＳの各ピクチャのサイズは絵柄により可変であるため、ピクチャ・アライン用のパディングＰＥＳのサイズがどのくらいになるのかは、あらかじめ知ることができず、各ピクチャのビデオＥＳが生成された後に初めて知ることができることから、ピクチャ・アライン用のパディングＰＥＳが取り得る最大サイズを考慮し、その分のビット・レートをあらかじめ見込んでおく必要がある。
【０００９】
ここで、ピクチャ・アライン用のパディングＰＥＳが取り得る最大サイズは、アライン対象のピクチャの直前のピクチャの最後の１バイトだけが入るようなパックが発生した場合であり、この場合には、１パックのほぼ全部がピクチャ・アライン用のパディングＰＥＳとなる。たとえば、１パックのサイズを２０４８byte、パック・ヘッダのサイズを１４byte、ＰＥＳヘッダのサイズを１８byteとすると、ピクチャ・アライン用のパディングＰＥＳのサイズは、
【００１０】
【数２】
2007189570.tif 000004
【００１１】
となる。したがって、たとえば、ＧＯＰ（group of pictures）がＩＢＢＰ構成で、１ＧＯＰが１５ピクチャで、１秒間で２ＧＯＰである場合において、ＩピクチャおよびＰピクチャの先頭をパック・ヘッダの直後にアラインする場合、ＩピクチャおよびＰピクチャの枚数は１ＧＯＰ中では合計５枚、１秒間では合計１０枚となるので、ピクチャ・アライン用のパディングＰＥＳのビット・レートＸｃとして、
【００１２】
【数３】
2007189570.tif 000005
【００１３】
を見込んでおく必要があり、この分だけ、ビデオＥＳのビット・レートＸｅの割り当てが減ることになる。
【特許文献１】特開２００４−０７９０８７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
通常、ＤＶＤ-video等では、システム・ビット・レートＸａとして１０Mbps程度が使用されるが、この場合には、ピクチャ・アライン用のパディングＰＥＳのビット・レートＸｃが数３に示す程度であれば、画質にそれほどの影響を与えないが、長時間録画機能や通信装置の極狭帯域の部分でシステム・ビット・レートＸａが１Mbps程度とすると、数３に示す程度のビット・レートＸｃも無視できないことになる。
【００１５】
本発明は、かかる点に鑑み、ＭＰＥＧストリームの画質の向上を図ることができるようにしたピクチャ・アライン方法を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明のピクチャ・アライン方法は、素材別のエレメンタリ・ストリームを多重化してＭＰＥＧストリームを生成する際に、所定のピクチャの先頭をパックの所定位置にアラインする場合、前記所定のピクチャの直前のピクチャの後にビデオＥＳのスタッフィング（stuffing）・データを挿入するというものである。
【発明の効果】
【００１７】
本発明によれば、所定のピクチャの先頭をパックの所定位置にアラインする場合、前記所定のピクチャの直前のピクチャの後にビデオＥＳのスタッフィング・データを挿入するとしているので、従来ではパディングＰＥＳを挿入することにより無駄となっていた部分をビデオＥＳに割り当てることができる。したがって、ＭＰＥＧストリームの画質の向上を図ることができる。この効果は、ＭＰＥＧストリームのシステム・ビット・レートが低いほど顕著となる。
【発明を実施するための最良の形態】
【００１８】
以下、図１〜図３を参照して、本発明の一実施形態について、ＭＰＥＧ２−ＰＳを生成する場合において、ビデオＥＳがＩＢＢＰ構成で、ＩピクチャおよびＰピクチャの先頭をパック・ヘッダの直後にアラインする場合を例にして説明する。
【００１９】
図１は本発明の一実施形態を従来のピクチャ・アライン方法と比較して説明するための図である。図１（Ａ）は本発明の一実施形態を適用した場合のＭＰＥＧ２−ＰＳの一部分、図１（Ｂ）は従来のピクチャ・アライン方法を適用した場合のＭＰＥＧ２−ＰＳの一部分を示している。
【００２０】
図１中、１０、１１、１２はパック、１３、１４、１５はパック・ヘッダ、１６はＩピクチャ又はＰピクチャ、１７はＩピクチャ又はＰピクチャ１６の直前のＢピクチャの最後の部分、１８はビデオＥＳのスタッフィング・データ、即ち、ビデオＥＳレイヤに位置付けられる復号されないデータ（具体的には、ISO 13818-2において、5.2.3 Definition of next_start_code() functionで定義されているzero_bit,zero_byte）、１９はピクチャ・アライン用のパディングＰＥＳである。
【００２１】
即ち、素材別エレメンタリ・ストリームであるビデオＥＳおよびオーディオＥＳを多重化してＭＰＥＧ２−ＰＳを生成する場合において、ビデオＥＳがＩＢＢＰ構成で、ＩピクチャおよびＰピクチャの先頭をパック・ヘッダの直後にアラインする場合、従来では、Ｉピクチャの直前のＢピクチャの後およびＰピクチャの直前のＢピクチャの後にピクチャ・アライン用のパディングＰＥＳを挿入していた。
【００２２】
これに対して、本発明の一実施形態は、Ｉピクチャの直前のＢピクチャの後およびＰピクチャの直前のＢピクチャの後にビデオＥＳのスタッフィング・データを挿入することにより、ＩピクチャおよびＰピクチャの先頭をパック・ヘッダの直後にアラインするというものである。なお、このスタッフィング・データの挿入は、ビデオ信号を符号化するビデオ符号化部において、Ｉピクチャ又はＰピクチャの直前のＢピクチャの符号化が終わった後に行う。
【００２３】
本発明の一実施形態においては、前述のように、ＭＰＥＧ２−ＰＳのシステム・ビット・レートをＸａとし、そのうち、システム・レイヤのヘッダ分をＸｂ、ピクチャ・アライン用のパディングＰＥＳ分をＸｃ、オーディオＥＳ分をＸｄ、ビデオＥＳ分をＸｅとすると、パディングＰＥＳ分Ｘｃは、ビデオＥＳ分Ｘｅに割り当てられることになるので、ビデオＥＳ分Ｘｅは、
【００２４】
【数４】
2007189570.tif 000006
【００２５】
となる。たとえば、システム・ビット・レートＸａを１Mbpsとし、そのうち、システム・レイヤのヘッダ分Ｘｂを２００kbps、ピクチャ・アライン用のパディングＰＥＳ分Ｘｃを１６０kbps、オーディオＥＳ分Ｘｄを２５６kbpsとすると、ビデオＥＳ分Ｘｅは、本発明の一実施形態を適用すると、
【００２６】
【数５】
2007189570.tif 000007
【００２７】
となる。これに対して、従来のピクチャ・アライン方法を適用すると、
【００２８】
【数６】
2007189570.tif 000008
【００２９】
となる。このように、従来のピクチャ・アライン方法を適用すると、システム・ビット・レートＸａ＝１Mbps中、ビデオＥＳ分Ｘｅとして３８４kbpsしか見込むことができないが、本発明の一実施形態を適用すると、ビデオＥＳ分Ｘｅとして５４４kbpsを見込むことができる。
【００３０】
但し、スタッフィング・データを挿入すると、ビデオＥＳのビット・レートＸｅは実質的には５４４kbpsよりも低くなる。しかしながら、ビデオＥＳのビット・レートＸｅが最も低くなる場合は、ピクチャ・アライン毎に２０１５byteのスタッフィング・データを挿入する場合であり、この場合には、ビデオＥＳのビット・レートＸｅは、実質的には３８４kbpsになるが、それ以外は、３８４kbpsよりも高くなる。
【００３１】
これに対して、従来のピクチャ・アライン方法においては、ピクチャ・アライン用のパディングＰＥＳに割り当てられる１６０kbpsはビデオＥＳになることはないので、ビデオＥＳのビット・レートＸｅが３８４kbpsよりも高くなることはない。
【００３２】
図２はＭＰＥＧ２−ＰＳ作成装置の一部分を示すブロック回路図である。図２（Ａ）は本発明の一実施形態を実施するＭＰＥＧ２−ＰＳ作成装置、図２（Ｂ）は従来のピクチャ・アライン方法を実施するＭＰＥＧ２−ＰＳ装置を示している。
【００３３】
図２（Ａ）において、２０はビデオ信号を符号化してビデオＥＳを出力するビデオ符号化部、２１はオーディオ信号を符号化してオーディオＥＳを出力するオーディオ符号化部、２２はビデオ符号化部２０が出力するビデオＥＳとオーディオ符号化部２１が出力するオーディオＥＳを多重化してＭＰＥＧ２−ＰＳを作成する多重化部である。
【００３４】
図２（Ｂ）において、２３はビデオ信号を符号化してビデオＥＳを出力するビデオ符号化部、２４はオーディオ信号を符号化してオーディオＥＳを出力するオーディオ符号化部、２５はビデオ符号化部２３が出力するビデオＥＳとオーディオ符号化部２４が出力するオーディオＥＳを多重化してＭＰＥＧ２−ＰＳを作成する多重化部、２６はピクチャ・アライン用のパディングＰＥＳ挿入機構である。
【００３５】
即ち、従来のピクチャ・アライン方法では、ピクチャ・アライン用のパディングＰＥＳの挿入が行われるので、多重化部２５にピクチャ・アライン用のパディングＰＥＳ挿入機構２６を必要とする。
【００３６】
これに対して、本発明の一実施形態では、ビデオＥＳのスタッフィング・データの挿入が行われるが、これは、ビデオ符号化部２０において、Ｉピクチャ又はＰピクチャの直前のＢピクチャの符号化が終わった後に行われ、ビデオ符号化部２０から出力されるビデオＥＳでは、ＩピクチャおよびＰピクチャの先頭はアラインされているため、多重化部２２にパディングＰＥＳ挿入機構２６を設ける必要がない。
【００３７】
図３は本発明の一実施形態を実施する場合におけるＶＢＶ（Video Buffer Verifier）バッファの制御方法を説明するための図であり、ＶＢＶバッファの占有量の変化を示している。本発明の一実施形態では、１ピクチャの最後に２０１５byteのスタッフィング・データを出力する場合があるので、ＶＢＶバッファに関しては、ＶＢＶバッファ下限より２０１５byteだけ高い値をＶＢＶバッファ仮下限とし、常にＶＢＶバッファ仮下限以上の値で通常のレートコントロールを行うようにする。
【００３８】
このようにすると、仮に、１ピクチャの最後に最大２０１５byteのスタッフィング・データを出力することがあっても、レートコントロールを破綻させないようにすることができる。
【００３９】
以上のように、本発明の一実施形態においては、ビデオＥＳおよびオーディオＥＳを多重化してＭＰＥＧ２−ＰＳを生成する場合において、ビデオＥＳがＩＢＢＰ構成で、ＩピクチャおよびＰピクチャの先頭をパック・ヘッダの直後にアラインする場合、Ｉピクチャの直前のＢピクチャの後およびＰピクチャの直前のＢピクチャの後にビデオＥＳのスタッフィング・データを挿入するとしている。
【００４０】
したがって、ＭＰＥＧ２−ＰＳのシステム・ビット・レート中に固定ビット・レートのパディングＰＥＳ分を割り当てる必要がなく、この分をビデオＥＳに割り当てることができるので、ＭＰＥＧ２−ＰＳの画質の向上を図ることができる。この効果は、ＭＰＥＧ２−ＰＳのビット・レートが低い場合に顕著になる。
【００４１】
なお、本発明の一実施形態では、ＭＰＥＧ２−ＰＳを生成する場合を例にして説明したが、本発明は、ＭＰＥＧ４等、ピクチャの先頭のアラインをビデオＥＳレイヤにおけるスタッフィング・データの挿入により行うことが可能な全てのＭＰＥＧストリームに適用することができる。
【００４２】
また、本発明の一実施形態では、ＧＯＰがＩＢＢＰ構成の場合を例にして説明したが、本発明は、ピクチャがＩＩＩＩＩと並ぶ場合やＩＰＰＰと並ぶ場合等、ＧＯＰがいかなる構成の場合にも適用することができる。
【００４３】
また、本発明の一実施形態では、ＧＯＰがＩＢＢＰ構成の場合において、ＩピクチャおよびＰピクチャの先頭をパック・ヘッダの直後にアラインする場合について説明したが、本発明は、Ｉピクチャ、ＰピクチャおよびＢピクチャの先頭をパック・ヘッダの直後にアラインする場合にも適用することができ、また、システム・ビット・レートとして、１ピクチャが１パック以上のビット・レートならば、適用可能である。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施形態を従来のピクチャ・アライン方法と比較して説明するための図である。
【図２】ＭＰＥＧ２−ＰＳ作成装置の一部分を示すブロック回路図である。
【図３】本発明の一実施形態を実施する場合におけるＶＢＶバッファの制御方法を説明するための図である。
【図４】ＭＰＥＧ２−ＰＳのデータ構造を示す図である。
【図５】従来のピクチャ・アライン方法を説明するための図である。
【符号の説明】
【００４５】
１０、１１、１２…パック
１３、１４、１５…パック・ヘッダ
１６…Ｉピクチャ又はＰピクチャ
１７…Ｉピクチャ又はＰピクチャの直前のＢピクチャの最後の部分
１８…ビデオＥＳのスタッフィング・データ
１９…ピクチャ・アライン用のパディングＰＥＳ
２０…ビデオ符号化部
２１…オーディオ符号化部
２２…多重化部
２３…ビデオ符号化部
２４…オーディオ符号化部
２５…多重化部
２６…パディングＰＥＳ挿入機構
【図１】
2007189570.tif 000009
【図２】
2007189570.tif 000010
【図３】
2007189570.tif 000011
【図４】
2007189570.tif 000012
【図５】
2007189570.tif 000013