(57)【要約】      （修正有）【課題】ＴＳパケット化の際にＰＥＳパケットのサイズを意識せずにパケット化を行えるようにする。【解決手段】パディングデータ付加装置２４を設けることで、PESパケットの時点でTSパケットのペイロードサイズのアライメントを取るようにすることで、TSパケット化の際に、PESパケットのサイズを意識せずに処理を行えるため、TSパケット化の処理を簡易化することができる。また、パケット数カウント装置２５を設け、生成されたTSパケット数をカウントしておくことで、その値をパディングデータ付加装置２４に通知し、PESパケットの時点で３２のTSパケットとのアライメントを取るようにすることで、最終フレームのTSパケット化時に、３２のTSパケットとのアライメントのための、ストリームの終端に挿入するパディングパケットを生成する処理を削減できる。【選択図】図２
2009212919.tif 000002
【特許請求の範囲】
【請求項１】
符号化データをPESパケット化し、さらに複数のパケットに分割して動画ストリームを作成する信号処理装置であって、
PESパケットデータにパディングデータを付加するパディングデータ付加装置と、PESパケットをさらにパケットに分割/結合した際のパケット数をカウントするパケット数カウント装置とを有することを特徴とする信号処理装置。
【請求項２】
前記パディングデータ付加装置は、付加するパディングデータを符号化タイプ毎に持つことを特徴とする請求項１記載の信号処理装置。
【請求項３】
前記パディングデータ付加装置は、PESパケット化以降の処理によって、アライメントサイズを設定することを特徴とする請求項１記載の信号処理装置。
【請求項４】
前記パディングデータ付加装置は、動画ストリームとしてパケット数のアライメントが規定されるストリームにおいて、動画ストリームの最終PESパケットのパディングサイズは、その規定されたパケット数のアライメントが取れるように、前記パケット数カウント装置からパケット数を受け取り、付加するパディングデータのサイズを算出する手段を持つことを特徴とする請求項１記載の信号処理装置。
【請求項５】
前記パディングデータ付加装置は、外部から直接設定された値をパディングデータサイズとして設定することを特徴とする請求項１記載の信号処理装置。
【請求項６】
前記パケット数カウント装置でカウントするパケットは、PESパケットをさらに細分化されたパケットで構成されているストリームであることを特徴とする請求項１記載の信号処理装置。
【請求項７】
前記パケット数カウント装置でカウントするパケットは、PESパケットをさらに結合するパケットで構成されているストリームであることを特徴とする請求項１記載の信号処理装置。
【請求項８】
符号化データをPESパケット化し、さらに複数のパケットに分割して動画ストリームを作成する信号処理方法であって、
パディングデータ付加装置にてPESパケットデータにパディングデータを付加し、パケット数カウント装置にてPESパケットをさらにパケットに分割/結合した際のパケット数をカウントし、
PESヘッダサイズが固定長であり、パディングデータを付加した後にPESパケット化を行うことを特徴とする信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル化、符号化されて伝送される映像や音声、データ等の情報に時間情報を付加し多重化する信号処理装置および信号処理方法に関する。
【背景技術】
【０００２】
近年、動画を扱うフォーマットは、画像圧縮方式として高能率符号化方式であるMPEG-2,MPEG-4,H.264(MPEG-4 AVC)が用いられている。また、音声圧縮方式としてはAC-3(Dolby Digital),AAC,G.726などが用いられている。画像・音声圧縮したデジタル信号の伝送には、多重方式として、放送等のリアルタイム伝送に用いられるトランスポートストリーム方式や、ハードディスクやDVDなどへの蓄積型のプログラムストリーム方式などがある。
【０００３】
トランスポートストリームでは、符号化されたAudio, Videoデータに対して、PES（Packetized Elementary Stream）ヘッダを付加して、PESパケット化する。そのPESパケットがトランスポートパケット（Transport Packet；TSパケット）と呼ばれる所定サイズ（例えば188byte）毎のデータの纏まりに時間分割され、TSパケット毎に放送データが伝送される。
【０００４】
このトランスポートストリームのPayloadには、複数のPESパケットが混入されることは禁止されている。ただし、PESパケットが必ずしもトランスポートパケットのPayloadサイズに余すことなく収まるとは限らない。そういった場合に対しては、図５で示すようにTSパケットのTSヘッダパディングを使用して、Payload内に複数のPESパケットの混入をさせないようにする。
【０００５】
また、HD(High-Definition)用の動画規格であるAVCHD規格では、図６に示すように、さらに３２のTSパケットを一つの単位(Aligned Unit)として扱い、その単位でアライメントを取らなければならない。なお、トランスポートストリームの構成に関しては、図６によって示す。
【０００６】
AVCHD規格の場合、トランスポートストリームは３２のTSパケットで割り切れる値で終わらなければならない。ただし、記録するストリームは必ずしも、割り切れる値で終わるとは限らない。そういった場合には、TSパケットのNULLパケットのトランスポートストリームを挿入して、３２のTSパケット単位を遵守する必要がある。
【０００７】
上記のような処理において、従来の構成を以下に図面をよって説明する。
【０００８】
図７は、従来の信号処理装置のブロック図である。
【０００９】
画像データ圧縮/伸張処理装置７１は、非圧縮の画像データをMPEG-2,MPEG-4(H.264)形式で圧縮し、フレーム毎に時間情報を付加して出力する。同様に、音声データ圧縮/伸張処理装置７２は、非圧縮の音声データをAC-3,G.726などの形式で圧縮し、フレーム毎に時間情報を付加して出力する。
【００１０】
画像データ圧縮/伸張処理装置７１および音声データ圧縮/伸張処理装置７２から出力されたデータに対して、パケット化処理装置７３にて、多重化できるような形式であって画像・音声の圧縮データを、それぞれ生成する動画フォーマットの規格で定められたパケットにパケット化を行い出力する。
【００１１】
パケット化処理装置７３にてパケット化された画像・音声データを多重化処理装置７５にて、生成する動画フォーマットの規格に則って同期を取れるような形で多重化を行い、出力する。各処理に関してはＣＰＵ７４でも行うことができる。
【００１２】
従来の符号化から出力されるストリームの生成までの処理を、図８のフローチャートによって示す。
【００１３】
非圧縮データが入力されると、画像データ圧縮/伸張処理装置７１および音声データ圧縮/伸張処理装置７２にて規定された符号化方式、符号化単位で圧縮データに変換し出力する（S801）。
【００１４】
次に、出力された圧縮データをパケット化処理装置７３にてPESパケット化し、出力する（S802）。
【００１５】
次に、PESパケット化されたデータを、パケット化処理装置７３にてTSパケット化し、出力する（S803）。TSパケット化の際に、PESパケットの終端部分のTSパケット化で、パケット化を行うPESパケットがトランスポートストリームのPayloadサイズに満たない場合には、TSヘッダのパディングデータを付加するようにする。
【００１６】
すなわち、パケット化処理装置７３にて、トランスポートストリームの終端であるかを判断する（S804）。判断の結果、YesならS805へ、NoならS807へ進む。
【００１７】
S804にてYesの場合、パケット化処理装置７３にて、３２のTSパケット単位のアライメントがとれているかを判断する（S805）。判断の結果、アライメントが必要ならS806へ、不要ならS807へ進む。
【００１８】
S805にてYesの場合、パケット化処理装置７３にて、挿入するNULLパケット数を算出し、TSパケット化されたデータの終端に算出された数分のNULLパケットを挿入する（S806）。
【００１９】
S804にてNoの場合ならびにS805にてNoの場合、多重化処理装置７５にて動画フォーマットの規格で定められた単位にて各データを多重化し出力する（S807）。これにより、トランスポートストリーム化が完了する（S808）。
【特許文献１】特願２０００−６０６００７号公報
【特許文献２】特開平９−３１２６５６号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
従来のストリームでは、TSパケット化の際にPESパケットがトランスポートストリームのPayloadサイズとのアライメントが取れていなかった場合に、TSヘッダにてパディングデータを挿入してアライメントが取れるようにしなければならない。このため、TSパケット化では、常にPESパケットのサイズを意識しながらTSパケット化を行わなければならなかった。
【００２１】
また、トランスポートストリームの記録を終了する場合、AVCHD規格においては、ストリーム全体のパケット数が３２のTSパケット単位でストリームを終了する必要があり、TSパケット化の後にNULLパケットの挿入が必要であるかを判断し、必要に応じてNULLパケットを挿入しなければならなかった。
【課題を解決するための手段】
【００２２】
本発明は、符号化データをPESパケット化し、さらに複数のパケットに分割して動画ストリームを作成する信号処理装置であって、PESパケットデータにパディングデータを付加するパディングデータ付加装置と、PESパケットをさらにパケットに分割/結合した際のパケット数をカウントするパケット数カウント装置とを有することを特徴とする。
【００２３】
前記パディングデータ付加装置は、付加するパディングデータを符号化タイプ毎に持つ。
【００２４】
また、前記パディングデータ付加装置は、PESパケット化以降の処理によって、アライメントサイズを設定する。
【００２５】
また、前記パディングデータ付加装置は、動画ストリームとしてパケット数のアライメントが規定されるストリームにおいて、動画ストリームの最終PESパケットのパディングサイズは、その規定されたパケット数のアライメントが取れるように、前記パケット数カウント装置からパケット数を受け取り、付加するパディングデータのサイズを算出する手段を持つ。
【００２６】
また、前記パディングデータ付加装置は、外部から直接設定された値をパディングデータサイズとして設定する。
【００２７】
前記パケット数カウント装置でカウントするパケットは、PESパケットをさらに細分化されたパケットで構成されているストリームである。
【００２８】
また、前記パケット数カウント装置でカウントするパケットは、PESパケットをさらに結合するパケットで構成されているストリームである。
【００２９】
本発明は、符号化データをPESパケット化し、さらに複数のパケットに分割して動画ストリームを作成する信号処理方法であって、パディングデータ付加装置にてPESパケットデータにパディングデータを付加し、パケット数カウント装置にてPESパケットをさらにパケットに分割/結合した際のパケット数をカウントし、PESヘッダサイズが固定長であり、パディングデータを付加した後にPESパケット化を行うことを特徴とする。
【００３０】
本発明の信号処理装置および信号処理方法によると、ES（Elementary Stream）のパディングデータをPESパケットの終端に付加するパディングデータ付加装置を設けたことで、PESパケット化の際に、このパディングデータ付加装置にて、パディングデータサイズを算出もしくは、必要に応じて外部より受け取り、このパディングデータサイズ分のパディングデータをESの終端に挿入し、PESパケットをTSパケットのPayloadサイズのアライメントを取るようなサイズにする。
【００３１】
また、パケット数をカウントするパケット数カウント装置を設けたことで、パケット化処理装置にてPESパケットをさらにパケット化した際のパケット数をカウントし、そのパケット数をパディングデータ付加装置に出力し、パディングデータ付加装置はその値を基に、挿入するパディングデータサイズを算出する。
【発明の効果】
【００３２】
本発明の信号処理装置における動画記録時において、符号化データをPESパケット化する際に、TSパケットのpayloadサイズのアライメントを取るように、パディングデータ付加装置にてESのパディングデータをPESパケット終端に付加するようにし、TSパケット化の際にPESパケットのサイズを意識せずにパケット化をすることができ、処理時間が短縮され、かつ、パケット化における処理が簡易になり、パケット化処理をハードウェア化した場合には回路規模の削減に繋がる。
【００３３】
また、パケット数カウント装置にてパケット数をカウントし、最終データもしくは任意のタイミングで、パディングデータ付加装置にパケット数を出力することで、パディングデータ付加装置はそのパケット数を基に、AVCHD規格においては３２のTSパケットのアライメントを取るようにパディングデータサイズを算出し、パディングデータを付加するようにする。そうすることで、TSパケット化の際に、パケット数を意識することなくパケット化を行うことができるとともに、最終のパケットの後の、NULLパケット挿入処理を省くことが可能となり、TSパケット化における処理時間が短縮され、かつ、パケット化における処理が簡易になり、パケット化処理をハードウェア化した場合には回路規模の削減に繋がる。
【発明を実施するための最良の形態】
【００３４】
以下、本発明の実施の形態について、図１から図４を用いて説明する。
【００３５】
図１はPESパケット終端部におけるTSパケット構成図、図２は信号処理装置の構成を示すブロック図、図３はPESパケット化の動作を示すフローチャート、図４はストリーム生成の動作を示すフローチャートである。
【００３６】
図２において、画像データ圧縮/伸張処理装置２１は、符号化される前の非圧縮の画像データをMPEG-2,MPEG-4(H.264)形式で圧縮し、フレーム毎に時間情報を付加して出力する。音声データ圧縮/伸張処理装置２２では、符号化される前の非圧縮の音声データをAAC,AC-3,G.726などの形式で圧縮し、フレーム毎に時間情報を付加して出力する。
【００３７】
また、圧縮されたデータを各圧縮/伸張処理装置２１，２２から出力した後、パケット化処理装置２３にて、多重化できるような形式に画像・音声の圧縮データを、それぞれ生成する動画フォーマットの規格で定められたPESパケットにパケット化を行い出力する。
【００３８】
出力されたデータに関して、パディングデータ付加装置２４にて、パディングサイズを算出もしくは外部より受け取り、PESパケットの終端にパディングデータを付加して出力する（図１（ａ）参照）。
【００３９】
出力されたデータに対して、再度パケット化処理装置２３にて、多重化できるような形式に画像・音声の圧縮データを、それぞれ生成する動画フォーマットの規格で定められたTSパケットにパケット化を行い出力する。出力されたTSパケットに関しては、パケット数カウント装置２５にてパケット数をカウントする。このパケット数カウント装置２５でカウントされた値は、パディングデータ付加装置２４に渡されパディングデータの算出に用いられる。
【００４０】
パケット化処理装置２３にてTSパケット化された映像・音声データを多重化処理装置２６にて、生成する動画フォーマットの規格に則って同期を取れるような形で多重化を行い、出力する。各処理に関してはＣＰＵ２７でも行うことができる。
【００４１】
前述したようにTSパケットにおいては、複数のPESパケットが混入されることは禁止されている。そのような場合には、パディングデータ付加装置２４にてパディングデータを付加することでPayloadサイズのアライメントをとるようにする（図１（ｂ）参照）。パディングデータを付加するサイズの算出方法として、TSパケットのアライメントをとる場合の式を以下に示す。
【００４２】
パディングデータサイズ = TS Payloadサイズ - (PESパケットサイズ mod TS Payloadサイズ)
なお、上記の式中の(PESパケットサイズ mod TS Payloadサイズ)とは、「PESパケットサイズをTS Payloadサイズで割った余り」を意味している。
【００４３】
上記のようにパディングデータサイズを算出してパディングデータを付加することもできるが、TSパケットのPayloadサイズがパケット毎に異なる場合や、TSパケット化以外でPESパケットとして、上記の式でパディングデータサイズを算出できない場合もある。なお、TSパケット化以外でPESパケットとして、上記の式でパディングデータサイズを算出できない場合としては、動画フォーマットが異なる場合が挙げられる。今回はPES→TSパケット化を行うTSフォーマットを主な例として記載しているが、それ以外にもPES→PACK化を行うPSフォーマットもある。そういった場合に関しては、外部もしくはCPU２７より外部設定値取得信号とパディングデータサイズをパディングデータ付加装置２４に出力し、パディングデータ付加装置２４は信号を受け取ることにより、内部での算出されたパディングデータサイズを使用するのではなく、外部より設定されたパディングデータサイズを基にパディングデータを付加するようにする。これにより、TSパケットのPayloadサイズがパケット毎に異なる場合や、TSパケット化以外でのPESパケット化においても、パディングデータを付加することができる。
【００４４】
また、パディングデータ付加装置２４によって付加されるパディングデータの値は、符号化されたESによって異なる必要がある。例えばVideoの符号化としてMPEG-4であれば、0xFFを挿入すれば良いが、H.264で上記の値をパディングデータとして挿入した場合、規格違反（H.264では、0x00をパディングデータと定められている）となる。そのため、パディングデータ付加装置２４では、付加するパディングデータの値を符号化タイプ毎に持つようにし、符号化タイプに合ったパディングデータを付加するようにする。
【００４５】
また、記録するストリームの形式により算出方法が異なる場合もある。AVCHD規格では、パケット数を３２のTSパケット単位で割り切れるような形にする必要がある。そういった場合のパディングデータとしては、パケット数カウント装置２５から受け取る値Cntより算出することができる。その算出方法を以下に示す。
【００４６】
パディングデータサイズ=32 - ((Cnt + (PESパケットサイズ / TS Payloadサイズ)+1) mod 32)
パディングデータ付加装置２４は、パケット数カウント装置２５から出力されたカウント数を受け取る/受け取らないは任意で、TS終端のような必要な場合のみ、その値を使用してパディングデータを算出することができるようにする。
【００４７】
終端に限らずにフレームの度に３２のTSパケットのアライメントを取っておくことで、編集などで動画ストリームを切った場合、全体のパケット数を意識することなくフレームの終端とすることもできる。
【００４８】
パケット数カウント装置２５では、PESパケットを分割するようなTSパケットだけでなく、PS（Program Stream）のようなPESパケット複数個結合したPACKにした場合のパケット数もカウントするようにしておく。PACKの場合では、PACK毎をメディアの転送効率の良い形（例えばSD(Secure Digital)カードであれば、クラスタやセクタ）にアライメントをとるようにしておくことで、特殊再生などを高速にすることができる。
【００４９】
また、PESヘッダサイズを固定長にしておくことで、符号化を行った時点でPESパケットサイズがわかるため、PESパケット化を行う前にパディングデータを付加しておくこともできる。
【００５０】
次に、図２の信号処理装置で生成したトランスポートストリームの構成図を基に、図３にてPESパケット化の処理フローを説明する。
【００５１】
非圧縮データが入力されると、画像データ圧縮/伸張処理装置２１、音声データ圧縮/伸張処理装置２２にて規定された固定の単位毎に圧縮データに変換し出力する（S301）。
【００５２】
S301にて出力された圧縮データに対して、パディングデータ付加装置２４にて出力されたESの終端部にパディングデータを付加して出力する（S302）。付加するパディングデータのサイズは、予めPESヘッダを固定長にしておくことでES出力された時点でPESパケットサイズを予測することができるため、算出することが可能となる。
【００５３】
出力されたESに対してパケット化処理装置２３にてPESヘッダを付加する（S303）。
【００５４】
次に、図２の信号処理装置で生成したトランスポートストリームの生成処理を、図４のフローチャートに基づいて説明する。
【００５５】
非圧縮データが入力されると、画像データ圧縮/伸張処理装置２１、音声データ圧縮/伸張処理装置２２にて規定された固定の単位毎に圧縮データに変換して出力する（S401）。
【００５６】
パケット化処理装置２３にて、S401にて出力された圧縮データをPESパケット化し、パディングデータ付加装置２４にて、パケット数カウント装置２５より出力された値よりパディングデータサイズを算出し、PESパケット終端部にパディングデータを付加して出力する(S402)。
【００５７】
出力されたデータに対して、再度パケット化処理装置２３にてTSパケット化を行う(S403)。
【００５８】
多重化処理装置２６にて、S403より出力されたTSパケットを、規格に定められた単位で多重化を行う（S404）。これにより、トランスポートストリームの生成処理が完了する（S405）。
【００５９】
このように構成された信号処理装置および信号処理方法によると、以降の処理を考慮したアライメントサイズのパディングデータを付加するパディングデータ付加装置２４と、PESパケットをさらにパケット化した際のパケット数をカウントするパケット数カウント装置２５を備え、動画記録を行う際のPESパケット化時に、動画を生成する際に必要なアライメントサイズを算出し、PESパケットの終端にパディングデータを付加することで、動画記録をする際に以降のパケット化にかかる処理と処理時間を短縮することができる。
【００６０】
また、PESパケット化時に予め付加するパディングサイズを算出し、パディングデータを付加するようにすることで、TSパケット化時にパディングデータを付加する処理を省くことができ、またAVCHD規格においては、３２のTSパケットアライメント用のNULLパケットの挿入処理を行う必要もなくなり、パケット化処理を簡易にし、かつ、処理時間を短縮することができる。
【００６１】
なお、AVCHD規格は一例であって、３２のTSパケットを一つの単位として扱うものに限らない。
【産業上の利用可能性】
【００６２】
本発明の信号処理装置は、画像データを取り込む画像データ処理装置、音声データ取り込み装置などを付加することで、デジタルスチルカメラやデジタルビデオカメラ、DVDレコーダ、デジタルテレビなどの動画記録機能を持った記録装置や記録再生装置等の製品全般に有用である。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施の形態におけるPESパケット終端部におけるTSパケット構成図
【図２】本発明の実施の形態における信号処理装置の構成を示すブロック図
【図３】本発明の実施の形態におけるPESパケット化の動作を示すフローチャート
【図４】本発明の実施の形態におけるストリーム生成の動作を示すフローチャート
【図５】従来例におけるPESパケット終端部におけるTSパケット構成図
【図６】トランスポートストリーム構成図
【図７】従来例の信号処理装置の構成を示すブロック図
【図８】従来例のストリーム生成の動作を示すフローチャート
【符号の説明】
【００６４】
２１  画像データ圧縮/伸張処理装置
２２  音声データ圧縮/伸張処理装置
２３  パケット化処理装置
２４  パディングデータ付加装置
２５  パケット数カウント装置
２６  多重化処理装置
２７  ＣＰＵ
【図１】
2009212919.tif 000003
【図２】
2009212919.tif 000004
【図３】
2009212919.tif 000005
【図４】
2009212919.tif 000006
【図５】
2009212919.tif 000007
【図６】
2009212919.tif 000008
【図７】
2009212919.tif 000009
【図８】
2009212919.tif 000010