(57)【要約】【課題】トランスポートストリームパケットの伝送遅延の短縮を図ることができるメディア情報処理方法を提供する。【解決手段】符号化部１０においてメディア情報を取り込んで符号化し、ＥＳ蓄積部１１において符号化したメディア情報を一時的に保持し、ＴＳパケットサイズ監視部１２において、所定の時間内にＥＳ蓄積部１１に保持されている符号化したメディア情報が所定のデータサイズ分揃うか否かを監視し、符号化したメディア情報が所定のデータサイズ分揃ったことを検知すると、パケット分割部１３において、符号化したメディア情報をＴＳパケット化する。【選択図】        図１
2005101860.tif 000002
【特許請求の範囲】
【請求項１】
メディア情報を符号化し、符号化したメディア情報を所定のデータサイズにパケット化するメディア情報処理方法であって、
メディア情報を取り込んで符号化する符号化ステップと、
符号化したメディア情報を一時的に保持する符号化メディア情報保持ステップと、
所定の時間内に、前記符号化メディア情報保持ステップにおいて保持されている前記符号化したメディア情報が前記所定のデータサイズ分揃うか否かを監視するパケットサイズ監視ステップと、
前記パケットサイズ監視ステップにおいて、前記符号化したメディア情報が前記所定のデータサイズ分揃ったことを検知した後に、前記符号化したメディア情報をパケット化するパケット化ステップとを含む
ことを特徴とするメディア情報処理方法。
【請求項２】
前記所定の時間は、予め定められたメディア情報の各フレームを構成するパケットの送出間隔である
ことを特徴とする請求項１記載のメディア情報処理方法。
【請求項３】
前記所定の時間は、前記符号化したメディア情報のパケット化に関する規格で定められたパケットを送出する所定のクロック周期である
ことを特徴とする請求項１記載のメディア情報処理方法。
【請求項４】
前記所定の時間は、前記符号化したメディア情報のパケット化に関する放送の運用規定で定められたパケットを送出する所定のクロック周期である
ことを特徴とする請求項１記載のメディア情報処理方法。
【請求項５】
前記メディア情報処理方法は、さらに、
前記パケットサイズ監視ステップにおいて、前記符号化したメディア情報が前記所定のデータサイズ分揃わなかったことを検知した場合に、パケットが前記所定のデータサイズとなるように調整するスタッフィングステップを含む
ことを特徴とする請求項１〜４のいずれか１項に記載のメディア情報処理方法。
【請求項６】
前記スタッフィングステップにおいて、前記符号化したメディア情報が前記所定のデータサイズ分となるように、前記符号化ステップにおける符号化のレートを調整し、
前記符号化ステップにおいて、前記スタッフィングステップにおける調整後のレートで、前記メディア情報を符号化する
ことを特徴とする請求項５記載のメディア情報処理方法。
【請求項７】
前記スタッフィングステップにおいて、前記所定のデータサイズに満たない分を補填するスタッフィングビットを生成し、
前記パケット化ステップにおいて、前記符号化したメディア情報と前記スタッフィングビットとを合わせてパケット化する
ことを特徴とする請求項５記載のメディア情報処理方法。
【請求項８】
メディア情報を符号化し、符号化したメディア情報を所定のデータサイズにパケット化するメディア情報処理装置であって、
メディア情報を取り込んで符号化する符号化手段と、
符号化したメディア情報を一時的に保持するための記憶領域を有する符号化メディア情報保持手段と、
所定の時間内に、前記符号化メディア情報保持手段に保持されている前記符号化したメディア情報が前記所定のデータサイズ分揃うか否かを監視するパケットサイズ監視手段と、
前記パケットサイズ監視手段が、前記符号化したメディア情報が前記所定のデータサイズ分揃ったことを検知した後に、前記符号化したメディア情報をパケット化するパケット化手段とを備える
ことを特徴とするメディア情報処理装置。
【請求項９】
前記メディア情報処理装置は、さらに、
前記パケットサイズ監視手段が、前記符号化したメディア情報が前記所定のデータサイズ分揃わなかったことを検知した場合に、パケットが前記所定のデータサイズとなるように調整するスタッフィング手段を備える
ことを特徴とする請求項８記載のメディア情報処理装置。
【請求項１０】
メディア情報を符号化し、符号化したメディア情報を所定のデータサイズにパケット化するメディア情報処理装置のためのプログラムであって、
メディア情報を取り込んで符号化する符号化ステップと、
符号化したメディア情報を一時的に保持する符号化メディア情報保持ステップと、
所定の時間内に、前記符号化メディア情報保持ステップにおいて保持されている前記符号化したメディア情報が前記所定のデータサイズ分揃うか否かを監視するパケットサイズ監視ステップと、
前記パケットサイズ監視ステップにおいて、前記符号化したメディア情報が前記所定のデータサイズ分揃ったことを検知した後に、前記符号化したメディア情報をパケット化するパケット化ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メディア情報を効率よく固定長パケット化するメディア情報処理方法、及び装置に関する。
【背景技術】
【０００２】
近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔｓ／ｓの伝送速度を持つサービス総合ディジタル網（ISDN:Integrated Services Digital Network)によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合  電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、ＭＰＥＧ(Moving Picture Experts Group)とは、動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Ｍｂｐｓに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号が２〜１５Ｍｂｐｓに圧縮される。さらに現状では、ＭＰＥＧ−１、ＭＰＥＧ−２と標準化を進めてきた作業グループ(ISO/IEC JTC1/SC29/WG11)によって、ＭＰＥＧ−１、ＭＰＥＧ−２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートの、より汎用的な符号化に拡張されている。
【０００６】
ところで、ビデオやオーディオなどのメディア情報（以下、これらメディア情報の複合形態を、「マルチメディア情報」と呼ぶ）は、同時並行して発生するものであり、マルチメディア情報を通信チャネルで伝送し受信側で再現するためには、同期情報とともに１本のストリームに多重化する必要がある。このような多重化を実現する国際標準のひとつに、ＭＰＥＧ−２システムのＴｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ（以下、ＭＰＥＧ−２  ＴＳと略して記す。）がある。
【０００７】
図１４は、ＭＰＥＧ−２  ＴＳの概要を説明するための図である。
図１４に示すように、ＭＰＥＧ−２  ＴＳでは、ＥＳ(Elementary Stream)という符号化されたメディア情報（符号１０００、１００２、１００４および１００６）を、メディア毎に適当な単位でパケット化して、それぞれにヘッダ（符号１００８および１０１２）をつけることによって、可変長のＰＥＳ(Packetized Elementary Stream)パケット（符号１０１０および１０１４）を構成する。そして、このＰＥＳパケットを、さらに固定長（１８８バイト）のＴＳ(Transport Stream)パケット（符号１０２０、１０２６、１０３４および１０４０、以下、適宜ＴＳＰと略して記す）に分割し、このＴＳＰを多重化し、一本のストリームにする。
【０００８】
ＴＳＰは、上記メディア情報を送出するもののほかに、ビデオやオーディオなどのメディア情報を符号化した符号化メディア情報を復号して再生する際に、ビデオとオーディオを同期して再生するためのプログラム時刻基準値情報であるＰＣＲ(Program Clock Reference)を送出する場合もある。ＰＣＲを含むＴＳＰは、メディア情報の時刻を同期させるために、一定のクロック周期で送出されなければならないことが、ＭＰＥＧ−２システムの規格、並びにデジタルテレビジョン放送等の運用規定（例えば、ＤＶＢ：Digital Video Broadcasting におけるＤＶＢ  ＤＯＣＵＭＥＮＴ  Ａ００１  ｒｅｖ５等）で定められている。
【０００９】
また、ＴＳＰを構成するメディア情報(ビデオデータおよびオーディオデータでいうフレーム)は、再生側で復号に遅延が生じないように、所定の時間内でＴＳＰ化されていなければならないという規定がＭＰＥＧ−２システムの規格（ＩＳＯ／ＩＥＣ  １３８１８−１：２０００（Ｅ））で定められている。前記規格の２.７.４章によると、メディア情報の１つのフレームを構成するＴＳＰはすべて、０.７秒以内の間隔に含まれていなければならないと明記されている。
【００１０】
一方、１つのＴＳＰを構成して送信するためには、１つのＴＳＰを構成するための符号化済みデータが揃っている必要があるため、特に低ビットレートの符号化においてはパケット化の処理遅延が問題となる。特に、ソフトウェアでＴＳＰ化を実現しようとする場合などは、毎回の処理時間が一定でなければ、処理遅延が発生する場合もある。
この処理遅延を小さくするため、従来の多重化方法として、ＴＳＰ１０３４のように、１つのＴＳＰを構成するために不足しているデータ量と同量の冗長データ１０３２（スタッフィングデータ）を多重化層において挿入し、符号化済みデータ１０３０とあわせて１つのＴＳＰを構成するものがある（例えば、特許文献１参照）。なお、この場合、ＰＥＳパケット１０１０および１０１４は可変長であるため、スタッフィングデータ量は一定にはならない。
【００１１】
しかし、スタッフィングデータ１０３２は、もともとのメディア情報とは無関係のデータであるため、送出されるＴＳＰに極力含めないようにすることが好ましいとされている。
そこで、ＰＥＳパケット長を固定長にし、さらにその固定長をＴＳＰにおけるペイロード１０１８（ＴＳＰ１０２０においてＴＳＰヘッダ１０１６以外の領域部分）のサイズの整数倍にするような方法が考案されている(例えば、特許文献２参照)。
【特許文献１】特開平９−７４５４６号公報（第４−７頁、第１図）
【特許文献２】特開２００３−１０８１９４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、上記特許文献２の方法では、ＰＥＳパケットを固定長にすることによって、ＴＳＰを構成する場合に必要なＥＳデータが揃えられず、ＴＳＰを送出できない場合があるという問題がある。
【００１３】
この問題について、図１５、図１６を用いて説明する。
図１５は、メディア情報を符号化したＥＳをＰＥＳパケット化した後、ＴＳＰ化するまでの概念図を示している。
図中において、水平に引かれた時間軸２０００および２００２は同時刻を示すものとする。また、実際の符号化、パケット化は、それぞれの処理に必要な処理時間が厳密には必要となってくるが、本明細書では処理時間については瞬間的に行われるものと仮定する。
ライブ放送などの用途を想定すると、ＴＳＰ２０１６、２０１８、２０２０および２０２２は、可能な限り一定の時間間隔Ｔでパケット化されるのが望ましい。しかし、時間間隔Ｔでパケット化を行った場合、パケット化するために必要なペイロードデータが揃わない場合がある。
【００１４】
例えば、ＴＳＰ２０１８に続いて、時間間隔Ｔで次のパケット２０２０をパケット化しようとしても、ＴＳＰ２０２０を生成するタイミングでは、ＴＳＰ２０２０のペイロードに格納されるべきデータとなるＰＥＳパケット２０１４の先頭部分のデータ、すなわち、メディア情報２００８が符号化されていないため、ＴＳＰ２０２０を構成することができない。
【００１５】
ＴＳＰ２０２２の場合についても同様である。ＴＳＰ２０２０を出力すべきタイミングから時間間隔Ｔ空いたタイミングでＴＳＰ２０２２を出力しようとしても、ＴＳＰ２０２２を生成するタイミングでは、ＴＳＰ２０２２のペイロードを構成するために必要なＰＥＳパケットのデータ、すなわち、メディア情報２００８および２０１０が符号化されていないため、ＴＳＰ２０２２を構成することができない。
このような所定の時間間隔ＴでＴＳＰを送出する場合に限られず、ＰＣＲの挿入間隔でＴＳＰを送出する場合にも、上記の問題は生じうる。
【００１６】
図１６は、ＰＣＲの挿入間隔でＰＥＳパケットを構成して、ＴＳＰを生成する場合の概念図である。
上記特許文献２の方法では、時刻Ｔｎのタイミングで送出するＴＳＰ３０１６にＰＣＲを挿入し、時刻Ｔ（ｎ＋１）のタイミングで送出するＴＳＰ３０２０にＰＣＲを挿入して、かつ、ＰＥＳパケットのサイズを、各ＰＣＲの挿入間隔に含まれるＴＳＰにおけるペイロードのサイズの整数倍にすることを特徴としている。
【００１７】
ここで、ＰＣＲは、ビデオとオーディオを同期再生するために必要であるため、所定の周期以内でＴＳＰに挿入されることが保証されなければならないが、図１６に示すように、時刻Ｔ（ｎ＋１）のタイミングでＴＳＰ３０２０を出力しようとしても、ＴＳＰ３０２０を生成するタイミングでは、ＴＳＰ３０２０を生成するために必要なＰＥＳパケット３０１４を構成する符号化メディア情報３００８が符号化されてないため、ＴＳＰ３０２０を構成することができない。
【００１８】
このように、スタッフィングを行わないようにするためには、パケット化の際に送出すべきパケット内を充填するための符号化メディア情報が揃っていなければならないが、所定の送出タイミングを遵守しようとすれば、符号化メディア情報が揃えられずにＴＳＰを送出できないために、ＴＳＰの伝送遅延が大きくなってしまい、反対に伝送効率を悪くしてしまうという問題がある。
【００１９】
従って、ＴＳＰを構成するにあたり、さらには、ＰＣＲの伝送をも行う場合に、スタッフィングが極力生じないようにし、なおかつ、伝送遅延を削減する技術の確立が嘱望される。
【００２０】
そこで、本発明は、かかる問題点および事情に鑑みなされたものであり、ＴＳＰの伝送遅延の短縮を図ることができるメディア情報処理方法を提供することを目的とする。
また、本発明は、ＴＳＰにおけるスタッフィングの発生を最小限にし、伝送効率に優れたメディア情報処理方法を提供することをも目的とする。
【課題を解決するための手段】
【００２１】
上記目的を達成するために、本発明に係るメディア情報処理方法は、メディア情報を符号化し、符号化したメディア情報を所定のデータサイズにパケット化するメディア情報処理方法であって、メディア情報を取り込んで符号化する符号化ステップと、符号化したメディア情報を一時的に保持する符号化メディア情報保持ステップと、所定の時間内に、前記符号化メディア情報保持ステップにおいて保持されている前記符号化したメディア情報が前記所定のデータサイズ分揃うか否かを監視するパケットサイズ監視ステップと、前記パケットサイズ監視ステップにおいて、前記符号化したメディア情報が前記所定のデータサイズ分揃ったことを検知した後に、前記符号化したメディア情報をパケット化するパケット化ステップとを含むことを特徴とする。このように、パケット化するために必要なサイズ分の符号化メディア情報が揃うまで符号化メディア情報を保持しておいて、符号化メディア情報が揃ってからパケット化を行なうことによって、符号化メディア情報が揃えられずにパケットを送出できないことがなくなるので、パケットの伝送遅延が大きくなるのを防ぐことができる。
【００２２】
また、前記メディア情報処理方法は、さらに、前記パケットサイズ監視ステップにおいて、前記符号化したメディア情報が前記所定のデータサイズ分揃わなかったことを検知した場合に、パケットが前記所定のデータサイズとなるように調整するスタッフィングステップを含むことを特徴とする。これによって、パケットの送出間隔を遵守するために必要な場合にのみスタッフィングを行なうので、スタッフィングの発生を最小限に抑え、かつ、パケットの送出間隔を一定に保つことができる、伝送効率に優れたメディア情報処理方法が実現される。
【００２３】
なお、本発明は、このようなメディア情報処理方法として実現することができるだけでなく、このようなメディア情報処理方法が含む特徴的なステップを手段として備えるメディア情報処理装置として実現したり、これらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００２４】
このように、本発明に係るメディア情報処理方法によれば、ＴＳパケットを構成するために必要な符号化メディア情報が揃えられずにＴＳパケットを送出できないということがないので、ＴＳパケットの伝送遅延を短縮することができる。
また、ＴＳパケットの送出タイミングを遵守しつつ、ＴＳパケットにおけるスタッフィングの発生を最小限に抑えることができるので、伝送効率に優れたパケット化を実現することができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明を実施するための最良の形態について詳細に説明する。
（実施の形態１）
まず、本発明の実施の形態１に係るメディア情報処理方法について説明する。
図１は、本実施の形態１に係るメディア情報処理方法を実現するメディア情報処理装置の構成を示すブロック図である。
【００２６】
このメディア情報処理装置１は、ビデオやオーディオ等のメディア情報を取り込んで、それぞれ符号化してＴＳＰに分割し、各メディア情報のＴＳＰを１本のストリームに多重化する装置であり、符号化部１０、ＥＳ蓄積部１１、ＴＳパケットサイズ監視部１２、パケット分割部１３および多重化部１６を備える。ここで、メディア情報処理装置１は、符号化部１０、ＥＳ蓄積部１１、ＴＳパケットサイズ監視部１２およびパケット分割部１３について、メディア情報の種類の数分を備えている。
【００２７】
符号化部１０は、メディア情報を取り込んで所定の符号化方式により符号化する処理部であり、符号化したメディア情報（ＥＳ）をＥＳ蓄積部１１に格納していく。
ＥＳ蓄積部１１は、ＥＳを一時的に保持するためのメモリやハードディスク等の記憶装置である。
ＴＳパケットサイズ監視部１２は、ＥＳ蓄積部１１に蓄積されているＥＳのサイズを随時チェックして、ＴＳパケットを作成するためのサイズが揃うとＴＳパケット分割部１５にＴＳパケットの生成指示を出力する処理部である。
【００２８】
パケット分割部１３は、ＥＳ蓄積部１１に蓄積されているＥＳをＰＥＳパケットに分割し、その後、ＴＳＰに分割する処理部であり、ＥＳをＰＥＳパケットに分割するＰＥＳパケット分割部１４と、ＰＥＳパケットをＴＳＰに分割するＴＳパケット分割部１５とを備える。
ＰＥＳパケット分割部１４は、順次ＥＳ蓄積部１１に蓄積されていくＥＳを読み出し、適当な単位で分割することによってＰＥＳパケットを生成する処理部であり、ＣＰＵやメモリによって実現される。
【００２９】
ＴＳパケット分割部１５は、ＴＳパケットサイズ監視部１２から出力されるＴＳパケット生成指示に基づいて、ＰＥＳパケット分割部１４が生成したＰＥＳパケットを読み出し、所定の単位で分割することによってＴＳＰを生成し、多重化部１６に出力する処理部である。
多重化部１６は、メディア情報毎にそれぞれのＴＳパケット分割部１５から出力されるＴＳＰや、パケット制御に必要なＮＵＬＬパケット、並びに番組情報等（ＣＨ−１、ＣＨ−２、・・・、ＣＨ−ｎ）を集積させて１本のストリームに多重化する処理部である。
【００３０】
このように構成されたメディア情報処理装置１は、以下のように動作して、メディア情報処理方法を実現する。
【００３１】
図２は、メディア情報処理装置１の処理動作を示すフロー図である。
まず、メディア情報処理装置１は、符号化部１０において、メディア情報の入力を開始すると（Ｓ１０）、メディア情報を符号化し（Ｓ１２）、ＥＳ、すなわち、符号化メディア情報を順次ＥＳ蓄積部１１に格納していく（Ｓ１４）。
【００３２】
次に、メディア情報処理装置１は、ＴＳパケットサイズ監視部１２において、ＥＳ蓄積部１１に保持されている符号化メディア情報の符号量を検出し（Ｓ１６）、検出した符号量に基づいてＴＳＰを構成するために必要なペイロードのサイズ分のデータが存在するか否かを判定する（Ｓ１８）。なお、この過程と並行して、メディア情報処理装置１は、ＰＥＳパケット分割部１４において、順次ＥＳ蓄積部１１に蓄積されていくＥＳを読み出し、適当な単位で分割してＰＥＳパケットを生成している。
【００３３】
ここで、ペイロードのサイズ分のデータが存在しない場合（Ｓ１８のＮｏ）、メディア情報処理装置１は、ＥＳ蓄積部１１において符号化メディア情報を保持したままで、または、ＰＥＳパケット分割部１４においてＰＥＳパケットをメモリに保持したままで、順次入力されてくるメディア情報を符号化し（Ｓ１２）、ペイロードのサイズ分のデータが揃うまで同様の動作を繰り返す。
【００３４】
ペイロードのサイズ分のデータが存在する場合（Ｓ１８のＹｅｓ）、メディア情報処理装置１は、ＴＳパケットサイズ監視部１２からＴＳパケット分割部１５にＴＳパケットの生成指示を出力し、ＴＳパケット分割部１５において、ＰＥＳパケット化された符号化メディア情報をＴＳパケット化し（Ｓ２０）、多重化部１６に出力する。
メディア情報処理装置１は、ステップＳ１２〜Ｓ２０までのこのような動作をメディア情報の入力が終了するまで繰り返し（ループＡ）、ＴＳＰを生成する。
【００３５】
図３は、メディア情報処理装置１において、所定の時間間隔で符号化メディア情報がＴＳＰ化されるまでの概念図である。
図３に示すように、メディア情報処理装置１は、ＥＳ１０４および１０６からＰＥＳパケット１１２を生成し、ＰＥＳパケット１１２を固定長で分割してＴＳＰ１１６および１１８を生成する。同様に、ＥＳ１０８および１１０からＰＥＳパケット１１４を生成し、ＰＥＳパケット１１４を固定長で分割してＴＳＰ１２０および１２２を生成する。
【００３６】
ここで、メディア情報処理装置１は、ＴＳＰ１２０を、ＴＳＰ１１８の送出から時間間隔Ｔではなく、ＴＳＰ１２０を構成するために必要なＥＳのデータ、すなわちＥＳ１０８が揃うまでの時間（α）待って送出する。同様に、メディア情報処理装置１は、ＴＳＰ１２２を、ＴＳＰ１２０の送出から時間間隔Ｔではなく、ＴＳＰ１２２を構成するために必要なＥＳのデータ、すなわちＥＳ１１０が揃うまでの時間（β）待って送出する。
【００３７】
なお、メディア情報処理装置１は、時間間隔Ｔ＋αおよび時間間隔Ｔ＋βについては、ＭＰＥＧ−２システムの規格で定められている値である０．７秒以下で、かつ、デジタルテレビジョン放送等の運用規定で別途定められている時間間隔以内で、伝送遅延を最小にすることが可能な値に設定している。
一方、ＰＣＲの挿入間隔でＴＳＰを送出する場合は、次のようになる。
【００３８】
図４は、メディア情報処理装置１において、ＰＣＲの挿入間隔で符号化メディア情報がＴＳＰ化されるまでの概念図である。
図４に示すように、メディア情報処理装置１は、ＥＳ２０４および２０６からＰＥＳパケット２１２を生成し、ＰＥＳパケット２１２を固定長で分割してＴＳＰ２１６および２１８を生成する。同様に、ＥＳ２０８および２１０からＰＥＳパケット２１４を生成し、ＰＥＳパケット２１４を固定長で分割してＴＳＰ２２０を生成する。
【００３９】
ここで、メディア情報処理装置１は、ＴＳＰ２２０を、ＴＳＰ２１８の送出からＰＣＲ挿入間隔ＰＣＲ（Ｔｎ＋１−Ｔｎ）ではなく、ＴＳＰ２２０を構成するために必要なＥＳのデータ、すなわちＥＳ２０８および２１０が揃うまでの時間（γ）待って送出する。
この場合、メディア情報処理装置１は、ＰＣＲ挿入間隔ＰＣＲ（Ｔｎ＋１−Ｔｎ＋γ）については、ＭＰＥＧ−２システムの規格で定められている値である０．１秒以下で、かつ、デジタルテレビジョン放送等の運用規定で別途定められているＰＣＲ挿入間隔以内で、伝送遅延を最小にすることが可能な値に設定している。
【００４０】
なお、ここで補足しておくと、デジタルテレビジョン放送等の運用規定で別途定められているＰＣＲ挿入間隔は、クロック同期を短い間隔であわせて細かい編集を可能とするために、ＭＰＥＧ−２システムの規格で定められている値よりも短くなることがある。具体的には、Ｔ／Ｎ＝４０ｍｓ（ここで、Ｎを同期するまでに必要なＰＣＲの数とし、Ｔを同期するまでの望ましい時間とする。）、すなわち、０．０４秒となることもある。
【００４１】
このように、本実施の形態１に係るメディア情報処理方法によれば、ＴＳＰを構成するために必要なサイズ分の符号化メディア情報が揃うまで符号化メディア情報を保持しておき、揃った段階でＴＳパケット化して出力することによって、符号化メディア情報が揃えられずにＴＳＰを送出できないことがなくなるので、伝送遅延を最小限にしつつ、スタッフィングを行なうことなくＴＳＰを生成することが可能となる。
【００４２】
（実施の形態２）
次に、本発明の実施の形態２に係るメディア情報処理方法について説明する。
本実施の形態２に係るメディア情報処理方法は、上記実施の形態１に係るメディア情報処理方法と略共通するが、ＴＳＰの送出タイミングを監視して所定の送出タイミングを経過した場合にはスタッフィングを行なう点で上記実施の形態１に係るメディア情報処理方法と異なる。
【００４３】
図５は、本実施の形態２に係るメディア情報処理方法を実現するメディア情報処理装置の構成を示すブロック図である。
【００４４】
このメディア情報処理装置２は、上記実施の形態１におけるメディア情報処理装置１同様に、メディア情報を取り込み、符号化してＴＳＰに分割し、各メディアのＴＳＰを１本のストリームに多重化する装置であり、メディア情報の種類の数と同数の符号化部２０およびパケット化部３０と、１つの多重化部４０とを備える。
符号化部２０は、メディア情報を符号化してパケット化部３０に出力する処理部であり、メディア情報符号化部２１と、符号量検出部２２と、符号量制御部２３とを備える。
【００４５】
メディア情報符号化部２１は、メディア情報を取り込んで所定の符号化方式により符号化し、符号化したメディア情報（ＥＳ）をパケット化部３０のＥＳ蓄積部３１に格納していく。ここで、メディア情報符号化部２１は、符号量制御部２３から符号量の指示を受け、その符号量が発生するように量子化パラメータを変更する等してメディア情報の符号化を実行する。
【００４６】
符号量検出部２２は、メディア情報符号化部２１において符号化したメディア情報について、所定の符号化処理の単位毎に符号量を検出し、検出した符号量を符号量制御部２３に出力する。
符号量制御部２３は、符号量検出部２２から出力される検出符号量と、パケット化部３０のＴＳパケットサイズ監視部３２から出力される符号量の調整を指示する制御信号とを取得して、メディア情報符号化部２１における符号量を決定し、メディア情報符号化部２１に出力する。このとき、符号量制御部２３は、所定のビットレートで伝送される符号化メディア情報を復号する復号化装置の受信バッファがオーバーフローまたはアンダーフローしないように符号量を決定する。
【００４７】
パケット化部３０は、ＥＳからＴＳＰを生成して多重化部４０に出力する処理部であり、ＥＳ蓄積部３１と、ＴＳパケットサイズ監視部３２と、パケット送出タイミング監視部３３と、パケット分割部３４と、スタッフィング部３５とを備える。
ＥＳ蓄積部３１は、ＥＳを一時的に保持するためのメモリやハードディスク等の記憶装置である。
【００４８】
ＴＳパケットサイズ監視部３２は、ＥＳ蓄積部３１に蓄積されているＥＳのサイズを随時チェックして、ＴＳＰを作成するためのサイズが揃うとＴＳパケット分割部３７にＴＳパケットの生成指示を出力する。また、このＴＳパケットサイズ監視部３２は、パケット送出タイミング監視部３３からＴＳＰの送出タイミングになったことを示すタイミング信号を取得すると、ＴＳＰを作成するため、ＥＳ蓄積部３１に蓄積されているＥＳに足りない分のスタッフィングビットの挿入をスタッフィング部３５に指示し、ＴＳパケット分割部３７にＴＳパケットの生成指示を出力する。さらに、このＴＳパケットサイズ監視部３２は、チェックしたＥＳのサイズに基づいて、符号化部２０の符号量制御部２３に符号量の調整を指示する制御信号を出力し、フィードバックによるビットレート制御を可能にしている。
【００４９】
パケット送出タイミング監視部３３は、ＴＳＰの送出タイミングを監視するタイマーを有しており、ＴＳＰの送出タイミングになるとＴＳパケットサイズ監視部３２にタイミング信号を出力する。
パケット分割部３４は、ＥＳ蓄積部３１に蓄積されているＥＳをＰＥＳパケット化するＰＥＳパケット分割部３６と、ＰＥＳパケットをＴＳパケット化するＴＳパケット分割部３７とを備える。
【００５０】
ＰＥＳパケット分割部３６は、ＥＳ蓄積部３１に蓄積されていくＥＳを順次読み出し、適当な単位で分割することによってＰＥＳパケットを生成する。
ＴＳパケット分割部３７は、ＴＳパケットサイズ監視部３２から出力されるＴＳパケット生成指示に基づいて、ＰＥＳパケット分割部３６が生成したＰＥＳパケットを読み出し、所定の単位で分割することによってＴＳＰを生成し、多重化部４０に出力する。ここで、ＴＳパケット分割部３７は、スタッフィング部３５から出力されるスタッフィングビットを取得すると、ＰＥＳパケットにそのスタッフィングビットを挿入してＴＳＰを生成し、多重化部４０に出力する。
【００５１】
スタッフィング部３５は、ＴＳパケットサイズ監視部３２からスタッフィングビットの挿入指示を取得すると、指示されたサイズ分のスタッフィングビットを発生させてＴＳパケット分割部３７に出力する。
多重化部４０は、上記実施の形態１の多重化部１６と同様に、メディア情報毎にそれぞれのＴＳパケット分割部３７から出力されるＴＳＰや、パケット制御に必要なＮＵＬＬパケット、並びに番組情報等（ＣＨ−１、ＣＨ−２、・・・、ＣＨ−ｎ）を集積させて１本のストリームに多重化する。
【００５２】
このように構成されたメディア情報処理装置２は、以下のように動作して、メディア情報処理方法を実現する。
図６は、メディア情報処理装置２の処理動作を示すフロー図である。
まず、メディア情報処理装置２は、メディア情報符号化部２１において、メディア情報の入力を開始すると（Ｓ３０）、予め定められた符号化レートでメディア情報を符号化し（Ｓ３２）、符号化メディア情報を順次ＥＳ蓄積部１１に格納していく（Ｓ３４）。ここで、メディア情報処理装置２は、符号量検出部２２において、メディア情報符号化部２１における符号量を検出し、符号量制御部２３に出力しておく。
【００５３】
次に、メディア情報処理装置２は、ＴＳパケットサイズ監視部３２において、ＥＳ蓄積部３１に保持されている符号化メディア情報の符号量を検出し（Ｓ３６）、検出した符号量に基づいてＴＳＰを構成するために必要なペイロードのサイズ分のデータが存在するか否かを判定する（Ｓ３８）。なお、この段階で、メディア情報処理装置２は、検出した符号量に基づいて、次のＴＳパケットを構成するのに必要なペイロードのサイズ分のデータをＥＳ蓄積部３１に格納しておくために、ＴＳパケットサイズ監視部３２から符号量制御部２３に符号量の調整を指示する制御信号を出力する。また、上記実施の形態１の場合と同様に、メディア情報処理装置２は、この過程と並行してＰＥＳパケット分割部３６において、順次ＥＳ蓄積部３１に蓄積されていくＥＳを読み出し、適当な単位で分割してＰＥＳパケットを生成している。
【００５４】
ここで、ペイロードのサイズ分のデータが存在していれば（Ｓ３８のＹｅｓ）、メディア情報処理装置２は、上記実施の形態１の場合と同様に、ＴＳパケットサイズ監視部３２からＴＳパケット分割部３７にＴＳパケットの生成指示を出力し、ＴＳパケット分割部３７において、ＰＥＳパケット化された符号化メディア情報をＴＳパケット化し（Ｓ４０）、多重化部４０に出力する。
【００５５】
一方、ペイロードのサイズ分のデータが存在しなければ（Ｓ３８のＮｏ）、メディア情報処理装置２は、ＴＳパケットサイズ監視部３２において、パケット送出タイミング監視部３３からタイミング信号を取得しているか否かにより、ＴＳパケットの送出タイミングを超過しているか否かを判定する（Ｓ４２）。
ここで、ＴＳパケットサイズ監視部３２がタイミング信号が取得済みで、ＴＳパケットの送出タイミングを超過している場合（Ｓ４２のＹｅｓ）、ＴＳパケットサイズ監視部３２において、ＴＳＰを構成するのに足りない分のスタッフィングビットの挿入指示をスタッフィング部３５に出力するとともに、ＴＳパケット分割部３７にＴＳパケットの生成指示を出力する。そして、スタッフィング部３５において、指示されたサイズ分のスタッフィングビットを発生させるスタッフィング処理を行ない（Ｓ４４）、ＴＳパケット分割部３７に出力し、ＴＳパケット分割部３７において、ＰＥＳパケット化された符号化メディア情報と、スタッフィングビットとを合わせてＴＳパケット化し（Ｓ４０）、多重化部４０に出力する。
【００５６】
他方、ＴＳパケットサイズ監視部３２がタイミング信号を取得しておらず、ＴＳパケットの送出タイミングを超過していない場合（Ｓ４２のＮｏ）、メディア情報処理装置２は、ＥＳ蓄積部３１において符号化メディア情報を保持した状態で、または、ＰＥＳパケット分割部３６においてＰＥＳパケットをメモリに保持した状態で、ペイロードのサイズ分のデータが揃うまで、または、ＴＳパケットの送出タイミングを超過するまで同様の動作を繰り返す。
【００５７】
そして、メディア情報処理装置２は、ステップＳ３２〜Ｓ４４までのこのような動作をメディア情報の入力が終了するまで繰り返し（ループＢ）、ＴＳＰを生成する。ここで、ステップＳ３２〜Ｓ４４までの動作を行ない、次のループに入ると、メディア情報処理装置２は、符号量制御部２３によって指定された符号量を発生させるように、メディア情報符号化部２１において、符号化レートを調整してメディア情報を符号化する（Ｓ３２）。
【００５８】
図７は、メディア情報処理装置２において、ＴＳＰへのスタッフィング処理を経て符号化メディア情報がＴＳＰ化されるまでの概念図である。
図７に示すように、メディア情報処理装置２は、ＥＳ３０４および３０６からＰＥＳパケット３１２を生成し、ＰＥＳパケット３１２を固定長で分割してＴＳＰ３１６、３１８および３２０を生成する。同様に、ＥＳ３０８および３１０からＰＥＳパケット３１４を生成し、ＰＥＳパケット３１４を固定長で分割してＴＳＰ３２６および３２８を生成する。
【００５９】
このとき、メディア情報処理装置２は、ＴＳＰ３２０を構成するペイロード３２４が固定長のサイズ分に満たないが、ＴＳＰの送出タイミングを監視し、この送出タイミングを遵守するためにＴＳＰ３２０を構成するのに足りない分のスタッフィングビット３２２を発生させ、スタッフィング処理をしてＴＳＰ３２０を生成するので、それぞれのＴＳＰの送出間隔を常に所定の時間間隔Ｔに保つことができる。ここで、スタッフィング処理は、ＭＰＥＧ−２システムの規格に定められているように、ＴＳＰ３２０のアダプテーションフィールドにスタッフィングビット３２２を挿入することにより行なう。
このスタッフィング処理は、ＴＳＰのヘッダ部分で行なうに限られず、符号化メディア情報そのもので行なうこととしてもよい。
【００６０】
図８は、メディア情報処理装置２において、符号化メディア情報へのスタッフィング処理を経て符号化メディア情報がＴＳＰ化されるまでの概念図である。
図８に示すように、メディア情報処理装置２は、ＥＳ４０４および４０６からＰＥＳパケット４１６を生成し、ＰＥＳパケット４１６を固定長で分割してＴＳＰ４２２、４２４および４２６を生成する。同様に、ＥＳ４１２および４１４からＰＥＳパケット４２０を生成し、ＰＥＳパケット４２０を固定長で分割してＴＳＰ４２８および４３０を生成する。
【００６１】
このとき、メディア情報処理装置２は、ＥＳ４０６のうち実際のデータとなるＥＳ４０８の部分をそのままＰＥＳパケット化するとＴＳＰ４２６の固定長のサイズ分に満たないが、ＴＳＰの送出タイミングを監視し、この送出タイミングを遵守するためにＴＳＰ４２６を構成するのに足りない分のスタッフィングビット４１０を予め発生させて、スタッフィング処理をしてＥＳ４０６を生成するので、ＰＥＳパケット４１６にスタッフィングビット４１８が含まれ、ＴＳＰ４２６を生成することができ、上記の場合と同様に、それぞれのＴＳＰの送出間隔を常に所定の時間間隔Ｔに保つことができる。このように、符号化メディア情報そのものにスタッフィングを行なう場合、ＭＰＥＧ−４ビデオ符号化を例に挙げると、スタッフィングマクロブロックやＵＳＥＲ＿ＤＡＴＡやＳＴＵＦＦＩＮＧ＿ＳＴＡＲＴ＿ＣＯＤＥ等を用いてスタッフィング処理を行なう。また、音声符号化についても、各符号化方式で定められているスタッフィングのシンタックスを用いてスタッフィング処理を行なうことができる。
【００６２】
なお、符号化メディア情報そのものにスタッフィングを行なう場合、メディア情報処理装置２について、スタッフィング部３５を符号化部２０に備えるようにし、スタッフィング部３５からメディア情報符号化部２１にスタッフィングビットを出力するように構成を変更する必要がある。
このように、本実施の形態２に係るメディア情報処理方法によれば、ＴＳパケットの送出タイミングを監視して、送出タイミングを遵守するためにスタッフィングが必要な場合（例えば、実際に発生した符号化メディア情報が想定したデータ量よりも少ない場合）にのみスタッフィングを行なうので、スタッフィングの発生を最小限にしつつ、ＭＰＥＧ規格や放送の運用規定に定められた送出間隔を維持するＴＳパケット化を実現することができる。
【００６３】
（実施の形態３）
さらに、上記各実施の形態で示したメディア情報処理方法を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００６４】
図９は、上記実施の形態１および２のメディア情報処理方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
図９（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図９（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしてのメディア情報処理方法が記録されている。
【００６５】
また、図９（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのメディア情報処理方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記メディア情報処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００６６】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００６７】
（実施の形態４）
図１０から図１３は、上記実施の形態で示したメディア情報処理を行う機器、およびこの機器を用いたシステムを説明する図である。
【００６８】
図１０は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【００６９】
しかし、コンテンツ供給システムex１００は図１０のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【００７０】
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
【００７１】
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様にメディア情報処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記メディア情報処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【００７２】
このシステムを構成する各機器のメディア情報処理には上記各実施の形態で示したメディア情報処理装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図１１は、上記実施の形態で説明したメディア情報処理方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【００７３】
さらに、携帯電話ex１１５について図１２を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
【００７４】
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【００７５】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
【００７６】
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
【００７７】
画像符号化部ex３１２は、本願発明で説明したメディア情報処理装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示したメディア情報処理装置に用いたメディア情報処理方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
【００７８】
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
【００７９】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
【００８０】
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【００８１】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１３に示すようにディジタル放送用システムにも上記実施の形態の少なくともメディア情報処理装置を組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
【００８２】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【００８３】
なお、カーナビゲーションex４１３の構成は例えば図１２に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【００８４】
このように、上記実施の形態で示したメディア情報処理方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
以上、本発明に係るメディア情報処理方法について各実施の形態に基づき説明したが、本発明は、これらの実施の形態に限定されるものではない。
【００８５】
例えば、上記各実施の形態では、メディア情報処理装置において、ＥＳ蓄積部を独立した構成で示しているが、パケット分割部やＴＳパケットサイズ監視部に内包される構成としてもよい。
【００８６】
また、上記実施の形態２で説明したように、量子化パラメータを変更して符号量を調整し、符号化メディア情報の実データのサイズを大きくしてもＴＳＰを構成するために必要なサイズが揃わない場合に、スタッフィング処理を行なうこととしてもよいし、符号量を調整することなく、ＴＳＰを構成するために必要なサイズが揃わなければスタッフィング処理を行なうこととしてもよい。
【産業上の利用可能性】
【００８７】
本発明に係るメディア情報処理方法は、デジタルテレビジョン放送等におけるメディア情報のパケット化および多重化処理に適用することができ、特に、ＭＰＥＧ２−ＴＳ等のパケット多重化方式に好適である。
【図面の簡単な説明】
【００８８】
【図１】本発明の実施の形態１におけるメディア情報処理装置の構成を示すブロック図である。
【図２】同上のメディア情報処理装置の処理動作を示すフロー図である。
【図３】所定の時間間隔で符号化メディア情報がＴＳＰ化されるまでの概念図である。
【図４】ＰＣＲの挿入間隔で符号化メディア情報がＴＳＰ化されるまでの概念図である。
【図５】本発明の実施の形態２におけるメディア情報処理装置の構成を示すブロック図である。
【図６】同上のメディア情報処理装置の処理動作を示すフロー図である。
【図７】ＴＳＰへのスタッフィング処理を経て符号化メディア情報がＴＳＰ化されるまでの概念図である。
【図８】符号化メディア情報へのスタッフィング処理を経て符号化メディア情報がＴＳＰ化されるまでの概念図である。
【図９】各実施の形態のメディア情報処理方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。
【図１０】コンテンツ供給システムの全体構成を示すブロック図である。
【図１１】携帯電話の外観図である。
【図１２】携帯電話の構成を示すブロック図である。
【図１３】ディジタル放送用システムの例を示す図である。
【図１４】ＭＰＥＧ−２  ＴＳの概要を説明するための図である。
【図１５】従来のメディア情報処理方法によりメディア情報を符号化したＥＳをＰＥＳパケット化した後ＴＳＰ化するまでの概念図である。
【図１６】従来のメディア情報処理方法によりＰＣＲの挿入間隔でＰＥＳパケットを構成して、ＴＳＰを生成する場合の概念図である。
【符号の説明】
【００８９】
１、２    メディア情報処理装置
１０、２０    符号化部
１１、３１    ＥＳ蓄積部
１２、３２    ＴＳパケットサイズ監視部
１３、３４    パケット分割部
１４、３６    ＰＥＳパケット分割部
１５、３７    ＴＳパケット分割部
１６、４０    多重化部
２１    メディア情報符号化部
２２    符号量検出部
２３    符号量制御部
３０    パケット化部
３３    パケット送出タイミング監視部
３５    スタッフィング部
【図１】
2005101860.tif 000003
【図２】
2005101860.tif 000004
【図３】
2005101860.tif 000005
【図４】
2005101860.tif 000006
【図５】
2005101860.tif 000007
【図６】
2005101860.tif 000008
【図７】
2005101860.tif 000009
【図８】
2005101860.tif 000010
【図９】
2005101860.tif 000011
【図１０】
2005101860.tif 000012
【図１１】
2005101860.tif 000013
【図１２】
2005101860.tif 000014
【図１３】
2005101860.tif 000015
【図１４】
2005101860.tif 000016
【図１５】
2005101860.tif 000017
【図１６】
2005101860.tif 000018