(57)【特許請求の範囲】
【請求項１】
多重化ストリームを入力する入力手段と、
前記入力手段により入力された前記多重化ストリームからビデオストリームを分離する分離手段と、
前記入力手段により入力された前記多重化ストリームにマルチメディア符号化データが含まれているか否かを判断する判断手段と、
前記判断手段により前記多重化ストリームにマルチメディア符号化データが含まれていると判断された場合、前記分離手段により分離された前記ビデオストリームのビデオフォーマットと画面アスペクト比を変更しないことを指示する符号化制御情報か、または、前記ビデオストリームの画枠を変更しないことを指示する符号化制御情報を生成する生成手段と、
前記生成手段により生成された前記符号化制御情報に基づいて、前記分離手段により分離されたビデオストリームに所定の変換を施す変換手段と、
前記変換手段により変換された前記ビデオストリームを含む多重化ストリームを生成する多重化手段と
を備える画像符号化装置。
【請求項２】
多重化ストリームを入力する入力ステップと、
前記入力ステップの処理により入力された前記多重化ストリームからビデオストリームを分離する分離ステップと、
前記入力ステップの処理により入力された前記多重化ストリームにマルチメディア符号化データが含まれているか否かを判断する判断ステップと、
前記判断ステップの処理により前記多重化ストリームにマルチメディア符号化データが含まれていると判断された場合、前記分離ステップの処理により分離された前記ビデオストリームのビデオフォーマットと画面アスペクト比を変更しないことを指示する符号化制御情報か、または、前記ビデオストリームの画枠を変更しないことを指示する符号化制御情報を生成する生成ステップと、
前記生成ステップの処理により生成された前記符号化制御情報に基づいて、前記分離ステップの処理により分離されたビデオストリームに所定の変換を施す変換ステップと、
前記変換ステップの処理により変換された前記ビデオストリームを含む多重化ストリームを生成する多重化ステップと
を含む画像符号化方法。
【請求項３】
コンピュータに、
多重化ストリームを入力する入力ステップと、
前記入力ステップの処理により入力された前記多重化ストリームからビデオストリームを分離する分離ステップと、
前記入力ステップの処理により入力された前記多重化ストリームにマルチメディア符号化データが含まれているか否かを判断する判断ステップと、
前記判断ステップの処理により前記多重化ストリームにマルチメディア符号化データが含まれていると判断された場合、前記分離ステップの処理により分離された前記ビデオストリームのビデオフォーマットと画面アスペクト比を変更しないことを指示する符号化制御情報か、または、前記ビデオストリームの画枠を変更しないことを指示する符号化制御情報を生成する生成ステップと、
前記生成ステップの処理により生成された前記符号化制御情報に基づいて、前記分離ステップの処理により分離されたビデオストリームに所定の変換を施す変換ステップと、
前記変換ステップの処理により変換された前記ビデオストリームを含む多重化ストリームを生成する多重化ステップと
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項４】
第１の多重化ストリームに対してマルチメディア符号化データが含まれていると判断された場合に、前記第１の多重化ストリームから分離されたビデオストリームのビデオフォーマットと画面アスペクト比を変更しないことを指示する符号化制御情報か、または、前記ビデオストリームの画枠を変更しないことを指示する符号化制御情報に基づいて所定の変換が施されたビデオストリームと、前記所定の変換が施されたか否かを示す情報を含む第２の多重化ストリームが記録され、情報処理装置に装着され再生される記録媒体であって、
前記第２の多重化ストリームを取得した情報処理装置に、前記ビデオストリームの再生時に、前記所定の変換が施されたか否かを示す情報に基づいて、前記ビデオストリームのビデオフォーマットと画面アスペクト比か、または、前記ビデオストリームの画枠を制御させる
記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像符号化装置および方法、並びに記録媒体に関し、特に、再エンコードしてビデオストリームを記録、再生する装置に用いて好適な画像符号化装置および方法、並びに記録媒体に関する。
【背景技術】
【０００２】
ヨーロッパのDVB（Digital Video Broadcast）放送、アメリカのDTV（Digital Television）放送、日本のＢＳ（Broadcast Satellite）デジタル放送などのデジタルテレビジョン放送では、MPEG（Moving Picture Expert Group）２トランスポートストリームが用いられる。トランスポートストリームは、トランスポートパケットが連続したストリームであり、トランスポートパケットは、例えば、ビデオデータやオーディオデータがパケット化されたものである。１つのトランスポートパケットのデータ長は、１８８バイトである。
【０００３】
ところで、デジタルテレビジョン放送では、アナログテレビジョン放送とは異なり、マルチメディア符号化データを付加したサービスを提供することが可能である。このサービスでは、ビデオデータ、オーディオデータ、文字図形のデータ、静止画のデータなどのデータがマルチメディア符号化データにより関連付けられて送信される。マルチメディア符号化データには、例えば、日本のＢＳデジタル放送の場合、XML（Extensible Markup Language）ベースの符号化方式が用いられる。その詳細は、例えば、ARIB STD-B24 Data Coding and transmission Specification for digital broadcasting（ARIB STD-B24 デジタル放送におけるデータ放送符号化方式と伝送方式）などに開示されている。
【０００４】
ビデオデータ、オーディオデータ、文字図形のデータ、静止画のデータなどのデータは、それぞれトランスポートパケット化されて送信される。
【０００５】
図１を参照し、送信側と受信側とで授受されるデータおよびマルチメディア画面の合成例を説明する。図１（Ａ）に示すように、送信側は、ビデオデータ、ボタンＡ乃至Ｃを表示させるための文字図形データ、"ＸＹＺＡＢＣ．．．"といった文字を表示させるための文字データ、および、それらを関連付けるためのマルチメディア符号化データが、受信側に対して送信される。送信側とは、テレビジョン放送局などであるが、ここではさらに、放送局から送信されたデータを受信し、記録する記録装置（記録側）も含み、図１（Ａ）は、その記録装置から出力されるデータである場合も含むものとする。
【０００６】
マルチメディア符号化データには、ビデオデータ、文字図形データ、および文字データを、受信側にて合成して表示できるようなデータを含んでいる。すなわち、マルチメディア符号化データは、図１（Ｂ）に示すように、マルチメディアプレーン（テレビジョン受像機などの画像の表示領域）のサイズ（plane_height、plane_width）やビデオの表示サイズ（video_height、video_width）といったサイズに関するデータや、ビデオデータ、文字図形データ、および文字データのそれぞれのデータにより表示されるビデオ、文字図形、および文字の表示位置に関するデータを含むデータである。
【０００７】
受信側では、マルチメディア符号化データを基に、ビデオデータ、文字図形データ、および文字データを、それぞれ処理し、図１（Ｂ）に示したように、それぞれのデータに基づく画像が表示される。
【０００８】
ユーザは、このようにして表示された画面から、例えば、ボタンＡを操作すると、その操作に対応した情報が、ビデオの部分に表示されたりといったサービスや、画面下側に表示されている文字データからビデオの部分に表示されている事柄に関する情報を取得するといったサービスを受けることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
デジタルテレビジョン放送により放送されたトランスポートストリームのテレビジョンプログラムを、受信側でそのまま記録媒体などに記録すれば、画質や音声の品質を全く劣化させずに記録することが可能である。画質が劣化することを前提とし、限られた容量の記録媒体にできる限り長い時間のプログラムを記録する場合、受信されたビデオストリームを一度デコードした後、再エンコードすることによりビットレートを下げるといった処理が必要となる。
【００１０】
例えば、マルチメディア符号化データが付加されたテレビジョンプログラムのビデオストリームを、ビットレートを下げて記録するために再エンコードするとき、画像をサブサンプリングして画枠を変更することが考えられる。ところが、その際に、再エンコードして得られたビデオストリームとマルチメディア符号化データの関係に不整合が発生する場合があるといった課題があった。その不整合の例について図２を参照して説明する。
【００１１】
図２（Ａ）に示した例では、送信側（記録側）において、再エンコード時に、元のビデオの画枠よりも小さい画枠への変換処理が行われている。その為に、図２（Ｂ）に示したように、受信側（再生側）においては、ビデオの表示サイズや表示位置が変わってしまい、送信側が意図した表示画面（再エンコードする前のデータで表示される表示画面）とは異なった表示画面となってしまうといった課題があった。
【００１２】
本発明はこのような状況に鑑みてなされたものであり、記録側においては、再エンコードしてビデオストリームを記録しても、不整合が発生しないような情報を生成し、その情報も合わせて記録するようにする。また、再生側においては、その情報を参照して再生することにより、画枠が小さくなるなどの不整合が発生しないようにすることを目的とする。
【課題を解決するための手段】
【００１３】
本発明の画像符号化装置は、多重化ストリームを入力する入力手段と、入力手段により入力された多重化ストリームからビデオストリームを分離する分離手段と、入力手段により入力された多重化ストリームにマルチメディア符号化データが含まれているか否かを判断する判断手段と、判断手段により多重化ストリームにマルチメディア符号化データが含まれていると判断された場合、分離手段により分離されたビデオストリームのビデオフォーマットと画面アスペクト比を変更しないことを指示する符号化制御情報か、または、ビデオストリームの画枠を変更しないことを指示する符号化制御情報を生成する生成手段と、生成手段により生成された符号化制御情報に基づいて、分離手段により分離されたビデオストリームに所定の変換を施す変換手段と、変換手段により変換されたビデオストリームを含む多重化ストリームを生成する多重化手段とを備える。
【００１５】
本発明の画像符号化方法は、多重化ストリームを入力する入力ステップと、入力ステップの処理により入力された多重化ストリームからビデオストリームを分離する分離ステップと、入力ステップの処理により入力された多重化ストリームにマルチメディア符号化データが含まれているか否かを判断する判断ステップと、判断ステップの処理により多重化ストリームにマルチメディア符号化データが含まれていると判断された場合、分離ステップの処理により分離されたビデオストリームのビデオフォーマットと画面アスペクト比を変更しないことを指示する符号化制御情報か、または、ビデオストリームの画枠を変更しないことを指示する符号化制御情報を生成する生成ステップと、生成ステップの処理により生成された符号化制御情報に基づいて、分離ステップの処理により分離されたビデオストリームに所定の変換を施す変換ステップと、変換ステップの処理により変換されたビデオストリームを含む多重化ストリームを生成する多重化ステップとを含む。
【００１７】
本発明の記録媒体のプログラムは、コンピュータに、多重化ストリームを入力する入力ステップと、入力ステップの処理により入力された多重化ストリームからビデオストリームを分離する分離ステップと、入力ステップの処理により入力された多重化ストリームにマルチメディア符号化データが含まれているか否かを判断する判断ステップと、判断ステップの処理により多重化ストリームにマルチメディア符号化データが含まれていると判断された場合、分離ステップの処理により分離されたビデオストリームのビデオフォーマットと画面アスペクト比を変更しないことを指示する符号化制御情報か、または、ビデオストリームの画枠を変更しないことを指示する符号化制御情報を生成する生成ステップと、生成ステップの処理により生成された符号化制御情報に基づいて、分離ステップの処理により分離されたビデオストリームに所定の変換を施す変換ステップと、変換ステップの処理により変換されたビデオストリームを含む多重化ストリームを生成する多重化ステップとを実行させるためのものである。
【００１８】
本発明の記録媒体は、第１の多重化ストリームに対してマルチメディア符号化データが含まれていると判断された場合に、前記第１の多重化ストリームから分離されたビデオストリームのビデオフォーマットと画面アスペクト比を変更しないことを指示する符号化制御情報か、または、前記ビデオストリームの画枠を変更しないことを指示する符号化制御情報に基づいて所定の変換が施されたビデオストリームと、前記所定の変換が施されたか否かを示す情報を含む第２の多重化ストリームが記録され、情報処理装置に装着され再生される記録媒体であって、前記第２の多重化ストリームを取得した情報処理装置に、前記ビデオストリームの再生時に、前記所定の変換が施されたか否かを示す情報に基づいて、前記ビデオストリームのビデオフォーマットと画面アスペクト比か、または、前記ビデオストリームの画枠を制御させる。
【００１９】
本発明においては、入力された多重化ストリームからビデオストリームが分離され、入力された多重化ストリームにマルチメディア符号化データが含まれているか否かが判断され、多重化ストリームにマルチメディア符号化データが含まれていると判断された場合、分離されたビデオストリームのビデオフォーマットと画面アスペクト比を変更しないことを指示する符号化制御情報か、または、ビデオストリームの画枠を変更しないことを指示する符号化制御情報が生成され、生成された符号化制御情報に基づいて、分離されたビデオストリームに所定の変換が施される。
【発明の効果】
【００２０】
本発明によれば、再生側において、ビデオストリームとマルチメディア符号化データの間に不整合が生じるようなことを防ぐことができる。
【図面の簡単な説明】
【００２１】
【図１】マルチメディア符号化情報による表示画面について説明する図である。
【図２】再エンコードされたときに生じる不整合について説明する図である。
【図３】本発明を適用した記録装置の一実施の形態の構成を示す図である。
【図４】図３のマルチプレクサの動作を説明する図である。
【図５】図３のアライバルタイムスタンプ付加部の処理を説明する図である。
【図６】マルチメディア表示サブ情報について説明する図である。
【図７】ProgramInfo()のシンタクスの別例を示す図である。
【図８】StreamCodingInfo()のシンタクスを示す図である。
【図９】stream_coding_typeの意味を示す図である。
【図１０】video_formatの意味を示す図である。
【図１１】frame_rateの意味を示す図である。
【図１２】display_aspect_ratioの意味を示す図である。
【図１３】AVストリームとマルチメディア表示サブ情報の符号化処理を説明するフローチャートである。
【図１４】マルチメディア符号化データを含む多重化ストリームのビデオの再エンコードに制限をかける場合の符号化処理を説明するフローチャートである。
【図１５】入力トランスポートストリームを説明する図である。
【図１６】図１５のビデオストリームを再エンコードした後のトランスポートストリームの例を示す図である。
【図１７】図３の記録装置における記録レートの制御処理を説明するフローチャートである。
【図１８】図３の記録装置における他の記録レートの制御処理を説明するフローチャートである。
【図１９】ビデオストリームを再エンコードした後のトランスポートストリームの他の例を示す図である。
【図２０】入力トランスポートストリームの他の例を示す図である。
【図２１】本発明を適用した再生装置の一実施の形態の構成を示す図である。
【図２２】マルチメディア表示サブ情報を追加した場合の表示画面について説明する図である。
【図２３】本発明を適用した記録装置の他の構成を示す図である。
【図２４】4‐マルチメディア表示サブ情報を使用するAVストリームの再生処理を説明するフローチャートである。
【図２５】本発明を適用した再生装置の他の構成を示す図である。
【図２６】媒体を説明する図である。
【発明を実施するための形態】
【００２２】
以下に、本発明の実施の形態について、図面を参照して説明する。図３は、本発明を適用した記録装置１の一実施の形態の構成を示す図である。アンテナ等（不図示）により受信されたトランスポートストリームは、セレクタ１０に入力される。セレクタ１０には、端子１１から、ユーザから指定される番組番号（チャンネル番号）も入力される。セレクタ１０は、番組番号に基づいて、入力されたトランスポートストリームから、指定された番組を抜き出し、パーシャルトランスポートストリームを出力する。パーシャルトランスポートストリームは、デマルチプレクサ１２と解析部１３に入力される。
【００２３】
デマルチプレクサ１２に入力されたトランスポートストリームは、ビデオストリームと、それ以外のストリーム（オーディオ、静止画、文字図形データ、マルチメディア符号化データなどのデータで構成されるストリーム）に分離される。分離されたビデオストリームは、デコーダ１４に出力される。また、それ以外のストリームは、マルチプレクサ１６に出力される。デマルチプレクサ１２は、ビデオ以外のトランスポートパケットの他に、それらのトランスポートパケットの入力トランスポートストリームの中での出力タイミング情報も、マルチプレクサ１６に出力する。
【００２４】
デコーダ１４は、入力されたビデオストリームに対して、所定のデコード方式、例えば、MPEG２方式に基づきデコード処理を施し、ビデオデータをエンコーダ１５に出力する。また、デコーダ１４は、デコードする際に得られたビデオストリームのストリーム情報を、符号化コントローラ１８に出力する。
【００２５】
一方、解析部１３は、入力されたトランスポートストリームを解析することにより、ビデオ以外のストリームのストリーム情報、例えば、ビットレートなどの情報を取得し、符号化コントローラ１８に出力する。符号化コントローラ１８には、解析部１３から出力されたビデオ以外のストリームのストリーム情報、デコーダ１４から出力されたビデオストリーム情報、および、端子１９からストリームの記録ビットレートが入力される。符号化コントローラ１８は、これらのデータから、エンコーダ１５により行われるビデオデータのエンコードの条件を設定し、その設定された条件（符号化制御情報）をエンコーダ１５と符号化部２０に出力する。
【００２６】
符号化コントローラ１８は、例えば、ストリームの記録ビットレート（記録装置１の動作を制御する図示せぬ制御装置から端子１９を介して入力されるデータ）から、ビデオ以外のストリームのビットレートの合計値（解析部１３から入力されるデータ）を減算した値が、ビデオデータのエンコードに割り当てられるビットレートとし、そのビットレートで最適な画質となるように、ビットレート、画枠などの符号化制御情報を設定し、その設定した符号化制御情報を、エンコーダ１５と符号化部２０に出力する。この符号化制御情報の詳細については、図１５乃至図２０を参照して後述する。
【００２７】
なお、このストリームの記録ビットレートは、記録媒体に固定レートで記録する場合、その固定レートとなり、可変ビットレートで記録する場合、所定時間当たりの平均ビットレートとなる。ただし、この場合の可変ビットレートの最大値は、記録媒体が保証する最大記録ビットレート以下である必要がある。
【００２８】
エンコーダ１５は、デコーダ１４から出力されたビデオデータを符号化コントローラ１８から出力された符号化制御情報に基づいて符号化し（例えば、MPEG２方式に基づき符号化し）、マルチプレクサ１６に出力する。マルチプレクサ１６は、エンコーダ１５からのビデオストリームと、デマルチプレクサ１２からのビデオ以外のトランスポートストリームパケットと、当該ビデオ以外のトランスポートストリームパケットの出現タイミングの情報を入力するが、そのうちの出現タイミングの情報に基づいて、ビデオストリームとビデオ以外のトランスポートストリームパケットを多重化し、トランスポートストリームとして、アライバルタイムスタンプ付加部１７に出力する。
【００２９】
図４は、マルチプレクサ１６が行う、この場合の処理を模式的に表している。図４（Ａ）は、入力されたトランスポートストリームのパケットのタイミングを表している。この図において、灰色で示す部分はビデオパケットを示し、白色で示す部分はビデオ以外のストリームのパケットを示している。図４（Ａ）に示されるように、入力されたトランスポートストリームのパケットは連続しているが、エンコーダ１５により、ビデオデータが再エンコードされることにより、ビデオデータのデータ量が減少する。その結果、ビデオパケットの数が少なくなる。
【００３０】
マルチプレクサ１６は、図４（Ｂ）に示されるように、ビデオ以外のストリームのパケットのタイミングを変更せず、ビデオパケットのタイミングだけを元の状態（図４（Ａ）に示す状態）と異なるタイミングとする。
【００３１】
アライバルタイムスタンプ付加部１７は、図５に示されるように、入力されるトランスポートストリームのトランスポートストリームパケット（図５（Ａ））毎に、アライバルタイムスタンプを含むヘッダ（TP_extra_header）を付加してソースパケット（図５（Ｂ））を生成し、各ソースパケットを連続するように配置して（図５（Ｃ））書き込み部２１に出力する。アライバルタイムスタンプは、トランスポートストリームパケットがトランスポートストリームの中で出現するタイミングを表す情報である。書き込み部２１は、入力される連続したソースパケットからなるソースパケットストリームをファイル化し、記録媒体２２に記録する。なお、記録媒体２２は、どのような媒体のものでも良い。
【００３２】
書き込み部２１には、符号化部２０から出力される情報も入力される。符号化部２０は、符号化コントローラ１８からのビデオ符号化情報に基づいて、マルチメディア表示サブ情報を生成し、書き込み部２１に出力する。書き込み部２１に出力されるマルチメディア表示サブ情報は、ビデオストリームがトランスコードされる（デコーダ１４によりデコードされた後、再び、エンコーダ１５によりエンコードされる）ことにより、画枠サイズが変化したような場合でも、マルチメディアプレーン上でビデオの表示位置や表示サイズを、伝送側が意図した画面（再エンコードしなかった場合に表示されるであろう画面）と同じにするための情報であり、再生時に、マルチメディア符号化データと組み合わされて用いられる情報である。
【００３３】
ここで、具体的にマルチメディア表示サブ情報について説明する。図６に示すように、マルチメディア表示サブ情報は、ミスマッチフラグ（mismatch_MMinfo_flag）、再エンコードフラグ（Re_encoded_flag）、およびフレームサイズ変更フラグ（changd_frame_size_flag）の３つのフラグと、オリジナルの水平方向のサイズ（original_horizontal_size）とオリジナルの垂直方向のサイズ（original_vertical_size）をそれぞれ表す２つのサイズに関するデータ、並びにオリジナルの画面アスペクト比（original_display_aspect_ratio）により構成されている。
【００３４】
ミスマッチフラグは、ビデオとマルチメディア符号化データとの関係に不整合があるか否かを示すフラグである。再エンコードフラグは、記録時にビデオが再エンコードされているかどうかを示すフラグである。フレームサイズ変更フラグは、例えば、再エンコードされたことにより、ビデオの画枠が変更されたか否かを示すフラグである。オリジナルの水平方向のサイズは、再エンコードされる前の水平方向の画枠のサイズである。オリジナルの垂直方向のサイズは、再エンコードされる前の垂直方向の画枠のサイズである。オリジナルの画面アスペクト比は、再エンコードされる前のフレーム画面のアスペクト比を意味する。
【００３５】
なお、上述したマルチメディア表示サブ情報は、一例であり、図６に示した以外の情報を含めるようにしても良いし、また、逆に、図６に示した情報の一部を必要に応じ減らしても良い。
【００３６】
マルチメディア表示サブ情報の別の例を説明する。この例では、マルチメディア表示サブ情報は、図７に示すシンタクスのProgramInfoの中にストアされる。ProgramInfo()のシンタクスの中で、本発明に関係するフィールドについて説明する。
【００３７】
lengthは、このlengthフィールドの直後のバイトからProgramInfo()の最後のバイトまでのバイト数を示す。
【００３８】
num_of_program_sequencesは、AVストリームファイルの中にあるprogram-sequenceの数を示す。AVストリームファイルの中で本フォーマットが規定するところのプログラム内容が一定であるソースパケット列を、program-sequenceと呼ぶ。
【００３９】
SPN_program_sequence_startは、AVストリームファイル上でprogram-sequenceが開始するアドレスを示す。SPN_program_sequence_startは、ソースパケット番号を単位とする大きさであり、AVストリームファイルの最初のソースパケットから、ゼロを初期値としてカウントされる。
【００４０】
program_map_PIDは、そのprogram-sequenceに適用できるPMT(program map table)を持つトランスポートパケットのPIDの値である。
【００４１】
num_of_streams_in_psは、そのprogram-sequenceの中で定義されるエレメンタリーストリームの数を示す。
【００４２】
stream_PIDは、そのprogram-sequenceのprogram_map_PIDが参照するところのPMTの中で定義されているエレメンタリーストリームのに対するPIDの値を示す。
【００４３】
StreamCodingInfo() は、上記stream_PIDで指されるエレメンタリーストリームの情報を示す。
【００４４】
図８は、StreamCodingInfo()のシンタクスを示す。lengthは、このlengthフィールドの直後のバイトからStreamCodingInfo()の最後のバイトまでのバイト数を示す。
【００４５】
stream_coding_typeは、このStreamCodingInfo()に対応するstream_PIDで指されるエレメンタリーストリームの符号化タイプを示す。値の意味を図９に示す。
【００４６】
stream_coding_typeの値が、0x02の場合、stream_PIDで指されるエレメンタリーストリームがビデオストリームであることを示す。
【００４７】
また、stream_coding_typeの値が、0x0A, 0x0B, 0x0Cまたは0x0Dの場合、stream_PIDで指されるエレメンタリーストリームがマルチメディア符号化データであることを示す。
【００４８】
また、stream_coding_typeの値が、0x06の場合、stream_PIDで指されるエレメンタリーストリームが字幕やテレテキストであることを示す。
【００４９】
video_formatは、このStreamCodingInfo()に対応するstream_PIDで指されるビデオストリームのビデオフォーマットを示す。値の意味を図１０に示す。
【００５０】
480i は、NTSCのスタンダードTV（720画素×480ラインのインタレースフレーム）のビデオ表示である。また、576iは、PALのスタンダードTV（720画素×576ラインのインタレースフレーム）のビデオ表示である。また、480pは、720画素×480ラインのプログレッシブフレームのビデオ表示である。また、1080iは、1920画素×1080ラインのインタレースフレームのビデオ表示である。また、720pは、1280画素×720ラインのプログレッシブフレームのビデオ表示である。
【００５１】
frame_rateは、このStreamCodingInfo()に対応するstream_PIDで指されるビデオストリームのフレームレートを示す。値の意味を図１１に示す。
【００５２】
display_aspect_ratioは、このStreamCodingInfo()に対応するstream_PIDで指されるビデオストリームのディスプレイ・アスペクト・レシオを示す。値の意味を図１２に示す。
【００５３】
original_video_format_flagは、このStreamCodingInfo()の中にoriginal_video_formatとoriginal_display_aspect_ratioが存在するかを示すフラグである。
【００５４】
original_video_formatは、このStreamCodingInfo()に対応するstream_PIDで指されるビデオストリームが符号化される前のオリジナルのビデオフォーマットである。値の意味は、図１０と同じである。
【００５５】
original_display_aspect_ratioは、このStreamCodingInfo()に対応するstream_PIDで指されるビデオストリームが符号化される前のオリジナルのディスプレイ・アスペクト・レシオである。値の意味は、図１２と同じである。
【００５６】
ビデオストリームと共にマルチメディアデータストリーム（BMLストリーム, 字幕など）が多重化されているトランスポートストリームをトランス・コーディングする場合において、ビデオストリームは再エンコードされることによって、そのビデオフォーマットが変化し（例えば、1080iから480iへ変化する）、一方、マルチメディアデータストリームはオリジナルのストリームのままの内容を保つ場合を考える。この時、新しいビデオストリームとマルチメディアデータストリームの間に情報のミスマッチが生じる場合がある。例えば、マルチメディアデータストリームの表示に関するパラメータは、オリジナルのビデオストリームのビデオフォーマットを想定して決められているにもかかわらず、ビデオストリームの再エンコードによって、そのビデオフォーマットが変化した場合である。
【００５７】
オリジナルのビデオストリームのビデオフォーマットは、video_formatと
display_aspect_ratioにより示される。また、再エンコード後のビデオストリームのビデオフォーマットは、original_video_formatとoriginal_display_aspect_ratioにより示される。
【００５８】
video_formatとoriginal_video_formatの値が違い、または／および、display_aspect_ratioとoriginal_display_aspect_ratioの値が違う場合、記録時にビデオの再エンコードによって、ビデオフォーマットが変更されたことを示す。
【００５９】
また、stream_coding_typeがマルチメディア符号化データや字幕を示すstream_PIDがProgramInfoに含まれる場合、AVストリームファイル（トランスポートストリーム）の中にマルチメディアデータが多重化されていることを示す。
【００６０】
そして、ProgramInfoが、記録時にビデオの再エンコードによって、ビデオフォーマットが変更されたことを示し、かつ、AVストリームファイルの中にマルチメディアデータが多重化されていることが示す時、AVストリームファイルのビデオストリーム（再エンコードしたもの）とマルチメディアデータ（オリジナルのもの）との間に表示のミスマッチがあると判断する。
【００６１】
このような場合、original_video_formatとoriginal_display_aspect_ratioの、オリジナルのビデオストリームに関する情報が有効となる。再生装置は、上記の新しいビデオストリームとマルチメディアデータストリームから次のようにして、表示画像をつくる。ビデオストリームは、original_video_formatとoriginal_display_aspect_ratioで示されるビデオフォーマットにアップ・サンプリングされる。そのアップ・サンプリングされた画像とマルチメディアデータストリームが合成されて、正しい表示画像をつくる。
【００６２】
符号化部２０により作成され、出力されたマルチメディア表示サブ情報は、書き込み部２１により記録媒体２２に記録されるが、アライバルタイムスタンプ付加部１７から出力されるソースパケットストリームファイルとは別のファイルとして記録される。ソースパケットストリームファイルとは別のファイルとしてマルチメディア表示サブ情報が書き込み部２１により記録媒体２２に記録される場合、符号化部２０からは、ファイル化されたマルチメディア表示サブ情報が出力される。
【００６３】
図１３に、AVストリームとマルチメディア表示サブ情報の符号化処理のフローチャートを示す。
【００６４】
ステップ５０で、記録装置１にマルチメディア符号化データを含む多重化ストリームの入力する。
【００６５】
ステップ５１で、デマルチプレクサ１２が多重化ストリームからビデオストリームを分離する。
【００６６】
ステップ５２で、エンコーダ１５がデコーダ１４でデコードされたビデオストリームを再エンコードする。
【００６７】
ステップ５３で、マルチプレクサ１６が上記ビデオストリームとマルチメディア符号化データを多重化して、多重化ストリームを作成する。
【００６８】
ステップ５４で、符号化部２０がマルチメディア表示サブ情報の作成する。
【００６９】
上述した説明では、符号化コントローラ１８は、入力されたデータを基にビットレートや画枠などの情報を含む符号化制御情報を生成したが、他の符号化制御情報として、次に示すような情報を生成しても良い。すなわち、解析部１３により、入力されたトランスポートストリームを解析した結果、入力トランスポートストリームにマルチメディア符号化データが含まれていると解析された場合、符号化コントローラ１８は、エンコーダ１５によりエンコードが行われる際、元のビデオの画枠と同じサイズの画枠（再エンコードされる前の画枠）で再エンコードするよう指示する符号化制御情報を生成し、エンコーダ１５に対して出力するようにしても良い。
【００７０】
そのようにした場合、エンコーダ１５は、入力された符号化制御情報に基づいてデコーダ１４からのビデオデータを元のビデオストリームの画枠と同じ値で再エンコードする。このような符号化制御情報を生成し、その符号化制御情報に基づく再エンコードを行う場合、再エンコードにより画枠が変更されることがないため、再エンコードして得られるビデオストリームと、マルチメディア符号化データとの関係に不整合が発生するようなことを防ぐことができる。
【００７１】
または、符号化コントローラ１８が生成する符号化制御情報として、次に示すような情報を生成しても良い。すなわち、解析部１３により、入力されたトランスポートストリームを解析した結果、入力トランスポートストリームにマルチメディア符号化データが含まれていると解析された場合、符号化コントローラ１８は、エンコーダ１５によりエンコードが行われる際、元のビデオのビデオフォーマット（図１０で示すもの）と画面アスペクト比（図１２で示すもの）と同じ条件で再エンコードするよう指示する符号化制御情報を生成し、エンコーダ１５に対して出力するようにしても良い。
【００７２】
そのようにした場合、エンコーダ１５は、入力された符号化制御情報に基づいてデコーダ１４からのビデオデータを元のビデオのビデオフォーマット（図１０で示すもの）と画面アスペクト比（図１２で示すもの）と同じ条件で再エンコードする。このような符号化制御情報を生成し、その符号化制御情報に基づく再エンコードを行う場合、再エンコードによりビデオフォーマットおよび画面アスペクト比が変更されることがないため、再エンコードして得られるビデオストリームと、マルチメディア符号化データとの関係に不整合が発生するようなことを防ぐことができる。
【００７３】
図１４に、マルチメディア符号化データを含む多重化ストリームのビデオの再エンコードに制限をかける場合の符号化処理のフローチャートを示す。
【００７４】
ステップ７０で、記録装置１へ多重化ストリームを入力する。
【００７５】
ステップ７０で、デマルチプレクサ１２が多重化ストリームからビデオストリームを分離する。
【００７６】
ステップ７０で、解析部１３はマルチメディア符号化データが含まれるかを調べる。マルチメディア符号化データが含まれる場合、ビデオストリームをビデオの表示フォーマットを変えないように再エンコードするように符号化制御情報をエンコーダ１５へ指示する。エンコーダ１５はその制御情報に基づいて、ビデオストリームを再エンコードする。
【００７７】
ステップ７０で、マルチプレクサ１６は上記ビデオストリームを含む多重化ストリームを作成する。
【００７８】
次に、図１５乃至図２０を参照して、符号化制御情報に基づく制御の例について説明する。
【００７９】
いま、例えば、図１５に示されるように、セレクタ１０に入力されるトランスポートストリームは、一定のビットレートＲIを有しているものとする。ビデオストリームとビデオ以外のストリームは、それぞれ、可変ビットレートで符号化されている。図１５の例の場合、単位時間（例えば、GOP）Ａにおいては、ビデオストリームのビットレートはＲVAとされ、ビデオ以外の単位時間のビットレートはＲOAとされている。そして、単位時間Ｂにおいては、ビデオストリームのビットレートがＲVBとされ、ビデオ以外のストリームのビットレートがＲOBとされ、単位時間Ｃにおいては、ビデオストリームのビットレートがＲVCとされ、ビデオ以外のストリームのビットレートがＲOCとされている。
【００８０】
いま、この図１５に示されているようなトランスポートストリームを再エンコードし、図１６に示されるように、固定のビットレートＳ（Ｓ＜ＲI）のトランスポートストリームとしてマルチプレクサ１６から出力するようにする場合、符号化コントローラ１８は、図１７のフローチャートに示される処理を実行する。
【００８１】
最初に、ステップＳ１において、符号化コントローラ１８は、端子１９から、図示せぬ制御装置より入力される制御信号に基づいて、マルチプレクサ１６より出力するトランスポートストリームのビットレート（記録レート）をＳに設定する。次に、ステップＳ２において、符号化コントローラ１８は、ビデオ以外に記録するストリームを決定し、それらのストリームのビットレートの合計の最大値Ｄを計算する。
【００８２】
最大値Ｄは、入力トランスポートストリームのストリーム仕様から判断される。例えば、ビデオ以外に、２本のオーディオストリームを記録する場合、日本のデジタルBS放送のストリーム仕様では、オーディオストリーム１本のビットレートの最大値は３８４Kbpsであるから、最大値Ｄは、３８４×２Kbpsとなる。
【００８３】
次に、ステップＳ３において、符号化コントローラ１８は、ステップＳ１において設定された記録のためのビットレートＳから、ステップＳ２で計算された最大値Ｄを減算して得た値Ｃ（＝Ｓ−Ｄ）を、ビデオデータの再エンコードの割り当てビットレートとする。そして、ステップＳ４において、符号化コントローラ１８は、デコーダ１４より出力されるビデオストリーム情報から、ビデオストリームのビットレート、画枠といった符号化情報を解析する。
【００８４】
次に、ステップＳ５に進み、符号化コントローラ１８は、ステップＳ３で計算された値Ｃと、ステップＳ４で解析されたビデオストリームの符号化情報に基づいて、最適な画質になるようにビデオの符号化パラメータ（ビデオ符号化制御情報）を決定する。
【００８５】
例えば、図１６に示す例においては、値Ｓが、値ＲIの１／２とされている。いまの場合、ビデオ以外のストリームのビットレートは最大値Ｄとされ、この最大値Ｄが、そのまま、再符号化後の多重化ストリームのビデオ以外のストリームのビットレートとされる。
【００８６】
そして、（Ｓ−Ｄ）の範囲内において最適な画質になるように、ビデオの符号化パラメータが決定される。画枠が制御される場合、例えば、７２０×４８０画素の画枠の水平方向を１／２にサブサンプリングして、３６０×４８０画素とされる。決定された符号化パラメータ（ビットレートや画角など）は、ビデオ符号化制御情報としてエンコーダ１５に供給される。
【００８７】
そこで、エンコーダ１５は、ステップＳ６において、符号化コントローラ１８より供給されたビデオ符号化制御情報に基づいて、いま、処理対象とされている単位時間（いまの場合、単位時間Ａ）のビデオデータを再エンコードする。図１６の例においては、単位時間Ａでは、実際には、ビットレートＲOAは、最大値Ｄより小さいが、最大値Ｄは固定値とされるので、ビデオの割り当てビットレートは（Ｓ−Ｄ）となる。最大値Ｄは固定とされるため、ビデオの符号化に使えない無駄な部分Ｒsaが発生するが、そこには、スタッフィングビットが挿入される。
【００８８】
次に、ステップＳ７に進み、符号化コントローラ１８は、再エンコードするストリームが終了したか否かを判定し、まだストリームが終了していない場合には、ステップＳ４に戻り、それ以降の処理を繰り返し実行する。
【００８９】
そして、ステップＳ７において、符号化するストリームが終了したと判定された場合、処理は終了される。
【００９０】
以上のようにして、図１６の例においては、単位時間Ｂにおいても、ビデオ以外のストリームのビットレートはＤとされ、ビデオストリームの割り当てビットレートは、固定ビットレートなので、Ｓ−Ｄとされる。そして、値Ｒsb（＝Ｓ−（Ｓ−Ｄ）−ＲOB＝Ｄ−ＲOB）には、スタッフィングビットが挿入される。
【００９１】
単位時間Ｃにおいても、ビデオ以外のストリームのビットレートは、Ｄとされ、ビデオストリームの割り当てビットレートは、Ｓ−Ｄとされる。なお、この単位時間Ｃにおいては、Ｄ＝ＲOCであるので、スタッフィングビットは存在しない。
【００９２】
このように、図１６の例においては、ビデオストリームが固定ビットレートで符号化される。
【００９３】
図１８は、ビデオの再エンコードの割り当てビットレートを可変ビットレートとした場合の処理例を表している。最初に、ステップＳ２１において、符号化コントローラ１８は、端子１９からの入力に基づいて、記録レートＳを設定する。次に、ステップＳ２２において、符号化コントローラ１８は、デコーダ１４からのビデオストリーム情報に基づいて、ビデオストリームの符号化情報を解析する。以上のステップＳ２１とステップＳ２２の処理は、図１７のステップＳ１とステップＳ４の処理と同様の処理である。
【００９４】
次に、ステップＳ２３において、符号化コントローラ１８は、解析部１３の出力からビデオ以外のストリームの時間単位毎の合計ビットレートＢを計算する。
【００９５】
次に、ステップＳ２４に進み、符号化コントローラ１８は、ステップＳ１で設定した値Ｓから、ステップＳ２３の処理で計算した値Ｂを減算して得た値Ｃ（＝Ｓ−Ｂ）をビデオの再エンコード割り当てビットレートとする。
【００９６】
さらに、ステップＳ２５において、符号化コントローラ１８は、ステップＳ２４において得られた値Ｃと、ステップＳ２２の処理で得られたビデオストリームの符号化情報の解析結果に基づいて、最適な画質になるように、ビデオの符号化パラメータを決定する。決定された符号化パラメータは、エンコーダ１５に出力される。
【００９７】
そして、ステップＳ２６において、エンコーダ１５は、ステップＳ２５の処理で決定された符号化パラメータに基づいて、現在の単位時間のビデオデータを再エンコードする。これにより、例えば、図１９に示されるように、ビデオ以外の単位時間のビットレートとして、Ｒoa（＝ＲOA）が確保された後、（Ｓ−Ｒoa）で規定されるビットレートＲvaにビデオストリームのビットレートが設定される。
【００９８】
ステップＳ２７において、符号化コントローラ１８は、ストリームが終了したか否かを判定し、終了していない場合にはステップＳ２２に戻り、それ以降の処理を繰り返し実行する。ステップＳ２７において、ストリームが終了したと判定された場合、処理は終了される。
【００９９】
このようにして、単位時間Ｂにおいては、ビデオ以外のストリームのビットレートＲob（＝Ｓ−ＲOB）が確保された後、残りのＲvb（＝Ｓ−Ｒob）がビデオストリームのビットレートとされる。単位時間Ｃにおいては、ビデオ以外のストリームのビットレートＲocを除くＲvc（＝Ｓ−ＲOC）にビデオストリームのビットレートが設定される。
【０１００】
このように、この処理例においては、ビデオストリームのビットレートが可変ビットレートされ、スタッフィングビットが必要なくなるか、その量を少なくすることができ、より効率的にビデオストリームを符号化することができる。
【０１０１】
なお、以上においては、入力トランスポートストリームが固定ビットレートである場合を例としたが、例えば、図２０に示されるように、入力トランスポートストリームが可変ビットレートである場合にも、本発明を適用することが可能である。
【０１０２】
以上のようにして、必要に応じて、より低いビットレートで、記録媒体２２に、より長時間のコンテンツに対応するトランスポートストリームを記録することが可能となる。
【０１０３】
そして、オーディオデータ、静止画／文字図形データ、マルチメディア符号化データといった、ビデオ以外のデータの質が著しく劣化することを防止することができる。ビデオ以外のこれらのデータは、基本的に、ビデオデータに比べて、そのデータ量が少ないため、ビデオデータと同じ割合でビットレートを低下させると、相対的にビデオ以外のデータに対する影響は、ビデオデータに対する影響より大きくなるが、このような影響が出るのを防止することができる。
【０１０４】
次に、記録媒体２２に記録されたソースパケットストリームファイルの再生について説明する。図２１は、本発明を適用した再生装置の一実施の形態の構成を示す図である。記録媒体２２に記録されているソースパケットストリームファイルは、読み出し部３１により読み出される。読み出し部３１は、ソースパケットストリームとは別ファイルとして記録媒体２２に記録されているマルチメディア表示サブ情報も読み出す。
【０１０５】
読み出し部３１により読み出されたソースパケットストリームは、アライバルタイムスタンプ分離部３２に、マルチメディア表示サブ情報は、合成部３６に、それぞれ出力される。アライバルタイムスタンプ分離部３２は、基準クロックを内蔵しており、その基準クロックと、入力されたソースパケットストリームのソースパケットに付加されているアライバルタイムスタンプの値を比較し、両方の値が等しくなったときに、値が等しくなったアライバルタイムスタンプをもつソースパケットから、そのアライバルタイムスタンプを取り除き、トランスポートストリームパケットとして、デマルチプレクサ３３に出力する。
【０１０６】
デマルチプレクサ３３は、入力されたトランスポートストリームをビデオオーディオストリーム、マルチメディア符号化データ、および、文字図形／文字／静止画などのデータのストリームに分離する。分離されたデータの内、ビデオオーディオストリームは、AVデコーダ３４に、マルチメディア符号化データは、合成部３６に、文字図形／文字／静止画などのデータのストリームは、文字図形／静止画デコーダ３５に、それぞれ出力される。
【０１０７】
AVデコーダ３４は、入力されたビデオオーディオストリームをビデオデータとオーディオデータに分離し、それぞれをデコードした後、オーディオデータを図示されていないオーディオ再生装置に、ビデオデータを合成部３６に、それぞれ出力する。文字図形／静止画デコーダ３５は、入力された文字図形、文字、静止画などのデータのストリームをデコードし、デコードされた文字図形データ、文字データ、静止画データなどを合成部３６に出力する。
【０１０８】
合成部３６には、AVデコーダ３４からのビデオデータ、デマルチプレクサ３３から出力されたマルチメディア符号化データ、文字図形／静止画デコーダ３５から出力された文字図形／文字／静止画などのデータ、および読み出し部３１により読み出されたマルチメディア表示サブ情報が入力される。合成部３６は、入力されたマルチメディア表示サブ情報のミスマッチフラグ（図６）を検査することにより、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じているか否かを判断する。
【０１０９】
または、合成部３６は、図８のvideo_formatとoriginal_video_formatの値が違い、または／および、display_aspect_ratioとoriginal_display_aspect_ratioの値が違う場合、記録時にビデオの再エンコードによって、ビデオフォーマットが変更されたことを判断し、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じていることを判断する。video_formatとoriginal_video_formatの値が同じであり、かつ、display_aspect_ratioとoriginal_display_aspect_ratioの値が同じである場合、入力ビデオ信号とマルチメディア符号化データとの関係にミスマッチはないと判断する。
【０１１０】
入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じていることを示している場合、合成部３６はさらに、マルチメディア表示サブ情報のオリジナルの水平方向のサイズとオリジナルの垂直方向のサイズを参照するか、または、original_video_formatとoriginal_display_aspect_ratioを参照する。そして、入力されたビデオ信号を、その参照したサイズのフレームで表示されるようにスケール変換する。そして、マルチメディア符号化データに基づいて、スケール変換されたビデオ信号と他の文字図形データなどをマルチメディアプレーン上に合成したビデオ信号を、表示デバイスとしてのテレビジョン受像機（不図示）などに出力する。
【０１１１】
一方、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じていないということを示している場合、合成部３６は、入力ビデオ信号のスケールを変更することなしに、他のデータとマルチメディアプレーン上に合成し、出力する。
【０１１２】
このように、マルチメディア表示サブ情報を記録時に記録し、再生時に用いることにより、送信側が意図した画面が受信側で表示される。図２２を参照して説明するに、送信側（記録側）で、再エンコードされたために、元のビデオの画枠よりも小さめの画枠に変更されてしまったとしても、マルチメディア表示サブ情報として、そのことを記録しておき、再生時に、その記録されたマルチメディア表示サブ情報を参照することにより、受信側（再生側）においては、ビデオと他のデータに不整合が生じることなく再エンコードしなかった場合に得られる画面が得られる。
【０１１３】
図２４にマルチメディア表示サブ情報を使用するAVストリームの再生処理のフローチャートを示す。
【０１１４】
ステップ６０で、マルチメディア符号化データを含む多重化ストリームを記録媒体から読み出し再生装置に入力する。
【０１１５】
ステップ６１で、マルチメディア表示サブ情報の入力する。この情報は、図２１の再生装置の場合は、記録媒体から読み出され、図２５の再生装置の場合は、多重化ストリームから分離する。
【０１１６】
ステップ６２で、多重化ストリームからビデオストリームを分離する。
【０１１７】
ステップ６３で、ビデオストリームをデコードする。
【０１１８】
ステップ６４で、ビデオとマルチメディア符号化データの間に表示のミスマッチがある場合、合成部３６はビデオをマルチメディア表示サブ情報に基づいてスケール変換処理する。
【０１１９】
ステップ６５で、合成部３６は上記処理した画像とマルチメディアデータを合成して表示画像を作成する。
【０１２０】
上述したように、マルチメディア表示サブ情報は、文字図形データやビデオ信号を含むソースパケットストリームファイルとは別のファイルとして記録媒体２２に記録するようにしても良いが、ソースパケットストリームファイルに埋め込んで記録媒体２２に記録するようにしても良い。ソースパケットストリームファイルにマルチメディア表示サブ情報を埋め込んで記録するようにした場合の記録装置１の構成を図２３に示す。
【０１２１】
図２３に示した記録装置１の構成を、図３に示した記録装置１の構成と比較するに、図２３に示した記録装置１では、符号化部２０から出力されたマルチメディア表示サブ情報は、マルチプレクサ１６に出力されるようになっている。マルチプレクサ１６では、入力されたマルチメディア表示サブ情報をトランスポートパケットを作成してソースパケットストリームファイルに埋め込み、アライバルタイムスタンプ付加部１７に出力する。マルチメディア表示サブ情報をトランスポートパケットとしてソースパケットストリームファイルに埋め込むのではなく、MPEGビデオストリームのユーザデータ領域に書き込むようにしても良い。
【０１２２】
なお、本実施の形態においては、ビデオデータを再エンコードする方法は、このような方法に限らず、入力されたビデオストリームをDCT領域上で変換して画枠などの符号化パラメータを変換するようにしても良い。
【０１２３】
このようにしてソースパケットストリームファイルにマルチメディア表示サブ情報を埋め込み、記録媒体２２に記録するようにした場合の再生装置３０の構成を図２５に示す。図２５に示した再生装置３０の構成を、図２１に示した再生装置３０の構成と比較するに、図２５に示した再生装置３０の構成では、読み出し部３１により読み出されるのは、ソースパケットストリームだけである。そして、読み出し部３１により読み出されたソースパケットストリームはアライバルタイムスタンプ分離部３２を介してデマルチプレクサ３３に入力される。
【０１２４】
デマルチプレクサ３３は、入力されたソースパケットストリームファイルから、マルチメディア表示サブ情報を取り出し、合成部３６に出力する。その他の構成は図５における場合と同様である。
【０１２５】
このように、ソースパケットストリームファイルにマルチメディア表示サブ情報を含めて記憶させるようにした場合も、伝送側が意図したビデオの画枠のサイズや表示位置が、受信側において得られるようになる。
【０１２６】
なお、本実施の形態においては、トランスポートストリームの場合を説明したが、本発明は、これに限らず、プログラムストリームなどの多重化ストリームなどにも適用することが可能である。
【０１２７】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、例えば、記録装置１（図示は省略するが、再生装置３０も同様である）は、図２６に示されるようなパーソナルコンピュータにより構成される。
【０１２８】
図２６において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記憶されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２９】
CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【０１３０】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、CRT、LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、ネットワークを介しての通信処理を行う。
【０１３１】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク１２１、光ディスク１２２、光磁気ディスク１２３、或いは半導体メモリ１２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【０１３２】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１３３】
この記録媒体は、図２６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１２１（フロッピディスクを含む）、光ディスク１２２（CD-ROM（Compact Disk -Read Only Memory），DVD（Digital Versatile Disk）を含む）、光磁気ディスク１２３（MD（Mini-Disk）を含む）、若しくは半導体メモリ１２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM１０２や記憶部１０８が含まれるハードディスクなどで構成される。
【０１３４】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【符号の説明】
【０１３５】
１  記録装置，  １１端子，  １２  デマルチプレクサ，  １３  解析部，  １４  デコーダ，  １５  エンコーダ，  １６  マルチプレクサ，  １７  アライバルタイムスタンプ付加部，  １８  符号化コントローラ，  １９  端子，  ２０  符号化部，  ２１  書き込み部，  ２２  記録媒体，  ３０  再生装置，  ３１  読み出し部，  ３２  アライバルタイムスタンプ分離部，  ３３  デマルチプレクサ，  ３４  AVデコーダ，  ３５  文字図形／静止画デコーダ，  ３６  合成部
【図１】
0005516488.tif 000002
【図２】
0005516488.tif 000003
【図３】
0005516488.tif 000004
【図４】
0005516488.tif 000005
【図５】
0005516488.tif 000006
【図６】
0005516488.tif 000007
【図７】
0005516488.tif 000008
【図８】
0005516488.tif 000009
【図９】
0005516488.tif 000010
【図１０】
0005516488.tif 000011
【図１１】
0005516488.tif 000012
【図１２】
0005516488.tif 000013
【図１３】
0005516488.tif 000014
【図１４】
0005516488.tif 000015
【図１５】
0005516488.tif 000016
【図１６】
0005516488.tif 000017
【図１７】
0005516488.tif 000018
【図１８】
0005516488.tif 000019
【図１９】
0005516488.tif 000020
【図２０】
0005516488.tif 000021
【図２１】
0005516488.tif 000022
【図２２】
0005516488.tif 000023
【図２３】
0005516488.tif 000024
【図２４】
0005516488.tif 000025
【図２５】
0005516488.tif 000026
【図２６】
0005516488.tif 000027