(57)【特許請求の範囲】
【請求項１】
多重化ストリームを入力する入力手段と、
入力された前記多重化ストリームからビデオストリームを抽出する抽出手段と、
抽出された前記ビデオストリームを再符号化する再符号化手段と、
前記再符号化の際に、再符号化される前の前記ビデオストリームの画面の表示情報を生成する生成手段と、
再符号化された前記ビデオストリーム及び前記画面の表示情報を出力する出力手段と
を備え、
前記出力手段は、再符号化された前記ビデオストリームを含むソースパケットストリームと前記画面の表示情報とを、それぞれ別ファイルとして記録媒体に出力する
記録装置。
【請求項２】
前記画面の表示情報は、再符号化される前の前記ビデオストリームのフレーム画面のアスペクト比である
請求項１に記載の記録装置。
【請求項３】
前記多重化ストリームは、少なくともオーディオストリームを含み、
前記再符号化手段により所定のビットレートで再符号化された前記ビデオストリームと、再符号化される前のビットレートの前記オーディオストリームとを再多重化する多重化手段を
さらに備える請求項１に記載の記録装置。
【請求項４】
前記ビデオストリームの前記所定のビットレートは、所定の固定出力ビットレートから、前記ビデオストリーム以外のビットレートを減算したビットレートである
請求項３に記載の記録装置。
【請求項５】
多重化ストリームを入力する入力ステップと、
入力された前記多重化ストリームからビデオストリームを抽出する抽出ステップと、
抽出された前記ビデオストリームを再符号化する再符号化ステップと、
前記再符号化の際に、再符号化される前の前記ビデオストリームの画面の表示情報を生成する生成ステップと、
再符号化された前記ビデオストリーム及び前記画面の表示情報を出力する出力ステップと
を含み、
前記出力ステップの処理は、再符号化された前記ビデオストリームを含むソースパケットストリームと前記画面の表示情報とを、それぞれ別ファイルとして記録媒体に出力する
記録方法。
【請求項６】
多重化ストリームを入力する入力ステップと、
入力された前記多重化ストリームからビデオストリームを抽出する抽出ステップと、
抽出された前記ビデオストリームを再符号化する再符号化ステップと、
前記再符号化の際に、再符号化される前の前記ビデオストリームの画面の表示情報を生成する生成ステップと、
再符号化された前記ビデオストリーム及び前記画面の表示情報を出力する出力ステップと、
出力された、再符号化された前記ビデオストリームを含むソースパケットストリームと前記画面の表示情報とを、それぞれ別ファイルとして記録媒体に出力するステップと
を含むコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項７】
記録媒体に記録された、符号化ビデオストリームを含むソースパケットストリーム及びビデオストリームの画面の表示情報を、それぞれ別ファイルとして読み出す読み出し手段と、
前記ソースパケットストリームからアライバルタイムスタンプを取り除きトランスポートストリームとして出力する出力手段と、
出力された前記トランスポートストリームから前記符号化ビデオストリームを分離する分離手段と、
分離された前記符号化ビデオストリームを復号する復号手段と、
前記画面の表示情報を参照する参照手段と
を備え、
前記参照手段は、さらに前記画面の表示情報に基づいて、前記符号化ビデオストリームが符号化される前に表示される前記ビデオストリームの画面に従って、前記復号手段により復号された前記ビデオストリームの再生を行う
再生装置。
【請求項８】
前記画面の表示情報は、再符号化される前の前記符号化ビデオストリームのフレーム画面のアスペクト比である
請求項７に記載の再生装置。
【請求項９】
前記トランスポートストリームには、所定のビットレートで再符号化された前記ビデオストリームと、再符号化される前のビットレートのオーディオストリームとが多重化されている
請求項７に記載の再生装置。
【請求項１０】
前記ビデオストリームの前記所定のビットレートは、所定の固定出力ビットレートから、前記ビデオストリーム以外のビットレートを減算したビットレートである
請求項９に記載の再生装置。
【請求項１１】
記録媒体に記録された、符号化ビデオストリームを含むソースパケットストリーム及びビデオストリームの画面の表示情報を、それぞれ別ファイルとして読み出す読み出しステップと、
前記ソースパケットストリームからアライバルタイムスタンプを取り除きトランスポートストリームとして出力する出力ステップと、
出力された前記トランスポートストリームから前記符号化ビデオストリームを分離する分離ステップと、
分離された前記符号化ビデオストリームを復号する復号ステップと、
前記画面の表示情報を参照する参照ステップと
を含み、
前記参照ステップの処理は、さらに前記画面の表示情報に基づいて、前記符号化ビデオストリームが符号化される前に表示される前記ビデオストリームの画面に従って、前記復号ステップの処理により復号された前記ビデオストリームの再生を行う
再生方法。
【請求項１２】
記録媒体に記録された、符号化ビデオストリームを含むソースパケットストリーム及びビデオストリームの画面の表示情報を、それぞれ別ファイルとして読み出す読み出しステップと、
前記ソースパケットストリームからアライバルタイムスタンプを取り除きトランスポートストリームとして出力する出力ステップと、
出力された前記トランスポートストリームから前記符号化ビデオストリームを分離する分離ステップと、
分離された前記符号化ビデオストリームを復号する復号ステップと、
前記画面の表示情報を参照する参照ステップと、
前記画面の表示情報に基づいて、前記符号化ビデオストリームが符号化される前に表示される前記ビデオストリームの画面に従って、前記復号ステップの処理により復号された前記ビデオストリームの再生を行うステップと
を含むコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、並びに記録媒体に関し、特に、より効率的にビデオデータを再エンコードすることができるようにした情報処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
ヨーロッパのDVB（Digital Video Broadcast）放送、アメリカのDTV（Digital Television）放送、日本のＢＳ（Broadcast Satellite）デジタル放送などのデジタルテレビジョン放送では、MPEG（Moving Picture Expert Group）２トランスポートストリームが用いられる。トランスポートストリームは、トランスポートパケットが連続したストリームであり、トランスポートパケットは、例えば、ビデオデータやオーディオデータがパケット化されたものである。１つのトランスポートパケットのデータ長は、１８８バイトである。
【０００３】
ところで、デジタルテレビジョン放送では、アナログテレビジョン放送とは異なり、マルチメディア符号化データを付加したサービスを提供することが可能である。このサービスでは、ビデオデータ、オーディオデータ、文字図形のデータ、静止画のデータなどのデータがマルチメディア符号化データにより関連付けられて送信される。マルチメディア符号化データには、例えば、日本のＢＳデジタル放送の場合、XML（Extensible Markup Language）ベースの符号化方式が用いられる。その詳細は、例えば、ARIB STD-B24 Data Coding and transmission Specification for digital broadcasting（ARIB STD-B24 デジタル放送におけるデータ放送符号化方式と伝送方式）などに開示されている。
【０００４】
ビデオデータ、オーディオデータ、文字図形のデータ、静止画のデータなどのデータは、それぞれトランスポートパケット化されて送信される。
【０００５】
ところで、デジタルテレビジョン放送で、いわゆるトランスポートストリームのテレビジョンプログラムを、受信側において、そのまま記録すれば、画質や音質を劣化させることなく、テレビジョンプログラムを記録することが可能となる。しかしながら、例えば、画質を多少劣化させても、限られた容量の記録媒体に、できるだけ長時間のテレビジョンプログラムを記録したい場合がある。このような場合、例えば、ビデオストリームを再エンコードしてビットレートを下げることが考えられる。
【０００６】
【発明が解決しようとする課題】
従来、このような場合、ビデオストリームとそれ以外のストリームを、同一の割合で、そのビットレートを低下させるようにしていた。
【０００７】
例えば、入力されたトランスポートストリームのビットレートを１／２にして出力するような場合、ビデオストリームのビットレートを１／２にするとともに、ビデオストリーム以外のストリームのビットレートも１／２にするようにしていた。その結果、特に、比較的データ量の少ないビデオストリーム以外の、例えば、オーディオのストリームに対する影響が大きくなり、音質が極端に劣化する課題があった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、ビデオストリーム以外のストリームの極端な劣化を抑制することができるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の記録装置は、多重化ストリームを入力する入力手段と、入力された前記多重化ストリームからビデオストリームを抽出する抽出手段と、抽出された前記ビデオストリームを再符号化する再符号化手段と、前記再符号化の際に、再符号化される前の前記ビデオストリームの画面の表示情報を生成する生成手段と、再符号化された前記ビデオストリーム及び前記画面の表示情報を出力する出力手段とを備え、前記出力手段は、再符号化された前記ビデオストリームを含むソースパケットストリームと前記画面の表示情報とを、それぞれ別ファイルとして記録媒体に出力する。
【００１０】
前記画面の表示情報は、再符号化される前の前記ビデオストリームのフレーム画面のアスペクト比であるようにすることができる。
【００１１】
前記多重化ストリームは、少なくともオーディオストリームを含み、前記再符号化手段により所定のビットレートで再符号化された前記ビデオストリームと、再符号化される前のビットレートの前記オーディオストリームとを再多重化する多重化手段をさらに備えるようにすることができる。
【００１２】
前記ビデオストリームの前記所定のビットレートは、所定の固定出力ビットレートから、前記ビデオストリーム以外のビットレートを減算したビットレートであるようにすることができる。
【００１３】
本発明の記録方法は、多重化ストリームを入力する入力ステップと、入力された前記多重化ストリームからビデオストリームを抽出する抽出ステップと、抽出された前記ビデオストリームを再符号化する再符号化ステップと、前記再符号化の際に、再符号化される前の前記ビデオストリームの画面の表示情報を生成する生成ステップと、再符号化された前記ビデオストリーム及び前記画面の表示情報を出力する出力ステップとを含み、前記出力ステップの処理は、再符号化された前記ビデオストリームを含むソースパケットストリームと前記画面の表示情報とを、それぞれ別ファイルとして記録媒体に出力する。
【００１４】
本発明の記録媒体のプログラムは、多重化ストリームを入力する入力ステップと、入力された前記多重化ストリームからビデオストリームを抽出する抽出ステップと、抽出された前記ビデオストリームを再符号化する再符号化ステップと、前記再符号化の際に、再符号化される前の前記ビデオストリームの画面の表示情報を生成する生成ステップと、再符号化された前記ビデオストリーム及び前記画面の表示情報を出力する出力ステップと、出力された、再符号化された前記ビデオストリームを含むソースパケットストリームと前記画面の表示情報とを、それぞれ別ファイルとして記録媒体に出力するステップとを含む。
【００１５】
本発明の記録装置および方法、並びに記録媒体のプログラムにおいては、多重化ストリームが入力され、入力された多重化ストリームからビデオストリームが抽出され、抽出されたビデオストリームが再符号化され、再符号化の際に、再符号化される前のビデオストリームの画面の表示情報が生成され、再符号化されたビデオストリーム及び画面の表示情報が出力され、出力された、再符号化されたビデオストリームを含むソースパケットストリームと画面の表示情報とが、それぞれ別ファイルとして記録媒体に出力される。
【００１６】
【発明の実施の形態】
以下に、本発明の実施の形態について、図面を参照して説明する。図１は、本発明を適用した記録装置１の一実施の形態の構成を示す図である。アンテナ（不図示）により受信されたトランスポートストリームは、セレクタ１０に入力される。セレクタ１０には、端子１１から、ユーザから指定される番組番号（チャンネル番号）も入力される。セレクタ１０は、番組番号に基づいて、入力されたトランスポートストリームから、指定された番組を抜き出し、パーシャルトランスポートストリームを出力する。パーシャルトランスポートストリームは、デマルチプレクサ１２と解析部１３に入力される。
【００１７】
デマルチプレクサ１２に入力されたトランスポートストリームは、ビデオストリームと、それ以外のストリーム（オーディオ、静止画、文字図形データ、マルチメディア符号化データなどのデータで構成されるストリーム）に分離する。分離されたビデオストリームは、デコーダ１４に、それ以外のストリームは、マルチプレクサ１６に、それぞれ出力される。デマルチプレクサ１２は、また、ビデオ以外のトランスポートパケットの他に、それらのトランスポートパケットの入力トランスポートストリームの中での出力タイミング情報も、マルチプレクサ１６に出力する。
【００１８】
デコーダ１４は、入力されたビデオストリームに対して、所定のデコード方式、例えば、MPEG２方式に基づきデコード処理を施し、ビデオデータをエンコーダ１５に出力する。また、デコーダ１４は、デコードする際に得られたビデオストリームのストリーム情報を、符号化コントローラ１８に出力する。
【００１９】
一方、解析部１３は、入力されたトランスポートストリームを解析することにより、ビデオ以外のストリームのストリーム情報、例えば、ビットレートなどの情報を取得し、符号化コントローラ１８に出力する。符号化コントローラ１８には、解析部１３から出力されたビデオ以外のストリームのストリーム情報、デコーダ１４から出力されたビデオストリーム情報、および、端子１９からストリームの記録ビットレートが入力される。符号化コントローラ１８は、これらのデータから、エンコーダ１５により行われるビデオデータのエンコードの条件を設定し、その設定された条件（符号化制御情報）をエンコーダ１５と符号化部２０に出力する。
【００２０】
符号化コントローラ１８は、例えば、ストリームの記録ビットレート（記録装置１の動作を制御する図示せぬ制御装置から端子１９を介して入力されるデータ）から、ビデオ以外のストリームのビットレートの合計値（解析部１３から入力されるデータ）を減算した値が、ビデオデータのエンコードに割り当てられるビットレートとし、そのビットレートで最適な画質となるように、ビットレート、画枠などの符号化制御情報を設定し、その設定した符号化制御情報を、エンコーダ１５と符号化部２０に出力する。この符号化制御情報の詳細については、図５乃至図１０を参照して後述する。
【００２１】
なお、このストリームの記録ビットレートは、記録媒体に固定レートで記録する場合、その固定レートとなり、可変ビットレートで記録する場合、所定時間当たりの平均ビットレートとなる。ただし、この場合の可変ビットレートの最大値は、記録媒体が保証する最大記録ビットレート以下である必要がある。
【００２２】
エンコーダ１５は、デコーダ１４から出力されたビデオデータを符号化コントローラ１８から出力された符号化制御情報に基づいて符号化し（例えば、MPEG２方式に基づき符号化し）、マルチプレクサ１６に出力する。マルチプレクサ１６は、エンコーダ１５からのビデオストリームと、デマルチプレクサ１２からのビデオ以外のトランスポートストリームパケットと、その出現タイミングの情報を入力するが、そのうちの出現タイミングの情報に基づいて、ビデオストリームとビデオ以外のトランスポートストリームパケットを多重化し、トランスポートストリームとして、アライバルタイムスタンプ付加部１７に出力する。
【００２３】
図２は、マルチプレクサ１６が行う、この場合の処理を模式的に表している。図２（Ａ）は、入力されたトランスポートストリームのパケットのタイミングを表している。この図において、灰色で示す部分はビデオパケットを示し、白色で示す部分はビデオ以外のストリームのパケットを示している。図２（Ａ）に示されるように、入力されたトランスポートストリームのパケットは連続しているが、エンコーダ１５により、ビデオデータが再エンコードされることにより、ビデオデータのデータ量が減少する。その結果、ビデオパケットの数が少なくなる。
【００２４】
マルチプレクサ１６は、図２（Ｂ）に示されるように、ビデオ以外のストリームのパケットのタイミングを変更せず、ビデオパケットのタイミングだけを元の状態（図２（Ａ）に示す状態）と異なるタイミングとする。
【００２５】
アライバルタイムスタンプ付加部１７は、図３に示されるように、入力されるトランスポートストリームのトランスポートストリームパケット（図３（Ａ））毎に、アライバルタイムスタンプを含むヘッダ（TP_extra_header）を付加してソースパケット（図３（Ｂ））を生成し、各ソースパケットを連続するように配置して（図３（Ｃ））書き込み部２１に出力する。アライバルタイムスタンプは、トランスポートストリームパケットがトランスポートストリームの中で出現するタイミングを表す情報である。書き込み部２１は、入力される連続したソースパケットからなるソースパケットストリームをファイル化し、記録媒体２２に記録する。なお、記録媒体２２は、どのような媒体のものでも良い。
【００２６】
書き込み部２１には、符号化部２０から出力される情報も入力される。符号化部２０は、符号化コントローラ１８からのビデオ符号化情報に基づいて、マルチメディア表示サブ情報を生成し、書き込み部２１に出力する。書き込み部２１に出力されるマルチメディア表示サブ情報は、ビデオストリームがトランスコードされる（デコーダ１４によりデコードされた後、再び、エンコーダ１５によりエンコードされる）ことにより、画枠サイズが変化したような場合でも、マルチメディアプレーン上でビデオの表示位置や表示サイズを、伝送側が意図した画面（再エンコードしなかった場合に表示されるであろう画面）と同じにするための情報であり、再生時に、マルチメディア符号化データと組み合わされて用いられる情報である。
【００２７】
ここで、具体的にマルチメディア表示サブ情報について説明する。図４に示すように、マルチメディア表示サブ情報は、ミスマッチフラグ（mismatch_MMinfo_flag）、再エンコードフラグ（Re_encoded_flag）、およびフレームサイズ変更フラグ（changd_frame_size_flag）の３つのフラグと、オリジナルの水平方向のサイズ（original_horizontal_size）とオリジナルの垂直方向のサイズ（original_vertical_size）をそれぞれ表す２つのサイズに関するデータ、並びにオリジナルの画面アスペクト比（original_display_aspect_ratio）により構成されている。
【００２８】
ミスマッチフラグは、ビデオとマルチメディア符号化データとの関係に不整合があるか否かを示すフラグである。再エンコードフラグは、記録時にビデオが再エンコードされているかどうかを示すフラグである。フレームサイズ変更フラグは、例えば、再エンコードされたことにより、ビデオの画枠が変更されたか否かを示すフラグである。オリジナルの水平方向のサイズは、再エンコードされる前の水平方向の画枠のサイズである。オリジナルの垂直方向のサイズは、再エンコードされる前の垂直方向の画枠のサイズである。オリジナルの画面アスペクト比は、再エンコードされる前のフレーム画面のアスペクト比を意味する。
【００２９】
なお、上述したマルチメディア表示サブ情報は、一例であり、図４に示した以外の情報を含めるようにしても良いし、また、逆に、図４に示した情報の一部を必要に応じ減らしても良い。
【００３０】
符号化部２０により作成され、出力されたマルチメディア表示サブ情報は、書き込み部２１により記録媒体２２に記録されるが、アライバルタイムスタンプ付加部１７から出力されるソースパケットストリームファイルとは別のファイルとして記録される。ソースパケットストリームファイルとは別のファイルとしてマルチメディア表示サブ情報が書き込み部２１により記録媒体２２に記録される場合、符号化部２０からは、ファイル化されたマルチメディア表示サブ情報が出力される。
【００３１】
上述した説明では、符号化コントローラ１８は、入力されたデータを基にビットレートや画枠などの情報を含む符号化制御情報を生成したが、他の符号化制御情報として、次に示すような情報を生成しても良い。すなわち、解析部１３により、入力されたトランスポートストリームを解析した結果、入力トランスポートストリームにマルチメディア符号化データが含まれていると解析された場合、符号化コントローラ１８は、エンコーダ１５によりエンコードが行われる際、元のビデオの画枠と同じサイズの画枠（再エンコードされる前の画枠）で再エンコードするよう指示する符号化制御情報を生成し、エンコーダ１５に対して出力するようにしても良い。
【００３２】
そのようにした場合、エンコーダ１５は、入力された符号化制御情報に基づいてデコーダ１４からのビデオデータを元のビデオストリームの画枠と同じ値で再エンコードする。このような符号化制御情報を生成し、その符号化制御情報に基づく再エンコードを行う場合、再エンコードにより画枠が変更されることがないため、再エンコードして得られるビデオストリームと、マルチメディア符号化データとの関係に不整合が発生するようなことを防ぐことができる。
【００３３】
次に、図５乃至図１０を参照して、符号化制御情報に基づく制御の例について説明する。
【００３４】
いま、例えば、図５に示されるように、セレクタ１０に入力されるトランスポートストリームは、一定のビットレートＲIを有しているものとする。ビデオストリームとビデオ以外のストリームは、それぞれ、可変ビットレートで符号化されている。図５の例の場合、単位時間（例えば、GOP）Ａにおいては、ビデオストリームのビットレートはＲVAとされ、ビデオ以外の単位時間のビットレートはＲOAとされている。そして、単位時間Ｂにおいては、ビデオストリームのビットレートがＲVBとされ、ビデオ以外のストリームのビットレートがＲOBとされ、単位時間Ｃにおいては、ビデオストリームのビットレートがＲVCとされ、ビデオ以外のストリームのビットレートがＲOCとされている。
【００３５】
いま、この図５に示されているようなトランスポートストリームを再エンコードし、図６に示されるように、固定のビットレートＳ（Ｓ＜ＲI）のトランスポートストリームとしてマルチプレクサ１６から出力するようにする場合、符号化コントローラ１８は、図７のフローチャートに示される処理を実行する。
【００３６】
最初に、ステップＳ１において、符号化コントローラ１８は、端子１９から、図示せぬ制御装置より入力される制御信号に基づいて、マルチプレクサ１６より出力するトランスポートストリームのビットレート（記録レート）をＳに設定する。次に、ステップＳ２において、符号化コントローラ１８は、ビデオ以外に記録するストリームを決定し、それらのストリームのビットレートの合計の最大値Ｄを計算する。
【００３７】
最大値Ｄは、入力トランスポートストリームのストリーム仕様から判断される。例えば、ビデオ以外に、２本のオーディオストリームを記録する場合、日本のディジタルBS放送のストリーム仕様では、オーディオストリーム１本のビットレートの最大値は３８４Kbpsであるから、最大値Ｄは、３８４ラ２Kbpsとなる。
【００３８】
次に、ステップＳ３において、符号化コントローラ１８は、ステップＳ１において設定された記録のためのビットレートＳから、ステップＳ２で計算された最大値Ｄを減算して得た値Ｃ（＝Ｓ−Ｄ）を、ビデオデータの再エンコードの割り当てビットレートとする。そして、ステップＳ４において、符号化コントローラ１８は、デコーダ１４より出力されるビデオストリーム情報から、ビデオストリームのビットレート、画角といった符号化情報を解析する。
【００３９】
次に、ステップＳ５に進み、符号化コントローラ１８は、ステップＳ３で計算された値Ｃと、ステップＳ４で解析されたビデオストリームの符号化情報に基づいて、最適な画質になるようにビデオの符号化パラメータ（ビデオ符号化制御情報）を決定する。
【００４０】
例えば、図６に示す例においては、値Ｓが、値ＲIの１／２とされている。いまの場合、ビデオ以外のストリームのビットレートは最大値Ｄとされ、この最大値Ｄが、そのまま、再符号化後の多重化ストリームのビデオ以外のストリームのビットレートとされる。
【００４１】
そして、（Ｓ−Ｄ）の範囲内において最適な画質になるように、ビデオの符号化パラメータが決定される。画枠が制御される場合、例えば、７２０ラ４８０画素の画枠の水平方向を１／２にサブサンプリングして、３６０ラ４８０画素とされる。決定された符号化パラメータ（ビットレートや画角など）は、ビデオ符号化制御情報としてエンコーダ１５に供給される。
【００４２】
そこで、エンコーダ１５は、ステップＳ６において、符号化コントローラ１８より供給されたビデオ符号化制御情報に基づいて、いま、処理対象とされている単位時間（いまの場合、単位時間Ａ）のビデオデータを再エンコードする。図６の例においては、単位時間Ａでは、実際には、ビットレートＲOAは、最大値Ｄより小さいが、最大値Ｄは固定値とされるので、ビデオの割り当てビットレートは（Ｓ−Ｄ）となる。最大値Ｄは固定とされるため、ビデオの符号化に使えない無駄な部分Ｒsaが発生するが、そこには、スタッフィングビットが挿入される。
【００４３】
次に、ステップＳ７に進み、符号化コントローラ１８は、再エンコードするストリームが終了したか否かを判定し、まだストリームが終了していない場合には、ステップＳ４に戻り、それ以降の処理を繰り返し実行する。
【００４４】
そして、ステップＳ７において、符号化するストリームが終了したと判定された場合、処理は終了される。
【００４５】
以上のようにして、図６の例においては、単位時間Ｂにおいても、ビデオ以外のストリームのビットレートはＤとされ、ビデオストリームの割り当てビットレートは、固定ビットレートなので、Ｓ−Ｄとされる。そして、値Ｒsb（＝Ｓ−（Ｓ−Ｄ）−ＲOB＝Ｄ−ＲOB）には、スタッフィングビットが挿入される。
【００４６】
単位時間Ｃにおいても、ビデオ以外のストリームのビットレートは、Ｄとされ、ビデオストリームの割り当てビットレートは、Ｓ−Ｄとされる。なお、この単位時間Ｃにおいては、Ｄ＝ＲOCであるので、スタッフィングビットは存在しない。
【００４７】
このように、図６の例においては、ビデオストリームが固定ビットレートで符号化される。
【００４８】
図８は、ビデオの再エンコードの割り当てビットレートを可変ビットレートとした場合の処理例を表している。最初に、ステップＳ２１において、符号化コントローラ１８は、端子１９からの入力に基づいて、記録レートＳを設定する。次に、ステップＳ２２において、符号化コントローラ１８は、デコーダ１４からのビデオストリーム情報に基づいて、ビデオストリームの符号化情報を解析する。以上のステップＳ２１とステップＳ２２の処理は、図７のステップＳ１とステップＳ４の処理と同様の処理である。
【００４９】
次に、ステップＳ２３において、符号化コントローラ１８は、解析部１３の出力からビデオ以外のストリームの時間単位毎の合計ビットレートＢを計算する。
【００５０】
次に、ステップＳ２４に進み、符号化コントローラ１８は、ステップＳ１で設定した値Ｓから、ステップＳ２３の処理で計算した値Ｂを減算して得た値Ｃ（＝Ｓ−Ｂ）をビデオの再エンコード割り当てビットレートとする。
【００５１】
さらに、ステップＳ２５において、符号化コントローラ１８は、ステップＳ２４において得られた値Ｃと、ステップＳ２２の処理で得られたビデオストリームの符号化情報の解析結果に基づいて、最適な画質になるように、ビデオの符号化パラメータを決定する。決定された符号化パラメータは、エンコーダ１５に出力される。
【００５２】
そして、ステップＳ２６において、エンコーダ１５は、ステップＳ２５の処理で決定された符号化パラメータに基づいて、現在の単位時間のビデオデータを再エンコードする。これにより、例えば、図９に示されるように、ビデオ以外の単位時間のビットレートとして、Ｒoa（＝ＲOA）が確保された後、（Ｓ−Ｒoa）で規定されるビットレートＲvaにビデオストリームのビットレートが設定される。
【００５３】
ステップＳ２７において、符号化コントローラ１８は、ストリームが終了したか否かを判定し、終了していない場合にはステップＳ２２に戻り、それ以降の処理を繰り返し実行する。ステップＳ２７において、ストリームが終了したと判定された場合、処理は終了される。
【００５４】
このようにしてに、単位時間Ｂにおいては、ビデオ以外のストリームのビットレートＲob（＝Ｓ−ＲOB）が確保された後、残りのＲvb（＝Ｓ−Ｒob）がビデオストリームのビットレートとされる。単位時間Ｃにおいては、ビデオ以外のストリームのビットレートＲocを除くＲｖｃ（＝Ｓ−ＲOC）にビデオストリームのビットレートが設定される。
【００５５】
このように、この処理例においては、ビデオストリームのビットレートが可変ビットレートされ、スタッフィングビットが必要なくなるか、その量を少なくすることができ、より効率的にビデオストリームを符号化することができる。
【００５６】
なお、以上においては、入力トランスポートストリームが固定ビットレートである場合を例としたが、例えば、図１０に示されるように、入力トランスポートストリームが可変ビットレートである場合にも、本発明を適用することが可能である。
【００５７】
以上のようにして、必要に応じて、より低いビットレートで、記録媒体２２に、より長時間のコンテンツに対応するトランスポートストリームを記録することが可能となる。
【００５８】
そして、オーディオデータ、静止画／文字図形データ、マルチメディア符号化データといった、ビデオ以外のデータの質が著しく劣化することを防止することができる。ビデオ以外のこれらのデータは、基本的に、ビデオデータに比べて、そのデータ量が少ないため、ビデオデータと同じ割合でビットレートを低下させると、相対的にビデオ以外のデータに対する影響は、ビデオデータに対する影響より大きくなるが、このような影響が出るのを防止することができる。
【００５９】
次に、記録媒体２２に記録されたソースパケットストリームファイルの再生について説明する。図１１は、本発明を適用した再生装置の一実施の形態の構成を示す図である。記録媒体２２に記録されているソースパケットストリームファイルは、読み出し部３１により読み出される。読み出し部３１は、ソースパケットストリームとは別ファイルとして記録媒体２２に記録されているマルチメディア表示サブ情報も読み出す。
【００６０】
読み出し部３１により読み出されたソースパケットストリームは、アライバルタイムスタンプ分離部３２に、マルチメディア表示サブ情報は、合成部３６に、それぞれ出力される。アライバルタイムスタンプ分離部３２は、基準クロックを内蔵しており、その基準クロックと、入力されたソースパケットストリームのソースパケットに付加されているアライバルタイムスタンプの値を比較し、両方の値が等しくなったときに、値が等しくなったアライバルタイムスタンプをもつソースパケットから、そのアライバルタイムスタンプを取り除き、トランスポートストリームパケットとして、デマルチプレクサ３３に出力する。
【００６１】
デマルチプレクサ３３は、入力されたトランスポートストリームをビデオオーディオストリーム、マルチメディア符号化データ、および、文字図形／文字／静止画などのデータのストリームに分離する。分離されたデータの内、ビデオオーディオストリームは、AVデコーダ３４に、マルチメディア符号化データは、合成部３６に、文字図形／文字／静止画などのデータのストリームは、文字図形／静止画デコーダ３５に、それぞれ出力される。
【００６２】
AVデコーダ３４は、入力されたビデオオーディオストリームをビデオデータとオーディオデータに分離し、それぞれをデコードした後、オーディオデータを図示されていないオーディオ再生装置に、ビデオデータを合成部３６に、それぞれ出力する。文字図形／静止画デコーダ３５は、入力された文字図形、文字、静止画などのデータのストリームをデコードし、デコードされた文字図形データ、文字データ、静止画データなどを合成部３６に出力する。
【００６３】
合成部３６には、AVデコーダ３４からのビデオデータ、デマルチプレクサ３３から出力されたマルチメディア符号化データ、文字図形／静止画デコーダ３５から出力された文字図形／文字／静止画などのデータ、および読み出し部３１により読み出されたマルチメディア表示サブ情報が入力される。合成部３６は、入力されたマルチメディア表示サブ情報のミスマッチフラグ（図４）を検査することにより、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じているか否かを判断する。
【００６４】
ミスマッチフラグが、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じていることを示している場合、合成部３６はさらに、マルチメディア表示サブ情報のオリジナルの水平方向のサイズとオリジナルの垂直方向のサイズを参照し、入力されたビデオ信号を、その参照したサイズのフレームで再生されるようにスケール変換する。そして、マルチメディア符号化データに基づいて、スケール変換されたビデオ信号と他の文字図形データなどをマルチメディアプレーン上に合成したビデオ信号を、表示デバイスとしてのテレビジョン受像機（不図示）などに出力する。
【００６５】
一方、マルチメディア表示サブ情報のミスマッチフラグが、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じていないということを示している場合、合成部３６は、入力ビデオ信号のスケールを変更することなしに、他のデータとマルチメディアプレーン上に合成し、出力する。
【００６６】
このように、マルチメディア表示サブ情報を記録時に記録し、再生時に用いることにより、送信側が意図した画面が受信側で表示される。図１２を参照して説明するに、送信側（記録側）で、再エンコードされたために、元のビデオの画枠よりも小さめの画枠に変更されてしまったとしても、マルチメディア表示サブ情報として、そのことを記録しておき、再生時に、その記録されたマルチメディア表示サブ情報を参照することにより、受信側（再生側）においては、ビデオと他のデータに不整合が生じることなく再エンコードしなかった場合に得られる画面が得られる。
【００６７】
上述したように、マルチメディア表示サブ情報は、文字図形データやビデオ信号を含むソースパケットストリームファイルとは別のファイルとして記録媒体２２に記録するようにしても良いが、ソースパケットストリームファイルに埋め込んで記録媒体２２に記録するようにしても良い。ソースパケットストリームファイルにマルチメディア表示サブ情報を埋め込んで記録するようにした場合の記録装置１の構成を図１３に示す。
【００６８】
図１３に示した記録装置１の構成を、図１に示した記録装置１の構成と比較するに、図１３に示した記録装置１では、符号化部２０から出力されたマルチメディア表示サブ情報は、マルチプレクサ１６に出力されるようになっている。マルチプレクサ１６では、入力されたマルチメディア表示サブ情報をトランスポートパケットを作成してソースパケットストリームファイルに埋め込み、アライバルタイムスタンプ付加部１７に出力する。マルチメディア表示サブ情報をトランスポートパケットとしてソースパケットストリームファイルに埋め込むのではなく、MPEGビデオストリームのユーザデータ領域に書き込むようにしても良い。
【００６９】
なお、本実施の形態においては、ビデオデータを再エンコードする方法は、このような方法に限らず、入力されたビデオストリームをDCT領域上で変換して画枠などの符号化パラメータを変換するようにしても良い。
【００７０】
このようにしてソースパケットストリームファイルにマルチメディア表示サブ情報を埋め込み、記録媒体２２に記録するようにした場合の再生装置３０の構成を図１４に示す。図１４に示した再生装置３０の構成を、図１１に示した再生装置３０の構成と比較するに、図１４に示した再生装置３０の構成では、読み出し部３１により読み出されるのは、ソースパケットストリームだけである。そして、読み出し部３１により読み出されたソースパケットストリームはアライバルタイムスタンプ分離部３２を介してデマルチプレクサ３３に入力される。
【００７１】
デマルチプレクサ３３は、入力されたソースパケットストリームファイルから、マルチメディア表示サブ情報を取り出し、合成部３６に出力する。その他の構成は図３における場合と同様である。
【００７２】
このように、ソースパケットストリームファイルにマルチメディア表示サブ情報を含めて記憶させるようにした場合も、伝送側が意図したビデオの画枠のサイズや表示位置が、受信側において得られるようになる。
【００７３】
なお、本実施の形態においては、トランスポートストリームの場合を説明したが、本発明は、これに限らず、プログラムストリームなどの多重化ストリームなどにも適用することが可能である。
【００７４】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、記録装置１（図示は省略するが、再生装置３０も同様である）は、図１５に示されるようなパーソナルコンピュータにより構成される。
【００７５】
図１５において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記憶されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００７６】
CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【００７７】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、CRT、LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、ネットワークを介しての通信処理を行う。
【００７８】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク１２１、光ディスク１２２、光磁気ディスク１２３、或いは半導体メモリ１２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【００７９】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００８０】
この記録媒体は、図１５に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１２１（フロッピディスクを含む）、光ディスク１２２（CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）を含む）、光磁気ディスク１２３（MD（Mini-Disk）を含む）、若しくは半導体メモリ１２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM１０２や記憶部１０８が含まれるハードディスクなどで構成される。
【００８１】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８２】
【発明の効果】
以上のごとく、本発明の記録装置および方法、並びに記録媒体のプログラムによれば、多重化ストリームが入力され、入力された多重化ストリームからビデオストリームが抽出され、抽出されたビデオストリームが再符号化され、再符号化の際に、再符号化される前のビデオストリームの画面の表示情報が生成され、再符号化されたビデオストリーム及び画面の表示情報が出力され、出力された、再符号化されたビデオストリームを含むソースパケットストリームと画面の表示情報とが、それぞれ別ファイルとして記録媒体に出力されるようにしたので、ビデオストリームを再生するとき、再符号化される前の画面と同じ大きさの画面で再生することが可能になる。
【図面の簡単な説明】
【図１】本発明を適用した記録装置の一実施の形態の構成を示す図である。
【図２】図１のマルチプレクサの動作を説明する図である。
【図３】図１のアライバルタイムスタンプ付加部の処理を説明する図である。
【図４】マルチメディア表示サブ情報について説明する図である。
【図５】入力トランスポートストリームを説明する図である。
【図６】図５のビデオストリームを再エンコードした後のトランスポートストリームの例を示す図である。
【図７】図１の記録装置における記録レートの制御処理を説明するフローチャートである。
【図８】図１の記録装置における他の記録レートの制御処理を説明するフローチャートである。
【図９】ビデオストリームを再エンコードした後のトランスポートストリームの他の例を示す図である。
【図１０】入力トランスポートストリームの他の例を示す図である。
【図１１】本発明を適用した再生装置の一実施の形態の構成を示す図である。
【図１２】マルチメディア表示サブ情報を追加した場合の表示画面について説明する図である。
【図１３】本発明を適用した記録装置の他の構成を示す図である。
【図１４】本発明を適用した再生装置の他の構成を示す図である。
【図１５】媒体を説明する図である。
【符号の説明】
１  記録装置，  １１  端子，  １２  デマルチプレクサ，  １３  解析部，１４  デコーダ，  １５  エンコーダ，  １６  マルチプレクサ，  １７  アライバルタイムスタンプ付加部，  １８  符号化コントローラ，  １９  端子，２０  符号化部，  ２１  書き込み部，  ２２  記録媒体，  ３０  再生装置，  ３１  読み出し部，  ３２  アライバルタイムスタンプ分離部，  ３３  デマルチプレクサ，  ３４  AVデコーダ，  ３５  文字図形／静止画デコーダ，  ３６  合成部
【図１】
0004724919.tif 000002
【図２】
0004724919.tif 000003
【図３】
0004724919.tif 000004
【図４】
0004724919.tif 000005
【図５】
0004724919.tif 000006
【図６】
0004724919.tif 000007
【図７】
0004724919.tif 000008
【図８】
0004724919.tif 000009
【図９】
0004724919.tif 000010
【図１０】
0004724919.tif 000011
【図１１】
0004724919.tif 000012
【図１２】
0004724919.tif 000013
【図１３】
0004724919.tif 000014
【図１４】
0004724919.tif 000015
【図１５】
0004724919.tif 000016