"多重化ストリームを入力する入力手段と、前記入力手段により入力された前記多重化ストリームからビデオストリームを分離する分離手段と、前記入力手段により入力された前記多重化ストリームにマルチメディア符号化データが含まれているか否かを判断する判断手段と、前記判断手段により前記多重化ストリームにマルチメディア符号化データが含まれていると判断された場合、前記分離手段により分離された前記ビデオストリームの表示フォーマットを変更しないことを指示する符号化制御情報を生成する生成手段と、前記生成手段により生成された前記符号化制御情報に基づいて、前記分離手段により分離されたビデオストリームに所定の変換を施す変換手段と、前記変換手段により変換された前記ビデオストリームを含む多重化ストリームを生成する多重化手段とを備える画像符号化装置。前記生成手段は、画枠、ビデオフォーマット、またはアスペクト比を変更しないことを指示する符号化制御情報を生成する請求項1に記載の画像符号化装置。多重化ストリームを入力する入力ステップと、前記入力ステップの処理により入力された前記多重化ストリームからビデオストリームを分離する分離ステップと、前記入力ステップの処理により入力された前記多重化ストリームにマルチメディア符号化データが含まれているか否かを判断する判断ステップと、前記判断ステップの処理により前記多重化ストリームにマルチメディア符号化データが含まれていると判断された場合、前記分離ステップの処理により分離された前記ビデオストリームの表示フォーマットを変更しないことを指示する符号化制御情報を生成する生成ステップと、前記生成ステップの処理により生成された前記符号化制御情報に基づいて、前記分離ステップの処理により分離されたビデオストリームに所定の変換を施す変換ステップと、前記変換ステップの処理により変換された前記ビデオストリームを含む多重化ストリームを生成する多重化ステップとを含む画像符号化方法。前記生成ステップの処理は、画枠、ビデオフォーマット、またはアスペクト比を変更しないことを指示する符号化制御情報を生成する請求項3に記載の画像符号化方法。コンピュータに、多重化ストリームを入力する入力ステップと、前記入力ステップの処理により入力された前記多重化ストリームからビデオストリームを分離する分離ステップと、前記入力ステップの処理により入力された前記多重化ストリームにマルチメディア符号化データが含まれているか否かを判断する判断ステップと、前記判断ステップの処理により前記多重化ストリームにマルチメディア符号化データが含まれていると判断された場合、前記分離ステップの処理により分離された前記ビデオストリームの表示フォーマットを変更しないことを指示する符号化制御情報を生成する生成ステップと、前記生成ステップの処理により生成された前記符号化制御情報に基づいて、前記分離ステップの処理により分離されたビデオストリームに所定の変換を施す変換ステップと、前記変換ステップの処理により変換された前記ビデオストリームを含む多重化ストリームを生成する多重化ステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。ビデオストリームの表示フォーマットを変更しないことを指示する符号化制御情報と、前記符号化制御情報に基づいて所定の変換が施されたビデオストリームを含む多重化ストリームとが記録されている記録媒体。デジタルテレビジョン放送により放送されたトランスポートストリームのテレビジョンプログラムを、受信側でそのまま記録媒体などに記録すれば、画質や音声の品質を全く劣化させずに記録することが可能である。画質が劣化することを前提とし、限られた容量の記録媒体にできる限り長い時間のプログラムを記録する場合、受信されたビデオストリームを一度デコードした後、再エンコードすることによりビットレートを下げるといった処理が必要となる。例えば、マルチメディア符号化データが付加されたテレビジョンプログラムのビデオストリームを、ビットレートを下げて記録するために再エンコードするとき、画像をサブサンプリングして画枠を変更することが考えられる。ところが、その際に、再エンコードして得られたビデオストリームとマルチメディア符号化データの関係に不整合が発生する場合があるといった課題があった。その不整合の例について図2を参照して説明する。図2Aに示した例では、送信側記録側において、再エンコード時に、元のビデオの画枠よりも小さい画枠への変換処理が行われている。その為に、図2Bに示したように、受信側再生側においては、ビデオの表示サイズや表示位置が変わってしまい、送信側が意図した表示画面再エンコードする前のデータで表示される表示画面とは異なった表示画面となってしまうといった課題があった。本発明はこのような状況に鑑みてなされたものであり、記録側においては、再エンコードしてビデオストリームを記録しても、不整合が発生しないような情報を生成し、その情報も合わせて記録するようにする。また、再生側においては、その情報を参照して再生することにより、画枠が小さくなるなどの不整合が発生しないようにすることを目的とする。本発明の画像符号化装置は、多重化ストリームを入力する入力手段と、入力手段により入力された多重化ストリームからビデオストリームを分離する分離手段と、入力手段により入力された多重化ストリームにマルチメディア符号化データが含まれているか否かを判断する判断手段と、判断手段により多重化ストリームにマルチメディア符号化データが含まれていると判断された場合、分離手段により分離されたビデオストリームの表示フォーマットを変更しないことを指示する符号化制御情報を生成する生成手段と、生成手段により生成された符号化制御情報に基づいて、分離手段により分離されたビデオストリームに所定の変換を施す変換手段と、変換手段により変換されたビデオストリームを含む多重化ストリームを生成する多重化手段とを備える。前記生成手段は、画枠、ビデオフォーマット、またはアスペクト比を変更しないことを指示する符号化制御情報を生成することができる。本発明の画像符号化方法は、多重化ストリームを入力する入力ステップと、入力ステップの処理により入力された多重化ストリームからビデオストリームを分離する分離ステップと、入力ステップの処理により入力された多重化ストリームにマルチメディア符号化データが含まれているか否かを判断する判断ステップと、判断ステップの処理により多重化ストリームにマルチメディア符号化データが含まれていると判断された場合、分離ステップの処理により分離されたビデオストリームの表示フォーマットを変更しないことを指示する符号化制御情報を生成する生成ステップと、生成ステップの処理により生成された符号化制御情報に基づいて、分離ステップの処理により分離されたビデオストリームに所定の変換を施す変換ステップと、変換ステップの処理により変換されたビデオストリームを含む多重化ストリームを生成する多重化ステップとを含む。前記生成ステップの処理は、画枠、ビデオフォーマット、またはアスペクト比を変更しないことを指示する符号化制御情報を生成することができる。本発明の記録媒体のプログラムは、コンピュータに、多重化ストリームを入力する入力ステップと、入力ステップの処理により入力された多重化ストリームからビデオストリームを分離する分離ステップと、入力ステップの処理により入力された多重化ストリームにマルチメディア符号化データが含まれているか否かを判断する判断ステップと、判断ステップの処理により多重化ストリームにマルチメディア符号化データが含まれていると判断された場合、分離ステップの処理により分離されたビデオストリームの表示フォーマットを変更しないことを指示する符号化制御情報を生成する生成ステップと、生成ステップの処理により生成された符号化制御情報に基づいて、分離ステップの処理により分離されたビデオストリームに所定の変換を施す変換ステップと、変換ステップの処理により変換されたビデオストリームを含む多重化ストリームを生成する多重化ステップとを実行させるためのものである。本発明の記録媒体は、ビデオストリームの表示フォーマットを変更しないことを指示する符号化制御情報と、符号化制御情報に基づいて所定の変換が施されたビデオストリームを含む多重化ストリームとが記録されている。本発明においては、入力された多重化ストリームからビデオストリームが分離され、入力された多重化ストリームにマルチメディア符号化データが含まれているか否かが判断され、多重化ストリームにマルチメディア符号化データが含まれていると判断された場合、分離されたビデオストリームの表示フォーマットを変更しないことを指示する符号化制御情報が生成され、生成された符号化制御情報に基づいて、分離されたビデオストリームに所定の変換が施される。本発明によれば、再生側において、ビデオストリームとマルチメディア符号化データの間に不整合が生じるようなことを防ぐことができる。以下に、本発明の実施の形態について、図面を参照して説明する。図3は、本発明を適用した記録装置1の一実施の形態の構成を示す図である。アンテナ等不図示により受信されたトランスポートストリームは、セレクタ10に入力される。セレクタ10には、端子11から、ユーザから指定される番組番号チャンネル番号も入力される。セレクタ10は、番組番号に基づいて、入力されたトランスポートストリームから、指定された番組を抜き出し、パーシャルトランスポートストリームを出力する。パーシャルトランスポートストリームは、デマルチプレクサ12と解析部13に入力される。デマルチプレクサ12に入力されたトランスポートストリームは、ビデオストリームと、それ以外のストリームオーディオ、静止画、文字図形データ、マルチメディア符号化データなどのデータで構成されるストリームに分離される。分離されたビデオストリームは、デコーダ14に出力される。また、それ以外のストリームは、マルチプレクサ16に出力される。デマルチプレクサ12は、ビデオ以外のトランスポートパケットの他に、それらのトランスポートパケットの入力トランスポートストリームの中での出力タイミング情報も、マルチプレクサ16に出力する。デコーダ14は、入力されたビデオストリームに対して、所定のデコード方式、例えば、MPEG2方式に基づきデコード処理を施し、ビデオデータをエンコーダ15に出力する。また、デコーダ14は、デコードする際に得られたビデオストリームのストリーム情報を、符号化コントローラ18に出力する。一方、解析部13は、入力されたトランスポートストリームを解析することにより、ビデオ以外のストリームのストリーム情報、例えば、ビットレートなどの情報を取得し、符号化コントローラ18に出力する。符号化コントローラ18には、解析部13から出力されたビデオ以外のストリームのストリーム情報、デコーダ14から出力されたビデオストリーム情報、および、端子19からストリームの記録ビットレートが入力される。符号化コントローラ18は、これらのデータから、エンコーダ15により行われるビデオデータのエンコードの条件を設定し、その設定された条件符号化制御情報をエンコーダ15と符号化部20に出力する。符号化コントローラ18は、例えば、ストリームの記録ビットレート記録装置1の動作を制御する図示せぬ制御装置から端子19を介して入力されるデータから、ビデオ以外のストリームのビットレートの合計値解析部13から入力されるデータを減算した値が、ビデオデータのエンコードに割り当てられるビットレートとし、そのビットレートで最適な画質となるように、ビットレート、画枠などの符号化制御情報を設定し、その設定した符号化制御情報を、エンコーダ15と符号化部20に出力する。この符号化制御情報の詳細については、図15乃至図20を参照して後述する。なお、このストリームの記録ビットレートは、記録媒体に固定レートで記録する場合、その固定レートとなり、可変ビットレートで記録する場合、所定時間当たりの平均ビットレートとなる。ただし、この場合の可変ビットレートの最大値は、記録媒体が保証する最大記録ビットレート以下である必要がある。エンコーダ15は、デコーダ14から出力されたビデオデータを符号化コントローラ18から出力された符号化制御情報に基づいて符号化し例えば、MPEG2方式に基づき符号化し、マルチプレクサ16に出力する。マルチプレクサ16は、エンコーダ15からのビデオストリームと、デマルチプレクサ12からのビデオ以外のトランスポートストリームパケットと、当該ビデオ以外のトランスポートストリームパケットの出現タイミングの情報を入力するが、そのうちの出現タイミングの情報に基づいて、ビデオストリームとビデオ以外のトランスポートストリームパケットを多重化し、トランスポートストリームとして、アライバルタイムスタンプ付加部17に出力する。図4は、マルチプレクサ16が行う、この場合の処理を模式的に表している。図4Aは、入力されたトランスポートストリームのパケットのタイミングを表している。この図において、灰色で示す部分はビデオパケットを示し、白色で示す部分はビデオ以外のストリームのパケットを示している。図4Aに示されるように、入力されたトランスポートストリームのパケットは連続しているが、エンコーダ15により、ビデオデータが再エンコードされることにより、ビデオデータのデータ量が減少する。その結果、ビデオパケットの数が少なくなる。マルチプレクサ16は、図4Bに示されるように、ビデオ以外のストリームのパケットのタイミングを変更せず、ビデオパケットのタイミングだけを元の状態図4Aに示す状態と異なるタイミングとする。アライバルタイムスタンプ付加部17は、図5に示されるように、入力されるトランスポートストリームのトランスポートストリームパケット図5A毎に、アライバルタイムスタンプを含むヘッダTPextraheaderを付加してソースパケット図5Bを生成し、各ソースパケットを連続するように配置して図5C書き込み部21に出力する。アライバルタイムスタンプは、トランスポートストリームパケットがトランスポートストリームの中で出現するタイミングを表す情報である。書き込み部21は、入力される連続したソースパケットからなるソースパケットストリームをファイル化し、記録媒体22に記録する。なお、記録媒体22は、どのような媒体のものでも良い。書き込み部21には、符号化部20から出力される情報も入力される。符号化部20は、符号化コントローラ18からのビデオ符号化情報に基づいて、マルチメディア表示サブ情報を生成し、書き込み部21に出力する。書き込み部21に出力されるマルチメディア表示サブ情報は、ビデオストリームがトランスコードされるデコーダ14によりデコードされた後、再び、エンコーダ15によりエンコードされることにより、画枠サイズが変化したような場合でも、マルチメディアプレーン上でビデオの表示位置や表示サイズを、伝送側が意図した画面再エンコードしなかった場合に表示されるであろう画面と同じにするための情報であり、再生時に、マルチメディア符号化データと組み合わされて用いられる情報である。ここで、具体的にマルチメディア表示サブ情報について説明する。図6に示すように、マルチメディア表示サブ情報は、ミスマッチフラグmismatchMMinfoflag、再エンコードフラグReencodedflag、およびフレームサイズ変更フラグchangdframesizeflagの3つのフラグと、オリジナルの水平方向のサイズoriginalhorizontalsizeとオリジナルの垂直方向のサイズoriginalverticalsizeをそれぞれ表す2つのサイズに関するデータ、並びにオリジナルの画面アスペクト比originaldisplayaspectratioにより構成されている。ミスマッチフラグは、ビデオとマルチメディア符号化データとの関係に不整合があるか否かを示すフラグである。再エンコードフラグは、記録時にビデオが再エンコードされているかどうかを示すフラグである。フレームサイズ変更フラグは、例えば、再エンコードされたことにより、ビデオの画枠が変更されたか否かを示すフラグである。オリジナルの水平方向のサイズは、再エンコードされる前の水平方向の画枠のサイズである。オリジナルの垂直方向のサイズは、再エンコードされる前の垂直方向の画枠のサイズである。オリジナルの画面アスペクト比は、再エンコードされる前のフレーム画面のアスペクト比を意味する。なお、上述したマルチメディア表示サブ情報は、一例であり、図6に示した以外の情報を含めるようにしても良いし、また、逆に、図6に示した情報の一部を必要に応じ減らしても良い。マルチメディア表示サブ情報の別の例を説明する。この例では、マルチメディア表示サブ情報は、図7に示すシンタクスのProgramInfoの中にストアされる。ProgramInfoのシンタクスの中で、本発明に関係するフィールドについて説明する。lengthは、このlengthフィールドの直後のバイトからProgramInfoの最後のバイトまでのバイト数を示す。numofprogramsequencesは、AVストリームファイルの中にあるprogramsequenceの数を示す。AVストリームファイルの中で本フォーマットが規定するところのプログラム内容が一定であるソースパケット列を、programsequenceと呼ぶ。SPNprogramsequencestartは、AVストリームファイル上でprogramsequenceが開始するアドレスを示す。SPNprogramsequencestartは、ソースパケット番号を単位とする大きさであり、AVストリームファイルの最初のソースパケットから、ゼロを初期値としてカウントされる。programmapPIDは、そのprogramsequenceに適用できるPMTを持つトランスポートパケットのPIDの値である。numofstreamsinpsは、そのprogramsequenceの中で定義されるエレメンタリーストリームの数を示す。streamPIDは、そのprogramsequenceのprogrammapPIDが参照するところのPMTの中で定義されているエレメンタリーストリームのに対するPIDの値を示す。StreamCodingInfoは、上記streamPIDで指されるエレメンタリーストリームの情報を示す。図8は、StreamCodingInfoのシンタクスを示す。lengthは、このlengthフィールドの直後のバイトからStreamCodingInfoの最後のバイトまでのバイト数を示す。streamcodingtypeは、このStreamCodingInfoに対応するstreamPIDで指されるエレメンタリーストリームの符号化タイプを示す。値の意味を図9に示す。streamcodingtypeの値が、0x02の場合、streamPIDで指されるエレメンタリーストリームがビデオストリームであることを示す。また、streamcodingtypeの値が、0x0A0x0B0x0Cまたは0x0Dの場合、streamPIDで指されるエレメンタリーストリームがマルチメディア符号化データであることを示す。また、streamcodingtypeの値が、0x06の場合、streamPIDで指されるエレメンタリーストリームが字幕やテレテキストであることを示す。videoformatは、このStreamCodingInfoに対応するstreamPIDで指されるビデオストリームのビデオフォーマットを示す。値の意味を図10に示す。480iは、NTSCのスタンダードTV720画素×480ラインのインタレースフレームのビデオ表示である。また、576iは、PALのスタンダードTV720画素×576ラインのインタレースフレームのビデオ表示である。また、480pは、720画素×480ラインのプログレッシブフレームのビデオ表示である。また、1080iは、1920画素×1080ラインのインタレースフレームのビデオ表示である。また、720pは、1280画素×720ラインのプログレッシブフレームのビデオ表示である。framerateは、このStreamCodingInfoに対応するstreamPIDで指されるビデオストリームのフレームレートを示す。値の意味を図11に示す。displayaspectratioは、このStreamCodingInfoに対応するstreamPIDで指されるビデオストリームのディスプレイアスペクトレシオを示す。値の意味を図12に示す。originalvideoformatflagは、このStreamCodingInfoの中にoriginalvideoformatとoriginaldisplayaspectratioが存在するかを示すフラグである。originalvideoformatは、このStreamCodingInfoに対応するstreamPIDで指されるビデオストリームが符号化される前のオリジナルのビデオフォーマットである。値の意味は、図10と同じである。originaldisplayaspectratioは、このStreamCodingInfoに対応するstreamPIDで指されるビデオストリームが符号化される前のオリジナルのディスプレイアスペクトレシオである。値の意味は、図12と同じである。ビデオストリームと共にマルチメディアデータストリームBMLストリーム字幕などが多重化されているトランスポートストリームをトランスコーディングする場合において、ビデオストリームは再エンコードされることによって、そのビデオフォーマットが変化し例えば、1080iから480iへ変化する、一方、マルチメディアデータストリームはオリジナルのストリームのままの内容を保つ場合を考える。この時、新しいビデオストリームとマルチメディアデータストリームの間に情報のミスマッチが生じる場合がある。例えば、マルチメディアデータストリームの表示に関するパラメータは、オリジナルのビデオストリームのビデオフォーマットを想定して決められているにもかかわらず、ビデオストリームの再エンコードによって、そのビデオフォーマットが変化した場合である。オリジナルのビデオストリームのビデオフォーマットは、videoformatとdisplayaspectratioにより示される。また、再エンコード後のビデオストリームのビデオフォーマットは、originalvideoformatとoriginaldisplayaspectratioにより示される。videoformatとoriginalvideoformatの値が違い、または/および、displayaspectratioとoriginaldisplayaspectratioの値が違う場合、記録時にビデオの再エンコードによって、ビデオフォーマットが変更されたことを示す。また、streamcodingtypeがマルチメディア符号化データや字幕を示すstreamPIDがProgramInfoに含まれる場合、AVストリームファイルトランスポートストリームの中にマルチメディアデータが多重化されていることを示す。そして、ProgramInfoが、記録時にビデオの再エンコードによって、ビデオフォーマットが変更されたことを示し、かつ、AVストリームファイルの中にマルチメディアデータが多重化されていることが示す時、AVストリームファイルのビデオストリーム再エンコードしたものとマルチメディアデータオリジナルのものとの間に表示のミスマッチがあると判断する。このような場合、originalvideoformatとoriginaldisplayaspectratioの、オリジナルのビデオストリームに関する情報が有効となる。再生装置は、上記の新しいビデオストリームとマルチメディアデータストリームから次のようにして、表示画像をつくる。ビデオストリームは、originalvideoformatとoriginaldisplayaspectratioで示されるビデオフォーマットにアップサンプリングされる。そのアップサンプリングされた画像とマルチメディアデータストリームが合成されて、正しい表示画像をつくる。符号化部20により作成され、出力されたマルチメディア表示サブ情報は、書き込み部21により記録媒体22に記録されるが、アライバルタイムスタンプ付加部17から出力されるソースパケットストリームファイルとは別のファイルとして記録される。ソースパケットストリームファイルとは別のファイルとしてマルチメディア表示サブ情報が書き込み部21により記録媒体22に記録される場合、符号化部20からは、ファイル化されたマルチメディア表示サブ情報が出力される。図13に、AVストリームとマルチメディア表示サブ情報の符号化処理のフローチャートを示す。ステップ50で、記録装置1にマルチメディア符号化データを含む多重化ストリームの入力する。ステップ51で、デマルチプレクサ12が多重化ストリームからビデオストリームを分離する。ステップ52で、エンコーダ15がデコーダ14でデコードされたビデオストリームを再エンコードする。ステップ53で、マルチプレクサ16が上記ビデオストリームとマルチメディア符号化データを多重化して、多重化ストリームを作成する。ステップ54で、符号化部20がマルチメディア表示サブ情報の作成する。上述した説明では、符号化コントローラ18は、入力されたデータを基にビットレートや画枠などの情報を含む符号化制御情報を生成したが、他の符号化制御情報として、次に示すような情報を生成しても良い。すなわち、解析部13により、入力されたトランスポートストリームを解析した結果、入力トランスポートストリームにマルチメディア符号化データが含まれていると解析された場合、符号化コントローラ18は、エンコーダ15によりエンコードが行われる際、元のビデオの画枠と同じサイズの画枠再エンコードされる前の画枠で再エンコードするよう指示する符号化制御情報を生成し、エンコーダ15に対して出力するようにしても良い。そのようにした場合、エンコーダ15は、入力された符号化制御情報に基づいてデコーダ14からのビデオデータを元のビデオストリームの画枠と同じ値で再エンコードする。このような符号化制御情報を生成し、その符号化制御情報に基づく再エンコードを行う場合、再エンコードにより画枠が変更されることがないため、再エンコードして得られるビデオストリームと、マルチメディア符号化データとの関係に不整合が発生するようなことを防ぐことができる。または、符号化コントローラ18が生成する符号化制御情報として、次に示すような情報を生成しても良い。すなわち、解析部13により、入力されたトランスポートストリームを解析した結果、入力トランスポートストリームにマルチメディア符号化データが含まれていると解析された場合、符号化コントローラ18は、エンコーダ15によりエンコードが行われる際、元のビデオのビデオフォーマット図10で示すものと画面アスペクト比図12で示すものと同じ条件で再エンコードするよう指示する符号化制御情報を生成し、エンコーダ15に対して出力するようにしても良い。そのようにした場合、エンコーダ15は、入力された符号化制御情報に基づいてデコーダ14からのビデオデータを元のビデオのビデオフォーマット図10で示すものと画面アスペクト比図12で示すものと同じ条件で再エンコードする。このような符号化制御情報を生成し、その符号化制御情報に基づく再エンコードを行う場合、再エンコードによりビデオフォーマットおよび画面アスペクト比が変更されることがないため、再エンコードして得られるビデオストリームと、マルチメディア符号化データとの関係に不整合が発生するようなことを防ぐことができる。図14に、マルチメディア符号化データを含む多重化ストリームのビデオの再エンコードに制限をかける場合の符号化処理のフローチャートを示す。ステップ70で、記録装置1へ多重化ストリームを入力する。ステップ70で、デマルチプレクサ12が多重化ストリームからビデオストリームを分離する。ステップ70で、解析部13はマルチメディア符号化データが含まれるかを調べる。マルチメディア符号化データが含まれる場合、ビデオストリームをビデオの表示フォーマットを変えないように再エンコードするように符号化制御情報をエンコーダ15へ指示する。エンコーダ15はその制御情報に基づいて、ビデオストリームを再エンコードする。ステップ70で、マルチプレクサ16は上記ビデオストリームを含む多重化ストリームを作成する。次に、図15乃至図20を参照して、符号化制御情報に基づく制御の例について説明する。いま、例えば、図15に示されるように、セレクタ10に入力されるトランスポートストリームは、一定のビットレートRIを有しているものとする。ビデオストリームとビデオ以外のストリームは、それぞれ、可変ビットレートで符号化されている。図15の例の場合、単位時間例えば、GOPAにおいては、ビデオストリームのビットレートはRVAとされ、ビデオ以外の単位時間のビットレートはROAとされている。そして、単位時間Bにおいては、ビデオストリームのビットレートがRVBとされ、ビデオ以外のストリームのビットレートがROBとされ、単位時間Cにおいては、ビデオストリームのビットレートがRVCとされ、ビデオ以外のストリームのビットレートがROCとされている。いま、この図15に示されているようなトランスポートストリームを再エンコードし、図16に示されるように、固定のビットレートSS<RIのトランスポートストリームとしてマルチプレクサ16から出力するようにする場合、符号化コントローラ18は、図17のフローチャートに示される処理を実行する。最初に、ステップS1において、符号化コントローラ18は、端子19から、図示せぬ制御装置より入力される制御信号に基づいて、マルチプレクサ16より出力するトランスポートストリームのビットレート記録レートをSに設定する。次に、ステップS2において、符号化コントローラ18は、ビデオ以外に記録するストリームを決定し、それらのストリームのビットレートの合計の最大値Dを計算する。最大値Dは、入力トランスポートストリームのストリーム仕様から判断される。例えば、ビデオ以外に、2本のオーディオストリームを記録する場合、日本のデジタルBS放送のストリーム仕様では、オーディオストリーム1本のビットレートの最大値は384Kbpsであるから、最大値Dは、384×2Kbpsとなる。次に、ステップS3において、符号化コントローラ18は、ステップS1において設定された記録のためのビットレートSから、ステップS2で計算された最大値Dを減算して得た値C=S-Dを、ビデオデータの再エンコードの割り当てビットレートとする。そして、ステップS4において、符号化コントローラ18は、デコーダ14より出力されるビデオストリーム情報から、ビデオストリームのビットレート、画枠といった符号化情報を解析する。次に、ステップS5に進み、符号化コントローラ18は、ステップS3で計算された値Cと、ステップS4で解析されたビデオストリームの符号化情報に基づいて、最適な画質になるようにビデオの符号化パラメータビデオ符号化制御情報を決定する。例えば、図16に示す例においては、値Sが、値RIの1/2とされている。いまの場合、ビデオ以外のストリームのビットレートは最大値Dとされ、この最大値Dが、そのまま、再符号化後の多重化ストリームのビデオ以外のストリームのビットレートとされる。そして、S-Dの範囲内において最適な画質になるように、ビデオの符号化パラメータが決定される。画枠が制御される場合、例えば、720×480画素の画枠の水平方向を1/2にサブサンプリングして、360×480画素とされる。決定された符号化パラメータビットレートや画角などは、ビデオ符号化制御情報としてエンコーダ15に供給される。そこで、エンコーダ15は、ステップS6において、符号化コントローラ18より供給されたビデオ符号化制御情報に基づいて、いま、処理対象とされている単位時間いまの場合、単位時間Aのビデオデータを再エンコードする。図16の例においては、単位時間Aでは、実際には、ビットレートROAは、最大値Dより小さいが、最大値Dは固定値とされるので、ビデオの割り当てビットレートはS-Dとなる。最大値Dは固定とされるため、ビデオの符号化に使えない無駄な部分Rsaが発生するが、そこには、スタッフィングビットが挿入される。次に、ステップS7に進み、符号化コントローラ18は、再エンコードするストリームが終了したか否かを判定し、まだストリームが終了していない場合には、ステップS4に戻り、それ以降の処理を繰り返し実行する。そして、ステップS7において、符号化するストリームが終了したと判定された場合、処理は終了される。以上のようにして、図16の例においては、単位時間Bにおいても、ビデオ以外のストリームのビットレートはDとされ、ビデオストリームの割り当てビットレートは、固定ビットレートなので、S-Dとされる。そして、値Rsb=S-S-D-ROB=D-ROBには、スタッフィングビットが挿入される。単位時間Cにおいても、ビデオ以外のストリームのビットレートは、Dとされ、ビデオストリームの割り当てビットレートは、S-Dとされる。なお、この単位時間Cにおいては、D=ROCであるので、スタッフィングビットは存在しない。このように、図16の例においては、ビデオストリームが固定ビットレートで符号化される。図18は、ビデオの再エンコードの割り当てビットレートを可変ビットレートとした場合の処理例を表している。最初に、ステップS21において、符号化コントローラ18は、端子19からの入力に基づいて、記録レートSを設定する。次に、ステップS22において、符号化コントローラ18は、デコーダ14からのビデオストリーム情報に基づいて、ビデオストリームの符号化情報を解析する。以上のステップS21とステップS22の処理は、図17のステップS1とステップS4の処理と同様の処理である。次に、ステップS23において、符号化コントローラ18は、解析部13の出力からビデオ以外のストリームの時間単位毎の合計ビットレートBを計算する。次に、ステップS24に進み、符号化コントローラ18は、ステップS1で設定した値Sから、ステップS23の処理で計算した値Bを減算して得た値C=S-Bをビデオの再エンコード割り当てビットレートとする。さらに、ステップS25において、符号化コントローラ18は、ステップS24において得られた値Cと、ステップS22の処理で得られたビデオストリームの符号化情報の解析結果に基づいて、最適な画質になるように、ビデオの符号化パラメータを決定する。決定された符号化パラメータは、エンコーダ15に出力される。そして、ステップS26において、エンコーダ15は、ステップS25の処理で決定された符号化パラメータに基づいて、現在の単位時間のビデオデータを再エンコードする。これにより、例えば、図19に示されるように、ビデオ以外の単位時間のビットレートとして、Roa=ROAが確保された後、S-Roaで規定されるビットレートRvaにビデオストリームのビットレートが設定される。ステップS27において、符号化コントローラ18は、ストリームが終了したか否かを判定し、終了していない場合にはステップS22に戻り、それ以降の処理を繰り返し実行する。ステップS27において、ストリームが終了したと判定された場合、処理は終了される。このようにして、単位時間Bにおいては、ビデオ以外のストリームのビットレートRob=S-ROBが確保された後、残りのRvb=S-Robがビデオストリームのビットレートとされる。単位時間Cにおいては、ビデオ以外のストリームのビットレートRocを除くRvc=S-ROCにビデオストリームのビットレートが設定される。このように、この処理例においては、ビデオストリームのビットレートが可変ビットレートされ、スタッフィングビットが必要なくなるか、その量を少なくすることができ、より効率的にビデオストリームを符号化することができる。なお、以上においては、入力トランスポートストリームが固定ビットレートである場合を例としたが、例えば、図20に示されるように、入力トランスポートストリームが可変ビットレートである場合にも、本発明を適用することが可能である。以上のようにして、必要に応じて、より低いビットレートで、記録媒体22に、より長時間のコンテンツに対応するトランスポートストリームを記録することが可能となる。そして、オーディオデータ、静止画/文字図形データ、マルチメディア符号化データといった、ビデオ以外のデータの質が著しく劣化することを防止することができる。ビデオ以外のこれらのデータは、基本的に、ビデオデータに比べて、そのデータ量が少ないため、ビデオデータと同じ割合でビットレートを低下させると、相対的にビデオ以外のデータに対する影響は、ビデオデータに対する影響より大きくなるが、このような影響が出るのを防止することができる。次に、記録媒体22に記録されたソースパケットストリームファイルの再生について説明する。図21は、本発明を適用した再生装置の一実施の形態の構成を示す図である。記録媒体22に記録されているソースパケットストリームファイルは、読み出し部31により読み出される。読み出し部31は、ソースパケットストリームとは別ファイルとして記録媒体22に記録されているマルチメディア表示サブ情報も読み出す。読み出し部31により読み出されたソースパケットストリームは、アライバルタイムスタンプ分離部32に、マルチメディア表示サブ情報は、合成部36に、それぞれ出力される。アライバルタイムスタンプ分離部32は、基準クロックを内蔵しており、その基準クロックと、入力されたソースパケットストリームのソースパケットに付加されているアライバルタイムスタンプの値を比較し、両方の値が等しくなったときに、値が等しくなったアライバルタイムスタンプをもつソースパケットから、そのアライバルタイムスタンプを取り除き、トランスポートストリームパケットとして、デマルチプレクサ33に出力する。デマルチプレクサ33は、入力されたトランスポートストリームをビデオオーディオストリーム、マルチメディア符号化データ、および、文字図形/文字/静止画などのデータのストリームに分離する。分離されたデータの内、ビデオオーディオストリームは、AVデコーダ34に、マルチメディア符号化データは、合成部36に、文字図形/文字/静止画などのデータのストリームは、文字図形/静止画デコーダ35に、それぞれ出力される。AVデコーダ34は、入力されたビデオオーディオストリームをビデオデータとオーディオデータに分離し、それぞれをデコードした後、オーディオデータを図示されていないオーディオ再生装置に、ビデオデータを合成部36に、それぞれ出力する。文字図形/静止画デコーダ35は、入力された文字図形、文字、静止画などのデータのストリームをデコードし、デコードされた文字図形データ、文字データ、静止画データなどを合成部36に出力する。合成部36には、AVデコーダ34からのビデオデータ、デマルチプレクサ33から出力されたマルチメディア符号化データ、文字図形/静止画デコーダ35から出力された文字図形/文字/静止画などのデータ、および読み出し部31により読み出されたマルチメディア表示サブ情報が入力される。合成部36は、入力されたマルチメディア表示サブ情報のミスマッチフラグ図6を検査することにより、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じているか否かを判断する。または、合成部36は、図8のvideoformatとoriginalvideoformatの値が違い、または/および、displayaspectratioとoriginaldisplayaspectratioの値が違う場合、記録時にビデオの再エンコードによって、ビデオフォーマットが変更されたことを判断し、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じていることを判断する。videoformatとoriginalvideoformatの値が同じであり、かつ、displayaspectratioとoriginaldisplayaspectratioの値が同じである場合、入力ビデオ信号とマルチメディア符号化データとの関係にミスマッチはないと判断する。入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じていることを示している場合、合成部36はさらに、マルチメディア表示サブ情報のオリジナルの水平方向のサイズとオリジナルの垂直方向のサイズを参照するか、または、originalvideoformatとoriginaldisplayaspectratioを参照する。そして、入力されたビデオ信号を、その参照したサイズのフレームで表示されるようにスケール変換する。そして、マルチメディア符号化データに基づいて、スケール変換されたビデオ信号と他の文字図形データなどをマルチメディアプレーン上に合成したビデオ信号を、表示デバイスとしてのテレビジョン受像機不図示などに出力する。一方、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じていないということを示している場合、合成部36は、入力ビデオ信号のスケールを変更することなしに、他のデータとマルチメディアプレーン上に合成し、出力する。このように、マルチメディア表示サブ情報を記録時に記録し、再生時に用いることにより、送信側が意図した画面が受信側で表示される。図22を参照して説明するに、送信側記録側で、再エンコードされたために、元のビデオの画枠よりも小さめの画枠に変更されてしまったとしても、マルチメディア表示サブ情報として、そのことを記録しておき、再生時に、その記録されたマルチメディア表示サブ情報を参照することにより、受信側再生側においては、ビデオと他のデータに不整合が生じることなく再エンコードしなかった場合に得られる画面が得られる。図24にマルチメディア表示サブ情報を使用するAVストリームの再生処理のフローチャートを示す。ステップ60で、マルチメディア符号化データを含む多重化ストリームを記録媒体から読み出し再生装置に入力する。ステップ61で、マルチメディア表示サブ情報の入力する。この情報は、図21の再生装置の場合は、記録媒体から読み出され、図25の再生装置の場合は、多重化ストリームから分離する。ステップ62で、多重化ストリームからビデオストリームを分離する。ステップ63で、ビデオストリームをデコードする。ステップ64で、ビデオとマルチメディア符号化データの間に表示のミスマッチがある場合、合成部36はビデオをマルチメディア表示サブ情報に基づいてスケール変換処理する。ステップ65で、合成部36は上記処理した画像とマルチメディアデータを合成して表示画像を作成する。上述したように、マルチメディア表示サブ情報は、文字図形データやビデオ信号を含むソースパケットストリームファイルとは別のファイルとして記録媒体22に記録するようにしても良いが、ソースパケットストリームファイルに埋め込んで記録媒体22に記録するようにしても良い。ソースパケットストリームファイルにマルチメディア表示サブ情報を埋め込んで記録するようにした場合の記録装置1の構成を図23に示す。図23に示した記録装置1の構成を、図3に示した記録装置1の構成と比較するに、図23に示した記録装置1では、符号化部20から出力されたマルチメディア表示サブ情報は、マルチプレクサ16に出力されるようになっている。マルチプレクサ16では、入力されたマルチメディア表示サブ情報をトランスポートパケットを作成してソースパケットストリームファイルに埋め込み、アライバルタイムスタンプ付加部17に出力する。マルチメディア表示サブ情報をトランスポートパケットとしてソースパケットストリームファイルに埋め込むのではなく、MPEGビデオストリームのユーザデータ領域に書き込むようにしても良い。なお、本実施の形態においては、ビデオデータを再エンコードする方法は、このような方法に限らず、入力されたビデオストリームをDCT領域上で変換して画枠などの符号化パラメータを変換するようにしても良い。このようにしてソースパケットストリームファイルにマルチメディア表示サブ情報を埋め込み、記録媒体22に記録するようにした場合の再生装置30の構成を図25に示す。図25に示した再生装置30の構成を、図21に示した再生装置30の構成と比較するに、図25に示した再生装置30の構成では、読み出し部31により読み出されるのは、ソースパケットストリームだけである。そして、読み出し部31により読み出されたソースパケットストリームはアライバルタイムスタンプ分離部32を介してデマルチプレクサ33に入力される。デマルチプレクサ33は、入力されたソースパケットストリームファイルから、マルチメディア表示サブ情報を取り出し、合成部36に出力する。その他の構成は図5における場合と同様である。このように、ソースパケットストリームファイルにマルチメディア表示サブ情報を含めて記憶させるようにした場合も、伝送側が意図したビデオの画枠のサイズや表示位置が、受信側において得られるようになる。なお、本実施の形態においては、トランスポートストリームの場合を説明したが、本発明は、これに限らず、プログラムストリームなどの多重化ストリームなどにも適用することが可能である。上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、例えば、記録装置1図示は省略するが、再生装置30も同様であるは、図26に示されるようなパーソナルコンピュータにより構成される。図26において、CPUCentralProcessingUnit101は、ROMReadOnlyMemory102に記憶されているプログラム、または記憶部108からRAMRandomAccessMemory103にロードされたプログラムに従って各種の処理を実行する。RAM103にはまた、CPU101が各種の処理を実行する上において必要なデータなども適宜記憶される。CPU101、ROM102、およびRAM103は、バス104を介して相互に接続されている。このバス104にはまた、入出力インタフェース105も接続されている。入出力インタフェース105には、キーボード、マウスなどよりなる入力部106、CRT、LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部107、ハードディスクなどより構成される記憶部108、モデム、ターミナルアダプタなどより構成される通信部109が接続されている。通信部109は、ネットワークを介しての通信処理を行う。入出力インタフェース105にはまた、必要に応じてドライブ110が接続され、磁気ディスク121、光ディスク122、光磁気ディスク123、或いは半導体メモリ124などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部108にインストールされる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この記録媒体は、図26に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク121フロッピディスクを含む、光ディスク122CDROMCompactDiskReadOnlyMemory,DVDDigitalVersatileDiskを含む、光磁気ディスク123MDMiniDiskを含む、若しくは半導体メモリ124などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM102や記憶部108が含まれるハードディスクなどで構成される。なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。"