(57)【特許請求の範囲】
【請求項１】
一連の関連付けられた内容を有する各タイトルを構成する動画像データ（Ｓｔ１）、オーディオデータ（Ｓｔ３）、及び副映像データ（Ｓｔ２）の情報を搬送するソースストリームを編集単位（ＶＯＢ）を所定数（Ｍ）で分割して連続的に配列された択一再生区間を有するビットストリーム（Ｓｔ３５）を生成するオーサリングシステムにおいて、
該ソースストリーム（Ｓｔ１、Ｓｔ２、及びＳｔ３）の内容を編集単位（ＶＯＢ）で提示する手段（２００、１１０、及び１０６）と、
該提示された編集単位（ＶＯＢ）に対して編集指示データ（ＶＴＢＬ、ＡＴＢＬ）を生成する手段（１０２Ｒ）と、
該編集指示データ（ＶＴＢＬ、ＡＴＢＬ）を検証して、該編集指示データ（ＶＴＢＬ、ＡＴＢＬ）が適正な場合は該編集データ（ＶＴＢＬ、ＡＴＢＬ）を出力し、該編集指示データ（ＶＴＢＬ、ＡＴＢＬ）が不適正な場合はエラー信号（Ｓｔ３０２）を生成する検証手段（１０８Ｒ）と、
該出力された編集指示データ（ＶＴＢＬ、ＡＴＢＬ）に基づいて該ソースストリームをエレメンタリエンコードするパラメータ（Ｓｔ６）を生成する手段を有することを特徴とするオーサリングエンコーダ（ＥＣ）。
【請求項２】
請求の範囲１に記載のオーサリングエンコーダ（ＥＣ）であって、前記編集指示指示データ（ＶＴＢＬ、ＡＴＢＬ）は映像管理情報（ＶＴＢＬ）と音声管理情報（ＡＴＢＬ）からなることを特徴とするもの。
【請求項３】
請求の範囲２に記載のオーサリングエンコーダ（ＥＣ）であって、前記エラー信号（Ｓｔ３０２）に基づいて該映像情報（ＶＴＢＬ）と音声情報（ＡＴＢＬ）の何れが不適正であるかを表示するエラー情報表示手段（１０４）を更に有することを特徴とするもの。
【請求項４】
請求の範囲２に記載のオーサリングエンコーダ（ＥＣ）であって、前記映像情報（ＶＴＢＬ）に基づいて、前記択一再生区間がパレンタルロック区間とマルチアングル区間の何れであるかを判断する区間判定手段（Ｓ３）を有することを特徴とするもの。
【請求項５】
請求の範囲４に記載のオーサリングエンコーダ（ＥＣ）であって、前記検証手段（１０８Ｒ）は、前記択一再生区間がパレンタルロック区間の場合には、所定分割数（Ｍ）が第一の所定数（Ｍmin）より大きく第二の所定数（Ｍmax）より小さい場合には適正と判断し、否の場合は不適正と判断することを特徴とするもの。
【請求項６】
請求の範囲５に記載のオーサリングエンコーダ（ＥＣ）であって、
前記第一の所定数（Ｍmin）は、Ｍmin≧ＶＯＢMaxTime/ＪＭＴ、ＶＯＢMaxTimeは前記択一再生区間に属する前記動画像データ（Ｓｔ１）の最長時間、ＪＭＴは該ビットストリームを再生する手段の最大ジャンプ時間、で求められ、
前記第二の所定数（Ｍmax）は、Ｍmax≦ＶＯＢMinTime/（ＪＴ＋(ILUM/BitRate)）、ＶＯＢMinTimeは前記択一再生区間に属する前記動画像データ（Ｓｔ１）の最単時間、ＪＴは該再生手段のジャンプ所用時間、ILUMはインターリーブユニットのデータ量、BitRateは該再生手段のトラックバッファへの転送レート、で求められることを特徴とするもの。
【請求項７】
請求の範囲５に記載のオーサリングエンコーダ（ＥＣ）であって、前記検証手段（１０８Ｒ）は、前記択一再生区間がマルチアングル区間の場合には、択一再生区間に属する前記動画像データ（Ｓｔ１）のそれぞれのＧＯＰ構造が等しい場合には適正と判断し、否の場合は不適正と判断することを特徴とするもの。
【請求項８】
一連の関連付けられた内容を有する各タイトルを構成する動画像データ（Ｓｔ１）、オーディオデータ（Ｓｔ３）、及び副映像データ（Ｓｔ２）の情報を搬送するソースストリームを編集単位（ＶＯＢ）を所定数（Ｍ）で分割して連続的に配列された択一再生区間を有するビットストリーム（Ｓｔ３５）を生成するビットストリーム生成方法であって、
該ソースストリーム（Ｓｔ１、Ｓｔ２、及びＳｔ３）の内容を編集単位（ＶＯＢ）で提示するステップ（＃１００）と、
該提示された編集単位（ＶＯＢ）に対して編集指示データ（ＶＴＢＬ、ＡＴＢＬ）を生成する手段（＃２００）と、
該編集指示データ（ＶＴＢＬ、ＡＴＢＬ）を検証して、該編集指示データ（ＶＴＢＬ、ＡＴＢＬ）が適正な場合は該編集指示データ（ＶＴＢＬ、ＡＴＢＬ）を出力し、該編集指示データ（ＶＴＢＬ、ＡＴＢＬ）が不適正な場合はエラー信号（Ｓｔ３０２）を生成する検証ステップ（Ｓ５、Ｓ７）と、
該出力された編集指示データ（ＶＴＢＬ、ＡＴＢＬ）に基づいて該ソースストリームをエレメンタリエンコードするパラメータ（Ｓｔ６）を生成するステップ（＃２２００）とを有することを特徴とする方法。
【請求項９】
請求の範囲８に記載のビットストリーム生成方法であって、前記編集指示データ（ＶＴＢＬ、ＡＴＢＬ）は映像情報（ＶＴＢＬ）と音声情報（ＡＴＢＬ）からなることを特徴とする方法。
【請求項１０】
請求の範囲９に記載のビットストリーム生成方法であって、前記エラー信号（Ｓｔ３０２）に基づいて該映像情報（ＶＴＢＬ）と音声情報（ＡＴＢＬ）の何れが不適正であるかを表示するエラー情報表示ステップを更に有することを特徴とする方法。
【請求項１１】
請求の範囲９に記載のビットストリーム生成方法であって、前記映像情報（ＶＴＢＬ）に基づいて、前記択一再生区間がパレンタルロック区間とマルチアングル区間の何れであるかを判断する区間判定ステップ（Ｓ３）を有することを特徴とする方法。
【請求項１２】
請求の範囲１１に記載のビットストリーム生成方法であって、更に、前記択一再生区間がパレンタルロック区間の場合には、前記所定分割数（Ｍ）が第一の所定数（Ｍmin）より大きく第二の所定数（Ｍmax）より小さい場合には適正と判断し、否の場合は不適正と判断するステップ（Ｓ５）を有することを特徴とする方法。
【請求項１３】
請求の範囲１２に記載のビットストリーム生成方法であって、前記第一の所定数（Ｍmin）は、Ｍmin≧ＶＯＢMaxTime/ＪＭＴ、ＶＯＢMaxTimeは前記択一再生区間に属する前記動画像データ（Ｓｔ１）の最長時間、ＪＭＴは該ビットストリームを再生する手段の最大ジャンプ時間、で求められ、
前記第二の所定数（Ｍmax）は、Ｍmax≦ＶＯＢMinTime/（ＪＴ＋(ILUM/BitRate)）、ＶＯＢMinTimeは前記択一再生区間に属する前記動画像データ（Ｓｔ１）の最単時間、ＪＴは該再生手段のジャンプ所用時間、ILUMはインターリーブユニットのデータ量、BitRateは該再生手段のトラックバッファへの転送レート、で求められることを特徴とする方法。
【請求項１４】
請求の範囲１１に記載のビットストリーム生成方法であって、更に、前記択一再生区間がマルチアングル区間の場合には、択一再生区間に属する前記動画像データ（Ｓｔ１）のそれぞれのＧＯＰ構造が等しい場合には適正と判断し、否の場合は不適正と判断するステップ（Ｓ７）を有することを特徴とするもの。
【請求項１５】
一連の関連付けられた内容を有する各タイトルを構成する動画像データ（Ｓｔ１）、オーディオデータ（Ｓｔ３）、及び副映像データ（Ｓｔ２）の情報を搬送するソースストリームを編集単位（ＶＯＢ）を所定数（Ｍ）で分割して連続的に配列された択一再生区間を有するビットストリーム（Ｓｔ３５）が記録された光ディスク媒体（Ｍ）の製造方法であって、
該ソースストリーム（Ｓｔ１、Ｓｔ２、及びＳｔ３）の内容を編集単位（ＶＯＢ）で提示するステップ（＃１００）と、
該提示された編集単位（ＶＯＢ）に対して編集指示データ（ＶＴＢＬ、ＡＴＢＬ）を生成する手段（＃２００）と、
該編集指示データ（ＶＴＢＬ、ＡＴＢＬ）を検証して、該編集指示データ（ＶＴＢＬ、ＡＴＢＬ）が適正な場合は該編集指示データ（ＶＴＢＬ、ＡＴＢＬ）を出力し、該編集指示データ（ＶＴＢＬ、ＡＴＢＬ）が不適正な場合はエラー信号（Ｓｔ３０２）を生成する検証ステップ（Ｓ５、Ｓ７）と、
該出力された編集指示データ（ＶＴＢＬ、ＡＴＢＬ）に基づいて該ソースストリームをエレメンタリエンコードするパラメータ（Ｓｔ６）を生成するステップ（＃２２００）と、
該エンコードされた該編集指示データ（ＶＴＢＬ、ＡＴＢＬ）に基づいて、エンコードパラメータを生成するステップ（＃１８００）と、
該生成されたエンコードパラメータに基づいて、該ソースデータをエンコードするステップ（＃２１００）と、
該エンコードされたソースデータを該光ディスク媒体（Ｍ）の記録面に従いフォーマットするステップ（＃２３００）と、
該フォーマットされ且つエンコードされたソースデータを該光ディスク媒体（Ｍ）の記録面に記録するステップを有することを特徴とする方法。
【請求項１６】
請求の範囲１５に記載の光ディスク媒体（Ｍ）の製造方法であって、
更に前記編集指示データ（ＶＴＢＬ）に基づいて、前記択一再生区間がマルチアングル区間であるか否かを判断する区間判定ステップ（Ｓ３）と、
前記択一再生区間がマルチアングル区間の場合には、択一再生区間に属する前記動画像データ（Ｓｔ１）のそれぞれのＧＯＰ構造が等しい場合にのみ、該フォーマットされ且つエンコードされたソースデータを該光ディスク媒体（Ｍ）の記録面に記録するステップを有することを特徴とする方法。
【請求項１７】
ディスクに格納するビットストリームを生成するオーサリングシステムであって、該ビットストリームは映像情報と音声情報を有する１つ以上のビデオオブジェクト（ＶＯＢ）を有し、かつ、該ビデオオブジェクトのいずれかは複数のビデオオブジェクト（ＶＯＢ）から１つのビデオオブジェクト（ＶＯＢ）が択一的に再生されるビデオオブジェクト（ＶＯＢ）であり、該オーサリングシステムは、
該ビデオオブジェクトのエンコード条件情報と、択一的に再生される前記ビデオオブジェクトの選択情報を受け付ける受付手段と、
該エンコード条件情報と前記選択情報を保持する保持手段と、
該記選択情報と前記エンコード条件情報を参照し、択一的に再生される該ビデオオブジェクトの該エンコード条件情報が適切か否かを検証する検証手段と、
択一的に再生される前記ビデオオブジェクトの前記エンコード条件情報が適切な場合のみ、前記エンコード条件情報に従い前記ビデオオブジェクトをエンコードするエンコード手段とを
有することを特徴とするオーサリングシステム。
【請求項１８】
請求の範囲１７に記載のオーサリングシステムであって、更に、択一的に再生される前記ビデオオブジェクトの前記エンコード条件情報が適切で無い場合は、不適切な旨を外部にフィードバックするフィードバック手段を有することを特徴とするオーサリングシステム。
【請求項１９】
請求の範囲１７に記載のオーサリングシステムであって、
択一的に再生されるビデオオブジェクトは互いにインターリーブされて前記ディスクに配され、
前記ディスクのディスク再生装置は、前記ディスクから読み出されたデータを映像表示を行うデコーダに転送する前に一時蓄積するトラックバッファを有し、
前記検証手段は、前記エンコード条件情報により形成される前記インターリーブ区間が、その再生の際、前記トラックバッファをオーバーフローする場合、または、前記トラックバッファをアンダーフローする場合は、適切でないと検証する事を特徴とするオーサリングシステム。
【請求項２０】
請求の範囲１９に記載のオーサリングシステムであって、
前記検証手段は、択一的に再生される前記ビデオオブジェクトのインターリーブ区間への分割数（Ｍ）が第一の所定数よりも大きければ前記トラックバッファがアンダーフローすると判定し、該分割数（Ｍ）が第二の所定数よりも小さければ前記トラックバッファがオーバーフローすると判定することを特徴とするオーサリングシステム。
【発明の詳細な説明】
技術分野
本発明は、一連の関連付けられた内容を有する各タイトルを構成する動画像データ、オーディオデータ、副映像データの情報を搬送するビットストリームに様々な処理を施して、ユーザーの要望に応じた内容を有するタイトルを構成するべくビットストリームを生成し、その生成されたビットストリームを所定の記録媒体に効率的に記録し、そのように生成されたビットストリームから更にユーザー要望に応じたタイトル内容を再生するオーサリングシステムに関する。更に、詳述すれば、互いに関連づけられた音声情報、動画情報から構成されるマルチメディアストリームを生成する生成方法と、マルチメディアストリームをディジタルデータとして格納するマルチメディア光ディスクのオーサリングシステムに関するものである。
背景技術
近年、アナログ映像やビデオＣＤ等を利用したシステムに於いて、動画像、音声、及び副映像などのマルチメディアデータをデジタル処理して、一連の関連付けられた内容を有するタイトルを構成するオーサリングシステムが実用化されている。このような音声情報及び動画情報等から構成されるマルチメディアストリームとしてはＭＰＥＧ形式のデータがある。ＭＰＥＧ形式のデータの記録媒体としてはビデオＣＤがあり、そのオーサリングシステムはワークステーションをベースとするものがある。ビデオＣＤを用いたシステムに於いては、約６００Ｍバイトの記憶容量を持ち本来ディジタルオーディオの記録用であったＣＤ媒体上に、ＭＰＥＧ形式の高圧縮率の動画像圧縮手法におり、動画像データの記録を実現している。
このようなオーサリングシステムにおいては、先ず動画情報をエレメンタリエンコードし、音声情報をエレメンタリエンコードして、これらのエレメンタリエンコードされたデータを更にシステムエンコードすることによりＭＰＥＧストリームを生成する。次に、ユーザの要望、つまりシナリオに応じた内容を具現する為にＭＰＥＧストリームの再生順路の再生順序である再生経路を決定する。このシナリオ情報とＭＰＥＧストリームが重畳されたデータを、ＣＤ媒体のディスクイメージに変換して、ＣＤ媒体に記録してマスターディスクを作成する。ブレス等の適切な方法を用いて、マスターディスクから配布用のディスクを複製生産する。
近年、ビデオＣＤに比べて大容量なＤＶＤと呼ばれる光ディスク記録媒体が登場した。ＤＶＤでは長時間の動画の格納が可能であり、これを生かした従来にない魅力的な機能として、映像データの択一的な再生機能が実現されている。択一的な再生とは、複数の映像データを所定の区間に分割して光ディスクに多重に配列した区間を形成し、ディスク再生装置はこの多重に配列された区間をスキップ再生しながら、多重に入れた映像データの内指定された映像データのみを再生する事により行う。この多重配列区間を択一的映像再生区間と称する。
択一的な再生機能の応用例としては、視聴制限情報により再生映像を選択的に再生するパレンタルロック再生がある。具体的には、映画等に於ける暴力シーンの表示・非表示の選択的再生を可能にするものである。択一的再生機能の別の応用例としては、異なるアングルの映像を選択的に再生するマルチアングル再生がある。具体例としては、野球中継に於いて、バッター視線、ピッチャー視線、或いは外野席視線から得られた画像というように、再生画像の撮像アングルを任意に切り替える選択的再生を可能にするものである。
択一的映像再生区間はスキップ再生されるため、これに属するビデオデータは、エンコード条件や、その組合せについての多岐に渡る制限事項を満足しなければならない。しかし、従来のビデオＣＤ等のオーサリングシステムの工程では、全てのＭＰＥＧデータは原則、同じ条件で生成されるため、この工程をこのまま応用したのでは、前記制限事項を満足しない映像データにより、欠陥を有する択一的映像再生区間が作成されてしまう。このような欠陥択一的映像再生区間を有するディスクは、再生時に、ディスク再生装置に対して誤動作等を生じさる。
つまり、マスタディスクの完成後に再生するまでは、択一映像再生区間の欠陥を検出できない。このため、タイトル制作者は再度マスタディスクをエンコードの工程からオーサリングしなおす必要があり、負担が極めて大きい。この負担の大きさはＭＰＥＧ２のエンコードの場合、特に深刻である。一般的に、ＭＰＥＧ１に比べて、遙かに高品質の映像および音声ストリームを提供できるＭＰＥＧ２エンコードには、その再生時間の少なくとも２倍の時間を要する。なぜならば、ＭＰＥＧ２に於ける映像画質は、エンコード時に指定するビットレート等のパラメータや、用いるフィルタにより画質が左右される。そのため、エンコードした画質をチェックしてＭＰＥＧ２の提供し得る画質になるように、再度パラメータを調整して最終的なエンコードを施す２パスエンコードを行うからである。このように、択一的な映像再生区間を有するマルチメディアストリームを生成するためには非常に多くの労力を必要とするという問題点がある。
また、ＭＰＥＧ２では、ＭＰＥＧ１と多少異なる圧縮方式、データ形式が採用されている。ＭＰＥＧ１とＭＰＥＧ２の内容及びその違いについては、ＩＳＯ１１１７２、及びＩＳＯ１３８１８のＭＰＥＧ規格書に詳述されているので説明を省く。ＭＰＥＧ２に於いても、ビデオエンコードストリームの構造に付いては規定しているが、システムストリームの階層構造及び下位の階層レベルの処理方法を明らかにされていない。
本願は、上記問題に鑑み、択一的な映像再生区間を有するマルチメディアストリームを効率良く生成するための生成方法とそのオーサリングシステムを提供をする事を目的とする。
発明の開示
一連の関連付けられた内容を有する各タイトルを構成する動画像データ、オーディオデータ、副映像データの情報を搬送するソースストリームに様々な処理を施して、ユーザーの要望に応じた内容を有するタイトルを構成するべくビットストリームを生成するオーサリングシステムにおいて、該ソースストリームの内容を編集単位で提示する手段と、該提示された編集単位（ＶＯＢ）に対して編集指示データを生成する手段とを有することを特徴とするオーサリングシステム。
【図面の簡単な説明】
図１は、マルチメディアビットストリームのデータ構造を示す模式図であり、
図２は、図３８に示した編集情報作成部を組み込んだオーサリングエンコーダの構造を示すブロック図であり、
図３は、本発明に係るＤＶＤオーサリングデコーダの構造を示すブロック図であり、
図４は、マルチレイティッドタイトルストリームの一例を示す模式図であり、
図５は、本発明にかかるビットストリームの一部であり、ＶＴＳのデータ構造を示す模式図であり、
図６は、システムストリームの詳細なデータ構造を示す模式図であり、
図７は、システムストリームのパックデータ構造を示す模式図であり、
図８は、本発明に係るナブパックＮＶのデータ構造を示す模式図であり、
図９は、本発明に係るＤＶＤシステムに於けるマルチシーン制御のシナリオ例を示す模式図であり、
図１０は、マルチアングル制御に於けるシステムストリームの接続を示す模式図であり、
図１１は、マルチシーン制御に対応するＶＯＢの例を示す模式図であり、
図１２は、本発明に係る、ＤＶＤオーサリングエンコーダの構造を示すブロック図であり、
図１３は、本発明に係るＶＯＢセットデータ列の構造を示す模式図であり、
図１４は、本発明に係るＶＯＢデータ列の構造を示す模式図であり、
図１５は、本発明に係るエンコードパラメータの構造を示す模式図であり、
図１６は、本発明に係るＤＶＤマルチシーン制御に於けるプログラムチェーン構成例を示す模式図であり、
図１７は、本発明に係るＤＶＤマルチシーン制御に於けるＶＯＢの構成例を示す模式図であり、
図１８は、本発明に係るナブパックＮＶのサーチ情報のデータ構造例を示す模式図であり、
図１９は、マルチアングル制御の概念を示す模式図であり、
図２０は、本発明に係るエンコード制御方法の前半部を示すフローチャートであり、
図２１は、図２０に示した本発明に係るエンコード制御方法の後半部を示すフローチャートであり、
図２２は、マルチアングル制御時の非シームレス切り替えストリームのエンコードパラメータ生成動作を示すフローチャートであり、
図２３は、図２２に示したＶＯＢデータ共通設定ルーチンの詳細な動作を示すフローチャートであり、
図２４は、マルチアングル制御時のシームレス切り替えストリームのエンコードパラメータ生成動作を示すフローチャートであり、
図２５は、パレンタルロック制御時のエンコードパラメータ生成動作を示すフローチャートであり、
図２６は、単一シーンのエンコードパラメータ生成動作を示すフローチャートであり、
図２７は、図１２に示した本発明に係るＤＶＤエンコーダのフォーマッタの動作を示すフローチャートであり、
図２８は、図１２に示した本発明に係るフォーマッタの非シームレス切り替えマルチアングル制御時の動作を示すフローチャートであり、
図２９は、図１２に示した本発明に係るフォーマッタのシームレス切り替えマルチアングル制御時の動作を示すフローチャートであり、
図３０は、図１２に示した本発明に係るフォーマッタのパレンタルロック制御時の動作を示すフローチャートであり、
図３１は、図１２に示した本発明に係るフォーマッタの単一シーンのフォーマッタ動作を示すフローチャートであり、
図３２は、本発明に係るデコードシステムテーブルの構造を示す模式図であり、
図３３は、本発明に係るデコードテーブルの構造を示す模式図であり、
図３４は、システムストリームデータの構成例を示す模式図であり、
図３５は、連続ブロック内のデータ構造を示す模式図であり、
図３６は、インターリーブブロック内のデータ構造を示す模式図であり、
図３７は、図１２に示した本発明に係る編集情報作成部の第一の実施形態に係る構造を示すブロック図であり、
図３８は、図１２に示した本発明に係る編集情報作成部の第二の実施形態に係る構造を示すブロック図であり、
図３９は、図３７及び図３９に示した編集情報作成部の動作を示すフローチャートであり、
図４０は、図３に示した本発明に係るシナリオ選択部の構造を示すブロック図であり、
図４１は、本発明に係るマルチメディア光ディスクオーサリングシステムによって生成されたマルチメディアビットストリームが記録された光ディスクであるＤＶＤを再生装置の一例を説明図であり、
図４２は、本発明に基づく光ディスクのビデオデータとその再生順序を示す説明図であり、
図４３は、ビデオテーブルＶＴＢＬの構成を示す説明図であり、
図４４は、オーディオテーブルＡＴＢＬの構成を示す説明図であり、
図４５は、図１２に示した本発明に係る編集情報作成部の第三の実施形態に係る構造を示すブロック図であり
図４６は、択一再生映像区間がマルチアングル区間或いはパレンタルロック区間かの検証動作を示すフローチャートである。
である。
発明を実施するための最良の形態
＜１．１＞オーサリングシステムのデータ構造
＜１．２＞オーサリングエンコーダＥＣ
＜１．３＞シナリオデータＳｔ７の生成
＜１．４＞オーサリングデコーダＤＣＤ
＜１．５＞シナリオ選択データＳｔ５１の生成
＜２．１＞パレンタルロック制御及びマルチアングル制御
＜２．２＞パレンタルロック制御用択一的再生区間の分割
＜２．３＞パレンタルロック制御用択一再生区間の制限値の一例
＜２．４＞アングル用択一的再生区間の分割
＜２．５＞マルチシーン
＜３．１＞ＤＶＤシステムのデータ構造
＜３．２＞ＤＶＤエンコーダ
＜３．３＞ＤＶＤデコーダ
＜３．３．１＞マルチシーン
＜３．３．２＞シームレス
＜３．３．３＞シームレスの詳細
＜３．４．１＞インターリーブ
＜３．４．２＞インターリーブの定義
＜３．４．３＞インターリーブブロック、ユニット構造
＜３．５．１＞マルチシーン
＜３．５．２＞パレンタル
＜３．５．３＞マルチアングル
＜３．６．１＞フローチャート：エンコーダ
＜３．６．２＞フォーマッタフロー
＜３．７＞デコーダのフローチャート＞
＜３．７．１＞ディスクからストリームバッファ転送フロー
＜３．８＞ＤＶＤプレーヤ
＜１．１＞オーサリングシステムのデータ構造
先ず、図１を参照して、本発明に於ける記録装置、記録媒体、再生装置および、それらの機能を含むオーサリングシステムに於いて処理の対象されるマルチメディアデータのビットストリームの論理構造を説明する。ユーザが内容を認識し、理解し、或いは楽しむことができる画像及び音声情報を１タイトルとする。このタイトルとは、映画でいえば、最大では一本の映画の完全な内容を、そして最小では、各シーンの内容を表す情報量に相当する。
所定数のタイトル分の情報を含むビットストリームデータから、ビデオタイトルセットＶＴＳが構成される。以降、簡便化の為に、ビデオタイトルセットをＶＴＳと呼称する。ＶＴＳは、上述の各タイトルの中身自体を表す映像、オーディオなどの再生データと、それらを制御する制御データを含んでいる。
所定数のＶＴＳから、オーサリングシステムに於ける一ビデオデータ単位であるビデオゾーンＶＺが形成される。以降、簡便化の為にビデオゾーンをＶＺと呼称する。一つのＶＺに、Ｋ＋１個のＶＴＳ＃０〜ＶＴＳ＃Ｋ（Ｋは、０を含む正の整数）が直線的に連続して配列される。そしてその内一つ、好ましくは先頭のＶＴＳ＃０が、各ＶＴＳに含まれるタイトルの中身情報を表すビデオマネージャとして用いられる。この様に構成された、所定数のＶＺから、オーサリングシステムに於ける、マルチメディアデータのビットストリームの最大管理単位であるマルチメディアビットストリームＭＢＳが形成される。
＜１．２＞オーサリングエンコーダＥＣ＞
図２に、ユーザーの要望に応じた任意のシナリオに従い、オリジナルのマルチメディアビットストリームをエンコードして、新たなマルチメディアビットストリームＭＢＳを生成する本発明に基づくオーサリングエンコーダＥＣの一実施形態を示す。なお、オリジナルのマルチメディアビットストリームは、映像情報を運ぶビデオストリームＳｔ１、キャプション等の補助映像情報を運ぶサブピクチャストリームＳｔ３、及び音声情報を運ぶオーディオストリームＳｔ５から構成されている。ビデオストリーム及びオーディオストリームは、所定の時間の間に対象から得られる画像及び音声の情報を含むストリームである。一方、サブピクチャストリームは一画面分、つまり瞬間の映像情報を含むストリームである。必要であれば、一画面分のサブピクチャをビデオメモリ等にキャプチャして、そのキャプチャされたサブピクチャ画面を継続的に表示することができる。
これらのマルチメディアソースデータＳｔ１、Ｓｔ３、及びＳｔ５は、実況中継の場合には、ビデオカメラ等の手段から映像及び音声信号がリアルタイムで供給される。また、ビデオテープ等の記録媒体から再生された非リアルタイムな映像及び音声信号であったりする。尚、同図に於ては、簡便化のために、３種類のマルチメディアソースストリームとして、３種類以上で、それぞれが異なるタイトル内容を表すソースデータが入力されても良いことは言うまでもない。このような複数のタイトルの音声、映像、補助映像情報を有するマルチメディアソースデータを、マルチタイトルストリームと呼称する。
オーサリングエンコーダＥＣは、編集情報作成部１００、エンコードシステム制御部２００、ビデオエンコーダ３００、ビデオストリームバッファ４００、サブピクチャエンコーダ５００、サブピクチャストリームバッファ６００、オーディオエンコーダ７００、オーディオストリームバッファ８００、システムエンコーダ９００、ビデオゾーンフォーマッタ１３００、記録部１２００、及び記録媒体Ｍから構成されている。同図に於いて、本発明のエンコーダによってエンコードされたビットストリームは、一例として光ディスク媒体に記録される。
オーサリングエンコーダＥＣは、オリジナルのマルチメディアタイトルの映像、サブピクチャ、及び音声に関するユーザの要望に応じてマルチメディアビットストリームＭＢＳの該当部分の編集を指示するシナリオデータとして出力できる編集情報生成部１００を備えている。編集情報作成部１００は、好ましくは、ディスプレイ部、スピーカ部、キーボード、ＣＰＵ、及びソースストリームバッファ部等で構成される。編集情報作成部１００は、上述の外部マルチメディアストリーム源に接続されており、マルチメディアソースデータＳｔ１、Ｓｔ３、及びＳｔ５の供給を受ける。
ユーザーは、マルチメディアソースデータをディスプレイ部及びスピーカを用いて映像及び音声を再生し、タイトルの内容を認識することができる。更に、ユーザは再生された内容を確認しながら、所望のシナリオに沿った内容の編集指示を、キーボード部を用いて入力する。編集指示内容とは、複数のタイトル内容を含む各ソースデータの全部或いは、其々に対して、所定時間毎に各ソースデータの内容を一つ以上選択し、それらの選択された内容を、所定の方法で接続再生するような情報を言う。
ＣＰＵは、キーボード入力に基づいて、マルチメディアソースデータのそれぞれのストリームＳｔ１、Ｓｔ３、及びＳｔ５の編集対象部分の位置、長さ、及び各編集部分間の時間的相互関係等の情報をコード化したシナリオデータＳｔ７を生成する。尚、後に、図３７、図３８、図３９、及び図４０を参照して、編集情報作成部１００の構造及び動作を含めて、シナリオデータＳｔ７の作成について詳しく説明する。
ソースストリームバッファは所定の容量を有し、マルチメディアソースデータの各ストリームＳｔ１、Ｓｔ３、及びＳｔ５を所定の時間Ｔｄ遅延させた後に、出力する。これは、ユーザーがシナリオデータＳｔ７を作成するのと同時にエンコードを行う場合、つまり逐次エンコード処理の場合には、後述するようにシナリオデータＳｔ７に基づいて、マルチメディアソースデータの編集処理内容を決定するのに若干の時間Ｔｄを要するので、実際に編集エンコードを行う場合には、この時間Ｔｄだけマルチメディアソースデータを遅延させて、編集エンコードと同期する必要があるからである。このような、逐次編集処理の場合、遅延時間Ｔｄは、システム内の各要素間での同期調整に必要な程度であるので、通常ソースストリームバッファは半導体メモリ等の高速記録媒体で構成される。
しかしながら、タイトルの全体を通してシナリオデータＳｔ７を完成させた後に、マルチメディアソースデータを一気にエンコードする、いわゆるバッチ編集時に於いては、遅延時間Ｔｄは、一タイトル分或いはそれ以上の時間必要である。このような場合には、ソースストリームバッファは、ビデオテープ、磁気ディスク、光ディスク等の低速大容量記録媒体を利用して構成できる。つまり、ソースストリームバッファは遅延時間Ｔｄ及び製造コストに応じて、適当な記憶媒体を用いて構成すれば良い。
エンコードシステム制御部２００は、編集情報作成部１００に接続されており、シナリオデータＳｔ７を編集情報作成部１００から受け取る。エンコードシステム制御部２００は、シナリオデータＳｔ７に含まれる編集対象部の時間的位置及び長さに関する情報に基づいて、マルチメディアソースデータの編集対象分をエンコードするためのそれぞれのエンコードパラメータデータ及びエンコード開始、終了のタイミング信号Ｓｔ９、Ｓｔ１１、及びＳｔ１３をそれぞれ生成する。更に、エンコードシステム制御部２００は、シナリオデータＳｔ７の入力を受けて、オーサリングエンコーダＥＣに有効なビットストリームの編集最小単位レベルでの編集制御指示データＳｔ７‘にエンコードして、編集情報作成部１００にフィードバックする。なお、編集制御指示データＳｔ７’の生成については、図３７を参照して後ほど説明する。
上述のように、各マルチメディアソースデータＳｔ１、Ｓｔ３、及びＳｔ５は、ソースストリームバッファによって、時間Ｔｄ遅延して出力されるので、各タイミングＳｔ９、Ｓｔ１１、及びＳｔ１３と同期している。つまり、信号Ｓｔ９はビデオストリームＳｔ１からエンコード対象部分を抽出して、ビデオエンコード単位を生成するために、ビデオストリームＳｔ１をエンコードするタイミングを指示するビデオエンコード信号である。同様に、信号Ｓｔ１１は、サブピクチャエンコード単位を生成するために、サブピクチャストリームＳｔ３をエンコードするタイミングを指示するサブピクチャストリームエンコード信号である。また、信号Ｓｔ１３は、オーディオエンコード単位を生成するために、オーディオストリームＳｔ５をエンコードするタイミングを指示するオーディオエンコード信号である。
エンコードシステム制御部２００は、更に、シナリオデータＳｔ７に含まれるマルチメディアソースデータのそれぞれのストリームＳｔ１、Ｓｔ３、及びＳｔ５のエンコード対象部分間の時間的相互関係等の情報に基づいて、エンコードされたマルチメディアエンコードストリームを、所定の相互関係になるように配列するためのタイミング信号Ｓｔ２１、Ｓｔ２３、及びＳｔ２５を生成する。
エンコードシステム制御部２００は、１ビデオゾーンＶＺ分の各タイトルのタイトル編集単位（ＶＯＢ）に付いて、そのタイトル編集単位（ＶＯＢ）の再生時間を示す再生時間情報ＩＴおよびビデオ、オーディオ、サブピクチャのマルチメディアエンコードストリームを多重化（マルチプレクス）するシステムエンコードのためのエンコードパラメータを示すストリームエンコードデータＳｔ３３を生成する。
エンコードシステム制御部２００は、所定の相互的時間関係にある各ストリームのタイトル編集単位（ＶＯＢ）から、マルチメディアビットストリームＭＢＳの各タイトルのタイトル編集単位（ＶＯＢ）の接続または、各タイトル編集単位を重畳しているインターリーブタイトル編集単位（ＶＯＢｓ）を生成するための、各タイトル編集単位（ＶＯＢ）をマルチメディアビットストリームＭＢＳとして、フォーマットするためのフォーマットパラメータを規定する配列指示信号Ｓｔ３９を生成する。ビデオエンコーダ３００は、編集情報作成部１００のソースストリームバッファ及び、エンコードシステム制御部２００に接続されており、ビデオストリームＳｔ１とビデオエンコードのためのエンコードパラメータデータ及びエンコード開始終了のタイミング信号のＳｔ９、例えば、エンコードの開始終了タイミング、ビットレート、エンコード開始終了時にエンコード条件、素材の種類として、ＮＴＳＣ信号またはＰＡＬ信号あるいはテレシネ素材であるかなどのパラメータがそれぞれ入力される。ビデオエンコーダ３００は、ビデオエンコード信号Ｓｔ９に基づいて、ビデオストリームＳｔ１の所定の部分をエンコードして、ビデオエンコードストリームＳｔ１５を生成する。
同様に、サブピクチャエンコーダ５００は、編集情報作成部１００のソースバッファ及び、エンコードシステム制御部２００に接続されており、サブピクチャストリームＳｔ３とサブピクチャストリームエンコード信号Ｓｔ１１がそれぞれ入力される。サブピクチャエンコーダ５００は、サブピクチャストリームエンコードのためのパラメータ信号Ｓｔ１１に基づいて、サブピクチャストリームＳｔ３の所定の部分をエンコードして、サブピクチャエンコードストリームＳｔ１７を生成する。
オーディオエンコーダ７００は、編集情報作成部１００のソースバッファ及び、エンコードシステム制御部２００に接続されており、オーディオストリームＳｔ５とオーディオエンコード信号Ｓｔ１３がそれぞれ入力される。オーディオエンコーダ７００は、オーディオエンコードのためのパラメータデータ及びエンコード開始終了タイミングの信号Ｓｔ１３に基づいて、オーディオストリームＳｔ５の所定の部分をエンコードして、オーディオエンコードストリームＳｔ１９を生成する。
ビデオストリームバッファ４００は、ビデオエンコーダ３００に接続されており、ビデオエンコーダ３００から出力されるビデオエンコードストリームＳｔ１５を保存する。ビデオストリームバッファ４００は更に、エンコードシステム制御部２００に接続されて、タイミング信号Ｓｔ２１の入力に基づいて、保存しているビデオエンコードストリームＳｔ１５を、調時ビデオエンコードストリームＳｔ２７として出力する。
同様に、サブピクチャストリームバッファ６００は、サブピクチャエンコーダ５００に接続されており、サブピクチャエンコーダ５００から出力されるサブピクチャエンコードストリームＳｔ１７を保存する。サブピクチャストリームバッファ６００は更に、エンコードシステム制御部２００に接続されて、タイミング信号Ｓｔ２３の入力に基づいて、保存しているサブピクチャエンコードストリームＳｔ１７を、調時サブピクチャエンコードストリームＳｔ２９として出力する。
また、オーディオストリームバッファ８００は、オーディオエンコーダ７００に接続されており、オーディオエンコーダ７００から出力されるオーディオエンコードストリームＳｔ１９を保存する。オーディオストリームバッファ８００は更に、エンコードシステム制御部２００に接続されて、タイミング信号Ｓｔ２５の入力に基づいて、保存しているオーディオエンコードストリームＳｔ１９を、調時オーディオエンコードストリームＳｔ３１として出力する。
システムエンコーダ９００は、ビデオストリームバッファ４００、サブピクチャストリームバッファ６００、及びオーディオストリームバッファ８００に接続されており、調時ビデオエンコードストリームＳｔ２７、調時サブピクチャエンコードストリームＳｔ２９、及び調時オーディオエンコードＳｔ３１が入力される。システムエンコーダ９００は、またエンコードシステム制御部２００に接続されており、ストリームエンコードデータＳｔ３３が入力される。
システムエンコーダ９００は、システムエンコードのエンコードパラメータデータ及びエンコード開始終了タイミングの信号Ｓｔ３３に基づいて、各調時ストリームＳｔ２７、Ｓｔ２９、及びＳｔ３１に多重化処理を施して、タイトル編集単位（ＶＯＢ）Ｓｔ３５を生成する。
ビデオゾーンフォーマッタ１３００は、システムエンコーダ９００に接続されて、タイトル編集単位Ｓｔ３５を入力される。ビデオゾーンフォーマッタ１３００は更に、エンコードシステム制御部２００に接続されて、マルチメディアビットストリームＭＢＳをフォーマットするためのフォーマットパラメータデータ及びフォーマット開始終タイミングの信号Ｓｔ３９を入力される。ビデオゾーンフォーマッタ１３００は、タイトル編集単位Ｓｔ３９に基づいて、ビデオゾーンＶＺ分のタイトル編集単位Ｓｔ３５を、ユーザの要望シナリオに沿う順番に、並べ替えて、編集済みマルチメディアビットストリームＳｔ４３を生成する。
このユーザの要望シナリオの内容に編集された、マルチメディアビットストリームＳｔ４３は、記録部１２００に転送される。記録部１２００は、編集マルチメディアビットストリームＭＢＳを記録媒体Ｍに応じた形式のデータＳｔ４３に加工して、記録媒体Ｍに記録する。この場合、マルチメディアビットストリームＭＢＳには、予め、ビデオゾーンフォーマッタ１３００によって生成された媒体上の物理アドレスを示すボリュームファイルストラクチャＶＦＳが含まれる。
また、エンコードされたマルチメディアビットストリームＳｔ３５を、以下に述べるようなデコーダに直接出力して、編集されたタイトル内容を再生するようにしても良い。この場合は、マルチメディアビットストリームＭＢＳには、ボリュームファイルストラクチャＶＦＳは含まれないことは言うまでもない。
＜１．３＞シナリオデータＳｔ７の生成
次に、上述のシナリオデータＳｔ７の生成方法について、編集情報作成部１００の構成を示す図３７を参照しながら説明する。編集情報作成部１００は、編集情報入力部１０２、編集情報変換部１０４、オーサリング編集パラメータ判定器１１０、編集情報表示部１０６、及びストリーム入力バッファ１０９から成り、それぞれ図３７に示すように相互に接続されている。ストリーム入力バッファ１０９には、編集対象であるビデオ、サブピクチャ、及びオーディオのソースストリームＳｔ１、Ｓｔ２、及びＳｔ３を編集タイミングと同期して一時的に保持する。編集情報入力部１０２は、ユーザの要望を反映した編集指示をオーサリングエンコーダＥＣに入力する手段であり、上述のキーボードに相当する。編集情報変換部１０４は、編集情報入力部１０２よりユーザが入力した編集指示信号を変換してシナリオデータＳｔ７を生成する手段である。
更に、オーサリング編集パラメータ判定器１１０は、ストリーム入力バッファ１０９に対するソースストリームに対する編集タイミングとの同期信号Ｓｔ３００を出力する。
オーサリング編集パラメータ判定器１１０は、更に、コード化されたユーザの編集指示内容が、オーサリングシステムに用いられるマルチメディアビットストリームのデータ構造、オーサリングエンコーダＥＣ、及び後述のオーサリングデコーダＤＣの構造及び機能上の制約、つまりオーサリング編集パラメータの条件を満たしているかの判断を行う。オーサリング編集パラメータ判定器１１０は、編集情報変換部１０４と併せて、上述のＣＰＵに相当する。尚、オーサリング編集パラメータ判定器１１０は、このようにして、ソースストリームを編集可能最小単位で、ユーザに提示する機能を有している。
オーサリング編集パラメータ判定器１１０は、ユーザの編集制御指示データＳｔ７Ｒがオーサリング編集パラメータ条件をみたしている場合には、この編集制御指示データＳｔ７Ｒを図２に示すシナリオデータＳｔ７として、エンコードシステム制御部２００に出力する。エンコードシステム制御部２００は、この編集制御指示データに基づいて、オーサリングエンコードパラメータを作成する。オーサリングエンコーダＥＣはこのオーサリングエンコードパラメータに基づいて、ソースストリームＳｔ１，Ｓｔ３、及びＳｔ５をエンコードしてオーサリングタイトルビットストリームを生成する。
更にオーサリング編集パラメータ判定器１１０は、ユーザの編集制御指示データＳｔ７Ｒに含まれるオーサリング編集パラメータ条件の判定結果、つまりそのオーサリング編集パラメータと編集条件値とのそれぞれ示すデータを編集パラメータデータを編集情報表示部１０６で利用できる編集情報データＳｔ３０２として出力する。編集情報表示部１０６は、上述のディスプレイに相当し、ユーザーはそのディスプレに表示された編集パラメータと編集条件値を確認する事によって、編集情報入力部１０２を利用して正しい編集指示を入力し直すことができる。
次に、図２及び図３８を参照して、上記図３７に示したのとは異なる構成に編集情報作成部１００をした場合のオーサリングエンコーダＥＣについて説明する。図３８に示す編集情報作成部１００は、図３７に示す編集情報作成部１００のオーサリング編集パラメータ判定器１１０が編集情報変換部１１１に交換されている。更に、編集情報変換部１０４はシナリオデータＳｔ７をこの編集情報変換部１１１とエンコードシステム制御部２００に同時に出力する。エンコードシステム制御部２００は、シナリオデータＳｔ７に基づいて、オーサリング編集パラメータ判定器１１０（図３７）と同様に、編集制御指示データＳｔ７を生成する共に、更にコード化されたユーザ編集指示内容がオーサリング編集パラメータの条件を満たしているかの判断を行う。そしてエンコードシステム制御部２００は、図２に示すように、その判定結果を示すデータを編集制御指示データＳｔ７‘に埋め込んで編集情報作成部１００内部の編集情報変換部１１１に出力する。
編集情報変換部１１１は、オーサリング編集パラメータ判定器１１０（図３７）と同様に、シナリオデータＳｔ７として編集情報データＳｔ３０２を出力する。更に、編集情報変換部１１１は、エンコードシステム制御部２００から入力された編集制御指示データＳｔ７‘に含まれる判定結果を編集情報データＳｔ３０２に組み込んで出力する。
次に、図３９のフローチャートを参照して、先ず図３７に示す編集情報作成部１００の動作について説明する。
ステップ＃２０１で、ユーザは編集情報教示部１０６に表示されるソースストリームＳｔ１、Ｓｔ３、及びＳｔ５の内容に対して、編集情報入力部１００を利用して要望するタイトル編集指示を入力する。
ステップ＃２０２で、編集情報変換部１０４はシナリオデータＳｔ７を生成し、オーサリング編集パラメータ判定器１１０は編集パラメータデータＳｔ３０２を生成し、編集情報教示部１０６は編集指示内容をユーザに対して提示する。
ステップ＃２０３で、オーサリング編集パラメータ判定器１１０は、シナリオデータＳｔ７に基づいて、編集指示データＳｔ７Ｒを生成する。
ステップ＃２０４で、編集指示データＳｔ７Ｒがオーサリング編集パラメータ条件を満しているかどうかが判定される。条件を満たしている判定された場合には、この編集制御指示データＳｔ７ＲをシナリオデータＳｔ７（図２）として、エンコードシステム制御部２００に出力する。
一方、ステップ＃２０４で、オーサリング編集パラメータ条件が満たされていないと判定された場合には、前述のオーサリング編集情報データＳｔ３０２を編集情報表示部１０６に出力して、制御をステップ＃２０１に戻す。ユーザの入力する編集制御指示がオーサリング編集パラメータ条件を満たすまで、ステップ＃２０１、＃２０２、＃２０３、及び＃２０４のループを繰り返す。
ステップ＃２０５では、エンコードシステム制御部２００が、この編集制御指示データに基づいて、オーサリングエンコードパラメータを作成する。オーサリングエンコーダＥＣはこのオーサリングエンコードパラメータに基づいて、ソースストリームＳｔ１，Ｓｔ３、及びＳｔ５をエンコードしてオーサリングタイトルビットストリームを生成する。
また、図３８に示す編集情報作成部１００の動作も基本的には、図３９に示すフローチャートと同様であるが、ステップ＃２０３及び＃２０４では、オーサリング編集パラメータ判定器１１０（図３７）ではなくエンコードシステム制御部２００（図２）が、シナリオデータＳｔ７に基づいて編集制御指示データＳｔ７‘を生成し、オーサリング編集パラメータ条件が満足されているかを判定する。
次に、オーサリングエンコードパラメータの一例について簡単に説明する。今説明を簡単にするために、オーサリングエンコードパラメータは、シーンに相当する素材の開始・終了時刻を示すＳ＿ＴＩＭＥ、素材の種類を示すＳＲＳ＿ＫＩＮＤ、シーンの種類を示すＳＮ＿ＫＩＮＤ、及びシーンの再生情報を示すＳＮ＿ＰＢＩの４種類のパラメータ群からなるとする。シーンに相当する素材の開始・終了時刻（S_TIME）は、各シーンをエンコードするための入力ソースの開始時刻と終了時刻の情報、例えばディジタルＶＴＲのテープ内でのエンコード開始時刻・終了時刻である。素材の種類（SRS_KIND）は、素材がテレシネ変換されたものであるかなどを示す情報である。シーンの種類（SN_KIND）は、マルチアングルシーンあるか否か、パレンタルロックシーンであるか否かを示す情報である。シーンの再生順情報（SN_PBI）は、シーンの使用されるタイトル情報とそのタイトル内での再生順を示す情報である。シーン再生情報SN_PBIは複数のタイトルで使用するシーンであれば、そのタイトル数分存在する事になる。編集の内容によって、これら４種類以上のパラメータが設定されることはいうまでもない。
＜１．４＞オーサリングデコーダＤＣＤ
次に、図３を参照して、本発明に係るマルチメディアビットストリームオーサリングシステムを上述のＤＶＤシステムに適用した場合の、オーサリングデコーダＤＣの一実施形態を示す。ＤＶＤシステムに適用したオーサリングエンコーダＤＣＤ（以降、ＤＶＤデコーダと呼称する）は、本発明にかかるＤＶＤエンコーダＥＣＤによって、編集されたマルチメディアビットストリームＭＢＳをデコードして、ユーザの要望のシナリオに沿って各タイトルの内容を展開する。なお、本実施形態に於いては、ＤＶＤエンコーダＥＣによってエンコードされたマルチメディアビットストリームＳｔ４５は、記録媒体Ｍに記録されている。
オーサリングデコーダＤＣＤは、マルチメディアビットストリーム再生部２０００、シナリオ選択部２１００、デコードシステム制御部２３００、ストリームバッファ２４００、システムデコーダ２５００、ビデオバッファ２６００、サブピクチャバッファ２７００、オーディオバッファ２８００、同期制御部２９００、サブピクチャデコーダ３１００、オーディオデコーダ３２００、リオーダバッファ３３００、及び切替器３４００、合成部３５００、ビデオデータ出力端子３６００、オーディオデータ出力端子３７００、及びビデオデコーダ３８０１から構成されている。
なお、切替器３４００は同期制御部２９００に接続されて、切替指示信号Ｓｔ１０３の入力を受けている。
マルチメディアビットストリーム再生部２０００は、記録媒体Ｍを駆動させる記録媒体駆動ユニット２００４、記録媒体Ｍに記録されている情報を読み取り二値の読み取り信号Ｓｔ５７を生成する読取ヘッドユニット２００６、読み取り信号ＳＴ５７に種々の処理を施して再生ビットストリームＳｔ６１を生成する信号処理部２００８、及び機構制御部２００２から構成される。機構制御部２００２は、デコードシステム制御部２３００に接続されて、マルチメディアビットストリーム再生指示信号Ｓｔ５３を受けて、それぞれ記録媒体駆動ユニット（モータ）２００４及び信号処理部２００８をそれぞれ制御する再生制御信号Ｓｔ５５及びＳｔ５９を生成する。
デコーダＤＣＤは、オーサリングエンコーダＥＣで編集されたマルチメディアタイトルの映像、サブピクチャ、及び音声に関する、ユーザの所望の部分が再生されるように、対応するシナリオを選択して再生するように、オーサリングデコーダＤＣに指示を与えるシナリオデータとして出力できるシナリオ選択部２１００を備えている。
シナリオ選択部２１００は、好ましくは、キーボード及びＣＰＵ等で構成される。ユーザーは、オーサリングエンコーダＥＣで入力されたシナリオの内容に基づいて、所望のシナリオをキーボード部を操作して入力する。ＣＰＵは、キーボード入力に基づいて、選択されたシナリオを指示するシナリオ選択データＳｔ５１を生成する。シナリオ選択部２１００は、例えば、赤外線通信装置等によって、デコードシステム制御部２３００に接続されている。
デコードシステム制御部２３００は、デコードシステム制御部２３００で生成されたシナリオ選択データＳｔ５１に基づいてマルチメディアビットストリーム再生部２０００の動作を制御する再生指示信号Ｓｔ５３を生成する。デコードシステム制御部２３００は、更に、シナリオデータＳｔ５３からユーザの再生指示情報を抽出して、デコード制御に必要な、デコード情報テーブルを生成する。デコード情報テーブルについては、後程、図３２、及び図３３を参照して詳述する。更に、デコードシステム制御部２３００は、ストリーム再生データＳｔ６３中のファイルデータ領域ＦＤＳ情報から、ビデオマネージャＶＭＧ、ＶＴＳ情報ＶＴＳＩ、ＰＧＣ情報C_PBI#j、セル再生時間（C_PBTM）等の光ディスクＭに記録されたタイトル情報を抽出してタイトル情報Ｓｔ２００を生成する。
＜１．５＞シナリオ選択データＳｔ５１の生成
図４０を参照してシナリオ選択部２１００の詳細について説明する。シナリオ選択部２１００は、シナリオ選択情報入力部２１０２、シナリオ選択情報変換部２１０４、タイトル情報表示部２１０６から構成される。シナリオ選択情報入力部２１０２は、リモコンなど人間が操作可能なものからのシナリオ選択データとして入力、あるいはシナリオ選択情報を含むコンピュータファイルなどの電子的なデータがシナリオ選択データとして入力しても良い。シナリオ選択情報変換部２１０４は、シナリオ選択情報入力部２１０５からの情報をデコードシステム制御部２３００で処理可能なコード情報Ｓｔ５１に変換する。タイトル情報表示部２１０６は、再生されたタイトル情報Ｓｔ２００（図３）を表示するタイトル情報表示部である。例えば、ディスク内に複数タイトルが存在する場合など、そのタイトル選択のための画面情報をリモコンなどに表示するものである。このタイトル情報表示部２１０６は、必ずしもシナリオ選択部２１００になくてもよく、ビデオデータ出力端子３６００に接続するＣＲＴなどの表示装置に、前述したタイトル選択のための画面情報を表示する事でも構わない。
図３に戻り、ストリームバッファ２４００は、所定のバッファ容量を有し、マルチメディアビットストリーム再生部２０００から入力される再生信号ビットストリームＳｔ６１を一時的に保存すると共に、及び各ストリームのアドレス情報及び同期初期値データを抽出してストリーム制御データＳｔ６３を生成する。ストリームバッファ２４００は、デコードシステム制御部２３００に接続されており、生成したストリーム制御データＳｔ６３をデコードシステム制御部２３００に供給する。
同期制御部２９００は、デコードシステム制御部２３００に接続されて、同期制御データＳｔ８１に含まれる同期初期値データ（SCR）を受け取り、内部のシステムクロック（STC）セットし、リセットされたシステムクロックＳｔ７９をデコードシステム制御部２３００に供給する。
デコードシステム制御部２３００は、システムクロックＳｔ７９に基づいて、所定の間隔でストリーム読出信号Ｓｔ６５を生成し、ストリームバッファ２４００に入力する。
この場合の読み出し単位はパックである。デコードシステム制御部２３００では、ストリームバッファ２４００から抽出したストリーム制御データ中のＳＣＲと、同期制御部２９００からのシステムクロックＳｔ７９を比較し、Ｓｔ６３中のＳＣＲよりもシステムクロックＳｔ７９が大きくなった時点で読み出し要求信号Ｓｔ６５を生成する。このような制御をパック単位に行うことで、パック転送を制御する。
ストリームバッファ２４００は、読出信号Ｓｔ６５に基づいて、再生ビットストリームＳｔ６１を所定の間隔で出力する。
デコードシステム制御部２３００は、更に、シナリオ選択データＳｔ５１に基づき、選択されたシナリオに対応するビデオ、サブピクチャ、オーディオの各ストリームのＩＤを示すデコードストリーム指示信号Ｓｔ６９を生成して、システムデコーダ２５００に出力する。
システムデコーダ２５００は、ストリームバッファ２４００から入力されてくるビデオ、サブピクチャ、及びオーディオのストリームを、デコード指示信号Ｓｔ６９の指示に基づいて、それぞれ、ビデオエンコードストリームＳｔ７１としてビデオバッファ２６００に、サブピクチャエンコードストリームＳｔ７３としてサブピクチャバッファ２７００に、及びオーディオエンコードストリームＳｔ７５としてオーディオバッファ２８００に出力する。
タイトル中に、例えば日本語、英語、フランス語等、言語別のオーディオ等の複数のオーディオデータ、及び、日本語字幕、英語字幕、フランス語字幕等、言語別の字幕等の複数のサブピクチャデータが存在する場合、それぞれにＩＤが付与されている。つまり、図７を参照して説明したように、ビデオデータ及び、ＭＰＥＧオーディオデータには、ストリームＩＤが付与され、サブピクチャデータ、ＡＣ３方式のオーディオデータ、リニアＰＣＭ及びナブパックＮＶ情報には、サブストリームＩＤが付与されている。ユーザはＩＤを意識することはないが、どの言語のオーディオあるいは字幕を選択するかをシナリオ選択部２１００で選択する。英語のオーディオを選択すれば、シナリオ選択データＳｔ５１として英語のオーディオに対応するＩＤがデーコードシステム制御部２３００に搬送される。さらに、デコードシステム制御部２３００はシステムデコーダ２５００にそのＩＤをＳｔ６９上に搬送して渡す。
システムデコーダ２５００は、ストリームバッファ２４００から入力されてくるビデオ、サブピクチャ、及びオーディオのストリームを、デコード指示信号Ｓｔ６９の指示に基づいて、それぞれ、ビデオエンコードストリームＳｔ７１としてビデオバッファ２６００に、サブピクチャエンコードストリームＳｔ７３としてサブピクチャバッファ２７００に、及びオーディオエンコードストリームＳｔ７５としてオーディオバッファ２８００に出力する。つまり、システムデコーダ２５００は、シナリオ選択部２１００より入力される、ストリームのＩＤと、ストリームバッファ２４００から転送されるパックのＩＤが一致した場合にそれぞれのバッファ（ビデオバッファ２６００、サブピクチャバッファ２７００、オーディオバッファ２８００）に該パックを転送する。
更に、システムデコーダ２５００は、各ストリームＳｔ６７の各最小制御単位での再生開始時間（PTS）及びデコード開始時間（DTS）を検出し、時間情報信号Ｓｔ７７を生成する。この時間情報信号Ｓｔ７７は、デコードシステム制御部２３００を経由して、同期制御データＳｔ８１として同期制御部２９００に入力される。
同期制御部２９００は、同期制御データＳｔ８１として、各ストリームについて、それぞれがデコード後に所定の順番になるようなデコード開始タイミングを決定する。同期制御部２９００は、このデコードタイミングに基づいて、ビデオストリームデコード開始信号Ｓｔ８９を生成し、ビデオデコーダ３８００に入力する。同様に、同期制御部２９００は、サブピクチャデコード開始信号Ｓｔ９１及びオーディオデコード開始信号ｔ９３を生成し、サブピクチャデコーダ３１００及びオーディオデコーダ３２００にそれぞれ入力する。
ビデオデコーダ３８０１は、ビデオストリームデコード開始信号Ｓｔ８９に基づいて、ビデオ出力要求信号Ｓｔ８４を生成して、ビデオバッファ２６００に対して出力する。ビデオバッファ２６００はビデオ出力要求信号Ｓｔ８４を受けて、ビデオストリームＳｔ８３をビデオデコーダ３８０１に出力する。ビデオデコーダ３８０１は、ビデオストリームＳｔ８３に含まれる再生時間情報を検出し、再生時間に相当する量のビデオストリームＳｔ８３の入力を受けた時点で、ビデオ出力要求信号Ｓｔ８４を無効にする。このようにして、所定再生時間に相当するビデオストリームがビデオデコーダ３８０１でデコードされて、再生されたビデオ信号Ｓｔ９５がリオーダーバッファ３３００と切替器３４００に出力される。
ビデオエンコードストリームは、フレーム間相関を利用した符号化であるため、フレーム単位でみた場合、表示順と符号化ストリーム順が一致していない。従って、デコード順に表示できるわけではない。そのため、デコードを終了したフレームを一時リオーダバッファ３３００に格納する。同期制御部２９００に於いて表示順になるようにＳｔ１０３を制御しビデオデコーダ３８０１の出力Ｓｔ９５と、リオーダバッファＳｔ９７の出力を切り替え、合成部３５００に出力する。
同様に、サブピクチャデコーダ３１００は、サブピクチャデコード開始信号Ｓｔ９１に基づいて、サブピクチャ出力要求信号Ｓｔ８６を生成し、サブピクチャバッファ２７００に供給する。サブピクチャバッファ２７００は、ビデオ出力要求信号Ｓｔ８４を受けて、サブピクチャストリームＳｔ８５をサブピクチャデコーダ３１００に出力する。サブピクチャデコーダ３１００は、サブピクチャストリームＳｔ８５に含まれる再生時間情報に基づいて、所定の再生時間に相当する量のサブピクチャストリームＳｔ８５をデコードして、サブピクチャ信号Ｓｔ９９を再生して、合成部３５００に出力する。
合成部３５００は、セレクタ３４００の出力及びサブピクチャ信号Ｓｔ９９を重畳させて、映像信号Ｓｔ１０５を生成し、ビデオ出力端子３６００に出力する。
オーディオデコーダ３２００は、オーディオデコード開始信号Ｓｔ９３に基づいて、オーディオ出力要求信号Ｓｔ８８を生成し、オーディオバッファ２８００に供給する。オーディオバッファ２８００は、オーディオ出力要求信号Ｓｔ８８を受けて、オーディオストリームＳｔ８７をオーディオデコーダ３２００に出力する。オーディオデコーダ３２００は、オーディオストリームＳｔ８７に含まれる再生時間情報に基づいて、所定の再生時間に相当する量のオーディオストリームＳｔ８７をデコードして、オーディオ出力端子３７００に出力する。
このようにして、ユーザのシナリオ選択に応答して、リアルタイムにユーザの要望するマルチメディアビットストリームＭＢＳを再生する事ができる。つまり、ユーザが異なるシナリオを選択する度に、オーサリングデコーダＤＣＤはその選択されたシナリオに対応するマルチメディアビットストリームＭＢＳを再生することによって、ユーザの要望するタイトル内容を再生することができる。
尚、デコードシステム制御部２３００は、前述の赤外線通信装置等を経由して、シナリオ選択部２１００にタイトル情報信号Ｓｔ２００を供給してもよい。シナリオ選択部２１００は、タイトル情報信号Ｓｔ２００に含まれるストリーム再生データＳｔ６３中のファイルデータ領域ＦＤＳ情報から、光ディスクＭに記録されたタイトル情報を抽出して、内蔵ディスプレイに表示することにより、インタラクティブなユーザによるシナリオ選択を可能とする。
また、上述の例では、ストリームバッファ２４００、ビデオバッファ２６００、サブピクチャバッファ２７００、及びオーディオバッファ２８００、及びリオーダバッファ３３００は、機能的に異なるので、それぞれ別のバッファとして表されている。しかし、これらのバッファに於いて要求される読込み及び読み出し速度の数倍の動作速度を有するバッファメモリを時分割で使用することにより、一つのバッファメモリをこれら個別のバッファとして機能させることができる。
以上述べたように、本発明のオーサリングシステムに於いては、基本のタイトル内容に対して、各内容を表す最小編集単位の複数の分岐可能なサブストリームを所定の時間的相関関係に配列するべく、マルチメディアソースデータをリアルタイム或いは一括してエンコードして、複数の任意のシナリオに従うマルチメディアビットストリームを生成する事ができる。
また、このようにエンコードされたマルチメディアビットストリームを、複数のシナリオの内の任意のシナリオに従って再生できる。そして、再生中であっても、選択したシナリオから別のシナリオを選択し（切り替えて）も、その新たな選択されたシナリオに応じた（動的に）マルチメディアビットストリームを再生できる。また、任意のシナリオに従ってタイトル内容を再生中に、更に、複数のシーンの内の任意のシーンを動的に選択して再生することができる。
このように、本発明に於けるオーサリングシステムに於いては、エンコードしてマルチメディアビットストリームＭＢＳをリアルタイムに再生するだけでなく、繰り返し再生することができる。上述の本発明に係るオーサリングシステムを、ＤＶＤシステム、特にシームレス接続オーサリングに適用した場合について如何に詳しく述べる。
＜２．１＞パレンタルロック制御及びマルチアングル制御
本発明に於ける、パレンタルロック制御及びマルチアングル制御について述べる。パレンタルロック制御に於ける、視聴レベルにより映像がカットされた区間を有するビデオデータの時間は、他のビデオデータと比較して短くなる。故に、パレンタルロック制御に係る択一的に再生される各ビデオデータの長さはそれぞれ異なる。
一方マルチアングル制御においては、各アングル区間の映像及び音声は同一の時間軸を平行して再生されるため、各アングル区間のビデオデータの再生時間は等しい。特筆すべきは、ここでいう再生時間とは、広義の意味であり、データがディスクから取り出され、映像や音声の出力信号に変換され、映像出力、音声出力されている時間である。狭義に解釈し、ディスクから取り出す時間のみや、取り出したデータの復号が完了する時間のみを意味するのでは無い。また、各アングル区間はその再生時間は等しくとも各映像内容は異なるため、ＭＰＥＧ２方式で圧縮されるデータ量は可変になり、当然、変換された各再生区間のデータ量は異なることになる。
パレンタルロック制御及びマルチアングル制御の背景となる技術の１つは、共にビデオデータの択一的な再生である。択一的な再生を実現する上での課題は、各ビデオデータを前後のビデオデータからいずれも途切れる事なく再生することである。しかしながら、各ビデオデータを光ディスク上の連続領域にそれぞれ配置した場合、前後のビデオデータを隣接した領域に配置可能なビデオデータは１つであるため、隣接しないビデオデータについては、ディスクシークが発生し、映像の連続的な再生が途切れることになる。
ある程度のシークはディスク再生装置が再生データをバッファリングしながら再生する事により、その待ちを吸収することができるが、択一的な再生区間が長くなれば、ディスク再生装置に要求されるバッファ消費量のサイズは大きくなり対応できなくなる。これをバッファオーバーフローと呼ぶ。このため、各シークの待ちを小さくするためにインターリーブ記録という技術が用いられる。
すなわち、各ビデオデータを所定区間（インターリーブユニットと称す）に分割し、これを、光ディスク上の連続領域に交互に配置した択一再生区間を形成する。これにより、各シーク距離を分割区間のサイズに抑えることができ、択一再生区間が長時間にわたる場合でも、バッファをオーバーフローすることなく再生することが可能になる。以下に、パレンタルロック制御及びマルチアングル制御に於いて、バッファーオバーフロー無く再生する方法を以下に説明する。
＜２．２＞パレンタルロック制御用択一的再生区間の分割
パレンタルロック制御用の択一的再生区間を形成にあたっては、上述したバッファオーバーフローと、逆に再生すべき映像データがバッファ内に無くなるバッファアンダーフローをディスク再生装置に起こさせないように該区間を形成する必要がある。バッファオーバーフローを起こさせないように択一再生区間を形成するためには、ディスク再生装置のバッファサイズやシーク速度等の性能を考慮する必要がある。
すなわち、バッファサイズとシーク性能より導かれる、映像を途切れさせることの無いディスク再生装置の最大のジャンプ時間をＪＭＴとすると、択一的再生区間を形成するためにインターリーブユニットに分割される各ビデオデータの分割数Ｍの最小値Ｍminは次式で表される。
Ｍmin≧VOBMaxTime/JMT              （式１）、
なおVOBMaxTimeは、択一再生区間に属するビデオデータの最長時間である。式１は、択一的再生区間を形成するビデオデータをインターリーブユニットに分割する数はＭ以上の値で無ければならず、この場合、インターリーブユニットの再生中にバッファがオーバーフローする問題が発生し、且つ、ジャンプしたとしても、バッファ中に十分なデータが蓄積されていないため、結果としてバッファアンダーフローする問題がある。
また、上述したバッファアンダーフローを発生させないためには、ジャンプ前にバッファ中に存在する１インターリーブユニットの映像データによる映像デコードを完了するまでに、ジャンプが終了し、かつ、ジャンプ後に次にデコードするためのインターリーブユニットの映像データをバッファに再生完了するれば良い。
すなわち、
ＪＴ：ＪＵＭＰにかかる時間（例えば、０．４ｓｅｃ）
BitRate：再生装置のトラックバッファへの入力データの転送レート（EX.10Mbps：固定値）
ILUM：インターリーブユニットのデータ量
とすると、
バッファ中の映像データが保証する再生時間（ILUMT）は、ジャンプ発生時に次の映像データのデコード準備が完了するまでの最長値よりも大きい必要があり、以下の式を満たす必要がある。
ILUMT＞JT+(ILUM/BitRate)        （式２）
これにより択一再生区間の分割数（Ｍ）は次式で求まる。
Ｍ＝VOBTime/ILUMT                 （式３）
VOBTimeは、択一再生区間を構成する各ビデオデータの再生時間である。
択一再生区間を構成するビデオデータの最小値をVOBminTimeとすると、インターリーブユニット分割数Ｍの最大値Ｍmaxは次式で表される。
Ｍmax≦VOBminTime/（JT+(ILUM/BitRate)）  （式４）
すなわち、最大分割数Ｍmax以下だとディスク再生装置にバッファアンダーフローの問題が発生する事になる。
以上述べたように、択一再生区間を形成するにあたっては（式１）、（式４）を満たすＭ値（Ｍmin、Ｍmax）で分割する必要がある。
＜２．３＞パレンタルロック制御用択一再生区間の制限値の一例
以下に、パレンタルロック制御用択一再生区間の制限値の具体例を示す。
ＶＯＢの最大ビットレート：８Ｍｂｐｓ
VOBminTime              ：４．０ｓｅｃ
VOBTime                 ：１２０ｓｅｃ以上
とすると、
第２式より、ILUMT＞0.4+8*2/10=2.0(sec)
第１式より、JMT=250Mbit/8=31.25(sec)
第４式より、Ｍmax≦VOBminTime/ILUMT=4.0/2.0=2
第３式より、Ｍ=VOBTime/JMT=120/31.25=3.84
この場合、第３式及び４式から得られた値が、互いに他を満足しないのでエラーとする。
＜２．４＞アングル用択一的再生区間の分割
マルチアングル制御用の択一的再生区間を形成するにあたっては、上述したバッファオーバーフローを考慮して区間の分割数を決定すると共に、ビデオデータの構造が各ビデオデータで均質になるように考慮する必要がある。これは、パレンタルと異なり、再生中にユーザの指定により動的に映像を切り替える必要があるためである。このため長さが異なれば切り替え後の映像と同期がとれず、オーディオ等の途切れが発生してしまう等の問題等生じる。
切り替え前と切り替え後のビデオデータの構造が等しくなるためには、ビデオデータに含まれる映像データを構成するＧＯＰ構造が等しくなる必要がある。ここで言う”ＧＯＰ構造が等しい”とは、対応するインターリーブユニットに含まれるＧＯＰ数およびそのピクチャ数が等しい事を意味している。すなわち、エレメンタリエンコード時にアングル区間を構成するビデオデータを構成することになる映像情報は、この制限の下にエレメンタリエンコードされる必要がある。
上記問題が発生する典型的な例は、素材がフィルム（２４Frame/second）の場合でありかつテレシネ変換が行われている場合である。テレシネ変換とはフィルムの秒あたりのフレーム数が２４であるため、通常のテレビジョン信号に変換する際にフィールド補間を施し、秒あたりのフレーム数を３０に変換する処理である。テレシネ変換された素材をＭＰＥＧデータに変換するに際しては、補間により挿入されたフィールドは冗長であるため、圧縮効率を上げるため、逆テレシネ変換を施しフレーム数を２４に戻してからＭＰＥＧデータに圧縮される。
しかしながら、この逆テレシネ変換は全体として３０フレームを２４フレームに変換してはいるが、局所的なビデオデータが一律にこの比率で変換されるわけではなく、局所的には２４〜３０にばらついて変換される。このため、アングル区間に属する各ビデオデータに対し、この逆テレシネ変換を施すとピクチャ数は一定にならず、各ＶＯＢのＧＯＰ構造が異なることになる。
前記ＧＯＰ構造が等しい条件での一つである、ピクチャ数に関して詳述する。ここでいうピクチャ数とは正確には、ＧＯＰに含まれる再生されるピクチャ数を意味する。それ故に、ＧＯＰに於けるエンコード対象フレームと、再生されるピクチャ数は一致するとは限り無い。逆テレシネ変換に於いて、３０ｆｐｓから２４ｆｐｓにエンコードされる場合、ピクチャ数は明らかに減少する。この場合、変換によりどのフィールドが間引かれたか、また何時再生すればいいのかという情報は、ＲＦＦフラグやＴＦＦフラグとしてエンコード後のストリームに記述される。（RFF:Repeat First Field、TFF:Top Field First）。従って、エンコード対象フレームが同じ構造を有するＧＯＰであっても、上記フラグ（ＲＦＦ）がＯＮになっているピクチャ数が異なれば、再生時間は異なってくる。
また、さらに、ビデオデータに含まれる音声データのチャネル数及び副映像データのチャネル数は等しい必要がある。これは、チャネル数が異なれば、ビデオデータの切り替え前に選択されていたチャネルがビデオデータの切り替え後に存在しない事があるからである。すなわち、エレメンタリエンコード時に、アングル区間に属するビデオデータに含まれる音声データまたは副映像データはそのチャネル数が等しくなる分だけエレメンタリエンコードされる必要がある。
本発明に係るＤＶＤシステムのデータ構造に付いて、図５、図６、図７、及び図８を参照して、後で説明する。
＜２．５＞マルチシーン
上述の、パレンタルロック再生及びマルチアングル再生の要求を満たすために、各要求通りの内容のタイトルを其々に用意していれば、ほんの一部分の異なるシーンデータを有する概ね同一内容のタイトルを要求数だけ用意して、記録媒体に記録しておかなければならない。これは、記録媒体の大部分の領域に同一のデータを繰り返し記録することになるので、記録媒体の記憶容量の利用効率を著しく疎外する。さらに、ＤＶＤの様な大容量の記録媒体をもってしても、全ての要求に対応するタイトルを記録することは不可能である。この様な問題は、基本的に記録媒体の容量を増やせれば解決するとも言えるが、システムリソースの有効利用の観点から非常に望ましくない。
ＤＶＤシステムに於いては、以下にその概略を説明するマルチシーン制御を用いて、多種のバリエーションを有するタイトルを最低必要限度のデータでもって構成し、記録媒体等のシステムリソースの有効活用を可能としている。つまり、様々なバリエーションを有するタイトルを、各タイトル間での共通のデータからなる基本シーン区間と、其々の要求に即した異なるシーン群からなるマルチシーン区間とで構成する。そして、再生時に、ユーザが各マルチシーン区間での特定のシーンを自由、且つ随時に選択できる様にしておく。なお、パレンタルロック再生及びマルチアングル再生を含むマルチシーン制御に関して、後で、図９を参照して説明する。
＜３．１＞ＤＶＤシステムのデータ構造
図５に、図１に示したビデオタイトルセットＶＴＳの内部構造を示す。ビデオタイトルセットＶＴＳは、ディスク全体の管理情報を表すＶＴＳ情報（ＶＴＳＩ）と、マルチメディアビットストリームのシステムストリームであるＶＴＳタイトル用ＶＯＢＳ（VTSTT_VOBS）に大別される。先ず、以下にＶＴＳ情報について説明した後に、ＶＴＳタイトル用ＶＯＢＳについて説明する。
ＶＴＳ情報は、主に、ＶＴＳＩ管理テーブル（VTSI_MAT）及びＶＴＳＰＧＣ情報テーブル（VTS_PGCIT）を含む。
ＶＴＳＩ管理テーブルは、ビデオタイトルセットＶＴＳの内部構成及び、ビデオタイトルセットＶＴＳ中に含まれる選択可能なオーディオストリームの数、サブピクチャの数およびビデオタイトルセットＶＴＳの格納場所等が記述される。
ＶＴＳＰＧＯ情報管理テーブルは、再生順を制御するプログラムチェーン（ＰＧＣ）を表すｉ個（ｉは自然数）のＰＧＣ情報VTS_PGCI#1〜VTS_PGCI#Iを記録したテーブルである。各エントリーのＰＧＣ情報VTS_PGCI#Iは、プログラムチェーンを表す情報であり、ｊ個（ｊは自然数）のセル再生情報C_PBI#1〜C_PBI#jから成る。各セル再生情報C_PBI#jは、セルの再生順序や再生に関する制御情報を含む。
また、プログラムチェーンＰＧＣとは、タイトルのストーリーを記述する概念であり、セル（後述）の再生順を記述することでタイトルを形成する。上記ＶＴＳ情報は、例えば、メニューに関する情報の場合には、再生開始時に再生装置内のバッファに格納され、再生の途中でリモコンの「メニュ」キーが押下された時点で再生装置により参照され、例えば＃１のトップメニューが表示される。階層メニューの場合は、例えば、プログラムチェーン情報VTS_PGCI#1が「メニュー」キー押下により表示されるメインメニューであり、＃２から＃９がリモコンの「テンキー」の数字に対応するサブメニュー、＃１０以降がさらに下位層のサブメニューというように構成される。また例えば、＃１が「メニュー」キー押下により表示されるトップメニュー、＃２以降が「テン」キーの数字に対応して再生される音声ガイダンスというように構成される。
メニュー自体は、このテブルに指定される複数のプログラムチェーンで表されるので、階層メニューであろうが、音声ガイダンスを含むメニューであろうが、任意の形態のメニューを構成することを可能にしている。
また例えば、映画の場合には、再生開始時に再生装置内のバッファに格納され、ＰＧＣ内に記述しているセル再生順序を再生装置が参照し、システムストリームを再生する。
ここで言うセルとは、システムストリームの全部または一部であり、再生時のアクセスポイントとして使用される。たとえば、映画の場合は、タイトルを途中で区切っているチャプターとして使用する事ができる。
尚、エントリーされたＰＧＣ情報C_PBI#jの各々は、セル再生処理情報及び、セル情報テーブルを含む。再生処理情報は、再生時間、繰り返し回数などのセルの再生に必要な処理情報から構成される。ブロックモード（ＣＢＭ）、セルブロックタイブ（CBT）、シームレス再生フラグ（SPF）、インターリーブブロック配置フラグ（IAF）、ＳＴＣ再設定フラグ（STCDF）、セル再生時間（C_PBTM）、シームレスアングル切替フラグ（SACF）、セル先頭ＶＯＢＵ開始アドレス（C_FVOBU_SA）、及びセル終端ＶＯＢＵ開始アドレス（C_LVOBU_SA）から成る。
ここで言う、シームレス再生とは、ＤＶＤシステムに於いて、映像、音声、副映像等のマルチメディアデータを、各データ及び情報を中断する事無く再生することであり、詳しくは、図１０及び図１１を参照して後で説明する。
ブロックモードＣＢＭは複数のセルが１つの機能ブロックを構成しているか否かを示し、機能ブロックを構成する各セルのセル再生情報は、連続的にＰＧＯ情報内に配置され、その先頭に配置されるセル再生情報のＣＢＭには、“ブロックの先頭セル”を示す値、その最後に配置されるセル再生情報のＣＢＭには、“ブロックの最後のセル”を示す値、その間に配置されるセル再生情報のＣＢＭには“ブロック内のセル”を示す値を示す。
セルブロックタイプCBTは、ブロックモードＣＢＭで示したブロックの種類を示すものである。例えばマルチアングル機能を設定する場合には、各アングルの再生に対応するセル情報を、前述したような機能ブロックとして設定し、さらにそのプロックの種類として、各セルのセル再生情報のCBTに“アングル”を示す値を設定する。
シームレス再生フラグSPFは、該セルが前に再生されるセルまたはセルブロックとシームレスに接続して再生するか否かを示すフラグであり、前セルまたは前セルブロックとシームレスに接続して再生する場合には、該セルのセル再生情報のSPFにはフラグ値１を設定する。そうでない場合には、フラグ値０を設定する。
インターリーブアロケーションフラグＩＡＦは、該セルがインターリーブ領域に配置されているか否かを示すフラグであり、インターリーブ領域に配置されている場合には、該セルのインターリーブアロケーションフラグＩＡＦにはフラグ値１を設定する。そうでない場合には、フラグ値０を設定する。
ＳＴＣ再設定フラグＳＴＣＤＦは、同期をとる際に使用するＳＴＣをセルの再生時に再設定する必要があるかないかの情報であり、再設定が必要な場合にはフラグ値１を設定する。そうでない場合には、フラグ値０を設定する。
シームレスアングルチェンジフラグＳＡＣＦは、該セルがアングル区間に属しかつ、シームレスに切替える場合、該セルのシームレスアングルチェンジフラグＳＡＣＦにはフラグ値１を設定する。そうでない場合には、フラグ値０を設定する。
セル再生時間（C_PBTM)はセルの再生時間をビデオのフレーム数精度で示している。
C_LVOBU_SAは、セル終端ＶＯＢＵ開始アドレスを示し、その値はＶＴＳタイトル用ＶＯＢＳ（VTSTT_VOBS）の先頭セルの論理セクタからの距離をセクタ数で示している。C_FVOBU_SAはセル先頭ＶＯＢＵ開始アドレスを示し、ＶＴＳタイトル用ＶＯＢＳ（VTSTT_VOBS）の先頭セルの論理セクタから距離をセクタ数で示している。
次に、ＶＴＳタイトル用ＶＯＢＳ、つまり、１マルチメディアシステムストリームデータVTSTT_VOBSに付いて説明する。システムストリームデータVTSTT_VOBSは、ビデオオブジェクトＶＯＢと呼ばれるｉ個（ｉは自然数）のシステムストリームＳＳからなる。各ビデオオブジェクトVOB#1〜VOB#iは、少なくとも１つのビデオデータで構成され、場合によっては最大８つのオーディオデータ、最大３２の副映像データまでがインターリーブされて構成される。
各ビデオオブジェクトＶＯＢは、ｑ個（ｑは自然数）のセルＣ＃１〜Ｃ＃ｑから成る。各セルＣは、ｒ個（ｒは自然数）のビデオオブジェクトユニットＶＯＢＵ＃１〜ＶＯＢＵ＃ｒから形成される。
各ＶＯＢＵは、ビデオエンコードのリフレッシュ周期であるＧＯＰの複数個及び、それに相当する時間のオーディオおよびサブピクチャからなる。また、各ＶＯＢＵの先頭には、該ＶＯＢＵの管理情報であるナブパックＮＶを含む。ナブパックＮＶの構成については、図７を参照して後述する。
図６に、図１２を参照して後述するエンコーダＥＣによってエンコードされたシステムストリームＳｔ３５（図１２）、つまりビデオゾーンＶＺの内部構造を示す。同図に於いて、ビデオエンコードストリームＳｔ１５は、ビデオエンコーダ３００によってエンコードされた、圧縮された一次元のビデオデータ列である。オーディオエンコードストリームＳｔ１９も、同様に、オーディオエンコーダ７００によってエンコードされた、ステレオの左右の各データが圧縮、及び統合された一次元のオーディオデータ列である。また、オーディオデータとしてサラウンド等のマルチチャネルでもよい。但し、オーディオエンコードストリームＳｔ１９は、一つでは無く、Ｓｔ１９Ａ、Ｓｔ１９Ｂ、及びＳｔ１９Ｃと３列のオーディオデータ列がソースとして入力されている。これら、合計６列の圧縮データ列が、一つのシステムストリームＳｔ３５にインターリーブされる。
更に、副画像データ列であるサブピクチャエンコードストリームＳｔ１７も、Ｓｔ１７Ａ及びＳｔ１７Ｂと二列のデータがソースとして入力されている。これら、合計６列の圧縮データ列が、一つのシステムストリームＳｔ３５にインターリーブされる。
システムストリームＳｔ３５は、２０４８バイトの容量を有する論理セクタＬＳ＃ｎに相当するバイト数を有するパックが一次元に配列された構造を有している。システムストリームＳｔ３５の先頭、つまりＶＯＢＵの先頭には、ナビゲーションパックＮＶと呼ばれる、システムストリーム内のデータ配列等の管理情報を記録した、ストリーム管理パックが配置される。
ビデオエンコードストリームＳｔ１５及びオーディオエンコードストリームＳｔ１９Ａ、Ｓｔ１９Ｂ、及びＳｔ１９ＣとサブピクチャエンコードストリームＳｔ１７も、Ｓｔ１７Ａ及びＳｔ１７Ｂは、それぞれ、システムストリームのパックに対応するバイト数毎にパケット化される。これらパケットは図中で、Ｖ１、Ｖ２、Ｖ３、Ｖ４、・・、Ａａ１、Ａａ２、・・、Ａｂ１、Ａｂ２、・・、Ａｃ１、Ａｃ２、・・、Ｓｐａ１、Ｓｐａ２、・・、及びＳｐｂ１、Ｓｐｂ２、・・、と表現されている。これらパケットは、ビデオ、オーディオ各データ伸長用のデコーダの処理時間及びデコーダのバッファサイズを考慮して適切な順番に図中のシステムストリームＳｔ３５としてインターリーブされ、パケットの配列をなす。例えば、本例ではＶ１、Ｖ２、Ａａ１、Ａｂ１、Ａｃ１，ＳＰａ１、Ｓｐｂ１の順番に配列されている。
このように、ＤＶＤシステムに於いては、記録再生容量が大幅に拡大され、高速の記録再生が実現され、信号処理用ＬＳＩの性能向上が図られた結果、一つの動画像データに複数のオーディオデータや複数のグラフィックスデータである副映像データが、一つのＭＰＥＧシステムストリームとしてインターリーブされた形態で記録され、再生時に複数のオーディオデータや複数の副映像データから選択的な再生を行うことが可能となる。
ビデオデータはＭＰＥＧ方式で符号化されており、ＧＯＰという単位が圧縮の単位になっており、ＧＯＰ単位は、標準的にはＮＴＳＣの場合、１５フレームで１ＧＯＰを構成するが、そのフレーム数は可変になっている。インターリーブされたデータ相互の関連などの情報をもつ管理用のデータを表すストリーム管理パックも、ビデオデータを基準とするＧＯＰを単位とする間隔で、インターリーブされる事になり、ＧＯＰを構成するフレーム数が変われば、その間隔も変動する事になる。ＤＶＤでは、その間隔を再生時間長で、０．４秒から１．０秒の範囲内として、その境界はＧＯＰ単位としている。もし、連続する複数のＧＯＰの再生時間が１秒以下であれば、その複数ＧＯＰのビデオデータに対して、管理用のデータパックが１つのストリーム中にインターリーブされる事になる。
ＤＶＤではこのような、管理用データパックをナブパックＮＶと呼び、このナブパックＮＶから、次のナブパックＮＶ直前のパックまでをビデオオブジェクトユニット（以下ＶＯＢＵと呼ぶ）と呼び、一般的に１つのシーンと定義できる１つの連続した再生単位をビデオオブジェクトと呼び（以下ＶＯＢと呼ぶ）、１つ以上のＶＯＢＵから構成される事になる。また、ＶＯＢが複数集まったデータの集合をＶＯＢセット（以下ＶＯＢＳと呼ぶ）と呼ぶ。これらは、ＤＶＤに於いて初めて採用されたデータ形式である。
このように複数のデータ列がインターリーブされる場合、インターリーブされたデータ相互の関連を示す管理用のデータを表すナビゲーションパックＮＶも、所定のパック数単位と呼ばれる単位でインターリーブされる必要がある。ＧＯＰは、通常１２から１５フレームの再生時間に相当する約０．５秒のビデオデータをまとめた単位であり、この時間の再生に要するデータパケット数に一つのストリーム管理パケットがインターリーブされると考えられる。
図７は、システムストリームを構成する、インターリーブされたビデオデータ、オーディオデータ、副映像データのパックに含まれるストリーム管理情報を示す説明図である。同図のようにシステムストリーム中の各データは、ＭＰＥＧ２に準拠するパケット化およびパック化された形式で記録される。ビデオ、オーディオ、及び副画像データ共、パケットの構造は、基本的に同じである。ＤＶＤシステムに於いては、１パックは、前述の如く２０４８バイトの容量を有し、ＰＥＳパケットと呼ばれる１パケットを含み、パックヘッダＰＫＨ、パケットヘッダＰＴＨ、及びデータ領域から成る。
パックヘッダＰＫＨ中には、そのパックが図３におけるストリームバッファ２４００からシステムデコーダ２５００に転送されるべき時刻、つまりＡＶ同期再生のための基準時刻情報、を示すＳＣＲ（System Clock Reference）が記録されている。ＭＰＥＧに於いては、このＳＣＲをデコーダ全体の基準クロックとすること、を想定しているが、ＤＶＤなどのディスクメディアの場合には、個々のプレーヤに於いて閉じた時刻管理で良い為、別途にデコーダ全体の時刻の基準となるクロックを設けている。また、パケットヘッダＰＴＨ中には、そのパケットに含まれるビデオデータ或はオーディオデータがデコードされた後に再生出力として出力されるべき時刻を示すＰＴＳや、ビデオストリームがデコードされるべき時刻を示すＤＴＳなどが記録されているＰＴＳおよびＤＴＳは、パケット内にデコード単位であるアクセスユニットの先頭がある場合に置かれ、ＰＴＳはアクセスユニットの表示開始時刻を示し、ＤＴＳはアクセスユニットのデコード開始時刻を示している。また、ＰＴＳとＤＴＳが同時刻の場合、ＤＴＳは省略される。
更に、パケットヘッダＰＴＨには、ビデオデータ列を表すビデオパケットであるか、プライベートパケットであるか、ＭＰＥＧオーディオパケットであるかを示す８ビット長のフィールドであるストリームＩＤが含まれている。
ここで、プライベートパケットとは、ＭＰＥＧ２の規格上その内容を自由に定義してよいデータであり、本実施形態では、プライベートパケット１を使用してオーディオデータ（ＭＰＥＧオーディオ以外）および副映像データを搬送し、プライベートパケット２を使用してＰＣＩパケットおよびＤＳＩパケットを搬送している。
プライベートパケット１およびプライベートパケット２はパケットヘッダ、プライベートデータ領域およびデータ領域からなる。プライベートデータ領域には、記録されているデータがオーディオデータであるか副映像データであるかを示す、８ビット長のフィルドを有するサブストリームＩＤが含まれる。プライベートパケット２で定義されるオーディオデータは、リニアＰＣＭ方式、ＡＣ−３方式それぞれについて＃０〜＃７まで最大８種類が設定可能である。また副映像データは、＃０〜＃３１までの最大３２種類が設定可能である。
データ領域は、ビデオデータの場合はＭＰＥＧ２形式の圧縮データ、オーディオデータの場合はリニアＰＣＭ方式、ＡＣ−３方式又はＭＰＥＧ方式のデータ、副映像データの場合はランレングス符号化により圧縮されたグラフィックスデータなどが記録されるフィールドである。
また、ＭＰＥＧ２ビデオデータは、その圧縮方法として、固定ビットレート方式（以下「ＣＢＲ」とも記す）と可変ビットレート方式（以下「ＶＢＲ」とも記す）が存在する。固定ビットレート方式とは、ビデオストリームが一定レートで連続してビデオバッファへ入力される方式である。これに対して、可変ビットレート方式とは、ビデオストリームが間欠して（断続的に）ビデオバッファへ入力される方式であり、これにより不要な符号量の発生を抑えることが可能である。ＤＶＤでは、固定ビットレート方式および可変ビットレート方式とも使用が可能である。ＭＰＥＧでは、動画像データは、可変長符号化方式で圧縮されるために、ＧＯＰのデータ量が一定でない。さらに、動画像とオーディオのデコード時間が異なり、光ディスクから読み出した動画像データとオーディオデータの時間関係とデコーダから出力される動画像データとオーディオデータの時間関係が一致しなくなる。このため、動画像とオーディオの時間的な同期をとる方法を、後程詳述するが、一先ず、簡便のため固定ビットレート方式を基に説明をする。
図８に、ナブパックＮＶの構造を示す。ナブパックＮＶは、ＰＣＩパケットとＤＳＩパケットからなり、先頭にパックヘッダＰＫＨを設けている。ＰＫＨには、前述したとおり、そのパックが図３におけるストリームバッファ２４００からシステムデコーダ２５００に転送されるべき時刻、つまりＡＶ同期再生のための基準時刻情報、を示すＳＣＲが記録されている。
ＰＣＩパケットは、ＰＣＩ情報（PCI_GI）と非シームレスマルチアングル情報（NSML_AGLI）を有している。
ＰＣＩ情報（PCI_GI）には、該ＶＯＢＵに含まれるビデオデータの先頭ビデオフレーム表示時刻（VOBU_S_PTM）及び最終ビデオフレーム表示時刻（VOBU_E_PTM）をシステムクロック精度（９０ＫＨｚ）で記述する。
非シームレスマルチアングル情報（NSML_AGLI）には、アングルを切り替えた場合の読み出し開始アドレスをＶＯＢ先頭からのセクタ数として記述する。この場合、アングル数は９以下であるため、領域として９アングル分のアドレス記述領域（NSML_AGL_C1_DSTA〜NSML_AGL_C9_DSTA）を有す。
ＤＳＩパケットにはＤＳＩ情報（DSI_GI）、シームレス再生情報（SML_PBI）
およびシームレスマルチアングル再生情報（SML_AGLI）を有している。
ＤＳＩ情報（DSI_GI）として該ＶＯＢＵ内の最終パックアドレス（VOBU_EA）
をＶＯＢＵ先頭からのセクタ数として記述する。
シームレス再生に関しては後述するが、分岐あるいは結合するタイトルをシームレスに再生するために、連続読み出し単位をＩＬＶＵ（InterIeaved Unit)として、システムストリームレベルでインターリーブ（多重化）する必要がある。複数のシステムストリームがＩＬＶＵを最小単位としてインタリーブ処理されている区間をインターリープブロックと定義する。
このようにＩＬＶＵを最小単位としてインターリーブされたストリームをシームレスに再生するために、シームレス再生情報（SML_PBI）を記述する。シームレス再生情報（SML_PBI）には、該ＶＯＢＵがインターリーブブロックかどうかを示すインターリーブユニットフラグ（ILVUflag）を記述する。このフラグはインターリーブ領域に（後述）に存在するかを示すものであり、インターリーブ領域に存在する場合”１”を設定する。そうでない場合には、フラグ値０を設定する。
また、該ＶＯＢＵがインターリーブ領域に存在する場合、該ＶＯＢＵがＩＬＶＵの最終ＶＯＢＵかを示すユニットエンドフラグ（UNIT ENDFlag）を記述する。ＩＬＶＵは、連続読み出し単位であるので、現在読み出しているＶＯＢＵが、ＩＬＶＵの最後のＶＯＢＵであれば”１”を設定する。そうでない場合には、フラグ値０を設定する。
該ＶＯＢＵがインターリーブ領域に存在する場合、該ＶＯＢＵが属するＩＬＶＵの最終パックのアドレスを示すＩＬＶＵ最終パックアドレス（ILVU_EA）を記述する。ここでアドレスとして、該ＶＯＢＵのＮＶからのセクタ数で記述する。また、該ＶＯＢＵがインターリーブ領域に存在する場合、次のＩＬＶＵの開始アドレス（NT_ILVU_SA）を記述する。ここでアドレスとして、該ＶＯＢＵのＮＶからのセクタ数で記述する。
また、２つのシステムストリームをシームレスに接続する場合に於いて、特に接続前と接続後のオーディオが連続していない場合（異なるオーディオの場合等）、接続後のビデオとオーディオの同期をとるためにオーディオを一時停止（ポーズ）する必要がある。例えば、ＮＴＳＣの場合、ビデオのフレーム周期は約33.33msecであり、オーディオＡＣ３のフレーム周期は32msecである。
このためにオーディオを停止する時間および期間情報を示すオーディオ再生停止時刻１（VOBU_A_STP_PTM1）、オーディオ再生停止時刻２（VOBU_A_STP_PTM2）、オーディオ再生停止期間１（VOB_A_GAP_LEN1）、オーディオ再生停止期間２（VOB_A_GAP_LEN2）を記述する。この時間情報はシステムクロック精度（９０ＫＨｚ）で記述される。
また、シームレスマルチアングル再生情報（SML_AGLI）として、アングルを切り替えた場合の読み出し開始アドレスを記述する。このフィールドはシームレスマルチアングルの場合に有効なフィールドである。このアドレスは該ＶＯＢＵのＮＶからのセクタ数で記述される。また、アングル数は９以下であるため、領域として９アングル分のアドレス記述領域：（SML_AGL_C1_DSTA〜SML_AGL_C9_DSTA）を有す。
＜３．２＞ＤＶＤエンコーダ
図１２に、本発明に係るマルチメディアビットストリームオーサリングシステムを上述のＤＶＤシステムに適用した場合の、オーサリングエンコーダＥＣＤの一実施形態を示す。ＤＶＤシステムに適用したオーサリングエンコーダＥＣＤ（以降、ＤＶＤエンコーダと呼称する）は、図２に示したオーサリングエンコーダＥＣに、非常に類似した構成になっている。
ＤＶＤオーサリングエンコーダＥＣＤは、基本的には、オーサリングエンコーダＥＣのビデオゾーンフォーマッタ１３００が、ＶＯＢバッファ１０００とフォーマッタ１１００にとって変わられた構造を有している。言うまでもなく、本発明のエンコーダによってエンコードされたビットストリームは、ＤＶＤ媒体Ｍに記録される。以下に、ＤＶＤオーサリングエンコーダＥＣＤの動作をオーサリングエンコーダＥＣと比較しながら説明する。尚、図１２に示すオーサリングエンコーダＥＣＤでは、図２に示すオーサリングエンコーダＥＣと異なり、エンコードシステム制御部２００から編集制御指示データＳｔ７‘が編集情報作成部１００にフィードバックされていないが、本質的な問題では無いので説明を省く。
ＤＶＤオーサリングエンコーダＥＣＤに於いても、オーサリングエンコーダＥＣと同様に、編集情報作成部１００から入力されたユーザーの編集指示内容を表すシナリオデータＳｔ７に基づいて、エンコードシステム制御部２００が、各制御信号Ｓｔ９、Ｓｔ１１、Ｓｔ１３、Ｓｔ２１、Ｓｔ２３、Ｓｔ２５、Ｓｔ３３、及びＳｔ３９を生成して、ビデオエンコーダ３００、サブピクチャエンコーダ５００、及びオーディオエンコーダ７００を制御する。尚、ＤＶＤシステムに於ける編集指示内容とは、前述のオーサリングシステムに於ける編集指示内容と同様に、複数のタイトル内容を含む各ソースデータの全部或いは、其々に対して、所定時間毎に各ソースデータの内容を一つ以上選択し、それらの選択された内容を、所定の方法で接続再生するような情報を含むと共に、更に、以下の情報を含む。つまり、マルチタイトルソースストリームを、所定時間単位毎に分割した編集単位に含まれるストリーム数、各ストリーム内のオーディオ数やサブピクチャ数及びその表示期間等のデータ、パレンタルあるいはマルチアングルなど複数ストリームから選択するか否か、設定されたマルチアングル区間でのシーン間の切り替え接続方法などの情報を含む。
尚、ＤＶＤシステムに於いては、シナリオデータＳｔ７には、メディアソースストリームをエンコードするために必要な、ＶＯＢ単位での制御内容、つまり、マルチアングルであるかどうか、パレンタル制御を可能とするマルチレイティッドタイトルの生成であるか、後述するマルチアングルやパレンタル制御の場合のインターリーブとディスク容量を考慮した各ストリームのエンコード時のビットレート、各制御の開始時間と終了時間、前後のストリームとシームレス接続するか否かの内容が含まれる。エンコードシステム制御部２００は、シナリオデータＳｔ７から情報を抽出して、エンコード制御に必要な、エンコード情報テーブル及びエンコードパラメータを生成する。エンコード情報テーブル及びエンコードパラメータについては、後程、図１３、図１４、及び図１５を参照して詳述する。尚、これらのエンコード情報テーブル及びエンコードパラメータは、オーサリングエンコードパラメータをＤＶＤシームレスオーサリングにおいて生成した場合の例である。
システムストリームエンコードパラメータデータ及びシステムエンコード開始終了タイミングの信号Ｓｔ３３には上述の情報をＤＶＤシステムに適用してＶＯＢ生成情報を含む。ＶＯＢ生成情報として、前後の接続条件、オーディオ数、オーディオのエンコード情報、オーディオＩＤ、サブピクチャ数、サブピクチャＩＤ、ビデオ表示を開始する時刻情報（ＶＰＴＳ）、オーディオ再生を開始する時刻情報（ＡＰＴＳ）等がある。更に、マルチメディアビットストリームＭＢＳのフォーマットパラメータデータ及びフォーマット開始終了タイミングの信号Ｓｔ３９は、再生制御情報及びインターリーブ情報を含む。
ビデオエンコーダ３００は、ビデオエンコードのためのエンコードパラメータ信号及びエンコード開始終了タイミングの信号Ｓｔ９に基づいて、ビデオストリームＳｔ１の所定の部分をエンコードして、ＩＳＯ１３８１８に規定されるＭＰＥＧ２ビデオ規格に準ずるエレメンタリーストリームを生成する。そして、このエレメンタリーストリームをビデオエンコードストリームＳｔ１５として、ビデオストリームバッファ４００に出力する。
ここで、ビデオエンコーダ３００に於いてＩＳＯ１３８１８に規定されるＭＰＥＧ２ビデオ規格に準ずるエレメンタリストリームを生成するが、ビデオエンコードパラメータデータを含む信号Ｓｔ９に基に、エンコードパラメータとして、エンコード開始終了タイミング、ビットレート、エンコード開始終了時にエンコード条件、素材の種類として、ＮＴＳＣ信号またはＰＡＬ信号あるいはテレシネ素材であるかなどのパラメータ及びオーブンＧＯＰ或いはクローズドＧＯＰのエンコードモードの設定がエンコードパラメータとしてそれぞれ入力される。
ＭＰＥＧ２の符号化方式は、基本的にフレーム間の相関を利用する符号化である。つまり、符号化対象フレームの前後のフレームを参照して符号化を行う。しかし、エラー伝播およびストリーム途中からのアクセス性の面で、他のフレームを参照しない（イントラフレーム）フレームを挿入する。このイントラフレームを少なくとも１フレームを有する符号化処理単位をＧＯＰと呼ぶ。
このＧＯＰに於いて、完全に該ＧＯＰ内で符号化が閉じているＧＯＰがクローズドＧＯＰであり、前のＧＯＰ内のフレームを参照するフレームが該ＧＯＰ内に存在する場合、該ＧＯＰをオープンＧＯＰと呼ぶ。
従って、クローズドＧＯＰを再生する場合は、該ＧＯＰのみで再生できるが、オープンＧＯＰを再生する場合は、一般的に１つ前のＧＯＰが必要である。
また、ＧＯＰの単位は、アクセス単位として使用する場合が多い。例えば、タイトルの途中からの再生する場合の再生開始点、映像の切り替わり点、あるいは早送りなどの特殊再生時には、ＧＯＰ内のフレーム内符号化フレームであるいフレームのみをＧＯＰ単位で再生する事により、高速再生を実現する。
サブピクチャエンコーダ５００は、サブピクチャストリームエンコード信号Ｓｔ１１に基づいて、サブピクチャストリームＳｔ３の所定の部分をエンコードして、ビットマップデータの可変長符号化データを生成する。そして、この可変長符号化データをサブピクチャエンコードストリームＳｔ１７として、サブピクチャストリームバッファ６００に出力する。
オーディオエンコーダ７００は、オーディオエンコード信号Ｓｔ１３に基づいて、オーディオストリームＳｔ５の所定の部分をエンコードして、オーディオエンコードデータを生成する。このオーディオエンコードデータとしては、ＩＳＯ１１１７２に規定されるＭＰＥＧ１オーディオ規格及びＩＳＯ１３８１８に規定されるＭＰＥＧ２オーディオ規格に基づくデータ、また、ＡＣ−３オーディオデータ、及びＰＣＭ（ＬＰＣＭ）データ等がある。これらのオーディオデータをエンコードする方法及び装置は公知である。
ビデオストリームバッファ４００は、ビデオエンコーダ３００に接続されており、ビデオエンコーダ３００から出力されるビデオエンコードストリームＳｔ１５を保存する。ビデオストリームバッファ４００は更に、エンコードシステム制御部２００に接続されて、タイミング信号Ｓｔ２１の入力に基づいて、保存しているビデオエンコードストリームＳｔ１５を、調時ビデオエンコードストリームＳｔ２７として出力する。
同様に、サブピクチャストリームバッファ６００は、サブピクチャエンコーダ５００に接続されており、サブピクチャエンコーダ５００から出力されるサブピクチャエンコードストリームＳｔ１７を保存する。サブピクチャストリームバッファ６００は更に、エンコードシステム制御部２００に接続されて、タイミング信号Ｓｔ２３の入力に基づいて、保存しているサブピクチャエンコードストリームＳｔ１７を、調時サブピクチャエンコードストリームＳｔ２９として出力する。
また、オーディオストリームバッファ８００は、オーディオエンコーダ７００に接続されており、オーディオエンコーダ７００から出力されるオーディオエンコードストリームＳｔ１９を保存する。オーディオストリームバッファ８００は更に、エンコードシステム制御部２００に接続されて、タイミング信号Ｓｔ２５の入力に基づいて、保存しているオーディオエンコードストリームＳｔ１９を、調時オーディオエンコードストリームＳｔ３１として出力する。
システムエンコーダ９００は、ビデオストリームバッファ４００、サブピクチャストリームバッファ６００、及びオーディオストリームバッファ８００に接続されており、調時ビデオエンコードストリームＳｔ２７、調時サブピクチャエンコードストリームＳｔ２９、及び調時オーディオエンコードＳｔ３１が入力される。
システムエンコーダ９００は、またエンコードシステム制御部２００に接続されており、システムエンコードのためのエンコードパラメータデータを含むＳｔ３３が入力される。
システムエンコーダ９００は、エンコードパラメータデータ及びエンコード開始終了タイミング信号Ｓｔ３３に基づいて、各調時ストリームＳｔ２７、Ｓｔ２９、及びＳｔ３１に多重化（マルチプレクス）処理を施して、最小タイトル編集単位（ＶＯＢｓ）Ｓｔ３５を生成する。
ＶＯＢバッファ１０００はシステムエンコーダ９００に於いて生成されたＶＯＢを一時格納するバッファ領域であり、フォーマッタ１１００では、Ｓｔ３９に従ってＶＯＢバッファ１１００から調時必要なＶＯＢを読み出し１ビデオゾーンＶＺを生成する。また、同フォーマッタ１１００に於いてはファイルシステム（ＶＦＳ）を付加してＳｔ４３を生成する。
このユーザの要望シナリオの内容に編集された、ストリームＳｔ４３は、記録部１２００に転送される。記録部１２００は、編集マルチメディアビットストリームＭＢＳを記録媒体Ｍに応じた形式のデータＳｔ４３に加工して、記録媒体Ｍに記録する。
＜３．３＞ＤＶＤデコーダ
＜３．３．１＞マルチシーン
図９を用いて、本発明に於けるマルチシーン制御の概念を説明する。既に、上述したように、各タイトル間での共通のデータからなる基本シーン区間と、其々の要求に即した異なるシーン群からなるマルチシーン区間とで構成される。同図に於いて、シーン１、シーン５、及びシーン８が共通シーンである。共通シーン１とシーン５の間のアングルシーン及び、共通シーン５とシーン８の間のパレンタルシーンがマルチシーン区間である。マルチアングル区間に於いては、異なるアングル、つまりアングル１、アングル２、及びアングル３、から撮影されたシーンの何れかを、再生中に動的に選択再生できる。パレンタル区間に於いては、異なる内容のデータに対応するシーン６及びシーン７の何れかをあらかじめ静的に選択再生できる。
このようなマルチシーン区間のどのシーンを選択して再生するかというシナリオ内容を、ユーザはシナリオ選択部２１００にて入力してシナリオ選択データＳｔ５１として生成する。図中に於いて、シナリオ１では、任意のアングルシーンを自由に選択し、パレンタル区間では予め選択したシーン６を再生することを表している。同様に、シナリオ２では、アングル区間では、自由にシーンを選択でき、パレンタル区間では、シーン７が予め選択されていることを表している。
以下に、図９で示したマルチシーンをＤＶＤのデータ構造を用いた場合の、ＰＧＣ情報VTS_PGCIについて、図１６、及び図１７を参照して説明する。
図１６には、図９に示したユーザ指示のシナリオを図５のＤＶＤデータ構造内のビデオタイトルセットの内部構造を表すＶＴＳＩデータ構造で記述した場合について示す。図において、図９のシナリオ１、シナリオ２は、図５のＶＴＳＩ中のプログラムチェーン情報ＶＴＳ＿ＰＧＣＩＴ内の２つプログラムチェーンVTS_PGCI#1とVTS_PGCI#2として記述される。すなわち、シナリオ１を記述するVTS_PGCI#1は、シーン１に相当するセル再生情報Ｃ＿ＰＢＩ＃１、マルチアングルシーンに相当するマルチアングルセルブロック内のセル再生情報Ｃ＿ＰＢＩ＃２，セル再生情報Ｃ＿ＰＢＩ＃３，セル再生情報Ｃ＿ＰＢＩ＃４、シーン５に相当するセル再生情報Ｃ＿ＰＢＩ＃５、シーン６に相当するセル再生情報Ｃ＿ＰＢＩ＃６、シーン８に相当するＣ＿ＰＢＩ＃７からなる。
また、シナリオ２を記述するVTS_PGC#2は、シーン１に相当するセル再生情報Ｃ＿ＰＢＩ＃１、マルチアングルシーンに相当するマルチアングルセルブロック内のセル再生情報Ｃ＿ＰＢＩ＃２，セル再生情報Ｃ＿ＰＢＩ＃３，セル再生情報Ｃ＿ＰＢＩ＃４、シーン５に相当するセル再生情報Ｃ＿ＰＢＩ＃５、シーン７に相当するセル再生情報Ｃ＿ＰＢＩ＃６、シーン８に相当するＣ＿ＰＢＩ＃７からなる。ＤＶＤデータ構造では、シナリオの１つの再生制御の単位であるシーンをセルというＤＶＤデータ構造上の単位に置き換えて記述し、ユーザの指示するシナリオをＤＶＤ上で実現している。
図１７には、図９に示したユーザ指示のシナリオを図５のＤＶＤデータ構造内のビデオタイトルセット用のマルチメディアビットストリームであるＶＯＢデータ構造ＶＴＳＴＴ＿ＶＯＢＳで記述した場合について示す。
図に於いて、図９のシナリオ１とシナリオ２の２つのシナリオは、１つのタイトル用ＶＯＢデータを共通に使用する事になる。各シナリオで共有する単独のシーンはシーン１に相当するＶＯＢ＃１、シーン５に相当するＶＯＢ＃５、シーン８に相当するＶＯＢ＃８は、単独のＶＯＢとして、インターリーブブロックではない部分、すなわち連続ブロックに配置される。
シナリオ１とシナリオ２で共有するマルチアングルシーンにおいて、それぞれアングル１はＶＯＢ＃２、アングル２はＶＯＢ＃３、アングル３はＶＯＢ＃４で構成、つまり１アングルを１ＶＯＢで構成し、さらに各アングル間の切り替えと各アングルのシームレス再生のために、インターリーブブロックとする。
また、シナリオ１とシナリオ２で固有なシーンであるシーン６とシーン７は、各シーンのシームレス再生はもちろんの事、前後の共通シーンとシームレスに接続再生するために、インターリーブブロックとする。
以上のように、図９で示したユーザ指示のシナリオは、ＤＶＤデータ構造において、図１６に示すビデオタイトルセットの再生制御情報と図１７に示すタイトル再生用ＶＯＢデータ構造で実現できる。
＜３．３．２＞シームレス
上述のＤＶＤシステムのデータ構造に関連して述べたシームレス再生について説明する。シームレス再生とは、共通シーン区間同士で、共通シーン区間とマルチシーン区間とで、及びマルチシーン区間同士で、映像、音声、副映像等のマルチメディアデータを、接続して再生する際に、各データ及び情報を中断する事無く再生することである。このデータ及び情報再生の中断の要因としては、ハードウェアに関連するものとして、デコーダに於いて、ソースデータ入力される速度と、入力されたソースデータをデコードする速度のバランスがくずれる、いわゆるデコーダのアンダーフローと呼ばれるものがある。
更に、再生されるデータの特質に関するものとして、再生データが音声のように、その内容或いは情報をユーザが理解する為には、一定時間単位以上の連続再生を要求されるデータの再生に関して、その要求される連続再生時間を確保出来ない場合に情報の連続性が失われるものがある。このような情報の連続性を確保して再生する事を連続情報再生と、更にシームレス情報再生と呼ぶ。また、情報の連続性を確保出来ない再生を非連続情報再生と呼び、更に非シームレス情報再生と呼ぶ。尚、言うまでまでもなく連続情報再生と非連続情報再生は、それぞれシームレス及び非シームレス再生である。
上述の如く、シームレス再生には、バッファのアンダーフロ等によって物理的にデータ再生に空白あるいは中断の発生を防ぐシームレスデータ再生と、データ再生自体には中断は無いものの、ユーザーが再生データから情報を認識する際に情報の中断を感じるのを防ぐシームレス情報再生と定義する。
＜３．３．３＞シームレスの詳細
なお、このようにシームレス再生を可能にする具体的な方法については、図１０及び図１１参照して後で詳しく説明する。
＜３．４．１＞インターリーブ
上述のＤＶＤデータのシステムストリームをオーサリングエンコーダＥＣを用いて、ＤＶＤ媒体上の映画のようなタイトルを記録する。しかし、同一の映画を複数の異なる文化圏或いは国に於いても利用できるような形態で提供するには、台詞を各国の言語毎に記録するのは当然として、さらに各文化圏の倫理的要求に応じて内容を編集して記録する必要がある。このような場合、元のタイトルから編集された複数のタイトルを１枚の媒体に記録するには、ＤＶＤという大容量システムに於いてさえも、ビットレートを落とさなければならず、高画質という要求が満たせなくなってしまう。そこで、共通部分を複数のタイトルで共有し、異なる部分のみをそれぞれのタイトル毎に記録するという方法をとる。これにより、ビットレートをおとさず、１枚の光ディスクに、国別あるいは文化圏別の複数のタイトルを記録する事ができる。
１枚の光ディスクに記録されるタイトルは、図９に示したように、パレンタルロック制御やマルチアングル制御を可能にするために、共通部分（シーン）と非共通部分（シーン）のを有するマルチシーン区間を有する。
パレンタルロック制御の場合は、一つのタイトル中に、性的シーン、暴力的シーン等の子供に相応しくない所謂成人向けシーンが含まれている場合、このタイトルは共通のシーンと、成人向けシーンと、未成年向けシーンから構成される。このようなタイトルストリームは、成人向けシーンと非成人向けシーンを、共通シーン間に、設けたマルチシーン区間として配置して実現する。
また、マルチアングル制御を通常の単一アングルタイトル内に実現する場合には、それぞれ所定のカメラアングルで対象物を撮影して得られる複数のマルチメディアシーンをマルチシーン区間として、共通シーン間に配置する事で実現する。ここで、各シーンは異なるアングルで撮影されたシーンの例を上げている、同一のアングルであるが、異なる時間に撮影されたシーンであっても良いし、またコンピュータグラフィックス等のデータであっても良い。
複数のタイトルでデータを共有すると、必然的に、データの共有部分から非共有部分への光ビームＬＳを移動させるために、光学ピックアップを光ディスク（ＲＣ１）上の異なる位置に移動することになる。この移動に要する時間が原因となって音や映像を途切れずに再生する事、すなわちシームレス再生が困難であるという問題が生じる。このような問題点を解決するするには、理論的には最悪のアクセス時間に相当する時間分のトラックバッファ（ストリームバッファ２４００）を備えれば良い。一般に、光ディスクに記録されているデータは、光ピックアップにより読み取られ、所定の信号処理が施された後、データとしてトラックバッファに一日蓄積される。蓄積されたデータは、その後デコードされて、ビデオデータあるいはオーディオデータとして再生される。
＜３．４．２＞インターリーブの定義
前述のような、あるシーンをカットする事や、複数のシーンから選択を可能にするには、記録媒体のトラック上に、各シーンに属するデータ単位で、互いに連続した配置で記録されるため、共通シーンデータと選択シーンデータとの間に非選択シーンのデータが割り込んで記録される事態が必然的におこる。このような場合、記録されている順序にデータを読むと、選択したシーンのデータにアクセスしてデコードする前に、非選択シーンのデータにアクセスせざるを得ないので、選択したシーンへのシームレス接続が困難である。しかしながら、ＤＶＤシステムに於いては、その記録媒体に対する優れたランダムアクセス性能を活かして、このような複数シーン間でのシームレス接続が可能である。
つまり、各シーンに属するデータを、所定のデータ量を有する複数の単位に分割し、これらの異なるシーンの属する複数の分割データ単位を、互いに所定の順番に配置することで、ジャンプ性能範囲に配置する事で、それぞれ選択されたシーンの属するデータを分割単位毎に、断続的にアクセスしてデコードすることによって、その選択されたシーンをデータが途切れる事なく再生する事ができる。つまり、シームレスデータ再生が保証される。
＜３．４．３＞インターリーブブロック、ユニット構造
図１１及び図１８を参照して、シームレスデータ再生を可能にするインターリーブ方式を説明する。図１１では、１つのＶＯＢ（ＶＯＢ−Ａ）から複数のＶＯＢ（ＶＯＢ−Ｂ、ＶＯＢ−Ｄ、ＶＯＢ−Ｃ）へ分岐再生し、その後１つのＶＯＢ（ＶＯＢ−Ｅ）に結合する場合を示している。図１８では、これらのデータをディスク上のトラックＴＲに実際に配置した場合を示している。
図１８に於ける、ＶＯＢ−ＡとＶＯＢ−Ｅは再生の開始点と終了点が単独なビデオオブジェクトであり、原則として連続領域に配置する。また、図１１に示すように、ＶＯＢ−Ｂ、ＶＯＢ−Ｃ、ＶＯＢ−Ｄについては、再生の開始点、終了点を一致させて、インターリーブ処理を行う。そして、そのインタリーブ処理された領域をディスク上の連続領域にインターリーブ領域として配置する。さらに、上記連続領域とインターリーブ領域を再生の順番に、つまりトラックパスＤｒの方向に、配置している。複数のＶＯＢ、すなわちＶＯＢＳをトラックＴＲ上に配置した図を図１８に示す。
図１８では、データが連続的に配置されたデータ領域をブロックとし、そのブロックは、前述の開始点と終了点が単独で完結しているＶＯＢを連続して配置している連続ブロック、開始点と終了点を一致させて、その複数のＶＯＢをインターリーブしたインターリーブブロックの２種類である。それらのブロックが再生順に、図３４に示すように、ブロック１、ブロック２、ブロック３、・・・、ブロック７と配置されている構造をもつ。
図３４に於いて、VTSTT_VOBSは、ブロック１、２、３、４、５、６、及び７から構成されている。ブロック１には、ＶＯＢ１が単独で配置されている。同様に、ブロック２、３、５、及び７には、それぞれ、ＶＯＢ２、３、６、及び１０が単独で配置されている。つまり、これらのブロック２、３、５、及び７は、連続ブロックである。
一方、ブロック４には、ＶＯＢ４とＶＯＢ５がインターリーブされて配置されている。同様に、ブロック６には、ＶＯＢ７、ＶＯＢ８、及びＶＯＢ９の三つのＶＯＢがインターリーブされて配置されている。つまり、これらのブロック４及び６は、インターリーブブロックである。
図３５に連続ブロック内のデータ構造を示す。同図に於いて、ＶＯＢＳにＶＯＢ−ｉ、ＶＯＢ−ｊが連続ブロックとして、配置されている。連続ブロック内のＶＯＢ−ｉ及びＶＯＢ−ｊは、図５を参照して説明したように、更に論理的な再生単位であるセルに分割されている。図ではＶＯＢ−ｉ及びＶＯＢ−ｊのそれぞれが、３つのセルＣＥＬＬ＃１、ＣＥＬＬ＃２、ＣＥＬＬ＃３で構成されている事を示している。セルは１つ以上のＶＯＢＵで構成されており、ＶＯＢＵの単位で、その境界が定義されている。セルはＤＶＤの再生制御情報であるプログラムチェーン（以下ＰＧＣと呼ぶ）には、図５に示すように、その位置情報が記述される。つまり、セル開始のＶＯＢＵと終了のＶＯＢＵのアドレスが記述されている。図３５に明示されるように、連続ブロックは、連続的に再生されるように、ＶＯＢもその中で定義されるセルも連続領域に記録される。そのため、連続ブロックの再生は問題はない。
次に、図３６にインターリーブブロック内のデータ構造を示す。インターリーブブロックでは、各ＶＯＢがインターリーブユニットＩＬＶＵ単位に分割され、各ＶＯＢに属するインターリーブユニットが交互に配置される。そして、そのインターリーブユニットとは独立して、セル境界が定義される。同図に於いて、ＶＯＢ−ｋは四つのインターリーブユニットＩＬＶＵｋ１、ＩＬＶＵｋ２、ＩＬＶＵｋ３、及びＩＬＶＵｋ４に分割されると共に、二つのセルＣＥＬＬ＃１ｋ、及びＣＥＬＬ＃２ｋが定義されている。同様に、ＶＯＢ−ｍはＩＬＶＵｍ１、ＩＬＶＵｍ２、ＩＬＶＵｍ３、及びＩＬＶＵｍ４に分割されると共に、二つのセルＣＥＬＬ＃１ｍ、及びＣＥＬＬ＃２ｍが定義されている。つまり、インターリーブユニットＩＬＶＵには、ビデオデータとオーディオデータが含まれている。
図３６の例では、二つの異なるＶＯＢ−ｋとＶＯＢ−ｍの各インターリーブユニットＩＬＶＵｋ１、ＩＬＶＵｋ２、ＩＬＶＵｋ３、及びＩＬＶＵｋ４とＩＬＶＵｍ１、ＩＬＶＵｍ２、ＩＬＶＵｍ３、及びＩＬＶＵｍ４がインターリーブブロック内に交互に配置されている。二つのＶＯＢの各インターリーブユニットＩＬＶＵを、このような配列にインターリーブする事で、単独のシーンから複数のシーンの１つへ分岐、さらにそれらの複数シーンの１つから単独のシーンへのシームレスな再生が実現できる。このようにインタリーブすることで、多くの場合の分岐結合のあるシーンのシームレス再生可能な接続を行う事ができる。
＜３．５．１＞マルチシーン
ここで、本発明に基づく、マルチシーン制御の概念を説明すると共にマルチシーン区間に付いて説明する。
異なるアングルで撮影されたシーンから構成される例が挙げている。しかし、マルチシーンの各シーンは、同一のアングルであるが、異なる時間に撮影されたシーンであっても良いし、またコンピュータグラフィックス等のデータであっても良い。言い換えれば、マルチアングルシーン区間は、マルチシーン区間である。
＜３．５．２＞パレンタル
図４を参照して、パレンタルロックおよびディレクターズカットなどの複数タイトルの概念を説明する。
図４にパレンタルロックに基づくマルチレイティッドタイトルストリームの一例を示す。一つのタイトル中に、性的シーン、暴力的シーン等の子供に相応しくない所謂成人向けシーンが含まれている場合、このタイトルは共通のシステムストリームＳＳａ、ＳＳｂ、及びＳＳｅと、成人向けシーンを含む成人向けシステムストリームＳＳｃと、未成年向けシーンのみを含む非成人向けシステムストリームＳＳｄから構成される。このようなタイトルストリームは、成人向けシステムストリームＳＳｃと非成人向けシステムストリームＳＳｄを、共通システムストリームＳＳｂとＳＳｅの間に、設けたマルチシーン区間にマルチシーンシステムストリームとして配置する。
上述の用に構成されたタイトルストリームのプログラムチェーンＰＧＣに記述されるシステムストリームと各タイトルとの関係を説明する。成人向タイトルのプログラムチェーンＰＧＣ１には、共通のシステムストリームＳＳａ、ＳＳｂ、成人向けシステムストリームＳＳｃ及び、共通システムストリームＳＳｅが順番に記述される。未成年向タイトルのプログラムチェーンＰＧＣ２には、共通のシステムストリームＳＳａ、ＳＳｂ、未成年向けシステムストリームＳＳｄ及び、共通システムストリームＳＳｅが順番に記述される。
このように、成人向けシステムストリームＳＳｃと未成年向けシステムストリームＳＳｄをマルチシーンとして配列することにより、各ＰＧＣの記述に基づき、上述のデコーディング方法で、共通のシステムストリームＳＳａ及びＳＳｂを再生したのち、マルチシーン区間で成人向けＳＳｃを選択して再生し、更に、共通のシステムストリームＳＳｅを再生することで、成人向けの内容を有するタイトルを再生できる。また、一方、マルチシーン区間で、未成年向けシステムストリームＳＳｄを選択して再生することで、成人向けシーンを含まない、未成年向けのタイトルを再生することができる。このように、タイトルストリームに、複数の代替えシーンからなるマルチシーン区間を用意しておき、事前に該マルチ区間のシーンのうちで再生するシーンを選択しておき、その選択内容に従って、基本的に同一のタイトルシーンから異なるシーンを有する複数のタイトルを生成する方法を、パレンタルロックという。
なお、パレンタルロックは、未成年保護と言う観点からの要求に基づいて、パレンタルロックと呼ばれるが、システムストリーム処理の観点は、上述の如く、マルチシーン区間での特定のシーンをユーザが予め選択することにより、静的に異なるタイトルストリーム生成する技術である。一方、マルチアングルは、タイトル再生中に、ユーザが随時且つ自由に、マルチシーン区間のシーンを選択することにより、同一のタイトルの内容を動的に変化させる技術である。
また、パレンタルロック技術を用いて、いわゆるディレクターズカットと呼ばれるタイトルストリーム編集も可能である。ディレクターズカットとは、映画等で再生時間の長いタイトルを、飛行機内で供さる場合には、劇場での再生と異なり、飛行時間によっては、タイトルを最後まで再生できない。このような事態にさけて、予めタイトル制作責任者、つまりディレクターの判断で、タイトル再生時間短縮の為に、カットしても良いシーンを定めておき、そのようなカットシーンを含むシステムストリームと、シーンカットされていないシステムストリームをマルチシーン区間に配置しておくことによって、制作者の意志に沿っシーンカット編集が可能となる。このようなパレンタル制御では、システムストリームからシステムストリームへのつなぎ目に於いて、再生画像をなめらかに矛盾なくつなぐ事、すなわちビデオ、オーディオなどバッファがアンダーフローしないシームレスデータ再生と再生映像、再生オーディオが視聴覚上、不自然でなくまた中断する事なく再生するシームレス情報再生が必要になる。
＜３．５．３＞マルチアングル
図１９を参照して、本発明に於けるマルチアングル制御の概念を説明する。通常、マルチメディアタイトルは、対象物を時間Ｔの経過と共に録音及び撮影（以降、単に撮影と言う）して得られる。＃ＳＣ１、＃ＳＭ１、＃ＳＭ２、＃ＳＭ３、及び＃ＳＣ３の各ブロックは、それぞれ所定のカメラアングルで対象物を撮影して得られる撮影単位時間Ｔ１、Ｔ２、及びＴ３に得られるマルチメディアシーンを代表している。シーン＃ＳＭ１、＃ＳＭ２、及び＃ＳＭ３は、撮影単位時間Ｔ２にそれぞれ異なる複数（第、第二、及び第三）のカメラアングルで撮影されたシーンであり、以降、第一、第二、及び第三マルチアングルシーンと呼ぶ。ここでは、マルチシーンが、異なるアングルで撮影されたシーンから構成される例が挙げられている。しかし、マルチシーンの各シーンは、同一のアングルであるが、異なる時間に撮影されたシーンであっても良いし、またコンピュータグラフィックス等のデータであっても良い。言い換えれば、マルチアングルシーン区間は、マルチシーン区間であり、その区間のデータは、実際に異なるカメラアングルで得られたシーンデータに限るものでは無く、その表示時間が同一の期間にある複数のシーンを選択的に再生できるようなデータから成る区間である。
シーン＃ＳＣ１と＃ＳＣ３は、それぞれ、撮影単位時間Ｔ１及びＴ３に、つまりマルチアングルシーンの前後に、同一の基本のカメラアングルで撮影されたシーンあり、以降、基本アングルシーンと呼ぶ。通常、マルチアングルの内一つは、基本カメラアングルと同一である。
これらのアングルシーンの関係を分かりやすくするために、野球の中継放送を例に説明する。基本アングルシーン＃ＳＣ１及び＃ＳＣ３は、センター側から見た投手、捕手、打者を中心とした基本カメラアングルにて撮影されたものである。第一マルチアングルシーン＃ＳＭ１は、バックネット側から見た投手、捕手、打者を中心とした第一マルチカメラアングルにて撮影されたものである。第二マルチアングルシーン＃ＳＭ２は、センター側から見た投手、捕手、打者を中心とした第二マルチカメラアングル、つまり基本カメラアングルにて撮影されたものである。この意味で、第ニマルチアングルシーン＃ＳＭ２は、撮影単位時間Ｔ２に於ける基本アングルシーン＃ＳＣ２である。第三マルチアングルシーン＃ＳＭ３は、バックネット側から見た内野を中心とした第三マルチカメラアングルにて撮影されたものである。
マルチアングルシーン＃ＳＭ１、＃ＳＭ２、及び＃ＳＭ３は、撮影単位時間Ｔ２に関して、表示時間が重複しており、この期間をマルチアングル区間と呼ぶ。視聴者は、マルチアングル区間に於いて、このマルチアングルシーン＃ＳＭ１、＃ＳＭ２、及び＃ＳＭ３を自由に選択することによって、基本アングルシーンから、好みのアングルシーン映像をあたかもカメラを切り替えているように楽しむことができる。なお、図中では、基本アングルシーン＃ＳＣ１及び＃ＳＣ３と、各マルチアングルシーン＃ＳＭ１、＃ＳＭ２、及び＃ＳＭ３間に、時間的ギャップがあるように見えるが、これはマルチアングルシーンのどれを選択するかによって、再生されるシーンの経路がどのようになるかを分かりやすく、矢印を用いて示すためであって、実際には時間的ギャップが無いことは言うまでもない。
図１０に、本発明に基づくシステムストリームのマルチアングル制御を、データの接続の観点から説明する。基本アングルシーン＃ＳＣに対応するマルチメディアデータを、基本アングルデータＢＡとし、撮影単位時間Ｔ１及びＴ３に於ける基本アングルデータＢＡをそれぞれＢＡ１及びＢＡ３とする。マルチアングルシーン＃ＳＭ１、＃ＳＭ２、及び＃ＳＭ３に対応するマルチアングルデータを、それぞれ、第一、第二、及び第三マルチアングルデータＭＡ１、ＭＡ２、及びＭＡ３と表している。先に、図１９を参照して、説明したように、マルチアングルシーンデータＭＡ１、ＭＡ２、及びＭＡ３の何れかを選択することによって、好みのアングルシーン映像を切り替えて楽しむことができる。また、同様に、基本アングルシーンデータＢＡ１及びＢＡ３と、各マルチアングルシーンデータＭＡ１、ＭＡ２、及びＭＡ３との間には、時間的ギャップは無い。
しかしながら、ＭＰＥＧシステムストリームの場合、各マルチアングルデータＭＡ１、ＭＡ２、及びＭＡ３の内の任意のデータと、先行基本アングルデータＢＡ１からの接続と、または後続基本アングルデータＢＡ３への接続時は、接続されるアングルデータの内容によっては、再生されるデータ間で、再生情報に不連続が生じて、一本のタイトルとして自然に再生できない場合がある。つまり、この場合、シームレスデータ再生であるが、非シームレス情報再生である。
以下に、図１０をＤＶＤシステムに於けるマルチシーン区間内での、複数のシーンを選択的に再生して、前後のシーンに接続するシームレス情報再生であるマルチアングル切替について説明する。
アングルシーン映像の切り替え、つまりマルチアングルシーンデータＭＡ１、ＭＡ２、及びＭＡ３の内一つを選択することが、先行する基本アングルデータＢＡ１の再生終了前までに完了されてなけらばならない。例えば、アングルシーンデータＢＡ１の再生中に別のマルチアングルシーンデータＭＡ２に切り替えることは、非常に困難である。これは、マルチメディアデータは、可変長符号化方式のＭＰＥＧのデータ構造を有するので、切り替え先のデータの途中で、データの切れ目を見つけるのが困難であり、また、符号化処理にフレーム間相関を利用しているためアングルの切換時に映像が乱れる可能性がある。ＭＰＥＧに於いては、少なくとも１フレームのリフレッシュフレームを有する処理単位としてＧＯＰが定義されている。このＧＯＰという処理単位に於いては他のＧＯＰに属するフレームを参照しないクローズドな処理が可能である。
言い換えれば、再生がマルチアングル区間に達する前には、遅くとも、先行基本アングルデータＢＡ１の再生が終わった時点で、任意のマルチアングルデータ、例えばＭＡ３、を選択すれば、この選択されたマルチアングルデータはシームレスに再生できる。しかし、マルチアングルデータの再生の途中に、他のマルチアングルシーンデータをシームレスに再生することは非常に困難である。このため、マルチアングル期間中には、カメラを切り替えるような自由な視点を得ることは困難である。
＜３．６．１＞フローチャート：エンコーダ
図１３を参照して前述の、シナリオデータＳｔ７に基づいてエンコードシステム制御部２００が生成するエンコード情報テーブルについて説明する。エンコード情報テーブルはシーンの分岐点・結合点を区切りとしたシーン区間に対応し、複数のＶＯＢが含まれるＶＯＢセットデータ列と各シーン毎に対応するＶＯＢデータ列からなる。図１３に示されているＶＯＢセットデータ列は、後に詳述する。
図２０のステップ＃１００で、ユーザが指示するタイトル内容に基づき、ＤＶＤのマルチメディアストリーム生成のためにエンコードシステム制御部２００内で作成するエンコード情報テーブルである。ユーザ指示のシナリオでは、共通なシーンから複数のシーンへの分岐点、あるいは共通なシーンへの結合点がある。その分岐点・結合点を区切りとしたシーン区間に相当するＶｗＯＢをＶＯＢセットとし、ＶＯＢセットをエンコードするために作成するデータをＶＯＢセットデータ列としている。また、ＶＯＢセットデータ列では、マルチシーン区間を含む場合、示されているタイトル数をＶＯＢセットデータ列のタイトル数（TITLE_NO）に示す。
図１３のＶＯＢセットデータ構造は、ＶＯＢセットデータ列の１つのＶＯＢセットをエンコードするためのデータの内容を示す。ＶＯＢセットデータ構造は、ＶＯＢセット番号（VOBS_NO）、ＶＯＢセット内のＶＯＢ番号（VOB_NO）、先行ＶＯＢシームレス接続フラグ（VOB_Fsb）、後続ＶＯＢシームレス接続フラグ（VOB_Fsf）、マルチシーンフラグ（VOB_Fp）、インターリーブフラグ（VOB_Fi）、マルチアングル（VOB_Fm）、マルチアングルシームレス切り替えフラグ（VOB_FsV）、インターリーブＶＯＢの最大ビットレート（ILV_BR）、インターリーブＶＯＢの分割数（ILV_DIV）、最小インターリーブユニット再生時間（ILV_MT）からなる。
ＶＯＢセット番号VOBS_NOは、例えばタイトルシナリオ再生順を目安につけるＶＯＢセットを識別するための番号である。
ＶＯＢセット内のＶＯＢ番号VOB_NOは、例えばタイトルシナリオ再生順を目安に、タイトルシナリオ全体にわたって、ＶＯＢを識別するための番号である。
先行ＶＯＢシームレス接続フラグVOB_Fsbは、シナリオ再生で先行のＶＯＢとシームレスに接続するか否かを示すフラグである。
後続ＶＯＢシームレス接続フラグVOB_Fsfは、シナリオ再生で後続のＶＯＢとシームレスに接続するか否かを示すフラグである。
マルチシーンフラグVOB_Fpは、ＶＯＢセットが複数のＶＯＢで構成しているか否かを示すフラグである。
インターリーブフラグVOB_Fiは、ＶＯＢセット内のＶＯＢがインターリーブ配置するか否かを示すフラグである。
マルチアングルフラグVOB_Fmは、ＶＯＢセットがマルチアングルであるか否かを示すフラグである。
マルチアングルシームレス切り替えフラグVOB_FsVは、マルチアングル内の切り替えがシームレスであるか否かを示すフラグである。
インターリーブＶＯＢ最大ビットレートILV_BRは、インターリーブするＶＯＢの最大ビットレートの値を示す。
インターリーブＶＯＢ分割数ILV_DIVは、インターリーブするＶＯＢのインターリーブユニット数を示す。
最小インターリーブユニット再生時間ILVU_MTは、インターリーブブロック再生時に、トラックバッファのアンダーフローしない最小のインターリーブユニットに於いて、そのＶＯＢのビットレートがILV_BRの時に再生できる時間を示す。
図１４を参照して前述の、シナリオデータＳｔ７に基づいてエンコードシステム制御部２００が生成するＶＯＢ毎に対応するエンコード情報テーブルについて説明する。このエンコード情報テーブルを基に、ビデオエンコーダ３００、サブピクチャエンコーダ５００、オーディオエンコーダ７００、システムエンコーダ９００へ、後述する各ＶＯＢに対応するエンコードパラメータデータを生成する。図１４に示されているＶＯＢデータ列は、図２０のステップ＃１００で、ユーザが指示するタイトル内容に基づき、ＤＶＤのマルチメディアストリーム生成のためにエンコードシステム制御内で作成するＶＯＢ毎のエンコード情報テーブルである。１つのエンコード単位をＶＯＢとし、そのＶＯＢをエンコードするために作成するデータをＶＯＢデータ列としている。例えば、３つのアングルシーンで構成されるＶＯＢセットは、３つのＶＯＢから構成される事になる。図１４のＶＯＢデータ構造はＶＯＢデータ列の１つのＶＯＢをエンコードするためのデータの内容を示す。
ＶＯＢデータ構造は、ビデオ素材の開始時刻（VOB_VST）、ビデオ素材の終了時刻（VOB_VEND）、ビデオ素材の種類（VOB_V_KIND）、ビデオのエンコードビットレート（V_BR）、オーディオ素材の開始時刻（VOB_AST）、オーディオ素材の終了時刻（VOB_AEND）、オーディオエンコード方式（VOB_A_KIND）、オーディオのビットレート（A_BR）からなる。
ビデオ素材の開始時刻VOB_VSTは、ビデオ素材の時刻に対応するビデオエンコードの開始時刻である。
ビデオ素材の終了時刻VOB_VENDは、ビデオ素材の時刻に対応するビデオエンコードの終了時刻である。
ビデオ素材の種類VOB_V_KINDは、エンコード素材がＮＴＳＣ形式かＰＡＬ形式のいづれかであるか、またはビデオ素材がテレシネ変換処理された素材であるか否かを示すものである。
ビデオのビットレートV_BRは、ビデオのエンコードビットレートである。
オーディオ素材の開始時刻VOB_ASTは、オーディオ素材の時刻に対応するオーディオエンコード開始時刻である。
オーディオ素材の終了時刻VOB_AENDは、オーディオ素材の時刻に対応するオーディオエンコード終了時刻である。
オーディオエンコード方式VOB_A_KINDは、オーディオのエンコード方式を示すものであり、エンコード方式にはＡＣ−３方式、ＭＰＥＧ方式、リニアＰＣＭ方式などがある。
オーディオのビットレートA_BRは、オーディオのエンコードビットレートである。
図１５に、ＶＯＢをエンコードするためのビデオ、オーディオ、システムの各エンコーダ３００、５００、及び９００へのエンコードパラメータを示す。エンコードパラメータは、ＶＯＢ番号（VOB_NO)、ビデオエンコード開始時刻（V_STTM）、ビデオエンコード終了時刻（V_ENDTM）、エンコードモード（V_ENCMD）、ビデオエンコードビットレート（V_RATE）、ビデオエンコード最大ビットレート（V_MRATE）、ＧＯＰ構造固定フラグ（GOP_FXflag）、ビデオエンコードＧＯＰ構造（GOPST）、ビデオエンコード初期データ（V_INTST）、ビデオエンコード終了データ（V_ENDST）、オーディオエンコード開始時刻（A_STTM)、オーディオエンコード終了時刻（A_ENDTM）、オーディオエンコードビットレート（A_RATE）、オーディオエンコード方式（A_ENCMD）、オーディオ開始時ギャップ（A_STGAP）、オーディオ終了時ギャップ（A_ENDGAP）、先行ＶＯＢ番号（B_VOB_NO）、後続ＶＯＢ番号（F_VOB_NO）からなる。
ＶＯＢ番号VOB_NOは、例えばタイトルシナリオ再生順を目安に、タイトルシナリオ全体にわたって番号づける、ＶＯＢを識別するための番号である。
ビデオエンコード開始時刻V_STTMは、ビデオ素材上のビデオエンコード開始時刻である。
ビデオエンコード終了時刻V_STTMは、ビデオ素材上のビデオエンコード終了時刻である。
エンコードモードV_ENCMDは、ビデオ素材がテレシネ変換された素材の場合には、効率よいエンコードができるようにビデオエンコード時に逆テレシネ変換処理を行うか否かなどを設定するためのエンコードモードである。
ビデオエンコードビットレートＶ＿ＲＡＴＥは、ビデオエンコード時の平均ビットレートである。
ビデオエンコード最大ビットレートはV_MRATEは、ビデオエンコード時の最大ビットレートである。
ＧＯＰ構造固定フラグGOP_FXflagは、ビデオエンコード時に途中で、ＧＯＰ構造を変えることなくエンコードを行うか否かを示すものである。マルチアングルシーン中にシームレスに切り替え可能にする場合に有効なパラメータである。ビデオエンコードＧＯＰ構造GOPSTは、エンコード時のＧＯＰ構造データである。
ビデオエンコード初期データV_INSTは、ビデオエンコード開始時のＶＢＶバッファ（復号バッファ）の初期値などを設定する、先行のビデオエンコードストリームとシームレス再生する場合に有効なパラメータである。
ビデオエンコード終了データV_ENDSTは、ビデオエンコード終了時のＶＢＶバッファ（復号バッファ）の終了値などを設定する。後続のビデオエンコードストリームとシームレス再生する場合に有効なパラメータである。
オーディオエンコーダ開始時刻A_STTMは、オーディオ素材上のオーディオエンコード開始時刻である。
オーディオエンコーダ終了時刻A_ENDTMは、オーディオ素材上のオーディオエンコード終了時刻である。
オーディオエンコードビットレートA_RATEは、オーディオエンコード時のビットレートである。
オーディオエンコード方式A_ENCMDは、オーディオのエンコード方式であり、ＡＣ−３方式、ＭＰＥＧ方式、リニアＰＣＭ方式などがある。
オーディオ開始時ギャップA_STGAPは、ＶＯＢ開始時のビデオとオーディオの開始のずれ時間である。先行のシステムエンコードストリームとシームレス再生する場合に有効なパラメータである。
オーディオ終了時ギャップA_ENDGAPは、ＶＯＢ終了時のビデオとオーディオの終了のずれ時間である。後続のシステムエンコードストリームとシームレス再生する場合に有効なパラメータである。
先行ＶＯＢ番号B_VOB_NOは、シームレス接続の先行ＶＯＢが存在する場合にそのＶＯＢ番号を示すものである。
後続ＶＯＢ番号F_VOB_NOは、シームレス接続の後続ＶＯＢが存在する場合にそのＶＯＢ番号を示すものである。
図２０及び図２１に示すフローチャートを参照しながら、本発明に係るＤＶＤエンコーダＥＣの動作を説明する。なお、同図に於いて二重線で囲まれたブロックはそれぞれサブルーチンを示す。本実施形態は、ＤＶＤシステムについて説明するが、言うまでなくオーサリングエンコーダＥＣについても同様に構成することができる。
ステップ＃１００に於いて、ユーザーは、編集情報作成部１００でマルチメディアソースデータＳｔ１、Ｓｔ２、及びＳｔ３の内容を確認しながら、所望のシナリオに添った内容の編集指示を入力する。
ステップ＃２００で、編集情報作成部１００はユーザの編集指示に応じて、上述の編集指示情報を含むシナリオデータＳｔ７を生成する。
ステップ＃２００で、シナリオデータＳｔ７の生成時に、ユーザの編集指示内容の内、インターリーブする事を想定しているマルチアングル、パレンタルのマルチシーン区間でのインターリーブ時の編集指示は、以下の条件を満たすように入力する。
まず画質的に十分な画質が得られるようなＶＯＢの最大ビットレートを決定し、さらにＤＶＤエンコードデータの再生装置として想定するＤＶＤデコーダＤＣＤのトラックバッファ量及びジャンプ性能、ジャンプ時間とジャンプ距離の値を決定する。上記値をもとに、式３、式４より、最小インターリーブユニットの再生時間を得る。
次に、マルチシーン区間に含まれる各シーンの再生時間をもとに式５及び式６が満たされるかどうか検証する。満たされなければ後続シーン一部シーンをマルチシーン区間の各シーン接続するなどの処理を行い式５及び式６を満たすようにユーザは指示の変更入力する。
さらに、マルチアングルの編集指示の場合、シームレス切り替え時には式７を満たすと同時に、アングルの各シーンの再生時間、オーディオは同一とする編集指示を入力する。また非シームレス切り替え時には式８を満たすようにユーザは編集指示を入力する。
ステップ＃３００で、エンコードシステム制御部２００は、シナリオデータＳｔ７に基づいて、先ず、対象シーンを先行シーンに対して、シームレスに接続するのか否かを判断する。シームレス接続とは、先行シーン区間が複数のシーンからなるマルチシーン区間である場合に、その先行マルチシーン区間に含まれる全シーンの内の任意の１シーンを、現時点の接続対象である共通シーンとシームレスに接続する。同様に、現時点の接続対象シーンがマルチシーン区間である場合には、マルチシーン区間の任意の１シーンを接続出来ると言うことを意味する。ステップ＃３００で、ＮＯ、つまり、非シームレス接続と判断された場合にはステップ＃４００へ進む。
ステップ＃４００で、エンコードシステム制御部２００は、対象シーンが先行シーンとシームレス接続されることを示す、先行シーンシームレス接続フラグVOB_Fsbをリセットして、ステップ＃６００に進む。
一方、ステップ＃３００で、ＹＥＳ、つまり先行シートとシームレス接続すると判断された時には、ステップ＃５００に進む。
ステップ＃５００で、先行シーンシームレス接続フラグVOB_Fsbをセットして、ステップ＃６００に進む。
ステップ＃６００で、エンコードシステム制御部２００は、シナリオデータＳｔ７に基づいて、対象シーンを後続するシーンとシームレス接続するのか否かを判断する。ステップ＃６００で、ＮＯ、つまり非シームレス接続と判断された場合にはステップ＃７００へ進む。
ステップ＃７００で、エンコードシステム制御部２００は、シーンを後続シーンとシームレス接続することを示す、後続シーンシームレス接続フラグVOB_Fsfをリセットして、ステップ＃９００に進む。
一方、ステップ＃６００で、ＹＥＳ、つまり後続シートとシームレス接続すると判断された時には、ステップ＃８００に進む。
ステップ＃８００で、エンコードシステム制御部２００は、後続シーンシームレス接続フラグVOB_Fsfをセットして、ステップ＃９００に進む。
ステップ＃９００で、エンコードシステム制御部２００は、シナリオデータＳｔ７に基づいて、接続対象のシーンが一つ以上、つまり、マルチシーンであるか否かを判断する。マルチシーンには、マルチシーンで構成できる複数の再生経路の内、１つの再生経路のみを再生するパレンタル制御と再生経路がマルチシーン区間の間、切り替え可能なマルチアングル制御がある。
シナリオステップ＃９００で、ＮＯ、つまり非マルチシーン接続であると判断されて時は、ステップ＃１０００に進む。
ステップ＃１０００で、マルチシーン接続であることを示すマルチシーンフラグVOB_Fpをリセットして、エンコードパラメータ生成ステップ＃１８００に進む。ステップ＃１８００の動作については、あとで述べる。
一方、ステップ＃９００で、ＹＥＳ、つまりマルチシーン接続と判断された時には、ステップ＃１１００に進む。ステップ＃１１００で、マルチシーンフラグVOB_Fpをセットして、マルチアングル接続かどうかを判断するステップ＃１２００に進む。
ステップ＃１２００で、マルチシーン区間中の複数シーン間での切り替えをするかどうか、すなわち、マルチアングルの区間であるか否かを判断する。ステップ＃１２００で、ＮＯ、つまり、マルチシーン区間の途中で切り替えずに、１っの再生経路のみを再生するパレンタル制御と判断された時には、ステップ＃１３００に進む。
ステップ＃１３００で、接続対象シーンがマルチアングルであること示すマルチアングルフラグVOB_Fmをリセットしてステップ＃１３０２に進む。
ステップ＃１３０２で、先行シーンシームレス接続フラグVOB_Fsb及び後続シーンシームレス接続フラグVOB_Fsfの何れかがセットされているか否かを判断する。
ステップ＃１３００で、ＹＥＳ、つまり接続対象シーンは先行あるいは後続のシーンの何れかあるいは、両方とシームレス接続すると判断された時には、ステップ＃１３０４に進む。
ステップ＃１３０４では、対象シーンのエンコードデータであるＶＯＢをインターリーブすることを示すインターリーブフラグVOB_Fiをセットして、ステップ＃１８００に進む。
一方、ステップ＃１３０２で、ＮＯ、つまり、対象シーンは先行シーン及び後続シーンの何れともシームレス接続しない場合には、ステップ＃１３０６に進む。
ステップ＃１３０６でインターリーブフラッグVOB_Fiをリセットしてステップ＃１８００に進む。
一方、ステップ＃１２００で、ＹＥＳ、つまりマルチアングルであると判断された場合には、ステップ＃１４００に進む。
ステップ＃１４００では、マルチアングルフラッグVOB_Fm及びインターリーブフラッグVOB_Fiをセットした後ステップ＃１５００に進む。
ステップ＃１５００で、エンコードシステム制御部２００はシナリオデータＳｔ７に基づいて、マルチアングルシーン区間で、つまりＶＯＢよりも小さな再生単位で、映像やオーディオを途切れることなく、いわゆるシームレスに切替られるのかを判断する。ステップ＃１５００で、ＮＯ、つまり、非シームレス切替と判断された時には、ステップ＃１６００に進む。
ステップ＃１６００で、対象シーンがシームレス切替であることを示すシームレス切替フラッグVOB_FsVをリセットして、ステップ＃１８００に進む。
一方、ステップ＃１５００、ＹＥＳ、つまりシームレス切替と判断された時には、ステップ＃１７００に進む。
ステップ＃１７００で、シームレス切替フラッグVOB_FsVをセットしてステップ＃１８００に進む。このように、本発明では、編集意思を反映したシナリオデータＳｔ７から、編集情報が上述の各フラグのセット状態として検出されて後に、ステップ＃１８００に進む。
ステップ＃１８００で、上述の如く各フラグのセット状態として検出されたユーザの編集意思に基づいて、ソースストリームをエンコードするための、それぞれ図１３及び図１４に示されるＶＯＢセット単位及びＶＯＢ単位毎のエンコード情報テーブルへの情報付加と、図１５に示されるＶＯＢデータ単位でのエンコードパラメータを作成する。次に、ステップ＃１９００に進む。このエンコードパラメータ作成ステップの詳細については、図２２、図２３、図２４、図２５を参照して後で説明する。
ステップ＃１９００で、ステップ＃１８００で作成してエンコードパラメータに基づいて、ビデオデータ及びオーディオデータのエンコードを行った後にステップ＃２０００に進む。尚、サブピクチャデータは、本来必要に応じて、ビデオ再生中に、随時挿入して利用する目的から、前後のシーン等との連続性は本来不要である。更に、サブピクチャは、およそ、１画面分の映像情報であるので、時間軸上に延在するビデオデータ及びオーディオデータと異なり、表示上は静止の場合が多く、常に連続して再生されるものではない。よって、シームレス及び非シームレスと言う連続再生に関する本実施形態に於いては、簡便化のために、サブピクチャデータのエンコードについては説明を省く。
ステップ＃２０００では、ＶＯＢセットの数だけステップ＃３００からステップ＃１９００までの各ステップから構成されるループをまわし、図５のタイトルの各ＶＯＢの再生順などの再生情報を自身のデータ構造にもつ、プログラムチェーン（VTS_PGC#1）情報をフォーマットし、マルチルチシーン区間のＶＯＢをインターリーブ配置を作成し、そしてシステムエンコードするために必要なＶＯＢセットデータ列及びＶＯＢデータ列を完成させる。次に、ステップ＃２１００に進む。
ステップ＃２１００で、ステップ＃２０００までのループの結果として得られる全ＶＯＢセット数VOBS_NUMを得て、ＶＯＢセットデータ列に追加し、さらにシナリオデータＳｔ７に於いて、シナリオ再生経路の数をタイトル数とした場合の、タイトル数TITLE_NOを設定して、エンコード情報テーブルとしてのＶＯＢセットデータ列を完成した後、ステップ＃２２００に進む。
ステップ＃２２００で、ステップ＃１９００でエンコードしたビデオエンコードストリーム、オーディオエンコードストリーム、図１５のエンコードパラメータに基づいて、図５のVTSTT_VOBS内のＶＯＢ（VOB#i）データを作成するためのシステムエンコードを行う。次に、ステップ＃２３００に進む。
ステップ＃２３００で、図５のＶＴＳ情報、ＶＴＳＩに含まれるＶＴＳＩ管理テーブル（VTSI_MAT）、ＶＴＳＰＧＣ情報テーブル（ＶＴＳＰＧＣＩＴ）及び、ＶＯＢデータの再生順を制御するプログラムチェーン情報（VTS_PGCI#1）のデータ作成及びマルチシーン区間に含めれるＶＯＢのインタリーブ配置などの処理を含むフォーマットを行う。
このフォーマットステップの詳細については、図２７、図２８、図２９、図３０、図３１を参照して後で説明する。
図２２、図２３、及び図２４を参照して、図２１に示すフローチャートのステップ＃１８００のエンコードパラメータ生成サブルチンに於ける、マルチアングル制御時のエンコードパラメータ生成の動作を説明する。
先ず、図２２を参照して、図２１のステップ＃１５００で、ＮＯと判断された時、つまり各フラグはそれぞれVOB_Fsb＝１またはVOR_Fsf＝１、VOB_Fp＝１、VOB_Fi＝１、VOB_Fm＝１、ＦｓＶ＝０である場合、すなわちマルチアングル制御時の非シームレス切り替えストリームのエンコードパラメータ生成動作を説明する。以下の動作で、図１３、図１４に示すエンコード情報テーブル、図１５に示すエンコードパラメータを作成する。
ステップ＃１８１２では、シナリオデータＳｔ７に含まれているシナリオ再生順を抽出し、ＶＯＢセット番号VOBS_NOを設定し、さらにＶＯＢセット内の１つ以上のＶＯＢに対して、ＶＯＢ番号VOB_NOを設定する。
ステップ＃１８１４では、シナリオデータＳｔ７より、インターリーブＶＯＢの最大ビットレートILV_BRを抽出、インターリーブフラグVOB_Fi＝１に基づき、エンコードパラメータのビデオエンコード最大ビットレートV_MRATEに設定。
ステップ＃１８１６では、シナリオデータＳｔ７より、最小インターリーブユニット再生時間ILVU_MTを抽出。
ステップ＃１８１８では、マルチアングルフラグVOB_Fp＝１に基づき、ビデオエンコードＧＯＰ構造GOPSTのＮ＝１５、Ｍ＝３の値とＧＯＰ構造固定フラグGOPFXflag＝”１”に設定。
ステップ＃１８２０は、ＶＯＢデータ設定の共通のルーチンである。図２３に、ステップ＃１８２０のＶＯＢデータ共通設定ルーチンを示す。以下の動作フローで、図１３、図１４に示すエンコード情報テーブル、図１５に示すエンコードパラメータを作成する。
ステップ＃１８２２では、シナリオデータＳｔ７より、各ＶＯＢのビデオ素材の開始時刻VOB_VST、終了時刻VOB_VENDを抽出し、ビデオエンコード開始時刻V_STTMとエンコード終了時刻V_ENDTMをビデオエンコードのパラメータとする。
ステップ＃１８２４では、シナリオデータＳｔ７より、各ＶＯＢのオーディオ素材の開始時刻VOB_ASTを抽出し、オーディオエンコード開始時刻A_STTMをオーディオエンコードのパラメータとする。
ステップ＃１８２６では、シナリオデータＳｔ７より、各ＶＯＢのオーディオ素材の終了時刻VOB_AENDを抽出し、VOB_AENDを超えない時刻で、オーディオエンコード方式できめられるオーディオアクセスユニット（以下ＡＡＵと記述する）単位の時刻を、オーディオエンコードのパラメータである、エンコード終了時刻A_ENDTMとする。
ステップ＃１８２８は、ビデオエンコード開始時刻V_STTMとオーディオエンコード開始時刻A_STTMの差より、オーディオ開始時ギャップA_STGAPをシステムエンコードのパラメータとする。
ステップ＃１８３０では、ビデオエンコード終了時刻V_ENDTMとオーディオエンコード終了時刻A_ENDTMの差より、オーディオ終了時ギャップA_ENDGAPをシステムエンコードのパラメータとする。
ステップ＃１８３２では、シナリオデータＳｔ７より、ビデオのビットレートV_BRを抽出し、ビデオエンコードの平均ビットレートとして、ビデオエンコードビットレートV_RATEをビデオエンコードのパラメータとする。
ステップ＃１８３４では、シナリオデータＳｔ７より、オーディオのビットレートA_BRを抽出し、オーディオエンコードビットレートA_RATEをオーディオエンコードのパラメータとする。
ステップ＃１８３６では、シナリオデータＳｔ７より、ビデオ素材の種類VOB_V_KINDを抽出し、フィルム素材、すなわちテレシネ変換された素材であれば、ビデオエンコードモードV_ENCMDに逆テレシネ変換を設定し、ビデオエンコードのパラメータとする。
ステップ＃１８３８では、シナリオデータＳｔ７より、オーディオのエンコード方式VOB_A_KINDを抽出し、オーディオエンコードモードA_ENCMDにエンコード方式を設定し、オーディオエンコードのパラメータとする。
ステップ＃１８４０では、ビデオエンコード初期データV_INSTのＶＢＶバッファ初期値が、ビデオエンコード終了データV_ENDSTのＶＢＶバッファ終了値以下の値になるように設定し、ビデオエンコードのパラメータとする。
ステップ＃１８４２では、先行ＶＯＢシームレス接続フラグVOB_Fsb＝１に基づき、先行接続のＶＯＢ番号VOB_NOを先行接続のＶＯＢ番号B_VOB_NOに設定し、システムエンコードのパラメータとする。
ステップ＃１８４４では、後続ＶＯＢシームレス接続フラグVOB_Fsf＝１に基づき、後続接続のＶＯＢ番号VOB_NOを後続接続のＶＯＢ番号F_VOB_NOに設定し、システムエンコードのパラメータとする。
以上のように、マルチアングルのＶＯＢセットであり、非シームレスマルチアングル切り替えの制御の場合のエンコード情報テーブル及びエンコードパラメータが生成できる。
次に、図２４を参照して、図２１に於いて、ステップ＃１５００で、Ｙｅｓと判断された時、つまり各フラグはそれぞれVOB_Fsb＝１またはVOB_Fsf＝１、VOB_Fp＝１、VOB_Fi＝１、VOB_Fm＝１、VOB_FsV＝１である場合の、マルチアングル制御時のシームレス切り替えストリームのエンコードパラメータ生成動作を説明する。
以下の動作で、図１３、図１４に示すエンコード情報テーブル、及び図１５に示すエンコードパラメータを作成する。
ステップ＃１８５０では、シナリオデータＳｔ７に含まれているシナリオ再生順を抽出し、ＶＯＢセット番号VOBS_NOを設定し、さらにＶＯＢセット内の１つ以上のＶＯＢに対して、ＶＯＢ番号VOB_NOを設定する。
ステップ＃１８５２では、シナリオデータＳｔ７より、インターリーブＶＯＢの最大ビットレートいＬV_BRを抽出、インターリーブフラグVOB_Fi＝１に基づき、ビデオエンコード最大ビットレートV_RATEに設定。
ステップ＃１８５４では、シナリオデータＳｔ７より、最小インターリープユニット再生時間ILVU_MTを抽出する。
ステップ＃１８５６では、マルチアングルフラグVOB_Fp＝１に基づき、ビデオエンコードＧＯＰ構造GOPSTのＮ＝１５、Ｍ＝３の値とＧＯＰ構造固定フラグGOPFXflag＝”１”に設定。
ステップ＃１８５８では、シームレス切り替えフラグVOB_FsV＝１に基づいて、ビデオエンコードＧＯＰ構造GOPSTにクローズドＧＯＰを設定、ビデオエンコードのパラメータとする。
ステップ＃１８６０は、ＶＯＢデータ設定の共通のルーチンである。この共通のルーチンは図２２に示しているルーチンであり、既に説明しているので省略する。
以上のようにマルチアングルのＶＯＢセットで、シームレス切り替え制御の場合のエンコードパラメータが生成できる。
次に、図２５を参照して、図２０に於いて、ステップ＃１２００で、ＮＯと判断され、ステップ１３０４でＹＥＳと判断された時、つまり各フラグはそれぞれVOB_Fsb＝１またはVOB_Fsf=１、VOB_Fp＝１、VOB_Fi＝１、VOB_Fm＝０である場合の、パレンタル制御時のエンコードパラメータ生成動作を説明する。以下の動作で、図１３、図１４に示すエンコード情報テーブル、及び図１５に示すエンコードパラメータを作成する。
ステップ＃１８７０では、シナリオデータＳｔ７に含まれているシナリオ再生順を抽出し、ＶＯＢセット番号VOBS_NOを設定し、さらにＶＯＢセット内の１つ以上のＶＯＢに対して、ＶＯＢ番号VOB_NOを設定する。
ステップ＃１８７２では、シナリオデータＳｔ７より、インターリーブＶＯＢの最大ビットレートILV_BRを抽出、インターリーブフラグVOB_Fi＝１に基づき、ビデオエンコード最大ビットレートV_RATEに設定する。
ステップ＃１８７４では、シナリオデータＳｔ７より、ＶＯＢインターリーブユニット分割数ILV_DIVを抽出する。
ステップ＃１８７６は、ＶＯＢデータ設定の共通のルーチンである。この共通のルーチンは図２２に示しているルーチンであり、既に説明しているので省略する。
以上のようにマルチシーンのＶＯＢセットで、パレンタル制御の場合のエンコードパラメータが生成できる。
次に、図２６を参照して、図２０に於いて、ステップ＃９００で、ＮＯと判断された時、つまり各フラグはそれぞれVOB_Fp＝０である場合の、すなわち単一シーンのエンコードパラメータ生成動作を説明する。以下の動作で、図１３、図１４に示すエンコード情報テーブル、及び図１５に示すエンコードパラメータを作成する。
ステップ＃１８８０では、シナリオデータＳｔ７に含まれているシナリオ再生順を抽出し、ＶＯＢセット番号VOBS_NOを設定し、さらにＶＯＢセット内の１つ以上のＶＯＢに対して、ＶＯＢ番号VOB_NOを設定する。
ステップ＃１８８２では、シナリオデータＳｔ７より、インターリーブＶＯＢの最大ビットレートＩＬV_BRを抽出、インターリーブフラグVOB_Fi＝１に基づき、ビデオエンコード最大ビットレートV_MRATEに設定する。
ステップ＃１８８４は、ＶＯＢデータ設定の共通のルーチンである。この共通のルーチンは図２２に示しているルーチンであり、既に説明しているので省略する。
上記ようなエンコード情報テーブル作成、エンコードパラメータ作成フローによって、ＤＶＤのビデオ、オーディオ、システムエンコード、ＤＶＤのフォーマッタのためのエンコードパラメータは生成できる。
＜３．６．２＞フォーマッタフロー
図２７、図２８、図２９、図３０及び図３１に、図２１に示ずステップ＃２３００のＤＶＤマルチメディアストリーム生成のフォーマッタサブルーチンに於ける動作について説明する。
図２７に示すフローチャートを参照しながら、本発明に係るＤＶＤエンコーダＥＣＤのフォーマッタ１１００の動作を説明する。なお、同ずに於いて二重線で囲まれたブロックはそれぞれサブルーチンを示す。
ステップ＃２３１０では、ＶＯＢセットデータ列のタイトル数TITLE_NUMに基づき、ＶＴＳＩ内のビデオタイトルセット管理テーブルVTSI_MATにTITLE_NUM数分のVTSI_PGCIを設定する。
ステップ＃２３１２では、ＶＯＢセットデータ内のマルチシーンフラグVOB_Fpに基づいて、マルチシーンであるか否かを判断する。ステップ＃２１１２でＮＯ、つまり、マルチシーンではないと判断された場合にはステップ＃２１１４に進む。
ステップ＃２３１４では、単一のＶＯＢの図１２のオーサリグエンコーダにおけるフォーマッタ１１００の動作のサブルーチンを示す。このサブルーチンについては、後述する。
ステップ＃２３１２に於いて、ＹＥＳ、つまり、マルチシーンであると判断された場合にはステップ＃２３１６に進む。
ステップ＃２３１６では、ＶＯＢセットデータ内のインターリーブフラグVOB_Fiに基づいて、インターリーブするか否かを判断する。ステップ＃２３１６でＮＯ、つまり、インターリーブしないと判断された場合には、ステップ＃２３１４に進む。
ステップ２３１８では、ＶＯＢセットデータ内のマルチアングルフラグVOB_Fmに基づいて、マルチアングルであるか否かを判断する。ステップ＃２３１８でＮＯ、つまり、マルチアングルでなないと判断された場合には、すなわちパレンタル制御のサブルーチンであるステップ＃２３２０に進む。
ステップ＃２３２０では、パレンタル制御のＶＯＢセットでのフォーマッタ動作のサブルーチンを示す。このサブルーチンは図３０に示し、後で詳細に説明する。
ステップ＃２３２０に於いて、ＹＥＳ、つまりマルチアングルである判断された場合にはステップ＃２３２２に進む。
ステップ＃２３２２では、マルチアングルシームレス切り替えフラグVOB_FsVに基づいて、シームレス切り替えか否かを判断する。ステップ＃２３２２で、ＮＯ、つまりマルチアングルが非シームレス切り替え制御であると判断された場合には、ステップ＃２３２６に進む。
ステップ＃２３２６では、非シームレス切り替え制御のマルチアングルの場合の図１２のオーサリングエンコードのフォーマッタ１１００の動作のサブルーチンを示す。図２８を用いて、後で詳細に説明する。
ステップ＃２３２２に於いて、ＹＥＳ、つまりシームレス切り替え制御のマルチアングルであると判断された場合には、ステップ＃２３２４に進む。
ステップ＃２３２４では、シームレス切り替え制御のマルチアングルのフォーマッタ１１００の動作のサブルーチンを示す。図２９を用いて、後で詳細に説明する。
ステップ２３２８では、先のフローで設定しているセル再生情報ＣＰＢＩをＶＴＳＩのＣＰＢＩ情報として記録する。
ステップ＃２３３０では、フォーマッタフローがＶＯＢセットデータ列のＶＯＢセット数VOBS_NUMで示した分のＶＯＢセットの処理が終了したかどうか判断する。ステップ＃２１３０に於いて、ＮＯ、つまり全てのＶＯＢセットの処理が終了していなければ、ステップ＃２１１２に進む。
ステップ＃２１３０に於いて、ＹＥＳ、つまり全てのＶＯＢセットの処理が終了していれば、処理を終了する。
次に図２８を用いて、図２７のステップ＃２３２２に於いて、ＮＯ、つまりマルチアングルが非シームレス切り替え制御であると判断された場合のサブルーチンステップ＃２３２６のサブルーチンについて説明する。以下に示す動作フローにより、マルチメディアストリームのインターリーブ配置と図５でしめすセル再生情報（C_PBI#i）の内容及び図８に示すナブパックＮＶ内の情報を、生成されたＤＶＤのマルチメディアストリームに記録する。
ステップ＃２３４０では、マルチシーン区間がマルチアングル制御を行う事を示すVOB_Fm＝１の情報に基づいて、各シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のセルブロックモード（図５中のＣＢＭ）に、例えば、図１０に示すＭＡ１のセルのＣＢＭ＝“セルブロック先頭＝０１ｂ”、ＭＡ２のセルのＣＢＭ＝“セルブロックの内＝１０ｂ”、ＭＡ３のセルのＣＢＭ＝“セルブロックの最後＝１１ｂ”を記録する。
ステップ＃２３４２では、マルチシーン区間がマルチアングル制御を行う事を示すVOB_Fm＝１の情報に基づいて、各シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のセルブロックタイブ（図５中のCBT）に“アングル”示す値＝“０１ｂ”を記録する。
ステップ＃２３４４では、シームレス接続を行う事を示すVOB_Fsb＝１の情報に基づいて、シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のシームレス再生フラグ（図５中のSPF）に”１”を記録する。
ステップ＃２３４６では、シームレス接続を行う事を示すVOB_Fsb＝１の情報に基づいて、シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のＳＴＣ再設定フラグ（図５中のSTCDF）に”１”を記録する。
ステップ＃２３４８では、インターリーブ要である事を示すVOB_FsV＝１の情報に基づいて、シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のインターリーブブロック配置フラグ（図５中のIAF）に”１”を記録する。
ステップ＃２３５０では、図１２のシステムエンコーダ９００より得られるタイトル編集単位（以下、ＶＯＢと記述する）より、ナブパックＮＶの位置情報（ＶＯＢ先頭からの相対セクタ数）を検出し、図２１のステップ＃１８１６で得たフォーマッタのパラメータである最小インターリーブユニットの再生時間ILVU_MTのデータに基づいて、ナブパックＮＶを検出して、ＶＯＢＵの位置情報（ＶＯＢの先頭からのセクタ数など）を得てＶＯＢＵ単位に、分割する。例えば、前述の例では、最小インターリーブユニット再生時間は２秒、ＶＯＢＵ１つの再生時間０．５秒であるので、４つＶＯＢＵ毎にインターリーブユニットとして分割する。この分割処理は、各マルチシーンに相当するＶＯＢに対して行う。
ステップ＃２３５２では、ステップ＃２１４０で記録した各シーンに対応するＶＯＢの制御情報として、記述したセルブロックモード（図５中のＣＢＭ）記述順（“セルブロック先頭”、“セルブロックの内”、“セルブロックの最後”とした記述順）に従い、例えば、図１０に示すＭＡ１のセル、ＭＡ２のセル、ＭＡ３のセルの順に、ステップ＃２３５０で得られた各ＶＯＢのインターリーブユニットを配置して、図１８または図３４で示すようなインターリーブブロックを形成し、VTSTT_VOBデータに加える。
ステップ＃２３５４では、ステップ＃２３５０で得られたＶＯＢＵの位置情報をもとに、各ＶＯＢＵのナブパックＮＶのＶＯＢＵ最終パックアドレス（図８のCOBU_EA）にＶＯＢＵ先頭からの相対セクタ数を記録する。
ステップ＃２３５６では、ステップ＃２３５２で得られるVTSTT_VOBSデータをもとに、各セルの先頭のＶＯＢＵのナブパックＮＶのアドレス、最後のＶＯＢＵのナブパックＮＶのアドレスとして、VTSTT_VOBSの先頭からのセクタ数をセル先頭ＶＯＢＵアドレスC_FVOBU_SAとセル終端ＶＯＢＵアドレスC_LVOBU_SAを記録する。
ステップ＃２３５８では、それぞれのＶＯＢＵのナブパックＮＶの非シームレスアングル情報（図８のNSM_AGLI）に、そのＶＯＢＵの再生開始時刻に近い、すべてのアングルシーンのＶＯＢＵに含まれるナブパックＮＶの位置情報として、ステップ＃２３５２で形成されたインターリーブブロックのデータ内での相対セクタ数を、アングル＃ｉＶＯＢＵ開始アドレス（図８のNSML_AGL_C1_DSTA〜NSML_AGL_C9_DSTA）に記録する。
ステップ＃２１６０では、ステップ＃２３５０で得られたＶＯＢＵに於いて、マルチシーン区間の各シーンの最後ＶＯＢＵであれば、そのＶＯＢＵのナブパックＮＶの非シームレスアングル情報（図８のNSM_AGLI）のアングル＃ｉＶＯＢＵ開始アドレス（図８のNSML_AGL_C1_DSTA〜NSML_AGL_C9_DSTA）に“７ＦＦＦＦＦＦＦｈ”を記録する。
以上のステップにより、マルチシーン区間の非シームレス切り替えマルチアングル制御に相当するインターリーブブロックとそのマルチシーンに相当する再生制御情報であるセル内の制御情報がフォーマットされる。
次に図２９を用いて、図２７のステップ＃２３２２に於いて、ＹＥＳ、つまりマルチアングルがシームレス切り替え制御であると判断された場合のサブルーチンステップ＃２３２４について説明する。以下に示す動作フローにより、マルチメディアストリームのインターリーブ配置と図５でしめすセル再生情報（C_PBI#i）の内容及び図８に示すナブパックＮＶ内の情報を、生成されたＤＶＤのマルチメディアストリームに記録する。
ステップ＃２３７０では、マルチシーン区間がマルチアングル制御を行う事を示すVOB_Fm＝１の情報に基づいて、各シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のセルブロックモード（図５中のＣＢＭ）に、例えば、図１０に示すＭＡ１のセルのＣＢＭ＝“セルブロック先頭＝０１ｂ”、ＭＡ２のセルのＣＢＭ＝“セルブロックの内＝１０ｂ”、ＭＡ３のセルのＣＢＭ＝“セルブロックの最後＝１１ｂ”を記録する。
ステップ＃２３７２では、マルチシーン区間がマルチアングル制御を行う事を示すVOB_Fm＝１の情報に基づいて、各シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のセルブロックタイプ（図５中のCBT）に“アングル”示す値＝“０１ｂ”を記録する。
ステップ＃２３７４では、シームレス接続を行う事を示すVOB_Fsb＝１の情報に基づいて、シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のシームレス再生フラグ（図５中のSPF）に”１”を記録する。
ステップ＃２３７６では、シームレス接続を行う事を示すVOB_Fsb＝１の情報に基づいて、シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のＳＴＣ再設定フラグ（図５中のSTCDF）に”１”を記録する。
ステップ＃２３７８では、インターリーブ要である事を示すVOB_FsV＝１の情報に基づいて、シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のインターリーブブロック配置フラグ（図５中のＩＡＦ）に”１”を記録する。
ステップ＃２３８０では、図１２のシステムエンコーダ９００より得られるタイトル編集単位（以下、ＶＯＢと記述する）より、ナブパックＮＶの位置情報（ＶＯＢ先頭からの相対セクタ数）を検出し、図２４のステップ＃１８５４で得たフォーマッタのパラメータである最小インターリーブユニットの再生時間ILVU_MTのデータに基づいて、ナブパックＮＶを検出して、ＶＯＢＵの位置情報（ＶＯＢの先頭からのセクタ数など）を得てＶＯＢＵ単位に、分割する。例えば、前述の例では、最小インターリーブユニット再生時間は２秒、ＶＯＢＵ１つの再生時間０．５秒であるので、４つＶＯＢＵ単位毎にインターリーブユニットとして分割する。この分割処理は、各マルチシーンに相当するＶＯＢに対して行う。
ステップ＃２３８２では、ステップ＃２１６０で記録した各シーンに対応するＶＯＢの制御情報として、記述したセルブロックモード（図５中のＣＢＭ）記述順（“セルブロック先頭”、“セルブロックの内”、“セルブロックの最後”とした記述順）に従い、例えば、図１０に示すＭＡ１のセル、ＭＡ２のセル、ＭＡ３のセルの順に、ステップ＃１８５２で得られた各ＶＯＢのインタリーブユニットを配置して、図１８または図３４で示すようなインターリーブブロックを形成し、VTSTT_VOBSデータに加える。
ステップ＃２３８４では、ステップ＃２３６０で得られたＶＯＢＵの位置情報をもとに、各ＶＯＢＵのナブパックＮＶのＶＯＢＵ最終パックアドレス（図８のCOBU_EA）にＶＯＢＵ先頭からの相対セクタ数を記録する。
ステップ＃２３８６では、ステップ＃２３８２で得られるVTSTT_VOBSデータをもとに、各セルの先頭のＶＯＢＵのナブパックＮＶのアドレス、最後のＶＯＢＵのナブパックＮＶのアドレスとして、VTSTT_VOBSの先頭からのセクタ数をセル先頭ＶＯＢＵアドレスC_FVOBU_SAとセル終端ＶＯＢＵアドレスC_LVOBU_SAを記録する。
ステップ＃２３８８では、ステップ＃２３７０で得たインターリーブユニットのデータに基づいて、そのインターリーブユニットを構成するそれぞれＶＯＢＵのナブパックＮＶのインターリープユニット最終パックアドレス（ＩＬＶＵ最終パックアドレス）（図８のILVU_EA）に、インターリーブユニットの最後のパックまでの相対セクタ数を記録する。
ステップ＃２３９０では、それぞれのＶＯＢＵのナブパックＮＶのシームレスアングル情報（図８のSML_AGLI)に、そのＶＯＢＵの再生終了時刻に続く開始時刻をもつ、すべてのアングルシーンのＶＯＢＵに含まれるナブパックＮＶの位置情報として、ステップ＃２３８２で形成されたインターリーブブロックのデータ内での相対セクタ数を、アングル＃ｉＶＯＢＵ開始アドレス（図８のSML_AGL_C1_DSTA〜SML_AGL_C9_DSTA）に記録する。
ステップ＃２３９２では、ステップ＃２３８２で配置されたインターリーブユニットがマルチシーン区間の各シーンの最後のインターリーブユニットであれば、そのインターリーブユニットに含まれるＶＯＢＵのナブパックＮＶのシームレスアングル情報（図８のSML_AGLI）のアングル＃ｉＶＯＢＵ開始アドレス（図８のSML_AGL_C1_DSTA〜SML_AGL_C9_DSTA）に“ＦＦＦＦＦＦＦＦｈ”を記録する。
以上のステップにより、マルチシーン区間のシームレス切り替えマルチアングル制御に相当するインターリーブブロックとそのマルチシーンに相当する再生制御情報であるセル内の制御情報がフォーマットされた事になる。
次に図３０を用いて、図２７のステップ＃２３１８に於いて、ＮＯ、つまりマルチアングルではなく、パレンタル制御であると判断された場合のサブルーチンステップ＃２３２０について説明する。
以下に示す動作フローにより、マルチメディアストリームのインターリーブ配置と図５でしめすセル再生情報（C_PBI#i）の内容及び図８に示すナブパックＮＶ内の情報を、生成されたＤＶＤのマルチメディアストリームに記録する。
ステップ＃２４０２では、マルチシーン区間がマルチアングル制御を行なわない事を示すVOB_Fm＝０の情報に基づいて、各シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のセルブロックモード（図５中のＣＢＭ）に“００ｂ”を記録する。
ステップ＃２４０４では、シームレス接続を行う事を示すVOB_Fsb＝１の情報に基づいて、シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のシームレス再生フラグ（図５中のSPF）に”１”を記録する。
ステップ＃２４０６では、シームレス接続を行う事を示すVOB_Fsb＝１の情報に基づいて、シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のＳＴＣ再設定フラグ（図５中のSTCDF）に”１”を記録する。
ステップ＃２４０８では、インターリーブ要である事を示すVOB_FsV＝１の情報に基づいて、シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のインタリーブブロック配置フラグ（図５中のIAF）に”１”を記録する。
ステップ＃２４１０では、図１２のシステムエンコーダ９００より得られるタイトル編集単位（以下、ＶＯＢと記述する）より、ナブパックＮＶの位置情報（ＶＯＢ先頭からの相対セクタ数）を検出し、図２５のステップ＃１８７４で得たフォーマッタのパラメータであるＶＯＢインターリーブ分割数ILV_DIVのデータに基づいて、ナブパックＮＶを検出して、ＶＯＢＵの位置情報（ＶＯＢの先頭からのセクタ数など）を得て、ＶＯＢＵ単位に、ＶＯＢを設定された分割数のインターリーブユニットに分割する。
ステップ＃２４１２では、ステップ＃２４１０で得られたインターリーブユニットを交互に配置する。例えばＶＯＢ番号の昇順に、配置し、図１８または図３４で示すようなインターリーブブロックを形成し、VTSTT_VOBSに加える。
ステップ＃２４１４では、ステップ＃２１８６で得られたＶＯＢＵの位置情報をもとに、各ＶＯＢＵのナブパックＮＶのＶＯＢＵ最終パックアドレス（図８のCOBU_EA）にＶＯＢＵ先頭からの相対セクタ数を記録する。
ステップ＃２４１６では、ステップ＃２４１２で得られるVTSTT_VOBSデータをもとに、各セルの先頭のＶＯＢＵのナブパックＮＶのアドレス、最後のＶＯＢＵのナブパックＮＶのアドレスとして、VTSTT_VOBSの先頭からのセクタ数をセル先頭ＶＯＢＵアドレスC_FVOBU_SAとセル終端ＶＯＢＵアドレスC_LVOBU_SAを記録する。
ステップ＃２４１８では、ステップ＃２４１２で得た配置されたインターリーブユニットのデータに基づいて、そのインターリーブユニットを構成するそれぞれＶＯＢＵのナブパックＮＶのインターリーブユニット最終パックアドレス（ＩＬＶＵ最終パックアドレス）（図８のILVUE_A）に、インターリーブユニットの最後のパックまでの相対セクタ数を記録する。
ステップ＃２４２０では、インターリーブユニットＩＬＶＵに含まれるＶＯＢＵのナブパックＮＶに、次のＩＬＶＵの位置情報として、ステップ＃２４１２で形成されたインターリーブブロックのデータ内での相対セクタ数を、次インターリーブユニット先頭アドレスNT_ILVU_SAを記録する。
ステップ＃２４２２では、インターリーブユニットＩＬＶＵに含まれるＶＯＢＵのナブパックＮＶにＩＬＶＵフラグILVUflagに”１”を記録する。
ステップ＃２４２４では、インターリーブユニットＩＬＶＵ内の最後のＶＯＢＵのナブパックＮＶのＵｎｉｔＥＮＤフラグUnitENDflagに”１”を記録する。
ステップ＃２４２６では、各ＶＯＢの最後のインターリーブユニットＩＬＶＵ内のＶＯＢＵのナブパックＮＶの次インターリーブユニット先頭アドレスNT_ILVU_SAに“ＦＦＦＦＦＦＦＦｈ”を記録する。
以上のステップにより、マルチシーン区間のパレンタル制御に相当するインターリーブブロックとそのマルチシーンに相当するセル再生制御情報であるセル内の制御情報がフォーマットされる。
次に図３１を用いて、図２７のステップ＃２３１２及びステップ＃２３１６に於いて、ＮＯ、つまりマルチシーンではなく、単一シーンであると判断された場合のサブルーチンステップ＃２３１４について説明する。以下に示す動作フローにより、マルチメディアストリームのインターリーブ配置と図５でしめすセル再生情報（C_PBI#i）の内容及び図８に示すナブパックＮＶ内の情報を、生成されたＤＶＤのマルチメディアストリームに記録する。
ステップ＃２４３０では、マルチシーン区間ではなく、単一シーン区間である事を示すVOB_Fp＝０の情報に基づいて、各シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のセルブロックモード（図５中のＣＢＭ）に非セルブロックである事を示す“００ｂ”を記録する。
ステップ＃２４３２では、インターリーブ不要である事を示すVOB_FsV＝０の情報に基づいて、シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のインターリーブブロック配置フラグ（図５中のIAF）に“０”を記録する。
ステップ＃２４３４では、図１２のシステムエンコーダ９００より得られるタイトル編集単位（以下、ＶＯＢと記述する）より、ナブパックＮＶの位置情報（ＶＯＢ先頭からの相対セクタ数）を検出し、ＶＯＢＵ単位に配置し、マルチメディア緒ストリームのビデオなどのストリームデータであるVTSTT_VOBに加える。
ステップ＃２４３６では、ステップ＃２４３４で得られたＶＯＢＵの位置情報をもとに、各ＶＯＢＵのナブパックＮＶのＶＯＢＵ最終パックアドレス（図８のCOBU_EA）にＶＯＢＵ先頭からの相対セクタ数を記録する。
ステップ＃２４３８では、ステップ＃２４３４で得られるVTSTT_VOBSデータに基づいて、各セルの先頭のＶＯＢＵのナブパックＮＶのアドレス、及び最後のＶＯＢＵのナブパックＮＶのアドレスを抽出する。更に、VTSTT_VOBSの先頭からのセクタ数をセル先頭ＶＯＢＵアドレスC_FVOBU_SAとして、VTSTT_VOBSの終端からのセクタ数をセル終端ＶＯＢＵアドレスC_LVOBU_SAとして記録する。
ステップ＃２４４０では、図２０のステップ＃３００またはステップ＃６００で、判断された状態、すなわち前後のシーンとシームレス接続を示すVOB_Fsb＝１であるか否かを判断する。ステップ＃２４４０でＹＥＳと判断された場合、ステップ＃２４４２に進む。
ステップ＃２４４２では、シームレス接続を行う事を示すVOB_Fsb＝１の情報に基づいて、シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_SPBI#i）のシームレス再生フラグ（図５中のSPF）に”１”を記録する。
ステップ＃２４４４では、シームレス接続を行う事を示すVOB_Fsb＝１の情報に基づいて、シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のＳＴＣ再設定フラグ（図５中のSTCDF）に”１”を記録する。
ステップ＃２４４０でＮＯと判断された場合、すなわち、前シーンとはシームレス接続しない場合には、ステップ＃２４４６に進む。
ステップ＃２４４６では、シームレス接続を行う事を示すVOB_Fsb＝０の情報に基づいて、シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のシームレス再生フラグ（図５中のSPF）に“０”を記録する。
ステップ＃２４４８では、シームレス接続を行う事を示すVOB_Fsb＝０の情報に基づいて、シーンに対応するＶＯＢの制御情報を記述するセル（図５のC_PBI#i）のＳＴＣ再設定フラグ（図５中のSTCDF）に“０”を記録する。
以上に示す動作フローにより、単一シーン区間に相当するマルチメディアストリームの配置と図５でしめすセル再生情報（C_PBI#i）の内容及び図８に示すナブパックＮＶ内の情報を、生成されたＤＶＤのマルチメディアストリーム上に記録される。
以下に、本発明に係るオーサリングエンコーダＥＣを上述のパレンタルロック制御及び、マルチアングル制御に於ける択一的再生を可能にするオーサリングエンコーディングについて、更に詳しく説明する。択一的再生を可能にするオーサリングエンコーディングは以下の６工程に大別できる。
工程１：エレメンタリエンコードパラメータ（ＥＥＰａｒａｍ）生成
・各素材（映像情報、音声情報、副映像情報）のパラメータを入力する。
・アングル区間を構成することになる素材はこれを指定する。
・パレンタル区間を構成することになる素材はこれを指定する。
工程２：ＥＥＰａｒａｍチェック及びフィードバック
「アングル区間の検証」
・アングル区間の素材の均質性をチェック
映像の長さが等しいか検証する。
音声、副映像のチャネル数が等しいか検証する。
均質性が保証できなければ「エラー」を表示する。
「パレンタル区間の検証」
・前記第１式及び第４式を満たすＭ値があるか検証する。
Ｍ値がなければ「エラー」を表示する。
工程３：エレメンタリエンコード
・各素材をＥＥＰａｒａｍに基づきエンコードする。
工程４：システムエンコード
工程５：フォーマッタ
工程６：ディスク生成
尚、行程４、５、及び６は、図２０及び図２１を参照して述べてステップ＃１８００〜＃２３００と基本的に同じであるので説明を省略するする。
此処では、先ず図４５を参照して、編集制御指示データＳｔ７を生成する編集情報作成部１００Ｒについて説明する。本例における編集情報作成部１００Ｒは、図３７及び図３８に示す編集情報作成部１００と類似の構造を有しているが、及びコンピュータ及びその制御ソフトと、ビデオテープドライブ装置と、テープドライブ装置から構成される。図４５に於いて、１０２Ｒは編集情報入力部、１０４Ｒはエラー情報提示部、１０８Ｒは編集情報エラー検出部、１１０Ｒはエレメンタリエンコード用パラメータ生成部、及び１１２Ｒはエレメントストリーム入力バッファである。
編集情報入力部１０２Ｒは、好ましくはソフトウェアで構成されるテキストエディタであり、コンピュータのキーボード等の入力手段によりユーザが入力する情報を受付て、コンピュータ内メモリ（不図示）中に保持する。保持されるデータはそれぞれ、図４３に示されるビデオテーブルＶＴＢＬ（VTBL:V
ideo Table)と図４４に示されるオーディオテーブルＡＴＢＬ（ATBL:Audio Table)である。
編集情報エラー検出部１０８Ｒは、好ましくはソフトウェアで構成されて、生成されたＶＴＢＬとＡＴＢＬの内容を検証し、不適切な設定があれば、エラー値をエラー情報提示部１０４Ｒへ出力し、不適切な設定がなければＶＴＢＬとＡＴＢＬをエレメンタリエンコード用パラメータ生成部１１０Ｒへ出力する。なお、編集情報作成部１００Ｒの動作に付いては、図４６のフローチャートを参照して後程詳しく説明する。
エラー情報提示部１０４Ｒは、好ましくはソフトウェアで構成されて、編集情報エラー検出部１０８Ｒから入力されたエラー値を解析しユーザに視覚的にフィードバックする。具体的にはエラー値に含まれる情報により、ＶＴＢＬ及びＡＴＢＬのいずれのパラメータが不適切かを判定し、該パラメータが不適切である旨の警告メッセージをコンピュータのディスプレイ装置に表示する。
エレメンタリストリーム入力バッファ１１２Ｒは、外部から映像素材、音声素材を受け付ける。典型的には映像素材を受け付けるためのビデオテープドライブ装置と、音声素材、副映像素材を受け付けるためのテープドライブ装置である。
エレメンタリエンコード用パラメータ生成部１１０Ｒは、好ましくはソフトウェアで構成されて、ＶＴＢＬとＡＴＢＬを解析し、パラメータをエレメンタリストリーム入力バッファ１１２と外部のビデオエンコーダ、オーディオエンコーダに出力する。
例えば、図４３に示すＶＴＢＬであれば、タイムコードＳｔ６はエレメンタリストリーム入力バッファ１１２Ｒへ、それ以外は編集制御指示データＳｔ７Ｒとしてエンコードシステム制御部２００へ出力する。
また、図４４に示すＡＴＢＬであれば、タイムコードＳｔ６はエレメンタリストリーム入力バッファ１１２Ｒへ、それ以外は編集制御指示データＳｔ７Ｒとしてエンコードシステム制御部２００へ出力する。
次に各工程について、図４２、図４３、図４４、図４５、及び図４６を参照して、具体例を用いて説明する。
図４２は、制作するディスクのビデオデータとその再生順序を示す一例である。
図４２に於いて、区間Ｂは、ビデオデータv02,v02cutから構成されるパレンタル区間である。v02cutはv02から、視聴制限の目的で一部の映像がカットされたビデオデータを示す。区間Ｄは、ビデオデータv04en,v04fr,v04es,及びv04ptから構成されるアングル区間である。v04en,v04fr,v04es,及びv04ptは異なる４つのアングルで撮影されたビデオデータである。以下に、各行程毎に、動作を詳しく説明する。
先ず第１行程に於いて、エレメンタリエンコード用のパラメータＥＥＰａｒｍ生成が生成される。編集情報入力部１０２Ｒはユーザの入力を受付け、ビデオエンコード用のパラメータであるビデオデーブルＶＴＢＬとオーディオエンコード用のパラメータであるオーディオテーブルＡＴＢＬを生成する。
図４３に図４２に示すビデオエンコーダ用入力データのビデオテーブルＶＴＢＬの一例を示す。同図に示すように、ビデオデープルＶＴＢＬには、左から順番に、ＶＯＢ、Ａｕｄｉｏ、ＳＰ、ＡＴＴＲ、ＳＴＡＲＴ＿ＴＣ、ＥＮＤ＿ＴＣ、ＢＲ、及び１３２の８つフィールドがあり、それぞれの意味するところは下記の通りである。
・VOB   ：インタリーブ対象となるＭＰＥＧストリーム名
・Audio：ＭＰＥＧストリームの音声ストリーム数
・SP   ：ＭＰＥＧストリームの副映像ストリーム数
・ATTR ：属性情報：アングル区間は"AG"、パレンタル区間は"DC"、通常区間は"SL"
・START_TC：エンコード用素材テープの開始コード
・END_TC  ：エンコード用素材テープの終了コード
・BR      ：ビットレート
・132     ：逆テレシネの指定フラグ
である。
、図４４に、オーディオエンコーダ用入力データのオーディオテーブルＡＴＢＬを示す。同図においては、オーディオテーブルＡＴＢＬも、左からＶＯＢ、ＳＴＲ＿ＮＯ  ＭＯＤＥ、ＳＴＡＲＴ＿ＴＣ、ＥＮＤ＿ＴＣ、ＡＴＴＲ、ＢＲ、及びＦＱの８つフィールドがあり、それぞれの意味するところは下記の通りである。
・VOB     ：インターリーブ対象となるＭＰＥＧストリーム名
・STR_NO  ：ストリーム番号
・MODE    ：エンコードモード、ＡＣ３またはＬＰＣＭ
・START_TC：エンコード用素材テープの開始コード
・END_TC  ：エンコード用素材テープの終了コード
・ATTR    ：属性情報：アングル区間は"AG"、パレンタル区間は"DC"、通常区間は"SL"
・BR：ビットレート
・FQ：サンプリング周波数
である。
尚、各フィールドの列挙の順序が再生の順序と一致する。また、アングルやパレンタル区間は連続して列挙するフォーマットになっている。アングル区間の列挙の順序はアングル番号の順序でもある。
次に、第二行程で、エレメンタパラメータＥＥＰａｒａｍのチェック及びフィードバックが行われる。エラー情報提示部１０４Ｒ及び編集情報エラー検出部１０８Ｒにより、マルチアングル区間とパレンタルロック区間の検証が行なわれる。以下に図４６に示すフローチャートを参照して、マルチアングル区間とパレンタルロック区間の検証について説明する。
先ず、ステップＳ１で、ビットレート判定が行われる。ビットレート判定に於いては、最初に各ＶＯＢ（ＭＰＥＧストリーム）のビットレートが所定の値以下か否か判定する。
すなわち、
・ＶＯＢの映像情報に割り当てられるビットレート：ＶＴＢＬの"BR"
・ＶＯＢの音声情報に割り当てられるビットレート：ＡＴＢＬの"BR"
・ＶＯＢの副映像情報に割り当てられるビットレート：固定値
・ＶＯＢの音声ストリーム数：ＶＴＢＬの"Audio"
・ＶＯＢの副映像ストリーム数：ＶＴＢＬの"SP"
より、ＶＯＢ全体のビットレートを求め、これが、ビデオバッファへの転送レートより下回ることを確認する。ビットレートが適正値でなければ、ステップＳ９に進んで、警告メッセージをモニタ装置に表示する等のエラー処理を行う。
ステップＳ３で、区間が判定される。先ず、ビデオテーブルＶＴＢＬの各エントリーを順に検査し、アングル区間やパレンタル区間を検出する。具体的には属性情報の値が"AG"であるエントリはアングルと判断し、以後、属性情報が"AG"として連続するエントリの集合がアングル区間を形成するビデオデータのエントリと判定する。パレンタルも同様にそのパレンタル区間を判定する。パレンタル区間の場合には、ステップＳ５に進み、マルチアングル区間であればステップＳ７に進む。
ステップＳ５で、パレンタル区間が検証される。パレンタル区間として保持された各ＶＯＢのエントリーを検証し、上述した式（１）、（４）を満たすＭ値があるか否か判定する。適正値でなければエラー処理を行う。（警告メッセージをモニタ装置に表示する。）
ステップＳ７で、アングル区間が検証される。アングル区間として上述した条件を全て満たし、アングル区間に属する各ＶＯＢの均質性が保証できるか否かを判定する。適正値でなければエラー処理を行う。（警告メッセージをモニタ装置に表示する。）
ステップＳ９で、編集情報作成部１００ＲからビデオテーブルＶＴＢＬ及びオーディオテーブルＡＴＢＬがエレメンタリエンコード用パラメータ生成部１１０Ｒに出力された後、次の行程３に進む。
第３行程では、エレメンタリエンコードが実施される。エレメンタリエンコード用パラメータ生成部１１０Ｒ、エレメンタリストリーム入力バッファ１１２Ｒと、エンコーダボード等（不図示）により、各素材をエレメンタリエンコードパラメータ（ＥＥＰａｒａｍ）に基づきエンコードする。エレメンタリエンコード用パラメータ生成部１１０Ｒは、ビデオテーブルＶＴＢＬ及びオーディオテーブルＡＴＢＬに従い、エレメントストリーム入力バッファ１１２Ｒ（テープ装置等）を制御し、素材となるデータを外部のエンコーダに出力させ、同時に、外部のエンコーダにエンコード用のパラメータを出力する。尚、エレメンタリエンコード用パラメータ生成部１１０Ｒの代わりに、エンコードシステム制御部２００にエレメントストリーム入力バッファ１１２Ｒの制御を行わせても良い。
尚、行程４、５及び６は、前述のように、図２０及び図２１を参照して述べてステップ＃１８００〜＃２３００と基本的に同じであるので説明を省略するする。
尚第４工程、第５行程、及び第６行程については、説明を省く。
＜３．７＞デコーダのフローチャート
＜３．７．１＞ディスクからストリームバッファ転送フロー
以下に、図３２および図３３を参照して、シナリオ選択データＳｔ５１に基づいてデコードシステム制御部２３００が生成するデコード情報テーブルについて説明する。デコード情報テーブルは、図３２に示すデコードシステムテーブルと、図３３に示すデコードテーブルから構成される。
図３２に示すようにデコードシステムテーブルは、シナリオ情報レジスタ部とセル情報レジスタ部からなる。シナリオ情報レジスタ部は、シナリオ選択データＳｔ５１に含まれるユーザの選択した、タイトル番号等の再生シナリオ情報を抽出して記録する。セル情報レジスタ部は、シナリオ情報レジスタ部は抽出されたユーザの選択したシナリオ情報に基いてプログラムチェーンを構成する各セル情報を再生に必要な情報を抽出して記録する。
更に、シナリオ情報レジスタ部は、アングル番号レジスタANGLE_NO_reg、ＶＴＳ番号レジスタVTS_NO_reg、ＰＧＣ番号レジスタVTS_PGCI_NO_reg、オーディオＩＤレジスタAUDIO_ID_reg、副映像ＩＤレジスタSP_ID_reg、及びＳＣＲ用バッファレジスタSCR_bufferを含む。
アングル番号レジスタANGLE_NO_regは、再生するＰＧＣにマルチアングルが存在する場合、どのアングルを再生するかの情報を記録する。ＶＴＳ番号レジスタVTS_NO_regは、ディスク上に存在する複数のＶＴＳのうち、次に再生するＶＴＳの番号を記録する。ＰＧＣ番号レジスタVTS_PGCI_NO_regは、パレンタル等の用途でＶＴＳ中存在する複数のＰＧＣのうち、どのＰＧＣを再生するかを指示する情報を記録する。
オーディオＩＤレジスタAUDIO_ID_regは、ＶＴＳ中存在する複数のオーディオストリームの、どれを再生するかを指示する情報を記録する。副映像ＩＤレジスタSP_ID_regは、ＶＴＳ中に複数の副映像ストリームが存在する場合は、どの副映像ストリームを再生するか指示する情報を記録する。ＳＣＲ用バッファSCR_bufferは、図７に示すように、パックヘッダに記述されるＳＣＲを一時記憶するバッファである。この一時記憶されたＳＣＲは、図３を参照して説明したように、ストリーム再生データＳｔ６３としてデコードシステム制御部２３００に出力される。
セル情報レジスタ部は、セルブロックモードレジスタCBM_reg、セルブロックタイプレジスタCBT_reg、シームレス再生フラグレジスタSPB_reg、インターリーブアロケーションフラグレジスタIAF_reg、STC再設定フラグレジスタSTCDF_reg、シームレスアングル切り替えフラグレジスタSACF_reg、セル最初のＶＯＢＵ開始アドレスレジスタC_FVOBU_SA_reg、セル最後のＶＯＢＵ開始アドレスレジスタC_LVOBU_SA_regを含む。
セルブロックモードレジスタCBM_regは複数のセルが１つの機能ブロックを構成しているか否かを示し、構成していない場合は値として“N_BLOCK”を記録する。また、セルが１つの機能ブロックを構成している場合、その機能ブロックの先頭のセルの場合“F_CELL”を、最後のセルの場合“L_CELL”を、その間のセルの場合“BLOCK”を値として記録する。
セルブロックタイプレジスタCBT_regは、セルブロックモードレジスタCBM_regで示したブロックの種類を記録するレジスタであり、マルチアングルの場合”A_BLOCK”を、マルチアングルでない場合“N_BLOCK”を記録する。
シームレス再生フラグレジスタSPF_regは、該セルが前に再生されるセルまたはセルブロックとシームレスに接続して再生するか否かを示す情報を記録する。前セルまたは前セルブロックとシームレスに接続して再生する場合には、値として“SML”を、シームレス接続でない場合は値として“NSML”を記録する。
インターリーブアロケーションフラグレジスタIAF_regは、該セルがインターリーブ領域に配置されているか否かの情報を記録する。インターリーブ領域に配置されている場合には値として“ILVB”を、インターリーブ領域に配置されていない場合は”N_ILVB”を記録する。
ＳＴＣ再設定フラグレジスタSTCDF_regは、同期をとる際に使用するＳＴＣをセルの再生時に再設定する必要があるかないかの情報を記録する。再設定が必要な場合には値として“STC_RESET”を、再設定が不要な場合には値として、“STC_NRESET”を記録する。
シームレスアングルチェンジフラグレジスタSACF_regは、該セルがアングル区間に属しかつ、シームレスに切替えるかどうかを示す情報を記録する。アングル区間でかつシームレスに切替える場合には値として”SML”を、そうでない場合は”NSML”を記録する。
セル最初のＶＯＢＵ開始アドレスレジスタC_FVOBU_SA_regは、セル先頭ＶＯＢＵ開始アドレスを記録する。その値はＶＴＳタイトル用ＶＯＢＳ（VTSTT_VOBS）の先頭セルの論理セクタからの距離をセクタ数で示し、該セクタ数を記録する。セル最後のＶＯＢＵ開始アドレスレジスタC_LVOBU_SA_regは、セル最終ＶＯＢＵ開始アドレスを記録する。その値は、ＶＴＳタイトル用ＶＯＢＳ（VTSTT_VOBS）の先頭セルの論理セクタから距離をセクタ数で示し、該セクタ数を記録する。
次に、図３３のデコードテーブルについて説明する。同図に示すようにデコードテーブルは、非シームレスマルチアングル情報レジスタ部、シームレスマルチアングル情報レジスタ部、ＶＯＢＵ情報レジスタ部、シームレス再生レジスタ部からなる。
非シームレスマルチアングル情報レジスタ部は、NSML_AGL_C1_DSTA_reg〜NSML_AGL_C9_DSTA_regを含む。
NSML_AGL_C1_DSTA_reg〜NSML_AGL_C9_DSTA_regには、図８に示すＰＣＩパケット中のNSML_AGL_C1_DSTA〜NSML_AGL_C9_DSTAを記録する。
シームレスマルチアングル情報レジスタ部は、SML_AGL_C1_DSTA_reg〜SML_AGL_C9_DSTA_regを含む。
SML_AGL_C1_DSTA_reg〜SML_AGL_C9_DSTA_regには、図８に示すＤＳＩパケット中のSML-AGL_C1_DSTA〜SML_AGL_C9_DSTAを記録する。
ＶＯＢＵ情報レジスタ部は、ＶＯＢＵ最終アドレスレジスタＶＯＢＵ_EA_regを含む。
ＶＯＢＵ情報レジスタＶＯＢＵ_EA_regには、図８に示すＤＳＩパケット中のＶＯＢＵ_EAを記録する。
シームレス再生レジスタ部は、インターリーブユニットフラグレジスタILVU_flag_reg、ユニットエンドフラグレジスタUNIT_END_flag_reg、ＩＬＶＵ最終パックアドレスレジスタILVU_EA_reg、次のインターリーブユニット開始アドレスNT_ILVU_SA_reg、ＶＯＢ内先頭ビデオフレーム表示開始時刻レジスタＶＯＢ_V_SPTM_reg、ＶＯＢ内最終ビデオフレーム表示終了時刻レジスタＶＯＢ_V_EPTM_reg、オーディオ再生停止時刻１レジスタVOB_A_GAP_PTM1_reg、オーディオ再生停止時刻２レジスタVOB_A_GAP_PTM2_reg、オーディオ再生停止期間１レジスタVOB_A_GAP_LEN1、オーディオ再生停止期間２レジスタＶＯＢ_A_GAP_LEN2を含む。
インターリーブユニットフラグレジスタILVU_flag_regはＶＯＢＵが、インターリーブ領域に存在するかを示すものであり、インターリーブ領域に存在する場合“ILVU”を、インターリーブ領域に存在しない場合“N_ILVU”を記録する。ユニットエンドフラグレジスタUNIT_END_flag_regは、ＶＯＢＵがインターリーブ領域に存在する場合、該ＶＯＢＵがＩＬＶＵの最終ＶＯＢＵかを示す情報を記録する。ＩＬＶＵは、連続読み出し単位であるので、現在読み出しているＶＯＢＵが、ＩＬＶＵの最後のＶＯＢＵであれば“END”を、最後のＶＯＢＵでなければ“N_END”を記録する。
ＩＬＶＵ最終パックアドレスレジスタILVU_EA_regは、ＶＯＢＵがインターリーブ領域に存在する場合、該ＶＯＢＵが属するＩＬＶＵの最終パックのアドレスを記録する。ここでアドレスは、該ＶＯＢＵのＮＶからのセクタ数である。
次のＩＬＶＵ開始アドレスレジスタNT_ILVU_SA_regは、ＶＯＢＵがインターリーブ領域に存在する場合、次のＩＬＶＵの開始アドレスを記録する。ここでアドレスは、該ＶＯＢＵのＮＶからのセクタ数である。
ＶＯＢ内先頭ビデオフレーム表示開始時刻レジスタＶＯＢ_V_SPTM_regは、ＶＯＢの先頭ビデオフレームの表示を開始する時刻を記録する。
ＶＯＢ内最終ビデオフレーム表示終了時刻レジスタＶＯＢ_V_EPTM_regは、ＶＯＢの最終ビデオフレームの表示が終了する時刻を記録する。
オーディオ再生停止時刻１レジスタＶＯＢ_A_GAP_PTM1_regは、オーディオ再生を停止させる時間を、オーディオ再生停止期間１レジスタＶＯＢ_A_GAP_LEN1_regはオーディオ再生を停止させる期間を記録する。
オーディオ再生停止時刻２レジスタＶＯＢ_A_GAP_PTM2_regおよび、オーディオ再生停止期間２レジスタＶＯＢ_A_GAP_LEN2に関しても同様である。
＜３．８＞ＤＶＤプレーヤ
図４１に、本発明に係るマルチメディア光ディスクオーサリングシステムによって生成されたマルチメディアビットストリームが記録された光ディスクであるＤＶＤを再生装置の一例を示す。ＤＶＤはＤＶＤプレーヤ１のトレイ内に格納されて用いられる。ＤＶＤプレーヤ１は、ＤＶＤから再生した画像や音声を表示及び発声させるテレビモニタ２に接続されている。尚、ユーザがＤＶＤプレーヤ１及びテレビモニタ２の操作をするためのリモコン９１が設けられている。
ＤＶＤプレーヤ１は、筐体正面に開口を有し、開口の奥行き方向には光ディスクをセットするドライブ機構が設けられている。ＤＶＤプレーヤ１の正面には、リモコン９１が発する赤外線を受光する受光素子を有したリモコン受信部９２が設けられており、操作者が把持したリモコンに対して操作があると、リモコン受信部９２は、キー信号を受信した旨の割込み信号を発する。
ＤＶＤプレーヤ１の背面にはビデオ出力端子、オーディオ出力端子が備えられており、ここにＡＶコードを接続することでＤＶＤから再生された映像信号を家庭用の大型テレビモニタ２に出力することができる。これによって操作者は、３３インチ、３５インチ等家庭用の大型テレビによって、ＤＶＤの再生映像を楽しむことができる。以上の説明からも判るように、本実施例のＤＶＤプレーヤ１はパソコン等と接続して用いるものではなく、家庭用電化機器として、テレビモニタ２と共に用いるものである。
リモコン９１は、その筐体表面にバネ付勢されたキーパッドが設けられており、押下されたキーに対応するコードを赤外線で出力する。キーパッドには、『POWER』キーや、『再生』、『停止』、『ポーズ』、『早送り』、『巻き戻し』キーに加えて、アングルを切り替えるための『アングル』キーや、パレンタルレベルを設定するための設定メニューを呼び出すための『設定』キー等が配されている。
産業上の利用可能性
以上のように、本発明にかかるマルチメディアストリーム生成方法とマルチメディア光ディスクオーサリングシステムは、様々な情報を搬送するビットストリームから構成されるタイトルをユーザーの要望に応じて編集して新たなタイトルを構成することができるオーサリングシステムに用いるのに適しており、更に言えば、近年開発されたデジタルビデオディスクシステム、いわゆるＤＶＤシステムに適している。
【図１】
0003908280.tif 000002
【図２】
0003908280.tif 000003
【図３】
0003908280.tif 000004
【図４】
0003908280.tif 000005
【図５】
0003908280.tif 000006
【図６】
0003908280.tif 000007
【図７】
0003908280.tif 000008
【図８】
0003908280.tif 000009
【図９】
0003908280.tif 000010
【図１０】
0003908280.tif 000011
【図１１】
0003908280.tif 000012
【図１２】
0003908280.tif 000013
【図１３】
0003908280.tif 000014
【図１４】
0003908280.tif 000015
【図１５】
0003908280.tif 000016
【図１６】
0003908280.tif 000017
【図１７】
0003908280.tif 000018
【図１８】
0003908280.tif 000019
【図１９】
0003908280.tif 000020
【図２０】
0003908280.tif 000021
【図２１】
0003908280.tif 000022
【図２２】
0003908280.tif 000023
【図２３】
0003908280.tif 000024
【図２４】
0003908280.tif 000025
【図２５】
0003908280.tif 000026
【図２６】
0003908280.tif 000027
【図２７】
0003908280.tif 000028
【図２８】
0003908280.tif 000029
【図２９】
0003908280.tif 000030
【図３０】
0003908280.tif 000031
【図３１】
0003908280.tif 000032
【図３２】
0003908280.tif 000033
【図３３】
0003908280.tif 000034
【図３４】
0003908280.tif 000035
【図３５】
0003908280.tif 000036
【図３６】
0003908280.tif 000037
【図３７】
0003908280.tif 000038
【図３８】
0003908280.tif 000039
【図３９】
0003908280.tif 000040
【図４０】
0003908280.tif 000041
【図４１】
0003908280.tif 000042
【図４２】
0003908280.tif 000043
【図４３】
0003908280.tif 000044
【図４４】
0003908280.tif 000045
【図４５】
0003908280.tif 000046
【図４６】
0003908280.tif 000047