(57)【要約】階層化された情報構造を用いたマルチメディアデータ記録装置、再生装置及びその情報保存媒体が開示される。  本発明によるマルチメディアデータが保存された保存媒体は、マルチメディアデータが保存されている第1階層と、前記マルチメディアデータを記録単位と再生単位とに区分し、記録単位に関する属性情報及び再生単位についての記録単位との関係情報がエレメントと属性とを基盤に定義されたマークアップ言語で記述されて保存されている第2階層とに区分されていることを特徴とする。これにより、一度規格が確定された後にも、新たなマルチメディアデータが追加されるか、新たな記録単位あるいは再生単位が規定されても容易に拡張しうる。
2005538497.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアデータが保存された保存媒体において、
マルチメディアデータが保存されている第1階層と、
前記マルチメディアデータを記録単位と再生単位とに区分し、記録単位に関する属性情報及び再生単位に関する記録単位との関係情報がマークアップ言語で記述されて保存されている第2階層とを含むことを特徴とするマルチメディア保存媒体。
【請求項２】
第1階層に記録されたデータは、動画像データ、静止画像データあるいはオーディオデータであることを特徴とする請求項１に記載のマルチメディア保存媒体。
【請求項３】
マルチメディアデータが動画像である場合に動画像が、経時的にビット発生率が変わる変動ビット率で符号化されており、各再生時間とデータの記録位置に関する連結情報をテーブル形態として時間-位置情報にして第1階層に記録することを特徴とする請求項１に記載のマルチメディア保存媒体。
【請求項４】
前記記録単位は前記動画像データと前記時間-位置情報とを連結して作られたクリップを含むことを特徴とする請求項３に記載のマルチメディア保存媒体。
【請求項５】
前記再生単位は、前記記録単位の一部分あるいは全体を指定することによって作られるセルを含むことを特徴とする請求項３に記載のマルチメディア保存媒体。
【請求項６】
前記再生単位は、前記記録単位の一部あるいは全体を指定することによって作られるセルを含むことを特徴とする請求項４に記載のマルチメディア保存媒体。
【請求項７】
前記再生単位は、２階層以上よりなる階層構造を有することを特徴とする請求項１に記載のマルチメディア保存媒体。
【請求項８】
前記再生単位は、二階層以上よりなる階層構造を有することを特徴とする請求項２に記載のマルチメディア保存媒体。
【請求項９】
前記再生単位の階層は、前記記録単位の一部または全体を指定するセルと、複数個のセルを連結したチャプターを含む二階層よりなることを特徴とする請求項７に記載のマルチメディア保存媒体。
【請求項１０】
前記再生単位の階層は、前記記録単位の一部または全体を指定するセル、複数個のセルを連結したチャプター及び前記チャプターを連結するタイトルを含む３階層よりなることを特徴とする請求項９に記載のマルチメディア保存媒体。
【請求項１１】
前記マークアップ言語で記述された情報は、クリップ、セル、チャプター、タイトルを含むことを特徴とする請求項１に記載のマルチメディア保存媒体。
【請求項１２】
前記マークアップ言語で記述された情報は、クリップ、セル、チャプター、タイトルを含むことを特徴とする請求項１０に記載のマルチメディア保存媒体。
【請求項１３】
前記再生単位の選択及び再生順序を制御するために使用されるナビゲーション情報を保存する第3階層をさらに含むことを特徴とする請求項１に記載のマルチメディア保存媒体。
【請求項１４】
前記再生単位の選択及び再生順序を制御するために使われるナビゲーション情報を保存する第3階層をさらに含むことを特徴とする請求項９に記載のマルチメディア保存媒体。
【請求項１５】
前記再生単位の選択及び再生順序を制御するために使われるナビゲーション情報を保存する第3階層をさらに含むことを特徴とする請求項１０に記載のマルチメディア保存媒体。
【請求項１６】
マルチメディアデータが保存された保存媒体において、
マルチメディアデータが保存されている第1階層と、
前記マルチメディアデータを記録単位と再生単位とに区分し、記録単位に関する属性情報及び再生単位に対する記録単位との関係情報がテーブルの形で記述された第2階層と、
再生単位の選択及び再生順序を制御するナビゲーションデータを保存する第3階層とを含むことを特徴とするマルチメディア保存媒体。
【請求項１７】
前記第3階層に保存されるナビゲーションデータは、再生単位の選択及び再生順序を制御し、ライン単位でインタープリットされて実行されるスクリプト言語で記述されたことを特徴とする請求項１６に記載のマルチメディア保存媒体。
【請求項１８】
前記第3階層に保存されるナビゲーションデータは、再生単位の選択及び再生順序を制御し、タイミング及び同期化の機能を有しているマークアップ言語で記述されたことを特徴とする請求項１６に記載のマルチメディア保存媒体。
【請求項１９】
プレゼンテーションデータは、マークアップ言語で記述され、第3階層に保存され、メニュー画面の構成や再生単位の画面構成のための情報を含むことを特徴とする請求項１８に記載のマルチメディア保存媒体。
【請求項２０】
前記ナビゲーションデータは、前記第2階層に記録された再生単位を選択して制御するための前記第2階層とのインターフェース形態に記述されることを特徴とする請求項１８に記載のマルチメディア保存媒体。
【請求項２１】
前記ナビゲーションデータには、前記再生単位が再生される時、特定の条件が発生するイベントを登録して実行する情報が含まれることを特徴とする請求項１８に記載のマルチメディア保存媒体。
【請求項２２】
マルチメディアデータが保存されている第1階層と、前記マルチメディアデータを記録単位と再生単位とに区分し、記録単位に関する属性情報及び再生単位に対する記録単位との関係情報がマークアップ言語で記述されて保存されている第2階層に区分されているマルチメディア保存媒体を再生する装置において、
前記第2階層に保存されている記録単位及び再生単位に関する情報を読込んでユーザインターフェース装置を通じてユーザが選択した再生単位を前記第1階層に保存されたマルチメディアデータで該当位置を探して再生するマルチメディア再生装置。
【請求項２３】
前記再生単位は、２階層以上よりなる階層を有する構造の情報で保存された保存媒体の場合において、前記再生単位を選択可能にメニューを提供し、前記選択された再生単位を再生する請求項２２に記載のマルチメディア再生装置。
【請求項２４】
前記再生単位の選択及び再生順序を制御するナビゲーションデータが第3階層に保存されている場合、選択された再生単位を前記ナビゲーションデータに基づいて再生する請求項２２に記載のマルチメディア再生装置。
【請求項２５】
マルチメディアデータが保存されている第1階層と、前記マルチメディアデータを記録単位と再生単位とに区分し、記録単位に関する属性情報及び再生単位に対する記録単位との関係情報がテーブル形態に記述されて保存されている第2階層と、前記再生単位の選択及び再生順序を制御するナビゲーションデータを保存する第3階層を含む再生媒体を再生するマルチメディア再生装置において、ユーザが選択した再生単位を前記ナビゲーションデータに基づいて再生するマルチメディア再生装置。
【請求項２６】
前記第3階層に保存されるナビゲーションデータがライン単位でインタープリットされて実行されるスクリプト言語で記述されて保存された場合、前記スクリプト言語を実行することによってナビゲーションを行い、前記ナビゲーションデータは前記再生単位の選択及び再生順序を制御することを特徴とする請求項２５に記載のマルチメディア再生装置。
【請求項２７】
前記第3階層に再生単位の選択及び再生順序を制御するナビゲーションデータがタイミング及び同期化の機能を有しているマークアップ言語で記述された場合に、前記タイミング及び同期化機能を行うことによってナビゲーションを行い、前記ナビゲーションデータは前記再生単位の選択及び再生順序を制御することを特徴とする請求項２５に記載のマルチメディア再生装置。
【請求項２８】
前記メニュー画面を構成するためのプレゼンテーションデータがマークアップ言語で記述されて保存された場合において前記プレゼンテーションデータを読込んでユーザインターフェース装置を通じてメニュー画面を出力することを特徴とする請求項２５に記載のマルチメディア再生装置。
【請求項２９】
マルチメディアデータを保存媒体に記録する記録装置において、
動画像または静止画像またはオーディオまたはグラフィックデータを含むマルチメディアデータを第1階層に保存し、第1階層に保存されたマルチメディアデータを記録単位と再生単位とに区分し、これらについての情報と連結情報とをマークアップランゲージを用いて記述して第2階層に保存することを特徴とするマルチメディア記録装置。
【請求項３０】
前記再生単位の選択や再生順序を制御するナビゲーションデータを第3階層に保存することを特徴とする請求項２９に記載のマルチメディア記録装置。
【請求項３１】
マルチメディアデータを保存媒体に記録する記録装置において、
動画像または静止画像またはオーディオまたはグラフィックデータを含むマルチメディアデータを第1階層に保存し、第1階層に保存されたマルチメディアデータを記録単位と再生単位とに区分し、これらについての情報と連結情報とをテーブル形態に記述して第2階層に保存して前記再生単位の選択や再生順序を制御するナビゲーションデータを第3階層に保存することを特徴とするマルチメディア記録装置。
【請求項３２】
前記ナビゲーションデータをライン単位でインタープリットされて実行されるスクリプト言語で記述して保存することを特徴とする請求項３１に記載のマルチメディア記録装置。
【請求項３３】
前記ナビゲーションデータは、タイミング及び同期化の機能を有しているマークアップ言語で記述して保存することを特徴とする請求項３１に記載のマルチメディア記録装置。
【請求項３４】
前記第3階層に再生単位の選択のためのメニュー画面や前記マルチメディアデータの画面配置のためのプレゼンテーションデータをマークアップ言語で記述して保存することを特徴とする請求項３１に記載のマルチメディア記録装置。
【請求項３５】
マルチメディアデータを保存媒体に記録する方法において、
前記マルチメディアデータを第1階層に保存する段階と、
前記マルチメディアデータを記録単位と再生単位とに区分する段階と、
前記記録単位の属性及び前記記録単位と前記再生単位との関係についての情報をマークアップ言語を使用して記述し、第2階層に保存する段階とを含むことを特徴とする記録方法。
【請求項３６】
マルチメディアデータを保存媒体に記録する方法において、
前記マルチメディアデータを第1階層に保存する段階と、
前記マルチメディアデータを記録単位と再生単位とに区分する段階と、
前記記録単位の属性及び前記記録単位と前記再生単位との関係についての情報をテーブル形態に記述して第2階層に保存する段階と、
前記再生単位の選択及び再生順序を含むナビゲーションデータを第3階層に保存する段階とを含むことを特徴とする記録方法。
【請求項３７】
マルチメディアデータを保存媒体に記録する方法において、
動映像または静止映像またはオーディオまたはグラフィックデータを含む前記マルチメディアデータを前記保存媒体の第1階層に記録する段階と、
前記マルチメディアデータを記録単位と再生単位とに区分する段階と、
前記記録単位及び前記再生単位についての情報とこれらの連結情報をマークアップ言語を使用して記録する段階と、
前記情報及び連結情報を前記保存媒体の第2階層に記録する段階とを含むことを特徴とする記録方法。
【請求項３８】
マルチメディアデータを保存媒体に記録する方法において、
動映像または静止映像またはオーディオまたはグラフィックデータを含む前記マルチメディアデータを前記保存媒体の第1階層に記録する段階と、
前記マルチメディアデータを記録単位と再生単位とに区分する段階と、
前記記録単位及び前記再生単位についての情報とこれらの連結情報をテーブル状に第2階層に記録する段階と、
前記再生単位の選択と再生順序とを制御するためのナビゲーションデータを第3階層に記録する段階とを含むことを特徴とする記録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はマルチメディアデータの記録及び再生に係り、より詳細には、階層化された情報構造を用いたマルチメディアデータ記録装置、再生装置及びその情報保存媒体に関する。
【背景技術】
【０００２】
オーディオ、ビデオなどのマルチメディア情報を記録するか、マルチメディア情報が記録された保存媒体を再生する装置においてマルチメディアデータの属性や再生順序に関する付加情報が必要である。このような付加情報を記述するに当って既存のCD、ビデオCD、DVDなどは保存媒体の特定の位置あるいは特定のファイルに付加情報テーブルを作って用いている。このような形態では、付加情報テーブルでのデータフィールドの位置と長さとが特定情報を表すのに用いられており、新たなマルチメディア保存媒体が出る度に、新たな情報テーブルを作らねばならない。また、再生単位の選択や再生順序を決定する情報であるナビゲーション情報が保存されているDVDの場合、このナビゲーション情報が再生単位を定義した情報と混ぜられて保存され、またテーブル形態に保存されており、さらに柔軟なナビゲーションが不可能である。
【０００３】
本発明はこのような付加情報を階層的に記録し、これを用いて再生する。さらに、各階層には拡張性を考慮したマークアップランゲージを導入して用い、特に記録単位及び再生単位を記述するためのマークアップランゲージをメディアデスクリプションランゲージという。
【０００４】
従来のマルチメディア再生装置であるDVDビデオのデータ構造を説明すれば次の通りである。
【０００５】
図２に示したようにマルチメディア保存媒体であるDVDはディスクをVMG領域と複数のVTS領域とに分け、タイトル情報及びタイトルメニューに関する情報をVMG区間に、タイトルに関する情報を複数のVTS区間に保存する。VMG区間は、2〜3個のファイルより構成されており、各VTS区間は3〜12個のファイルより構成されている。
【０００６】
図３にVMG区間をさらに詳細に示した。VMGに関する付加情報を保存するVMGI区間とメニューに関する動画像情報(video  object)を保存する区間であるVOBS区間、そしてVMGIのバックアップ区間がある。これらそれぞれの区間は１つのファイルとして存在するが、そのうちVOBS区間は保存されていないこともある。
【０００７】
VTSには、再生単位であるタイトルに関する情報と動画像情報であるVOBSとが保存されている。１つのVTSには、複数のタイトルが記録されうる。図４は、VTS区間を詳細に示したものである。
【０００８】
VTSは、ビデオタイトルセット情報VTSI、メニュー画面用の動画像データであるVOBS、ビデオタイトルセットの動画像情報であるVOBS、及びVTSIのバックアップデータを含む。メニュー画面を表示するためのVOBSは存在しないことがある。各VOBSは、再び記録単位であるVOBとCELLとに区分される。１つのVOBは、複数のCELLより構成される。本発明では、CELLを最下位単位と見なし得る。
【０００９】
再生単位は階層化されている。最上層にはタイトルが存在する。タイトルは１つあるいは複数のPGCで連結されて構成される。この中、最初のPGCをEntry  PGCという。図５は、１つのタイトルが１つのPGC、すなわちEntry  PGCだけからなるOne_Sequential_PGC_Titleを示したものであり、図６は１つのタイトルが複数個のPGCの連結よりなる場合を示したものである。ところが、１つのPGCの再生を終えて、次のPGCを再生する場合、幾つかのPGCのうち１つを選択して再生できるが、この時、何れのPGCを選択するかをコマンドとして保存しうる。このように再生の順序を制御することをナビゲーションという。このようなコマンドは、PGCIに保存される。図７は、PGCの構成を示す。PGCは、PGCIという情報構造形態に保存されるが、PGCIはナビゲーションコマンドが保存されたプレコマンド（pre  command）、そしてポストコマンド（Post  command）部分と複数のプログラム情報とで構成される。プレコマンド情報は、該当PGCの再生前に行われれ、Postコマンドは該当PGCの再生後に行われる。各プログラム情報は、複数のセル情報で構成されるが、そのセルは記録単位であるVOB内のCellと一対一で連結される。各再生単位のセルは、セルの再生終了後に実行されるCellコマンドを有している。このようにPGCI情報は、再生単位であるPGCを階層的に記述し、最下位再生単位であるセルを記録単位の最下位単位であるセルと連結させる情報構造である。
【００１０】
ナビゲーション情報であるコマンドを用いて１つのPGCの再生中、あるいは再生後に、他のPGCに分岐できる状況に関するものを図8に示した。すなわち、LinkPrevPGC、LinkTopPGC、LinkNextPGC、LinkTailPGC、LinkGoUpPGC、LinkTailPGC、LinkPGCNのようなナビゲーションコマンドを用いて所望の再生順序を制御しうる。このようにPGCは、再生単位の情報であると共に、ナビゲーションに関する情報が共に含まれている構造である。
【００１１】
PGC内のプログラムは、タイトルのPart  of  Title(PTT)に対応する。
【００１２】
DVDでは、このような情報がバイナリテーブルの形で保存されている。バイナリテーブルとは、情報が特定位置に特定ビット長を有する情報構造のテーブルの形で記録されていることを意味する。
【００１３】
図９に、VMGIのタイトル情報のうちTT_SRPT情報テーブルの形式を示した。TT_SRPTの先頭2バイトには総タイトルの数(n)が入っている。そして、6バイトは、今後の拡張のために予約されており、その後にタイトル数だけ各タイトルを記述するTT_SRP情報が保存されているが、そのうちVTSN、VTS_TTNは該当タイトルが指定するVTS  numberと該当VTSでのタイトルナンバーが各々特定位置に特定ビット長の数だけ記録されている。
【００１４】
図１０は、VTSI情報のうち、タイトルに関連したVTS_PTT_SRPT情報を示した。ここには、該当VTSに属するタイトル数だけTTU_SRPが存在する。TTU_SRPは、後続するPTT_SRPのうち１つを指定する情報が保存されている。したがって、特定TTU_SRPが指定するPTT_SRPとその次のTTU_SRPが指定するPTT_SRPとの間のPTT_SRPが１つのタイトルを形成する。すなわち、各タイトル毎にPart_of_TitleサーチポインタであるPTT_SRPが複数個存在するが、これは１つのタイトルは複数のPTTに分けるためである。PTTは、チャプターと同じ概念である。図１１は、PTT_SRPの内容を表示したものであって、特定PGCと該当PGC内のプログラムを指定するようになっている。つまり、１つのタイトルは複数のPTTに分けられ、各PTTは特定PGCの特定プログラムに連結される。
【００１５】
図１２は、VTSI情報のうちPGCIテーブルであるPGCITを示した図である。VTS_PGCITIには、該当PGCに属するプログラム数とCell数とが保存されている。また、該当VTSに属する複数個のVTS_PGCほどVTS_PGCIが保存される。図１３は、VTS_PGCIの詳細内容を表示したものであって、プレコマンド、ポストコマンド、セルコマンド（cell  command）などの内容を記述したPGC_CMDT、プログラム数だけの各プログラム開始セルを表示したPGC_PGMAP、そして各セルを記録単位と連結させるための情報であるC_POSIが特定の位置に特定のビット長を持ってテーブルの形で記録されている。
【００１６】
以上のように従来のマルチメディア保存媒体のDVDの場合には、マルチメディアデータの動画像データと共に、再生単位及びナビゲーションに関するデータがタイトル及びPGCという付加データとして記録されている。ところが、かかる付加データには特定の位置に特定の長さを有するテーブルの形よりなっており、ナビゲーションに対するコマンドも限定された位置に保存されているだけでなく、再生単位を定義する付加データと混ぜられて記録されている。したがって、新たな再生単位の概念が登場する場合、テーブルの位置が変更されるために、その拡張が難しくなる。このために、複数箇所に予約（reserved）空間を確保して置いたが、拡張には限界がある。したがって、テーブル構造を再び定義せねばならないことがある。実際に、既存のマルチメディア保存媒体であるCD、VCD、MD、DVDなどはそれぞれのテーブル構造である。
【００１７】
一方、さらに他のマルチメディアを扱う装置であるPCでは、インターネット技術が発展してマルチメディアを取り扱えるように進化している。HTMLで記述された文書に動画像データが挿入されて表現されるか、オーディオデータが再生される。この時のナビゲーションデータは、Scriptランゲージなどを用いて記述される。この場合、再生データとナビゲーションデータとが分離されることが望ましい。もし、ナビゲーションデータがScriptランゲージで制御されるが、テーブル形態のナビゲーションデータがさらに存在する場合には、両者間の制御が混合されて制御状況が複雑になる。
【発明の開示】
【発明が解決しようとする課題】
【００１８】
本発明では、保存媒体と再生装置を中心に説明する。記録装置の場合には、再生装置が本発明に規定した通りに動作することを前提に、本発明で説明するところの情報構造をマルチメディアデータと共に保存媒体に記録する。本発明において保存及び記録は同じ意味を有する単語である。
【００１９】
保存媒体には、マルチメディアデータと共に付加データが保存されている。この時、付加データは、マルチメディアデータの記録単位、属性や再生単位などに関する付加情報と再生単位の選択及び再生順序を規定するナビゲーションデータとを分離する。なお、マルチメディアデータの記録単位、属性や再生単位などに関する付加情報を記述する方法としてマークアップランゲージを用いることによって、一度規格が確定された後にも新たなマルチメディアデータが追加されるか、新たな記録単位あるいは再生単位が規定されても容易に拡張可能ならしめる。これはバイナリテーブル形態にも保存されうる。
【００２０】
また、再生単位の選択や再生順序についてのナビゲーションデータとしてマークアップランゲージ、かつ/またはスクリプトランゲージを用いて再生単位の選択のためのメニュー画面や再生時の画面配置などに関するプレゼンテーションデータとしてマークアップランゲージを利用することによって、さらに自由度の高いメニュー及びナビゲーションを可能にする。
【発明を実施するための最良の形態】
【００２１】
前述した本発明の特徴及び/または他の特徴は添付した図面を参照して本発明の望ましい実施例を説明することによって、さらに明らかになる。
【００２２】
本発明は、動画像、静止画像、音声グラフィックテキストなどのマルチメディアデータが保存されている第1階層と、各マルチメディアデータの記録単位と、その属性、そして再生単位などに関する付加情報が記録され、特に望ましい例として、マークアップランゲージで記述されている第2階層とで構成されている。さらに、各再生単位に関する画面構成と個々の単位の選択及び再生中にナビゲーションを可能にする情報がマークアップあるいはスクリプト言語で記述されている第3階層が加えられ得る。
【００２３】
本発明の望ましい例として、複数の音声と複数の字幕とが支援される動画像タイトルが記録されている保存媒体を中心に記述する。図１４を参照する。まず、第1階層には、このタイトルの前半部データに該当するfile1.mpgと後半部データに該当するfile2.mpgとが記録されている。１つのタイトルは、チャプター単位あるいは一定のファイルサイズなどの制限によって複数のファイルに分けられて保存されうる。動画像データは、その情報量を減らすために圧縮符号化を実施するが、動画像圧縮方式として最も広く使われるMPEGでは、画像の情報量によって各時間当り発生するビット量を異ならせるVBR(可変ビットレート)符号化方式を支援する。この場合、与えられた時間によって再生開始位置を決定するタイムサーチの場合のように、最初の再生開始から決まった時間が過ぎた後のデータがどこに位置するかを知るためには、時間と位置とをマッピングさせるテーブル形態の情報が必要である。このようなデータの最も一般的な形態は一定時間毎の位置を記録しておくことで、例えば、毎10秒のデータがファイルの先頭位置からいかほど離れて位置するかを保存した時間位置連結情報であるタイムマップ（time  map）情報がある。このような情報は、そのデータ量がぼう大なためにマークアップランゲージの形で記録するよりは、従来のバイナリテーブルの形で記録して第1階層に置く。図１４の動画像データfile1.mpg及びfile2.mpgに関するタイムマップ情報file1timemap.datとfile2timemap.datとがそれである。実際のタイムマップ情報の望ましい実施例を図１６に示した。
【００２４】
第2階層には、第1階層のマルチメディアデータに付加される付加データが記録される。この付加データは、第1階層に記録されたマルチメディアデータを適切に再生するための単位を定義する所であって、この単位は記録単位、または保存単位に区分されて記述される。記述の形態は、バイナリテーブル形態に保存されるか、さらに望ましい実施例としてマークアップランゲージを用いて記述されて保存される(description.xml)。ここに付加されて第3階層には第2階層より作られた再生単位を制御して選択及び再生順序を決定するナビゲーション情報が保存されている(menu.xml)。
【００２５】
一般的に複数のタイトルあるいは複数のチャプターが記録された保存媒体の場合は、ユーザの複数のタイトルあるいは複数のチャプターのうち特定の１つを選択して直ちに該当位置で再生し始めるランダムアクセスを支援するためにメニュー画面を構成する。通常に、このようなメニュー画面は静止画像とボタンとで構成されている。また、背景音楽が再生されることもある。各ボタンには、ユーザが該当ボタンを選択すれば、動作する複数の機能が付け加えられている。図１４には、例として、このようなメニュー画面を構成するデータのうち、静止画像と音楽データは第1階層に記録され、file3.jpgとfile4.mp3とで表現されている。
【００２６】
第2階層には、第1階層に記録されたデータに関する付加データとして記録単位についての付加情報が保存される。動画像の場合、通常のビデオ及びオーディオ、グラフィックのタイミングを同期化するために１つのデータ列として多重化する。このような動画像データの記録単位属性としては、ビデオの属性、オーディオの属性及びオーディオデータの数、グラフィックデータの属性及びグラフィックデータの数などがある(discription.xml)。また、このような記録単位の多様な組合わせ及び選択で発生する再生単位に関する情報も記録する。
【００２７】
本発明では、望ましい実施例として記録単位であるクリップ、再生単位であるセル、チャプター、タイトルの用語で次のように説明する。図１５を参照する。
【００２８】
クリップは、マルチメディアデータを、記録されたデータの単位の観点で記述した客体である。図１５には、2つの動画像クリップがある。１つのクリップに属するデータは連続再生が可能である。また、動画像クリップには、時間と位置とに関する概念も存在する。したがって、動画像データのmpgファイルと時間位置情報データのタイムマップファイルとが連結されてクリップを形成する。時間位置情報、すなわち、タイムマップ情報は動画像がVBRで符号化された場合、時間を基準に所望の位置を迅速に探し出すための付加情報である。すなわち、図１７に示したように、動画像ファイルがVBRで符号化された場合、開始位置から一定時間間隔であるタイムギャップ（Time  Gap）の位置に該当する動画像の位置情報を図１６に示したようにテーブル化して記録する。この１つのデータ位置をテーブルでのエントリーとする時、総エントリー数とタイムギャップとがテーブルの先頭に記録されうる。時間を基準に該当位置を探すためには、最も近接した時間のタイムギャップ間隔の位置をこのテーブルから探し出して該当位置からデータを読込んで、所望の位置で実際の再生を実施することによって、正確な再生が可能である。CBR(コンスタントビットレート)で記録された場合には、タイムマップ情報がなくても、一定時間の間に発生した符号化量が一定しているために、ビットレートだけ知っていれば、時間を計算して所望の位置を探して行けるので、この場合、動画像データのみでクリップが構成される。
【００２９】
１つのビデオデータと複数のオーディオデータ、複数のグラフィックデータよりなる動画像クリップを定義するために規定されねばならないものとしては、次のようなものがある。
【００３０】
一般属性:クリップ識別情報、クリップ動画像ファイル、クリップ時間位置情報ファイル(タイムマップファイル（time  map  file）)
ビデオ:画面サイズ(1920x1080、1280x720、720x480など)、平均ビットレート(4M、6M、10M、20Mなど)、画面出力レート(60Hz、30Hz、24Hz)、走査方式(Progressive、Interlaced)
オーディオ:オーディオストリーム識別情報、オーディオ符号化情報、各オーディオデータの言語属性(英語、韓国語など)、各オーディオデータの応用属性(主オーディオ、副オーディオ、コメンタリなど)
グラフィック:各グラフィックストリーム識別情報、グラフィック符号化情報、各グラフィックデータの言語属性(英語、韓国語など)、各グラフィックデータの応用属性(字幕、アニメーションなど)
このような情報は、該当マルチメディアデータが実際記録された方式や符号化方法、多重化方法によって各クリップごとに異なり得る。また、記録単位は、階層構造をなし得るのでクリップ下位単位の客体も存在しうる。本発明における記録単位は、クリップよりなるものと仮定する。
【００３１】
再生単位は、階層構造を有することが一般的である。すなわち、上位再生単位は複数個の下位再生単位よりなる。この場合、通常、下位再生単位は、再生順序の単位になるか、ランダムアクセスのポイントになるために定義される。
【００３２】
セルは再生観点で記述した再生単位で、１つあるいは一部分のクリップを指定する。セルは再生単位の最も下位階層を作る。すなわち、再生単位はセルであって、記録単位のクリップと連結されて、実際に再生せねばならないマルチメディアデータと連結される。セルは下記のような情報で定義される。
【００３３】
セル:指定するクリップ識別情報、クリップ内での開始時間、クリップ内での終了時間
セルがクリップの一部分を指定できず、全体クリップを指定せねばならない場合は、開始時間と終了時間の属性は指定しない。
【００３４】
チャプターは再生観点で記述した再生単位であって、１つのチャプターは１つあるいは複数個のセルより構成される。チャプターに関する情報としては次のようなものがある。
【００３５】
チャプター:チャプター名、チャプター識別情報、該当チャプターに属する１つ以上のセル
本発明でチャプターはユーザにランダムアクセスを許容するポイントである。したがって、ユーザは１つのタイトル内でチャプター単位でサーチを行うか、再生し始めうる。一般的にメニュー画面はチャプター単位で選択可能にするメニューを提供する。
【００３６】
タイトルは複数個のチャプターより構成される。保存媒体には複数のタイトルが記録され、タイトル識別記号順に再生されることを原則とする。一般的にメニュー画面は、タイトルを選択可能にするメニューを提供する。タイトルに関する情報としては、次のようなものがある。
【００３７】
タイトル:タイトル名、タイトル識別記号、タイトルに属する１つ以上のチャプター
第1階層の動画像データと第2階層でのクリップ、チャプター、タイトルの関係を例として示せば図１５のようである。
【００３８】
本発明は、まず、このような第2階層のデータを記録単位と再生単位とに分け、ナビゲーションに関するデータは除去して記録する。この際、記述方法としては、バイナリテーブルやマークアップランゲージで記述されるが、マークアップランゲージは、バイナリテーブルに比べて次の説明のような長所があるので、本発明ではマークアップランゲージで記述されたことを説明する。マークアップランゲージの代表的なXML(extensible  markup  language)は、インターネットに関する勧告案を規定するW3Cで定義した言語のための言語であって、多様なデータベース及び文書を記述可能にするものである。第2階層に該当する情報をXMLで記述する場合、将来の拡張性及び規格の下位互換性(Backward  Compatibility)が非常に容易に確保されるが、その過程を次のように規定する。
【００３９】
本発明の望ましい実施例として第2階層に保存される付加情報を記述するためにXML基盤の言語を定義し、これをメディアデスクリプションランゲージ(MDL)と称する。xmlは階層化されたエレメントの組合わせで記述される。また、各エレメントは多様な属性を有することができる。エレメントは、<と>との間の名称と規定され、下位エレメントを規定するに当って表記規則は次のようである。
【００４０】
MDLの望ましい実施例として、次のようなエレメントと属性とを定める。ここで、文書とは、マークアップランゲージで記述されて保存される単位を言う。
1．MDL文書の最上位エレメントは<mdl>あるいは同等の意味を有する値とする。
2.<mdl>エレメントは次のような下位エレメントを有しうる。
-<head>
-<body>
3.<head>エレメントは保存媒体の全般に関する情報を有し、次のような下位エレメントを有しうる。
-<meta>
4.<meta>エレメントは、文書の特性を定義し、そのような特性への値の割り当てに用いる空エレメントである。<meta>エレメントを構成する各元素は、１つの属性値対を示す。このような属性には次のようなものがある。
-name:この属性は<meta>エレメントに定義された特性を表す。<meta>エレメントでnameの属性は必須である。
-content:この属性は<meta>エレメントに定義された特性の値を表す。<meta>エレメントでcontent属性は必須である。
<meta>エレメントを使用した例として次のようなものがある。この例では、従来の<meta>エレメントで使われたものは除いた。
例1)
<meta  name="type"content="mdl-disc"/>:メディアデスクリプションランゲージを使用して製作されたディスクであることを知らせる。
<meta  name="region"content="1"/>:該当ディスクの地域コードが1番であることを知らせる。
5.<body>エレメントは次のような下位エレメントを有することができる。
-<clip>
-<title>
6.<clip>エレメントは次のような属性を有することができる。
-id:各クリップの識別情報であって、保存媒体において固有でなければならない。ex)1,2,3…
-src:動画像データファイル ex)file1.mpg
-tmap_src:タイムマップテーブルが記録されたファイルex)file1timemap.dat
また次のような下位エレメントを有することができる。
-<video>
-<audio>
-<graphic>
7.<video>エレメントは次のような属性を有することができる。
-resolution:画像の水平垂直サイズex)1920x1080、1280x720
-frame_rate:秒当り出力されるフレーム数ex)60、30、24、50
-scanning:順次走査の如何ex)progressive、interlaced
-bit_rate:平均ビットレートex)vbr、4m、6m、8m、10m、20m
-stream_id:MPEG  PESストリーム上でのstream
id ex)0xe0
8.<audio>エレメントは次のような属性を有することができる。
-encoding:符号化方法 ex)mp1、mp2、mp3、ac3、lpcm、dts
-sampling_rate:サンプリングレート ex)48k、96k、192k
-quantization_bit:量子化ビット数 ex)16、24
-bit_rate:符号化ビットレート ex)vbr、128k、384k
-channel_no:チャンネル数 ex)2、5、7
-language:言語属性 ex)none、en、ko、jp、fr
-application:オーディオストリームの用途 ex)main、sub、commentary
-stream_id:MPEG PESストリーム上でのstream id ex)0xc0、0xbd
-sub_stream_id:MPEG PESストリーム上でのsubstream id ex)none、0x80、0xa0
9.<graphic>エレメントは次のような属性を有することができる。
-encoding:符号化方法 ex)dvd_subpicture
-application:グラフィックストリームの用途ex)animation、sub_title
-language:言語属性ex)none、en、ko、jp、fr
-stream_id:MPEG  PESストリーム上でのstream  id  ex)0xBD
-sub_stream_id:MPEG  PESストリーム上でのsubstream  id  ex)0x20
10.<title>エレメントは次のような属性を有することができる。
-name:タイトルネームex)White  Snow
-id:タイトルの識別情報であって、保存媒体において固有でなければならない。ex)1,2,3,..
また次のような下位エレメントを有することができる。
-<chapter>
11.<chapter>エレメントは次のような属性を有することができる。
-name:チャプターネームex)Dwarf
-id:チャプター識別情報であって、各タイトルにおいて固有でなければならない。ex)1,2,3..
また次のような下位エレメントを有することができる。
-<cell>
12.<cell>エレメントは次のような属性を有することができる。
-クリップ_id:このセルが指定するクリップの識別番号
-start_time:クリップ_idで指定されたクリップでの開始時間
-end_time:クリップ_idで指定されたクリップでの終了時間
以上の属性とエレメントとを整理すれば次の通りである。
【００４１】
【表１】
2005538497.tif 000003
前記のような構文を用いて図１５に表現された状況を表す第2階層に記録される付加情報データの望ましい例は次のようである。
【００４２】
【表２】
2005538497.tif 000004
前記例において実際動画像データの記録単位であるクリップとしては、5個のクリップデータで構成されており、再生単位概念のタイトルとしては、2個のタイトルで構成されている。
【００４３】
クリップは動画像である場合に実際の動画像データとこの動画像データとがVBRで記録された場合、時間位置情報データであるタイムマップ情報として記述される。したがって、前記例では各クリップごとにsrc属性とtmap_src属性でこの２種のデータが連結さるべくなっている。その他に各クリップに属するビデオオーディオグラフィックデータの多様な属性が記録されており、実際再生前に参考とせねばならない。
【００４４】
タイトル1番は、本タイトルであって、複数個のチャプターで構成されている。最初のチャプターは１つのセルより構成されており、これは1番クリップの一部分と指定されている。したがって、再生時には1番クリップの該当位置だけを再生するようになる。二番目のチャプターは、二つのセルより構成されているが、この中、最初のセルは1番クリップの0:05:00時間後から再生することを指定している。したがって、二番目のチャプターから再生を始める場合は、1番クリップの時間位置情報であるタイムマップ情報を用いて所望の位置を探さねばならない。
【００４５】
２番目のタイトルは、タイトルname属性から分かるように、付加画像、すなわちsupplementary画像よりなっており、その実際記録された単位は5番クリップである。
【００４６】
このように第2階層の情報構造をマークアップランゲージを用いて記述すれば、拡張性が良くなる。すなわち、新たな概念の情報構造が生まれる時、これを新たなエレメントあるいは属性で定義して記述できるようになる。これにより、既存の再生器では新たに生じた情報は無視して既存の情報だけで再生する。このようになっても既存の再生機能はそのまま維持されうる。例えば、<title>エレメントに<bookmark>という新たなエレメントが追加され、次のような情報が第2階層に保存されていると仮定する。
<titleid="1"... >
<bootmark point="1:00:00" />
<chapter id="1" ..>
..
</title>
bookmarkエレメントは、タイトル内容のうち、特定位置を指定して直ちにアクセス可能に新たに定義された情報構造である。この際、この保存媒体を既存の再生装置に入れて再生を試みれば、既存のタイトルとチャプターとを用いた再生は円滑になされるが、bookmark情報は既存の再生器では利用できないので無視される。
【００４７】
このように第1階層と第2階層のデータだけでもマルチメディアを再生できる。この場合、再生装置は、第2階層に記録された情報を読込んで記録媒体に記録された構造を把握し、再生単位であるタイトルと各タイトル内のチャプター数を把握して適切なユーザインターフェース装置を通じてユーザに知らせた後、ユーザの入力を受けて所望の再生単位を再生する。ユーザインターフェース装置は、図１に表示したように、ユーザ出力装置300とユーザ入力装置400とに区分される。ユーザ出力装置は、TVと共にマルチメディアデータを出力する装置であり、ユーザ入力装置はリモートコントローラーのようにユーザの入力を受け取る装置である。望ましい実施例としてユーザインターフェースは、保存媒体に記録されたタイトルを選択可能にするメニュー画面の各タイトル内のチャプターを選択可能にするチャプターメニューを備え、ユーザはユーザ入力装置のリモコンで各メニューのタイトル番号あるいはチャプター番号を選択させた後、該当再生単位の位置を探して再生する。
【００４８】
本発明はこれに付け加えて、第3階層にナビゲーションのための情報を記録することをさらに含む。ここで、ナビゲーションとは、従来のメニューのようにユーザ出力装置(TV)及びユーザ入力装置(Remote  Controller)と連結されて、特定のユーザの入力を受けて再生単位のうち、１つを選択して再生することを含み、また再生中の中間状態を用いて次の再生を制御することなどを含む。このような再生装置は、図１に示したような形態を有する。また再生の順序を場合によって異ならせることもあるが、望ましい例としては、ペアレンタルレベル(parental  level)制御を行うものであって、すなわちユーザが成人である場合と青少年である場合との再生順序を異ならせることなどがそれである。
【００４９】
そのための再生器のモデルは、図１８のようである。
【００５０】
プレイバックエンジン（Playback  engine）は、前記第1階層と第2階層のデータを処理するためのブロックである。第3階層のデータがない場合には、プレゼンテーションアンドナビゲーションエンジンがユーザ入力をプレイバックエンジンで理解できるようにAPIを転換して伝達するか、あるいはプレイバックエンジンが理解できるキー動作である場合、直ちにプレイバックエンジンに伝達される。
【００５１】
第3階層のデータは、メニュー画面または再生単位の画面配置などを構成するためのpresentationデータとユーザの入力を受けて再生単位を選択するか、特定のPlayback  engineの特定の状態によって再生を制御するためのナビゲーションデータで構成される。望ましい実施例としてpresentationデータはhtmlあるいはxhtmlで記述されるものである。また、ナビゲーションデータは、Scriptランゲージで記述されるか、タイミング及びsync概念を有するマークアップ言語で記述される。前者のScriptランゲージは、ライン単位でinterpretされて実行されるJava  scriptが代表的であり、後者のタイミング及びsync概念を有するマークアップ言語はSMIL(synchronized  markup  interface  language)が代表的である。
【００５２】
ナビゲーションエンジンは、ユーザの選択あるいはプレイバックエンジンで発生するイベントにより第2階層で提供する再生単位を制御することによってナビゲーションを行う。
【００５３】
この実施例では現在インターネットと家電機器とで多用されているXHTMLとJavaScriptとを例として第2階層で提供する再生単位を画面上にレイアウトし、ナビゲーションを制御できる方法について記述する。
【００５４】
まず、ユーザ入力キーを直ちにプレイバックエンジンに伝達する例である。
【００５５】
【表３】
2005538497.tif 000005
ユーザ入力装置のキーイベントインターフェースは次の通りである。
【００５６】
【表４】
2005538497.tif 000006
【００５７】
前記"マークアップ文書1"は大きくマークアップ文書により表示される動画像のレイアウト情報とユーザの入力を受けて第2階層の再生関連データをコントロールするためのスクリプト構文とよりなっている。また、"ユーザ入力装置のキーイベントインターフェース"というユーザ入力装置に使われるキー値をDOMで使用するためにインターフェースを定義している。
【００５８】
まず、例題マークアップ文書を説明すれば、最初にXHTMLを使用するための宣言文と共に<head>エレメント内に<title>エレメントと<meta>エレメント、そして<script>エレメントがある。<title>エレメントは、該当タイトルの題目を表すのが一般的であり、<meta>エレメントの場合、該当マークアップ文書により再生される動画像に使われるデフォルトオーディオと字幕とを知らせている。
【００５９】
また、次のように、ユーザ入力によるイベント登録情報がJavaScript言語で記録されている。
<script type="text/javascript">
function setupEventHandler()
{
bodyNode.addEventListener("rckeypress",RcKeyEventHandler,true);
}
</script>
これによれば、rckeypressというイベントが発生すれば(ユーザがユーザ入力装置の所定キーを押せば)、関数RcKeyEventHandlerが呼び出されることが分かる。また、イベント処理情報は次の通りJavaScript言語で記録されている。
【００６０】
【表５】
2005538497.tif 000007
これによれば、RcKeyEventHandlerはキーコードが10である時、MDLvideo.InputRCKey(10)を実行することが分かる。この時、MDLvideoという客体は第2階層に保存されている付加データを用いて再生を行うものであって、プレイバックエンジンに該当する。すなわち、ユーザが押したキーに割当てられたコードが10である時、プレゼンテーションアンドナビゲーションエンジンはプレイバックエンジンをしてキーコード10に割当てられた再生制御動作、すなわち、該当動画像の再生、あるいは一時停止を行うようにコマンドAPIMDLvideo.InputRCKeyを使用して対応制御命令をプレイバックエンジンに伝達する。
【００６１】
<body>エレメント内で<object>エレメントを用いてMDLvideo客体を文書上に埋め込んだ。したがって、多数の客体が埋め込まれて使われることができ、この場合該当マークアップ文書のレイアウトにはCSSを使用することが望ましい。
【００６２】
次は、特定の機能を有するコマンドをプレイバックエンジンに伝達してナビゲーションを行う例である。このためにナビゲーションの代表的機能のメニュー画面を構成する例を記述すれば、図１９のようである。
【００６３】
画面のイメージ及びテキストデータは、プレゼンテーション（presentation）データで記述される。望ましい実施例であるxhtmlの場合、テキストデータを記述でき、また第1階層に記録されたイメージデータを組合わせて画面を構成しうる。この画面には、タイトル1、タイトル2、タイトル3、Returnの４つのボタンを提供する。このボタンを構成するイメージあるいはテキストデータはxhtmlで記述される。ボタンについては選択及びアクションの概念が存在する。すなわち、ユーザ入力装置の方向入力キーを押すことによって、4つのボタンのうち、１つを選択して確認キーを押してアクションさせうるか、ユーザ入力装置のキーをアクセスキーとして使用して特定キーを入力する場合、特定のボタンあるいは動作を直ちに実行しうる。ユーザが現在どのボタンを選択したかを表すために現在選択されたボタンはハイライトされる。このような機能は、何れもpresentation&ナビゲーションengineにおいてpresentationを担当するモジュールで提供し、望ましい実施例としてこれはxhtmlブラウザである。
【００６４】
ユーザが１つのボタンをアクションさせれば、そのボタンに該当する動作が行われる。この時、タイトル選択のように第2階層及び第1階層のデータを用いてマルチメディアデータを再生させる動作である場合は、プレイバックエンジンにコマンドが伝えられる。すなわちプレゼンテーション＆ナビゲーションエンジンは第2階層で提供する再生単位を制御するコマンドを伝達する。
【００６５】
【表６】
2005538497.tif 000008
図１９を表現するマークアップ文書は前記のようであり、第2階層で提供する再生単位を制御するコマンドを各ボタンのオンクリックイベントに作成した。タイトル1を再生するボタンをクリックすれば、MDLvideo.playTitle(1)命令がナビゲーションエンジンに伝えられて行われるが、ナビゲーションエンジンは再びプレイバックエンジンにコマンドとパラメータを伝達して再生を行わせる。例えば、タイトルを再生するプレータイトルはパラメータにタイトルナンバーを伝達する。このような命令を伝達する関数をmethodという。
【００６６】
この他にも、複数のmethodを例として挙げれば次の通りである。
MDLvideo客体のmethod{
playTitle(title_no):該当title_noからデータを再生する。
playTime(time):該当timeからデータを再生する。
pause():再生を一時停止させる。
stop():再生を停止させる。
play():再生を開始する。
forward_scan(speed):前方にspeed速度で高速再生する。
backward_scan(speed):後方にspeed速度で高速再生する。
playChapter(chapter_no):この時chapter_no==0になれば、最も大きいchapter  IDを有するチャプターに移動して再生する。
【００６７】
この時、chapter_no>Maximumchapter  IDになれば、最も小さなchapter  IDを有するチャプターに移動して再生する。
}
また、プレイバックエンジン（Playback  engine）での特定の条件が満足されれば、第3階層のデータを処理するプレゼンテーション＆ナビゲーションエンジンでeventが発生する。例えば、チャプターが開始される度に、eventを発生させてプレゼンテーション＆ナビゲーションエンジンに伝達すれば、プレゼンテーションエンジンでこれを受けてチャプターが新たに開始されたことを画面に表示しる。プレゼンテーション＆ナビゲーションエンジンに伝達し、かつプレイバックエンジンに登録するイベントに関する情報は第3階層に保存されうる。
【００６８】
【表７】
2005538497.tif 000009
上のマークアップ文書3は、第3階層に保存されるデータの例として図１９のメニューをタイミング及び同期化の機能を有するマークアップ言語のSMILの形態に表現したものである。SMILも大きく"head"と"body"エレメントに区分され、上の例題で"head"エレメントは"meta"と"layout"エレメントを含む。"meta"エレメントの場合、上の他のマークアップ例題にも使われたので、その詳細な説明は省略する。"layout"エレメントの場合、子要素として"root-layout"と"region"がある。"root-layout"エレメントは文書の見られる大きさと背景色とを設定するエレメントであり、"region"エレメントは、SMIL文書内にそれぞれのメディアクリップが位置する領域を割り当て、idを設定する。
【００６９】
"body"エレメント内には、メディアクリップのソースを呼び出す次のようなエレメントが使われる。
<animation ....../> - Shockwave Flash File ( .swf)
<audio ............/> - Audio Clip File ( .rm)
<img .........../> - Image Clip File ( .jpg .gif)
/ Not Use Animation GIF
<ref ................/> -異なる用途の文書( .htm .rp )
<text ............../> - Text ( .txt) 
<textstream ..../> - Text Stream ( .rt)
<video ............/> -
Video Clip ( .rm)
本例では、図19のようなメニューを構成するために"img"エレメントを使用した。"img"エレメントの場合、イメージにリンクをかけたり、命令を挿入するためにも使用するが、もちろんハイパーリンクを使用するために"a"、"anchor"エレメントを使用することもある。上の例題では、上の3個のイメージを除いては、何れもリンクされている。SMILで"img"エレメント内に再生制御に関連した属性"url"に使用可能な属性値としては、playTitle以外にも次のようなものがある。
【００７０】
url:ハイパーリンクURL
コマンド:MDLvideo.playTitle(title_no):該当title_noからデータを再生する。
コマンド:MDLvideo.playTime(time):該当時間からデータを再生する。
コマンド:MDLvideo.play():再生を開始する。
コマンド:MDLvideo。stop():再生を停止させる。
コマンド:MDLvideo。pause():再生を一時停止させる。
コマンド:MDLvideo.forward_scan(speed):前方にspeed速度で高速再生する。
コマンド:MDLvideo.backward_scan(speed):後方にspeed速度で高速再生する。
コマンド:MDLvideo.playChapter(chapter_no):この時chapter_no==0になれば、最も大きいchapter  IDを有するチャプターに移動して再生する。この時、chapter_no>Maximumchapter  IDになれば、最も小さなchapter  IDを有するチャプターに移動して再生する。
【００７１】
前述したようにマルチメディアの再生のための情報を記録単位、再生単位に区分して付加情報を構成した後、これを第2階層に記録し、この再生単位の選択及びナビゲーションのための情報を第3階層に位置させることによって、それぞれの階層で担当せねばならない動作を明確にする。また、第2階層データの記録にマークアップランゲージを導入することによって、拡張性を容易にする。第3階層のデータには、メニュー画面あるいは再生単位の画面配置に対する別途の付加データを構成するために、マークアップ言語を使用して再生単位を選択し、再生順序を決定するデータを記述する方法でスクリプト言語を使用するか、タイミング及び同期化機能を有するマークアップ言語を使用する。
【００７２】
また、マルチメディア記録装置は、マルチメディアデータを保存媒体に保存する場合、前記マルチメディアデータを第1階層に保存し、第1階層に保存されたマルチメディアに関する付加情報を記録単位と再生単位とに区分してテーブル形態あるいはマークアップランゲージで記述して第2階層に保存する。この時、記録単位及び再生単位は、複数の階層構造を有することができる。望ましい実施例として、記録単位は、動画像データがVBRで記録された場合、時間-位置情報を連結して作られたクリップであり、前記再生単位はこのクリップの全体あるいは一部よりなるセル、複数のセルよりなるチャプター、複数のチャプターよりなるタイトルである。
【００７３】
これに付け加えて、第3階層には、前記再生単位の選択あるいは再生順序を制御するナビゲーションデータを保存する。このナビゲーションデータは、ライン単位で実行されることを特徴とするスクリプトランゲージを用いて記述して保存するか、あるいはタイミング及び同期化機能を有するマークアップ言語で記述して保存する。さらに、第3階層には、前記再生単位の選択のためのメニュー画面構成や前記再生単位データの画面構成のためのプレゼンテーションデータをマークアップ言語で記述して保存する。
【産業上の利用可能性】
【００７４】
保存媒体には、マルチメディアデータと共に付加データが保存されている。この時、付加データは、マルチメディアデータの記録単位、属性や再生単位などに関する付加情報と再生単位の選択及び再生順序を規定するナビゲーションデータとを分離し、マルチメディアデータの記録単位、属性や再生単位などに関する付加情報を記述する方法でマークアップランゲージを利用することによって、一度規格が確定された後にも新たなマルチメディアデータが追加されるか、新たな記録単位あるいは再生単位が規定されても容易に拡張しうる。また、再生単位の選択や再生順序についてのナビゲーションデータとしてマークアップランゲージ及び/またはスクリプトランゲージを用いて再生単位の選択のためのメニュー画面や再生時の画面配置などに関するプレゼンテーションデータとしてマークアップランゲージを用いることによって、さらに自由度の高いメニュー及びナビゲーションが可能である。
【図面の簡単な説明】
【００７５】
【図１】従来のマルチメディアデータ記録/再生装置を示す。
【図２】従来のDVDのデータ構造を示す。
【図３】VMG領域を示す。
【図４】VTS領域を示す。
【図５】１つのPGCに含まれた再生単位のone_sequential_PGC_titleを示す。
【図６】複数のPGSに連結されたタイトルの再生単位を示す。
【図７】PGCの構造を示す。
【図８】PGCを再生する間、または再生した後でナビゲーション命令を用いて新たなPGCに分岐する場合を示す。
【図９】TT_SRPT情報テーブルの構造を示す。
【図１０】VTSIに含まれたVTS_PTT_SRPT情報の構造を示す。
【図１１】PGCとPGCとに含まれたプログラムを指示するPTT_SRPの内容を示す。
【図１２】VTSIに含まれたPGCIテーブルを表現するPGCIT  VTS_PGCITのデータ構造を示す。
【図１３】VTS_PGCIの詳細構造を示す。
【図１４】本発明の一実施例によるfile1.mpg及びfile2.mpgを示す。
【図１５】本発明の一実施例によって2個のビデオオブジェクトクリップを示す。
【図１６】本発明の一実施例によってテーブル状に記録されたTime  Gapの位置に該当するビデオオブジェクトデータの位置情報を示す。
【図１７】本発明の一実施例によるビデオオブジェクトファイルを示す。
【図１８】本発明の一実施例による再生装置を示す。
【図１９】ナビゲーションの代表的機能であるメニュー画面を構成する例を示す。
【図１】
2005538497.tif 000010
【図２】
2005538497.tif 000011
【図３】
2005538497.tif 000012
【図４】
2005538497.tif 000013
【図５】
2005538497.tif 000014
【図６】
2005538497.tif 000015
【図７】
2005538497.tif 000016
【図８】
2005538497.tif 000017
【図９】
2005538497.tif 000018
【図１０】
2005538497.tif 000019
【図１１】
2005538497.tif 000020
【図１２】
2005538497.tif 000021
【図１３】
2005538497.tif 000022
【図１４】
2005538497.tif 000023
【図１５】
2005538497.tif 000024
【図１６】
2005538497.tif 000025
【図１７】
2005538497.tif 000026
【図１８】
2005538497.tif 000027
【図１９】
2005538497.tif 000028
【手続補正書】
【提出日】平成17年3月31日(2005.3.31)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マルチメディアデータが保存された保存媒体において、
マルチメディアデータが保存されている第1階層と、
前記マルチメディアデータを記録単位と再生単位とに区分し、記録単位に関する属性情報及び再生単位に関する記録単位との関係情報がマークアップ言語で記述されて保存されている第2階層とを含むことを特徴とするマルチメディア保存媒体。
【請求項２】
第1階層に記録されたデータは、動画像データ、静止画像データあるいはオーディオデータであることを特徴とする請求項１に記載のマルチメディア保存媒体。
【請求項３】
マルチメディアデータが動画像である場合に動画像が、経時的にビット発生率が変わる変動ビット率で符号化されており、各再生時間とデータの記録位置に関する連結情報をテーブル形態として時間-位置情報にして第1階層に記録することを特徴とする請求項１に記載のマルチメディア保存媒体。
【請求項４】
前記記録単位は前記動画像データと前記時間-位置情報とを連結して作られたクリップを含むことを特徴とする請求項３に記載のマルチメディア保存媒体。
【請求項５】
前記再生単位は、前記記録単位の一部分あるいは全体を指定することによって作られるセルを含むことを特徴とする請求項３に記載のマルチメディア保存媒体。
【請求項６】
前記再生単位は、前記記録単位の一部あるいは全体を指定することによって作られるセルを含むことを特徴とする請求項４に記載のマルチメディア保存媒体。
【請求項７】
前記再生単位は、２階層以上よりなる階層構造を有することを特徴とする請求項１に記載のマルチメディア保存媒体。
【請求項８】
前記再生単位は、二階層以上よりなる階層構造を有することを特徴とする請求項２に記載のマルチメディア保存媒体。
【請求項９】
前記再生単位の階層は、前記記録単位の一部または全体を指定するセルと、複数個のセルを連結したチャプターを含む二階層よりなることを特徴とする請求項７に記載のマルチメディア保存媒体。
【請求項１０】
前記再生単位の階層は、前記記録単位の一部または全体を指定するセル、複数個のセルを連結したチャプター及び前記チャプターを連結するタイトルを含む３階層よりなることを特徴とする請求項９に記載のマルチメディア保存媒体。
【請求項１１】
前記マークアップ言語で記述された情報は、クリップ、セル、チャプター、タイトルを含むことを特徴とする請求項１に記載のマルチメディア保存媒体。
【請求項１２】
前記マークアップ言語で記述された情報は、クリップ、セル、チャプター、タイトルを含むことを特徴とする請求項１０に記載のマルチメディア保存媒体。
【請求項１３】
前記再生単位の選択及び再生順序を制御するために使用されるナビゲーション情報を保存する第3階層をさらに含むことを特徴とする請求項１に記載のマルチメディア保存媒体。
【請求項１４】
前記再生単位の選択及び再生順序を制御するために使われるナビゲーション情報を保存する第3階層をさらに含むことを特徴とする請求項９に記載のマルチメディア保存媒体。
【請求項１５】
前記再生単位の選択及び再生順序を制御するために使われるナビゲーション情報を保存する第3階層をさらに含むことを特徴とする請求項１０に記載のマルチメディア保存媒体。
【請求項１６】
マルチメディアデータが保存された保存媒体において、
マルチメディアデータが保存されている第1階層と、
前記マルチメディアデータを記録単位と再生単位とに区分し、記録単位に関する属性情報及び再生単位に対する記録単位との関係情報がテーブルの形で記述された第2階層と、
再生単位の選択及び再生順序を制御するナビゲーションデータを保存する第3階層とを含むことを特徴とするマルチメディア保存媒体。
【請求項１７】
前記第3階層に保存されるナビゲーションデータは、再生単位の選択及び再生順序を制御し、ライン単位でインタープリットされて実行されるスクリプト言語で記述されたことを特徴とする請求項１６に記載のマルチメディア保存媒体。
【請求項１８】
前記第3階層に保存されるナビゲーションデータは、再生単位の選択及び再生順序を制御し、タイミング及び同期化の機能を有しているマークアップ言語で記述されたことを特徴とする請求項１６に記載のマルチメディア保存媒体。
【請求項１９】
プレゼンテーションデータは、マークアップ言語で記述され、第3階層に保存され、メニュー画面の構成や再生単位の画面構成のための情報を含むことを特徴とする請求項１８に記載のマルチメディア保存媒体。
【請求項２０】
前記ナビゲーションデータは、前記第2階層に記録された再生単位を選択して制御するための前記第2階層とのインターフェース形態に記述されることを特徴とする請求項１８に記載のマルチメディア保存媒体。
【請求項２１】
前記ナビゲーションデータには、前記再生単位が再生される時、特定の条件が発生するイベントを登録して実行する情報が含まれることを特徴とする請求項１８に記載のマルチメディア保存媒体。
【請求項２２】
マルチメディアデータが保存されている第1階層と、前記マルチメディアデータを記録単位と再生単位とに区分し、記録単位に関する属性情報及び再生単位に対する記録単位との関係情報がマークアップ言語で記述されて保存されている第2階層に区分されているマルチメディア保存媒体を再生する装置において、
前記第2階層に保存されている記録単位及び再生単位に関する情報を読込んでユーザインターフェース装置を通じてユーザが選択した再生単位を前記第1階層に保存されたマルチメディアデータで該当位置を探して再生するマルチメディア再生装置。
【請求項２３】
前記再生単位は、２階層以上よりなる階層を有する構造の情報で保存された保存媒体の場合において、前記再生単位を選択可能にメニューを提供し、前記選択された再生単位を再生する請求項２２に記載のマルチメディア再生装置。
【請求項２４】
前記再生単位の選択及び再生順序を制御するナビゲーションデータが第3階層に保存されている場合、選択された再生単位を前記ナビゲーションデータに基づいて再生する請求項２２に記載のマルチメディア再生装置。
【請求項２５】
マルチメディアデータが保存されている第1階層と、前記マルチメディアデータを記録単位と再生単位とに区分し、記録単位に関する属性情報及び再生単位に対する記録単位との関係情報がテーブル形態に記述されて保存されている第2階層と、前記再生単位の選択及び再生順序を制御するナビゲーションデータを保存する第3階層を含む再生媒体を再生するマルチメディア再生装置において、ユーザが選択した再生単位を前記ナビゲーションデータに基づいて再生するマルチメディア再生装置。
【請求項２６】
前記第3階層に保存されるナビゲーションデータがライン単位でインタープリットされて実行されるスクリプト言語で記述されて保存された場合、前記スクリプト言語を実行することによってナビゲーションを行い、前記ナビゲーションデータは前記再生単位の選択及び再生順序を制御することを特徴とする請求項２５に記載のマルチメディア再生装置。
【請求項２７】
前記第3階層に再生単位の選択及び再生順序を制御するナビゲーションデータがタイミング及び同期化の機能を有しているマークアップ言語で記述された場合に、前記タイミング及び同期化機能を行うことによってナビゲーションを行い、前記ナビゲーションデータは前記再生単位の選択及び再生順序を制御することを特徴とする請求項２５に記載のマルチメディア再生装置。
【請求項２８】
前記メニュー画面を構成するためのプレゼンテーションデータがマークアップ言語で記述されて保存された場合において前記プレゼンテーションデータを読込んでユーザインターフェース装置を通じてメニュー画面を出力することを特徴とする請求項２５に記載のマルチメディア再生装置。
【請求項２９】
マルチメディアデータを保存媒体に記録する記録装置において、
動画像または静止画像またはオーディオまたはグラフィックデータを含むマルチメディアデータを第1階層に保存し、第1階層に保存されたマルチメディアデータを記録単位と再生単位とに区分し、これらについての情報と連結情報とをマークアップランゲージを用いて記述して第2階層に保存することを特徴とするマルチメディア記録装置。
【請求項３０】
前記再生単位の選択や再生順序を制御するナビゲーションデータを第3階層に保存することを特徴とする請求項２９に記載のマルチメディア記録装置。
【請求項３１】
マルチメディアデータを保存媒体に記録する記録装置において、
動画像または静止画像またはオーディオまたはグラフィックデータを含むマルチメディアデータを第1階層に保存し、第1階層に保存されたマルチメディアデータを記録単位と再生単位とに区分し、これらについての情報と連結情報とをテーブル形態に記述して第2階層に保存して前記再生単位の選択や再生順序を制御するナビゲーションデータを第3階層に保存することを特徴とするマルチメディア記録装置。
【請求項３２】
前記ナビゲーションデータをライン単位でインタープリットされて実行されるスクリプト言語で記述して保存することを特徴とする請求項３１に記載のマルチメディア記録装置。
【請求項３３】
前記ナビゲーションデータは、タイミング及び同期化の機能を有しているマークアップ言語で記述して保存することを特徴とする請求項３１に記載のマルチメディア記録装置。
【請求項３４】
前記第3階層に再生単位の選択のためのメニュー画面や前記マルチメディアデータの画面配置のためのプレゼンテーションデータをマークアップ言語で記述して保存することを特徴とする請求項３１に記載のマルチメディア記録装置。
【請求項３５】
マルチメディアデータを保存媒体に記録する方法において、
前記マルチメディアデータを第1階層に保存する段階と、
前記マルチメディアデータを記録単位と再生単位とに区分する段階と、
前記記録単位の属性及び前記記録単位と前記再生単位との関係についての情報をマークアップ言語を使用して記述し、第2階層に保存する段階とを含むことを特徴とする記録方法。
【請求項３６】
マルチメディアデータを保存媒体に記録する方法において、
前記マルチメディアデータを第1階層に保存する段階と、
前記マルチメディアデータを記録単位と再生単位とに区分する段階と、
前記記録単位の属性及び前記記録単位と前記再生単位との関係についての情報をテーブル形態に記述して第2階層に保存する段階と、
前記再生単位の選択及び再生順序を含むナビゲーションデータを第3階層に保存する段階とを含むことを特徴とする記録方法。
【請求項３７】
マルチメディアデータを保存媒体に記録する方法において、
動映像または静止映像またはオーディオまたはグラフィックデータを含む前記マルチメディアデータを前記保存媒体の第1階層に記録する段階と、
前記マルチメディアデータを記録単位と再生単位とに区分する段階と、
前記記録単位及び前記再生単位についての情報とこれらの連結情報をマークアップ言語を使用して記録する段階と、
前記情報及び連結情報を前記保存媒体の第2階層に記録する段階とを含むことを特徴とする記録方法。
【請求項３８】
マルチメディアデータを保存媒体に記録する方法において、
動映像または静止映像またはオーディオまたはグラフィックデータを含む前記マルチメディアデータを前記保存媒体の第1階層に記録する段階と、
前記マルチメディアデータを記録単位と再生単位とに区分する段階と、
前記記録単位及び前記再生単位についての情報とこれらの連結情報をテーブル状に第2階層に記録する段階と、
前記再生単位の選択と再生順序とを制御するためのナビゲーションデータを第3階層に記録する段階とを含むことを特徴とする記録方法。
【請求項３９】
マルチメディアデータを保存する第1階層と、
前記マルチメディアデータに関する付加情報として前記マルチメディアデータの再生単位に関する情報を保存する第2階層と、
再生する再生単位を選択し、その再生順序を制御するナビゲーションデータを保存する第3階層とを含み、
前記各階層は別途に分離されて保存されることを特徴とするマルチメディア保存媒体。
【請求項４０】
マルチメディアデータを保存する第1階層と、前記マルチメディアデータに対する付加情報として前記マルチメディアデータの再生単位に関する情報を保存する第2階層と、再生する再生単位を選択し、その再生順序を制御するナビゲーションデータを保存する第3階層と、に区分されるマルチメディア保存媒体を再生する装置において、
前記第3階層に保存されるナビゲーションデータにより再生する再生単位を選択し、前記第2階層に保存された再生単位に関する情報のうち、前記選択された再生単位に関する情報を参照して前記第1階層に保存された前記マルチメディアデータの該当位置を探して再生するマルチメディア再生装置。
【請求項４１】
マルチメディアデータを保存媒体に記録する記録装置において、
マルチメディアデータを第1階層に保存し、前記マルチメディアデータに関する付加情報として前記マルチメディアデータの再生単位に関する情報を第2階層に保存し、再生する再生単位を選択し、その再生順序を制御するナビゲーションデータを第3階層に保存することを特徴とするマルチメディア記録装置。
【国際調査報告】
2005538497.tif 000029
2005538497.tif 000030