(57)【要約】  テキストデータが結合されたマルチメディアデータのディスプレイ装置及びディスプレイ方法と該方法を行うプログラムが記録された記録媒体を提供する。  ＭＰＶ（ミュージックフォトビデオ）フォーマットによって記述されるマルチメディアデータのディスプレイ装置は、ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のテキストデータとより構成される資産であるか否かを確認し、前記オーディオデータと前記テキストデータとをディスプレイするための情報を抽出した後、前記情報を用いて前記オーディオデータを抽出して再生し、前記オーディオデータが再生される間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイさせるテキストデータが結合されたマルチメディアデータのディスプレイ装置。
2007506387.tif 000002
【特許請求の範囲】
【請求項１】
ＭＰＶ（ミュージックフォトビデオ）フォーマットによって記述されるマルチメディアデータのディスプレイ装置において、
ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のテキストデータとより構成される資産であるか否かを確認し、前記オーディオデータと前記テキストデータとをディスプレイするための情報を抽出した後、前記情報を用いて前記オーディオデータを抽出して再生し、前記オーディオデータが再生される間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイさせるテキストデータが結合されたマルチメディアデータのディスプレイ装置。
【請求項２】
前記資産は、前記テキストデータがディスプレイされる位置を示す位置情報と前記テキストデータがディスプレイされる時間を示す時間情報とを含むことを特徴とする請求項１に記載のテキストデータが結合されたマルチメディアデータのディスプレイ装置。
【請求項３】
前記ディスプレイ方法は、前記オーディオデータが再生される間に前記それぞれのテキストデータがディスプレイされる時間を指定するためのディスプレイ時間情報によってディスプレイされることを含むことを特徴とする請求項１に記載のテキストデータが結合されたマルチメディアデータのディスプレイ装置。
【請求項４】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイ装置において、
ユーザが選択した資産が単一のビデオデータと少なくとも１以上のテキストデータとより構成される資産であるか否かを確認し、前記ビデオデータと前記テキストデータとをディスプレイするための情報を抽出した後、前記情報を用いて前記ビデオデータを抽出して再生し、前記ビデオデータが再生される間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイさせるテキストデータが結合されたマルチメディアデータのディスプレイ装置。
【請求項５】
前記資産は、前記テキストデータがディスプレイされる位置を示す位置情報と前記テキストデータがディスプレイされる時間を示す時間情報とを含むことを特徴とする請求項４に記載のテキストデータが結合されたマルチメディアデータのディスプレイ装置。
【請求項６】
前記ディスプレイ方法は、前記ビデオデータが再生される間に前記それぞれのテキストデータがディスプレイされる時間を指定するためのディスプレイ時間情報によってディスプレイされることを含むことを特徴とする請求項４に記載のテキストデータが結合されたマルチメディアデータのディスプレイ装置。
【請求項７】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイ装置において、
ユーザが選択した資産が単一のイメージデータと少なくとも１以上のテキストデータより構成される資産であるか否かを確認し、前記イメージデータと前記テキストデータとをディスプレイするための情報を抽出した後、前記情報を用いて前記イメージデータを抽出してディスプレイし、前記イメージデータがディスプレイされる間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイさせるテキストデータが結合されたマルチメディアデータのディスプレイ装置。
【請求項８】
前記資産は、前記テキストデータがディスプレイされる位置を示す位置情報と前記テキストデータがディスプレイされる時間を示す時間情報とを含むことを特徴とする請求項７に記載のテキストデータが結合されたマルチメディアデータのディスプレイ装置。
【請求項９】
前記ディスプレイ方法は、前記イメージデータがディスプレイされる間に前記それぞれのテキストデータがディスプレイされる時間を指定するためのディスプレイ時間情報によってディスプレイされることを含むことを特徴とする請求項７に記載のテキストデータが結合されたマルチメディアデータのディスプレイ装置。
【請求項１０】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイ方法において、
ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のテキストデータより構成される資産であるか否かを確認する第１ステップと、
前記オーディオデータと前記テキストデータとをディスプレイするための情報を抽出する第２ステップと、
前記情報を用いて前記オーディオデータを抽出して再生する第３ステップと、
前記オーディオデータが再生される間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイする第４ステップと、を含むテキストデータが結合されたマルチメディアデータのディスプレイ方法。
【請求項１１】
前記資産は、前記テキストデータがディスプレイされる位置を示す位置情報と前記テキストデータがディスプレイされる時間を示す時間情報とを含むことを特徴とする請求項１０に記載のテキストデータが結合されたマルチメディアデータのディスプレイ方法。
【請求項１２】
前記ディスプレイ方法は、前記オーディオデータが再生される間に前記それぞれのテキストデータがディスプレイされる時間を指定するためのディスプレイ時間情報によってディスプレイされることを含むことを特徴とする請求項１０に記載のテキストデータが結合されたマルチメディアデータのディスプレイ方法。
【請求項１３】
前記ディスプレイ時間情報は、前記テキストデータがディスプレイされ始める開始時点情報と前記テキストデータが再生される時間間隔を示すディスプレイ時間間隔情報とを含むことを特徴とする請求項１２に記載のテキストデータが結合されたマルチメディアデータのディスプレイ方法。
【請求項１４】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイ方法において、
ユーザが選択した資産が単一のビデオデータと少なくとも１以上のテキストデータとより構成される資産であるか否かを確認する第１ステップと、
前記ビデオデータと前記テキストデータとをディスプレイするための情報を抽出する第２ステップと、
前記情報を用いて前記ビデオデータを抽出して再生する第３ステップと、
前記ビデオデータが再生される間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイする第４ステップと、を含むテキストデータが結合されたマルチメディアデータのディスプレイ方法。
【請求項１５】
前記資産は、前記テキストデータがディスプレイされる位置を示す位置情報と前記テキストデータがディスプレイされる時間を示す時間情報とを含むことを特徴とする請求項１４に記載のテキストデータが結合されたマルチメディアデータのディスプレイ方法。
【請求項１６】
前記ディスプレイ方法は、前記ビデオデータが再生される間に前記それぞれのテキストデータがディスプレイされる時間を指定するためのディスプレイ時間情報によってディスプレイされることを含むことを特徴とする請求項１４に記載のテキストデータが結合されたマルチメディアデータのディスプレイ方法。
【請求項１７】
前記ディスプレイ時間情報は、前記テキストデータがディスプレイされ始める開始時点情報と前記テキストデータがディスプレイされる時間間隔を示すディスプレイ時間間隔情報とを含むことを特徴とする請求項１６に記載のテキストデータが結合されたマルチメディアデータのディスプレイ方法。
【請求項１８】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイ方法において、
ユーザが選択した資産が単一のイメージデータと少なくとも１以上のテキストデータとより構成される資産であるか否かを確認する第１ステップと、
前記イメージデータと前記テキストデータとをディスプレイするための情報を抽出する第２ステップと、
前記情報を用いて前記イメージデータを抽出してディスプレイする第３ステップと、
前記イメージデータがディスプレイされる間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイする第４ステップと、を含むテキストデータが結合されたマルチメディアデータのディスプレイ方法。
【請求項１９】
前記資産は、前記テキストデータがディスプレイされる位置を示す位置情報と前記テキストデータがディスプレイされる時間を示す時間情報を含むことを特徴とする請求項１８に記載のテキストデータが結合されたマルチメディアデータのディスプレイ方法。
【請求項２０】
前記ディスプレイ方法は、前記イメージデータがディスプレイされる間に前記それぞれのテキストデータがディスプレイされる時間を指定するためのディスプレイ時間情報によってディスプレイされることを含むことを特徴とする請求項１８に記載のテキストデータが結合されたマルチメディアデータのディスプレイ方法。
【請求項２１】
前記ディスプレイ時間情報は、前記テキストデータがディスプレイされ始める開始時点情報と前記テキストデータがディスプレイされる時間間隔を示すディスプレイ時間間隔情報とを含むことを特徴とする請求項２０に記載のテキストデータが結合されたマルチメディアデータのディスプレイ方法。
【請求項２２】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイのためのプログラムが記録された記録媒体において、
前記プログラムは、ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のテキストデータより構成される資産であるか否かを確認し、前記オーディオデータと前記テキストデータとをディスプレイするための情報を抽出した後、前記情報を用いて前記オーディオデータを抽出して再生し、前記オーディオデータが再生される間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイさせることを特徴とする記録媒体。
【請求項２３】
前記資産は、前記テキストデータがディスプレイされる位置を示す位置情報と前記テキストデータがディスプレイされる時間を示す時間情報とを含むことを特徴とする請求項２２に記載のＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイのためのプログラムが記録された記録媒体。
【請求項２４】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイのためのプログラムが記録された記録媒体において、
前記プログラムは、ユーザが選択した資産が単一のビデオデータと少なくとも１以上のテキストデータとより構成される資産であるか否かを確認し、前記ビデオデータと前記テキストデータをディスプレイするための情報を抽出した後、前記情報を用いて前記ビデオデータを抽出して再生し、前記ビデオデータが再生される間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイさせることを特徴とする記録媒体。
【請求項２５】
前記資産は、前記テキストデータがディスプレイされる位置を示す位置情報と前記テキストデータがディスプレイされる時間を示す時間情報とを含むことを特徴とする請求項２４に記載のＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイのためのプログラムが記録された記録媒体。
【請求項２６】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイのためのプログラムが記録された記録媒体において、
前記プログラムは、ユーザが選択した資産が単一のイメージデータと少なくとも１以上のテキストデータより構成される資産であるか否かを確認し、前記イメージデータと前記テキストデータとをディスプレイするための情報を抽出した後、前記情報を用いて前記イメージデータを抽出してディスプレイし、前記イメージデータがディスプレイされる間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイさせることを特徴とする記録媒体。
【請求項２７】
前記資産は、前記テキストデータがディスプレイされる位置を示す位置情報と前記テキストデータがディスプレイされる時間とを示す時間情報を含むことを特徴とする請求項２６に記載のＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイのためのプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキストデータと結合されたマルチメディアデータのディスプレイ装置及びディスプレイ方法と前記方法を記録した記録媒体に係り、より詳細には、マルチメディアデータのうち、少なくとも１以上のテキストデータと結合されたオーディオデータ、フォトデータ、またはビデオデータをＭＰＶ（マルチフォトビデオまたはミュージックフォトビデオ）フォーマットの形に管理し、これをユーザに提供することである。
【背景技術】
【０００２】
ＭＰＶは、Ｏｐｔｉｃａｌ  Ｓｔｏｒａｇｅ  Ｔｅｃｈｎｏｌｏｇｙ  Ａｓｓｏｃｉａｔｉｏｎ（光保存装置の製造会社が作った協会：以下‘ＯＳＴＡ’と称する）で２００２年に発表したマルチメディアタイトルの業界標準規格であって、多様な形の音楽、写真、ビデオデータをユーザにより便利に提供するか、前記マルチメディアデータを操作して処理可能にするための標準規格である。ＭＰＶについての定義及びその他の標準規格については、ＯＳＴＡの公式ウェブサイト（ｗｗｗ．ｏｓｔａ．ｏｒｇ）を通じて提供されて利用しうる。
【０００３】
最近には、パソコンを用いてデジタル写真、ビデオ、デジタルオーディオ、テキストなどのメディアデータを処理して、再生した。そして、前記メディアコンテンツを生成する装置、例えば、デジタルカメラ、デジタルカムコーダ、デジタルオーディオ再生器（Ｄｉｇｉｔａｌ  Ａｕｄｉｏ  Ｐｌａｙｅｒ（ＭＰ３、ＷＭＡなどのデジタルオーディオデータを再生する装置）などの使用が多くなるにつれて多種のメディアデータが大量に生成されている。
【０００４】
しかし、このように大量生成されているマルチメディアデータを管理するためにパソコンを主に使用してきて、これにより、ユーザのファイル基盤経験（Ｆｉｌｅ−ｂａｓｅｄ  ｕｓｅｒ  ｅｘｐｅｒｉｅｎｃｅ）を要求するようになる難点が生じた。また、特定製品でマルチメディアデータが生成される時、属性データ、データ再生順序、再生方法などもそれぞれのマルチメディアデータ別に生成される場合があるが、これをパソコンと連結すれば、属性データをなくして、原本データのみ移動する。すなわち、家電製品、パソコン、及びデジタルコンテンツ生成装置間にデータとデータとの属性についての相互連動性（Ｉｎｔｅｒ−ｏｐｅｒａｂｉｌｉｔｙ）が非常に脆弱である。
【０００５】
前記相互連動性が脆弱な点について、例を挙げて説明する。デジタルカメラを使用して写真をキャプチャし、キャプチャされた写真をデジタルカメラで確認するためにスライドショー機能を使用しつつ決定された属性スライドショー順序、写真間の時間間隔、パノマラ機能を使用しつつ決定された属性撮影された写真間の関係、連写機能を使用しつつ決定された属性などのデータが原本データの実際画像データと共に保存される。この際、前記デジタルカメラにＡＶケーブルを使用してテレビに画像を伝送すれば、それぞれの属性が表現されたマルチメディアデータをユーザが見られるようになる。しかし、ＵＳＢ（ユニバーサルシリアルバス）ケーブルを通じてパソコンに連結すれば、原本データのみコンピュータに伝送され、それぞれの属性をいずれも失うようになる。
【０００６】
前記の例に現れたようにデジタルカメラで保存された属性データ、すなわち、メタデータについてのパソコンの相互−連動性が非常に脆弱であると見なし得る。または、デジタルカメラの機能に対するパソコンの相互−連動性がないとも見なし得る。
【０００７】
このようなデジタル機器間のデータに対する相互−連動性の脆弱を補強するために、ＭＰＶ標準が進行しているものである。
【０００８】
ＭＰＶスペックは、光学ディスク、メモリカード、コンピュータハードディスクのような記録媒体（または装置）に保存されるか、インターネットプロトコルにより交換されるデジタル写真、ビデオ、オーディオなどのマルチメディアデータの集合を処理し、再生（Ｐｌａｙｂａｃｋ）するためのマニフェスト（Ｍａｎｉｆｅｓｔ）、メタデータ及びプラクティスを定義している。
【０００９】
ＭＰＶは、現在ＯＳＴＡ（Ｏｐｔｉｃａｌ  Ｓｔｏｒａｇｅ  Ｔｅｃｈｎｏｌｏｇｙ  Ａｓｓｏｃｉａｔｉｏｎ）とＩ３Ａ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｉｍａｇｉｎｇ  Ｉｎｄｕｓｔｒｙ  Ａｓｓｏｃｉａｔｉｏｎ）で標準化を進行しており、前記ＭＰＶは、オープンスペック（Ｏｐｅｎ  ｓｐｅｃｉｆｉｃａｔｉｏｎ）であり、デジタル写真やビデオ、デジタルオーディオ、テキストなどの集合の処理、交換、再生を容易にすることを主目的とする。
【００１０】
ＭＰＶは、ＭＰＶコアスペック（ＭＰＶ  Ｃｏｒｅ−Ｓｐｅｃ．０．９０ＷＤ）とプロファイルに大別される。
【００１１】
コアは、コレクション、メタデータ、識別（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）のような３種の基本要素からなりうる。
【００１２】
コレクションには、ルートメンバーとしてマニフェストを有しており、メタデータ、アルバム、表示資産（Ｍａｒｋｅｄ  Ａｓｓｅｔ）、資産リスト（Ａｓｓｅｔ  Ｌｉｓｔ）などがある。この際、資産は、ＭＰＶフォーマットによって記述されたマルチメディアデータを意味するが、ここには２種がある。まず、シンプルメディア資産（Ｓｉｍｐｌｅ  ｍｅｄｉａ  ａｓｓｅｔ）があり、デジタル写真、ビデオ、デジタルオーディオ、文書などがその例に該当する。そして、複合メディア資産（Ｃｏｍｐｏｓｉｔｅ  ｍｅｄｉａ  ａｓｓｅｔ）があり、デジタル写真＋デジタルオーディオ（ＳｔｉｌｌＷｉｔｈＡｕｄｉｏ）、連続撮影デジタル写真（ＳｔｉｌｌＭｕｌｔｉｓｈｏｔＳｅｑｕｅｎｃｅ）、パノマラ撮影デジタル写真（ＳｔｉｌｌＰａｎｏｒａｍａＳｅｑｕｅｎｃｅ）などがここに該当する。図１は、前記した内容の例を表している。
メタデータは、ＸＭＬフォーマットによって、識別のために下記のような５種の識別子がある。
【００１３】
１．ＬａｓｔＵＲＬ：該当資産のパス名とファイル名（Ｐａｔｈ  ｔｏ  ｔｈｅ  ｏｂｊｅｃｔ）
２．ＩｎｓｔａｎｃｅＩＤ：各資産ごとに唯一のＩＤ（ｕｎｉｑｕｅ  ｐｅｒ  ｏｂｊｅｃｔ：例、Ｅｘｉｆ２．２）
３．ＤｏｃｕｍｅｎｔＩＤ：原本データと変更されたデータとにいずれも同一
４．ＣｏｎｔｅｎｔＩＤ：該当資産が特定の目的のために使われる度に生成
５．ｉｄ：メタデータ内でのローカル変数
一方、プロファイルは、全て７種であって、基本プロファイル（Ｂａｓｉｃ  ｐｒｏｆｉｌｅ）、プレゼンテーションプロファイル（Ｐｒｅｓｅｎｔａｔｉｏｎ  ｐｒｏｆｉｌｅ）、キャプチャ／編集プロファイル（Ｃａｐｔｕｒｅ／Ｅｄｉｔ  ｐｒｏｆｉｌｅ）、記録プロファイル（Ａｒｃｈｉｖｅ  ｐｒｏｆｉｌｅ）、インターネットプロファイル（Ｉｎｔｅｒｎｅｔ  ｐｒｏｆｉｌｅ）、印刷プロファイル（Ｐｒｉｎｔｉｎｇ  ｐｒｏｆｉｌｅ）、コンテナプロファイル（Ｃｏｎｔａｉｎｅｒ  ｐｒｏｆｉｌｅ）などがある。
【００１４】
すなわち、ＭＰＶは、ユーザの意図通り記録媒体に記録された各種マルチメディアデータが再生されるようにＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）メタデータを用いて多様なファイル連結（ａｓｓｏｃｉａｔｉｏｎ）を管理するなどの機能を支援し、特にＪＰＥＧ、ＭＰ３、ＷＭＡ、ＷＭＶ、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４を支援し、デジタルカメラフォーマットであるＡＶＩ及びクイックタイム（ＱｕｉｃｋＴｉｍｅ）ＭＪＰＥＧビデオを支援し、ＭＰＶ規格ディスクは、ＩＳＯ９６６０レベル１、Ｊｏｌｉｅｔと互換性があり、マルチセッションＣＤ、ＤＶＤ、メモリカード、ハードディスク及びインターネットとも互換されることによって、ユーザをしてさらに多様なマルチメディアデータの管理及び処理を可能ならしめる。
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかし、ＭＰＶフォーマットについての標準において、標準で定義されていない多様なマルチメディアデータの形態、すなわち、新たな形態の資産が必要となり、前記マルチメディアデータを提供する機能の追加が要請されている。
【課題を解決するための手段】
【００１６】
本発明では、現在ＭＰＶフォーマットが提案している多様な形態のマルチメディアデータに加えて新たなマルチメディアデータに関する形態を提案して、前記マルチメディアデータをユーザに提供する方法を提案することによって、多様な種類のマルチメディアデータの活用をさらに多様化しようとする。
【００１７】
前記目的を達成するために、本発明の実施によるＭＰＶ（ＭｕｓｉｃＰｈｏｔｏＶｉｄｅｏ）フォーマットによって記述されるテキストデータが結合されたマルチメディアデータのディスプレイ装置はユーザが選択した資産が単一のオーディオデータと少なくとも１以上のテキストデータとより構成される資産であるか否かを確認し、前記オーディオデータと前記テキストデータとをディスプレイするための情報を抽出した後、前記情報を用いて前記オーディオデータを抽出して再生し、前記オーディオデータが再生される間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデーを抽出して順次にディスプレイさせることを特徴とする。
【００１８】
この際、望ましくは、前記資産は、前記テキストデータがディスプレイされる位置を示す位置情報と前記テキストデータがディスプレイされる時間を示す時間情報とを含むことを特徴する。また、望ましくは、前記ディスプレイ方法は、前記オーディオデータが再生される間に前記それぞれのテキストデータがディスプレイされる時間を指定するためのディスプレイ時間情報によってディスプレイされることを含む。
【００１９】
また、前記目的を達成するために、本発明の実施によるＭＰＶ（ミュージックフォトビデオ）フォーマットによって記述されるテキストデータが結合されたマルチメディアデータのディスプレイ装置は、ユーザが選択した資産が単一のビデオデータと少なくとも１以上のテキストデータとより構成される資産であるか否かを確認し、前記ビデオデータと前記テキストデータとをディスプレイするための情報を抽出した後、前記情報を用いて前記ビデオデータを抽出して再生し、前記ビデオデータが再生される間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイさせることを特徴とする。
【００２０】
この際、望ましくは、前記資産は前記テキストデータがディスプレイされる位置を示す位置情報と前記テキストデータがディスプレイされる時間を示す時間情報とを含むことを特徴する。また、望ましくは、前記ディスプレイ方法は、前記ビデオデータが再生される間に前記それぞれのテキストデータがディスプレイされる時間を指定するためのディスプレイ時間情報によってディスプレイされることを含む。
【００２１】
また、前記目的を達成するために、本発明の実施によるＭＰＶ（ミュージックフォトビデオ）フォーマットによって記述されるテキストデータが結合されたマルチメディアデータのディスプレイ装置は、ユーザが選択した資産が単一のイメージデータと少なくとも１以上のテキストデータとより構成される資産であるか否かを確認し、前記イメージデータと前記テキストデータをディスプレイするための情報を抽出した後、前記情報を用いて前記イメージデータを抽出してディスプレイし、前記イメージデータがディスプレイされる間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイさせることを特徴とする。
【００２２】
この際、望ましくは、前記資産は、前記テキストデータがディスプレイされる位置を示す位置情報と前記テキストデータがディスプレイされる時間を示す時間情報とを含むことを特徴する。また、望ましくは、前記ディスプレイ方法は、前記イメージデータがディスプレイされる間に前記それぞれのテキストデータがディスプレイされる時間を指定するためのディスプレイ時間情報によってディスプレイされることを含む。
【００２３】
前記目的を達成するために、本発明の実施によるＭＰＶ（ミュージックフォトビデオ）フォーマットによって記述されるテキストデータが結合されたマルチメディアデータのディスプレイ方法は、ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のテキストデータより構成される資産であるか否かを確認する第１ステップと、前記オーディオデータと前記テキストデータとをディスプレイするための情報を抽出する第２ステップと、前記情報を用いて前記オーディオデータを抽出して再生する第３ステップと、前記オーディオデータが再生される間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイする第４ステップと、を含む。望ましくは、前記ディスプレイ方法は、前記オーディオデータが再生される間に前記それぞれのテキストデータがディスプレイされる時間を指定するためのディスプレイ時間情報によってディスプレイされることを含むが、この際、前記ディスプレイ時間情報は、前記テキストデータがディスプレイされ始める開始時点情報と前記テキストデータが再生される時間間隔を示すディスプレイ時間間隔情報とを含む。また、望ましくは、前記資産は、前記テキストデータがディスプレイされる位置を示す位置情報と前記テキストデータがディスプレイされる時間を示す時間情報とを含むことを特徴する。
【００２４】
前記目的を達成するために、本発明の実施によるＭＰＶ（ミュージックフォトビデオ）フォーマットによって記述されるテキストデータが結合されたマルチメディアデータのディスプレイ方法は、ユーザが選択した資産が単一のビデオデータと少なくとも１以上のテキストデータより構成される資産であるか否かを確認する第１ステップと、前記ビデオデータと前記テキストデータをディスプレイするための情報を抽出する第２ステップと、前記情報を用いて前記ビデオデータを抽出して再生する第３ステップと、前記ビデオデータが再生される間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイする第４ステップと、を含む。望ましくは、前記ディスプレイ方法は、前記ビデオデータが再生される間に前記それぞれのテキストデータがディスプレイされる時間を指定するためのディスプレイ時間情報によってディスプレイされることを含むが、この際、前記ディスプレイ時間情報は、前記テキストデータがディスプレイされ始める開始時点情報と前記テキストデータがディスプレイされる時間間隔を示すディスプレイ時間間隔情報とを含む。また、望ましくは、前記資産は、前記テキストデータがディスプレイされる位置を示す位置情報と前記テキストデータがディスプレイされる時間を示す時間情報とを含むことを特徴する。
【００２５】
前記目的を達成するために本発明の実施によるＭＰＶ（ミュージックフォトビデオ）フォーマットによって記述されるテキストデータが結合されたマルチメディアデータのディスプレイ方法は、ユーザが選択した資産が単一のイメージデータと少なくとも１以上のテキストデータより構成される資産であるか否かを確認する第１ステップと、前記イメージデータと前記テキストデータをディスプレイするための情報を抽出する第２ステップと、前記情報を用いて前記イメージデータを抽出してディスプレイする第３ステップと、前記イメージデータがディスプレイされる間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイする第４ステップと、を含む。望ましくは、前記ディスプレイ方法は、前記イメージデータがディスプレイされる間に前記それぞれのテキストデータがディスプレイされる時間を指定するためのディスプレイ時間情報によってディスプレイされることを含むが、この際、前記ディスプレイ時間情報は、前記テキストデータがディスプレイされ始める開始時点情報と前記テキストデータがディスプレイされる時間間隔を示すディスプレイ時間間隔情報とを含む。また、望ましくは、前記資産は、前記テキストデータがディスプレイされる位置を示す位置情報と前記テキストデータがディスプレイされる時間を示す時間情報を含むことを特徴する。
【００２６】
前記目的を達成するために本発明の実施によるＭＰＶ（ミュージックフォトビデオ）フォーマットによって記述されるテキストデータが結合されたマルチメディアデータをディスプレイさせるプログラムが記録された記録媒体は、ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のテキストデータより構成される資産であるか否かを確認し、前記オーディオデータと前記テキストデータをディスプレイするための情報を抽出した後、前記情報を用いて前記オーディオデータを抽出して再生し、前記オーディオデータが再生される間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイさせるプログラムが記録されたことを特徴とする。
【００２７】
前記目的を達成するために本発明の実施によるＭＰＶ（ミュージックフォトビデオ）フォーマットによって記述されるテキストデータが結合されたマルチメディアデータをディスプレイさせるプログラムが記録された記録媒体は、ユーザが選択した資産が単一のビデオデータと少なくとも１以上のテキストデータより構成される資産であるか否かを確認し、前記ビデオデータと前記テキストデータをディスプレイするための情報を抽出した後、前記情報を用いて前記ビデオデータを抽出して再生し、前記ビデオデータが再生される間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイさせるプログラムが記録されたことを特徴とする。
【００２８】
前記目的を達成するために本発明の実施によるＭＰＶ（ミュージックフォトビデオ）フォーマットによって記述されるテキストデータが結合されたマルチメディアデータをディスプレイさせるプログラムが記録された記録媒体は、ユーザが選択した資産が単一のイメージデータと少なくとも１以上のテキストデータより構成される資産であるか否かを確認し、前記イメージデータと前記テキストデータをディスプレイするための情報を抽出した後、前記情報を用いて前記イメージデータを抽出してディスプレイし、前記イメージデータがディスプレイされる間に所定のディスプレイ方法によって前記情報から少なくとも１以上の前記テキストデータを抽出して順次にディスプレイさせるプログラムが記録されたことを特徴とする。
【発明を実施するための最良の形態】
【００２９】
本発明では、ＭＰＶフォーマットによるマルチメディアデータを提供するためにＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）を用いており、以下、ＸＭＬ−スキーマ（ｓｃｈｅｍａ）によって記述する。
【００３０】
本発明では、ＯＳＴＡで提案していない‘ＡｕｄｉｏＷｉｔｈＴｅｘｔ’資産と、‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産と、‘ＶｉｄｅｏＷｉｔｈＴｅｘｔ’資産を提示することによって、さらに多様なマルチメディアデータを提供している。前記３種の新たな資産についての定義と使用例などを説明すれば、次の通りである。以下で、‘ｓｍｐｖ’と‘ｍｐｖ’とのＸＭＬでのネームスペースを示すが、‘ｓｍｐｖ’は本発明で新たに提案するエレメントについてのネームスペースを示し、‘ｍｐｖ’はＯＳＴＡで提案しているエレメントについてのネームスペースを示す。
【００３１】
１．ＡｕｄｉｏＷｉｔｈＴｅｘｔ資産
ＡｕｄｉｏＷｉｔｈＴｅｘｔ資産は、単一のオーディオ資産に少なくとも１以上のキャプションデータを結合した形態の資産であって、ＸＭＬで記述される場合に＜ＡｕｄｉｏＷｉｔｈＴｅｘｔ＞エレメントと称しうる。前記オーディオ資産とテキストデータもＸＭＬで記述される文書（ｆｉｌｅ）ではエレメントと取扱われる。＜ＡｕｄｉｏＷｉｔｈＴｅｘｔ＞エレメントの構造を説明する前に、オーディオ資産と結合するテキストデータの構造を説明する必要があり、本発明では、テキストデータの構造を示すエレメントとして＜ＴｅｘｔＣｏｎｔｅｎｔ＞エレメントを定義する。
【００３２】
図２では、＜ＴｅｘｔＣｏｎｔｅｎｔ＞エレメントの構造を概略的に説明している。前記図２で図示した＜ＴｅｘｔＣｏｎｔｅｎｔ＞エレメントのダイアグラムを見れば、＜ＴｅｘｔＣｏｎｔｅｎｔ＞エレメントは、‘ｍｐｖ’と‘ｓｍｐｖ’とを各々ネームスペースとする複数のエレメントからなっていることが分かる。
【００３３】
ここで、‘ｍｐｖ’をネームスペースとするエレメントについての説明は、ＭＰＶ規格に対して提案しているＯＳＴＡのホームページ‘ｗｗｗ．ｏｓｔａ．ｏｒｇ’に記述されているので省略する。したがって、以下では、‘ｓｍｐｖ’をネームスペースとするエレメントについて順次に説明する。
【００３４】
（１）  ＜ＴｅｘｔＢｏｄｙ＞エレメント
＜ＴｅｘｔＢｏｄｙ＞エレメントは、ＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘ  ｔＭａｒｋｕｐ  Ｌａｎｇｕａｇｅ）規則によって良好にフォーマットされた（ｗｅｌｌ−ｆｏｒｍａｔｔｅｄ）テキストデータを示す。＜ＴｅｘｔＢｏｄｙ＞エレメントでは、テキストのフォントや色などを定義するＣＳＳ（Ｃａｓｃａｄｉｎｇ  Ｓｔｙｌｅ  Ｓｈｅｅｔｓ）の属性のようにＨＴＭＬテキスト特性を示しうる。前記＜ＴｅｘｔＢｏｄｙ＞エレメントは、主にデータ量の少ないテキストデータをディスプレイするために使われ、ＭＰＶファイルに直接記述される。一方、＜ＴｅｘｔＲｅｆ＞エレメントは、ＭＰＶコアスペック（ｃｏｒｅ  ｓｐｅｃｉｆｉｃａｔｉｏｎ）で定義しているが、前記＜ＴｅｘｔＲｅｆ＞エレメントは、前記＜ＴｅｘｔＢｏｄｙ＞エレメントのようにテキストデータが直接ＭＰＶファイルで記述されるものではなく、テキストデータを含む別途のファイルを参照する。この際、前記別途のファイルは、ＭＰＶ形式であるか、他の形式のファイルであり得る。＜ＴｅｘｔＣｏｎｔｅｎｔ＞エレメントの属性として前記＜ＴｅｘｔＲｅｆ＞エレメントを記述していない場合には、前記＜ＴｅｘｔＢｏｄｙ＞エレメントが必ず記述されねばならない。図３では、前記＜ＴｅｘｔＢｏｄｙ＞エレメントを簡略に記述している。
【００３５】
（２）  ＜ＴｅｘｔＬｏｃａｔｉｏｎ＞エレメント
＜ＴｅｘｔＬｏｃａｔｉｏｎ＞エレメントは、画面でサブタイトルまたはキャプションの位置を定義する。もし、＜ＴｅｘｔＬｏｃａｔｉｏｎ＞エレメントがない場合には、デフォルト命令（ｄｅｆａｕｌｔ  ｉｎｓｔｒｕｃｔｉｏｎ）が使われうる。ＨＴＭＬフォーマットとＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｇｒａｔｉｏｎ  Ｌａｎｇｕａｇｅ）フォーマットもテキスト特性を定義する方法を有しているが、もし、＜ＴｅｘｔＬｏｃａｔｉｏｎ＞エレメントが使われる場合には、前記＜ＴｅｘｔＬｏｃａｔｉｏｎ＞エレメントの特性が優先となる。
【００３６】
＜ＴｅｘｔＬｏｃａｔｉｏｎ＞エレメントは、テキストがディスプレイされる位置座標を示す下位エレメントを有し得る。ここには、＜ＴｅｘｔＬｅｆｔ＞エレメント、＜ＴｅｘｔＴｏｐ＞エレメント、＜ＴｅｘｔＷｉｄｔｈ＞エレメント、＜ＴｅｘｔＨｅｉｇｈｔ＞エレメントがある。図４では、前記＜ＴｅｘｔＬｏｃａｔｉｏｎ＞エレメントを簡略に記述しており、図５では、それぞれのエレメント間の位置座標関係を示している。
【００３７】
（３）＜ＴｅｘｔＳｔａｒｔＴｉｍｅ＞エレメント
＜ＴｅｘｔＳｔａｒｔＴｉｍｅ＞エレメントは、テキストデータがディスプレイされる開始時点を表し、＜ＴｅｘｔＢｏｄｙ＞エレメント、または＜ＴｅｘｔＲｅｆ＞エレメントで定義される。この際、＜ＴｅｘｔＢｏｄｙ＞エレメントの場合、＜ＴｅｘｔＳｔａｒｔＴｉｍｅ＞エレメントの値は必須的に定義されねばならない。＜ＴｅｘｔＲｅｆ＞エレメントの場合には選択的であるが、テキストデータをディスプレイするための開始時点をさらに微細に調節するために使われうる。
【００３８】
（４）＜ＴｅｘｔＤｕｒａｔｉｏｎ＞エレメント
＜ＴｅｘｔＤｕｒａｔｉｏｎ＞エレメントは、テキストデータがディスプレイされる時間を示す。＜ＴｅｘｔＢｏｄｙ＞エレメントで定義されるキャプションの場合、前記＜ＴｅｘｔＤｕｒａｔｉｏｎ＞エレメントは＜ＴｅｘｔＳｔａｒｔ＞エレメントと共に使用する。
【００３９】
（５）＜ＡｕｄｉｏＷｉｔｈＴｅｘｔ＞エレメント
図６では、＜ＡｕｄｉｏＷｉｔｈＴｅｘｔ＞エレメントの構造を概略的に説明している。前記図６で示した＜ＡｕｄｉｏＷｉｔｈＴｅｘｔ＞エレメントのダイアグラムを見れば、＜ＡｕｄｉｏＷｉｔｈＴｅｘｔ＞エレメントは‘ｍｐｖ’と‘ｓｍｐｖ’とを各々ネームスペースとする複数のエレメントからなっていることが分かる。
【００４０】
ここで、‘ｍｐｖ’をネームスペースとするエレメントについての説明は、ＭＰＶ規格について提案しているＯＳＴＡのホームページ‘ｗｗｗ．ｏｓｔａ．ｏｒｇ’に記述されているので省略する。‘ｓｍｐｖ’をネームスペースとする＜ＴｅｘｔＣｏｎｔｅｎｔ＞エレメントはディスプレイされるテキスト情報について記述している。また、オーディオデータを指定するために‘ＡｕｄｉｏＲｅｆＧｒｏｕｐ’を定義できるが、ここにはＭＰＶコアスペックである＜ＡｕｄｉｏＲｅｆ＞エレメントと本発明の実施による＜ＡｕｄｉｏＰａｒｔＲｅｆ＞エレメントがある。この際、前記＜ＡｕｄｉｏＰａｒｔＲｅｆ＞エレメントは、＜ＡｕｄｉｏＰａｒｔ＞エレメントを参照して、ここで＜ＡｕｄｉｏＰａｒｔ＞エレメントは該当するオーディオデータの一部を示す。図７は、前記＜ＡｕｄｉｏＷｉｔｈＴｅｘｔ＞エレメントのタイプについてのタイプ定義（ｔｙｐｅｄｅｆｉｎｉｔｉｏｎ）を表している。
【００４１】
２．‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産
図８では、＜ＰｈｏｔｏＷｉｔｈＴｅｘｔ＞エレメントの構造を概略的に説明している。‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産は、単一のイメージデータと少なくとも１以上のテキストデータが結合された形態の資産であって、ＸＭＬで記述される場合に‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’エレメントと称しうる。テキストデータを前記イメージデータでディスプレイするために前記＜ＴｅｘｔＬｏｃａｔｉｏｎ＞エレメントにテキストデータの位置情報が定義される。また、１つのイメージデータに少なくとも２以上のテキストデータをディスプレイすることもできる。図９は、前記＜ＰｈｏｔｏＷｉｔｈＴｅｘｔ＞エレメントのタイプについてのタイプ定義を表している。
【００４２】
３．‘ＶｉｄｅｏＷｉｔｈＴｅｘｔ’資産
図１０では、＜ＶｉｄｅｏＷｉｔｈＴｅｘｔ＞エレメントの構造を概略的に説明している。‘ＶｉｄｅｏＷｉｔｈＴｅｘｔ’資産は、単一のビデオデータと少なくとも１以上のテキストデータが結合された形態の資産であって、ＸＭＬで記述される場合に‘ＶｉｄｅｏＷｉｔｈＴｅｘｔ’エレメントと称しうる。前記‘ＶｉｄｅｏＷｉｔｈＴｅｘｔ’資産は、映画のサブタイトルをディスプレイするか、映画上映時に画面に付加的な情報を示すのに有用に使われうる。図１１は、前記＜ＶｉｄｅｏＷｉｔｈＴｅｘｔ＞エレメントのタイプについてのタイプ定義を表している。
【００４３】
４．参照のためのエレメント
＜ＡｕｄｉｏＷｉｔｈＴｅｘｔＲｅｆ＞エレメント、＜ＰｈｏｔｏＷｉｔｈＴｅｘｔＲｅｆ＞エレメント、＜ＶｉｄｅｏＷｉｔｈＴｅｘｔＲｅｆ＞エレメントは、いずれも類似した構造を有している。各々‘ＡｕｄｉｏＷｉｔｈＴｅｘｔ’資産、‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産、‘ＶｉｄｅｏＷｉｔｈＴｅｘｔ’資産を参照（ｒｅｆｅｒｅｎｃｅ）する時に使われる。図１２ないし図１４は、それぞれの参照のためのエレメントの構造を表している。
【００４４】
図１５と図１６は、本発明の実施による‘ＶｉｄｅｏＷｉｔｈＴｅｘｔ’資産をディスプレイする方法を示す一実施形態のフローチャートである。
【００４５】
ユーザがＭＰＶファイルを再生しうるソフトウェアを用いて‘ＶｉｄｅｏＷｉｔｈＴｅｘｔ’資産を選択すれば（Ｓ１４００）、前記ソフトウェアでは前記‘ＶｉｄｅｏＷｉｔｈＴｅｘｔ’資産を構成するテキストデータを抽出するためにテキストファイルを参照しているか否かを検査する（Ｓ１４０５）。
【００４６】
もし、テキストファイルを参照している場合、すなわち、＜ＴｅｘｔＲｅｆ＞エレメントが存在すれば、前記＜ＴｅｘｔＲｅｆ＞エレメントが参照しているテキストファイルの形式を検査する（Ｓ１４３５）。この際、前記テキストファイルの形式が正しいテキストファイルならば、前記‘ＶｉｄｅｏＷｉｔｈＴｅｘｔ’資産をディスプレイし始め（Ｓ１４４０）、そうでない場合には、エラーメッセージを生成してユーザに伝達してリターン値を返還するか、該当プログラムが終了する（図示せず）。
【００４７】
もし、前記Ｓ１４０５ステップでテキストファイルを参照するものでなく、ＭＰＶファイルに直接テキストデータが記述された場合、すなわち、＜ＴｅｘｔＢｏｄｙ＞エレメントを含んでいる場合には、前記＜ＴｅｘｔＢｏｄｙ＞エレメントが形式に合うように記述されたか否かを検査する（Ｓ１４１０）。この際、前記＜ＴｅｘｔＢｏｄｙ＞エレメントが形式に合うように記述されたとすれば、テキストデータがディスプレイされ始める時間とディスプレイが終了される時間とを定義し（Ｓ１４１５、Ｓ１４２０）、別途の新たなテキストファイルを生成する（Ｓ１４２５）。もし、前記＜ＴｅｘｔＢｏｄｙ＞エレメントが形式に合うように記述されていなければ、エラーメッセージを生成してユーザに伝達し、リターン値を返還するか、該当プログラムが終了する（Ｓ１４３０）。
【００４８】
一方、前記Ｓ１４２５ステップで別途の新たなテキストファイルを生成することはソフトウェアコンポーネントの再使用性を向上させるためである。すなわち、テキストデータが＜ＴｅｘｔＢｏｄｙ＞エレメントに直接記述されているので、該当するテキストデータを別途のファイルにて記録しておくことによって、ファイルを入力パラメータ（ｉｎｐｕｔ  ｐａｒａｍｅｔｅｒ）とする関数で使用できる。
【００４９】
テキストデータを含んでいるファイルを入力として前記‘ＶｉｄｅｏＷｉｔｈＴｅｘｔ’資産をディスプレイし始める（Ｓ１４４０）。
【００５０】
この際、スレッドあるいは子プロセッサを生成して各々ビデオフレームをディスプレイする機能（Ｓ１４４５）とテキストデータをディスプレイしつつディスプレイ時間をチェックする機能（Ｓ１４５０ないしＳ１４７０）を分けて行う。
【００５１】
まず、前記‘ＶｉｄｅｏＷｉｔｈＴｅｘｔ’資産を構成するビデオデータが再生され始めれば、タイマーが動作し始める（Ｓ１４５０）。この際、前記タイマーは、前記‘ＶｉｄｅｏＷｉｔｈＴｅｘｔ’資産を構成するテキストデータがディスプレイされ始める時点とディスプレイが終了される時点についての情報を有している。前記終了される時点についての情報は＜ＴｅｘｔＳｔａｒｔ＞エレメント値と＜ＴｅｘｔＤｕｒａｔｉｏｎ＞エレメント値とを加えることによって得られる。テキストデータが＜ＴｅｘｔＤｕｒａｔｉｏｎ＞エレメント値ほどディスプレイされた後（Ｓ１４５５）、終了すれば、時間イベント（ｔｉｍｅ  ｅｖｅｎｔ）が発生し（Ｓ１４６０）、その次にディスプレイされるテキストデータの存否を検査する（Ｓ１４６５）。もし、ディスプレイされるテキストデータが存在すれば、前記ディスプレイされるテキストデータの時間情報を抽出して前記タイマーに伝達し（Ｓ１４７０）、前記Ｓ１４５０ステップを反復して行う。前記Ｓ１４６５ステップでディスプレイされるデータが存在していなければ、テキストデータはこれ以上ディスプレイされずに、デオフレームだけディスプレイされる。
【００５２】
前記‘ＶｉｄｅｏＷｉｔｈＴｅｘｔ’資産を構成するビデオデータがいずれも再生されれば、リターン値を発生させ、ユーザが選択した他の資産を再生する。
【００５３】
一方、前記図１５及び図１６で図示した過程と同じ方法を用いて‘ＡｕｄｉｏＷｉｔｈＴｅｘｔ’資産をディスプレイすることもできる。
【００５４】
図１７ないし図１９は、本発明の実施による‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産をディスプレイする方法を示す一実施形態のフローチャートである。
【００５５】
ユーザがＭＰＶファイルを再生できるソフトウェアを用いて‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産を選択すれば（Ｓ１５００）、前記ソフトウェアは、前記‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産を構成するイメージデータの情報を抽出する（Ｓ１５０５）。次いで、前記ソフトウェアでは、前記‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産を構成するテキストデータを抽出するためにテキストファイルを参照しているか否かを検査する（Ｓ１５１０）。
【００５６】
もし、テキストファイルを参照している場合、すなわち、＜ＴｅｘｔＲｅｆ＞エレメントが存在すれば、前記＜ＴｅｘｔＲｅｆ＞エレメントが参照しているテキストファイルの形式を検査する（Ｓ１５４０）。この際、前記テキストファイルの形式が正しいテキストファイルならば、前記‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産をディスプレイし始め（Ｓ１５５０）、そうでない場合には、エラーメッセージを生成してユーザに伝達してリターン値を返還するか、該当プログラムが終了する（図示せず）。
【００５７】
もし、前記Ｓ１５１０ステップでテキストファイルを参照するものでなく、ＭＰＶファイルに直接テキストデータが記述された場合、すなわち、＜ＴｅｘｔＢｏｄｙ＞エレメントを含んでいる場合には、前記＜ＴｅｘｔＢｏｄｙ＞エレメントが形式に合うように記述されたか否かを検査する（Ｓ１５１５）。この際、前記＜ＴｅｘｔＢｏｄｙ＞エレメントが形式に合うように記述されたとすれば、少なくとも２以上の＜ＴｅｘｔＣｏｎｔｅｎｔ＞エレメントが存在する場合ディスプレイされるテキストデータを時間的順序によって整列する（Ｓ１５２０）。次いで、＜ＴｅｘｔＬｏｃａｔｉｏｎ＞エレメントの値を抽出してディスプレイされるテキストデータの位置情報を得た後（Ｓ１５２５）、‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産の再生時間を決定し（Ｓ１５３０）、別途の新たなテキストファイルを生成する（Ｓ１５３５）。この際、前記再生時間を決定する方法では、少なくとも１以上のテキストデータの再生時間をいずれも合わせた値にするか、または前記Ｓ１５０５ステップで抽出されたイメージ情報からイメージデータの再生時間値にしうる。
【００５８】
もし、前記Ｓ１５１５ステップで前記＜ＴｅｘｔＢｏｄｙ＞エレメントが形式に合うように記述されていないならば、エラーメッセージを生成してユーザに伝達してリターン値を返還するか、該当プログラムが終了する（Ｓ１５４５）。
【００５９】
一方、前記Ｓ１５３５ステップで別途の新たなテキストファイルを生成することはソフトウェアコンポーネントの再使用性を向上させるためである。すなわち、テキストデータが＜ＴｅｘｔＢｏｄｙ＞エレメントに直接記述されているので、該当するテキストデータを別途のファイルで記録しておくことによって、ファイルを入力パラメータとする関数で使用しうる。
【００６０】
テキストデータを含んでいるファイルを入力として前記‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産をディスプレイし始める（Ｓ１５５０）。
【００６１】
この際、スレッドあるいは子プロセッサを生成して各々イメージデータをディスプレイする機能（Ｓ１５５５ないしＳ１５７０）とテキストデータをディスプレイしつつディスプレイ時間をチェックする機能（Ｓ１５７５ないしＳ１５９０）とを分けて行う。
【００６２】
まず、前記‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産を構成するイメージデータがディスプレイされ始めれば、タイマーが動作し始める（Ｓ１５５５）。この際、前記Ｓ１５３０ステップで決定された‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産の再生時間が終了すれば、時間イベントが発生する（Ｓ１５６０）。次いで、ディスプレイされたイメージデータが削除され、‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産をディスプレイするために使われたメモリを返還した後（Ｓ１５６５）、リターン値を発生させてユーザが選択した他の資産を再生する（Ｓ１５７０）。
【００６３】
一方、前記‘ＶｉｄｅｏＷｉｔｈＴｅｘｔ’資産を構成するイメージデータがディスプレイされ始めれば、他のスレッドまたは子プロセッサによりタイマーが動作し始める（Ｓ１５７５）。この際、前記タイマーは、前記‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産を構成するテキストデータがディスプレイされ始める時点とディスプレイが終了される時点についての情報を有している。前記終了される時点についての情報は、＜ＴｅｘｔＳｔａｒｔ＞エレメント値と＜ＴｅｘｔＤｕｒａｔｉｏｎ＞エレメント値とを加えることによって得られる。テキストデータが＜ＴｅｘｔＤｕｒａｔｉｏｎ＞エレメント値ほどディスプレイされた後（Ｓ１５８０）に終了すれば、時間イベントが発生し（Ｓ１５８２）、前記‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産の再生時間に到達したかを検査する（Ｓ１５８４）。もし、前記‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産の再生時間に到達した場合には、スレッドまたは子プロセッサを終了する（Ｓ１５９０）。もし、前記Ｓ１５８４ステップで、まだ前記‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産の再生時間が到達していない場合には、その次にディスプレイされるテキストデータの存否を検査する（Ｓ１５８６）。もし、ディスプレイされるテキストデータが存在すれば、前記ディスプレイされるテキストデータの時間情報を抽出して前記タイマーに伝達し（Ｓ１５８８）、前記Ｓ１５７５ステップを反復して行う。前記Ｓ１５８６ステップでディスプレイされるデータが存在しないならば、テキストデータはこれ以上ディスプレイされずに、該当スレッドまたは子プロセッサが終了される（Ｓ１５９０）。
【００６４】
一方、ＭＰＶフォーマットにより提供されるマルチメディアデータはＸＭＬ文書の形に記述されて示し得るが、ＸＭＬ文書に適用されるスタイルシートによって前記ＸＭＬ文書は複数のアプリケーション文書で変換しうる。本発明では、ＸＭＬ文書をＨＴＭＬ文書に変換するスタイルシートを適用してブラウザーを通じてユーザがオーディオ及びビデオデータを管理可能にしているが、その他にもＷＭＬ（Ｗｉｒｅｌｅｓｓ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）、ｃＨＴＭＬ（Ｃｏｍｐａｃｔ  ＨＴＭＬ）文書に変換するスタイルシートを適用してＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、セルラーホン、スマートホンのようなモバイル端末機を通じてユーザがＭＰＶフォーマットにより記述されるテキストデータが結合されたマルチメディアデータに対する接近が可能である。
【産業上の利用可能性】
【００６５】
本発明の実施によってオーディオ、イメージ、ビデオデータが各々テキストデータと結合された新たな形態のマルチメディアデータ資産をユーザに提供することによって、ユーザは、ＭＰＶフォーマットで記述されるさらに多様なマルチメディアデータを生成して利用可能にする効果がある。
【００６６】
以上、説明した本発明は、本発明が属する技術分野で当業者によって本発明の技術的思想を外れない範囲内で色々な置換、変形及び変更が可能なので、前述した実施形態及び添付された図面に限定されるものではない。
【図面の簡単な説明】
【００６７】
【図１】ＭＰＶ（ミュージックフォトビデオ）スペック（ｓｐｅｃｉｆｉｃａｔｉｏｎ）で記述している資産の種類を示す例示図である。
【図２】本発明の実施による＜ＴｅｘｔＣｏｎｔｅｎｔ＞エレメントを簡略に記述する例示図である。
【図３】本発明の実施による＜ＴｅｘｔＢｏｄｙ＞エレメントを簡略に記述する例示図である。
【図４】本発明の実施による＜ＴｅｘｔＬｏｃａｔｉｏｎ＞エレメントを簡略に記述する例示図である。
【図５】本発明の実施による＜ＴｅｘｔＬｏｃａｔｉｏｎ＞エレメントを構成する下位エレメント間の位置座標関係を示す例示図である。
【図６】本発明の実施による＜ＡｕｄｉｏＷｉｔｈＴｅｘｔ＞エレメントを簡略に記述する例示図である。
【図７】本発明の実施による＜ＡｕｄｉｏＷｉｔｈＴｅｘｔ＞エレメントのタイプについてのタイプ定義を示す例示図である。
【図８】本発明の実施による＜ＰｈｏｔｏＷｉｔｈＴｅｘｔ＞エレメントを簡略に記述する例示図である。
【図９】本発明の実施による＜ＰｈｏｔｏＷｉｔｈＴｅｘｔ＞エレメントのタイプについてのタイプ定義を示す例示図である。
【図１０】本発明の実施による＜ＶｉｄｅｏＷｉｔｈＴｅｘｔ＞エレメントを簡略に記述する例示図である。
【図１１】本発明の実施による＜ＶｉｄｅｏＷｉｔｈＴｅｘｔ＞エレメントのタイプについてのタイプ定義を示す例示図である。
【図１２】本発明の実施による＜ＡｕｄｉｏＷｉｔｈＴｅｘｔＲｅｆ＞エレメントを簡略に記述する例示図である。
【図１３】本発明の実施による＜ＰｈｏｔｏＷｉｔｈＴｅｘｔＲｅｆ＞エレメントを簡略に記述する例示図である。
【図１４】本発明の実施による＜ＶｉｄｅｏＷｉｔｈＴｅｘｔＲｅｆ＞エレメントを簡略に記述する例示図である。
【図１５】本発明の実施による‘ＶｉｄｅｏＷｉｔｈＴｅｘｔ’資産をディスプレイする方法を示す一実施形態のフローチャートである。
【図１６】本発明の実施による‘ＶｉｄｅｏＷｉｔｈＴｅｘｔ’資産をディスプレイする方法を示す一実施形態のフローチャートである。
【図１７】本発明の実施による‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産をディスプレイする方法を示す一実施形態のフローチャートである。
【図１８】本発明の実施による‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産をディスプレイする方法を示す一実施形態のフローチャートである。
【図１９】本発明の実施による‘ＰｈｏｔｏＷｉｔｈＴｅｘｔ’資産をディスプレイする方法を示す一実施形態のフローチャートである。
【図１】
2007506387.tif 000003
【図２】
2007506387.tif 000004
【図３】
2007506387.tif 000005
【図４】
2007506387.tif 000006
【図５】
2007506387.tif 000007
【図６】
2007506387.tif 000008
【図７】
2007506387.tif 000009
【図８】
2007506387.tif 000010
【図９】
2007506387.tif 000011
【図１０】
2007506387.tif 000012
【図１１】
2007506387.tif 000013
【図１２】
2007506387.tif 000014
【図１３】
2007506387.tif 000015
【図１４】
2007506387.tif 000016
【図１５】
2007506387.tif 000017
【図１６】
2007506387.tif 000018
【図１７】
2007506387.tif 000019
【図１８】
2007506387.tif 000020
【図１９】
2007506387.tif 000021
【国際調査報告】
2007506387.tif 000022