(57)【特許請求の範囲】
【請求項１】
マルチメディア・タイトルを提供するサーバと、提供されたマルチメディア・タイトルを表示する再生端末とを備える映像情報提供システムのリッチテキスト素材の表示方法であって、
前記マルチメディア・タイトルをサーバに登録する時に、リッチテキスト素材を所定の再生端末の出力形式に適合した表示イメージに展開するための展開時間を、前記マルチメディア・タイトルに含まれる少なくとも一つの前記リッチテキスト素材について登録し、
サーバは、前記マルチメディア・タイトルの提供を要求する再生端末の出力形式を取得し、前記再生端末に対して、前記マルチメディア・タイトルに含まれる各リッチテキスト素材の表示時刻を指定するシナリオを提供するとともに、前記リッチテキスト素材のそれぞれを前記再生端末の出力形式に適合する表示イメージに展開する展開時間が登録されている場合には、その展開時間を通知し、登録されていない場合には、前記表示イメージへの展開に必要な展開時間を算出して通知し、
前記再生端末は、サーバに対して、通知された前記展開時間を見込んで、前記シナリオで指定されたリッチテキスト素材の表示時刻よりも早めに各リッチテキスト素材を要求し、
サーバは、要求された前記リッチテキスト素材を再生端末の出力形式に適合する表示イメージに展開した後、それを前記再生端末に送付し、
前記再生端末は、サーバから送られてくる前記リッチテキスト素材を前記シナリオで指定された表示時刻に表示する
ことを特徴とするリッチテキスト素材の表示方法。
【請求項２】
前記リッチテキスト素材を再生端末の出力形式に適合する表示イメージに展開する処理は、前記リッチテキスト素材をオブジェクトに分解し、それぞれのオブジェクトを再生端末の出力形式の描画イメージに展開する処理によって行なわれ、前記表示イメージへの展開に必要な展開時間は、前記オブジェクトを前記描画イメージに展開するための所要展開時間を合計して算出されることを特徴とする請求項１に記載のリッチテキスト素材の表示方法。
【請求項３】
マルチメディア・タイトルを提供するサーバと、提供されたマルチメディア・タイトルを表示する再生端末とを備える映像情報提供システムにおいて、
サーバが、
マルチメディア・タイトルに含まれる各リッチテキスト素材と前記リッチテキスト素材の表示時刻を指定する前記タイトルのシナリオとを蓄積する蓄積手段と、
前記リッチテキスト素材を再生端末の出力形式に適合する表示イメージに展開するとともに、その展開時間を算出する展開手段と、
前記展開時間を算出するための参照データが格納された展開時間ライブラリと、
再生端末からマルチメディア・タイトルの提供が要求されたときに、前記タイトルのシナリオと、前記展開手段で算出された前記タイトルに含まれるリッチテキスト素材の展開時間の情報とを再生端末に渡し、再生端末から前記リッチテキスト素材の展開が要求されたときに、前記展開手段に、該当するリッチテキスト素材を前記表示イメージに展開させて、再生端末に渡すサーバ制御手段と
を具備し、
再生端末が、
前記シナリオで指定されたリッチテキスト素材の表示時刻よりも前記リッチテキスト素材の展開時間の分だけ早めに前記リッチテキスト素材の展開要求を出力し、前記シナリオで指定された表示時刻に前記リッチテキスト素材の表示指示を出力するスケジューラと、
前記スケジューラからリッチテキスト素材の表示指示が出されたときに、サーバから送られた前記リッチテキスト素材の表示イメージを表示する表示手段と、
マルチメディア・タイトルの提供を要求するときに、タイトルＩＤと再生端末の出力形式とをサーバに送り、サーバから渡されたシナリオとリッチテキスト素材の展開時間の情報とを前記スケジューラに出力し、リッチテキスト素材の前記表示イメージを前記表示手段に出力するタイトル制御手段と
を具備することを特徴とする映像情報提供システム。
【請求項４】
前記展開手段が、前記リッチテキスト素材を各オブジェクトに分解して、それぞれのオブジェクトを再生端末の出力形式の描画イメージに展開することにより、前記リッチテキスト素材の前記表示イメージへの展開を実施し、また、前記オブジェクトを前記描画イメージに展開する処理を、再生端末の出力形式に依存する処理と依存しない処理とに分け、前記出力形式に依存する処理を実行する描画オペレーションをツリー状に構造化して描画オペレーション木を構成し、各描画オペレーションで描画イメージを生成する処理の所要展開時間を合計して前記リッチテキスト素材の展開時間の算出を実施することを特徴とする請求項３に記載の映像情報提供システム。
【請求項５】
前記展開時間ライブラリが、再生端末の各出力形式に対応する前記描画オペレーションの所要展開時間のデータを保持することを特徴とする請求項４に記載の映像情報提供システム。
【請求項６】
前記展開手段が、オブジェクトに分解できない前記リッチテキスト素材を、素材デコーダを用いて、素材単位で再生端末の出力形式の表示イメージに展開し、その展開時間を前記リッチテキスト素材の展開時間として算出することを特徴とする請求項３に記載の映像情報提供システム。
【請求項７】
前記展開時間ライブラリが、再生端末の各出力形式に対応する前記リッチテキスト素材単位の展開時間のデータを保持することを特徴とする請求項６に記載の映像情報提供システム。
【請求項８】
前記サーバが、前記展開手段で生成された前記描画オペレーション木または描画イメージを格納する格納手段と、前記格納手段に格納するデータを優先度に従って選択する格納制御手段とを具備することを特徴とする請求項４に記載の映像情報提供システム。
【請求項９】
前記格納制御手段が、使用頻度または前記描画オペレーション木の上での重要度に基づいて、格納するデータを選択することを特徴とする請求項８に記載の映像情報提供システム。
【請求項１０】
前記再生端末が、前記展開手段と展開時間ライブラリとを具備し、前記リッチテキスト素材を再生端末の出力形式に適合する表示イメージに展開する処理の一部を分担することを特徴とする請求項３に記載の映像情報提供システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、リッチテキストを含むマルチメディア・タイトル（作品）を端末装置に提供する映像情報提供システムと、このシステムでのリッチテキストの表示方法に関し、特に、シナリオで指示された時刻にリッチテキストを正確に表示できるようにしたものである。
【０００２】
【従来の技術】
マルチメディア・タイトルは、動画や静止画、リッチテキスト、音声などを素材として作品（タイトル）が作られており、それら素材の表示時刻がシナリオで規定される。
【０００３】
リッチテキストは、多数の色や各種フォントで表された文字、図形、罫線などを含む文書を言い、「表現力が豊かなテキスト」の意味で名付けられている。各種のサイズの文字が含まれるワードプロセッサの文章などは、リッチテキストに分類される。これに対して、均一フォントの文字だけから成るテキストはプレーンテキストと呼ばれ、リッチテキストと区別される。
【０００４】
マルチメディアデータを指定された時刻に再生装置に出力するための装置は、特開平６−２１４６８９号公報に提案されている。
【０００５】
この装置は、図１４に示すように、計算機システム上のアプリケーションプログラム１と、マルチメディアデータを再生装置に出力するデータ出力装置２とを備えており、データ出力装置２は、マルチメディア・データを一時蓄積するデータバッファ３と、時刻設定用のレジスタ６と、レジスタ６の時刻と内部クロック４の時刻とを比較する比較器５と、比較器５の検出結果に基づいてデータバッファ３のデータを出力する電子的なバルブ７とを具備している。
【０００６】
この装置のアプリケーションプログラム１は、データの再生時刻をレジスタ６に設定した後、データをデータバッファ３に送る。バルブ７が閉じている間は、データがデータバッファ３に蓄積されても再生装置には出力されない。
【０００７】
比較器５は、レジスタ６に設定された時刻と内部クロック４の時刻信号とを常に比較し、内部クロックとレジスタ６の値が一致したとき、バルブ７を開く。この時点で、データバッファ３中のデータは再生装置に送られる。
【０００８】
こうして、シナリオで指定された時刻にマルチメディアデータを、データ出力装置２から再生装置に出力することが可能となる。
【０００９】
【発明が解決しようとする課題】
本発明者等を含むグループでは、サーバに蓄積したマルチメディア・タイトルを、各種の出力形式を有する再生端末に提供する映像情報提供システムを開発した。このシステムでは、再生端末から希望するタイトルをサーバに要求することによって、その作品を再生端末の表示画面で見ることができる。
【００１０】
このとき、タイトルを要求した再生端末には、そのタイトルのシナリオがサーバから送られ、再生を開始した再生端末は、シナリオの指定時刻にマルチメディア素材が表示できるように、表示時刻に合わせて、リッチテキスト素材などの送付をサーバに対して要求する。
【００１１】
一方、サーバは、各種の出力形式（解像度、表示色、画面サイズなど）を持つ再生端末でタイトルの表示ができるように、リッチテキスト素材などを、再生端末の画面で表示できる表示イメージに変換して、イメージデータとして再生端末に送信する。
【００１２】
このデータ形式を表示イメージに変換する処理時間（展開時間）は、その処理を実行する端末リソース（ＣＰＵ、メモリ、展開アクセラレータなど）の性能によって大きく異なる。このシステムでは、この展開処理を、高い処理機能を持つサーバ側で行なうことにより、再生端末の負担を軽減し、また、展開処理の時間を短縮している。
【００１３】
ただ、サーバ側が、マルチメディア素材の全てを、各出力形式の再生端末の表示イメージに予め展開して保持し続けることは、膨大な容量のメモリが必要になり、効率的でない。そこで、このシステムでは、再生を開始した再生端末が、シナリオの指定時刻に合わせて、サーバ側にリッチテキスト素材などの送付を要求し、これを受けたサーバ側が、その素材を再生端末で表示できる表示イメージに展開処理して、再生端末の下に送る、という方法を採ることにしている。
【００１４】
しかし、リッチテキスト素材を表示イメージにデータ変換するには、ある程度の展開時間が掛かり、従って、この展開時間を考慮して再生端末からサーバ側にリッチテキスト素材の送付を要求しなければ、シナリオの指定時刻通りにリッチテキスト素材を再生端末の画面に表示することができないことになる。
【００１５】
そのため、こうした事情の下で、如何にして、シナリオの時刻通りにリッチテキスト素材を再生端末に表示し、また、その展開処理時間を如何にして短縮するかということが重要な課題となる。
【００１６】
本発明は、こうした課題を解決するものであり、リッチテキストを含むマルチメディア・タイトルを、シナリオで指示された時刻に正確に表示することができ、また、表示イメージへの展開処理を短時間で行なうことができる表示方法を提供し、また、その表示方法を実施する映像情報提供システムを提供することを目的としている。
【００１７】
【課題を解決するための手段】
そこで、本発明では、マルチメディア・タイトルを提供するサーバと、提供されたマルチメディア・タイトルを表示する再生端末とを備える映像情報提供システムのリッチテキスト素材の表示方法において、サーバから再生端末に、そのタイトルに含まれる各リッチテキスト素材の表示時刻を指定するシナリオと、そのリッチテキスト素材を再生端末の出力形式の表示イメージに展開するために必要な展開時間の情報とを渡し、再生端末が、この展開時間を見込んで、シナリオで指定されたリッチテキスト素材の表示時刻よりも早めに各リッチテキスト素材をサーバに要求し、サーバが、要求されたリッチテキスト素材を表示イメージに展開して再生端末に送付するようにしている。
【００１８】
また、リッチテキスト素材を表示イメージに展開する場合に、リッチテキスト素材をオブジェクトに分解し、それぞれのオブジェクトを再生端末の出力形式の描画イメージに展開している。
【００１９】
そのため、再生端末では、シナリオで指定された時刻にリッチテキスト素材を表示することができる。また、リッチテキスト素材を表示イメージに展開する処理やその展開時間の算出処理は、描画オペレーションの単位に分けて処理することにより効率化できる。
【００２０】
また、本発明の映像情報提供システムでは、サーバに、マルチメディア・タイトルに含まれる各リッチテキスト素材とリッチテキスト素材の表示時刻を指定するタイトルのシナリオとを蓄積する蓄積手段と、リッチテキスト素材を再生端末の出力形式に適合する表示イメージに展開するとともに、その展開時間を算出する展開手段と、展開時間の算出に利用する参照データが格納された展開時間ライブラリと、サーバ制御手段とを設け、サーバ制御手段に、再生端末からマルチメディア・タイトルの提供が要求されたときに、そのタイトルのシナリオと、展開手段で算出されたそのタイトルに含まれるリッチテキスト素材の展開時間の情報とを再生端末に渡し、再生端末からリッチテキスト素材の展開が要求されたときに、展開手段に該当するリッチテキスト素材を表示イメージに展開させて、再生端末に渡す動作を行なわせている。
【００２１】
また、再生端末に、シナリオが指定するリッチテキスト素材の表示時刻よりも展開時間分だけ早めにリッチテキスト素材の展開要求を出力し、シナリオの指定時刻にリッチテキスト素材の表示指示を出力するスケジューラと、スケジューラの表示指示に従ってリッチテキスト素材の表示イメージを表示する表示手段と、タイトル制御手段とを設け、タイトル制御手段に、マルチメディア・タイトルの要求時にタイトルＩＤと再生端末の出力形式とをサーバに送り、サーバから渡されたシナリオと展開時間情報とをスケジューラに出力し、リッチテキスト素材の表示イメージを表示手段に出力する動作を行なわせている。
【００２２】
このシステムでは、再生端末側でシナリオ通りにリッチテキスト素材を表示することができる。また、サーバ及び再生端末のメモリ容量を大規模化することなく、各種のマルチメディア・タイトルを、種々の出力形式を有する再生端末に提供するシステムを構築することができる。
【００２３】
【発明の実施の形態】
本発明の請求項１に記載の発明は、マルチメディア・タイトルを提供するサーバと、提供されたマルチメディア・タイトルを表示する再生端末とを備える映像情報提供システムのリッチテキスト素材の表示方法において、前記マルチメディア・タイトルをサーバに登録する時に、リッチテキスト素材を所定の再生端末の出力形式に適合した表示イメージに展開するための展開時間を、前記マルチメディア・タイトルに含まれる少なくとも一つの前記リッチテキスト素材について登録し、サーバは、前記マルチメディア・タイトルの提供を要求する再生端末の出力形式を取得し、前記再生端末に対して、そのマルチメディア・タイトルに含まれる各リッチテキスト素材の表示時刻を指定するシナリオを提供するとともに、リッチテキスト素材のそれぞれを前記再生端末の出力形式に適合する表示イメージに展開する展開時間が登録されている場合には、その展開時間を通知し、登録されていない場合には、前記表示イメージへの展開に必要な展開時間を算出して通知し、再生端末は、サーバに対して、通知された前記展開時間を見込んで、シナリオで指定されたリッチテキスト素材の表示時刻よりも早めに各リッチテキスト素材を要求し、サーバは、要求されたリッチテキスト素材を再生端末の出力形式に適合する表示イメージに展開した後、それを再生端末に送付し、再生端末は、サーバから送られてくるリッチテキスト素材をシナリオで指定された表示時刻に表示するようにしたものであり、マルチメディア・タイトルの提供を受ける再生端末側で、シナリオ通りにリッチテキスト素材を表示することができる。
【００２４】
請求項２に記載の発明は、リッチテキスト素材を再生端末の出力形式に適合する表示イメージに展開する処理は、リッチテキスト素材をオブジェクトに分解し、それぞれのオブジェクトを再生端末の出力形式の描画イメージに展開する処理によって行ない、表示イメージへの展開に必要な展開時間は、オブジェクトを描画イメージに展開するための所要展開時間を合計して算出するようにしたものであり、このようにリッチテキスト素材を分割して処理することにより、展開処理や展開時間の算出を効率化することができる。
【００３７】
請求項３に記載の発明は、マルチメディア・タイトルを提供するサーバと、提供されたマルチメディア・タイトルを表示する再生端末とを備える映像情報提供システムにおいて、サーバに、マルチメディア・タイトルに含まれる各リッチテキスト素材とリッチテキスト素材の表示時刻を指定するタイトルのシナリオとを蓄積する蓄積手段と、リッチテキスト素材を再生端末の出力形式に適合する表示イメージに展開するとともに、その展開時間を算出する展開手段と、展開時間を算出するための参照データが格納された展開時間ライブラリと、再生端末からマルチメディア・タイトルの提供が要求されたときに、そのタイトルのシナリオと、展開手段で算出されたそのタイトルに含まれるリッチテキスト素材の展開時間の情報とを再生端末に渡し、再生端末からリッチテキスト素材の展開が要求されたときに、展開手段に該当するリッチテキスト素材を表示イメージに展開させて、再生端末に渡すサーバ制御手段とを設け、再生端末に、シナリオで指定されたリッチテキスト素材の表示時刻よりもリッチテキスト素材の展開時間の分だけ早めにそのリッチテキスト素材の展開要求を出力し、シナリオで指定された表示時刻にリッチテキスト素材の表示指示を出力するスケジューラと、スケジューラからリッチテキスト素材の表示指示が出されたときに、サーバから送られたリッチテキスト素材の表示イメージを表示する表示手段と、マルチメディア・タイトルの提供を要求するときに、タイトルＩＤと再生端末の出力形式とをサーバに送り、サーバから渡されたシナリオとリッチテキスト素材の展開時間の情報とをスケジューラに出力し、リッチテキスト素材の表示イメージを表示手段に出力するタイトル制御手段とを設けたものであり、再生端末側で、シナリオ通りにリッチテキスト素材を表示することができる。
【００３８】
請求項４に記載の発明は、展開手段が、リッチテキスト素材を各オブジェクトに分解して、それぞれのオブジェクトを再生端末の出力形式の描画イメージに展開することにより、リッチテキスト素材の表示イメージへの展開を実施し、また、このオブジェクトを描画イメージに展開する処理を、再生端末の出力形式に依存する処理と依存しない処理とに分け、出力形式に依存する処理を実行する描画オペレーションをツリー状に構造化して描画オペレーション木を構成し、各描画オペレーションで描画イメージを生成する処理の所要展開時間を合計してリッチテキスト素材の展開時間の算出を実施するようにしたものであり、リッチテキスト素材を各オブジェクトに分解して処理することにより、展開処理及び展開時間算出を効率化することができる。
【００３９】
請求項５に記載の発明は、展開時間ライブラリが、再生端末の各出力形式に対応する描画オペレーションの所要展開時間のデータを保持するようにしたものであり、この展開時間ライブラリのデータを利用することにより、短時間で展開時間を算出することができる。
【００４０】
請求項６に記載の発明は、展開手段が、オブジェクトに分解できないリッチテキスト素材を、素材デコーダを用いて、素材単位で再生端末の出力形式の表示イメージに展開し、その展開時間をリッチテキスト素材の展開時間として算出するようにしたものであり、オブジェクトに分解できないリッチテキスト素材に対しても、表示イメージへの変換が可能となる。
【００４１】
請求項７に記載の発明は、展開時間ライブラリが、再生端末の各出力形式に対応するリッチテキスト素材単位の展開時間のデータを保持するようにしたものであり、このデータは、オブジェクトに分解できないリッチテキスト素材の展開時間の算出に利用される。
【００４２】
請求項８に記載の発明は、サーバに、展開手段で生成された描画オペレーション木または描画イメージを格納する格納手段と、格納手段に格納するデータを優先度に従って選択する格納制御手段とを設けたものであり、格納手段に格納されたデータを利用することによって、展開処理や展開時間算出を効率化することができる。
【００４３】
請求項９に記載の発明は、格納制御手段が、使用頻度または描画オペレーション木の上での重要度に基づいて、格納するデータを選択するようにしたものであり、格納手段の規模の拡大を抑えながら、展開処理や展開時間算出の効率化を求めることができる。
【００４４】
請求項１０に記載の発明は、再生端末に、展開手段と展開時間ライブラリとを設け、リッチテキスト素材を再生端末の出力形式に適合する表示イメージに展開する処理の一部を分担させるようにしたものであり、リッチテキスト素材の表示イメージへの変換処理を再生端末とサーバとで分担することにより、処理時間を短縮することができる。
【００４５】
以下、本発明の実施の形態について、図面を用いて説明する。
（第１の実施形態）
第１の実施形態の映像情報提供システムは、図１に示すように、マルチメディア・タイトルを提供するサーバ１０と、リッチテキスト素材を用いたマルチメディア・タイトルを製作する製作端末２０と、サーバ１０から提供されたマルチメディア・タイトルを再生する再生端末３０とから成り、サーバ１０は、サーバ１０の動作を制御し、マルチメディア・タイトルを管理するＭＭサーバ１１と、リッチテキストを再生端末３０で表示できる表示イメージに展開処理するとともに、その展開時間を算出する展開部１２と、展開時間の算出に利用されるデータを保持する展開時間ライブラリ１３と、登録されたマルチメディア・タイトルのシナリオやリッチテキスト素材が蓄積される蓄積装置１４とを具備し、また、製作端末２０は、製作したマルチメディア・タイトルの登録処理が行なわれる登録部２１を具備し、また、再生端末３０は、サーバ１０に対してマルチメディア・タイトルの提供を要求し、再生時の再生端末３０の動作を制御するタイトル制御部３１と、再生するマルチメディア・タイトルのシナリオに基づいてリッチテキスト素材の展開要求や表示指示を出力するスケジューラ３２と、マルチメディア・タイトルを表示する素材再生表示部３３とを具備している。
【００４７】
このシステムでは、製作端末２０により、リッチテキスト素材を用いたマルチメディア・タイトルが製作され、製作されたマルチメディア・タイトルのシナリオと、そこで使用されるリッチテキスト素材とが、登録部２１を通じてサーバ１０に登録される。
【００４８】
図２は、この登録時の手順を示している。
【００４９】
ステップ１：登録部２１は、登録するリッチテキスト素材及びシナリオ、並びに製作端末２０の出力形式をＭＭサーバ１１に出力し、
ステップ２：ＭＭサーバ１１は、その内のリッチテキスト素材とシナリオとを蓄積装置１４に格納する。図３は、蓄積装置１４でのデータ格納形式を示しており、リッチテキスト素材は、図３（ａ）のように、各素材に付された素材ＩＤと、その素材の復号化方式を示す素材デコーダＩＤとともに格納され、また、シナリオは、図３（ｂ）のように、そのシナリオに付されたシナリオＩＤとともに格納される。
【００５０】
ステップ３：ＭＭサーバ１１は、また、登録部２１から出力されたリッチテキスト素材と製作端末２０の出力形式とを展開部１２に渡す。
【００５１】
ステップ４：展開部１２は、そのリッチテキスト素材を複数の構成単位に分解し、各構成単位を描画イメージに変換するそれぞれの描画オペレーションの系統図を作成する。この系統図を「描画オペレーション木」と言う。
【００５２】
図４及び図５は、リッチテキスト素材から描画オペレーション木を作成する手順を示している。
【００５３】
いま、リッチテキスト素材の１つが、図４（ａ）のように構成されているとする。このリッチテキスト素材のオブジェクトを分解すると、図４（ｂ）に示すように、
（１）フォントＡで記述された文字１
（２）フォントＢで記述された文字２
（３）静止画より成るピクチャＡ
（４）ピクチャＡの上に表示された静止画より成るピクチャＢ
（５）ピクチャＡの上に、下が透けて見えるように（透明状態で）重ね書きされた、フォントＣで記述された文字３
（６）フォントＤで記述された文字４
（７）ピクチャＡ及びピクチャＢの上に一部重なるように描かれた線画
（８）フォントＡで記述された文字５
（９）ピクチャＡ、ピクチャＢ、文字３及び文字５の上に一部重なるように、透明状態で、フォントＢで記述された文字６
の各オブジェクトに分けられる。
【００５４】
次に、各オブジェクトの依存関係、即ち、画かれる文字やピクチャなどの重なり状態を抽出する。図４（ｃ）は、この依存関係を表しており、文字１、文字２及び文字４は、重なっていないから、オブジェクト（１）（２）及び（６）は依存関係が無い。また、ピクチャＡ及び文字５についても、これらの静止画や文字が描かれる段階では、重なりが生じていないから、オブジェクト（３）及び（８）も依存関係が無いものと見る。
【００５５】
また、ピクチャＢを描く段階で、ピクチャＢが重なるのはピクチャＡだけであるから、オブジェクト（４）は、オブジェクト（３）に対してのみ依存関係を持つ。同様に、オブジェクト（５）はオブジェクト（３）に依存関係を持ち、オブジェクト（７）は、オブジェクト（３）と（４）とに依存関係を持つ。また、文字６は、ピクチャＡ、ピクチャＢ、文字３及び文字５に重なるから、オブジェクト（９）は、オブジェクト（３）、（４）、（５）及び（８）に対して依存関係を持つ。
【００５６】
次に、この依存関係を、図４（ｄ）に示すように、系統図で表す。依存関係を持たないオブジェクト（１）、（２）、（３）、（６）及び（８）は、それぞれ独立に配置し、オブジェクト（３）に依存関係を持つオブジェクト（４）は、オブジェクト（３）の下に配置し、同様に、オブジェクト（３）に依存関係を持つオブジェクト（５）は、オブジェクト（３）の下にオブジェクト（４）と並列に配置し、オブジェクト（３）及びオブジェクト（４）に依存関係を持つオブジェクト（７）は、オブジェクト（３）及びオブジェクト（４）の列の下に配置し、また、オブジェクト（９）は、オブジェクト（４）、（５）及び（８）との間を線で結んで配置する。
【００５７】
次に、図５（ｅ）に示すように、この系統図で表した各オブジェクトを描画イメージに変換するためのオペレーションに展開する。例えば、オブジェクト（１）は、フォントＡをロードし、それを用いて文字１を画け、というコマンドに従って実行される動作であり、また、オブジェクト（３）は、ファイルからピクチャＡを読み込んで、ストレッチ１の状態まで拡大せよ、というコマンドに従って実行される動作である。また、オブジェクト（９）は、フォントＢをロードし、それを用いて文字６を透明状態で重ね書きしろ、というコマンドに従って実行される動作である。ここでは、透明状態での重ね書きを指令するコマンドをＡＮＤで表している。
【００５８】
次に、展開した各オペレーションの内で出力形式に依存する動作と出力形式に依存しない動作とを区分し、図５（ｆ）に示すように、各オペレーションの出力形式に依存する動作だけを系統図の状態で残し、各オペレーションの出力形式に依存しない動作は、１つに纏めて、系統図の上方に配置する。この出力形式に依存しない動作は、展開部でフォントをロードしたり、ピクチャをファイルから読み込んだりする、前処理の動作である。また、出力形式に依存する動作は、文字描画処理、ピクチャの拡大／縮小処理あるいは線画描画処理などの描画オペレーションを実行する演算器の動作と見ることができる。
【００５９】
こうして出来上がった図５（ｆ）が「描画オペレーション木」である。この描画オペレーション木の内で、出力形式に依存しない動作の所要時間は、出力形式に依存する動作（描画オペレーション）の展開時間に比べて、無視できる程、短い。
【００６０】
ステップ５：こうして描画オペレーション木１５を作成した展開部１２は、展開時間ライブラリ１３に格納されている描画オペレーションのリストを参照し、描画オペレーション木を構成する各描画オペレーションの製作端末２０の出力形式への展開処理時間が、既に展開時間ライブラリ１３に格納されているかどうかをチェックする。
【００６１】
ステップ６：各描画オペレーションの中で、該当する展開時間が格納されていないものがあれば、展開部１２は、その描画オペレーションを実行して、製作端末２０の出力形式に適合する描画イメージへの展開を行ない、その展開に要した時間を実測する。
【００６２】
ステップ７：実測して求めた展開時間と出力形式とが展開時間ライブラリ１３に送られて格納される。
【００６３】
なお、ステップ６において、描画オペレーションの展開時間が既に格納されている場合は、何もしない。
【００６４】
図６は、展開時間ライブラリ１３のデータ構造を示している。展開時間ライブラリ１３には、それぞれの出力形式に対応する各描画オペレーションごとの展開時間が記述された展開時間データ欄５３と、展開時間データ欄５３に記述された描画オペレーションを表す描画オペレーションリスト５１とが格納されている。また、展開時間データ欄５３には、さらに、リッチテキスト素材がオブジェクトに分解できないために描画オペレーション木が作成できないものに対して、素材のデコーダを用いてリッチテキスト素材単位で表示イメージへの展開処理を実施したときの出力形式ごとの展開時間が記述されており、また、展開時間ライブラリ１３には、この素材デコーダと素材デコーダＩＤとの関係を表す素材デコーダリスト５２が併せて格納されている。
【００６５】
こうして、リッチテキスト素材とシナリオとが蓄積装置１４に蓄積され、製作端末２０の出力形式への展開時間が展開時間ライブラリ１３に格納されて、マルチメディア・タイトルの登録が終了する。登録されたマルチメディア・タイトルは、再生端末３０への提供が可能となる。
【００６６】
図７は、この再生時の手順を示している。
【００６７】
ステップ１１：再生端末３０のタイトル制御部３１は、所望のマルチメディア・タイトルのタイトルＩＤと再生端末３０の出力形式とをサーバ１０に出力する。
【００６８】
ステップ１２：サーバ１０のＭＭサーバ１１は、このタイトルＩＤのシナリオを蓄積装置１４から取り出し、また、シナリオに記述されているリッチテキスト素材を蓄積装置１４から取り出す。
【００６９】
ステップ１３：ＭＭサーバ１１は、そのリッチテキスト素材と再生端末３０の出力形式とを展開部１２に渡して、展開時間の算出を要求する。
【００７０】
ステップ１４：展開部１２は、それぞれのリッチテキスト素材に対して描画オペレーション木を作成し、
ステップ１５：この描画オペレーション木の構成要素である各描画オペレーションの展開時間を合計して、該当するリッチテキスト素材の展開時間を算出する。いま、展開部１２が、あるリッチテキスト素材から図５（ｆ）に示す描画オペレーション木を作成したとする。展開部１２は、展開時間ライブラリ１３の描画オペレーションリスト５１を参照して、「文字１」「文字２」「ストレッチ１」‥などの各描画オペレーションＩＤが載っているか否かを調べ、載っている場合には、展開時間データ欄５３から該当する描画オペレーションＩＤの欄を探して、再生端末３０の出力形式に対応する各描画オペレーションの展開時間を求める。
【００７１】
また、描画オペレーション木を構成する描画オペレーションの中で、展開時間データ欄５３に展開時間が記述されていないものが在る場合には、展開部１２は、登録時と同様に、その描画オペレーションを実行して、再生端末３０の出力形式に適合する描画イメージへの展開処理を行ない、その展開処理に要した時間を実測する。
【００７２】
ステップ１６：実測した展開時間は、出力形式とともに展開時間ライブラリ１３に送られて、展開時間データ欄５３の該当箇所に記述され、また、必要に応じて、描画オペレーションリスト５１が修正される。
【００７３】
こうして、展開部１２は、描画オペレーション木を構成する各描画オペレーションの展開時間を求めると、それらを合計して、該当するリッチテキスト素材の表示イメージへの展開時間を算出する。
【００７４】
また、展開部１２は、ステップ１４において、リッチテキスト素材の内部構造が分からないために、オブジェクトの分解ができず、描画オペレーション木が作成できない（自前でデコーダを形成できない）場合には、展開時間データ欄５３に、そのリッチテキスト素材の素材ＩＤが載っているか否かを調べ、載っている場合には、展開時間データ欄５３のその欄を探して、再生端末３０の出力形式に対応する素材単位の展開時間を求める。
【００７５】
また、そのリッチテキスト素材の展開時間が展開時間データ欄５３に記述されていない場合には、展開部１２は、素材デコーダリスト５２から、その素材のデコーダを調べ、素材デコーダを用いてリッチテキスト素材を再生端末３０の出力形式に適合する表示イメージに変換する処理を行ない、その処理に要した素材単位の展開時間を実測する。
【００７６】
実測した展開時間は、出力形式とともに展開時間ライブラリ１３に送られ、展開時間データ欄５３に記述される。
【００７７】
ステップ１７：こうして展開部１２は、各リッチテキスト素材の展開時間を算出すると、それをＭＭサーバ１１に伝え、
ステップ１８：ＭＭサーバ１１は、シナリオと、各リッチテキスト素材の展開時間とを再生端末３０のタイトル制御部３１に出力する。
【００７８】
ステップ１９：タイトル制御部３１は、それをスケジューラ３２に渡す。
【００７９】
こうして、シナリオと各リッチテキスト素材の展開時間とを入手したスケジューラ３２は、図８に示すように、シナリオが指示する各リッチテキスト素材の表示時刻に、その表示イメージが表示できるように、タイミングを計って展開要求と表示指示とを出力する。まず、
ステップ２０：スケジューラ３２は、図８（ａ）に示すように、リッチテキスト素材の素材ＩＤを指定して、各リッチテキスト素材の展開要求を、シナリオが指定している表示時刻より、そのリッチテキスト素材の展開時間分だけ早い時刻に発行する。
【００８０】
ステップ２１：この展開要求は、タイトル制御部３１を通じてサーバ１０のＭＭサーバ１１に送られ、
ステップ２２：ＭＭサーバ１１は、この展開要求を展開部１２に渡し、
ステップ２３：展開部１２は、展開要求されたリッチテキスト素材の展開処理を実行して再生端末３０での表示イメージを生成する。このとき、展開時間算出時の描画オペレーション単位または素材単位で描画イメージへの変換を行ない、描画オペレーション単位の場合は、変換結果を組合わせて表示イメージを生成する。
【００８１】
ステップ２４：生成された表示イメージは、ＭＭサーバ１１を通じて、
ステップ２５：再生端末３０のタイトル制御部３１に送られる。
【００８２】
ステップ２６：スケジューラ３２は、シナリオによって指定された各リッチテキスト素材の表示時刻になると、表示指示を出し、
ステップ２７：タイトル制御部３１は、表示指示されたリッチテキスト素材の表示イメージを素材再生表示部３３に送り、この表示イメージが素材再生表示部３３に表示される。
【００８３】
このように、このシステムでは、再生端末３０から、サーバ１０でのリッチテキスト素材の展開時間を見込んで、リッチテキスト素材の要求が出される。そのため、サーバ１０で展開処理されたリッチテキスト素材の表示イメージは、その表示時刻に間に合うように、再生端末３０の下に届けられ、再生端末３０では、シナリオ通りにリッチテキスト素材を表示することができる。
【００８４】
（第２の実施形態）
第２の実施形態のシステムは、展開部での処理結果の一部を保持することにより、展開時間や展開時間の算出時間を短縮することができる。
【００８５】
このシステムのサーバ１０は、図９に示すように、展開部１２で作成された描画オペレーション木や展開部１２での展開処理結果を格納するキャッシュ１６と、キャッシュ１６に格納するデータを選択するキャッシュ制御部１５とを備えている。その他の構成は第１の実施形態（図１）と変わりがない。
【００８６】
キャッシュ制御部１５は、展開時間ライブラリ１３における描画オペレーション、素材デコーダまたは出力形式の使用頻度、あるいは「描画オペレーション木」上での重要度をキャッシュ・パラメータとして、キャッシュ１６に格納されるデータを選択する。
【００８７】
「描画オペレーション木」上での重要度は、他の描画オペレーションからの依存度が高いものを重要度が高い描画オペレーションと見る。例えば、図５（ｆ）の例では、ストレッチ１の描画オペレーション、あるいはストレッチ１、ストレッチ２及び文字３より成る描画オペレーション・ブロック（複数の描画オペレーションの組）の重要度は高いと見る。
【００８８】
キャッシュ１６には、展開部１２で登録時に作成された（ステップ４）描画オペレーション木や、登録時または再生時に描画オペレーションを実行して（ステップ６、ステップ１５）生成された描画イメージの中から、キャッシュ制御部１５により選択されたものが格納される。
【００８９】
キャッシュ１６に、該当する描画オペレーション木が格納されている場合には、再生時の描画オペレーション木の作成（ステップ１４）に伴う時間が実質的に０となり、展開時間の算出に要する時間が短縮される。つまり、描画オペレーション木は、一つの作品について一度作成してキャッシュ１６に格納しておけば、再生時に改めて作成する必要がない。
【００９０】
また、描画オペレーションを実行したときの描画イメージがキャッシュ１６に格納されているときは、再生時の展開時間を算出する場合に（ステップ１５）、該当する描画オペレーションの展開時間を０としてリッチテキスト素材の展開時間を算出する。
【００９１】
そして、再生端末３０から展開要求が発せられた場合には、展開部１２は、展開処理（ステップ２３）に際して、その描画オペレーションの展開処理は行なわずに、キャッシュ１６に格納されている描画イメージを取り出して使用する。
【００９２】
その結果、リッチテキスト素材の展開時間は短縮される。また、それに伴い、サーバの展開リソースを他の処理に開放することが可能になる。
【００９３】
また、優先度の高いリッチテキスト素材については、素材全体をキャッシュ１６に格納することもできる。その場合のリッチテキスト素材の展開時間は、０となる。
【００９４】
このように、このシステムでは、優先度の高いデータを選択してキャッシュに格納しているため、メモリ容量の増加を低く抑えながら、表示イメージへの展開時間を効果的に削減することができる。
【００９５】
（第３の実施形態）
第３の実施形態のシステムは、複数のリッチテキスト素材を同時に表示イメージに変換する場合に、効率的な処理が可能である。
【００９６】
マルチメディア・タイトルでは、同時に複数のリッチテキスト素材を表示する場合があり、こうしたとき、再生端末３０からは複数のリッチテキスト素材についての展開要求が出される。
【００９７】
これを受けて、サーバ１０の展開部１２は、それぞれのリッチテキスト素材の描画オペレーション木を作成し、それらの木に繋がる描画オペレーションの内で、共通する描画オペレーションは１つに絞る形でそれらの木を合成し、１つの描画オペレーション木を作成する。この合成した描画オペレーション木に繋がる各描画オペレーションを実行すれば、それぞれのリッチテキスト素材の表示イメージに必要な描画イメージは全て得られることになる。
【００９８】
従って、共通する描画オペレーションについては、１回だけそれを実行し、その結果を利用し合うことで、展開処理を効率化することができる。
【００９９】
図１０、図１１は、このときの展開部１２の動作を具体例で示している。
【０１００】
図１０（ａ）は、リッチテキスト素材Ａの描画オペレーション木を示し、図１０（ｃ）は、素材Ａの描画オペレーション木を構成する各描画オペレーションの依存関係を示している。また、図１０（ｂ）は、リッチテキスト素材Ｂの描画オペレーション木を示し、図１０（ｄ）は、素材Ｂの描画オペレーション木を構成する各描画オペレーションの依存関係を示している。
【０１０１】
ここで、図１０（ｄ）の描画オペレーションの中で、図１０（ｃ）に示す素材Ａの描画オペレーションと共通するものについては、同じ符号を付け（（２）→（１）、（５）→（７））、また、描画オペレーション同士は相違するのに、同じ符号が付いているものは、符号を付け換える（（１）→（１’））と、図１０（ｅ）のようになる。
【０１０２】
次に、図１０（ｃ）及び図１０（ｅ）の描画オペレーションを、共通するものを１つに纏めて合成すると、図１１（ａ）に示す描画オペレーションの依存関係が得られる。この図１１（ａ）の描画オペレーションの依存関係を基に描画オペレーション木を作成すると図１１（ｂ）のようになる。即ち、図１１（ｂ）は、素材Ａの描画オペレーション木と素材Ｂの描画オペレーション木とを最適状態で合成した描画オペレーション木であり、図１１（ｂ）の描画オペレーション木の構成要素である各描画オペレーションを実行して、それぞれの描画イメージが得られれば、素材Ａ及び素材Ｂの表示イメージがともに作成できることになる。
【０１０３】
従って、素材Ａと素材Ｂとを同時に表示イメージに変換するときの展開時間は、図１１（ｂ）の描画オペレーション木を構成する各描画オペレーションの展開時間の合計として求めることができ、また、実際に表示イメージを作成する場合には、共通する描画オペレーション（太線で示す描画オペレーション）を優先して実行し、得られた描画イメージをキャッシュ１６に格納する。そして、他の描画オペレーションから得られる描画イメージと組み合わせて、素材Ａ及び素材Ｂの表示イメージを作成する。
【０１０４】
このように、このシステムの方法は、複数のリッチテキスト素材を表示イメージに変換するときの展開時間を大幅に削減することが可能である。
【０１０５】
（第４の実施形態）
第４の実施形態のシステムでは、サーバと再生端末とでリッチテキスト素材の展開処理を分担する。
【０１０６】
このシステムでは、再生端末３０にも、サーバ１０と同じように、各描画オペレーションを実行する展開部と展開時間ライブラリとを持たせている。
【０１０７】
サーバ１０は、描画オペレーション木を作成し、展開時間を算出すると、図１２に示すように、描画オペレーション木から、相互に依存関係を持たない描画オペレーションのグループを抽出する。図１２の場合では、「ストレッチ１−ストレッチ２−線画Ａ」の第１グループと、「文字１−（文字３→ＡＮＤ）−（文字１→ＡＮＤ）」の第２グループとが抽出される。
【０１０８】
そして、抽出した各グループの展開時間を考慮して、展開時間がほぼ均衡するように、サーバ１０と再生端末３０とに各グループを割り振る。図１２では、サーバ１０に第１グループ、再生端末３０に第２グループを割り振っている。
【０１０９】
第２グループが割り振られた再生端末３０は、第２グループの描画オペレーションを再生端末３０の展開部で実行する場合の展開時間を、展開時間ライブラリに格納されているデータを参考にして算出する。この算出動作は、ステップ１５で説明した動作と実質的に同じである。
【０１１０】
また、サーバ１０での展開時間は、サーバ１０で受け持つ描画オペレーションの展開時間の合計として修正される。
【０１１１】
再生端末３０は、サーバ１０に対しては、サーバでの展開時間を見込んでリッチテキスト素材の展開要求を出力し、また、再生端末３０自身は、リッチテキスト素材の表示時刻より、再生端末３０での展開時間分だけ早めに、割り振られた第２グループの描画オペレーションを実行して、描画イメージを作成する。そして、この描画イメージと、サーバ１０から送られて来る表示イメージとを合成して、リッチテキスト素材の表示イメージを作成し、表示する。
【０１１２】
このように、このシステムでは、リッチテキスト素材の表示イメージへの展開処理をサーバと再生端末とで分担し、展開リソースの利用を分散しているため、展開時間を短縮することができる。
【０１１３】
また、図１２に示すように、文字描画処理を再生端末に任せ、ピクチャ描画処理をサーバで受け持つ、というように、出力形式非依存部分のリソース利用をサーバと再生端末とで分けることにより、サーバ及び再生端末における展開処理を一層効率化することができる。
【０１１４】
（第５の実施形態）
第５の実施形態のシステムは、マルチメディア・タイトルに含まれる各リッチテキスト素材の展開処理を、纏めて効率的に実行することができる。
【０１１５】
新たな出力形式を持つ再生端末からタイトル再生要求が出されたような場合には、図１３に示すように、展開時間ライブラリ１３にその出力形式（形式５）の展開時間が何も記述されていないから、タイトルに含まれる各リッチテキスト素材の展開時間の算出に時間が掛かることになる。こうしたとき、このシステムでは、次のような方法で、処理を効率化する。
【０１１６】
タイトル再生要求を受けたサーバ１０は、展開時間ライブラリ１３に、その出力形式の展開時間が記述されていないことを確かめると、シナリオを再生端末に送ることなく、そのタイトルに含まれる全てのリッチテキスト素材を、その出力形式（形式５）での表示イメージに変換する。
【０１１７】
このとき、サーバ１０は、第３の実施形態の方法と同様に、それぞれのリッチテキスト素材の描画オペレーション木を作成し、それらの重複する描画オペレーションを１つに絞って、最適状態で合成した描画オペレーション木を形成する。そして、この合成した描画オペレーション木の構成要素である各描画オペレーションを実行して描画イメージへの変換を行ない、得られた描画イメージを全てキャッシュ１６に格納する。
【０１１８】
次いで、サーバ１０は、再生端末３０に対して、要求されたタイトルのシナリオとともに、各リッチテキスト素材の展開時間として０の展開時間を送付する。
【０１１９】
再生端末は、シナリオの指示する表示時刻に各リッチテキスト素材の展開要求を出し、展開要求を受けたサーバは、キャッシュ１６に格納されている描画イメージを組み合わせて、要求されたリッチテキスト素材の表示イメージを構成し、再生端末３０に出力する。
【０１２０】
このように、このシステムでは、タイトル再生要求を出した再生端末に対して、タイトルに含まれる各リッチテキスト素材の展開処理が終了するまでの間、再生の開始を待たせることになるが、再生が開始した以降は、各リッチテキスト素材の展開要求に対して、その素材の表示イメージを即座に再生端末の下に送ることができる。
【０１２１】
また、このときの各リッチテキスト素材の展開処理は、効率的な方法で実施されているため、展開処理に要する時間は、短縮できる。
【０１２２】
【発明の効果】
以上の説明から明らかなように、本発明のリッチテキスト素材の表示方法は、シナリオの指定する時刻通りにリッチテキスト素材を再生端末に表示することを可能にする。
【０１２３】
また、リッチテキスト素材の描画オペレーション木を構成して対処することにより、リッチテキスト素材の展開処理や展開時間算出を効率化することができ、所要時間を短縮することができる。
【０１２４】
また、本発明の映像情報提供システムは、サーバ及び再生端末のメモリ容量を大規模化することなく、リッチテキスト素材を含む各種のマルチメディア・タイトルを、種々の出力形式を持つ再生端末に提供することができ、また、再生端末側では、それぞれのタイトルのシナリオ通りにリッチテキスト素材を表示することができる。
【図面の簡単な説明】
【図１】第１の実施形態の映像情報提供システムの構成を示すブロック図、
【図２】第１の実施形態の映像情報提供システムのタイトル登録時の動作を説明するフロー図、
【図３】第１の実施形態の映像情報提供システムにおける蓄積装置のデータ構造を示す図、
【図４】描画オペレーション木の作成手順を示す図、
【図５】描画オペレーション木の作成手順を示す図（続き）、
【図６】第１の実施形態の映像情報提供システムにおける展開時間ライブラリのデータ構造を示す図、
【図７】第１の実施形態の映像情報提供システムの再生要求時の動作を説明するフロー図、
【図８】第１の実施形態の映像情報提供システムの素材要求時の動作を説明するフロー図、
【図９】第２の実施形態の映像情報提供システムの構成を示すブロック図、
【図１０】第３の実施形態の表示方法での描画オペレーション木の合成方法を説明する説明図、
【図１１】第３の実施形態の表示方法での描画オペレーション木の合成方法を説明する説明図（続き）、
【図１２】第４の実施形態の表示方法での描画オペレーションの分担方法を説明する説明図、
【図１３】第５の実施形態の表示方法を実施するときの展開時間ライブラリの状態を示す説明図、
【図１４】従来のリッチテキスト素材の表示方法を説明する説明図である。
【符号の説明】
１  アプリケーションプログラム
２  データ出力装置
３  データバッファ
４  内部クロック
５  比較器
６  時刻設定レジスタ
７  バルブ
１０  サーバ
１１  ＭＭサーバ
１２  展開部
１３  展開時間ライブラリ
１４  蓄積装置
１５  キャッシュ制御部
１６  キャッシュ
２０  製作端末
２１  登録部
３０  再生端末
３１  タイトル制御部
３２  スケジューラ
３３  素材再生表示部
５１  描画オペレーションリスト
５２  素材デコーダリスト
５３  展開時間データ欄
【図１】
0003606729.tif 000002
【図２】
0003606729.tif 000003
【図３】
0003606729.tif 000004
【図４】
0003606729.tif 000005
【図５】
0003606729.tif 000006
【図６】
0003606729.tif 000007
【図７】
0003606729.tif 000008
【図８】
0003606729.tif 000009
【図９】
0003606729.tif 000010
【図１０】
0003606729.tif 000011
【図１１】
0003606729.tif 000012
【図１２】
0003606729.tif 000013
【図１３】
0003606729.tif 000014
【図１４】
0003606729.tif 000015