(57)【特許請求の範囲】
【請求項１】
演奏シーケンス情報が記憶される演奏シーケンストラックと、描画シーケンス情報が記憶される描画シーケンストラックと、各シーケンストラックのシーケンス動作に対し、任意の位置において停止・分岐・繰り返し等の時間軸方向の制御を行う各シーケンストラックの同期情報が記憶されるマスタートラックと、を同一のファイル内に組み込んだマルチメディアファイルの記憶部と、
前記マルチメディアファイルのシーケンス動作と前記同期情報に基づくシーケンス動作の制御を実行するシーケンサと、
前記シーケンサと通信を行い前記同期情報に基づくシーケンス動作の制御の情報を受けることによりマルチメディアファイルの実行開始、実行停止等の実行制御を行うアプリケーションプログラムの記憶部と、
前記アプリケーションプログラムを実行するプログラム実行部と、を備え、
前記記憶部のマルチメディアファイルに組み込まれる前記演奏シーケンストラック、描画シーケンストラックおよびマスタートラックはいずれも、イベントと、イベント間の時間間隔を指定するデュレーションとの組み合わせにより構成されることを特徴とする、マルチメディア実行システム。
【請求項２】
前記マルチメディアファイルは、オーディオシーケンス情報が記憶されるオーディオシーケンストラックを有する、請求項１記載のマルチメディア実行システム。
【請求項３】
前記描画シーケンストラックは、表示オブジェクトを指定する表示イベントと表示イベント間の時間間隔を指定するデュレーションとを記述することで構成され、前記表示イベントは、表示オブジェクトの複数の座標表現形式を指定可能とすることを特徴とする、請求項１または２に記載のマルチメディア実行システム。
【請求項４】
前記表示イベントは、表示オブジェクトの複数の座標表現形式として、少なくとも、画面サイズおよび表示オブジェクトのサイズを元に表示位置を比率で指定するレイアウト情報指定形式を含む、請求項３記載のマルチメディア実行システム。
【請求項５】
前記表示イベントは、表示オブジェクトのタイプを含む表示オブジェクト定義情報を記述したプライマリイブロックと、該プライマリイブロックで表した内容に動的な表示修飾を加える表示修飾シーケンス情報を記述した補助ブロックと、を含み、表示修飾シーケンス情報は相互に動作の影響を及ぼさない複数の表示修飾シーケンス情報から任意に選択された一つ以上の表示修飾シーケンス情報で構成される、請求項３記載のマルチメディア実行システム。
【請求項６】
演奏シーケンス情報が記憶される演奏シーケンストラックと、描画シーケンス情報が記憶される描画シーケンストラックと、各シーケンストラックのシーケンス動作に対し任意の位置において停止・分岐・繰り返し等の時間軸方向の制御を行う各シーケンストラックの同期情報が記憶されるマスタートラックと、を組み込んだマルチメディアファイルであって、該マルチメディアファイルは、前記演奏シーケンストラック、描画シーケンストラックおよびマスタートラックはいずれも、イベントと、イベント間の時間間隔を指定するデュレーションとの組み合わせにより構成されるものであり、前記マルチメディアファイルをシーケンサに入力することにより、各シーケンストラックのシーケンス動作と前記同期情報に基づくシーケンス動作の制御を実行し、
アプリケーションプログラムにより前記シーケンサと通信を行って前記同期情報に基づくシーケンス動作の制御の情報を受けることによりマルチメディアファイルの実行開始、実行停止等の実行制御を行い、
プログラム実行部により、前記アプリケーションプログラムを実行する、マルチメディアファイルの実行方法。
【請求項７】
オーディオシーケンス情報が記憶されるオーディオシーケンストラックを前記マルチメディアファイルに組み込み、このシーケンストラックのシーケンス動作も前記同期情報に基づいて実行する、請求項６記載のマルチメディアファイルの実行方法。
【請求項８】
前記描画シーケンストラックは、表示オブジェクトを指定する表示イベントと表示イベント間の時間間隔を指定するデュレーションとを記述することで構成され、前記表示イベントは、表示オブジェクトの複数の座標表現形式を指定可能とすることを特徴とする、請求項６または７に記載のマルチメディアファイルの実行方法。
【請求項９】
前記表示イベントは、表示オブジェクトの複数の座標表現形式として、少なくとも、画面サイズおよび表示オブジェクトのサイズを元に表示位置を比率で指定するレイアウト情報指定形式を含む、請求項８記載のマルチメディアファイルの実行方法。
【請求項１０】
前記表示イベントは、表示オブジェクトのタイプを含む表示オブジェクト定義情報を記述したプライマリイブロックと、該プライマリイブロックで表した内容に動的な表示修飾を加える表示修飾シーケンス情報を記述した補助ブロックと、を含み、表示修飾シーケンス情報は相互に動作の影響を及ぼさない複数の表示修飾シーケンス情報から任意に選択された一つ以上の表示修飾シーケンス情報で構成される、請求項８記載のマルチメディアファイルの実行方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、音、画像、テキストなどの様々な種類のマルチメディア情報を扱うマルチメディア実行システムに関する。
【０００２】
【従来の技術】
マルチメディア情報をユーザ側からみて一元的に扱っているものとしては、例えばインターネット上のコンテンツの閲覧ソフト（以下、ブラウザという）がある。ユーザは、パソコン画面上でこのブラウザを操作することによって、１つの画面上で音、画像、テキストなどのマルチメディア情報を扱うことが可能である。通常は、各情報はサーバ内の異なったパスで定義される箇所に記憶されており、ブラウザは、それぞれの情報を個別に取り出して１つの画面上で再現する。このようなインターネット上の情報は、すべて、ＨＴＭＬ（Ｈｙｐｅｒ  ＴｅｘｔＭａｒｋｕｐ  Ｌａｎｇｕａｇｅ）言語で扱う事が可能であって、ブラウザはこのＨＴＭＬ言語を解釈することによって情報のアウトプットを行なう。
【０００３】
また、ＨＴＭＬ言語とは異なった言語で記述され、音や画像（特に動画）を同期して再現するソフトウェアもインターネット上で実用化されている。このソフトウェアが扱うファイル構造は、音の情報と画像の情報を一体化したものであって、１つのファイルとして取り扱うことが可能になっている。
【０００４】
【発明が解決しようとする課題】
しかしながら、ＨＴＭＬ言語で記述できるマルチメディア情報は、特定の箇所に記憶されている情報を静的（スタティック）に読み出して再現するだけであって、各情報を同期して動的（ダイナミック）に再現するものではない。このため、コンテンツの内容を微妙にコントロールして、特に画像や音声を時間的に完全に同期して再現するといったことが不可能である。
【０００５】
また、音の情報と画像の情報を１つのファイル形式で扱う従来のものは、各情報が全く独立して最初から再生されるだけであるために、途中でジャンプしたり情報間の細かい同期を取ることができない不都合があった。
【０００６】
この発明の目的は、マルチメディア情報の取扱いを極めて容易にすると共に、各情報間のきめ細かな同期制御を可能にするマルチメディア実行システムを提供することにある。
【０００７】
【課題を解決するための手段】
この発明は、上記の課題を解決するために以下のように構成される。
【０００８】
（１）  演奏シーケンス情報が記憶される演奏シーケンストラックと、描画シーケンス情報が記憶される描画シーケンストラックと、各シーケンストラックのシーケンス動作に対し、任意の位置において停止・分岐・繰り返し等の時間軸方向の制御を行う各シーケンストラックの同期情報が記憶されるマスタートラックと、を同一のファイル内に組み込んだマルチメディアファイルの記憶部と、
前記マルチメディアファイルのシーケンス動作と前記同期情報に基づくシーケンス動作の制御を実行するシーケンサと、
前記シーケンサと通信を行い前記同期情報に基づくシーケンス動作の制御の情報を受けることによりマルチメディアファイルの実行開始、実行停止等の実行制御を行うアプリケーションプログラムの記憶部と、
前記アプリケーションプログラムを実行するプログラム実行部と、を備え、
前記記憶部のマルチメディアファイルに組み込まれる前記演奏シーケンストラック、描画シーケンストラックおよびマスタートラックはいずれも、イベントと、イベント間の時間間隔を指定するデュレーションとの組み合わせにより構成されることを特徴とする。
この発明のシステムに使用されるマルチメディアファイルでは、複数の種類の情報が記録される複数のシーケンストラックと共に各シーケンストラックの同期情報が記録されるマスタートラックが同一ファイル内に組み込まれる。このマスタートラックは、上記各シーケンストラックと同じ種類のシーケンストラックの構造とする。複数の種類の情報は、演奏シーケンス情報と描画シーケンス情報を含み、さらにはオーディオシーケンス情報も含むことが可能である。演奏シーケンス情報は、通常は、ＭＩＤＩまたはＭＩＤＩ相当のシーケンス情報であり、描画シーケンス情報は、テキスト、２値画像、任意画像を含むことができる。オーディオシーケンス情報は、ＡＤＰＣＭ（Ａｄａｐｔｉｖｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）データで構成することができる。また、ＴｗｉｎＶＱ（商標）やＭＰ３等の圧縮オーディオデータで構成することも可能である。
【０００９】
この発明のマルチメディア実行システムでは、上記マルチメディアファイルを記憶する記憶部と、このマルチメディアファイルのシーケンス動作を実行するシーケンサと、シーケンサと通信を行うことによりマルチメディアファイルの実行開始、実行停止などの実行制御を行なうアプリケーションプログラムの記憶部と、このアプリケーションプログラムを実行するプログラム実行部とを備えている。これにより、シーケンス動作中に、各シーケンストラックの情報間の同期が同期情報によってとられるために、この同期情報の記述の仕方によって、各シーケンストラック間の情報の同期をきめ細かく設定することができる。また、シーケンサとアプリケーションプログラム間が通信することによって、前記同期情報によってシーケンス動作の制御が行われたときに、その情報をアプリケーションプログラムが知ることができる。これにより、アプリケーションプログラムで前記同期情報に関連して様々な制御を行うことが可能になる。
【００１０】
（２）  前記マルチメディアファイルは、前記マスタートラックを有し、また、同期情報として、各シーケンストラックのシーケンス動作を任意の位置で停止・分岐・繰り返し等の時間軸方向の制御情報を記憶することを特徴とする。
【００１１】
同期情報を記憶する同期情報記憶手段として各シーケンストラックと同じシーケンス動作をするマスタートラックを設けることにより、同期情報の記述が容易になる。また、同期情報として、各シーケンストラックのシーケンス動作を停止・分岐・繰り返しなどの時間軸方向の制御情報を記憶することにより、シーケンス動作の途中でアプリケーションプログラムとの間で通信を行いながら任意の制御が可能になる。例えば、同期情報としてシーケンス動作を停止する制御情報を記憶しておくと、このタイミングになった時にアプリケーションプログラムでユーザによるデータ入力や、サーバに対する特定のデータの発信・要求を行なったりすることが可能になる。これにより、シーケンス動作中にユーザの入力やサーバからの情報に基づいてシーケンス動作を制御することが可能になる。例えば、同期情報としてシーケンス動作を停止する情報が記憶されていた場合、そのタイミングになった時にユーザの入力によって分岐先を指定することができる。また、描画シーケンストラックにコマーシャル情報が記録されている場合、そのコマーシャルの終了するタイミングに同期情報としてシーケンス動作の停止情報が記録されている場合、サーバに対してコマーシャルが終了したことを通知できるようになる。
【００１２】
（３）  前記描画シーケンストラックは、表示オブジェクトを指定する表示イベントと表示イベント間の時間間隔を指定するデュレーションとを記述することで構成され、前記表示イベントは、表示オブジェクトの複数の座標表現形式を指定可能とすることを特徴とする。
【００１３】
この発明のマルチメディアファイルは、描画シーケンストラックにおいて、表示イベント内で定義される表示オブジェクトの座標表現形式を複数の座標表現形式の中から指定可能としている。このため、その時に使用する表示デバイスに対して最適な表示位置の指定が可能になる。表示形式として、少なくとも、画面サイズおよび表示オブジェクトのサイズを元に表示位置を比率で指定するレイアウト情報指定形式を含むようにしておけば、画面の大きさに応じて自動的に表示オブジェクトの縮尺が決定される。
【００１４】
このように、表示イベントが、表示オブジェクトの複数の座標表現形式を指定可能としておくことによって、その時に使用する表示デバイスに対して最適な表示位置の指定を可能にする。これにより、マルチメディアファイル（コンテンツ）の流通の範囲を広げることができる。
【００１５】
（４）  前記表示イベントは、表示オブジェクトのタイプを含む表示オブジェクト定義情報を記述したプライマリイブロックと、該プライマリイブロックで表した内容に動的な表示修飾を加える表示修飾シーケンス情報を記述した補助ブロックと、を含み、表示修飾シーケンス情報は相互に動作の影響を及ぼさない複数の表示修飾シーケンス情報から任意に選択された一つ以上の表示修飾シーケンス情報で構成される．
この発明では、表示オブジェクトの基本的な情報を定義するプライマリイブロックと、このプライマリイブロックで表した内容に動的な表示修飾を加える表示修飾シーケンス情報を含む補助ブロックとを表示イベントに記述することが可能である。この場合、表示修飾シーケンス情報は相互に動作の影響を及ぼさない情報であるために、表示オブジェクトの動きに合わせて、最適な表示修飾シーケンス情報を容易に組み合わせることが可能である。各表示修飾シーケンス情報を単純な機能表現の情報としておけば、表示内容の複雑な動きを、単純な機能表現の組み合わせで容易に提供することができる。また、このことからコンテンツ制作も容易になる。
【００１６】
【発明の実施の形態】
図１は、この発明の実施形態であるマルチメディア実行システムのハードウェアの構成図である。なお、図１に示すような各構成部を備えていれば、マルチメディア実行システムのハードウェアとして、コンピュータ端末、携帯端末、携帯電話を含む様々な形態のものを利用することが出来る。
【００１７】
実行制御部１は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを含み、シーケンサ（プログラム）やアプリケーションプログラムの実行、入出力制御などを行なう。この実行制御部１に対して、シーケンサ（プログラム）記憶部２、アプリケーション（プログラム）記憶部３、およびマルチメディアファイルの格納された記憶部４が接続されている。マルチメディアファイルは、後述するように、演奏シーケンストラック、描画シーケンストラック、オーディオシーケンストラック、マスタートラックおよびコンテンツ情報記憶部を同一のファイル内に組み込んだものであって、この実施形態では、このファイルをＳＭＡＦ（Ｓｙｎｔｈｅｔｉｃ  Ｍｕｓｉｃ  Ｍｏｂｉｌｅ  Ａｐｐｌｉｃａｔｉｏｎ  Ｆｏｒｍａｔ）ファイルと称する。記憶部４には、１番からｎ番目までのＳＭＡＦファイルが記憶されており、アプリケーション記憶部３やユーザからの入力情報によっていずれかのＳＭＡＦファイルが選択される。
【００１８】
実行制御部１には、音源デバイス５、表示デバイス６、オーディオデバイス７が接続される。
【００１９】
音源デバイス５には、ＳＭＡＦファイル内の演奏シーケンス情報が入力され、ここで演奏信号に変換される。演奏シーケンス情報は、本実施形態ではＭＩＤＩシーケンス情報であり、音源デバイス５には、ＭＩＤＩ音源デバイスが使用される。
【００２０】
表示デバイス６には、ＳＭＡＦファイル内の描画シーケンス情報が入力する。描画シーケンス情報は、後述のように、テキスト、２値画像、任意画像のいずれかのシーケンス情報であり、表示デバイス６は、これらの情報を画像信号に変換する。
【００２１】
オーディオデバイス７は、ＳＭＡＦファイル内のオーディオシーケンス情報が入力し、オーディオ信号に変換する。この実施形態では、オーディオシーケンス情報はＡＤＰＣＭ情報であり、オーディオデバイス７は、このＡＤＰＣＭ情報をアナログのオーディオ信号に変換する。
【００２２】
楽音・音声出力部８は、音源デバイス５およびオーディオデバイス７の出力を合成したものをスピーカ８ａから出力する。モニタ９は、表示デバイス６からの画像出力を表示画面上に表示する。
【００２３】
実行制御部１には、さらに、入力部１０と通信部１１とが接続されている。入力部１０には、キーボードやマウスなどを含む操作部１２が接続され、通信部１１は、有線あるいは無線によるインターネット等のコンピュータネットワークもしくは公衆回線網等の通信回線によって、図外のサーバに接続されている。
【００２４】
図２は、上記マルチメディア実行システムのソフトウェアの構成図である。
【００２５】
２０はＳＭＡＦファイルである。このＳＭＡＦファイル２０は、コンテンツ情報記憶部２１、演奏シーケンストラック２２、描画シーケンストラック２３、オーディオシーケンストラック２４、マスタートラック２５で構成され、これらが１つのファイル内に一体的に組み込まれている。
【００２６】
コンテンツ情報記憶部２１は、ＳＭＡＦファイル２０全体の内容に関する情報を記憶する。演奏シーケンストラック２２は演奏シーケンス情報を、描画シーケンストラック２３は描画シーケンス情報を、オーディオシーケンストラック２４はオーディオシーケンス情報をそれぞれ記憶する。マスタートラック２５は、各シーケンストラック２２〜２４の同期情報を記憶する。このマスタートラック２５は、各シーケンストラック２２〜２４の同期情報を記憶するものであるが、このトラック２５自身もシーケンストラックとなっている。
【００２７】
シーケンサ２６は、これらの演奏シーケンストラック２２、描画シーケンストラック２３、オーディオシーケンストラック２４、マスタートラック２５のシーケンス動作を制御する。各シーケンストラックは、イベントとデュレーションを組み合わせて構成され、デュレーションはイベント間の時間間隔を指定する。したがって、シーケンストラックの先頭からデュレーションを積算することで、イベントの実行開始時刻を知ることができる。また、イベント自体の処理に時間がかかったとしても、シーケンスデータ上の時間経過には影響を与えない。時間経過はイベント処理に無関係にデュレーションで表現できることになる。詳細については後述するように、マスタートラック２５は、同期情報としてポーズ（停止）イベント、分岐イベント、繰り返しイベントなどの時間軸方向の制御情報を記憶している。これらのイベントが発生した時には、マスタートラック２５からシーケンサ２６に対しポーズ、分岐、繰り返しなどのシーケンス制御を行なうよう指令する。例えば、ポーズイベントが発生した時には、各シーケンストラック２２〜２５のシーケンス動作が一時停止する。また、分岐イベントが発生した時には、各シーケンストラックのシーケンス動作ポイントが同時に特定の位置に分岐する。
【００２８】
演奏シーケンストラック２２のシーケンス出力は、音源デバイス２７に入力し、音として出力される。描画シーケンストラック２３の出力は表示デバイス２８に出力され、表示モニタ上に描画される。オーディオシーケンストラック２４の出力はオーディオデバイス２９に出力され、音として出力される。
【００２９】
シーケンサ２６は、アプリケーションプログラム３０によって制御される。このアプリケーションプログラム３０は、シーケンサ２６を制御可能なものであればどのようなものであってもよい。アプリケーションプログラム３０からは、シーケンサ２６に対して、スタート／ストップ信号や、スティタスリード信号が出力される。またシーケンサ２６は、アプリケーションプログラム３０に対してスティタス（状態）を通知する。例えば、マスタートラック２５のイベントとしてポーズイベントが発生した時、シーケンサ２６は、シーケンス動作をポーズ状態（一時停止状態）にしてアプリケーションプログラム３０に対してスティタス通知を行い、アプリケーションプログラム３０が、このスティタス内容をリードする。この場合のスティタス内容は、ポーズ（一時停止）である。アプリケーションプログラム３０は、そのスティタスの内容に応じて、ユーザインターフェイス３１を介して、ユーザに対し所定の表示を行なったり、またはユーザからの入力操作を待つ。また、通信インターフェイス３２を介して、サーバとの間でデータとのやりとりを行なう。ポーズ状態を抜けるイベントが発生すると（このイベントは、アプリケーションプログラム３０が決める。例えばユーザ入力があった場合）、アプリケーションプログラム３０はシーケンサ２６に対し、再スタートの指令を行う。
【００３０】
このようにして、シーケンサとアプリケーションプログラム間のデータ通信が行われる。
【００３１】
図３は、シーケンストラックのデータ構造を示している。
【００３２】
先に述べたように、シーケンスデータは、イベントＥとデュレーションＤを組み合わせて記述することによって表現されている。データ列はイベントＥから開始し、データの終端にはシーケンス終了データであるＥＯＳが置かれる。ライフタイムは、イベントの有効長さを表す。例えば、演奏シーケンス情報であれば、発音時間である。デュレーションＤは、イベント間の時間間隔を指定している。このため、デュレーション値をデータの先頭から累積することによって、特定のイベントの開始時刻を決定することができる。例えば、イベント３の開始時刻は、時刻０にデュレーション１と２の加算値を加えた時刻である。また、イベント３の開始時刻からイベント１に分岐するには、イベント３の開始時刻から、デュレーション１とデュレーション２を加算した値を差し引く。このような方法によって、各シーケンストラックのシーケンス動作を任意に制御することができる。マスタートラック２５には、この制御内容、すなわち各シーケンストラックの同期情報が記述されている。なお、この実施形態では、シーケンスデータはイベントＥとデュレーションＤとが交互に記述されるようにしているが、必ずしも交互に記述されていなくても良い。
【００３３】
図４は、図２においてシーケンサ２６とアプリケーションプログラム３０との概略の動作を示している。
【００３４】
処理が開始されると、シーケンサ２６では初期設定（ステップ１００）が行なわれた後、シーケンス動作をスタートするのを待つ。アプリケーションプログラム３０からシーケンススタート命令を受けると（ステップ２００）（ステップ１０１）、シーケンサ２６でのシーケンス動作が開始し（ステップ１０２）、マスタートラック２５のイベント発生を監視する（ステップ１０３）。マスタートラック２５のイベントは、ここではチェックポイントイベントと称する。シーケンサ２６は、このチェックポイントイベントが発生すると、アプリケーションプログラム３０に対してスティタス通知を行い、チェックポイントイベントの内容を送信する（ステップ１０４）。アプリケーションプログラムでは、ステップ２０１において、このスティタスを受信し、その内容に応じた処理を行なう（ステップ２０２）。例えば、チェックポイントイベントがポーズイベントであれば、アプリケーションプログラムが、そのポーズイベントに対応してユーザからの入力待ちの処理を行なう。或いは、ポーズイベントに対応して、通信インターフェイス３２を介して、サーバから特定のデータをダウンロードしたりあるいは特定のデータをアップロードする。アプリケーションプログラム３０では、このステップ２０２の処理に応じて、さらに、シーケンサ２６に対し所定の指示を出す。すなわち、ユーザからの入力内容やサーバからのデータに応じて、各シーケンストラックの制御を行なう。シーケンサ２６では、ステップ１０５において、上記アプリケーションプログラム３０からの指示に対応する処理をする。シーケンサ２６では、以上の処理を行なった後、シーケンスが終了していない場合には再びステップ１０３以下の動作を行い、アプリケーションプログラム３０では、プログラムが終了していない場合には、再びステップ２０１に戻る。
【００３５】
図５は、時間軸上の動作例を示している。シーケンス動作がスタートすると、演奏シーケンストラック２２、描画シーケンストラック２３、オーディオシーケンストラック２４、マスタートラック２５のシーケンス動作が同時に先頭から開始し、それぞれのシーケンス内容に応じた再生が行なわれていく。今、コンテンツが曲データ、画像、オーディオデータで構成されているものとすると、マスタートラック２５のポーズイベントＰＥＶ１が発生したとき、シーケンサ２６でのシーケンス動作が停止し、アプリケーションプログラム３０によってユーザインターフェイスからのユーザ入力を待つ。ここで、特定のキー入力があると、アプリケーションプログラム３０がスタート命令を出して、次に２番めの曲データ、画像２、オーディオデータ２の再生を開始する。
【００３６】
図１および図２において、ＳＭＡＦファイル２０は、シーケンサ２６やアプリケーションプログラム３０とは独立しているために、このＳＭＡＦファイル２０を、任意の記憶媒体や伝送媒体を介して流通させることが可能である。また、アプリケーションプログラム３０も、シーケンサ２６と独立したプログラムであるために、このプログラムに任意の機能を持たせることができる。したがって、コンテンツの流通性が高く、また、システム全体の拡張性、自由度が極めて大きい。
【００３７】
なお、マスタートラック２５のチェックポイントイベントとしては、上記のようなポーズイベントのほか、分岐イベントや繰り返しイベントなどがある。分岐イベントは、時間軸上の任意の位置に分岐することを指示する内容を持ち、繰り返しイベントは、一定のシーケンス期間を繰り返すことを指示する内容を持つ。この他、時間軸方向の様々な制御情報をチェックポイントイベントとして記憶させることが可能である。
【００３８】
次に、描画シーケンストラック２３のイベント記述方式について説明する。
【００３９】
先に述べたように、この描画シーケンストラック２３の記述も、イベント（表示イベント）と表示イベント間の時間間隔を指定するデュレーションとの交互の記述によって構成される。
【００４０】
表示イベントは、表示オブジェクトの表示位置を指定することが必要である。この実施形態では、この表示イベントは、表示オブジェクトの座標表現形式を複数の中から選択できるようにしている。
【００４１】
図６は、選択可能な座標表現形式を示している。同図（Ａ）は標準座標指定、同図（Ｂ）は対称座標指定、同図（Ｃ）はレイアウト情報座標指定の各表現形式を示している。
【００４２】
標準座標指定は、座標原点を表示画面の左上とし、Ｘ軸は右が正方向、Ｙ軸は下が正方向とする。そして、表示オブジェクトＧの左上の座標を指定する。
【００４３】
対称座標指定は、座標原点を表示画面の右下とし、Ｘ軸は左が正方向、Ｙ軸は上が正方向とする。そして、表示オブジェクトＧの右下の座標を指定する。
【００４４】
レイアウト情報座標指定は、Ｘ方向およびＹ方向とも１００分率で位置を指定する。Ｘ方向には、０を左詰、５０をセンタリング、１００を右詰とする。また、Ｙ方向には０を上詰、５０をセンタリング、１００を下詰とする。図６（Ｃ）に示す例では、表示オブジェクトＧ１はＸ方向に左詰、Ｇ２はＸ方向にセンタリング、Ｇ３はＸ方向に右詰となっている。
【００４５】
なお、Ｘ座標およびＹ座標それぞれ独立に、いずれかの座標表現形式を指定可能となっている。
【００４６】
座標表現形式をこのように複数の中から指定可能とすることによって、複数のタイプの表示モニタに適合した形式を選択することが可能になる。例えば、レイアウト情報座標指定の座標表現形式を選択しておくと、そのＳＭＡＦファイルを表示画面の面積の異なるシステムに適用した場合でも、同じ表示状態とすることができる。また、１つのオブジェクトの指定を標準座標指定と対称座標指定のどちらでも適用可能としておくことで、表示オブジェクトの位置によって、より簡単に指定可能な方を選択できるようになる。このことは、シーケンスデータの作成を容易にする利点につながる。
【００４７】
また、一旦指定した座標表現形式を、次に新たな座標表現形式が指定されるまでデフォルトの表現形式として保持されるようにしている。このため、座標表現形式が変わった時にだけその新たな座標表現形式を指定すればよく、シーケンスデータの見やすさとメモリ消費量の節約を図ることができる。
【００４８】
本システムでは、さらに、表示イベントの記述方法を工夫することによって、複雑な動きを表現することが可能である。以下、これについて詳述する。
【００４９】
表示イベントは、表示オブジェクトのタイプ、サイズ、内容を含む表示オブジェクト定義情報を記述したプライマリイブロックと、このプライマリイブロックで表した内容に動的な表現修飾を加える表示修飾シーケンス情報を記述した補助ブロックとを含んでいる。
【００５０】
プライマリイブロックは、基本的な情報を含むために、表示イベントに必須の情報であり、補助ブロックは、適宜選択することのできるブロックである。
【００５１】
また、補助ブロックの表示修飾シーケンス情報は、相互に動作の影響を及ぼさない複数の表示修飾シーケンス情報から任意に選択された１つ以上の表示修飾シーケンス情報で構成される。
【００５２】
プライマリイブロックに記述される表示オブジェクト定義情報には、表示オブジェクトのタイプ、サイズ、内容が記述される。表示オブジェクトのタイプには、テキスト、２値画像（ビットマップ）、任意画像（イメージ）がある。
【００５３】
表示修飾シーケンス情報には、以下に示すものがある。
【００５４】
（１）  画像変換シーケンス（表示内容の変更）
（ａ）  色替えシーケンス
例えば、カラオケの色替えなど、表示されているテキストなどを時間的に変化させる。ネオンサインのような画像のフラッシングも表現できる。
【００５５】
（ｂ）  画像変形シーケンス
画像を時間と共に変化させる。
【００５６】
（２）  バナーシーケンス（表示画面への投影方法の指定）
（ａ）  表示枠に文字列を流し込んで表示する。
【００５７】
（ｂ）  表示枠の一部を投影し、投影位置を時間と共に変化させて表示する。
【００５８】
（３）  移動シーケンス（表示位置の変更）
（ａ）  表示枠を表示する画面上の位置を時間と共に変化させる。
【００５９】
（４）  表示ウィンドウ変更シーケンス
（ａ）  表示枠の大きさを時間と共に変化させる。
【００６０】
（５）  表示切替シーケンス
（ａ）  プライマリイブロックが複数指定されている場合、これらのブロックの切り替えを行なう。
【００６１】
（ｂ）  ２つの表示対象画像（画面上に表れている画像）を時間と共に切り替えて表示する。
【００６２】
例えば、ワイプ（左から右方向に画像をワイプしながら切り替える）、ディゾルブ（複数分割した各ブロック画面でワイプ動作が行なわれる）、フェード（最初の画面が消えていくような感じで画面切り替えを行なう）などがある。
【００６３】
以上の表示修飾シーケンス情報は、それぞれ相互に動作の影響を及ぼすことがない。このため、２つ以上の表示修飾シーケンス情報を組み合わせても、それらの個々のシーケンス情報によって実現される作用がプラスされるだけである。したがって、例えば、複数の表示修飾シーケンス情報を組み合わせて以下のような表示修飾を行なうことが可能である。
【００６４】
（１）  色替え＋バナー
（ａ）  表示枠をテロップが流れながら、途中でテロップの色が変わる。
【００６５】
（２）  色替え＋バナー＋移動
（ａ）  表示枠をテロップが流れながら、途中でテロップの色が変わり、さらに表示枠の位置が時間と共に移動する。
【００６６】
（３）  色替え＋バナー＋移動＋表示ウィンドウ変更
（ａ）  表示枠をテロップが流れながら、途中でテロップの色が変わり、また表示枠の位置が時間と共に移動し、さらに、表示枠が時間と共に小さくなって消えたり再び表れたりする。
【００６７】
このように、各表示修飾シーケンス情報は、相互に動作の影響を及ぼさないような機能を持ち、上記複数の表示修飾シーケンス情報の中から、任意のものを選択することができる。
【００６８】
図７は、表示イベントの一般的記述形式を示している。上から、イベントタイプ、イベントサイズ、ライフタイム、座標指定、プライマリイブロック、任意の数の補助ブロックが記述される。補助ブロックはオプションであり、少なくともプライマリイブロックがあれば良い。しかし、補助ブロックを記述することで、上述のように種々の表現を簡単に実現することができる。
【００６９】
なお、上記の実施形態では、同期情報記録手段を、マスタートラックとしたが、各シーケンストラック内に同期情報を書き込むようにしても良い。
【００７０】
【発明の効果】
この発明によれば、複数の種類の情報が記録される複数のシーケンストラックと共に各シーケンストラックの同期情報が記録される同期情報記録手段を同一ファイル内に組み込んでマルチメディアファイルを構成したため、シーケンス動作中に、各シーケンストラックの情報間の同期が同期情報によってとられる。このため、この同期情報の記述の仕方によって、各シーケンストラック間の情報の同期をきめ細かく制御することができる。
【００７１】
また、シーケンサとアプリケーションプログラム間が通信することによって、前記同期情報によってシーケンス動作の制御が行われたときに、その情報をアプリケーションプログラムが知ることができる。これにより、アプリケーションプログラムで前記同期情報に関連して様々な制御を行うことが可能になる。
【００７２】
また、同期情報を記憶する同期情報記憶手段として各シーケンストラックと同じシーケンス動作をするマスタートラックを設けることにより、同期情報の記述が容易になる。
【００７３】
また、表示イベントが、表示オブジェクトの複数の座標表現形式を指定可能であるため、その時に使用する表示デバイスに対して最適な表示位置の指定を可能にする。これにより、コンテンツの流通の範囲を広げることができる。
【００７４】
また、表示イベントは、表示オブジェクトの基本的な情報を定義するプライマリイブロックと、このプライマリイブロックで表した内容に動的な表示修飾を加える一つ以上の組み合わせの表示修飾シーケンス情報が含まれる補助ブロックとで記述が可能であり、また、表示修飾シーケンス情報は相互に動作の影響を及ぼさない情報であるために、表示オブジェクトの動きにあわせて、最適な表示修飾シーケンス情報を容易に組み合わせることが可能である。各表示修飾シーケンス情報を単純な機能表現の情報としておけば、表示内容の複雑な動きを、単純な機能表現の組み合わせで容易に提供することができる。また、このことからコンテンツ制作も容易になるという効果がある。
【図面の簡単な説明】
【図１】この発明の実施形態であるマルチメディア実行システムのハードウェア概略構成図
【図２】同マルチメディア実行システムのソフトウェア構成図
【図３】シーケンス動作を示す図
【図４】シーケンサおよびアプリケーションプログラムの概略動作を示すフローチャート
【図５】マスタートラックの機能を説明する図
【図６】表示イベントの座標表現形式を示す図
【図７】表示イベントの一般的記述内容を示す図
【図１】
0003558052.tif 000002
【図２】
0003558052.tif 000003
【図３】
0003558052.tif 000004
【図４】
0003558052.tif 000005
【図５】
0003558052.tif 000006
【図６】
0003558052.tif 000007
【図７】
0003558052.tif 000008