(57)【要約】【課題】映像・音声メディアと任意の外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述を，時間をかけずに簡易に作成できるようにする。【解決手段】外部アプリケーションを制御するためのインターフェイス情報を外部アプリケーションインターフェイス記述ファイル２から読み込み，それを解析して外部アプリケーションを制御する手段，外部アプリケーションから送信されてくる情報を受信する手段，外部アプリケーションへ問い合わせ，情報を取得する手段に関する情報を格納したテーブルを作成する。それらの情報をもとに，表示部１５，ＧＵＩ検知部１４によってオーサリングのデータを入力し，データファイル出力部１６によって相互連動させるアプリケーションを動作させるための所定の記述フォーマットに従った記述データを作成し出力する。【選択図】　　　　図１
2004007128.tif 000002
【特許請求の範囲】
【請求項１】
映像・音声メディアと外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述を作成するオーサリングシステムにおけるオーサリング処理方法であって，
オーサリングに必要な外部アプリケーションを制御するためのインターフェイス情報を格納した外部アプリケーションインターフェイス記述ファイルの格納情報を読み込む過程と，
読み込んだインターフェイス情報を解析し，外部アプリケーションを制御する手段，外部アプリケーションから送信されてくる情報を受信する手段，外部アプリケーションへ問い合わせ，情報を取得する手段に関する情報を格納したテーブルを作成する過程と，
映像・音声メディアと外部アプリケーションを連動させるオーサリングのデータを入力する際に，前記テーブルに格納した情報をもとに，外部アプリケーションの情報を問い合わせ，その外部アプリケーションの情報を一覧表示し，その情報をもとに外部アプリケーションの情報を入力することで，オーサリングのデータを入力する過程と，
前記テーブルの情報と前記入力したデータとをもとに，映像・音声メディアと外部アプリケーションとを相互連動させるアプリケーションを動作させるための所定の記述フォーマットに従った記述データを作成し出力する過程とを有する
ことを特徴とするオーサリング処理方法。
【請求項２】
請求項１記載のオーサリング処理方法において，
前記オーサリングのデータを入力する過程では，映像・音声メディアの時刻に対して，前記外部アプリケーションをどのように連動させるかの情報を格納するテーブル，および前記外部アプリケーションから受信した情報に対応して映像・音声メディアの時刻を制御する情報を格納するテーブルに，オーサリングによる入力データを記録する
ことを特徴とするオーサリング処理方法。
【請求項３】
映像・音声メディアと外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述を作成するオーサリング処理装置であって，
前記外部アプリケーションを制御するためのインターフェイス情報を記述した入力情報を解析し，外部アプリケーションを制御する手段，外部アプリケーションから送信されてくる情報を受信する手段，および外部アプリケーションへ問い合わせて情報を取得する手段に関する情報を抽出する解析手段と，
前記解析手段が抽出した外部アプリケーションを制御する手段，外部アプリケーションから送信されてくる情報を受信する手段，および外部アプリケーションへ問い合わせて情報を取得する手段に関する情報をテーブル化して管理する制御手段と，
前記テーブル化して管理する情報をもとに，グラフィカル・ユーザ・インターフェイスを用いて映像・音声メディアと外部アプリケーションを連動させるオーサリングのデータを入力する手段と，
前記制御手段が管理する各テーブルに格納されているデータと，入力したオーサリングのデータとをもとに，映像・音声メディアと外部アプリケーションとを相互連動させるアプリケーションを動作させるための所定の記述フォーマットに従った記述データを作成し出力する手段とを備える
ことを特徴とするオーサリング処理装置。
【請求項４】
請求項３記載のオーサリング処理装置において，
前記制御手段は，前記外部アプリケーションを制御する手段，外部アプリケーションから送信されてくる情報を受信する手段，および外部アプリケーションへ問い合わせて情報を取得する手段に関するそれぞれのテーブルの他に，映像・音声メディアの時刻に対して，前記外部アプリケーションをどのように連動させるかの情報を格納するテーブルと，前記外部アプリケーションから受信した情報に対応して映像・音声メディアの時刻を制御する情報を格納するテーブルとを備え，
前記オーサリングのデータを入力する手段は，前記映像・音声メディアの時刻に対して，前記外部アプリケーションをどのように連動させるかの情報を格納するテーブルと，前記外部アプリケーションから受信した情報に対応して映像・音声メディアの時刻を制御する情報を格納するテーブルに，入力したデータを記録する
ことを特徴とするオーサリング処理装置。
【請求項５】
請求項１または請求項２記載のオーサリング処理方法を，計算機に実行させるためのオーサリング処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，オーサリングシステムに関し，特に，映像・音声メディアと任意の外部アプリケーションを相互連動させるアプリケーションを動作させるための記述を作成するオーサリング処理方法，オーサリング処理装置およびオーサリング処理プログラムに関するものである。
【０００２】
【従来の技術】
映像・音声メディアと任意の外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述の作成は，従来からエディタ等を用いて行われている。
【０００３】
【発明が解決しようとする課題】
映像・音声メディアと任意の外部アプリケーションとを相互連動させるアプリケーションを動作させるためには，連動させるための情報を記述する必要があり，その記述はエディタ等で作成する必要があった。このような従来方法では，作成に手間と時間がかかるという問題がある。その結果，すぐにサービスを開始したいときに開始できないことがあった。
【０００４】
本発明は上記問題点の解決を図り，映像・音声メディアと任意の外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述を，オーサリングシステムを用いて手間と時間をかけずに作成することを可能にし，速やかにサービスを実現することができるようにすることを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために，本発明のオーサリングシステムは，記述ファイル解析部，映像・音声再生部，外部アプリケーション実行部，制御部，ＧＵＩ検知部，表示部，データファイル出力部から構成されることを特徴とする。
【０００６】
前記制御部は，外部アプリケーションから送信されてくる情報を受信する手段（Ａｃｃｅｐｔインターフェイス）を定義する情報を格納する“Ａｃｃｅｐｔインターフェイステーブル”，外部アプリケーションを制御する手段（Ｓｅｎｄインターフェイス）を定義する情報を格納する“Ｓｅｎｄインターフェイステーブル”，外部アプリケーションへ問い合わせて情報を取得する手段（Ｇｅｔインターフェイス）を定義する情報を格納する“Ｇｅｔインターフェイステーブル”，映像・音声メディアの時刻に対して，任意の外部アプリケーションをどのように連動させるかの情報を格納する“時刻からの外部アプリケーション制御テーブル”，任意の外部アプリケーションから受信した情報に対応して映像・音声メディアの時刻を制御する情報を格納する“映像・音声メディア制御テーブル”を持つ。
【０００７】
前記記述ファイル解析部は，アプリケーションインターフェイス記述ファイルを用いて，任意の外部アプリケーションを制御するための情報を解析し，外部アプリケーションを制御する手段（Ｓｅｎｄインターフェイス），外部アプリケーションから送信されてくる情報を受信する手段（Ａｃｃｅｐｔインターフェイス），外部アプリケーションへ問い合わせて情報を取得する手段（Ｇｅｔインターフェイス）のテーブル情報をそれぞれ作成し，その情報を制御部へ受け渡す。
【０００８】
これらのテーブル情報は，それぞれ制御部内のＳｅｎｄインターフェイステーブル，Ａｃｃｅｐｔインターフェイステーブル，Ｇｅｔインターフェイステーブルに書き込まれる。
【０００９】
前記表示部は，映像・音声メディアと任意の外部アプリケーションを連動させるデータを入力する際に，外部アプリケーションの情報を制御部に問い合わせ，その外部アプリケーションの情報を一覧表示し，その情報をもとに外部アプリケーションの情報を入力する手段を備える。
【００１０】
また，前記データファイル出力部は，制御部が管理する各テーブルに格納されているデータを，映像・音声メディアと任意の外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述フォーマットに変換し，出力する手段を備える。
【００１１】
さらに詳しくは，以下のとおりである。前記構成において，記述ファイル解析部が外部アプリケーションインターフェイス記述ファイルを読み込む。この外部アプリケーションインターフェイス記述ファイルには，外部アプリケーションから受動的に取得する情報，外部アプリケーションを制御するための手段，外部アプリケーションから能動的に情報を取得する手段が記述されている。この情報や手段を順にＡｃｃｅｐｔインターフェイス，Ｓｅｎｄインターフェイス，Ｇｅｔインターフェイスと呼ぶ。これらの記述は，記述ファイル解析部においてパースされ，その内容が制御部におけるＡｃｃｅｐｔインターフェイステーブル，Ｓｅｎｄインターフェイステーブル，Ｇｅｔインターフェイステーブルに反映される。
【００１２】
オーサリング時のＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）に，このＡｃｃｅｐｔインターフェイステーブル，Ｇｅｔインターフェイステーブルが反映される。Ａｃｃｅｐｔインターフェイステーブルに記述される関数名全てが，オーサリング時のＧＵＩに表示される。この表示は，外部アプリケーション実行部で外部アプリケーションが操作されたときに，外部アプリケーションがＡｃｃｅｐｔインターフェイステーブルに記述されている何らかの情報を出力するなら上記ＧＵＩに反映される。
【００１３】
また，Ｇｅｔインターフェイステーブルの場合には，Ｇｅｔインターフェイステーブルに記述されている全ての手段がオーサリング時のＧＵＩに表示される。その手段の数だけボタンが作成される。このボタンを押すことで外部アプリケーション実行部において実行されているアプリケーションの情報を取得し，その値をＧＵＩに反映する。これらの値を参考にすることで外部アプリケーションの各種情報を簡単に取得することができ，オーサリング時の入力を支援することができる。
【００１４】
また，前記構成において，映像・音声メディアに同期して任意の外部アプリケーションを制御させるためのオーサリング方法では，映像・音声メディアの再生時刻と，その時に外部アプリケーションがどのように動作するか記述する必要がある。その記述は“時刻からの外部アプリケーション制御テーブル”に記述され，制御部で管理される。このテーブルは，２以上のカラムからなるテーブルである。１つ目のカラムは，映像・音声メディアの再生位置を入力するカラムであり，２つ目のカラムは，外部アプリケーションの動作を入力するカラムである。また，外部アプリケーションの動作に何らかの引数が必要な場合には，必要な引数の数に応じてカラム数が追加される。
【００１５】
映像・音声メディアの時刻を決定する方法は，映像・音声再生部に示される時刻を“時刻からの外部アプリケーション制御テーブル”にキーデバイス等を用いて直接入力する，またはマウス等のデバイスを用いて自動的に映像・音声再生部の現時刻を時刻カラムに反映する。
【００１６】
映像・音声の時刻を決定した後に外部アプリケーションの動作を決定する方法は，入力すべきテーブルの欄をマウス等の入力デバイスで選択すると，外部アプリケーションの動作可能な選択項目のリストが表示される。
【００１７】
この選択項目リストは，制御部で管理されるＳｅｎｄインターフェイステーブルのエイリアスカラムの値がリストとして表示される。この表示された選択項目リストから任意の動作を選択することで，選択された内容が“時刻からの外部アプリケーション制御テーブル”に反映される。選択された内容（外部アプリケーションを制御する手段）に引数が必要な場合には引数を入力する。このテーブルに映像・音声メディアの時刻と，その時に同期させる外部アプリケーションの動作を記述することで“時刻からの外部アプリケーション制御テーブル”の設定が完了する。
【００１８】
そして，このテーブルに記述された内容は，制御部内の“時刻からの外部アプリケーション制御テーブル”に記述される。
【００１９】
また，前記構成において，任意の外部アプリケーションに同期して映像・音声メディアを制御させるためのオーサリング方法は，制御部に管理されるＡｃｃｅｐｔインターフェイステーブルの行の数だけオーサリング時に必要な入力テーブルが作成される。各テーブルには２つのカラムがあり，左から順番に外部アプリケーションから受信する情報，および映像・音声メディアの再生位置が記述される。
【００２０】
１つ目のカラムには，キーデバイス等を用いて直接入力するか，またはＡｃｃｅｐｔインターフェイステーブルをもとに外部アプリケーション実行部で起動されている外部アプリケーションから受信した情報を用いてカラムの値を自動的に入力することで，入力支援することができる。２つ目のカラムには，キーデバイス等を用いて直接再生位置を入力するか，映像・音声再生部で再生中のメディアの現時刻の値を自動的に入力することで，入力支援することができる。オーサリング時にこのテーブルに記述された内容は，制御部内の“映像・音声メディア制御テーブル”に記述される。
【００２１】
上記の手法によって，映像・音声メディアに同期して外部アプリケーションを制御させるためのデータ，また外部アプリケーションに同期して映像・音声メディアを制御させるためのデータのオーサリングが可能になる。
【００２２】
本発明のオーサリングシステムでは，各データの入力が完了した後，制御部が管理する各テーブルに格納されているデータをもとに，それらのデータを，データファイル出力部において映像・音声メディアと任意の外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述フォーマットに変換し，その結果をデータファイルとして出力する。
【００２３】
まず，映像・音声メディアから外部アプリケーションを制御するためのデータファイルを出力する方法は，オーサリングによって作成された“時刻からの外部アプリケーション制御テーブル”とＳｅｎｄインターフェイステーブルを用い，この２つのテーブルのデータをもとに，映像・音声メディアから外部アプリケーションを制御するためのデータファイルを出力する。実際には“時刻からの外部アプリケーション制御テーブル”を１行ずつスキャンしていき，各行ごとのＸＭＬ（ｅｘｔｅｎｓｉｂｌｅ　ｍａｒｋｕｐ　ｌａｎｇｕａｇｅ）の要素を出力していく。この各行には，イベントを発生させる時刻とそのときに外部アプリケーションの動作の種類，必要ならば外部アプリケーションを動作させるための引数が記述される。
【００２４】
そして，外部アプリケーションから映像・音声メディアを制御するためのデータファイルの出力方法は，“映像・音声メディア制御テーブル”のデータをもとに，外部アプリケーションから映像・音声メディアを制御するためのデータファイルを出力する。実際には“映像・音声メディア制御テーブル”を１行ずつスキャンしていき，各行ごとのＸＭＬの要素を出力していく。この各行には外部アプリケーションから受信した情報とそのときに指し示す映像・音声メディアの再生位置が記述されている。この処理を繰り返すことでデータファイルが作成され，映像・音声メディアと任意の外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述を作成するオーサリングが完了する。
【００２５】
【発明の実施の形態】
図１に，本発明の実施形態に係るオーサリングシステムの構成例を示す。ここに示すオーサリングシステムは，映像・音声メディアと任意の外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述を生成するものである。
【００２６】
ここで，任意の外部アプリケーションの種類として，本型インターフェイスアプリケーションを対象とし，このオーサリングシステムにより，映像・音声メディアの再生位置情報から本型インターフェイスアプリケーションの制御を可能にし，また，本型インターフェイスアプリケーションのページ位置，または本型インターフェイスアプリケーション上の選択された文字や画像から，映像・音声メディアの再生位置の制御を可能にするアプリケーションを動作させるための記述を作成する例を説明する。
【００２７】
ここで述べる本型インターフェイスアプリケーションとは，本の外観をした表示により情報を提示するアプリケーションである。本型インターフェイスアプリケーションは，ページの概念を持ち，ページ上には文字や画像が配置されている。実際の本を閲覧すると同様にページをめくることで新しい情報を閲覧することができる。本型インターフェイスアプリケーションの例として，ＣｙｂｅｒＢｏｏｋ等がある。
【００２８】
また，ここで述べる映像・音声メディアと本型インターフェイスアプリケーションとを相互連動させるアプリケーションを，図２に示す。図２に示すように相互連動させるアプリケーション２２とは，映像・音声プレイヤー２０と本型インターフェイスアプリケーション２１との間に存在する。このアプリケーション２２は，データファイル６に格納された相互連動させるための記述２３をあらかじめ読み込んでおき，その記述に従って，映像・音声メディアの再生位置情報から本型インターフェイスアプリケーション２１の制御を可能にしたり，本型インターフェイスアプリケーション２１のページ位置，または本型インターフェイスアプリケーション２１上の選択された文字や画像から，映像・音声メディアの再生位置の制御を可能にするアプリケーションである。
【００２９】
本発明が対象とするオーサリングシステム１は，図２に示される相互連動させるための記述２３を生成するためのシステムである。
【００３０】
相互連動させるアプリケーション２２は，オーサリングシステム１が生成した相互連動させるための記述２３を解釈して実行することにより，映像・音声メディアから本型インターフェイスアプリケーション２１を，例えば次のように制御することができる。
（１）映像・音声メディアの再生位置に同期して，本型インターフェイスアプリケーション２１のページを進めたり，戻したり，所定のページを開いたりすることができる。
（２）映像・音声メディアの再生位置に同期して，本型インターフェイスアプリケーション２１に記述される文字の大きさ，フォント，スタイル，位置，網掛けを変化させたり，表示／非表示を設定したりすることができる。
（３）映像・音声メディアの再生位置に同期して，画像の大きさ，位置を変化させたり，表示／非表示を設定したりすることができる。
【００３１】
また，本型インターフェイスアプリケーション２１から，映像・音声プレイヤー２０を，例えば次のように制御することができる。
（１）本型インターフェイスアプリケーション２１のめくられたページの種類によって，映像の再生位置を制御することができる。
（２）本型インターフェイスアプリケーション２１中の特定の文字や画像を選択することで，映像の再生位置を制御することができる。
【００３２】
もちろん，本発明のオーサリングシステム１によって作成された記述による制御は，以上の制御に限られるわけではなく，種々の相互に連動させる制御が可能である。
【００３３】
図１において，本実施形態のオーサリングシステム１は，制御部１０，記述ファイル解析部１１，映像・音声再生部１２，外部アプリケーション実行部１３，ＧＵＩ検知部１４，表示部１５，データファイル出力部１６から構成される。また，制御部１０は，図１に示すように，オーサリングに必要な情報，オーサリングされた情報を管理するテーブルとして，Ａｃｃｅｐｔインターフェイステーブル１０１，Ｓｅｎｄインターフェイステーブル１０２，Ｇｅｔインターフェイステーブル１０３，時刻からの外部アプリケーション制御テーブル１０４，映像・音声メディア制御テーブル１０５を持つ。これらの各テーブルについの説明は後述する。
【００３４】
このオーサリングシステム１の入力情報として，記述ファイル解析部１１が入力する外部アプリケーションインターフェイス記述ファイル２，映像・音声再生部１２が入力する映像・音声ファイル３，外部アプリケーション実行部１３によって実行制御される外部アプリケーション４，ＧＵＩ検知部１４が入力するためのマウス等の入力デバイスがある。データファイル６は，オーサリングシステム１の出力である図２に示す相互連動させるための記述２３が格納されたファイルである。
【００３５】
まず，このオーサリングシステム１では，外部アプリケーションインターフェイス記述ファイル２を読み込むことで，外部アプリケーション４から受動的に取得する情報，制御する手段，能動的に情報を取得する手段を得る。
【００３６】
図３に，外部アプリケーションインターフェイス記述ファイル２の例を示す。この記述例は，大きく３つの項目に別れている。「Ｉｎｔｅｒｆａｃｅ：Ａｃｃｅｐｔ」，「Ｉｎｔｅｒｆａｃｅ：Ｓｅｎｄ」，そして「Ｉｎｔｅｒｆａｃｅ：Ｇｅｔ」である。
【００３７】
「Ｉｎｔｅｒｆａｃｅ：Ａｃｃｅｐｔ」の項目には，外部アプリケーション４（図２の本型インターフェイスアプリケーション２１）から受動的に取得する情報が記述されている。この例に記述されている「ＣｕｒｒｅｎｔＰａｇｅ：Ｉｎｔｅｇｅｒ−＞ａｌｉａｓ：”現在のページ”；」は，外部アプリケーション４（本型インターフェイスアプリケーション２１）のページが変化したときに，自動的に呼び出される関数を示す。
【００３８】
外部アプリケーション実行部１３において，外部アプリケーション４（本型インターフェイスアプリケーション２１）のページを変化させた場合に，この関数に現在開いているページの値が入力され呼び出されるものである。また，エイリアス（別名）として“現在のページ”と設定されていて，このエイリアスはオーサリング時にＧＵＩとして反映される。このエイリアスについては後述する。
【００３９】
「ＯｂｊｅｃｔＮｕｍｂｅｒ：Ｉｎｔｅｇｅｒ−＞ａｌｉａｓ：　”選択オブジェクト”；」は，外部アプリケーション実行部１３において，本型インターフェイスアプリケーション２１上の画像・文字が選択されたときに呼び出される関数である。選択された画像・文字を示す任意のＩＤ番号が入力され呼び出されるものである。
【００４０】
この「Ｉｎｔｅｒｆａｃｅ：Ａｃｃｅｐｔ」に記述されている情報は，制御部１０におけるＡｃｃｅｐｔインターフェイステーブル１０１に格納される。その情報が格納された例を図４（Ａ）に示す。図４（Ａ）に示すように，各カラムに，関数名，型，エイリアスがカラム名として管理される。
【００４１】
「Ｉｎｔｅｒｆａｃｅ：Ｓｅｎｄ」の項目には，外部アプリケーション４（本型インターフェイスアプリケーション２１）を制御する手段について記述されている。この例に記述されている「ＪｕｍｐＰａｇｅ（ＰａｇｅＮｕｍｂｅｒ：Ｉｎｔｅｒｇｅｒ）−＞ａｌｉａｓ：”ページジャンプ”；」は，外部アプリケーション４（本型インターフェイスアプリケーション２１）の任意のページを開く手段について記述している。「ＪｕｍｐＰａｇｅ」がこの手段の関数名であり，「ＰａｇｅＮｕｍｂｅｒ」が開くページ番号を示す引数であり，整数型を示している。
【００４２】
「ＣｈａｎｇｅＴｅｘｔＣｏｌｏｒ（ＯｂｊｅｃｔＮｕｂｍｅｒ：Ｉｎｔｅｇｅｒ，Ｃｏｌｏｒ：Ｈｅｘ）−＞ａｌｉａｓ：”テキスト文字色変化”；」は，本型インターフェイスアプリケーション２１上の文字の色を変化させる手段について記述している。「ＣｈａｎｇｅＴｅｘｔＣｏｌｏｒ」が，この手段の関数名であり，「ＯｂｊｅｃｔＮｕｍｂｅｒ」が画像・文字を示す任意のＩＤ番号を示す引数であり整数型である。また「Ｃｏｌｏｒ」が変化させる色を示す引数であり，整数型である。
【００４３】
これらの「Ｉｎｔｅｒｆａｃｅ：Ｓｅｎｄ」に記述されている情報は，制御部１０におけるＳｅｎｄインターフェイステーブル１０２に格納される。その情報が格納された例を図４（Ｂ）に示す。図４（Ｂ）に示すように，各カラムに，手段名，引数の数，引数の型，エイリアスがカラム名として管理される。ただし，引数の数に応じて，カラム数が増加して管理される。
【００４４】
「Ｉｎｔｅｒｆａｃｅ：Ｇｅｔ」の項目には，外部アプリケーション４（本型インターフェイスアプリケーション２１）から能動的に情報を取得する手段について記述されている。この例に記述されている「ＡｌｌＰａｇｅ：Ｉｎｔｅｇｅｒ−＞ａｌｉａｓ：”ページ数取得”；」は，本型インターフェイスアプリケーション２１の全ページ数を取得する関数であり，整数型を示している。この「Ｉｎｔｅｒｆａｃｅ：Ｇｅｔ」に記述されている情報は，制御部１０におけるＧｅｔインターフェイステーブル１０３に格納される。その情報が格納された例を図４（Ｃ）に示す。図４（Ｃ）に示すように，各カラムに，関数名，型，エイリアスがカラム名として管理される。
【００４５】
以上説明した外部アプリケーションインターフェイス記述ファイル２は，記述ファイル解析部１１で解析される。そして，解析された結果が制御部１０のＡｃｃｅｐｔインターフェイステーブル１０１，Ｇｅｔインターフェイステーブル１０３，Ｓｅｎｄインターフェイステーブル１０２に反映される。
【００４６】
オーサリング時のＧＵＩに，このＡｃｃｅｐｔインターフェイステーブル１０１，Ｇｅｔインターフェイステーブル１０３が反映された例を，図５に示す。図５に示されるオーサリングのＧＵＩ例では，外部アプリケーションインターフェイス記述ファイル２に記述されている「ＡｃｃｅｐｔＩｎｔｅｒｆａｃｅ」が受信情報の欄に展開される。「ＣｕｒｒｅｎｔＰａｇｅ」，「ＯｂｊｅｃｔＮｕｍｂｅｒ」がエイリアスを反映されて“現在のページ”，“選択オブジェクト”と記述される。このＧＵＩに記述される“現在のページ”，“選択オブジェクト”の欄は，外部アプリケーション実行部１３において実行されている本型インターフェイスアプリケーション２１のページが変化した時，またはオブジェクトが選択された時に，それぞれの値が欄に入力される。
【００４７】
この例では，第３ページが開かれたので，受信情報の現在のページに３が入力され，ＩＤ＝７を持つオブジェクトが選択された時に選択オブジェクトの欄に７が入力される。
【００４８】
また，外部アプリケーションインターフェイス記述ファイル２に記述されている「ＧｅｔＩｎｔｅｒｆａｃｅ」が，取得情報の欄に展開される。ここでは「ＡｌｌＰａｇｅ」のエイリアス“ページ数取得”が反映されてボタンとなっている。このボタンを押すことで，外部アプリケーション実行部１３において実行されている本型インターフェイスアプリケーション２１の総ページ数を取得し，その値をページ取得の欄に反映する。
【００４９】
これらの値を参考にすることで，本型インターフェイスアプリケーション２１の各種情報を簡単に取得することができ，オーサリング時の入力を支援することができる。
【００５０】
次に，映像・音声メディアに同期して，外部アプリケーション４である本型インターフェイスアプリケーション２１を制御させるためのオーサリングについて説明する。
【００５１】
このオーサリングでは，映像の時刻とその時に外部アプリケーション４がどのように動作するかを記述する必要がある。このオーサリングのＧＵＩ例を，図６に示す。
【００５２】
映像・音声メディアの時刻を決定する方法は，映像・音声再生部１２に示される時刻を，時刻からの外部アプリケーション制御テーブル１０４にキーデバイス等を用いて直接入力することにより決定する。または，マウス等のデバイスを用いて自動的に映像・音声再生部１２の現時刻を時刻カラムに反映する。
【００５３】
映像・音声の時刻を決定した後に外部アプリケーション４の動作を決定する方法では，入力すべきテーブルの欄をマウス等の入力デバイスで選択すると，外部アプリケーション４の動作可能な選択項目のリストが表示される。
【００５４】
この選択項目リストの表示では，図４（Ｂ）に示されるＳｅｎｄインターフェイステーブル１０２のエイリアスカラムの値がリストとして表示される。この表示された選択項目リストから任意の動作を選択することで，選択された内容が，時刻からの外部アプリケーション制御テーブル１０４に反映される。このテーブルの例を，図７に示す。
【００５５】
選択された内容（外部アプリケーションを制御するする手段）に引数が必要な場合には，引数の入力のためのテーブル欄が自動的に作成され，その欄に必要な引数を入力する。必要ない引数の欄は，図７（Ｂ）に示すように入力できなくなる。この欄に記述することによって，映像・音声メディアに同期して外部アプリケーション４を同期させる１つのイベントの設定が完了する。このテーブルに記述された内容は，制御部１０における，時刻からの外部アプリケーション制御テーブル１０４に反映される。
【００５６】
次に，任意の外部アプリケーション４（本型インターフェイスアプリケーション２１）に同期して映像・音声プレイヤー２０を制御させるためのオーサリングについての例を説明する。
【００５７】
まず，図４（Ａ）に示されるＡｃｃｅｐｔインターフェイステーブル１０１の行の数だけオーサリング時に必要な入力テーブルが作成される。この例では，２つのテーブルが作成されることになる。この作成された２つのテーブルを，図８に示す。
【００５８】
図８（Ａ）に示されるように，本型インターフェイスアプリケーション２１の現在のページと映像・音声メディアの再生位置とを連動させるためのテーブルと，図８（Ｂ）に示されるように，本型インターフェイスアプリケーション２１上で選択されたオブジェクトのＩＤと映像・音声メディアの再生位置を連動させるためのテーブルの２つが作成される。
【００５９】
１つ目のテーブルのカラム“現在のページ”には，キーデバイス等を用いて直接入力するか，または図５に示す受信情報の欄の現在のページの値を自動的に入力することで，入力支援することができる。２つ目のテーブルのカラム“選択オブジェクト”には，キーデバイス等を用いて直接入力するか，または図５に示す受信情報の欄の選択オブジェクトの値を自動的に入力することで，入力支援することができる。このテーブルに記述された内容は，制御部１０における，映像・音声メディア制御テーブル１０５に反映される。
【００６０】
上記の手法によって，映像・音声メディアに同期して本型インターフェイスアプリケーション２１を制御させるためのデータ，また本型インターフェイスアプリケーション２１に同期して映像・音声メディアを制御させるためのデータのオーサリングが可能になる。
【００６１】
最後に，本オーサリングシステムは，制御部１０が管理する各テーブルに格納されているデータをもとに，データファイル出力部１６において，これらのデータを，映像・音声メディアと任意のアプリケーションとを相互連動させるためのアプリケーションを動作させるための記述フォーマットに変換し，データファイル６として出力する。
【００６２】
図９および図１０に従って，映像・音声メディアから外部アプリケーション４を制御するためのデータファイル６の出力方法を説明する。図９は，オーサリングによって作成された時刻からの外部アプリケーション制御テーブル１０４とＳｅｎｄインターフェイステーブル１０２の例，図１０は，データファイル出力処理の例を示している。
【００６３】
図９の（Ａ）および（Ｂ）に示す２つのテーブルのデータをもとに，映像・音声メディアから外部アプリケーション４を制御するためのデータファイル６を出力する。そのため，データファイル出力部１６では，図１０に示すように，時刻からの外部アプリケーション制御テーブル１０４を１行ずつスキャンしていき，各行ごとのＸＭＬの要素を出力していく。例えば１行目からは「　＜ｆｕｎｃ　ｎａｍｅ＝”ＪｕｍｐＰａｇｅ”ｂｅｇｉｎ＝”３．０ｓ”　ｖａｌ＿１＝”１”／＞」が出力される。これは，時刻からの外部アプリケーション制御テーブル１０４に記述されている外部アプリケーション動作のページジャンプの実際の手段名をＳｅｎｄインターフェイステーブル１０２から参照し，ｎａｍｅ属性に「ＪｕｍｐＰａｇｅ」を記述することによって行う。また，時刻の値をｂｅｇｉｎ属性，引数の値をｖａｌ＿１属性に入力してタグを閉じる。この処理を繰り返すことで，図１０に示すようなデータファイル６が作成される。
【００６４】
すなわち，データファイル出力部１６は，ステップＳ１〜Ｓ４を，時刻からの外部アプリケーション制御テーブル１０４に記述されている行の数だけ繰り返す。まず，ステップＳ１では，時刻からの外部アプリケーション制御テーブル１０４の外部アプリケーション動作の名前からＳｅｎｄインターフェイステーブル１０２を参照し，手段名と引数の数を調べる。ステップＳ２では，ＸＭＬのＦｕｎｃ要素の中のｎａｍｅ属性に手段名を記述する。次に，ステップＳ３では，ＸＭＬのＦｕｎｃ要素の中のｂｉｇｉｎ属性に時刻を記述する。続いて，ステップＳ４では，ＸＭＬのＦｕｎｃ要素の中に引数の数だけｖａｌ属性を作成し，引数の値を記述するｂｉｇｉｎ属性に時刻を記述する。図９（Ａ）の時刻からの外部アプリケーション制御テーブル１０４では，これを３行分繰り返す。
【００６５】
図２に示す相互連動させるアプリケーション２２は，図１０の出力例に示されるデータファイル６を解釈し実行することにより，映像・音声メディアの再生から３秒後に本型インターフェイスアプリケーション２１の第１ページ目を開き，９秒後に本型インターフェイスアプリケーション２１の第１０番目のテキスト文字列の色を　”ＦＦＥＥＡ０”の色に変化させ，２７秒後に本型インターフェイスアプリケーション２１の表示が第３ページ目にジャンプするように，本型インターフェイスアプリケーション２１を制御することができる。
【００６６】
図１１〜図１３に従って，外部アプリケーションから映像・音声メディアを制御するためのデータファイルの出力方法を説明する。図１１は，オーサリングによって作成された２つの映像・音声メディア制御テーブル１０５の例，図１２は，データファイル出力処理の例，図１３は，外部アプリケーションから映像・音声メディアを制御するために出力されたデータファイル６の例を示している。
【００６７】
図１１の（Ａ）および（Ｂ）に示すオーサリングによって作成された２つの映像・音声メディア制御テーブル１０５をもとに，外部アプリケーション４から映像・音声メディアを制御するためのデータファイル６を出力する。そのため，データファイル出力部１６は，図１２に示すように，映像・音声メディア制御テーブル１０５を１行ずつスキャンしていき，各行ごとのＸＭＬの要素を出力していく。例えば図１１（Ａ）に示す映像・音声メディア制御テーブル１０５の１行目からは「＜ｅｖｅｎｔ　ｎｕｍｂｅｒ＝”１”＞　＜ｃａｌｌ　ＦｕｎｃＮａｍｅ＝”ＭｏｖｉｅＰｏｓｉｔｉｏｎＣｈａｎｇｅ”ｖａｌ＿１＝”１５”／＞　＜／ｅｖｅｎｔ＞」が出力される。
【００６８】
これは，映像・音声メディア制御テーブル１０５に記述されている現在のページの値，または選択オブジェクトの値をｅｖｅｎｔ要素のｎｕｍｂｅｒ属性に記述することによって行う。また，Ｃａｌｌ要素のＦｕｎｃＮａｍｅ属性に映像・音声再生部１２で再生されているメディアの再生位置を変化させる関数名ＭｏｖｉｅＰｏｓｉｔｉｏｎＣｈａｎｇｅを記述し，その引数の値を指すｖａｌ属性に映像・音声メディアの再生位置を入力してタグを閉じる。この処理を繰り返すことで，図１３に示すようなデータファイル６が作成される。
【００６９】
すなわち，データファイル出力部１６は，ステップＳ１１〜Ｓ１３を，映像・音声メディア制御テーブル１０５に記述されている行の数だけ繰り返す。まず，ステップＳ１１では，映像・音声メディア制御テーブル１０５の外部アプリケーション動作の名前からＳｅｎｄインターフェイステーブル１０２を参照し，手段名と引数の数を調べる。ステップＳ１２では，ＸＭＬのｅｖｅｎｔ要素の中のｎｕｍｂｅｒ属性に時刻を記述する。次に，ステップＳ１３では，ＸＭＬのｅｖｅｎｔ要素のＣａｌｌ要素中のＦｕｎｃＮａｍｅ属性に，映像・音声メディアの位置を記述する。これによって，図１３に示すデータファイル６が出力され，オーサリングは完了する。
【００７０】
図２に示す相互連動させるアプリケーション２２は，図１３の出力例に示されるデータファイル６を解釈し実行することにより，本型インターフェイスアプリケーション２１の現在のページが第１ページである場合には，映像・音声メディアを１５秒目の位置から再生させ，第３ページである場合には，映像・音声メディアを２５秒目の位置から再生させ，第５ページである場合には，映像・音声メディアを３５秒目の位置から再生させるよう，映像・音声プレイヤー２０を制御することができる。
【００７１】
また，本型インターフェイスアプリケーション２１において表示しているＩＤ＝７のオブジェクトが選択されると，映像・音声メディアを６秒目の位置から再生させ，表示しているＩＤ＝１０のオブジェクトが選択されると，映像・音声メディアを２７秒目の位置から再生させるよう，映像・音声プレイヤー２０を制御することができる。
【００７２】
以上のオーサリングシステム１による処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスク等の適当な記録媒体に格納して，そこから読み出すことによりコンピュータに実行させることができる。
【００７３】
【発明の効果】
以上説明したように，本発明のオーサリングシステムでは，外部アプリケーションインターフェイス記述ファイルを用いて，任意の外部アプリケーションを制御するための情報を解析し，外部アプリケーションを制御する手段，外部アプリケーションから送信されてくる情報を受信する手段，外部アプリケーションへ問い合わせ，情報を取得する手段のテーブルをそれぞれ作成し，データを入力する際に，外部アプリケーションの情報を問い合わせ，その外部アプリケーションの情報を一覧表示し，その情報をもとに外部アプリケーションの情報をオーサリング時の入力選択欄に反映することで，オーサリングの効率を上げることができる。
【００７４】
また，映像・音声メディアの時刻に対して，任意の外部アプリケーションをどのように連動させるかの情報を格納するテーブル，任意の外部アプリケーションの任意のオブジェクトが選択されたときに，映像・音声メディアの時刻を制御する情報を格納するテーブル，任意の外部アプリケーションが進行状態の概念（映像音声メディア等の時間，またはページなどの進行状態）を持つ場合に，進行状態の値に対して映像・音声メディアの時刻を制御する情報を格納するテーブルにオーサリングされたデータを記録し，各テーブルに格納されているデータを，映像・音声メディアと任意のアプリケーションとを相互連動させるアプリケーションを動作させるための記述フォーマットに変換し，出力することができる。
【００７５】
したがって，従来，エディタ等によって記述していた映像・音声メディアと任意の外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述の作成を，オーサリングに必要な最小限の定義情報を入力するだけで，ＧＵＩを利用して簡易に作成することができるようになる。例えば，本型インターフェイスアプリケーション等については，書籍の状態を取得し，簡易に映像・音声プレイヤーと相互連動させるための記述を，簡易に編集することが可能になる。
【図面の簡単な説明】
【図１】本発明のオーサリングシステムの構成例を示す図である。
【図２】映像・音声メディアと本型インターフェイスアプリケーションとを相互連動させるアプリケーションを示す図である。
【図３】外部アプリケーションインターフェイス記述ファイルの例を示す図である。
【図４】Ａｃｃｅｐｔインターフェイステーブル，Ｓｅｎｄインターフェイステーブル，Ｇｅｔインターフェイステーブルの例を示す図である。
【図５】Ａｃｃｅｐｔインターフェイステーブル，ＧｅｔインターフェイステーブルをオーサリングＧＵＩに反映した例を示す図である。
【図６】映像・音声メディアに同期して外部アプリケーションを制御するオーサリングＧＵＩの例を示す図である。
【図７】映像・音声メディアに同期して外部アプリケーションを制御するオーサリングＧＵＩの例を示す図である。
【図８】外部アプリケーションに同期して映像・音声メディアを制御するためのオーサリングＧＵＩの例を示す図である。
【図９】オーサリングによって作成された時刻からの外部アプリケーション制御テーブルとＳｅｎｄインターフェイステーブルの例を示す図である。
【図１０】データファイル出力処理の例を示す図である。
【図１１】オーサリングによって作成された２つの映像・音声メディア制御テーブルの例を示す図である。
【図１２】データファイル出力処理の例を示す図である。
【図１３】外部アプリケーションから映像・音声メディアを制御するために出力されたデータファイルの例を示す図である。
【符号の説明】
１　　オーサリングシステム
１０　制御部
１１　記述ファイル解析部
１２　映像・音声再生部
１３　外部アプリケーション実行部
１４　ＧＵＩ検知部
１５　表示部
１６　データファイル出力部
１０１　Ａｃｃｅｐｔインターフェイステーブル
１０２　Ｓｅｎｄインターフェイステーブル
１０３　Ｇｅｔインターフェイステーブル
１０４　時刻からの外部アプリケーション制御テーブル
１０５　映像・音声メディア制御テーブル
２　　外部アプリケーションインターフェイス記述ファイル
３　　映像・音声ファイル
４　　外部アプリケーション
５　　入力デバイス
６　　データファイル
２０　映像・音声プレイヤー
２１　本型インターフェイスアプリケーション
２２　相互連動させるアプリケーション
２３　相互連動させるための記述
【図１】
2004007128.tif 000003
【図２】
2004007128.tif 000004
【図３】
2004007128.tif 000005
【図４】
2004007128.tif 000006
【図５】
2004007128.tif 000007
【図６】
2004007128.tif 000008
【図７】
2004007128.tif 000009
【図８】
2004007128.tif 000010
【図９】
2004007128.tif 000011
【図１０】
2004007128.tif 000012
【図１１】
2004007128.tif 000013
【図１２】
2004007128.tif 000014
【図１３】
2004007128.tif 000015