The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005

3D2-04

遠隔教育のためのタイムベースメディア部品と教材の連携と同期
Linkage and Synchronization between Time-Based Media Parts and Teaching Materials for e-Learning
野口 孝文*1
Takafumi NOGUCHI
*1

釧路高専

Kushiro National College of Technology
Using IntelligentPad system which can dynamically compose the objects visualized on the screen and program it, we havedeveloped the computer-aided instruction system which can re-edit the educational material freely. In this article we
propose a framework to be necessary for development of the interactive teaching materials associated with an animation. Inthis system, we can edit the media component of the system dynamically even if teaching materials are synchronizing withthe movie.

1. はじめに本論では，動画と連携して動作するインタラクティブな教材の開発に必要なフレームワークを開発したことについて述べる．
遠隔授業やコンピュータ学習教材などのディスプレイに教材を提示する e-Learning では，解説に動画を用いることが多い．
動画を表示するシステムでは，動画の解像度や表示画面の大きさの制約から，別に図や文書，式などの静止画を動画に同期しながら表示するシステムもある[Wang 03]．また，SMILE は異なるメディアを同期させる規格の一つであるし，マイクロソフトのProducer はオーサリングシステムの一つである．このように，異なるメディアを組み合わせて同時にタイミングを合わせて表示することは一般的に行われている．しかし，これらのシステムが扱うメディアは，動画，静止画，音，文書などを組み合わせた静的なオブジェクトが対象である．再生途中で，構成するオブジェクトを変更することはできない．
本論で提案するシステムは，教材を複数のメディアの連携で実現し，利用途中で構成するメディアをダイナミックに他の教材と連携して用いることが可能である．これにより，つぎのことが可能になる．
• システムを利用した学習の途中（動画を停止した状態）でも，連携している教材を用い試行錯誤ができる．
• 教材開発時に動画の編集と教材の編集を独立して行える．
• 同じ教材に対し動画データのみを入れ替えて利用することができる．
等のことが可能になる．本論では，以上のことを実現する仕組
みと，これを利用した教材について述べる．第２章では，われわれが開発してきた学習支援システムのプラットフォームについて述べる．第３章では，今回開発した動画表示オブジェクトについて述べ，これまでに開発した教材との連携について述べる．第４章では，動画ファイルに同期情報を付加するオーサリングツールについて述べる．また，動画と連携させた教材の例を示す．

2. ダイナミックメディアオブジェクト
2.1 IntelligentPad システムIntelligentPad は，可視化したオブジェクト（パッド）を紙と同様の貼り合わせの操作によってダイナミックに連携するシステムで連絡先：野口孝文，釧路高専，〒084-0916 釧路市大楽毛西2-32-1，Tel:0154-57-7315， noguchi@kushiro-ct.ac.jp

ある．パッドは，任意に貼り合わせができるように，パッド間のメッセージが標準化されている．またパッドは，データを保持するための他のパッドから可観測なスロットを複数定義する事ができ，パッドどうしをスロット結合させることによって，データ交換することができる．図１に示すように，スロット結合は，オーディオ装置の信号ケーブルを接続するのと同様に考えることができる．パッドは，スロット結合によって，それぞれの機能を併せ持った複合オブジェクト（複合パッド）を作ることができる．
図１で，貼り合わされた直上のパッドを親パッド，直下のパッドを子パッドと呼ぶ．子パッドのスロットの１つを親パッドのスロットに結合でき,これを主スロットと呼ぶ．スロットは，数値や文字列といったデータを保存できると同時に，パッド同士がスロット結合することによってパッド間でデータ更新等のメッセージを伝える役割を持つ．

P1
主スロット
スロット
スロットの結合

子パッド

P2
親パッド

図１

パッド貼り合わせとの機能合成

2.2 動画と教材との連携
動画にあわせたテキストの切り替え表示は，従来システムにおいても実現できていた．しかし，動画の中の解説者がさし棒を用いて説明するように，コンピュータ上のマウスカーソルを動画に同期させてアニメーション表示することまでは行ってこなかった．このことは，コンピュータやネットワークの速度といったハードウエア的な問題ではなく，動画を含むオブジェクト間のイベントやデータ交換に関する標準化が行われていないことに起因する問題である．これが実現できれば，シミュレーションと同期した解説や，ユーザの設定によってダイナミックに変化するシミュレーション結果と動画のタイミングを合わせることが容易になる．
連携を実現するためには，動画のもつ内部情報，たとえば再生位置情報を取り出す必要がある．また，その情報とシミュレーションを連携させるのに必要な対応情報や，動画の制御機能の利用も必要になる．さらに教材作成を容易にするためには，これらのデータへのアクセスを容易にする必要がある．

-1-

The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005
IntelligentPad では，パッド間のデータやメッセージを標準化しているため，自由にパッドを組み合わせることができる．動画もパッド化することによって内部情報がスロット化でき，他のパッドとの連携が容易になる．このことは，次章で述べる．

QuickTime パッド

3. メディアオブジェクトとスロット
タグ位置の指定

3.1 QuickTime パッドとスロット
提 案 の シ ス テ ム で は ， 動 画 に QuickTime を 用 い た ．
QuickTime は，アップル社が開発した動画技術で，開発キットも公開されている．QuickTime が扱うデータには，動画データや音声データのほか，テキストデータ，MIDI データなど多数ある．
QuickTime はこれらのタイムベースデータをトラックと呼んでいる．
テキストトラックは，タイム情報に合わせて文字列が保存でき，映画の字幕のように再生することができる．本システムでは，テキストトラック，再生位置，コントロール，URL，ファイル名等をスロット化したビデオ表示機能を持つ QuickTime パッドを作成した．QuickTime パッドが動画データを読み込むと，そのテキストトラックに記録した文字列は，再生位置に合わせてテキストスロ
ットに設定されるようになる．また，テキストスロットに文字列を設定することで，テキストトラック上に文字列を検索し，再生位置をその位置まで移動させるようにもしてある．本テキストスロットとスロット結合することで，容易に動画との連携が可能になる．

3.2 テキストトラックを利用したビデオとの同期
QuickTime パッドでは，再生位置を[0,1]に正規化して表す．
この再生位置データをもとに他のパッドの動作を同期させることが可能である．しかし，動画データを変更すると，連携するパッドにも変更が必要になる．そこで，本システムでは，図２に示す
ように，動画に同期したテキストトラックにタグデータを記録し，そのタグとタグの間の時間をさらに[0,1]で正規化して用いることにした．このようにすることで，動画に変更があっても，タグ間の時間をあらかじめ読み出しておけば，タグ位置から連携するパッドを変更することなしに同期させることができる．さらに，パッドの操作からタグを指定して動画の再生位置をタグのある位置まで移動させることもできる．

タグの指定

図２

テキストトラックの編集

4.2 動画と連携した教材
動画とアニメーションプログラムを連携させた教材の例を図４に示す．図４において，QuickTime パッドのテキストトラックスロッ
トと再生位置スロットが，タグデータ変換パッドの同様の名前のスロットにそれぞれ結合している．タグデータ変換パッドは，前節で述べたオーサリングツールで自動生成したスクリプトによって制御されている．このパッドは，入力されたタグデータがあらかじめ記録してあるタグ名と一致する範囲にあるとき，再生位置データを[0,1]に正規化して，スロットに出力する機能を持っている．図４の例では，この正規化された値は，シミュレーションパッドに送られ値が変換され，さらにその値がアニメーションパッドに送られてアニメーションとして表示される．図４の中の太い矢印は，このデータの流れを表している．
図４は，振り子の動画とアニメーションを同期させる例を示している．アニメーションパッドは単独で動作でき，その結果を他のパッドで利用することができる．試行錯誤で利用した後も動画を再生すればそれに同期してアニメーション表示される．
QuickTime パッド

アニメーションパッド
その他のツールパッド

ビデオ
<A>

テキスト
再生位置データタグ間を正規化
図２

タグデータ

↑0.123↑0.000</A>
タグデータ変換パッド↑0.246↑1.000

テキストトラックのタグによる再生位置指定

4. 教材との連携
4.1 オーサリングツールの開発
図３は，テキストトラックデータを編集するためのオーサリングツールである．本ツールには，動画画像を再生しながら，タグの設定位置を決めそのタグ位置情報をファイルに保存する機能がある．QuickTime の動画ファイルに対するテキストトラックの付加は，保存したタグ位置情報ファイルを QuickTime のツールを用いて取り込むことで実現する．また本ツールには，タグデータと再生位置データを基に，タグ間の位置情報を正規化した値を出力するのに必要なスクリプトを生成する機能もある．このスクリプ
トは，QuickTime パッドと教材の連携のインタフェースとして用いる．本ツールと QuickTime のツールを用いて作成した動画ファ
イルと教材ツールの連携について次節で述べる．

図３

シミュレーションパッド
動画と教材の連携

5. おわりに本論では，動画と連携して動作するインタラクティブな教材の開発に必要なフレームワークを開発したことについて述べた．
動画データにタグデータを埋め込むことによって，タグ間で再生する動画に同期でしてアプリケーションを動作させることができるようになった．
現在，スクリプト生成時にタグ名とそのときの再生位置データを組み込んでいるが，将来は，QuickTime パッドから直接テキストトラック情報を取り出すことで対応する予定である．

参考文献[Wang 03] Wang, F. et. al.,: Synchronization of Lecture Videoand Electronic Slides by Video Text Analysis，ACM MM’03,
pp. 315-318, 2003．

-2-