２．COM コーナー

誰でもできるマルチメディア授業、その２―SMIL による動画・プレゼンテーションの同期―
A Simple Way to Construct Multimedia Lectures, Part 2.
Synchronization between Movie and Presentation by SMIL
文学部

非常勤講師

奥山徹（朝日大学経営学部）
概要
前回[1]は、マルチメディア授業を展開するための手軽なツールを２つ紹介した。それらのツールを使うことで、PowerPoint のプレゼンテーションや WWW のホームページによる資料公開とは違った側面でのマルチメディア授業を展開できる可能性を示唆した。しかしながら、これらは単独で使ってもそれほど意味はなく、たとえば授業を撮影した動画と同期をとりながら利用することで、「授業をよりよく再現できる」、「自習用のオンデマンド教材が作成できる」といったより有機的な利用が可能となる。そこで、今回は、前回利用したツールの中から画面キャプチャリングソフトウェアを使った PowerPoint のスライドデータを動画と同期させて組み合わせる仕組みについて考える。
１．はじめに面あるいは遠隔教育にこだわることなく、現在、多くの大学で社会人や一般家庭の授業内容をオンデマンドで取り寄せ、それ人々を受け入れるプロジェクトが社会人のについてたとえば電子メールのような非同再教育あるいは生涯教育の一環として実現

期媒体をなどの種々の方法で議論することされつつある。しかしながら、特に勤めをを可能とした学習方法である。

持つ人々にとって、時間と場所が限定され残念ながら、このような学習方法は現在る授業形態では、なかなか受講の機会を得では補助的な手段として扱われており、たられないのが現実である。

とえば同期的な教育がある程度の比率で行

そこで、多くの大学が様々な工夫を凝らわれない限り大学の単位として認定するのし、たとえば遠隔教育を取り入れるなどしは現在の制度上は難しい。しかしながら、て、時間と場所の制約を幾分でも緩和する

今後は増大する社会人や一般人の学習需要ことを試みている。しかし、そのような努を満たすためには、少なからず非同期的な力にもかかわらず、現在のシステムでは受授業を採用していく必要がある。

講することが難しいと考えている人は少なからず存在する。

そこで、問題となるのが、このような非同期的なオンデマンド教材をどのようにしそのような人々の需要を満たす一つの方て作成するかということである。著者は法として、非同期型の授業形態を模索する

1996 年度から始まった豊橋技術科学大学

動きがある。これは、必ずしも同期的な対の MUPS（Multimedia University Pilot

Study）[2]において、授業をスタジオ収録ション資料を使うなど、通常の授業よりマする場合の費用と労力が膨大なものである

ルチメディア化されていることを前提としことを経験した。ている。

そこで、通常行われている授業を簡単にオンデマンド教材とすること考え、これま【授業内容】で種々の試みを行ってきた。前回と今回述

授業内容も通常授業を想定しており、特べている内容もその一部である。実際にビにオンデマンド教材用のアレンジされたもデオに落とした授業内容と資料として使用のではない。また、ビデオはあくまでも音した種々の材料を人海戦術で組み合わせる

声による講述内容を中心としたものであり、ことで、多くの場合ビデオ教材を作成する

映像はオンデマンド教材としての授業内容ことは可能である。しかしながら、人が介を補助するものであると位置付ける。

在するプロセスは費用対効果はあまりよくなく、さらにアルバイトなどを使っている【オンデマンド教材】

場合は、成果物の品質を管理することが重非同期での遠隔授業の中心をなす教材で要であり、そのために余分な労力をかけなあり、現実に講述された授業の内容を忠実ければならない。に再現できるものであり、次の各要素を含ビデオ教材自動生成の目的はそのようなむ。

現実的な問題点を検討することで、いかに（１） 講師により講述された内容に関す人が介在するプロセスを少なくし、しかもるデジタル化された動画。この中で間違わないように規格化することである。

重要な要素は音声が明瞭に聞こえそれにより、短期間で多数のオンデマンドることであり、画像は補助的なものビデオ教材を作成することが可能であると考えている。
そこで、本報告はそのためのひとつのアイデアを示し、現実に小さな試作システムを稼動させた結果を示すものである。とする。
（２） 授業に使用された PowerPoint のス
ライドなどのマルチメディア化された教材。
（３） （１）の動画と（２）の教材間の時間的な同期情報。

２．基本的概念
具体的な話に入る前に、本報告で用いる（４） その他、授業の各種の静的な情報を集めたデータベース。

基本的概念について確認する。
３．動画とプレゼンテーション教材の時間
【対象】

同期

本報告において対象とするものは、あくさて、前節の基本概念の中で、オンデマまでも通常行われている授業の内容であり、ンド教材が非同期の遠隔授業を構成する中特別にアレンジされたものではない。ただ心的な存在と考えている。この中で動画とし、たとえば PowerPoint のプレゼンテー

プレゼンテーションのための教材との時間

synchronization
図１．動画とプレゼンテーション教材の時間同期的な同期情報を要求している。ここでは、ミスを完全に排除することは難しい。そのはじめに時間的な同期の概念を解説する。

ために、何らかの手段で同期データを自動

図１は時間同期の概念を示している。す的に収集する必要がある。

なわち、時間同期とは動画上で講述されている内容に応じたプレゼンテーション教材

４．自動化への基本的なアイデア

が、明確にしめされることである。ここで同期データの自動化への基本的なアイデの教材は、同画面上で表示されるだけではアは前回報告した画面キャプチャリングソだめで、再利用可能な状態で学生に提示さフトウェアを活用することである。すなわれなければならない。なぜなら、このようち、画面キャプチャリングソフトウェアはなデジタル化されたマルチメディア教材は、プレゼンテーションを表示しているパソコ

そのまま電子的な学生のノートブックシス

ンの画面をすべて、ある一定時間間隔でデテムに挿入できるべきであると考えている。

ィスク上に保存してくれる。そこで、図２

なお、ここで、電子的なノートブックシスに示したように、ネットワーク上で NTPテムとは難しく考える必要はなく、たとえ（Network Time Protocol）[3]により時間ば MS-WORD のようなワードプロセッサ同期が取れたコンピュータを使い、それらでも十分な機能を果たすことが考えられる。の上で動画とプレゼンテーション教材の画問題は、このような動画とプレゼンテー面キャプチャリングを行う。このようにしション教材の時間同期データをどのようにて動画の進行とキャプチャされた画面の時収集するかということである。人手による間同期を取ることができる。

収集はもっとも効率よいと思われがちであるが、作業者の錯誤や怠慢による人為的なLAN
動画のキャ
プチャ

動画用PC

ビデオカメラ

プレゼン用PC

時間の同期

タイムキーパー（NTPサーバ）
教材のキャプチャ

プロジェクタ

図２．全体のシステム構成
ところで、この段階では、ただ単にキャ存する容量として約 270M バイトが必要でプチャされたデータをそのまま組み合わせあり、たとえば平均的な PowerPoint のフることで時間同期をとることができるだけァイルの平均容量が 270k バイトと仮定すである。すなわち、ビデオカメラからのキると、1,000 倍の容量を必要とする。そこャプチャされた動画と同時に教材として提で、これらの画像から、変化した画像とそ示されている画面表示をすべてキャプチャの変化した時刻を抽出することでデータをしたデータの両者をそのままつなぎ合わせ圧縮する。つまり、PowerPoint のようなスているだけに過ぎない。特に、キャプチャライド型のデータは図３に示すような時系された画面データは膨大な量となるために、列データとして記録される。ここから、以このままでは保存するために大量のディス下に示すアルゴリズムにより、自動的に変ク容量を必要とする。たとえば単純に試算化した画像と時刻を抽出する。

すると次のようになる。
＜ディスク容量の試算＞
・ 90 分授業を考える・ キャプチャ間隔は１秒とする
1) 必要画像数 90×60=5,400 枚

初期時刻t0、初期画像g0

ある時間t1で画像g1に変化

・ 1 枚の画像の平均的容量を 50k バ
イトとする
2) 5,400×50,000=270,000,000
すなわち、１つの授業の教材データを保図３．キャプチャ画像の時系列変化

図４．変化中のスライドのキャプチャ＜同期データ取得アルゴリズム＞

計されたものであり、独立した言語という（１） 表示画面を一定時間（最短１秒）ごよりは XML(Extensible Markup Language)[5]とに収集の一部として定義されている。

（２） 画面データを適当な領域に分割し、変化量を測定（３） 変化のあった画像の集合を G とし、５．画像集合 G の決定方法
ところで、画像集合 G をどのように決定そのときの計測時間の集合を T とするかは重大な問題を含む。一つは、画面するキャプチャリングにおける問題であり、他（４） G とそれと同期した時間集合 T へののものはどこまで詳細に画面の変化を捉え写像は全単射となるので、G の i 番るかの問題である。これらはいずれも、＜目の要素 gi の像である ti の時刻を同期データ取得アルゴリズム＞におけるSMIL にて組み込む（２）のステップに変化量の測定に間する（５） これにより、動画とプレゼンテーシ

ョン資料の同期が取れる
以上のアルゴリズムにより、時系列で変化する画像集合 G とそれと同期する時刻集問題点である。すなわち、変化量の測定は、次のようにしておこなっている。
＜変化量計測アルゴリズム＞（１） 初期画像（24 ビット BMP 等）を 8合 T がえらえる。G の要素と T の要素は１ビットの BMP 画像に変換する対１に対応する（全単射な）ので、T の各（２） 画像を決められた n 個の区分に分割

要素の時刻に G の対応する要素の画像をプ
レゼンテーション資料として、図１に示しする（３） 分割された画像のビットマップ上たように動画と同期して表示すればよい。の RGB で示される特性ベクトルの線SMIL(Synchronized Multimedia Integration

形結合を取り、それをその区分の特Language)[4]はそのための言語系として設性値とする

図５．書き込み状態のスライドのキャプチャ（４） i 番目の画像 gi とその次の画像く記録するかを決定することである。たとgi+1 特性値に変化のあった区分をえば、図５はスライドの変化中の状態をペ計数するンでハイライトした画像を示している。こ（５） 計数した値がある一定比率 m 以上の程度の書き込みであれば、書き込み前のであれば変化したと認識する

スライドと書き込み後のスライドの２枚がキャプチャされることが多いが、場合によ

前者については、1 秒間隔のキャプチャっては書き込み中のスライドが数枚にわたリングにおいて、しばしば図４に示すようりキャプチャされることがある。このような事態が起きる。すなわち、2 つの画像のな中間状態の画像をどのように取り扱うの変化している状態をキャプチャしてしまう。

か決定する必要がある。また、これらの画

VRAM へ の 画 像 デ ー タ の 書 き 込 み が像を自動的に排除する方法を同時に考える

DMA(Direct Memory Access)によって瞬必要がある。

時に切り替わるなら 1 秒という間隔ではこのような事態は起きない。しかし、６．スライドのロスト問題

PowerPoint の画像書き換えモードではメ次に、現在のアルゴリズムではスライドモリー上に蓄えられた画像情報を VRAMがロストするという他の問題を抱えている。

上に瞬時に送るわけではないので、図に示

たとえば、多くのスライドを用意しすぎたしたような問題がおきる。つまり、２つのために、あるスライドの表示時間がキャプスライドが切り替わりつつある中間状態のチャ間隔以下となり、そのスライドがキャスライドというものが現れる。これを上のプチャされない事態が生じる。多くの場合、アルゴリズムでは画像として認識してしまこのようなスライドは重要性が低いと考えうのである。このような中間状態のスライられるから、ロストしても問題ないと考えドを、以下では「不要スライド」と呼ぶ。

ることもでる。

一方後者の問題は、たとえば PowerPoint

しかしながら、たとえば一連の時系列変のスライドのプレーン上にペンでハイライ化を示しているスライドを多数見せる場合トする操作を行う、あるいは、あらたな情など、中間の画像が失われることにより、報を書き加えるような操作をどこまで細か

後にオンデマンドでその授業を聴講した場

表１．実際の授業における使用スライドの枚数と不要スライドおよびロスト枚数
1秒間隔
2秒間隔
5秒間隔
10秒間隔
講義
PPT枚数 不要枚数 ロスト枚数 不要枚数 ロスト枚数 不要枚数 ロスト枚数 不要枚数 ロスト枚数
朝日大①
65
602
10204
朝日大②
81
110321307
朝日大③
43
60
100103朝日大④
5250201202朝日大⑤58
30000101
朝日大⑥
63
80311204
朝日大⑦3540100001
朝日大⑧
121
1818628015
朝日大⑨
7390423314
朝日大⑩
8270612203愛知大①
5250200103
愛知大②5540110202愛知大③
4640200003
愛知大④
62
603
10105
名城大①
38
20000002
名城大②
5681320204豊田工大
3610010103
大阪工大
7070410306平均60.44444 6.333333 0.111111
2.5 1.055556 0.555556 1.888889 0.055556
4
標準偏差 20.71153 3.834825 0.323381 2.093407 1.433721 0.921777 1.811366 0.235702 3.162278
比率
100 10.47794 0.183824 4.136029 1.746324 0.919118
3.125 0.091912 6.617647

キャプチャ間隔と不要比率、ロスト率の関係
12

不要比率またはロスト率（％）

108
不要スライドの比率
スライドのロスト率

642002468

1012

キャプチャ間隔（秒）図６．不要スライドの比率とスライドのロスト率合、理解しにくくなる場合も考えられる。

以上の２つの問題点、特に不要スライド

したがって、できる限るスライドのロストの問題とスライドのロスト問題についていは避ける必要がある。

くつかの大学で講義をした際の実測データがあるので紹介する。表１はいくつかの大７．実際の講義における状況学で著者が行った講義について、実際に使用した PowerPoint のスライドの枚数と、ただし、この問題は講師が十分な余裕をもある一定間隔でスライドをキャプチャしたってスライドを表示することで対処可能で場合の不要スライド数とスライドのロストある。

数を示したものである。ただし、実測したのは１秒間隔のデータだけであり、2 秒間８．問題解決のための試行隔よりも広い間隔のデータは１秒間隔のデ

スライドのロスト問題は現状では自動的ータをもとに当該秒数の中間データを削除な解決法はない。したがって、最後は人にして作成した。なお、いずれも 90 分の講義よるチェックを省くことはできない。しか時間を使って行われた。

しながら、不要スライドの問題とスライド以上のデータから、不要スライドの比率への書き込みなどの問題はある程度対処でとスライドのロスト率を計算し、プロットきる。ここでは、試行した対処法についてすると図６のようになる。ここで、不要ス述べるが、こちらも完全な解をえることはライドの比率＝平均不要スライド枚数／平できない。

均スライド枚数、ロスト率＝平均ロスト枚

ここでは、まず変化量を計測する画面分数／平均スライド枚数である。結果は、予割数 n と変化した部分の比率ｍについて考想されるとおり、キャプチャ間隔を長く取察した。すなわち、一般的に次のことが言れば不要スライドの比率は減るが、スライえる。

ドのロスト率は増える。

（１）

微細な変化も記録できる。

なお、原理的に両者の割合を 0 にすること は 不 可 能 で あ る 。 前 者 は chancecorrelation の問題であり、変化中のスライドをたまたまキャプチャする確率は 0 ではない。したがって、どのような場合でも、画面分割数が１の場合：どのような（２）

画面分割数を n とし、閾値を m とした場合：・ n と m の値を適当に取ることにより、微小変化を無視できる不要スライドが現れる場合がある。当初キ・ 例えば、n=25（5×5）として、m=2ャプチャソフトウェアとしてロータスのとすれば 4％以下の変化は無視でScreen CAM を使用していたが、現在は自きる作のプログラムを使用している。どちらもところで、全変化記録では微小変化によるWindows の割り込み制御を利用して画面影響が大きすぎる。一方、n と m の最適値をキャプチャしているため、キャプチャ間を求めることは難しい。そこで、たとえば隔を１秒以下にすることは難しい（Screen

その都度適用できるいくつかの変化量の計

CAM では１秒以下の設定は不可能である。

測パターンを用意し、発見的なアルゴリズ

自作プログラムでは、設定することはでき

ムにより、できるだけ不要スライドを除去るが、正しい時間間隔で動作しているかのすることを考えた。いずれにしても、不要検証は行っていない。）そのため、どうしてスライドの除去も最後は人手にたよるしかも速い変化を捉えることはできず、スライない。したがって、ここでの目的はいかにドのロスト率を 0 とすることはできない。

人手による作業量を減らすかを考えることになる。
そこで、スライドが変化している状態を９．今後の課題キャプチャした場合、図７に示したように以上のような種々のアルゴリズムを組み上下に変化することから、分割を上下方向合わせても、最終的には完全な自動化は達に限定したパターンを使うことで、ほとん成できない。全自動化を達成するためにはどの場合は除去できた。この場合、ｍは変あらたなアルゴリズムの工夫が必要である。

化した部分の比率ではなく、個数として、このような工夫は、著者が考えている次１～２個の変化部分がある場合だけ除去すのステップを実現するためにも重要である。

る。これにより、不要スライドの大部分はすなわち、前回紹介した mimio による板書記録（図 8 参照）の適切な中間状態を記録して提示する、あるいは、WEB ページの適切な表示状態を保存することができれば、PowerPoint のようなスライドデータだけでなく、より多くの教材データの同期を自動化できる。
今後は、より変化を適切に捕らえて分析

図７．分割パターンの変更除去できる。
次に、描画途中のスライドは、n と m の値を適切に決めることにより多くの部分は除去できると考えた。実際には最適値を決めることは難しい。そこで、経験的に n=64×48 とし、m を 5％程度と定めた。これにより、全体の 7 割程度の描画途中でキャプチャされたスライドを除去することができる。m の値をこれ以下にすると最終的に必要とされる描画を終えたスライドも除去する危険性が増大し、これ以上にするとほとんどの描画途中のスライドを残してしまう。
このようにして、ほとんどの不要スライドは除去できるが、残る部分は手作業で除去する必要がある。しかしながら、これらの操作により、手作業の割合は飛躍的に減少する。

図 8．mimio による板書データの例
できる新しいアルゴリズムの考案が必要である。しかしながら、そのようなアルゴリズムは難しい。また、たとえ実現できたとしてもそれが著しく時間を浪費するものであってはならない。いずれにしても、より詳細な解析が可能なアルゴリズムについて今後考えたい。
１０． まとめ
以上、非同期型の授業を実現する一つの方法としてのオンデマンド提供する教材を自動的に作成するための一つの方法を示した。ところで、そのような自動化は必要な

ター、「MUPS 事業プロジェクト研究」、のかという疑問が残る。なぜなら、これら

1997～2001．のことははじめから人手でやることで十分

http://www.mc.tut.ac.jp/mups/project.html

な結果が得られることであり、無理に不完[3] D.L. Mills, “Network Time Protocol

全な自動化を目指す必要はないという議論(Version 3), Specification, Implementationである。しかしながら、今後、このようなand Analysis”, RFC1305, IETF, 1992.

教材を作成する機会は増えつづけることが[4] http://www.w3.org/AudioVideo/．

予想され、それらすべてを人手で行うこと[5] http://www.w3.org/XML/．

が必ずしも妥当であるとは思えない。さらに、人手によって作成された教材の信頼性を確保するためには、結局、クロスチェックなどが必要となる。
そこで、不完全な自動化でも、初期バージョンを機械的に作成し、そのときの詳細なログを残すことで、人手による作業量を減らすことができる。また、ログと照合することで作業者の作為を排除することができ、しかもクロスチェックがやりやすくなる。
以上のように、非同期型の遠隔授業のためのビデオ教材を効率よく作成するための一つのアイデアとそのための実装系について提案した。このシステムを導入することにより、手作業の 1/10 以下の時間で教材を作成することが可能となった。今回のバー
ジョンは主にコマンドラインの命令群を組み合わせて作業を行う。そのため、必ずしも効率の良いものではない。そこで、今後は、より使い易いインターフェイスの開発が必要である。
【文献など】[1] 奥山徹、「誰でもできるマルチメディア授業」、愛知大学情 報処理センター 紀要
COM、Vol.12、No.2、2001．
[2] 豊橋技術科学大学マルチメディアセン