論文 / 著書情報
Article / Book Information
論題(和文)

文字認識技術を利用した講義動画のスライド同定

Title(English)

Slide Identification in the Lecture Movie Using Character Recongition

著者(和文)

武部 浩明, 小澤 憲秋, 勝山 裕, 横田治夫, 直井聡

Authors(English)

Hiroaki Takebe, Noriaki Ozawa, Yutaka Katsuyama, Haruo Yokota,
satoshi naoi

出典(和文)

電子情報通信学会論文誌（Ｄ）, Vol. J91-D, No. 9, pp. 2280-2292

Citation(English)

IEICE Transactions on Information and Systems, Vol. J91-D, No. 9, pp.
2280-2292

発行日 / Pub. date2008, 9URL

http://search.ieice.org/

権利情報 / Copyright

本著作物の著作権は電子情報通信学会に帰属します。
Copyright (c) 2008 Institute of Electronics, Information andCommunication Engineers.

Powered by T2R2 (Science Tokyo Research Repository)

論

文

文字認識技術を利用した講義動画のスライド同定
武部 浩明† a)直井

小澤 憲秋†

勝山裕†

横田 治夫††

聡†

Slide Identification in the Lecture Movie Using Character Recognition
Hiroaki TAKEBE†a) , Noriaki OZAWA† , Yutaka KATSUYAMA† , Haruo YOKOTA†† ,and Satoshi NAOI†
あらまし e-Learning が普及しつつあり，複数のメディアを有機的に統合した e-Learning 向け教育コンテンツのニーズが大きくなってきた．講義動画とプレゼンテーション資料のスライドを同期させて再生する講義動画
同期コンテンツを作成するためには，講義動画中のスライドが切り換わるタイミングを検出する作業が必要であり，大きなコストがかかっていた．そこで，この問題を解決するために，文字認識技術を用いて，講義動画の各フレームとプレゼンテーション資料の各スライドをオフラインで自動的に同期づける手法を提案する．具体的には，動画の各フレームを文字認識した結果とプレゼンテーション資料のスライドに含まれる文字について，同じ
2 文字間の関係を同時に満たす文字がどれくらいあるかを表す文字配置に基づく類似度を計算することによりマッチングを行い，スライドを同定する．実際の講義動画に対して本手法を適用し，スライドの同定性能を計測するとともに，本手法によって動画中のスライドが切り換わるタイミングをメタデータとしてもつ動画コンテン
ツを作成する作業コストを算出した．提案手法を用いることで，高精度にスライドを同定でき，作業コストを大幅に削減できることが分かった．
キーワード

e-Learning，教育コンテンツ，動画，メタデータ，文字認識

1. ま え が き

難しいという問題がある．よって，WBT による教育

情報技術の発達に伴い，教育分野でもパソコンやイ使用したプレゼンテーション資料，関連する論文など

ンターネットを利用した e-Learning が普及しつつあの資料等の多様な教育コンテンツの相互に関連する部

る．e-Learning には，通常の教室で行われる授業と比分を統合した，学習者に興味を持たれ学習しやすい魅較すると，学習者が，いつでも，どこでも，マイペー

力的な教育コンテンツを提供することがかぎとなってスで学習できるというメリットがある．特に，Webいる．

効果を上げるためには，講義や講演のビデオ，講義にブラウザなどのインターネット・WWW 技術を使う

複数のメディアを有機的に統合した例として，講義「WBT」（Web Based Training）と呼ばれる学習形態

中の講師を撮影した動画（図 1）と説明に用いたスラは，社内教育などで広く利用されている．WBT では

イドを同期させて画面に表示するコンテンツの一例を

動画を利用したコンテンツがあるが，VOD（Video on

図 2 に示す．このコンテンツには，動画中においてプDemand）のように単なる講義や講演のビデオを流す

レゼンテーション資料の各スライドが表示されていただけでは，学習者が飽きやすく学習意欲を保つことが時間を XML 形式でファイルに保持しており，この情報をもとに，画面左上に表示されている動画中におけるスライドの進行に同期して，右側のスライドページ†（株）富士通研究所，川崎市††

FUJITSU LABORATORIES LTD., 1–1 Kamikodanaka, 4-が変化する．また，左下にあるプレゼンテーション資chome, Nakahara-ku, Kawasaki-shi, 211–8588 Japan料の各スライドへのリンクによって，任意のスライド

東京工業大学，東京都
Global Scientific Information and Computing Center, Tokyoを説明する動画を検索することが可能である．これにInstitue of Technology,

より，復習時にキーワードでスライドを検索し，それ2–12–1 Ookayama,

Meguro-ku,

Tokyo, 152–8552 Japana) E-mail: takebe.hiroaki@jp.fujitsu.com

2280

電子情報通信学会論文誌 D Vol. J91–Dに対応する場面の動画を再生するなど，動画とスライ
c （社）電子情報通信学会 2008
No. 9 pp. 2280–2292 

論文／文字認識技術を利用した講義動画のスライド同定

Fig. 3Fig. 1

図 3 動画フレームとスライドの同定
Identiﬁcation of frame in movie with slides.

図 1 講義動画の例
Example of lecture movie.

本論文では，この問題を解決するために，文字認識技術を用いて，講義動画の各フレームとプレゼンテー
ション資料の各スライドをオフラインで自動的に同期づける手法を提案する．具体的には動画の各フレームを文字認識した結果とプレゼンテーション資料のスライドに含まれる文字を比較して類似度を求めることによって，フレームがプレゼンテーション資料のどのス
ライドに対応するかを決定する．
本研究では，講義をビデオカメラで撮影した動画を対象とする．動画中のフレームに含まれているプレゼ
ンテーション資料のスライドを同定することによって，Fig. 2図 2 同期再生コンテンツ
e-Learning content with movie and slides.

動画で表示されているスライドが変化するフレーム（講師がプレゼンテーション資料のスライドを切り換える瞬間）を検出し，各スライドが動画で表示されてドなどの有機的統合がなされている．
このような学習コンテンツを作成するためには，動いる時間区間を自動的に特定する（図 3）．本研究に関連する研究としては，映像メディア処理の分野におけ画中でプレゼンテーション資料のスライドが切り換わるシーンチェンジの検出 [2]〜[5] が挙げられる．動画

るフレームを探し出しておき，メタデータとして記述

中の連続したフレームの意味のあるまとまりは，シー

し管理する必要がある．しかし，現状は，オーサリン

ン，ショット，あるいはカットと呼ばれ，シーンチェ

グツールを用いた手作業で，スライドが切り換わるフンジは動画中でフレームの内容が大きく変化することレームを検出し，メタデータを作成している．このスをいう．動画像処理等で用いられるシーンチェンジのライドが切り換わるフレームを検出する作業は，動画検出手法は，フレーム全体の内容が大きく変化する時全体をトレースし，絶え間なく見届ける必要があり，点をとらえるため，本研究の対象のような，フレーム

大変な作業コストがかかる．また，オンラインの同期

中の部分領域であるスライドの領域が変化する時点を検出では，マウスをクリックした時間を記憶しておき，

シーンチェンジとしてとらえることが難しいという問その情報を利用する方法もあるが，記憶するビデオを題がある．また，うまくスライドの変化をとらえるこ

接続した特別な計算機環境が必要なことと，限定したとができたとしても，講義中にはスライドの順番が前

マウス操作によりプレゼンテーションの仕方が限られ後することがある．そのため，単にスライドが変化しること，既存のコンテンツを扱えないこと，ビデオ撮たことを検出できただけでは不十分であり，スライド

影後の編集ができないことや統合するコンテンツの対の内容を確認して，どのスライドに変化したのかまで

象の拡大が難しいことなどの問題がある．

を把握する必要がある．
2281

電子情報通信学会論文誌 2008/9 Vol. J91–D No. 9

以下 2. で本論文で提案する手法を説明し，3. で評
価実験とその結果を述べ，4. で考察を行い，最後に 5.
で結論と今後の課題を示す．

2. 文字ペアマッチング
講義を撮影するときは臨場感を出すために，映し出される資料のスライドだけでなく，それを説明する講師も一緒に撮影することが多い．動画中で説明しているスライドを同定するのに，プレゼンテーション資料のスライド画像をテンプレートとして画像マッチング
する方法が考えられるが，動画のフレームから，映し出されているスライドの領域を特定して抽出しなけれFig. 4図 4 文字認識結果を用いたスライド同定
Slide identiﬁcation by character-based matching.

ばならない．しかし，フレーム中のスライドは，映し出され方によって輪郭がひずんだり，講師の体の一部が映り込んで輪郭が途切れたりする．更に，スライドの背景が黒などの濃い色で作成されているときは輪郭が出にくいなど，スライドの領域を正しく抽出することは難しい課題である．また，たいていのプレゼン
テーション資料はすべてのスライドにわたって背景が同一であり，ページによって変化する部分は文字や図の内容である．しかし，異なるスライド間で画像上変化する部分は変化しない背景部分と比較すると面積は圧倒的に少ないことが多い．よって，画像情報だけからスライドを同定することが難しい場合もある．そこ

図 5 文字認識結果を用いたスライド同定の処理フロー
Fig. 5 Processing ﬂow of slide identiﬁcation bycharacter based matching.

で，スライド内の文字情報に着目し，文字の配置がス
ライドの特徴を表すことに基づいて動画フレームとプ行う場合，解像度の低さの問題や，ノイズによる画質

レゼンテーション資料スライドをマッチングする方式

劣化の問題があるため，認識結果の信頼性は非常に低を提案する．具体的には，フレームを文字認識した後，くなる．比較的認識しやすい環境である，テレビ映像

フレーム中のスライド領域の位置と大きさを推論しなを対象としたテロップ文字の認識でも，文字認識率はがら，フレームとスライドに関して同じ 2 文字間の関75%程度の精度しかない [6]．更に，講義を撮影した動係を同時に満たす文字がどれくらいあるかを表す文字

画の場合には，講師がスクリーンの前に出たり，影が配置に基づく類似度を計算しマッチングを行う．

写り込んだりすることがあるので，スライドが部分的提案手法では，図 4 に示すように，動画フレームに見えない状況が発生し，文字認識結果の一部が得らの文字認識結果とプレゼンテーション資料のスライドれないことになる．例えば，図 6 にフレーム画像の例に含まれる文字情報を比較してマッチングを行うことを示す．講師がスクリーンの前に立っているため，ス

によりスライド同定を行う．処理全体のフローを図 5

ライドの文字の一部が見えない状況にある．よって，に示す．まず，講義の際に用いたプレゼンテーション

このフレーム画像を文字認識したとしても，文字認識

資料のファイル内部を解析する処理によって各スライ

結果は図 7 のようになり，文字情報は一部欠落してしドに含まれる文字のコードと座標を抽出する．これをまう．したがって，認識結果がスライドの文字とすべスライド文字情報と呼ぶことにする．次に，フレームて一致すると仮定して文字列の比較を行うことはでき

画像に対して文字認識処理 [7] を施し文字認識結果をない．このような状況のもとでも，精度良くスライド

得て，これと各スライドのスライド文字情報とを比較を同定できる必要がある．そこで，認識結果とスライして類似度を計算しマッチングを行う．ビデオカメラ

ドのそれぞれから得られるあらゆる 2 文字間の関係のなどによって撮影された画像を対象にして文字認識を中から，互いに両立する文字配置を求めることにより2282

論文／文字認識技術を利用した講義動画のスライド同定

図 6 フレーム画像の例
Fig. 6 Example of frame.

Fig. 8図 8 2 文字間の配置関係の両立性
Positional compatibility of character pairs.

2 文字の間の関係は，平行移動と拡縮によって重なり合う，互いに相似の関係にあるため，2 文字間の配置関係が両立すると考える．一方，スライド文字情報に
図 7 文字認識結果
Fig. 7 OCR result.

おける「領域チェック型」の「領」と「ピックアップ」の「ク」の 2 文字と，認識結果における「領域チェック型」の「領」と「ク」の 2 文字の間の関係は，互い類似度を計算しマッチングを行う．具体的には，まず，に相似の関係にないため，2 文字間の配置関係が両立

認識結果とスライドの両方に含まれる文字の中で，文しないと考える．両立する組合せからスライド画面の字コードが一致する組合せを取り出す．そして，それ拡大縮小量と平行移動量を算出し，拡大縮小量と平行らの組合せの中から，2 文字間の配置関係が両立する

移動量の最頻値を求めることにより，同じ 2 文字間のものを抽出する．図 8 に例を示す．上がスライド文字

関係を同時に満たす文字の割合を求め，認識結果とス

情報を表し，下が認識結果を表している．ここで，スライドとの間における類似度を算出する．あらゆる 2

ライド文字情報における「領域チェック型」の「領」と文字間の関係を用いてマッチングするため，認識結果「ピックアップ」の「ク」の 2 文字に着目する．認識結が欠落していたり，誤っていたりしても，他の文字で果でも，「領域チェック型」と「ピックアップ」は正し補完することができ，スライド画面の拡大縮小量と平く認識されており，「領」と「ク」の 2 文字の関係に

行移動量を頑健に推定できる．そして，フレームの認あるのは，「領域チェック型」の「領」と「ピックアッ

識結果に対して最も類似度が高いスライドを求めて，プ」の「ク」の 2 文字のほかに，「領域チェック型」のそのフレームに対応するスライドと同定する．以下，「領」と「ク」の 2 文字がある．このとき，スライド文

認識結果とスライド文字情報の文字配置に基づく類似

字情報における「領域チェック型」の「領」と「ピック度を求める方法を詳細に述べる．

アップ」の「ク」の 2 文字と，認識結果における「領（ 1 ） 文字集合

域チェック型」の「領」と「ピックアップ」の「ク」の文字に対して，(x, y, g, p) の数値の四つ組を考える．
2283

電子情報通信学会論文誌 2008/9 Vol. J91–D No. 9

ここで，x，y は文字の外接矩形の中心座標，g は文字
コード，p は認識結果の信頼度とする．認識結果の信
頼度には，[8] において提案されている正読確率を用いる．よって，認識結果の信頼度は 0 から 1 の値をとる．
正読確率の概要を以下に簡単に述べる．まず，あるパターンを文字認識した結果，第 1 位候補文字の認識距
離値が f1 であり，第 2 位候補文字の認識距離値が f2であるとする．このとき，認識の確信度を f2 /(f1 + f2 )により定義する．次に，確信度から正読確率へ変換す
る．変換の仕方は多数の評価用パターンを用いて統計

Fig. 9図 9 2 文字を結ぶベクトルのなす角
Angle between vectors of character pairs.

的に決めておく．具体的には，0.5 から 1 までを離散的に等間隔に区切っておき，評価用パターンを認識し（ 3 ） 2 文字間の両立性たときの認識の確信度の値が最も近い値を求め計数す集合 C に属する任意の二つの要素に対し，二つの要る．離散的に区切った値 q について，評価用パターン

素間の関係が「両立」する組合せの集合を集合 D との中で認識の確信度が最も近いものの個数を N (q) とする．ここで，集合 C に属する二つの要素が「両立」

し，また，認識の確信度が q に最も近く，かつ第 1 候

するとは，集合 C に属する二つの要素に対応する集合補が正解であるものの個数を NOK (q) とする．そしA の 2 文字と集合 B の 2 文字の配置関係が互いに相て，NOK (q)/N (q) を q に対する正読確率とし，変換似の関係にある，すなわち，平行移動と拡縮によってテーブルとして保持しておく．認識実行時には，確信重なり合う，よって 2 文字を結ぶベクトルの画像全体

度とそれが最も近い q を計算し，変換テーブルに基づに対する角度（図 9）が同じことをいう．具体的には，いて正読確率へ変換する．プレゼンテーション資料の集合 C の要素 c = (a, b) と c = (a , b ) が以下の式をスライドに含まれる文字（スライド文字情報）から得満たす．thα は画像のひずみをどの程度許容するかにられる四つ組の集合を集合 A，認識結果の文字に対しよって決めるものとする．

て得られる四つ組の集合を集合 B とする．ここで，プD

レゼンテーション資料のスライドに含まれる文字の個=数を m とし，集合 A の各要素は右上の添字を用いて区別する．また，同様に，認識結果から得られる文字A=i = 1, 2, . . . , m

bj = (x, y, g, p)

j = 1, 2, . . . , n


B=


(4)

= angle((a, b), (a , b ))

ai = (x, y, g, p)

angle(d) ≤ thα

angle(d) = angle((c, c ))いて区別する．更に，集合 A に関しては，文字の信頼

d = (c, c ) ∈ C × C

ただし，の個数を n とし，集合 B の各要素は右上の添字を用
度 p は常に最大値をとるものとする．



(1)







ay − ayby − by = arctan− arctanax − axbx − bx 

(2)

(5)



（ 2 ） 文字の組合せ（ 4 ） 拡大縮小量と平行移動量の計算
更に，集合 D に属する各要素 d = (c, c )（c = (a, b)，

集合 A と集合 B の間で文字コードが同じ組合せをすべて取り出し，それらの中で，信頼度 p があるしき

c = (a , b ) とする．
）に対し，拡大縮小量 r と平行移い値 thp 以上のものの集合を，集合 C とする．しきい

動量 Ox ，Oy を，以下のように計算する．そして，d値 thp は，どの程度の信頼性がある文字を対象とするに対して得られる拡大縮小量と平行移動量 (r, Ox , Oy )かによって決めるものとする．ここでは，ベクトルのを d˜ とおき，それらの集合を集合 D̃ とする．

各成分の値をベクトルの記号の右下に添字を付加させることによって表すことにする．



C=
2284

c= (a, b) ∈ A × B

a g = bgbp ≥ thp(3)D̃ = {d˜ = (r, Ox , Oy ) | d ∈ D}

(6)bx − bxr=
ax − ax(7)

Ox = bx − rax(8)論文／文字認識技術を利用した講義動画のスライド同定

Oy = by − ray(9)（ 5 ） スライドと認識結果の類似度の計算
集合 D̃ の各要素に対し，r ，Ox ，Oy に関するヒストグラムをそれぞれ計算し，最頻値 maxr ，maxx ，maxy を求める．拡大縮小量 r は 0 から 5 倍までを想定し，ヒストグラムでは正規化によって 0 から 100
までの整数値に換算する．次に，集合 D̃ の要素の中で，最頻値からある幅 thr ，thx ，thy 以内に含まれる要素を求め，それらの集合を集合 E とする．しきい値

thr ，thx ，thy は画像のひずみをどの程度許容するかによって決めるものとする．そして，スライドと認識結果において対応のとれた一致する文字を，集合 E の各要素に対応する集合 A と集合 B の要素とする．こ
れらの個数を s とするとき，それぞれの文字数で割った s/n + s/m をスライドと認識結果の類似度とする．

⎧
⎪
⎨

E=

⎪
⎩

⎫

d˜ ∈ D̃|d˜r − mr | ≤ thr ⎪⎬|d˜Ox − mx | ≤ thx⎪|d˜Oy − my | ≤ thy ⎭図 10 異なるスライド間の類似度の頻度分布
Fig. 10 Distribution of similarities between diﬀerent
slides.

を求めた．結果を図 10 に示す．文字情報による類似度は類似度 1 に鋭いピークがあるが，画像情報による類似度は全体でゆるやかなカーブを描いており，文字(10)

3. 実験と結果
3. 1 スライド同定に文字情報を用いることの有効性情報による類似度が異なるスライド同士を良好に分離できることが分かる．

3. 2 提案手法の評価実験
文字ペアマッチングによる手法について，スライド
同定精度を求める実験を行った．まず，文字情報が部分的に得られないときにどの程度安定的に同定が可能

プレゼンテーション資料のスライドは，通常全ペーであるかを評価し，次に，実際の講義動画に対する評

ジにわたり背景が同一である．背景部分の面積は，文

価実験を行った．しきい値 thp は 0.1，しきい値 thα

字など内容を示す部分の面積よりも大きいため，スラは 15 度，thr は 5，thx と thy はスライド画像サイズ

イド同定には画像情報よりも文字情報が有効なことがの 6%を用いた．

多い．そこで，画像情報と文字情報がスライド同定に3. 2. 1 文字情報の不完全性に対する頑健性

どの程度有効であるかを評価した．プレゼンテーショ

文字情報が部分的に得られない状況を人工的に発生

ン資料のスライド画像に対し，画像情報による類似度

させることによって，文字ペアマッチングによる手法と文字情報による類似度のそれぞれによって，異なるに関する文字情報の不完全性に対する頑健性を評価しスライド画像同士の類似度がどのような分布になる

た．プレゼンテーション資料のスライドから直接文字かを調べた．プレゼンテーション資料のスライドを直情報を取得した後，ある割合 e の文字をランダムに決接 720 × 540 のサイズの画像にし，画像情報の類似度定し除去する．残った文字情報がスライドから得られには，画像間の類似性を表す評価尺度として正規化相る文字情報となる．これは，スライドが映っているフ

関 [9] を用いる．プレゼンテーション資料のスライド

レームを認識率 1 − e で得られる文字認識情報に近いから直接文字情報を取得し，文字情報の類似度には 2.

状況である．ただし，フレームを文字認識した結果得で説明した文字配置に基づく類似度を用いる．文字のられる文字情報には誤った文字情報も含まれるためラ

信頼度はすべて 1 とし，しきい値 thα は 3 度，thr はンダムに除去して得られる文字情報よりも更に質は劣1，thx と thy はスライド画像サイズの 1.2%を使用しると考えられる．ランダムに除去した文字情報を各ス

た．19 種類の講義等で用いられたプレゼンテーション

ライドと文字ペアマッチングし，スライド同定精度を資料のセット K に対し，各資料について，異なるペー評価した．19 種類の講義等で用いられたプレゼンテー

ジ同士の類似度を算出し，正規化と値の切上げによっ

ション資料セット K を対象とした．スライド数は合計て類似度を 1 から 100 の整数の値に変換して頻度分布547 であるが，このうち図のみからなるスライド 212285

電子情報通信学会論文誌 2008/9 Vol. J91–D No. 9

Table 1

番号

図 11

不完全な文字情報に対する文字ペアマッチングの精度
Fig. 11 Slide identiﬁcation accuracy for incompletecharacter informations.

ははじめから除外した．また，目次のスライドで色だけが異なる複数のスライドのようにスライドは異なる
が文字情報が全く同じものは，同定結果としては同一

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
計

表 1 正解率評価結果
Experimental results of an accuracy rate.

スライド数
（枚）
6
9
9
11
10
14
31
25
58
49
40
35
25
28
45
51
22
39
39
40
586

フレーム数
（枚）
667
659
831
677
743
725
1369
1232
2337
2027
1305
1380
1567
1204
1287
1113
1707
5528
1571
2845
30774

正解率
（%）
99.7
99.8
99.9
100.0
99.9
83.3
63.3
98.6
94.2
95.7
88.0
98.0
99.9
89.5
76.9
98.2
95.7
97.2
99.6
96.2
94.0

処理時間
（秒）
399
399
378
343
677
430
761
717
1446
1067
950
832
1085
573
869
546
921
5166
1021
1871
20452

視した．r を 0，0.2，0.4，0.6，0.8 の五つの値に対して精度の変化を求めた．結果を図 11 に示す．e が 0.4まではほぼ 100%，e が 0.6 でも 99%以上の正確さで同定できており，文字情報が不完全であっても非常に頑健に同定ができている．

3. 2. 2 講義動画に対する評価実験
文字ペアマッチングによる手法について，講義動画に対する評価実験を行った．実験には 20 種類の講義動画を用いた．講義としては 19 種類のプレゼンテーショ
ン資料セット K を用いたものであり，このうち一つの講義は前半と後半に分かれているため計 20 種類の講義動画となる．動画は，室内におけるプロジェクタを用いての発表を DV カメラで撮影したもので，24 ビッFig. 12

図 12 スライド同定の成功例
Example of frame to be successfully idetiﬁed.

トカラー，VGA（640 × 480），圧縮なしでキャプチャしたものである．撮影した動画には，カメラのズームにスライドを同定する処理を行う．正しいスライドをや移動が一部含まれているものもあるが，基本的には選択できた場合を正解として，全フレーム数に対するカメラは固定されている．また動画の構図は，講演者

正解フレーム数の割合を正解率とし，動画のフレームとスライドの両方が入る構図が多い．マッチングに用がどの程度正しくスライドと同定されたかを表す指標

いるフレームは，動画中から 1 フレーム/秒で取り出にする．実験の結果を表 1 にまとめた．表には，サンした．プレゼンテーション資料のファイルの中には，

プル番号，発表資料に含まれるスライド数，正解率，アニメーションなどが含まれることがあるし，実際の処理時間を記した．動画のフレームは 1 秒当り 1 枚抽

発表には用いられなかった補足説明用のスライドが含出するようにしたので，動画のフレーム数が動画の時まれていることがある．また，使用したマシン環境は，間（秒）になる．対象となる全フレームに対して，動OS が Windows 2000，CPU は Xeon 2.8 GHz，メモ
リは 2 GB である．

画時間の 2/3 の処理時間で，94.0%の正解率でフレー

動画から取り出したフレームの順番でフレームごとルに到達したといえる．同定に成功したフレームの例

2286

ム中のスライドの同定に成功し，実用的に十分なレベ

論文／文字認識技術を利用した講義動画のスライド同定を図 12 に示す．講師が映し出されているスライドのの 2 値画像とその文字認識結果を示す．文字認識用の前に立ち，講師の影がスライドを大きく遮っているが，

2 値画像は，カラー画像から図や背景模様を除外してなるべく文字のみを抽出し 2 値化したものであるが，正しく同定できた．
同定に失敗している原因を調査した結果，主に以下

図や背景模様の一部が残ったり，文字が一部抽出されの四つの理由によるものであった．

ないこともある．図 13 と図 14 は，2 値化処理がうま（ 1 ） 誤認識による失敗

くいかずに文字の周辺にノイズが多数発生し，文字認

文字認識を失敗するため，一致するスライドがない

識にほとんど失敗している．図 15 と図 16 は，文字か，スライド内容が類似しているものなどに誤って同認識のための 2 値化は成功し文字はほぼ正しく抽出さ定される．図 13 から図 16 に失敗例を示す．図 13 とれているが，背景の一部が文字として抽出され，文字図 15 にフレームを示し，図 14 と図 16 に文字認識用

認識処理において，中央の複数に分かれている行を一つの行と誤って認識して正しい文字認識結果がほとん
ど得られなかった．このように，文字認識の失敗としFig. 13

図 13 スライド同定の失敗例 1
Example 1 of frame to be not idetiﬁed.

Fig. 15

図 14 スライド同定失敗例 1 の文字認識用 2 値画像と認
識結果
Fig. 14 Binarized image and recognition result of
example 1.

図 15 スライド同定の失敗例 2
Example 2 of frame to be not idetiﬁed.

図 16 スライド同定失敗例 2 の文字認識用 2 値画像と認
識結果
Fig. 16 Binarized image and recognition result of
example 2.

2287

電子情報通信学会論文誌 2008/9 Vol. J91–D No. 9ては，文字認識処理の入力となる 2 値画像において，ライド番号が同じなら，その間のフレームはすべて同文字部分と背景部分が逆転してしまったり，文字の一

じ番号のスライドとみなす．スライドの番号が異なっ

部が図と接触して文字認識の対象とならないなど，2ていたら，Ft と Ft+L の中間時点のフレーム Ft+L/2

値化処理がうまくいかないことや，背景の一部がノイとフレーム Ft ，及び，フレーム Ft+L/2 とフレームズとして作用することが主要な原因であった．

Ft+L について，同様の処理を再帰的に繰り返してい（ 2 ） アニメーションが使用されている場合

く．Ft と Ft+L は一定の間隔をおいて選択し，先頭フ

スライド文字情報はすべての文字が表示された最終レームから最後尾フレームへ一定間隔の二分探索を繰

状態での情報となる．そのため，最初に見出しだけがり返し行う．

表示されていて，徐々に本文が現れるようなスライド結果を表 2 にまとめた．順番に取り出したフレーの場合，同じような見出しをもつ他のスライドと間違ムごとに同定処理を行う方式（連続方式）は 94.0%のえる．

正解率であったが，二分探索方式の正解率は 92.8%で（ 3 ） テキストの内容は同じだが，色が異なる場合あり，1.2%低下した．これは，講師が講義においてテキスト部分は同じ内容であるが，発表内容の目次表示するスライドを前のものに戻して説明したとき的な役割をするために，これから説明する部分だけがに，二分探索方式ではずっとそのスライドが説明され別の色で強調されているようなスライドが用いられるていると誤ってみなしてしまうからである．しかし，ことがある．実際には別のスライドなのだが，それら処理時間は，もともとの動画の時間に対する割合で表の区別を誤る．

すと，連続方式が 66.5%である一方，二分探索方式は16.2%であり，大幅に効率化されることが分かった．

（ 4 ） スライド中の大部分が画像や数式の場合
今回はスライドのファイルを解析してスライド文字

4. 2 修正コスト

情報を取り出しているため，画像だけが貼り付けられスライドを自動で同定させた後，スライドの切り換て作成されたスライドの場合，スライド文字情報に文わりが正しいかどうかを検証し修正する作業が必要で字コードの情報が含まれないため，対応するスライド

ある．この修正まで含めた作業コストと，最初からスを見つけることができない．表示上数式などの文字がライドの切り換わりを手作業で入力したときの作業コ

描かれているスライドであっても，実は数式部分が画ストとの比較を考察した．

像であるため，スライド文字情報には数式部分の文字情報がなく，スライドを同定できないケースがあった．
特にアニメーションによる影響が大きく，スライドの途中から正しく同定できている場合や，逆に途中かTable 2

ら間違う場合が見られた．理由 (3) によるものは，含

番号

まれる文字を利用した同定という点では正解であると

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
計

考えられる．サンプル中には，それぞれ異なる背景やスタイルが使用されていたが，今回のサンプルにおいてはそれらによる影響はあまり見られなかった．

4. 考

察

4. 1 二 分 探 索
動画から順番に取り出したフレームごとに同定処理を行うと，動画全体の同定に処理時間がかかる．そこで，同定するフレームを動画から取り出すやり方を動画のフレーム集合に対して二分探索する方式を適用した．
二分探索方式では，異なる時点の 2 枚のフレーム
Ft ，Ft+L に対し，それらのスライドを同定させ，この異なる時点の 2 枚のフレームについて同定されたス
2288

表 2 正解率評価結果
Experimental results of an accuracy rate.

スライド数
（枚）
6
9
9
11
10
14
31
25
58
49
40
35
25
28
45
51
22
39
39
40
586

フレーム数
（枚）
667
659
831
677
743
725
1369
1232
2337
2027
1305
1380
1567
1204
1287
1113
1707
5528
1571
2845
30774

正解率
（%）
99.7
99.8
99.9
100.0
99.9
83.0
55.8
94.7
95.1
95.3
90.1
97.5
98.0
87.0
75.8
98.2
95.1
97.4
99.6
94.8
92.8

処理時間
（秒）
56
93
63
91
107
164
165
373
624
417
393
274
287
165
302
184
201
506
104
413
4979

論文／文字認識技術を利用した講義動画のスライド同定

スライド同定結果の修正作業は以下のようにモデルのようになる．(b) のコストは切り換わり点の非再現化できる．スライド同定結果のスライド切り換わり点率（1-再現率）に比例し，(c) のコストは切り換わりにおいて，その前後のスライドが正しいかどうかを判点の非適合率（1-適合率）に比例する．(d) のコスト

定し，動画の時間順にスライド同定結果を修正していは，切り換わり点の位置は合っているがスライド番号

く．具体的には，検出されたスライドの切り換わり点を誤った率に比例する．

において，以下の検証とその結果に基づく修正を行う．

以上のように計算される評価実験結果に対する修正(a) 1) 切り換わり点 Tk の前のスライドが正しいかどうかを判定する．次に，2) Tk が正しい切り換わり
点であるか，すなわち，Tk の前後のスライドが異なるコストとすべて手入力で同期対応付けを行う場合のコストの比較を行った．すべて手作業でスライドの切り換わりを入力するコストは，全再生時間+切り換わかどうかを判定する．そして，3) Tk のスライドが正りの個数 × g-cost になる．結果を表に示す．ここで，しいかどうかを判定する．

再現率とは，時刻が正しくかつスライド番号が正しい(b) a-1) の判断で正しくないと判断された場合，そ切り換わりの再現率を指し，適合率は，時刻が正しいの前の切り換わり点 Tk−1 と Tk の間に切り換わり点切り換わりの適合率を指す．b-cost は 1，n-cost は 1，が存在することになり，Tk から Tk−1 へさかのぼりな

g-cost は 8，c-cost は 5 として計算を行った．g-cost，

がら切り換わり点を探索し生成する．

c-cost に関しては，これらに含まれる，切り換わり点(c) a-2) の判断で正しくないと判断された場合，Tkを削除する．

(d) a-3) の判断で正しくないと判断された場合，Tkのスライド番号を修正する．

への移動，スライド番号の確認と入力，ボタンクリッ
クの回数から設定した．
すべて手入力で同期対応付けを行う場合のコストを表 3 に，連続方式と二分探索方式の二つの方式によ(a) は，切り換わり点の確認動作，すなわち，切りるスライド自動同定の結果を修正して同期対応付けを換わり点の直前のスライド番号を確認し，切り換わり行う場合のコストを表 4 に示す．連続方式と二分探索点に移動して現在のスライド番号を確認するという動方式の二つの方式を比較すると，正解率は連続方式が作になる．(b) は，逆再生ボタンを押し，スライドの二分探索方式よりも高かったが，切り換わりの再現率

切り換わりを観察してから再生を止め，切り換わり点はほぼ互角になることが分かる．また，適合率は二分に移動し，現在のスライド番号を確認して，そのスラ
イド番号を入力し，切り換わり点を生成するボタンを押すという動作になる．このコストは，切り換わり点生成コスト+動画部分の再生時間となる．(c) は，切り

表 3 手入力による同期対応付け作業コスト
Table 3 Cost for syncronizing manually movie
frames with slides.

換わり点を削除するボタンを押すという動作になる．

番号(d) は，現在のスライド番号を入力し，切り換わり点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
計

を更新するボタンを押すという動作になる．
コストはすべて時間（秒）に換算する．ボタンクリッ
クコストを b-cost，番号入力コストを n-cost，切り換
わり点生成コストを g-cost，切り換わり確認コストを

c-cost とすると，動画全体における各コストは以下の式で計算できる．

(a) 検出された切り換わりの個数 × c-cost(b) 再現されなかった切り換わりの個数 × g-cost +対応付け結果が誤っている動画部分の再生時間(c) 適合しなかった切り換わりの個数 × b-cost(d) スライド番号を誤った切り換わりの個数 × (ncost+b-cost)
スライド同定結果から得られるスライドの切り換わり点に関する再現率と適合率の各コストとの関係は次

フレーム数
（枚）
667
659
831
677
743
725
1369
1232
2337
2027
1305
1380
1567
1204
1287
1113
1707
5528
1571
2845
30774

切り換わり
回数
4
9
9
11
8
13
29
25
45
61
34
34
26
28
24
35
22
29
8
45
499

コスト
（秒）
699
731
903
765
807
829
1601
1432
2697
2515
1577
1652
1775
1428
1479
1393
1883
5760
1635
3205
34766

2289

電子情報通信学会論文誌 2008/9 Vol. J91–D No. 9

Table 4

番号
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
計

再現率
（%）
100
100
100
100
100
69.2
41.4
92.0
68.9
77.0
70.6
91.2
100
75.0
58.3
97.1
90.9
82.8
75.0
88.9
80.8

適合率
（%）
100
100
100
100
100
39.1
43.8
95.8
62.1
87.3
69.2
91.2
100
72.7
43.9
100
95.2
81.3
87.5
76.9
76.7

表 4 自動同期対応付けによる作業コスト
Cost for syncronizing movie frames with slides automatically.

連続方式
処理時間
（秒）
399
399
378
343
677
430
761
717
1446
1067
950
832
1085
573
869
546
921
5166
1021
1871
20452

コスト
（秒）
22
46
46
55
41
282
804
154
530
476
426
224
131
339
581
197
196
349
58
419
5376

総コスト
（秒）
421
445
424
398
718
712
1565
871
1976
1543
1376
1056
1216
912
1450
743
1117
5515
1079
2290
25828

再現率
（%）
100
100
100
100
100
76.9
31.0
92.0
71.1
78.7
67.6
94.1
96.2
57.0
58.3
97.1
90.9
79.3
75.0
84.4
80.0

適合率
（%）
100
100
100
100
100
61.1
55.0
100
73.1
92.9
72.2
91.4
100
92.0
58.1
100
100
89.3
87.5
97.4
86.4

二分探索方式
処理時間
コスト
（秒）
（秒）
56
22
93
46
63
46
91
55
107
41
164
238
165
862
373
196
624
456
417
460
393
389
274
229
287
165
165
328
302
536
184
197
201
200
506
321
104
58
413
400
4979
5245

総コスト
（秒）
78
139
109
146
148
402
1027
568
1080
877
782
504
452
493
837
381
401
827
162
814
10224

探索方式が大きく上回っている．その結果，コストもどすべての正解を含むことになる 0.1 を用いたが，更二分探索方式の方が小さくなる．更に，処理時間を含に高いしきい値を用いて，マッチングに用いられる文

めた総コストでは，二分探索方式が連続方式の半分以字を限定していけば，誤認識した文字を減少できるた下となっている．また，すべて手作業で行う作業コス

め，誤読の文字が含まれる割合 u は減少していく．しトと比較すると，連続方式は約 74%の作業コストとなかしながら，マッチングに用いられる全体の個数も減り，二分探索は約 29%の作業コストとなることが分か少することになるので，スライド内容が類似している

る．これにより，二分探索方式による自動スライド同

他のスライドに誤って同定する危険性も高まる．マッ

定によって同期対応付けを行えば，約 70%の作業コス

チングで用いられる全体の個数を減少させずに，u を

トを削減できることになる．

低める方法として，マッチングにおいて生成される文

4. 3 文字の誤認識による影響

字の組に対して，2 文字に関する認識に信頼度のうち誤認識した文字が文字ペアマッチング全体に与える

大きい方をその 2 文字の組合せの信頼度として付加し，影響を考察した．あるフレームについて，認識結果の重みづけることが考えられる．この方法では，認識の文字数を v 個とし，このうち，認識に正解した文字数

信頼度の低い文字であってもマッチングの対象とでき，を w 個とすると，誤認識した文字数は v − w 個とな

認識信頼度によって重み付けされるため，誤認識した

る．このとき，誤認識した文字が文字ペアマッチング

文字の影響を下げることができる．あるフレームのサに与える影響は，認識結果における任意の 2 文字の組

ンプル（文字数約 150）に対して，認識の信頼度のしのうち，誤認識した文字が含まれる組の全体に対するきい値を，0.1 とした場合，正解文字の 100%が含ま割合によって測られる．ここで，全体の文字の組合せ

れるが，u は 0.47 であった．また，認識信頼度のしきに対する誤認識した文字が含まれる割合を u とする

い値を 0.7 とした場合，正解文字は 64%が含まれ，uと，以下の式で計算される．

は 0.36 であった．一方，マッチングにおいて生成さ

u=1−

w(w − 1)v(v − 1)

(11)

れる文字の組を信頼度によって重みづける方法の場合
は，u が 0.34 であった．この方法は，しきい値を 0.1

認識結果の信頼度は 0 から 1 までの値をとる．このとした場合と比較すると，ともにすべての正解文字を実験では，認識結果の信頼度のしきい値には，ほとん

対象としているが，誤読した文字が与える影響を減少

2290

論文／文字認識技術を利用した講義動画のスライド同定させていることが分かる．また，しきい値を 0.7 とし秒間に複数回のスライド変化が発生しないという仮定

た場合と比較すると，誤読した文字が与える影響はほのもとに 1 フレーム/秒で画像を取り出して処理を行っぼ同等であるが，マッチングの対象となる正解文字をていた．アニメーションの変化に対応するためには，より多く含む．誤認識による失敗を防ぐため，文字ペより短い間隔で映像を取り出す必要があるので，もっアマッチングにおいて生成される文字の組を信頼度にと多くのフレームを処理する必要があり，処理時間のよって重みづける方法の導入を今後検討する．

増大という問題についても対応する必要がある．

5. む す び

文[1]

字認識を利用した講義動画中のスライド同定，” FIT2002

本論文では，e-Learning 向け講義動画同期コンテンツの作成支援を目的として，講義動画中のフレームと[2]

プレゼンテーション資料のスライドを対応づける手法

ACM Multimedia’99, pp.489–498, 1999.
[3]

and language understanding techniques,” CMU Tech.

文字ペアマッチングでは，同じ 2 文字間の関係を同時Rep. CMU-CS-97-111, Feb. 1997.
[4]

[5]

合でも正しくマッチングすることが可能である．実際の講義動画とプレゼンテーション資料を用いた実験によって同定性能を測定した結果，良好な精度でスライ[6]

pp.1658–1666, July 2000.
[7]

images of low spatial resolutions,” Proc. ICDAR’99,

して取得することと，画像マッチングの導入を検討すpp.139–142, 1999.
[8]などの撮影環境によって画質が変動するし，プロジェて，投影されたスライドの輪郭がひずんだり画面の明るさが変化したりする．このような変動要因がある場

H. Kamada and K. Fujimoto, “High-speed, highaccuracy binarization method for recognizing text inルに対して文字認識を行うことにより文字情報を追加

クタや OHP を用いる発表では，機材の設置場所によっ森 稔，倉掛正治，杉村利明，塩 昭夫，鈴木 章，“背景・文字の形状特徴と動的修正識別関数を用いた映像中” 信学論（D-II），vol.J83-D-II, no.7,
テロップ文字認識，

今後の課題としては，スライドの中に文字情報が含る．画像マッチングでは，講義を撮影した動画が照明

news video,” ACM Multimedia, pp.393–401, 1997.
有木康雄，“DCT 特徴のクラスタリングに基づくニュース映像のカット検出と記事切り出し，” 信学論（D-II），
vol.J80-D-II, no.9, pp.2421–2427, Sept. 1997.

ドの同定を行えることが分かった．
まれていない場合への対処として，スライドのファイ

Y. Nakamura and T. Kanade, “Semantic analysis forvideo contents extraction–spotting by association in

づく類似度を計算しマッチングを行うことによって，動画フレーム中から得られる文字情報が不完全な場

M.A. Smith and T. Kanade, “Video skimming andcharacterization through the combination of image

文字を利用した文字ペアマッチング手法を提案した．
に満たす文字がどれくらいあるかを表す文字配置に基

情報技術レターズ，LI-5, Sept. 2002.
L. He, E. Sanocki, A. Gupta, and J. Grudin, “Autosummarization of audio-video presentations,” Proc.

を述べた．講義動画中のフレームに対する文字認識結果と，プレゼンテーション資料のスライドに含まれる

献

小澤憲秋，武部浩明，勝山 裕，直井 聡，横田治夫，“文[9]藤本克仁，鎌田 洋，“正読確率を用いた高速高精度な文字，” 1996 信学ソ大（情報・システム），D-361, Sept.
1996.
高木幹雄，下田陽久（監修），新編 画像解析ハンドブック，
pp.1671–1672, 東京大学出版会，2004.

（平成 19 年 4 月 18 日受付，11 月 2 日再受付）

合でも，正しくスライドを同定しなければならない．
また，アニメーションが含まれるスライドの同定精度向上に取り組む．提案した手法では，同定誤りを生じる一番の原因はアニメーションが含まれるスライドであった．プレゼンテーションではアニメーションが利用されることは少なくないため，これらに対応できる手法が必要となる．しかし，アニメーションの動きにはたくさんのバリエーションがあることに加え，変武部浩明 （正員）1992 東大・理・数学卒．1995 同大大学

院数理科学研究科数理科学専攻修士課程了．
同年（株）富士通研究所入社．以来，画像処理やパターン認識の研究に従事．

化する領域が画像に対して局所的であることが多く，その変化を正確にとらえることが難しい．また，アニメーション情報の抽出方法やスライドをアニメーショ
ンの出現場面に応じて複数枚に分けて階層的に管理するなどの対策が必要である．更に，今回の実験では 12291

電子情報通信学会論文誌 2008/9 Vol. J91–D No. 9

小澤

憲秋 （正員）1996 東北大・工・情報卒．2001 同大大学院情報科学研究科博士後期課程了．博士（情報科学）．同年（株）富士通研究所入社．
画像処理や画像認識等の研究に従事．

勝山

裕 （正員）

1984 東北大・工・通信卒．1986 同大大学院工学研究科情報工学専攻修士課程了．

同年富士通（株）入社．以来，画像処理やパターン認識の研究に従事．

横田治夫 （正員）1980 東工大・工・電物卒．1982 同大大学院・情報・修士課程了．同年富士通（株）

入社．同年 6 月（財）新世代コンピュータ
技術開発機構研究所．1986（株）富士通研
究所勤務．1992 北陸先端大・情報・助教授．
1998 東工大・情報理工・助教授．2001 東工大・学術国際情報センター教授．工博．主として分散インデキシング，データ工学向けアーキテクチャ，高機能ストレージシステム，ディペンダブルシステム等に関する研究に従事．日
本データベース学会理事，ACM SIGMOD 日本支部評議委員，
2003〜2005 本会データ工学研究専門委員会委員長，情報処理学会，人工知能学会，IEEE，ACM 各会員．

直井

聡 （正員）

1983 慶大・工・電気卒．1985 同大大学院
工学研究科電気工学専攻修士課程了．同年，（株）富士通研究所入社．以来，文字パター
ン処理，画像処理，文字認識，e-learningの研究に従事．現在，言語・メディア研究部部長．工博．2001 年 9 月より東京工業
大学学術国際情報センター客員助教授．2005 年 6 月同大学術
国際情報センター客員教授．1998/1999 年度 ISS 財務幹事．
2001/2002 年度 PRMU 研究会幹事．現在，PRMU 委員．情報処理学会会員．2003 年度より JEITA 認識形入力方式標準化委員会委員．2003 年度より映像情報メディア学会メディア
工学研究会幹事．

2292