論文 / 著書情報
Article / Book Information
論題(和文)

講義講演シーン検索におけるレーザーポインタ情報の活用法

Title(English)

Method of Exploiting Pointing Information for Presentation Scene
Retrieval

著者(和文)

仲野亘, 小林隆志, 直井 聡, 横田治夫

Authors(English)

Wataru Nakano, Takashi Kobayashi, Satoshi Naoi, Haruo Yokota

出典(和文)

電子情報通信学会和文論文誌（D）, J91-D, 3,

Citation(English)

IEICE TRANS.INF.& SYST, J91-D, 3,

発行日 / Pub. date2008, 3

URL

http://search.ieice.org/

権利情報 / Copyright

本著作物の著作権は電子情報通信学会に帰属します。
Copyright (c) 2008 Institute of Electronics, Information andCommunication Engineers.

654-666654-666Powered by T2R2 (Science Tokyo Research Repository)

論

データ工学論文特集

文

講義講演シーン検索におけるレーザポインタ情報の活用法
仲野亘†∗ a)

小林 隆志††

直井

聡†††,††

横田 治夫††,†

Method of Exploiting Pointing Information for Presentation Scene Retrieval
Wataru NAKANO†∗a) , Takashi KOBAYASHI†† , Satoshi NAOI†††,†† ,and Haruo YOKOTA††,†

あらまし 我々はこれまで，講義・講演における撮影動画と発表資料をメタデータにより疎結合した統合コン
テンツとして蓄積し，その特性を利用した高度なシーン検索を提供する UPRISE (Unified Presentation slide
Retrieval by Impression Search Engine) を提案してきた．更に講師が発話した音声情報を利用することで，シーン検索をより効果的に行う手法も提案してきた．本論文では，シーン検索精度を改善するために，講師が用いたレーザポインタの情報を活用し，レーザポインタの照射情報を統合する手法を提案する．基本的な統合方法に加え，実際の講義動画における各レーザポインタ照射の解析を行うことで，提案手法の特性を分析し，それに基づいた改良手法の提案も行う．提案手法及びその改良手法を実際の講義コンテンツに適用して検索実験を行い，手法の有効性を確認する．
キーワード

情報統合，情報検索，e-learning, レーザポインタ，講演シーン検索

高度な検索機能を実現するシステムである UPRISE

1. ま え が き
近年のネットワーク帯域や計算機性能の向上により，(Uniﬁed Presentation Slide Retrieval by Impression
Search Engine) を提案してきた [6]．

動画像の取扱が容易になったことから，文書や動画像

UPRISE では，動画ストリームを資料スライドの切等の複数のメディアをコンテンツとして統合し，それ換タイミングによってシーンという単位に分割し，各らを蓄積，検索するシステムが数多く研究，及び提案

シーンとそこで使用された資料スライドを対応づけるされている [1]〜[5]．

ことでそれらを統合する．また，各シーンに対して，

そのようなコンテンツは e-Learning や講演のアー対応する資料スライドの文字・構造情報，シーンの時

カイブ化など，様々な用途に用いられており，それら間長の情報などから検索用インデックスを作成するこに対する高度な検索の要求は高い．特に e-Learningとで，高度な検索を可能としている．従来用いられて用のコンテンツに対しては，利用者が必要とするコン

きたスライド中の文書検索ではなく，スライドの切換テンツを検索できるだけでなく，動画コンテンツ中でタイミングによって分割したシーンを検索の単位とす

どの箇所から視聴を始めればよいかを効果的に発見でることで，動画中で講師がバックトラックをしたり，きることが重要である．

巻戻りがあったりすることなどにより複数のシーンでそのような検索を実現するために，我々は教育コン

同一のスライドが使用されている場合でも，それらをテンツの統合，蓄積，及び統合コンテンツに対する異なるシーンとして区別することができるという利点がある．

†

本論文では，UPRISE のシーン検索精度を向上させ

東京工業大学大学院情報理工学研究科，東京都
Graduate School of Information Science and Engineering,††Tokyo Institute of Technology, Tokyo, 152–8552 Japanるために，講師が用いたレーザポインタの照射情報に

東京工業大学学術国際情報センター，東京都

着目し，その情報を統合した，より高度な検索を実現

Global Scientific Information & Computing Center, Tokyoする手法を提案する．

Institute of Technology, Tokyo, 152–8552 Japan†††（株）富士通研究所，川崎市
Fujitsu Laboratories Ltd., Kawasaki-shi, 211–8588 Japan

∗

現在，
（株）東芝

a) E-mail: wnakano@de.cs.titech.ac.jp654

電子情報通信学会論文誌 D Vol. J91–D

講義講演コンテンツを対象としたシステムにおいて，講師が用いたレーザポインタに着目した研究としては，
マルチメディアプレゼンテーションコンテンツの配信
c （社）電子情報通信学会 2008
No. 3 pp. 654–666 論文／講義講演シーン検索におけるレーザポインタ情報の活用法と検索手法についての報告 [7] や，レーザポインタ指コンテンツ作成支援や配信，蓄積のみを提供しており，

示情報を会議コンテンツの提示に利用する手法 [8] が各コンテンツの詳細なシーン検索を実現してはいない．

あるが，どちらもレーザポインタ情報をコンテンツの提案手法では，レーザポインタが長時間照射された

ビデオ中の検索を行う研究として，湯本ら [18] は，Web ぺージに対してビデオストリームの動的統合を行う Video-Augmented Web を提案している．このスライド中の文字列について，その重要度を高くする

手法はビデオから効率良く部分映像を探すという側面ことにより，レーザポインタ照射情報をシーン検索にをもっているが，部分文章に対して複数の部分動画を利用する．まず，撮影動画から画像認識によって抽出対応づけることについては考慮していないため，資料したレーザポインタ情報を利用し，講師の手のぶれな

スライドと撮影動画を統合したコンテンツへの適用はどによるレーザポインタの不正確さを考慮して，レー

困難であると考える．

視聴の補助にのみ利用している．

ザポインタ情報を従来の検索手法に統合する手法 [9]を提案する．

オンデマンド講演システム LODEM [5] は，資料
テキストの情報と音声認識による講義音声を用いて，次に，撮影動画から抽出できるレーザポインタ情報

パッセージと呼ばれる発話のまとまり単位での検索をのうち，検索に考慮すべきではないレーザポインタ情行う手法を提供している．ユーザは教科書などの資料

報の影響を排除するために，レーザポインタ情報をの部分文書をクエリとして入力することで，入力したフィルタリングする手法に関して説明する．

内容に関連するビデオの場面を検索することができる．

更に，我々がこれまでに提案してきた撮影動画や資

しかし，資料スライドのバックトラックや巻戻りへの料スライドから得られる 2 種類の情報を利用するフィ

対応や，音声認識における誤認識への対応は行っていルタリング手法 [10] の適用結果を分析し，実際の講義ない．本研究の手法では，音声認識結果のみを検索にコンテンツ間の特性の差異や，実際に抽出したレーザ用いるのではなく，他の様々なメタデータと合わせてポインタ照射の分析を行った結果 [11] に基づき，レー

総合的に各シーンの適合度を算出するため，音声認識

ザポインタ情報のフィルタリング手法を改良する手の誤認識の影響を直接受けることはない．

法 [12] の提案を行う．

講師が用いたレーザポインタに着目した研究として

以下では，まず 2. において本研究の関連研究を述

は，マルチメディアプレゼンテーションコンテンツのべる．次に，3. で UPRISE の概要を示し，4. で動画配信と検索手法について述べた報告 [7] や，レーザポ

中のレーザポインタ情報を検索に利用するための手法

インタ指示情報を会議コンテンツの提示に利用する手について述べる．5. では，レーザポインタ情報をフィ

法 [8] があるが，いずれもレーザポインタ情報をコン

ルタリングする手法について提案し，従来の適合度とテンツの視聴の補助にのみ利用しており，コンテンツの統合を行う．また，6. では，実際の講義を用い，検やシーンの検索に利用した研究はほとんど行われてい索実験を行って提案手法の評価を行う．その後，7. にない．

おいてそれぞれのレーザポインタ照射を分析し，その片山ら [19] は，遠隔講義システムにおける講義検索

結果に基づいて提案手法の問題点を解決する手法の提手法として，検索キーワードを含むスライド検索など案を行う．この手法についても同様に実験を行い，そのほかに，教師がマウスポインタを用いてスライドのの有効性を確認する．最後に 8. においてまとめと今ある位置を指している部分を検索する手法を提案して後の課題を述べる．

いる．しかし，これらの検索手法はそれぞれが別個の

2. 関 連 研 究ものであり，ポインティングデバイスを用いた情報を動画や文書，音声ストリームなどの複数のメディア

検索は行っていない．

によるコンテンツを統合し，それらを蓄積，検索する

3. UPRISE

システムとしては，Authoring on the Fly [1], [13] やInformedia [2]，eClass (Classroom 2000) [3], [14] な利用して各シーンの重要度を総合的に算出するような

3. 1 UPRISE の概要

どがある．また，遠隔講義のための商用システムとし

UPRISE では，メタデータを用いてコンテンツをては，MPMeister [15]，P4Web [16]，Internet Nav-

管理，統合する．メタデータには，動画のどの時刻にigware [17] など多くのシステムが提供されているが，スライドの切換が起こったかというシーン情報と，そ655

電子情報通信学会論文誌 2008/3 Vol. J91–D No. 3の際にどのスライドを用いていたかという同期情報，

うち，最も基本的なものは適合度 Ic である [6]．Ic はスライドに含まれる文字列情報とその構造に対するスライドの文書構造，シーンの時間の長さ，前後シー

インデックスを含める．これらの情報を保持するメタンの文脈の 3 種類の情報をもとに算出される．

データによってコンテンツを緩く結合することにより，個々のコンテンツがもつ情報に修正を加えることなく

まず，スライドの文書構造を考慮した適合度 Ip を
以下のように定義する．

コンテンツの同期表示を実現し，柔軟な統合を可能にしている．UPRISE のシステムの詳細についてはこれ

Ip (s, k) =L(s)
までの報告 [20] を参照されたい．

UPRISE では，動画中に同じスライドが複数回出現する場合にそれらを異なるシーンとして区別し，個別に適合度を算出する．これにより，それぞれのプレゼ
ンテーションは対応する動画のシーンの集合として抽象化され，プレゼンテーション中の任意のシーンが検索可能になる．
スライドの切換によるシーン分割においては，バッ
クトラックや，スライドの再使用などの理由により，同一のスライドが複数のシーンで使用されるということが発生する．例えば，図 1 のスライド A のように，複数の概念を説明したスライドがあり，その後にそれP (s, l) · C(s, k, l)

l=1

ここで，s はシーン，k はキーワード，l は行，L(s) はシーン s のスライドに含まれる文字列の行数であり，P (s, l) はシーン s で用いられたスライドの行 l に与えられるポイント，C(s, k, l) はシーン s で用いられたス
ライドの行 l にキーワード k が含まれる個数を表している．更に P (s, l) において行のインデントや文字の大きさに応じて重み付けをすることにより，キーワー
ドの出現回数だけでなく出現位置も考慮することができる．
次に，シーンの時間情報を付加した適合度 Id を以下のように定義する．

ぞれの概念についての説明や具体例，応用などのスライドがある場合を考える．このとき，図 1 のような順番でスライド A を 2 回使用するということが起こる．そのため，従来の文書検索技術をスライド文書内
容に対して適用するだけでは，これらのシーンを異なるシーンとして順位付けすることができない．
この問題を解決するため，また，各シーンの内容を考慮し，より適切に順位付けを行うために，UPRISE
では，スライド文書内容以外の様々な情報を用い，検索キーワードに対し，総合的に各シーンの適合度を算

Id (s, k, θ) = T (s)θ · Ip (s, k)
ここで，T (s) はシーン s の時間であり，θ は時間の影
響の強弱を定めるパラメータである．これによって，シーンの長さが長いほどそのシーンは適合度が高くな
り，検索されやすくなる．
適合度 Ic は Id にシーンの前後関係を付加した適合度であり，以下の式によって定義される．

Ic (s, k, θ, δ, ε1 , ε2 )出する．これにより，検索キーワードに対してより適切なシーン検索を実現する．

=

3. 2 基本的な適合度s+δE(γ − s, ε1 , ε2 ) · Id (γ, k, θ)

γ=s−δ

UPRISE の検索機能は，検索キーワードに対する

ここで，δ は考慮する前後シーンの範囲を定めるパラ適合度をシーンごとに算出し，全シーンの順位付けをメータであり，E(x, ε1 , ε2 ) は前後関係の強弱を定め行った後，上位のシーンから表示する．この適合度のる関数である．
なお，この Ic のパラメータ群 (s, k, θ, δ, ε1 , ε2 ) は
UPRISE における適合度関数の基本パラメータ群であるため，本論文では以降これを Φ として簡略化表現
する．

3. 3 音声情報の統合手法
講義における講師の発話内容は，スライド中の文字列情報と同様に直接的にそのシーンの内容を表してい
図 1 シーン検索における問題
Fig. 1 A problem in scene retrievals.

656

る．そこで我々は音声情報を利用した適合度の提案を行ってきた [21]．

論文／講義講演シーン検索におけるレーザポインタ情報の活用法

あるシーン s 中でキーワード k が発話された回
数を skc(s, k) (Spoken Keyword Count) とし，このskc(s, k) を適合度 Ic と統合することにより，音声情H(l, q) として数値化する．H(l, q) はサブシーン q のレーザポインタが，行 l に照射された回数の期待値であり，すべての行の H(l, q) を合計すると 1 となる．

報を利用した適合度を提案した．更に，実験によって，このレーザポインタごとの照射回数期待値に対し，同一スライドを用いたシーンにおいても，発話内容に各レーザポインタが当たっていた時間を掛け合わせる

よってそのシーンの差別化を行うことができることをことで，レーザポインタの照射時間の期待値が得られ示した．

る．この照射時間の期待値をシーンごとに合計したも4. レーザポインタ情報の統合
4. 1 レーザポインタ情報の抽出のを，phd(s, k) (Pointer Hit Duration) とする．シー
ン s，キーワード k における phd(s, k) の式を以下のように定義する．

講義講演等で講師がレーザポインタを使用する場合，講師の手のぶれなどの理由により，ある単語や行に対

phd(s, k) =て続けなくても，レーザポインタ照射の意図は聴衆には伝わるため，レーザポインタの照射にはそれほど正確さは必要とされない．また，実際のレーザポインタ
照射の事例においては，目的の行を囲むように円を描いて，中心付近の内容を強調する当て方などもよく行われている．
本研究では，レーザポインタの照射が必ずしも目標の単語が最も近くなるような座標に対して行われるわけではないことを考慮し，レーザポインタの照射対象を行単位で扱い，行に対するレーザポインタ照射の回数と時間という観点でレーザポインタ情報を抽出する方法を提案する．
提案手法では，まず，撮影動画から高精度でレーザ
ポインタの光点座標を抽出する手法 [22] を用いて，1秒ごとにスライド中の光点座標を抽出する．更に，常に光点に最も近い行が必ずしも講師の目的とする行
ではないことを考慮し，スライド上で最も近い行の文
字列の他に，その近傍の数行を次候補として取得しておく．
連続した光点のうち，同一の行文字列が最も近い行
として関連づけられた光点の集合を 1 回のレーザポ
インタ照射として扱う．この 1 回のレーザポインタ照
射をシーン内のある区間として扱うために，サブシーンと定義する．複数のシーンにまたがって同一のキー

ここで，L(s) はスライド中の行数，T (qi ) はサブシー
ン qi の時間を表す．すなわち，サブシーン qi に対応するレーザポインタの照射時間を表す．
このように，レーザポインタ情報をキーワードへの照射時間期待値で扱い，期待値が高ければ高いほどそのキーワードを目標としていた可能性が高いという扱い方をすることで，レーザポインタ照射が常に目標に最も近い位置へ行われるわけではないという問題を解決することができる．例えば，目的とする行を囲むよ
うに円を描くようなレーザポインタ照射に対しても，期待値の総和をとることで，目的とする行に対する期
待値が周囲の他の行と比較してより多く与えられることになる．

4. 2 レーザポインタ情報と Ic の統合本研究では，4. 1 で得られた phd を検索に利用できるように，適合度 Ic と統合する．統合の際，Ic のどの箇所と統合するかにより，いくつかの候補が存在す
るが，予備実験の結果，シーンの時間情報に統合する
方法が有効であることが分かったため，統合方法として以下の適合度 Ic[d+phd] を提案する．

Ic[d+phd] では，以下の式で定義されるように，シー
ンごとの時間情報である T (s) に対し，レーザポインタの時間の期待値である phd(s, k) を足し合わせ，レー
ザポインタが当たっていたときにそのシーンの時間に加点を行う．

ワードを強調することはないため，1 回の照射としての統合は同一シーンの中でのみ行う．
このように抽出したレーザポインタ情報の数値化を行う．このとき，照射の不正確さに対応するため，
レーザポインタの照射回数を，キーワードが全候補行に含まれていたときに 1 とするような，回数の期待値

H(l, qi ) · T (qi )qi ∈s l=1

して正確に当て続けることが容易でない．更に，たとえ目的の単語や行に対して正確にレーザポインタを当

L(s)


Ic[d+phd] (Φ, ωd ) =s+δE(γ − s, ε1 , ε2 )γ=s−δ·{T (γ) + ωd · phd(γ, k)}θ · Ip (γ, k)
ここで，ωd は phd の適合度計算における影響度合を657

電子情報通信学会論文誌 2008/3 Vol. J91–D No. 3

調節するパラメータである．例えば，ωd = 10 の場合，集合である．

レーザポインタが対象キーワードに 1 秒間当たること

次に，講師の発話した音声中でのキーワードの出現はそのシーンが仮想的に 10 秒伸びたとみなされる．

の有無に着目し，検索キーワードがそのシーンで 1 度

3. 2 において述べたように，適合度 Ic はシーンのも発話されていない場合はそのシーンでの検索キー

時間が長いほど値が大きくなる．そのため，本手法にワードへのレーザポインタ照射を無視するという手法

よって，レーザポインタ照射が多くあったシーンではを提案した．このフィルタリング手法を用いて計算した phd(s, k) を phd/s (s, k) とし，以下の式で定義してその適合度が増加することになる．

5. レーザポインタ情報のフィルタリング
講義や講演で行われるレーザポインタ照射は，あるいる．

phd/s (s, k) =キーワードやトピックを強調する目的以外にも，様々
phd(s, k)0skc(s, k) = 0
skc(s, k) = 0

な目的で行われる．例えば，図や表を説明する際に補以下，本論文では，これらのフィルタリング手法を助的に用いるものや，複数概念間の関連を示す軌跡をそれぞれ P-フィルタリング，及び S-フィルタリング

描くもの，または照射意図がはっきりしないあいまいと呼称する．

なものなどがある．

なお，仲野ら [10] は，P-フィルタリングと S-フィル

そこで，このような様々な照射の中から，検索キー
ワードに対して関連する照射だけをシーン検索に利用するために，我々はレーザポインタ情報をフィルタリ
ングする手法の提案を行ってきた [10]．
しかしながら，これまで提案してきたフィルタリン

タリングの両方を同時に用いて計算した phd(s, k) を
phd/ps (s, k) とし，これらのフィルタリング手法を適合度 Ic[d+phd] に統合して評価した結果，phd/ps (s, k)
を統合した適合度 Ic[d+phd/ps ,p+skc/p ] が最も優れているという結果を得ている．

単位で扱われているが，音声情報はシーンごとに利用

5. 2 NS-フィルタリング
5. 1 で説明した S-フィルタリング手法では，各照射されており，情報統合が異なった粒度において行われをフィルタリングするかどうかはそのシーンの発話中ていた．本研究では，統合する粒度を統一し，二つのにおけるキーワードの有無により決定されていた．し情報を高精度に対応させることで，よりいっそうの効

かしこの方法では，例えば，レーザポインタ照射の時果が望めると考え，これまでのフィルタリング手法を刻とキーワードの発話の時刻が数分離れていたとして改良する．

も，それらが同じシーンに属するものであれば，音声グ手法では，レーザポインタ情報はサブシーンという以下では，まず，我々がこれまで提案してきたフィ

中出現条件を満たし，有効な照射としてシーン検索にルタリング手法を簡単に説明し，その後，従来手法を利用されてしまうことになる．これは，レーザポイン

改良した手法を提案する．

タ情報をサブシーンという粒度で扱うことに対し，音5. 1 従来のフィルタリング方法[10] では，2 種類の条件を用いてレーザポインタ照

声情報はシーンという粒度で扱っていたことが原因である．

射のフィルタリングを提案してきた．まず，スライド

そこで，本論文では，音声情報をサブシーンの粒度

テキスト中でのキーワードの出現の有無に着目し，検で扱うことで，二つの情報の粒度を統一し，より高精

索クエリが複数キーワードの場合に，そのすべてがス度に対応させることを考える．そのために，レーザ

ライド中に出現しない場合はそのシーンでの検索キー

ポインタ照射中，及びその前後 r1 , r2 秒以内においてワードへのレーザポインタ照射を無視するという手法

キーワードが発話されていない場合，その照射を無視を提案した．このフィルタリング手法を用いて計算しする，というフィルタリング手法を提案する．この手た phd(s, k) を phd/p (s, k) とし，以下の式で定義して法により，実際に発話と同時に行われたレーザポイン

いる．

タ照射と，それ以外の照射を区別することができ，前

phd/p (s, k) =phd(s, k)0Ip (s, k) = 0
k∈K
k∈K

Ip (s, k) = 0

ここで，K は検索語を形態素解析して得られた単語の658

者のレーザポインタ照射のみをシーン検索に利用することができる．図 2 はこの手法の処理を示した図である．
このフィルタリング手法を NS-フィルタリングと論文／講義講演シーン検索におけるレーザポインタ情報の活用法の講義（全 11 回）と，計算機アーキテクチャについての講義（全 12 回）の動画と資料を UPRISE に格納し，スライド同期情報やレーザポインタ情報などのメタデータ抽出を行って講義コンテンツを作成した．
講義は 2 種類ともに 1 回が 90 分であり，資料スライドの枚数はデータベースが 260 枚，計算機アーキテ
クチャが 282 枚である．1 回の講義の平均シーン数は
図 2 改良した S-フィルタリング手法
Fig. 2 Improved S-ﬁltering.

データベースの講義が 46.4 シーン，計算機アーキテ
クチャの講義が 44.2 シーンであり，2 講義の総計シー

し，NS-フィルタリングを用いて計算した phd(s, k)を，phd/ns (s, k) とする．phd/ns (s, k) を以下の式で
定義する．

=

題があり，部分的に音声が録音できていなかった講義が存在したため，その回は除外している．
ここで，作成した講義コンテンツにおけるレーザポ

phd/ns (s, k)L(s)

ン数は 1040 シーンである．なお，撮影時の録音に問インタの使用状況について述べる．2 種類の講義はど
ちらも，すべての回でレーザポインタが用いられていH(l, qi ) · T (qi ) · exist(qi , k, r1 , r2 )qi ∈s l=1

る．1 回の講義において，レーザポインタが使用されたシーン数が全シーンに占める割合の平均は，データ

ただし，exist(qi , k, r1 , r2 ) はサブシーン qi 中，及びベースの講義が 81.0%，計算機アーキテクチャの講義

その前後 r1 , r2 秒においてキーワード k が発話されてが 86.9%である．また，レーザポインタが使用された

いれば 1，されていなければ 0 の値をとる関数である．

シーンにおいて，1 回のシーンにおける平均使用回数

また，NS-フィルタリングと同時に，5. 1 で述べた P-

は 10.0 回，照射時間がシーン時間に占める割合の平フィルタリングを用いた phd(s, k) を，phd/pns (s, k)

均は 19.1%である．

とする．phd/pns (s, k) は，K を検索語を形態素解析

講 義 の 音 声 情 報 は ，連 続 音 声 認 識 ソ フ ト ウェア

して得られた単語の集合とすると，以下の式で定義さJulius （注 1） [23] を用い，言語モデルと音響モデルとして，山崎らが作成したもの [24] のうち，話者適応をれる．

phd/pns (s, k) =

phd/ns (s, k) k∈K Ip (s, k) = 00
I (s, k) = 0
k∈K p

行っていないものを用いた．
また，単語辞書に登録されていない用語は音声認識の結果に出現しないため，山崎らが作成した辞書 [24]このように定義した phd/ns ，phd/pns をそれぞれに，資料スライド中から辞書に含まれていない単語を

適 合 度 Ic[d+phd] に 統 合 す る ．更 に ，5. 1 で 行った

追加したものを講義ごとに作成し，音声認識に使用しよ うに ，音 声情 報 skc に よる 適 合度 の 加 算分 も 考た．データベースの講義用の辞書には，資料スライド

慮する．この適合度をそれぞれ Ic[d+phd/ns ,p+skc/p ] ，から抽出した 1099 語のうち，辞書に含まれていない

Ic[d+phd/pns,p+skc/p ] とする．このように統合するこ

名詞 123 語を，計算機アーキテクチャの講義には，同とで，二つの情報の粒度を考慮した統合が可能となる．

様に資料スライドから抽出した 1109 語のうち，辞書に

6. 評 価 実 験

含まれていない名詞 176 語を，それぞれ追加した．な5. 2 で提案した NS-フィルタリング手法の評価を行への読み付与は行わず，検索クエリにも含めていない．

うため，評価実験を行った．以下では，まず 6. 1 で音声認識用辞書と資料スライド間の表記揺れや，音お，本実験では簡単化のため，英語表記の専門語など

本実験に用いたデータの詳細について説明し，次に，声認識と UPRISE のコンテンツ登録時に異なる形態

6. 2 で本実験における各パラメータの設定や評価方法について述べ，その後，6. 3 において実験結果を述べ，

素解析エンジンを用いていることによる影響を緩和す

その考察を行う．

るため，以下の処理を行った．

•

英語表記された検索キーワードを除外

6. 1 実験に用いたデータ
実際に大学において行われたデータベースについて（注 1）：http://julius.sourceforge.jp/659電子情報通信学会論文誌 2008/3 Vol. J91–D No. 3••

全角英数字を半角に置換

リ ン グ 手 法 を 用 い た 適 合 度 Ic[d+phd/s ,p+skc/p ] ，

検索キーワードとして用いた専門語の表記を資Ic[d+phd/ps,p+skc/p ] ，及びレーザポインタ情報と音声

料スライドのものに統一

情報を考慮せず，スライド構造，シーン時間長，シー6. 2 実 験 設 定ンの前後関係のみから算出する適合度 Ic の比較を行っ

上述の講義コンテンツ群に対し，以下の設定のもとた．なお，NS-フィルタリングのパラメータ r1 , r2 ので実験を行った．

•

値は {r1 , r2 } = {5, 5} とした．

基本となるパラメータ Φ は θ = 0.4，δ = 4，

図 3 は，2 講義の検索キーワードを用いた検索に

ε1 = 5.0，ε2 = 0.5 に固定した．
• レーザポインタの光点に対し五つの候補行をよる，各適合度の MRR の変化を示したグラフである．なお，グラフでは適合度名の表記を簡略化して取得し，照射回数期待値 H(l, q) を第 1 候補から順にいる．まず，従来手法で S-フィルタリングを適用し0.4，0.3，0.15，0.10，0.05 という値に固定した．
• 計算機アーキテクチャ関連の検索クエリ 59 種

た Ic[d+phd/s ,p+skc/p ] を TYPE1，S-フィルタリングと P-フィルタリングを適用した Ic[d+phd/ps ,p+skc/p ]類と，データベース関連の検索クエリ 33 種類の，合を TYPE2 と表記する．また，提案手法で NS-フィル

計 92 種類の検索クエリを用いて検索実験を行った．な

タリングを適用した Ic[d+phd/ns ,p+skc/p ] を TYPE3，

お，検索クエリは資料スライド中の専門語などを，形

キーワードに対して最もよく解説していると判

P-フィルタリングと NS-フィルタリングを適用した
Ic[d+phd/pns,p+skc/p ] を TYPE4 とそれぞれ表記する．
グラフより，本節の提案手法である NS-フィルタリン
グを適用した適合度 TYPE3，TYPE4 は，パラメー

断したシーンをそのキーワードの正解シーンとした．

タ ωd の値によっては従来のフィルタリングを行った適態素解析した複数のキーワードから構成される．実験に使用したすべての検索クエリを表 3 に示す．

••

適合度ごとに，正解シーンが何番目に順序付けされたかを記録した．
なお，正解シーンでは，94.6%のシーンにおいてレー

合度よりも良い結果を得るが，全体として従来のフィルタリング手法 TYPE1，TYPE2 とほぼ変わらない
検索精度であるということが分かる．また，S-フィル

ザポインタが使用されている．正解シーン中のレーザ

タリング，NS-フィルタリングどちらにおいても，P-ポインタの平均使用回数は 13.4 回，照射時間がシーフィルタリングと組み合わせた方が MRR が向上する

ン時間に占める割合の平均は 16.3%である．

ことが分かる．

評価に際しては，正解シーンを各キーワードに対

次に，適合度 Ic[d+phd/pns ,p+skc/p ] (TYPE4) におい

して一つとしていることから，平均逆数順位 (Meanて，NS-フィルタリングのパラメータである r1 , r2 のreciprocal rank：MRR) を用いた [25]．MRR は質問

値を {r1 , r2 } = {10, 0} に変更し，再度検索実験を行っ

応答システムの評価に用いられることが多く，質問ごた．図 4 は，{r1 , r2 } = {5, 5}，{10, 0}, {0, 10} の 3とに最初に出現した正解の順位の逆数を求め，それら種類の設定による MRR の変化を示したグラフである．

を全質問にわたって平均することで定義される．
本実験の MRR は，N を検索回数とすると以下の式
で求めることができる．

M RR
1 
1
N
i 番目の検索における正解の検索順位
N

=

i=1

6. 3 NS-フィルタリング手法の評価
5. 2 で提案した NS-フィルタリング手法の効果を検証するため，実際の講義のコンテンツを UPRISE に登録し，登録したコンテンツに対して各適合度ごとの検索実験を行った．
ま ず，提 案 手 法 で あ る Ic[d+phd/ns ,p+skc/p ] ，Ic[d+phd/pns,p+skc/p ] の 適 合 度 と ，従 来 の フィル タ660

図 3 ωd を変化させたときの適合度ごとの MRR の推移
Fig. 3 MRRs for the two lectures varying ωd .

論文／講義講演シーン検索におけるレーザポインタ情報の活用法

Table 1

表 1 レーザポインタ照射情報の分類
Classiﬁcation of laser pointer information.
DB ps pns (5,5) pns (10,0)
◎
51
16
17
○ 186
9
13
×
97
6
8
×× 30
2
1
△
17
1
4
ARCH ps pns (5,5) pns (10,0)
◎
80
48
50
○
269
58
51
×
206
50
39
××
16
1
0
△
60
19
22

図 4 Ic[d+phd/pns ,p+skc/p ] における r1 , r2 の MRR
への影響
Fig. 4 Eﬀect of r1 , r2 in Ic[d+phd/pns ,p+skc/p ] .

た．分類では，6. 3 の実験に用いた検索クエリのうち，各講義 10 件ずつの合計 20 クエリに対し，フィルタリ
ングで除去されなかった照射すべてを講義動画で確認

図 4 より，{r1 , r2 } = {0, 10} では他の 2 種類の設

し，講師が照射しようとしている行を発話や軌跡から定よりも MRR が低下している．{r1 , r2 } = {0, 10}判断した．その結果を用い，各レーザポインタ照射情という設定は，レーザポインタ照射と同時か，照射後報を以下の 5 種類に分類した．

の 10 秒間に検索キーワードが発話されているような◎

検索キーワードを含む行に当てようとした照射

照射のみをシーン検索に利用する設定である．この○検索キーワードを含まない行に当てようとしてことから，今回の実験に用いた講義においては，キー

いるが，検索キーワードと関連があると判断した照射

ワードの発話の前に行われたレーザポインタ照射より

×

検索キーワードとは関連がないと判断した照射も，発話の後に行われたレーザポインタ照射の方が，××

実際の動画では照射は行われていない，誤認識より多く検索キーワードに関連している照射であったによる照射情報ということが分かる．

7. フィルタリング結果の解析△

上記 4 種類の分類をするのに判断が難しい照射

検索キーワードと関連がないと判断した照射 (×) には，複数のトピックをもつようなスライドにおいて，

6. 3 で示した実験結果では，提案手法である NS-

検索キーワードとは別のトピックに属する行を意図しフィルタリングの十分な効果を確認することができな

た照射や，テキストがアニメーションによって順次出かった．そこで，S-フィルタリングと NS-フィルタリ

現するようなスライドにおいて，まだキーワードに関

ングによって実際のレーザポインタ照射情報がどのよする行が出現していない状態で行われた照射などが含うに除去されているのかを分析することで，NS-フィ

まれる．

ルタリングの特性を調査する．

また，判断が難しいとした照射 (△) には，あいまい

以下では，まず，レーザポインタ照射情報をその意に行われたため，動画からは意図する行が分からない

図する行を分析することで分類し，どれだけの照射が照射や，関連の有無の判断が難しい行や図への照射な

検索キーワードに関連しているのかを調査する．そのどが含まれる．

後，その分析結果を元に，NS-フィルタリングを改良する手法を提案する．

更に，S-フィルタリングの代わりに，本節の提案手法である NS-フィルタリングを行うとこれらの照7. 1 レーザポインタ照射情報の分類

射情報がどれだけ除去されるのかを調査した．なお，

まず，P-フィルタリングと S-フィルタリングを同時

NS-フィルタリングのパラメータ r1 , r2 の値として，に用いた phd/ps において，二つのフィルタリングで{r1 , r2 } = {5, 5}，{10, 0} の 2 種類の設定について調除去されずに phd/ps の計算に利用されたレーザポイ査を行った．

ンタ照射情報の分類を行い，どれだけのレーザポイン

表 1 は各講義ごとの P-フィルタリング+ S-フィル

タ照射が検索キーワードに関連しているのかを調査しタリングで残ったレーザポインタ照射の分類結果，及661

電子情報通信学会論文誌 2008/3 Vol. J91–D No. 3

び，それらが P-フィルタリング+ NS-フィルタリング
ではいくつ残ったかを示す表である．

いて説明を行っている．
これらのうち，スライドタイトルにのみ検索キー

まず，P-フィルタリングと S-フィルタリングを行っ

ワードが含まれる事例に着目し，タイトルに検索キー

ただけでは，検索キーワードと関連のない多くの照射
情報が除去されないままであることが分かる．また，ワードが含まれないシーンは P-フィルタリング +NS-フィルタリングを行い，検索キーワードが含まれNS-フィルタリングは S-フィルタリングと比較して，るシーンでは例外として P-フィルタリング + S-フィ

×，××に分類される検索キーワードと関連のない照ルタリングを行うという手法を提案する．この，例外

射情報の大部分を除去できているが，同時に◎及び○処理を含めたフィルタリング手法を，S/NS-フィルタに分類される検索キーワードに関連した照射情報も多リングとする．

くのものが除去してしまっていることが分かる．特に

表 2 は，例外処理を含めた手法である S/NS-フィル○については，NS-フィルタリングにすることで非常タリングを行った後の照射情報の分類結果を表 1 に追に多くの照射が除去されてしまっている．

加したものである．スライドタイトルの例外処理を含

この，NS-フィルタリングが非常に多くのキーワーめることによって，○に分類されたレーザポインタ照ドに関連する照射を除去しているという問題の原因を射を多く残すことに成功していることが分かる．特に調べるために，撮影動画を実際に視聴した．その結果，計算機アーキテクチャの講義においては，NS-フィル

NS-フィルタリングの結果において，◎に比べて○のタリングによって約 80%の○に分類される照射が除去

除去率が高い理由として，レーザポインタ照射は対象されてしまっていたのが，S/NS-フィルタリングではとなる行の内容，またはそれに類似する内容を発話し約 25%の除去に抑えることができている．

分類される照射では，対象となる行の文章を読みなが7. 2 再実験とその結果
7. 1. 1 において提案した，スライドタイトルにおけら照射を行った場合，レーザポインタ照射の近傍の音る検索キーワードの出現の有無に基づいた例外処理が声にキーワードが出現することになるが，○に分類さシーン検索に与える効果を検証するため，再度検索実れる照射では，対象となる行に検索キーワードが含ま験を行った．なお，実験に用いたデータ及び，各パラ

れていないために近傍の音声にキーワードが出現しな

メータの設定は 6. 3 で行った実験と同一のものを用いことが多いと考える．

いた．

ながら行うことが多いことが分かった．これは，◎に

7. 1. 1 NS-フィルタリングの改良
7. 1 の分析により，NS-フィルタリングはレーザポ

図 5 は適合度 Ic[d+phd/pns ,p+skc/p ] (TYPE4) に対してスライドタイトルによる例外処理を適用したとき

インタ照射情報を過剰に除去していたことが分かった．

の MRR の推移を示したグラフである．なお，グラフ

そこで，検索キーワードに関連する照射をできるだけ中では例外処理を適用した適合度を TYPE5 と表記除去しないために，特に○に分類される照射についてする．グラフより，適合度 Ic[d+phd/pns,p+skc/p ] にお考える．
○に分類された照射の中で多く見られた例として，
各照射を分類する過程において以下の 3 種類の事例を確認した．

表 2 レーザポインタ照射情報の分類（例外処理含む）
Table 2 Classiﬁcation of laser pointer information.
(including the exception processing)DB

psにキーワードを含む行があり，段落全体の主題がその

ARCH

ps

キーワードを含む行になっている．

◎
○
×
××
△

•

各照射において，講師が意図した行はインデン

ト構造において下位であり，その上位レベルの行には
キーワードが含まれる．意図した行は，キーワードが含まれる行を補足説明している．

••

各照射において，講師が意図した行と同じ段落

スライドタイトルには検索キーワードが含まれるが，本文にはキーワードは含まれない．ただし，本文全体がタイトルに含まれている検索キーワードにつ662

pns (5,5) pns (10,0) pns (5,5) pns (10,0)+title+title
◎
51
16
17
22
23
○ 186
9
13
153
157
×
97
6
8
12
14
×× 30
2
1
19
19
△
17
1
4
1
4
pns (5,5) pns (10,0) pns (5,5) pns (10,0)+title+title
80
48
50
54
55
269
58
51
202
204
206
50
39
58
47
16
1
0
5
5
60
19
22
32
39

論文／講義講演シーン検索におけるレーザポインタ情報の活用法
表 3 検索クエリ一覧
Table 3 List of search queries.
アボート
結合，演算
射影
集合，積
ハッシュ，結合
デッドロック

スキーマ
コミット
選択
障害
属性
問い合わせ，木内部，スキーマ
トランザクション
割り算
ハッシュ
タプル
ログ

キー
時刻，印
集合，和
拡張，ハッシュ直積
関係，データ，モデル

ロック
ページ
一貫，性
性能，向上，比時，空間，ダイアグラム
構造，ハザード
分岐，予測チェックポイントレコード
コンピュータ，性能
アムダール，法則
命令，パイプライン
ハーバード，アーキテクチャ
静的，分岐，予測

定義，域
索引
スループット合成，ベンチマーク
インター，ロック
インターリーブ
動的，分岐，予測

関係，代数
原子，性
性能，向上，率
パイプライン
ハザード
制御，ハザード
分岐，履歴

分岐，履歴，テーブル
フォワーディング
共通，データ，バス
算術，パイプライン
縮小，化，状態，図
相互，結合，網プリフェッチ，バッファ内部，フォワーディング
乱，命令，実行
パイプライン，予約，表ベクトル，プロセッサ
静的，結合，網遅延，分岐スーパー，パイプライン
レジスタ，リ，ネーミング
衝突，ベクトル
ロード，ストア，パイプライン
動的，結合，網データ，ハザード
スコアボードリ，オーダ，バッファ
最小，平均，レイテンシィ
可変，遅延クロスバー，結合

多段，結合，網ブロッキングディジーチェーン
キャッシュ，一貫，性

ホップ
直径
ルーティング
二，重，反射，網共有，メモリ，型，マルチプロセッサ 分散，メモリ，型，マルチプロセッサ
イネーブル，ディジーチェーン
許可，ディジーチェーン
要求，ディジーチェーン
バス，スヌープ
データ，フロー講義，配信

図 5 例外処理が MRR に与える影響
Fig. 5 Eﬀect of the exception processing.

Fig. 6図 6 従来の適合度との比較
Comparison for original weighting schemata.

いて，スライドタイトルによる例外処理を適用するこ行うことによって，シーン検索精度の改善に有益な効とで全体的に MRR が向上している．このことから，果を与えることが分かる．

7. 1. 1 の分析結果で示した，S/NS-フィルタリングにしたがって，検索キーワードに関連するレーザポイ

よって多くの○に分類されるレーザポインタ照射が残ンタ照射の情報のみを選別し，それ以外の照射情報をされるということが，実際のシーン検索に対しても良排除する精度を向上させていくことが，実際の講義コい影響を与えていることが分かる．

ンテンツにおけるシーン検索の検索精度を向上させる

また，図 6 は，S/NS-フィルタリングを適用した適合度 Ic[d+phd/pns ,p+skc/p ] (TYPE5) と，従来の適合度である Ic や Ic[d+phd/ps ,p+skc/p ] (TYPE2) を比較したグラフである．図 6 より，従来の適合度と比較しても，MRR が改善している．これにより，本節の提案手法である NS-フィルタリングは，その特性を補う処理をことにつながったと考える．

8. む す び
8. 1 ま と め
本論文では，講義や講演を統合コンテンツとして蓄積，検索，配信するシステム UPRISE において，講663電子情報通信学会論文誌 2008/3 Vol. J91–D No. 3師が用いるレーザポインタの照射情報を利用することたらすということが分かった．更に，音声情報とレーで，シーン検索機能の精度を向上させるための手法をザポインタ情報を本提案手法のように統合し，同時に，提案した．

利用することで，効果的なシーン検索が実現できるこ

UPRISE のシーン検索ではスライド文書への文書
検索では不十分であるため，撮影動画や資料スライドから得られる様々な情報を利用した検索を実現しなければならないことを述べた．

とを示した．

8. 2 今後の課題
本研究の今後の課題として，まず，レーザポインタ
照射情報の分析を本実験に用いたすべての検索クエリ

本論文の提案として，まず，講師が用いたレーザポで行うことが必要である．更に，より高精度に各レー

インタ情報の抽出方法を提案し，適合度計算手法に統ザポインタが検索キーワードに関連しているか否か合した．講師の手のぶれなど，レーザポインタ照射特を選別する手法を考案することが必要である．特に，有の不正確さに対応するため，1 回のレーザポインタ
照射に対し複数の行文字列を対応させることで，レー

7. 1 において○と分類されたレーザポインタ照射を除去されないようにすることが重要であり，7. 1. 1 で示

ザポインタ照射を照射期待値として扱い，シーン検索したような○タイプの特徴を利用することで良い結果に利用した．

が得られると考える．

抽出したレーザポインタ情報のうち，検索キーワー
ドに関連する，キーワードを強調する目的で行われた

ま た ，NS-フィル タ リ ン グ の パ ラ メ ー タ で あ る{r1 , r2 } の適切な値は，講義の種類，特に異なる講

レーザポインタ照射の情報だけを利用し，その他の師の講義において変化する可能性がある．そのため，照射の影響を緩和するために，レーザポインタ情報

異なる講師の講義コンテンツを増やして実験を行うこのフィルタリングを行う手法を説明した．フィルタリとは非常に有効であると考える．

ング手法として，我々がこれまでに提案してきた複数

その他の課題としては，音声認識精度がレーザポイ

キーワードの際のスライド中キーワード出現条件にンタ情報のフィルタリングに与える影響について調べ

よってフィルタリングを行う P-フィルタリングと，音る必要があると考える．音声認識精度が 100%になっ声中キーワード出現条件によってフィルタリングを行た条件における実験として，講義音声を人手により書う S-フィルタリングの 2 種類の手法を説明した．

き起こしたテキストを用いての実験は有効である．

更に，S-フィルタリングにおけるレーザポインタ情

更に，提案した適合度では音声中，及びスライド文

報と音声情報の粒度を統一することで，S-フィルタリ

字列中での複数の検索キーワードにおける特定性を考

ングを改良した NS-フィルタリングを提案した．NS-慮していない．これらの特定性をシーン検索においてフィルタリングは各レーザポインタ照射の近傍でキー考慮することの有効性はこれまでの報告 [21] においてワードの発話が行われない場合はそのレーザポインタ

既に示しており，今回の提案手法においてもこれらの照射を考慮しないという処理を行う．

特定性を考慮することで更に精度が向上すると考える．

また，S-フィルタリングと NS-フィルタリングの結謝辞

本研究で用いた Julius と音響，言語モデルの果を分析し，各レーザポインタ照射の分類を行うこと使用にあたり御協力頂いた，東京工業大学大学院情報で，二つのフィルタリング手法の特性を解析した．そ

理工学研究科計算工学専攻の古井貞煕教授，篠田浩一の解析に基づき，NS-フィルタリングに対しその特性

准教授，岩野公司助教，山崎裕紀氏に感謝致します．

を補うための例外処理を加えた，S/NS-フィルタリン

また，本研究で用いたスライド同定技術及びレーザポグを提案した．

インタ照射の情報抽出技術について御協力頂いた，（株）

これらの提案手法の評価を，実際の講義コンテン

富士通研究所の勝山裕氏，小澤憲秋氏に感謝致します．

ツに適用することで行った．検索キーワードに関連し

なお，本研究の一部は，文部科学省科学研究費補助金

たレーザポインタ照射と，それ以外の照射を選別し，特定領域研究（15017233，16016232，18049026），独

キーワードに関連するレーザポインタ照射のみをシー

立行政法人科学技術振興機構 CREST，及び東京工業

ン検索に利用することが，より適切にシーン検索の精大学 21 世紀 COE プログラム「大規模知識資源の体度向上に結び付くということを確認した．したがって，系化と活用基盤構築」の助成により行われた．

レーザポインタ情報の選別における精度を改善してい文

くことが，シーン検索精度のよりいっそうの向上をも
664

[1]

献

R. Müller and T. Ottmann, “The “Authoring on the論文／講義講演シーン検索におけるレーザポインタ情報の活用法
Fly” system for automated recording and replay of(tele)presentations,” Multimedia Syst., vol.8, no.3,

ment,” IBM Syst. J., vol.38, no.4, pp.508–530, 1999.
[15] （株）リコー：MPMeister.

pp.158–176, 2000.
[2]

A.G. Hauptmann and M.J. Witbrock, “Informedia:

http://www.ricoh.co.jp/mpmeister/[16] （株）アーネット：遠隔講義システム P4Web.

News-on-demand multimedia information acquisition
and retrieval,” in Intelligent Multimedia Informa-

http://www.earnet.co.jp/jp/[17] （株）富士通ソフトウェアテクノロジーズ：Internet Nav-tion Retrieval, ed. M.T. Maybury, pp.215–239, MIT[3]

igware. http://www.navigware.com/

M. da G. Pimentel, Y. Ishiguro, G.D. Abowd, B.

湯本高行，吹野直紀，馬 強，角谷和俊，田中克己，“Videoaugmented web: ビデオストリームの web ページへのKerimbaev, and M. Guzdial, “Supporting educa-

動的統合，” 日本データベース学会 Letters，vol.2, no.2,

Press, 1997.

[18]

tional activities through dynamic web interfaces,” Interacting with Computers, vol.13, no.3, pp.353–374,[19]

彌彦，“遠隔教育のための柔軟な講義検索手法，” 情処学論，vol.39, no.10, pp.2837–2845, Oct. 1998.

Feb. 2001.
[4]

森本容介，室田真男，清水康敬，“教育用動画像検索シス” 信学論（D-I），vol.J88テムと時間情報同期方法の開発，[20]

A. Fujii, K. Itou, and T. Ishikawa, “Lodem: A sysmun., vol.48, no.5, pp.516–531, 2006.

岡本拓明 ，仲野 亘 ，小林隆 志，直井 聡，横田治 夫，
岩野公司，古井貞煕，“音声情報を統合したプレゼンテー

H. Yokota, T. Kobayashi, T. Muraki, and S. Naoi,

ションコンテンツ検索，” 信学論（D），vol.J90-D, no.2,

tem for on-demand video lectures,” Speech Com[6][21]“UPRISE: Uniﬁed presentation slide retrieval by impression search engine,” IEICE Trans. Inf. & Syst.,[7]

pp.209–222, Feb. 2007.
[22]

vol.E87-D, no.2, pp.397–406, Feb. 2004.

Kobayashi, H. Yokota, and S. Naoi, “A new solution
for extracting laser pointer information from lecture

functions for multimedia presentation material,”

videos,” Proc. E-learn2004, pp.2713–2718, Oct. 2004.
[23]

河原達也，李 晃伸，“連続音声認識ソフトウエア Julius，”
人工知能誌，vol.20, no.1, pp.41–49, 2005.

[24]

山崎裕紀，岩野公司，篠田浩一，古井貞煕，横田治夫，“講義音声認識における講義スライド情報の利用，” 情処学研[25]

酒井哲也，“よりよい検索システム実現のために，” 情報処理，vol.47, no.2, pp.147–158, Feb. 2006.

Proc. ER97 Workshop on Conceptual Modeling in
Multimedia Information Seeking, 1997.
大平茂輝，長尾 確，“レーザーポインタ指示情報に基づく会議コンテンツの協調的提示手法の提案，” 情報処理学[9]

Y. Katsuyama, N. Ozawa, J. Sun, H. Takebe, T.

Y. Kambayashi, K. Katayama, Y. Kamiya, and O.
Kagawa, “Index generation and advanced search[8]

小林隆志，村木太一，直井 聡，横田治夫，“統合プレゼ
ンテーションコンテンツ蓄積検索システムの試作，” 信学論（D-I），vol.J88-D-I, no.3, pp.715–726, March 2005.

D-I, no.10, pp.1515–1524, Oct. 2005.
[5]

pp.41–44, 2003.
片山 薫，香川修見，神谷泰宏，對馬英樹，吉廣卓哉，上林

会第 68 回全国大会，4G-2, 2006.
W. Nakano, Y. Ochi, T. Kobayashi, Y. Katsuyama,
S. Naoi, and H. Yokota, “Uniﬁed presentation con-

報，2006-SLP-64-39, pp.221–226, Dec. 2006.

（平成 19 年 5 月 29 日受付，9 月 28 日再受付）

tents retrieval using laser pointer information,” Proc.
[10]

SWOD2005, pp.170–173, April 2005.
仲野 亘，小林隆志，勝山 裕，直井 聡，横田治夫，“講演シーン検索における検索語出現状況に基づくレーザー” 日本データベース学会
ポインタ情報のフィルタリング，
DBSJ Letters, vol.5, no.2, pp.1–4, Sept. 2006.
[11]

亘

W. Nakano, T. Kobayashi, Y. Katsuyama, S. Naoi,

平 17 東工大・工・情報工卒．平 19 同

and H. Yokota, “Treatment of laser pointer and

大大学院・情報理工・計算工・修士課程了．
現在，（株）東芝研究開発センター．複合メ

speech information in lecture scene retrieval,” Proc.
Eighth IEEE Intl. Symp. on Multimedia, pp.927–932,
Dec. 2006.
[12]

仲野

ディアコンテンツの管理・検索・推薦に関す
る研究に従事．日本データベース学会会員．

仲野 亘，小林隆志，直井 聡，横田治夫，古井貞煕，“講義講演シーン検索手法におけるレーザーポインタ情報と” DEWS2007 論文集，
音声情報の粒度を考慮した統合，
no.E1-3, March 2007.

[13]

W. Hürst and R. Müller, “A synchronization model
for recorded presentations and its relevance for information retrieval,” Proc. Seventh ACM International Conference on Multimedia (Part 1), pp.333–
342, ACM Press, 1999.

[14]

G.D. Abowd, “Classroom 2000: An experiment with
the instrumentation of a living educational environ-665

電子情報通信学会論文誌 2008/3 Vol. J91–D No. 3

小林隆志 （正員）平 9 東工大・工・情報工卒．平 16 同大
大学院・情報理工・計算工・博士課程了．平14 同大学術国際情報センター助手．平 19

より 名大大学院・情報科学・特任准教授，
現在に至る．工博．ソフトウェア開発方法
論，ソフトウェア再利用技術，複合メディアコンテンツの管理・検索，Web サービス連携などの研究に従事．情報処理学会，日本ソフトウェア科学会，日本データベース学会，ACM 各会員．

直井

聡 （正員）

昭 58 慶大・工・電工卒．昭 60 同大大学院・工・電気工学・修士課程了．同年より（株）富士通研究所．現在，部長．平 13
東工大・学術国際情報センター・客員助教
授．平 17 より同センター・客員教授．工博．文字パターン処理，画像処理，文字認
識や e ラーニングの研究に従事．情報処理学会会員．

横田治夫 （正員：フェロー）

昭 55 東工大・工・電物卒．昭 57 同大大学院・情報・修士課程了．同年富士通（株）．
同年 6 月（財）新世代コンピュータ技術開発機構研究所 (ICOT)．昭 61（株）富士通研究所．平 4 北陸先端大・情報・助教授．
平 10 東工大・大学院情報理工・助教授．平13 より同大学術国際情報センター教授，現在に至る．工博．主として分散インデキシング，データ工学向けアーキテクチャ，高機能ストレージシステム，ディペンダブルシステム等に関する研究に従事．日本データベース学会理事．ACM SIGMOD 日
本支部評議委員．情報処理学会，人工知能学会，IEEE，ACM
各会員．

666