論文 / 著書情報
Article / Book Information
論題(和文)

プレゼンテーション蓄積検索システムにおける講義・講演音声情報を利用した適合度の改善

Title(English)

Uni ed Presentation Contents Retrieval using Voice Information

著者(和文)

岡本拓明, 仲野亘, 小林隆志, 直井聡, 横田治夫, 岩野公司, 古井貞煕

Authors(English)

Hiroaki OKAMOTO, Wataru Nakano, Takashi KOBAYASHI, Satoshi
NAOI, Haruo YOKOTA, Koji IWANO, Sadaoki FURUI

掲載誌(和文)DEWS2006 論文集

Citation(English)

Proc. of DEWS2006

Vol, no, pages

Vol. , No. , pp. 6C-o1

発行日 / Pub. date

2006, 3

URL

http://search.ieice.org/

権利情報 / Copyright

本著作物の著作権は電子情報通信学会に帰属します。
Copyright (c) 2006 Institute of Electronics, Information andCommunication Engineers.

Powered by T2R2 (Science Tokyo Research Repository)

DEWS2006 6c-o1

プレゼンテーション蓄積検索システムにおける講義・講演音声情報を利用した適合度の改善
岡本 拓明†

仲野

亘†

小林

隆志††

岩野 公司†

古井直井聡†††,††

横田治夫††,†

貞煕†† 東京工業大学 大学院 情報理工学研究科 計算工学専攻†† 東京工業大学 学術国際情報センター††† 株式会社 富士通研究所
E-mail: †{okamoto,wnakano}@de.cs.titech.ac.jp, ††tkobaya@gsic.titech.ac.jp, †††, ††naoi.satoshi@jp.fujitsu.com,†{yokota,iwano,furui}@cs.titech.ac.jp
あらまし

我々は，講義・講演のビデオとその中で使われたスライド をメタデータにより統合コンテンツとして蓄積するとともに，その統合コンテンツの特性を考慮したシーン検索機能を有する UPRISE (Unified Presentation slide

Retrieval by Impression Search Engine) を提案してきた．これまで UPRISE では，スライド 構造やスライド の提示
時間，前後のスライド のコンテクストなどをその検索機能に利用してきた．本稿では，シーン検索の適合率を向上することを目的に，講義・講演ビデオ中の音声情報を利用する手法について述べる．これまでの UPRISE の検索機能に，音声認識によって抽出した音声情報を適用する 4 種類の方法を提案し，実験によりそれらの効果を評価する．
キーワード

情報統合，情報検索，e-learningUnied Presentation Contents Retrieval using Voice Information†††††††,††
Hiroaki OKAMOTO , Wataru NAKANO , Takashi KOBAYASHI , Satoshi NAOI,
Haruo YOKOTA

††,†

†
†
, Koji IWANO , and Sadaoki FURUI† Department of Computer Science, Graduate School of Information Science and Engineering,Tokyo Institute of Technology†† Global Scientic Information & Computing Center, Tokyo Institute of Technology††† FUJITSU LABORATORIES LTD.
E-mail: †{okamoto,wnakano}@de.cs.titech.ac.jp, ††tkobaya@gsic.titech.ac.jp, †††, ††naoi.satoshi@jp.fujitsu.com,†{yokota,iwano,furui}@cs.titech.ac.jp
Abstract We have proposed the UPRISE (Unified Presentation slide Retrieval by Impression Search Engine) tostore lecture videos and presentation slides used in the lectures. It provides dedicated scene search functions for the
metadata-based unified presentation contents, using the slide structure, scene duration, and context information.
In this paper, we use the voice information in the lecture videos to improve the precision of scene retrieval using
the speech recognition technique. We propose four ways to add the influence of voice to the scene search functionsof the UPRISE, and evaluate the effect of them. The experimental results indicate that the voice information iseffective to improve the precision.
Key words information integration, information retrieval, e-learning

1.

はじめに

研究，および提案されており [1]〜[3]，e-Learning を始めとする様々な用途に用いられている．特に e-Learning 用のコンテンツ

近年，動画や文書，音声ストリームなどの複数のメデ ィアコ

に対しては，利用者が希望するコンテンツを検索できるだけでンテンツを統合し，それらを蓄積，検索するシステムが数多くなく，どのコンテンツのどの箇所から視聴するべきかを効果的(& '*)
 に発見することが重要である.
そのような検索を実現するために，我々は教育コンテンツの統合機構，および統合コンテンツに対する高度な検索機能を実現 するシステムである UPRISE(Unied Presentation slide Retrieval
by Impression Search Engine) を提案してきた [4]〜[11]．
UPRISE では，メタデータによるコンテンツの統合のために   

動画ストリームをシーンの連続であると抽象化し，各シーンとそこで使用された資料とを対応付けることでそれらを統合する.
また，各シーンに対して，対応する資料の文字/構造情報，シー"!$#%! 

ンの長さ情報，レーザーポインタなどのポインティング情報から検索用インデ クスを作成し ，高度な検索を可能としている.
スライド の切り替えタイミングによってシーン分割を行うため，

図 1 プレゼンテーション資料と動画の統合

単なるスライド 検索とは異なり，同じ スライド を用いていてもバックトラックを起こしたり巻き戻りがあった場合でも，違うシーンとして区別することができるといった利点がある．
しかしながら，従来の UPRISE では，そのようなシーンの差別化を行うために，シーンの継続時間情報や，前後にどのようなシーンが出現しているかといった情報を用いており，これらの情報だけではシーンで説明されている内容を考慮できないた
め，シーンの差別化が十分でないという問題があった．
そこで本研究では，講演者がそのシーン中に発言した音声情報に着目し ，音声情報をシーンの差別化のために利用することを考える．自動音声認識分野の研究においては，話し言葉研
究用のデータベース (日本語話し 言葉コーパス：CSJ) [12], [13]の整備により，従来では認識率の低かった話し言葉主体の講義
講演の動画に対して認識精度が向上してきた．そこで，我々はこれまでに自動音声認識エンジンによって抽出した音声情報をシーン毎に比較し，音声情報が UPRISE でのシーンの差別化に利用できることを示した [11]．
音声認識の結果を利用した検索を行う既存研究に，ニュースなどの放送音声文書に対して汎用音声認識を行ない，検索を行うシステム [14] があるが，ニュースを選択的に視聴するための検索であり，詳細なシーンの検索には適していない．また，音声文書に対して発話のまとまり単位で検索を行うシステム [15]があるが，発話された内容に依存し，詳細なシーンの検索には適していない．さらにこれらは，音声文書のみを検索対象とし資料を検索の対象として用いていないため，音声認識の精度に依存してしまうといった問題がある．
本研究の対象である統合コンテンツに対する音声認識技術を利用する研究としては，音声認識による音声データを検索に利用する試み [16], [17] があるが，音声データによるシーン分割にとど まっており，その情報を用いてシーンの検索精度を向上させるには至っていない.
本稿では，UPRISE のシーンの検索精度を向上させるために，
音声情報を統合するための格納方法と，それらの情報を用いた新しい検索用適合度計算手法を提案する．提案手法では音声認

3. 節では，本研究に用いる音声認識の概要と，音声情報のデー

タベースへの格納，従来の適合度との統合方法を説明し，最後に適合度の提案を行う．4. 節では，実際の講義をデータベースに格納し，検索実験を行う．最後に 5. 節において，まとめと今後の課題を述べる．
2.

UPRISE の概要

以下では，UPRISE の概要について示す．
2. 1

UPRISE のシステム

UPRISE のコンテンツ統合の概念図を図 1 に示す．メタデー

タには，動画のどの時刻にスライド の切り替えが起こったかというシーン情報と，その際にどのスライド を用いていたかという同期情報，スライドに含まれる文字列情報に対するインデク
スを含める．これらの情報を保持するメタデータによってコンテンツを緩く結合することにより，個々のコンテンツが持つ情報に修正を加えることなくコンテンツの同期表示を実現し，柔軟な統合を可能にしている．また，このメタデータから得られるスライド の使用順序やスライドご との説明に要した時間という情報を用いることによって各シーンの特性が具体化され，シーンの特性に基づいた検索が可能になる．UPRISE のシステ
ムの詳細についてはこれまでの報告 [7] を参照されたい．
UPRISE では，動画中に同じ スライドが複数回出現する場合にそれらを異なるシーンとして区別し，個別に適合度を算出す
る．これにより，それぞれのプレゼンテーションは対応する動画のシーンの集合として抽象化され，プレゼンテーション中の任意のシーンが検索可能になる．
以下では，UPRISE の検索において用いる，従来の適合度算
出手法について簡単に述べる．詳細については，[6] を参照されたい．
2. 2
2. 2. 1

従来の適合度算出方法
スライド の文書構造を考慮した適合度 I p

適合度 I p はスライド の文書構造を考慮した適合度であり，以下の式によって定義される．

識により抽出した音声情報を UPRISE のデータベースに登録し，その情報と従来の適合度とを統合する．
以下では，まず 2. 節で，UPRISE の概要を示す．UPRISE において，従来用いている適合度について 2. 2 節で簡単に述べる．

I p (s, k) =L
X

P(s, l) · C(s, k, l)

l=1

ここで， s はシーン，k はキーワード，l は行数であり，P(s, l)はシーン s で用いられたスライド の行 l に与えられるポイント，
C(s, k, l) はシーン s で用いられたスライド の行 l にキーワードとする．
その目的を達成するために [11] ではシーン毎に音声認識にk が含まれる個数を表している．さらに P(s, l) において行のイよる音声情報へのキーワード 出現数と，実際に講義を聞き取っ

ンデントや文字の大きさに応じて重み付けをし，キーワード のたキーワード 出現数の比較を行い，音声認識による音声情報で出現回数だけではなく出現位置も考慮することができる．

あっても，シーンの差別化に利用するには十分な精度であるこシーンの時間情報を考慮した適合度 Idとを示した．一方，音声情報のみで検索を行う場合，誤認識の2. 2. 2

適合度 Id は I p にシーンの時間情報を付加した適合度であり，以下の式によって定義される．
!θT (s)Id (s, k, θ, u) =· I p (s, k)

考える．そこで本論文では，音声情報を従来の適合度に統合した手法を提案することで，UPRISE のシーン検索精度向上を目指す．

u

ここで，T (s) はシーン s の時間であり，θ は時間の影響の強弱を定めるパラメタ，u は単位時間を定めるパラメタである．これによって，長い説明を行っているシーンを重要視することが以下では，講義・講演の音声情報を UPRISE の検索に利用する手法について提案する．まず，動画から自動音声認識によって音声情報を抽出する手法について説明し，抽出した音声情報
をどのようなメタデータとしてデータベースに格納するかを示できる．
2. 2. 3

影響を受けてし まうため，十分な検索精度が実現できないとシーンの前後関係を考慮した適合度 Ic

適合度 Ic は Id にシーンの前後関係を付加した適合度であり，す．そして音声情報の統合方法について考察し，最後に従来の適合度に対して音声情報を統合した新しい適合度を提案する．
3. 1

以下の式によって定義される．

音声認識の概要

音声認識には連続音声認識ソフトウェア Julius（ 注 ）[18] を用
1

Ic (s, k, θ, u, δ, ε1 , ε2 ) =s+δXE(γ − s, ε1 , ε2 ) · Id (s, k, θ, u)

γ= s−δ

いる. Julius では，認識に用いる単語辞書の他に，音素ごとの音響特徴量をモデル化した音響モデルと，テキストコーパスから

ここで，δ は考慮する前後シーンの範囲を定めるパラ メタで学習した言語モデルを用いて大語彙の汎用音声認識（トランスあり，E(γ − s, ε1 , ε2 ) は前後関係の強弱を定める関数である．

クリプション ）を行うことができる．

E(γ − s, ε1 , ε2 ) は以下のように定義される．

 exp(ε1 x)E(x, ε1 , ε2 ) =  exp(−ε2 x)(x < 0)(x >= 0)

講義や講演は自発性を持つ話し言葉であり，新聞などの文章から作成された言語モデルやその読み上げを用いて作成した音響モデルでは，精度の高い音声認識は難しい [19], [20]. そこで，本研究では山崎が [21] で作成した言語モデルと音響モデ

この適合度によって，適合度はそのシーンの前後 δ だけの範ルを用いる. [21] では，日本語話し言葉コーパス (CSJ) [12], [13]

囲の影響を受け，ε が小さいほど 影響を受けやすくなる．例えの，学会講演 953 講演と模擬講演 1543 講演を学習データとしば δ = 4, ε1 = 5.0, ε2 = 0.5 の時，そのシーンの適合度は前後 4て音響モデルを作成し ，CSJ の学会講演 967 講演 (約 300 万単

シーンの適合度に影響を受け，後に続くシーンのほうにより強語) の書き起こしを学習データとして，バイグラムおよび逆向い影響を受ける．

きトライグラムを言語モデルとして作成している. 言語モデル

2. 2. 4

その他の適合度

作成時の形態素解析には，茶筌（ 注 ），形態素解析用の辞書とし
2

UPRISE では前述した I p ，Id ，Ic の他に，そのキーワード のて，ipadic（ 注 ）を用いている．また，認識用の辞書として，学習どれだけシーンを特定できるかという性質 (特定性) を考慮した

データ (約 300 万語) での出現頻度が高い順から選んだ 22,860

適合度 [9] や，レーザーポインタの情報を考慮した適合度 [10]語を登録している.

を用いている．詳細については，[9], [10] を参照されたい．
3.

音声情報の利用手法

3

本研究では，大学内の講義を撮影した動画ファイル (約 90 分)
から，既存のエンコーダソフトウェアを用いて作成した，音声ファイルに対して音声認識を行う．単語辞書に登録されていな

2. 節では UPRISE と従来の適合度について説明を行った．従い用語は音声認識に出現しないため, 山崎が [21] において作成

来の適合度においてはシーンの差別化のために時間情報，前した辞書に，各講義の資料より抽出した単語のうち辞書に含ま後関係を主に使用しており，そのシーンでキーワードが実際にれていない名詞を追加登録したものを単語辞書として使用する．
音声情報のデータベースへの格納

説明されているかど うかは考慮していなかった．したがって，

3. 2

キーワード の説明がされていなくても，時間が長いシーンであJulius を用いて音声認識を行うと，認識文章の候補 (単語区切れば順位が上位に表示されていた．

り) と，その単語の発話に要した時間を含んだログファイルがそこで，実際に説明されている内容を評価するための情報と得られる．そのログファイルから，単語と単語の発話された時して音声情報に着目する．音声情報は実際に発話されている内

刻 (秒単位) を計算し ，XML ファイルを生成する．図 2 はその容を示しているため，たとえ同じ スライド を用いたシーンであっても発話されている内容により差別化を行うことができる（ 注 1）：http://julius.source forge.jp/と考える．本研究はそのようなシーンに対して差別化を行うこ（ 注 2）：http://chasen.naist.jp/とにより，UPIRISE のシーン検索精度を向上させることを目的（ 注 3）：http://chasen.naist.jp/

XML の一部である．音声情報の XML は fragment タグの集合からなり，fragment タグはその時刻 (秒単位) に発話された単語

象に含まれてしまうといった問題が起こると考える．
そこで，そのシーンで発話され，かつシーンで用いられていを結合した文字列である string 属性を持ち，複数の voice タグ

るスライド 中に出現する場合，つまり I p のポイントが 0 でなを含んでいる. voice タグ 1 つは 1 つの音声情報を表している．

い場合のみ音声のポイントを与えるという方法を考える．また，voice タグの string 属性は音声情報の文字列であり，in 属性は発発話されたシーンで用いられているスライドに存在していなく話された時刻 (秒単位)，consTimeMilli 属性は発話に要した時間ても，近傍のシーンのスライドに出現している，つまり Ic のポ(ミリ秒単位)，consTimeSec 属性は発話に要した時間 (秒単位)，

イントが 0 でない場合のみ音声のポイントを与えるという方法

cmscore 属性は認識時のその単語の信頼度である．このファイも考えられる．この組み合わせにより 3. 4 節では 4 種類の適合

ルを用いて，単語と単語の発話された時刻を基に，単語の出現度を提案する.

したシーンを計算し，検索テーブルに登録する．これにより音

また ，音声に ついても 従来のテキ スト 検索技術に おけ る

声データを考慮した，検索を行うことができる．また cmscore

IDF [22] のような特定性を考慮する必要があると考える．これ

属性は今回は使用しなかったが，この情報をデータベースに格はキーワードに複数の単語を含む検索の時に，音声情報もテキ

納することによって，音声情報の信頼度を考慮した検索を行う

スト中のキーワード と同様に，多くのシーンで発話されるようことができると考える．これについては今後の課題とする．

なキーワード はシーンを特定する能力が小さいからである. 音
声情報の特定性を考慮した関数 IV F(Inverse Voice Frequency) を
以下のように定義する．
IV F(k) = log

その講義に含まれるシーン数
キーワード k が発話されたシーン数

ここで，全検索範囲ではなくその講義に含まれるシーン数とした理由は，全検索範囲とすると対象の講義数が増えた場合に，分子にあたる総シーン数が大きくなるために，キーワード 毎の差異が小さくなってしまい利点が失われてしまう，と考えるか
図 2 認識結果のログファイルから生成した XML 例らである．この IV F を音声加算部分に積算することによって，音声の特定性を考慮することができる．

3. 3

音声情報の統合方法

3. 4

音声情報のみで検索を行うと，誤認識の影響を受けてしまう
ため十分な検索精度が得られないと考える．そこで資料のイン適合度の提案

3. 3 節で示した統合方法の組み合わせにより，以下の 4 種類の適合度を提案する．

デント情報やシーンの時間情報を考慮した，従来の適合度に統まず，該当シーンのスライドと音声の双方にキーワードが存在合することで精度を補完し，誤認識の影響を減らしながらシーする場合にのみ音声の影響を考慮する適合度 Ivas (VA if keyword

ンの差別化を行うことができると考える．以下では，3. 2 節におis in the Scene) として以下のように提案する．

いて登録した，キーワード とそのキーワード の発話されたシーンを基に，適合度として従来の適合度に統合する方法を示す．
まず，あ るシ ーン s にキ ーワード k が 発話され た 回数を T (s) θV A(s, k)(Voice Appearance) とおく．この V A にシーン時間uを積算することにより，従来の適合度に統合可能となる．次に，Ic のように音声情報に対しても音声の前後関係を考えることができる．ここで音声情報の前後関係を考える理由は，講義においてはキーワードは正解のシーンの前後においても，発話される確率が高くなると考えるからである．この関数を VC(Voiceand Context) として以下のように定義する．

VC(s, k, θ, u, δ, ε1 , ε2 ) =s+δX

γ= s−δ

E(γ − s, ε1 , ε2 ) ·

T (s)
u

Ivas (s, k, δ, θ, u, ε1 , ε2 , α)
 T (s) θ Ic (s, k, δ, θ, u, ε1 , ε2 ) + α u · V A(s, k)=  Ic (s, k, δ, θ, u, ε1 , ε2 )(I p , 0)(I p = 0)

ここで，α は音声情報の影響度を決めるパラメタである．α = 6の時，1 回発話された重みがスライド のタイトルに 1 回出現した時の重みに相当する．α = 0 の時，従来の適合度 Ic と一致する．
次に，Ivas の条件をすこし 緩め，前後関係を考慮したスライドに関連するポイント Ic が 0 でなければ，音声の影響を考慮す!θ· V A(s, k)

これにより，あるシーンにおいてキーワードが発話された場合に，前後のシーンにもそのキーワード のポイントの一部が与えられる．

る適合度として，Ivac (VA if keyword is in Contexts) を以下のように定義する．
Ivac (s, k, δ, θ, u, ε1 , ε2 , α)
 T (s) θ Ic (s, k, δ, θ, u, ε1 , ε2 ) + α u · V A(s, k)
= 


 0

(Ic , 0)(Ic = 0)

これらの適合度を考慮する際に音声のポイントを単に加算す
ると，スライド 中にキーワードが存在しなくても検索対象とな

次に，Ivac とは逆に，該当シーンのスライド にキーワードがる．また湧き出し 誤り (実際は発話されていないが，発話され登場し ，音声の前後関係を考慮した関数 (VC) を利用する適合ていると認識される誤り) が起こると，そのシーンも検索の対度として，Ivcs を以下のように定義する．

Ivcs (s, k, δ, θ, u, ε1 , ε2 , α)
 Ic (s, k, δ, θ, u, ε1 , ε2 ) + αVC(s, k, δ, θ, u, ε1 , ε2 )=  Ic (s, k, δ, θ, u, ε1 , ε2 )等は追加しなかった．音声認識を行った結果，データベースの(I p , 0)

講義については延べ 85435 単語，計算機アーキテクチャの講義(I p = 0)については延べ 89363 単語の音声情報が得られ，データベースに登録した．また今回の音声認識における音声認識率 (単語正最後に最も緩い条件として，前後関係を考慮したスライドに解精度) は全講義平均で 25.4%であった．また検索に用いた各関連するポイント (Ic ) が 0 でなければ，音声の前後関係を考慮

単語に対して, 各シーン毎の音声認識によって認識された回数

した関数 (VC) を利用する適合度として，Ivcc を以下のように定と実際に発話された回数を比較することで, 適合度に影響のあ義する．

る湧き出し 誤りと正し く認識された割合を計測したところ, 対
象単語に対する音声認識結果の平均 46.7%が湧き出し誤りであIvcc (s, k, δ, θ, u, ε1 , ε2 , α)
 Ic (s, k, δ, θ, u, ε1 , ε2 ) + αVC(s, k, δ, θ, u, ε1 , ε2 )
= 


 0

(Ic , 0)(Ic = 0)

また 3. 3 節で述べたように，音声加算部分に IV F を積算することによって特定性を考慮することができる．ここで，特定り，正しく認識された割合は平均で 26.7%であった．
4. 2

実

験

提案手法の評価を行うため，4. 1 節で登録したコンテンツに対し，キーワードについて説明しているシーンを実際に検索する実験を行った．

性を考慮した適合度を提案する際に，スライド 内テキストの特まず，音声情報と従来の適合度の統合方法の有効性を確認す

定性を考慮した関数を導入する．ここで用いた特定性は [9] でるために Ivas ，Ivac ，Ivcs ，Ivcc のみで評価実験を行う．さらに，提案した IS F P ではなく，IV F に合わせて講義毎の頻度を用い音声の特定性の影響を議論するために，前述の実験結果においたものを使用する．これを IS FC とし以下に定義する．

て結果が良かったものに対して，IS FC と IV F を考慮した適合

IS FC(k) = log

その講義に含まれるシーン数
キーワード k がスライドに出現するシーン数度を用意し比較を行う．各実験は以下の条件の下で行った．

• パラメタは θ = 0.5，u = 60，δ = 4，ε1 = 5.0，ε2 = 0.5 に

これを上記で定義した 4 種類の適合度の Ic 部分に積算するこ固定した．

とにより，スライド 内テキストの特定性を考慮することができ• 各適合度ごとに 124 種類のキーワード を検索した．

る．これを I x·IS FC ·IV F とする．ただし，x は vas，vac，vcs，vcc• 今回の検索範囲はキーワード の正解シーンの含まれる講のいずれかとする．判定条件に I p を用いるか Ic を用いるかは，義毎とした．

適合度によって異なる. 以下では簡単化のため，Ic のパラメタ• キーワードに対し，最もよく解説していると判断したシーは省略する．

ンをそのキーワード の正解シーンとした．

• 適合度の種類ごとに，正解シーンが何番目に順序付けさ

I x·IS FC ·IV F (s, k, δ, θ, u, ε1 , ε2 , α)
 Ic · IS FC(k) + αI x · IV F(k)=  Ic · IS FC(k)4.

実(I p , 0 もしくは Ic , 0)
(I p = 0 もしくは Ic = 0)験

実際の講義のコンテンツを提案手法によって UPRISE に登録し，登録したコンテンツに対して各適合度ごとの検索実験を行う．その後，実験結果に対して考察を行う．
4. 1

実験に用いたデータ

実際の講義コンテンツに対して音声認識を行い，音声情報をれたかを記録した．

•

Ivas ，Ivac ，Ivcs ，Ivcc のパラメタ α の値を 0 から 10 まで 1刻みで変化させた時と，0 から 100 まで 5 刻みで変化させた時の 2 種類の実験を行った．

• 上の実験で結果が良かったものに対して，IS FC と IV F を考慮した適合度と，IS FC のみを考慮した適合度を用意し ，α の値を 0 から 20 まで 5 刻みで変化させて調査を行った.
パラメタを上記のように設定した理由は，前回までの実験による経験則である．今回はパラメタを変更しなかったが，パラ

UPRISE のデータベースに格納した．今回はデータベースの講メタの設定により影響が異なることは考えられ，これについて

義 (全 11 回) と，計算機アーキテクチャの講義 (全 12 回) を用いは今後の課題とする．

た．音声認識に用いる辞書については，データベースの講義は検索範囲について各講義毎とした理由は，今回は音声認識を山崎が [21] において作成した辞書に，講義から抽出した 1099

各講義毎に行なったからであるが，実験に用いたデータベース

語のうち辞書に含まれていない名詞 134 語を追加した，22,994と計算機アーキテクチャに共通の用語は少なく，実験にはほと語を登録した辞書を用いた．また計算機アーキテクチャの講義

んど 影響を与えないと考える．

は同じ く山崎が作成した辞書に，講義から抽出した 1109 語のなお，評価に際して指標となる再現率 (recall) と適合率 (pre-うち辞書に含まれていない名詞 176 語を追加した，23,036 語を

cision) [23] について述べる．再現率は検索結果に含まれていた

登録した辞書を用いた．認識の辞書を講義毎に変更した理由は，

正解が全正解の中で占める割合，適合率は検索結果に対して正すべての講義に共通の辞書を作成するよりも，認識の精度が若解が占める割合であり，今回の実験では，正解シーンを各キー干上がると考えたからである．なお，認識用の辞書に追加する

ワードに対して 1 つとしており，今回は全ての試行において検ためには，単語に読み付与 (どのような発音で読むか ) を行なう

索結果には正解シーンが含まれているため，以下の結果におけ必要があるが，今回の実験では読み付与が困難な英単語，記号

る再現率は常に 1 である．



 






 "#!$"#%$&

 "#%$&$

 

'!



-



+,

%&

 
')(
 


 




!#"




























図 3 α を変化させた時の各適合度による適合率の推移 (1 刻み)

また，検索結果の範囲は正解シーンの順位までとする．これは，UPRISE の検索インターフェースでは適合度が 0 でないシーンが全て表示される仕様となっていること，および検索を行うユーザは検索結果の上位からシーンを見ると考えることか
ら，検索精度の評価において正解シーン以下の順位にあるシーン群は無視できると考えるためである．
以上の前提のもとでは，適合率が以下の式で求まる．ただし，
N は検索回数である．

適合率 =
4. 3
4. 3. 1

1









図 4 α を変化させた時の各適合度による適合率の推移 (5 刻み)

た．これは音声情報の影響度を上げることによって，正解シーン以外のキーワードがよく発話されているシーンが上位に来てしまうためと考える．表 1 より，音声情報の比率は α = 5〜6 く
らいが最適だと考える．この時，発話 1 回が I p におけるタイト
ル 1 回の出現と同等になる．
また，音声の前後関係を考慮したものと，そうでないものを比較すると，音声の前後関係を考慮したほうが適合率で上回っていることがわかる．これは，講義においては正解シーンの前めと考える．スライドに共通して出現しないとポイントにしな

i 番目の検索での表示順位

i=1



後のシーンにおいてもキーワードが発話される確率が高まるた

N
X
1

N


*

$

い場合と，スライドに出現していなくても前後関係を考慮した
ポ イントがある場合は音声のポ イントを加える場合の比較で実験結果と考察
統合方法による適合度の比較実験

表 1 は α を変化させた時の各適合度による適合率である．また，図 3 は表 1 をグラフ化したものである．

は，前者のほうが適合率で上回っている．後者を用いるとスライドにキーワード を含んでいなくても音声情報の影響を受ける可能性があるため，スライドにキーワード を含まずに，たまた
まキーワード の発話が正解シーンより多かったシーンが上位に

表 1 α を変化させたときの各適合度による適合率

くる可能性があるためと考える．また，複数の単語を含むキー

α

Ivas

Ivac

Ivcs

Ivcc

0= I c

0.560

0.560

0.560

0.560

1

0.576

0.576

0.575

0.568

イド を用いているシーンは検索対象にはならないが，後者を用

2

0.573

0.572

0.594

0.587

いることにより検索対象となる可能性がある．検索対象を広げ

3

0.595

0.592

0.593

0.589

4

0.592

0.585

0.602

0.599

5

0.589

0.574

0.619

0.610

6

0.587

0.574

0.615

0.605

回用いた以外の評価方法については検討の必要性があると考

7

0.583

0.563

0.603

0.594

える.

8

0.578

0.561

0.599

0.589

9

0.575

0.553

0.600

0.591

10

0.573

0.520

0.601

0.591

従来の適合度 Ic による適合率は 0.560(α = 0 の時) であるた

ワード の検索においては，片方の単語しか含まれていないスラ

ることは再現率を広げることにあたり，今回のような正解をた
だ 1 つとする評価方法においては適合率が下がってしまう. 今

表 2 キーワード の順位の例 (Ivcs )
キーワード

α=0

α = 10α = 100

スキーマ

14

2

2

α = 10000
2

ハザード

3

10

17

17

衝突，ベクトル

1

3

4

4

め，各適合度による適合率は Ic より最高で Ivas が 0.035，Ivac
が 0.032，Ivcs が 0.059，Ivcc が 0.05 上回った．これにより，音次に，最も精度の良かった適合度 Ivcs において，α の値を変

声情報を考慮する事によって検索の精度が上昇していることが化させたときの検索への影響をいくつかのキーワード についわかる．その一方で，Ivac では α = 9, 10 において従来の適合度て考察する．表 2 は，' スキーマ'，' ハザード '，' 衝突，ベク

Ic による適合率を下回った．これは音声情報を過剰に考慮する

トル ' という 3 つのキーワード について α の値を 0，10，100，

事によって逆に精度が落ちていることを示している．

10000 と変化させたときの検索順位を示したものである．

このことは α を 0 から 5 刻みで 100 まで変化させた図 4 から' スキーマ' というキーワード では Ic による順位が 14 位でも明らかである．最も精度の上がっていた Ivcs であっても α があったにもかかわらず，α が 10 以上になれば 順位が 2 位に上

80 より大きくなると，従来の適合度 Ic による適合率を下回っ昇している．これは，図 5 のようにスキーマがスライド 上で重     
 
 

表 3 音声の特定性を考慮した適合度による適合率
パラメタ

Ivcs

Ivcs·IS FC

Ivcs·IS FC ·IV F

α=0

0.560

0.580

0.580

α=5

0.619

0.587

0.619

α = 10

0.601

0.606

0.621

α = 15

0.600

0.611

0.623

α = 20

0.589

0.623

0.613

特定性を考慮しない適合度では α = 5 付近で最大値をとっていたのに対して，特定性を考慮した適合度では α = 10 以上で最大値をとる．これは特定性の関数は 0 から 1 の値をとるため，
図 5 検索語：' スキーマ' の正解シーン

全体を除算することになり，適合率のピークが遅くなるためと考える．音声の特定性を考慮しない適合度 Ivcs·IS FC では，さら要な位置に書かれていないため，正解シーンにおいて I p 等のに適合率のピークが遅くなると考える．これはスライド 情報のテキスト情報だけではあまり重要視されなかったと考える．一部分の影響が大きくなることによって，相対的に音声の影響が方，このシーンではスキーマの説明がされているため，スキー減るためと考える．

マという単語は頻繁に発話され，音声情報の影響度を上げることによって正解シーンの順位が上昇したと考える．

表 4 特定性を考慮した適合度によるキーワード の順位の例 (α = 5)
キーワード

Ivcs

Ivcs·IS FC ·IV F

Ivcs·IS FC

要求，デ イジーチェーン

4

3

4

げることによって順位が下降した．これはハザード を用いた複関係，データモデル

323

合語 (例えば 制御ハザード，データハザード など ) が多いため，衝突，ベクトル

2

2

1

一方，' ハザード ' というキーワードでは音声情報の比率を上

ハザードは多数のシーンで発話されている．そのため正解シーンの順位が下がってしまったと考える．このように音声を考えることにより，複合語の多いキーワード では，順位が下がる例も考えられる．そこでパラメタ α の値をキーワード の種類や特表 5 キーワード の音声情報への出現数の例 (各講義毎)
キーワード 1
キーワード 2
要求
デ イジーチェーン関係
データモデル
衝突
ベクトル

キーワード 1 の出現数

キーワード 2 の出現数

50

0

161

37

7

70

性によって変えることにより，適合度を上昇させることができると考える．
また，' 衝突，ベクトル ' というキーワードでも，音声情報の次に，適合度 Ivcs において，特定性を考慮した時の検索への影響をいくつかのキーワード について考察する．表 4 は，' 要

比率を上げることによって順位が下降してしまった．この原因

求，デ イジーチェーン '，' 関係，データモデル '，' 衝突，ベクとして出現頻度の違いがある．衝突は全シーン中 7 回発話されトル ' という 3 つのキーワード について α = 5 の値の通常の適ているのに対して，ベクトルは 70 回も発話されている．この合度，スライド と音声の両方の特定性を考慮した適合度，スラ

ことから音声情報の比率を上げることによって，発話されていイド の特定性のみを考慮した適合度における検索順位を示した

る回数の多い' ベクトル ' の影響が大きくなってしまったと考えものである．

る．この影響を減らすためには音声にも特定性を考慮する必要があると考える．
4. 3. 2

特定性を考慮した適合度の比較実験

Ivcs に IS FC および IV F を考慮した適合度 Ivcs·IS FC ·IV F と IS FC' 要求，デイジーチェーン ' というキーワード の検索においては，音声の特定性を考慮した Ivcs·IS FC ·IV F のほうが，順位が上昇
した．これは表 5 の出現数からもわかるように，特定性を考慮することにより，2 語の間の出現格差を是正することができたのみを考慮した適合度 Ivcs·IS FC との適合率の比較結果を表 3 にと考える．その一方で，デ イジーチェーンの音声情報への出現示す．まず α = 0(音声を考慮しない場合) の値より，スライド数が 0 である理由として，読み方や発音の違い (ディジーやチェ

中のキーワード の特定性 IS FC を考慮することによって適合イン ) があげられる．このようなキーワードに対する読み付与・率が上昇していることがわかる．IS FC のみを考慮した適合度

認識は難しく，今後の課題である．

Ivcs·IS FC は，α = 5 の時は適合度 Ivcs を下回っているが，α の値が大きくなると適合度 Ivcs を上回り，α = 20 の時には適合率0.623 を記録した．このことから，音声を考慮した適合度においても，スライド 中のキーワード の特定性を考慮することは有用であるということがわかる．

' 関係，データモデル ' というキーワード の検索においても，音声の特定性を考慮した適合度 Ivcs·IS FC ·IV F のほうが，順位が上昇した．これは ' 関係' という言葉は出現数が多いため特定性が低く，特定性を考慮することにより改善したと考える．
' 衝突，ベクトル ' というキーワード の検索においては，特定

一方，音声の特定性を考慮した適合度 Ivcs·IS FC ·IV F では，全体性のみを考慮した適合度 Ivcs·IS FC では順位が上昇したが，適合的に適合度 Ivcs を上回り，α = 15 の時には従来の適合度 Ic とく

度 Ivcs·IS FC ·IV F では変化しなかった．これは改善幅が小さいため

らべて 0.063(6.3%) 高い，適合率 0.623 を記録した．このことに，特定性のみを考慮したもののみ順位が上昇したと考える．

からスライド 中のキーワード の特定性に加えて，音声情報の特改善幅が小さい理由として，現在は音声認識を行い抽出した音定性を考慮することは有用であると考える．

声情報を用いていることがある．音声認識はシーンの差別化を行うためには十分な精度であると考えるが，特定性を考慮する   
 "!
 "' 

# $ % &(*) + ,.&

      



 
 



 



 
K





 !#"%$'&(!)*$ +-, .0/2143
56789":$'&;<=)*$ +?>0@BA CBD*3 !#"%$'&E+->2@BA CBD*3GF!>0@HA CBDJI 

 


























る．キーワード の再現率は [11] で延べたように，言語モデルに存在するかど うかや，単語の認識し易さに大きく影響する．そこで，特定性を考慮することによる有効性の詳細の評価のために，実際に講義音声を書き取り，そのデータから作成した音声情報を用いた適合度との比較が必要であると考える．
また IDF [22] などの特定性の関数は，キーワードに単語 1 語のみ含まれる検索の場合は影響しない．ところが，IV F の場合
音声部分のみに特定性の関数を乗算するために，キーワードに単語 1 語のみ含まれる検索においても影響してしまう．この問題を解決するためには，キーワードに複数の単語を含む検索の場合のみ特定性を考慮するか，提案した式を改良する必要があると考える．これについても今後の課題とする．
4. 3. 3

書き起こしから抽出した音声情報を用いた場合との比較実験

これまでの実験においては，音声認識処理によって抽出を行なった音声情報を用いていた．しかしながら，音声認識処理の

図 7 音声認識と書き起こし情報の比較 (音声の特定性)

図 6 音声認識と書き起こし情報の比較

場合にはキーワード の再現率 (認識率) が影響してしまうと考え

0.638 を取っている．最大値を取るパラメタの値が小さくなったのは，音声認識処理に対し書き起こしを用いた場合は，認識できていなかった部分が認識されたことでキーワード 数が増加したためと考える．また最大値がそれほど 変化しない理由として，3. 3 節で説明した統合方法は脱落誤りを考慮したものであり，書き起こしを使用した利点が少なくなったためと考える．
今回の統合方法を用いれば音声認識処理の結果を用いた場合でも，書き起こしと同程度の精度が得られることが確認された．
音声の特定性を用いた書き起こしの比較実験のグラフを図 7に示す．グラフからわかるように，書き起こしを用いた場合でも 4. 3. 2 節の結果と同様の傾向が得られている．また音声の特定性においては，音声認識処理の結果を用いた場合のほうが，若干精度が高いという結果が得られた．これは今回の統合方法
が脱落誤りを考慮した統合方法であるためと考える．そのため音声の精度が向上した場合の統合方法を検討する必要があると
考える．
5.

おわりに

5. 1

ま と

精度が向上した場合にも同様の効果が得られるかを確認する必要がある．そこで，講義を実際に聞き取ったテキストから抽出したデータを用いた場合との比較実験を行う．
実験のパラメタや評価方法については 4. 2 と同様とした．ただし，書き起こしを作成できなかった 4 回分の検索範囲を除き，その範囲に正解シーンを含むキーワード を除外したため 104 種
類のキーワード で検索を行った．ここで，書き起こしが作成できなかった理由は，録音が途中で途切れるなどしたためである．
録音が途切れている区間以外は検索に有効であると判断したため，4. 2 節の実験においては使用したが，書き起こし作成の対象からは除いた．前の実験で最も精度の高かった Ivcs を用いて実験を行い，音声の影響度を決めるパラメタ α は 1 から 10 まで 1 刻みで変化させた．また，テキスト情報の特定性のみを考慮した Ivcs·IS FC と音声の特定性を考慮した Ivcs·IS FC ·IV F についても書き起こし情報を用いた場合の実験を行い，パラメタ α は 1から 5 まで 1 刻みで変化させた．
Ivcs を用いた比較実験の結果のグラフを図 6 に示す．グラフからわかるように，音声認識処理の結果を用いた場合は，音声め

本稿では UPRISE の検索精度を向上させるために，自動音声認識によって抽出した講義・講演の音声情報をシーンの差別化に利用する手法を提案した．まず，自動音声認識によって講義・講演の音声情報を抽出し，その音声情報の格納方法について述
べた．さらに格納した音声情報を従来の適合度に統合した新しい適合度計算手法を提案した．また，実際の講義を UPRISE に登録し，評価実験を用いて提案手法の有効性を示した．
評価実験の結果，全ての適合度で従来の適合度 Ic (適合率 0.560)よりも適合率が上昇し，適合度 Ivcs においては最大 0.059(5.9%)
改善し ，適合率 0.619 を記録した．またいくつかのキーワードについて詳細に考察することにより，音声情報による正解シーンの順位の変化を考察し た．また音声における特定性 (キーワードがどれだけ文書を特定できるかという性質) を考慮した適合度を提案し ，従来の適合度 Ic (適合率 0.560) にくらべて最大 0.063(6.3%) 改善し，適合率 0.623 を記録した．
さらに講義を実際に聞き取りデータ化した (書き起こし ) テキ

影響度パラメタ α = 5 のときに最大値 0.636 を取っているのにストの結果と比較し，現在の統合方法においては，音声認識処

対し ，書き起こし 情報を用いた場合は α = 3 のときに最大値

理結果を用いた場合でも，書き起こしとあまり差のない精度が得られることを示した．また，音声の特定性についても書き起こしを用いた比較実験を行い，同様の傾向が得られた．
5. 2

In Proc. of WIRI2005, pp. 4752, April 2005.
[10]

Satoshi Naoi, and Haruo Yokota. Unied Presentation Contents Re-

今後の課題

trieval Using Laser Pointer Information. In Proc. of SWOD, pp. 170

本研究の今後の課題を以下に述べる．まず，本論文ではシーンの差別化を行うためには十分な精度であることを示したが，173, April 2005.
[11]

音声文書検索に対して誤認識の影響を減らすための手法 [24] や，音素の情報を利用して未知語 (辞書中に存在しない単語) に対応する手法 [25] を取り入れることで，音声認識時の精度低下が

[12]

[13]

検索に与える影響を減らす必要があると考える．さらに，音声も考える必要がある．また 4. 3 節で述べたように，読み付与の後の課題である．今回の実験ではパラメタを経験則に基づいて

[15]

[16]

[17]

実験における評価方法では正解シーンを 1 つとしていた．しかこで，正解シーンを正解の度合い別に複数設定し評価する必要

[18]

[19]

があると考える．
[20]

辞

力頂いた，東京工業大学大学院情報理工学研究科計算工学専攻
学省科学研究費補助金特定領域研究 (15017233,16016232)，独立行政法人科学技術振興機構 CREST，および東京工業大学 21

文

G. Salton. Automatic Text Processing: The Transformation, Analysis
and Retrieval of Information by Computer. Addison-Wesley, 1988.

[23]

Heuristics. Kluwer, 1998.
[24]

R. Müller and T. Ottmann. The Authoring on the Fly system for

Carnegie Mellon University The Informedia Project. Informedia ii
digital video library. http://www.informedia.cs.cmu.edu/.
G. D. Abowd. Classroom 2000: an experiment with the instrumentation of a living edu cational environment.

IBM Syst. J., Vol. 38,

No. 4, pp. 508530, 1999.

横田治夫. 東工大学術国際センターの情報蓄積・活用―教育コン
テンツの統合とその手法−. 情処研報 DBS-125-58, 情報処理学会, July 2001.
村木太一, 吉田誠, 小林隆志, 直井聡, 横田治夫. メタデータによる講演資料と動画の統合と検索. In Proc. of DBWeb2002, pp. 97104.
情報処理学会, 2002.
Haruo Yokota, Takashi Kobayashi, Taichi Muraki, and Satoshi Naoi.
UPRISE: Unied Presentation Slide Retrieval by Impression SearchEngine. IEICE Transactions on Information and Systems, Vol. E87D, No. 2, pp. 397406, February 2004.

[7]

A. Singhal and F. Pereria. Document expansion for speech retrieval.
In Proc. of ACM SIGIR 99, pp. 3441, 1999.
S. Srinivasan and D. Petkovic. Phonetic confusion matrix based spo-

2000.

Syst., Vol. 8, No. 3, pp. 158176, 2000.

[6]

D. A. Grossman and O. Frieder. Information Retrieval Algorithm andken document retrieval.

献automated recording and replay of (tele)presentations. Multimedia[5]

In Proc. Eu-

[22]

[25]

築」の助成により行われた．

[4]

Towards au-

tomatic transcription of spontaneous presentations.

山崎裕紀. 講義音声認識の高精度化に関する研究. 東京工業大学
工学部 卒業論文, February 2005.

世紀 COE プログラム「 大規模知識資源の体系化と活用基盤構[3]

Takahiro Shinozaki, Chiori Hori, and Sadaoki Furui.

[21]の山崎裕紀氏に感謝致します．なお，本研究の一部は，文部科[2]藤井敦, 伊藤克亘, 石川徹也. 音声文書検索の応用によるオンデマ
ンド 講演システム. 言語処理学会第 8 回年次大会, March 2002.
中澤聡, 佐藤研治, 奥村明俊. 講演音声とプレゼンテーション資料の対応付けによる講演検索. Technical Report 情処研報 2005-SLP55-12, 情報処理学会, February 2005.
中澤聡, 佐藤研治, 奥村明俊. 講演音声-プレゼンテーション資料ア
ライメントによる講演検索. 言語処理学会第 10 回年次大会ワー
クショップ「 e-Learning における自然言語処理」, March 2004.
河原達也, 李晃伸. 連続音声認識ソフトウエア Julius. 人工知能学
会誌, Vol. 20, No. 1, pp. 4149, 2005.
篠崎隆宏, 斎藤洋平, 堀智織, 古井貞煕. 話し言葉音声の認識を目指して. 信学技報 SP2000-96, 電子情報通信学会, Dec 2000.

rospeech2001, Vol. 1, pp. 491494, Aalborg, Denmark, Sep 2001.

本研究で用いた Julius と音響/言語モデルの使用にあたりご協[1]

In Pro-ceedings of ICASSP'99, pp. 4952, 1999.

とができれば，精度がさらに上昇すると考える．さらに，今回し，実際の検索においては正解シーンが 1 つとは限らない．そS. Johnson, P. Jourlin, G. Moore, K. S. Jones, and P.Woodland. The
Cambridge University spoken document retrieval system.

決定したが，キーワード の種類を分類することによって，通常の適合度のパラメタや音声情報の比率パラメタを変化させるこ

Kikuo Maekawa, Hanae Koiso, Sadaoki Furui, and Hitoshi Isahara.

pp. 947952, Athens, Greece, May 2000.
[14]

難しいキーワード への対策や，キーワード 単語 1 語のみを含む
場合の検索時に，影響を与えないような特定性の式の改善も今

岡本拓明, 小林隆志, 直井聡, 横田治夫, 古井貞煕. 講義講演シーン
検索における音声データの利用. 研究報告 2005-dbs-137 (ii) (78),pp.585-591, 電子情報通信学会, July 2005.
国立国語研究所. 日本語話し言葉コーパス. http://www2.kokken.
go.jp/˜csj/public/.
Spontaneous speech corpus of japanese. In Proc. LREC2000, Vol. 2,

認識処理の精度が向上した場合の統合方法や利用方法について

謝Wataru Nakano, Yuta Ochi, Takashi Kobayashi, Yutaka Katsuyama,

小林隆志, 村木太一, 直井聡, 横田治夫. 統合プレゼンテーション
コンテンツ蓄積検索システムの試作. 電子情報通信学会論文誌,
Vol. J88-D-I, No. 3, pp. 715726, March 2005.

[8]

岡本拓明, 小林隆志, 横田治夫. プレゼンテーション蓄積検索シス
テムにおける適合度計算の改善. データ工学ワークショップ論文集, pp. DEWS20041B3. 電子情報通信学会 DE 研, March 2004.

[9]

Hiroaki Okamoto, Takashi Kobayashi, and Haruo Yokota. Presentation Retrieval Method Considering the Scope of Targets and Outputs.

In Proc. of ACM SIGIR2000, pp. 8187,