音声中の検索語検出における最上位候補を含むドキュメント及びその類似ドキュメント優先方式
A Method of Prioritizing a Document Including Top Candidate andIts Similar Documents for Spoken Term Detection
感性情報学講座 0312014108 丹治遥
指導教員：伊藤慶明 小嶋和徳

1

はじめに音声を含む大量のビデオデータから特定のシーンを検索する音声中の検索語検出(STD: Spoken
Term Detection)の研究が盛んである[1-4]．一般的な STD システムでは，音声認識システムを用いて𝛺内で k 位であった場合の照合距離をD(𝛺𝑗 , 𝑘)とする．調整後の照合距離D′(𝛺𝑗 , 𝑘)は，その候補区間の照合距離D(𝛺𝑗 , 𝑘)と 1～T 位(1 ≤ T ≤ k − 1)までの候補D(𝛺𝑗 , 𝑡)の平均を線形結合することで求められる．
𝑇

1𝐷′(𝛺𝑗 , 𝑘) = 𝛼𝐷(𝛺𝑗 , 𝑘) + (1 − 𝛼) ∑ 𝐷(𝛺𝑗 , 𝑡)𝑇

認識した音声ドキュメントとクエリとをサブワー

𝑡=1ドレベルに変換した上で照合し, 照合距離の小さい順に候補を出力する．

(1)

2.2 最上位候補を含むドキュメント及びその類似

NTCIR の評価セットでは，音声ドキュメントはドキュメント優先方式

講演毎に分かれており，一般に講演毎に話される

次に，提案手法について説明する．予め，検索言葉の傾向が異なる．予備実験では, STD 結果の対象の音声ドキュメントを講演毎に単語認識し，高順位候補は高い適合率を示すことから，先行研形態素解析を行う．本研究では，形態素解析器と究では高順位候補を含む講演内の全ての候補のスして Mecab を使用した．クエリが与えられると，コアが有利になるよう調整することで，検索精度クエリと音声ドキュメントをサブワードレベルでの向上を実現した[5][6]．

照合(STD)を行い，最上位候補を決定し，その最上STD 結果における最上位候補は最も適合率が位候補を含む講演の認識結果を抽出する．その認高いため，最上位候補を含む講演及びその類似講

識結果において tf-idf 値が最も高い名詞をN(=演には正解区間が複数含まれていると考えられる．

1,2, … ,5) 個抽出する．これらの名詞がこの講演をそこで本研究では，最上位候補を含む講演と，そ特徴付けるものと考え，これらの単語が他の講演の講演と内容が類似する講演にはクエリが複数含にも出現している場合は，その講演は最上位候補まれていると仮定し，新たなリスコアリング手法を含む講演と類似しており，クエリを含んでいるを提案する．まず，最上位候補を含む講演の認識可能性が高いと仮定する．この N個の名詞をその結果から tf-idf の高い名詞を複数抽出し，それら講演の関連語と呼び，このN個の関連語を全て含を含む講演を類似講演として選定する．次に，選む講演を類似講演リストに登録する．リストに登定された講演内の全ての候補のスコアが有利にな録されている講演内の全ての候補に対して，以下るよう調整を行い，検索精度の向上を図る．の式(2)により，照合距離が小さくなるように補正2を行う．
𝐷(𝛺′𝑗 , 𝑘)は類似講演リスト内の講演𝛺′の k

リスコアリング手法

2.1 高順位候補を含むドキュメント優先方式[5]
先行手法について概説する．まず，音声ドキュ
メントは講演𝛺(A,B,C,…)で構成されているとす位の発話𝛺′𝑗 の照合距離を表し，new𝐷(𝛺′𝑗 , 𝑘)は調整後の照合距離を示す．𝐷(𝛺′𝑗 , 𝑘)に重みα(0 ≤ α ≤1)を乗じて補正する．

る．例えば，講演 A 内の高順位候補がクエリと一𝑛𝑒𝑤𝐷(𝛺′𝑗 , 𝑘) = 𝛼 × 𝐷(𝛺′𝑗 , 𝑘)(2)

致していれば，その照合距離は小さく，講演にはクエリを複数含んでいる可能性が高いと考えられ3る．そこで，高順位候補の照合距離を用いて講演

3.1 実験条件

評価実験

A 内の下位の候補区間の照合距離に対して以下の音声ドキュメントの認識には DNN-HMM を用式(1)により調整(リスコアリング)を行う．α(0 ≤いた．音響モデルと言語モデルの学習にはα ≤ 1)は重み係数を表す．講演𝛺の j 番目の発話がCSJ(Corpus of Spontaneous Japanese) の 偶 数 講 演

(1,255 講演, 約 287 時間)を用いた．音響モデルは3.3 実験結果

各 3 状態の triphone で構成し，状態共有により3,009 状態とした．

パラメータαは，0.05 おきにNは 1~5 で実験を行った．その結果を表 2, 3 に示す(α < 0.7, α > 0.8はDNN の入力層は 1,320 ユニット，隠れ層は 2,048省略)．NTCIR10,12 共にα = 0.75, N = 4の組み合わユニット×5 層，出力層は 3,009 ユニットとした．

せで最も MAP が高かったため，このパラメータ

DNN への入力特徴量はフィルタバンク 120 次元の組み合わせで以降評価する．とし，前後 5 フレームを追加した 1,320 次元(11 フ

先行手法(節 2.1)と提案手法(節 2.2)，及びそれらレーム×120 次元)とした．出力は triphone の各状を併用した場合の検索精度を図 1 に示す．併用に態の事後確率で，今回 3,009 状態となった．

おける+は適用順を示す．Baseline はリスコアリン
グ手法適用前の結果を示す．Baseline と各手法単3.2 テストセット

体の精度を比較すると，平均で先行手法と提案手評価には NTCIR10 と 12 の 2 種のテストセット

法共に 4.3pt の向上となり，同程度の検索精度をを使用した．詳細は表 1 の通りである．評価指標実現した．Baseline と各手法を併用した場合の精には MAP(Mean Average Precision)を使用し，パラ度を比較すると，平均で，提案+先行で+4.6pt(提案メータαとNについては，テストセット間での交差

手 法 単 体 と 比 べ +0.3pt) と な り ， 先 行 + 提 案 で検証を行った．

+4.9pt(同様に+0.6pt)となった．

4表 1：テストセット
NTCIR-10
検索対象
データ
クエリ

NTCIR-12

本論文では，STD 結果における最上位候補を含むドキュメントとその類似ドキュメント内の全て

SDPWS104 講演

SDPWS98 講演(約 29 時間, 40,746 発話)(約 27.5 時間, 37,782 発話)の候補を有利にするリスコアリング手法を提案しFormal Run
100 クエリFormal Run
113 クエリた．提案手法で+4.3pt，先行+提案で+4.9pt の向上

N=1
72.01
73.10
72.92
72.60

N=272.01
74.17
74.07
73.74

N=372.01
74.47
74.57
74.26

N=472.01
74.64
74.72
74.47

が得られ，提案手法の有効性を確認できた．
今後は，各併用手法における相違点を調査し，

表 2：NTCIR10 の結果(MAP[%])
Baseline
α = 0.80
α = 0.75
α = 0.70

まとめ

N=572.01
74.67
74.68
74.42

より適切な類似講演リストの作成方法を検討し，更なる検索精度向上を目指していきたい．
参考文献[1] Tomoyosi Akiba et al, Overview of the IR for

表 3：NTCIR12 の結果(MAP[%])
Baseline
α = 0.80
α = 0.75
α = 0.70

N=169.61
71.62
71.72
71.68

N=269.61
72.98
73.42
73.33

N=369.61
73.43
74.29
71.70

N=469.61
74.44
75.34
73.22

Spoken Documents Task in NTCIR-9 Workshop,
N=569.61
72.91
73.40
73.26

NTCIR-9 Workshop Meeting, pp.223-235, 2011.
[2] Tomoyosi Akiba et al, Overview of the NTCIR-10
SpokenDoc-2

Task,

NTCIR-10

WorkshopMeeting, pp. 573-587, 2013.
[3] Tomoyosi Akiba et al, Overview of NTCIR-11
Spoken&Doc Task, NTCIR-11, pp. 350-364, 2014.
[4] Tomoyosi Akiba et al, Overview of NTCIR-12
Spoken&Doc Task, NTCIR-12, pp. 167-179,
2016.
[5] 小嶋和徳 他, 音声中の検索語検出における同文書内の高順位候補を利用したリランキング方式, 電子情報通信学会 D Vo1.J100-D
No.1, pp70-80, 2017.
[6] 清水嘉乃 他, 音声中の検索語検出における

図 1：各手法における検索精度

Paragraph Vector を用いたリスコアリング手法, 音講論(秋), pp145-148, 2017-9.