漸進的係り受け解析に基づく独話音声のリアルタイム字幕生成
大野 誠寛†

松原 茂樹‡§

柏岡 秀紀§†名古屋大学大学院情報科学研究科

加藤 直人§

稲垣 康善\‡名古屋大学情報連携基盤センター§ATR 音声言語コミュニケーション研究所\愛知県立大学情報科学部

ohno@el.itc.nagoya-u.ac.jp

1

はじめに大きく影響される．まず，本研究では，字幕表示方法としてテレビのクローズドキャプションに見られる切り替講演や解説などの独話をリアルタイムに理解するこえ方式を採用する．ただし，一画面あたりの文字数の制とを支援する字幕生成システムの開発が望まれている．
限については考慮せず，要約結果のテキストをすべて字
リアルタイム字幕生成システムでは，音声に追従して幕の一画面として表示する．
字幕を出力することがもとめられる．そのため，字幕のまた，字幕の表示時間は，その元となる要約単位の発表示時間をいたずらに延長できないことから，聴衆が話時間分だけ表示する．なお，表示開始は，字幕画面が字幕テキストを読む速度を考慮した場合，冗長箇所を生成された時点で，一つ前の字幕画面の表示が終了して削除し要約する必要がある．一方，従来の音声要約手法
いればすぐに行い，終了していなければ一つ前の字幕画
では，文に対して要約処理が行われているが（例えば，面の表示が終了次第行う．
[1]），独話には明示的な文末標識がなく，事前に文単位に区切ることは容易ではない．また，たとえ文境界を検要約単位の決定出できたとしても，独話文は長くなる傾向にあるため， 3
音声に追従して字幕を出力するという同時性を損なう
本研究では，要約処理を実行する単位を節境界に基づことになる．このように，リアルタイムに音声を要約す
く漸進的係り受け解析 [5] の結果に基づいて決定する．
る場合，どのような言語単位を要約処理の単位として定以下では，まず，節境界に基づく漸進的係り受け解析手めるかが問題となる．
法について概説し，次に，要約単位決定アルゴリズムにそこで本稿では，節境界に基づく漸進的係り受け解 ついて述べ，最後に，解析例を示す．
析 [5] を利用した独話音声のリアルタイム字幕生成手法を提案する．本手法では，節が検出されるたびに同定さ3.1 節境界に基づく漸進的係り受け解析れる係り受け構造に基づいて，順次，要約処理を実行する単位を定め，その単位ごとに要約処理を実行する．こ
本手法では，解析の処理単位として節を採用し，節がれにより，入力音声のリアルタイムな字幕化の実現が期 入力されるたびにその時点までの入力に対して係り受待できる．さらに，この単位は，同定された節末の係り け解析を実行する．ここで，節境界の判定は節境界解析受け関係によって連結された節列であるため，統語的， (CBAP)[3] により実行する．本来，文を節に一次元的意味的にまとまっており，要約処理に適していると考え に分割することは困難であるものの [2]，節境界解析にられる．また，要約では，係り受け構造を考慮して，冗 より近似的に分割することは可能である [3]．本研究で長と思われる文節単位，節境界単位を順に削除すること は，節境界解析により検出された節境界ではさまれた単により，不自然な日本語の生成を防いでいる．
位を節境界単位と呼び [2]，これを新たな解析単位と考本手法の有効性を評価するために，NHK の解説番組 える．係り受け解析は，入力された節境界単位の内部の「あすを読む」の独話データを用いて字幕生成実験を行っ 係り受け構造を解析するとともに，既に入力された節境界単位の最終文節の係り先を可能であれば決定する．
た．実験の結果，本手法の実現可能性を確認した．
本手法では，形態素解析，文節まとめ上げ，及び節境界解析が施された１独話を入力とする．ここで，入力
2 リアルタイム字幕生成
データには，文境界が付与されていないことに注意さ
一般に，リアルタイムに音声を要約し字幕を生成するれたい．また，この手法では，係り受けの後方修飾性，ためには，次の (1)〜(6) の処理を順に行う必要がある．
係り先の唯一性，非交差性の３つの性質を絶対的制約と(1) 発話の音声認識（書き起こし）する．解析の手順は以下の通りである．

(2) 要約を実行する単位（以下，要約単位）の決定(3) 要約の実行(4) 字幕画面の決定(5) 表示時間の決定(6) 字幕の提示
このうち，本研究では，(2)〜(5) を扱う．(4),(5) の字
幕画面とその表示時間の決定は，字幕表示方法によって

1. 節レベルの係り受け解析
１独話中のすべての節境界単位に対して，その内部の係り受け構造を解析する．

2. 独話レベルの係り受け解析
１独話中のすべての節境界単位に対して，その最終文節の係り先を解析する．

上述した２つの解析とも，各文節間の係り受け確率を 3.3 要約単位決定の例
統計的に獲得し，それを用いて係り受け構造の尤度を独話「正当な事由がない限り契約期間が切れたといっ計算し，最尤の構造をもとめる．統計モデルの詳細は，ても明け渡しを請求できない点にあるといわれていま
文献 [5] を参照されたい．
す」の節境界単位末の文節の係り先を解析する様子を図
ここで，節境界単位の最終文節の受け文節を同定する
1 に示す．(a)〜(f) の 6 つの過程から構成され，それぞ独話レベルの係り受け解析では，その受け文節がいつ入れ上部に係り受け構造を，下部に節境界単位の最終文節力されるかは明らかではないため，それを決定するタイの係り受け関係を示す．(dep(bjnj ), k) ∈ D の dep(bjnj )ミングが問題となる．本研究では，節境界単位が入力さが係り文節及び受け文節に，k が不変回数に相当する．
れるたびにその時点での最尤の係り受け構造を解析し，なお，ここでは固定値が 3 であるとして説明する．
ある最終文節の係り受け関係が一定の入力回数（以下，(a) は，最初の節境界単位 I が入力された状態を，(b)固定値）変わらなかった場合，その受け文節を係り先とは，節境界単位 II が入力され，係り受け構造 {dep(限りして決定する．なお，この解析と同時的に要約単位の決)} が解析された状態を示す．dep(限り) は上部の点線矢定も行うため，具体的な解析アルゴリズムは次節で述印に相当し，「限り」の係り先が「切れた」であり，不べる．
変回数は 1 であることが下部に記録される．同様にして，(c)，(d) は，それぞれ節境界単位 III，IV が入力さ
3.2 要約単位決定アルゴリズムれたときの最尤の係り受け構造 {dep(限り), dep(切れた独話レベルの漸進的係り受け解析に基づく要約単位決 )}，{dep(限り), dep(切れた), dep(いっても)} が解析さ定の流れを以下に示す．独話レベルの係り受け解析では， れた状態を示す．
(e) は，節境界単位 V が新たに入力され，最尤の構
節境界単位 Ci が入力されるごとに，すでに入力された
造 {dep(限り), dep(切れた), dep(いっても), dep(請求で節境界単位 C1 · · · Ci−1 の各最終文節 b1n1 · · · bi−1
ni −1 に対する係り受け構造 D = {(dep(bjnj ), k)| 1 ≤ j ≤ i − 1} きない)} がもとまった状態を示している．このとき，係を更新することにより実行する．ここで k は dep(bjnj ) り受け関係 dep(切れた) の不変回数が３に達したため，の不変回数を示す．以下に要約単位決定アルゴリズムを この関係を決定し出力する．ここで，3.2 節の (5) が実行される．この場合，決定された係り受け関係 dep(切示す．なお，固定値を σ とする．
れた) を最終文節とする節境界単位 II は，最終文節の係(1) 内部の係り受け構造が決定された節境界単位 Ci を り先が未決定な最左の節境界単位 I ではないため，要約単位はまだ同定されない．
入力する．(2) へ進む．
(f ) は，節境界単位 VI が新たに入力され，最尤の係(2) １独話の文節列を B(= B1 · · · Bm ) とし，最終文節 り受け構造 {dep(限り), dep(いっても), dep(請求できなの係り先が未決定な節境界単位の集合 U を U = い), dep(あると)} がもとまった状態を示す．(e) と同様{Ch , · · · , Ci−1 }(1 ≤ h ≤ i − 1) とする．また，これ に不変回数が固定値に達している係り受け関係 dep(限らの最終文節を係り文節とするような係り受け構造 り), dep(いっても) を決定し出力する．ここで，3.2 節の{dep(bhnh ), · · · , dep(bi−1ni−1 )} を Slast とする．このと(5) が実行される．この場合，決定された係り受け関係
き，P (Slast |B) を最大とする Slast をもとめる．(3) dep(限り) を最終文節とする節境界単位 I は，最終文節へ進む．の係り先が未決定な節境界単位のうち，最左であるた(3) (2) で同定された係り受け構造 Slast に基づき，最終 め，これまでに決定された係り受け関係で連結している文節に対する係り受け関係 D を更新する．ここで 節境界単位 I から IV までを要約単位として決定する．

dep(bjnj )(h ≤ j ≤ i − 1) が同一の場合は不変回数をk + 1 とし，異なる場合は 1 とする．(4) へ進む．
(4)

k = σ を満たす係り受け関係 (dep(bjnj ), k) ∈ D に対して，文節 bjnj の係り先が決定したとして dep(bjnj )4

係り受け構造に基づく要約

本手法では，前節で同定された要約単位に対して，冗長と思われる箇所を文節単位，節境界単位の順で削除すを同定する．また，最終文節の係り先が決定された る．そのとき，部分的な削除によって，不自然な日本語節境界単位を U から取り除く．(5) へ進む．．
が生成されないように，係り受け構造を考慮して冗長箇所を削除する．
(5) (4) で U の中で最左の節 Ch の最終文節の係り先がここで，要約単位の文字列を何文字まで要約するのか同定された場合は，同定された係り受け関係によっという目標文字数の設定が問題となる．字幕生成では，て連結される節境界単位の列を要約単位として決定
話者の発話内容を分かり易く，かつ，字幕の表示時間内し要約処理へ渡す．まだ節境界単位が入力される場に聴衆が読みきれる程度に要約することがもとめられ合，(1) へ戻る．すべての節境界単位が入力されたる．しかしその一方で，話者の発話音声をできる限りそ場合，(6) へ進む．のまま字幕化してほしいという要望もあり，そのバラン(6) k < σ の (dep(bjnj ), k) ∈ D に対して，その係り受 スが問題となる．そこで，本研究では，聴衆が字幕テキ（株）
け関係 dep(bjnj ) を同定する．要約単位として同定 ストを読みきることができる字幕表示速度として，日本文字放送が字幕放送の作成において設定しているされていない残りの節境界単位の列を要約単位とし「1 秒あたり 4 文字」という基準に着目した．この基準て決定し要約処理へ渡す．

   

&'( !  "# $
% 

-./& '( " # $ !
%)* 
 +,   :;<( ) * $ %!& "' ,#+67  /-.2 8
453
9 10  BCD/ 0&1 + ,'- (. 4)2 /3//*
!  @!>?A  97586:<=;"#$%       345 6  . / (0& '12     "#!$%)*-+,GHCD F E @ : 88
ABCD : @ : 89 87<=>? ; ; ; 7 8

図 1: 要約単位決定の例 (固定値３の場合)と 2 節で述べた字幕表示時間，すなわち，要約単位の発 (4) 節境界単位に付与されたラベルが，従属度が低い話時間から，要約する際の目標文字数を各要約単位ごとため CBAP では検出されても CBAP-csj では検出に設定した．
されないような種類（連体節，ナガラ節，ツツ節など）（文献 [3] 参照）である．
要約は，以下に示す (1)〜(3) の順で文節単位を削除し，続いて (4),(5) の順で節境界単位を削除する．また，(5) 節境界単位に付与されたラベルが，節境界直後の各段階で複数の削除候補が見つかった場合は，節境界単切れ目の大きさという観点から分類された３つの位や要約単位の最終文節からの係り受けの深さによってレベル「絶対境界」「強境界」「弱境界」のうち，「弱順位を付け，深いものから順に削除する．ただし，目標境界」（文献 [3] 参照）である．
文字数に達した時点で停止することとする．最終的に，
条件 (5) を満たすものの削除が終わり，その時点でまだ目標文字数に達していない場合でも，発話内容の重要部 5
評価実験分の欠落を避けるため，そのまま終了する．
独話音声のリアルタイム字幕生成における本手法の有効性を評価するため，字幕生成実験を行った．
4.1 文節単位の削除による要約節末でなく，かつ，自分に係る文節がない文節について，以下の条件を満たすならば順に削除する．

5.1

実験概要

実験には，NHK の解説番組「あすを読む」（番組あたりの長さは約 10 分）の書き起こしデータを使用した．
書き起こしデータに形態素解析，文節まとめ上げを施した７番組 (470 文) に対して，字幕生成実験を行った．
(2) 受け文節の自立語の品詞が名詞（形式名詞以外）で また，漸進的係り受け解析において，固定値は３とし，学習データは，形態素，文節，節，係り受けに関する情ある．
報が与えられた 95 番組 (5,532 文) を用いた．なお，こ(3) 受け文節が述語である．ここで，受け文節が述語 れらの実験データは文献 [5] と同様のものである．
であるか否かは，節境界単位の最終文節であるか生成した字幕に対して，１）字幕表示速度（１秒あた
否かで判断する．ただし，ラベルが “感動詞”，“体りの表示文字数），２）字幕テキストの品質を評価した．
言止”，“談話標識”，“主題ハ” である節境界単位は
１）は，各要約単位を発話時間分だけそのままテキスト除く．
を表示した場合（以下，書き起こし法）と比較した．また，２）は，各要約単位の書き起こしテキストとそれに対応する字幕画面の字幕テキストを提示し，字幕テキス
4.2 節境界単位の削除による要約
トの自然さ，及び，忠実度 [4] に基づいて，要約単位ご要約単位の最後の節境界単位ではなく，かつ，自分にとに 5 段階で評価した．この判断基準を表 1 に示す．
係る節境界単位がなく，かつ，節境界単位の最終文節のなお，字幕生成システムは GNU Common LISP で係り先が形式名詞ではないという条件を満たす節境界単実装し，CPU が Pentium4 2.40GHz，メモリが 2GB の位について，以下の条件を満たすならば順に削除する．
Linux PC 上で実験した．

(1) 自立語の品詞が副詞で，受け文節の自立語の品詞が副詞または形容詞であり，受け文節が節境界単位の最終文節でない．

表 1: 要約品質の判断基準
評価値
54321

判断基準
全く削除されなかった要約単位のみに与えられる．
文章として自然に読むことが可能で，かつ，重要箇所がすべて抽出されている．なんらかの削除が行われた要約単位の中で最高値．
自然さと忠実度が少しずつ損なわれている．
自然さと忠実度のどちらか一方が非常に損なわれているが，何とか理解可能である．
非常に不自然で読むことが難しく（自然さの欠如），重要箇所が頻繁に欠落しており（忠実度の欠如），字幕テキストを読んでも理解できない．




!"#      

図 2: 字幕表示速度ごとの字幕画面数の度数分布

表 3: 字幕テキストの質に関する評価
表 2: 各番組の要約単位数，要約単位の文字数，要約率
番組 1
番組 2
番組 3
番組 4
番組 5
番組 6
番組 75.2

要約単位数
125
107
133
109
100
123
105

要約単位の文字数
3,076
2,877
3,369
2,997
2,921
3,263
2,917

要約率 (%)
78.7
78.2
74.4
79.6
79.3
75.4
77.2

実験結果

評価値
番組 1 (%)
番組 2 (%)
番組 3 (%)
番組 4 (%)
番組 5 (%)
番組 6 (%)
番組 7 (%)
全体 (%)

1
13.6
9.3
12.0
12.8
14.0
13.0
16.2
13.0

2
16.8
19.6
21.8
11.0
14.0
9.8
13.3
15.3

3
12.8
14.0
21.1
7.3
14.0
19.5
11.4
14.6

4
25.6
25.2
11.3
39.4
28.0
29.3
24.8
25.8

5
31.2
31.8
33.8
29.4
30.0
28.5
34.3
31.3

を実現している．実際の独話データを用いた実験により，本手法の実現可能性を確認した．
今後は，要約手法を洗練させ，要約の品質に関する評価を詳細に行う予定である．
謝辞 本研究は，通信・放送機構の研究委託「大規模コーパスベース音声対話翻訳技術の研究開発」，ならびに，総務省戦略的情報通信研究開発推進制度の研究委託「講演など独話データの知的構造化に関する研究開発」により実施したものである．

表 2 に番組ごとの要約単位数，要約単位の文字数，文字数に対する要約率（=字幕テキストの文字数/要約単位の文字数× 100）をそれぞれ示す．要約率は，全体で77.4% (16,612/21,462) であった．また，要約単位は全体で 802 個同定され，文数の約 1.7 倍であった．
図 2 に，本手法と書き起こし法の，字幕表示速度ごとの字幕画面数の度数分布を示す．1 秒あたりの平均表
示文字数は，本手法が 5.3(文字/秒) であるのに対して，書き起こし法は 6.5(文字/秒) であった．また，「1 秒あたり 4 文字」という基準を満たした字幕画面は，本手 参考文献
法が 28.4% (228/802)，書き起こし法が 2.0% (16/802)[1] 堀智織，古井貞煕：単語抽出による音声要約文生成法，電子であった．これらから，本手法により，字幕の読み速度
情報通信学会論文誌 D-II，Vol.J85-D-II，No.2，pp.200にゆとりが生じることがわかった．
209 (2002).
次に，字幕テキストの品質を 5 段階で評価した結果[2] 柏岡秀紀，丸山岳彦: 節境界単位による翻訳‐連体節にを表 3 に示す．表は，各番組ごとの，1 から 5 の各評価ついて‐，言語処理学会第 10 回年次大会論文集，pp.
値が与えられた要約単位数の割合を示している．評価
460–463 (2004).
値 1 の割合が約 1 割と良好な結果が得られている．一[3] 丸山岳彦，柏岡秀紀，熊野正，田中英輝: 日本語節境界検方，評価値 3 以上の要約単位は 575 個であり，全体の出プログラム CBAP の開発と評価，自然言語処理，Vol.
71.7%を占めた．以上の結果から，本手法により，ほと11，No. 3，pp. 39–68 (2004).
んどの字幕が許容できる程度の品質を備えていること[4] 三上真，増山繁，中川聖一：ニュース番組における字幕がわかった．
生成のための文内短縮による要約，自然言語処理，Vol.

6

おわりに本稿では，漸進的係り受け解析に基づくリアルタイム字幕生成手法を提案した．本手法では，節が検出されるたびに同定される係り受け構造に基づいて，要約処理を実行することにより，入力音声のリアルタイムな字幕化

6，No. 6，pp. 65–81 (1999).
[5] T. Ohno, S. Matsubara, H. Kashioka, N. Kato, and Y.
Inagaki：Incremental Dependency Parsing of Japanese
Spoken Monologue Based on Clause Boundaries,
Proc. of the 9th European Conference on Speech Communication and Technology，pp. 3449–3452 (2005).