テキスト編集に基づく音声文書の知的アーカイブ
Spoken Document Archiving based on Text Editing
123○松原 茂樹 ，伊藤 正詩 ，大野 誠寛
Shigeki MATSUBARA, Masashi ITO and Tomohiro OHNO
1名古屋大学情報連携基盤センター Information Technology Center, Nagoya University
名古屋大学大学院情報科学研究科 Graduate School of Information Science, Nagoya University3
名古屋大学大学院国際開発研究科 Graduate School of International Development, Nagoya University

2Abstract The spoken documents such as lecture, talk, speech are valuable knowledge resources for us. This
paper describes a speech archiving technique for effectively accumulate and utilize spoken documents. Thetechnique converts the spoken text into the one that is appropriate to be inspected and retrieved by making
good use of the language technologies such as paraphrase, division, and structurizing. Moreover, the spoken
documents can be shared on the Web as reusable knowledge contents by introducing automatic speech
recognition and synthesis.
キーワード

自然言語，言い換え，話し言葉，Web，コンテンツ

１．はじめに現代は，知識社会であるといわれる．知識社会は，インターネット上に蓄積された大量の情報を基盤としている．現在，そのような情報の多くは，テキストで記されている．今後は，テキストメディアに留まらず，音声や映像，またはそれらを複合したメディアによって知識基盤が形成されていくものと予想される．
この中でも音声は，日常的に生産されている言語メディアである．実際，書かれた文書(written document)
よりも話された文書(spoken document) (以下，音声文書) の方が生産量は圧倒的に多い．講演，講義，語り，会話，議論などの音声を蓄積し，インターネット上にアーカイブし，共有することができれば，知識社会の基盤となる情報の規模は，一層大きなものとなる．
このような音声文書のインターネット上でのアーカ
イブ方法としては様々な形態が考えられる．音声ファイルとしてアップロードするという方式は，手軽であり，実現性も高いと思われるが，その一方で，再利用という観点からはその意義は必ずしも大きくない．その理由として，内容を把握するために音声を再生しなければならず参照の効率が悪いこと，また，検索によるアクセスについて高い性能が見込まれないことが挙げられる．このような問題に対して，音声データに加え，文字化されたテキストデータも併せてアーカイブすることは一つの方法である．
そこで本稿では，テキストの知的処理に基づく，参照性ならびにアクセス性を備えた音声文書アーカイブを実現する手法を提案する．本手法では，収録された音声文書を文字化し，それが読みやすくなるようにテキストを編集する．日本語の話し言葉は，一般に，言い回しに冗長性があり，それは音声を聴きやすくするために重要な役割を果たすのであるが，一方で，そのまま文字に変換しただけでは書き言葉としては不自然であり，読みにくい文章となる．本手法では，自然言語処理技術を駆使することにより，そのような冗長性を排除するなどの操作によりテキストを編集する．
本手法に基づく音声文書アーカイブシステムを作成した．講演データを用いて編集実験を実施したところ，高い精度を達成することができ，本手法の実現性を確認した．

２．関連研究音声を共有化する上で，音声とその文字化データをそのままインターネット上に蓄積しても参照性に乏しく，テキストを適切に編集する必要がある． Lee らは，ニュースを対象に，音声文書の自動要約，及び，ニュース間関連付けによる，音声データの知的アーカイブを実現している[1]．また，中川らは，スライドのある講義を対象に，音声の認識・要約・分割・インデキシング技術を導入し，映像，音声，テキストを含むマルチメディアコンテンツを作成している[2]．それに対して本研究では，ニュース原稿やスライドが存在しない，一般的な講演音声を対象としており，コンテンツ化へのアプローチが異なる．

３．音声文書のアーカイブ手法
本稿で提案する音声文書アーカイブ手法を図1に示す．入力された音声に対し，まず，音声認識システムを用いてテキストに変換する．続いて，文編集により読みやすいテキストに変換し，文章編集により，読みやすい単位に文章を分割する．最後に，音声合成システムを用いて音声を生成する．
このうち文編集は，話された文を，読みやすくなるように整形する処理であり，「表現の言い換え」「短文への分割」「文の構造化」を順に施すことにより実現する．なお，各文には前処理として，形態素解析，構文解析により基本的な言語注釈が与えられているものとする．以下では，文編集を構成する各処理につい図 2．分割１

図3．分割２
データ[3] を用いて言い換え規則の作成を試みた．なお，挿入操作については，意味を考慮した補完が必要であり，表層的な規則の作成は難しいため，対象を削除及び置換操作に限定している．表 1～4 に，作成した言い換え規則を示す．
３.２．短文への分割
文の分割とは，一つの文を複数の文に分けることであり，長文の場合，文の構造が単純化され読みやすくなることがある．分割処理は，文中の単語境界のいずれかを文境界とし，前方の文の終端文節を文末に相応しくなるように変形すればよい．例えば，(4) 机の上に旗が立っていたので国連に来てしまったと感じた．
では，「立っていたので」と「国連に」の間に文境界を挿入し，文節「立っていたので」を「立っていた」に変形する．図 2 のように分割することにより(5) 机の上に旗が立っていた．国連に来てしまったと感じた．となる．
文境界はどのような単語境界にも入るわけではなく，一般に，接続助詞，「けれども」「が」「ので」「し」「と」「から」の直後，もしくは，連用中止文節の直後に挿入される．ここで，連用中止文節とは，文節末尾の形態素がy 連用形（「食べ」「訳で」など）
y 連用形+接続助詞「て」（「食べて」「書いて」など）のいずれかに該当する文節をいう．
上記の接続助詞を含む文節や連用中止文節は，いずれも述部に相当するため，意味的に強い切れ目になる．
本研究では，これらを文境界の候補とする．しかし，上記に該当する場合でも必ずしも文境界として相応しくない場合がある．例えば，(6) 私は彼が怒ったのですぐに帰りました．の場合，「怒ったので」の後で分割すると，(7) 私は彼が怒った．すぐに帰りました．となる．この場合，分割したことにより，「私が帰った」という意味関係が失われることになり，正しい分割とは言えない．元の文の構造は，図 3 に示すように，「私はすぐに帰りました」に「彼が怒った」が埋め込まれているものであり，分割すると文構造が破壊されるためである．
このような不適切な分割を避けるために，本研究
では，文の係り受け構造に基づいて分割可能性を判

図1．音声文書のアーカイブ手法て詳述する．
３.１．言い換え
話し言葉では，書き言葉の観点からは適していない言い回しが頻出する．そのような表現は別の表現に言い換えることにより，読みやすい表現を生成することができる．
言い換えには，対象とする表現の種類により，削除，置換，挿入の 3 つのタイプの処理がある．削除(deletion) とは，話し言葉に特有の冗長表現を取り除く操作である．フィラー（「あのー」「えーと」など），言い淀み以外にも，いくつかの冗長表現が存在する．
例えば，(1) 正常化ということが行われたの「ということ」は冗長であり，取り除いた方が読みやすくなる．
次に，置換(replacement) は，書き言葉としては相応しくない表現を別の表現に言い換える操作である．例
えば，(2) 日本の本なんかを読みましたの「なんか」は話し言葉に特有の表現である．「なんか」を「など」に言い換えることにより，適切な表現となる．このほかにも敬語表現や丁寧表現などで，言い換えが相応しい場合がある．
最後に，挿入(insertion) は，話し言葉で出現しない表現を追加する操作である．
(3) 私普段からは ， 「 私 」 に 付 与 さ れ る 助 詞 が 省 略 さ れ て おり，「は」を挿入する必要がある．
以上のような操作を実現するために，実際の講演

2

ですよ
AUXV+わけです
V+わけですですね+w({．}を除く)
ですね．
V+ない+w1({の，ん})+です+w2({．，が})V+ない+w1({の，ん})+です
V+た+w1({の，ん})+です+w2({．，が})V+た+w1({の，ん})+です
V+わけで+w({ござい，あり})+まして
N+で+w({ござい，あり})+ましてでございます+w({．，が})でございますのででございます+P({ので}を除く)
w1+わけで+w2({ござい，あり})+ます+w3
ございませんでした
ございませんでございません
でございましたございまし+w({た，て})てございますで+w({ござい，あり})+N
でございます．
ございます．ておりませんでした
致し+AUXV({ます})V+ます+w({．，が}を除く)

表 1．連語「という」の言い換え規則
換言対象というふうにV＋という＋N
A＋という＋N
N1＋という＋N2(非自立)A＋ということは＋V
AUXV＋ということは＋V
AUXV＋ということは＋N(一般)AUXV＋ということが＋V
AUXV＋ということが＋N
AUXV＋ということを
w{た，ない}＋ということにAUXV({た，ない}を除く)＋ということに
AUXV1＋ということで＋AUXV2(五段・ラ行活用を除く)
かということはないかということがかということがかなということがのかということをw({の}を除く)＋かということを＋{V，A}
w1({の}を除く)＋かということを＋w2({V，A}を除く)
w({か}を除く)＋ということをということにかということでw({か}を除く)+ということで+AUXV(五段・ラ行活用を除く)
w({か}を除く)+ということで+AUXV(五段・ラ行活用)
AUXV({ない})+という+N換言結果とV+N
A+N
N1
A+とは+V
AUXV+とは+V
AUXV+N
AUXV+と+V
AUXV+のが+N
AUXV+とw+ことに
AUXV+とAUXV1+と+AUXV2
かはないかとかがかがのかをw+かと＋{V，A}
w1+か+w2
w+とにかとw+AUXV

表 3．敬語動詞の言い換え規則
換言対象の+N(サ変名詞)+を申し上げる
N(サ変名詞)+を申し上げる
N(サ変名詞)+申し上げる
お+{V(連用形)，N}+申し上げるて申し上げる
申し上げ+w({まして，て，させ，られ})申し上げる
V+ていただきたい
V+ていただくN(サ変名詞)+いただきたいN(サ変名詞)+いただくw({の，と})+N(サ変名詞)+をいただく
N(サ変名詞)+をいただきたいN(サ変名詞)+をいただく
お+{V，N}+をいただきたい
お+{V，N}+をいただく
お+{V，N}+いただく
V+せていただく
いただく
申す
参る

w+で+AUXVAUXV+N

表 2．丁寧表現の言い換え規則
換言対象
V+たいと思います
V+たいと思います．
だろうと思います
だろうと思います．
A+と思いますw(名詞(非自立)を除く)+AUXV({だ})+と思います
ない+N({ところ，こと，の})+AUXV({だ})+と思います
ない+N({ところ，こと，の})+AUXV({だ})+と思います．
ですのでw({いかが，どう})+ですか
な+w1({の，ん})+AUXV({です})+w2({．，が})な+w1({の，ん})+AUXV({です}){V，A}+Nn+です
V+N({ん，の，もの，ところ})+です+w{．，が}{V，A}+N({ん，の，もの，ところ，こと})+です
AUXV+N(非自立)+です+w({が}を除く)
A+です
AUXV+です{V，AUXV}+でしょう
でしょうか
でしょう
でした
でしてだ
AUXV(基本形)
VW
です．
V(連用形)+ません+w2
V+ないV(連用形)+ました+w2
V+た
V+がN+でです+w
なのでだ+P
w1+w3
なかった
なくない
でした
あっ+wているである+Nです．
あります．てなかった
し+AUXV
V(「ます」の活用形)+w

換言結果
V
V ます．
だろう
でしょう．
A
w+AUXV
ない+N+AUXV
ない+N+AUXV+です．
なのでどうか
AUXV+w2
AUXV{V，A}
V(連用形)+ます+w{V，A}
AUXV(基本形)+w
A
AUXV(基本形){V，AUXV}
かだろう
だった
で換言結果の+N+を述べる
N+する
N+する
お+{V，N}+するて述べる
述べ+w
言う
V+てほしいV+てもらうN+してほしいN+してもらう
w+N+をもらう
N+してほしいN+してもらうお+{V，N}+してほしい
お+{V，N}+してもらう
お+{V，N}+してもらう
V(「いただく」の活用形)
もらう
言う
来る

表 4．話し言葉の言い換え規則
換言対象
なんかん
じゃ
おる
である

3

換言結果などのではいるだ

図4．分割３

図5．分割４
図7．文編集プロセス「苦境を」が並列関係にあることがわかるので，「行為や」をある並列句（並列句 1) の終端文節，「苦境を」をもう一方の並列句（並列句 2) の終端文節とみなすことができる．並列句 2 の始端文節は，並列句 1の終端文節「行為や」に続く文節「他国民に」とみなせるので，残りは並列句 1 を検出すればよい．この判定は，並列句 1 の終端文節「行為や」に直接的または間接的に係る文節を特定し，それらからなる文節列を並列句 1 とする．すなわち，「我が国が」以降がそのような文節に該当するので，「我が国が行った行為や」を並列句 1 と決定する．
ただし，本研究では自然な話し言葉を対象としているため，JUMAN [5]を用いた形態素解析には多くの誤り が 含 ま れ る こ と に な る ． 構 文 解 析 器 KNP は ，JUMAN の結果に基づいているため，形態素解析の誤りが並列句の検出に大きな影響を与える．この問題を軽減するために，並列の関係にある係り文節は，並列を表す語句「また」「と」「そして」「とか」「および」「や」「し」のいずれかである場合のみとする．
３.４．文編集の例
本手法に基づく文編集の例として，(11) 西半球には米州機構というのがありますし欧州
ヨーロッパには皆様ご承知のような EU とか全欧州安保協力機構というのがありますしアフリカにはアフリカ統一機構というのがあるわけです．の編集プロセスを図 7 に示す．まず，言い換え処理により，(12) 西半球には米州機構というのがありますし欧州
ヨーロッパには皆様ご承知のような EU とか全欧州安保協力機構というのがありますしアフリ
カにはアフリカ統一機構というのがあるわけです．の下線部に言い換え規則を適用することにより，図のように言い換えを実行する．次に，文分割処理において，(13) 西半球には米州機構がありますし//欧州ヨーロッ
パには皆様ご承知の EU とか全欧州安保協力機構がありますし//アフリカにはアフリカ統一機構があります．

図6．並列句の検出定する．すなわち
y 文境界候補をまたぐ係り受け関係が存在しない
場合，分割可能する．すなわち，図 2 の文は分割可能，図 3 の文は分割不可となる．ただし，そのような係り受け関係が存在する場合でも，y 係り文節が，副詞，または，接続詞である
y 文境界候補の直後が，指示詞，接続詞，または，「主題ハ」節である
場合には，分割可能とする．図 4 に，(8) 欧州においては地域協力が深まり，また範囲も広くなっている．の係り受け構造を示す．この場合，接続詞「また」の存在により，分割前後の文の等位関係が明示されるた
め，分割によって生成された文「また範囲も広くなっている．」において，読み手は「欧州においては」を補完することができる．同様に，図 5 に，(9) そして小笠原が返還され，次に沖縄が返還されました．の係り受け構造を示す．この場合，接続詞「そして」と「返還されました」は係り受け関係にあるが，「そして」はむしろ文全体に係る役割を果たしているとみなせるため，読み手による正しい理解に大きな支障はない．
３.３．文の構造化
文を読みやすくするための構造化として，並列構造の検出と提示を実施する．一般に，文の構造は，構文解析により明らかにすることができる．そこで本研究
では，日本語係り受け解析器 KNP[4] の解析結果から句や節の間の並列関係を抽出する．KNP では，係り文節と受け文節が並列関係にある場合，それが明示されるため，その情報を利用する．
日本語文(10) 今我が国が行った行為や他国民に与えた苦痛を認識する．
における並列句の検出を図 6 に示す．この文では，名詞句「我が国が行った行為や」と「他国民に与えた苦痛を」が並列関係にある．この検出は以下のように行う．まず，KNP の解析結果から，「行為や」と4

図9．文編集の成功例

図10．構造化の失敗例

図8．文編集によるテキスト変換

#
1
2
3

表5．実験データの諸相
ドメイン
時間(分)
文数
政治
29131
経済26113
体験談
25
147(15) それで安心した次第でございます．
に対する正解データは(16) それで安心しました．
であるが，本手法による結果は，(17) それで安心した次第です．
であった．この例における「次第」のほかにも「わけ」など，名詞を伴う表現に対する言い換え規則が十分に設定されていないことが原因であり，今後，規則の拡充をはかる必要がある．また，再現率が必ずしも高くない理由として，文脈に基づく言い換えが挙げられる．指示語や接続詞の削除，助詞の補完などでは，単に文字列パターンから妥当な言い換えを判断することは難しい．また，規則作成に用いた分析データには出現しなかった言い換え対象が実験データに出現することもあった．
次に，文分割は，全部で 222 箇所に対して行われた．
分割の精度は 64.2%であり，再現率は 74.5%であった．
提案手法による分割処理は，文の長さ(文字数など)を考慮していないため，そもそも分割対象の文が短い場合や，分割した結果，1 文が短くなりすぎる場合は，必ずしも分割が読みやすさ向上に寄与するとは限らない．例えば，(18) 偶然の積み重ねでデビューして有名になってある意味で成功を成し遂げた．
に対して，なって の後で分割を挿入することにより(19) 偶然の積み重ねでデビューして有名になった．
ある意味で成功を成し遂げた．とする例があった．この例では，そもそも文が短く正解データでも分割は行われていない．一文の文字列の長さは，読みやすさにとって重要な要因であるので，今後は，改行処理も含めて検討する必要がある．
最後に，構造化が実施されたのは全部で 75 箇所であり，その精度，再現率はそれぞれ，34.8%，24.6%であった．構造化処理の精度，再現率はともに低く，その原因として，まず，形態素解析，構文解析の精度の問題がある．形態素解析は JUMAN [5] を，構文解析には KNP [4]を使用しているが，特に，並列構造を含む文に対する構文解析精度は高くなく，それが，構造化処理の性能に大きく影響を与えた．また，検出した並列構造が意味的に並列である場合でも，正解データと一致しない場合があった．図 10 に例を示す．この

文字数
17131
14803
13305の下線部の文節に注目し，その直後の斜線箇所を文境界として図のように 3 つの文に分割する．最後に，分割された第 2 文(14) 欧州ヨーロッパには皆様ご承知の EU とか全欧州安保協力機構があります．の係り受け構造から，並列関係にある係り文節と受け文節を特定し，並列句を検出する．最終的に，図のように項目化し提示する．
図 8 に文字化テキストから編集済みテキストへの変換を示す．変換により読みやすくなったことは明白である．

４．評価実験
４.１．実験の概要
提案手法を評価するためにテキスト編集実験を実施した．実験には，名古屋大学同時通訳データベース[3]に含まれる 3 つの日本語講演データを使用した．デー
タの諸相を表 5 に示す．全体で，81 分 18 秒の講演音
声，392 文を使用した．上述のデータに対して，人手で文編集を実行し，正解データを作成した．正解デー
タでは，言い換えは 799 箇所，文分割は 199 箇所，構造化は 106 箇所に対して実施された．
評価は，言い換え，文分割，構造化のそれぞれの精度，再現率により実施した．なお，精度及び再現率として，編集箇所のうちの正解箇所の割合，及び，正解データの編集箇所のうちの正解箇所の割合，をそれぞれ計測した．
４.２．実験結果
実験では，図 9 に示すような文編集を実行することができる．本手法により，全 567 箇所に対して言い換えが実行された．精度，再現率は，それぞれ，76.6%，50.7%であった．誤りの原因として，冗長な表現が十分に削除されないことがあげられる．例えば，5ができる．また，再生中の音声に対応する文を強調表示する機能を備えている．
５.２．音声コンテンツ
音 声 の作成には，HITACHI 製の音声合成ソフト
HitVoice を用いた．なお，読み上げ音声は，編集されたテキストではなく，文字化テキストに最低限の言い換え処理のみを施したものを使用した．これは，本編集手法はテキスト読むことを目的としたものであり，聞くテキストとしては必ずしも適した処理ではないためである．なお，音声ファイルを1 文ごとに作成し，テキスト，映像との同期を可能にしている．
５.３．映像コンテンツ
映像の作成は，NHK 放送技術研究所が提供する
TVML(TVprogram Making Language)[7] を 用 い た ．
TVML では，スクリプトを記述することにより，簡単にテレビ番組を作成することができる．本システム
では，講演映像を想定し，適宜ジェスチャを行いながら口を動かすキャラクタを作成した．映像はあらかじめ作成しておき，音声ファイルの再生に合わせて映像を再生する．
５.４．キーワードコンテンツ
キーワードは，トピックの内容を概観するために用いる．TF・IDF により単語の重要度を求め，重要度の高い単語をキーワードとする．TF 値はトピック中に出現する単語頻度を用いる．IDF 値は，蓄積された音声文書から算出する．
５.５．コンテンツ検索
コンテンツの検索は，キーワード入力に対してトピックを提示するシステムとして実現した．キーワードを含む文を表示し，その文への直接的なアクセスを可能とする．入力された音声文書に対して索引付けを行い，検索を実現する．

図11．音声文書アーカイブの閲覧環境
例で，「セル画や」と「下敷きなどを」は並列関係であるものの，その関係を明示しても読みやすくはならない．今後，このような場合を考慮し，コンテンツとしての表示方法も含め，読みやすさに関する構造化の望ましい様式について詳細に検討する必要がある．

５．音声アーカイブシステム
3章で説明したテキスト編集方式に基づき音声アーカイブシステムを実装した．このシステムでは，アーカイブデータのインターネット上での流通を想定し，収録した音声をWeb コンテンツとして作成する．作
成されるコンテンツは，「テキスト」「音声」「映像」「キーワード」「検索」の5つの要素から構成される(図11参照)．本章では，これらのコンテンツ要素の実現について述べる．
なお，本システムは，音声データを入力とすることを想定しているが，現在の実装では人手による文字化テキストを入力としている．また，講演のタイトルは講演ごとにあらかじめ与えられているものを使用している．
５.１．テキストコンテンツ
システムは，入力されたテキストに対して，3 章で述べたテキスト編集を実行したのち，読みやすい位置での改行，及び，複数のトピックへの分割を実行する．
このうち，改行処理は，節境界及び係り受け構造に基づく改行方式[6] を採用する．一方，トピック分割は，1 つのページに多くのテキストが表示されることにより閲覧性が低下することを防ぎ，かつ，トピックによる選択的な視聴を可能にするために行う．分割はテキストの文字数を手がかりに実行する．すなわち，先頭から順に文字数を計数し，一定数を超えた最初の文末までを一つのトピックとして分割する．なお，トピッ
クの文字数制限は，一般的な Web の閲覧環境を想定して 400 字としている．
テキストはトピックごとに HTML 形式で書き出す．
HTML ファイルには，テキストと音声，映像の同期制御を行う JavaScript プログラムやリンクオブジェク
トが付与される．読み上げ音声に対応する１文をリンクオブジェクトとし，ユーザは文をクリックすることにより，対応する音声，映像を同期的に視聴すること

６．まとめ
本論文では，知的テキスト処理に基づく，音声文書アーカイブ手法を提案した． 本手法では，音声を文字化し，それが読みやすくなるようにテキストを編集する． 自然言語処理技術を駆使し，言い換え，分割，構造化を施すことにより，読みやすいテキストとなる．
本手法に基づく音声文書アーカイブシステムを実装した． 実講演データを用いてテキスト編集実験を実施したところ，本手法の実現性を確認した．

参考文献
1) Lee, L. et al. (2006)：Multi-Layered Summarizationof Spoken
Document Archives by Information Extractionand SemanticStructuring. ICSLP-2006.
2) 中川ほか(2008)：講義音声ドキュメントのコンテンツ化と視聴システム, 電子情報通信学会論文誌，Vol. 91-D, No.2,
pp. 238-249.
3) http://sidb.el.itc.nagoya-u.ac.jp/
4) http://nlp.kuee.kyoto-u.ac.jp/nl-resource/knp.html
5) http://nlp.kuee.kyoto-u.ac.jp/nl-resource/juman.html
6) 村田ほか(2008)：読みやすい字幕生成のための独話文への改行挿入，言語処理学会第14回年次大会，pp.973-976.
7) http://www.nhk.or.jp/strl/tvml/japanese/player2/index.html/

6