韻律情報を含んだマルチモーダル対話コーパスの検討*
桐山

1伸也，竹林洋一，北澤

静岡大学

情報学部

はじめにGUI に代わる次世代のインタフェースとして、2フェースが期待を集めている。音声・画像処理技術の進歩に伴い、マルチモーダル対話システムの開発が盛んであるが、ユーザの要求にふさわしい有益な情報を応答できるシステムの開発には、適切にタグ付けされた豊富な事例を含む、大規模なマルチモーダル対話コーパスが必要不可欠である。
対話システムの音声インタフェースにおいて、ユーザの発話意図を正しく理解し、分かり易い応答音声を合成するためには、音声の持つ韻律情報を適切に利用することが重要であるという観点から、我々は日本語韻律コーパスの構築を進めてい日本語 MULTEXT 韻律コーパス

2.1

音声・画像を統合したマルチモーダルインタ

茂良

仕様

EUROM1[1]と呼ばれる EU 加盟国 11 言語を対象としたデータベース作成プロジェクトの仕様に従い、MULTEXT（多言語韻律コーパス[2]）の日本語版を作成した[3]。
MULTEXT とは、EUROM1 内の 5 ヶ国語（英・仏・独・伊・西）について音韻・韻律ラベリングを行った韻律コーパスである。原稿のテキストは、1 つが 5〜6 文で構成される 40 の小節で成り立っている。人名・地名などは各国独自のものを用いるが、全体の文意は保存されている。日本語版も例に漏れず、文意を保った翻訳によって作成される。約 2,500 文からなるデータについて、音韻・ている。

韻律情報のラベル付けを行っており、現在までに、者は 20 代から 40 代の男女各 3 名の合計 6 名であ音素の境界とアクセント核の位置、並びに韻律ラベルを付与済みである。
高度な音声理解・高品質音声合成の実現のためには、大量の韻律ラベル付き音声データが必要であり、韻律ラベリングの自動化が必須技術となる。
我々の韻律コーパスに付与したラベルはすべて人手によるものであり、データの信頼性は極めて高いといえる。我々は付与したラベル情報を用いて、音声収録条件は EUROM1 に準拠している。話り、朗読と模擬自発発話の二つの発話スタイルによって収録した。模擬自発発話の収録に際しては、小節ごとに想定した状況を指示し、役柄になりきるよう演じさせた。朗読との比較において、模擬自発発話スタイルの音声では、語・句単位の卓立がより明瞭となっている。

2.2

ラベル情報

発話の内容と韻律ラベルの対応関係の分析に基づ現在までに、音韻ラベル・音声学の専門家の手く韻律情報の自動ラベリング手法の開発を進めてによるアクセント核の位置情報、J-ToBI と呼ばれいる。また、マルチモーダル対話コーパスの自動る韻律ラベリングスキームに基づく韻律ラベルとインデキシングを目指し、音声ストリーム自動ラいった情報のラベリングを完了している。音韻ラベリングの検討も行っている。

ベル付与にあたっては、連続音声認識コンソーシ

以下、2 節で構築中の韻律コーパスの仕様を概説

アム 2001 年度版ソフトウェア[4]に含まれる音響し、3 節で韻律ラベルの概要とラベリングの自動化モデルと認識エンジンを使用して音素セグメンについて述べる。さらに 4 節でマルチモーダル対テーションを行ったものを、4 人のラベラに手作業

話コーパスにおける韻律ラベリング手法を検討し、 によって修正させた。韻律ラベルについては次節その応用場面を考察する。

で詳しく述べる。

*A Study of Multi-Modal Dialogue Corpus Including
Prosody Information
Shinya Kiriyama, Yoichi Takebayashi,and Shigeyoshi Kitazawa
Faculty of Information, Shizuoka University

3

韻律ラベリングとその自動化ToBI（Tone and Break Indices）とは、主に音声基本周波数（F0）の変化パターンを記述するラベリング体系であり、英語をはじめ多くの言語においてその有効性が確認されている。この日本語版が Japanese-ToBI（J-ToBI）[5]であり、英語のToBI に基づいて東京方言の韻律的特徴を記述するために考案されたものである。
J-ToBI ラベルは、単語境界の情報を記す単語層、シンボルレベルで表し得る基本的な韻律事象の系列を表記するトーン層、各韻律境界における区切りの深さを表す BI 層、咳払い・言い淀み・強調など韻律に関係したその他の情報を記述する
図 1: J-ToBI ラベルの例

miscellaneous 層の 4 層構成になっている。図 1 にラベリングの具体例を示す。

ると考えている。画像ストリームにおける視線や上記の 4 層のうち、単語層・トーン層は、言語頷きなどの情報と同じく、音声ストリームにおけ情報から規則的にラベリング可能な部分が多く、る韻律情報が発話意図の情報を含むため有益であ比較的容易に自動化できる。BI 層の自動ラベリン

り、ここに自動ラベリング手法を導入したい。将グも、構文解析結果を用いることにより言語情報来的には、マルチモーダル情報を統合的に利用すを利用してある程度期待できる。従って、言語情ることで、精度良く重要場面の自動抽出を行う機報を用いて初期ラベルを自動生成し、それをラベ構を実現したいと考えている。

ラが手動で修正するシステムは構築できる。このラベリング支援システムによって効率よくデータ5

おわりに収集・分析を進めることにより、強調や疑問形と我々が構築中の日本語 MULTEXT 韻律コーパス

いった表層文に現れない情報の自動抽出手法の検の概要を紹介し、韻律ラベルについてその自動化討が可能になる。の方針を述べた。マルチモーダル対話コンテンツ

4

オーサリングシステムを想定した、韻律自動ラベ

マルチモーダル対話コーパスリングのマルチモーダル対話コーパスへの適用をマルチモーダル対話コーパスにおける音声スト考察した。今後は韻律ラベリング支援システムのリームの自動ラベリングを検討する。3 節で述べた実装を行い、実データの収集・分析を通して、自ラベリング支援システムは言語情報を利用してお動ラベリング手法の開発を進めていく。

り、音声ストリームの正確な書き起こしを必要とする。実用性という点からは、環境雑音の存在す参考文献る中で収録したデータを、リアルタイム処理でき[1] “The SAM Projects. EUROM − A Spoken

ることが望まれる。近年音声認識技術も進歩し、

Language Resource for the EU,” ESCA, 1995.

大語彙連続音声認識システムの性能も向上してき[2] Campione, E., and Véronis, J., “A multilingualているが、自然発話のディクテーション能力は未prosodic database,” proc. ICSLP98, pp.

だ実用レベルとは言いがたい。従ってまずは、自3163-3166, 1998.

然発話データに対する音声認識性能、及び F0 パ

[3]

Shigeyoshi

Kitazawa,“Preparationofa

ターンの抽出精度の現状レベルを把握するとともJapanese Prosodic Database,” The ELRAに、言語情報を用いた自動ラベリング手法の通用

Newsletter, vol.6, no.2, pp.4-6, 2001.

範囲を特定する必要がある。
具体的なアプリケーションとして我々は、マルチモーダル対話コンテンツオーサリングシステム[4] 河原他, “連続音声認識コンソーシアム2001年度版ソフトウェアの概要,” 情処研報, 2002-SLP43-3, 2002.

を想定している。これは、いつでもどこでもだれ[5] J. J. Venditti, “Japanese ToBI Labeling

でも気軽に情報発信ができることを目指したもの

Guidelines,” Technical Report., Ohio-Stateで、収録素材からの重要場面の自動抽出が鍵とな

University, 1995.