円滑なコミュニケーションスキルの獲得を目的とした
マルチモーダル英語学習システム
木寺敦則 ††

1

桐山伸也 ‡堀内裕晃 ‡静岡大学大学院情報学研究科

2

はじめにグローバル化の急速な進展により，英語によるコミュ‡竹林洋一 ‡静岡大学情報学部
マルチモーダル知識コンテンツを利用した英語学習

ニケーションスキルが重要視されてきた．筆者らは，英本研究では，実際の英会話を撮影したリアルなデー

語でのコミュニケーションに役立つ実用的な知識を，リタを基に英語教育の専門家の手で創出される深い英語アリティのある視聴覚情報と奥の深い言語情報からなの知識を抽出・蓄積していくことでコンテンツを増やるマルチモーダルナレッジとして提供し，「読む」
・「書し，蓄積した英語の知識ベースから関連する知識を，く」
・「聞く」
・「話す」技能をバランスよく修得できる

言語情報のみならず，話者の表情や反応・ジェスチャ新たな英語学習システムの構築を行っている [1]．など非言語情報をも含んだマルチモーダルナレッジと本研究は，英語教育・自然言語処理・ヒューマンイン
タフェースの研究者による文工融合の共同プロジェク
トとして推進されているものであり，異分野間のシナジー効果によって，生きた英語の深い知識を自然言語処理によって概念表現に変換し，魅力的なマルチモーダル知識コンテンツを生成することに成功した．

して学習者に提供するシステムを提案する [2]（図 1）．
具体的には，英語で円滑にコミュニケートできるス
キルの習得に必要な英語知識を MPEG7 の枠組みに従って構造化し，映像・音声・テキストによって提示するマルチモーダル知識コンテンツを作成した [2]（図2，図 3）．構造化の段階で各々の知識に適切な抽象度のタグ情報を付加することで，関連する情報を扱って本稿では，従来の英語学習において扱われることのいる知識コンテンツとの連携をとり，さまざまな分野少なかった，英語コミュニケーションスキルの向上にの知識コンテンツを英語学習に利用することを狙いと必要なノウハウに注目し，そのような知識を効果的にしている．

抽出，提示するための具体的な手法を提案する．

3
現実世界

マルチモーダル知識コンテンツ

奥深い言語情報

リアリティのある視聴覚情報

映像 音声 テキスト
表情 etc…

従来の英語教育において，1) 会話を円滑に進めるた
めの適切な「合いの手」の入れ方や，2) ストーリー中から重要部分だけをかいつまんで効率よく内容を理解

マルチモーダル知識
コンテンツを利用した
英語学習

知識の参照
知識の抽出
専門家の解説の付加

コミュニケーションスキルの獲得に必要な英語知識するテクニックや，3) 会話の流れや雰囲気を理解する

知識の提示

データ構造
・知識抽出の手続き・専門家による知識解説
・別コンテンツへのリンク
・英語知識の事例：

映像のストリーム
Multimodal
Knowledge Database

学習者

図 1: 提案する英語学習環境

意味のある部分の切り出し
知識情報の付加

英語知識の登録

Multi-Modal English Learning System Enabling Users
to Acquire Skills on Smooth Communication.
Atsunori Kidera†,Shinya Kiriyama‡,Hiroaki Horiuchi‡,Yoichi
Takebayashi‡† Graduate School of Information, Shizuoka Univercity‡ Faculty of Information, Shizuoka University・・・<MPEG7>:<knowledge><data type=“直接性”/>:<MPEG7>:<knowledge><data type=“合いの手”/>:

関連知識の教示

・・・

英語の知識ベース

図 2: コンテンツの内部構造・・・

方法といったコミュニケーションを潤滑にするモダリ

きる．構文解析によって得られた形態素情報及び構文ティ表現（心的態度）に関する知識は，英語を学習す情報を元に構文パターンを正規表現で記述し，マッチる上で非常に重要な要素であるにも関わらず，体系化ングによって時制情報の抽出を行った．

が難しい，具体例を挙げるのが困難といった理由により，教育の場で教えられることが少なかった．

新聞記事のテキストを試料として「時制」のターニングポイントを抽出する実験を行った結果，高い頻度

本研究では，このような有益な知識を適度な抽象度で語調が変化している部分を抽出できることを確認しで体系化し，既存のコンテンツからの具体例を現状のた．また，どこで談話内容の時間軸が大きく変化して技術で可能なレベルで自動抽出する方策を検討した．

いるかを分析することにより，大まかな談話のまとま以下，上記で述べた 3 つのモダリティに関する知識のりを取り出すことに成功した．

説明とその抽出方法を述べる．

会話の流れや雰囲気の把握
相手の意図やニュアンスを上手く汲み取って会話の会話の潤滑油としての「合いの手」
会話をスムーズに進めるためには，相手の発話に対して適切に「合いの手」を入れることが重要である．
「合いの手」は，a)．相手の発話の最後を繰り返す流れや雰囲気を理解するためのノウハウを学習できる枠組みを提案した．

(1).「断定的／非断定的」な表現の有無，(2). 表現の部分，b)．話題を具体化する質問が使われている部分，「直接性／間接性」の見極め，(3).「受動態／能動態」c)．話者が主張したい部分を別の単語を用いて言い換の違いによる主語の変化，といった英語教育専門家のえている部分，といった箇所に出現すると考えられる．

手によって導かれた手がかりに着目し，これらの特徴

a．の「合いの手」について，1)．発話者が交代してを抽出／提示することにより，会話の流れ／雰囲気をいる発話境界を検出，2)．前出文の末尾の句と後続文教示する機能を実装した．の先頭の句を比較，3)．2 つの句が一致した箇所を「合具体的には，(1).〜(3). の各項目において着目するいの手」として抽出，というアルゴリズムを作成してキーワードリストを用意しておき，キーワードマッチン実装した．ネイティブへのインタビュー内容を書き起グによって知識抽出を行う．マッチングに先だって，入こした対話テキストに対して抽出実験を行ったところ，

力テキストを構文解析しておくことにより，動詞の活上記 a)．に属する「合いの手」の全てを正しくするこ用などによる表記のゆれを吸収する処理を行っている．とができた．
会話や記事の効率的な内容理解

Face-to-Face での会話はもとより，TV ニュースや新聞記事など，まとまった分量の内容を短時間で理解するためには，話者の主張点や話題の転換点を見極める能力が求められる．これらのポイントを把握するためには，「時制」に注目し，談話内容の時間軸の変化を観測することが有効と考えられる．
「時制」の情報は動詞句の構文解析によって抽出で4

おわりに
本稿では，マルチモーダル知識コンテンツを利用した英語学習システムを紹介し，円滑にコミュニケートするスキルを習得するために必要な知識を抽出／提示する手法を述べた．実証実験を通して，構文解析を基にした特徴抽出が有効な手段であることを確認した．
今後は，今回紹介した知識の抽出精度を向上させるとともに，より広い視野でコミュニケーションスキルの習得に役立つシステムを摸索していく．

謝辞
本研究の一部は，(株) 東芝の協力による．ここに記して謝意を表す．

参考文献[1] 木寺敦則，桐山伸也，堀内裕晃，竹林洋一:“英語のコミュニケーションスキル獲得のためのマルチモーダル知識コンテンツの利用, ”FIT2003, (2003)

図 3: マルチモーダル知識コンテンツの画面[2] 竹林洋一，鈴木優，岐津俊樹，浦田耕二，網淳子，宮澤隆幸，金沢博史:“ユビキタス環境における音声対話シス
テム MKIDS の開発, ” 日本音響学会 2002 年春季研究
発表会講演論文集, 2-5-13, pp.99-100, (2002)