映像情報を用いた外国語マルチメディアコロケーションシステムの開発と評価
李 相穆、吉本 啓、佐藤 滋
東北大学大学院国際文化研究科
sangmok@insc.tohoku.ac.jp

1. はじめに第２言語学習者が母語話者の言語知識全体を習得することには、学習時間の制約の中できわめて困難な問題がある。しかし、数多くの自然な言語データに接し、文脈の中での表現の意味を習得することによって外国語は容易になる。例えば、教授者の立場からは、自然な発話や作文指導のためには発話と文章を多数収集し、それらを使いやすい形に分類・整理して収録し、必要な機会を捉えて学習者に提供することが有効である。
本稿では、外国語学習者が自然な言語運用を目指すにはコロケーション情報の習得が不可欠であるという観点から、マルチメディア情報の伝送可能なサーバ・クライアント環境での分散個別的な外国語学習を想定し、上述の意味での広義のコロケーションをマルチメディアコロケーションと呼び、その習得支援を考えている。
本稿では日本語学習者支援を想定し、音声・画像・テキストを統合したマルチメディア資料をデータベース化し、そこからマルチメディアコロケーション情報を検索するシステムを提案している。このようなデータベース検索システムを教室での言語学習と併用することにより日本語運用能力の容易な習得を期待している。

2. コロケーション情報の教育での利用
外国語学習において連語的意味、すなわちコロケーションを習得するのに大きなコーパスが有用である
ことはよく知られている。また、コロケーションは言語使用の正誤を超えた母語としての表現の自然性に重要な役割を果たしている。こうしたコロケーションの教育は教授者が学習言語を母語としない場合、正確に教えることは難しい。
このような状況を踏まえて筆者らは日本語学習者がマルチメディア環境でコロケーション情報を検索し、学習できるシステムを開発した。
2.1 コロケーションの慣用的意味

コロケーションとは語と語の慣用的、意味的または文法的つながりであり、その連結というものは語と語の連続の度合いである。たとえば、語と語の連結にはある語が既にその意味で用いられることなく、一定の成句においてのみ、機能をもつ場合がある。日本語の成句表現で、「頭角」「鼻っ柱」のような語は本来の意味「頭の先」「鼻筋」は失われ、「頭角をあらわす」「鼻っ柱がつよい」のように一定の成句のみで意味を持つ。このような日本語のコロケーション情報の学習において、成句の意味と成句での語の意味を学習しない限り、この語句を使いこなすのは困難である[1]。
2.2 コロケーションの意味の拡張
音声と映像を利用したマルチメディア日本語教育
教材の研究では、高い学習効果を生む意味で音声・映像利用の重要性が知られている[2][3]。日本語教育の教室で、ある表現の音声特徴、発話場面、その時の表情などを正確に教えることは至難であることは、多くの日本語教師が経験している。その表現が使われている場面と音声をリアルタイムで確認させることが、もっとも良い教育方法ではあるが、その代替方法としては、大量のコーパスに基づいた音声・画像データを柔軟に検索し、マルチメディアコロケーションを確認できるシステムを教室に備えれば、日本語発話の状況が近似的に実現されることになる。このような環境では、文字・音声・画像などのマルチメディアデータからある語のコロケーション情報を検索し、人間の音声に含まれる情報のうち、話し手が意図的に制御している情報で文字に書き起こすことのできない情報まで確認することができる。

3. マルチメディアコーパスの構築
本節ではマルチメディアファイル名等をインデックスに持つ検索用テキストデータベース基盤、およびそれとリンクしてコロケーション情報を抽出の対象となる音声・映像ファイルのデータ全体をマルチメディアコロケーションコーパスと呼び、その基本構造について述べる。
ここで扱うマルチメディアファイルは音声のみのサウンドファイル、音声・映像の映像ファイルである。
テキスト情報をマルチメディアファイルと連係させ、検索の際にテキストと音声・映像の同期が必要となる。
このため、テキストをデータベースのフィールドに格納し、各レコードにはメディアの種類、マルチメディアファイルの名前、開始時間などのフィールドを設け、インデックス情報を入れておく。つまり、複数のテキストデータベースのレコードが音声ファイルと映像ファイル内の映像の開始時間を指している。図１はマルチメディアファイルとテキストデータベースを同期させたマルチメディアコーパスの構造である。テキストデータベースのインデックスフィールドにはテキストフィールドが現れるマルチメディアファイルの種類、ファイル名、開始時間などの情報があり、マルチメディアファイルへのアクセスが可能な検索結果を作ることが可能である。マルチメディアファイルは、サーバ・クライアントシステム上でクライアント側から検索要求があった場合に、サーバがファイル内の必要箇所をランダムアクセスすることが可能なwma/wmv ファイルに変換して格納してある。

テキストと音声の連携したコーパスを構築するためにまずテキストコーパス[4]のインデックスとセンテンスをデータベースのフィールドにそれぞれ格納し、その後、各文章に対して音声ファイルの存在の有無の情報をチェックボックフィールド追加し、入力した。
テキストデータベースは海外からの利用にも備えてクライアントの居住地域のコンピュータ環境に影響されない表示ができるよう、すべてのデータとプログラムを Unicode で作成し、ウェブでの連係などクライアントの多国語環境に対応した。
3.2 マルチメディアコーパスの構築

さらに、テキストと音声・画像を組み合わせた活用を可能とするために、動画と時間軸を書き込んだクローズドキャプションを用いてマルチメディアコーパスを構成した。マルチメディアコーパスは図 2 に示すように動画と動画に同期させたクローズドキャプシ
ョンで構成されている。すなわち、そこでは映像ファイルの時間軸とテキストデータベースの開始時間情報が一致している。

み ん な悪 いう わ さ しsvschool.wmv

18:35:040て た けど きっ と ち がうって。

sv

school.wmv

18:43:040

誰 が どん なう わ さ してた？

sv

school.wmv

18:45:040

言 わ なく ても 大 体 分
かるけどね。

図１ マルチメディアコーパスにおけるテキストとマルチメディアファイルの連携

3.1 音声コーパスの構築
テキストと音声データベースを連携させたコロケーション情報検索システムを閔[4]の高校教科書テキストコーパスを用いて試作した。このコーパスは韓国の高校の日本語教科書のテキスト部分をコーパス化したものであり、文章ごとに学校、改訂番号、出版社、出版年度、章、ページ番号などのインデックスがつけられているテキストファイルとなっている。

図 2 マルチメディアコーパスの構造：映像と映像に同期させた
テキスト

クローズドキャプションの作成にはマニュアル入力と汎用クローズドキャプション取り込みの二つの方法がある。この二つのクローズドキャプションの作成について以下に述べる。
・クローズドキャプションのマニュアル入力
クローズドキャプションのマニュアル入力は動画に入っている音声を書き起こして、書き起こした音声がそれぞれ動画の開始からどの時間的な距離に位置するのか書き込む手法である。クローズドキャプショ

ンをマニュアル入力するためには、動画を再生して目視により書き起こした各文章に、動画再生開始からの時間的距離を書き込む。
・汎用クローズドキャプションの取り込み
マルチメディアコーパス構築のための、動画と同期化させたクローズドキャプションの作成のもう一つの方法として、汎用クローズドキャプションの取り込みがある。
クローズドキャプションとは文字放送、字幕放送、DVD の字幕表示に使われる字幕表示の方法であり、ユーザの選択により、キャプションの表示、非表示が可能である。このようなクローズドキャプションを取り込んで映像とともに検索に利用することで、マルチメディアコーパスを作成することができる。
映像ファイルはインターネット上の配信のためストリーミング転送が可能な WMV 形式（Microsoft MediaTechnology のファイル形式）、320 × 280 の解像度を持っている。ただし、映像ファイルの解像度には制限がないため、本システムを導入するネットワーク環境によって映像の画質を変更することも可能である。

ベースからコロケーション情報を検索、再生する事を可能にするシステムの処理の流れを示す。入力としてクライアント側からの検索条件を検索アルゴリズムを使ってテキストデータベースのテキストフィールドと一致するかを検索する。検索はすべてのレコードに対して行い、検索条件と一致したレコードのみを検索結果スタックに保存する。検索結果のレコードはクライアントへの送信のため、HTML ファイルに変換する。
サーバ側にはテキストデータベースとマルチメディアファイルを所有し、テキストファイルからコロケーション情報を抽出した結果をクライアント側に返す。クライアント側ではこの結果を参照し、サーバ側においてあるマルチメディアファイルにアクセスする。
S e a r c h c o n d itio n

D a tab a ses e a rc h

In d e x = In d e x + 1

S o u n d , M o v ie file s

S e a r c h r e s u lts

4. マルチメディアコロケーション検索システ
ムの開発
3.1 と 3.2 の手順に基づいてマルチメディアコーパ
スを作成し、そこからコロケーション情報を検索可能なシステムを構築した[5]。本システムでは文字情報としての狭義のコロケーションと音声・画像を組み合わせた形での広義のマルチメディアコロケーションの活用が可能となり、学習者はテキストコーパスと映像を連携して学習できる。分からない単語や表現を検索することでそのマルチメディアコロケーション情報と用例を確認することができる。すなわち、音声・映像ファイルを再生し、単語のアクセント、発話のイントネーション、発話状況を含めて確認することで、より確実に意味を理解し、単語や表現の運用環境の把握を明確に習得することができる。
一方、本検索システムのマルチメディアコーパスのテキストデータベースは関係データベースモデルを採用しており、データの追加、修正による更新などのデータメンテナンス時の教師側にかかる負荷が大きく軽減できる。
4.1 処理の流れ
図 3 にテキストファイルとマルチメディアのデータ

In d e x , te x t

h tm l

図 3 マルチメディアファイルからのコロケーション検索処
理の流れ

4.2 マルチメディアコロケーション検索システム
マルチメディア教材のコロケーション情報検索システムを図 4 に示す。クライアントからのクエリに対してサーバはテキストデータベースから検索を行い、検索結果をクライアント側に送る。サーバからの検索結果をもらったクライアントはテキストの検索結果とマルチメディアファイルへのリンクを参照し、サーバ側のマルチメディアファイルにアクセスする仕組みとなっている。
サーバの役割は、マルチメディア・データベース管理、コロケーション情報検索・分析、検索結果の送信である。クライアントの必要に応じてマルチメディアファイルの特定部分を読み取り配信するため、ファイルへのランダムアクセスと配信が可能な Microsoft
Windows Media Technology を使用した。
クライアント側では、コロケーション検索クエリの作成、サーバからの分析結果表示、検索結果を参照したサーバへのマルチメディアファイルへのアクセス、映像ファイルの再生が行われる。
サーバ

音声、映像、CC②

辞書情報

a. 音声コーパスからコロケーション検索

検索結果
再生
③

④

クライアント
検索結果

クエリ①

図 4 サーバ・クライアントモデルでのコロケーション検索

コロケーション検索プログラムのインターフェー
スを図 5 に示す。検索対象になる単語または表現をワイルドカードを使って入力すると、検索条件を満たす検索結果が表示される。学習者は検索結果をクリックすることによって、サーバ側からストリーミングファイルを受信し、音声の再生(図 5a)、映像の再生(図 5b)が行われる。

b. 映像コーパスからコロケーション検索

図 5 マルチメディアコロケーション検索システムのユーザインターフェース

謝辞
本研究は東北大学 21 世紀 COE プログラム(人文科学)「言語・認知総合科学戦略研究教育拠点」の補助を受けて行われています。

5. おわりに
参考文献
本稿では日本語学習者の利用のための音声・画像・テキストなどマルチメディア資料をデータベース化し、そこからマルチメディアコロケーション情報が検索可能なシステムを作成した。日本語学習者が本システムをコロケーション学習に利用することによって、マルチメディア情報を多元的に利用して単語と表現のコロケーションを理解することは、学習者の語彙学習、音声学習を大いに促進することが考えられる。
すでに留学生を被験者として、学習効果の評価を一部行ったが、今後の課題として、本システムは、基本的にウェブ上でのサーバクライアント環境での汎用を考えているため、システムの安定運用のためのロバスト性、学習者のレベルの多様性を考慮したインターフェースの利便性などを考慮した設計を行わなければならない。また、学習効果の評価も網羅的に行う予定である。

[1] 城生佰太郎他『映像の言語学』東京:おうふう,2002.
[2] 李相穆･茂木亮輔･佐藤滋･上原聡，ウェブ上での日本語書き取り学習支援システムの開発，『言語処理学会第7回年次大会発表論文集』，pp.441-444，
2001．
[3] 安井朱美・目黒秋子・李相穆・ルアングメッター
クン ウィパーウィ，マルチメディア・ウェブ教材「たけしの日記」の開発と評価，『日本語教育学会秋季大会予稿論文集』pp.109-114，2001．
[4] 閔光準, 第７次教育課程中・高校日本語教科書データベースの作成と活用方案『韓国外国語教育学会』pp.327-341, 2002.
[5] http://workstation.lbc21.jp/collocation