人工知能学会論文誌１７巻４号ＳＰ－Ｇ（2002年）

500(~痔稟請天~）

字幕付きテレピニュース放送を素材とした語学学
習教材作成システム
ＡＣｏｎｓｔｒｕｃｔｉｏｎＳｙｓｔｅｍｆｂｒＣＡＬＬＭａｔｅrｉａｌｓｆｒｏｍＴＶＮｅｗｓｗｉｔｈＣａｐ－

ｔｉｏｎｓ

小林聡

SａｔｏｓｈｉＫｏｂａｙａｓｈｉ

Ｏ

豊橋技術科学大学'情報処理センター
ＣｏｍｐｕｔｅｒＣｅｎｔｅｒ，ＴｏｙｏｈａｓｈｉＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇy

skobaCcqtut・ａｃ・jｐ

田中敬志

ＴａｋａｓｈｉＴａｎａｋａ

豊橋技術科学大学大学院情報工学専攻
Ｄｅｐｔ・ｏｆｌｎｆｏｒｍａｔｉｏｎａｎｄＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅｓ，ＴｏｙｏｈａｓｈｉＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇy

ttakashiCslpics・tut・ａｃ・jｐ

森一将

ＫａｚｕｍａｓａＭｏｒｉ

中川聖一

ＳｅｉｉｃｈｉＮａｋａｇａｗａ(同上）kmoriQslp､ｉｃｓ・tut・ａｃ.』ｐ

豊橋技術科学大学情報工学系
Ｄｅｐｔ、ｏｆｌｎｆｏｒｍａｔｉｏｎａｎｄＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅｓ１ＴｏｙｏｈａｓｈｉＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈnology

nakagawaCs1p・ics､tut・ａｃ・jｐ

keywords：

ＣＡＬＬ，languagelearningmaterial，Japaneselearning，Englishlearning，listening，ＴＶ－ｎｅｗｓ，caption，speechprocesslng

Ｓｕｍｍａｒｙ

Manylanguagelearningmaterialshavebeenpublishedlnlanguagelearning1althoughrepetition
trainingisobviouslynecessary,itisdifIiculttomaintaintheleamer'ｓinterest/motivationusingexistinglearningmaterials，becausethosematerialsarelimitedintheirscopeandcontents・Ｉｎａddition，wedoubt
whetherthespeechsoundsusedinmostmaterialsarenaturalinvarioussituations，Nowadays，someTV
newsprograms(CNN,ABC,PBS,ＮＨＫ,etc.）haveclosed/opencaptionscorrespondingtotheannouncer，sspeechWehavedevelopedasystemthatmakesComputerAssistedLanguageLeaminｇ(CALL)materialsfbrbothEnglishlearningbyJapaneseandJapaneselearningbyfOreignstudentsfromsuchcaptioned
newscasts、ThissystemcomputesthesynchronizationbetweencaptionsandspeechbyusingHMMsand
afOrcedalignmentalgorithm・MaterialsmadebythesystemhavefbllowingfUnctions：full/partialtext
captiondisplay,repetitionlisteningconsultinganelectronicdictionary,displayoftheuser，s/announcer，ssoundwavefOrmandpitchcontour，andautomaticconstructionofadictationtest・MaterialshavefOllowingadvantages：materialspresentpoliteandnaturalspeech，variousandtimelytopicsFurthermore，

thematerialshavethefOllowingpossibility:automaticcreationoflistening/understandingtests,andstorage/retrievalofthemanymaterialsJnthispaper,firstly,wepresenttheorganizationofthesystem・Then，
wedescriberesultsofquestionnairesontrialuseofthematerials・Astheresult，wegotenoughaccuracyon
thesynchronizationbetweencaptionsandspeechSpeakingtotally)weencouragedtoresearchthissystem．

1．まえがき場合は教材として収録されたものであり，ネイティブの
自然な発話とは異なっていると考えられる．

これまでに，多くは英語を対象としてリスニングに関

音声の自然性については，ラジオやテレビ等のメディする語学学習教材が開発され，またリスニング学習に関アを通しての外国語を語学学習に利用する試みが以前から行なわれている[東條95,東條００｝その結果，現在，する研究もなされている[竹蓋山田９７,中川97,峯松
００，アンケート,東條95）しかし，それらによって提供されている話題やリスニングの対象は(例えば，数個のスキットや,英語の/l/と/r/の聞き分けなどに)限定され材のビデオ，テープなど，様々なものが市販されているている．加えて，既存の教材に含まれる発話は，多くの[アンケート｝

語学学習教材としてＣＢＳやＣＮＮなどのニュース放送を利用したCAIソフトウェア[SIM97,ＰＥＯＯ１や，教字幕付きテレビニュース放送を素材とした語学学習教材作成システム

例えば[SIM97]は，ＣＢＳのニュース放送を素材とし，SIM方式(同時通訳方式)でのリスニングの練習を取り入れ，英語の語順で聞き取ることを可能とするよう開発

5０１

RHiN蓬国圀冨mmil1E蕊ji3iIi:蕊

されている．これにより日本人の「返り読み」の癖を矯正するとしている．また，リズム法則を取り入れた発音の練習も行なえ，不十分ではあるが発声のリズム的な評

価も行なえるIPEOO]は紙面による教材(技術英語)と，それに対応するニュース(7種類,各2～4分)の動画と音声が収録されたＣＤ－ＲＯＭからなり，これを用いてリス

ニング学習を行なう．紙面では英文に対応する日本語訳，キーワードとなる単語の訳が示されている．また，それぞれのニュースには字幕が付けられており，ニュース映ii1Zj(11霊liIirii霞iIiiijiili

像の画面に重ねて表示される．

このような教材は繰返し学習には適しているが，やは’－－坐

りいずれも提供される話題は少数に限定されている．

そこで多様な話題を提供することを目的として，各々…に注＿IJDけていますの教師がニュース放送を録画し，それを教材とすることも多いしかし，ＢＳ放送などを通して，英語字幕つきの英語によるニュース放送(PBS等)などを用いてそれを教材化することはできるが，ＣＡＩソフトウェアにあるよ

図１日本語の放映時画面例

うな様々な機能を持たせることは，学習者個人や語学教師には到底困難である．

語学学習には繰返し学習が必要ではあるが[Darwing89]，既存の教材では話題が限定されている．そのため，学習者が興味を持ち続けられるか否かという問題がある．
それに対し，より広い話題や時期に即した話題に触れられるならば，学習者が外国語学習に興味を持ち続けることが可能になると考えられる．しかし，適当な話題のニュース放送などを用いて，学習者個人や語学教師が語学学習
教材を作成するのには限界があり，また，幅広い話題の内容を教材として利用するためには手間がかかるので，教材を半自動的に手軽に作成できるツールが必要となる．

２．本システムの概要と特徴今回述べる教材化システムには英語版と日本語版があるが，いずれも本質的には同様の機能を持っている．そこで，ここでは日本語版を中心に述べる．

現在，ＮＨＫの「ニュース７」では，音声認識技術を応用した字幕放送が，文字放送を通して行なわれている[安藤０１１．これにより毎日，映像と音声，その発話内容の字幕が得られる．本研究で構築しているシステムは，この映像と音声，字幕から，語学のリスニング教材を作成
しようというものである．

ただし，アナウンサーの音声の字幕化には，音声認識

もとに，自然な発話による豊富な話題の提供，時期に即しおよび認識結果の確認・修正作業が行なわれているため，放送時の字幕の表示には実際の音声に対して数秒から十た話題の提供，教材の繰返し視聴，単語の語義表示，聞き数秒の遅れがある．そのため，図１に示すように，字幕取りテストの作成，ネイティブ発話と学習者発話の比較

はニュース放映時の画面や音声とはずれが生ずる．図１などの機能を持つ,：市販のソフトウェアの機能を強化しの例であれば，映像は「通信白書」など通信関係の映像

た語学学習教材(CALL:ＣＯmputerAssistedLanguage
Learning)を，半自動的に作成するシステムについて述についての情報となっている．

本研究においては，字幕付きのテレピニュース放送をべる．

になっているものの，字幕は，その前の話題である気象
また，ＮＨＫによる字幕付きニュース放送の場合，字幕は映像や音声と異なり，文字放送を通して放送されて

以下，本システムの概要を２節に，教材化処理についいる．そのため，単にニュース放送をビデオに録画するて３節に，字幕と音声の同期について４節に，５節ではのみでは字幕は収録されないので，字幕を教材として使教材およびプレイヤの機能を紹介する．６節では，作成うことはできない．

した教材を試用してもらった際の被験者評価結果についこれらの問題により，放送時の映像と字幕をそのままてまとめる．最後に７節において今後の課題や展望につ教材とすることは難しい．そのため本研究では，２枚のいて述べる．

ＴＶチューナポードをＰＣに組み込み，映像と音声およ502

人工知能学会論文誌１７巻４号ＳＰ－Ｇ（2002年）

像生
映再

ｒ瀞

(映像，

叢鶏,受信)可｜Ｉ字幕ﾛｸﾞ作成

音声ファイル作成）
声ﾌｧｲﾙ作成（塁蒲二天孟湿ン｜
音声分析（特徴抽出）(「

字幕整形
戸形態素解析奇

「鰯可音素記号へ変換品詞情報など↓---埋め込み

同期情報埋め込み↓

語学OA|教材(プレイヤ）

図２英語の放映時画面例

図３処理の流れ（日本語ニュース）び字幕を同時にコンピュータ内に収録する．また，映像と音声および字幕を取得した後，字幕の遅れを修正する

ため，音声と字幕との同期を自動的に取るようにした．
また，英語版に関しては，ＢＳ放送のＰＢＳニュースを利用している(図2）これは字幕が映像として取得できる．この字幕を現在は人手で書き写しコンピュータにタ
イプ入力している．また，ＰＢＳなどではアナウンサーの書き起こしテキストがWeb[PBS]から参照することができ，このテキストを取り込んで教材化することも可能となっている．

前述の市販ＣＡＩソフトウェアや先行研究には，発話の自然性の問題や話題が限定されているという問題が見られた．それらに対して，本システムによって作成される教材は，教材の素材としてニュース放送を利用し，またコンピュータを用いているため，以下のような利点がある．

（１）自然に近い発話．

（２）時期に即した，また豊富な話題．

（３）教材作成の省力化が可能．
（４）多数の教材の蓄積が可能．
（５）特定部分の繰返し視聴が容易（６）単語単位での辞書引きが可能．

（７）穴埋め形式の聞き取りテストなど，学習問題の自動作成が可能．

（８）学習者の音声を収録し，アナウンサー音声との波ることも考えられる．さらに，上記(3)，(7)で述べたよ

うに，コンピュータを利用しての自動的な教材作成を目指しているため，個々の学習者が独自にニュース放送を収録し，教材として用いることも可能になる．このように，本論文で述べる教材化システムおよび教材プレイヤ

は，移植性や汎用|生を高めるために，Ｊａｖａを用いてプログラム開発を行なっている．教材に附属するツールや辞書についても，利便'性を高めるためにできるだけ版権フリーなものを用いている．

3．教材化作業の手順

先に述べたように，本システムの日本語版は，ＮＨＫによる字幕付きニュース放送（「ニュース７」）を下に，自動的な教材化を目指している．本日本語版システムの構
成と処理の流れを図３および以下に示す．英語版システ
ムも本質的に同じである*'．

（１）図３に見られる「音声，映像，字幕の受信」には，２枚のＴＶチューナーボードを使用している．１枚
は，映像十音声の収録に使用し，ＭＰＥＧ１形式で記録する．もう１枚は文字放送の受信が可能なＴＶチューナーボードであり（(株)１０データ機器のGVBCTV3/PCLおよび字幕表示のための附属ソフト

ウェア「文字ステーション」），字幕放送を収録している．英語版の場合は映像から書き写すかＷｅｂか

形や基本周波数，発声タイミングの比較が可能（９）字幕の提示において，発声箇所に対応して表示色を変えていくことにより，発声位置の確認が可能．
⑩字幕のフルテキスト表示や要約表示，表示無しな(2)現在のところ(1)で得た字幕放送のログを，無用なスペースを除くなど整形すると共に，ログの文字

特に上記(2)により，学習者は学習への興味を持ち続(3)字幕の形態素解析を茶笑を用いて行なう[茶第１ままた，テキストとして字幕が保存されているため，多数*１日本語版と英語版の両者の主な違いは，字幕の取得方法，同どの切り換えが可能．

けられると考えられる．

の教材が蓄積された場合には，特定の話題についてニュースや学習者の母語による関連ニュースの検索が容易になら取得する．

化けの修正と確認を行なう．

た，形態素解析の結果の確認・修正を行なう．英語

期用の形態素解析(英語版では品詞taggerと発音辞書を使用)，

音響モデル（日本語版では音節モデルを，英語版では音素モデ
ルを使用)，辞書(和英/英和）などである．

字幕付きテレピニュース放送を素材とした語学学習教材作成システム

503

＜ＣＡＩ＞

<VIDEOsrc=''d:Httakashi1yuki・mov，，/＞<ＳＯＵＮＤｓｒｃ=，，dﾍlttakashiNyuki・raw'，/＞＜ＪＩＭＡＫＵ＞＜ＯＮＥ－ＪＩＭＡＫＵｓｔａｒｔ＝''０，，ｅｎｄ＝''１５３１，，＞＜ＷＯＲＤＰＯＳ＝'，接続詞''ＮＯＲＭＡＬ＝"ところで，'PRONOUNCE=，，ところで''START=''０''ＥＮＤ＝"820"＞ところでく/ＷＯＲＤ＞＜ＷＯＲＤＰＯＳ＝，，名詞-固有名詞-組織，，ＮＯＲＭＡＬ＝'，雪印乳業'，

PRONOUNCE=，'ゆきじるしにゆうぎよう'，START=''820'，END＝''1320"＞雪印乳業く/WORD＞＜ＷＯＲＤＰＯＳ＝''助詞‐係助詞，'ＮＯＲＭＡＬ="は，，PRONOUNCE=，'は，，START=''1320,'ＥＮＤ＝''1531,,＞はく/ＷＯＲＤ＞＜ＷＯＲＤＰＯＳ＝，'記号-読点，'ＮＯＲＭＡＬ＝，'，”ＰＲＯＮＯＵＮＣＥ="，，'START=''1531,'ＥＮＤ＝''1531"＞，＜/ＷＯＲＤ＞</ＯＮＥ－ＪＩＭＡＫＵ＞＜ＯＮＥ－ＪＩＭＡＫＵｓｔａｒｔ＝''１５３１，，ｅｎｄ＝''4972”＞＜ＷＯＲＤＰＯＳ＝'１名詞-副詞可能，'ＮＯＲＭＡＬ＝''きよう，，ＰＲＯＮＯＵＮＣＥ＝''きよう'，ＳＴＡＲＴ＝)'1531)'ＥＮＤ＝''1704,'＞

きょうく/ＷＯＲＤ＞＜ＷＯＲＤＰＯＳ＝'，助詞-格助詞-一般，，ＮＯＲＭＡＬ＝"から”ＰＲＯＮＯＵＮＣＥ＝"から”ＳＴＡＲＴ＝''1704,,ＥＮＤ＝''1948"＞からく/ＷＯＲＤ＞＜ＷＯＲＤＰＯＳ＝，，名詞-一般”ＮＯＲＭＡＬ＝,，牛乳”ＰＲＯＮＯＵＮＣＥ＝"ぎゆうにゆう”START＝"1948”ＥＮＤ＝''22171,＞牛乳

く/ＷＯＲＤ＞＜ＷＯＲＤＰＯＳ＝'，助詞-並立助詞，'ＮＯＲＭＡＬ＝"と”ＰＲＯＮＯＵＮＣＥ＝''と”START＝''2217”ＥＮＤ＝''2428"＞とく/ＷＯＲＤ＞

図４日本語版の字幕例
発話内容：「ところで雪印乳業は，きょうから牛乳と.…」版ではBrill，sTaggerを使用して品詞解析を行なう［BrillI(4)手順(2)の形態素解析の結果として得られる読みを利用し，音節系列を作成する．英語版では，発音辞書を利用して音素系列を得る．

上記手順(1)～(10)中，手順(2)を除き，個々の手l'頂においては自動化がなされている．手順(2)では，字幕取得プログラムの制約により字幕が正確に収録されていない場合(字幕放送の制御コードの問題で，数字が文字化けする)や,字幕に現われていない間投詞，言い直しが(5)手順(3)と同様に，形態素解析の結果として得らあるため，取得された字幕ログに問題がないかの確認おれる個々の形態素の品詞情報などを生成する．英語

よび修正を人手で行なっている．その後，４節で述べる

版では，品詞タガーを用いて品詞を得る．

(6)録画から得られる音声(12kHzサンプリング)を分析し特徴パラメータ系列に変換する．

同期計算プログラムに音声データと手順(2)で整形した字幕を入力すると，図４に示すような教材用のデータが出力されるようになっている．またその他に，音声デー
タをＭＰＥＧｌ形式のビデオデータから分離する，ビデオ(7)音声認識技術を利用して[SPOJUS,甲斐９７１，手順(3)で得た字幕の音節系列と音声(音素)の特徴パ

フォーマットをＭＰＥＧｌ形式からQuickＴｉｍｅビデオ形

ラメータ時系列との照合により，字幕と音声との同式に変換する，などの細かい作業については現時点では期情報を作成する．

手作業で行なわなければならない．本システムを用いて(8)手順(6)の結果から，句読点単位および単語単位教材を作成する作業(手順(l)は除く）にかかる時間は，での開始時刻を得て，句読点単位での戻り・先送り

コンピュータの習熟度合いにもよるが，数分のニュースを可能とするリンク情報を作成する．

放送のデータであれば，フォーマット変換や計算時間を(9)手順(4)で得た品詞情報など，および手順(7)で得た同期情報および戻り・先送りに関するリンク情報を，字幕の文字列に書き加える．これらの情報を含んだ字幕例を図４に挙げる．

qcリ最終的に,再生用に形式の変換を行なった映像十音声と上記の情報を含んだ字幕により，ＪａｖａとQuick-含めて全体で３０分～１時間程度，このうち教材作成者の作業時間は１０～４０分程度である．

このようにして得られた語学学習教材は，Ｊａｖａで記述されQuickTimeの機能を利用するプレイヤによって実行される．この教材とプレイヤにより，以下のような機能が実現されている．

Timeを利用したプレイヤを用いて再生する語学学・ニュース画面および音声と同期した字幕の提示．

習教材となる．得られた語学学習教材の画面は，図・タイムスライダによる任意箇所の再生．

５，図６，図７のようになる．

・字幕単位での戻り，先送り．

人工知能学会論文誌１７巻４号ＳＰ－Ｇ（2002年）

504

鐸|巷成名謝露iiiii讓寧

図５日本語版の教材画面例：音声と字幕の同期および音声波形とピッチ表示画面（上:アナウンサー音声，下:学習者音声）

iiIpji:ii篝iｉ
ニエ【田

詞麺

剴］【『

房［￣

ゴ本ぴ)肩

」月色且、

ｄｚＥｍＦ

ツーｕａｓＡＺｓｏｃｉａＩｉＥ]飴ｊｆ

図６日本語版の教材画面例：辞書引き画面

潅遥Ｐ設澱窪8{］巴ｏｕｏｎｌＩｎ･｣_可○ＩｒＢｃＩ｡「.、

鰹…
４ｓｓｏｃｌａＩｌｏｎＪｑ

ｈｓ＆Ｄｃｉ８Ｉｉｏｎ仁図７英語版の教材画面例：辞書引き面面

字幕付きテレピニュース放送を素材とした語学学習教材作成システム･字幕表示の切り替え(ひらがなのみでの表示，特定の品詞のみの表示など)．
・字幕の提示において，発声箇所に対応して表示色を変えていくことにより，発声位置の確認が可能．

･アナウンサ音声の波形・Ｆｂ(基本周波数)表示
・学習者音声の波形・Ｐｂ表示．
・学習者の音声を収録し，アナウンサー音声との波形や基本周波数の比較が可能．
・アナウンサーと学習者音声の発声タイミングの表示．

505

現状では，３０秒から１分半程度ずつの１まとまりのニュースの音声区間を切り出している．それに対応する字幕に対して，日本語では形態素解析ソフトChaSen[茶笑）のかな表示を用いて音節系列を作成し，英語ではＣＭＵ
発音辞書[ＣＭＵ辞書]から音素系列を作成する．そして切り出した音声区間と，字幕から得られる音節(音素)系
列に対応する隠れマルコフモデル(ＨＭＭ)を連結した音響モデルをOnePassViterbiアルゴリズム[中ﾉ１１８８]を用いて最適な時系列同士のマッチングを行ない，時間の・穴埋め形式の聞き取り問題の自動作成と採点．

同期情報を得る．ただし，この際，無音区間をパワーの･形態素単位での辞書引き[英辞郎｝

閾値により除く処理を行なっている．

･再生速度の変更．

この同期の精度を正確に測定するため，各名詞の終端点での同期のずれを集計したところ，日本語の音声デー

4．音声と字幕の同期タで平均１４ミリ秒(サンプル数39)，英語の音声データ
で平均９２ミリ秒(サンプル数25)となった．英語の音声

表１音声試料の分析条件

サンプリング周波数
ハミング窓幅
フレーム周期

ＬＰＣ分析次数特徴パラメータ(日本語）

特徴パラメータ

（英語）

音響モデル

（日本語）
音響モデル

（英語）
モデル数

１２ｋＨｚ

２１．３３，秒(256ポイント）
８，秒(９６ポイント）
１４次
ＬＰＣメルケプストラム（４フレーム・セグメント，
１０次元＊４フレームを圧縮一２０次元）＋△CEP(１０次元）＋ＡＡＣＥＰ(１０次元）＋△ＰＯＷ(１次元）＋△△ＰＯＷ(１次元）
ＬＰＣメルケプストラム（１０次元）＋△CEP(１０次元）
音節モデル，５状態４出力分布，
離散継続時間付き出力分布型ＨＭＭ
４混合ガウス分布，全共分散行列

１５５名，２万文(ASJ＋JNAS)で学習
音素モデル，５状態４出力分布，
離散継続時間付き出力分布型ＨＭＭ
４混合ガウス分布，全共分散行列

３２６名，３２６０文(TIＭＩＴ)で学習
114(日本語)，３９(英語）

現在，ＮＨＫによる字幕放送は，音声から数秒から＋数に対しては，音声に背景音などの比較的大きなノイズが含まれるため(英語音声のＳ／Ｎは16dB～20dB，日本語

音声のＳ／Ｎは30dB～33dB端2)，また音響モデルの精度が不十分(音響モデル作成のためのトレーニングデータ
量が少ない)であることが，日本語音声の精度よりも悪くなる原因となっている．しかし６２節で述べる字幕表

示の被験者実験結果では，日本語，英語ともに同期精度で高い評価を得ており，字幕表示においては違和感のない精度が達成されているものと考えられる．
しかし，いずれの場合もアナウンサーの発話内に含まれるポーズ，言い淀みや間投詞の問題がある．字幕にはアナウンサーの言い淀み等は表示されないそのため，

字幕と音声との同期を取る際に，発話内に言い淀み等が含まれることによって音声との照合結果の尤度が低くな
り，字幕に対して最適な音声区間が得られない場合がある．ポーズについては，ポーズを除いた音声試料に対して音声照合を行なうことで対処し，言い淀み等について

は音声認識システムの未知語処理技術を用いて，任意の音節列（日本語版)や音素列(英語版)のマッチングで吸収するようにしている[甲斐991

秒の遅れを伴なっている．ＰＢＳの場合，発話と字幕はほまた，読み付与誤りやアナウンサーの言い直しによっ

ぼ同時に提示されている．しかし，いずれの場合も，単語単位での同期情報は放送からは得られない本システて，発話内容と音節(音素)系列が対応しない場合があるが，ほとんどの場合音節(音素)系列の前後関係により

ムでは，単語単位の発声タイミングを示すことも機能の違いが吸収される～例えば，発話内容が「さいこうよん

１つとしているため，単に放送されたタイミングでの字

ひやくにじゆうえん(最高４２０円)」であり，付与され幕の提示だけではなく，音声と字幕の同期を新たに取るた読みが「さいこうよんにぜろえん」であった場合，前必要がある．丸山らもＴＡＯの「視聴覚障害者向け放送ソ

後関係の「さいこう～えん」があることによって「よんにフト制作技術研究開発プロジェクト」の一環として音声

ぜろ」のＨＭＭ系列に「よんひやくにじゆう」の音声がと字幕の同期化の研究を行なっている[丸山９８１．これは無理矢理吸収されることになる．実際に，日本語の音声

ワードペアのスポッティング法に基づく手法であり，沸データにおいて発話内容と読み付与が対応していない部

き出し誤りが生じうる手法である．

分の同期精度を調べたところ，１５単語中12単語(80％）

本システムの音声と字幕の同期を取る際の音声の分析において読み付与の正しい他の部分と同程度の同期精度条件等を表１に示す．字幕のかな文字列(あるいは音素記号列)からそれに対応する音節(音素)単位ＨＭＭの連*２音声自動認識では，Ｓ／Ｎが２０ｄＢより悪くなると急激に認結を構成し，入力音声とマッチングする．

識率が低下する．研究段階でよく用いられているクリーン音声のＳ／Ｎは４０～50ｄＢ程度である．

506

人工知能学会論文誌１７巻４号ＳＰ－Ｇ（2002年）が得られていることがわかった．英語の音声データにおまた，音声と字幕の同期をとるアルゴリズムを用いていて，単語辞書に登録されていない未知語に対しては発音声波形と発声単語の対応付け結果も表示できる．図５

音記号列がわからないため，任意の音素に対して大雑把

下の音声波形とともに表示されている縦棒は単語境界をな照合が取れるガベージモデル(全音素から学習したモデル)を用いて未知語処理を行っている．実際に，未知表し，上段の教師音声(アナウンサー音声）と下段の学語を含むニュース放送を用いてガベージモデルを未知語

声の発話タイミングの比較が容易にできるようになって習者音声の単語境界を線でつなぎ，教師音声と学習者音の個所に挿入した場合，違和感の少ない精度で字幕が表いる．また，発話された時間長と字幕から教師と学習者

示されることを確認している．

の発話速度を計算し，日本語ではmora/sec，英語ではword/secで表示することができる．

もう１つの問題として(特に日本語版において)，スタ

ジオ外のレポータからの発話の場合には字幕が存在しな
い問題がある．そのため，字幕と同期する音声領域の決定が困難になる．この場合，字幕ログに各字幕の記録時
刻を付け，その時刻を参考にアライメントを取ることによって解決可能であると考えている．

今後，学習者音声の評価を行なう機能を追加する予定

である[峯松00,中村01,三輪０１｝
５．４辞書目｜き

字幕中の語句の辞書を引くことも可能である．この際，表示されている字幕の一部を選択した後，プレイヤ画面

5．機能の詳細

右下の「辞書」ボタンを押すことで，目的とする語句の英訳や和訳が表示される(図6,図7)．また，マウスポイ
本節では，作成された教材およびプレイヤの機能を述べる．

ンタを目的の単語上に乗せることにより，簡略な意味表示も可能である(図６右上の「日本」）．
現在，日本語版の日英辞書および英語版の英日辞書に

５．１映像＋音声の再生
映像・音声は，字幕に含まれる句読点単位で再生される．このため，特定部分の繰返し視聴が容易になっている．また，連続しての再生も可能である．加えて，同単位での先送り，戻りも可能である．

若干の再生速度の変更も，サンプリング・レートの制

御により可能になっている．これにより，発話速度が速いために聞き取り難い箇所もゆっくりと再生させ，聞き取ることが可能となる．今後は，発話中のポーズ長の制御による話速制御を実現する予定である[中村941
５．２字幕

字幕の提示は，漢字かな混じりでの提示(標準用）と，
かなのみでの提示(初心者用)，特定の品詞のみの提示(中級者用)，および提示なし(上級者用)の４種類の提示方法が選択可能である．今後，学習者のレベルに合わせてより詳細な字幕提示方法の制御を実現する予定である(学習者にとって難しい漢字のみかなで，残りは漢字で表示

する，要約の提示など）

はともに「英辞郎」[英辞郎]を用いている．また日本語版
では，中国語での意味表示にも対応している．意味表示には，適当な日中辞書がなかったため，Unicodeによって記述され，日本語による検索が可能な中日辞書(版権フリーなもの)を利用している．この結果，検索文字列
は日本語列で与えるが，検索結果の画面では中日辞書の形式で表示される．辞書の形式については，今後日中辞書の形式のものを作成し，置き換える予定である．
５．５デイクテーシヨン問題作成

字幕中の特定の品詞に対する聞き取りテスト作成および採点機能を有している．この機能により，字幕中には特定の品詞の箇所が空欄として表示され，その空欄に対応する回答を入力する．入力後，正解とともに評価結果が表示される．

このような機能は，先に形態素解析や品詞のタグ付けを行なっているため，容易に実現できる．例えば，学習者が苦手な「数量表現」部分の聞き取りテストを容易に作成できる．

今後，デイクテーション問題や内容理解問題の作成など
教材作成に教師が介入できるようにしていく予定である．

５．３発音学習支援

このプレイヤは，字幕に対応するアナウンサー音声の波形と基本周波数(Fb，声の高さに対応する物理量)を表

6．システムの機能評価

示することが可能である．また，学習者の音声を録音し，本節では，本システムによって作成された日本語版お同様に音声波形とＦｂを表示できる．これにより，発話速度と声の高さ，大きさについて，アナウンサーの音声

たアンケート調査の結果について述べる．被験者の一覧と比較が可能である(図5)．両者を比較することで，アを表２に示す．留学生の日本語学習者は日常会話は勿論，よび英語版の教材を被験者に試用してもらった際に行なっクセントやイントネーションの例示ができ，学習の参考

日本語の講義も理解できる程度である．一方，日本人学になると考えられる．

生の英語学習者は，日常会話もおぼつかない程度のもの

字幕付きテレピニュース放送を素材-とした語学学習教材作成システム

5０７である．アンケートは基本的に５段階評価(1:悪い～5:良なお，中国人用日本語版教材の辞書には中日辞書を使い)で行ない，－部自由記述項目もある．教材の試用は用しているが，学習の役に立つが(中国人留学生のみで，３０分程度づつ，２回に分けて行なった．２回目の試用の33)，使い易くはなく（同２３)，日中辞書が必要(同５０）

後，アンケートに回答してもらった．

という結果であった．

表２被験者
日本語版

英語版

日本語教師２名（日本人）
留学生６名（うち３名は中国人，３名はその他東南アジアからの留学生）
英語教師２名（日本人）革至-5-2E~､~未うてＰ

6.4デイクテーシヨン問題

デイクテーション問題は，学習の役に立つとの評価が得られた(英語版４．３，日本語版４２）今回のアンケート
では，穴埋め箇所が多すぎる，何回でも聞き直せる方が良い，正解をより明示的に示す方が良い，単語だけでな

6.1局期精度

字幕と音声の同期精度については，英語版では全被験者の評価値の平均が５．０，日本語版では４．７５と，いずれも充分な精度が得られているという評価を得た．
6２字幕表示発声に対応して字幕の色を変えていく表示については，聞き取りにも学習にも役立つとの評価が得られた(英語版と日本語版それぞれ「聞き取りの役に立つ」が４８，４５，｢学習の役に立つ」が46,4.8)．
字幕の全文表示・名詞のみ表示などの切り替え機能は

く句も対象とする方が良いなどの意見が得られた．今後寄せられたこれらの意見を下に改善を行なう．
６．５波形と基本周波数の表示
アナウンサー音声の波形表示は学習の役に立つか否かについては，教師と学生とで評価が分かれ，英語版学生で３．４，英語版教師で２５，日本語版学生で３３，日本語版教師で２０となった．

学習者自身の音声波形の提示については，多くは３０以上の評価を与えているが，英語版教師は１．５と低い評価を与えている．

学習の役に立つか否かについては，英語版と日本語版で基本周波数についても同様で，アナウンサー音声，学評価が分かれ，英語版では被験者全員の評価の平均が３６であるのに対し，日本語版では４．１と高い評価を得た．

習者音声のいずれに対しても日本語版では教師は４５と字幕の全文かな表示(日本語版のみ)が必要かという設高く評価しているが，英語版教師は２０と評価している．

波形や基本周波数の表示によるアナウンサー音声と学問に対し，学生は２．８，教師は５．０と，その評価に大きな差が出た．これは，日本語能力が高い被験者であったためと考えられる．なお，学生２名と教師1名から「漢字語版教師の評価は３０と３５と比較白勺高めの評価を行なっには振仮名が必要」という意見が出ており，振仮名表示

いものであった．

機能の追加によりこの評価は変化すると考えられる．

習者音声の比較が役に立つか否かについても同様に日本ているのに対し，英語版教師の評価はいずれも２．５と低本評価実験では，試用者に音声波形と基本周波数曲線を直接提示していたが，学習者にはそれらの音声学的な６．３辞書目｜き

辞書引きの語彙数については英語版で２３，日本語版で2.9と評価が低く，辞書の語彙数について不満があった．

しかし現在英和辞書(英語版)で28万語彙，和英辞書(日本語版，中国語対応以外)で５４万語彙，中日辞書(日本
語版，中国語対応)で３万語彙と，語彙数は必ずしも少ないわけではないそのため，ここで得られた評価は，単語の活用などによる語形変化による問題，あるいは使用辞書の想定ドメインと，ニュース放送というドメインでは使用される語彙に違いがあるためと考えられ，改善を要する．

また辞書の内容が役に立ったかどうかはについては，日

本語版で４３，英語版では３３と比較的良い評価を得た．

意味が分からないのではないかという意見があり，これが評価に現われたと考えられる．

今後，音声波形や基本周波数曲線の提示については，それらを直接提示するのではなく，学習者に分かり易い形
式を用いることを検討していきたい

しかし，全体としてみれば，学習の役に立つと評価されていた(英語版学生48,英語版教師３０，日本語版学生40,日本語版教師5.0）
６．６他の学習法との比較

他の学習方法(テレビおよびラジオの語学講座，市販ソフトなど）と比べてみた場合，本システムにより作成

は，英語教師の評価が３５と低いが，他は４６以上の評した教材による学習方法の方が高い評価を受けた(英語版学生４．０，英語版教師３Ｄ，日本語版学生４２，日本語版

価を受け，学習に役に立つと評価された．

教師５０）これは，木システムにより作成される教材に辞書引き機能が学習の役に立つかという設問について

これらの結果から，辞書の語彙という面から見ると不備はあるものの，オンライン辞書の有効性が示されたは辞書引き，再生箇所の選択などインタラクティブ'|生があることによる結果と思われる．

人工知能学会論文誌１７巻４号ＳＰ－Ｇ（2002年）

508

６．７授業や独習への導入

授業には，日本語版は使えるが(日本語版教師5.0)，英語版はそれほどでもない(英語版教師3.5)という評価と（６）教材化作業(特に問題作成)への教師の介入を可能にする，オーサリングシステムや多様な形式の問題
作成への対応．

なった．これは，本システムによって作成される教材は，（７）ＷｂｒｌｄＷｉｄｅＷｅｂ上におけるニュース映像や音上級者向けであると評価されている（日本語版教師4.75,

声，さらにその発声に近い書き起こしテキスト[テレ英語版教師５o)ことと符合する．理由としては，やはり素材がニュースであるため,話速，使用される語彙が上

ニュースの検索等．

級者向けであることが挙げられた．今後，中級者向けの

ビ朝日,TBS,CNN]を用いた教材化への対応や関連

また，今回は教材作成システムの機能とその評価につコースウェアの開発を進めていく必要がある．

いて述べたが，今後，授業等への導入による評価を行なっ

しかし独習用教材としては高く評価された（日本語版
教師４．０，日本語版学生37,英語版教師５．０，英語版学生３６)．

ていく予定である．

６．８今後必要な機能

今後必要な機能として，学習者音声の発音やイントネー
ション，リズムの評価機能については，英語版使用者と日本語版使用者とで評価が分かれた(英語版３７，日本語

版４５）日本語版使用者は必要とし，英語版使用者はさほど必要とは考えていないことが分かる．これは，学習者の語学カレベルの差と考えられる．

謝辞
本研究は，文部科学省科学研究費補助金特定領域研究(A）「メディア教育利用」の「音声言語処理技術と学習者モデルを用いた語学学習システムの研究」（課題番号12040104)の研究助成を受けて行なわれている．本研究では，ＮＨＫにより放送されている字幕付きニュース放送を使用している．この使用を快諾していただいたＮＨＫ
放送技術研究所の関係諸氏に深く感謝する．

また，中日辞書，日中辞書についてご協力いただいた，研究生の李麗芳さんに感謝いたします．

さらに，辞書の他に関連する語彙や例文などの表示が必要とされた(全平均４３）これはコンピュータ利用によって関連ニュース検索により実現が可能だと考えている．

7．むすび
本論文では，字幕付きテレピニュース放送から，語学学習教材を半自動的に作成するシステムについて述べた．

本システムは，収録したテレピニュース放送とその字幕を下に，語学のリスニング(とスピーキング)のための教材を半自動的に作成する．また，単にニュースを再生するだけでなく，コンピュータを利用することの利点として，字幕単位での戻り・先送り，辞書引き，聞き取り問
題の自動作成と採点，アナウンサーと学習者の音声波形と基本周波数の表示なども可能にしている．

ただし，スタジオ外からのレポートの際に見られるよ

うな字幕と音声との不一致(一般に字幕化されていない）の処理が問題点として残っている．

今後，上記の問題点を解決するとともに，以下のような機能の実現を考えている．

（１）手動作業部分の自動化，（２）音声信号の理解しやすい波形等での提示や，学習者の発音の自動評価．

（３）英語による副音声との同期（日本語版)．

（４）学習者の母語によるインタフェースや辞書，意味◇参考文献◇[Brill］“品詞解析プログラムBrill'sTagger，，，
http://wwwＣｓ・jhuedu／brill／・[ＣＭＵ辞書］“TheCMUPronouncingDictionary''，
http://www・speechcscmu・edu/cgi-bin/cmudict．
[CNN］“CNNニュース",http://wwwcnncom/video／、[Darwing89］Darwin9,TraceyM.:''1nfbrmationtypeandits

relationtonon-nativespeakercomprehension，，，Language
Learning,39,pPl57-172（1989)Ｊ[PBS］“TheOnlineNewsHour'，，
http://www・pbsprg/newshour／・[PEOO］“PEEnglishfbrProfbssionalEngineers"，English
Express別冊,vol６．i朝日出版(2000)．
[SIM９７］“SIMスーパーエルマーＣＢＳコース'，,株式会社ソース,東京ＳＩＭ外国研究所（1997）[SPOJUS］“SPOJUS-SYNO日本語連続音声認識システム，，，
http://wwwslp・tutics・tutacjp/SPOJUS／・[TBS］“TBSニュース，，,http://www,tbscojp／、{アンケート］豊橋技術科学大学中川研究室：“英会話ＣＡＩソフトアンケート結果，，，
http://www・slp・tutics・tut・aojp/CALLsoft／・[安藤０１］安藤彰男，今井亨，小林彰夫，本間真一，後藤淳，清山信正，三島剛，小早)||健，佐藤庄衛，尾上和穂，世木寛之，今井篤，松井淳，中村章，田中英輝，都木徹，宮坂栄一，磯野春雄：「音声認識を利用した放送用ニュース字幕製作システム」電子情報通信学会論文誌，VOLJ84-D-ILNo6,pp877-887(2001）(英辞郎］‘`英辞郎",http://www・alccojp/eijiro/indexhtm]Ｌ

[甲斐９７］甲斐充彦,中川聖一:"冗長語･言い直し等を含む発話のための未知語処理を用いた音声認識システムの比較評価'，，信学論,VOLJ80-D-II,No.10,ｐｐ,2615-2625（1997）[甲斐９９］甲斐充彦,廣瀬良文,中川聖一:"単語N-gram言語モデルを用いた音声認識システムにおける未知語・冗長語の処理"，

情報処理学会論文誌，VOL４０，Ｎ｡４，ppl385-1394（1999）

表示例えば，日中辞書の導入（日本語版）[竹蓋］“こうすれば聞こえるヒアリング'',竹蓋幸生監修,アルク．

現、例えば，教材の字幕を学習者のレベルに合わせ，

nara・acjp/lab/nlt/chasen／,(テレビ朝日］“ANNニュース''，
http://www､tv-asahLcojp/an､/news/web/indexhtmL（５）学習者のレベルに応じたコースウェアの設計・実

漢字をかなで表示するなどの機能の提供(日本語版）[茶第１“日本語形態素解析システム茶筌：'，http://cLaist‐字幕付きテレビニュース放送を素材とした語学学習教材作成システム(東條９５］東條加寿子:"衛星放送のニュースを利用した教材:英語
リスニング教材としての妥当性の考察，，，九州女子大学紀要，第３１巻,ｐｐ９７－１１０（1995）

509

著者紹介
小林聡(正会員）[東條ＣＯ］東條加寿子：“英語教育とメディアの接点-メディアが１９９１年豊橋技術科学大学情報工学課程卒業．１９９４年同大大学院工学研究科情報工学専攻修了．１９９９年静岡大学
博士後期課程電子応用工学専攻満期退学．１９９９年豊橋技伝える英語情報の教材化に関する考察－，，，九州女子大学紀要,第３６巻３号,ｐｐｌ５－２９(2000)．

[中川８８］中)||聖一：“確率モデルによる音声認識，，，電子情報通信学会,（1988)．
[中川９７］中)||聖一,AlaｎＡ.Ｒeyes,鈴木英之,谷口泰広:``音

術科学大学知識情報工学助手．２０００年同大情報処理セン
ター助手．博工．コンピュータの教育利用の研究に従事．

声認識技術を利用した英会話ＣＡＩシステム，，，情報処理学会論文誌,第３８巻第８号,ppl649-1658（1997）[中村９４］中村章,清山信正,池沢龍,都木徹,宮坂栄一：“リアルタイム話速変換型受聴システム"，日本音響学会誌,ＶＯＬ50,Ｎ。
７，pp509-520（1994）[中村０１］中村直生,峯松信明,中川聖一:"ＨＭＭを用いた英単語
単発声からの発音上の癖推定'，，電子情報通信学会技術研究報告，
SP2000-127,pp41-48(2001)(2000）{丸山９８］丸山一郎,阿部芳春,江原暉将,白井克彦：“ワード列ペアモデルによる字幕送出タイミング検出の検討，，，電子'檮報通信学会音声研究会,SP98-34(1998)．
[峯松００］峯松信明,藤澤友紀子,中川聖一:"英単語発音上の癖のli l l1l 1l lL

田中敬志
1978年生．２００１年豊橋技術科学大学情報工学課程卒業．
現在同大学院修士課程情報工学専攻在学中．音声言語処理に関する研究に従事

森一将
1978年生．２０００年豊橋技術科学大学情報工学課程卒業．
現在同大学院修士課程情報工学専攻在学中．音声言語処理に関する研究に従事

自動推定･視覚化とそれに基づく発音能力の韻律的評定，，，電子情報通信学会論文誌D-II,voLJ83-DIINo2,pp486-499(2000)．

[三輪０１］三輪多恵子,中川聖一:"日本人英語とネイティブ英語の韻律特徴の比較，，，日本音響学会講演論文集，1-2-12,pp229230(2001)(2000）[山田９７］山田玲子,Ｗ・Strange,久保田理恵子:"日本語話者に対する米語母音聴取訓練，，，日本音響学会講演論文集,1-3-9,ｐｐ379-380（1997）〔担当委員：美濃導彦〕
2001年１１月１２日受理

庇｡.;､,:.』ﾖ:埒:１３:》

il l i ;jl i

中川聖一(正会員）
1948年生．１９７６年京都大学大学院博士課程修了．同年
京都大学・情報工学科・助手も１９８０年豊橋技術科学大学・
情報工学系講師．１９９０年同大学教授．1985-1986年カー
ネギーメロン大学客員研究員．音声情報処理，自然言語処
理，人工知能の研究に従事．工学博士．１９７７年電子通信学会論文賞，１９８８年度ＩＥＴＥ最優秀論文賞，２００１年電子情報通信学会論文賞受賞．著書「確率モデルによる音声認識」（電子情報通信学会編），「音声・聴覚と神経回路網モデル」（共著，オーム社），「情報理論の基礎と応用」（近代科学社），「パターン情報処理」（丸善）など．