标题：口语自动评估技术
口语自动评估技术的背景和需求
作为人际交流的重要媒介，口语语言在实际生活中占有极其重要的地位。标准的语音是口语和听力的基础，它能够增强日常交流的可靠性，提高交流的流畅度。随着社会经济的不断发展和全球化趋势的加剧，人们对语言学习的效率以及语言评估的客观性、公正性和规模化测试提出了越来越高的要求。
传统的语言教学是由老师在课堂上通过言传身教和听说读写等综合训练手段来全面培养学生的语言交际能力，而传统的语言测试则依赖于评估者的听辨能力，一般由一个或若干个评估者对被测者的口语水平做出评判。这种人工教学和评判的方法存在很多缺陷：
1）人工教学使教师和学生在教学时间和空间上受到很大限制，在师资力量、教学场地、经费支出等方面也存在诸多硬件上的差距和不平衡；
2）人工评测无法避免评估者自身的个体偏差，从而不能保证评分标准的统一，有时甚至无法准确反映被测者的真实水平；
3）对于大规模口语测试，则需要大量的人力、物力和财力支持，限制了经常性、规模性的评估测试；
4）人工评测往往只能给出被测者的某个单一的分数或等级，随着测试规模的扩大，很难做出科学的统计分析和有效的反馈。
在此背景下，随着科学技术的迅猛发展，计算机技术和人工智能技术被广泛应用于社会生产和生活的各个方面，计算机和网络的辅助作用也越来越明显地体现出来，计算机辅助语言学习和测试技术为现代语言教学和测试提供了一个有效的解决方案。目前，语音识别技术在实验室条件下已经基本成熟，将语音识别技术逐步实用化并扩展其应用领域已经成为语音识别领域研究的热点问题，而语言学习是其实用化应用的主要热点之一。
以中国目前的国情为例，面向语言学习和测试的应用主要有三个比较有代表性的领域，这三个领域都是基于大人群的大型考试，都需要借助计算机辅助等技术手段来提高语言学习和测试评估的自动化和信息化水平。
普通话水平测试。主要考察以中文为母语的测试者的普通话水平，典型的应用是面向播音员、教师的普通话水平测试，或面向一些语言要求程度比较高的行业的从业人员的普通话水平测试。普通话水平测试对于国家语言文字规范化政策的推进具有极大的促进作用。
少数民族汉语测试。由于我国是一个多民族国家，很多民族都有自己的语言，而在民族交流中，对于汉语的学习和测试有着迫切的需求。少数民族汉语测试能够提高少数民族同胞的汉语学习和运用，促进少数民族地区的对外经济交流，同时对民族融合和民族团结也具有非常重要的意义。
英语口语考试。对于中国的教育领域，从初等教育到中等教育，甚至到高等教育，英语都是一门必修课。无论是小学生、中学生，还是大学生、研究生，或者是出国留学人员，都面临英语学习的问题。这充分体现了教育部门对外语学习的重视程度，同时也印证了当今社会对第二语言学习的迫切需求。目前，主要应用形式有中学生英语口语考试、大学生英语四六级考试，以及面向留学生的托福、雅思等测试。同时，国内第二语言学习也已经从英语逐渐拓展到其他诸多语种。 
口语自动评估技术的特点和优势
针对传统口语测试和评估的缺陷，并考虑到大人群和大规模考试的应用特点，口语自动测试和评估技术是以计算机技术和网络技术为基础，实现对大人群考生的自动测试以及对大规模语音数据的评估打分任务，具体应用点包括： 
1）面向大人群的自动化口语测试和数据回收。取代传统的人与人面对面的考试模式，采用“人机对话”的测试方式，考生面对的不再是考官，而是计算机，通过人机接口技术全程引导测试者完成整个测试流程，并使用耳麦等设备，自动地批量采集和回收测试者的语音答题数据。
2）面向大规模数据的口语评估和诊断技术。对于在自动测试环节采集的考生数据，计算机程序将按照评分标准和要求，自动地完成口语评分、诊断和反馈报告生成等流程，并将测试结果发布给各级机构和人员。
与传统口语测试和评估过程相比，自动口语测试和评估系统具有如下一些明显的特点和优势：
1）考试更容易组织和掌控。自动化口语测试不再需要监考老师的大规模调配，只需要考生按照规定流程按部就班地进行考试，监考老师或系统操作员可以通过网络对考生的测试进度进行监控，对出现的异常情况进行及时处理。
2） 评分结果更加公平、公正。计算机在评分标准的基础上，采取预定的评估算法，对所有考生一视同仁，在最大程度上避免了人为主观因素的影响，并且不受时间和空间条件的限制。同时，由于评估算法已经预先在大量实际语音数据上进行了学习和调整，因此评估的准确性也得到了保障。
3）反馈信息更加丰富和个性化。由于受到传统口语测试的限制，考生测试完毕后，很难有机会从测试中获取反馈和指导信息，以改进和提高自己的口语水平。相比之下，自动化口语测试和评估不仅仅提供考生的分数，还可以反馈各级别的诊断报告，对考生出现的常见问题进行指正，并提供改进意见。同时，还可以对考生群体的语音数据进行统计挖掘，归纳区域性的口语发音特点，为教育机构和教学人员提供有价值的参考建议。
可以看出，将计算机和网络技术应用到口语的辅助学习，特别是大规模口语测试和评估中，可以有效解决目前语言教学和大规模口语测试中的实际问题，并有助于测试者和教学人员的改进和提高，这无疑对促进我国教育事业的发展具有重大意义。 
口语自动评估技术的历史和现状
关于口语自动评估领域的特定称谓，国内外有很多提法，最常用的称谓就是计算机辅助语言学习（Computer-Assisted / Computer-Aided Language Learning, CALL）和计算机辅助发音训练（Computer-Assisted / Computer-Aided Pronunciation Training, CAPT）。而国外许多机构，特别是在国际会议中，也经常使用语言习得（Language Acquisition）或口语语言技术在教育中的应用（Application of Spoken Language Technology for Education）等字眼。CALL领域的技术文献多出自相关的期刊和学术会议论文，重要的期刊有《IEEE Transaction on Audio, Speech and Language Processing》、《Speech Communication》、《Computer Speech and Language》和《ACM Transaction on Speech and Language Processing》等，主流的会议有ICASSP、INTERSPEECH (EUROSPEECH or ICSLP)和SLaTE等，国内主要的期刊和会议有《声学学报》、《自动化学报》、《中文信息学报》、国际中文语音语言处理大会（ISCSLP）和全国人机语音通讯学术会议（NCMMSC）等。
很早以来，许多机构和学者都探索将语音信号处理技术服务于更广泛的用户群体中，而这种持久的愿望和需求促使了CALL研究的诞生。早在20世纪70年代末，作为IBM法国研究所的研究人员，Destombes[DestombesF\1993\ILTD]利用显像管和示波器开发了可以显示基频和能量随时间变化的硬件装置，并可以对简单的音素进行识别，还设计了一系列游戏接口，以辅助身患聋哑的女儿进行语言学习。即，最初的CALL应用主要面向聋哑或听力有障碍人士，类似的研究还有文献[MartonyJ\1968\AAD, NickersonRS\1972\CSCP]。 
进入80年代，Flege[FlegeJE\1988\LL]系统地研究了如何利用视觉信息辅助语言学习者对目标语言中的元音进行正确发音的问题，并指出如果发音错误可以被自动检测出来，并且提供相应的反馈信息，那么将会对非母语语言学习者改正发音错误起到极大的帮助。而此时，非特定人自动语音识别技术也已经开始得到人们的关注，但是由于当时的频谱装备的限制，很多实验都显示出具有较高基频的语音信号只能携带很少的声学信息，因此研究者都把精力放在基频较低的男声语音识别上。直到80年代末，女声语音识别才有起色，但是具有更高基频的儿童语音识别还是一直被认为是巨大的挑战。
进入90年代，英国伯明翰大学的Russell[RussellMJ\1996\ICSLP]率先关注到儿童语音识别在发音辅助学习上的应用，他使用采集到的儿童语音数据集训练出识别器，并将识别器嵌入到发音辅助系统上，然后让儿童念出电脑屏幕上显示的单词，机器便会自动对其发音的准确度给出反馈，这是最早的面向儿童语言学习的原型系统之一。与之同时，作为CALL领域又一个先驱式人物，Bernstein[BernsteinJ\1989\AbstractJASA, BernsteinJ\1990\ICSLP]开始将目光转向母语为日语的用户的英语学习系统的研究上，并将非母语语音识别的技术研究成果逐渐推广到各类非母语用户的语言学习领域。
90年代末以来，语音识别技术一直都是语言学习系统所倚重的最主要技术手段之一，而随着用户需求的提高，一些自然语言处理技术也被渐渐集成进来。近十年来，在互联网、人工智能和人机接口技术的飞速发展下，计算机辅助语言学习系统开始向交互式学习方式转变，从而作为虚拟教师角色出现在国内外大量系统产品中。另外，也涌现出一些面向口语测试和评估的应用和系统。
此外，WarschauerM[WarschauerM\1996\MLT]将计算机辅助语言学习的研究历史分成了三个发展阶段，即20世纪60年代到70年代的行为主义阶段、80年代的通讯式阶段以及90年代以后的综合式阶段，行为主义阶段主要采用基于操练型（Drill and Practice）课件的练习方式，通讯式阶段侧重于各种人机通讯手段的利用，综合式阶段则将注意力转向多媒体（Multimedia）、互联网（Internet）和虚拟现实（Visual Reality）等高新技术。
对于CALL领域，研究起步较早的有斯坦福国际研究院（SRI）、剑桥大学工程系（CUED）、麻省理工学院计算机与人工智能实验室（MIT-CSAIL）、卡内基梅隆大学（CMU）、英国伯明翰大学、荷兰奈美根大学、日本东京大学等。起步稍晚但发展迅速或比较活跃的有美国南加州大学（USC）、加州大学洛杉矶分校（UCLA）、美国教育考试服务处（ETS）、科罗拉多大学、日本京都大学、日本国际先进通讯技术研究所（ATR）和微软亚洲研究院等。国内比较活跃的研究机构有台湾成功大学、台湾清华大学、香港中文大学、科大讯飞、中科院自动化所、中科院声学所和清华大学等。 
口语自动评估技术的技术路线
口语评估可以分为音段和超音段两个层次，前者侧重于对发音人的发音准确度进行评估，而后者侧重于对发音人的语调和韵律进行评估。下述图表给出了发音评估和诊断的层次划分。需要指出的是，一般意义上的发音评估和诊断方法，不是针对具有某个或某些参考音模板的方法，而是一种不依赖于特定参考音模板的普适方法。至于基于参考音模板的发音评估方法，属于针对特定任务的限定性比较强的方法。
发音评估和诊断的层次划分
关于口语自动评估技术的算法解决框架，通常对于发音评估和诊断任务，在应用上存在音素、词汇（短语）、句子、段落四个层面，音素、词汇或短语层面主要面向专项练习或专项测试，而句子层面特别是段落层面则主要面向更综合的测试场景。一般认为，使用精心设计的朗读材料可以对测试者的整体发音水平和各种语言现象的掌握情况做出全面的考察，而当为了提高测试者对某些混淆音素或较难词汇的掌握水平的时候，则可以放在对大量相关词汇语音的专项考察辅导上。 
对于发音评估，常常是给出段落或句子发音的总体等级或分数，或者进一步给出对内容掌握程度、发音准确度、流利度或节奏韵律等各种单项关注点的等级或分数，并提供出相应的统计指标或反馈报告。对于发音检错和诊断，从基于词汇的专项辅助语言学习层面来说，需要对各音素的错误进行定位，对错误形式和错误程度进行诊断，并给出有效的反馈意见，以指导测试者经过改进后可以正确发音；而从基于句子或段落的综合考察层面来说，一般则不需要给出每个音素的细节发音情况，只需要给出音素类别的总体掌握水平即可，或者进一步地指出掌握不好的音素类别或者经常出错的词汇。可见，发音评估和诊断针对不同的应用层面，其需要解决的问题是各有侧重的，需要具体问题具体分析，并调整相应的技术解决方案。
口语自动评估和诊断技术的总体技术框架
上图从整体上给出了对发音评估和诊断问题的技术解决框架，在后台离线部分，需要训练出合适的供评估比对的发音模型，这里的发音模型是一个广义的概念，包含对各种发音现象的建模（如发音、重音、声调和语调等），并不仅仅局限于纯粹的衡量发音准确度的模型，而所有发音模型都是建立在数据训练基础上的。对于在线应用部分，待测语音通过前端处理、特征提取和模式匹配等环节给出基本的供评估和诊断使用的信息，然后再根据评估、诊断或报告的应用背景和具体要求进行调整和集成，以形成问题的最终解决方案或实际系统。 
可见，技术解决框架的核心问题和主要难点体现在前端处理、特征提取、发音模型训练和匹配等三个环节上，这三个部分环环相扣，每个部分的技术水平都会对整个系统产生决定性的影响，而后端的集成和应用环节则不只限于技术层面，还需要考虑与应用背景和潜在用户的接口问题。 
口语自动评估技术的应用系统
SRI（斯坦福国际研究院）是最早系统地研究发音质量自动评估的机构之一，相关科研成果已经成功应用于EduSpeak和WebGrader系列软件[NeumeyerL\1998\InSTiLL, FrancoH\2000\InSTiLL, SpeechAtSRI\Online]。EduSpeak系统主要是利用说话人自适应技术融合母语和非母语语音，使得系统在识别率方面有较好的效果，并结合对数后验概率得分、段长得分和语速得分等对发音做出评判，其发音质量自动评估模块已经申请专利。SRI还利用类似的技术开发了基于网络的英语交互式学习辅助软件——WebGrader系统，内嵌了发音质量自动评估模块。
ISLE（Interactive Spoken Language Education）系统[MenzelW\2000\InSTiLL, ISLEdemo\Online] 是一个针对意大利和德国的英语学习者所设计的英语发音训练系统，其中包含了发音准确度自动评估模块，主要特点是可以检测发音错误的位置和发音错误的类型。然而，该系统在错误类型检测与反馈方面的效果并不理想，任务的难度比预期的要大很多。
TBALL（Technology Based Assessment of Language and Literacy）[AlwanA\2007\MMSP, Tball\Online]是用于对美国具有不同口音背景的儿童英语朗读技能进行自动评估的一个项目。系统由学生界面、评估界面和教师界面三个部分组成，其中的评估部分包含了自动语音识别和发音评估模块，并提供单词确认、音节融合、字母识别、字母发音和阅读理解等多个评估任务，对于不同评估任务采取不同的技术手段，生成面向不同层次的报告。学生界面充分考虑到儿童的特点，具有友好性和趣味性，而教师界面则嵌入了数据挖掘模块，可以监督学生口语水平的变化。
SCILL（Spoken Conversational Interface for Language Learning）[SCILL\Online, SeneffS\2004\InSTiLL]是麻省理工大学和剑桥大学的一个合作研究项目，其目标是构建一个基于口语对话和语音识别技术的语言学习系统，该系统具有四个主要引擎，即智能口语对话管理引擎、限定领域双语翻译和转换引擎、对话发音评估和反馈引擎以及为教师提供的系列教学工具引擎，其中对话发音评估和反馈引擎是对学生和机器的对话进行分析，对学生所犯的错误进行反馈。该系统可以在限定领域与学生进行对话，所涉及的关键技术主要包括对非母语语音的鲁棒性识别和理解、限定领域双语翻译、具有高自然度和可懂度的语音合成、自动产生模拟对话的能力，以及对发音质量和流利度的自动评估等。从该项目的相关介绍和演示来看，整个系统可以使学生在一个趣味性的和无压力的环境下进行自主性学习，侧重点在于口语对话的生成和语音跟踪技术，但在发音错误诊断方面的工作不是很理想。
PhonePass和Versant系统[BernsteinJ\2007\PSTCALL, DowneyR\2008\LAQ]是由美国Ordinate公司开发的系列化口语自动评测系统，PhonePass是Versant的前身。PhonePass采用电话测试的形式，针对第二语言学习者的口语发音水平进行评测，每次评测大约需要十五分钟，包括朗读、复述、简答等题型，测试者在完成测试后的几分钟内就可以获得评估结果，评估结果中包括一个总分和四项基本技能得分。Versant的发音评估技术是建立在大规模标注过的具有不同发音水平的数据库基础上的，能够准确定位每一个词和每一次停顿，并提取不同的评估特征，最后通过统计模型来拟合出评估分数。
普通话水平自动测试系统是由科大讯飞公司研发的自动评测系统，主要考察对象是母语为中文的受测人的普通话口语水平，属于第一语言自动评测。测试题目包括单字词朗读、短文朗读和给定话题自由发言。系统根据受测者的回答给出评估分数，并针对受测者的发音问题给出诊断报告，系统同时具有统计功能，可以给出受测者测试成绩的历史分布。由于该系统是第一语言自动评测，所以与Versant系统相比，它更关注较为精细的评估特征，采用了一些具有针对性的技术。
中学生听力口语自动化测试系统由中科院自动化所和牛津大学出版社合作开发，面向国内基础教育测评领域，采用“人机对话”的形式完成整个听力和口语题目的测试，并进行全自动的计算机评分，同时反馈各级别的统计指标和诊断报告。口语测试包括朗读、简答、翻译等题型，目前已经被江苏、浙江等地区采用。
针对目前国外和国内针对CALL领域的系统、产品和其应用情况，其中规模和影响较大的系统或产品有，Auralog公司的Tell me More ，说宝堂公司的Saybot ，艾尔公司的MyET，Ordinate公司的PhonePass和Versant ，美国教育考试服务处的SpeechRater，科大讯飞的普通话水平测试系统，中科院自动化所的中学生英语听力口语自动化考试系统。
此外，本文也对系统和产品的发展趋势进行了总结，具体如下: 
1）寓教于乐。“教”要求产品具有系统的课程安排（进阶或阶段总结等），“乐”则体现在动画、游戏、互动等多种手段上，这是保持和增强用户学习兴趣的关键所在（特别是针对儿童）。如MIT和科罗拉多大学的基于对话和游戏的系统。
2）提供网络在线服务。传统的系统或产品大多数是基于静态媒介（CD-based），而目前基于网络发布（Web-based delivery）的市场推广形式将成为主流方向。
3）增强核心技术含量。系统产品不局限于表层开发，应该将最新的语音技术嵌入在产品中。提高智能化水平，内容题型要做得更全面和更灵活，并向开放式题型发展。
4）针对性更强，用户群体更广泛。包括儿童语言学习者、第二语言学习者（出国、商务、求职、生活实用等）、残障人士以及语言考试和评测等。
5）军事应用值得关注。利用语音技术和虚拟现实技术加强对士兵在语言交流方面的训练，提高协同作战水平。例如，美国Alelo公司[Alelo\Online]所开发的面向异国语言和文化学习的战术训练系统。