system: [SYSTEM]

user: 4. 研究数据结果 4.1. 关于字数和文章的得分的关系 4.1.1. 具体参数 根据表1中TPO28综合写作作文编号09、10的情况来看，笔者主要修改是把满分5分范文中的听力细节删去，所以文章的字数随之下降(分别是285词、158词)。对应地，e-rater给文章的得分也有所下降，分别是3分和2分。 根据表2中TPO30独立写作作文编号07、08、01的情况来看，作文编号07删去了独立写作中所有的例子和原因，基本上只剩下大纲论点句和开头段，例子和原因的字数为0；作文编号08则是有中等展开的例子和原因，字数为161词；作文编号01则是最原始的满分作文，有充分的例子和原因，例子和原因字数为313词。这三篇文章字数分别是158词、303词、450词，e-rater分数分别是3分、4分和5分。 根据表2中TPO30独立写作作文编号09、10、11的情况来看，作文编号09删去了1个主体段，剩余2个主体段，有充分的例子和原因，展开部分字数为246词；作文编号10删去了2个主体段，剩余1个主体段，剩余的主体段有充分的例子和原因，展开部分字数为133词；作文编号11删去了3个主体段，只剩下开头段和结尾段，展开部分字数为0。这三篇文章字数分别是359词、223词、61词，e-rater分数分别是5分、4分和1分。 基于上述的情况，笔者还把TPO30独立写作的作文编号01、08、09、10进行了对比分析。作文编号01和09字数分别是450、359，e-rater给出的分数都是5分；而作文编号08和10号字数分别是303、223，e-rater给出的分数都是4分。 4.1.2. 具体参数分析 如图2所示，根据上述提及的这几篇作文情况来看，如果作文框架清晰并且没有各类语法和拼写错误，总体趋势是作文的字数越高，得分自然也越高。但是值得注意的是，当文章到了一定字数时，会存在一定的稳定性，比如作文字数从223提到303依然是4分，说明单纯增加字数不一定会带来分数的大幅提高，需要文章的各项参数都达到了一定的临界值才会让e-rater评为更高的分数档。 Table 1 The data results of TPO28 Integrated Writing sample 编号 字数 句子 总数 平均句 子长度 福莱士阅读难度 错误 数量 对文章的具体操作 e-rater显示的 主要错误种类 结构特点 e-rater 给分 1 304 13 23 49.5 20 随机选择20个单词末尾加 字母x，创造拼写错误 拼写错误 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 5 2 304 13 23 49 40 随机选择40个单词末尾加 字母x，创造拼写错误 拼写错误 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 5 3 304 13 23 47.3 60 随机选择60个单词末尾加 字母x，创造拼写错误 拼写错误 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 5 4 304 13 23 62.6 60 随机选择60个单词，用 x替换，创造信息遗漏 冠词错误， 拼写错误 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 5 5 244 12 20 59.3 60 随机选择60个单词，用空 格替换，创造信息遗漏 句式残缺， 单词遗漏 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 4 6 302 29 10 62.9 0 把文章长句变改为短句 短句子过多 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 5 7 316 1 316 −245 0 把所有的句号改为 and连接全文 粘连句， 长句子 一句话写完整篇作文， 大量使用and衔接， 没有明确结构 0 8 285 13 22 50.7 0 把阅读信息全部写在一段 听力信息写在另一个大段 无 阅读和听力各自为营， 没有做到点对点反驳 5 9 189 8 24 48.6 0 把范文的听力细节删去 无 常规对比结构，有明确 观点，但听力没有展开 3 10 158 8 20 52.4 0 把范文的听力观点和 听力细节全部删去 无 常规对比结构，有阅读的 明确观点，有听力模板， 但没有听力的实质内容 2 11 304 13 23 47.9 60 + 16 随机选择60个单词末尾 加字母x，创造拼写错误 加上6个主谓一致错误 加上10个词性错误 拼写错误 主谓一致 词性错误 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 5 12 302 13 23 47.3 60 + 26 随机选择60个单词末尾 加字母x，创造拼写错误 加上6个主谓一致错误加 上10个词性错误加入10 个搭配错误 拼写错误 主谓一致 词性错误 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 4 13 245 13 19 60.6 26 把Sample 12中的60个加 上x的拼写错误删去， 其他不变 主谓一致 词性错误 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 4 14 302 13 23 47.3 300 把Sample 12中的剩余单 词(除了衔接词外)全部都加z，全部变成拼写错误 拼写错误 主谓一致 词性错误 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 0 15 302 13 23 47.3 142 在Sample 14的基础上， 进行改错，确保模板语言 无错，同时修改其他错误， 比如虚词the、of、reading、listening、Peary、Tom 拼写错误 主谓一致 词性错误 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 3 16 302 13 23 46.5 98 在Sample 15的基础上， 进行改错，这次主要修复 各类动词，包括谓语动词、 非谓语动词等等 拼写错误 主谓一致 词性错误 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 4 17 302 13 23 47.3 250 在Sample 14的基础上， 进行改错，随机减少错误， 减少到250个单词 拼写错误 主谓一致 词性错误 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 4 18 302 13 23 47.3 200 在Sample 17的基础上， 进行改错，随机减少错误， 减少到200个单词 拼写错误 主谓一致 词性错误 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 4 19 302 13 23 47.3 275 在Sample 14的基础上， 进行改错，这次主要修复 开头段，控制错误数量在 275个 拼写错误 主谓一致 词性错误 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 0 20 302 13 23 47.3 265 在Sample 19的基础上， 进行改错，这次主要修复 主体段的模板，也就是含 有reading的字眼(但是不 修复listening)，控制错 误数量在265个 拼写错误 主谓一致 词性错误 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 0 21 302 13 23 47.3 250 在Sample 20的基础上， 进行改错，这次主要修复 主体段的模板，也就是含 有listening的字眼，控制 错误数量在250个 拼写错误 主谓一致 词性错误 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 3 22 324 43 8 66.3 0 把文章长句变改为短句 短句子过多 常规对比结构，有阅读的 明确观点，有听力的有明 确观点和听力细节展开 5 表1. 关于TPO28综合写作样本的数据结果 Table 2 The data results of TPO30 Independent Writing sample 编号 对文章的修改 是否有背景句 是否有主论点 是否有开头段 是否有分论点 是否有主体段 是否有段落展开 主体段数量 展开句子数量 展开内容字数 文章总字数 衔接词数量 是否有结尾段 e-rater给出分数 1 无 √ √ √ √ √ 有，完全展开 3 11 313 450 15 √ 5 2 删去结尾段 √ √ √ √ √ 有，完全展开 3 11 313 429 15 × 5 3 删去背景句 × √ √ √ √ 有，完全展开 3 11 313 434 15 √ 5 4 删去主论点 √ × √ √ √ 有，完全展开 3 11 313 426 14 √ 5 5 删去开头段 × × × √ √ 有，完全展开 3 11 313 410 14 √ 5 6 删去分论点 √ √ √ × √ 有，完全展开 3 11 313 353 12 √ 5 7 删去全部展开 例子和原因 √ √ √ √ √ 无，没有展开 3 0 0 158 7 √ 3 8 删去部分展开 例子和原因 √ √ √ √ √ 有，中等展开 3 6 161 303 10 √ 4 9 删去一个 主体段 √ √ √ √ √ 有，完全展开 2 9 246 359 12 √ 5 10 删去两个 主体段 √ √ √ √ √ 有，完全展开 1 5 133 223 10 √ 4 11 删去全部 主体段 √ √ √ × × 无，没有展开 0 0 0 61 2 √ 1 12 去除文章分段 √ √ 全文只有一段 √ 全文只有一段 有，完全展开 1 11 313 450 15 全文只有一段 5 13 去除文章分段 + 删去开头段结尾段内容 × × × √ √ 有，完全展开 3 11 313 389 12 × 0 14 删去所有 衔接词 √ √ √ √ √ 有，完全展开 3 11 282 414 0 √ 5 15 去除文章分段 + 删去所有衔接词 √ √ √ √ √ 有，完全展开 3 11 282 414 0 √ 0 16 去除文章分段 + 删去所有衔接词 + 所有句号换为and 全文只有一句 全文只有一句 全文只有一句 全文只有一句 √ 有，完全展开 1 1 431 431 0 √ 0 17 基于16的文本，保留一句话主论点单独成句 √ √ 全文只有2句 全文只有2句 √ 有，完全展开 1 1 392 430 0 √ 0 18 根据Sample 7的内容把文段部分难词全部换成简单词 √ √ √ √ √ 无，没有展开 3 0 0 158 7 √ 2 表2. 关于TPO30独立写作样本的数据结果 图2. 作文字数和e-rater评分关系图 4.2. 文章分段、衔接词数量和文章得分的关联度 4.2.1. 具体参数 根据表2中TPO30独立写作作文编号01至06的情况来看，这六篇作文的字数分别为450、429、434、426、410、353，主要修改分别是删去结尾段、删去背景句、删去主论点、删去开头段、删去分论点，e-rater对这六篇作文均给出了5分满分。 根据表2中TPO30独立写作作文编号12至17的情况来看，这六篇作文的字数分别为450、389、414、414、431、430，主要修改分别是去除文章分段、去除文章分段以及删去开头段结尾段内容、删去所有衔接词、去除文章分段以及删去所有衔接词、去除文章分段以及删去所有衔接词以及所有句号换为and、保留一句话主论点单独成句，e-rater对这六篇作文打分分别是5、0、5、0、0、0。 4.2.2. 具体参数分析 通过对上述这几篇作文情况分析，具体解读情况如下。首先，e-rater非常看重文章的逻辑组织和展开(organization & development)，因为e-rater评分的起点就是根据文章的逻辑组织框架来读取并且分析文章。如果一篇文章没有清晰的逻辑框架组织，即使内容是满分，e-rater也无法从文本读取如衔接词、观点句等的标志性元素，那么e-rater就会无法识别文章后续内容以及读不懂。在这种情况下，e-rater就可能判低分或者零分。 相反，只要文章含有一定量的逻辑组织标记和标记，e-rater就可以识别并且启动正常的评分程序，比如文章分段、使用衔接词等等。但是如果一篇文章既没有分段，也没有衔接词等等，这样的作文在e-rater当中就既有可能判为低分或者是零分，尽管文章的用词水平很高。根据TPO30独立写作的表格参数来看，虽然一篇文章不会因为衔接词数量的增多而大幅提高分数，但是如果文章缺少了衔接词，这会增大e-rater评分的难度，更容易触发e-rater零分或者低分的机制。 值得一提的是，本次研究尝试把TPO28综合写作的满分范文的所有句号都改为and，去除文章的句号和句子切割，把整篇文章变成一篇超长的一句话作文，最后结果e-rater判为零分。从参数上来看，这篇作文触发了e-rater的零分机制。为了进一步调查，笔者使用了福莱士可读性指数(Flesch Readability) [ 5 ] 来作为文章的参考数据。一般来说，如果一篇英语文章的福莱士可读性指数介于0~30，那么说明这篇文章的可读性较低且难度较大，对于大部分读者基本属于难以读懂。经过测量，这篇一句话作文的福莱士可读性指数是“−245”，那么从e-rater的角度来看来说就是无法读懂甚至是佶屈聱牙的作文，所以判为零分也不足为奇。 换言之，e-rater对文章的组织和展开的设定其实反映了真人考官阅卷的过程： 1) 先从基本文章框架入手； 2) 识别主论点和分论点； 3) 评估主体段内容的数量和质量； 4) 检测文章扣分项，如各类语法错误和细节。 此外，e-rater最看重的依然是文章主体段的展开例子和原因部分，即便文章删去了开头段和结尾段甚至是分论点，依然不影响文章可以拿4分高分或者5分满分。 4.3. 文章错误数量、文章错误种类和文章得分的关联度 4.3.1. 具体参数 根据表1中TPO28综合写作作文编号01至03的情况来看，三篇文章的字数没有变化，基本框架符合常规综合写作的逻辑组织和分段，错误数量呈递增趋势(分别是20、40、60)，笔者通过随机选择单词加入字母x来制造拼写错误，文章的错误种类也基本集中在拼写错误。但是随着拼写错误的增加，e-rater对这三篇作文的评分并没有改动，依然是5分满分。 根据表1中TPO28综合写作作文编号11至13的情况来看，这三篇作文基本框架符合常规综合写作的逻辑组织和分段。除了原有的60个拼写错误以外，作文编号11还分别增加了6个主谓一致错误、10个词性错误；作文编号12则在此基础上增加了10个搭配错误；作文编号13则主要把文章的拼写错误修复去除，共剩下26个错误，错误主要类型为主谓一致错误、词性错误、搭配错误。三篇作文的错误数量为76、86、26，e-rater对这两篇作文的评分为5分、4分和4分。 根据表1中TPO28综合写作作文编号14至16的情况来看，这三篇作文基本框架符合常规综合写作的逻辑组织和分段。错误数量分别是300、142、98。作文编号14的作文种类则全是拼写错误；作文编号15和作文编号16的错误种类主要是拼写错误、主谓一致错误、词性错误。随着错误数量的减少，e-rater给这三篇文章的打分呈上升趋势，分别是0分、3分和4分。 根据表1中TPO28综合写作作文编号17至18的情况来看，这两篇作文基本框架符合常规综合写作的逻辑组织和分段。错误数量分别是250和200。错误种类主要是拼写错误、主谓一致错误、词性错误。虽然错误数量有所下降，但是e-rater对这两篇作文的给分依然都是4分。 4.3.2. 具体参数分析 通过对上述这几篇作文情况分析，具体解读情况如下。首先，当作文的逻辑组织框架清晰和段落展开良好时，e-rater对学生作文的拼写错误有较大的容错率。如表3所示，即便作文中含有60个拼写错误，但是整体文章的错误率(错误数量 ÷ 总字数)并没有特别高，所以没有对文章的参数造成太大影响，并且e-rater依然给出5分满分。这一点和ETS官方研究报告 [ 6 ] 的观点是一致的。 另一方面，拼写错误在错误种类当中对文章分数的贬损并不会特别严重。但值得注意的是，当拼写错误数量过高时，高出特定的参数和比率时，这会触发e-rater的零分机制，判定作文为非英语语言的作文(written in a foreign language)。 另一方面，普遍来说基础中等的学生在实际考场的作文并不会只有单一类别的拼写错误，一般都会含有多种类型的错误比如主谓一致等等。为了模拟学生在考场实际的作文情况，笔者故意在文章中加入其它类型的错误，具体参考TPO28综合写作的作文编号11和12。这次实验再次证明：当作文逻辑组织框架清晰和段落展开良好时，即便文章有多种类型的语法和拼写错误时，e-rater依然可以给出5分满分。但是随着错误种类和错误数量的增加，e-rater则对文章进行扣分，从满分5分降至4分。从这项数据可以看出，当文章的特定参数达到一定临界值时，会触发e-rater的扣分机制。 Table 3 The correlation between errors and the essay scores of TPO28 Integrated Writin 编号 字数 错误数量 错误数量/字数 e-rater显示的主要错误种类 e-rater给分 1 304 20 7% 拼写错误 5 2 304 40 13% 拼写错误 5 3 304 60 20% 拼写错误 5 4 304 60 20% 冠词错误，拼写错误 5 5 244 60 25% 句式残缺，单词遗漏 4 11 304 76 25% 拼写错误 主谓一致 词性错误 5 12 302 86 28% 拼写错误 主谓一致 词性错误 4 13 245 26 11% 主谓一致 词性错误 4 14 302 300 99% 拼写错误 主谓一致 词性错误 0 15 302 142 47% 拼写错误 主谓一致 词性错误 3 16 302 98 32% 拼写错误 主谓一致 词性错误 4 17 302 250 83% 拼写错误 主谓一致 词性错误 4 18 302 200 66% 拼写错误 主谓一致 词性错误 4 19 302 275 91% 拼写错误 主谓一致 词性错误 0 20 302 265 88% 拼写错误 主谓一致 词性错误 0 21 302 250 83% 拼写错误 主谓一致 词性错误 3 表3. TPO28综合写作的作文错误和e-rater评分关系表 另外，笔者把e-rater判为零分的作文编号14进行错误修改，随着错误的减少，e-rater评分也相应提高，这说明修改错误和减少文章的错误数量是有助于学生提高写作分数的，而且对于教师和学生而言，在不增加新内容的情况下，修改错误是学生提高写作得分较为高效的策略。毕竟，学生新增内容还可能会引入更多新的错误，可能会导致写多错多的情况。 类似地，根据作文编号17和18，当作文总体质量达到一定层次比如4分的水平时，修改错误可能不会对分数有大幅度的影响。这和前面字数和分数的规律基本一致：当文章错误数量处于一定区间时，作文分数会存在一定的稳定性，这也说明在一些情况下仅仅减少错误不一定会带来分数的大幅提高，需要文章的各项参数都达到了一定的临界值才会让e-rater评为更高的分数档。 4.4. 文章平均词句长度和文章得分的关联度 4.4.1. 具体参数 根据表1中TPO28综合写作作文编号01、06和22的情况来看，这三篇作文基本框架符合常规综合写作的逻辑组织和分段，内容和TPO28综合写作的阅读和听力原文一致，文章的平均句长呈现下降趋势，分别是23、10和8，整体文章无明显错误。数据结果显示，尽管文章平均句长逐渐减少，三篇文章的e-rater评分都是满分5分。 根据表4中TPO30独立写作的作文编号07和作文编号18的情况来看，这两篇作文基本框架符合常规独立写作的逻辑组织和分段，都没有充分的例子和原因，没有人为添加的错误。笔者的处理主要是把作文编号07的20个单词进行简化替换，改为更简单以及更短的单词，形成作文编号18，具体单词对照表请查看附录3。具体来说，两篇文章的福莱士可读性指数为49.5和69.2，说明使用短单词的作文编号18比作文编号07要更容易读懂。词汇的平均长度方面，从字母数量来看分别是4.8和4.2；按照音节数量来计算，作文编号07的多音节词占比为21%，而作文编号18的多音节词占比为9%。分数方面来看，e-rater给这两篇作文判分为3分和2分。 Table 4 The vocabulary profiles of TPO30 Independent Writing sample No. 07 and No. 1 编号 对文章的修改 福莱士阅读 指数 平均词长 (字母) 单音节词 占比(%) 双音节词 占比(%) 三音节词 占比(%) e-rater 给出分数 7 删去全部展开例子和原因 49.5 4.8 62 17 21 3 18 根据Sample 7的内容把文段部分 难词替换成更短音节的简单词 69.2 4.2 69 22 9 2 表4. TPO30独立写作作文编号07和18的词汇参数 4.4.2. 具体参数分析 通过对上述这几篇作文情况分析，具体解读情况如下。首先，词汇和句式的长度和复杂度的确是e-rater考核的指标。但是作文平均句长的长短对作文总体得分影响不大，尤其是和文章的逻辑组织和展开论述这两个关键因素对比，平均句长这一指标显得比较相形见绌，不会有非常大的决定性影响。另一方面，平均词汇的长度对作文的影响则比较明显。在不改变原文框架以及也不增加新内容的前提下，把文章的平均词汇的长度提高能够一定程度上提高e-rater给文章的打分。