system: [SYSTEM]

user: 4. 结果与讨论 4.1. ScoreItNow!打分与实际考试的得分有多大差别 从ScoreItNow!给出的分数来看(表1)，教师1和教师2 ScoreItNow!分数和GRE实考写作分数一致。教师3和学生1 ScoreItNow!和GRE实考写作分数相差0.5分。由于0.5的分差属于正常范围，所以我们可以认为，对于这4位参与者而言，ScoreItNow!能够比较准确地反映实际考试分数。 Table 1 Comparison between participants’ ScoreItNow! scores and GRE analytical writing section score 参与者 ScoreItNow!得分 GRE实考写作分数 教师1 5 5 教师2 5 5 教师3 5.5 5 学生1 4 3.5 表1. 参与者ScoreItNow!得分和GRE实考写作分数对比 4.2. ScoreItNow!是否能够对文章实际内容进行准确判断 通过研究，我们发现ScoreItNow!并不能够针对文章的内容进行准确评价，这一结论和前文提到的e-rater各打分项的内容一致(这里所说的文章内容，主要是指作文观点是否扣题，给出的论据是否足够有说服力，句子之间联系是否紧密等)。 在研究这一问题时，作者进行了如下尝试：1) 将教师1的Issue作文放到Argument题目的答题框并提交作文；2) 将教师1的Argument作文放到Issue题目的答题框并提交作文；3) 对学生1 Issue作文内容进行分析。 当我们将教师1的Issue作文放到Argument答题框提交作文时，ScoreItNow!给出的分数为5分，与教师1正常提交Issue作文的得分一致。将教师1的Argument作文放到Issue的答题框提交作文时，我们同样得到了5分，这也与正常提交Argument作文得分一致。也就是说，虽然“文不对题”，但是由于教师1的Issue和Argument两篇作文语言优秀，所以仍然得到了5分的高分，而没有因为内容与题目不符而造成扣分。 学生1的Issue作文在ScoreItNow!中得到了4分，但是参与研究的3位教师在读过学生1的文章后一致认为这篇Issue不能够达到4分的水平。本文选取学生1 Issue作文其中一段进行分析： What’s more， varied situations， such as cultural and resource distinction， restrict the application of the same curriculum. It is possible that if a nation has wild territory and multi-ethnic people populated in， there might be considerable differences in areas no matter on culture or geography. For instance， in southwest China， if soccer class become a national demand， schools in that area will face a big problem for it is karst landform， hard to find large plains. In this case， schools taking as an alternative the sport that is special for local people would be a better choice， not only solute the problem but flourish local culture as well. Additionally， when the unify demand take most developed areas into account but hit the underdeveloped area， it is also impossible for the school in the underdeveloped area to offer computer classes and meet the demand of uniform curriculum. 这一段的观点是文化和资源的差异使得推行同样的课程比较困难。后文分别用足球课和电脑课作为例子来证明这一观点。在对足球课例子进行说明时，解释的是由于喀斯特地貌导致无法修建场地，但这一解释是不够合理的。另外，电脑课的例子只用了一句话带过，没有具体说明和展开。除此之外，这一段同样比较严重的问题在于有一些难读的句子，例如“For instance， in southwest China， …， hard to find large plains. In this case， …but flourish local culture as well.”所以，虽然从机器的角度来看，这篇文章可以拿到4分，但是如果把内容要素考虑进去，却很难达到4分的要求。 4.3. 文章字数对ScoreItNow!评分有多大影响 在e-rater打分的各项指标中，不同的指标在评分过程中权重不一。但不论是Issue还是Argument，各评分项中权重最大的是文章结构(organization)和文章展开(development)。在Issue中，这两项分别占比31.16%和29.63%；在Argument中，这两项占比分别为33.17%和28.31%。而其它指标在评分时的权重相对低很多，只占到了2%~8%不等 [ 5 ]。文章结构的计算标准为文中的“话语元素(number of discourse elements)”的数量。所谓话语元素指的是e-rater在分析文章结构时会把文中的内容划分为引入内容(introductory material)、总论点(thesis)、分论点(main ideas)、支撑观点(supporting ideas)和文章结论(conclusion)，以上几项即为话语元素。对于文章展开，e-rater的计算标准则是话语元素的平均长度(length of discourse elements) [ 6 ]。不难发现，按照这样的计算标准，不论是文章结构还是文章展开都与文章的长度几乎直接成正比。再考虑到两者的打分占比，理论上文章的最终得分将主要取决于文章的长度。 为了对这一理论进行验证，本研究将教师3的Issue作文和学生1的Argument作文的篇幅进行调整，再提交到ScoreItNow!进行第二次评分。在调整篇幅时，我们将教师3 Issue文章的第三个中间段删掉，文章的段落数量从5段变为4段，总字数从546减少到419。调整后文章ScoreItNow!给出的分数由调整前的5分变为了4分。我们又将学生1 Argument作文第二段的部分内容复制，并分别粘贴到每个中间段后面，以增加段落长度。调整后的文章字数从401增加到580，ScoreItNow!给出的分数由调整前的4分变为了5分。 由此可以看出，文章长度确实会显著影响ScoreItNow!最后对文章的评分。 4.4. ScoreItNow!作者分析工具给出的反馈是否准确 ScoreItNow!给出的反馈主要包括对于各个语言要素(例如语法，用法等)和结构及展开的识别(图1)。点击相应项目，文中会出现相关标记。比如，点击Transitional Words and Phrases (连接词和词组)，会高亮显示ScoreItNow!识别出的文章中所使用到的所有连接词和词组(图2)。本研究想要探讨的是ScoreItNow!给出的这些标记是否准确。结果见表2。 图1. ScoreItNow!反馈样式 图2. ScoreItNow!反馈中对于连接词的标注 Table 2 Accuracy of ScoreItNow! feedback based on the 8 essays from study participant 总次数 正确次数 错误次数 准确率 Grammar 8 4 4 50% Usage 20 14 6 70% Mechanics 21 10 11 47.6% Style 16 16 0 100% Organization and Development Conclusion 8 6 2 75% Introductory Material 5 4 1 80% Main Ideas 20 20 0 100% Supporting Ideas 20 20 0 100% Thesis Statement 7 4 3 57.1% Transitional Words and Phrases 243 227 16 93.4% 表2. 参与研究的8篇文章ScoreItNow!反馈准确性 通过分析ScoreItNow!对每篇文章给出的反馈，我们发现ScoreItNow!对文章的标记准确度不高。在我们分析的十项内容中，语法(grammar)，行文规范(mechanics)和总论点(thesis statement)标记的准确度只有50%左右，其中行文规范的正确率还不到50%。本文作者猜测，这些指标ScoreItNow!识别不够准确的原因主要是因为英文写作变化比较多，不能够完全按照一套固定的规则来评判对错。例如，“If this is the case， the local farmers are not making excessive profits and regulating retail milk price would be unnecessary.”ScoreItNow!标注“retail milk price”缺少冠词，但是从整句来看，这里并不需要额外加冠词。 ScoreItNow!在文体(style)、分论点(main ideas)和支持观点(supporting ideas)三项上的识别准确率达到了100%；连接词和词组(transitional words and phrases)的准确率也较高，达到了93.4%。但是需要注意的是，通过分析ScoreItNow!的反馈，我们发现这四项准确率较高的原因之一是这几项比较好识别。比如，在文体这一项中，标记得最多的就是重复的单词，而这一点对于ScoreItNow!来说十分好操作。其次，在标记连接词和词组时，ScoreItNow!需要做的就是找到与系统语料库相对应的连接词(however，but，when等)即可，所以正确率也比较高。另一方面，ScoreItNow!的标记十分机械。比如ScoreItNow!会把所有中间段的第一句话作为分论点，所有除分论点之外的内容作为支持论点。ScoreItNow!的这种标注在多数情况下能够做到准确，因为多数考生的作文结构比较固定：一般都是4~5段论，其中第一段为开头，最后一段为结尾，剩下的2~3个段落为主体段。在主体段中，多数的文章也都是第一句为主题句，后面的内容为支持观点。但是一旦文章的写法超出ScoreItNow!预期的结构，这种机械的标记则有失准确。比如，ScoreItNow!会将文章的最后一段都标记为总结段落。为了测试ScoreItNow!是否能够准确识别出最后一个段落是否为总结段，我们将教师2的Issue文章删掉结尾段再提交。这时，文章的最后一段实际上是一个主体段，但是ScoreItNow!还是将最后一段标记为总结段。另外，ScoreItNow!对于总论点的标注也不总是准确的。当开头段中明确出现了“as far as I am concerned”等表示观点的表达时，ScoreItNow!能够准确识别。但如果没有明确的标志词或者词组，ScoreItNow!的判断就会有偏差。比如，“In the argument， the author concludes that the television station should restore the time devoted to weather and local news to its former level. While the conclusion might seem reasonable， the argument is based on a series of unsubstantiated assumptions. In order to better evaluate the argument， the author needs to provide us with more evidence.”这是argument作文的开头段。ScoreItNow!将这一整段的内容都标记为总论点，显然是不准确的。 除此之外，本研究还发现，文章中有一些内容ScoreItNow!并没有标记。例如，“In this case， few complain cannot lead the conclusion that majority of them are happy with the change.”在这一句话中ScoreItNow!指出了缺乏冠词的问题，但是并未指出句子中其它的语法问题。再比如，“Classes such as language and math， which is fundamental for almost every field….”这句话中的语法错误ScoreItNow!也未能识别出来。