system: [SYSTEM]

user: 2. 评分者的影响 由于创造性产物的领域及种类多样性，如发散思维测验，这些测验并没有固定的答案，所以目前对于创造性的评价主要是人为评价，但是人为的参加必定会掺杂主观意识，这就会导致评分者效应(rater effects) [ 3 ] [ 4 ]。 2.1. 个人评价与人际评价 根据被评价材料的所属不同，Runco和Smith将创造性观念评价分为个人评价(intrapersonal evaluation) 和人际评价(interpersonal evaluation)，前者指个体对自己想法产物的评价，而与此相对，后者指的是个体对他人想法产物的评价 [ 5 ]。有研究表明，个体对于自己的创造性想法及成果往往高估，而对于他人的观念却倾向于低估，尤其是独特性高的想法 [ 6 ]。同样的结果也在姜竹卿的研究中得到了验证 [ 7 ]。分析产生造成这种差异的原因可能是：自我优越感，个体倾向于认为自己的东西要比他人的好，这是一种自我服务偏差，因此对于自己的创造性想法不自觉地进行高估，评分标准相对宽松，而对他人的想法评分标准更为严格。该研究结果揭示了在创造性评价中，选取除自己之外的评分者以提高评分的客观性。 2.2. 评分者的领域匹配与知识经验 领域匹配即评分者的知识领域与被评价材料是高度相通的，比如音乐家评价歌曲，美食家品尝鉴定菜品。很多研究表明，领域匹配的评分者比不匹配的评分者要获得更高的评分一致性。例如，在Amabile 1982年的一项研究中，心理学家、艺术教师和艺术家同时对一些儿童创作的拼图进行了评分，结果不同领域的专家得到了不同水平的评分者一致性，尽管三个领域的评分者一致性都达到了0.70，即被认为是可接受的最低的评分者一致性系数水平，但是发现心理学家的评分者一致性最低，为0.73，而艺术家们的评分者一致性系数则高达0.88 [ 8 ] [ 9 ] [ 10 ]。但是另一方面，有研究者发现在不同领域的评分者也可能达到较高的评分者一致性，比如心理学家、老师和作家 [ 11 ]。对于这种结果，推测可能是由于这三种领域的评分者可能是存在着一些比较类似的认知经验的，因此，才会有比较高的评分者一致性水平。其实，领域匹配性与评分者的知识经验是有密切相关的，知识丰富称为专家，知识匮乏则为新手，对于专家和新手对创造性的评价差异，以前的CAT研究已经探讨了用非专家替代专家是否合适，他们发现，与专家评分者相比，新手不可能产生与专家们一样足够高的共识，即新手评价不能代替专家评价。考夫曼和贝尔等人(Kaufman， Baer)发现在评价200多首诗歌的整体创造力时，新手(106名大学生)似乎比10位专家诗人表现出稍高的一致性，即0.94对0.83 [ 12 ]。但是也有研究并没有发现专家和新手评分一致性水平的差异，如Freeman等人比较了三名专家和三名新手评分者在使用同感评估技术(CAT)对时尚插图进行评价时的结果，发现专家小组之间的评分一致性并没有显著高于新手评分者 [ 13 ]。Amabile也指出，在她的一些研究中，专业知识似乎没有像预期的那样增加评判的可靠性，并指出“在裁决的可靠性方面，艺术家与非艺术家没有明显的优势”，而非艺术家和艺术家评分者在评定拼贴画时，表现出相当高的一致性 [ 8 ]。Amabile承认，这可能是由于正在评估的任务的性质所致，拼贴可能足够简单，以至于大多数人对它们的熟悉程度都很高，而更专业的领域(例如医学)可能需要更多的专业经验。同样，这也是考夫曼、贝尔和科尔(Kaufman， Baer， and Cole)提出的一个观点，他们发现，新手和专家之间的对于短篇小说的评价一致性相关比对诗歌的更高，这也表明了领域或任务的交互作用 [ 14 ]。 除了专家和新手，现实生活中可能更多的是“准专家”，比如相对于本科生来说，研究此领域的研究生可能会具有更多的知识经验，但是又不像专家那样精通。Kaufman、Gentile和Baer发现，准作家在对他人创作诗歌和短篇小说的评价中与专家作家的评价同样匹配，这些准专家作家的评级与专家的评级之间存在很高的相关性 [ 15 ]。同样，Kaufman和Baer等人在对具有不同专门知识水平的评分者进行的两项研究中，对写作和工程产品设计任务的作品进行评级，发现准专家可替代专家，但仅适用于写作任务，这表明专业知识水平和领域或任务可能存在相互交叉 [ 16 ]。这些不同的结果表明，有的时候专门的知识经验尤其重要，但是在某些较为公知的领域，专业知识似乎效应减弱，对此，今后的研究重点则可以去探究导致专家和新手评价差异性的其他因素。 2.3. 评分者的认知与人格特征 众多研究发现，具有高智力水平的个体往往创造性水平也会更高，刘烯琴和刘玲等人研究表明流体智力通过影响大五人格中的开放性间接地正向预测创造性倾向中的好奇心 [ 17 ]。可见认知水平和人格特征会影响创造性水平，同理，评分者的这些特征也会对创造性的评价结果产生影响。比如，有研究表明，评分者的创造性水平越高，评价得越准确，但是与此同时，他们会对产品的新颖性存在低估的现象 [ 18 ]。除此之外，也有研究者探讨了认知负荷对评价结果的影响，尽管认知心理学中有关于选择过载和认知负荷的文献 [ 19 ] [ 20 ]，但是没有已知的创造性测评研究发现评分者在相应一段时间内能够处理多少数量的创造性想法，Amabile研究结果发现，评分者在一段时间内处理的数据越多，花费时长就要相应延长，疲劳程度就越大，比较的能力就受到损害。另外，Karwowski等人在2016年重复了Jauk、Benedek、Dunst和Neubauer的研究；这两项研究也都探讨了创造力评价和智力之间的关系 [ 21 ] [ 22 ]。在人格特征方面，Tan等人的研究中先对大学生进行了大五人格测验和创造性测量，之后以他们作为评分者，对儿童的乐高积木作品进行评分。结果发现，人格测验中宜人性维度得分高和创造性水平高的评分者，其评分标准会更为宽松 [ 23 ]。同样，Benedek等的研究则发现了高开放性和高智商的评分者能够更好地发现独特性想法 [ 24 ]。这启示我们，高认知水平和高创造性的个体不仅能够自己生成更具有创造性的产物，还能够善于成为他人独特性产物的“伯乐”。 2.4. 评分者的人数 除了评分者个体的内部特征以外，评分者的人数也可能是影响创造性评价的重要因素。Amabile指出，很难指定一个理想的数字，只是它应该在很大程度上根据达成可接受的一致性所需的条件来确定。然而，根据测量工具、测量过程等的不同，很难提前计划有多少数字可能实现这一目标。Silvia等人在2008年也曾提出，除了模糊的直觉之外，没有明确的指导方针：“一个显然是不够的；20个似乎是过分的” [ 25 ]。基于此，Kaufman和Plucker等人曾建议，“就大多数目的而言，5~10名评分者人数足够” [ 26 ]。然而，实际研究中使用的评分者人数差别很大。比如，在Amabile的多项创造性研究中，评分者人数从3到21不等。还有一些研究只用了两名评分者。如Daly等人的研究中，要求两名评分者对439名工科学生设计的创造性作品进行评分，结果评分者一致性系数为0.70 [ 27 ]。当然也有一些研究使用了更多数量的评分者，例如，Valgeirsdottir、Onarheim和Gabrielsen就招募了多达134名普通公众评分者对两种手机产品的创造性进行评分 [ 28 ]。 由此看来，对于创造性测评中评分者人数的采用标准需要进一步探索，虽然根据研究任务和变量的不同，所需要的评分者人数会存在差异，但是从管理学上来讲，合理利用人力资源，既要达到较高的评分者一致性，同时也要控制人力、金钱等资源的合理投入，未来研究仍然需要细致研究。