system: [SYSTEM]

user: 3. 发散思维任务的评价方法 长久以来，研究者们发展了很多种发散思维任务的评价方式，其中争议最多的来自于对独特性评价。通过整理文献，对独特性的评价方法按照评分的依据标准大致可以归纳为两种，即客观的评价和主观的评价。客观的评价是指评分过程中不依赖于评分者和被试的主观想法，仅仅是在所有被试的答案库中，运用一些数学的方法进行独特性评价。主观的评价往往需要请除主试和被试以外的其他人来评价，依靠评价者的主观感受或经验来对被试的答案进行独特性给分。 3.1. 客观的评价方法 根据Guilford对创造性的早期探索，将独特性定义为“不寻常的”(Uncommon)、“远距离的”(Remote)和“聪明的”(Clever) (Wilson， Guilford， & Christensen， 1953)。其中，对“不寻常的”(Uncommon)的操作性定义为个体产生的想法在统计上对于该被试所属的群体来说是不常见的。具体而言就是，将一组被试的所有反应汇集在一起，统计每一个反应在组内出现的频率，按照出现频率的高低赋予相应的权重，将出现频率更低的答案给予更高的权重。因此，那些得分高的个体，往往就是那些给出了不常被他人提及的答案的个体。例如，在该研究中，被试要求对6个常见物品写出6个非常规的用途。410名被试的所有反应答案经过分类、统计和加权，采用5重制，对于最不常提到的回答权重为5，其次是最不常提到的回答权重为4，以此类推，对于最常提到的回答权重为1，将每个被试的权重分数相加即可得到该被试的独特性分数。 Wallach和Kogan (1965)提出了一个聪明而简单的方法，即将所有的样本量汇集起来，给每一个样本赋予0或1分，如果某个样本只被一个被试提出，这个唯一的答案将得1分，而其余的样本都得0分。这个方法有很多的优点，第一，他只需要一个评分者就可完成。第二，他比Guilford所提出的给每一个样本按照出现频率赋值的方法更简单。第三，它有一个直截了当的解释——创造性的答案就是一个独特的唯一的答案。无独有偶，TTCT也运用过类似的方法。他们将常见的标准的一些答案汇集在一起，成为一个答案库，将这个答案库之外的回答赋予一个分数(Torrance， 2008)，然后将这些分数加起来作为独特性得分。其他研究中，研究者对样本中少于5%的答案赋值1分，对所有其他答案赋值0分(Milgram & Milgram， 1976)，然后把这些答案的值相加。尽管表面上存在差异，Wallach和Kogan的独特性得分和托兰斯的独特性得分都采用了相同的心理测量模型：人们会因为统计上不常见的反应而得分，而这些分数是可以相加的。 然而这种评价方式存在三个严重的缺陷。第一，独特性(独特答案的个数)会与创造性思维的流畅性(所有答案的总个数)混淆(Clark & Mirels， 1970， Hocevar， 1979a， Hocevar， 1979b; Hocevar & Michael， 1979)。对Wallach和Kogan数据的潜变量再分析发现，潜在流畅性和独特性变量之间的相关性r = .89 (Silvia， 2008)。在最新标准的TTCT测试中，独特性和流畅性同样高度相关r = 0.88 (Torrance， 2008)。并且，随着样本量的增加，流畅性和独特性之间的相关性也会增加，因此这种混淆并不能通过大样本的方法来缓解。第二，对独特性得分的界定和解释并不清楚(Silvia， 2008)。创造性的反应不仅仅是看他是不是唯一的，它们也必须适合于当前的任务(Sawyer， 2006)。那些古怪的、荒诞的、不合适的答案很难从答案库里面过滤出来，导致研究者在给0分或者1分的时候就容易将“创造性”和“随意性”相混淆。同时，那些平常的反应会从这种评分方法中溜走，从而降低创造性评分的可靠性。例如，“铺一条砖路”显然是砖的一种常规用途，但在小样本的创造性研究中，它可能就是独一无二的答案。第三，独特性的得分受样本量大小的影响(Silvia， 2008)。一个答案在小样本中比在大样本中更有可能被认为是独特的。样本库中的答案个数是被试数量的函数，随着样本容量的增加，两个人给出相同答案的概率也会增加。 3.2. 主观的评价方法 既然客观的评价方式存在这些缺陷，那么有什么方法能够克服这些缺陷呢？研究者们开始重新思考对创造性发散思维任务主观评价的价值。在最早的创造力研究中，Guilford的研究团队就曾经采用评分员为他们的发散性思维任务打分。将训练有素的评分人员作为评价者来对被试的反应做评价，从而对创造性打分，这是被广泛使用的办法。为了评估创造力成分中的“聪明度”(Cleverness)，Guilford让被试完成情节标题生成任务(Plot Titles test)，给被试呈现两个简短的故事，被试需要在规定时间之内写出尽可能多的合适的标题。然后由两名评分员在1~5点的范围内对标题进行打分(Christensen， Guilford， & Wilson， 1957)，或由3名评分员在0~6点的范围内打分(Wilson et al.， 1953)。对于创造力成分中“远距离程度”(Remoteness)的评价，评价者对被试完成的后果任务(Consequences Task)进行1-3点的远近程度评价。但是这类方法直到二十世纪80年代才被偶尔使用。 二十世纪80年代，Amabile (1982)提出了一种共识性评价技术(Consensual Assessment Technique， CAT)。这项技术不是建立在任何创造性理论之上的，它的主要思想是，对创造性的最佳评价者应该是相关领域公认的专家(Experts) (Amabile， 1982; Hennessey， Amabile， & Mueller， 2011)。专家们不需要经过指导或小组讨论，而是凭借他们自己的经验对什么是创造性做出独立的评判(Baer， 1994c; Baer & McKool， 2009; Kaufman et al.， 2007)。评价结束之后，专家之间的内部一致性程度就会作为评价者之间的可靠性得分，达到要求的信度值之后，取每个专家对每个答案给出的平均分作为该被试的最后得分(Amabile， 1982; Baer， 2015; Barbot et al.， 2011; Hennessey et al.， 2011)。专家们往往表现出较高的内部一致性，一般在0.72到0.96的范围(Amabile， 1982; Baer， Kaufman， & Gentile， 2004; Brinkman， 1999; Kaufman， Gentile， & Baer， 2005; Kaufman， Lee， Baer， & Lee， 2007)。专家们的专业知识有助于达成共识，因而，随着评价者专业水平的提高，CAT被证明越来越具有足够的有效性(Kaufman， Baer， & Cole， 2009; Kaufman， Baer， Cole， & Sexton， 2008)。 主观评分的方法具有一定优势，可以克服客观的独特性(Uniqueness)评分所面临的三个问题。首先，评分原则上不与流畅性混淆：因为评分者对每个答案的判断是独立的，产生大量的答案并不一定会提高一个人的创造性得分。其次，从客观的独特性评分方式中溜走的奇特、怪异以及常见的答案都能够被主观的评价者捕获。例如，“铺一条砖路”这种砖头的常见用法，评价者总是会给出较低的分数的。第三，主观评分的方法不受样本量大小的影响。创造性是由评分者设定的标准来评判的，而不是由反应的频率来评判的。因此，无论样本大小，评分者的标准是相同的(Silvia， 2008)。