本文首发于荷兰心理统计联盟公众号
作者:李培凯
核心内容:利用问卷设计(插入指定题目)和统计分析(如作答时间,longstring, outlier, 作答一致性, R包careless)帮你轻松识别无效作答。
引言:随着网络及智能手机的普及,传统的一些纸笔测验渐渐被网络问卷所替代。网络问卷由于其便捷,很大程度上帮助了研究者和被试。2018年JOM一篇文章专门谈到越来越多的研究者使用网络问卷收集数据,发表的文章也呈现逐年增加的趋势(参见Porter, Outlaw, Gale, & Cho, 2018)。
且很多文章都发表在领域内比较好的刊物,如AMJ (53), ASQ(12), JAP高达130多篇。
Porter, C. O. L. H., Outlaw, R., Gale, J. P., & Cho, T. S. (2018). The Use of Online Panel Data in Management Research: A Review and Recommendations.Journal of Management,XX No. X, 1–26.https://doi.org/10.1177/0149206318811569
然而,网络问卷调查最大的问题在于研究者不能直接观察你的被试,对于被试是否认真作答完全不知情。虽然你可以设定每个题目为必填项,这样也就没有了“缺失值”,然而你无法得知被试有没有读指导语和题目,甚至极大可能只是随便填写。
你也可以控制作答时间,比如某一页设置至少多少秒。我们的被试也很聪明,不可能给你直接填写5555555555555……这样的循环。如果是123411234呢。即便你一眼就可以识别有50个5或者20个1234类似的重复,如果你有500问卷,是要一个个去看?
还有的人可能填写345345345,或者不时调整换个数字,中间间隔几个不一样,这样的完全无意义的作答,根本不看题目的被试对于你的研究又有何用?所以,数据筛选很有必要。
Porter 等人2018年JOM那篇文章对于网络数据库使用建议中也明确提到数据筛选, attention check(见下截图)。
Porter et al. 2018, JOM
可以预料,随着越来越多的online dat