Walk a Mile in My Shoes: Stakeholder Accounts of Testing Experience with a Computer-Administered Test
Authors: Fox Janna , Cheng Liying 
Published: May 2016

In keeping with the trend to elicit multiple stakeholder responses to operational tests as part of test validation, this exploratory mixed methods study examines test-taker accounts of an Internet-based (i.e., computer-administered) test in the high-stakes context of proficiency testing for university admission. In 2013, as language testing researchers (expert informants), we reported on our own experience taking the Test of English as a Foreign Language Internet-Based Test (TOEFL iBT) (DeLuca, Cheng, Fox, Doe, & Li, 2013). The present study extends these ndings. Speci cally, 375 current iBT test-takers, who had failed to achieve scores required for admission to university, completed a questionnaire on their test-taking experience. At the same time, two former test-takers who had passed the iBT volunteered for semistructured interviews. Questionnaire and interview responses were coded (Charmaz, 2007) for recurring and differentiating response patterns across these stakeholder groups. Concerns were shared regarding speededness, test anxiety, and test preparation, but these test-takers diffiered from the language-testing researchers in their responses to the computer-administered reading and writing tasks. Implications are discussed in relation to construct representation, the interpretive argument of the test (Kane, 2012), and test-takers’ journeys through high-stakes testing to university study in Canada. Conformément à la tendance de provoquer, auprès des parties prenantes, des réponses multiples aux tests opérationnels de sorte à valider ceux-ci, ce e étude exploratoire à méthodes mixtes porte sur les récits de candidats à un test de com- pétence à enjeux élevés (l’entrée à l’université) et géré par ordinateur. En 2013, à titre de chercheurs en évaluation des compétences linguistiques (experts informateurs), nous avons fait état de notre expérience comme candidats au test d’anglais langue étrangère o ert sur Internet (TOEFL iBT) (DeLuca, Cheng, Fox, Doe, & Li, 2013). La présente étude vient ajouter à ces résultats. Plus précisément, 375 candidats actuels au iBT n’ayant pas réussi à a eindre la note nécessaire pour être admis à l’université ont complété un questionnaire sur leur expérience lors du test. Deux autres candidats qui avaient réussi le test ont accepté de passer des en- trevues semi-structurées. Les réponses au questionnaire et aux entrevues ont été codées (Charmaz, 2007) pour dépister des schémas récurrents et distinctifs parmi les groupes. Si les préoccupations relatives à l’e et des contraintes temporelles sur la performance, à l’anxiété et à la préparation avant le test étaient généralisées, les réponses aux tâches de lecture et d’écriture administrées par ordinateur n’étaient pas les mêmes pour les candidats actuels que pour les chercheurs. Nous discutons des répercussions relatives à la représentation de concepts et à l’interprétation du test (Kane, 2012), d’une part, et aux parcours de candidats aux tests à enjeux élevés impliquant l’admission aux universités canadiennes, d’autre part.