Item‐Level Nonresponse Rates in an Attitudinal Survey of Teachers Delivered via Mail and Web

This article presents the results of an experiment designed to compare item-level non-response rates to paper- and web-based versions of a survey questionnaire, focusing on attitudinal variables, that was administered to highly accomplished teachers. A sample of teachers reported their perceptions of professional community; half were assigned to a web-based version of the questionnaire, and the other half to a paper-based version. In both groups, the survey implementation procedures reflected Dillman’s (2007)Tailored Design Method. Item-level nonresponses were compared between groups for overall rates, and differential response rates by demographics, item position, item format (i.e., branching items and respondent-provided text), and item content. Results revealed small differences in item-level nonresponse rates, both overall and in comparisons between demographic groups. In addition, there was no evidence of differential item-level nonresponse by item position and item content. However, item-level nonresponse rates were considerably higher for fill-in-the-blank items on the web-based questionnaire. Resume Les taux de non-reponse dans un questionnaire d’attitude transmis a des professeurs par courrier et par le web Cet article presente les resultats d‘une experience concue pour comparer les taux d’absence de reponse a chaque question des versions sur papier et sur le web d‘un meme questionnaire portant sur les variables d’attitude et distribue aupres de professeurs fort accomplis. Un echantillon de professeurs ont temoigne de leurs perceptions de leur communaute professionnelle. Une moitie fut assignee a une version web du questionnaire, tandis que l‘autre moitie a repondu a une version sur papier. Pour les deux groupes, les procedures d’implantation du sondage refletaient la methode du modele personnalise de Dillman (2007). Les non-reponses aux questions furent comparees entre les groupes pour obtenir des taux globaux et les taux de reponse differentiels furent compares selon les donnees demographiques, la position de la question, le format de la question (par exemple les questions de redirection ou celles demandant au repondant de developper sa reponse) et le contenu de la question. Les resultats revelent de petites differences dans les taux de non-reponse aux questions, tant en general que dans les comparaisons entre les groupes demographiques. La position et le contenu des questions n‘a pas revele de taux differentiels d’absence de reponse aux questions. Cependant, les taux de non-reponse aux questions etaient considerablement plus eleves face aux questions a developpement du questionnaire web. Abstract Nichtantwortquoten auf Item-Level in einer Einstellungsbefragung (Mail und Web) von Lehrern Dieser Artikel prasentiert die Ergebnisse eines Experiments, mit Hilfe dessen die Nichtantwortquoten auf Item-Level bei papier- und webbasierten Fragebogenversionen verglichen werden sollte. Der Fragebogen fokussierte auf Einstellungsvariablen und wurde an gut ausgebildete Lehrer zugestellt. Ausgewahlte Lehrer teilten ihre Sichtweise auf die berufliche Gemeinschaft mit, wobei jeweils eine Halfte der webbasierten Gruppe, die andere Halfte der Papierversion zugeordnet wurde. In beiden Gruppen folgte die Fragebogenprozedur der Tailored Design Method nach Dillman (1980). Die Nichtantwortquoten beider Gruppen wurden bezuglich der Gesamtquote und verschiedenen Antwortraten nach demographischen Variablen, Item-Position, Item-Format (z.B. verzweigte Items und Text des Befragten), und Item-Inhalt verglichen. Die Ergebnisse zeigen geringe Unterschiede der Nichtantwortquoten im Gesamtsample und im Vergleich verschiedener soziodemographischer Gruppen. Es gab keine Belege fur unterschiedliche Nichtantwortquoten aufgrund der Position oder des Inhalts des Items. Letztendlich waren die Nichtantwortquoten bei offenen Frage-Items im webbasierten Fragebogen groser. Resumen La Frecuencia del nivel de la No-Respuesta de una Encuesta Actitudinal de Profesores Enviada a traves del Correo y la Web Este ensayo presenta los resultados de un diseno experimental que compara la frecuencia del nivel de la no-respuesta de las versiones en papel y de la web de un cuestionario de encuesta, focalizando en las variables actitudinales, que fueron administradas a profesores altamente consumados. Una muestra de profesores reporto sus percepciones sobre la comunidad profesional; la mitad fueron asignados a una version web del cuestionario, y la otra mitad a una version en papel. En ambos grupos, la implementacion de los procedimientos de la encuesta reflejo el Modelo de Diseno de Dillman (2007). El nivel de la no-respuesta fue comparado entre los grupos por sus frecuencias generales y por la frecuencia de las respuestas diferenciales basados en datos demograficos, posicion del articulo, formato del articulo (a saber, ramificacion de los articulos y el texto provisto en la respuesta), y contenido del articulo. Los resultados revelaron diferencias pequenas en el nivel de frecuencia de la no respuesta, en terminos generales y en la comparacion de grupos demograficos. Ademas, no hubo evidencia en el nivel diferencial de los articulos de no-respuesta por la posicion del articulo y el contenido del articulo. No obstante, la frecuencia del nivel del articulo de la no respuesta fue considerablemente mayor en los cuestionarios para completar que en los basados en la web. ZhaiYao Yo yak