DOI: 10.4232/1.13062
title: Programme for the International Assessment of Adult Competencies (PIAAC), English Pilot Study on Non-Cognitive Skills
title: Programme for the International Assessment of Adult Competencies (PIAAC), English Pilot Study on Non-Cognitive Skills

description: Inhalt:Diese Online-Umfrage wurde entwickelt, um die Messeigenschaften von neun Persönlichkeitsskalen zu testen: die Big Five, Traditionalismus, Selbstkontrolle, Selbstwirksamkeit, Ehrlichkeit/Integrität, sozial-emotionale Fähigkeiten, intellektuelle Neugier, Berufsorientierung und berufliche Interessen. Acht dieser neun Skalen sind vorhandene Skalen (oder Kombinationen von Skalen), die für den Einsatz im öffentlichen Bereich verfügbar sind. Die Skala zur Bewertung der sozial-emotionalen Fähigkeiten wurde von einer Expertengruppe entwickelt. In der Datendokumentation wird die komplette Formulierung aller Skalen und Items einschließlich der verschiedenen Formen/Prüfbedingungen der Skalen dargestellt. Das Ziel der Online-Umfrage war Folgendes zu testen: 1) Die messtechnischen Merkmale der ausgewählten Skalen; 2) Die Beziehungen der ausgewählten Skalen mit dem Hintergrund und anderen Merkmalen der Befragten; 3) Unterschiedliche Item Formulierungen – Original vs. Vereinfacht; 4) Unterschiedliche Antwortmöglichkeiten – mit oder ohne Neutral/Mittelpunkt Kategorie; 5) Skalen mit verschiedenen Item Formaten - Mehrfachauswahl vs. erzwungene Auswahl; und 6) Die ausgeglichenen Skalen (im Vergleich mit den originalen unausgeglichenen Skalen).
Vereinfachte Skalen Basierend auf der Arbeit der Mitglieder der Expertengruppe wurden vereinfachte Versionen der Originalskalen entwickelt (siehe Datendokumentation). Ziel war es, den Wortlaut der ursprünglichen Skalen für die Befragungen der allgemeinen erwachsenen Bevölkerung anzupassen (in vielen Fällen wurden die ursprünglichen Items als möglicherweise zu komplex und abstrakt für weniger gebildete Personen eingeschätzt). Da die ursprünglichen Formulierungen in einigen Fällen von der Expertengruppe als für die Zielgruppe geeignet eingeschätzt wurden, liegt nicht für alle Items/Skalen eine vereinfachte Version vor. Dies gilt insbesondere für die Skalen Berufsorientierung, Ehrlichkeit/ Integrität und berufliche Interessen sowie die Skala zur intellektuellen Neugier. Insgesamt liegen 174 originale Items und 130 vereinfachte oder umgedrehte Versionen der Items vor. 
Neutral/Mittelpunkt Neben dem Vergleich der Skalen mit den ursprünglichen und vereinfachten Items, war die Verwendung eines Neutral-/Mittelpunkts in den Likert-Skalen (Stimme zu/ stimme nicht zu) auch Ziel dieser Online-Befragung. Es lagen zwei Versionen von jeder der ursprünglichen und vereinfachten Skalan vor- eine mit 5 Antwortmöglichkeiten, einschließlich einer ´weder zustimmen noch ablehnen´ neutralen/mittleren Kategorie und eine andere mit 4 Antwortmöglichkeiten, die nicht die Option ´weder zustimmen noch ablehnen´ enthielt. Ziel war es zu sehen, welches der beiden Antwortformate für jede der Skalen in der Zielpopulation besser funktioniert. 
Ausgewogene Skalen Einige der ursprünglichen Skalen waren ausgewogen und einige unausgewogen, wobei die meisten Items Teil einer ausgewogenen Skala waren. Die unausgewogenen Skalen (Selbstbeherrschung, Selbstwirksamkeit und sozial-emotionale Fähigkeiten) wurden durch die Einbeziehung alternativer umgekehrter Formulierungen einer ausgewählten kleinen Gruppe von Items ausgeglichen. Der Ausgleich wurde durch die Umdrehung der ursprünglichen Formulierungen von 22 Items erreicht (in der Item Bank Dokument werden die umgedrehten Items mit ´R´ und die neu umgedrehten Items mit ´new R´ gekennzeichnet). Diese neu umgedrehten Items wurden gegen ihre ursprünglichen Pendants getestet, um zu sehen, ob die Erstellung ausgewogener Skalen zu Verbesserungen führte (auf Item- und Skalen Ebene). 
Mehrfachauswahl vs. erzwungene Auswahl Im Falle der Skala für berufliche Interessen wurden die beiden design Merkmale original vs. vereinfachte und Mehrfachauswahl vs. erzwungene Auswahlformate getestet. Die originale Version der Skala für berufliche Interessen bestand aus eine Mehrfachauswahl. Die Expertengruppe testete, welche der beiden Versionen für die allgemeine erwachsene Bevölkerung besser geeignet ist. 
HintergrundfragebogenUm das analytische Potenzial der Persönlichkeitsskalen auszuschöpfen, wurden im Rahmen der Umfrage eine Reihe sozio-demografischen und ökonomischen Indikatoren (z.B.: Geschlecht, Alter, Geburtsland, beruflicher Status) und Indikatoren zum persönlichen Wohlbefinden erfasst. Darüber hinaus enthält die Umfrage einen kurzen Test der kognitiven Fähigkeiten sowie Fragen zur Qualitätskontrolle (siehe Studienbeschreibung).
description: This online survey was designed to test the measurement properties of nine personality scales – the Big Five, Traditionalism, Self-Control, Self-Efficacy, Honesty/Integrity, Socio-Emotional Skills, Intellectual Curiosity, Job Orientation Preferences and Vocational Interests. Eight of these nine scales are existing scales (or combinations of scales) available for use in public domain. The scale assessing socio-emotional skills was developed by an expert group. The complete formulations of items from all the scales including the different forms/test conditions of the scales are presented in the data documentation.
Simplified scalesBased on the work of members of the expert group, simplified versions of original scales were developed (see data documentation). This was done in order to make the wording of the original scales more appropriate for use with general adult population (in many cases the original items were perceived as possibly too complex and abstract for less literate members of general population).Not all items have simplified versions since in some cases the original formulations were seen by the expert group as suitable for the target population. This is especially the case in the Job Orientations, Integrity/Honesty and Vocational Interests’ scales as well as the entire Intellectual Curiosity scale. In total, there are 174 original items and 130 simplified or reversed versions of the items.
Neutral/middle pointIn addition to comparing scales containing the original and simplified items, the second main design feature of this online survey was the use of a neutral/middle point in the Likert scales (agree/disagree). In particular, there were two versions of each original and simplified scale – one with 5 agree/disagree response options, including a “neither agree nor disagree” neutral/middle category and another with 4 response options, which did not include the option of “neither agree nor disagree”. This was done in order to see which of the two response formats worked better for each of the scales in target population. 
Balanced scalesSome of the original scales were balanced and some unbalanced, with the majority of items being part of balanced scales. The unbalanced scales (self-control, self-efficacy and socio-emotional skills) were balanced by including alternative reverse formulations of a selected small group of items. The process of balancing was achieved by reversing the original formulations of 22 items (in the item bank document, the reversed items are marked with “R” while newly reversed items are marked as “new R”). These newly reversed items were tested against their original counterparts in order to see if the creation of balanced scales led to improvements (comparing both item- and scale-level properties).
Multiple choice vs forced choiceIn case of the Vocational Interest scale, the two design features that were tested were the original vs simplified and multiple choice vs forced choice item formats. The original format of the Vocational Interest scale was multiple choice. However, the force choice format is often used in other Vocational Interest scales and the expert group wanted to test which of the two formats works better for general adult population. 
Design of the online surveyThe objectives of the online survey were the following, to test: 1. the measurement characteristics of the selected scales; 2. the relationships of the selected scales with background and other characteristics of respondents; 3. different item formulations – original vs. simplified; 4. different response options – with or without a neutral/middle category; 5. scales with different item formats – multiple choice vs. forced choice (voc. interests scale); and 6. the new balanced scales (in comparison with the original unbalanced scales).
Background questionnaireThe survey included a number of socio-demographic, economic and personal wellbeing indicators as well as a short cognitive ability test.Socio-demographic characteristics: Gender, age, country of birth/residence, mother tongue, marital status, educational attainment, and parental educationEconomic and wellbeing indicators: Broad activity status, occupational status, income, subjective health, social trust, life satisfaction, and personal wellbeingQuality control questions: In order to check the quality of responses, the survey included three quality control items placed within the Big Five, Self-Control, and Socio-Emotional skills scales. These were used, together with other indicators of data quality, to create an overall quality control indicator and guided the exclusion of poor quality responses.
description: Self-administered questionnaire: Web-based
description: Selbstausfüller: CAWI (Computerunterstütztes Web-Interview)

Die Umfrage wurde online durchgeführt. Der Survey wurde mit Hilfe der Survey Monkey Plattform durchgeführt.
description: Self-administered questionnaire: CAWI (Computer-Assisted Web Interview)

The survey was conducted online. The Survey was implemented using the Survey Monkey platform.
description: Personen zwischen 16 und 65 Jahren in den Vereinigten Staaten und im Vereinigten Königreich
description: Persons between 16 and 65 years in the United States and United Kingdom
description: Nicht-Wahrscheinlichkeitsauswahl: Quotenstichprobe; Auswahlverfahren Kommentar: Nicht-Wahrscheinlichkeitsauswahl: Quotenstichprobe

Rund 8.000 vollständige Antworten wurden in der ersten Phase und rund 2.000 in der zweiten Phase erzielt. Etwa 25% der Befragten wurden von der Datenbank ausgeschlossen, nachdem sie verschiedene Qualitätskontrollkriterien nicht erfüllt hatten (Wohnsitzland, Alter, Testzeit, Fähigkeitstest, Konsistenz der Antworten und Antworten auf Qualitätskontrollfragen). Die finale Stichprobe enthält letztendlich 4.957 US-Befragte 953 UK-Befragte in der ersten Phase und weitere 1.606 US-Befragte in der zweiten Phase. 
Es handelt sich um eine willkürliche Stichprobe (Convenience sample). Sie ist nicht repräsentativ für die Bevölkerung der USA und des Vereinigten Königreichs. Die Quoten wurden verwendet, um eine geschlechts-, alters- und Regionen bezogene Verteilung zu gewährleisten, die in den USA und im Vereinigten Königreich die Volkszählungsdaten weitgehend widerspiegelt. Diese Geschlechterverteilung wurde nicht abgedeckt, da sowohl in der amerikanischen als auch in der britischen Stichprobe etwas mehr Frauen als Männer enthalten sind.

Durchführung der Umfrage
Die Umfrage wurde in zwei Phasen durchgeführt: In der ersten Phase wurde jeder Befragte zufällig einem der vier Testkonditionen zugeteilt (wie oben angegeben die Skalen für sozial-emotionale Fähigkeiten und berufliche Interessen haben leicht modifizierte Testkonditionen).
Kondition A: Originalskalen mit neutraler Antwortoption
Kondition B: Originalskalen ohne neutrale Antwortoption
Kondition C: Vereinfachte Skalen mit neutraler Antwortoption
Kondition D: Vereinfachte Skalen ohne neutrale Antwortoption
Abgesehen von den neun Persönlichkeitsskalen, wurden allen anderen Skalen allen Befragten zugeordnet, einschließlich des Fähigkeitstests, der als letzte Skala in der Umfrage aufgeführt wurde.
In der zweiten Phase, wurden drei Gruppen von Befragten (in etwa 500 pro Gruppe) verschiedene Sätze von Persönlichkeitsskalen zugeordnet, unter allen vier Testkonditionen.
Die erste Gruppe von Befragten wurde dem Big Five Fragebogen mit 60 Items in vier Konditionen, also insgesamt 240 Items (plus alle anderen zusätzlichen Variablen und Fähigkeitstest) zugeordnet.
Die zweite Gruppe wurde den Traditionalismus, Selbstkontrolle, Selbstwirksamkeit und sozial-emotionalen Fähigkeiten Skalen (54 Items) in allen vier Konditionen (216 Items insgesamt) zugeteilt.
Der dritten Gruppe wurden die Ehrlichkeit/Integrität, Berufsorientierung und berufliche Interessen Skalen (54 Items) zugeteilt, ebenfalls in alle 4 Konditionen (216 Persönlichkeitsitems).
Die zweite Phase wurde dem Projekt hinzugefügt, um das between-subject design der ersten Phase mit einem within-subject design zu ergänzen, um Skalen- und Item Eigenschaften über verschiedene Konditionen besser zu identifizieren.