DOI: 10.4232/1.13063
title: Programme for the International Assessment of Adult Competencies (PIAAC), International Pilot Study on Non-Cognitive Skills
title: Programme for the International Assessment of Adult Competencies (PIAAC), International Pilot Study on Non-Cognitive Skills

description: Die Online-Umfrage wurde mit folgendem Ziel entworfen: um die Messeigenschaften ausgewählter Skalen sowie der länderübergreifenden Vergleichbarkeit ausgewählter Skalen zu testen. Die Messeigenschaften von neun Persönlichkeitsskalen wurden getestet: Big Five, Traditionalismus, Selbstkontrolle, Selbstwirksamkeit, Ehrlichkeit/Integrität, sozial-emotionale Fähigkeiten, intellektuelle Neugier, Berufsorientierung und berufliche Interessen. Acht dieser neun Skalen sind vorhandene Skalen (oder Kombinationen von Skalen), die für den Einsatz im öffentlichen Bereich verfügbar sind. Die Skala zur Bewertung der sozial-emotionalen Fähigkeiten wurde von einer Expertengruppe entwickelt. Die vollständigen Formulierungen der Items in allen Skalen sind in der beigefügten Excel-Datei enthalten (unter Daten und Dokumente). 
HintergrundfragebogenUm das analytische Potenzial auszuschöpfen und die politische Bedeutung der Persönlichkeitsskalen zu untersuchen, beinhaltet die Umfrage eine Reihe von sozio-demografischen Indikatoren, Indikatoren zu ökonomischen und persönlichen Wohlbefinden als auch einen kurzen kognitiven Fähigkeitstest. Dazu gehören insbesondere: Sozio-demographische Merkmale (z.B.: Geschlecht, Alter, Geburtsland), Wirtschafts- und Wohlstandsindikatoren (z.B.: Beschäftigungsstatus, subjektive Gesundheit, Lebenszufriedenheit) sowie Fragen zur Qualitätskontrolle.
description: This online survey was designed to test the measurement properties of nine personality scales – the Big Five, Traditionalism, Self-Control, Self-Efficacy, Honesty/Integrity, Socio-Emotional skills, Intellectual Curiosity, Job Orientation Preferences and Vocational Interests. Eight of these nine scales are existing scales (or combinations of scales) available for use in public domain. The scale assessing socio-emotional skills was developed by an expert group . The full formulations of items in all scales are presented in the attached excel file.
Design of the online survey
The online survey was designed with following objectives:1) Testing the measurement characteristics of selected scales;2) Testing the cross national comparability of selected scales.
Background questionnaire
In order to examine the analytic potential (and policy relevance) of the selected personality measures, the survey included a number of socio-demographic and economic and personal wellbeing indicators as well as a short cognitive ability test.In particular, it includes:Socio-demographic characteristics: Gender, age, country of birth, mother tongue, marital status, educational attainment, and parental education.Economic and wellbeing indicators: Broad activity status, occupational status, subjective health, social trust, life satisfaction, and personal wellbeing.Quality control questions: In order to check the quality of the response data, the survey included three quality control items placed within the Big Five, Self-Control, and Socio-Emotional skills scales. These were later used, along other indicators of data quality, for the creation of an overall quality control indicator and removal of poor quality responses.
description: Self-administered questionnaire: Web-based
description: Selbstausfüller: CAWI (Computerunterstütztes Web-Interview)

Web-Umfrage, die gesamte Umfrage wurde online durchgeführt. Die Umfrage wurde mit der Survey Monkey Plattform durchgeführt.
description: Self-administered questionnaire: CAWI (Computer-Assisted Web Interview)

Web survey, entire survey was conducted online. The survey was implemented using Survey Monkey platform.
description: Personen zwischen 16 und 65 Jahren in Deutschland, Spanien, Frankreich, Japan und Polen
description: Persons between 16 and 65 years in Germany, Spain, France, Japan and Poland
description: Nicht-Wahrscheinlichkeitsauswahl: Quotenstichprobe; Auswahlverfahren Kommentar: Nicht-Wahrscheinlichkeitsauswahl: Quotenstichprobe

7436 Personen wurden befragt, etwa 1500 je Land. Von diesen wurden 6,6% der Befragten ausgeschlossen, nachdem sie verschiedene Qualitätskontrollkriterien nicht erfüllt hatten. Auf Basis dieser Kriterien wurde ein aggregierter Qualitätsindikator erstellt und Befragte mit schlechter Antwortqualität aus den Datensätzen entfernt. Daraus ergibt sich die finale Stichprobe aus 1.314 französischen, 1.240 japanischen, 1.380 spanischen, 1.538 deutschen und 1.452 polnischen Befragten. 

Es handelt sich um eine willkürliche Stichprobe (Convenience sample), die nicht repräsentativ für die Bevölkerung in den betreffenden Ländern ist. Es wurden Quoten verwendet, um eine Geschlechts- und Altersverteilung zu gewährleisten, die weitgehend die nationalen Volkszählungsdaten widerspiegelt.

Kriterien zur Qualitätskontrolle und zum Ausschluss
Eine Qualitätskontrolle wurde mit Hilfe der folgenden Kriterien vorgenommen:
- -Testzeit: Ausschluss derer, die in unter 6 Minuten geantwortet haben und Markierung derer, die den Test innerhalb von 6-8 Minuten abgeschlossen haben;
-Alter: Ausschluss derer junger als 16 und älter als 65 Jahre;
- Ergebnisse des Fähigkeitstests (2 Kriterien): Kennzeichnung derer, die wiederholend „Ich weiß nicht“ geantwortet haben oder die keine einzige richtige Antwort hatten (1 Punkt für jedes Kriterium)
- Qualitätskontrollkriterien (3 Kriterien): Kennzeichnung derer, die an einer, zwei oder allen drei Kontrollfragen gescheitert sind (1 Punkt für jedes gescheiterte Qualitätskontrollkriterium)
-Antwortkonsistenz: Kennzeichnung derer, die gleiche Antworten zu vier paaren von gegensätzlichen/umgekehrten Fragen gegeben haben (z.B. „Ist ordentlich“ vs. „Ist unordentlich“ oder „Ist gesprächig“ vs. „Tendiert dazu ruhig zu sein“).
Die aufgezählten Kriterien wurden zugrunde gelegt um ein allgemeiner Qualitätsindikator (genannt `Qualität´) abzuleiten. Außerdem wurden nicht vollständige Fälle sowie Dubletten aus dem Datensatz ausgeschlossen.