DOI: 10.4232/1.12569
title: Programme for the International Assessment of Adult Competencies (PIAAC), log files
title: Programme for the International Assessment of Adult Competencies (PIAAC), log files

description: Forschungsfrage: Die PIAAC 2012 Studie war das erste vollständig computer-basierte groß angelegte Assessment für Bildung. Während des Assessments wurden die Benutzerinteraktionen automatisch protokolliert. Dies bedeutet, dass die meisten Aktionen des Benutzers innerhalb des Assessment Tools aufgezeichnet und mit Zeitstempeln in separaten Daten, genannt log files, gespeichert wurden. Die log file Daten enthalten Paradaten für jeden Teilnehmer in den Domänen Lesekompetenz, alltagsmathematische Kompetenz und technologiebasiertes Problemlösen. Die Verfügbarkeit dieser log files bietet den Forschern neue Möglichkeiten, zum Beispiel das Testverhalten von Personen zu reproduzieren und das Testverhalten besser zu verstehen. 

Methode: PIAAC 2012 wurde im August 2011-November 2012 mit einer repräsentativen internationalen Stichprobe von rund 166000 Erwachsenen in 24 verschiedenen Ländern durchgeführt. Der folgende Datensatz enthält die log file Dateien aus 17 Ländern. Jedem Land wurde erlaubt, sein eigenes Stichprobenverfahren zu wählen, solange die Technik eine Wahrscheinlichkeitsauswahl beinhaltet, die zu einer repräsentativen Stichprobe der PIAAC-Zielbevölkerung führt. Die Länder konnten zudem einzelne Subgruppen der Zielpopulation „oversamplen“. Dänemark beinhaltet ein Oversample für Personen im Alter von 55-65 Jahren und neue Immigranten und Polen für Personen im Alter von 19-26 Jahren. Der Hintergrundfragebogen wurde in einer computergestützten persönlichen Befragung (CAPI) durchgeführt. Nach dem Fragebogen absolvierten die Befragten unter Aufsicht der Interviewer eine computer- bzw. papierbasierte Messung in einem oder zwei der folgenden Kompetenzbereiche: Lesen, Alltagsmathematik und technologiebasiertes Problemlösen.

Variablen: Mit der Hilfe des PIAAC Log Data Analyzer kann man einen Datensatz generieren. Die Log Data Extraction Software ist ein in sich geschlossenes System, das Aktivitäten wie Datenextraktion, Datenreinigung und Visualisierung von OECD-PIAAC 2012- log files verwaltet. Es dient als Grundlage für datenbezogenen Analyseaufgaben mit dem Tool selbst oder durch Export der gereinigten Daten an externe Tools, beispielsweise Statistikpakete. 
Man kann die folgenden Variablen erzeugen: 

General Variables:
Number of Using Help Menu, Time Till the First Interaction, Time on Task.

Specific Variables: 
Final Response, Number of Highlight Events, Number of Switching Environment, Number of Using Cancel Button, Sequence of Switching Environment, Time Since Last Answer Interaction.

Navigation-specific Variables:
Number of Different Page Visits, Number of Page Revisits, Number of Page Visits, Sequence of Visited Webpages, Time-Sequence of Spent Time on Webpages. 

Email-specific Variables:
Number of Created Emails, Number of Different Email Views, Number of Email Views, Number of Revisited Emails, Sequence of Viewed Emails.
description: Objective: The PIAAC 2012 study was the first fully computer-based large scale assessment in education. During the assessment, user interactions were logged automatically. This means that most of the users’ actions within the assessment tool were recorded and stored with time stamps in separate files called log files. The log files contain paradata for each participant in the domains literacy, numeracy, and problem solving in technology-rich environments. The availability of these log files offers new opportunities to researchers, for instance to reproduce test-taking behavior of individuals and to better understand test-taking behavior.

Method: PIAAC 2012 was conducted August 2011-November 2012 among a representative international sample of around 166000 adults within 24 different countries. The following dataset includes the log files from 17 countries. Each country was allowed to choose their own sampling technique as long as the technique applies full selection probability methods to select a representative sample from the PIAAC target population. The countries were able to oversample particular subgroups of the target population. Persons aged 55-65 and recent immigrants were oversampled in Denmark and persons aged 19-26 were oversampled in Poland. The administration of the background questionnaires was conducted face-to-face using computer assisted personal interviewing (CAPI). After the questionnaire, the respondent completed a computer-based or paper-based cognitive under the supervision of the interviewer in one or two of the following competence domains: literacy, numeracy and problem solving in technology-rich environments.

Variables: With the help of the PIAAC LogDataAnalyzer you can generate a data set. The Log Data Extraction software is a self-contained system that manages activities like data extraction, data cleaning, and visualization of OECD-PIAAC 2012 assessment log data files. It serves as a basis for data related analysis tasks using the tool itself or by exporting the cleaned data to external tools like statistics packages. You can generate the following Variables: Number of Using Cancel Button, Number of Using Help Menu, Time on Task, Time Till the First Interaction, Final Response, Number of Switching Environment, Sequence of Switching Environment, Number of Highlight Events, Time Since Last Answer Interaction, Number of Created Emails, Sequence of Viewed Emails, Number of Different Email Views, Number of Revisited Emails, Number of Email Views, Sequence of Visited Webpages, Time-Sequence of Spent Time on Webpages, Number of Different Page Visits, Number of Page Visits, Number of Page Revisits.
description: Messungen und Tests: Leistungs- und Kompetenztests
description: Educational measurements and tests
description: Messungen und Tests: Leistungs- und Kompetenztests
description: Educational measurements and tests
description: Alle Erwachsenen in privaten Haushalten zwischen 16 und 65 Jahren, die währen der Datenerhebung im Land wohnten, unabhängig von Staatsbürgerschaft, Nationalität und Sprache.
description: All adults in private households between 16 and 65 years of age that resided in the country during the time of data collection, regardless of citizenship, nationality or language.
description: Österreich: Systematische Zufallsauswahl
Dänemark, Niederlande, Norwegen: Geschichtete Zufallsauswahl
Belgien, Estland, Finnland: Systematische geschichtete Zufallsauswahl
Frankreich, Deutschland, Irland, Italien, Polen, Slowakei, Spanien, Vereinigtes Königreich, Vereinigte Staaten von Amerika: Mehrstufige Zufallsauswahl
Gruppen oversample: Personen im Alter von 55-65 Jahren und neue Einwanderer (Dänemark), Personen im Alter von 19-26 Jahren (Polen)