Microdata fusion: a statistical matching application for the integration of the EWCS and QPS
Creators: name: Manso, Luís; Santi, Jena
Publisher: name: Zenodo
Year: 2021
Subjects: Keywords – Microdata fusion; statistical matching; European Working Conditions Survey (EWCS); Quadros Pessoal Survey (QPS)

description: <strong>Resumo:</strong> Microdados referem-se a bases de dados em que a microunidade constitui o elemento central de análise – indivíduos, famílias ou empresas. Estes dados são tradicionalmente recolhidos através de inquéritos, censos ou dados administrativos e permitem que utilizadores/investigadores analisem uma gama ampla de tópicos e relações entre subpopulações. As características dos dados são geralmente determinadas pelo objetivo orientador da recolha dos mesmos. Como tal, habitualmente, não cobrem todas as dimensões de análise em profundidade, o que cria a necessidade de recolha de informação através da realização de novos e dispendiosos inquéritos ou outros métodos de recolha de dados. Em resposta a este problema, têm surgido vários métodos que procuram utilizar a informação existente dispersa por várias bases de dados. Este tipo de métodos procuram a integração de várias bases de dados, através de um conjunto de variáveis comum entre elas. Este documento apresenta uma análise dos métodos habitualmente utilizados para a integração de informação dispersa em microdados, com particular destaque na identificação da viabilidade de integração do Inquérito aos Quadros de Pessoal (QPS) e do Inquérito Europeu às Condições de Trabalho (EWCS). As técnicas aqui consideradas enquadram-se em três categorias distintas: (1) paramétricas; (2) não paramétricas; e (3) misto. Os resultados desta análise sugerem que o EWCS e os QPS podem ser integrados com sucesso através de métodos de correspondência estatística. Como esperado, existe um custo de integração associado a este procedimento, que se reflete nas distribuições probabilísticas da nova base de dados sintética. De forma a integrar com sucesso as duas fontes de informação, é necessário proceder a um extenso procedimento de harmonização, que exige a agregação de algumas das variáveis continuas, que se traduz numa perda implícita da especificidade da informação contida nas bases de dados. Por último, derivado dos requisitos computacionais associados, não foi possível otimizar o processo de correspondência. A otimização ideal deveria ser obtida através de um algoritmo que resolve o problema de atribuição. No entanto, foi utilizada uma abordagem heurística para a otimização do nosso problema que minimiza as distâncias entre indivíduos nas duas bases de dados através de uma iteração sequencial. <strong>Abstract:</strong> Microdata refers to data that has micro-units as the center unit of analysis, such as individuals, households or firms, commonly collected through surveys, census or administrative data. This type of data allows users/researchers to analyse a wide range of topics and to capture the intrinsic relationships between sub-populations. The characteristics and utility of the dataset is usually determined by the guiding objective of data collection. As such, datasets usually do not cover all dimensions in-depth, which creates the need for the new and costly surveys and other data collection methods. More recently, data integration methods have been introduced as cost-effective way of obtaining a wider dataset that contains more dimensions. Essentially, these processes consist of the integration of distinct datasets based on a set of common variables. This document presents an overview of the problems and methods commonly used to integrate micro-data from different sources with a particular focus on identifying the feasibility of integrating the Quadros de Pessoal Survey (QPS) and the European Working Conditions Survey (EWCS). The techniques considered here fall into three distinct categories: (1) parametric; (2) non-parametric; and (3) mixed. Our results suggest that the EWCS and the QPS can be successfully matched using statistical matching procedures. As expected, there is a cost of integration that is reflected in the probability distributions of the new synthetic dataset. In addition, to successfully integrate both datasets, there is a need for an extensive harmonization procedure, which may require the aggregation of continuous variables into categorical. Finally, we were unable to optimize our matching procedure due to the computational requirements for the application of an algorithm that can solve an assignment problem. Rather, we use a heuristic approach to the optimization of our problem. There is a clear trade-off between optimization and the computational requirements to carry out this procedure. However, there is a need for extensive harmonization procedures identifying the matches between individuals in both datasets.