Nettoyage de fichiers dans le cas de données individuelles: recherche de la cohérence transversale

[fre] Nettoyage de fichiers dans le cas de donnees individuelles : recherche de la coherence transversale . par Elizabeth Kremp . avoir precise les notions de valeurs aberrantes et de valeurs extremes, cet article rappelle les outils statistiques et presente differentes univariees permettant d'identifier ces valeurs. Huit techniques construites a partir de ces outils et de ces methodes sont ensuite sur un fichier de donnees d'entreprises pour un ratio. Un des enseignements de ces tests est qu'il faut utiliser des statistiques robustes les methodes cherchant a identifier les points aberrants. Ensuite, l'application de trois de ces techniques a sept ratios, permet de les d'evaluer le role du choix des ratios et de mesurer les phenomenes cumulatifs d'elimination d'observations. Deux d'entre elles des resultats tres proches. La plus simple a mettre en œuvre supprime les observations situees a plus de trois intervalles du premier et du troisieme quartiles. Cependant, si la distribution de la vraie population pour la variable etudiee est tres d'une distribution normale, alors cette technique peut conduire a eliminer trop d'observations, et une variante qui supprime les a plus de cinq intervalles interquartiles semble preferable. [spa] Limpieza de los ficheros en el caso de datos individuales : busqueda de una coherencia transversal . por Elisabeth Kremp . Tras haber precisado las nociones de valores aberrantes y de valores extremos, este articulo resena los instrumentos estadisticos y presenta diferentes metodos univariados que permiten definir estos valores. Ocho tecnicas construidas a partir de estos instrumentos y de estos metodos son luego sometidas a test a partir de un fichero de datos de empresas ,en vista de la elaboracion de un ratio. Una de las ensenanzas que se desprenden de estos tests es la necesidad de utilizar estadfsticas robustas en los metodos destinados a la identificacion de los puntos aberrantes. A continuacion, la aplicacion de tres de estas tecnicas para siete ratios, permite compararlos, evaluar el papel de la eleccion de estos ratios y medir los fenomenos cumulativos de eliminacion de observaciones. Dos de estas tecnicas conducen a resultados muy similares. La mas simple a ser ejecutada suprime las observaciones situadas a mas de tres intevalos intercuartiles del primer y del tercer cuartil. Sin embargo, si la distribution de la verdadera poblacion para la variable estudiada esta muy alejada de una distribution normal, entonces esta tecnica puede conducir a la eliminacion de demasiadas observaciones, y una variante que suprime las observaciones situadas a mâs de cinco intervalos intercuartiles pareciera ser preferible. [eng] Cleaning Files Containing Individual Data: The Search for Transversal Consistency . by Elizabeth Kremp . This article first defines the notions of aberrant values and extreme values. It then describes the statistical tools and presents different univaried methods for identifying these values. Eight techniques based on these tools and methods are tested on a file of company data for one ratio. One of the conclusions of these tests is that robust statistics need to be used in the methods seeking to identify aberrant points. Three of these techniques are applied to seven ratios for a comparison, evaluation of the role of the choice of ratios and measurement of the cumulative observation elimination phenomena. Two of these techniques produce very similar results. The easiest technique to apply eliminates the observations situated at more than three interquartile intervals from the first and third quartiles. However, if the distribution of the real population for the variable studied differs greatly from a normal distribution, this technique can eliminate too many observations. In this case, a variant that eliminates the observations at more than five interquartile intervals would appear preferable. [ger] Sâuberung yon Dateien im Falle personenbezogener Daten: Streben nach transversaler Koharenz . von Elisabeth Kremp . Nachdem die Begriffe der Abweichungs- und Extremwerte bestimmt worden sind, erinnert dieser Artikel an die statistischen Instrumente und prasentiert verschiedene univariate Methoden, mit denen sich diese Werte ermitteln lassen. Anhand einer Datei mit Unternehmensdaten fur eine Kennzahl werden danach acht Verfahren getestet, die auf der Grundlage dieser Instrumente und dieser Methoden erstellt wurden. Eine der Lehren, die sich aus diesen Tests ziehen lassen, lautet, daB bei den Methoden, die der Bestimmung der Abweichungspunkte dienen, solide Statistiken benutzt werden mussen. AnschlieBend ermoglicht es die Anwendung von drei dieser Verfahren auf sieben Kennzahlen, diese miteinander zu vergleichen, die Rolle der Wahl der Kennzahlen zu bewerten und die kumulativen Phanomene bei der Eliminierung von Beobachtungen zu messen. Zwei von ihnen fiihren zu recht âhnlichen Ergebnissen. Das Verfahren, das sich am einfachsten anwenden laBt, eliminiert die Beobachtungen, die mehr als drei Quartilabstande vom ersten und vom dritten Quartil entfernt liegen. Wenn die Verteilung der wirklichen Population fur die untersuchte Variable allzusehr von einer normalen Verteilung abweicht, kann dieses Verfahren jedoch dazu fiihren, daB zu viele Beobachtungen eliminiert werden. Wie es scheint, ist eine Variante, die die mehr als funf Quartilabstande entfernt liegenden Beobachtungen eliminiert, zu bevorzugen.