# Système d'information et qualité des données

Sylvie Damy

► To cite this version:

Sylvie Damy. Système d'information et qualité des données : Cours de bases de données avancées du master d'informatique à distance I2A. Master. Bases de données avancées, Besançon, France. 2024, pp.93. hal-04583824

HAL Id: hal-04583824

https://univ-fcomte.hal.science/hal-04583824

Submitted on 22 May 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Système d'information et qualité des données

Sylvie Damy

► To cite this version:

Sylvie Damy. Système d'information et qualité des données. Master. Bases de données avancées, Besançon, France. 2024, pp.93. hal-04583824

HAL Id: hal-04583824

https://univ-fcomte.hal.science/hal-04583824v1

Submitted on 22 May 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
<figure><img src="image_2.png" /></figure>

# MASTER 1 INFORMATIQUE I2A

Master DVL Master ITVL

FINANCE

HISTOIRE

GÉOGRAPHIE

INFORMATIQUE

MATHÉMATIQUES

SCIENCES POUR L'INGÉNIEUR

FRANÇAIS LANGUE ÉTRANGÈRE

ADMINISTRATION ÉCONOMIQUE ET SOCIALE

DIPLÔME D'ACCÈS AUX ÉTUDES UNIVERSITAIRES

MASTER MENTION INFORMATIQUE

Parcours Informatique Avancée et Applications (I2A)

<figure><img src="image_3.png" /></figure>

Centre de Télé-enseignement
Universitaire

http://ctu.univ-fcomte.fr

## FILIÈRE INFORMATIQUE

● VVI7MBDA

Bases de données avancées - Qualité des données

Mme DAMY - SYLVIE
sylvie.damy@univ-fcomte.fr

<figure><img src="image_4.png" /></figure>

<figure><img src="image_5.png" /></figure>

UNIVERSITÊ DE
FRANCHE-COMTÊ

<figure><img src="image_6.png" /></figure>
<figure><img src="image_2.png" /></figure>

# MASTER 1 INFORMATIQUE I2A

Master DVL Master ITVL

FINANCE

HISTOIRE

GÉOGRAPHIE

INFORMATIQUE

MATHÉMATIQUES

SCIENCES POUR L'INGÉNIEUR

FRANÇAIS LANGUE ÉTRANGÈRE

ADMINISTRATION ÉCONOMIQUE ET SOCIALE

DIPLÔME D'ACCÈS AUX ÉTUDES UNIVERSITAIRES

MASTER MENTION INFORMATIQUE

Parcours Informatique Avancée et Applications (I2A)

<figure><img src="image_3.png" /></figure>

Centre de Télé-enseignement
Universitaire

http://ctu.univ-fcomte.fr

## FILIÈRE INFORMATIQUE

● VVI7MBDA

Bases de données avancées - Qualité des données

Mme DAMY - SYLVIE

sylvie.damy@univ-fcomte.fr

<figure><img src="image_4.png" /></figure>

<figure><img src="image_5.png" /></figure>

UNIVERSITÊ DE
FRANCHE-COMTÊ

UBFC

<figure><img src="image_6.png" /></figure>

UNIVERSITÉ
BOURGOGNE FRANCHE-COMTÉ
Cette brochure a été réalisée en LATEX 2ε.

Centre de télé-enseignement. Université de Franche-Comté.
Cette brochure a été réalisée en LATEX 2ε.

Centre de télé-enseignement. Université de Franche-Comté.
# Préface

Les bases de données correspondent à un type d'outil très largement utilisé dans les entreprises. Toute entreprise a besoin de stocker et surtout d'accéder à une masse d'informations de plus en plus importante. En fonction de la nature de ces informations, des traitements que l'on souhaite pouvoir réaliser, on peut proposer différents types de base de données.

Actuellement :

- les bases de données relationnelles représentent les supports les plus employés ;

- les bases de données objet qui intègrent la notion d'objet dans les bases de données ;

- les bases de données réparties ;

- les bases de données image, multimédia, spatio-temporelle, ... permettent de gérer des informations de nature particulière ;

- les bases de données déductives, logiques proposent une approche spécifique pour les traitements ;

- on parle aussi de fouille de données, de data-mining, ...

- et dans la dernière décennie sont apparues les bases de données NoSQL.

Dans le cadre de ce cours, une première partie a présentée l'approche NoSQL, dans cette seconde partie nous nous intéresserons aux données et à leur qualité. En effet quelque soit le support utilisé pour gérer et stocker des données, la donnée doit répondre aux besoins de ses utilisateurs. Ainsi la qualité de la donnée dépend de l'utilisation que l'on fait de la donnée. J'ai pu à travers mon expérience de développement d'outils s'appuyant sur des bases de données dans le domaine de la recherche appréhender en particulier l'intérêt des données de référence que ce soit pour des problèmes de qualité de données ou d'interopérabilité.

Après avoir présenté les notions de données et d'information dans le chapitre 1, nous verrons les grands types d'applications informatiques de l'entreprise. Dans une seconde partie je présenterai la qualité des données et les causes et conséquences de la non-qualité des données. Enfin dans la troisième partie de ce cours nous verrons une proposition pour améliorer la qualité des données avec le MDM ou *Master Data Management*.

Ce cours est une compilation de différentes lectures : livres, articles et livres blancs ; certaines parties bien rédigées ont été reportées dans le document en italiques, voire ajoutées directement dans le cours (livre blanc Talend, chapitre 3). Suite au bilan de l'année dernière, la partie sur les systèmes d'information : "Les grands types d'applications informatiques dans l'entreprise" n'est présente dans ce support qu'à titre informatif. Il n'y aura pas de question sur cette partie à l'examen.
# Préface

Les bases de données correspondent à un type d'outil très largement utilisé dans les entreprises. Toute entreprise a besoin de stocker et surtout d'accéder à une masse d'informations de plus en plus importante. En fonction de la nature de ces informations, des traitements que l'on souhaite pouvoir réaliser, on peut proposer différents types de base de données.

Actuellement :

- les bases de données relationnelles représentent les supports les plus employés ;

- les bases de données objet qui intègrent la notion d'objet dans les bases de données ;

- les bases de données réparties ;

- les bases de données image, multimédia, spatio-temporelle, ... permettent de gérer des informations de nature particulière ;

- les bases de données déductives, logiques proposent une approche spécifique pour les traitements ;

- on parle aussi de fouille de données, de data-mining, ...

- et dans la dernière décennie sont apparues les bases de données NoSQL.

Dans le cadre de ce cours, une première partie a présentée l'approche NoSQL, dans cette seconde partie nous nous intéresserons aux données et à leur qualité. En effet quelque soit le support utilisé pour gérer et stocker des données, la donnée doit répondre aux besoins de ses utilisateurs. Ainsi la qualité de la donnée dépend de l'utilisation que l'on fait de la donnée. J'ai pu à travers mon expérience de développement d'outils s'appuyant sur des bases de données dans le domaine de la recherche appréhender en particulier l'intérêt des données de référence que ce soit pour des problèmes de qualité de données ou d'interopérabilité.

Après avoir présenté les notions de données et d'information dans le chapitre 1, nous verrons les grands types d'applications informatiques de l'entreprise. Dans une seconde partie je présenterai la qualité des données et les causes et conséquences de la non-qualité des données. Enfin dans la troisième partie de ce cours nous verrons une proposition pour améliorer la qualité des données avec le MDM ou *Master Data Management*.

Ce cours est une compilation de différentes lectures : livres, articles et livres blancs ; certaines parties bien rédigées ont été reportées dans le document en italiques, voire ajoutées directement dans le cours (livre blanc Talend, chapitre 3). Suite au bilan de l'année dernière, la partie sur les systèmes d'information : "Les grands types d'applications informatiques dans l'entreprise" n'est présente dans ce support qu'à titre informatif. Il n'y aura pas de question sur cette partie à l'examen.
BDA : Parcours pédagogique

<table><thead><tr><th>Sem.</th><th>Date</th><th>Chapitre</th><th>Exercice</th><th>Devoir</th><th>Correction</th></tr></thead><tbody><tr><td>1</td><td>29 Jan</td><td>NoSQL - Chap 1-2</td><td></td><td></td><td></td></tr><tr><td>2</td><td>05 Fév</td><td>NoSQL - Chap 3</td><td>Map/Reduce</td><td></td><td></td></tr><tr><td>3</td><td>12 Fév</td><td>NoSQL - Chap 3</td><td>Map/Reduce</td><td></td><td></td></tr><tr><td>4</td><td>19 Fév</td><td>NoSQL - Chap 4</td><td>Etudes de cas</td><td></td><td></td></tr><tr><td></td><td>26 Fév</td><td>Vacances</td><td></td><td></td><td></td></tr><tr><td>5</td><td>04 Mars</td><td>NoSQL - Chap 4</td><td>Etudes de cas</td><td></td><td></td></tr><tr><td>6</td><td>11 Mars</td><td></td><td>TP NoSQL</td><td></td><td></td></tr><tr><td>7</td><td>18 Mars</td><td>NoSQL</td><td>TP NoSQL</td><td></td><td></td></tr><tr><td>8</td><td>25 Mars</td><td></td><td></td><td>Devoir 1</td><td></td></tr><tr><td>9</td><td>01 Avr</td><td>SI</td><td></td><td></td><td></td></tr><tr><td>10</td><td>08 Avr</td><td>SI</td><td></td><td></td><td></td></tr><tr><td></td><td>15 Avr</td><td>Vacances</td><td></td><td></td><td></td></tr><tr><td></td><td>22 Avr</td><td>Vacances</td><td></td><td></td><td></td></tr><tr><td>11</td><td>29 Avr</td><td>SI</td><td></td><td>Devoir 2</td><td></td></tr><tr><td>12</td><td>06 Mai</td><td>Révision</td><td></td><td></td><td>Devoir 2</td></tr><tr><td></td><td>16 Mai</td><td></td><td>Examen</td><td></td><td></td></tr></tbody></table>
BDA : Parcours pédagogique

<table><thead><tr><th>Sem.</th><th>Date</th><th>Chapitre</th><th>Exercice</th><th>Devoir</th><th>Correction</th></tr></thead><tbody><tr><td>1</td><td>29 Jan</td><td>NoSQL - Chap 1-2</td><td></td><td></td><td></td></tr><tr><td>2</td><td>05 Fév</td><td>NoSQL - Chap 3</td><td>Map/Reduce</td><td></td><td></td></tr><tr><td>3</td><td>12 Fév</td><td>NoSQL - Chap 3</td><td>Map/Reduce</td><td></td><td></td></tr><tr><td>4</td><td>19 Fév</td><td>NoSQL - Chap 4</td><td>Etudes de cas</td><td></td><td></td></tr><tr><td></td><td>26 Fév</td><td>Vacances</td><td></td><td></td><td></td></tr><tr><td>5</td><td>04 Mars</td><td>NoSQL - Chap 4</td><td>Etudes de cas</td><td></td><td></td></tr><tr><td>6</td><td>11 Mars</td><td></td><td>TP NoSQL</td><td></td><td></td></tr><tr><td>7</td><td>18 Mars</td><td>NoSQL</td><td>TP NoSQL</td><td></td><td></td></tr><tr><td>8</td><td>25 Mars</td><td></td><td></td><td>Devoir 1</td><td></td></tr><tr><td>9</td><td>01 Avr</td><td>SI</td><td></td><td></td><td></td></tr><tr><td>10</td><td>08 Avr</td><td>SI</td><td></td><td></td><td></td></tr><tr><td></td><td>15 Avr</td><td>Vacances</td><td></td><td></td><td></td></tr><tr><td></td><td>22 Avr</td><td>Vacances</td><td></td><td></td><td></td></tr><tr><td>11</td><td>29 Avr</td><td>SI</td><td></td><td>Devoir 2</td><td></td></tr><tr><td>12</td><td>06 Mai</td><td>Révision</td><td></td><td></td><td>Devoir 2</td></tr><tr><td></td><td>16 Mai</td><td></td><td>Examen</td><td></td><td></td></tr></tbody></table>
# Contents

## Préface

c

## I Systèmes d'information et données

1

### 1 Données et information

3

1.1 L'évolution des systèmes informatiques des entreprises 3

1.2 Donnée et information 4

1.2.1 Donnée : Définition 4

1.2.2 Information : Définition 5

1.2.3 Donnée versus information 5

1.2.4 A qui et/ou à quoi servent les données ? 6

1.2.5 La structuration des données 7

1.3 Résumé 8

### 2 Les grands types d'applications informatiques dans l'entreprise

9

2.1 Progiciels de gestion intégrés : ERP 9

2.2 Systèmes de gestion de la relation Client : CRM 10

2.3 E-commerce 10

2.3.1 E-commerce : définitions 10

2.3.2 Quelques chiffres 11

2.3.3 E-commerce : pour faire quoi ? 11

2.4 Informatique décisionnelle : BI 12

2.4.1 ETL 13

2.4.2 L'entrepôt de données 13

2.4.3 Générateur de rapports ou Reporting 14

2.4.4 Analyse à la demande ou Ad hoc 14

2.4.5 Analyse multidimensionnelle ou OLAP 14

2.4.6 Fouille des données ou Data Mining 16

2.4.7 Tableau de bord 17

2.4.8 Master Data Management ou MDM 17

2.4.9 Les outils de l'informatique décisionnelle 17

2.5 En résumé 17
# Contents

## Préface

c

## I Systèmes d'information et données

1

### 1 Données et information

3

1.1 L'évolution des systèmes informatiques des entreprises 3

1.2 Donnée et information 4

1.2.1 Donnée : Définition 4

1.2.2 Information : Définition 5

1.2.3 Donnée versus information 5

1.2.4 A qui et/ou à quoi servent les données ? 6

1.2.5 La structuration des données 7

1.3 Résumé 8

### 2 Les grands types d'applications informatiques dans l'entreprise

9

2.1 Progiciels de gestion intégrés : ERP 9

2.2 Systèmes de gestion de la relation Client : CRM 10

2.3 E-commerce 10

2.3.1 E-commerce : définitions 10

2.3.2 Quelques chiffres 11

2.3.3 E-commerce : pour faire quoi ? 11

2.4 Informatique décisionnelle : BI 12

2.4.1 ETL 13

2.4.2 L'entrepôt de données 13

2.4.3 Générateur de rapports ou Reporting 14

2.4.4 Analyse à la demande ou Ad hoc 14

2.4.5 Analyse multidimensionnelle ou OLAP 14

2.4.6 Fouille des données ou Data Mining 16

2.4.7 Tableau de bord 17

2.4.8 Master Data Management ou MDM 17

2.4.9 Les outils de l'informatique décisionnelle 17

2.5 En résumé 17
## II Qualité des données 19

### 3 Qu'est-ce que la qualité des données ? 21

3.1 La qualité 21

3.1.1 Qu'est-ce que la qualité ? 21

3.1.2 Qu'est-ce que la qualité des données ? 22

3.2 Panorama des critères de qualité des données 23

3.3 Présentation de quelques critères de qualité des données 24

3.3.1 Critères intrinsèques aux données 24

3.3.2 Critères de services 26

3.3.3 Critères de sécurité 27

3.4 En résumé 28

### 4 Causes et conséquences de la non-qualité des données 29

4.1 Quelques exemples célèbres de non-qualité de données 29

4.1.1 NASA 29

4.1.2 Airbus 30

4.2 Principales causes de la non-qualité 30

4.3 Exemples de non-qualité de données : Livre blanc Talend 31

## III Gestion de la qualité des données 49

### 5 Les approches pour traiter la qualité des données 51

5.1 La mesure de la qualité des données 51

5.1.1 Les mesures subjectives 52

5.1.2 Les mesures objectives 52

5.1.3 Les mesures combinées 52

5.1.4 La qualité des données à différents niveaux 52

5.2 Les différents types d'approches 53

5.2.1 Les approches préventives 54

5.2.2 Les approches diagnostiques 54

5.2.3 Les approches correctives 54

5.2.4 Les approches adaptatives 54

5.3 La gouvernance 54

5.4 Les outils de gestion de la qualité des données 55

5.4.1 Le profilage ou *Profiling* 55

5.4.2 La standardisation 56

5.4.3 Le nettoyage ou *Cleansing* 56

5.4.4 Le rapprochement ou *Matching* 56

5.4.5 L'enrichissement 57

5.4.6 La décomposition ou *Parsing* 57

5.4.7 La surveillance ou *Monitoring* 57

5.5 Quelques bonnes pratiques 57

5.5.1 La compréhension des besoins 57

5.5.2 La codification des données 58

5.5.3 La documentation des données 58
## II Qualité des données 19

### 3 Qu'est-ce que la qualité des données ? 21

3.1 La qualité 21

3.1.1 Qu'est-ce que la qualité ? 21

3.1.2 Qu'est-ce que la qualité des données ? 22

3.2 Panorama des critères de qualité des données 23

3.3 Présentation de quelques critères de qualité des données 24

3.3.1 Critères intrinsèques aux données 24

3.3.2 Critères de services 26

3.3.3 Critères de sécurité 27

3.4 En résumé 28

### 4 Causes et conséquences de la non-qualité des données 29

4.1 Quelques exemples célèbres de non-qualité de données 29

4.1.1 NASA 29

4.1.2 Airbus 30

4.2 Principales causes de la non-qualité 30

4.3 Exemples de non-qualité de données : Livre blanc Talend 31

## III Gestion de la qualité des données 49

### 5 Les approches pour traiter la qualité des données 51

5.1 La mesure de la qualité des données 51

5.1.1 Les mesures subjectives 52

5.1.2 Les mesures objectives 52

5.1.3 Les mesures combinées 52

5.1.4 La qualité des données à différents niveaux 52

5.2 Les différents types d'approches 53

5.2.1 Les approches préventives 54

5.2.2 Les approches diagnostiques 54

5.2.3 Les approches correctives 54

5.2.4 Les approches adaptatives 54

5.3 La gouvernance 54

5.4 Les outils de gestion de la qualité des données 55

5.4.1 Le profilage ou *Profiling* 55

5.4.2 La standardisation 56

5.4.3 Le nettoyage ou *Cleansing* 56

5.4.4 Le rapprochement ou *Matching* 56

5.4.5 L'enrichissement 57

5.4.6 La décomposition ou *Parsing* 57

5.4.7 La surveillance ou *Monitoring* 57

5.5 Quelques bonnes pratiques 57

5.5.1 La compréhension des besoins 57

5.5.2 La codification des données 58

5.5.3 La documentation des données 58
<table><tbody><tr><td>5.5.4</td><td>L'administration des données</td><td>58</td></tr><tr><td>5.5.5</td><td>L'organisation de la gestion des données</td><td>58</td></tr><tr><td>5.6</td><td>Exemples d'approches</td><td>59</td></tr><tr><td>5.6.1</td><td>TDQM</td><td>59</td></tr><tr><td>5.6.2</td><td>TIQM</td><td>60</td></tr><tr><td>5.6.3</td><td>ICIS</td><td>60</td></tr><tr><td>5.6.4</td><td>MDM</td><td>60</td></tr><tr><td>5.7</td><td>En résumé</td><td>60</td></tr><tr><td>6</td><td>Master Data Management ou MDM</td><td>61</td></tr><tr><td>6.1</td><td>L'approche MDM</td><td>61</td></tr><tr><td>6.1.1</td><td>Qu'est ce que l'approche MDM ?</td><td>61</td></tr><tr><td>6.1.2</td><td>Pourquoi utiliser l'approche MDM ?</td><td>63</td></tr><tr><td>6.2</td><td>Les concepts</td><td>66</td></tr><tr><td>6.2.1</td><td>Concepts fondamentaux</td><td>66</td></tr><tr><td>6.2.2</td><td>Les architectures MDM</td><td>70</td></tr><tr><td>6.3</td><td>La mise en place d'une solution MDM</td><td>74</td></tr><tr><td>6.3.1</td><td>Phase d'analyse</td><td>75</td></tr><tr><td>6.3.2</td><td>Phase de conception</td><td>76</td></tr><tr><td>6.3.3</td><td>Phase d'implémentation</td><td>78</td></tr><tr><td>6.4</td><td>En résumé</td><td>80</td></tr><tr><td>IV</td><td>Annexes</td><td>81</td></tr><tr><td colspan="2">Bibliography</td><td>83</td></tr><tr><td colspan="2">Bibliography</td><td>83</td></tr></tbody></table>
<table><tbody><tr><td>5.5.4</td><td>L'administration des données</td><td>58</td></tr><tr><td>5.5.5</td><td>L'organisation de la gestion des données</td><td>58</td></tr><tr><td>5.6</td><td>Exemples d'approches</td><td>59</td></tr><tr><td>5.6.1</td><td>TDQM</td><td>59</td></tr><tr><td>5.6.2</td><td>TIQM</td><td>60</td></tr><tr><td>5.6.3</td><td>ICIS</td><td>60</td></tr><tr><td>5.6.4</td><td>MDM</td><td>60</td></tr><tr><td>5.7</td><td>En résumé</td><td>60</td></tr><tr><td>6</td><td>Master Data Management ou MDM</td><td>61</td></tr><tr><td>6.1</td><td>L'approche MDM</td><td>61</td></tr><tr><td>6.1.1</td><td>Qu'est ce que l'approche MDM ?</td><td>61</td></tr><tr><td>6.1.2</td><td>Pourquoi utiliser l'approche MDM ?</td><td>63</td></tr><tr><td>6.2</td><td>Les concepts</td><td>66</td></tr><tr><td>6.2.1</td><td>Concepts fondamentaux</td><td>66</td></tr><tr><td>6.2.2</td><td>Les architectures MDM</td><td>70</td></tr><tr><td>6.3</td><td>La mise en place d'une solution MDM</td><td>74</td></tr><tr><td>6.3.1</td><td>Phase d'analyse</td><td>75</td></tr><tr><td>6.3.2</td><td>Phase de conception</td><td>76</td></tr><tr><td>6.3.3</td><td>Phase d'implémentation</td><td>78</td></tr><tr><td>6.4</td><td>En résumé</td><td>80</td></tr><tr><td>IV</td><td>Annexes</td><td>81</td></tr><tr><td colspan="2">Bibliography</td><td>83</td></tr><tr><td colspan="2">Bibliography</td><td>83</td></tr></tbody></table>
# Part I

## Systèmes d'information et données
# Part I

## Systèmes d'information et données
# Chapter 1

# Données et information

Les entreprises doivent répondre de plus en plus rapidement à des sollicitations de tout ordre. Dans ce contexte la maitrise de l'information est devenue indispensable et le système d'information joue un rôle essentiel dans l'entreprise.

Nous présentons dans ce chapitre les rôles des systèmes d'information dans les entreprises et de leurs données.

## 1.1 L'évolution des systèmes informatiques des entreprises

Il y a une quarantaine d'années, les entreprises ont commencé à utiliser des systèmes client-serveur pour leurs applications, remplaçant les systèmes centralisés des années 1960. Dans les années 1990, les ERP ou *Entreprise Resource Planning* qui sont des progiciels de gestion intégrés s'appuyant sur des bases de données relationnelles, ont été adoptés par une grande partie des entreprises. Ces progiciels permettent de gérer l'ensemble des fonctions de l'entreprise (comptabilité, production, commercial, ...) de façon intégrative.

L'avènement d'internet a permis ensuite le partage et la diffusion de l'information. Les progrès réalisés en terme de stockage des données et l'augmentation de la puissance des processeurs ont participé à une large diffusion des systèmes d'information dans les entreprises.

Un système d'information d'entreprise correspond à un réseau complexe de relations entre des hommes, des machines, des processus et procédures plus ou moins formalisés. Toutes ces interactions engendrent des flux d'informations utiles et pertinentes à l'intérieur de l'entreprise et en interaction avec son environnement. Ces informations servent de base aux prises de décisions.

Les systèmes d'informations d'entreprise actuels peuvent être vus comme se composant de 3 sous-systèmes qui correspondent à leur organisation hiérarchique comme le montre la figure 1.1. A la base de la pyramide, il y a le système opérant dit aussi système opérationnel. Il comprend l'ensemble des ressources consacrées à la réalisation de l'activité de l'entreprise. En haut de la pyramide il y a le système décisionnel qui commande et contrôle les actions du système opérant afin d'atteindre les objectif fixés. Le système d'information de gestion quant à lui, fait l'interface entre les 2 sous-systèmes précédents.

Le système d'information représente la mémoire de l'entreprise aussi bien pour les données, les flux que les traitements. Il répond à qui fait quoi, où, quand et comment. Il se différencie du système informatique car il n'est pas dépendant d'une plate-forme matérielle.
# Chapter 1

# Données et information

Les entreprises doivent répondre de plus en plus rapidement à des sollicitations de tout ordre. Dans ce contexte la maitrise de l'information est devenue indispensable et le système d'information joue un rôle essentiel dans l'entreprise.

Nous présentons dans ce chapitre les rôles des systèmes d'information dans les entreprises et de leurs données.

## 1.1 L'évolution des systèmes informatiques des entreprises

Il y a une quarantaine d'années, les entreprises ont commencé à utiliser des systèmes client-serveur pour leurs applications, remplaçant les systèmes centralisés des années 1960. Dans les années 1990, les ERP ou *Entreprise Resource Planning* qui sont des progiciels de gestion intégrés s'appuyant sur des bases de données relationnelles, ont été adoptés par une grande partie des entreprises. Ces progiciels permettent de gérer l'ensemble des fonctions de l'entreprise (comptabilité, production, commercial, ...) de façon intégrative.

L'avènement d'internet a permis ensuite le partage et la diffusion de l'information. Les progrès réalisés en terme de stockage des données et l'augmentation de la puissance des processeurs ont participé à une large diffusion des systèmes d'information dans les entreprises.

Un système d'information d'entreprise correspond à un réseau complexe de relations entre des hommes, des machines, des processus et procédures plus ou moins formalisés. Toutes ces interactions engendrent des flux d'informations utiles et pertinentes à l'intérieur de l'entreprise et en interaction avec son environnement. Ces informations servent de base aux prises de décisions.

Les systèmes d'informations d'entreprise actuels peuvent être vus comme se composant de 3 sous-systèmes qui correspondent à leur organisation hiérarchique comme le montre la figure 1.1. A la base de la pyramide, il y a le système opérant dit aussi système opérationnel. Il comprend l'ensemble des ressources consacrées à la réalisation de l'activité de l'entreprise. En haut de la pyramide il y a le système décisionnel qui commande et contrôle les actions du système opérant afin d'atteindre les objectif fixés. Le système d'information de gestion quant à lui, fait l'interface entre les 2 sous-systèmes précédents.

Le système d'information représente la mémoire de l'entreprise aussi bien pour les données, les flux que les traitements. Il répond à qui fait quoi, où, quand et comment. Il se différencie du système informatique car il n'est pas dépendant d'une plate-forme matérielle.
<figure><img src="image_7.png" /><figcaption>Figure 1.1 : Pyramide des systèmes d’entreprise</figcaption></figure>

## 1.2 Donnée et information

Définir clairement les notions de donnée et information n'est pas une tâche aisée. On trouve ainsi les définitions suivantes.

### 1.2.1 Donnée : Définition

Le Larousse propose les définitions suivantes :

- Ce qui est connu ou admis comme tel, sur lequel on peut fonder un raisonnement, qui sert de point de départ pour une recherche (surtout pluriel) : Les données actuelles de la biologie.

- Résultats d'observations ou d'expériences faites délibérément ou à l'occasion d'autres tâches et soumis aux méthodes statistiques.

Dans wikipédia on trouve la définition suivante : Une donnée est une description élémentaire d'une réalité. C'est par exemple une observation ou une mesure.

Cette notion est précisée de la façon suivante :

- La donnée est dépourvue de tout raisonnement, supposition, constatation, probabilité. Étant indiscutable ou indiscutée, elle sert de base à une recherche, à un examen quelconque.

- Les données sont généralement le résultat d'un travail préalable sur les données brutes qui permettra de leur donner un sens et ainsi, d'obtenir une information. Les données sont un ensemble de valeurs mesurables en fonction d'un étalon de référence. La référence utilisée et la manière de traiter les données (brutes) sont autant d'interprétations implicites qui peuvent biaiser l'interprétation finale (limites des sondages).

- Par exemple, des données dans un graphique permettront à un être humain d'y associer un sens (une interprétation) et ainsi créer une nouvelle information.

Dans le livre "MDM : enjeux et méthodes de la gestion des données" [17], la donnée est définie par : "Description élémentaire de nature numérique ou alphanumérique, représentée sous forme
<figure><img src="image_7.png" /><figcaption>Figure 1.1 : Pyramide des systèmes d’entreprise</figcaption></figure>

## 1.2 Donnée et information

Définir clairement les notions de donnée et information n'est pas une tâche aisée. On trouve ainsi les définitions suivantes.

### 1.2.1 Donnée : Définition

Le Larousse propose les définitions suivantes :

- Ce qui est connu ou admis comme tel, sur lequel on peut fonder un raisonnement, qui sert de point de départ pour une recherche (surtout pluriel) : Les données actuelles de la biologie.

- Résultats d'observations ou d'expériences faites délibérément ou à l'occasion d'autres tâches et soumis aux méthodes statistiques.

Dans wikipédia on trouve la définition suivante : Une donnée est une description élémentaire d'une réalité. C'est par exemple une observation ou une mesure.

Cette notion est précisée de la façon suivante :

- La donnée est dépourvue de tout raisonnement, supposition, constatation, probabilité. Étant indiscutable ou indiscutée, elle sert de base à une recherche, à un examen quelconque.

- Les données sont généralement le résultat d'un travail préalable sur les données brutes qui permettra de leur donner un sens et ainsi, d'obtenir une information. Les données sont un ensemble de valeurs mesurables en fonction d'un étalon de référence. La référence utilisée et la manière de traiter les données (brutes) sont autant d'interprétations implicites qui peuvent biaiser l'interprétation finale (limites des sondages).

- Par exemple, des données dans un graphique permettront à un être humain d'y associer un sens (une interprétation) et ainsi créer une nouvelle information.

Dans le livre "MDM : enjeux et méthodes de la gestion des données" [17], la donnée est définie par : "Description élémentaire de nature numérique ou alphanumérique, représentée sous forme
codée en vue d'être enregistrée, traitée, conservée et communiquée. Considérée individuellement, elle ne présente que peu d'intérêt humain et n'est donc utile que pour la machine."

On dit aussi que la donnée est une ressource, un actif de l'entreprise, au même titre qu'un bien matériel, et à ce titre :

- elle peut être valorisée,

- elle a un cycle de vie.

### 1.2.2 Information : Définition

Le Larousse propose la définition : "Élément de connaissance susceptible d'être représenté à l'aide de conventions pour être conservé, traité ou communiqué."

Dans wikipédia on trouve la définition suivante : "L'information est un concept. Au sens éthymologique, l'information est ce qui donne une forme à l'esprit. Elle vient du verbe latin informare, qui signifie "donner forme à" ou "se former une idée de".

Dans [17] on propose la définition : "Données agrégées en vue d'une utilisation par l'homme (par exemple, le résultat d'une requête décisionnelle qui somme des données individuelles est une information). On parle aussi d'élément de connaissance susceptible d'être représenté à l'aide de conventions pour être conservé, traité ou communiqué (image, texte, donnée structurée)."

Dans le domaine de la gestion, l'information est vue comme [4] : "Un ensemble d'éléments reflétant une réalité économique ou physique, susceptibles d'apporter de la connaissance utile à l'exercice de l'activité de l'entreprise".

L'information représente un élément essentiel de la cohérence organisationnelle de l'entreprise.

### 1.2.3 Donnée versus information

Comme le montre la figure 1.2 les notions de données et d'information sont liées, ainsi la donnée sert à constituer l'information. De plus l'information est elle-même un élément de la connaissance.

<figure><img src="image_8.png" /><figcaption>Figure 1.2 : Données, informations et connaissance</figcaption></figure>

D'un point de vue pratique l'information est déduite d'un ensemble de données. Les termes donnée et information sont donc assez proches mais pas équivalents. Les données peuvent être définies par des individus mais aussi par le système d'information. Par exemple, la date de création d'une commande, la quantité en stock d'un article, ... sont des données. Une donnée peut être vue comme un signal, alors que l'information est issue de la transformation de cette donnée par un processus cognitif qui lui donne du sens [23]. Les données sont stockées
codée en vue d'être enregistrée, traitée, conservée et communiquée. Considérée individuellement, elle ne présente que peu d'intérêt humain et n'est donc utile que pour la machine."

On dit aussi que la donnée est une ressource, un actif de l'entreprise, au même titre qu'un bien matériel, et à ce titre :

- elle peut être valorisée,

- elle a un cycle de vie.

## 1.2.2 Information : Définition

Le Larousse propose la définition : "Élément de connaissance susceptible d'être représenté à l'aide de conventions pour être conservé, traité ou communiqué."

Dans wikipédia on trouve la définition suivante : "L'information est un concept. Au sens éthymologique, l'information est ce qui donne une forme à l'esprit. Elle vient du verbe latin informare, qui signifie "donner forme à" ou "se former une idée de".

Dans [17] on propose la définition : "Données agrégées en vue d'une utilisation par l'homme (par exemple, le résultat d'une requête décisionnelle qui somme des données individuelles est une information). On parle aussi d'élément de connaissance susceptible d'être représenté à l'aide de conventions pour être conservé, traité ou communiqué (image, texte, donnée structurée)."

Dans le domaine de la gestion, l'information est vue comme [4] : "Un ensemble d'éléments reflétant une réalité économique ou physique, susceptibles d'apporter de la connaissance utile à l'exercice de l'activité de l'entreprise".

L'information représente un élément essentiel de la cohérence organisationnelle de l'entreprise.

## 1.2.3 Donnée versus information

Comme le montre la figure 1.2 les notions de données et d'information sont liées, ainsi la donnée sert à constituer l'information. De plus l'information est elle-même un élément de la connaissance.

<figure><img src="image_8.png" /><figcaption>Figure 1.2 : Données, informations et connaissance</figcaption></figure>

D'un point de vue pratique l'information est déduite d'un ensemble de données.

Les termes donnée et information sont donc assez proches mais pas équivalents. Les données peuvent être définies par des individus mais aussi par le système d'information. Par exemple, la date de création d'une commande, la quantité en stock d'un article, ... sont des données.

Une donnée peut être vue comme un signal, alors que l'information est issue de la transformation de cette donnée par un processus cognitif qui lui donne du sens [23]. Les données sont stockées
dans un système d'information et deviennent des informations dès lors qu'elles sont interprétées
dans leur contexte d'utilisation.

Considérons les exemples ci-dessous : Le mois dernier, les données suivantes ont été relevées :

1. 3210 baguettes ont été vendues

2. 600 croissants on été fabriqués

3. 1 intérimaire a été embauché

Ces données peuvent, après interprétation, fournir les informations suivantes :

1. augmentation du nombre de baguettes vendues de 10% par rapport au mois précédent

2. augmentation du nombre de croissants fabriqués de 50% par rapport au mois précédent

3. l'emploi d'un intérimaire est lié à une période de vacances scolaires (périodes durant lesquelles les ventes augmentent).

L'interprétation des données pour proposer des informations suppose la connaissance d'un contexte.

1.2.4 A qui et/ou à quoi servent les données ?

Les données sont une constante au sein des systèmes d'information. L'information dans l'entreprise est variée et dépend des différentes fonctions. Les métiers de l'entreprise ne peuvent être bien exercés que si l'information adéquate est disponible au bon moment, avec le niveau de précision adapté. De plus certaines données doivent être disponibles pour des raisons légales ou fiscales, ...

On peut ainsi citer :

- les contraintes légales. Dans certains pays les entreprises doivent publier leurs comptes, réaliser leur bilan, réaliser des flux de trésorerie, ... Et les entreprises doivent se conformer à des réglementations de plus en plus nombreuses (CNIL, RGPD depuis mai 2018, ...),

- les besoins opérationnels. Ils supposent généralement de saisir, consulter des données, d'éditer des documents. Ici la notion de donnée partagée est essentielle et il faut éviter de duppliquer les données.

- les besoins d'analyse et d'aide à la décision. Pour gérer l'entreprise les managers ont besoin de données synthétiques et pertinentes appelées *indicateurs*. Les données nécessaires à l'analyse sont stockées dans des bases de données dédiées appelées *entrepôts* de données ou *datawarehouse*.

- l'apparition d'applications capables de traiter spécifiquement de la gestion des données

- les nouvelles orientations technologiques au sein des systèmes d'information (SOA, BPM),

- la valorisation et la protection de la donnée au service de l'entreprise,

- l'émergence des notions de gouvernance des données associées à l'ensemble de ces mouvements.

Historiquement, le système d'information d'une entreprise s'est structuré autour des applications opérationnelles et des applications décisionnelles. On trouve dans le système opérationnel de production toutes les applications transactionnelles de l'entreprise, que ce soit en front, back-office ou support. Toutes ces applications génèrent la grande masse des données qui sont ensuite utilisées, notamment dans les applications décisionnelles, lesquelles ont besoin de données fiables et à jour.

Or dans ce type de système les données sont souvent dispersées dans les différentes applications.
dans un système d'information et deviennent des informations dès lors qu'elles sont interprétées
dans leur contexte d'utilisation.

Considérons les exemples ci-dessous : Le mois dernier, les données suivantes ont été relevées :

1. 3210 baguettes ont été vendues

2. 600 croissants on été fabriqués

3. 1 intérimaire a été embauché

Ces données peuvent, après interprétation, fournir les informations suivantes :

1. augmentation du nombre de baguettes vendues de 10% par rapport au mois précédent

2. augmentation du nombre de croissants fabriqués de 50% par rapport au mois précédent

3. l'emploi d'un intérimaire est lié à une période de vacances scolaires (périodes durant lesquelles les ventes augmentent).

L'interprétation des données pour proposer des informations suppose la connaissance d'un contexte.

1.2.4 A qui et/ou à quoi servent les données ?

Les données sont une constante au sein des systèmes d'information. L'information dans l'entreprise est variée et dépend des différentes fonctions. Les métiers de l'entreprise ne peuvent être bien exercés que si l'information adéquate est disponible au bon moment, avec le niveau de précision adapté. De plus certaines données doivent être disponibles pour des raisons légales ou fiscales, ...

On peut ainsi citer :

- les contraintes légales. Dans certains pays les entreprises doivent publier leurs comptes, réaliser leur bilan, réaliser des flux de trésorerie, ... Et les entreprises doivent se conformer à des réglementations de plus en plus nombreuses (CNIL, RGPD depuis mai 2018, ...),

- les besoins opérationnels. Ils supposent généralement de saisir, consulter des données, d'éditer des documents. Ici la notion de donnée partagée est essentielle et il faut éviter de duppliquer les données.

- les besoins d'analyse et d'aide à la décision. Pour gérer l'entreprise les managers ont besoin de données synthétiques et pertinentes appelées *indicateurs*. Les données nécessaires à l'analyse sont stockées dans des bases de données dédiées appelées *entrepôts* de données ou *datawarehouse*.

- l'apparition d'applications capables de traiter spécifiquement de la gestion des données

- les nouvelles orientations technologiques au sein des systèmes d'information (SOA, BPM),

- la valorisation et la protection de la donnée au service de l'entreprise,

- l'émergence des notions de gouvernance des données associées à l'ensemble de ces mouvements.

Historiquement, le système d'information d'une entreprise s'est structuré autour des applications opérationnelles et des applications décisionnelles. On trouve dans le système opérationnel de production toutes les applications transactionnelles de l'entreprise, que ce soit en front, back-office ou support. Toutes ces applications génèrent la grande masse des données qui sont ensuite utilisées, notamment dans les applications décisionnelles, lesquelles ont besoin de données fiables et à jour.

Or dans ce type de système les données sont souvent dispersées dans les différentes applications.
Il est alors difficile de savoir quelle application fournie "la bonne référence" pour telle donnée. Or certaines données sont utilisées par plusieurs applications du système et il faut alors savoir quelle donnée est utilisée. D'où l'intérêt d'un système d'information tel que nous l'avons présenté dans le premier paragraphe de ce chapitre, avec 3 sous-systèmes et en particulier le système d'information de gestion.

### 1.2.5 La structuration des données

Le volume de données ne cesse d'augmenter, et cette augmentation oblige à organiser le stockage et l'accès aux données en utilisant des bases de données.

La technologie a permis une très forte augmentation des capacités de stockage, ce qui a entraîné, avec une diminution des coûts, une augmentation très forte du volume d'informations stockées chaque année. Ce phénomène a été amplifié par l'utilisation d'internet avec les mails, les sites web, ... comme le montre par exemple la figure 1.3

En 2018, une étude d'IDC a estimé que le volume de données en 2025 sera de 175 Zo, soit 5,3

<figure><img src="image_9.png" /><figcaption>Figure 1.3 : Données stockées - Libération, Déc. 2012 [19]</figcaption></figure>

fois plus quen 2018. L'internet des objets ou IoT ayant une grande part dans cette augmentation.

Par ailleurs les sources d'information ont explosé au cours des dernières décennies :

- la mise à disposition d'ordinateurs dans les entreprises a constitué une étape importante dans la prolifération des données stockées et échangées. Chaque utilisateur d'un PC a ainsi pu créer, stocker, diffuser des données très facilement ; il consomme et produit beaucoup d'informations à tort ou à raison.

- l'arrivée d'internet et la généralisation des intranets a aussi accru les sources de données, participant là encore à une multiplication de celles-ci. Citons par exemple l'explosion du courrier électronique : en 2004, près de huit mille milliards de mails professionnels ont été échangés, nécessitant une capacité de stockage globale de cent cinquante mille Tera octets ! En 2018 on estime à 281 milliards le nombre de mail envoyés et reçus chaque jour dans le monde.

- la technologie participe aussi à ce mouvement : sans la contrainte d'un poste fixe, il est désormais possible de consulter, modifier, échanger des informations n'importe où et n'importe quand.
Il est alors difficile de savoir quelle application fournie "la bonne référence" pour telle donnée. Or certaines données sont utilisées par plusieurs applications du système et il faut alors savoir quelle donnée est utilisée. D'où l'intérêt d'un système d'information tel que nous l'avons présenté dans le premier paragraphe de ce chapitre, avec 3 sous-systèmes et en particulier le système d'information de gestion.

### 1.2.5 La structuration des données

Le volume de données ne cesse d'augmenter, et cette augmentation oblige à organiser le stockage et l'accès aux données en utilisant des bases de données.

La technologie a permis une très forte augmentation des capacités de stockage, ce qui a entraîné, avec une diminution des coûts, une augmentation très forte du volume d'informations stockées chaque année. Ce phénomène a été amplifié par l'utilisation d'internet avec les mails, les sites web, ... comme le montre par exemple la figure 1.3

En 2018, une étude d'IDC a estimé que le volume de données en 2025 sera de 175 Zo, soit 5,3

<figure><img src="image_9.png" /><figcaption>Figure 1.3 : Données stockées - Libération, Déc. 2012 [19]</figcaption></figure>

fois plus quen 2018. L'internet des objets ou IoT ayant une grande part dans cette augmentation.

Par ailleurs les sources d'information ont explosé au cours des dernières décennies :

- la mise à disposition d'ordinateurs dans les entreprises a constitué une étape importante dans la prolifération des données stockées et échangées. Chaque utilisateur d'un PC a ainsi pu créer, stocker, diffuser des données très facilement ; il consomme et produit beaucoup d'informations à tort ou à raison.

- l'arrivée d'internet et la généralisation des intranets a aussi accru les sources de données, participant là encore à une multiplication de celles-ci. Citons par exemple l'explosion du courrier électronique : en 2004, près de huit mille milliards de mails professionnels ont été échangés, nécessitant une capacité de stockage globale de cent cinquante mille Tera octets ! En 2018 on estime à 281 milliards le nombre de mail envoyés et reçus chaque jour dans le monde.

- la technologie participe aussi à ce mouvement : sans la contrainte d'un poste fixe, il est désormais possible de consulter, modifier, échanger des informations n'importe où et n'importe quand.
Cette évolution de la technologie a ainsi permis une utilisation sans contrainte qui explique la prolifération des données.

Les bases de données permettent de stocker une bonne partie de ces informations et de faciliter leur accès. Dans de nombreux systèmes d'information d'entreprise on utilise des bases de données relationnelles, cependant les bases de données NoSQL se développent de plus en plus.

Dans le cadre qui nous intéresse nous resterons sur des systèmes dits de gestion et plutôt relationnels :

- les SGBDR ne stockent une donnée qu'une seule fois (non-redondance des données),

- les données sont indépendantes des applications qui les utilisent,

- les SGBD assurent la sécurité des données, à savoir leur confidentialité, leur fiabilité, leur traçabilité et leur intégrité.

## 1.3 Résumé

Nous avons vu dans ce chapitre le rôle essentiel de la donnée et de l'information dans les entreprises. La qualité et la maitrise des données sont un enjeu majeur pour les entreprises. L'explosion des données et de leurs sources a conduit à organiser ces données dans des bases de données.

En bref [9] : "Dans un contexte où les défis des entreprises et des administrations sont de plus en plus nombreux, disposer d'un capital de données de qualité devient une nécessité incontournable. Déferlement d'informations sans précédent, pressions réglementaires, exigences de contrôle interne, cohérence des échanges avec les partenaires, satisfaction des clients sont autant de défis à relever par les entreprises. La maitrise de la qualité des données est désormais un enjeu important. Il s'agit de fournir des données correctes, complètes, à jour et cohérentes tout en mettant en place des indicateurs compréhensibles, faciles à communiquer, peu coûteux et simples à calculer. La direction générale et ses directions métiers doivent disposer d'une vision unifiée et exploitable des informations, afin de prendre les bonnes décisions au moment opportun."
Cette évolution de la technologie a ainsi permis une utilisation sans contrainte qui explique la prolifération des données.

Les bases de données permettent de stocker une bonne partie de ces informations et de faciliter leur accès. Dans de nombreux systèmes d'information d'entreprise on utilise des bases de données relationnelles, cependant les bases de données NoSQL se développent de plus en plus.

Dans le cadre qui nous intéresse nous resterons sur des systèmes dits de gestion et plutôt relationnels :

- les SGBDR ne stockent une donnée qu'une seule fois (non-redondance des données),

- les données sont indépendantes des applications qui les utilisent,

- les SGBD assurent la sécurité des données, à savoir leur confidentialité, leur fiabilité, leur traçabilité et leur intégrité.

## 1.3 Résumé

Nous avons vu dans ce chapitre le rôle essentiel de la donnée et de l'information dans les entreprises. La qualité et la maitrise des données sont un enjeu majeur pour les entreprises. L'explosion des données et de leurs sources a conduit à organiser ces données dans des bases de données.

En bref [9] : "Dans un contexte où les défis des entreprises et des administrations sont de plus en plus nombreux, disposer d'un capital de données de qualité devient une nécessité incontournable. Déferlement d'informations sans précédent, pressions réglementaires, exigences de contrôle interne, cohérence des échanges avec les partenaires, satisfaction des clients sont autant de défis à relever par les entreprises. La maitrise de la qualité des données est désormais un enjeu important. Il s'agit de fournir des données correctes, complètes, à jour et cohérentes tout en mettant en place des indicateurs compréhensibles, faciles à communiquer, peu coûteux et simples à calculer. La direction générale et ses directions métiers doivent disposer d'une vision unifiée et exploitable des informations, afin de prendre les bonnes décisions au moment opportun."
# Chapter 2

## Les grands types d'applications informatiques dans l'entreprise

Nous présentons dans ce chapitre les grandes applications informatiques d'entreprise, à savoir les ERP ou *Enterprise Resource Planning*, les CRM ou *Customer Relationship Management*, l'e-commerce et l'informatique décisionnelle ou *Business Intelligence*.

### 2.1 Progiciels de gestion intégrés : ERP

Un ERP ou *Enterprise Resource Planning* encore appelé en français PGI ou Progiciel de gestion intégré est un système d'information qui permet de gérer et suivre au quotidien, l'ensemble des informations et des services opérationnels d'une entreprise. Il répond aux caractéristiques suivantes :

- il émane d'un concepteur unique,

- il garantit à l'utilisateur l'unicité d'information assurée par la disponibilité de l'intégralité de la structure de la base de données à partir de chacun des modules, même pris individuellement,

- il repose sur une mise à jour en temps réel des informations modifiées dans tous les modules affectés,

- il fournit des pistes d'audit basées sur la garantie d'une totale traçabilité des opérations de gestion,

- il couvre soit une fonction (ou filière) de gestion, soit la totalité du système d'information de l'entreprise.

En d'autres termes un ERP est une solution logicielle visant à unifier le système d'information d'une entreprise en intégrant les différentes composantes fonctionnelles autour notamment d'une base de données unique, comme le montre la figure 2.1.

On trouve sur le marché un certain nombre de produits propriétaires ou libres tels que :

- Propriétaires : SAP, Oracle, GEAC, SAGE, SSA Global, ...

- Libres : Aria, Compiere, ERP5, Fisterra, OFBiz, OpenBravo, PGI Suite, Tiny ERP/Open ERP, TiOlive, Value Entreprise, ...
<figure><img src="image_10.png" /></figure>

# Les grands types d'applications informatiques dans l'entreprise

Nous présentons dans ce chapitre les grandes applications informatiques d'entreprise, à savoir les ERP ou *Enterprise Resource Planning*, les CRM ou *Customer Relationship Management*, l'e-commerce et l'informatique décisionnelle ou *Business Intelligence*.

## 2.1 Progiciels de gestion intégrés : ERP

Un ERP ou *Enterprise Resource Planning* encore appelé en français PGI ou Progiciel de gestion intégré est un système d'information qui permet de gérer et suivre au quotidien, l'ensemble des informations et des services opérationnels d'une entreprise. Il répond aux caractéristiques suivantes :

- il émane d'un concepteur unique,

- il garantit à l'utilisateur l'unicité d'information assurée par la disponibilité de l'intégralité de la structure de la base de données à partir de chacun des modules, même pris individuellement,

- il repose sur une mise à jour en temps réel des informations modifiées dans tous les modules affectés,

- il fournit des pistes d'audit basées sur la garantie d'une totale traçabilité des opérations de gestion,

- il couvre soit une fonction (ou filière) de gestion, soit la totalité du système d'information de l'entreprise.

En d'autres termes un ERP est une solution logicielle visant à unifier le système d'information d'une entreprise en intégrant les différentes composantes fonctionnelles autour notamment d'une base de données unique, comme le montre la figure 2.1.

On trouve sur le marché un certain nombre de produits propriétaires ou libres tels que :

- Propriétaires : SAP, Oracle, GEAC, SAGE, SSA Global, ...

- Libres : Aria, Compiere, ERP5, Fisterra, OFBiz, OpenBravo, PGI Suite, Tiny ERP/Open ERP, TiOlive, Value Entreprise, ...
<figure><img src="image_10.png" /><figcaption>Figure 2.1 : l'ERP et les composantes fonctionnelles de l'entreprise</figcaption></figure>

## 2.2 Systèmes de gestion de la relation Client : CRM

Un CRM ou *Customer Relationship Management* encore appelé en français GRC ou Gestion de la relation client, permet de mieux maitriser les interactions avec les clients. C'est un système d'acquisition de données clients qui est orienté en fonction du domaine d'activité de l'entreprise. Le CRM permet de partager une base de données des clients (contacts, prospects, ...) unique consolidée et surtout mise à jour en temps réel. Il permet à l'ensemble des personnes de l'entreprise de disposer d'une vision complète des clients (historique, besoins, commandes, ...).

Ce progiciel permet d'optimiser la relation *Entreprise - Client* avec une approche globale du client (beaucoup d'entreprises sont encore organisées autour des produits). Il permet de gérer l'organisation marketing de l'entreprise.

On trouve sur le marché un certain nombre de produits propriétaires ou libres tels que :

- Propriétaires : SALES Force, INFOCOB, C-FIRST, UPDATE, AKOBA-Solution, ...

- Libres : CRM Open Source, CiviCRM, CremeCRM, Dolibarr, Odoo, Vtiger, ...

## 2.3 E-commerce

Ces dix dernières années ont vu le e-commerce exploser.

### 2.3.1 E-commerce : définitions

"Le commerce électronique fait référence à des activités dans lesquelles des entreprises - ou des consommateurs - utilisent Internet pour identifier des fournitures, sélectionner des produits et des services, effectuer des transactions financières et / ou obtenir des services. La livraison peut avoir lieu en ligne ou en dehors d'Internet. La couverture de la recherche comprend des plates-formes et des technologies de commerce électronique ainsi que le commerce électronique mobile." [26]

Wikipédia donne la définition suivante :
<figure><img src="image_11.png" /><figcaption>Figure 2.1 : l'ERP et les composantes fonctionnelles de l'entreprise</figcaption></figure>

## 2.2 Systèmes de gestion de la relation Client : CRM

Un CRM ou *Customer Relationship Management* encore appelé en français GRC ou Gestion de la relation client, permet de mieux maitriser les interactions avec les clients. C'est un système d'acquisition de données clients qui est orienté en fonction du domaine d'activité de l'entreprise. Le CRM permet de partager une base de données des clients (contacts, prospects, ...) unique consolidée et surtout mise à jour en temps réel. Il permet à l'ensemble des personnes de l'entreprise de disposer d'une vision complète des clients (historique, besoins, commandes, ...).

Ce progiciel permet d'optimiser la relation *Entreprise - Client* avec une approche globale du client (beaucoup d'entreprises sont encore organisées autour des produits). Il permet de gérer l'organisation marketing de l'entreprise.

On trouve sur le marché un certain nombre de produits propriétaires ou libres tels que :

- Propriétaires : SALES Force, INFOCOB, C-FIRST, UPDATE, AKOBA-Solution, ...

- Libres : CRM Open Source, CiviCRM, CremeCRM, Dolibarr, Odoo, Vtiger, ...

## 2.3 E-commerce

Ces dix dernières années ont vu le e-commerce exploser.

### 2.3.1 E-commerce : définitions

"Le commerce électronique fait référence à des activités dans lesquelles des entreprises - ou des consommateurs - utilisent Internet pour identifier des fournitures, sélectionner des produits et des services, effectuer des transactions financières et / ou obtenir des services. La livraison peut avoir lieu en ligne ou en dehors d'Internet. La couverture de la recherche comprend des plates-formes et des technologies de commerce électronique ainsi que le commerce électronique mobile." [26]

Wikipédia donne la définition suivante :
"Le commerce électronique (ou e-commerce, commerce en ligne, vente en ligne ou à distance, parfois cybercommerce) est l'échange pécuniaire de biens, de services et d'informations par l'intermédiaire des réseaux informatiques, notamment Internet."

### 2.3.2 Quelques chiffres

1. Le site Suisse, Bilan ([24]) a affiché pour l'année 2017 les résultats suivant :
"Les ventes en ligne ont crû de 10% l'an dernier par rapport à 2016, pour totaliser 8,6 milliards de francs. La part du tourisme d'achat sur Internet a explosé de 23% à 1,6 milliard."

2. En France, la FEVAD ou "Fédération e-commerce et vente à distance" ([25]) a publié le bilan e-commerce de la France pour l'année 2017 :
Le chiffre d'affaires global a progressé de 14% entre 2016 et 2017.
Les principaux chiffres à retenir sont :

- Les statistiques du e-commerce (janvier-mars 2017)

- 81,7 milliards d'euros de chiffre d'affaires, +14,3% par rapport à 2016

- 1,2 milliard de transactions, +20,5% par rapport à l'année 2016

- Depuis deux ans, la croissance du e-commerce est tirée par la hausse du nombre de transactions (et non par le panier moyen, en baisse) : +19% depuis deux ans.

- Les ventes en ligne se banalisent

- 36 millions de Français ont effectué au moins un achat sur Internet (+1 million)

- Fréquence d'achat en hausse : +13%

- On réalise en moyenne 33 transactions par an (28 en 2016)

- 763 dépensés en moyenne par acheteur lors de l'année 2017

- Panier moyen en baisse (-5%) : 65,5 vs 69 en 2016

- La FEVAD ([25]) indique que le panier moyen sur Internet se rapproche progressivement du panier moyen en magasin : l'achat sur Internet se banalise.

Pour avoir les derniers chiffres (2018, ...) concernant la France, vous pouvez consulter le site de la FEVAD.

### 2.3.3 E-commerce : pour faire quoi ?

On vend tout ou presque sur Internet, mais tout ne se vend pas de la même manière ([20]). Ainsi on peut faire une première distinction entre les différents sites de e-commerce par rapport à ce qu'ils vendent :

- les produits physiques, qu'il faut stocker, manipuler, livrer,

- les services, qui sont achetés en ligne pour être servis à terme: prestation de tourisme, entrée dans un musée, ...

- les produits et services numériques, qui peuvent être livrés par le web : dépôts d'annonces, abonnements à un journal, achats de musique, ...

Ces produits possèdent leurs propres contraintes et spécificités. Tous les outils de e-commerce ne sont pas forcément capables de prendre en compte des notions telles que un calendrier de réservation, la gestion fine de stocks, la sécurisation des contenus pour les produits numériques, ...
"Le commerce électronique (ou e-commerce, commerce en ligne, vente en ligne ou à distance, parfois cybercommerce) est l'échange pécuniaire de biens, de services et d'informations par l'intermédiaire des réseaux informatiques, notamment Internet."

## 2.3.2 Quelques chiffres

1. Le site Suisse, Bilan ([24]) a affiché pour l'année 2017 les résultats suivant :
"Les ventes en ligne ont crû de 10% l'an dernier par rapport à 2016, pour totaliser 8,6 milliards de francs. La part du tourisme d'achat sur Internet a explosé de 23% à 1,6 milliard."

2. En France, la FEVAD ou "Fédération e-commerce et vente à distance" ([25]) a publié le bilan e-commerce de la France pour l'année 2017 :
Le chiffre d'affaires global a progressé de 14% entre 2016 et 2017.
Les principaux chiffres à retenir sont :

- Les statistiques du e-commerce (janvier-mars 2017)

- 81,7 milliards d'euros de chiffre d'affaires, +14,3% par rapport à 2016

- 1,2 milliard de transactions, +20,5% par rapport à l'année 2016

- Depuis deux ans, la croissance du e-commerce est tirée par la hausse du nombre de transactions (et non par le panier moyen, en baisse) : +19% depuis deux ans.

- Les ventes en ligne se banalisent

- 36 millions de Français ont effectué au moins un achat sur Internet (+1 million)

- Fréquence d'achat en hausse : +13%

- On réalise en moyenne 33 transactions par an (28 en 2016)

- 763 dépensés en moyenne par acheteur lors de l'année 2017

- Panier moyen en baisse (-5%) : 65,5 vs 69 en 2016

- La FEVAD ([25]) indique que le panier moyen sur Internet se rapproche progressivement du panier moyen en magasin : l'achat sur Internet se banalise.

Pour avoir les derniers chiffres (2018, ...) concernant la France, vous pouvez consulter le site de la FEVAD.

## 2.3.3 E-commerce : pour faire quoi ?

On vend tout ou presque sur Internet, mais tout ne se vend pas de la même manière ([20]). Ainsi on peut faire une première distinction entre les différents sites de e-commerce par rapport à ce qu'ils vendent :

- les produits physiques, qu'il faut stocker, manipuler, livrer,

- les services, qui sont achetés en ligne pour être servis à terme: prestation de tourisme, entrée dans un musée, ...

- les produits et services numériques, qui peuvent être livrés par le web : dépôts d'annonces, abonnements à un journal, achats de musique, ...

Ces produits possèdent leurs propres contraintes et spécificités. Tous les outils de e-commerce ne sont pas forcément capables de prendre en compte des notions telles que un calendrier de réservation, la gestion fine de stocks, la sécurisation des contenus pour les produits numériques, ...
Une solution e-commerce ne se réduit pas à un outil de vente en ligne. On peut avoir des sites marchands qui ne proposent pas d'acte d'achat en ligne, mais proposent un catalogue.

## 2.4 Informatique décisionnelle : BI

Wikipédia propose la définition suivante de l'informatique décisionnelle :

> "L'informatique décisionnelle (en anglais business intelligence (BI) ou decision support system (DSS)) est l'informatique à l'usage des décideurs et des dirigeants d'entreprises. Elle désigne les moyens, les outils et les méthodes qui permettent de collecter, consolider, modéliser et restituer les données, matérielles ou immatérielles, d'une entreprise en vue d'offrir une aide à la décision et de permettre à un décideur d'avoir une vue d'ensemble de l'activité traitée."

On parle aussi d'aide au pilotage ou en anglais de Business Intelligence. Ces systèmes permettent d'analyser et de synthétiser les données de l'entreprise pour guider la prise de décision au sein de l'entreprise. Les informations synthétiques sont appelées **indicateurs**.

Ces systèmes sont composés d'un ensemble de solutions informatiques qui permettent de les analyser. Le processus de l'informatique décisionnelle est composé de quatre phases (cf. figure

<figure><img src="image_11.png" /><figcaption>Figure 2.2 : Le flux de données en BI</figcaption></figure>

2.2) : de la donnée à l'information.

1. collecter, nettoyer et consolider les données. Extraire les données des systèmes de production et les adapter à un usage décisionnel ;

2. stocker, centraliser les données structurées et traitées afin qu'elles soient disponibles pour un usage décisionnel ;

3. distribuer ou plutôt faciliter l'accessibilité des informations selon les fonctions et les types d'utilisation ;

4. exploiter ou assister du mieux possible l'utilisateur afin qu'il puisse extraire la substance de l'information des données stockées à cet usage.
Une solution e-commerce ne se réduit pas à un outil de vente en ligne. On peut avoir des sites marchands qui ne proposent pas d'acte d'achat en ligne, mais proposent un catalogue.

## 2.4 Informatique décisionnelle : BI

Wikipédia propose la définition suivante de l'informatique décisionnelle :
"L'informatique décisionnelle (en anglais business intelligence (BI) ou decision support system (DSS)) est l'informatique à l'usage des décideurs et des dirigeants d'entreprises. Elle désigne les moyens, les outils et les méthodes qui permettent de collecter, consolider, modéliser et restituer les données, matérielles ou immatérielles, d'une entreprise en vue d'offrir une aide à la décision et de permettre à un décideur d'avoir une vue d'ensemble de l'activité traitée."

On parle aussi d'aide au pilotage ou en anglais de Business Intelligence. Ces systèmes permettent d'analyser et de synthétiser les données de l'entreprise pour guider la prise de décision au sein de l'entreprise. Les informations synthétiques sont appelées **indicateurs**.

Ces systèmes sont composés d'un ensemble de solutions informatiques qui permettent de les analyser. Le processus de l'informatique décisionnelle est composé de quatre phases (cf. figure

<figure><img src="image_12.png" /><figcaption>Figure 2.2 : Le flux de données en BI</figcaption></figure>

2.2) : de la donnée à l'information.

1. collecter, nettoyer et consolider les données. Extraire les données des systèmes de production et les adapter à un usage décisionnel ;

2. stocker, centraliser les données structurées et traitées afin qu'elles soient disponibles pour un usage décisionnel ;

3. distribuer ou plutôt faciliter l'accessibilité des informations selon les fonctions et les types d'utilisation ;

4. exploiter ou assister du mieux possible l'utilisateur afin qu'il puisse extraire la substance de l'information des données stockées à cet usage.
## 2.4.1 ETL

En général les données nécessaires à l'informatique décisionnelle proviennent du système d'information global de l'entreprise qui génère d'immense volumes de données. On doit ainsi collecter les données sources de l'entreprise, ce qui est fait en général avec un ETL ou *Extract Transform and Load*.

L'ETL est un outil qui permet d'extraire, de transformer et d'homogénéiser des données provenant de sources très différentes et hétérogènes. Les données fournies par l'ETL, dans un format adapté, sont ensuite stockées dans un entrepôt de données. Les données sont souvent gardées plusieurs années afin de permettre une analyse et une comparaison des données sur des périodes assez longues.

On trouve sur le marché un certain nombre de produits propriétaires ou libres plus ou moins complets. Notons en particulier des outils tels que Talend ETL, Pentaho, Informatica PowerCenter, SAS ou un outil très simple tel que OpenRefine.

## 2.4.2 L'entrepôt de données

Un entrepôt de données, ou datawarehouse, est une vision centralisée et universelle de toutes les informations de l'entreprise. C'est une base de données qui regroupe les données de l'entreprise à des fins analytiques et pour aider à la décision. On peut le voir comme un tas d'informations épurées, organisées, historisées et provenant de plusieurs sources de données, servant aux analyses et à l'aide à la décision.

L'entrepôt de données repose souvent sur un modèle de données dit dimensionnel (cf. figure 2.3). Dans un tel modèle les données sont représentées comme des faits (mesures) et des dimensions (contexte : qui, quoi, où, quand, comment) et ces dernières ne sont pas normalisées ; on obtient ainsi des données regroupées selon des catégories qui ont un sens pour l'utilisateur et la dénormalisation accroit les performances en évitant des jointures très couteuses. On parle de schéma en étoile, une table de faits est liée à plusieurs tables de dimensions.

Ce type de modèle est adapté à la définition de plusieurs axes d'analyse des données, on pourra

<figure><img src="image_12.png" /><figcaption>Figure 2.3 : Schéma en étoile</figcaption></figure>

ainsi analyser les données selon des axes géographique, temporel, client, produit, ...
## 2.4.1 ETL

En général les données nécessaires à l'informatique décisionnelle proviennent du système d'information global de l'entreprise qui génère d'immense volumes de données. On doit ainsi collecter les données sources de l'entreprise, ce qui est fait en général avec un ETL ou *Extract Transform and Load*.

L'ETL est un outil qui permet d'extraire, de transformer et d'homogénéiser des données provenant de sources très différentes et hétérogènes. Les données fournies par l'ETL, dans un format adapté, sont ensuite stockées dans un entrepôt de données. Les données sont souvent gardées plusieurs années afin de permettre une analyse et une comparaison des données sur des périodes assez longues.

On trouve sur le marché un certain nombre de produits propriétaires ou libres plus ou moins complets. Notons en particulier des outils tels que Talend ETL, Pentaho, Informatica PowerCenter, SAS ou un outil très simple tel que OpenRefine.

## 2.4.2 L'entrepôt de données

Un entrepôt de données, ou datawarehouse, est une vision centralisée et universelle de toutes les informations de l'entreprise. C'est une base de données qui regroupe les données de l'entreprise à des fins analytiques et pour aider à la décision. On peut le voir comme un tas d'informations épurées, organisées, historisées et provenant de plusieurs sources de données, servant aux analyses et à l'aide à la décision.

L'entrepôt de données repose souvent sur un modèle de données dit dimensionnel (cf. figure 2.3). Dans un tel modèle les données sont représentées comme des faits (mesures) et des dimensions (contexte : qui, quoi, où, quand, comment) et ces dernières ne sont pas normalisées ; on obtient ainsi des données regroupées selon des catégories qui ont un sens pour l'utilisateur et la dénormalisation accroit les performances en évitant des jointures très couteuses. On parle de schéma en étoile, une table de faits est liée à plusieurs tables de dimensions.

Ce type de modèle est adapté à la définition de plusieurs axes d'analyse des données, on pourra

<figure><img src="image_13.png" /><figcaption>Figure 2.3 : Schéma en étoile</figcaption></figure>

ainsi analyser les données selon des axes géographique, temporel, client, produit, ...
### 2.4.3 Générateur de rapports ou Reporting

Un rapport restitue des informations de façon lisible et synthétique. Il est généralement imprimé. Le générateur de rapports est quand à lui une application qui permet de concevoir un rapport et de le générer. A chaque génération, l'utilisateur peut définir les valeurs des différents paramètres du rapport. La phase de conception reste dédiée à des experts alors que la phase de génération peut être réalisée par tout utilisateur.

### 2.4.4 Analyse à la demande ou Ad hoc

Dans les années 2000-2010, le besoin de conception de rapports simples pour les utilisateurs finaux a conduit à la proposition d'outils de reporting dits "Ad hoc". On propose deux modes de travail :

- le mode rapport statique : il permet de trouver une information récurrente qui est définie en amont par des experts. Une fois construit ce type de rapport peut être généré de façon quasi-automatique.

- le mode interactif : il permet de chercher une information. Dans ce cas c'est l'utilisateur final qui construit la requête. Les outils permettant ce type de requêtage doivent donc être simples d'utilisation et fournir des résultats avec de bons temps de réponse.

### 2.4.5 Analyse multidimensionnelle ou OLAP

L'analyse multidimensionnelle ou OLAP (OnLine Analytical Processing) est un mode d'analyse courant dans l'informatique décisionnelle. On part de jeux d'informations élémentaires, en grand nombre. Chaque information représente un événement caractérisé par un identifiant unique, des attributs qualifiant l'information et des grandeurs portant une information quantitative.

- Les informations sont "recomposées" avant d'être analysées (on dénormalise la base). On obtient ainsi un tableau de données avec beaucoup de redondances.

- Ensuite, ces informations sont agrégées en fonction de certaines caractéristiques, et les valeurs de certains attributs seront additionnées, ...

- Enfin, l'analyse multidimensionnelle sélectionne des axes d'analyse et l'ordre dans lesquels on les utilise et définit des grandeurs qui seront étudiées.

OLAP et les entrepôts de données sont complémentaires. Un entrepôt de données stocke et gère les données tandis que OLAP transforme les données de l'entrepôt en informations stratégiques. OLAP peut réaliser des calculs ou des analyses comme les séries temporelles ou la modélisation complexe.

On peut définir OLAP comme étant l'ensemble des technologies qui, se basant sur une représentation multi-dimensionnelle des données, permettent aux analystes et décideurs de traiter leurs données de façon analytique, interactive et rapide et de voir les données de l'entreprise sous plusieurs angles (dimensions).

**Exemple** : Ci-dessous voici un exemple tiré du document [21].

Considérons une entité élémentaire : la ligne de facture de vente. C'est souvent l'information la plus fine dont on dispose par rapport aux processus de vente.

La ligne de facture porte sur la vente d'un produit à un client à une date (axes), dans une quantité, à un prix unitaire (mesures).
### 2.4.3 Générateur de rapports ou Reporting

Un rapport restitue des informations de façon lisible et synthétique. Il est généralement imprimé. Le générateur de rapports est quand à lui une application qui permet de concevoir un rapport et de le générer. A chaque génération, l'utilisateur peut définir les valeurs des différents paramètres du rapport. La phase de conception reste dédiée à des experts alors que la phase de génération peut être réalisée par tout utilisateur.

### 2.4.4 Analyse à la demande ou Ad hoc

Dans les années 2000-2010, le besoin de conception de rapports simples pour les utilisateurs finaux a conduit à la proposition d'outils de reporting dits "Ad hoc". On propose deux modes de travail :

- le mode rapport statique : il permet de trouver une information récurrente qui est définie en amont par des experts. Une fois construit ce type de rapport peut être généré de façon quasi-automatique.

- le mode interactif : il permet de chercher une information. Dans ce cas c'est l'utilisateur final qui construit la requête. Les outils permettant ce type de requêtage doivent donc être simples d'utilisation et fournir des résultats avec de bons temps de réponse.

### 2.4.5 Analyse multidimensionnelle ou OLAP

L'analyse multidimensionnelle ou OLAP (OnLine Analytical Processing) est un mode d'analyse courant dans l'informatique décisionnelle. On part de jeux d'informations élémentaires, en grand nombre. Chaque information représente un événement caractérisé par un identifiant unique, des attributs qualifiant l'information et des grandeurs portant une information quantitative.

- Les informations sont "recomposées" avant d'être analysées (on dénormalise la base). On obtient ainsi un tableau de données avec beaucoup de redondances.

- Ensuite, ces informations sont agrégées en fonction de certaines caractéristiques, et les valeurs de certains attributs seront additionnées, ...

- Enfin, l'analyse multidimensionnelle sélectionne des axes d'analyse et l'ordre dans lesquels on les utilise et définit des grandeurs qui seront étudiées.

OLAP et les entrepôts de données sont complémentaires. Un entrepôt de données stocke et gère les données tandis que OLAP transforme les données de l'entrepôt en informations stratégiques. OLAP peut réaliser des calculs ou des analyses comme les séries temporelles ou la modélisation complexe.

On peut définir OLAP comme étant l'ensemble des technologies qui, se basant sur une représentation multi-dimensionnelle des données, permettent aux analystes et décideurs de traiter leurs données de façon analytique, interactive et rapide et de voir les données de l'entreprise sous plusieurs angles (dimensions).

**Exemple** : Ci-dessous voici un exemple tiré du document [21].

Considérons une entité élémentaire : la ligne de facture de vente. C'est souvent l'information la plus fine dont on dispose par rapport aux processus de vente.

La ligne de facture porte sur la vente d'un produit à un client à une date (axes), dans une quantité, à un prix unitaire (mesures).
Sur le client lui-même, on possède d'autres informations : pays, région, type de client, secteur de métier, etc. Par ailleurs, le client est peut-être affecté à un commercial.

L'information des axes peut être hiérarchisée de la façon suivante :

- jour -> mois -> trimestre -> année

- produit -> catégorie de produit

- client -> secteur de métier.

Une première étape est donc l'identification des informations nécessaires aux analyses. Ce qui donne par exemple :

- Date : année, mois, jour, ...

- Produit : SKU, catégorie, ...

- Client : secteur de métier, pays, commercial attitré, ...

- Ligne de commande : Quantité, Prix Unitaire, Chiffre d'affaires.

Les premières informations constituent les axes d'analyse potentiels, la dernière, les grandeurs ou mesures à analyser.

Dans l'analyse multidimensionnelle, la modélisation relationnelle applicative des sources opérationnelles n'est pas la plus pertinente, ni la plus efficace. On préfère généralement une modélisation en étoile où l'on dénormalise les axes, c'est à dire que l'on travaille sur des tables dans lesquelles ont été rassemblées toutes les informations utiles.

Dans l'exemple on obtient :

<table><caption>Table 2.1 : Exemple OLAP : Données dénormalisées</caption><thead><tr><th>Date</th><th>Prod</th><th>Segment</th><th>Famille</th><th>Client</th><th>Pays</th><th>Comm.</th><th>Qté</th><th>CA</th></tr></thead><tbody><tr><td>10/03/17</td><td>0991</td><td>Tondeuse</td><td>Jardin</td><td>Castorama</td><td>France</td><td>Lepaul</td><td>50</td><td>50000</td></tr><tr><td>10/03/17</td><td>0952</td><td>Perceuse</td><td>Outil</td><td>Castorama</td><td>France</td><td>Lepaul</td><td>120</td><td>11000</td></tr><tr><td>30/04/17</td><td>0991</td><td>Tondeuse</td><td>Jardin</td><td>LeroyMerlin</td><td>France</td><td>Legrand</td><td>250</td><td>25000</td></tr><tr><td>...</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr></tbody></table>

Le tableau dénormalisé contient des redondances, mais l'objectif ici n'est pas de gérer les problèmes d'intégrité ou de cohérence de données mais bien de pouvoir simplement d'analyser l'information.

L'étape suivante consiste à réaliser un premier niveau d'agrégation, c'est à dire à réunir certaines lignes. On suppose ici que les données ne seront pas utilisées au niveau de la référence produit, mais uniquement par segment. On réunit toutes les lignes identiques pour la clé (date, segment, famille, client, pays, commercial), et on cumule les grandeurs quantité et CA.

La dernière étape est celle de l'analyse multidimensionnelle proprement dite, qui consiste à sélectionner des axes d'analyse. Parmi ces axes, on peut distinguer :

- Des axes à valeurs discrètes, ou discontinues, c'est à dire qui portent un nombre fini de valeurs, par exemple un code postal, un segment.

- Des axes à valeurs continues, typiquement une date, un prix. On peut les ramener à un nombre discret de valeurs en définissant des tranches : tranches de prix, tranches d'âges.

On distingue également :

- des grandeurs cumulables, par exemple un montant, un nombre d'items,
Sur le client lui-même, on possède d'autres informations : pays, région, type de client, secteur de métier, etc. Par ailleurs, le client est peut-être affecté à un commercial.

L'information des axes peut être hiérarchisée de la façon suivante :

- jour -> mois -> trimestre -> année

- produit -> catégorie de produit

- client -> secteur de métier.

Une première étape est donc l'identification des informations nécessaires aux analyses. Ce qui donne par exemple :

- Date : année, mois, jour, ...

- Produit : SKU, catégorie, ...

- Client : secteur de métier, pays, commercial attitré, ...

- Ligne de commande : Quantité, Prix Unitaire, Chiffre d'affaires.

Les premières informations constituent les axes d'analyse potentiels, la dernière, les grandeurs ou mesures à analyser.

Dans l'analyse multidimensionnelle, la modélisation relationnelle applicative des sources opérationnelles n'est pas la plus pertinente, ni la plus efficace. On préfère généralement une modélisation en étoile où l'on dénormalise les axes, c'est à dire que l'on travaille sur des tables dans lesquelles ont été rassemblées toutes les informations utiles.

Dans l'exemple on obtient :

<table><caption>Table 2.1 : Exemple OLAP : Données dénormalisées</caption><thead><tr><th>Date</th><th>Prod</th><th>Segment</th><th>Famille</th><th>Client</th><th>Pays</th><th>Comm.</th><th>Qté</th><th>CA</th></tr></thead><tbody><tr><td>10/03/17</td><td>0991</td><td>Tondeuse</td><td>Jardin</td><td>Castorama</td><td>France</td><td>Lepaul</td><td>50</td><td>50000</td></tr><tr><td>10/03/17</td><td>0952</td><td>Perceuse</td><td>Outil</td><td>Castorama</td><td>France</td><td>Lepaul</td><td>120</td><td>11000</td></tr><tr><td>30/04/17</td><td>0991</td><td>Tondeuse</td><td>Jardin</td><td>LeroyMerlin</td><td>France</td><td>Legrand</td><td>250</td><td>25000</td></tr><tr><td>...</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr></tbody></table>

Le tableau dénormalisé contient des redondances, mais l'objectif ici n'est pas de gérer les problèmes d'intégrité ou de cohérence de données mais bien de pouvoir simplement d'analyser l'information.

L'étape suivante consiste à réaliser un premier niveau d'agrégation, c'est à dire à réunir certaines lignes. On suppose ici que les données ne seront pas utilisées au niveau de la référence produit, mais uniquement par segment. On réunit toutes les lignes identiques pour la clé (date, segment, famille, client, pays, commercial), et on cumule les grandeurs quantité et CA.

La dernière étape est celle de l'analyse multidimensionnelle proprement dite, qui consiste à sélectionner des axes d'analyse. Parmi ces axes, on peut distinguer :

- Des axes à valeurs discrètes, ou discontinues, c'est à dire qui portent un nombre fini de valeurs, par exemple un code postal, un segment.

- Des axes à valeurs continues, typiquement une date, un prix. On peut les ramener à un nombre discret de valeurs en définissant des tranches : tranches de prix, tranches d'âges.

On distingue également :

- des grandeurs cumulables, par exemple un montant, un nombre d'items,
– des grandeurs non cumulables, par exemple l’âge ou la date.

Les grandeurs cumulables sont celles qu'il est pertinent d'agréger, c'est à dire dont on peut calculer la somme, (ou la moyenne ou d'autres fonctions mathématiques), pour un sous-ensemble de lignes, par exemple pour chaque thématique. On obtient ainsi le type de schéma (2.4) :

<figure><img src="image_13.png" /><figcaption>Figure 2.4 : Cube OLAP</figcaption></figure>

### 2.4.6 Fouille des données ou Data Mining

Le Data Mining, appelé encore fouille de données ou forage de données (2.5), est une composante essentielle des technologies Big Data et des techniques d'analyse de données volumineuses.

En règle générale, le terme Data Mining désigne l'analyse de données depuis différentes perspectives et le fait de transformer ces données en informations utiles, en établissant des relations entre les données ou en repérant des patterns. Le datamining recherche des informations statistiques (tendance, corrélation, similitude, ...) cachées dans de grands volumes de données et qui ne sont pas encore identifiées par l'utilisateur.

Citons par exemple l'analyse des achats sur un site de vente en ligne qui peut faire apparaître des corrélations entre les achats de certains produits. Ou plus récemment citons les travaux de la société Cambridge Analytica (créée en 2013) qui a étudié des données concernant des citoyens lors de campagnes électorales en utilisant des outils de datamining.
– des grandeurs non cumulables, par exemple l'âge ou la date.

Les grandeurs cumulables sont celles qu'il est pertinent d'agréger, c'est à dire dont on peut
calculer la somme, (ou la moyenne ou d'autres fonctions mathématiques), pour un sous-
ensemble de lignes, par exemple pour chaque thématique. On obtient ainsi le type de schéma
(2.4) :

<figure><img src="image_14.png" /><figcaption>Figure 2.4 : Cube OLAP</figcaption></figure>

2.4.6 Fouille des données ou Data Mining

Le Data Mining, appelé encore fouille de données ou forage de données (2.5), est une composante essentielle des technologies Big Data et des techniques d'analyse de données volumineuses.

En règle générale, le terme Data Mining désigne l'analyse de données depuis différentes perspectives et le fait de transformer ces données en informations utiles, en établissant des relations entre les données ou en repérant des patterns. Le datamining recherche des informations statistiques (tendance, corrélation, similitude, ...) cachées dans de grands volumes de données et qui ne sont pas encore identifiées par l'utilisateur.

Citons par exemple l'analyse des achats sur un site de vente en ligne qui peut faire apparaître des corrélations entre les achats de certains produits. Ou plus récemment citons les travaux de la société Cambridge Analytica (créée en 2013) qui a étudié des données concernant des citoyens lors de campagnes électorales en utilisant des outils de datamining.
<figure><img src="image_14.png" /><figcaption>Figure 2.5 : Data Mining</figcaption></figure>

## Dis-moi qui tu « likes », je te dirai pour qui voter

Pour l'économiste Michael Wade, les méthodes utilisées par Cambridge Analytica apportent un changement majeur dans le domaine du marketing

groupes spécifiques d'électeurs selon des catégories telles que le sexe, l'âge, le revenu, le niveau d'éducation, le nom-bre de personnes dans le ménage, l'affiliation politique, les préférences d'achats... La machine d'analyse des données d'Hillary Clinton utilisait des techniques modernes de compression

Figure 2.6 : Article du 26 mars 2018 - Le monde

### 2.4.7 Tableau de bord

C'est une forme particulière de reporting, particulièrement synthétique (tient sur une feuille A4), qui regroupe plusieurs indicateurs significatif de l'activité de l'entreprise et qui peut être personnalisé en fonction de son destinataire.

### 2.4.8 Master Data Management ou MDM

Le MDM ou gestion des données référentielles, a pour objectif d'assurer la cohérence, la qualité et la pérennité des données de référence dans un système d'information dont les données proviennent de sources de données hétérogènes. Nous reviendrons sur cette gestion des données dans la dernière partie du cours.

### 2.4.9 Les outils de l'informatique décisionnelle

Citons les outils :

- Libres ([21]): Pentaho, Talend, Birt, Jasper Reports, JPivot, Palo, Weka, ...

- propriétaires ([27]): Business Objects (SAP), SAS, IBM, Microsoft, Information Builders, Oracle, OpenText, MicroStrategy, ...

## 2.5 En résumé

Cette présentation assez rapide des grands outils du système d'information de l'entreprise montre
<figure><img src="image_15.png" /><figcaption>Figure 2.5 : Data Mining</figcaption></figure>

## Dis-moi qui tu « likes », je te dirai pour qui voter

Pour l'économiste Michael Wade, les méthodes utilisées par Cambridge Analytica apportent un changement majeur dans le domaine du marketing

groupes spécifiques d'électeurs selon des catégories telles que le sexe, l'âge, le revenu, le niveau d'éducation, le nom-bre de personnes dans le ménage, l'affiliation politique, les préférences d'achats... La machine d'analyse des données d'Hillary Clinton utilisait des techniques modernes de compression de données.

Figure 2.6 : Article du 26 mars 2018 - Le monde

### 2.4.7 Tableau de bord

C'est une forme particulière de reporting, particulièrement synthétique (tient sur une feuille A4), qui regroupe plusieurs indicateurs significatif de l'activité de l'entreprise et qui peut être personnalisé en fonction de son destinataire.

### 2.4.8 Master Data Management ou MDM

Le MDM ou gestion des données référentielles, a pour objectif d'assurer la cohérence, la qualité et la pérennité des données de référence dans un système d'information dont les données proviennent de sources de données hétérogènes. Nous reviendrons sur cette gestion des données dans la dernière partie du cours.

### 2.4.9 Les outils de l'informatique décisionnelle

Citons les outils :

- Libres ([21]): Pentaho, Talend, Birt, Jasper Reports, JPivot, Palo, Weka, ...

- propriétaires ([27]): Business Objects (SAP), SAS, IBM, Microsoft, Information Builders, Oracle, OpenText, MicroStrategy, ...

## 2.5 En résumé

Cette présentation assez rapide des grands outils du système d'information de l'entreprise montre
l'importance des données. Le coeur du système est la donnée et sans données de qualité aucun système ne saura produire des informations, voire de la connaissance de qualité.
l'importance des données. Le coeur du système est la donnée et sans données de qualité aucun système ne saura produire des informations, voire de la connaissance de qualité.
# Part II

## Qualité des données
# Part II

## Qualité des données
# Chapter 3

## Qu'est-ce que la qualité des données ?

Pour exploiter au mieux ses données, une entreprise doit gérer la qualité de ses données. Ce processus doit être permanent et nécessite la mise en place de processus de qualité des données. Ce chapitre présente la notion de qualité des données et ses différentes facettes. Si actuellement les différents acteurs des données ont pris conscience de l'importance de la qualité des données, il n'existe pas de définition "universelle" de la notion de qualité. Celle-ci est décomposée et présentée grâce à des dimensions, caractéristiques, critères, ...

### 3.1 La qualité

Avant de définir la notion de qualité des données, nous présenterons de façon plus générale la notion de qualité.

#### 3.1.1 Qu'est-ce que la qualité ?

Depuis de nombreuses années des travaux ont été réalisés sur la qualité. D'après [16], W. E. Deming a affirmé que les améliorations de la qualité mènent à l'amélioration de la productivité et donc de la compétitivité. Il a aussi mis en avant que "le client est la partie la plus importante de la chaine de production".

Quelques années plus tard, J.M. Juran a proposé une définition simple de la qualité "la meilleure adéquation au besoin" ou "aptitude à l'utilisation". Il identifie 3 raisons qui poussent une entreprise à s'intéresser à la qualité : la baisse des ventes, les coûts d'une mauvaise qualité et les menaces pour l'entreprise liées aux produits de mauvaise qualité. Pour gérer la qualité il propose une trilogie des processus de gestion de la qualité : la planification, le contrôle et l'amélioration de la qualité.

Pour finir P.B. Crosby est revenu sur le rôle essentiel du client : "la seule caractéristique absolument essentielle dans la gestion du 21ème siècle est celle d'acquérir la capacité à diriger une organisation qui donne à ses clients exactement ce qu'ils demandent et ce avec la plus grande efficacité".

Par ailleurs la série de normes ISO 9000 s'intéresse à la gestion de la qualité et la certification
# Chapter 3

## Qu'est-ce que la qualité des données ?

Pour exploiter au mieux ses données, une entreprise doit gérer la qualité de ses données. Ce processus doit être permanent et nécessite la mise en place de processus de qualité des données. Ce chapitre présente la notion de qualité des données et ses différentes facettes. Si actuellement les différents acteurs des données ont pris conscience de l'importance de la qualité des données, il n'existe pas de définition "universelle" de la notion de qualité. Celle-ci est décomposée et présentée grâce à des dimensions, caractéristiques, critères, ...

### 3.1 La qualité

Avant de définir la notion de qualité des données, nous présenterons de façon plus générale la notion de qualité.

#### 3.1.1 Qu'est-ce que la qualité ?

Depuis de nombreuses années des travaux ont été réalisés sur la qualité. D'après [16], W. E. Deming a affirmé que les améliorations de la qualité mènent à l'amélioration de la productivité et donc de la compétitivité. Il a aussi mis en avant que "le client est la partie la plus importante de la chaine de production".

Quelques années plus tard, J.M. Juran a proposé une définition simple de la qualité "la meilleure adéquation au besoin" ou "aptitude à l'utilisation". Il identifie 3 raisons qui poussent une entreprise à s'intéresser à la qualité : la baisse des ventes, les coûts d'une mauvaise qualité et les menaces pour l'entreprise liées aux produits de mauvaise qualité. Pour gérer la qualité il propose une trilogie des processus de gestion de la qualité : la planification, le contrôle et l'amélioration de la qualité.

Pour finir P.B. Crosby est revenu sur le rôle essentiel du client : "la seule caractéristique absolument essentielle dans la gestion du 21ème siècle est celle d'acquérir la capacité à diriger une organisation qui donne à ses clients exactement ce qu'ils demandent et ce avec la plus grande efficacité".

Par ailleurs la série de normes ISO 9000 s'intéresse à la gestion de la qualité et la certification
ISO 9000 permet aux entreprises de montrer leurs capacités à fournir des produits ou des services de qualité.

### 3.1.2 Qu'est-ce que la qualité des données ?

Les problèmes de qualité des données stockées dans les systèmes d'information des entreprises se propagent et touchent tous les types de données et dans tous les domaines d'application (données gouvernementales, commerciales, industrielles, de recherche) [3]. Il s'agit souvent d'erreurs sur les données, des doublons, des valeurs manquantes, incomplètes, obsolètes, ... Les conséquences de la non qualité des données sont considérables, d'après une étude présentée en 2015 "la pauvre qualité des données coûte aux entreprises américaines 600 milliards de dollars par an".

On a autant de définitions de la qualité des données que d'articles ou livres parlant de cette notion.

Wikipédia propose la définition suivante en s'appuyant sur des propositions de J.M. Juran : "La qualité des données, en informatique se réfère à la conformité des données aux usages prévus, dans les modes opératoires, les processus, les prises de décision, et la planification. De même, les données sont jugées de grande qualité si elles représentent correctement le mode de fabrication auquel elles se réferent. Ces deux points de vue peuvent souvent entrer en contradiction, y compris lorsqu'un même ensemble de données est utilisé avec un objectif commun".

"Les données sont de haute qualité si elles sont aptes à être utilisées dans le but qui a conduit à les recueillir, que ce soit pour l'aménagement, l'aide à la décision, ou la planification" d'après [22].

Certaines normes telles que les normes ISO 8402:1994, ISO 9000:2005 et enfin ISO 9000:2015 définissent de façon plus générale la qualité comme "l'ensemble des caractéristiques d'une entité qui lui conferent l'aptitude à satisfaire des besoins exprimés ou implicites". On parle ainsi du "degré d'adéquation de l'entité à l'usage que l'on en fait" [?].

La qualité des données est multidimensionnelle : elle implique la gestion des données, la modélisation et l'analyse, le contrôle et l'assurance qualité, le stockage et la présentation ([6]).

La première définition que nous proposons est la suivante : Une donnée est dite de qualité si elle satisfait les besoins de ses utilisateurs.

Il est immédiat que la qualité d'une donnée dépend de son utilisation et donc de ses utilisateurs. Une donnée peut ainsi être considérée comme étant de qualité par un utilisateur et être jugée de mauvaise qualité par un autre utilisateur.

Prenons l'exemple d'un fichier client dans lequel on dispose de la commune du client. Ce fichier sera tout à fait adapté pour réalisé des études, pour connaitre le nombre de clients dans une commune, par contre si l'objectif est de livrer le client, ce fichier sera considéré comme de mauvaise qualité. On met en avant ici le coté subjectif de cette notion.

Il n'y a pas de consensus sur la définition même de la qualité des données [2]. Si tout le monde s'accorde sur le fait que la qualité d'une donnée peut se décomposer en un certain nombre de *dimensions, critères, facteurs, éléments* ou *attributs* (les uns, subjectifs nécessitant un jugement et une expertise humaine et les autres, quantifiables et pouvant se mesurer par une grande variété de techniques et de métriques), aucune définition ne fait l'unanimité. Plus de deux cents dimensions ont été recensées dans la littérature.
ISO 9000 permet aux entreprises de montrer leurs capacités à fournir des produits ou des services de qualité.

### 3.1.2 Qu'est-ce que la qualité des données ?

Les problèmes de qualité des données stockées dans les systèmes d'information des entreprises se propagent et touchent tous les types de données et dans tous les domaines d'application (données gouvernementales, commerciales, industrielles, de recherche) [3]. Il s'agit souvent d'erreurs sur les données, des doublons, des valeurs manquantes, incomplètes, obsolètes, ... Les conséquences de la non qualité des données sont considérables, d'après une étude présentée en 2015 "la pauvre qualité des données coûte aux entreprises américaines 600 milliards de dollars par an".

On a autant de définitions de la qualité des données que d'articles ou livres parlant de cette notion.

Wikipédia propose la définition suivante en s'appuyant sur des propositions de J.M. Juran : "La qualité des données, en informatique se réfère à la conformité des données aux usages prévus, dans les modes opératoires, les processus, les prises de décision, et la planification. De même, les données sont jugées de grande qualité si elles représentent correctement le mode de fabrication auquel elles se réferent. Ces deux points de vue peuvent souvent entrer en contradiction, y compris lorsqu'un même ensemble de données est utilisé avec un objectif commun".

"Les données sont de haute qualité si elles sont aptes à être utilisées dans le but qui a conduit à les recueillir, que ce soit pour l'aménagement, l'aide à la décision, ou la planification" d'après [22].

Certaines normes telles que les normes ISO 8402:1994, ISO 9000:2005 et enfin ISO 9000:2015 définissent de façon plus générale la qualité comme "l'ensemble des caractéristiques d'une entité qui lui conferent l'aptitude à satisfaire des besoins exprimés ou implicites". On parle ainsi du "degré d'adéquation de l'entité à l'usage que l'on en fait" [?].

La qualité des données est multidimensionnelle : elle implique la gestion des données, la modélisation et l'analyse, le contrôle et l'assurance qualité, le stockage et la présentation ([6]).

La première définition que nous proposons est la suivante : Une donnée est dite de qualité si elle satisfait les besoins de ses utilisateurs.

Il est immédiat que la qualité d'une donnée dépend de son utilisation et donc de ses utilisateurs. Une donnée peut ainsi être considérée comme étant de qualité par un utilisateur et être jugée de mauvaise qualité par un autre utilisateur.

Prenons l'exemple d'un fichier client dans lequel on dispose de la commune du client. Ce fichier sera tout à fait adapté pour réalisé des études, pour connaitre le nombre de clients dans une commune, par contre si l'objectif est de livrer le client, ce fichier sera considéré comme de mauvaise qualité. On met en avant ici le coté subjectif de cette notion.

Il n'y a pas de consensus sur la définition même de la qualité des données [2]. Si tout le monde s'accorde sur le fait que la qualité d'une donnée peut se décomposer en un certain nombre de dimensions, critères, facteurs, éléments ou attributs (les uns, subjectifs nécessitant un jugement et une expertise humaine et les autres, quantifiables et pouvant se mesurer par une grande variété de techniques et de métriques), aucune définition ne fait l'unanimité. Plus de deux cents dimensions ont été recensées dans la littérature.
## 3.2 Panorama des critères de qualité des données

Il existe différents critères de qualité des données, citons : la qualité du contenu des données avec la justesse, la pertinence, la compréhensibilité, l'accessibilité des données avec la disponibilité et la facilité d'accès aux données, la crédibilité des données, leur complétude, leur actualité, ... En fonction des auteurs on trouve différents critères, classés de différentes façons.

Les différents travaux sur la qualité des données ont permis de définir tout un ensemble de critères regroupés en dimensions. L'article de Wang al. [14] a ainsi étudié plus 120 articles proposant une classification des différentes dimensions et critères de la qualité de l'information. Nous présentons ici quelques propositions mis en avant dans [2].

<table><caption>Table 3.1 : Propositions de dimensions pour décrire la qualité des données</caption><thead><tr><td>Auteurs</td><td>Date</td><td>Nbre de dimensions</td><td>Dimensions</td></tr></thead><tbody><tr><td>Brodie [5]</td><td>1980</td><td>6 concepts</td><td>Intégrité, Maintenance des données<br/>Niveau d'abstraction du modèle conceptuel<br/>Expressivité sémantique<br/>Validité par rapport à des données de référence<br/>Efficacité dans l'utilisation des ressources</td></tr><tr><td>Delen, Rijsenbrij [7]</td><td>1992</td><td>4 dimensions<br/>21 aspects<br/>40 attributs</td><td>Développement et contrôle du SI<br/>Propriétés statistiques de maintenance<br/>Fonctionnement dynamique<br/>Importance de l'information : donnée correcte, complète, mise à jour, précise, vérifiable</td></tr><tr><td>Wang, Storey Firth</td><td>1995</td><td>4 catégories<br/>179 attributs</td><td>Qualité intrinsèque, d'accessibilité<br/>Qualité contextuelle<br/>Qualité de la représentation</td></tr><tr><td>Redman</td><td>1996</td><td>4 dimensions pour les valeurs<br/>8 dimensions pour le format de représentation</td><td>Précision, complétude, actualité, cohérence<br/>Donnée appropriée, interprétable, portable, précision et flexibilité du format, possibilité de représenter les valeurs nulles, utilisation efficace, cohérence</td></tr><tr><td>Calabretto, Pinon, Pouillet, Richez</td><td>1998</td><td>3 critères</td><td>Disponibilité<br/>Fiabilité, Adaptabilité</td></tr><tr><td>Aebi, Perrochon</td><td>1998</td><td>3 composantes</td><td>Donnée correcte, complète et minimale</td></tr><tr><td>ICIS [8]</td><td>2009</td><td>5 dimensions</td><td>Exactitude, Actualité, Comparabilité<br/>Facilité d'utilisation, Pertinence</td></tr><tr><td>Régnier-Pécastaing Gabassi, Finet [17]</td><td>2008</td><td>4 types de critères</td><td>Relativité, Critères intrinsèques<br/>Critères de services, de sécurité</td></tr></tbody></table>
## 3.2 Panorama des critères de qualité des données

Il existe différents critères de qualité des données, citons : la qualité du contenu des données avec la justesse, la pertinence, la compréhensibilité, l'accessibilité des données avec la disponibilité et la facilité d'accès aux données, la crédibilité des données, leur complétude, leur actualité, ... En fonction des auteurs on trouve différents critères, classés de différentes façons.

Les différents travaux sur la qualité des données ont permis de définir tout un ensemble de critères regroupés en dimensions. L'article de Wang al. [14] a ainsi étudié plus 120 articles proposant une classification des différentes dimensions et critères de la qualité de l'information. Nous présentons ici quelques propositions mis en avant dans [2].

<table><caption>Table 3.1 : Propositions de dimensions pour décrire la qualité des données</caption><thead><tr><td>Auteurs</td><td>Date</td><td>Nbre de dimensions</td><td>Dimensions</td></tr></thead><tbody><tr><td>Brodie [5]</td><td>1980</td><td>6 concepts</td><td>Intégrité, Maintenance des données<br/>Niveau d'abstraction du modèle conceptuel<br/>Expressivité sémantique<br/>Validité par rapport à des données de référence<br/>Efficacité dans l'utilisation des ressources</td></tr><tr><td>Delen, Rijsenbrij [7]</td><td>1992</td><td>4 dimensions<br/>21 aspects<br/>40 attributs</td><td>Développement et contrôle du SI<br/>Propriétés statistiques de maintenance<br/>Fonctionnement dynamique<br/>Importance de l'information : donnée correcte, complète, mise à jour, précise, vérifiable</td></tr><tr><td>Wang, Storey Firth</td><td>1995</td><td>4 catégories<br/>179 attributs</td><td>Qualité intrinsèque, d'accessibilité<br/>Qualité contextuelle<br/>Qualité de la représentation</td></tr><tr><td>Redman</td><td>1996</td><td>4 dimensions pour les valeurs<br/>8 dimensions pour le format de représentation</td><td>Précision, complétude, actualité, cohérence<br/>Donnée appropriée, interprétable, portable, précision et flexibilité du format, possibilité de représenter les valeurs nulles, utilisation efficace, cohérence</td></tr><tr><td>Calabretto, Pinon, Pouillet, Richez</td><td>1998</td><td>3 critères</td><td>Disponibilité<br/>Fiabilité, Adaptabilité</td></tr><tr><td>Aebi, Perrochon</td><td>1998</td><td>3 composantes</td><td>Donnée correcte, complète et minimale</td></tr><tr><td>ICIS [8]</td><td>2009</td><td>5 dimensions</td><td>Exactitude, Actualité, Comparabilité<br/>Facilité d'utilisation, Pertinence</td></tr><tr><td>Régnier-Pécastaing Gabassi, Finet [17]</td><td>2008</td><td>4 types de critères</td><td>Relativité, Critères intrinsèques<br/>Critères de services, de sécurité</td></tr></tbody></table>
## 3.3 Présentation de quelques critères de qualité des données

Nous proposons ici de présenter les critères de qualité de données en partant de la classification proposée dans [17] (dernière proposition du tableau 3.1). Nous verrons ainsi trois grandes catégories de critères de qualité : les critères intrinsèques aux données, les critères de services et les critères de sécurité. En règle générale, les critères d'évaluation de la qualité des données d'un système sont définis en fonction des objectifs et des priorités de l'organisation qui utilise le système d'information.

### 3.3.1 Critères intrinsèques aux données

#### 3.3.1.1 L'unicité

L'unicité permet de savoir si il existe de multiples et redondantes représentations des mêmes instances de données dans le système.

On souhaite ici que chaque entité du monde réel représentée dans l'entreprise ne le soit qu'une unique fois. L'utilisation dans l'entreprise de différents outils renforce le risque de duplication des données. Ce qui provoque des difficultés de mise à jour des données et la vue de l'entité n'est plus unifiée.

Chaque entité doit être identifiée par un **identifiant unique**. Ce type d'identifiant permet d'éviter les doublons et évite les confusions entre entités distinctes.

Il existe deux façons de définir l'unicité de données :

1. la façon *déterministe* : repose sur des règles définissant quels champs sont caractéristiques d'une entité. Par exemple deux entités ayant le même identifiant correspondent à la même entité, ou deux clients ayant le même téléphone correspondent au même client.

2. la façon *probabiliste* : repose comme la première méthode sur des champs caractéristiques mais aussi sur des fréquences ou approximations portant sur l'ensemble des données correspondant aux entités comparées.

#### 3.3.1.2 La complétude

La complétude permet de dire si toutes les informations requises sont disponibles.

Il est important d'avoir des données complètes, ceci signifie que certains champs de données doivent être renseignés. Il est aussi important d'avoir des groupes avec des données complètes pour pouvoir réaliser certains traitements, la question ici est donc : est-ce que les données nécessaires sont disponibles ? Il faut de plus définir des règles par rapport aux données manquantes et définir des seuils de données manquantes.

Au niveau d'une entité la complétude peut s'exprimer par exemple, pour une entité représentant une entreprise, par le fait que le numéro SIRET soit rempli. Au niveau d'un jeu de données, la complétude peut signifier que beaucoup d'entreprises du CAC40 sont dans la table Entreprise. Ainsi la complétude concerne à la fois un concept manquant, une donnée manquante dans un champ mais aussi des valeurs parasites (numéro SIRET rempli avec la valeur "0000000") et un taux de couverture de base (nombre de données manquantes par rapport à une "population de base").
## 3.3 Présentation de quelques critères de qualité des données

Nous proposons ici de présenter les critères de qualité de données en partant de la classification proposée dans [17] (dernière proposition du tableau 3.1). Nous verrons ainsi trois grandes catégories de critères de qualité : les critères intrinsèques aux données, les critères de services et les critères de sécurité. En règle générale, les critères d'évaluation de la qualité des données d'un système sont définis en fonction des objectifs et des priorités de l'organisation qui utilise le système d'information.

### 3.3.1 Critères intrinsèques aux données

#### 3.3.1.1 L'unicité

L'unicité permet de savoir si il existe de multiples et redondantes représentations des mêmes instances de données dans le système.

On souhaite ici que chaque entité du monde réel représentée dans l'entreprise ne le soit qu'une unique fois. L'utilisation dans l'entreprise de différents outils renforce le risque de duplication des données. Ce qui provoque des difficultés de mise à jour des données et la vue de l'entité n'est plus unifiée.

Chaque entité doit être identifiée par un **identifiant unique**. Ce type d'identifiant permet d'éviter les doublons et évite les confusions entre entités distinctes.

Il existe deux façons de définir l'unicité de données :

1. la façon *déterministe* : repose sur des règles définissant quels champs sont caractéristiques d'une entité. Par exemple deux entités ayant le même identifiant correspondent à la même entité, ou deux clients ayant le même téléphone correspondent au même client.

2. la façon *probabiliste* : repose comme la première méthode sur des champs caractéristiques mais aussi sur des fréquences ou approximations portant sur l'ensemble des données correspondant aux entités comparées.

#### 3.3.1.2 La complétude

La complétude permet de dire si toutes les informations requises sont disponibles.

Il est important d'avoir des données complètes, ceci signifie que certains champs de données doivent être renseignés. Il est aussi important d'avoir des groupes avec des données complètes pour pouvoir réaliser certains traitements, la question ici est donc : est-ce que les données nécessaires sont disponibles ? Il faut de plus définir des règles par rapport aux données manquantes et définir des seuils de données manquantes.

Au niveau d'une entité la complétude peut s'exprimer par exemple, pour une entité représentant une entreprise, par le fait que le numéro SIRET soit rempli. Au niveau d'un jeu de données, la complétude peut signifier que beaucoup d'entreprises du CAC40 sont dans la table Entreprise. Ainsi la complétude concerne à la fois un concept manquant, une donnée manquante dans un champ mais aussi des valeurs parasites (numéro SIRET rempli avec la valeur "0000000") et un taux de couverture de base (nombre de données manquantes par rapport à une "population de base").
### 3.3.1.3 L'exactitude

L'exactitude permet de savoir si les données représentent bien la réalité.

Une donnée est exacte si la valeur des attributs de l'entité concernée est égale ou peut être considérée comme égale à la grandeur qu'elle est censée représenter dans le monde réel. Les notions d'exactitude et de précision sont souvent confondues. Plus formellement on peut définir l'exactitude comme étant la distance entre une valeur V et une valeur V' qui sont respectivement la représentation d'une réalité dans le système et la représentation exacte de la réalité. On fait référence à la proximité des valeurs mesurées, observées ou estimées avec la valeur réelle.

- **Exactitude** : On considère qu'une donnée est exacte lorsqu'elle représente la réalité. Par exemple le code postal 25000 correspond à "Besançon".

- **Précision** : On parle aussi de résolution. La précision statistique correspond à la proximité de valeurs d'observation répétées. On peut avoir une bonne précision statistique mais une mauvaise exactitude.

L'exactitude d'une donnée dépend aussi de son niveau de granularité qui doit correspondre à l'usage de la donnée. Une donnée "relativement précise" pourra être utilisée dans certains cas. Considérons une donnée du type le nombre d'étudiants à l'UFC est supérieur à 20000, cette donnée est exacte et utilisable pour un traitement travaillant sur des classements d'universités selon leur nombre d'étudiants avec des paliers. Par contre si l'objectif est de pouvoir imprimer des plaquettes pour les fournir ensuite à chaque étudiant, cette donnée n'est pas suffisamment précise.

La figure 3.1 présente l'exemple d'un point sur une carte qui correspond à la réalité et aux mesures qui sont proposées.

<figure><img src="image_15.png" /><figcaption>Figure 3.1 : Précision et exactitude</figcaption></figure>

### 3.3.1.4 La conformité

L'information est-elle dans un format non prévu ?

La conformité d'un ensemble de données est le respect par celles-ci d'un ensemble de contraintes. Considérons par exemple le code INSEE d'une personne ; celui-ci doit être composé de 13 chiffres et commencer par 1 ou 2.

La conformité peut être vue comme une sous-propriété de l'exactitude : des données exactes sont conformes, le contraire n'étant pas vrai. Ce critère est cependant important d'un point de vue pratique car il permet une mise en place simple de contrôles de données dits contrôles de
### 3.3.1.3 L'exactitude

L'exactitude permet de savoir si les données représentent bien la réalité.

Une donnée est exacte si la valeur des attributs de l'entité concernée est égale ou peut être considérée comme égale à la grandeur qu'elle est censée représenter dans le monde réel. Les notions d'exactitude et de précision sont souvent confondues. Plus formellement on peut définir l'exactitude comme étant la distance entre une valeur V et une valeur V' qui sont respectivement la représentation d'une réalité dans le système et la représentation exacte de la réalité. On fait référence à la proximité des valeurs mesurées, observées ou estimées avec la valeur réelle.

- **Exactitude** : On considère qu'une donnée est exacte lorsqu'elle représente la réalité. Par exemple le code postal 25000 correspond à "Besançon".

- **Précision** : On parle aussi de résolution. La précision statistique correspond à la proximité de valeurs d'observation répétées. On peut avoir une bonne précision statistique mais une mauvaise exactitude.

L'exactitude d'une donnée dépend aussi de son niveau de granularité qui doit correspondre à l'usage de la donnée. Une donnée "relativement précise" pourra être utilisée dans certains cas. Considérons une donnée du type *le nombre d'étudiants à l'UFC est supérieur à 20000*, cette donnée est exacte et utilisable pour un traitement travaillant sur des classements d'universités selon leur nombre d'étudiants avec des paliers. Par contre si l'objectif est de pouvoir imprimer des plaquettes pour les fournir ensuite à chaque étudiant, cette donnée n'est pas suffisamment précise.

La figure 3.1 présente l'exemple d'un point sur une carte qui correspond à la réalité et aux mesures qui sont proposées.

<figure><img src="image_16.png" /><figcaption>Figure 3.1 : Précision et exactitude</figcaption></figure>

### 3.3.1.4 La conformité

L'information est-elle dans un format non prévu ?

La conformité d'un ensemble de données est le respect par celles-ci d'un ensemble de contraintes. Considérons par exemple le code INSEE d'une personne ; celui-ci doit être composé de 13 chiffres et commencer par 1 ou 2.

La conformité peut être vue comme une sous-propriété de l'exactitude : des données exactes sont conformes, le contraire n'étant pas vrai. Ce critère est cependant important d'un point de vue pratique car il permet une mise en place simple de contrôles de données dits contrôles de
conformité. Ainsi vérifier qu'un numéro Insee commence bien par 1 ou 2 est simple et permet d'éliminer des premières erreurs de façon simple.

Les contrôles de conformité permettent d'éliminer dès la saisie des données inexactes. La conformité par rapport à un ensemble de contraintes ne constitue cependant pas une garantie d'exactitude.

### 3.3.1.5 La cohérence

*Deux instances distinctes de données d'un même objet produisent-elles de l'information conflictuelle ?*

Ce critère est à la fois un critère intrinsèque et de service.

Au niveau intrinsèque, la cohérence signifie l'absence d'informations conflictuelles concernant une même entité. Considérons par exemple un étudiant et l'historique de ses notes dans une unité d'étude. La note conservée par l'étudiant est normalement la plus haute note qu'il a obtenu à ses différents examens. Si la note conservée est inférieure à l'une des notes qu'il a obtenu, il y a un problème car ces deux valeurs sont en conflit.

Au niveau service, la cohérence signifie l'absence de conflit avec les valeurs d'une autre entité. Reprenons notre étudiant, il ne peut pas avoir une note supérieure dans une UE au nombre de points associé à cette UE.

On parle aussi de cohérence avec d'autres sources de données. Dans un système d'information on a de nombreuses données partagées entre les différentes applications informatiques qui le constituent. Il est important de les identifier et des les traiter de façon cohérente. De plus dans la mesure du possible il faut voir si il existe des "normes" de codification de ces données.

### 3.3.1.6 L'intégrité

*Les relations importantes entre objets sont-elles toutes présentes ?*

Les données ne sont pas indépendantes les unes des autres, ainsi une note fait référence à un étudiant et une UE. Si la note ne renvoie pas vers une étudiant et une UE, c'est un problème d'intégrité.

## 3.3.2 Critères de services

### 3.3.2.1 L'actualité

*Les données sont-elles suffisamment à jour au moment de leur utilisation ?*

Dans [8] l'actualité est présentée de la façon suivante : "L'actualité désigne principalement le caractère courant ou à jour des données au moment de leur diffusion selon l'écart entre la fin de la période de référence à laquelle les données se rapportent et la date à laquelle les données deviennent accessibles aux utilisateurs." On parle aussi d'opportunité. Il existe un rapport assez fort entre les données et le temps.

On parle en particulier d'obsolescence des données. Une valeur de donnée qui a été à un moment exacte peut devenir incorrecte suite à un changement de l'objet observé ou devient périmée à une date donnée.

Considérons les exemples suivants :

- l'âge d'une personne (enregistrée dans un système) devient obsolète à l'anniversaire de la personne.
conformité. Ainsi vérifier qu'un numéro Insee commence bien par 1 ou 2 est simple et permet d'éliminer des premières erreurs de façon simple.

Les contrôles de conformité permettent d'éliminer dès la saisie des données inexactes. La conformité par rapport à un ensemble de contraintes ne constitue cependant pas une garantie d'exactitude.

### 3.3.1.5 La cohérence

*Deux instances distinctes de données d'un même objet produisent-elles de l'information conflictuelle ?*

Ce critère est à la fois un critère intrinsèque et de service.

Au niveau intrinsèque, la cohérence signifie l'absence d'informations conflictuelles concernant une même entité. Considérons par exemple un étudiant et l'historique de ses notes dans une unité d'étude. La note conservée par l'étudiant est normalement la plus haute note qu'il a obtenu à ses différents examens. Si la note conservée est inférieure à l'une des notes qu'il a obtenu, il y a un problème car ces deux valeurs sont en conflit.

Au niveau service, la cohérence signifie l'absence de conflit avec les valeurs d'une autre entité. Reprenons notre étudiant, il ne peut pas avoir une note supérieure dans une UE au nombre de points associé à cette UE.

On parle aussi de cohérence avec d'autres sources de données. Dans un système d'information on a de nombreuses données partagées entre les différentes applications informatiques qui le constituent. Il est important de les identifier et des les traiter de façon cohérente. De plus dans la mesure du possible il faut voir si il existe des "normes" de codification de ces données.

### 3.3.1.6 L'intégrité

*Les relations importantes entre objets sont-elles toutes présentes ?*

Les données ne sont pas indépendantes les unes des autres, ainsi une note fait référence à un étudiant et une UE. Si la note ne renvoie pas vers une étudiant et une UE, c'est un problème d'intégrité.

## 3.3.2 Critères de services

### 3.3.2.1 L'actualité

*Les données sont-elles suffisamment à jour au moment de leur utilisation ?*

Dans [8] l'actualité est présentée de la façon suivante : "L'actualité désigne principalement le caractère courant ou à jour des données au moment de leur diffusion selon l'écart entre la fin de la période de référence à laquelle les données se rapportent et la date à laquelle les données deviennent accessibles aux utilisateurs." On parle aussi d'opportunité. Il existe un rapport assez fort entre les données et le temps.

On parle en particulier d'obsolescence des données. Une valeur de donnée qui a été à un moment exacte peut devenir incorrecte suite à un changement de l'objet observé ou devient périmée à une date donnée.

Considérons les exemples suivants :

- l'âge d'une personne (enregistrée dans un système) devient obsolète à l'anniversaire de la personne.
- considérons un fichier client avec des adresses, un certain pourcentage de ces adresses deviennent obsolètes chaque année. Ces données doivent donc être actualisées régulièrement

### 3.3.2.2 L'accessibilité

*Les données sont-elles facilement accessibles ?*

L'accessibilité correspond à la disponibilité de l'information et la facilité avec laquelle on peut y accéder.

- **Disponibilité** : L'information doit être disponible au moment où l'on en a besoin. Ainsi le bilan mensuel d'une entreprise ne peut pas être connu le 31 janvier au soir, car ce calcul suppose de traiter un ensemble conséquent de données mises à jour en toute fin de mois ; cependant si les résultats de l'entreprise doivent être publiés dès le 02 février, ces données devront être disponibles.

- **Facilité d'accès** : Des données disponibles ne signifient pas pour autant qu'elles soient facilement accessibles. Les données-clés et celles régulièrement consultées doivent pouvoir être accessibles en quelques clics de souris et non par un enchaînement fastidieux d'écrans. On touche là à l'ergonomie des applications, élément essentiel pour l'efficacité opérationnelle.

Il est important de pouvoir déterminer l'existence de données. On parle ainsi de données facilement trouvables ou découvrables.

### 3.3.2.3 La pertinence

*Les données sont-elles utiles ?*

La pertinence décrit de quelle façon des données répondent aux besoins actuels et potentiels des utilisateurs, elle définit l'utilité de la donnée.

Pour assurer la pertinence, il faut rester en contact avec les utilisateurs. La donnée doit être en adéquation avec son usage, en particulier la granularité de l'information doit correspondre aux besoins.

### 3.3.2.4 La compréhensibilité

*La donnée est-elle compréhensible ?*

Les données doivent être compréhensibles par l'utilisateur (humain ou informatique) et ne laisser aucune ambiguïté quand à leur signification et interprétation. Elles doivent aussi être dans un format qui aide l'utilisateur à interpréter les valeurs et respecter les standards (normes, dictionnaires de données) lorsqu'ils existent.

Ainsi on évitera de mettre des initiales pour le nom d'un collecteur de données par exemple : *SD* signifie-t-il *Sylvie Damy* ou *Serge Dupont* ?

### 3.3.3 Critères de sécurité

Si la sécurité physique et/ou logique d'un système laisse à désirer, les données peuvent être corrompues accidentellement ou volontairement. La sécurité reste l'une des premières règles de bonne gestion des données. Elle recouvre la confidentialité, l'intégrité, et la traçabilité.
- considérons un fichier client avec des adresses, un certain pourcentage de ces adresses deviennent obsolètes chaque année. Ces données doivent donc être actualisées régulièrement

### 3.3.2.2 L'accessibilité

*Les données sont-elles facilement accessibles ?*

L'accessibilité correspond à la disponibilité de l'information et la facilité avec laquelle on peut y accéder.

- **Disponibilité** : L'information doit être disponible au moment où l'on en a besoin. Ainsi le bilan mensuel d'une entreprise ne peut pas être connu le 31 janvier au soir, car ce calcul suppose de traiter un ensemble conséquent de données mises à jour en toute fin de mois ; cependant si les résultats de l'entreprise doivent être publiés dès le 02 février, ces données devront être disponibles.

- **Facilité d'accès** : Des données disponibles ne signifient pas pour autant qu'elles soient facilement accessibles. Les données-clés et celles régulièrement consultées doivent pouvoir être accessibles en quelques clics de souris et non par un enchaînement fastidieux d'écrans. On touche là à l'ergonomie des applications, élément essentiel pour l'efficacité opérationnelle.

Il est important de pouvoir déterminer l'existence de données. On parle ainsi de données facilement trouvables ou découvrables.

### 3.3.2.3 La pertinence

*Les données sont-elles utiles ?*

La pertinence décrit de quelle façon des données répondent aux besoins actuels et potentiels des utilisateurs, elle définit l'utilité de la donnée.

Pour assurer la pertinence, il faut rester en contact avec les utilisateurs. La donnée doit être en adéquation avec son usage, en particulier la granularité de l'information doit correspondre aux besoins.

### 3.3.2.4 La compréhensibilité

*La donnée est-elle compréhensible ?*

Les données doivent être compréhensibles par l'utilisateur (humain ou informatique) et ne laisser aucune ambiguïté quand à leur signification et interprétation. Elles doivent aussi être dans un format qui aide l'utilisateur à interpréter les valeurs et respecter les standards (normes, dictionnaires de données) lorsqu'ils existent.

Ainsi on évitera de mettre des initiales pour le nom d'un collecteur de données par exemple : *SD* signifie-t-il *Sylvie Damy* ou *Serge Dupont* ?

### 3.3.3 Critères de sécurité

Si la sécurité physique et/ou logique d'un système laisse à désirer, les données peuvent être corrompues accidentellement ou volontairement. La sécurité reste l'une des premières règles de bonne gestion des données. Elle recouvre la confidentialité, l'intégrité, et la traçabilité.
### 3.3.3.1 L'intégrité

Il est nécessaire de protéger l'information, en interdisant des modifications non autorisées, non prévues ou non intentionnelles dans le but de prévenir la corruption ou la falsification des données.

L'intégrité référentielle quand à elle s'applique lorsque qu'une donnée est référencée dans une autre table (clé étrangère).

### 3.3.3.2 La confidentialité

L'accès aux données peut être filtré en fonction des utilisateurs. Par exemple, les données comptables d'un client pourront être consultées par l'ensemble des utilisateurs de l'entreprise, mais seul le service comptabilité clients pourra créer, modifier ou supprimer ces informations.

### 3.3.3.3 La traçabilité

Il s'agit ici de "suivre" la donnée. Celle-ci doit être bien documentée, vérifiable et sa source doit être identifiable. On conserve ainsi les opérations effectuées sur la donnée et leurs auteurs.

Les gestionnaires de données doivent garder la trace des opérations de vérification : quelles données ont été vérifiées et quand. Ceci permet d'éviter les redondances et d'empêcher que des données ne disparaissent (journal des opérations).

## 3.4 En résumé

La qualité des données peut être vue de différentes façons et les critères pour la définir sont nombreux. C'est en fonction de l'utilisation de la donnée que l'on définit les principaux critères de qualité à contrôler.
### 3.3.3.1 L'intégrité

Il est nécessaire de protéger l'information, en interdisant des modifications non autorisées, non prévues ou non intentionnelles dans le but de prévenir la corruption ou la falsification des données.

L'intégrité référentielle quand à elle s'applique lorsque qu'une donnée est référencée dans une autre table (clé étrangère).

### 3.3.3.2 La confidentialité

L'accès aux données peut être filtré en fonction des utilisateurs. Par exemple, les données comptables d'un client pourront être consultées par l'ensemble des utilisateurs de l'entreprise, mais seul le service comptabilité clients pourra créer, modifier ou supprimer ces informations.

### 3.3.3.3 La traçabilité

Il s'agit ici de "suivre" la donnée. Celle-ci doit être bien documentée, vérifiable et sa source doit être identifiable. On conserve ainsi les opérations effectuées sur la donnée et leurs auteurs.

Les gestionnaires de données doivent garder la trace des opérations de vérification : quelles données ont été vérifiées et quand. Ceci permet d'éviter les redondances et d'empêcher que des données ne disparaissent (journal des opérations).

## 3.4 En résumé

La qualité des données peut être vue de différentes façons et les critères pour la définir sont nombreux. C'est en fonction de l'utilisation de la donnée que l'on définit les principaux critères de qualité à contrôler.
# Chapter 4

## Causes et conséquences de la non-qualité des données

A l'origine ce sont des constats sur la non-qualité des données et leurs conséquences qui ont été mis en avant dans les entreprises. Des cas ont été décrits dans des domaines commerciaux, médicaux, domaine public, ...

Nous présentons dans ce chapitre quelques exemples célèbres de non-qualité de données, les principales causes de non-qualité et quelques exemples tirés d'un livre blanc.

### 4.1 Quelques exemples célèbres de non-qualité de données

#### 4.1.1 NASA

En 1999, la NASA perd un satellite lors de sa mise en orbite autour de Mars [28]. "Le 23 septembre 1999, le satellite Mars Climate Orbiter doit effectuer sa manoeuvre d'insertion en orbite autour de Mars. Peu avant que la sonde ne survole la planète, la propulsion principale doit fonctionner en continu un peu moins de 17 minutes afin de réduire suffisamment sa vitesse pour qu'elle soit capturée par le champ gravitationnel de Mars. La procédure est entièrement automatique. ... aucun signal n'est reçu à l'heure où la sonde doit réapparaître (11 h 27). L'engin, n'ayant pas repris de contact radio par la suite, est considéré le lendemain comme perdu. Très rapidement, les ingénieurs de la NASA se rendent compte que la trajectoire suivie par la sonde la faisait passer à une altitude beaucoup trop faible au-dessus de la surface de Mars. Au lieu de survoler le pôle au moment de son freinage à 193 km de hauteur, elle est en fait passée à 57 km. À cette altitude, l'atmosphère est beaucoup trop dense pour que la sonde, qui circule à plus de 20 000 km/h, survive. Celle-ci a dû se transformer en une boule de feu au fur et à mesure de son approche de Mars."

Le rapport de la commission chargée de détecter l'origine de l'anomalie, publié en février 2000, montre que deux logiciels travaillaient avec une même donnée mais exprimée dans des unités différentes. Les calculs de trajectoire effectués sur la base de calculs erronés ont ainsi trop rapproché la sonde de la surface de Mars et entraîné finalement sa destruction.
Cette erreur a couté 125 millions de dollars aux contribuables américains.
# Chapter 4

## Causes et conséquences de la non-qualité des données

A l'origine ce sont des constats sur la non-qualité des données et leurs conséquences qui ont été mis en avant dans les entreprises. Des cas ont été décrits dans des domaines commerciaux, médicaux, domaine public, ...

Nous présentons dans ce chapitre quelques exemples célèbres de non-qualité de données, les principales causes de non-qualité et quelques exemples tirés d'un livre blanc.

### 4.1 Quelques exemples célèbres de non-qualité de données

#### 4.1.1 NASA

En 1999, la NASA perd un satellite lors de sa mise en orbite autour de Mars [28]. "Le 23 septembre 1999, le satellite Mars Climate Orbiter doit effectuer sa manoeuvre d'insertion en orbite autour de Mars. Peu avant que la sonde ne survole la planète, la propulsion principale doit fonctionner en continu un peu moins de 17 minutes afin de réduire suffisamment sa vitesse pour qu'elle soit capturée par le champ gravitationnel de Mars. La procédure est entièrement automatique. ... aucun signal n'est reçu à l'heure où la sonde doit réapparaître (11 h 27). L'engin, n'ayant pas repris de contact radio par la suite, est considéré le lendemain comme perdu. Très rapidement, les ingénieurs de la NASA se rendent compte que la trajectoire suivie par la sonde la faisait passer à une altitude beaucoup trop faible au-dessus de la surface de Mars. Au lieu de survoler le pôle au moment de son freinage à 193 km de hauteur, elle est en fait passée à 57 km. À cette altitude, l'atmosphère est beaucoup trop dense pour que la sonde, qui circule à plus de 20 000 km/h, survive. Celle-ci a dû se transformer en une boule de feu au fur et à mesure de son approche de Mars."

Le rapport de la commission chargée de détecter l'origine de l'anomalie, publié en février 2000, montre que deux logiciels travaillaient avec une même donnée mais exprimée dans des unités différentes. Les calculs de trajectoire effectués sur la base de calculs erronés ont ainsi trop rapproché la sonde de la surface de Mars et entraîné finalement sa destruction.
Cette erreur a couté 125 millions de dollars aux contribuables américains.
### 4.1.2 Airbus

[29], "le plus gros client du nouvel avion A380 du constructeur européen Airbus, la compagnie aérienne de Dubaï, Emirates, serait mécontente des premiers appareils qui lui ont été livrés. C'est le magazine allemand Der Spiegel qui l'affirme.

Selon ce magazine, une réunion de crise aurait eu lieu mi-février sur le site d'Airbus à Toulouse, où Emirates aurait présenté un rapport de 46 pages. Ce rapport aurait fait état, photos à l'appui, de défauts de fabrication sur plusieurs A380 déjà livrés. Ces défauts auraient contraint la compagnie à annuler des vols.

Parmi les défauts mis en évidence figurent des câbles électriques brûlés, des tôles d'habillage arrachées et des problèmes affectant certains éléments des moteurs, selon le magazine allemand. Ces défauts de câblage de la cabine passagers avaient retardé, on s'en souvient, le lancement du gros porteur d'Airbus. La différence des différences des outils de CAO, conception assistée par ordinateur, entre les usines allemandes de Hambourg et les usines de Toulouse étaient à l'origine du problème de câblage."

Ces problèmes de câblage ont retardé la première livraison de deux ans. Il a fallu recâbler 26 avions à la main, et revoir entièrement la conception électrique des appareils suivants. Ce qui a fait exploser les coûts. Ils s'élevaient déjà à 10,2 milliards fin 2006, date à laquelle Airbus a pudiquement cessé d'en publier le décompte. Entre-temps, l'avionneur a dû provisionner 4,9 milliards pour l'A380. En ajoutant diverses dépenses non détaillées, l'ardoise finale atteindrait, selon de bons connaisseurs du dossier, au moins 18 milliards.

## 4.2 Principales causes de la non-qualité

Les problèmes de qualité des données peuvent survenir à différents moments [2] :

1. Lors de la modélisation des données : les attributs peuvent être insuffisamment structurés ou normalisés, le modèle n'est pas validé ou il manque des contraintes d'intégrité et des procédures pour maintenir la cohérence des données.

2. L'interprétation de données peut être incohérente, suite à l'utilisation de codes ou symboles différents (notamment dans différents pays).

3. Des erreurs peuvent être introduites lors du développement logiciel.

4. Des erreurs humaines peuvent être facilitées par une méthode de saisie des données mal conçue et qui manque de procédures de contrôle.

5. Si la sécurité du système n'est pas suffisante, des données peuvent être corrompues volontairement.

6. Si les entreprises ne gèrent pas l'actualité de leurs données, ne les mettent pas à jour ou ne les enrichissent pas.

7. Lors d'intégration de données à partir de sources hétérogènes, les données peuvent être contradictoires ou incohérentes entre les différents systèmes. De plus la qualité des données de ces différents systèmes peut ne pas être homogène.

8. Lors de la migration de systèmes, on peut voir apparaître de nouvelles erreurs liées à la perte du contexte de définition, de production ou d'usage de la donnée.
### 4.1.2 Airbus

[29], "le plus gros client du nouvel avion A380 du constructeur européen Airbus, la compagnie aérienne de Dubaï, Emirates, serait mécontente des premiers appareils qui lui ont été livrés. C'est le magazine allemand Der Spiegel qui l'affirme.

Selon ce magazine, une réunion de crise aurait eu lieu mi-février sur le site d'Airbus à Toulouse, où Emirates aurait présenté un rapport de 46 pages. Ce rapport aurait fait état, photos à l'appui, de défauts de fabrication sur plusieurs A380 déjà livrés. Ces défauts auraient contraint la compagnie à annuler des vols.

Parmi les défauts mis en évidence figurent des câbles électriques brûlés, des tôles d'habillage arrachées et des problèmes affectant certains éléments des moteurs, selon le magazine allemand. Ces défauts de câblage de la cabine passagers avaient retardé, on s'en souvient, le lancement du gros porteur d'Airbus. La différence des différences des outils de CAO, conception assistée par ordinateur, entre les usines allemandes de Hambourg et les usines de Toulouse étaient à l'origine du problème de câblage."

Ces problèmes de câblage ont retardé la première livraison de deux ans. Il a fallu recâbler 26 avions à la main, et revoir entièrement la conception électrique des appareils suivants. Ce qui a fait exploser les coûts. Ils s'élevaient déjà à 10,2 milliards fin 2006, date à laquelle Airbus a pudiquement cessé d'en publier le décompte. Entre-temps, l'avionneur a dû provisionner 4,9 milliards pour l'A380. En ajoutant diverses dépenses non détaillées, l'ardoise finale atteindrait, selon de bons connaisseurs du dossier, au moins 18 milliards.

## 4.2 Principales causes de la non-qualité

Les problèmes de qualité des données peuvent survenir à différents moments [2] :

1. Lors de la modélisation des données : les attributs peuvent être insuffisamment structurés ou normalisés, le modèle n'est pas validé ou il manque des contraintes d'intégrité et des procédures pour maintenir la cohérence des données.

2. L'interprétation de données peut être incohérente, suite à l'utilisation de codes ou symboles différents (notamment dans différents pays).

3. Des erreurs peuvent être introduites lors du développement logiciel.

4. Des erreurs humaines peuvent être facilitées par une méthode de saisie des données mal conçue et qui manque de procédures de contrôle.

5. Si la sécurité du système n'est pas suffisante, des données peuvent être corrompues volontairement.

6. Si les entreprises ne gèrent pas l'actualité de leurs données, ne les mettent pas à jour ou ne les enrichissent pas.

7. Lors d'intégration de données à partir de sources hétérogènes, les données peuvent être contradictoires ou incohérentes entre les différents systèmes. De plus la qualité des données de ces différents systèmes peut ne pas être homogène.

8. Lors de la migration de systèmes, on peut voir apparaître de nouvelles erreurs liées à la perte du contexte de définition, de production ou d'usage de la donnée.
4.3 Exemples de non-qualité de données : Livre blanc Talend

Ci-joint un livre blanc Talend "les 10 causes principales des problèmes de qualité des données",
qui présente des causes de problèmes de qualité des données.
4.3 Exemples de non-qualité de données : Livre blanc Talend

Ci-joint un livre blanc Talend "les 10 causes principales des problèmes de qualité des données",
qui présente des causes de problèmes de qualité des données.
<figure><img src="image_16.png" /></figure>

Les 10 causes principales
des problèmes de qualité de données

White Paper
<figure><img src="image_17.png" /></figure>

Les 10 causes principales
des problèmes de qualité de données

White Paper
Sommaire

<table><tr><td>Erreurs typographiques et données non conformes</td><td>3</td></tr><tr><td>Obfuscation d'informations</td><td>4</td></tr><tr><td>Informatique traîtresse et fichiers Excel</td><td>6</td></tr><tr><td>Après la fusion</td><td>7</td></tr><tr><td>Le changement est bon... Sauf pour la qualité de données</td><td>8</td></tr><tr><td>Code caché</td><td>10</td></tr><tr><td>Transition des transactions</td><td>11</td></tr><tr><td>Métamorphose de métadonnées</td><td>12</td></tr><tr><td>Définition de la qualité de données</td><td>13</td></tr><tr><td>Perte d'Expertise</td><td>14</td></tr><tr><td>Conclusion</td><td>15</td></tr><tr><td>A propos de Talend</td><td>16</td></tr></table>
Sommaire

<table><tr><td>Erreurs typographiques et données non conformes</td><td>3</td></tr><tr><td>Obfuscation d'informations</td><td>4</td></tr><tr><td>Informatique traîtresse et fichiers Excel</td><td>6</td></tr><tr><td>Après la fusion</td><td>7</td></tr><tr><td>Le changement est bon... Sauf pour la qualité de données</td><td>8</td></tr><tr><td>Code caché</td><td>10</td></tr><tr><td>Transition des transactions</td><td>11</td></tr><tr><td>Métamorphose de métadonnées</td><td>12</td></tr><tr><td>Définition de la qualité de données</td><td>13</td></tr><tr><td>Perte d'Expertise</td><td>14</td></tr><tr><td>Conclusion</td><td>15</td></tr><tr><td>A propos de Talend</td><td>16</td></tr></table>
Nous reconnaissons tous les problèmes de qualité de données lorsque nous en voyons. Ils peuvent ébranler la capacité de votre entreprise à travailler efficacement, à respecter les réglementations gouvernementales et à faire des bénéfices. Les problèmes techniques spécifiques comprennent les données manquantes, les attributs saisis dans le mauvais champ, les enregistrements en doublon et les modèles de données cassés, pour n'en citer qu'une partie.

Mais plutôt que de rafistoler de mauvaises données, la plupart des experts pensent que la meilleure stratégie pour lutter contre les problèmes de qualité de données est de comprendre les causes à la racine et d'implémenter de nouveaux processus afin de les éviter. Ce livre blanc traite des dix causes principales des problèmes de qualité de données et suggère des implémentations à effectuer dans votre entreprise afin de les prévenir.

<figure><img src="image_17.png" /></figure>

## Erreurs typographiques et données non conformes

Malgré l'automatisation quasi systématique de l'architecture des données, des informations sont toujours saisies dans des formulaires Web et d'autres interfaces utilisées par les clients. Les erreurs de saisie sont une source fréquente d'imprécision des données. Les gens font parfois des fautes de frappe. Ils choisissent la mauvaise entrée dans une liste. Ils saisissent la bonne donnée au mauvais endroit.

Etant donnée la complète liberté laissée pour renseigner un champ, les personnes saisissent des données de mémoire. Le nom du vendeur est-il Grainger, WW Granger, ou W. W. Grainger ? Idéalement, il devrait y avoir un ensemble de données de référence d'entreprise (métadonnées) afin que les formulaires permettent aux utilisateurs de trouver les bons vendeurs, noms de clients, villes, références, etc.
Nous reconnaissons tous les problèmes de qualité de données lorsque nous en voyons. Ils peuvent ébranler la capacité de votre entreprise à travailler efficacement, à respecter les réglementations gouvernementales et à faire des bénéfices. Les problèmes techniques spécifiques comprennent les données manquantes, les attributs saisis dans le mauvais champ, les enregistrements en doublon et les modèles de données cassés, pour n'en citer qu'une partie.

Mais plutôt que de rafistoler de mauvaises données, la plupart des experts pensent que la meilleure stratégie pour lutter contre les problèmes de qualité de données est de comprendre les causes à la racine et d'implémenter de nouveaux processus afin de les éviter. Ce livre blanc traite des dix causes principales des problèmes de qualité de données et suggère des implémentations à effectuer dans votre entreprise afin de les prévenir.

<figure><img src="image_18.png" /></figure>

## Erreurs typographiques et données non conformes

Malgré l'automatisation quasi systématique de l'architecture des données, des informations sont toujours saisies dans des formulaires Web et d'autres interfaces utilisées par les clients. Les erreurs de saisie sont une source fréquente d'imprécision des données. Les gens font parfois des fautes de frappe. Ils choisissent la mauvaise entrée dans une liste. Ils saisissent la bonne donnée au mauvais endroit.

Etant donnée la complète liberté laissée pour renseigner un champ, les personnes saisissent des données de mémoire. Le nom du vendeur est-il Grainger, WW Granger, ou W. W. Grainger ? Idéalement, il devrait y avoir un ensemble de données de référence d'entreprise (métadonnées) afin que les formulaires permettent aux utilisateurs de trouver les bons vendeurs, noms de clients, villes, références, etc.
Stratégie de l'entreprise

- **Formation** - Assurer que les personnes saisissant les données connaissent leur impact sur les applications en aval.

- **Définition des métadonnées** - En restreignant ce que les gens peuvent saisir dans un champ via une liste exhaustive, de nombreux problèmes peuvent être évités. Ces métadonnées (pour le nom des vendeurs, les références, etc.) peuvent devenir une partie de la qualité des données dans l'intégration de données, les applications métier et d'autres solutions.

- **Monitoring** - Rendre publics le résultat des données mal saisies et féliciter les personnes ayant saisi des données correctement. Vous pouvez en garder un suivi grâce à un logiciel de monitoring de données, tel que Talend Data Quality Portal.

- **Validation en temps réel** - En plus des formulaires, des outils de validation de qualité de données peuvent être implémentés afin de valider des adresses, des adresses e-mail ainsi que d'autres informations importantes lors de la saisie. Assurez-vous que votre solution de qualité de données puisse diffuser la qualité de données dans des environnements de serveurs d'application, dans le cloud ou dans un Enterprise Service Bus (ESB).

#2

Obfuscation d'informations

Les erreurs lors de la saisie de données ne sont pas toujours faites par erreur. Combien de fois les gens ne donnent-ils pas des informations incomplètes ou incorrectes afin de protéger leur vie privée ? Si cela n'a aucune incidence sur les personnes saisissant les données, elles ont tendance à les falsifier.
Stratégie de l'entreprise

- **Formation** - Assurer que les personnes saisissant les données connaissent leur impact sur les applications en aval.

- **Définition des métadonnées** - En restreignant ce que les gens peuvent saisir dans un champ via une liste exhaustive, de nombreux problèmes peuvent être évités. Ces métadonnées (pour le nom des vendeurs, les références, etc.) peuvent devenir une partie de la qualité des données dans l'intégration de données, les applications métier et d'autres solutions.

- **Monitoring** - Rendre publics le résultat des données mal saisies et féliciter les personnes ayant saisi des données correctement. Vous pouvez en garder un suivi grâce à un logiciel de monitoring de données, tel que Talend Data Quality Portal.

- **Validation en temps réel** - En plus des formulaires, des outils de validation de qualité de données peuvent être implémentés afin de valider des adresses, des adresses e-mail ainsi que d'autres informations importantes lors de la saisie. Assurez-vous que votre solution de qualité de données puisse diffuser la qualité de données dans des environnements de serveurs d'application, dans le cloud ou dans un Enterprise Service Bus (ESB).

#2

Obfuscation d'informations

Les erreurs lors de la saisie de données ne sont pas toujours faites par erreur. Combien de fois les gens ne donnent-ils pas des informations incomplètes ou incorrectes afin de protéger leur vie privée ? Si cela n'a aucune incidence sur les personnes saisissant les données, elles ont tendance à les falsifier.
Même si les personnes saisissant les données souhaitent le faire correctement, c'est parfois impossible. Si un champ n'est pas disponible, un autre champ est souvent utilisé. Cela peut causer des problèmes de qualité de données, tels que des numéros de TVA dans le champ du nom, ou des coordonnées dans le champ des commentaires.

Stratégie de l'entreprise

- Récompense - Offrir une prime aux gens saisissant des données personnelles correctement. Cela doit être centré sur les gens saisissant des données de l'extérieur, par exemple via les formulaires Web. Les employés ne doivent pas avoir besoin d'une récompense pour faire leur travail. Le type de récompense dépendra de l'importance d'avoir les informations correctes.

- Accessibilité - En tant qu'expert en charge de l'arbitrage de données, soyez ouvert et acceptez les critiques des utilisateurs. Soyez à l'écoute lorsque les changements de processus nécessitent un changement de technologie. Si vous n'êtes pas accessible, les utilisateurs chercheront tous les moyens de valider leur formulaire, même incorrect.

- Validation en temps réel - En plus des formulaires, des outils de validation de qualité de données peuvent être implémentés afin de valider des adresses, des adresses e-mail ainsi que d'autres informations importantes lors de la saisie.
Même si les personnes saisissant les données souhaitent le faire correctement, c'est parfois impossible. Si un champ n'est pas disponible, un autre champ est souvent utilisé. Cela peut causer des problèmes de qualité de données, tels que des numéros de TVA dans le champ du nom, ou des coordonnées dans le champ des commentaires.

Stratégie de l'entreprise

- Récompense - Offrir une prime aux gens saisissant des données personnelles correctement. Cela doit être centré sur les gens saisissant des données de l'extérieur, par exemple via les formulaires Web. Les employés ne doivent pas avoir besoin d'une récompense pour faire leur travail. Le type de récompense dépendra de l'importance d'avoir les informations correctes.

- Accessibilité - En tant qu'expert en charge de l'arbitrage de données, soyez ouvert et acceptez les critiques des utilisateurs. Soyez à l'écoute lorsque les changements de processus nécessitent un changement de technologie. Si vous n'êtes pas accessible, les utilisateurs chercheront tous les moyens de valider leur formulaire, même incorrect.

- Validation en temps réel - En plus des formulaires, des outils de validation de qualité de données peuvent être implémentés afin de valider des adresses, des adresses e-mail ainsi que d'autres informations importantes lors de la saisie.
#3

## Informatique traîtresse et fichiers Excel

Un renégat est une personne qui déserte et trahit un ensemble de principes d'une organisation. C'est exactement ce que font sans le savoir certains chefs d'entreprise impatients en déplaçant leurs données dans et hors de leurs solutions métier, bases de données, etc. Plutôt que d'attendre de l'aide d'équipes informatiques professionnelles, des équipes métier zélées peuvent décider de créer leur propre ensemble d'applications locales, sans connaissance informatique particulière. Si l'application doit répondre aux besoins immédiats du département, il est peu probable qu'elle soit conforme aux standards de données, de modèles de données ou d'interfaces. La base de données doit commencer par faire une copie d'une base de données approuvée vers une application locale sur le bureau des membres de l'équipe. D'importants morceaux de données stockés dans des feuilles de calcul Excel, dénommés « spreadmarts », sont facilement duplicables sur le bureau des membres de l'équipe. Dans ce scénario, vous perdez le contrôle des versions et des standards. Il n'y a pas de sauvegarde, de versionnement ou de règle métier.

## Stratégie de l'entreprise

- **Culture d'entreprise** - Il devrait y avoir des conséquences pour les personnes propageant ces spreadmarts, les dissuadant de créer des applications de données locales.

- **Communication** - Eduquez et formez vos employés sur les conséquences négatives des spreadmarts.

- **Gestion de « Small data »** - Il est crucial d'avoir des outils permettant à des utilisateurs métier et aux professionnels informatique de gérer les données. Les solutions comme Talend Master Data Management (MDM) permettent de combler les
#3

## Informatique traîtresse et fichiers Excel

Un renégat est une personne qui déserte et trahit un ensemble de principes d'une organisation. C'est exactement ce que font sans le savoir certains chefs d'entreprise impatients en déplaçant leurs données dans et hors de leurs solutions métier, bases de données, etc. Plutôt que d'attendre de l'aide d'équipes informatiques professionnelles, des équipes métier zélées peuvent décider de créer leur propre ensemble d'applications locales, sans connaissance informatique particulière. Si l'application doit répondre aux besoins immédiats du département, il est peu probable qu'elle soit conforme aux standards de données, de modèles de données ou d'interfaces. La base de données doit commencer par faire une copie d'une base de données approuvée vers une application locale sur le bureau des membres de l'équipe. D'importants morceaux de données stockés dans des feuilles de calcul Excel, dénommés « spreadmarts », sont facilement duplicables sur le bureau des membres de l'équipe. Dans ce scénario, vous perdez le contrôle des versions et des standards. Il n'y a pas de sauvegarde, de versionnement ou de règle métier.

## Stratégie de l'entreprise

- **Culture d'entreprise** - Il devrait y avoir des conséquences pour les personnes propageant ces spreadmarts, les dissuadant de créer des applications de données locales.

- **Communication** - Eduquez et formez vos employés sur les conséquences négatives des spreadmarts.

- **Gestion de « Small data »** - Il est crucial d'avoir des outils permettant à des utilisateurs métier et aux professionnels informatique de gérer les données. Les solutions comme Talend Master Data Management (MDM) permettent de combler les
lacunes entre les applications informatiques coûteuses et limitées et la gestion métier effective des données.

* **Verrouiller les données** - Le but est d'atteindre une culture d'entreprise où créer des spreadmarts sans sanction n'est pas possible. Certaines entreprises ont trouvé le succès en verrouillant les données afin de les rendre plus difficiles à exporter.

#4

## Après la fusion

Les fusions d'entreprises augmentent le risque d'erreurs de qualité de données car elles se déroulent en général rapidement et ne sont pas prévues par les départements informatiques. Presque immédiatement, il y a une certaine pression pour consolider et raccourcir le planning. La consolidation inclura probablement le besoin de partager des données dans un ensemble varié d'applications disjointes. De nombreux raccourcis sont pris pour rendre cela possible, ce qui comprend souvent des risques connus ou inconnus pour la qualité de données.

Parmi les priorités du planning raccourci, la fusion des départements informatiques peut provoquer un conflit culturel et différentes versions de la vérité. De plus, des fusions peuvent créer une perte d'expertise lorsque des personnes clés partent au milieu du projet pour chercher de nouvelles aventures.

## Stratégie de l'entreprise

* **Conscience d'entreprise** - Lorsque c'est possible, la direction doit ordonner la division du travail afin d'éviter des conflits de culture et la rétention de l'information par les gens assoiffés de pouvoir.
lacunes entre les applications informatiques coûteuses et limitées et la gestion métier effective des données.

* **Verrouiller les données** - Le but est d'atteindre une culture d'entreprise où créer des spreadmarts sans sanction n'est pas possible. Certaines entreprises ont trouvé le succès en verrouillant les données afin de les rendre plus difficiles à exporter.

#4

## Après la fusion

Les fusions d'entreprises augmentent le risque d'erreurs de qualité de données car elles se déroulent en général rapidement et ne sont pas prévues par les départements informatiques. Presque immédiatement, il y a une certaine pression pour consolider et raccourcir le planning. La consolidation inclura probablement le besoin de partager des données dans un ensemble varié d'applications disjointes. De nombreux raccourcis sont pris pour rendre cela possible, ce qui comprend souvent des risques connus ou inconnus pour la qualité de données.

Parmi les priorités du planning raccourci, la fusion des départements informatiques peut provoquer un conflit culturel et différentes versions de la vérité. De plus, des fusions peuvent créer une perte d'expertise lorsque des personnes clés partent au milieu du projet pour chercher de nouvelles aventures.

## Stratégie de l'entreprise

* **Conscience d'entreprise** - Lorsque c'est possible, la direction doit ordonner la division du travail afin d'éviter des conflits de culture et la rétention de l'information par les gens assoiffés de pouvoir.
- **Document** - Votre projet informatique doit perdurer, même si l'équipe entière part, se disperse ou est écrasée par un bus en traversant la rue. Vous pouvez réussir à le maintenir avec une bonne documentation de l'infrastructure.

- **Consultants externes** - Le management doit savoir qu'il y a du travail supplémentaire à faire et que des conflits peuvent émerger après une fusion. Des consultants peuvent fournir la continuité nécessaire pour réussir la transition.

- **Gestion de données agile** - Les solutions open source de data management Talend permettent de garder votre entreprise flexible, vous donnant ainsi la possibilité de diviser et conquérir la charge de travail sans licence coûteuse d'applications commerciales.

#5

## Le changement est bon... Sauf pour la qualité de données

Les entreprises subissent des changements de leurs processus métier afin de s'améliorer. C'est une bonne chose, n'est-ce pas ? Les principaux exemples comprennent :

- Expansion de l'entreprise sur de nouveaux marchés

- Nouveaux accords de partenariats

- Nouvelles lois de régulation sur le reporting

- Reporting financier à une entreprise mère

- Réduction d'effectifs

Si la qualité de données est définie comme l'adaptation aux besoins (« fitness for purpose »), que se passe-t-il lorsque l'objectif change ?
* **Document** - Votre projet informatique doit perdurer, même si l'équipe entière part, se disperse ou est écrasée par un bus en traversant la rue. Vous pouvez réussir à le maintenir avec une bonne documentation de l'infrastructure.

* **Consultants externes** - Le management doit savoir qu'il y a du travail supplémentaire à faire et que des conflits peuvent émerger après une fusion. Des consultants peuvent fournir la continuité nécessaire pour réussir la transition.

* **Gestion de données agile** - Les solutions open source de data management Talend permettent de garder votre entreprise flexible, vous donnant ainsi la possibilité de diviser et conquérir la charge de travail sans licence coûteuse d'applications commerciales.

#5

## Le changement est bon... Sauf pour la qualité de données

Les entreprises subissent des changements de leurs processus métier afin de s'améliorer. C'est une bonne chose, n'est-ce pas ? Les principaux exemples comprennent :

* Expansion de l'entreprise sur de nouveaux marchés

* Nouveaux accords de partenariats

* Nouvelles lois de régulation sur le reporting

* Reporting financier à une entreprise mère

* Réduction d'effectifs

Si la qualité de données est définie comme l'adaptation aux besoins (« fitness for purpose »), que se passe-t-il lorsque l'objectif change ?
C'est cette nouvelle utilisation de données qui apporte des changements dans le niveau perçu de qualité de données, même si les données sous-jacentes sont les mêmes. Il est naturel que les données changent. Lorsqu'elles le font, les règles de qualité de données, les règles métier et les couches d'intégration de données doivent également changer.

Stratégie de l'entreprise

- **Gouvernance des données** - En mettant en place une équipe de gouvernance de données transverse aux métiers, vous aurez toujours une équipe qui contrôlera les changements que subit votre entreprise et examinera leur impact sur les informations. Cela devrait être dans la charte d'une équipe de gouvernance de données.

- **Communication** - Une communication régulière et un modèle de métadonnées bien documenté simplifient le changement.

- **Flexibilité des outils** - L'un des défis lorsque vous achetez des outils de qualité de données embarqués dans des applications d'entreprise est qu'ils peuvent ne pas fonctionner dans toutes les applications d'entreprise. Lorsque vous choisissez des outils, soyez sûr qu'ils soient suffisamment flexibles pour fonctionner avec les données de n'importe quelle application et que l'entreprise soit attachée à la flexibilité et à l'ouverture.
C'est cette nouvelle utilisation de données qui apporte des changements dans le niveau perçu de qualité de données, même si les données sous-jacentes sont les mêmes. Il est naturel que les données changent. Lorsqu'elles le font, les règles de qualité de données, les règles métier et les couches d'intégration de données doivent également changer.

## Stratégie de l'entreprise

* **Gouvernance des données** - En mettant en place une équipe de gouvernance de données transverse aux métiers, vous aurez toujours une équipe qui contrôlera les changements que subit votre entreprise et examinera leur impact sur les informations. Cela devrait être dans la charte d'une équipe de gouvernance de données.

* **Communication** - Une communication régulière et un modèle de métadonnées bien documenté simplifient le changement.

* **Flexibilité des outils** - L'un des défis lorsque vous achetez des outils de qualité de données embarqués dans des applications d'entreprise est qu'ils peuvent ne pas fonctionner dans toutes les applications d'entreprise. Lorsque vous choisissez des outils, soyez sûr qu'ils soient suffisamment flexibles pour fonctionner avec les données de n'importe quelle application et que l'entreprise soit attachée à la flexibilité et à l'ouverture.
#6

## Code caché

Les bases de données commencent rarement leur vie en étant vides. Le point de départ est généralement une conversion de données à partir d'une source de données déjà existante. Le problème étant que, si les données peuvent fonctionner parfaitement dans l'application source, elles peuvent échouer dans la cible. Il est difficile de voir tout le code applicatif maison et les processus spéciaux qui se déroulent derrière les données, sauf si vous les profilez.

## Stratégie de l'entreprise

* **Profilez tôt et souvent** - Ne partez pas du principe que vos données sont adaptées à l'objectif visé parce qu'elles fonctionnent dans l'application source. Le profiling vous donnera une évaluation exacte de la forme et de la syntaxe des données dans la source. Il vous permettra également de savoir la quantité de travail que vous devrez fournir pour les faire fonctionner dans la cible.

* **Appliquez des outils de qualité de données lorsque c'est possible**
  - Plutôt que du code personnalisé dans l'application, une meilleure stratégie est de laisser les outils de qualité de données appliquer les standards. Les outils de qualité de données appliquent des standards d'entreprise de manière uniforme, ce qui simplifie le partage des données.
#6

## Code caché

Les bases de données commencent rarement leur vie en étant vides. Le point de départ est généralement une conversion de données à partir d'une source de données déjà existante. Le problème étant que, si les données peuvent fonctionner parfaitement dans l'application source, elles peuvent échouer dans la cible. Il est difficile de voir tout le code applicatif maison et les processus spéciaux qui se déroulent derrière les données, sauf si vous les profilez.

## Stratégie de l'entreprise

* **Profilez tôt et souvent** - Ne partez pas du principe que vos données sont adaptées à l'objectif visé parce qu'elles fonctionnent dans l'application source. Le profiling vous donnera une évaluation exacte de la forme et de la syntaxe des données dans la source. Il vous permettra également de savoir la quantité de travail que vous devrez fournir pour les faire fonctionner dans la cible.

* **Appliquez des outils de qualité de données lorsque c'est possible**
  - Plutôt que du code personnalisé dans l'application, une meilleure stratégie est de laisser les outils de qualité de données appliquer les standards. Les outils de qualité de données appliquent des standards d'entreprise de manière uniforme, ce qui simplifie le partage des données.
#7

## Transition des transactions

De plus en plus de données sont échangées entre les systèmes via des interfaces en temps réel (ou quasiment en temps réel). Dès que les données entrent dans une base de données, cela déclenche des procédures nécessaires à l'envoi de transactions à d'autres bases de données en aval. L'avantage est la propagation immédiate des données à toutes les bases de données correspondantes.

Mais que se passe-t-il lorsque les transactions tournent mal ? Un système qui fonctionne mal peut causer des problèmes aux applications en aval. En fait, même un petit changement dans un modèle de données peut poser des problèmes.

## Stratégie de l'entreprise

* **Vérifications des schémas** - Effectuez des vérifications de schémas dans les flux de vos Jobs afin de vous assurer que vos applications en temps réel produisent des données cohérentes. Les vérifications de schémas vont effectuer des tests simples afin de vérifier que vos données sont complètes et correctement formatées, avant de les charger.

* **Monitoring de données en temps réel** - Le niveau supérieur aux vérifications de schémas est le monitoring de données proactif avec des outils de profiling et de monitoring de données. Les outils comme Talend Data Quality Portal vous assurent que vos données contiennent le bon type d'informations. Par exemple, si vos références ont toujours une forme et une longueur particulières et qu'elles contiennent un ensemble fini de valeurs, toute variation de cet attribut peut être monitorée. Lorsque des variations se produisent, le logiciel de monitoring vous envoie une notification.
#7

## Transition des transactions

De plus en plus de données sont échangées entre les systèmes via des interfaces en temps réel (ou quasiment en temps réel). Dès que les données entrent dans une base de données, cela déclenche des procédures nécessaires à l'envoi de transactions à d'autres bases de données en aval. L'avantage est la propagation immédiate des données à toutes les bases de données correspondantes.

Mais que se passe-t-il lorsque les transactions tournent mal ? Un système qui fonctionne mal peut causer des problèmes aux applications en aval. En fait, même un petit changement dans un modèle de données peut poser des problèmes.

## Stratégie de l'entreprise

* **Vérifications des schémas** - Effectuez des vérifications de schémas dans les flux de vos Jobs afin de vous assurer que vos applications en temps réel produisent des données cohérentes. Les vérifications de schémas vont effectuer des tests simples afin de vérifier que vos données sont complètes et correctement formatées, avant de les charger.

* **Monitoring de données en temps réel** - Le niveau supérieur aux vérifications de schémas est le monitoring de données proactif avec des outils de profiling et de monitoring de données. Les outils comme Talend Data Quality Portal vous assurent que vos données contiennent le bon type d'informations. Par exemple, si vos références ont toujours une forme et une longueur particulières et qu'elles contiennent un ensemble fini de valeurs, toute variation de cet attribut peut être monitorée. Lorsque des variations se produisent, le logiciel de monitoring vous envoie une notification.
#8

# Métamorphose de métadonnées

Le référentiel des métadonnées doit pouvoir être partagé entre de nombreux projets, avec un audit régulier sur l'utilisation et l'accès au référentiel. Par exemple, votre entreprise peut avoir des références et des descriptions qui sont universelles pour le CRM, pour la facturation, pour les systèmes ERP, etc. Lorsqu'une référence devient obsolète dans le système ERP, le système CRM doit le savoir. Les métadonnées changent et doivent être partagées.

En théorie, documenter en totalité ce qu'il se passe dans la base de données et combien sont interdépendants les nombreux processus vous permettrait d'atténuer complètement le problème. Les descriptions et les références doivent être partagées entre toutes les applications concernées. Pour commencer, vous pouvez analyser les implications relatives à la qualité de données de tout changement dans le code, les processus, la structure des données, ou les procédures de collection des données, ce qui vous permet d'éliminer les erreurs de données inattendues. En pratique, cette tâche représente un énorme travail.

## Stratégie de l'entreprise

* **Modèles de données prédéfinis** - De nombreuses entreprises possèdent des définitions très simples du contenu de chaque ensemble de données. Par exemple, l'industrie automobile suit certains standards ISO 8000. L'industrie de l'énergie suit les standards Petroleum Industry Data Exchange (PIDX). Cherchez un modèle de données dans votre domaine pour vous aider.

* **Gestion de données agile** - La réussite de la gouvernance de données se fait en commençant petit et en construisant un processus qui règle d'abord les problèmes les plus importants du point de vue métier. Vous pouvez tirer parti des solutions agiles
#8

# Métamorphose de métadonnées

Le référentiel des métadonnées doit pouvoir être partagé entre de nombreux projets, avec un audit régulier sur l'utilisation et l'accès au référentiel. Par exemple, votre entreprise peut avoir des références et des descriptions qui sont universelles pour le CRM, pour la facturation, pour les systèmes ERP, etc. Lorsqu'une référence devient obsolète dans le système ERP, le système CRM doit le savoir. Les métadonnées changent et doivent être partagées.

En théorie, documenter en totalité ce qu'il se passe dans la base de données et combien sont interdépendants les nombreux processus vous permettrait d'atténuer complètement le problème. Les descriptions et les références doivent être partagées entre toutes les applications concernées. Pour commencer, vous pouvez analyser les implications relatives à la qualité de données de tout changement dans le code, les processus, la structure des données, ou les procédures de collection des données, ce qui vous permet d'éliminer les erreurs de données inattendues. En pratique, cette tâche représente un énorme travail.

## Stratégie de l'entreprise

- Modèles de données prédéfinis - De nombreuses entreprises possèdent des définitions très simples du contenu de chaque ensemble de données. Par exemple, l'industrie automobile suit certains standards ISO 8000. L'industrie de l'énergie suit les standards Petroleum Industry Data Exchange (PIDX). Cherchez un modèle de données dans votre domaine pour vous aider.

- Gestion de données agile - La réussite de la gouvernance de données se fait en commençant petit et en construisant un processus qui règle d'abord les problèmes les plus importants du point de vue métier. Vous pouvez tirer parti des solutions agiles
#9

Définition de la qualité de données

De plus en plus d'entreprises reconnaissent le besoin de qualité de données, mais il y a différents moyens de nettoyer des données et d'améliorer leur qualité. Vous pouvez :

- Ecrire du code et nettoyer manuellement

- Manipuler la qualité de données dans l'application source

- Acheter des outils pour nettoyer les données

Considérez ce qu'il se passe lorsque vous avez au moins deux de ces types de processus de qualité de données ajustant les données. L'équipe commerciale a une définition du client, la comptabilité en a une autre. A cause des différents processus, les deux équipes ne s'accordent pas sur le fait que les deux enregistrements sont des doublons.

Stratégie de l'entreprise

- **Outils de standardisation** - Choisissez des outils qui ne sont pas liés à une solution particulière. De la qualité de données uniquement dans SAP, par exemple, ne va pas améliorer vos ensembles de données Oracle, Salesforce et MySQL. Lorsque vous sélectionnez une solution, prenez-en une comme Talend Data Quality, capable d'accéder à toutes les données, n'importe où et n'importe quand. Comme la solution de Talend est flexible, bénéficier d'une solution commune comme celle-ci, à travers différentes plateformes et solutions ne sera pas très coûteux.
#9

Définition de la qualité de données

De plus en plus d'entreprises reconnaissent le besoin de qualité de données, mais il y a différents moyens de nettoyer des données et d'améliorer leur qualité. Vous pouvez :

- Ecrire du code et nettoyer manuellement

- Manipuler la qualité de données dans l'application source

- Acheter des outils pour nettoyer les données

Considérez ce qu'il se passe lorsque vous avez au moins deux de ces types de processus de qualité de données ajustant les données. L'équipe commerciale a une définition du client, la comptabilité en a une autre. A cause des différents processus, les deux équipes ne s'accordent pas sur le fait que les deux enregistrements sont des doublons.

Stratégie de l'entreprise

- **Outils de standardisation** - Choisissez des outils qui ne sont pas liés à une solution particulière. De la qualité de données uniquement dans SAP, par exemple, ne va pas améliorer vos ensembles de données Oracle, Salesforce et MySQL. Lorsque vous sélectionnez une solution, prenez-en une comme Talend Data Quality, capable d'accéder à toutes les données, n'importe où et n'importe quand. Comme la solution de Talend est flexible, bénéficier d'une solution commune comme celle-ci, à travers différentes plateformes et solutions ne sera pas très coûteux.
* **Gouvernance de données** - En mettant en place une équipe de gouvernance de données transverse, vous avez les bonnes personnes au bon endroit afin de définir un modèle de données commun.

#10

## Perte d'Expertise

Dans presque tous les projets ayant de très grands volumes de données, il y a une personne dont l'expertise concernant les données héritées est exceptionnelle. Ce sont ces gens qui comprennent pourquoi la date d'embauche de certains employés est stockée dans le champ de la date de naissance et pourquoi certains attributs de noms contiennent également des numéros de TVA.

Les données peuvent être une sorte d'historique pour une entreprise. Elles peuvent provenir de systèmes hérités. Dans certains cas, la même valeur dans le même champ signifie quelque chose de totalement différent dans un autre enregistrement. Avoir conscience de ces anomalies permet aux experts d'utiliser les données correctement.

Si vous vous trouvez dans cette situation, voici quelques processus métier que vous pouvez suivre.

## Stratégie de l'entreprise

* **Profiler et monitorer** - Profiler les données vous permet d'identifier la plupart de ces types de problèmes. Par exemple, si un numéro de TVA se trouve dans un champ de nom, l'analyse vous permet de le remarquer rapidement. Le monitoring prévient les récurrences.

* **Documenter** - Même s'ils peuvent être réticents par peur de perdre la sécurité de leur emploi, assurez-vous que les experts
* **Gouvernance de données** - En mettant en place une équipe de gouvernance de données transverse, vous avez les bonnes personnes au bon endroit afin de définir un modèle de données commun.

#10

## Perte d'Expertise

Dans presque tous les projets ayant de très grands volumes de données, il y a une personne dont l'expertise concernant les données héritées est exceptionnelle. Ce sont ces gens qui comprennent pourquoi la date d'embauche de certains employés est stockée dans le champ de la date de naissance et pourquoi certains attributs de noms contiennent également des numéros de TVA.

Les données peuvent être une sorte d'historique pour une entreprise. Elles peuvent provenir de systèmes hérités. Dans certains cas, la même valeur dans le même champ signifie quelque chose de totalement différent dans un autre enregistrement. Avoir conscience de ces anomalies permet aux experts d'utiliser les données correctement.

Si vous vous trouvez dans cette situation, voici quelques processus métier que vous pouvez suivre.

## Stratégie de l'entreprise

* **Profiler et monitorer** - Profiler les données vous permet d'identifier la plupart de ces types de problèmes. Par exemple, si un numéro de TVA se trouve dans un champ de nom, l'analyse vous permet de le remarquer rapidement. Le monitoring prévient les récurrences.

* **Documenter** - Même s'ils peuvent être réticents par peur de perdre la sécurité de leur emploi, assurez-vous que les experts
documentent toutes les anomalies et les transformations devant
advenir à chaque déplacement des données.

- **Utiliser les consultants** - Les employés experts peuvent être si précieux et si occupés qu'ils n'ont pas le temps de documenter les anomalies héritées. Les entreprises de consulting externes sont généralement très bonnes pour documenter les problèmes et fournir une continuité entre l'héritage et les nouveaux employés.

Conclusion

Aujourd'hui, la plupart des entreprises ont compris que leur succès est étroitement lié à la qualité de leurs informations. Les entreprises comptent sur les données pour prendre des décisions importantes pouvant affecter le service clients, la conformité aux réglementations, la chaîne d'approvisionnement et bien d'autres domaines encore. Puisque vous collectez de plus en plus d'informations concernant les clients, les produits, les fournisseurs, les transactions et la facturation, vous devez vous attaquer à la racine des problèmes de la qualité de données. Les outils de qualité de données sont simplement cela, des outils pour attaquer les causes à la racine et résoudre les problèmes n'ayant pas été détectés à la racine. Les outils vont de pair avec les gens et les processus pour conduire à une information de haute qualité et de haute valeur ajoutée.

Vous souhaitez en savoir plus à propos de la suite open source Talend Data Quality ? Visualisez les Webinars en ligne ou téléchargez la dernière version du logiciel open source de data management sur Talend.com.
documentent toutes les anomalies et les transformations devant
advenir à chaque déplacement des données.

* **Utiliser les consultants** - Les employés experts peuvent être si précieux et si occupés qu'ils n'ont pas le temps de documenter les anomalies héritées. Les entreprises de consulting externes sont généralement très bonnes pour documenter les problèmes et fournir une continuité entre l'héritage et les nouveaux employés.

Conclusion

Aujourd'hui, la plupart des entreprises ont compris que leur succès est étroitement lié à la qualité de leurs informations. Les entreprises comptent sur les données pour prendre des décisions importantes pouvant affecter le service clients, la conformité aux réglementations, la chaîne d'approvisionnement et bien d'autres domaines encore. Puisque vous collectez de plus en plus d'informations concernant les clients, les produits, les fournisseurs, les transactions et la facturation, vous devez vous attaquer à la racine des problèmes de la qualité de données. Les outils de qualité de données sont simplement cela, des outils pour attaquer les causes à la racine et résoudre les problèmes n'ayant pas été détectés à la racine. Les outils vont de pair avec les gens et les processus pour conduire à une information de haute qualité et de haute valeur ajoutée.

Vous souhaitez en savoir plus à propos de la suite open source Talend Data Quality ? Visualisez les Webinars en ligne ou téléchargez la dernière version du logiciel open source de data management sur Talend.com.
## A propos de Talend

Talend est le leader reconnu du marché en data management open source. Un studio de développement unique fournit une cohérence entre les projets d'intégration, de qualité et de gestion de données, afin que les ressources puissent être partagées et réutilisées, tout en restant ouvertes, intuitives and économiques. Relever les défis de la gestion de données ne signifie pas être excessivement cher ou restreint à une application. Talend bouleverse le modèle propriétaire traditionnel en fournissant une technologie open source établie sur la base des performances, de la simplicité d'utilisation, de l'extensibilité et de la robustesse.

Les produits de qualité de données de Talend fournissent aux entreprises une vue et un monitoring détaillés des données métier et incluent un ensemble complet de fonctionnalités permettant d'améliorer la qualité et l'efficacité des actifs de données critiques.

Talend propose deux options de qualité de données : Talend Open Profiler, un produit de profiling de données open source, disponible sur le site Web de Talend en téléchargement gratuit et Talend Data Quality, qui comprend des fonctionnalités supplémentaires de niveau Entreprise, notamment le nettoyage et la standardisation, le matching et le dédoublonnage, un outil embarqué d'intégration de données pour effectuer rapidement et facilement des transformations de données, et des dashboards de qualité de données basés Web.
## A propos de Talend

Talend est le leader reconnu du marché en data management open source. Un studio de développement unique fournit une cohérence entre les projets d'intégration, de qualité et de gestion de données, afin que les ressources puissent être partagées et réutilisées, tout en restant ouvertes, intuitives and économiques. Relever les défis de la gestion de données ne signifie pas être excessivement cher ou restreint à une application. Talend bouleverse le modèle propriétaire traditionnel en fournissant une technologie open source établie sur la base des performances, de la simplicité d'utilisation, de l'extensibilité et de la robustesse.

Les produits de qualité de données de Talend fournissent aux entreprises une vue et un monitoring détaillés des données métier et incluent un ensemble complet de fonctionnalités permettant d'améliorer la qualité et l'efficacité des actifs de données critiques.

Talend propose deux options de qualité de données : Talend Open Profiler, un produit de profiling de données open source, disponible sur le site Web de Talend en téléchargement gratuit et Talend Data Quality, qui comprend des fonctionnalités supplémentaires de niveau Entreprise, notamment le nettoyage et la standardisation, le matching et le dédoublonnage, un outil embarqué d'intégration de données pour effectuer rapidement et facilement des transformations de données, et des dashboards de qualité de données basés Web.
# Part III

## Gestion de la qualité des données
# Part III

## Gestion de la qualité des données
# Chapter 5

## Les approches pour traiter la qualité des données

Nous avons vu que la qualité des données pouvait être décrite de différentes façons avec des critères et des indicateurs assez différents. De la même façon il existe différentes approches pour traiter de la qualité des données.

La gestion de la qualité des données est à la convergence de différentes disciplines, telles que les bases de données, les statistiques, la gestion des processus, ...

Une telle gestion suppose d'identifier, de mesurer et enfin de résoudre les problèmes de qualité des données. Pour cela les entreprises ont souvent développé de manière empirique des techniques d'amélioration de la qualité des données pour répondre à un problème spécifique à un instant donné. Les spécialistes de domaine (sociétés IT ou universitaires) se sont aussi intéressé à ce problème et ont proposé des approches de gestion de la qualité des données.

Ces différentes approches supposent la réalisation de 4 étapes :

1. Définition de la mesure de la qualité des données en fonction des besoins des utilisateurs, et choix des axes prioritaires de travail.

2. Mesure de la qualité des données.

3. Évaluation de l'impact de la non-qualité et proposition d'un plan d'amélioration.

4. Réalisation du projet d'amélioration et vérification des résultats.

### 5.1 La mesure de la qualité des données

Dans une démarche qualité des données il faut commencer par définir clairement les caractéristiques attendues ainsi que les critères d'évaluation de la qualité des données (choix des dimensions). Pour chaque entreprise il convient de définir les indicateurs spécifiques et de contrôler leur évolution dans le temps par des mesures.

Chaque mesure peut être subjective, lorsqu'elle mesure la perception des utilisateurs par exemple, ou objective lorsqu'elle correspond au résultat de suivis automatiques de certains indicateurs.
# Chapter 5

## Les approches pour traiter la qualité des données

Nous avons vu que la qualité des données pouvait être décrite de différentes façons avec des critères et des indicateurs assez différents. De la même façon il existe différentes approches pour traiter de la qualité des données.

La gestion de la qualité des données est à la convergence de différentes disciplines, telles que les bases de données, les statistiques, la gestion des processus, ...

Une telle gestion suppose d'identifier, de mesurer et enfin de résoudre les problèmes de qualité des données. Pour cela les entreprises ont souvent développé de manière empirique des techniques d'amélioration de la qualité des données pour répondre à un problème spécifique à un instant donné. Les spécialistes de domaine (sociétés IT ou universitaires) se sont aussi intéressé à ce problème et ont proposé des approches de gestion de la qualité des données.

Ces différentes approches supposent la réalisation de 4 étapes :

1. Définition de la mesure de la qualité des données en fonction des besoins des utilisateurs, et choix des axes prioritaires de travail.

2. Mesure de la qualité des données.

3. Évaluation de l'impact de la non-qualité et proposition d'un plan d'amélioration.

4. Réalisation du projet d'amélioration et vérification des résultats.

### 5.1 La mesure de la qualité des données

Dans une démarche qualité des données il faut commencer par définir clairement les caractéristiques attendues ainsi que les critères d'évaluation de la qualité des données (choix des dimensions). Pour chaque entreprise il convient de définir les indicateurs spécifiques et de contrôler leur évolution dans le temps par des mesures.

Chaque mesure peut être subjective, lorsqu'elle mesure la perception des utilisateurs par exemple, ou objective lorsqu'elle correspond au résultat de suivis automatiques de certains indicateurs.
### 5.1.1 Les mesures subjectives

En 2002, suite au constat que les mesures, analyses et amélioration de la qualité des données étaient le résultat de techniques systématiques, Lee & al. proposent un instrument de mesure subjectif de la qualité, appelé "Information Quality Assessment" (IQA) ([10]). Ils proposent de mesurer la perception d'un ensemble de 69 caractéristiques, regroupées en 16 dimensions (modèle de Wang et Strong) par des acteurs.

Pour réaliser ces mesures, des questionnaires spécifiques sont mis en place avec les utilisateurs des données et des spécialistes de la qualité de l'information. Les mesures obtenues sont quantitatives mais dépendent bien de la perception de la personne qui a répondu.

### 5.1.2 Les mesures objectives

Ces mesures supposent de proposer des définitions rigoureuses des dimensions et caractéristiques mesurées. Pour commencer on considère que "le système d'information est là pour fournir une représentation d'un domaine d'application" [15]. Les problèmes de qualité des données correspondent alors à une représentation inachevée, ambiguë, sans signification ou incorrecte.

### 5.1.3 Les mesures combinées

Pour obtenir une mesure globale de la qualité des données, Pipino & al. ([11]) ont proposé l'utilisation d'une grille permettant de combiner les évaluations subjectives et objectives.

### 5.1.4 La qualité des données à différents niveaux

La qualité des données peut être abordée en étudiant différents niveaux :

1. la qualité de la représentation des données dans le système d'information, niveau MCD ;

2. la qualité de la gestion des données, niveau processus ;

3. la qualité des données, niveau instance/valeur.

Les principales dimensions mesurables objectives sont décrites dans le tableau 5.1. Nous présentons dans ce tableau certaines des dimensions déjà présentées au chapitre 2, mais ici nous les associons à l'un des trois niveaux permettant d'aborder la qualité des données.
### 5.1.1 Les mesures subjectives

En 2002, suite au constat que les mesures, analyses et amélioration de la qualité des données étaient le résultat de techniques systématiques, Lee & al. proposent un instrument de mesure subjectif de la qualité, appelé "Information Quality Assessment" (IQA) ([10]). Ils proposent de mesurer la perception d'un ensemble de 69 caractéristiques, regroupées en 16 dimensions (modèle de Wang et Strong) par des acteurs.

Pour réaliser ces mesures, des **questionnaires spécifiques** sont mis en place avec les utilisateurs des données et des spécialistes de la qualité de l'information. Les mesures obtenues sont quantitatives mais dépendent bien de la perception de la personne qui a répondu.

### 5.1.2 Les mesures objectives

Ces mesures supposent de proposer des définitions rigoureuses des dimensions et caractéristiques mesurées. Pour commencer on considère que "*le système d'information est là pour fournir une représentation d'un domaine d'application*" [15]. Les problèmes de qualité des données correspondent alors à une représentation inachevée, ambiguë, sans signification ou incorrecte.

### 5.1.3 Les mesures combinées

Pour obtenir une mesure globale de la qualité des données, Pipino & al. ([11]) ont proposé l'utilisation d'une grille permettant de combiner les évaluations subjectives et objectives.

### 5.1.4 La qualité des données à différents niveaux

La qualité des données peut être abordée en étudiant différents niveaux :

1. la qualité de la représentation des données dans le système d'information, niveau MCD ;

2. la qualité de la gestion des données, niveau processus ;

3. la qualité des données, niveau instance/valeur.

Les principales dimensions mesurables objectives sont décrites dans le tableau 5.1. Nous présentons dans ce tableau certaines des dimensions déjà présentées au chapitre 2, mais ici nous les associons à l'un des trois niveaux permettant d'aborder la qualité des données.
<table><caption>Table 5.1 : Principales dimensions de la qualité</caption><thead><tr><td>Niveau</td><td>Dimension</td><td>Descriptif</td></tr></thead><tbody><tr><td>MCD</td><td>Lisibilité</td><td>Donne au MCD une facilité de lecture par sa clarté et sa minimalité</td></tr><tr><td>MCD</td><td>Complétude</td><td>Donne au MCD une couverture de l'ensemble des besoins</td></tr><tr><td>MCD</td><td>Expressivité</td><td>Donne au MCD une richesse descriptive pour représenter naturellement les besoins et la réalité</td></tr><tr><td>MCD</td><td>Correction</td><td>Donne au MCD une conformité par rapport aux spécifications</td></tr><tr><td>MCD</td><td>Traçabilité</td><td>Documentation détaillée et historique de la conception et de l'évolution du MCD</td></tr><tr><td>MCD</td><td>Simplicité</td><td>Restreint le MCD à un ensemble d'éléments nécessaires</td></tr><tr><td>Processus</td><td>Sécurité</td><td>Ensemble des facteurs portant sur l'aptitude du système à préserver les données de toute manipulation hasardeuse ou malveillante</td></tr><tr><td>Processus</td><td>Fiabilité</td><td>Ensemble des facteurs portant sur l'aptitude du système à maintenir les données dans des conditions précises et pendant une période déterminée</td></tr><tr><td>Processus</td><td>Accessibilité</td><td>Ensemble des facteurs portant sur l'aptitude du système à rendre les données consultables et manipulables dans des temps adéquats</td></tr><tr><td>Processus</td><td>Disponibilité</td><td>Ensemble des facteurs portant sur l'effort nécessaire pour l'utilisation des données et sur l'évaluation individuelle de cette utilisation par un ensemble d'utilisateurs</td></tr><tr><td>Processus</td><td>Maintenabilité</td><td>Ensemble des facteurs portant sur l'effort nécessaire pour faire des modifications sur les données et leur schéma</td></tr><tr><td>Processus</td><td>Interopérabilité</td><td>Ensemble des facteurs portant sur l'aptitude du système à permettre et faciliter l'échange de données</td></tr><tr><td>Processus</td><td>Confidentialité</td><td>Ensemble des facteurs portant sur l'aptitude du système à assurer que les données ne sont accessibles que par les utilisateurs dont l'accès est autorisé</td></tr><tr><td>Instances</td><td>Complétude</td><td>Quantité de valeurs renseignées</td></tr><tr><td>Instances</td><td>Cohérence</td><td>Quantité de valeurs satisfaisant l'ensemble des règles de gestion définies</td></tr><tr><td>Instances</td><td>Exactitude</td><td>Quantité de valeurs correctes et sans erreur</td></tr><tr><td>Instances</td><td>Fraicheur</td><td>Ensemble des facteurs qui capturent le caractère récent et d'actualité d'une donnée entre l'instant où elle a été extraite ou créée dans la BD et l'instant où elle est présentée à l'utilisateur</td></tr></tbody></table>

## 5.2 Les différents types d'approches

Les approches concernant l'évaluation et le contrôle de la qualité des données peuvent être classées selon 4 grandes catégories.
<table><caption>Table 5.1 : Principales dimensions de la qualité</caption><thead><tr><td>Niveau</td><td>Dimension</td><td>Descriptif</td></tr></thead><tbody><tr><td>MCD</td><td>Lisibilité</td><td>Donne au MCD une facilité de lecture par sa clarté et sa minimalité</td></tr><tr><td>MCD</td><td>Complétude</td><td>Donne au MCD une couverture de l'ensemble des besoins</td></tr><tr><td>MCD</td><td>Expressivité</td><td>Donne au MCD une richesse descriptive pour représenter naturellement les besoins et la réalité</td></tr><tr><td>MCD</td><td>Correction</td><td>Donne au MCD une conformité par rapport aux spécifications</td></tr><tr><td>MCD</td><td>Traçabilité</td><td>Documentation détaillée et historique de la conception et de l'évolution du MCD</td></tr><tr><td>MCD</td><td>Simplicité</td><td>Restreint le MCD à un ensemble d'éléments nécessaires</td></tr><tr><td>Processus</td><td>Sécurité</td><td>Ensemble des facteurs portant sur l'aptitude du système à préserver les données de toute manipulation hasardeuse ou malveillante</td></tr><tr><td>Processus</td><td>Fiabilité</td><td>Ensemble des facteurs portant sur l'aptitude du système à maintenir les données dans des conditions précises et pendant une période déterminée</td></tr><tr><td>Processus</td><td>Accessibilité</td><td>Ensemble des facteurs portant sur l'aptitude du système à rendre les données consultables et manipulables dans des temps adéquats</td></tr><tr><td>Processus</td><td>Disponibilité</td><td>Ensemble des facteurs portant sur l'effort nécessaire pour l'utilisation des données et sur l'évaluation individuelle de cette utilisation par un ensemble d'utilisateurs</td></tr><tr><td>Processus</td><td>Maintenabilité</td><td>Ensemble des facteurs portant sur l'effort nécessaire pour faire des modifications sur les données et leur schéma</td></tr><tr><td>Processus</td><td>Interopérabilité</td><td>Ensemble des facteurs portant sur l'aptitude du système à permettre et faciliter l'échange de données</td></tr><tr><td>Processus</td><td>Confidentialité</td><td>Ensemble des facteurs portant sur l'aptitude du système à assurer que les données ne sont accessibles que par les utilisateurs dont l'accès est autorisé</td></tr><tr><td>Instances</td><td>Complétude</td><td>Quantité de valeurs renseignées</td></tr><tr><td>Instances</td><td>Cohérence</td><td>Quantité de valeurs satisfaisant l'ensemble des règles de gestion définies</td></tr><tr><td>Instances</td><td>Exactitude</td><td>Quantité de valeurs correctes et sans erreur</td></tr><tr><td>Instances</td><td>Fraicheur</td><td>Ensemble des facteurs qui capturent le caractère récent et d'actualité d'une donnée entre l'instant où elle a été extraite ou créée dans la BD et l'instant où elle est présentée à l'utilisateur</td></tr></tbody></table>

## 5.2 Les différents types d'approches

Les approches concernant l'évaluation et le contrôle de la qualité des données peuvent être classées selon 4 grandes catégories.
### 5.2.1 Les approches préventives

Ces approches s'appuient sur l'ingénierie des systèmes d'information et le contrôle des processus. Elles utilisent des techniques permettant d'évaluer la qualité des modèles conceptuels de données, des développements logiciels et des processus traitant les données. Elles effectuent en amont du stockage des données, des évaluations au niveau des modèles et des processus mis en uvre.

### 5.2.2 Les approches diagnostiques

Ces approches s'appuient principalement sur des méthodes statistiques, d'analyse et de fouille de données exploratoire pour détecter les anomalies dans les données et notamment les erreurs présentes dans de grandes quantités de données.

### 5.2.3 Les approches correctives

Elles essaient de détecter les erreurs en les comparant à des valeurs issues de la réalité (dites "données de terrain") et proposent des corrections. Ces approches sont basées sur des techniques de nettoyage et de consolidation de données, elles utilisent en particulier des langages de manipulation des données étendus et des outils de type ETL.

### 5.2.4 Les approches adaptatives

Ces approches, dites aussi actives, proposent des traitements dynamiques de vérification en temps réel de contraintes garantissant la qualité des données. Elles sont généralement appliquées lors de la médiation ou l'intégration de données.

## 5.3 La gouvernance

Une fois les premières étapes de la mise en place d'une approche de la gestion de la qualité des données réalisées :

- définition de la mesure de la qualité des données,

- choix des indicateurs pour mesurer la qualité,

- mesures et analyse des résultats,

il faut définir des plans d'action à mettre en oeuvre pour corriger la situation. Ici intervient un paramètre dont nous n'avons pas parlé jusqu'à présent : **la gouvernance**. Il faut ainsi formaliser un modèle de pilotage des acteurs, processus et techniques pour assurer la maitrise des données de l'entreprise.

Une telle démarche doit être poussée par la direction et voir l'implication de tous les acteurs de l'entreprise. Il est important de créer un **comité Qualité des données**, sous la responsabilité d'un membre de la direction, qui porte la responsabilité de la qualité des données.

Ce comité doit être composé de correspondants représentant chaque partie de l'entreprise et qui sont responsables des données relevant de leur domaine, ainsi que de la définition des mesures et indicateurs de qualité de leur service (règles métier). Un analyste s'occupe alors de la mise en oeuvre des règles métiers dans des outils de profilage et de nettoyage.