Données synthétiques de la base principales du Système National des Données de Santé
Organisation : Health Data Hub

## Description de la base de données : 

### Objectifs et finalités initiales de la base de données :

Mise à disposition d’un jeu de données synthétiques (données fictives) selon le modèle des tables de la base principale du SNDS pour 50 patients fictifs.

### Contexte de création : 

Ce jeu de données a été généré en utilisant le [schéma](https://gitlab.com/healthdatahub/se-former-au-snds/synthetic-generator/-/tree/master/src/resources/schemas?ref_type=heads) des tables de la base principale du SNDS de l’année 2019.

L'intérêt scientifique des données de synthèse peut se manifester au travers de nombreux cas d’usage. En effet, les données synthétiques peuvent permettre de :

Découvrir et comprendre les données de la base principale du SNDS (DCIR, PMSI, CépiDc, etc.),
Se former à la manipulation de ces données,
Commencer à préparer des programmes en attendant d’être formellement autorisé à accéder aux données réelles,
Créer du contenu pédagogique.

Les données exposées reproduisent aléatoirement les variables des tables de la base principale du SNDS mais n’ont pas de cohérence statistique, ni médicale. Ce jeu de données est principalement utile pour découvrir la base principale du SNDS.

### Public cible : 

Ces données synthétiques s’adressent à l’écosystème des acteurs de la donnée de santé qui souhaitent découvrir le SNDS et le type de contenu que sa base principale peut contenir.

### Résultats associés à la création de la base :

Le code source qui a permis de générer ce jeu de données se trouve dans [ce lien](https://gitlab.com/healthdatahub/se-former-au-snds/synthetic-generator/-/tree/master?ref_type=heads).

Les versions des librairies (packages) et de Python utilisées pour la génération des données synthétiques sont les suivantes :
Python 3.8.10 (default, Jun 22 2022, 20:18:18) 

Packages et versions utilisées :
attrs              23.2.0     ,decorator          5.1.1      ,Faker              4.1.2      ,iniconfig          2.0.0      ,joblib             1.3.2      ,networkx           2.5        ,numpy              1.19.2     ,packaging          23.2       ,pandas             1.2.3      ,pip                20.0.2     ,pkg-resources      0.0.0      ,pluggy             0.13.1     ,py                 1.11.0     ,pytest             6.2.2      ,python-dateutil    2.9.0.post0,python-Levenshtein 0.12.2     ,pytz               2024.1     ,scikit-learn       0.24.2     ,scipy              1.10.1     ,setuptools         44.0.0     ,six                1.16.0     ,text-unidecode     1.3        ,threadpoolctl      3.3.0      ,toml               0.10.2   .

Le code qui a été utilisé pour générer les données synthétiques présentées ici a utilisé la configuration qui se trouve dans le fichier snds.config. Le détail de cette configuration est décrite ci-dessous :

**[BASE]**
base_name = SNDS #choose a root for every connected component of the data base which contains more than 2 tables_
roots = IR_BEN_R #_fill only one parameter of n_beneficiaires, volume_beneficiaires (which is indicated in Mo)
n_beneficiaires = 50 #_volume_beneficiaires = 8000
export_path = test_snds #_path2resources = src/resources
sep = ;

**[SCHEMA MODIFIER]**
the following format is expected: modifier_name=table|variable|property|new value. Note that table, variable and property can be given as globstrings.
eg date_modifier=*|MY_DATE|type|datetime will convert the variable MY_DATE's type to "datetime" in ALL the tables
Note that %Y%m will raise an Error, as % needs to be preceded by %. The correct version of %Y%m is %%Y%%m
modif1 = *|*_DTD|format|%%d/%%m/%%Y
modif2 = *|*_DTF|format|%%d/%%m/%%Y

#### Présentation des données : 

- **Méthodologie de collecte et critères d’inclusion :**

Aucune collecte de données n’est réalisée pour générer ces données synthétiques. Nous nous appuyons seulement sur le schéma des tables de la base principale du SNDS.

- **Choix des variables :**

Toutes les variables des tables de la base principale du SNDS sont visées pour être le plus exhaustif possible. Le schéma considéré est celui de l’année 2019.

- **Description détaillée de chaque champ :**

La description des champs se trouve dans le dictionnaire des variables de la base principale du SNDS.

- **Structure de la base et rationnel des fichiers :**

Le jeu de données synthétique a été scindé selon les composantes suivantes. La description des tables se trouve dans la documentation. Notons que la composante “DCIR_DCIRS”  est aussi appelée “REFERENTIELS”.

-BENEFICIAIRE                      
   IR_BEN_R.csv                  
   IR_IBA_R.csv                  

                                  
-CARTOGRAPHIE_PATHOLOGIES          
    CT_DEP_AAAA_GN.csv            
    CT_IDE_AAAA_GN.csv            
    CT_IND_AAAA_GN.csv            
                                  
-Causes de décès                   
    KI_CCI_R.csv                  
    KI_ECD_R.csv                  
                                  
-DCIR                              
   ER_ANO_F.csv                  
   ER_ARO_F.csv                  
   ER_BIO_F.csv                  
   ER_CAM_F.csv                  
   ER_CPT_F.csv                  
   ER_DCT_F.csv                  
   ER_DTR_F.csv                  
   ER_ETE_F.csv                  
   ER_INV_F.csv                  
   ER_LOT_F.csv                  
   ER_PHA_F.csv                  
   ER_PRS_F.csv                  
   ER_RAT_F.csv                  
   ER_TIP_F.csv                  
   ER_TRS_F.csv                  
   ER_UCD_F.csv                  
  
                                  
-DCIR_DCIRS ou REFERENTIELS                  
    BE_IDE_R.csv                  
    DA_PRA_R.csv                  
    IR_ACS_R.csv                  
    IR_ETM_R.csv                  
    IR_IMB_R.csv                  
    IR_MAT_R.csv                  
    IR_MTT_R.csv                  
    IR_ORC_R.csv                  
                                  
-PMSI                              
├───PMSI HAD                      
│       T_HADaaA.csv              
│       T_HADaaB.csv              
│       T_HADaaC.csv              
│       T_HADaaD.csv              
│       T_HADaaDMPA.csv           
│       T_HADaaDMPP.csv           
│       T_HADaaE.csv              
│       T_HADaaEHPA.csv           
│       T_HADaaFA.csv             
│       T_HADaaFB.csv             
│       T_HADaaFC.csv             
│       T_HADaaFH.csv             
│       T_HADaaFI.csv             
│       T_HADaaFL.csv             
│       T_HADaaFM.csv             
│       T_HADaaFP.csv             
│       T_HADaaGJ.csv             
│       T_HADaaGRE.csv            
│       T_HADaaGRP.csv            
│       T_HADaaLEG.csv            
│       T_HADaaMED.csv            
│       T_HADaaMEDATU.csv         
│       T_HADaaMEDCHL.csv         
│       T_HADaaMON.csv            
│       T_HADaaS.csv              
│       T_HADaaSTC.csv            
│                                 
├───PMSI MCO                      
│       T_MCOaaA.csv              
│       T_MCOaaB.csv              
│       T_MCOaaBPHN.csv           
│       T_MCOaaC.csv              
│       T_MCOaaCSTC.csv           
│       T_MCOaaD.csv              
│       T_MCOaaDIALP.csv          
│       T_MCOaaDMIP.csv           
│       T_MCOaaE.csv              
│       T_MCOaaFA.csv             
│       T_MCOaaFASTC.csv          
│       T_MCOaaFB.csv             
│       T_MCOaaFBSTC.csv          
│       T_MCOaaFC.csv             
│       T_MCOaaFCSTC.csv          
│       T_MCOaaFH.csv             
│       T_MCOaaFHSTC.csv          
│       T_MCOaaFI.csv             
│       T_MCOaaFL.csv             
│       T_MCOaaFLSTC.csv          
│       T_MCOaaFM.csv             
│       T_MCOaaFMSTC.csv          
│       T_MCOaaFP.csv             
│       T_MCOaaFPSTC.csv          
│       T_MCOaaGVxx.csv           
│       T_MCOaaIVG.csv            
│       T_MCOaaLEG.csv            
│       T_MCOaaMED.csv            
│       T_MCOaaMEDATU.csv         
│       T_MCOaaMEDTHROMBO.csv     
│       T_MCOaaORP.csv            
│       T_MCOaaPIE.csv            
│       T_MCOaaPIP.csv            
│       T_MCOaaPORG.csv           
│       T_MCOaaSTC.csv            
│       T_MCOaaSUP_BPHNA.csv      
│       T_MCOaaSUP_BPHNC.csv      
│       T_MCOaaSUP_BPHNP.csv      
│       T_MCOaaSUP_CES.csv        
│       T_MCOaaSUP_FFM.csv        
│       T_MCOaaSUP_LACT.csv       
│       T_MCOaaSUP_PPCO.csv       
│       T_MCOaaSUP_SMUR.csv       
│       T_MCOaaSUP_USMP.csv       
│       T_MCOaaUM.csv             
│       T_MCOaaUPGV.csv           
│       T_MCOaaVALO.csv           
│       T_MCOaaVALOACE.csv        
│       T_MCOaaZ.csv              
│       T_SUPaaALD.csv            
│       T_SUPaaATU.csv            
│       T_SUPaaBPHN.csv           
│       T_SUPaaDMI.csv            
│       T_SUPaaFFM.csv            
│       T_SUPaaIVG.csv            
│       T_SUPaaMON.csv            
│                                 
├───PMSI RIM-P                    
│       T_RIPaaC.csv              
│       T_RIPaaCCAM.csv           
│       T_RIPaaE.csv              
│       T_RIPaaFA.csv             
│       T_RIPaaFB.csv             
│       T_RIPaaFC.csv             
│       T_RIPaaFH.csv             
│       T_RIPaaFI.csv             
│       T_RIPaaFL.csv             
│       T_RIPaaFM.csv             
│       T_RIPaaFP.csv             
│       T_RIPaaISOCONT.csv        
│       T_RIPaaR3A.csv            
│       T_RIPaaR3AD.csv           
│       T_RIPaaRSA.csv            
│       T_RIPaaRSAD.csv           
│       T_RIPaaS.csv              
│       T_RIPaaSTC.csv            
│                                 
└───PMSI SSR                      
        T_SSRaaA.csv              
        T_SSRaaB.csv              
        T_SSRaaC.csv              
        T_SSRaaCCAM.csv           
        T_SSRaaCCAR.csv           
        T_SSRaaCMC.csv            
        T_SSRaaCSARR.csv          
        T_SSRaaCSTC.csv           
        T_SSRaaD.csv              
        T_SSRaaE.csv              
        T_SSRaaFA.csv             
        T_SSRaaFASTC.csv          
        T_SSRaaFB.csv             
        T_SSRaaFBSTC.csv          
        T_SSRaaFC.csv             
        T_SSRaaFCSTC.csv          
        T_SSRaaFH.csv             
        T_SSRaaFI.csv             
        T_SSRaaFL.csv             
        T_SSRaaFLSTC.csv          
        T_SSRaaFM.csv             
        T_SSRaaFMSTC.csv          
        T_SSRaaFP.csv             
        T_SSRaaGHJ.csv            
        T_SSRaaGME.csv            
        T_SSRaaLEG.csv            
        T_SSRaaMED.csv            
        T_SSRaaMEDATU.csv         
        T_SSRaaS.csv              
        T_SSRaaSTC.csv      

#### Problèmes connus/Limites du jeu de données :

Le jeu de données partagé a les caractéristiques suivantes:
Absence de cohérence statistique entre les variables et au sein d’une variable,
Absence de cohérence médicale,
Génération des dates sont aléatoires

Par conséquent, des incohérences dans les données persistent - Exemple : année de naissance post remboursement de soins, date de naissances post décès, etc.

#### Instructions/pré-requis d’utilisation de la base :

Les fichiers sont au format CSV peuvent être directement téléchargés.

### Support : 

Un support peut être apporté en sollicitant le HDH aux adresses de messagerie suivantes:
opensource@health-data-hub.fr 

### Autres ressources communautaires du HDH : 

- **Documentation collaborative SNDS :**
Depuis 2019, le Health Data Hub concrétise son engagement pour l’open science à travers des initiatives variées qui favorisent le partage et la valorisation des données de santé. Une collaboration étroite avec des acteurs comme la DREES, Santé publique France, la CNAM, l’ANSM, les ARS et l’ATIH a permis de développer une [documentation ouverte et collaborative](https://documentation-snds.health-data-hub.fr/), régulièrement mise à jour pour accompagner les utilisateurs.

- **Forum entraide :**
Un [forum](https://entraide.health-data-hub.fr/) dédié à la communauté d'entraide sur le SNDS et destiné aussi bien aux débutants qu’aux experts, est mis à disposition afin de référencer les questions et réponses techniques, actualités, discussions livres, etc. 

- **Groupe meetUp :**
Dans le cadre de sa mission d'animation de l'écosystème des données de santé, le Health Data Hub organise régulièrement des [Meetups](https://www.meetup.com/fr-FR/health-data-hub/) autour de l’avancée des travaux exploitant la base principale du Système National des Données de Santé et de leur ouverture. Les Meetups sont des rencontres ouvertes à tous réunissant des acteurs variés dans le but d’échanger autour de cette thématique. Ces événements s'inscrivent dans une dynamique visant à participer à l’ouverture des connaissances autour du SNDS. Ce groupe, lancé en 2019, rassemble aujourd’hui plus de 3 600 membres.

- **Dictionnaire de variables :**
Le Health Data Hub soutient également l’exploration des données grâce au [dictionnaire des variables](https://health-data-hub.shinyapps.io/dico-snds/), élaboré avec la DREES, qui offre une navigation simplifiée et intègre les évolutions régulières des terminologies de la base principale du SNDS. 

### Citation : 

Pour citer la base de données, vous pouvez utiliser le DOI suivant : https://doi.org/10.60597/n9rg-9k76

Mots-clés : base-principale-snds,donnees-synthetiques,hdh,health-data-hub
Fréquence de mise à jour : punctual
Début de la couverture temporelle : 2019-01-01
Fin de la couverture temporelle : 2019-12-31