Quel est l'intérêt d'utiliser les HDFS ?
Tout comme pour le système de fichier de notre système d’exploitation, tous les types de fichier peuvent être organisés dans différents dossiers ("hierarchical file system") avec HDFS. Qu’il s’agisse de fichiers “classiques” comme csv ou json ou bien d’autres types de fichiers utilisés pour les tâches liées au Big Data tel que parquet, avro et orc. Nous ne sommes pas limités comme dans une base de données relationnelle, il faut plutôt voir HDFS comme un Data Lake. Nous y entreposons les données brutes de notre pipeline de données, puis nous y faisons des traitements pour les placer dans un Data Warehouse ou des bases de données.