Benchmarking in wireless networks

L’objectif principal de cette these est d’obtenir une comparaison realiste et equitable des performances des protocoles et des applications pour les reseaux sans fil. Dans la communaute reseau, la simulation est l’approche predominante pour l’evaluation comparative des protocoles, cependant, elle manque de realisme car elle utilise le plus souvent des modeles simplifies des couches de communication. D’un autre cote, les experimentations sans fil effectuees dans le monde reel sont realistes mais elles compliquent fortement la comparaison equitable des protocoles. En effet, la comparaison equitable des protocoles depend de l’interpretation correcte des resultats et de la « repetabilite » de l’experimentation. L’interpretation correcte des resultats est un probleme majeur pour les experimentations sans fil car il n’est pas facile de tenir compte de l’ensemble des parametres qui peuvent avoir un impact sur les performances des protocoles en particulier, les conditions du canal, les parametres de configuration des outils de mesure. Avec les experimentations sans fil, la « repetabilite » des resultats est quasiment impossible a obtenir en raison du caractere aleatoire du canal de transmission. Quant a la « comparaison equitable » des protocoles, elle est complexe a obtenir et necessite une methodologie standard. Dans cette these, nous proposons une methodologie d’experimentation dont l’objectif est d’assurer une interpretation correcte des resultats experimentaux. Cette methodologie est composee des etapes suivantes : caracterisation de canal pour determiner les conditions exactes de canal, calibrage des outils de mesure, specification de la configuration du scenario a l’aide d’outils simples. Dans les experimentations sans fil, les ondes radio sont affectees par des phenomenes multiples et complexes comme l’attenuation en fonction de la distance, les reflexions sur le sol ou les murs qui peuvent provoquer l’evanouissement du signal. De plus, le deplacement d’objet ou de personnes entre emetteurs et recepteurs et a la proximite d’autres reseaux sans fil peuvent introduire des interferences que l’on ne peut pas ignorer. D’autres part, les experimentateur peuvent facilement faire des erreurs si les outils et les logiciels utilises sont mal configures. Pour cela, il est important de specifier de maniere precise et detaillee le scenario d’experimentation. Cette specification doit inclure la sequence des etapes et la description des tâches a effectuer a chaque etape de l’experimentation. Les tâches comprennent la generation de trafic, la capture des paquets (e. G. a l’aide de sondes), la capture de traces RF (e. G. Avec un analyseur de spectre) et la collecte d’autres mesures, comme la charge CPU des machines utilisees. Pour interpreter correctement les resultats, comme ces informations peuvent etre tres volumineuses, elles doivent etre organisees et presentees de maniere efficace. Dans cet objectif, nous proposons l’etablissement d’un rapport detaille appele FDR (« Full Disclosure Report »). Comme la « repetabilite » des experimentations sans fil est impossible a obtenir dans un environnement non controle, notre objectif est de pouvoir repeter des resultats statistiques. Ces derniers sont obtenus en regroupant les resultats d’experimentations multiples qui ont eu lieu avec des conditions d’environnement similaire. Etant donne que les experimentations sans fil sont fastidieuses a realiser et sujettes aux erreurs humaines, nous avons developpe une boite a outils permettant de faciliter le benchmark. Ces outils permettent de decrire les scenarios, gerer la planification d’un grand nombre d’experimentations et traiter l’enorme quantite de traces qui en resultent, sauvegarder les metadonnees et leur provenance (enregistrement chronologique des etapes de mesure et d’analyse), ainsi que les resultats d’experimentation. Enfin, nous illustrons et validons notre methodologie de benchmark avec deux cas d’etude.