Norsk Folkeminnegransking har dokumentert en tradisjon om Gjest som må ha vokst fram i årene etter at han ble satt på festningen. Her fremstår han som en folkets mann som ligger i stadig konflikt med øvrigheten. Når vi ser folketradisjonen fra dansketiden samlet, finner vi ofte et bilde av griske futer og lensmenn som legger tunge skatter på småkårsfolk. I novelleeventyrene og småstubbene hos Asbjørnsen og Moe er dette trekket fremtredende. Gjest ble raskt et symbol på vanlige folks kamp mot urettferdig skattlegging, og vant et rykte i folketradisjonen som en norsk Robin Hood. Mange av fortellingene om ham handler dermed om hvordan han lurte lensmenn og futer for pengene, og gav dem tilbake til dem som trengte dem. For øvrig finnes det en rekke historier om hvordan han greide å slippe fra arresten. Gjest Baardsen levde og virket i en oppbruddstid for Norge, og kan ha samlet opp i seg sagntrekk som passer godt i samtiden. De største bragdene hans forekommer i årene rett etter 1814, mens de folkelige forestillingene om det danske embedsveldet fremdeles satt godt igjen på norske bygder.