Byen ble grunnlagt i år 789 av kong Idiris I, og videre utbygget av sønnen Idiris II. Al-Karaouine-universitetet ble grunnlagt i 859, i tilknytning til Kairouyine-moskéen, og bidro til å gjøre byen til et senter for tro, kultur og vitenskap. Det er det eldste universitetet i verden som har vært kontinuerlig i virksomhet. Fez var Marokkos hovedstad i middelalderen, og anno 1170 kan byen ha vært verdens største. Fra 1649 regjerte Alaouitedynastiet i byen, og fra 1666 hersket de over hele landet herfra. Det samme dynastiet sitter fortsatt på tronen. Hovedstaden i Marokko flyttet seg flere ganger mellom forskjellige byer. Da sultan Abdelhafid i 1912 inngikk en protektoratavtale med Frankrike, mistet Fez rollen som hovedstad. Franskmennene valgte Rabat som administrasjonssenter, og Rabat vedble å være hovedstad etter uavhengigheten i 1956.