Durante los turbulentos años que siguieron al hundimiento del poder visigodo en Hispania y Septimania, la invasión musulmana y posterior toma por los reyes francos (principios del siglo VIII), los vizcondes de Nimes construyeron su palacio-fortaleza dentro del anfiteatro.