Fue capital de los Nitióbrigos, pueblo celtíbero que se instaló en el siglo IV a. C. Desde la época galorromana (con el nombre de "Aginnum" en el Itinéraire d'Antonin, de la raíz celta "agin" "altura") ha sido un punto importante en la ruta de Burdeos a Toulouse. El desarrollo romano fue interrumpido por la invasión visigoda en 419. En el siglo VI cayó en poder de Gontran I, rey de los burgundios. En el siglo VII pasó a manos del Reino de Toulouse, y fue devastada por los árabes durante las campañas que acabarían en la batalla de Poitiers. Tras Carlomagno, el Agenais se constituyó en condado, amenazado por los normandos que remontaban el Garona hacia Toulouse. Todas estas invasiones acabarían reduciendo la ciudad a un conjunto de islotes fortificados, como el "Castrum Sancti Stephani" (en torno a la catedral de San Esteban) o el "Castrum Montis Revellis" (que posteriormente sería el castillo de Montrevel, emplazamiento del actual Ayuntamiento).