Il est entretenu au début du Moyen Âge, mais il est en grande partie détruit au cours de la Croisade des albigeois, sur l'ordre de Simon de Montfort en 1209, puis sur injonction du traité de Meaux en 1229. Il est partiellement reconstruit au cours du , lors de la guerre de Cent Ans. Dans le même temps, les remparts des deux principaux faubourgs de la ville, autour de Saint-Sernin et sur la rive gauche de la Garonne, sont également élevés. Au début du , face à la menace espagnole, dans le cadre de la lutte entre le roi François et l'empereur Charles Quint, de nouveaux bastions sont aménagés pour défendre la ville.