Quedan restos del vestigio visigodo en la Cripta de San Antolín (que es la actual cripta de la catedral) y en la cercana localidad de Baños de Cerrato con su iglesia de San Juan de Baños (siglo ), situada a tan solo 7 km de la capital que está considerada la obra cumbre de la arquitectura visigoda.