Las excavaciones arqueológicas realizadas muestran que existieron unas murallas cuando la ciudad era un castro romano, e iban desde la Puerta de Olivares hasta la Iglesia de San Ildefonso.