Etter at Romerriket gikk under på 400-tallet e.Kr. synes det som om Carteia ble forlatt etter at vandalene herjet den i 409 e.Kr. i løpet av deres marsj gjennom Romerske Hispania på veg til Nord-Afrika. Etter vandalene kom vestgoterne som forble på Den iberiske halvøya fra 414 til 711. Området rundt Gibraltar og resten av sørlige Spania ble underlagt Det bysantinske riket i løpet av den siste halvdel av 500-tallet før det igjen ble tatt tilbake av det vestgotiske kongedømmet.