Etter at Kartago falt, kom også romerne til Gibraltar, men heller ikke de etablerte en fast bosetning. Mer nærliggende for bosetning var Gibraltarbukta i umiddelbar nærhet til Gibraltars odde. Den har vært bosatt i årtusener, og har blitt benyttet for handel i minst 3000 år. Antagelig hadde fønikerne og kartagerne en viss bosetning her, og romerne etablerte byen («Den hvite havn») på stedet for dagens Algeciras, omtrent 10 km fra Gibraltar.