部分哥特人和当地伊比利亚人和摩尔人（主要是腓尼基人后代）争夺此地。伊斯兰教兴起后成为北非信奉伊斯兰教的摩尔人侵略欧洲的踏脚石，一部摩尔人在伊比利亚半岛南部（包括了直布罗陀半岛），成立了若干小国并接受基督教和伊斯兰教共存，在十一至十五世纪时西班牙王国和葡萄牙王国抗击要统一信仰的北非穆斯林侵略时，和一部分混血和信奉伊斯兰教但宽容基督教的欧洲摩尔人联手，驱逐了侵略者。在地理大发现及西班牙帝国国势强盛前后，西班牙对直布罗陀地区信奉伊斯兰教的摩尔人采取驱逐或强逼改宗的政策，而很多人即使改宗后仍被逼迁到北非的摩洛哥。