人曾在公元前28,000至24,000年在直布罗陀聚居，而之后则一直没有很多人类遗迹。古时，直布罗陀是北非迦太基人的聚居地，在公元前二世纪被罗马帝国征服。公元五世纪西罗马帝国灭亡后，部分哥特人和当地伊比利亚人和摩尔人（主要是腓尼基人后代）争夺此地。伊斯兰教兴起后成为北非信奉伊斯兰教的摩尔人侵略欧洲的踏脚石，一部摩尔人在伊比利亚半岛南部（包括了直布罗陀半岛），成立了若干小国并接受基督教和伊斯兰教共存，在十一至十五世纪时西班牙王国和葡萄牙王国抗击要统一信仰的北非穆斯林侵略时，和一部分混血和信奉伊斯兰教但宽容