罗陀的戈咸岩洞（Gorham's Cave）化石证明了尼安德塔人曾在公元前28,000至24,000年在直布罗陀聚居，而之后则一直没有很多人类遗迹。古时，直布罗陀是北非迦太基人的聚居地，在公元前二世纪被罗马帝国征服。公元五世纪西罗马帝国灭亡后，部分哥特人和当地伊比利亚人和摩尔人（主要是腓尼基人后代）争夺此地。伊斯兰教兴起后成为北非信奉伊斯兰教的摩尔人侵略欧洲的踏脚石，一部摩尔人在伊比利亚半岛南部（包括了直布罗陀半岛），成立了若干小国并接受基督教和伊斯兰教共存，在十一至十五世纪时西班牙王国和葡萄牙王国抗击