Den første permanente bosetning ble bygget av almohadske sultanen Abd al-Mu'min som beordret bygging av en festning på fjellet The Rock, ruinene finnes fortsatt og kalles Moorish Castle (). Gibraltar ble senere en del av kongedømmet Granada fram til 1309 da det en kort tid var okkupert av tropper fra Castilla. I 1333 ble det erobret av de arabiske marinidere som hadde invadert muslimske Spania. Mariniderne avga Gibraltar til kongedømmet Granada i 1374. I 1462 ble Gibraltar endelig erobret av hertugen av Medina-Sidonia og dermed endte 750 år under maurisk kontroll.