Arkeologiske undersøkelser viser at det har vært bosetning her siden det 4. århundre f.Kr. og at det i romersk tid var et forum, bad og andre romerske bygninger her. Men den nåværende utformingen er maurisk og resultatet av restaureringer og rekonstruksjoner fra forskjellige portugisiske konger, som startet i 1148. Borgen er utstyrt med flere tårn, hoved-tårnene ble bygget i 1375, Albarrã-tårnet ble forvandlet til et klokketårn i 1842 og bygging av en utvendig trapp til D. Fernando tårnet skjedde i 1869.