Albufeira hat eine etwa 2000-jährige Geschichte. Die Römer nannten es "Baltum" oder "Balteus". Der arabische Name für das Gebiet lautete . Die auf dem Felsen erbaute Stadt galt wegen ihrer Lage als uneinnehmbar. Die Mauren konnten erst 1249 von Afonso III. aus der Stadt vertrieben werden. Infolge des Erdbebens von Lissabon wurde die Stadt 1755 fast völlig zerstört. Ein Tsunami überflutete die untere Stadt. 1823 wurde Albufeira während der blutigen Auseinandersetzungen zwischen Liberalen und Miguelistas von den Miguelista-Guerrilleros unter Remexido eingekreist und angezündet. Ein Teil der Bevölkerung wurde massakriert. An die alte Stadt erinnert heute fast nichts mehr. Dort, wo sie einst stand, am höchsten Punkt der Stadt ("Rua da Bateria"), stehen heute das alte Rathaus, ein Hospital und ein Glockenturm. Die bisherige Kleinstadt ("Vila") Albufeira wurde im Jahre 1986 zur Stadt ("Cidade") erhoben.