I 1561 flyttet spanskekongen sin residens til byen, og i 1606 ble byen den offisielle hovedstaden i Spania. Under den spanske arvefølgekrigen ble byen i 1706 erobret av britiske og portugisiske styrker. Mellom 1808 og 1813 ble byen kontrollert av franske styrker, og Napoleons bror Joseph Bonaparte var konge.