Selv om Eastbourne er en relativ ny by er det påvist menneskelig bosetning i området siden steinalderen. Byen vokste til en fasjonabel feriested takket være den prominente landeieren William Cavendish, den senere hertug av Devonshire. Cavendish utpekte arkitekt Henry Currey til å formgi en gateplan for byen, men ikke før han sendte ham til Europa for å skaffe seg inspirasjon. Det resulterende blandingen av arkitektur er typisk viktoriansk og har forblitt et nøkkeltrekk for Eastbourne. Strandpromenaden består nesten bare av viktorianske hoteller, og man finner ikke glorete butikker av den typen som eller spretter opp nær strender. Cavendish tillot ikke at bygningene ble omgjort til butikker, og man har holdt på dette preget. Det finnes også flere gamle befestede tårn og et fort i byen.