Aldeburghs betydning som havn minsket da elven Alde siltet opp og større skip kunne ikke lenger fortøye. Byen fortsatte som hovedsakelig en fiskelandsby fra til 1800-tallet da den fikk ny interesse som et feriested. Mye av den særskilte og til dels snurrige arkitekturen stammer fra denne perioden. Elven har nå en seileklubb og en yachtklubb.