Charlottenlund var opprinnelig en parsell av gården Grillstad, og ble fradelt (som egen gård) i 1854 og solgt til skipsbyggmester Michael Voigt. Bydelen har sine røtter fra tidlig 1900-tallet, da villaeiendommer ble utstykket fra gården. I 1950- og 1960-årene vokste Charlottenlund med mange eneboliger, rekkehus og blokker. I 1990 ble de eldste husene på (Nedre) Charlottenlund revet. I dag består Nedre Charlottenlund fremdeles stort sett av villaer, mens på Øvre Charlottenlund er det større omfang av blokker og boligkompleks.