Til tross for stedets nære historiske forbindelser med Camberwell som ligger i nordvest, har Dulwich forblitt et eget distrikt og har lenge vært mer eksklusivt. Det er bortimot utelukkende grunnet posisjonen til sin uavhengige skole, Dulwich College, grunnlagt i 1619 av skuespilleren Edward Alleyn, som , som besto av fattighus og en skole for underprivilegerte gutter. Fra tidlig på 1700-tallet og særlig etter midten av 1760-tallet tillot lærestedet også rike londonbeboere, ofte foreldre av elever, til å bygge store hus som økte verdien av skolen og dens eiendommer.