Bydelen Wraggborough sentralt i Charleston er oppkalt etter ham. Wraggborough var del av Joseph Wraggs eiendommer, og det var der han drev sin omfattende forretningsvirksomhet. Eiendommene ble fordelt på Joseph Wraggs arvinger i 1758, og det var sønnen John som gav området navnet Wraggborough etter faren. En hel rekke gater i Wraggborough er oppkalt etter Wragg-familien. Syv fortsatt eksisterende gater i Wraggborough i Charleston er oppkalt etter Joseph Wraggs sønn og seks døtre: Ann Street, Charlotte Street, Elizabeth Street, Henrietta Street, John Street, Judith Street og Mary Street. To parker i Wraggborough, Wragg Square og Wragg Mall, er oppkalt etter Joseph Wragg og ble gitt til byen av hans arvinger. De to parkene ligger på hver sin side av Charleston Museum. Wraggborough utgjør idag den ene delen av bydelen Mazyck-Wraggborough, ofte bare kalt Wraggborough, og er kjent for sine historiske bygninger og kulturtilbud, herunder Charleston Museum med samlinger knyttet bl.a. til slaveritiden og historiske våpen. Museet Gov. William Aiken House dokumenterer også historien til svarte slaver som bodde der.