Ladson, South Carolina utenfor Charleston er oppkalt etter familien. Hans bolig i sentrum av Charleston, bygd 1792, eksisterer fortsatt og har navnet James Ladson House. Boligen har adresse 31 Meeting Street og ligger langs Ladson Street som også er oppkalt etter familien.