Ladson tilhørte den engelskættede plantasjeeier- og handelseliten i Charleston, den tradisjonelt viktigste byen i den nordamerikanske slavehandelen, og var sønn av tidligere viseguvernør James Ladson. Han var også etterkommer av de ledende slavehandlerne Benjamin Smith og Joseph Wragg. Sammen med sine slektninger var han også sentral i opptakten til Den amerikanske borgerkrigen, og var visepresident i Great Southern Rights and Southern Co-Operation Meeting i Charleston in 1851. Han var tilhenger av slaveri og "states' rights", og skrev om sin bruk av religion for å holde disiplin blant slavene. De sterk rasistiske uttalelsene er karakteristiske for hvordan den hvite plantasjeeiereliten rettferdiggjorde slaveriet ved å fremstille det som de gjorde de svarte en tjeneste. Han var far til bl.a. major William Henry Ladson, som falt som major i sørstatshæren Confederate States Army i 1861 i Charleston, helt i begynnelsen av den amerikanske borgerkrigen, der Charleston spilte en stor rolle.