James Ladson tilhørte plantasjeeiereliten i Charleston (Charles Town) og var etterkommer av flere guvernører i Carolina under det britiske styret og av den første europeiske kolonisten i Carolina Henry Woodward. Ladsonfamilien emigrerte fra Northamptonshire i England til Barbados og deretter til Carolina på 1600-tallet. Etter farens død ble han oppdratt av morens bror John Gibbes (1733–1780); Gibbes Museum of Art i Charleston er oppkalt etter morens familie. Moren var etterkommer av guvernør Robert Gibbes. Han gikk på de beste skolene som fantes i Carolina og ble sendt til England for å utdanne seg i 1773.