Quando i britannici assediarono Charleston nel 1780, John Randolph, in qualità di presidente del consiglio, fuggì al Nord per costituire un governo in esilio nel caso della caduta della città; Gadsden ed il Governatore Lowndes invece rimasero a Charleston, che si arrese il 12 maggio dello stesso anno al generale sir Henry Clinton. In quell'occasione, Gadsden rappresentò il governo civile, e con gesto magnanimo gli fu permesso di stare nella sua casa di Charleston.