Quan els britànics van assetjar Charleston el 1780, John Rutledge, com a president del consell, va fugir a Carolina del Nord per garantir un "govern a l'exili" en cas que caigués la ciutat. Gadsden es va mantenir, juntament amb el governador Rawlins Lowndes. El general Benjamin Lincoln va rendir la guarnició de l'Exèrcit Continental el 12 de maig al general Clinton. Alhora, Gadsden va representar el govern civil i va rendir la ciutat. Va ser enviat en llibertat condicional a la seva casa de Charleston.