I den britisk-amerikanske krig tjenestegjorde han som offiser i US Army under general Andrew Jackson og var i 1818 ansvarlig for nybyggingen av et tidligere britisk fort i Florida, som Jackson så kalte Fort Gadsden. Gadsden hjalp også med å anlegge Fort Brooke sammen med George Mercer Brooke på det sted der byen Tampa nå ligger.