Gadsden sirvió en el Ejército de los Estados Unidos como oficial bajo el mando del General Andrew Jackson, que más tarde sería elegido presidente en 1828. Gadsden sirvió bajo el general Jackson, tanto durante la guerra de 1812 contra el ejército británico, y en contra de los Amerindios en el recién adquirido (1819) Territorio de Florida durante la década de 1820. Mientras que Gadsden estaba sirviendo en el Ejército en Florida, estableció el punto fuerte del ejército en el Fuerte Gadsden cerca del Panhandle de la Florida y ayudó a establecer Fuerte Brooke en el sitio de la actual ciudad de Tampa, Florida.