Imediat după absolvire, Gadsden a intrat în Armata SUA. El a servit ca ofițer sub comanda generalului Andrew Jackson, care avea să fie . Gadsden a servit apoi sub generalul Jackson, atât în timpul Războiului din 1812 împotriva Armatei Britanice, cât și, între 1816 și 1821, în protejarea graniței sudice a SUA de raiduri — ale amerindienilor, (sclavi evadați și descendenții lor) — pornite din . Ca parte a acestui efort, Jackson l-a îndrumat pe Gadsden, membru al , să construiască un fort pe . Jackson l-a numit ulterior . Gadsden a contribuit și la înființarea împreună cu pe locul actualului oraș Tampa, Florida.