Vanaf 1780, gedurende de Amerikaanse Onafhankelijkheidsoorlog, was de 13-jarige Jackson (net als zijn twee oudere broers) in dienst als koerier. Nog datzelfde jaar werden hij en zijn oudere broer Robert door de Engelsen gevangengenomen. Tijdens zijn gevangenschap weigerde de jonge Andrew een keer om de schoenen van een Engelse officier te poetsen. Deze officier haalde naar hem uit met zijn sabel, waardoor hij littekens aan zijn hoofd en zijn linkerhand opliep. Ook liepen zowel hij als zijn broer Robert tijdens hun gevangenschap pokken op. Jackson overleefde de ziekte, maar zijn oudere broer overleed enkele dagen na hun vrijlating. Deze ervaringen met de Engelsen, en eveneens het feit dat de oorlog aan heel zijn directe familie het leven kostte, zorgden ervoor dat Jackson een enorme afkeer van Engelsen kreeg. Hij was de laatste president van de Verenigde Staten die had meegevochten tegen de Engelsen, en de tweede president die in krijgsgevangenschap is geweest (George Washington werd tijdens de Zevenjarige Oorlog vastgehouden door de Fransen).