Appalachian Mountains
Când au imigrat în America de Nord în 1765, părinții lui Jackson au debarcat probabil în Philadelphia, de unde au călătorit apoi pe uscat prin Munții Apalași către comunitatea scoțiano-irlandeză din Waxhaws, la granița între Carolina de Nord și cea de Sud. Ei au venit din Irlanda cu doi copii, Hugh (născut în 1763) și Robert (născut în 1764). Tatăl lui Jackson a murit într-un accident la manevrarea unor bușteni în timp ce făcea defrișări în februarie 1767 la 29 de ani, cu trei săptămâni înainte de nașterea fiului său, Andrew. Mama lui împreună cu cei trei copii au locuit apoi împreună cu mătușa și unchiul lui Jackson în regiunea Waxhaws, iar Jackson a făcut studii școlare cu doi preoți din zonă.