Eliza ble født i Telford i Tennessee, USA. Hun var eneste barn av John McCardle, en skomaker, og Sarah Phillips. Hennes far døde da Eliza fortsatt var i tenårene. Hun vokste opp i Greeneville, Tennessee med sin mor. En dag i september 1826 oppdaget hun at Andrew Johnson og hans familie var på vei til byen. Det skal visstnok ha vært kjærlighet ved første blikk, og 17. mai 1827, bare et halv år senere giftet de seg. Andrew Johnson var da 18 år Eliza McCardle 16 år. Bryllupet var hjemme hos brudens mor i Greeneville. Mordekai Lincoln, en fjern slektning av Abraham Lincoln, var prest i bryllupet.