Johnson var opprinnelig fra Raleigh i Nord-Carolina. Faren døde tidlig, og moren fikk barna inn i tekstilindustrien for å begrense fattigdommen i hjemmet. Johnson gikk aldri på noen skole og lærte seg selv å lese og skrive. I 1820-årene jobbet han som skredder i Laurens i Sør-Carolina. Da Johnson var 16–17 år, flyktet han vekk til Greeneville i Tennessee sammen med broren og fant seg også der jobb som skredder. Som attenåring giftet Johnson seg med Eliza McCardle, som han fikk fire barn med i perioden 1828–1852. Eliza hjalp Johnson blant annet med å forbedre hans lese- og skriveferdigheter.