Johnson nasceu em pobreza na cidade de Raleigh, na Carolina do Norte, numa família de origem anglo-americano e irlando-escocesa. Ele não frequentava escola e numa recebeu educação formal. Foi aprendiz de alfaiate e trabalhou em várias cidades da fronteira antes de se estabelecer em Greeneville, Tennessee. Ele serviu como vereador e prefeito lá antes de ser eleito para a Câmara dos Representantes do Tennessee em 1835. Após um período curto no senado estadual do Tennessee, Johnson foi eleito para a Câmara dos Representantes federal, em 1843, onde serviu dois mandatos. Ele então serviu como governador do Tennessee por quatro anos e depois foi eleito pela legislatura estadual para o Senado em 1857. Durante seu período no Congresso, ele votou para passar a Lei da Propriedade Rural que entrou em vigor logo após sua saída do Senado, em 1862. Quando estados escravagistas do sul declararam independência e se separaram da União, formando os Estados Confederados da América, o Tennessee se juntou aos secessionistas. Porém Johnson e outros políticos do estado decidiram permanecer leais a União. Ele foi o único Senador em um estado Confederado que não renunciou ao seu posto no senado federal no momento da secessão. Em 1862, Lincoln o apontou como governador militar do Tennessee depois que a maioria do estado caiu em mãos das tropas unionistas. Em 1864, Johnson foi escolhido para ser o vice na reeleição de Lincoln, já que o presidente queria emanar uma imagem de unidade nacional. Em abril de 1865, após o assassinato do presidente Lincoln, Andrew Johnson assumiu a presidência já na reta final da guerra civil.