W 1853 roku, po zmianie okręgów wyborczych, został wybrany gubernatorem Tennessee i pełnił tę funkcję przez dwie, dwuletnie kadencje. Następnie, w 1857, został wybrany do Senatu USA, gdzie zasiadał przez pięć lat. W czasie pełnienia tej roli nadal opowiadał się za rządami ludzi pracy. Nie był zwolennikiem niewolnictwa, ale też go nie zwalczał, gdyż uważał je za część składową gospodarki plantacyjnej. Kiedy stany południowe postanowiły dokonać secesji, Johnson, jako jedyny senator z Południa, potępił ją, uważając to za zdradę stanu. Ponieważ plantatorzy z Tennessee również wymusili decyzję o wystąpieniu z Unii, musiał on uciekać do Kentucky. Po zajęciu części stanu przez oddziały generała Granta, Johnson powrócił i został wojskowym gubernatorem Tennessee, w randze generała brygady, mianowanym przez Abrahama Lincolna. Jego działania na rzecz jedności kraju, zaowocowały propozycją nominacji wiceprezydenckiej z ramienia Partii Republikańskiej. Lincoln uważał, że dobrze będzie mieć w gabinecie południowca i demokratę, dlatego też wysunął kandydaturę Johnsona. Po zwycięskich wyborach, pełnił rolę wiceprezydenta przez 41 dni, gdyż 15 kwietnia 1865, w wyniku zamachu, zmarł prezydent Lincoln.