Johnson satt som senator fra Sør-Carolina i perioden 1853–1857, da sørstatene proklamerte seg uavhengig. Da dette skjedde var Johnson den eneste senatoren fra sør som ikke sa opp sin post som senator og ble den mest prominente krigsdemokraten fra sør. I 1862 ga Lincoln ham jobben som militærguvernør i Tennesse, hvor han viste seg å være effektiv i krigen mot opprørerne der.