A Crise Vigilante no verão de 1856 ofuscou o resto do mandato de Johnson. Apesar do fato de que uma grande parte da Assembleia Legislativa era composta de membros do partido Sabe Nada, Johnson vetou um projeto de lei devido à sua "grafia incorreta, pontuação inadequada e rasuras". Johnson também aprovou fundos para construir o futuro Capitólio Estadual da Califórnia. Em 1857, os Sabe Nadas estavam frustrados com a incapacidade de Johnson de lidar com os Vigilantes de São Francisco. Durante a convenção do Partido Americano daquele ano, Johnson perdeu a indicação do partido para o governo para George W. Bowie. Bowie seria derrotado pelo Democrata Lecompton John B. Weller. Pouco depois, o Partido Americano deixou de ser uma grande força política na Califórnia e em outras partes dos Estados Unidos e foram absorvidos pelo Partido Republicano e por grupos do Partido Democrata.