Nascido na região rural do Condado de Gibson, Indiana, Johnson nunca frequentou uma Universidade; enquanto nasceu em uma família proeminente, seus planos para seus estudos foram frustrados pelos efeitos econômicos do Pânico de 1837. Era aprendiz numa gráfica antes de mudar-se para Iowa para trabalhar com um advogado e foi aceito na Ordem de Iowa. Em Julho de 1849, Johnson partiu de Iowa para a Corrida do ouro na Califórnia, onde se empregou brevemente como garimpeiro e, mais tarde, como motorista de carroça. Johnson reiniciou sua carreira em direito em Sacramento, Califórnia, fundando uma advocacia com Ferris Forman, e foi eleito como Procurador-Geral da Cidade de Sacramento em 1850. Depois de dois anos no escritório do Procurador-Geral da Cidade, Johnson iniciou sua carreira política concorrendo pelo Partido Whig nas eleições de 1852, na qual Johnson foi eleito para a Assembleia do Estado da Califórnia como um dos quatro membros representando Sacramento.