Nascido em Columbus, Ohio em 1827, Latham estudou Estudos clássicos no Jefferson College em Washington, Pensilvânia, graduando-se em 1845. Após sua graduação, Latham mudou-se para o Condado de Russell, Alabama, trabalhando brevemente como professor enquanto estudava Direito. Foi aceito na Ordem do Alabama em 1848, trabalhando como secretário do tribunal do Condado de Russell por dois anos até 1850, quando mudou-se para São Francisco, Califórnia, após a Corrida do Ouro.