Sherman Houghton besuchte die öffentlichen Schulen seiner Heimat sowie das "Collegiate Institute". Während des Mexikanisch-Amerikanischen Krieges war er zwischen 1846 und 1848 Soldat in einer Freiwilligeneinheit aus dem Staat New York. Nach seinem Ausscheiden aus dem Militärdienst folgte Houghton dem Goldrausch und ging nach Kalifornien, wo er für einige Zeit in den Goldminen arbeitete. Später ließ er sich in San José nieder. Im Jahr 1854 war er Verwaltungsangestellter am Supreme Court of California. Zwischen 1855 und 1856 fungierte Houghton als Bürgermeister von San José. Nach einem Jurastudium und seiner Zulassung praktizierte er dort als Rechtsanwalt. Während des Bürgerkrieges diente er als Offizier im Heer der Union. Dabei stieg er bis zum Oberstleutnant auf; zeitweise war er Ordonnanzoffizier.