Smith tjente i den amerikanske borgerkrigen for Nordstatene, og var en av de få offiserene som fikk flest fargede til hæren. Senere mistet han sin stilling som jurist i hæren da det gikk rykter at han ga lavere lønn til soldatene enn det som var avtalt. Etter borgerkrigen ble Smith ofte stilt for krigsrett for skammelig oppførsel mot sine høyere offiserer, som senere ga han klengenavnet «Howling Jake» siden han ofte hylte til lederne sine.