В январе 1862 года Смит поступил на службу в Армию КША в качестве адъютанта генерала Джона Магрудера. К октябрю Смит стал старшим лейтенантом. В 1864 году Джон был повышен до капитана. Во время сражения при Геттисберге был тяжело ранен, 9 апреля 1865 года ушёл в отставку.