У січні 1862 року Сміт поступив на службу в Армію Конфедеративних Штатів Америки як ад'ютант генерала Джона Б. Магґрудера (). До жовтня Сміт став старшим лейтенантом. У 1864 році Джон був підвищений до капітана. Під час битви під Геттісбургом був важко поранений, 9 квітня 1865 року пішов у відставку.