В мае 1861 года Джон убежал из родного графства Ликинг, чтобы вступить в армию Севера. Клем был принят в 22-й мичиганский полк в качестве талисмана и барабанщика. Участвовал в Битве при Чикамоге, где из специально обрезанного для него мушкета серьёзно ранил вражеского полковника (Первоначально Клем считал, что офицер был убит. Спустя годы, узнав, что тот был только ранен, Джон написал полковнику письмо, в котором уверял, что эта новость стала лучшей в его жизни). После битвы Клему, который стал конным ординарцем при штабе генерала Джорджа Томаса, был присвоен чин сержанта. Он был дважды ранен. Уволился из армии в 1864 году. В 1871 году Клем вновь поступил на военную службу с присвоением звания второго лейтенанта и оставался на ней вплоть до 1915 года, когда в звании бригадного генерала он вышел в отставку. Уже будучи на пенсии, по решению Конгресса он был повышен до генерал-майора.