После начала войны Клингман был отчислен из Сената. Он не имел военного опыта, однако присутствовал на поле боя во время первого сражения при Булл-Ран в качестве адъютанта-добровольца при Джозефе Джонстоне. 15 августа в Эшвиле (Северная Каролина) был сформирован 25-й Северокаролинский пехотный полк и Клингман был избран его полковником. В марте 1862 года полк был включен в бригаду Лоуренса О'Брайана Брэнча около Клингстона. 17 мая 1862 года Клингману присвоили звание бригадного генерала и он был назначен командующим бригадой в подчинении генерала Теофилиуса Холмса. Основной причиной его повышения была переброска части северокаролинских бригад под Ричмонд для противодействия наступающей Потомакской армии. Для обороны побережья были сформированы новые бригады, которым требовались командиры.