Когда началась гражданская война, Айверсон уволился из армии США. Президент Дэвис, старый друг его отца, помог ему стать полковником 20-го Северокаролинского пехотного полка, в создании которого Айверсон принимал непосредственное участие. Полк стоял в Южной Каролине, но в 1862 году был переброшен на Вирджинский полуостров, где принял участие в Семидневной битве. Айверсон отличился в сражении при Гэинс-Милл, когда его полк находился в составе дивизии Эмброуза Хилла. Его полк действовал наиболее эффективно и сумел захватить федеральную батарею. Потери были велики и сам Айверсон был серьёзно ранен. Однако, это оказался первый и, фактически последний успех военный карьере Айверсона.