После распада Союза Хейс некоторое время колебался в выборе стороны предпочтения, однако после обстрела форта Самтер решил встать на сторону Севера. Он вступил в армию рядовым, но уже летом 1861 года стал майором 23-го огайского полка. В этот же полк поступил рядовым другой будущий президент — Уильям Мак-Кинли. Полк был направлен в Западную Вирджинию, где провел осень, зиму и затем лето 1862 года. В ноябре 1861 ему присвоили звание подполковника. Полк был направлен на усиление армии Джона Поупа, но опоздал ко второму сражению при Бул-Ране. Полк участвовал в сражении у Южной Горы, где штурмовал ущелье Фокса — Хейс получил ранение и по этой причине пропустил сражение при Энтитеме. В октябре он стал полковником регулярной армии и получил временное повышение до бригадного генерала. Ему поручили командование 1-й бригадой дивизии Канава. Весь 1863 год бригада простояла около Чарльстона (Западная Вирджиния) и не участвовала в боевых действиях, кроме небольшой перестрелки с кавалеристами Джона Моргана.