Харди уволился из армии США 31 января 1861 года после сецессии своего родного штата Джорджия. 7 марта он вступил в армию Конфедерации в качестве полковника и был направлен командовать фортами Морган и Гейнс в Алабаме. 17 июня его повысили до бригадного генерала, а 7 октября - до генерал-майора. Таким образом к 10 октября 1862 года он стал одним из первых генерал-лейтенантов армии Конфедерации. Его первым поручением в звании генерала было организовать бригаду из арканзасских полков, и он произвел хорошее впечатление на солдат и офицеров, сумев решить непростые проблемы по снабжению, а также эффективными тренировками своих солдат. Харди действовал в Арканзасе, пока не был присоединен к Миссисипской армии генерала Сидни Джонстона, где ему было поручено командовать корпусом в сражении при Шайло. В этом бою он был ранен в руку. В сражении погиб генерал Джонстон, поэтому корпус Харди влился в Теннессийскую армию Брэкстона Брэгга.