Когда началась война, МакКлернанд уволился из Конгресса, набрал в Иллинойсе бригаду, известную как «Бригада МакКлернанда» и 17 мая 1861 года получил звание бригадного генерала добровольческой армии. Это назначение основывалось в основном на желании Линкольна наладить хорошие отношения с демократами в южном Иллинойсе. МакКлернанд был вторым по старшинству после Гранта генералом во время сражения при Белмонте в ноябре 1861 года, а затем командовал 1-й дивизией в армии Гранта во время сражения за форт Донельсон. 15 февраля 1862 года дивизия была внезапно атакована со стороны открытого фланга и была отброшена почти на две мили. 21 марта 1862 года МакКлернанд получил звание генерал-майора за форт-Донельсон. Несколько позже он командовал дивизией во время сражения при Шайло. Его служба генерал-майором сопровождалась политическими интригами, которые вызывали недовольство остальных офицеров. МакКлернанд рассчитывал занять место Джорджа МакКлеллана на восточном театре, а также критиковал стратегию Гранта на Западе.