Diede le dimissioni dal Congresso, reclutò la "brigata McClernand" in Illinois e fu nominato generale di brigata dei volontari il 17 maggio 1861. Il suo compito di generale non si basò sulla breve esperienza nella guerra di Falco Nero, ma sul desiderio di Lincoln di tenere legami politici con i democratici dell'Illinois meridionale. Fu secondo in comando di Ulysses Simpson Grant nella battaglia di Belmont (Missouri) del novembre 1861, e comandò la 1ª divisione dell'esercito di Grant a Fort Donelson. La sua divisione, i cui fianchi non erano coperti a dovere, fu colpita da un attacco a sorpresa il 15 febbraio 1862, e respinta di almeno 3 km prima di riuscire ad ottenere rinforzi. Il 21 marzo 1862 fu promosso maggior generale del volontari per quanto fatto a Donelson. Nella battaglia di Shiloh comandò una divisione che resistette, con quella di William Tecumseh Sherman, al duro assalto confederato della chiesa di Shiloh.