Han nedlagde sit mandat i kongressen, hvervede "McClernand Brigaden" i Illinois, og blev udnævnt til brigadegeneral den 17. maj 1861. Hans udnævnelse til general skyldtes ikke hans krigserfaring, men derimod Lincolns ønske om at fastholde politiske forbindelser med demokraterne i det sydlige Illinois. Han var næstkommanderende under Ulysses S. Grant ved Slaget ved Belmont i november 1861, og kommanderede en division i Grants hær under Slaget ved Fort Donelson. Hans division var ikke ordentligt forankret i flanken, og den blev ramt af et overraskelsesangreb den 15. februar som drev den næsten 3 kilometer tilbage, før det lykkedes ham at få forstærkninger. Den 21. marts 1862 blev han forfremmet til generalmajor for sin indsats ved Donelson. Under Slaget ved Shiloh kommanderede han en division, som i praksis var reserve for William T. Sherman's division. Hans tjeneste som generalmajor var plettet af politiske manøvrer, som hans kolleger ikke brød sig om. Han forsøgte at overtage pladsen fra General George B. McClellan i det østlige operationsområde, og kritiserede Grants manøvrer i Vesten.