Nelsons division kom først i kamp på andendagen af slaget ved Shiloh den 7. april 1862, da Buells hær ankom lige i tide til at kunne gennemføre et modangreb på sydstatshæren og bringe sejr til Ulysses S. Grant. Han deltog i fremrykningen til Corinth under Henry W. Halleck og i Buell's fremrykning mod Chattanooga. Han blev forfremmet til generalmajor den 17. juli 1862, og fik kommandoen over Army of Kentucky i August. Den 30. august 1862 blev Nelson grundigt besejret af Edmund Kirby Smiths konfødererede styrker i slaget ved Richmond. Han blev selv let såret, men mistede over 5.300 mand (sammenlignet med Sydstaternes tab på 451). Han havde kommandoen over Louisville, Kentucky, da sydstatsgeneralen Braxton Bragg truede byen.