Ved borgerkrigens udbrud meldte Wallace sig frivilligt som menig i 11th Illinois, som blev opstillet i Springfield, Illinois. Han blev derefter valgt til enhedens opberst. Han steg i graderne og kommanderede en brigade af General John A. McClernand's division i Grant's Army of the Tennessee i Slaget ved Fort Donelson i 1862. Under slaget var en stor del af McClernand's division blevet drevet tilbage med tunge tab og Wallace's evne til at bevare fatningen under ild blev især bemærket. General Lew Wallace beskrev ham som "en landmand, der kommer hjem fra en lang dags pløjning". For sin indsats ved Fort Donelson blev han forfremmet til brigadegeneral. I Slaget ved Shiloh, var han chef for en ny division, men alligevel lykkedes det ham at modstå seks timers angreb fra Sydstatshæren lige ved siden af den berømte hvepserede (Hornet's Nest). Da hans division til sidst blev omringet, beordrede han tilbagetrækning og mange undslap, men selv blev han dødeligt såret, og det var først senere, at han blev fundet af sine tropper på slagmarken dårligt nok i live. De bar ham tilbage til hans kone, som passede ham på vejen tilbage til General Grantøs hovedkvarter i Cherry Mansion i Savannah, Tennessee. Han døde tre dag senere i sin kones arme. Hans sidste ord var: "Vi mødes i himlen". Han ligger begravet i Ottawa, Illinois. Hans stridshest, Prince, ligger begravet ved siden af generalen som han bar ind i slaget ved Shiloh.