Allo scoppio della guerra civile, Wallace partì come soldato semplice volontario con l'11° Illinois, che era stato costituito a Springfield. Ricevette poi il brevetto di colonnello dell'unità. La sua progressione militare lo condusse al comando di una brigata della divisione comandata dal Generale John A. McClernand dell'Armata del Tennessee di Ulysses S. Grant nella Battaglia di Fort Donelson nel 1862. Durante la battaglia, numerosi componenti della divisione di McClernand erano stati respinti con pesanti perdite e la freddezza di Wallace sotto il fuoco nemico fu particolarmente notata. Il Generale Lew Wallace lo descrisse, vedendolo, come un "contadino che torna dopo una dura giornata di aratura". Per questo suo brillante servizio a Fort Donelson fu nominato Brigadier Generale dei volontari. Nella Battaglia di Shiloh egli era comandante di una nuova divisione, e riuscì a resistere per sei ore agli assalti dei Confederati, nelle immediate vicinanze del famoso Hornet's Nest (Nido di calabroni) o della Sunken Road (Strada in trincea).Quando la sua divisione infine si arrese, egli ordinò una ritirata e molti soldati si misero in salvo ma egli fu ferito a morte e solo più tardi fu trovato moribondo dalle sue truppe sul campo di battaglia. Lo trasportano da sua moglie, che aiutò a condurlo indietro verso il Quartier Generale di Grant nella Cherry Mansion di Savannah, Tennessee. Morì tre giorni dopo fra le braccia della moglie; le sue ultime parole furono: "Ci incontreremo in Cielo". Fu sepolto nella contea di LaSalle (Illinois), a Ottawa. Il suo cavallo, Prince, fu sepolto accanto al Generale che lo aveva cavalcato nel corso della Battaglia di Shiloh.