Élu colonel par un régiment mixte de soldats de l'Alabama, du Mississippi et du Tennessee en 1862, son unité combat lors de la bataille de New Madrid, où il est par la suite fait prisonnier. Libéré dans un échange de prisonniers en quelques mois, Baker reçoit le commandement du 54th Alabama Infantry, qu'il conduit au cours des batailles de Vicksburg et de Champion's Hill où il est grièvement blessé. Après son rétablissement, Baker prend le commandement d'une brigade de l'Alabama, et est promu brigadier général le . Plus tard, en participant à la campagne d'Atlanta, il est de nouveau blessé à la bataille d'Ezra Church. Réaffecté au département du Golfe, Baker conduit sa brigade dans les défenses de Mobile jusqu'à ce que la ville tombe en .