Après avoir été libéré lors d'un échange de prisonniers, il est promu brigadier général et envoyé dans le Tennessee de l'ouest, où il assume le commandement d'une brigade mixte de soldats du Mississippi et du Tennessee. Obtenant une distinction lors de la bataille de Coffeeville, Baldwin participera, plus tard, aux batailles de Port Gibson et Champion's Hill, ainsi qu'à la campagne de Vicksburg. Capturé une fois de plus, Baldwin réussit à obtenir sa libération et à être affecté dans le district de Mobile où il est tué dans un accident lorsque le bris d'un étrier le fait tomber de son cheval, près de la rivière Dog en Alabama.