Baxter beholdt kommandoen over sin brigade under reorganiseringen af Army of the Potomac i marts 1864, et tegn på at han havde sine overordnedes tillid. Hans brigade blev tildelt V Korps, og under Slaget ved the Wilderness, blev han såret i det venstre ben, mens kuglen samtidig dræbte hans hest. Efter en reconvalescens førte han brigaden under Belejringen af Petersburg og han udmønstrede fra hæren i august 1865 som midlertidig generalmajor.