Когда началась война, Бакстер, по причине наличия некоторого военного опыта, был избран капитаном роты, которая потом стала ротой «С» 7-го Мичиганского пехотного полка. Он участвовал в Семидневной битве, где был тяжело ранен. К началу сражения при Энтитеме он стал подполковником своего полка, который числился в составе дивизии Седжвика. Бакстер был ранен в ногу в этом сражении. Он ненадолго вернулся в Мичиган для поправки здоровья, а перед сражением при Фредериксберге стал командиром 7-го Мичиганского в составе бригады Нормана Холла. Полку Бакстера было поручено переправиться через реку и выбить южан-снайперов из Фредериксберга. Миссия удалась, но Бакстер был снова ранен, на этот раз в левое плечо. В марте 1863 года он вернулся в строй и 12 марта получил звание бригадного генерала. Ему была поручена 2-я бригада дивизии Джона Робинсона из федерального I корпуса (бывшая бригада Тауэра-Кристиана-Лиля).