Бартон вернулся в армию и ему поручили командовать вирджинской бригадой Льюиса Армистеда, который погиб под Геттисбергом во время «атаки Пикетта». Бригада стояла в Кингстоне (Северная Каролина), а 10 мая участвовала в сражении при Дрюри-Блафф. Однако, генерал Пикетт не любил Бартона, и генерал Роберт Рэнсом так же согласился с Пикетом и отстранил Бартона от командования. Офицеры бригады дважды подавали прошение о возвращении Бартона, и он в итоге остался в армии и принял участие в обороне Петерсберга, где командовал бригадой в корпусе Юэлла. После эвакуации Петерсберга бригада Бартона отступала на восток и была практически уничтожена в сражении при Сайлерс-Крик. Сам Бартона попал в плен. Его отправили в тюрьму Форт-Уоррен в бостонской гавани.