Da de konfødererede trak sig tilbage fra Gettysburg den 4. juli blev Barlow ladt tilbage og blev reddet af Unionsstyrker. Han lå på hospitalet i en længere periode og kunne ikke vende tilbage til hæren før i april 1864, lige i tide til generalløjtnant Ulysses S. Grants Overland kampagne. Han førte 1. division i generalmajor Winfield S. Hancock's II Korps i Slaget ved the Wilderness. I slaget ved Spotsylvania Court House anvendte hans division en choktaktik som var udviklet af oberst Emory Upton til hurtigt at angribe rebellernes stilling i "Mule Shoe", og lavede et gennembrud som kunne udnyttes af forstærkninger. Mand-mod-mand kampe fulgte i 21 timer, den længste mand-mod-mand kamp i hele krigen, inden Barlows division endelig brød igennem. Han kæmpede i slaget ved Cold Harbor og belejringen af Petersburg i samme stilling. Ved Petersburg tog han en ny sygeorlov i juli, men vendte tilbage og tog kommandoen over 2. division i II Korps under Appomattox kampagnen. Han blev forfremmet til generalmajor i den frivillige hær den 25. maj 1865.