Gibbon tornò al comando della 2ª divisione nelle battaglie di Wilderness, Spotsylvania Court House e Cold Harbor. Durante l'assedio di Petersburg Gibbon perse la fiducia quando i suoi uomini si rifiutarono di combattere a Ream's Station. Comandò per breve tempo il XVIII Corpo prima di andare in congedo per malattia ma, essendo il suo servizio troppo prezioso, tornò al comando del neonato XXIV Corpo dell'Armata del James. Le sue truppe aiutarono ad ottenere lo sfondamento vincente a Petersburg, conquistando Fort Gregg, parte delle difese Confederate. Guidò gli uomini nella campagna di Appomattox e bloccò la fuga Confederata nella battaglia di Appomattox. Fu uno dei tre commissari della resa Confederata.