Gibbon var tilbage som chef for 2. division i Slaget ved the Wilderness, Slaget ved Spotsylvania Court House og Slaget ved Cold Harbor. Under Belejringen af Petersburg blev Gibbon noget forstemt, da hans tropper nægtede at kæmpe i det Andet slag ved Ream's Station. Han havde i kort tid kommandoen over XVIII Korps, inden han gik på sygeorlov, men hans tjeneste var for værdifuld, og han vendte tilbage for at kommandere det nyopstillede XXIV Korps Army of the James. Hans tropper hjalp med til at opnå det afgørende gennembrud i slaget ved Petersburg, da de erobrede Fort Gregg, en del af Konføderationens forsvarsværker. Han førte sine tropper under Appomattox kampagnen og blokerede den konfødererede flugtvej i Slaget ved Appomattox Courthouse. Han var en af de tre kommissærer ved den konfødererede overgivelse.