Gibbon estava de volta ao comando da 2ª Divisão nas batalhas do Wilderness, Spotsylvania Court House, e Cold Harbor. Durante o Cerco de Petersburg, Gibbon ficou desanimado quando suas tropas se recusaram a lutar em estação de Ream. Comandou por um curto período o XVIII Corpo de exército antes de sair em licença médica, mas seu serviço era muito valioso, e retornou para comandar o recém-criado XXIV Corpo de exército no Exército do James. Suas tropas ajudaram conseguir o avanço decisivo em Petersburg, capturando o Forte Gregg, que fazia parte das defesas confederadas. Liderou suas tropas durante a Campanha de Appomattox e bloqueou a rota de fuga confederada na batalha de Appomattox Court House. Foi um dos três comissários para a rendição confederada.