I 1864 ble Unionens Army of the James under generalmajor Benjamin Butler oppstilt ved Fort Monroe. Det 2. fargede kavalerirgiment mønstret ved Fort Monroe den 22. desember 1864, og det 1. fargede kavaleriregiment mønstret samme dag i den nærliggende Camp Hamilton. Beleiringen av Petersburg i 1864 og 1865 fikk støtte fra en base ved City Point (nu Hopewell) på elven James. Å sikre seg kontrollen med Hampton Roads fra Fort Monroe og Fort Wool var av avgørende betydning for den støtte som general Grant hadde bruk for fra flåten for å kunne ta Petersburg, som var nøkkelen til å erobre Sørstatenes hovedstad Richmond. Da Petersburg falt ble Richmond evakuert i natten mellom den 2. og 3. april 1865, og Sørstatsregjeringen med president Jefferson Davis i front unnslapp med Richmond med Danville-jernbanen, først til Danville og derefter til North Carolina. Krigen var imidlertid tapt og sørstatsgeneralen Robert E. Lee overga seg med restene av Army of Northern Virginia til Grant ved Appomattox Courthouse uken etter