I 1864 blev Unionens Army of the James under Generalmajor Benjamin Butler opstilet ved Fort Monroe. Det 2. farvede kavalerirgiment mønstrede ved Fort Monroe den 22. december 1864, og det 1. farvede kavaleriregiment mønstrede samme dag i den nærliggende Camp Hamilton. Belejringen af Petersburg i 1864 og 1865 fik støtte fra en base ved City Point (nu Hopewell) på floden James. At fastholde kontrollen med Hampton Roads fra Fort Monroe og Fort Wool var af afgørende betydning for den støtte som general Grant havde brug for fra flåden for at kunne tage Petersburg, som var nøglen til at erobre Sydstaternes hovedstad Richmond. Da Petersburg faldt blev Richmond evakueret i natten mellem den 2. og 3. april 1865, og Sydstatsregeringen med præsident Jefferson Davis i spidsen undslap med Richmond og Danville jernbanen, først til Danville og derefter til North Carolina. Krigen var imidlertid tabt og Sydstatsgeneralen Robert E. Lee overgav sig med resterne af Army of Northern Virginia til Grant ved Appomattox Courthouse den følgende uge.