Durante la guerra civile il forte rimase in mani federali e dopo la guerra civile il forte venne usato come prigione federale. Alla fine delle ostilità nel 1865 il forte ospitava 1.013 persone, delle quali 486 tra soldati e civili e 527 prigionieri. Tra i detenuti ci furono alcuni dei cospiratori per l'omicidio di Abraham Lincoln: Edmund Spangler, Samuel Arnold ed il dottor Samuel Mudd, il medico che curò la gamba ferita dell'assassino del presidente Lincoln, John Wilkes Booth. Nel 1867, durante un caso di febbre gialla, il dottor Mudd aiutò i dottori della prigione a combattere l'epidemia. Due anni dopo la pena del medico venne condonata e fu rilasciato.