Fort Monroe var også stedet hvor generalmajor Benjamin Franklin Butler den 27. mai 1861 tok sin berømte «kontrabande besluttning» Etter de ble ikke slaver som nådde Unionens linjer, sendt tilbake til slaveri. Denne ordre førte til at bølger av slaver flyktet til Unionens linjer omkring Fort Monroe, Butlers hovedkvarter i Virginia, og ga Fort Monroe sitt andre kallenavn «Freedom's Fortress», da enhver slave som nådde det, ble satt fri.