Pendant la guerre civile américaine (1861 à 1865), les forces de l'Union gardent le contrôle du Fort Monroe voisin et celui-ci devient un lieu de refuge pour les esclaves afro-américains en fuite qui cherchent l'asile. L'armée les définit comme de la contrebande pour éviter de les renvoyer aux esclavagistes. Avant la guerre civile, et à la suite de la rébellion des esclaves, menée par Nat Turner, en 1831, la loi de Virginie est modifiée pour interdire l'éducation des esclaves.