Under borgerkrigen søkte mange slaver fra sør tilflukt i Harpers Ferry så lenge Nordstatshæren holdt byen. John Browns opprør gjorde byen til et symbol på svartes frihetskamp før og under krigen. I 1865 startet «New England Freewill Baptist Missionaries» skolen Storer School for både hvite og svarte, herunder frigitte slaver, i regnskapsbygningen til i Harpers Ferry.