Så lenge Nordstatene holdt byen under borgerkrigen, søkte mange slaver fra sør tilflukt i Harpers Ferry. I lys av John Browns opprør ble byen på mange måter et symbol på svartes frihetskamp før og under krigen. I 1867 startet «New England Freewill Baptist Missionaries» en skole – Storer College – for både hvite og svarte, herunder frigitte slaver.