I 1881 holdt Douglass en legendarisk tale i Harpers Ferry i Vest-Virginia, ved åpningsseremonien på den svarte lærerskolen Storer Normal School. Her hyllet Douglass den hvite opprøreren John Brown, som Douglass selv hadde distansert seg fra i 1859. Salget av talen gikk til inntekt for opprettelsen av et John Brown-professorat ved Storer College.