En octobre 1859, l'anti-esclavagiste John Brown et 21 de ses hommes tentèrent de prendre d'assaut l'arsenal de la ville de Harpers Ferry dans l'Ouest de la Virginie. À la tête d'une compagnie de "marines" et de soldats détachés de la milice du Maryland et de Virginie, Lee fut chargé d'arrêter les hommes du commando de Brown, retranchés dans l'arsenal avec des otages. Après le refus de Brown de déposer les armes et de se rendre, Lee ordonna l'assaut contre les insurgés. Brown et les survivants de son commando furent rapidement capturés.