Den lokale legen, dr John Starry, tok seg ut av byen til hest og varslet nabolandsbyene og befolkningen i Charles Town. I spissen for en milits vendte Starry tilbake til Harpers ferry og ledet motangrepet på Browns menn. Militsen var tallmessig overlegen og Brown og hans menn søkte tilflukt i maskinhuset til US Armory and Arsenal.