Nordstatssoldatene ble omringet av 10 000 sørstatssoldater under kommando av Stonewall Jackson, og ytterligere 13 000 soldater under andre offiserer. Sørstatssoldatene var ikke bare tallmessig overlegne, men hadde også fordelen av å ligge høyere i terrenget oppe på fjelltoppene som i nordvest ligger som stup over byen nede i elvedalen. Harpers Ferry ble oppgitt 15. september etter to dagers intenst bombardement, men uten direkte infanterikamp. Et mislykket forsøk på å bryte ut nattestid 13. september hadde fratatt Nordstatsoffiserene det siste håp om å unnslippe. Men på grunn av forsinkelsen måtte Lee omgruppere ved Sharpsburg og på grunn av forsinkelsen ved Harpers Ferry mistet Sørstatene trolig seieren i det blodige slaget ved Antietam i Maryland noen dager senere.