I begynnelsen var planen godt utført, og hovedtyngden av Army of the Potomac krysset Rapidan og var i stilling den 1. mai. Men etter en mindre tidlig kontakt med fienden, begynte Hooker å miste selvtilliten, og i stedet for å slå til mot Army of the Northern Virginia i ryggen som planlagt, trakk han seg tilbake til en defensiv perimeter rundt Chancellorsville. 2. mai utførte Lee en av sine modigste manøvrer i krigen. Han hadde allerede delt hæren sin for å ta seg av begge vinger av Hookers angrep, men han delte hæren igjen og sendte 20 000 menn under Stonewall Jackson på en lengre flankemarsj for å angripe Hookers ubeskyttede høyre flanke. Jackson oppnådde nesten total overraskelse og omringet Unionens XI Corps ledet av generalmajor Oliver O. Howard. Etter denne suksessen ble Jackson dødelig såret av egenbeskytning mens han rekognoserte foran sin egen armé.