Slaget ved Chancellorsville har blitt kalt «Lees perfekte slag» på grunn av hans evne til å beseire en mye større fiende gjennom fryktløse taktikker. Delvis kan Hookers nederlag skyldes på et livsfarlig møte med en kanonkule. Mens han stod på trammen til sitt hovedkvarter, traff prosjektilet en tresøyle som generalen lente seg mot, slo ham bevisstløs og satte ham ut av spill for resten av dagen. Til tross for at han var satt ut av spill, avslo han sterke oppfordringer om å overføre midlertidig kommando over hæren til sin nestkommanderende, generalmajor Darius N. Couch. Flere av hans underordnede generaler, inkludert Couch og generalmajor Henry Warner Slocum, stilte åpent spørsmål ved Hookers beslutning. Couch var så forferdet at han nektet å tjenestegjøre under Hooker igjen. Politiske vinder blåste kraftig i de følgende ukene ettersom generaler manøvrerte for å kaste Hooker eller posisjonere seg selv dersom Lincoln bestemte seg for å gjøre det på egen hånd.