Robert E. Lee startet igjen en invasjon av Nord, i juni 1863, og Lincoln oppfordret Hooker til å forfølge og beseire ham. Hookers innledende plan var å ta Richmond i stedet, men Lincoln la umiddelbart ned veto mot den idéen, derfor begynte Army of the Potomac å marsjere nordover i forsøk på å lokalisere Lees Army of Northern Virginia ettersom den beveget seg ned Shanandoah Valley inn i Pennsylvania. Hookers oppdrag var først å beskytte Washington, DC, og Baltimore og for det andre å avskjære og beseire Lee. Men Lincoln mistet den eventuelle gjenværende tilliten han hadde til Hooker. Da generalen begynte å krangle med hærens hovedkvarter over statusen til de defensive styrkene i Harpers Ferry, tilbød han impulsivt sin oppsigelse i protest, noe som raskt ble akseptert av Lincoln og øverstkommanderende Henry Wager Halleck. 28. juni, tre dager før slaget ved Gettysburg, ble Hooker erstattet av generalmajor George Meade. Hooker ble takket av kongressen for hans rolle i starten av Gettysburg-felttoget, men æren gikk til Meade.