In juni 1863 pleegde Robert E. Lee opnieuw een invasie in het Noorden, en Lincoln stuurde Hooker achter Lee aan om hem te verslaan. Hookers oorspronkelijke plan was om Richmond in te nemen, maar Lincoln sprak daarover zijn veto uit, zodat het Army of the Potomac naar het noorden ging marcheren, in de hoop Lees Army of Northern Virginia te onderscheppen terwijl het via de Shenandoah Vallei probeerde Pennsylvania binnen te komen. Hookers opdracht was allereerst om Washington D.C. en Baltimore te verdedigen, en ten tweede om Lee te onderscheppen en verslaan. Lincoln begon zijn vertrouwen in Hooker te verliezen. Toen Hooker in discussie ging met het hoofdkwartier van het leger over de verdediging van Harper's Ferry bood hij impulsief zijn ontslag aan, wat snel aangenomen werd door Henry Halleck en Lincoln. Op 28 juni, drie dagen voor de Slag bij Gettysburg, werd Hooker vervangen door generaal-majoor George Meade. De eer voor die belangrijke slag zou naar Meade gaan.