Lee flyttet hæren sin nordvestover fra Fredericksburg inn i Shenandoah-dalen hvor Blue Ridge Mountains skjulte deres nordlige bevegelser. Joseph Hooker som fremdeles ledet Army of the Potomac, sendte kavaleristyrker for å finne Lee. 9. juni var slaget ved Brandy Station det største slaget i krigen som hovedsakelig bestod av kavalerienhet, men slaget endte uten avgjørelse. Hooker satte hele sin hær i forfølgelse, men den 28. juni mistet president Lincoln tålmodigheten med ham og fratok ham kommandoen og erstattet ham med kommandanten for V Corps, generalmajor George G. Meade.