Stuart returnerte til kavaleriet til Gettysburg-felttoget og opplevde sine to laveste punkt i karrieren. Det startet med slaget ved Brandy Station, den største hovedsakelige kavaleritrefningen i krigen. To av Lees infanterikorps hadde den 5. juni slått leir i og rundt Culpeper. 10 km mot nordøst slo Stuart leir og holdt linja til Rappahannock-elva, for det meste nær Brandy Station og dekket den konfødererte hæren mot overraskelsesangrep fra fienden. Stuart ba general Lee om en fullstendig feltfremvisning av sine styrker. Denne store fremvisningen den 5. juni inkluderte nesten 9000 ridende soldater og 4 batterier med hesteartilleri som angrep i simulert slag ved Inlet Station, rundt 3 km sørvest for Brandy Station.