Slaget ved Yellow Tavern skjedde den 11. mai ved en forlatt kro som lå 10 km nord for Richmond. De konfødererte styrkene gjorde hard motstand fra det lave høyededraget som grenset til veien til Richmond. De kjempet i mer enn tre timer. Et motangrep fra 1st Virginia Cavalry presset de fremrykkende unionsstyrkene tilbake fra toppen, idet Stuart som satt på hesten ropte oppmuntrende. Idet 5th Michigan Cavalry strømmet i retrett forbi Stuart, snudde en menig unionssoldat som var uten hest, den 48 år gamle tidligere skarpskytteren John A. Huff seg, og skjøt Stuart med sin .44-kaliber pistol fra en avstand av 10-30 meter.