Stafford sert dans les batailles de Chancellorsville et de Gettysburg en 1863. Il fait partie des premiers hommes à pénétrer dans les batteries de l'Union au sommet de Cemetery Hill lors de l'attaque de Jubal Early au crépuscule le . Le de cette année, il est promu brigadier général et reçoit le commandement de la deuxième brigade de Louisiane. Le commandement du "9th Louisiana Infantry" est alors donné au colonel William R. Peck.