À l'automne de 1863, plus de la moitié de la brigade est capturée lors de la bataille de Rappahannock Station, et 1600 hommes sont envoyés dans des camps de prisonniers de guerre, de nombreux au fort Delaware. La plupart sont libérés sur parole, et plus tard, rejoignent les tigres. La brigade reconstituée combat lors de la campagne de l'Overland à la bataille de la Wilderness et la bataille de Spotsylvania Court House, où le général de Hays est grièvement blessé.