Mit der Brigade nahm Colquitt unter Generalmajor Jackson am 14. September 1862 an der Schlacht am South Mountain, am 17. September 1862 an der Schlacht am Antietam, vom 11. bis zum 15. Dezember 1862 an der Schlacht von Fredericksburg und am 2. und 5. Mai 1863 an der Schlacht bei Chancellorsville teil. Nach diesen Schlachten kamen Fragen über Colquitts Fähigkeiten auf und seine Brigade wurde nach North Carolina und im Sommer 1863 nach Charleston, South Carolina verlegt. Im Februar 1864 marschierte er mit seiner Brigade Richtung Süden, um in Florida bei der Verteidigung gegen die vorrückenden Unionstruppen zu helfen und war siegreich in der Schlacht bei Olustee. Nach dieser Schlacht wurde seine Brigade zur Nord-Virginia-Armee von Robert E. Lee versetzt. Gegen Ende des Krieges wurde Colquitts Brigade wieder zur Verteidigung nach North Carolina entsandt, wo er 1865 kapitulierte.