Bei Ausbruch des Bürgerkriegs trat Gary in die Armee der Südstaaten ein und wurde Captain der Infanterie. Bei der Ersten Schlacht am Bull Run am 21. Juli 1861 bekam er die Leitung über "Hamptons Legion", wie seine Einheit auch genannt wurde. 1862 wurde er Lieutenant Colonel (Oberstleutnant) eines Infanteriebataillons und wenig später zum Colonel (Oberst) befördert mit dem Kommando über ein Regiment. Gegen Ende des Jahres 1863 wurde Gary als Unterstützung zur Tennessee-Armee versetzt, anschließend zur Nord-Virginia-Armee. 1864 beförderte man ihn zum Brigadegeneral. Anschließend unterstützte er General Lee bei dessen vom 29. März – 9. April 1865 andauernden Appomattox-Feldzug, trennte sich jedoch von ihm vor dessen Kapitulation bei Appomattox Court House und geleitete mit 200 Mann seiner Brigade Präsident Davis bei seiner Flucht aus Greensboro.