Reynolds continué au commandement d'une brigade de l'armée du Tennessee au cours de la campagne d'Atlanta de 1864. Il sert dans la division de Stevenson du corps du lieutenant général John Bell Hood. Il combat lors des batailles de Rocky Face Ridge, Resaca, et Adairsville avant d'être blessé à la bataille de New Hope Church le . Au cours de la guérison de ses blessures, Reynolds est nommé adjoint de l'inspecteur général du district de Géorgie en 1865 jusqu'à la fin de la guerre. Il est libéré sur parole à Athens, en Géorgie, le .