Stewart participe à la campagne d'Atlanta en 1864, et remplace Polk au commandement du troisième corps de l'armée à la mort de ce dernier lors de la bataille de Marietta en . Il est nommé lieutenant général à titre temporaire le . Stewart participe ensuite à la bataille de Peachtree Creek. Il installe ses quartiers généraux dans la maison du quartier-maître général de Géorgie, . Le marqueur 060-90 de la commission historique de Géorgie, installé sur les lieux, indique : « Site de la maison d'Ira R. Foster qui a été utilisé comme quartier général par le général A. P. Stewart, [CSA] pendant les opérations militaires au nord d'Atlanta, du 16 au . D'ici partaient les ordres pour diriger ses troupes lors de la bataille de Peachtree Creek, le ». Stewart dirige le troisième corps lors de la bataille d'Ezra Church, où il est blessé au front le .