Après avoir supervisé plus tard les forts et le matériel de guerre aux alentours de Washington, Barry devient chef de l’artillerie sous les ordres du major général William T. Sherman, servant avec lui dans le Tennessee, lors de la marche vers la mer et la campagne des Carolines. Le , le président Lincoln nomme Barry avec un brevet de major général des volontaires, avec une date de prise de rang au , en reconnaissance de ses services lors de la campagne d'Atlanta, et le Sénat des États-Unis confirme la nomination le . Barry quitte le service actif des volontaires le . Le , le président Andrew Johnson nomme Barry au brevet de major général de l'armée régulière, à une date de prise de rang au , et le Sénat des États-Unis confirme la nomination le .