En , l'armée du Potomac est réorganisée, réduisant le nombre de commandants de corps, et des subordonnés le long de la chaîne de commandement qui y sont affectés. Ayres prend le commandement de la de la première division du corps. Il dirige la brigade lors de la campagne de l'Overland du lieutenant général Ulysses S. Grant de 1864. Il reçoit le commandement de la nouvelle deuxième division du corps lors de la campagne de Richmond-Petersbrug. Le , il est breveté major général pour sa contribution lors de ces campagnes ; il reçoit des recommandations particulières et des brevets les batailles de Weldon Railroad et de Five Forks. Ayres continue à diriger sa division pendant la campagne d'Appomattox et la reddition confédérée.