Atkins reprend le service militaire à l'automne lorsqu'il est nommé colonel du 92nd Illinois Mounted Infantry le . En , il reçoit le commandement d'une brigade de l'armée du Kentucky (département du Cumberland) jusqu'au . Ensuite, il commande une brigade du corps de réserve de l'armée du Cumberland jusqu'au , où il est transféré dans le corps de cavalerie du département. Il commande ensuite deux brigades de cavalerie du département du Cumberland et une du département militaire du Mississippi en 1865 et 1865. Pendant ces commandements, il mène une brigade de cavalerie lors de la marche vers la mer du major général William T. Sherman.