Foster s'enrôle comme soldat dans les volontaires de l'Indiana au début de la guerre de Sécession. Il est rapidement promu capitaine du 11th Indiana Infantry de Lew Wallace et combat lors de la bataille de Rich Mountain dans l'ouest de la Virginie. À la suite de ces combats, il est transféré dans le 13th Indiana Infantry en tant que commandant et peu de temps est promu colonel le . Foster mène son régiment pendant la campagne de la vallée de 1862 de Stonewall Jackson jusqu'à ce que son régiment soit transféré dans le sud-est de la Virginie dans le voisinage de Suffolk.