Carroll est promu capitaine dans le 10th U.S. Infantry peu de temps après l'éclatement de la guerre de Sécession. En , il est nommé colonel du 8th Ohio Infantry, un régiment de trois ans qui sert exclusivement sur le théâtre oriental. Au cours de la campagne de la vallée de 1862, Carroll commande la brigade de la division de James Shields. Carroll commande l'avant-garde de l'armée de l'Union à la bataille de Cross Keys. Il participe à la bataille de Port Republic. Il est félicité pour sa performance lors de la bataille de Cedar Mountain. Transféré avec cette brigade dans la région de Virginie du Nord, il est gravement blessé à la poitrine dans un combat près de la rivière Rapidan. Il est remis à temps pour reprendre son commandement sur le terrain dans le III corps avant la bataille de Fredericksburg.