Carroll est promu brigadier général le . Il est blessé deux fois au cours de la campagne de l'Overland, une fois dans la Wilderness et de nouveau à Spotsylvania Court House. Son bras gauche est amputé. Après son rétablissement, il commande le département de Virginie-Occidentale brièvement et plus tard, conduit une division dans l'armée de la Shenandoah.