La suite de la sécession de la Virginie hors de l'Union, Terry s'enrôle dans l'armée confédérée en tant que premier lieutenant dans le 4th Virginia Infantry. En , il revient à Harpers Ferry, cette fois comme officier confédéré servant sous les ordres de Stonewall Jackson. Il participe à son premier combat lors de la première bataille de Bull Run. Terry est promu commandant au printemps de 1862 et combat au cours de la campagne de la Péninsule lors des batailles de Gaines' Mill et de Malvern Hill. Il est blessé lors de la seconde bataille de Bull Run et est cité pour bravoure dans le rapport officiel de son supérieur, William Taliaferro. Il retourne dans les rangs pour diriger le 4th Virginia Infantry à la bataille de Fredericksburg. Son régiment perd sur ses dans de violents combats à Chancellorsville, mais il s'en sort indemne, ainsi que lors des combats à Culp's Hill à Gettysburg.