Avec le déclenchement de la guerre de Sécession au début de 1861 et la sécession de la Virginie, Terry lève et équipe une compagnie de cavalerie dans le comté de Bedford. Sa performance lors de la première bataille de Bull Run retient l'attention, des éloges, et une promotion en septembre, de colonel du 24th Virginia Infantry, remplacement de Jubal A. Early, qui a été promu au commandement d'une brigade. À la tête d'une charge lors de la bataille de Williamsburg, lors de la campagne de la Péninsule, Terry subit la première d'une série de sept blessures au combat pendant la guerre de Sécession. Il manque la bataille de sept jours, mais il reprend le service pour la campagne de la Virginie septentrionale au mois d'août. Plus tard cette année, il assume temporairement le commandement de la brigade d'infanterie de Kemper dans l'armée de Virginie du Nord avant de retourner au commandement de son régiment.