Etter å ha tjenestegjort i US Navy (1942–45) spilte han med Charles Barnet (1947) og Count Basie (1948–51). Hans berømmelse steg som medvirkende i Duke Ellingtons orkester (1951–59), og han ble (med Miles Davis) en av de tidligste jazzutøvere på flygelhorn (1958). Terry spilte så i NBCs fjernsynsorkester under Doc Severinsen (1959–71) der han utviklet sin særegne mumlende scatteknikk. Han besøkte Paris med Quincy Jones (1959–60).