Nascut en plena crisi econòmica, la seva família va portar una vida errant, fins a 1943, quan es van instal·lar en Rochester, on va entrar amb contacte amb el jazz. Arran d'això, va estudiar piano i clarinet, tocant més tard el saxo tenor. Als 16 anys, traslladat a Detroit, comença a tocar el saxo baríton, a causa de l'admiració que, des d'anys abans, professava a Harry Carney. Entre aquesta època i el seu servei militar (que va fer parcialment a Corea, i després d'aquesta fins a 1955, va tocar amb un gran nombre de músics de la zona: Lucky Thompson, Tommy Flanagan, Kenny Burrell, Donald Byrd, Paul Chambers, Elvin Jones...