Watkins ble født i Detroit, Michigan. Han begynte å spille horn da han var ni år gammel. Han spilte litt trompet sammen med Ernie Felt Orchestra på midten av 1940-tallet. På slutten av 1940-tallet, hadde han imidlertid spilt en del franske horn soloer sammen med Kenny Clarke og Babs Gonzales. Etter å ha flyttet til New York City, studerte Watkins i tre år ved Manhattan School of Music. Han begynte å spille i små jazz-grupperinger, inkludert to grupper som ble ledet av Thelonious Monk, som han blant annet spilte inn albumet Sonny Rollins sammen med i 1954.