Hubbard startet å spille mellofon og trompet i skolebandet sitt. I tenårene startet han å spille med brødrene Wes og Monk Montgomery, bassisten Larry Ridley og saksofonisten James Spaulding. I 1958, i en alder av 20 år, flyttet han til New York City og startet å spille med datidens beste jazzmusikere inkludert Philly Joe Jones, Sonny Rollins, Slide Hampton, Eric Dolphy, J.J. Johnson, og Quincy Jones. I juni 1960 spilte Hubbard in sitt første album som bandleder sammen med saksofonisten Tina Brooks, pianisten McCoy Tyner, bassisten Sam Jones, og trommeslageren Clifford Jarvis. I desember 1960 ble Hubbard invitert til å spille med Ornette Colemans album etter at Coleman hadde hørt han spille med Don Cherry.