Etter å ha spilt i R&B- og swing-band tidlig på 1950-tallet, dannet han i 1956 sitt eget band med sopransaksofonisten Steve Lacy. Senere samarbeidet han med John Coltrane, Archie Shepp og bassisten William Parker. Størsteparten av hans musikalske utvikling tilbrakte han imidlertid sammen med altsaksofonisten Jimmy Lyons (fra 1961 til Lyons død i 1986) og trommeslagerne Sunny Murray og senere Andrew Cyrille. Disse musikerne utviklet ofte nye kraftfulle former for samspill. Fra tidlig på 1970-tallet begynte Taylor også stadig oftere å spille solo.