Después, al formar a mediados de los años cincuenta un cuarteto con músicos como Steve Lacy —saxo soprano—, Buell Neidlinger —contrabajo— y Dennis Charles —batería—, Taylor abandonó sus actuaciones como acompañante.