Cobb begynte karrieren i Washington, D.C., hvor han spilte med blant andre Billie Holiday og Pearl Bailey. I 1950 var han med på sin første plateinnspilling med saksofonisten Earl Bostic. Senere spilte han med artister som Dinah Washington, Clark Terry og Cannonball Adderly, før ham kom med i Miles Davis’ kvintett i 1957. Høydepunktet i karrieren kom med Davis-innspillingen i 1959, som regnes som et av de store mesterverkene innen jazzen. Andre kjente Davis-plater han deltok på er (1958), (1960) og (1961).