Elvin begynte å spille profesjonelt i 1940-årene. Etter hvert begynte han å spille med artister som Charlie Parker, Miles Davis, og Wardell Grey. I 1955, etter å ha blitt vraket etter prøvespilling for Benny Goodman, fant han arbeid i New York. Han ble med i bandet til Charles Mingus, og ga ut en plate kalt . I 1960, ble han med i den klassiske kvartetten til John Coltrane, som også besto av Jimmy Garrison og McCoy Tyner. Han fortsatte å spille med Coltrane til 1966. Samspillet med Coltrane har av mange blitt ansett som en redefinering av swing (den rytmiske jazzfølelsen), på samme måte som Louis Armstrong gjorde det i jazzens barndom.