Evans ble født i New Jersey. Han studerte klassisk komposisjon ved Southeastern Louisiana University og Mannes School of Music. I 1955 flyttet han til New York etter å ha bestemt seg for å satse på jazz fremfor klassisk fremføring. I 1958 begynte han å spille sammen med Miles Davis. Han var den eneste hvite i sekstetten, og skal ha hatt stor innflytelse på gruppens spillestil. I 1959 spilte Davis' band inn Kind of Blue, det mest solgte jazzalbumet gjennom tidene. På denne tiden arbeidet han også sammen med Chet Baker for albumet Chet.