Pepper ble født i Gardena, California. Han startet sin karriere på 40-tallet da han spilte med Benny Carter og Stan Kenton (1946-1952). På 50-tallet ble Pepper regnet som en av de ledende altsaksofonistene innen jazz. Sammen med Chet Baker, Gerry Mulligan og Shelly Manne ble Pepper ofte assosiert med «West Coast jazz» som et motstykke til «East Coast Jazz» (eller «hot» jazz) som Charlie Parker og Dizzy Gillespie. Pepper var medlem av Buddy Richs storband fra 1968 til 1969 og gjennomførte to turneer i Japan i 1977 og 1978.