Herb Alpert ble født i Boyle Heights på østsiden av Los Angeles. Hans foreldre, Tillie (født Goldberg) og Louis Leib Alpert var jødiske immigranter fra Radomysjl i Ukraina. Herb Alpert ble født i en familie av musikere. hans far, som var skredder, var også en dyktig musiker som spilte mandolin. Herb Alperts mor spilte fiolin og hans bror, David, var en talentfull trommer. Herb begynte å spille trompet da han var 8 år. Etter at han var ferdig på Fairfax High School i Los Angeles, ble han med i United States Army der han spilte på militære seremonier. mMns han studerte ved University of Southern California på 1950-tallet, ble han medlem i USC Trojan Marching Band i to år fra 1956. I 1957 begynte Herb Alpert sammen med Bob Weerts som låtskriver for Keen Records. Flere av låtene Herb Albert skrev for andre artister ble "Top 20 hits", blant annet «Baby Talk» med Jan and Dean og Wonderful World med Sam Cooke.