Selskapet ble startet av Herb Alpert og Jerry Moss. Selskapet ble først kalt Carnival Records, og de ga ut to singler under dette navnet før de oppdaget at et annet plateselskap hadde tatt dette navnet før dem. Selskapet ble da omdøpt til A&M, etter Alperts og Moss' initialer. Fra 1966 til 1999 var selskapet hovedkontor og studio på samme stedet hvor Charlie Chaplin hadde hatt sine studioer, i 1416 North La Brea Avenue, ved Sunset Boulevard i Hollywood. Selskapet ble kjøpt av PolyGram i 1989, men fortsatte å eksistere under eget navn. I 1998 ble det solgt til Seagram og gikk inn i Universal Music Group som nå er en del av det franske medie- og kommunikasjonskonsernet Vivendi.