Etter et kort opphold i Wien begynte Heymann å samarbeide med ulike kabaretscener i Berlin, blant annet «Schall und Rauch» der Max Reinhardt var leder. Heymann overtok senere ledelsen etter ham. Midt i 1920-årene ble han på anbefaling av Erich Pommer assistent for direktøren for musikk hos filmselskapet UFA. Kort tid etter (i 1926) overtok han selv stillingen som musikkdirektør. I denne stillingen hadde han ansvaret for å komponere og arrangere musikk til stumfilmer. Da lydfilmen kom fikk Heymann en stor fordel og la grunnen for sin senere suksess.