Gyldmark startet sin karriere som stumfilmmusiker i i 1925 hvor han spilte sammen med 2 av sine brødre, Leonard og Hugo. I 1937 ble han kontaktet av Emil Reesen med henblikk på å komponere musikk til filmen . Etter dette komponerte han musikk til over 200 filmer frem til 1975.