Gyldmark var sønn av skuespiller Oscar Nielsen og den yngste i en søskenflokk på 4 brødre som alle ble musikere.