Født som i Budapest, sønn av ungarske sigøynere, ble han lagt merke til i en alder av fem år, da han improviserte over populære melodier i barer og sirkuser. Blant hans lærere ved Franz Liszt-akademiet var Ernö Dohnányi.