Sus padres, de clase media y de origen judío, el ingeniero civil Louis Spitz y Tekla Vidor, lo criaron en el barrio de Fasor Városligeti de la ciudad de Pest.