Goldszmit var eldste barn av Cecilia, født Gębicka, og Józef Goldszmit. Han vokste opp sammen med sin lillesøster Anna i Warszawa.