Roman Totenberg var av jødisk bakgrunn. Da han var fem år flyttet hans foreldre Slanislava (Vinaver) og Adam Totenberg til Moskva, den faren hadde funnet arbeid som bygningsingeniør. Roman fikk sin første fiolinundervisning fra en nabo der, so mtilfeligvis var konsertmester for Bolsjoiteateret. Han opptrådte, med brød og smør som betaling. Familien returnerte så til Polen.