Roman Totenberg studerte så ved musikkhøyskolen i Warszawa hos Mieczysław Michałowicz og debuterte i en alder av 11 år som solist med filharmoniorkesteret i Warszawa i 1923. Han fortsatte studiene sine hos Carl Flesch i Berlin, hvor han ble utropt vinner av Den Internasjonale Felix Mendelssohn-Fiolinistkonkurranse i 1932, før han ble elev hos George Enescu og Pierre Monteux i Paris.