Familien snakket jiddisch hjemme. Foreldrene hadde fått tradisjonell jødisk oppdragelse og utdanning, og faren David gikk i synagogen daglig. Moren var musikalsk, og mormoren hadde et piano som lille Robert brukte fra han var knapt 5 år gammel. Levin lærte slik å spille piano på egen hånd, og seks år gammel akkompagnerte han sin eldre søster Jenny på fest. Han var også med i det jødiske guttekoret i oppveksten.