Besteforeldrene hans hadde emigrert fra Øst-Europa ved begynnelsen av det 20. århundre på grunn av pogromer. Bestemoren Florence Edelstein ble født i Kaunas (i dagens Litauen) i 1896. Hun reiste i 1902 til Halifax sammen med foreldrene B'chezer (Benjamin) og Lybba Edelstein, de slo seg deretter ned i Hibbing, Minnesota. Oldefaren B'chezer (Benjamin) døde i 1961. Florence giftet seg med Ben Stone (opprinnelig navn Solemovitz) av litauisk herkomst. Florence og Ben var jiddisch-talende og del av rundt 2 millioner jøder som innvandret til USA fra Øst-Europa rundt år 1900. Deres datter, Beatrice («Betty») giftet seg 19 år gammel med Abraham Zimmerman fra Duluth. Moren Beatrice var kjent for sitt gode utseende og livlige personlighet i kontrast til Abrahams innadvendte og alvorlige inntrykk. Moren arbeidet på et kjøpesenter til hun ble gravid med Robert. Litauen var kjent som jødiske senter for lærdom innenfor religion og lov. Oldefaren var ortodoks med karakteristisk skjegg og antrekk, og han studerte flittige tora og talmud. Edelstein-familien etablerte kinoer i Hibbing og disse ble fortsatt drevet av slekten da Robert var gutt som fikk fri tilgang til kinofilmer. Faren Abraham og hans brødre drev en butikk for elektrisk utstyr, Zimmermann Furniture and Electric.