Familien, med foreldrene Abram Zimmerman og Beatrice («Beatty»), bodde i Duluth til Robert var syv år gammel, da de flyttet til Hibbing fordi faren fikk polio og ikke kunne fortsette i sin stilling i Standard Oil.