Robert Zimmerman vivió en Duluth hasta los seis años, cuando su padre contrajo la poliomielitis y su familia volvió a Hibbing, la ciudad natal de su madre, donde pasó el resto de su infancia.