Edward Rolf Tufte har norske aner. Farens foreldre hadde utvandret fra Norge til Nord-Dakota. Faren var Edward E.Tufte (1912-1999), og moren Virginia Tufte (1918–2020). Han vokste opp i Beverly Hills i California, og gikk på .