Walter Anderson var av estisk og tysk avstamming, ble født i Minsk, og vokste opp i Kazan, hvor hans far, Nikolai Anderson, var professor i Finsk-ugriske språk ved Universitetet. Hans brødre statistikeren Oskar Anderson (1887–1960) og astrofysikeren Wilhelm Anderson (1880–1940) ble også berømte forskere innenfor sine respektive disipliner.