Walter Simons ble født som sønn av fabrikkeier Louis Simons (1831–1905) og hans hustru Helene født Kyllmann (født 1842) i Elberfeld (Provinsen Rhinland). På morssiden var han barnebarn av kjøpmannen og politikeren Gottlieb Kyllmann (1803–1878) og nevø av arkitekten Walter Kyllmann (1837–1913). Hans farfar var forretningsmannen Friedrich Wilhelm Simons-Köhler (1802–1856), og hans grandonkel den prøyssiske justisminister Ludwig Simons (1803–1870). Han var elev av juristen Rudolph Sohm, kjent for sin orientering til humanisme og luthers pietisme.