Walter var sønn av Hervey Walter og hans hustru Maud de Valoignes, en av døtrene og (arving) av Theobald de Valoignes, som var herre av Parham i Suffolk. Walter var en av seks brødre. Den eldste broren, Theobald Walter, og Walter selv, fikk hjelp med deres karriere av deres onkel, Ranulf de Glanvill. Glanvill var justiciar for Henrik II, og var gift til Martha de Valoignes søster, Bertha. En yngre bror, Osbert, ble en kongelig dommer og døde i 1206. Brødrene Roger, Hamo (eller Hamon) og Bartholomew finnes bare som vitner på charter. Walters far og bestefar hadde landområder i Suffolk og Norfolk som ble arvet av Theobald.