Torolf var far til bl.a. gift med Erik Cappelen Knudsen på Borgestad gård, og gullsmed Jacob Prytz (1886–1962) som bl.a. var rektor for Kunst- og Håndverkskolen i Oslo. Jacob var far til bl.a. gullsmed Grete Prytz Kittelsen og gullsmed Torolf Prytz jr. som var motstandsmann under den 2. verdenskrig.