Torolf Prytz tilhørte femte generasjon i gullsmedfamilien Tostrup/Prytz. Han var oppkalt etter farfaren, gullsmed, arkitekt og statsråd Torolf Prytz, og var sønn av rektor og gullsmed Jacob Tostrup Prytz (1886–1962) og ektefelle Ingerid født Juel (1888–1962). Torolf var bror til bl.a. gullsmed Grete Prytz Kittelsen (1917-2010). En anetavle bakover fra deres foreldre er gjengitt under wikipedia-omtalen av henne.