Han tilhørte slekten Prytz fra Røros og var sønn av Eiler Hagerup Krog Prytz (1812- 1900), som var fogd i Helgeland og stortingsrepresentant 1859-1861. Torolfs mor var Anne Margrethe født Thommesen fra Bodø. Torolf var gift med (1861–1947) som var sønnedatter av gullsmeden Jacob Tostrup, Oslo.