Torolf Prytz var bror av presten Frederik Prytz, og onkel til NS-politikeren Frederik Prytz (1878–1945) og kjemikeren Milda Prytz.