Torolf Prytz var gift 1. med Eva Mohn (skilt) og 2. med Else Marie Wendel. I første ekteskap hadde han tre barn som alle har etterkommere.