Prytz' foreldre var Eiler Hagerup Krog Prytz (1812-1900) og Anna Margrethe Thomesen (1820-1900) som var fra Bodø. Han var far til kjemikeren Milda Prytz (1891–1977) og politiker og forretningsmann Anton Frederik Winter Jakhelln Prytz (1878–1945). Statsråd Torolf Prytz, var Anton Jakhelln Prytz' yngre bror.