Han var gift med Ingerid Juel (1888–1962), datter av trelasthandler i Fredrikstad Julius Christian Juel (f. 1853 på Tangen), som var sønnesønn av Anders Juel. De var foreldre til bl.a. brukskunstneren og gullsmeden Grete Prytz Kittelsen (1917–2010), samt gullsmeden Torolf Prytz jr.