Han var gift med Frederikke Wilhelmine Thorne (1827–1900), datter av trelasthandler og stortingsmann Johan Frederik Thorne. De var foreldre til brukseier, ordfører i Kragerø, bankdirektør mm. Einar Juel (1866–1942), trelasthandler Julius Christian Juel (1853–1930), trelasthandler Anders Juel (1852–1926), overrettssakfører Alfthan Vogt Brocklesby Juel (1857–1937) og cand.med. Ivar Albert Juel (1861–1897). Han var oldefar til gullsmedene Torolf Prytz jr. og Grete Prytz Kittelsen.