Didrik Lyder Smit var gift med Jacoba Johanne Sundt (1856–1936), datter av forretningsmagnaten Christian Sundt. De var foreldre til advokat, fylkesmann i Bergen og antroposof Christian Smit (1886–1960). Christian Smit var gift med Lily Faye (1893–1979), datter av overrettssakfører Jørgen Breder Faye (1867–1922; sønn av bankdirektør og Bergensordfører Jørgen Breder Faye), og var foreldre til antroposofen Jørgen Smit (1916–1991).