Diddi ble den 24. februar 1900 gift med Antonette («Nette») Therese von der Lippe (1876–1934) fra Grimstad. De hadde fem barn, bl.a. ovennevnte «Dixe», Hans («Hasse»), Ingrid («Linge») gift med Knut C. Langaard, og Benny som var ugift. Diddi og Nette har en rekke etterkommere idag.