Im Jahr 1893 hatte Dülfer die 1865 ebenfalls in Breslau geborene Käte geb. Weigand(t) geheiratet, die Ehe blieb offenbar kinderlos. Nach Dülfers Besuch der Weltausstellung 1904 in St. Louis (USA) kam dort 1905 eine uneheliche Tochter zur Welt, zu der er sich offen bekannte. 1915 adoptierte das Ehepaar Dülfer einen neun Jahre alten Jungen namens Kurt, den einige Zeitzeugen ebenfalls für ein uneheliches Kind Dülfers hielten; nach anderen Angaben soll dieses Kind jedoch zu Käte Dülfers Verwandtschaft gehört haben.