長義との間に3人の子供を授かった。長男・亜歴山（アレキサンダー）、長女・エルザ、次男・維理（ウィリー）。家庭内ではドイツ語を使うように子供達にも徹底していた。長男の亜歴山（Arekisan Nagai, 1887-1966）は東京帝国大学を卒業後外交官となり、勝海舟の孫（三女：逸子の子）・多計代（1891-1973）を妻とした。駐独日本大使館付商務官となり、第二次世界大戦のベルリン陥落後にアメリカ軍によりワシントンD.C.に連行され、終戦後は弁護士として活動、晩年は父の生まれ故郷である徳島で暮らした。6ケ国語に精通し絵画や音楽を愛し、学生時代には一高の寮歌を手掛けたほか、ベルリン時代には日本人演奏家を支援したり、竹久夢二や東山魁夷などを招いて自邸で日本画講習会を開くなど日独交流に努めた。ドイツの石材を使った晩年の住まいは八坂神社（徳島市眉山町大滝山）の所有となり、現在「花見山 心の手紙館」として使われている。