矢田部良吉
父・矢田部卿雲(1819–1857) - 蘭学者。武蔵国勅使河原(現・埼玉県児玉郡上里町)の農家の出だが、江戸で蘭学に通じたことで、反射炉の築造で著名な韮山代官・江川英龍に重用された。
母・満寿 - 沼津藩士・原川氏の出。
前妻・録子(1858-1887) - 医師・金沢良斎(永孝)の娘。良斎(1839年生)は岐阜出身の医師で、勝海舟の主治医。1878年に結婚。1887年10月に死別。
後妻・順(1869-1959) - 裁判官・柳田直平の娘。男爵安東貞美の姪。1887年12月に鳩山和夫・鳩山春子夫妻を媒酌人として縁組し、1888年5月に結婚。相婿に柳田国男。
長女・文(1879-1885) - 夭折
長男・秀吉(1881年) - 夭折
次女・密(1882-?)
二男・俊二(1887-?) - 画家
三男・雄吉(1890-1909)
四男・達郎(1893-1958) - 心理学者
五男・勁吉(1896-1980) - 音楽家
六男・敏夫(1899-?)