井上三郎
養祖父・義父:井上馨
養父:井上勝之助 - 井上馨の甥で養嗣子
養母:井上末子 - 井上馨の姪
実父:桂太郎
実母:宍道貞子
妻:井上千代子(1899年 - 1931年) - 井上馨の三女(庶子、生母井上てつ)、勝之助の養女、従妹。1931年に33歳で没
長男:井上光貞(1917年 - 1983年) - 東京大学国史科教授、妻明子は二荒芳徳三女。 孫・君子(1944年9月15日、小林元夫人) 孫・井上光順(1949年3月17日生) - 博報堂社員。妻の真美子は柳原承光(松平忠寿二男)の三女。 曾孫・光隆(1981/3/1生) 曾孫・光博(1983年7月1日生) 孫・雅子(1947年4月16日、ジェフリー・松永夫人)
二男:井上元勝(1918年 - 1993年) - 武道家
三男:井上元広(1918年12月2日 - 1977年8月21日)
長女:馬越武子 - 馬越恭平の孫・恭一に嫁ぐ