桂太郎
3回結婚、5男5女、計10人の子女を儲けた(うち1人は愛人との間に儲けた庶子)。
最初の妻歌子(?–1886) - 旧姓は野田。1874年結婚、1886年没。桂との間に1男2女。 蝶子(1880–?) - 国光侃と結婚。後に遠藤美之の養女となり、長雄勝馬と結婚。 与一(1882–1913) - 1906年に新田忠純の娘貞子と結婚、2男1女を儲けたが、父に先立ち死去 広太郎(1908–2002) - 与一の長男。祖父の死後爵位を継承。 繁子(1883–?) - 尾寺藤三と結婚、後に長崎英造と結婚。
2番目の妻貞子(?–1890) - 旧姓・宍道、歌子の兄の未亡人。1886年結婚、1890年没。桂との間に1男1女。 三郎(1887–1959) - 井上馨の養嗣子井上勝之助の養子となり井上家を継ぐ。妻の千代子(井上馨の庶子)との間に生まれた井上光貞は歴史学者。 潔子(1888–?) - 長島隆二と結婚
愛妾中村ウラ子との間に1女を儲けた。 輝子(1891–?) - 天岡直嘉と結婚