吉井友実
長男:幸蔵(伯爵、海軍少佐、貴族院議員)
子:高島友武(子爵、陸軍中将、高島鞆之助の養子)
娘:沢子(公爵大山巌夫人)
孫:勇(伯爵、歌人、脚本家) 妻の吉井徳子は昭和8年(1933年)にいわゆる「不良華族事件」において摘発されている。勇は戦後まで健在だったが、この件で爵位を辞退し隠居、滋が襲爵した。
曾孫:滋(伯爵、後楽園スタヂアム支配人、日本野球連盟評議員)
寺田屋遭難によって負傷した坂本龍馬が京都の薩摩藩邸へ移動する際、その護衛の任に当たっている。その後、坂本の薩摩での新婚旅行で自邸を宿舎として提供し、感謝の意として「来国光」の短刀を贈られている。また龍馬暗殺直後の近江屋に急行している(近江屋事件)。
外遊中にフランスのパリで会った留学生の清水誠にマッチの製造を勧めている。清水は後に、日本におけるマッチ製造業の元祖となり、清水が帰国後に最初にマッチの製造を手がけたのは東京三田四国町(現在の東京都港区芝)にあった吉井の別邸内であった。
親友の税所の老後の世話について遺言の中で言及しており、薩摩藩士同士の絆の強さをうかがわせる。