麻生太賀吉
祖父 - 太吉(実業家、政治家)
祖母 - ヤス(福岡県、吉川(きっかわ)半次郎六女)
祖父 - 子爵加納久宜(政治家)
父 太郎(実業家)
母 夏子(子爵加納久朗の妹)
妻 和子(吉田茂三女)
長男 太郎(実業家、政治家)
次男 次郎 - 1964年、学習院大学ヨット部で活動中に事故死。
三男 泰(実業家、アソウ・ヒューマニーセンター代表兼麻生セメント社長)
長女 雪子(相馬和胤(相馬氏33代当主)夫人)
次女 旦子(荒船清彦(駐スペイン大使)夫人)
三女 信子(寬仁親王妃)
孫 彬子女王
孫 瑶子女王
孫 麻生巌(実業家、株式会社麻生社長)
孫 麻生将豊
弟 典太(実業家、麻生セメント専務、筑豊製作所会長)
従兄 大井廣介(麻生賀一郎)(文芸評論家)
その他の親戚 明治天皇の落胤を自称した画家橘天敬は、いとこの夫に当たる。