子に直通(次男)、直恒(三男)、直矩(四男)、直惟(五男)、直定(六男)、娘(井伊直朝正室)、娘(阿部正喬正室)、房(三条公充室)、娘(木俣守吉室、後に木俣守嘉室)、娘(松平康弘室)、娘(印具保重室)ら。