子は永井尚附(長男)、永井直敬(次男)、松平定盈(三男)がいる。