正的嫡子家广刚刚出生，因此娶兄长的正室多劫姬（德川家康的异父妹）为妻并继承家督。在天正9年（1581年）进攻高天神城和防守诹访原的要城等立下军功，但是在24歳死去。之后由姪子家广继承。长男信吉在后来成为藤井松平家的婿养子并继承藤井松平家的家督，被封为上野高崎藩藩主，后来转封为丹波篠山藩藩主。而次男忠赖在忠正的嫡子家广死后继承武藏松山藩藩主。