低微的关系，家康在辰千代刚诞生时就不喜欢他，在舍弃他时令侧近本多正信拾回（当时有这种风习：为了祈愿平安养大孩子而把孩子放在寺门前，然后由家臣拾回并养育），并寻求养育人，于是由3万5千石的下野栃木（长沼）城城主大名皆川广照养育。家康与忠辉第一次见面是在庆长3年（1598年），不过此时家康亦相当讨厌忠辉（后述）。
继承长泽松平氏.庆长4年（1599年）1月，因为弟弟松千代死去，于是忠辉继承长泽松平家的家督，被赐予武藏国深谷1万石。在庆长7年（1602年）12月被加增移封至下总国佐仓