家康移封关东地方时，因为战功而被赐予上总国成户2万石所领。在当时是德川家中的有力大名，与井伊直政、本多忠胜、榊原康政、平岩亲吉一同在京中担任家康的守护。庆长5年（1600年），在关原之战中，与竹谷松平家清一同守备尾张国清洲城，并参加进攻石田三成的近江国佐和山城，在战后因为战功，受加增移封至美浓国大垣藩5万石。在庆长12年（1607年）病死。享年54岁。因为儿子忠义还是幼少，于是家督再次由父亲家成继承，家成亦在2年后的庆长14年（1609年）死去，此后的继承人是姪儿忠总。