1569年），因为今川氏真势力没落，被任命为远江国挂川城城主。同年，向姪儿数正让出西三河旗头的地位。天正八年（1580年），把家督让予长男康通并隐居。天正18年（1590年），在后北条氏灭亡后，家康移封至关东地方，此时被赐予伊豆梅绳5千石隐居料。庆长十二年（1607年），因为成为大垣藩初代藩主的康通死去，于是复归家督并成为第2代藩主。不过因为曾经隐居，而且已是高齢，所以没有参与幕政。在庆长14年（1609年）10月19日（一说29日）死去。享年76岁。继承人是外孙兼养子忠总。