对抗，接近北条氏政以图再起（天正壬午之乱），不过在12月败于酒井忠次、小笠原信岭等家康派遣的信浓平定军，于是以和睦的形式臣服，翌年（1583年）3月，维持诹访郡的所领。天正18年（1590年），家康移至关东地方，在此时跟从，被赐予武藏比企郡奈良梨、儿玉郡蛭川、埼玉郡羽生等合计1万2千石所领。文禄元年（1592年），被移至上野总社，在这段期间把家督让予嫡男赖水。庆长5年（1600年），在关原之战中担任江户城的留守居役。在庆长11年8月11日（1606年9月13日）死去。享年70岁。