悔而辞去职务并隐居。后年，与平岩亲吉一同为了供养信康，在骏河国建立江净寺。天正18年（1590年），在后北条氏灭亡后，家康被移封至关东地方。在康政成为上野国馆林藩10万石的藩主后，移住至馆林。庆长11年（1606年），康政死去。同年，因为卧病，受在武藏国忍城进行冬天猎鹰的家康送出的使者探访。一度辞退担任家康居城骏府城附近的久能城（后来成为家康的墓所久能山东照宫）城代，不过最终答应，并在庆长12年（1607年）2月进入久能城。领有骏河3千石。之后，病况仍然受家康担心，受家康亲自前往久能城探望，并受赐5千等