纯游说并要求交出下手人，因此被激怒。翌年12年3月9日（1607年4月5日），因为放弃城池并与儿子康宗一同出奔，于是被改易处分。此后，进入到小田原（现今神奈川县南足柄市）的西念寺。在庆长18年（1613年）2月24日于当地死去。享年77岁。儿子康宗在宽永5年（1628年）获得赦免并被赐予1千，在后来以1千石知行担任中坚旗本而存续。