しかし元禄7年(1694年)12月28日、病を理由として廃嫡され、飯山で隠棲した。