元禄12年(1699年)に義苗が藩主嗣子のまま死去するが、その翌年の元禄13年(1700年)3月には隠居し、生涯禁固となる。
翌年，元禄十二年（1699年）其子纲诚去世，再隔一年的元禄十三年（1700年），光友亦离世。