一门众得知消息后，立即相讨对策，最后于万治3年（1660年），提出了纲宗退隐，由其幼子龟千代继位藩主的方案，幕府立即表示同意，家督和藩主之位由纲宗2岁的嫡子龟千代（纲村）继承。隐居后的纲宗在其余生的50年醉心于各种艺术，正德元年（1711年）在江户去世。昭和56年（1981年）为进行学术调査，对纲宗的尸体研究结果显示，纲宗身长155cm，血型为A型，死因疑爲咽喉癌。