犯。结果，赖宣在十年间不曾回到和歌山，一直留在江户。
辞去藩主.宽文六年（1666年）赖宣公的正室八十姬去世，享寿六十六岁，法名瑶林院。隔年，宽文七年（1667年），赖宣公因为长期患病，以六十五岁的年龄，将纪州藩藩主一位让给长子德川光贞（侧室中川氏理真院所生）。
逝世.宽文十一年正月初十日（1671年2月19日）赖宣公在和歌山病逝，结束他文治卓着的出色人生，享寿六十九岁。法名南龙院。安葬于纪伊国海士郡滨中村长保院。而日后历代藩主也是葬在长保院（吉宗和家茂