为了让家臣团充实，大量僱用浪人。庆安四年（1651年）发生以浪人由比正雪为首暴动的「庆安事件」，而赖宣也自然被怀疑怂恿由比正雪叛乱。也因为这个缘故，幕府将赖宣视为嫌疑犯。结果，赖宣在十年间不曾回到和歌山，一直留在江户。
辞去藩主.宽文六年（1666年）赖宣公的正室八十姬去世，享寿六十六岁，法名瑶林院。隔年，宽文七年（1667年），赖宣公因为长期患病，以六十五岁的年龄，将纪州藩藩主一位让给长子德川光贞（侧室中川氏理真院所生）。
逝世.宽文十一年正月初十日（16