又赐他越前丹生3万石。光贞一行在江户住了一年多。元禄十一年（1698年）回到纪伊后，父亲光贞公隐居，长子纲教继任家督和藩主职位。
就任纪伊藩主.18世纪初的纪伊德川家族在很短的时间内，几个大人物接连去世。先是在宝永元年（1704年）赖方的长嫂，将军的女儿鹤姬离世。隔年，宝永二年（1705年）五月，鹤姬之夫，长兄纲教也随之而去。次兄赖职接任和歌山第四代藩主。同年八月，赖方的父亲德川光贞逝世，享寿八十岁。一个月后，才就任家督不久的赖职也因不明原因死亡。纲教和赖职都没有子嗣，