年（1698年）回到纪伊后，父亲光贞公隐居，长子纲教继任家督和藩主职位。
就任纪伊藩主.18世纪初的纪伊德川家族在很短的时间内，几个大人物接连去世。先是在宝永元年（1704年）赖方的长嫂，将军的女儿鹤姬离世。隔年，宝永二年（1705年）五月，鹤姬之夫，长兄纲教也随之而去。次兄赖职接任和歌山第四代藩主。同年八月，赖方的父亲德川光贞逝世，享寿八十岁。一个月后，才就任家督不久的赖职也因不明原因死亡。纲教和赖职都没有子嗣，藩主的继承人就落到本来无论排行和出身都轮不到的赖方身上。