受享保大饥荒影响，藩内财政十分艰苦、他削减藩士的知行以纾解财政压力，另一方面，他也减轻了贫苦人民的租税。享保二十年（1735年），他在江户去世，虚岁56岁。赖丰的长子德川宗尧继承了本家水户德川家，而取代的嫡子赖治又早逝，结果要由一门松平大膳家迎来赖桓作婿养子继承。