年出生，父亲是高松藩第一代藩主松平赖重第四子赖侯。元禄十七年（1704年）第二代藩主赖常隐居，作为养子的他继承家督。受享保大饥荒影响，藩内财政十分艰苦、他削减藩士的知行以纾解财政压力，另一方面，他也减轻了贫苦人民的租税。享保二十年（1735年），他在江户去世，虚岁56岁。赖丰的长子德川宗尧继承了本家水户德川家，而取代的嫡子赖治又早逝，结果要由一门松平大膳家迎来赖桓作婿养子继承。