松平家一族的松平大膳家、松平赖熙的长子。由于第三代藩主赖丰的长子徳川宗尧出继了本家水户德川家，而他的赖治又早逝，因此以赖桓作养子。享保二十年（1735年）赖丰去世，赖桓继承家督。他遵从第二代藩主赖常的政治路线，奉行节俭及奖励学问，元文四年（1739年）在江户去世，虚岁20。赖桓娶赖丰的女儿春姬为正室，但没有子女。其二弟赖珍（蜂须贺宗镇）同年被德岛藩藩主蜂须贺宗英迎入为养子，幼弟赖央（后为德岛藩主蜂须贺至央）当时又年少。结果高松松平家从水户德川家另一个连枝——守山松平家迎来养子赖恭继承高松藩。