元文四年（1739年）在江户去世，虚岁20。赖桓娶赖丰的女儿春姬为正室，但没有子女。其二弟赖珍（蜂须贺宗镇）同年被德岛藩藩主蜂须贺宗英迎入为养子，幼弟赖央（后为德岛藩主蜂须贺至央）当时又年少。结果高松松平家从水户德川家另一个连枝——守山松平家迎来养子赖恭继承高松藩。