松平赖恕是常陆水户藩主德川治纪的第二子，德川齐昭的哥哥。文化十二年（1815年）成为高松藩主松平赖仪的婿养子，并在文政四年（1821年）当养父隐居是继承家督。他任用东讃出身的久米通贤，为改善一直恶化的藩内财政而开发坂出的东大滨、西大滨，是日本当时最大的盐田。天保13年（1842年）他去世，虚岁45，以松平赖仪的儿子赖胤作养嗣子继承高松藩。