高松藩第4代藩主・松平頼桓の養子となり、元文4年（1739年）に頼桓が死去したため29歳で家督を継いだ。
松平赖恭在正德元年（1711年）出生，是陆奥守山藩主松平赖贞第五子，高松藩第四代藩主松平赖桓的养子，元文四年（1739年）因赖桓逝世，29岁的他继承家督位置。