松平赖聪在天保五年（1834年）出生，是第九代藩主松平赖恕第四子。其兄嫡子赖熙在弘化三年（1846年）逝世，故他在嘉永六年（1853年）成为第十代藩主赖胤的养子。文久元年（1861年）七月初八赖胤隐居，七月初九赖聪继承家督，成为高松藩第十一代藩主。作为幕末动盪时期的亲藩，并且和德川庆喜是血缘上的从兄弟，因此他是佐幕派的一分子，负责京都及摄津的警卫。元治元年（1864年）禁门之变时协助幕府守护御所。庆应四年（1868年）正月初三在鸟羽伏见之战旧幕府军中与萨摩藩、长州藩的军队作战。战后，新政府视他为朝敌，