第十代藩主赖胤的养子。文久元年（1861年）七月初八赖胤隐居，七月初九赖聪继承家督，成为高松藩第十一代藩主。作为幕末动盪时期的亲藩，并且和德川庆喜是血缘上的从兄弟，因此他是佐幕派的一分子，负责京都及摄津的警卫。元治元年（1864年）禁门之变时协助幕府守护御所。庆应四年（1868年）正月初三在鸟羽伏见之战旧幕府军中与萨摩藩、长州藩的军队作战。战后，新政府视他为朝敌，剥夺他所有官职，因此，赖聪的族人松平赖该（松平赖胤庶兄）讨论后决定向顺从官军，使他在同年四月官复原职。在此事以后，松平赖聪远离藩政，由松崎