视他为朝敌，剥夺他所有官职，因此，赖聪的族人松平赖该（松平赖胤庶兄）讨论后决定向顺从官军，使他在同年四月官复原职。在此事以后，松平赖聪远离藩政，由松崎涉右卫门负责执政。明治二年（1869年）版籍奉还，政府任命他为高松藩知事。明治四年（1871年）因废藩置县免去知藩事官职。明治十七年（1884年）因华族令受封伯爵，明治三十六年（1903年）10月17日去世，享年70岁。