天保12年(1841年)12月2日、讃岐国高松藩主・松平頼恕(徳川斉昭の兄)の五男として誕生した。