母は高松藩主・松平頼恕の娘。