6代・松平頼覚の三男として誕生。