第4代藩主松平頼邑は藩財政立て直しのために倹約令を出したが、病弱のため藩政改革が困難であるとして22歳で隠居し、紀州徳川家から松平頼淳(頼致＝宗直の三男)が第5代藩主に迎えられた。