宝暦12年(1762年)4月8日、長男の衛将に家督を譲って隠居し、宝暦13年(1763年)5月13日に64歳で死去した。