文化13年(1816年)11月21日、長男の忠恕に家督を譲って隠居し、文政5年(1822年)6月28日に死去した。