寛政7年(1795年)8月7日、長男・頼看に家督を譲って隠居し、文化3年(1806年)9月2日に52歳で死去した。