文政10年(1827年)に隠居して家督を長男の忠保に譲り、嘉永4年(1851年)に84歳で没した。