安政4年(1857年)5月5日、孫の弁之助(三復)に家督を譲り隠居し、翌年の3月11日、安藤家下屋敷で歿した。