逆に上米の負担が強化されたことから家臣団で不満が起こり、天保13年(1842年)1月21日、やむなく家督を養子の氏久に譲って隠居した。