しかし放漫財政を行なった上、文政元年(1818年)、文政12年(1829年)、天保5年(1834年)に江戸屋敷が焼失し、天保6年(1835年)には能持院が火災を受けるなどの大被害を受け、天保4年(1833年)には年貢減免を求める百姓一揆が起こるなどして藩財政は悪化し、これらの対処による支出などで13万両の借金を抱えたといわれている。