宝暦5年(1755年)、積雪の被害で藩の被害が大きかったため(宝暦の飢饉)、幕府から3000石を借用して再建費用に当てたが、そのために幕府から藩政が良くないとして、処罰としてしばらく出仕を止められた。