しかし正徳3年(1713年)6月、不行跡とのことで、免職の上出仕を留められ、雉子橋にあった邸も没収、寄合に落とされたが、同年10月3日に許され元の地位に復した。