文化11年(1814年)、神道問題で罪を負い、江戸所払いとなったが、なおも平田塾などに往来して禁を破ったため、天保3年(1832年)には江戸十里四方お構いとなり、武蔵国鹿手袋村(現埼玉県さいたま市南区)に蟄居した。