寛政9年(1797年)、藩政改革を志す藩主池田斉政に守旧派として責任を問われ、仕置職を辞職する。