慶長16年(1611年)、江戸藩邸で火災が起こり、火元となった藩士高山左太夫の処罰を巡って、厳罰を主張する頼水に諫言して対立し、他の重臣たちと共に藩を退去する。