同藩家老の島村志津摩や小宮民部と藩政を巡って対立し、文久3年(1863年)5月に島村志津摩は江戸の台場警備に左遷された。