しかし文久3年(1863年)、同党が八月十八日の政変を契機として弾圧されるや謹慎処分となり、翌元治元年(1864年)には同志を集めて脱藩。