京都町奉行的官员以及与力、多田带刀等人都进行了称作「天诛」的暗杀活动。以藏也因为这样被称作「人斩以藏」，并因此与萨摩的田中新兵卫一起为人们所害怕。「八月十八日政变」以后，勤王党迅速失势。武市回到土佐，而以藏也改名为土井铁藏并且一个人在京都潜伏着。但在元治元年六月时，他被幕吏抓到并且对他刺青后，然后将他从京都放逐，同时他也因此被土佐藩吏逮捕而遣送回土佐国。土佐藩为了吉田东洋的暗杀事件・于是逮捕了在京都里涉及这起暗杀事件的土佐勤王党同志们，除了有着上士身分的武市瑞山外，其他人皆遭到严刑拷打。以藏因为受不了拷