为无断上京之罪，受到降格处分。文久3年（1863年），成为世子秋元礼朝的侍讲。12月，成为役，修复雄略天皇山陵。元治元年（1864年），为阻止征长而斡旋。4月，受藩命而前往长州藩，因此被幕府怀疑，10月，被藩夺去奉禄，并被迫蛰居，于是移居至武州深谷。明治元年（1868年），反对迁都大坂，建议迁都至适合经营虾夷地的江户（同年7月，东京奠都在形式上实现）。仕于高松保实，成为的家老。与小泽一仙一同结成草莽义军的高松队，并成为参谋，率先前往甲府，因为在无许可的情况下出兵，被命令归还。明治2年（1869年），