政元年（1854年），开始着作『名将言行录』。万延元年（1860年），在没有得到藩的许可下上京，向朝廷建言攘夷，向东下请愿。文久元年（1861年），因为无断上京之罪，受到降格处分。文久3年（1863年），成为世子秋元礼朝的侍讲。12月，成为役，修复雄略天皇山陵。元治元年（1864年），为阻止征长而斡旋。4月，受藩命而前往长州藩，因此被幕府怀疑，10月，被藩夺去奉禄，并被迫蛰居，于是移居至武州深谷。明治元年（1868年），反对迁都大坂，建议迁都至适合经营虾夷地的江户（同年7月，东京奠都在形式上实现）。