しかし同年後半、安政の大獄での活動を咎められて書院番頭に左遷。