ところが幕府は、これを水戸藩の武装強化と見なし、弘化元年(1844年)に斉昭に隠居を命じ、戸田忠太夫や武田耕雲斎とともに、穏健派の会沢正志斎や藤田東湖までも謹慎させられた。