さらに安政2年(1855年)6月30日、忠優と彼に歩調を合わせる松平乗全の両名の老中免職まで要求する斉昭に対し、やむなく屈した正弘によって、8月4日に乗全と共に忠優は老中職を解かれて、帝鑑間詰に戻された。