La oposición hacia Masahiro aumentó entre los círculos "fudai", los cuales se oponían a abrir los consejos del "bakufu" a los "daimyō" "tozama", por lo que fue reemplazado de su puesto y en 1855 fue nombrado presidente del consejo de Hotta Nariaki.