Ии Наосукэ
В 1857 году, в связи со смертью Абэ, Нариаки перестали приглашать на правительственные совещания. В 1858 году главой правительства стал Ии Наосукэ, который без разрешения Императора заключил договор о японо-американской торговле, а также добился назначения 14-м сёгуном Токугавы Иэмоти, вместо Токугавы Ёсинобу, который был сыном Нариаки. Такая своевольная политика вызвала нарекания Нариаки и его сторонников. Когда он со своими сыновьями Ёсинобу и правителем Овари-хана Токугавы Ёсикацу внезапно явился в Эдосский замок и стал критиковать главу правительства, их арестовали. В следующем году, в ходе репрессий Ансэй, Нариаки сослали в Мито под пожизненный домашний арест.