对立，可是齐昭在这个政治斗争输了。安政五年（1858年），成为大老的井伊直弼独断的签订了日美友好通商条约，而南纪派的德川庆福（德川家茂）也成为十四代将军。安政六年（1859年），由于将军继嗣及条约签字的问题，齐昭和越前藩主松平庆永（春岳）、尾张藩主德川庆恕、儿子一桥家家督一桥庆喜不时擅自登城（江户城）抗议，诘问井伊直弼，最后反被直弼命令了永久蛰居（安政大狱）。
终局.万延元年（1860年）八月十五日，蛰居处分仍然没有解除，齐昭却因为心肌梗塞突然逝世，享年六十一岁。由于同年三月发