烈反对，因此与推进开国的井伊直弼对立。之后的十三代将军德川家定的将军继嗣问题，拥立儿子一桥庆喜形成「一桥派」的齐昭和拥立德川庆福形成「南纪派」的井伊直弼正面对立，可是齐昭在这个政治斗争输了。安政五年（1858年），成为大老的井伊直弼独断的签订了日美友好通商条约，而南纪派的德川庆福（德川家茂）也成为十四代将军。安政六年（1859年），由于将军继嗣及条约签字的问题，齐昭和越前藩主松平庆永（春岳）、尾张藩主德川庆恕、儿子一桥家家督一桥庆喜不时擅自登城（江户城）抗议，诘问井伊直弼，最后反被直弼命令了永久蛰居