安政4年(1857年)、幕府で隠然たる勢力を持っていた老中・阿部正弘が死去すると、斉昭に反発する大奥を南紀派に引き入れ、翌安政5年(1858年)4月23日には直弼が大老に就任。