安政4年（1857年）に阿部正弘が死去して堀田正睦が名実共に老中首座になると、さらに開国論に対して猛反対し、開国を推進する井伊直弼と対立する。
安政四年（1857年），阿部正弘去世，和堀田正睦成为实际的老中首席，对于开国论强烈反对，因此与推进开国的井伊直弼对立。