阿部の死後、安政5年(1858年)に大老に就いた彦根藩主・井伊直弼と将軍継嗣問題で真っ向から対立した。