安政2年(1855年)、攘夷派である徳川斉昭の圧力により開国派の松平乗全、松平忠優を8月4日(9月14日)に老中より罷免したことが、開国派であった井伊直弼らの怒りを買い(ただし、その原因を正弘の人事・政策に対する親藩・譜代大名の反発と見る考えもある)、孤立を恐れた正弘は10月9日、開国派の堀田正睦を老中に起用して老中首座を譲り、両派の融和を図ることを余儀なくされた。