このため、同年大老に就任した井伊直弼の安政の大獄の一環で、幕府の内請により翌安政6年(1859年)辞官を余儀なくされた。