安政5年（1858年）、日米修好通商条約締結への勅許をめぐり、朝廷と幕府が対立するにおよび、水戸藩や福井藩の藩士に説得され、条約勅許不同意および将軍継嗣問題における一橋派の意見に同意する。左大臣近衛忠煕や内大臣三条実万とともに献策して、水戸藩へ勅諚を賜るよう運動する（戊午の密勅）。このため、同年大老に就任した井伊直弼の安政の大獄の一環で、幕府の内請により翌安政6年（1859年）辞官を余儀なくされた。やむを得ず同年5月落飾し随楽の法名を称する。