转任右大臣。安政五年（1858年），莫夫与美国签订日美修好通商条约，令朝廷与幕府对立。当大老井伊直弼主导时，将军德川家定听顺井伊直弼决定，立纪州藩主德川庆福（家茂）为第14代将军。同年受安政大狱处罚，翌年（1859年）五月辞官出家，法号随乐。樱田门外之变后井伊直弼被杀，他在文久二年（1862年）获赦免，同年五月还俗，十二月以补任为回归朝廷。次年（1863年）接替近卫忠熙成为关白。