家定听顺井伊直弼决定，立纪州藩主德川庆福（家茂）为第14代将军。同年受安政大狱处罚，翌年（1859年）五月辞官出家，法号随乐。樱田门外之变后井伊直弼被杀，他在文久二年（1862年）获赦免，同年五月还俗，十二月以补任为回归朝廷。次年（1863年）接替近卫忠熙成为关白。