黑船来航以后，他与德川齐昭持相同意见，认为不应该签署日米修好通商条约。安政五年（1858年）当大老井伊直弼主导时，将军德川家定听顺井伊直弼决定，立纪州藩主德川庆福（家茂）为第14代将军，他被下调为将军宣下使者，当时他希望与井伊直弼会面但被拒绝。同年受安政大狱处罚，翌年2月需要慎十日，次月昇进内大臣。文久二年（1862年）再进右大臣。