德川齊昭
黑船來航以後，他與德川齊昭持相同意見，認為不應該簽署日米修好通商條約。安政五年（1858年）當大老井伊直弼主導時，將軍德川家定聽順井伊直弼決定，立紀州藩主德川慶福（家茂）為第14代將軍，他被下調為將軍宣下使者，當時他希望與井伊直弼會面但被拒絕。同年受安政大獄處罰，翌年2月需要慎十日，次月昇進內大臣。文久二年（1862年）再進右大臣。