だが、将軍継嗣問題では一橋派とされた為、安政5年（1858年）安政の大獄で免職となり、差控を命ぜられた。しかし、慶応元年（1865年）二ノ丸留守居より目付となり、翌慶応2年（1866年）第二次長州征討において老中小笠原長行の小倉口陣営にあって、小倉藩からの援兵の要求を時期はすでに逸したとして却下したため、小倉城落城を招いてしまう。のちに将軍徳川慶喜の側近としてこれを補佐した。将軍名代として熱海に避寒中のフランス仏公使ロッシュを訪ね大坂城中における援幕単独会見の要求および徳川昭武のパリ万博派遣を告げた。慶応3年（1867年）若年寄並兼帯外国惣奉行となるが、慶応4年（1868年）の鳥羽・伏見の戦いで幕軍が惨敗した後、薩長勢力に対し強硬論を主張したために免職となり逼塞の処分を受けてしまう。